JP6464676B2 - 表示制御プログラム、表示制御方法および情報処理装置 - Google Patents

Description

本発明は表示制御プログラム、表示制御方法および情報処理装置に関する。

近年、センサを用いて把握された現実の空間を示す情報に対して、現実の空間に存在しない付加情報を追加してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術は、センサとしての撮像装置と、撮像装置を用いて撮像された撮像画像を表示する表示装置とを備えた端末装置上に実装されることがある。ＡＲ技術の一例として、撮像画像の中に写ったオブジェクトに対応する付加情報をデータベースから検索し、検索した付加情報と撮像画像とを重ねて表示装置に表示させるものがある。これにより、現実の空間と現実の空間に存在しない仮想的なオブジェクトとを合成した仮想的な空間を、表示装置を通じてユーザに体験させることができる。

付加情報が対応付けられるオブジェクトとして、ＡＲマーカが用いられることがある。ＡＲマーカは、所定の画像パターンをもつ２次元コードであってもよい。２次元コードとしてのＡＲマーカは、紙などの物体の表面に印刷しておくことができる。端末装置は、撮像画像の中からＡＲマーカを検出すると、ＡＲマーカの画像パターンに対応する付加情報を撮像画像と重ねて表示装置に表示させる。撮像画像の中で付加情報を重畳させる位置は、ＡＲマーカの位置を基準にして決定されることがある。例えば、ＡＲマーカの上、または、ＡＲマーカから所定の方向に所定の距離だけ離れた位置（所定の相対位置）に、当該ＡＲマーカに対応する付加情報を表示することが考えられる。

なお、紙の帳票に対して記入された手書き文字列を、コンピュータの画面上の記入欄に収まるように表示する筆記データ入力装置が提案されている。この筆記データ入力装置は、帳票に対する筆記具のストロークの座標を示す筆記データを取り込む。筆記データ入力装置は、帳票のフォーマット定義を示す帳票データを参照して、画面上の記入欄と筆記データが示す座標との間のずれを検出する。筆記データ入力装置は、手書き文字列が画面上の記入欄に収まって表示されるように、筆記データの座標を補正する。

特開２００５−３８０７７号公報

ところで、業務で使用される紙の帳票には、個人情報など重要な情報を印字する枠が設けられていることがある。重要な情報をそのまま帳票に印字してしまうと、帳票が業務担当者以外の第三者の手に渡ってしまった場合に、重要な情報が漏洩するリスクがある。一方、重要な情報を帳票に印字しない（または、マスキングする）ようにすると、業務担当者も印字されていない（または、マスキングされた）重要な情報を帳票から確認できなくなり、帳票を使用した業務に支障が生じる可能性がある。そこで、ＡＲ技術を用いて、帳票上の重要な情報を業務担当者に制限して確認できるようにする方法が考えられる。すなわち、業務担当者の端末装置において帳票を撮像すると、帳票に印字されていない付加情報を撮像画像と重ねて表示装置に表示するシステムが考えられる。

しかし、紙の帳票に対してＡＲ技術を適用した場合、付加情報を表示する位置が問題となる。撮像装置が帳票を撮像するとき、帳票には折れや撚れなどの形状の乱れが生じていることがある。形状の乱れのある帳票の撮像画像に対して、ＡＲマーカの位置を基準とした所定の相対位置に付加情報を重畳表示してしまうと、意図した枠から付加情報が外れてしまうおそれがある。帳票の場合、ある情報が何れの枠に印字されるかによってその情報の意味が変わってしまうことがある。そのため、付加情報が意図した枠から外れた位置に表示されると、帳票を使用した業務の利便性が低下する可能性がある。

１つの側面では、本発明は、撮像した帳票の状態に応じた適切な位置に付加情報を表示させることができる表示制御プログラム、表示制御方法および情報処理装置を提供することを目的とする。

１つの態様では、コンピュータに以下の処理を実行させる表示制御プログラムが提供される。撮像装置を用いて撮像された撮像画像に、所定のマーカ画像が含まれるか判定する。撮像画像に所定のマーカ画像が含まれる場合、撮像画像に含まれる帳票画像が示す帳票に対応する、記憶装置に記憶された付加情報を取得し、撮像画像上の所定のマーカ画像の位置に応じた枠線を撮像画像から検出し、表示装置に表示された撮像画像上の枠線内の位置に、枠線の大きさに収まるサイズで付加情報を表示させる。

また、１つの態様では、コンピュータが実行する表示制御方法が提供される。
また、１つの態様では、制御部を有する情報処理装置が提供される。

１つの側面では、撮像した帳票の状態に応じた適切な位置に付加情報を表示させることができる。

第１の実施の形態の情報処理システムの例を示す図である。 第２の実施の形態の情報処理システムの例を示す図である。 第２の実施の形態の端末装置のハードウェアの例を示す図である。 第２の実施の形態のＡＲサーバのハードウェアの例を示す図である。 第２の実施の形態の端末装置の機能の例を示すブロック図である。 第２の実施の形態のＡＲサーバの機能の例を示すブロック図である。 第２の実施の形態の帳票座標データベースの例を示す図である。 第２の実施の形態の付加情報データベースの例を示す図である。 第２の実施の形態の帳票管理サーバの機能の例を示すブロック図である。 第２の実施の形態の識別番号データベースの例を示す図である。 第２の実施の形態のオーバレイ定義データベースの例を示す図である。 第２の実施の形態における付加情報の表示方法の例を示す図である。 第２の実施の形態における帳票の設計・登録・印刷の例を示す図である。 第２の実施の形態における付加情報のサイズ・位置調整の例を示す図である。 第２の実施の形態の付加情報の登録の処理フローを示すシーケンス図である。 第２の実施の形態の付加情報の生成の処理フローを示すフロー図である。 第２の実施の形態の付加情報の表示の処理フローを示すシーケンス図である。 第２の実施の形態の付加情報等の表示の処理フローを示すフロー図である。 第２の実施の形態の一変形例に係る付加情報の表示方法を示す図である。

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の情報処理システムの例を示す図である。

第１の実施の形態の情報処理システムは、ＡＲ技術を用いて帳票の撮像画像と帳票に印字されていない付加情報とを重ねて表示し、帳票を使用した業務を支援する。第１の実施の形態で取り扱う帳票には、事務処理に用いられる各種の帳面や帳簿、伝票類が含まれ得る。付加情報には、氏名や住所を含む個人情報など、帳票に印字する枠が設けられているにもかかわらずセキュリティの観点から印字されていない（または、マスキングしている）重要な情報が含まれ得る。第１の実施の形態の情報処理システムは、情報処理装置１、撮像装置２、表示装置３および記憶装置４を有する。

情報処理装置１は、後述するように付加情報の表示を制御する。情報処理装置１は、ユーザの操作する端末装置でもよいし、端末装置と通信を行うサーバ装置でもよい。前者はクライアント装置やクライアントコンピュータと呼ばれることもあり、後者はサーバコンピュータと呼ばれることもある。撮像装置２は、ユーザのもつ帳票を撮像する。撮像装置２は、例えば、デジタルスチルカメラまたはデジタルビデオカメラである。表示装置３は、撮像装置２を用いて撮像された撮像画像を表示する。表示装置３は、例えば、液晶ディスプレイ（ＬＣＤ；Liquid Crystal Display）である。記憶装置４は付加情報を記憶する。記憶装置４は、例えば、ＨＤＤ（Hard Disk Drive）などの不揮発性の記憶装置である。

ここで、撮像装置２および表示装置３は、ユーザの操作する端末装置に含まれていてもよい。情報処理装置１は、撮像装置２および表示装置３と一体に形成されていてもよい。すなわち、情報処理装置１が端末装置であってもよい。また、情報処理装置１は、撮像装置２や表示装置３と分離しており、ネットワークを介して通信するようにしてもよい。すなわち、情報処理装置１が端末装置と通信するサーバ装置であってもよい。記憶装置４は、情報処理装置１に含まれていてもよいし、他の情報処理装置に含まれていてもよい。後者の場合、情報処理装置１は、ネットワークを介して他の情報処理装置と通信する。

情報処理装置１は、制御部１ａを有する。制御部１ａは、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサを含んでもよい。また、制御部１ａは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの特定用途の電子回路を含んでもよい。プロセッサは、例えば、情報処理装置１が備えるＲＡＭ（Random Access Memory）やＨＤＤなどの記憶装置に記憶された表示制御プログラムを実行する。なお、複数のプロセッサの集合（マルチプロセッサ）を単に「プロセッサ」と呼ぶこともある。

制御部１ａは、撮像装置２を用いて撮像画像５が撮像されると、撮像画像５にマーカ画像５ｂが含まれるか判定する。マーカ画像５ｂは、帳票に印字されたＡＲマーカを示す。ＡＲマーカは、例えば、帳票の中の重要な情報に対応する枠内に、重要な情報に代えて印字されている。ＡＲマーカは、所定の画像パターンをもつ２次元コードであってもよい。その場合、所定のアルゴリズムに従って、撮像画像５の中からマーカ画像の候補が抽出され、抽出された候補の特徴量が算出されてマーカ画像５ｂの特徴量と比較される。情報処理装置１と撮像装置２を含む端末装置とが分離している場合、マーカ画像の候補の抽出や特徴量の算出は、端末装置で行ってもよいし制御部１ａで行ってもよい。

撮像画像５にマーカ画像５ｂが含まれる場合、制御部１ａは、記憶装置４に記憶された付加情報であって、撮像画像５に含まれる帳票画像５ａが示す帳票に対応する付加情報４ａを取得する。記憶装置４が他の情報処理装置によって管理されている場合、制御部１ａは、他の情報処理装置に付加情報４ａを要求する。記憶装置４では、マーカ画像５ｂと付加情報４ａとが対応付けられていてもよい。また、記憶装置４では、帳票画像５ａから抽出できる帳票の識別情報と付加情報４ａとが対応付けられていてもよい。マーカ画像と識別情報の少なくとも一方から、撮像した帳票に対応する付加情報を特定できる。

そして、制御部１ａは、表示装置３に表示された撮像画像５上に、付加情報４ａを重ねて表示させる。付加情報４ａを表示する位置は、撮像画像５上のマーカ画像５ｂの位置と撮像画像５に写った帳票のレイアウトとに基づいて決定される。例えば、マーカ画像５ｂの位置を基準として、撮像画像５の中からマーカ画像５ｂを囲む枠線を検出する。検出した枠線は、印字されなかった（または、マスキングされた）付加情報４ａに対応する枠を示す。そこで、検出した枠線に収まるように付加情報４ａの位置やサイズが調整される。

このとき、撮像画像５が示す帳票には、折れや撚れなど、印字時には存在しなかったレイアウトの乱れが生じていることがある。これに対し、撮像画像５上の帳票のレイアウトを検出することで、帳票のレイアウトの乱れに合わせて付加情報４ａの配置を調整することができる。情報処理装置１と撮像装置２を含む端末装置とが分離している場合、付加情報４ａの位置は、制御部１ａが決定してもよいし端末装置が決定してもよい。また、付加情報４ａの位置は、情報処理装置１と異なる他の情報処理装置が決定してもよい。

第１の実施の形態の情報処理システムによれば、撮像画像５にマーカ画像５ｂが含まれる場合、帳票に対応する付加情報４ａが撮像画像５と重なって表示装置３に表示される。これにより、帳票を使用した業務を効率化できる。例えば、個人情報などの重要な情報を帳票に印字せず付加情報４ａとして秘匿することで、重要な情報が帳票を通じて漏洩するリスクを低減できる。一方、帳票を撮像すると表示装置３には印字された情報と印字されなかった重要な情報とが合わせて表示される。よって、帳票に重要な情報を印字しなくても、帳票を使用した業務を円滑に行うことができる。

また、付加情報４ａが表示される位置が、撮像画像５上のマーカ画像５ｂの位置と撮像画像５に写った帳票のレイアウトとに基づいて決定される。これにより、帳票に折れや撚れなどのレイアウトの乱れがあっても、適切な位置に付加情報４ａを表示することが可能となる。例えば、マーカ画像５ｂが一の枠内に位置する場合、付加情報４ａはその枠内に収まるように表示されることが期待されている可能性がある。帳票では、意図した枠と異なる他の枠に付加情報４ａが表示されてしまうと、付加情報４ａの意味が変わってしまうことがあり、帳票を使用した業務の利便性が低下するおそれがある。これに対し、第１の実施の形態では、撮像画像５に写った帳票のレイアウトを考慮して枠内に収まるように付加情報４ａの位置が決定される。よって、帳票を使用した業務の利便性が向上する。

［第２の実施の形態］
第２の実施の形態について説明する。
第２の実施の形態の情報処理システムは、ＡＲ技術を用いて帳票の撮像画像と帳票に印字されていない付加情報とを重ねて表示し、帳票を使用した業務を支援する。第２の実施の形態で取り扱う帳票には、事務処理に用いられる各種の帳面や帳簿、伝票類が含まれ得る。付加情報には、氏名や住所を含む個人情報など、帳票に印字する枠が設けられているにもかかわらずセキュリティの観点から印字されていない（または、マスキングしている）重要な情報が含まれ得る。

（システムについて）
図２は、第２の実施の形態の情報処理システムの例を示す図である。
第２の実施の形態の情報処理システムは、端末装置１００、ＡＲサーバ２００、帳票管理サーバ３００、帳票登録端末４００を含む。

端末装置１００は、無線通信によりＡＲサーバ２００と通信できる。端末装置１００は、例えば、スマートフォン、携帯電話、タブレット端末などのコンピュータである。端末装置１００は、内蔵または外部接続したカメラによる撮像機能を有する。

ＡＲサーバ２００、帳票管理サーバ３００は、サーバ装置である。帳票登録端末４００は、例えば、パーソナルコンピュータやタブレット端末などのコンピュータである。
ＡＲサーバ２００は、ネットワークＮＷを介して帳票管理サーバ３００と通信できる。帳票管理サーバ３００は、ネットワークＮＷを介してＡＲサーバ２００および帳票登録端末４００と通信できる。ネットワークＮＷは、有線または無線の通信網である。

ＡＲサーバ２００、帳票管理サーバ３００、帳票登録端末４００の少なくとも２つを１つのコンピュータに統合してもよい。
端末装置１００は、帳票を撮像し、撮像画像を画面上に表示する。このとき、端末装置１００は、帳票毎に対応するＡＲマーカを撮像画像から検出し、検出したＡＲマーカの情報（例えば、特徴量）をＡＲサーバ２００へ送信して、ＡＲサーバ２００でＡＲマーカの情報に対応する帳票を特定できるようにする。

端末装置１００は、帳票上でＡＲマーカが印刷された位置にある帳票項目に対応する付加情報をＡＲサーバ２００から取得する。端末装置１００は、取得した付加情報を撮像画像上に重畳して表示する。

ＡＲサーバ２００は、端末装置１００からＡＲマーカの情報を受信した場合、受信したＡＲマーカの情報に対応する付加情報を端末装置１００へ送信する。
帳票管理サーバ３００は、帳票の帳票様式（枠線の位置や種類、ＡＲマーカのデザインなど）を示すオーバレイ情報を管理する。また、帳票管理サーバ３００は、特定の帳票項目に記入された帳票データから付加情報を生成し、生成した付加情報をＡＲサーバ２００へ登録させる。

帳票登録端末４００は、帳票様式の設計や帳票データの記入を行うユーザが操作するコンピュータである。帳票登録端末４００は、帳票管理サーバ３００による管理対象として、設計された帳票様式を示すオーバレイ情報、および帳票に記入された帳票データを帳票管理サーバ３００に登録させる。このとき、帳票登録端末４００は、ＡＲマーカを識別するＡＲマーカ識別番号、および帳票を識別可能な帳票識別情報が記載された帳票項目の情報をオーバレイ情報および帳票データと共に帳票管理サーバ３００に登録させる。

（ＡＲマーカについて）
ＡＲマーカは正方形であり、内部の白領域および白領域を囲う黒枠を有し、白領域の幅と黒枠の幅との比が２：１乃至１４：３になるように定められる。ＡＲマーカの検出は黒枠で行われる。ＡＲマーカの判別は白領域内の画像パターンから抽出される特徴量に基づいて行われる。

特徴量の抽出は、ＡＲマーカから抽出した白領域を所定の分割数（例えば、１６分割（４×４）、２５６分割（１６×１６）など）で分割し、分割領域の各々を数値化することで行われる。つまり、各分割領域に対応する数値の集合がＡＲマーカの特徴量となる。

撮像画像からのＡＲマーカの特徴量の抽出は、撮像画像をグレースケール化し、二値化し、白黒反転した上で、上記白領域（反転しているため、実際には黒背景の領域）を上記分割数で分割し、各分割領域の特徴を数値化することで行われる。但し、撮像画像がカラー画像でない場合にはグレースケール化が省略される。

（ハードウェアについて）
図３は、第２の実施の形態の端末装置のハードウェアの例を示す図である。
端末装置１００は、通信部１０１、ＣＰＵ１０２、ＲＡＭ１０３、不揮発性メモリ１０４、ディスプレイ１０５、キーパッド１０６、音声信号処理部１０７、スピーカ１０７ａ、マイクロホン１０７ｂ、カメラ１０８およびバス１０９を有する。

通信部１０１、ＣＰＵ１０２、ＲＡＭ１０３、不揮発性メモリ１０４、ディスプレイ１０５、キーパッド１０６、音声信号処理部１０７およびカメラ１０８は、バス１０９に接続されている。スピーカ１０７ａおよびマイクロホン１０７ｂは、音声信号処理部１０７に接続されている。

通信部１０１は、無線ＬＡＮ（Local Area Network）や携帯電話網の通信方式に従って無線通信を行う無線インタフェースである。
無線ＬＡＮの通信方式の場合、通信部１０１は、ＣＰＵ１０２からの指示に応じてアクセスポイントをスキャンし、スキャン結果をＣＰＵ１０２に報告する。また、通信部１０１は、ＣＰＵ１０２から指示されたアクセスポイントに接続する手続きを行う。これにより、当該アクセスポイントを介したデータ通信が可能となる。携帯電話網の通信方式の場合、通信部１０１は、ＣＰＵ１０２からの指示に応じて基地局に接続し、基地局を介したデータ通信が可能となる。

ＣＰＵ１０２は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０２は、不揮発性メモリ１０４に記憶されたプログラムやデータの少なくとも一部をＲＡＭ１０３にロードし、プログラムに応じた処理を行う。なお、ＣＰＵ１０２は複数のプロセッサコアを備えてもよく、端末装置１００は複数のプロセッサを備えてもよく、以下で説明する処理を複数のプロセッサまたはプロセッサコアを用いて並列に実行してもよい。また、複数のプロセッサの集合（マルチプロセッサ）を「プロセッサ」と呼んでもよい。

ＲＡＭ１０３は、ＣＰＵ１０２が実行するプログラムやプログラムから参照されるデータを一時的に記憶する揮発性の半導体メモリである。なお、端末装置１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個のメモリを備えてもよい。

不揮発性メモリ１０４は、ＯＳ（Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性の記憶装置である。プログラムには、通信部１０１による無線通信を制御する通信制御プログラムが含まれる。不揮発性メモリ１０４として、例えば、フラッシュメモリを用いることができる。ただし、端末装置１００は、ＨＤＤなど他の種類の記憶装置を備えてもよく、複数の不揮発性の記憶装置を備えてもよい。

ディスプレイ１０５は、ＣＰＵ１０２からの指示に応じて、Ｗｅｂページや静止画像・動画像などのコンテンツ、および、操作画面を表示する。ディスプレイ１０５としては、液晶ディスプレイや有機ＥＬ（ＯＥＬ；Organic Electro-Luminescence）ディスプレイなど、様々な種類のディスプレイを使用できる。

キーパッド１０６は、ユーザからの入力を受け付ける入力装置である。キーパッド１０６は、１または２以上のキーを備え、ユーザによって押下されたキーを示す入力信号をＣＰＵ１０２に出力する。なお、端末装置１００は、キーパッド１０６に代えてまたはキーパッド１０６と共に、タッチパネルなどの他の入力装置を有してもよい。例えば、タッチパネルは、ディスプレイ１０５に重ねて設置される。タッチパネルは、ディスプレイ１０５に対するタッチ操作を検出し、タッチ位置をＣＰＵ１０２に通知する。

音声信号処理部１０７は、ＣＰＵ１０２からの指示に応じて音声信号を処理する。音声信号処理部１０７は、デジタルの音声データを取得し、アナログの音声信号に変換してスピーカ１０７ａに出力する。また、音声信号処理部１０７は、マイクロホン１０７ｂからアナログの音声信号を取得し、デジタルの音声データに変換する。

スピーカ１０７ａは、音声信号処理部１０７から音声信号としての電気信号を取得し、物理振動に変換して音を再生する。例えば、ユーザが通話を行っているとき、通話相手の声や背景雑音が再生される。マイクロホン１０７ｂは、音の物理振動を電気信号に変換し、音声信号としての電気信号を音声信号処理部１０７に出力する。例えば、ユーザが通話を行っているとき、ユーザの声や背景雑音がマイクロホン１０７ｂから入力される。

カメラ１０８は、光学系、撮像素子、ＡＤＣ（Analog-to-Digital Converter）、および信号処理回路などを有する。光学系は、レンズや絞り機構などを含む導光部である。撮像素子は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子である。

ＡＤＣは、撮像素子から出力される電気信号をデジタル信号に変換する回路である。信号処理回路は、ＡＤＣから出力されたデジタル信号に対して画質の調整や符号化などの信号処理を施して画像データを生成する回路である。信号処理回路により生成された画像データは、不揮発性メモリ１０４に書き込まれる。

図４は、第２の実施の形態のＡＲサーバのハードウェアの例を示す図である。
ＡＲサーバ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＨＤＤ２０３、画像信号処理部２０４、入力信号処理部２０５、媒体リーダ２０６および通信インタフェース２０７を有する。上記のユニットは、それぞれバス２０８に接続されている。

ＣＰＵ２０１は、プログラムの命令を実行する演算回路を含むプロセッサである。ＣＰＵ２０１は、ＨＤＤ２０３に記憶されたプログラムやデータの少なくとも一部をＲＡＭ２０２にロードし、プログラムを実行する。なお、ＣＰＵ２０１は複数のプロセッサコアを備えてもよく、ＡＲサーバ２００は複数のプロセッサを備えてもよく、以下で説明する処理を複数のプロセッサまたはプロセッサコアを用いて並列に実行してもよい。また、複数のプロセッサの集合（マルチプロセッサ）を「プロセッサ」と呼んでもよい。

ＲＡＭ２０２は、ＣＰＵ２０１が実行するプログラムやＣＰＵ２０１が演算に用いるデータを一時的に記憶する揮発性の半導体メモリである。なお、ＡＲサーバ２００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個のメモリを備えてもよい。

ＨＤＤ２０３は、ＯＳやミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性の記憶装置である。なお、ＡＲサーバ２００は、フラッシュメモリやＳＳＤ（Solid State Drive）などの他の種類の記憶装置を備えてもよく、複数の不揮発性の記憶装置を備えてもよい。

画像信号処理部２０４は、ＣＰＵ２０１からの命令に従って、ＡＲサーバ２００に接続されたディスプレイ５１に画像を出力する。ディスプレイ５１としては、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）、有機ＥＬ（ＯＥＬ）ディスプレイなどを用いることができる。

入力信号処理部２０５は、ＡＲサーバ２００に接続された入力デバイス５２から入力信号を取得し、ＣＰＵ２０１に出力する。入力デバイス５２としては、マウスやタッチパネルやタッチパッドやトラックボールなどのポインティングデバイス、キーボード、リモートコントローラ、ボタンスイッチなどを用いることができる。また、ＡＲサーバ２００に、複数の種類の入力デバイスが接続されていてもよい。

媒体リーダ２０６は、記録媒体５３に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体５３として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）、半導体メモリなどを使用できる。媒体リーダ２０６は、例えば、記録媒体５３から読み取ったプログラムやデータをＲＡＭ２０２またはＨＤＤ２０３に格納する。

通信インタフェース２０７は、スイッチなどの通信装置とケーブルで接続される有線通信インタフェースでもよいし、基地局またはアクセスポイントと無線リンクで接続される無線通信インタフェースでもよい。

例えば、通信インタフェース２０７は、ネットワークＮＷに接続され、ネットワークＮＷを介して他のコンピュータ（例えば、帳票管理サーバ３００）と通信を行う。また、通信インタフェース２０７は、無線通信網を介して他のコンピュータ（例えば、端末装置１００）と通信を行う。

なお、ＡＲサーバ２００は、媒体リーダ２０６を備えていなくてもよく、ユーザが操作する端末装置（例えば、帳票登録端末４００）から制御可能である場合には画像信号処理部２０４や入力信号処理部２０５を備えていなくてもよい。また、ディスプレイ５１や入力デバイス５２が、ＡＲサーバ２００の筐体と一体に形成されていてもよい。帳票管理サーバ３００および帳票登録端末４００も、ＡＲサーバ２００と同様のハードウェア構成によって実現することができる。

（端末装置の機能について）
図５は、第２の実施の形態の端末装置の機能の例を示すブロック図である。
端末装置１００は、撮像部１１１、マーカ検出部１１２、表示制御部１１３を有する。

撮像部１１１の機能は、カメラ１０８により実現できる。マーカ検出部１１２の機能は、ＣＰＵ１０２により実現できる。表示制御部１１３の機能は、ＣＰＵ１０２および通信部１０１の機能により実現できる。

撮像部１１１は、帳票を撮像し、撮像画像をマーカ検出部１１２および表示制御部１１３へ入力する。
マーカ検出部１１２は、撮像画像からＡＲマーカを検出する。また、マーカ検出部１１２は、検出したＡＲマーカの特徴量を抽出し、表示制御部１１３へ入力する。このとき、マーカ検出部１１２は、ＡＲマーカの白領域を所定の分割数（例えば、２５６分割）で分割し、各分割領域の特徴（黒画素数など）を数値化して特徴量を計算する。

表示制御部１１３は、ＡＲサーバ２００へＡＲマーカの特徴量を送信し、ＡＲサーバ２００を介して帳票管理サーバ３００からＡＲマーカに対応する帳票のオーバレイ情報を取得してもよい。オーバレイ情報を利用することで、表示制御部１１３は、帳票のレイアウトを把握することができ、各帳票項目を容易に特定できるようになる。

また、表示制御部１１３は、ＡＲサーバ２００から帳票識別情報の座標を取得する。帳票識別情報の座標を取得した表示制御部１１３は、帳票上で、取得した座標が示す位置にある帳票項目に印刷されている情報を帳票識別情報として読み取る。

また、表示制御部１１３は、読み取った帳票識別情報をＡＲサーバ２００に送信し、ＡＲサーバ２００からＡＲマーカの特徴量（後述するＡＲマーカ識別番号に対応）と帳票識別情報との組み合わせに対応する付加情報を取得する。そして、表示制御部１１３は、撮像画像と共に、取得した付加情報をディスプレイ１０５に表示する。

付加情報を表示する際、表示制御部１１３は、ＡＲマーカが印刷された帳票項目の枠線を特定し、特定した枠内に収まるように付加情報のサイズを調整した上で、該枠内に付加情報を表示する。例えば、表示制御部１１３は、ＡＲマーカの上下左右に位置する実線を検出し、検出した実線の枠内に収まるように付加情報を表示する。

（ＡＲサーバの機能について）
図６は、第２の実施の形態のＡＲサーバの機能の例を示すブロック図である。
ＡＲサーバ２００は、記憶部２１１および付加情報管理部２１２を有する。

記憶部２１１の機能は、ＲＡＭ２０２およびＨＤＤ２０３により実現できる。付加情報管理部２１２の機能は、ＣＰＵ２０１および通信インタフェース２０７などにより実現できる。

記憶部２１１は、帳票座標データベース２１１ａおよび付加情報データベース２１１ｂを有する。
図７は、第２の実施の形態の帳票座標データベースの例を示す図である。

帳票座標データベース２１１ａは、ＡＲマーカ識別番号と、帳票識別情報の座標と、付加情報の座標とが登録されるデータベースである。
ＡＲマーカ識別番号は、帳票に印刷されるＡＲマーカを個々に識別するための識別情報である。例えば、帳票のレイアウトを表す帳票様式の種類毎にＡＲマーカが設計されている場合、ＡＲマーカ識別番号により帳票様式の種類を特定することができる。

帳票識別情報の座標は、帳票上で、帳票識別情報として利用される情報が印刷される帳票項目の位置を表す位置情報である。該座標は、例えば、帳票全体の左上端を原点とし、帳票識別情報が印刷される帳票項目の枠の左上端を示す座標に設定される。

帳票識別情報は、ＡＲマーカ識別番号と組み合わせて、帳票データが記入された帳票各々を特定できるようにするための識別情報である。例えば、帳票記入者や帳票に名前が記入された人を特定するコードなど（会社コードや社員番号など）が帳票識別情報として利用されうる。

付加情報の座標は、付加情報を表示する位置の座標を表す。該座標は、例えば、ＡＲマーカが印刷される帳票項目上に付加情報を重畳表示する場合、付加情報が重畳表示される帳票項目の枠の左上端を示す座標に設定される。

図８は、第２の実施の形態の付加情報データベースの例を示す図である。
付加情報データベース２１１ｂは、ＡＲマーカ識別番号と、帳票識別情報と、付加情報とが登録されるデータベースである。

付加情報データベース２１１ｂに登録される帳票識別情報は、帳票座標データベース２１１ａに登録された帳票識別情報の座標で特定される帳票上の帳票項目から読み出されたものである。

付加情報データベース２１１ｂに登録される付加情報は、帳票項目に記入された帳票データのうち、印刷せず、ＡＲ技術を利用してディスプレイ１０５上にのみ表示したい帳票データ（以下、秘匿データ）である。帳票データが記入された個々の帳票は、ＡＲマーカ識別番号と帳票識別情報との組み合わせにより特定される。よって、付加情報は、付加情報データベース２１１ｂによって個々の帳票に対応付けられている。

再び図６を参照する。
付加情報管理部２１２は、帳票管理サーバ３００からＡＲマーカ識別番号、および帳票識別情報を取得する。そして、付加情報管理部２１２は、ＡＲマーカ識別番号、帳票識別情報、および付加情報を対応付けて付加情報データベース２１１ｂに登録する。

また、付加情報管理部２１２は、帳票管理サーバ３００から、ＡＲマーカ識別番号毎に、帳票識別情報の座標、および付加情報の座標を取得する。そして、付加情報管理部２１２は、ＡＲマーカ識別番号に対応付けて帳票識別情報の座標および付加情報の座標を帳票座標データベース２１１ａに登録する。

また、付加情報管理部２１２は、帳票管理サーバ３００からＡＲマーカ識別番号と共にＡＲマーカを取得し、取得したＡＲマーカの特徴量を計算して保持する。
（帳票管理サーバの機能について）
図９は、第２の実施の形態の帳票管理サーバの機能の例を示すブロック図である。

帳票管理サーバ３００は、記憶部３１１、帳票登録部３１２、帳票印刷部３１３、および付加情報登録部３１４を有する。
記憶部３１１の機能は、ＲＡＭ２０２、ＨＤＤ２０３または他のメモリなどにより実現できる。帳票登録部３１２、および付加情報登録部３１４の機能は、ＣＰＵ２０１および通信インタフェース２０７などにより実現できる。帳票印刷部３１３の機能は、ＣＰＵ２０１などにより実現できる。

記憶部３１１は、識別番号データベース３１１ａおよびオーバレイ定義データベース３１１ｂを有する。
図１０は、第２の実施の形態の識別番号データベースの例を示す図である。

識別番号データベース３１１ａは、ＡＲマーカ識別番号とオーバレイ識別番号とを対応付けて登録するデータベースである。オーバレイ識別番号は、オーバレイ情報を識別するための識別情報である。識別番号データベース３１１ａによりＡＲマーカとオーバレイ情報とが対応付けられ、ＡＲマーカを特定することによって、帳票のレイアウトなどを示すオーバレイ情報を特定することが可能になる。

図１１は、第２の実施の形態のオーバレイ定義データベースの例を示す図である。
オーバレイ定義データベース３１１ｂは、オーバレイ識別番号と、座標情報と、表示幅（縦）および表示幅（横）とを対応付けて登録するデータベースである。

オーバレイ定義データベース３１１ｂは、オーバレイ識別番号で特定される帳票のレイアウトを定義し、帳票項目の各枠を座標情報と表示幅（縦）および表示幅（横）とで規定する。枠の端点（例えば、左上端）を表す座標情報と、縦方向および横方向の表示幅とが与えられれば、帳票上で該枠を特定することができる。図１１に示すように、帳票上に複数の枠がある場合には、１つのオーバレイ識別番号に対して複数の枠が登録される。

再び図９を参照する。
帳票登録部３１２は、ユーザが設計した帳票のレイアウトを示すオーバレイ情報を帳票登録端末４００から取得し、取得したオーバレイ情報が示す各枠の座標情報および縦・横の表示幅をオーバレイ定義データベース３１１ｂに登録する。

また、帳票登録部３１２は、取得したオーバレイ情報のオーバレイ識別番号と、そのオーバレイ情報のレイアウトを採用する帳票に印刷されるＡＲマーカのＡＲマーカ識別番号とを対応付けて識別番号データベース３１１ａに登録する。

また、帳票登録部３１２は、帳票項目に記入された帳票データと、秘匿データの位置を特定するために帳票上に付与される秘匿スタンプの位置情報と、帳票識別情報を含む帳票項目の位置情報とを帳票登録端末４００から取得する。

帳票上に秘匿スタンプが付与されている場合、帳票登録部３１２は、秘匿スタンプが付与された帳票項目の位置情報を帳票印刷部３１３および付加情報登録部３１４に入力する。また、帳票識別情報を含む帳票項目が指定されている場合、帳票登録部３１２は、指定されている帳票項目を特定するための情報を付加情報登録部３１４に入力する。

帳票印刷部３１３は、帳票管理サーバ３００に直接またはネットワークＮＷを介して接続されたプリンタ７０を用い、オーバレイ情報および帳票データを用いて帳票を印刷する。このとき、帳票印刷部３１３は、秘匿データを印刷せず、代わりに、秘匿データを含む帳票項目の位置にＡＲマーカを印刷する。ＡＲマーカの印刷位置と、帳票項目の枠線との位置関係（例えば、枠の中心など）は予め設定されている。

付加情報登録部３１４は、帳票データから秘匿データを抽出し、抽出した秘匿データを付加情報としてＡＲサーバ２００に登録させる。このとき、付加情報登録部３１４は、ＡＲマーカ識別番号と共に、帳票識別情報を含む帳票項目を特定するための情報をＡＲサーバ２００に送信する。

また、付加情報登録部３１４は、ＡＲサーバ２００からＡＲマーカ識別番号を指定してオーバレイ情報を要求された場合、そのＡＲマーカ識別番号に対応するオーバレイ情報をＡＲサーバ２００に提供する。

（付加情報の表示制御などについて）
図１２は、第２の実施の形態における付加情報の表示方法の例を示す図である。
ここで、帳票が図１２に示すような契約書ＨＹ１０である場合を例に、付加情報の表示方法について、さらに説明する。

（Ａ）の例において、契約書ＨＹ１０は複数の帳票項目（枠線で囲まれた部分）を有し、そのうちの帳票項目ＫＭ１１は秘匿データを含む帳票項目として指定されている。また、帳票項目ＫＭ１２は、帳票識別情報を含む帳票項目として指定されている。

秘匿データを他人に見られないようにする方法としては、（Ｂ）の例に示すように、秘匿データを含む帳票項目ＫＭ１１をシールなどでマスキングする方法が考えられる。しかし、この方法だと契約書ＨＹ１０を利用する正当な権限があるユーザも秘匿データを参照できず、契約書ＨＹ１０を利用した作業に不都合が生じるおそれがある。

第２の実施の形態は、（Ｃ）の例に示すように、秘匿データを契約書ＨＹ１０に印刷せず、代わりにＡＲマーカを付与し、（Ｄ）の例に示すように、ディスプレイ１０５上に秘匿データを表示するＡＲ表示を実現する技術を提案している。この技術を利用すれば、契約書ＨＹ１０を利用する正当な権限を有するユーザはＡＲ表示により秘匿データを参照できるが、正当な権限がないユーザが秘匿データを見ることができない。

よって、秘匿データが漏洩するリスクを回避しつつ、契約書ＨＹ１０を利用した作業には不都合が生じにくくなる。なお、そもそも帳票上に秘匿データが印刷されないため、マスキングの不備などにより秘匿データが漏洩するリスクをなくすことができる。

図１３は、第２の実施の形態における帳票の設計・登録・印刷の例を示す図である。
図１２に示した表示方法を実現するため、図１３に示すような帳票の設計、登録、印刷の工程が行われる。

設計の工程において、ユーザは、（Ａ）の例に示すように、帳票登録端末４００を利用して、帳票のレイアウト（枠線など）を設定し、帳票項目に帳票データを記入する。このとき、ユーザは、秘匿データも記入する。また、ユーザは、秘匿データを含む帳票項目ＫＭ１１に秘匿スタンプを付与し、帳票識別情報を含む帳票項目ＫＭ１２を指定する。

登録の工程において、帳票管理サーバ３００の帳票登録部３１２は、（Ｂ）の例に示すように、秘匿スタンプを検出し、秘匿スタンプを含む帳票項目ＫＭ１１の枠を特定する。
例えば、帳票登録部３１２は、秘匿スタンプの左方向（ａ）に実線を探索し、発見した実線を帳票項目ＫＭ１１の枠の一部と認識する。同様に、帳票登録部３１２は、秘匿スタンプの右方向（ｂ）、上方向（ｃ）、下方向（ｄ）に実線を探索して帳票項目ＫＭ１１の枠の一部をなす実線を発見し、帳票項目ＫＭ１１の枠を特定する。

なお、（Ｂ）の例では実線を探索する方法を示したが、帳票の種類やレイアウトの設計仕様に応じて探索する線種を決めることが好ましい。例えば、太線や鎖線で帳票項目の枠が記載される場合には、太線や鎖線を探索するように上記方法は変形される。

印刷の構成において、帳票管理サーバ３００の帳票印刷部３１３は、（Ｃ）の例に示すように、秘匿データを印刷せず、秘匿データ以外の帳票データを印刷する。また、帳票印刷部３１３は、（Ｂ）で特定した帳票項目ＫＭ１１にＡＲマーカを印刷する。このような工程を経ることで、図１２（Ｄ）に示したようなＡＲ表示が実現できる。

ここで、付加情報を表示する際の処理について、さらに説明する。
図１４は、第２の実施の形態における付加情報のサイズ・位置調整の例を示す図である。

（Ａ）に例示した帳票ＨＹ２０は、秘匿データが記入される帳票項目ＫＭ２１を含む。また、帳票項目ＫＭ２１の幅はＬＡである。端末装置１００により帳票ＨＹ２０が撮像される際、（Ｂ）の例に示すように帳票ＨＹ２０が捩れていると、帳票項目ＫＭ２１の幅はＬＡより小さいＬＢとなる。同様に、（Ｃ）の例に示すように帳票ＨＹ２０が折れていると帳票項目ＫＭ２１の幅はＬＡより小さいＬＣとなる。

付加情報の幅がＬＢやＬＣより小さい場合、（Ｂ）や（Ｃ）のような場合でも付加情報が帳票項目ＫＭ２１の枠内に表示される。一方、付加情報の幅がＬＢやＬＣより大きい場合、（Ｂ）や（Ｃ）のような場合に付加情報が帳票項目ＫＭ２１の枠外にはみ出すことや、他の帳票項目の枠内に表示されることがある。

付加情報が正しく帳票項目に表示されないと、帳票データの視認性が低下するだけでなく、誤った意味に捉えられるおそれすらある。そこで、第２の実施の形態では、帳票ＨＹ２０を撮像した撮像画像から帳票項目ＫＭ２１の枠を検出し、検出した枠に収まるように付加情報のサイズや位置を調整して表示する方法を提案する。

（付加情報の登録について）
図１５は、第２の実施の形態の付加情報の登録の処理フローを示すシーケンス図である。

（Ｓ１０１）帳票登録端末４００を操作するユーザは、帳票様式の設計または予め用意された帳票様式の中から利用する帳票様式を選択する。
帳票様式を設計する場合、ユーザは、帳票様式の設計用プログラムを利用し、帳票の枠線のレイアウト、帳票データを記入するフィールドの設定、帳票項目の設定、フィールドと帳票項目との対応付けなどを行う。帳票登録端末４００は、設計された帳票様式の情報（オーバレイ情報）を保持する。

帳票様式が予め用意されている場合、その帳票様式の情報は、帳票登録端末４００が保持していてもよいし、帳票管理サーバ３００が保持していてもよい。
帳票管理サーバ３００が帳票様式の情報を保持している場合、帳票登録端末４００は、帳票管理サーバ３００から帳票様式の情報を取得し、取得した情報が示す帳票様式を選択可能な状態でユーザに提示する。帳票登録端末４００は、選択された帳票様式の情報（オーバレイ情報）を保持する。

（Ｓ１０２）帳票登録端末４００は、Ｓ１０１で設計または選択された帳票様式に従い画面（例えば、ディスプレイ５１の画面）上に帳票を表示する。このとき、帳票登録端末４００は、帳票に含まれる帳票項目に対しユーザが帳票データを記入可能な状態にする。ユーザは、帳票項目に帳票データを記入する。

また、ユーザは、帳票項目に記入した帳票データのうち、印刷しない秘匿データを含む帳票項目の位置に秘匿スタンプを付与する。また、ユーザは、帳票識別情報を含む帳票項目を指定する。

帳票登録端末４００は、帳票様式および帳票データと共に、秘匿スタンプを付与した位置および帳票識別情報を含む帳票項目を保持する。このとき、帳票登録端末４００は、どの帳票データがどの帳票項目のフィールドに記入されたかを示す情報を帳票データのデータファイルに含めて保持する。

なお、帳票のレイアウトにおける秘匿スタンプの位置および帳票識別情報の位置をオーバレイ情報の一部に含め、帳票様式の種類毎に秘匿データの位置と帳票識別情報の位置が固定されるように変形してもよい。この変形によれば、同じレイアウトの帳票を利用する場合にユーザがいちいち秘匿データの位置や帳票識別情報の位置を指定せずに済む分だけユーザの利便性が向上しうる。

（Ｓ１０３）帳票登録端末４００は、帳票を登録するように帳票管理サーバ３００へ要求する。このとき、帳票登録端末４００は、オーバレイ情報、帳票データ、秘匿スタンプおよび帳票識別情報に関する帳票項目の情報を帳票管理サーバ３００へ送信し、これら帳票に関する情報を登録するように要求する。

（Ｓ１０４）帳票の登録要求を受けた帳票管理サーバ３００の帳票登録部３１２は、帳票登録端末４００から受信した帳票に関する情報から、識別番号データベース３１１ａおよびオーバレイ定義データベース３１１ｂへの登録情報を生成する。

帳票登録部３１２は、帳票に付与された秘匿スタンプの有無を確認し、秘匿スタンプがある場合には帳票に印刷するＡＲマーカを生成または選択し、そのＡＲマーカを識別するためのＡＲマーカ識別番号を設定する。また、帳票登録部３１２は、オーバレイ情報に対応付けるオーバレイ識別番号を設定し、ＡＲマーカ識別番号と対応付けて識別番号データベース３１１ａに登録する（図１０参照）。

また、帳票登録部３１２は、オーバレイ情報から特定される各帳票項目の枠の位置と、帳票全体の左上端との関係を示す座標情報を生成する。例えば、帳票登録部３１２は、帳票全体の左上端を原点とする座標系における各帳票項目の枠の左上端の座標を座標情報とする。

また、帳票登録部３１２は、オーバレイ情報に基づいて各帳票項目の枠の縦方向および横方向の表示幅を特定する。そして、帳票登録部３１２は、オーバレイ識別番号に対応付けて、座標情報と、縦および横方向の表示幅をオーバレイ定義データベース３１１ｂに登録する（図１１参照）。

（Ｓ１０５）帳票登録部３１２は、秘匿スタンプが付与された帳票項目を特定し、特定した帳票項目に記入された帳票データを付加情報に設定する。
（Ｓ１０６）付加情報登録部３１４は、Ｓ１０５で設定された付加情報の登録をＡＲサーバ２００へ要求する。このとき、付加情報登録部３１４は、Ｓ１０５で設定した付加情報、その付加情報に対応するＡＲマーカの画像データ、ＡＲマーカ識別番号、帳票識別情報、帳票識別情報の位置情報（座標）、および付加情報の位置情報（座標）をＡＲサーバ２００へ送信する。

（Ｓ１０７）付加情報の登録要求を受けたＡＲサーバ２００の付加情報管理部２１２は、帳票管理サーバ３００から受信した付加情報を、ＡＲマーカ識別番号および帳票識別情報に対応付けて付加情報データベース２１１ｂに登録する。

また、付加情報管理部２１２は、ＡＲマーカ識別番号に対応付けて帳票識別情報の座標および付加情報の座標を帳票座標データベース２１１ａに登録する。
また、付加情報管理部２１２は、ＡＲマーカの画像データから特徴量を計算する。付加情報管理部２１２は、ＡＲマーカから白領域を抽出し、白領域を所定の分割数（２５６分割など）で分割し、分割領域の各々を数値化してＡＲマーカの特徴量を計算する。そして、付加情報管理部２１２は、計算した特徴量をＡＲマーカ識別番号に対応付けて保持する。

（Ｓ１０８）帳票印刷部３１３は、オーバレイ定義データベース３１１ｂの登録情報に従い、プリンタ７０を利用して、帳票登録端末４００から受信した帳票データおよびＡＲマーカを含む帳票を印刷する。このとき、帳票印刷部３１３は、秘匿データを印刷せず、秘匿スタンプが付与された帳票項目の位置にＡＲマーカを印刷する。ＡＲマーカの印刷位置は、秘匿スタンプが付与された位置でもよいし、帳票項目の枠毎に予め設定された位置でもよい。

ここで、Ｓ１０５に関係する処理について、さらに説明する。
図１６は、第２の実施の形態の付加情報の生成の処理フローを示すフロー図である。
（Ｓ１１１）帳票登録部３１２は、帳票上に秘匿スタンプが付与されているか判定する。秘匿スタンプが付与されている場合、処理はＳ１１２へと進む。

一方、秘匿スタンプが付与されていない場合、秘匿データが存在しないため、ＡＲマーカの印刷およびＡＲ表示のための登録処理が不要になる。そのため、付加情報をＡＲサーバ２００へ登録するＳ１０６、Ｓ１０７の処理が省略され、未登録のままで図１５に示した一連の処理が終了する。

（Ｓ１１２）帳票登録部３１２は、帳票識別情報が指定されているかを判定する。帳票上で帳票識別情報を含む帳票項目を指定することによって、その帳票項目の帳票データが帳票識別情報として指定されている場合、処理はＳ１１３へと進む。

一方、帳票識別情報が指定されていない場合、帳票の撮像画像から帳票識別情報を読み出せず、印刷内容（帳票データを含む帳票）を特定することができない。印刷内容は、ＡＲマーカ識別番号と帳票識別情報との組み合わせで特定されるからである。よって、帳票識別情報が指定されていない場合には、付加情報をＡＲサーバ２００へ登録するＳ１０６、Ｓ１０７の処理が省略され、未登録のままで図１５に示した一連の処理が終了する。

（Ｓ１１３）帳票登録部３１２は、秘匿する帳票項目の枠（以下、秘匿枠）を検出する。例えば、帳票登録部３１２は、秘匿スタンプの上下左右にある実線を検出し、検出した実線を組み合わせた枠を秘匿枠とする。

（Ｓ１１４）帳票登録部３１２は、秘匿データを含む帳票項目の情報として、検出した秘匿枠の情報をオーバレイ識別番号に対応付けて記憶部３１１に保存する。
（Ｓ１１５）帳票登録部３１２は、識別番号データベース３１１ａを参照し、対象とする帳票のオーバレイ識別番号と付加情報の座標との組み合わせに対応するＡＲマーカ識別番号が既に登録されているかを判定する。つまり、帳票登録部３１２は、帳票のレイアウトに対応するＡＲマーカがあるかを判定する。対応するＡＲマーカがある場合、処理はＳ１１７へと進む。一方、対応するＡＲマーカがない場合、処理はＳ１１６へと進む。

（Ｓ１１６）帳票登録部３１２は、新たなＡＲマーカを生成する。
（Ｓ１１７）帳票登録部３１２は、秘匿枠から付加情報を抽出する。つまり、帳票登録部３１２は、秘匿枠に記入された秘匿データを読み出し、読み出した秘匿データを付加情報とする。Ｓ１１７の処理が完了すると、処理はＳ１０６へと進む。

（付加情報の表示について）
図１７は、第２の実施の形態の付加情報の表示の処理フローを示すシーケンス図である。

（Ｓ１２１）端末装置１００の撮像部１１１は、帳票を撮像し、撮像画像を出力する。撮像部１１１が撮像する帳票は、帳票管理サーバ３００の帳票印刷部３１３により印刷されたものである。

（Ｓ１２２）端末装置１００のマーカ検出部１１２は、Ｓ１２１で撮像部１１１が出力した撮像画像からＡＲマーカを検出する。このとき、マーカ検出部１１２は、撮像画像からＡＲマーカの黒枠に基づいてＡＲマーカの検出を行う。ＡＲマーカが検出された場合（検出成功）、処理はＳ１２３へ進む。一方、ＡＲマーカが検出されなかった場合（検出失敗）、図１７に示した一連の処理は終了する。

（Ｓ１２３）マーカ検出部１１２は、撮像画像から検出したＡＲマーカの白領域に含まれる画像パターンからＡＲマーカの特徴量を計算する。
撮像画像がカラー画像である場合、マーカ検出部１１２は、撮像画像をグレースケール化し、二値化し、白黒反転した上で、ＡＲマーカの白領域（反転しているため、実際には黒背景の領域）を所定の分割数で分割し、各分割領域の特徴を数値化する。これらの処理により得られた各分割領域に対応する数値の集合がＡＲマーカの特徴量となる。

上記所定の分割数は、ＡＲサーバ２００が保持する特徴量の計算時に用いた分割数と同じである。なお、撮像画像がカラー画像でない場合にはグレースケール化の処理が省略されうる。

（Ｓ１２４）端末装置１００の表示制御部１１３は、Ｓ１２３の処理で計算されたＡＲマーカの特徴量をＡＲサーバ２００へ送信し、そのＡＲマーカに対応する帳票識別情報の座標をＡＲサーバ２００へ要求する。

（Ｓ１２５）帳票識別情報の座標を要求されたＡＲサーバ２００の付加情報管理部２１２は、受信したＡＲマーカの特徴量からＡＲマーカ識別番号を特定する。そして、付加情報管理部２１２は、特定したＡＲマーカ識別番号を用いて帳票座標データベース２１１ａから帳票識別情報の座標を抽出し、抽出した帳票識別情報の座標を端末装置１００へ送信する。

（Ｓ１２６）帳票識別情報の座標を受信した端末装置１００の表示制御部１１３は、撮像画像の帳票から、受信した座標の位置にある帳票項目の帳票データを帳票識別情報として取得する。このとき、表示制御部１１３は、受信したオーバレイ情報を利用して帳票項目の位置を認識する。

（Ｓ１２７）端末装置１００の表示制御部１１３は、Ｓ１２６で取得した帳票識別情報をＡＲマーカの特徴量と共にＡＲサーバ２００へ送信し、付加情報を要求する。
（Ｓ１２８）付加情報の要求を受けたＡＲサーバ２００の付加情報管理部２１２は、受信したＡＲマーカの特徴量からＡＲマーカ識別番号を特定する。そして、付加情報管理部２１２は、特定したＡＲマーカ識別番号と、端末装置１００から受信した帳票識別情報との組み合わせに対応する付加情報を付加情報データベース２１１ｂから抽出し、抽出した付加情報と共に端末装置１００へ送信する。

（Ｓ１２９）付加情報を受信した端末装置１００の表示制御部１１３は、撮像画像と共に付加情報をディスプレイ１０５に表示する。このとき、表示制御部１１３は、撮像画像の帳票から、付加情報を表示する帳票項目の枠を検出し、検出した枠内に付加情報が収まるように付加情報のサイズおよび表示位置を調整し、調整後の付加情報を表示する。

ここで、Ｓ１２９の処理について、さらに説明する。
図１８は、第２の実施の形態の付加情報等の表示の処理フローを示すフロー図である。
（Ｓ１４１）表示制御部１１３は、付加情報を表示する帳票項目の枠（秘匿枠）を検出する。例えば、表示制御部１１３は、撮像画像の帳票上に印刷されたＡＲマーカの上下左右にある実線を検出し、検出した実線がなす枠を秘匿枠と認識する。

（Ｓ１４２）表示制御部１１３は、Ｓ１４１で検出した枠内に付加情報が収まるかを判定する。枠内に付加情報が収まる場合、処理はＳ１４４へと進む。一方、枠内に付加情報が収まらない場合、処理はＳ１４３へと進む。

（Ｓ１４３）表示制御部１１３は、Ｓ１４１で検出した枠に収まる大きさに付加情報を縮小する。このとき、表示制御部１１３は、枠の中心付近に付加情報が表示されるように表示位置をあわせて調整してもよいし、枠のゆがみや形状にあわせて付加情報の姿勢を調整（回転など）してもよい。

（Ｓ１４４）表示制御部１１３は、撮像画像に付加情報を重畳して表示させる。つまり、表示制御部１１３は、撮像画像の帳票上の秘匿枠に収まるように、その帳票上に付加情報を重畳して表示させる。Ｓ１４４の処理が完了すると、図１８に示した一連の処理は終了する。

（変形例）
ここで、第２の実施の形態の一変形例について述べる。
図１９は、第２の実施の形態の一変形例に係る付加情報の表示方法を示す図である。

（Ａ１）に示すように、帳票ＨＹ３０は、帳票項目ＫＭ３１、ＫＭ３２を有する。また、帳票ＨＹ３０にはＡＲマーカが印刷されている。帳票項目ＫＭ３１は課長の承認済みであることを示す課長印が押される領域である。帳票項目ＫＭ３２は部長の承認済みであることを示す部長印が押される領域である。課長の承認は、部長の承認の前に行われる。

この変形例によれば、（Ａ１）のように、帳票項目ＫＭ３１、ＫＭ３２に帳票データ（印）がない場合、ディスプレイ１０５には、「課長の承認が必要です」という次の処理を促すメッセージＦＪ３１がＡＲ表示される。また、（Ｂ１）のように、帳票項目ＫＭ３１に帳票データＹＮ３１がある場合、ディスプレイ１０５には、「部長の承認が必要です」という次の処理を促すメッセージＦＪ３２がＡＲ表示される。

このように、ＡＲマーカと帳票データとを組み合わせて帳票の状態を特定し、特定した状態に応じたメッセージを出力することで、ユーザの利便性を高めることができる。
以上、第２の実施の形態について説明した。

第２の実施の形態によれば、撮像画像にＡＲマーカが含まれる場合に、帳票に対応する付加情報が撮像画像と重なってディスプレイ１０５に表示されるため、帳票を使用した業務を効率化できる。例えば、個人情報などの重要な情報を帳票に印字せず付加情報として秘匿することで、重要な情報が帳票を通じて漏洩するリスクを低減できる。

また、帳票を撮像するとディスプレイ１０５には印字された情報と印字されなかった重要な情報とが合わせて表示されるため、漏洩リスク低減の見地から帳票に重要な情報が印字されていなくても、帳票を使用した業務を円滑に行うことができる。

また、付加情報が表示される位置が、撮像画像上のＡＲマーカの位置と撮像画像に写った帳票のレイアウトとに基づいて決定されるため、帳票に折れや撚れなどのレイアウトの乱れがあっても、適切な位置に付加情報が表示される。

帳票では、意図した枠と異なる枠に付加情報が表示されると、付加情報の意味が変わってしまうことがある。しかし、第２の実施の形態の技術によれば、正しく枠内に収まるように付加情報の位置が決定されるため、ユーザが正しく付加情報の意味を把握でき、帳票を使用した業務の利便性が低下するリスクを抑制することができる。

１ 情報処理装置
１ａ 制御部
２ 撮像装置
３ 表示装置
４ 記憶装置
４ａ 付加情報
５ 撮像画像
５ａ 帳票画像
５ｂ マーカ画像

Claims (6)

1. コンピュータに、
   撮像装置を用いて撮像された撮像画像に、所定のマーカ画像が含まれるか判定し、
   前記撮像画像に前記所定のマーカ画像が含まれる場合、前記撮像画像に含まれる帳票画像が示す帳票に対応する、記憶装置に記憶された付加情報を取得し、
   前記撮像画像上の前記所定のマーカ画像の位置に応じた枠線を前記撮像画像から検出し、表示装置に表示された前記撮像画像上の前記枠線内の位置に、前記枠線の大きさに収まるサイズで前記付加情報を表示させる、
   処理を実行させる表示制御プログラム。
2. 前記帳票画像から、前記所定のマーカ画像を囲む前記枠線を検出する、
   請求項１記載の表示制御プログラム。
3. 前記帳票画像から、前記帳票を識別する識別情報を検出し、
   前記識別情報に基づいて、前記帳票に対応する前記付加情報を取得する、
   請求項１または２に記載の表示制御プログラム。
4. 前記帳票に対応する前記付加情報は、複数の付加情報の候補の中から、前記所定のマーカ画像と前記識別情報との組み合わせに基づいて選択される、
   請求項３記載の表示制御プログラム。
5. コンピュータが実行する表示制御方法であって、
   撮像装置を用いて撮像された撮像画像に、所定のマーカ画像が含まれるか判定し、
   前記撮像画像に前記所定のマーカ画像が含まれる場合、前記撮像画像に含まれる帳票画像が示す帳票に対応する、記憶装置に記憶された付加情報を取得し、前記撮像画像上の前記所定のマーカ画像の位置に応じた枠線を前記撮像画像から検出し、表示装置に表示された前記撮像画像上の前記枠線内の位置に、前記枠線の大きさに収まるサイズで前記付加情報を表示させる、
   表示制御方法。
6. 撮像装置を用いて撮像された撮像画像に、所定のマーカ画像が含まれるか判定し、前記撮像画像に前記所定のマーカ画像が含まれる場合、前記撮像画像に含まれる帳票画像が示す帳票に対応する、記憶装置に記憶された付加情報を取得し、前記撮像画像上の前記所定のマーカ画像の位置に応じた枠線を前記撮像画像から検出し、表示装置に表示された前記撮像画像上の前記枠線内の位置に、前記枠線の大きさに収まるサイズで前記付加情報を表示させる制御部、
   を有する情報処理装置。

Images