JP6421528B2 - 表示制御プログラム、表示制御方法及び情報処理装置 - Google Patents

Description

本発明は表示制御プログラム、表示制御方法及び情報処理装置に関する。

近年、センサを用いて把握された現実の空間を示す情報に対して、現実の空間に存在しない付加情報を追加してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術は、センサとしての撮像装置と、撮像装置を用いて撮像された撮像画像を表示する表示装置とを備えた端末装置上に実装されることがある。ＡＲ技術の一例として、撮像画像の中に写ったオブジェクトに対応する付加情報をデータベースから検索し、検索した付加情報と撮像画像とを重ねて表示装置に表示させるものがある。これにより、現実の空間と現実の空間に存在しない仮想的なオブジェクトとを合成した仮想的な空間を、表示装置を通じてユーザに体験させることができる。

なお、紙媒体書類と電子媒体書類とを関連付けて活用する混合メディアリアリティ（ＭＭＲ：Mixed Media Reality）システムが提案されている。このＭＭＲシステムは、カメラを用いて紙媒体書類を撮像すると、紙媒体書類が写った撮像画像の特徴量を算出し、特徴量を用いてデータベースから紙媒体書類に対応する電子媒体書類を検索する。

国際公開第２００７／０２３９９４号

ところで、紙の帳票を使用した業務では、業務担当者は帳票に印字された印字データの他に、帳票に印字されていない付加情報を参照したいことがある。例えば、ある人物の氏名が帳票に印字されているとき、その人物のプロファイルを確認したいことがある。また、ある数値が帳票に印字されているとき、その数値に関連するグラフを見たいことがある。そこで、ＡＲ技術を用いて、付加情報を容易に確認できるようにする方法が考えられる。すなわち、業務担当者の端末装置において帳票を撮像すると、帳票に印字されていない付加情報を撮像画像と重ねて表示装置に表示するシステムが考えられる。

しかし、帳票に対してＡＲ技術を適用した場合、撮像画像の中で付加情報を重畳する位置が問題となる。帳票を使用した業務では、ＡＲ技術を用いて表示される付加情報と合わせて、帳票に印字された印字データ自体も確認したいことがある。そのため、帳票の印字データの上に重ねて付加情報が表示されてしまうと、印字データの確認が容易でなくなり、帳票を使用した業務の利便性が低下する可能性がある。一方、帳票の中の何れの領域が印字データによって埋められているかは、帳票によって異なる可能性がある。

１つの側面では、本発明は、付加情報を重畳したときの画像上での帳票の視認性を改善できる表示制御プログラム、表示制御方法及び情報処理装置を提供することを目的とする。

１つの態様では、コンピュータに以下の処理を実行させる表示制御プログラムが提供される。記憶手段に記憶された帳票データに基づいて、帳票を撮像した撮像画像の中で、帳票データを用いて印字された帳票上の印字データの領域を検出する。表示装置に表示された撮像画像上の、検出した印字データの領域外に、帳票に対応する付加情報を撮像画像と重畳させて表示装置に表示させる。

また、１つの態様では、コンピュータが実行する表示制御方法が提供される。
また、１つの態様では、制御部を有する情報処理装置が提供される。

１つの側面では、付加情報を重畳したときの画像上での帳票の視認性を改善できる。

第１の実施の形態の情報処理システムの例を示す図である。 第２の実施の形態の情報処理システムの例を示す図である。 第２の実施の形態の端末装置のハードウェアの例を示す図である。 第２の実施の形態の帳票管理サーバのハードウェアの例を示す図である。 第２の実施の形態の端末装置の機能の例を示すブロック図である。 第２の実施の形態のＡＲサーバの機能の例を示すブロック図である。 第２の実施の形態のＡＲデータベースの例を示す図である。 第２の実施の形態の帳票管理サーバの機能の例を示すブロック図である。 第２の実施の形態の帳票データベースの例を示す図である。 第２の実施の形態の帳票の例を示す図である。 第２の実施の形態のデータ部領域の例を示す図である。 第２の実施の形態の付加情報の表示の例を示す図である。 第２の実施の形態の付加情報の表示可能領域の例を示す図である。 第２の実施の形態の付加情報の登録の処理フローを示すシーケンス図である。 第２の実施の形態の付加情報の表示の処理フローを示すシーケンス図である。

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の情報処理システムの例を示す図である。

第１の実施の形態の情報処理システムは、ＡＲ技術を用いて帳票の撮像画像と帳票に印字されていない付加情報とを重ねて表示し、帳票を使用した業務を支援する。第１の実施の形態で取り扱う帳票には、事務処理に用いられる各種の帳面や帳簿、伝票類が含まれ得る。付加情報には、帳票に印字された氏名に対応する人物プロファイルや、帳票に印字された数値データを可視化したグラフなど、帳票に印字された印字データを補足するための業務上有用な補足情報が含まれ得る。第１の実施の形態の情報処理システムは、情報処理装置１、撮像装置２、表示装置３及び記憶手段４を有する。

情報処理装置１は、後述するように付加情報の表示を制御する。情報処理装置１は、ユーザの操作する端末装置でもよいし、端末装置と通信を行うサーバ装置でもよい。前者はクライアント装置やクライアントコンピュータと呼ばれることもあり、後者はサーバコンピュータと呼ばれることもある。撮像装置２は、ユーザのもつ帳票を撮像する。撮像装置２は、例えば、デジタルスチルカメラ又はデジタルビデオカメラである。表示装置３は、撮像装置２を用いて撮像された撮像画像を表示する。表示装置３は、例えば、液晶ディスプレイである。記憶手段４は、帳票の内容を示す帳票データ４ａを記憶する。記憶手段４は、例えば、ＨＤＤ（Hard Disk Drive）などの不揮発性の記憶装置である。

ここで、撮像装置２及び表示装置３は、ユーザの操作する端末装置に含まれていてもよい。情報処理装置１は、撮像装置２及び表示装置３と一体に形成されていてもよい。すなわち、情報処理装置１が端末装置であってもよい。また、情報処理装置１は、撮像装置２や表示装置３と分離しており、ネットワークを介して通信するようにしてもよい。すなわち、情報処理装置１が端末装置と通信するサーバ装置であってもよい。記憶手段４は、情報処理装置１に含まれていてもよいし、他の情報処理装置に含まれていてもよい。後者の場合、情報処理装置１は、ネットワークを介して他の情報処理装置と通信する。

情報処理装置１は、制御部１ａを有する。制御部１ａは、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサを含んでもよい。また、制御部１ａは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの特定用途の電子回路を含んでもよい。プロセッサは、例えば、情報処理装置１が備えるＲＡＭ（Random Access Memory）やＨＤＤなどの記憶装置に記憶された表示制御プログラムを実行する。なお、複数のプロセッサの集合（マルチプロセッサ）を単に「プロセッサ」と呼ぶこともある。

制御部１ａは、帳票を撮像した撮像画像５の中から印字データ５ａが存在する領域を検出する。印字データ５ａは、電子データである帳票データ４ａに基づいて印字されたものである。帳票に設けられた複数のフィールドのうち、一部のフィールドのみが文字列の印字された印字済フィールドであり、他のフィールドが文字列の印字されていない空のフィールドであることがある。その場合、印字済フィールドは印字データ５ａの領域に包含され、空のフィールドは印字データ５ａの領域から除外されることが好ましい。

印字データ５ａの領域を検出するにあたり、制御部１ａは、記憶手段４に記憶された帳票データ４ａを参照する。例えば、記憶手段４に、複数のフィールドが設けられた帳票のレイアウトを示すレイアウト情報が記憶されているとする。制御部１ａは、例えば、レイアウト情報が示すフィールドに帳票データ４ａの内容を順次割り当てていくことで、帳票の印字済フィールドと空のフィールドとを推定することができる。その結果、撮像画像５の中の印字データ５ａの領域をその他の領域と区別して推定することができる。

そして、制御部１ａは、表示装置３に表示された撮像画像５と重畳させて、撮像画像５に写った帳票に対応する付加情報６を表示装置３に表示させる。付加情報６は、例えば、記憶手段４又は他の記憶装置に、帳票を識別する識別情報と対応付けて記憶される。撮像画像５に写った帳票は、帳票に印字されたＡＲマーカによって識別されるようにしてもよい。ＡＲマーカは、所定の画像パターンをもつ２次元コードであってもよい。例えば、撮像画像５の中からＡＲマーカを抽出し、ＡＲマーカの特徴に対応する識別情報を特定し、識別情報と対応付けられた付加情報を取得する。情報処理装置１と端末装置とが分離している場合、ＡＲマーカの抽出や分析は、端末装置で行ってもよいし制御部１ａで行ってもよい。帳票に対応する付加情報６は、例えば、制御部１ａが取得する。

ここで、制御部１ａは、付加情報６を表示する位置を制御する。情報処理装置１と端末装置とが分離している場合、制御部１ａは、付加情報６の表示位置を端末装置に指示する。付加情報６を表示する位置は、上記で検出した印字データ５ａの領域の外とする。例えば、制御部１ａは、撮像画像５の領域のうち印字データ５ａが存在しない重畳可能領域を算出し、重畳可能領域の中から付加情報６を配置できる位置を算出する。制御部１ａは、重畳可能領域の大きさに合わせて付加情報６の表示サイズを変更してもよい。

第１の実施の形態の情報処理システムによれば、帳票の作成に用いられた帳票データ４ａを参照して、帳票を撮像した撮像画像５の中から印字データ５ａの領域が検出される。そして、帳票に対応する付加情報６が、印字データ５ａの領域の外に表示される。これにより、付加情報６によって帳票の印字データ５ａが隠されてしまうのを抑制し、ユーザが印字データ５ａと付加情報６の両方を同時に確認することが容易となる。すなわち、付加情報６を重畳表示したときの撮像画像５上での帳票の視認性を改善できる。

［第２の実施の形態］
第２の実施の形態について説明する。第２の実施の形態の情報処理システムは、ＡＲ技術を用いて帳票の撮像画像と帳票に印字されていない付加情報とを重ねて表示し、帳票を使用した業務を支援する。

第２の実施の形態で取り扱う帳票には、事務処理に用いられる各種の帳面や帳簿、伝票類が含まれ得る。付加情報には、帳票に印字された氏名に対応する人物プロファイルや、帳票に印字された数値データを可視化したグラフなど、帳票に印字された印字データを補足するための業務上有用な補足情報が含まれ得る。

（システムについて）
図２は、第２の実施の形態の情報処理システムの例を示す図である。
第２の実施の形態の情報処理システムは、端末装置１００、帳票管理サーバ３００、帳票登録端末４００、ＡＲサーバ２００を含む。

端末装置１００は、無線通信によりＡＲサーバ２００と通信できる。端末装置１００は、例えば、スマートフォン、携帯電話、タブレット端末などのコンピュータである。端末装置１００は、内蔵又は外部接続したカメラによる撮像機能を有する。

ＡＲサーバ２００、帳票管理サーバ３００は、サーバ装置である。帳票登録端末４００は、例えば、パーソナルコンピュータやタブレット端末などのコンピュータである。
ＡＲサーバ２００は、ネットワークＮＷを介して帳票管理サーバ３００と通信できる。帳票管理サーバ３００は、ネットワークＮＷを介してＡＲサーバ２００及び帳票登録端末４００と通信できる。ネットワークＮＷは、有線又は無線の通信網である。

ＡＲサーバ２００、帳票管理サーバ３００、帳票登録端末４００の少なくとも２つを１つのコンピュータに統合してもよい。
端末装置１００は、帳票を撮像し、撮像画像を画面上に表示する。このとき、端末装置１００は、撮像画像からＡＲマーカを検出し、検出したＡＲマーカに対応する付加情報をＡＲサーバ２００から取得する。

また、端末装置１００は、画面上の撮像画像の表示位置を示す表示情報をＡＲサーバ２００へ送信し、付加情報の表示位置を示す位置情報を取得する。端末装置１００は、取得した付加情報を、取得した位置情報に従って撮像画像上に重畳して表示する。

ＡＲサーバ２００は、端末装置１００からＡＲマーカの情報を受信した場合に、受信したＡＲマーカの情報に対応する付加情報を端末装置１００へ送信する。
また、ＡＲサーバ２００は、端末装置１００から撮像画像の表示位置を示す表示情報を受信した場合に、受信した表示情報に基づいて付加情報の表示位置を計算し、付加情報の表示位置を示す位置情報を端末装置１００へ送信する。

帳票管理サーバ３００は、帳票の帳票様式（枠線、帳票項目、ＡＲマーカの位置及び種類、付加情報の生成方法など）を示すオーバレイ情報を管理する。また、帳票管理サーバ３００は、帳票の帳票項目毎に記入された帳票データをオーバレイ情報と対応付けて管理する。帳票管理サーバ３００は、帳票データが記入されている帳票項目を含む帳票上の領域（データ部領域）を特定し、データ部領域の情報をＡＲサーバ２００へ提供する。データ部領域の情報は、付加情報の表示位置を決める際に利用される。

帳票登録端末４００は、帳票様式の設計や帳票データの記入を行うユーザが操作するコンピュータである。帳票登録端末４００は、帳票管理サーバ３００による管理対象として、設計された帳票様式を示すオーバレイ情報、及び記入された帳票データを帳票管理サーバ３００に登録させる。

（ＡＲマーカについて）
ＡＲマーカは正方形であり、内部の白領域及び白領域を囲う黒枠を有し、白領域の幅と黒枠の幅との比が２：１乃至１４：３になるように定められる。ＡＲマーカの検出は黒枠で行われる。ＡＲマーカの判別は白領域内の画像パターンから抽出される特徴量に基づいて行われる。

特徴量の抽出は、ＡＲマーカから抽出した白領域を所定の分割数（例えば、１６分割（４×４）、２５６分割（１６×１６）など）で分割し、分割領域の各々を数値化することで行われる。つまり、各分割領域に対応する数値の集合がＡＲマーカの特徴量となる。

撮像画像からのＡＲマーカの特徴量の抽出は、撮像画像をグレースケール化し、二値化し、白黒反転した上で、上記白領域（反転しているため、実際には黒背景の領域）を上記分割数で分割し、各分割領域の特徴を数値化することで行われる。但し、撮像画像がカラー画像でない場合にはグレースケール化が省略される。

（ハードウェアについて）
図３は、第２の実施の形態の端末装置のハードウェアの例を示す図である。
端末装置１００は、通信部１０１、ＣＰＵ１０２、ＲＡＭ１０３、不揮発性メモリ１０４、ディスプレイ１０５、キーパッド１０６、音声信号処理部１０７、スピーカ１０７ａ、マイクロホン１０７ｂ、カメラ１０８及びバス１０９を有する。

通信部１０１、ＣＰＵ１０２、ＲＡＭ１０３、不揮発性メモリ１０４、ディスプレイ１０５、キーパッド１０６、音声信号処理部１０７及びカメラ１０８は、バス１０９に接続されている。スピーカ１０７ａ及びマイクロホン１０７ｂは、音声信号処理部１０７に接続されている。

通信部１０１は、無線ＬＡＮ（Local Area Network）や携帯電話網の通信方式に従って無線通信を行う無線インタフェースである。
無線ＬＡＮの通信方式の場合、通信部１０１は、ＣＰＵ１０２からの指示に応じてアクセスポイントをスキャンし、スキャン結果をＣＰＵ１０２に報告する。また、通信部１０１は、ＣＰＵ１０２から指示されたアクセスポイントに接続する手続きを行う。これにより、当該アクセスポイントを介したデータ通信が可能となる。携帯電話網の通信方式の場合、通信部１０１は、ＣＰＵ１０２からの指示に応じて基地局に接続し、基地局を介したデータ通信が可能となる。

ＣＰＵ１０２は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０２は、不揮発性メモリ１０４に記憶されたプログラムやデータの少なくとも一部をＲＡＭ１０３にロードし、プログラムに応じた処理を行う。なお、ＣＰＵ１０２は複数のプロセッサコアを備えてもよく、端末装置１００は複数のプロセッサを備えてもよく、以下で説明する処理を複数のプロセッサ又はプロセッサコアを用いて並列に実行してもよい。また、複数のプロセッサの集合（マルチプロセッサ）を「プロセッサ」と呼んでもよい。

ＲＡＭ１０３は、ＣＰＵ１０２が実行するプログラムやプログラムから参照されるデータを一時的に記憶する揮発性の半導体メモリである。なお、端末装置１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個のメモリを備えてもよい。

不揮発性メモリ１０４は、ＯＳやミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、及び、データを記憶する不揮発性の記憶装置である。プログラムには、通信部１０１による無線通信を制御する通信制御プログラムが含まれる。不揮発性メモリ１０４として、例えば、フラッシュメモリを用いることができる。ただし、端末装置１００は、ＨＤＤなど他の種類の記憶装置を備えてもよく、複数の不揮発性の記憶装置を備えてもよい。

ディスプレイ１０５は、ＣＰＵ１０２からの指示に応じて、Ｗｅｂページや静止画像・動画像などのコンテンツ、及び、操作画面を表示する。ディスプレイ１０５としては、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＥＬ：Organic Electro-Luminescence）ディスプレイなど、様々な種類のディスプレイを使用できる。

キーパッド１０６は、ユーザからの入力を受け付ける入力装置である。キーパッド１０６は、１又は２以上のキーを備え、ユーザによって押下されたキーを示す入力信号をＣＰＵ１０２に出力する。なお、端末装置１００は、キーパッド１０６に代えて又はキーパッド１０６と共に、タッチパネルなどの他の入力装置を有してもよい。例えば、タッチパネルは、ディスプレイ１０５に重ねて設置される。タッチパネルは、ディスプレイ１０５に対するタッチ操作を検出し、タッチ位置をＣＰＵ１０２に通知する。

音声信号処理部１０７は、ＣＰＵ１０２からの指示に応じて音声信号を処理する。音声信号処理部１０７は、デジタルの音声データを取得し、アナログの音声信号に変換してスピーカ１０７ａに出力する。また、音声信号処理部１０７は、マイクロホン１０７ｂからアナログの音声信号を取得し、デジタルの音声データに変換する。

スピーカ１０７ａは、音声信号処理部１０７から音声信号としての電気信号を取得し、物理振動に変換して音を再生する。例えば、ユーザが通話を行っているとき、通話相手の声や背景雑音が再生される。マイクロホン１０７ｂは、音の物理振動を電気信号に変換し、音声信号としての電気信号を音声信号処理部１０７に出力する。例えば、ユーザが通話を行っているとき、ユーザの声や背景雑音がマイクロホン１０７ｂから入力される。

カメラ１０８は、光学系、撮像素子、ＡＤＣ（Analog-to-Digital Converter）、及び信号処理回路などを有する。光学系は、レンズや絞り機構などを含む導光部である。撮像素子は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子である。

ＡＤＣは、撮像素子から出力される電気信号をデジタル信号に変換する回路である。信号処理回路は、ＡＤＣから出力されたデジタル信号に対して画質の調整や符号化などの信号処理を施して画像データを生成する回路である。信号処理回路により生成された画像データは、不揮発性メモリ１０４に書き込まれる。

図４は、第２の実施の形態の帳票管理サーバのハードウェアの例を示す図である。
ＡＲサーバ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＨＤＤ２０３、画像信号処理部２０４、入力信号処理部２０５、媒体リーダ２０６及び通信インタフェース２０７を有する。上記のユニットは、それぞれバス２０８に接続されている。

ＣＰＵ２０１は、プログラムの命令を実行する演算回路を含むプロセッサである。ＣＰＵ２０１は、ＨＤＤ２０３に記憶されたプログラムやデータの少なくとも一部をＲＡＭ２０２にロードし、プログラムを実行する。なお、ＣＰＵ２０１は複数のプロセッサコアを備えてもよく、ＡＲサーバ２００は複数のプロセッサを備えてもよく、以下で説明する処理を複数のプロセッサ又はプロセッサコアを用いて並列に実行してもよい。また、複数のプロセッサの集合（マルチプロセッサ）を「プロセッサ」と呼んでもよい。

ＲＡＭ２０２は、ＣＰＵ２０１が実行するプログラムやＣＰＵ２０１が演算に用いるデータを一時的に記憶する揮発性の半導体メモリである。なお、ＡＲサーバ２００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個のメモリを備えてもよい。

ＨＤＤ２０３は、ＯＳ（Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、及び、データを記憶する不揮発性の記憶装置である。なお、ＡＲサーバ２００は、フラッシュメモリやＳＳＤ（Solid State Drive）などの他の種類の記憶装置を備えてもよく、複数の不揮発性の記憶装置を備えてもよい。

画像信号処理部２０４は、ＣＰＵ２０１からの命令に従って、ＡＲサーバ２００に接続されたディスプレイ５１に画像を出力する。ディスプレイ５１としては、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）、有機ＥＬ（ＯＥＬ）ディスプレイなどを用いることができる。

入力信号処理部２０５は、ＡＲサーバ２００に接続された入力デバイス５２から入力信号を取得し、ＣＰＵ２０１に出力する。入力デバイス５２としては、マウスやタッチパネルやタッチパッドやトラックボールなどのポインティングデバイス、キーボード、リモートコントローラ、ボタンスイッチなどを用いることができる。また、ＡＲサーバ２００に、複数の種類の入力デバイスが接続されていてもよい。

媒体リーダ２０６は、記録媒体５３に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体５３として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）、半導体メモリなどを使用できる。媒体リーダ２０６は、例えば、記録媒体５３から読み取ったプログラムやデータをＲＡＭ２０２又はＨＤＤ２０３に格納する。

通信インタフェース２０７は、スイッチなどの通信装置とケーブルで接続される有線通信インタフェースでもよいし、基地局又はアクセスポイントと無線リンクで接続される無線通信インタフェースでもよい。

例えば、通信インタフェース２０７は、ネットワークＮＷに接続され、ネットワークＮＷを介して他のコンピュータ（例えば、帳票管理サーバ３００）と通信を行う。また、通信インタフェース２０７は、無線通信網を介して他のコンピュータ（例えば、端末装置１００）と通信を行う。

なお、ＡＲサーバ２００は、媒体リーダ２０６を備えていなくてもよく、ユーザが操作する端末装置（例えば、帳票登録端末４００）から制御可能である場合には画像信号処理部２０４や入力信号処理部２０５を備えていなくてもよい。また、ディスプレイ５１や入力デバイス５２が、ＡＲサーバ２００の筐体と一体に形成されていてもよい。帳票管理サーバ３００及び帳票登録端末４００も、ＡＲサーバ２００と同様のハードウェア構成によって実現することができる。

（端末装置の機能について）
図５は、第２の実施の形態の端末装置の機能の例を示すブロック図である。
端末装置１００は、撮像部１１１、マーカ検出部１１２、付加情報取得部１１３、表示制御部１１４を有する。

撮像部１１１の機能は、カメラ１０８により実現できる。マーカ検出部１１２、表示制御部１１４の機能は、ＣＰＵ１０２により実現できる。付加情報取得部１１３の機能は、ＣＰＵ１０２及び通信部１０１の機能により実現できる。

撮像部１１１は、帳票を撮像し、撮像画像をマーカ検出部１１２及び表示制御部１１４へ入力する。
マーカ検出部１１２は、撮像画像からＡＲマーカを検出する。また、マーカ検出部１１２は、検出したＡＲマーカの特徴量を抽出し、付加情報取得部１１３へ入力する。このとき、マーカ検出部１１２は、ＡＲマーカの白領域を所定の分割数（例えば、２５６分割）で分割し、各分割領域の特徴（黒画素数など）を数値化して特徴量を計算する。

付加情報取得部１１３は、ＡＲサーバ２００へＡＲマーカの特徴量を送信し、ＡＲサーバ２００からＡＲマーカに対応する付加情報を取得する。
また、付加情報取得部１１３は、表示制御部１１４から、撮像画像をディスプレイ１０５に表示する場合の画面上の撮像画像の表示位置を示す表示情報を取得する。そして、付加情報取得部１１３は、取得した表示情報をＡＲサーバ２００へ送信し、付加情報を表示する位置を示す位置情報をＡＲサーバ２００から取得する。

付加情報取得部１１３は、取得した付加情報及びその付加情報に対応する位置情報を表示制御部１１４へ入力する。表示制御部１１４は、付加情報取得部１１３から入力された位置情報に従い撮像画像に付加情報を重畳してディスプレイ１０５に表示する。

（ＡＲサーバの機能について）
図６は、第２の実施の形態のＡＲサーバの機能の例を示すブロック図である。
ＡＲサーバ２００は、記憶部２１１、付加情報管理部２１２、表示可能領域設定部２１３、付加情報調整部２１４を有する。

記憶部２１１の機能は、ＲＡＭ２０２及びＨＤＤ２０３により実現できる。付加情報管理部２１２、表示可能領域設定部２１３、付加情報調整部２１４の機能は、ＣＰＵ２０１及び通信インタフェース２０７などにより実現できる。

記憶部２１１は、ＡＲデータベース（ＤＢ）２１１ａを有する。
図７は、第２の実施の形態のＡＲデータベースの例を示す図である。
ＡＲデータベース２１１ａは、マーカ識別情報、付加情報、標準サイズ、帳票ＩＤが登録されるデータベースである。

マーカ識別情報は、ＡＲマーカを識別する識別番号と、ＡＲマーカの特徴量とを含む。図７の例において、ＡＲデータベース２１１ａには、識別番号ＡＲ０１のＡＲマーカの特徴量０１００１０、及び識別番号ＡＲ０２のＡＲマーカの特徴量０１１０１１が登録されている。

付加情報は、端末装置１００のディスプレイ１０５に表示される帳票の撮像画像に重畳表示される画像データである。図７の例において、ＡＲデータベース２１１ａには、画像データＰ−ＡＲ０１、Ｐ−ＡＲ０２が登録されている。

標準サイズは、付加情報として登録された画像のサイズを示す情報である。図７の例において、ＡＲデータベース２１１ａには、画像データＰ−ＡＲ０１の標準サイズとして３００×４００（ピクセル）、画像データＰ−ＡＲ０２の標準サイズとして１００×１００（ピクセル）が登録されている。

帳票ＩＤは、各帳票を識別する識別情報である。ＡＲデータベース２１１ａでは、帳票ＩＤにより、帳票毎にマーカ識別情報、付加情報、標準サイズが対応付けられる。図７の例において、ＡＲデータベース２１１ａには、帳票ＩＤがＨＹＯ０１、ＨＹＯ０２のレコードが登録されている。

再び図６を参照する。
付加情報管理部２１２は、帳票管理サーバ３００から、マーカ識別情報、付加情報、標準サイズ、帳票ＩＤを取得する。そして、付加情報管理部２１２は、取得したマーカ識別情報、付加情報、標準サイズ、帳票ＩＤをＡＲデータベース２１１ａに登録する。

表示可能領域設定部２１３は、端末装置１００のディスプレイ１０５に付加情報を表示することが可能な表示可能領域を計算する。このとき、表示可能領域設定部２１３は、帳票上で帳票データが記入されているデータ部領域の情報を帳票管理サーバ３００から取得し、端末装置１００のディスプレイ１０５の領域のうち、取得したデータ部領域外の領域を表示可能領域に設定する。

付加情報調整部２１４は、表示可能領域設定部２１３が設定した表示可能領域に含まれる範囲内で付加情報の画像サイズを縮小する。例えば、付加情報調整部２１４は、表示可能領域よりも標準サイズが大きい付加情報を、表示可能領域に収まるように縮小する。

また、付加情報調整部２１４は、表示可能領域の中で付加情報が表示される位置を決定し、調整後の付加情報と共に表示位置の情報を端末装置１００へ送信する。このとき、付加情報調整部２１４は、例えば、付加情報が相互に重ならない条件下で、ＡＲマーカとの距離が最小となるように付加情報の表示位置を決定してもよい。

（帳票管理サーバの機能について）
図８は、第２の実施の形態の帳票管理サーバの機能の例を示すブロック図である。
帳票管理サーバ３００は、記憶部３１１、帳票管理部３１２、付加情報登録部３１３、及びデータ部領域設定部３１４を有する。

記憶部３１１の機能は、ＲＡＭ２０２、ＨＤＤ２０３又は他のメモリなどにより実現できる。帳票管理部３１２、付加情報登録部３１３、データ部領域設定部３１４の機能は、ＣＰＵ２０１及び通信インタフェース２０７などにより実現できる。

記憶部３１１は、帳票データベース（ＤＢ）３１１ａを有する。
図９は、第２の実施の形態の帳票データベースの例を示す図である。
帳票データベース３１１ａは、帳票ＩＤと、帳票様式と、帳票データとが登録されるデータベースである。

帳票ＩＤは、各帳票を識別するための識別情報である。図９の例において、帳票データベース３１１ａには、帳票ＩＤがそれぞれＨＹＯ０１、ＨＹＯ０２の２つのレコードが登録されている。

帳票様式は、帳票上の枠線、帳票項目、ＡＲマーカの位置及び種類、付加情報の生成方法などである。図９の例において、帳票データベース３１１ａには、帳票様式を示すオーバレイ情報ＡＡＡが登録されている。

帳票データは、帳票の帳票項目に記入されたデータである。図９の例において、帳票データベース３１１ａには、帳票ＩＤがＨＹＯ０１の帳票上の帳票データを含むデータファイルＵ０１．ｄａｔ、及び帳票ＩＤがＨＹＯ０２の帳票上の帳票データを含むデータファイルＵ０２．ｄａｔが登録されている。

再び図８を参照する。
帳票管理部３１２は、帳票登録端末４００から帳票様式を示すオーバレイ情報及び帳票データを取得し、取得したオーバレイ情報及び帳票データを帳票データベース３１１ａに登録する。帳票管理部３１２は、帳票管理サーバ３００に直接又はネットワークＮＷを介して接続されたプリンタ７０を用い、帳票様式に従って帳票データを含む帳票を印刷する。このとき、帳票管理部３１２は、帳票にＡＲマーカを印刷する。

付加情報登録部３１３は、オーバレイ情報に含まれる付加情報の生成方法に従い、帳票データから付加情報を生成する。例えば、付加情報登録部３１３は、月別売上高を示す帳票データの数値からグラフを生成し、グラフの画像データを付加情報とする。付加情報登録部３１３は、帳票データベース３１１ａに登録された帳票の帳票ＩＤ、その帳票に付されたＡＲマーカ、及び付加情報をＡＲサーバ２００に送信して登録させる。

データ部領域設定部３１４は、ＡＲサーバ２００からデータ部領域の問い合わせを受けたとき、帳票データベース３１１ａに登録されているオーバレイ情報及び帳票データに基づき、帳票データが記入されている帳票上のデータ部領域を特定する。そして、データ部領域設定部３１４は、特定したデータ部領域の情報をＡＲサーバ２００へ送信する。

（表示可能領域の設定方法などについて）
図１０は、第２の実施の形態の帳票の例を示す図である。
請求書Ｔ１０は帳票の一例である。

請求書Ｔ１０は、帳票項目Ｔ１１、Ｔ１２、Ｔ１３、Ｔ１４、Ｔ１５を含む。帳票項目Ｔ１１、Ｔ１２、Ｔ１４、Ｔ１５には、それぞれ矩形枠の左上端にＡＲマーカＭ１、Ｍ２、Ｍ４、Ｍ５が付されている。ＡＲマーカを付す位置は、帳票登録端末４００を利用してユーザが任意に設定できる。帳票項目Ｔ１１、Ｔ１２、Ｔ１３、Ｔ１４、Ｔ１５内に記入されている文字や数字は帳票データの一例である。

帳票項目Ｔ１１は、請求先の情報（住所、名称など）を含む項目である。帳票項目Ｔ１２は、請求元の情報（住所、名称、電話番号など）を含む項目である。帳票項目Ｔ１３は、請求額（総額）の情報を含む項目である。帳票項目Ｔ１４は、請求明細（発注日の日付、商品名、数量、単価、金額など）の情報を含む項目である。帳票項目Ｔ１５は、月別の合計請求額（１月合計、２月合計など）の情報を含む項目である。

例えば、帳票項目Ｔ１１に含まれる住所の情報から地図データを付加情報として生成することができる。また、帳票項目Ｔ１１に含まれる名称の情報から個人のプロフィールデータを付加情報として生成することができる。帳票項目Ｔ１２についても同様である。

地図データやプロフィールデータは、帳票管理サーバ３００の記憶部３１１に予め登録されていてもよいし、付加情報登録部３１３がＷｅｂから検索して取得してもよい。
帳票項目Ｔ１４に含まれる日付と数値から棒グラフや円グラフなどのグラフを付加情報として生成することができる。帳票項目Ｔ１５についても同様である。

どの帳票項目について、どのような付加情報を重畳表示するかは、帳票の設計時に帳票登録端末４００を利用してユーザが任意に設定でき、オーバレイ情報として帳票データベース３１１ａに登録される。また、図１０の例では帳票項目Ｔ１１、Ｔ１２、Ｔ１３、Ｔ１４、Ｔ１５に帳票データが記入されているが、帳票データベース３１１ａに登録されている帳票データを参照すれば、帳票データが記入されている帳票項目の特定ができる。

また、帳票項目が複数のフィールド（例えば、金額を記入する枠）を含む場合、帳票データから空のフィールドの特定ができる。図１０の例において、帳票項目Ｔ１４のうち、備考欄には何も記入されていない。そのため、帳票管理サーバ３００のデータ部領域設定部３１４により帳票項目Ｔ１４の備考欄は空のフィールドとして特定される。

図１０の例では帳票項目Ｔ１１、Ｔ１２、Ｔ１３、Ｔ１４、Ｔ１５に帳票データが記入されているため、帳票管理サーバ３００のデータ部領域設定部３１４により、図１１に示すようなデータ部領域Ｔ２０が特定される。このとき、データ部領域設定部３１４は、空のフィールドを含まないようにデータ部領域Ｔ２０を特定する。

図１１は、第２の実施の形態のデータ部領域の例を示す図である。
データ部領域Ｔ２０の情報が得られると、ＡＲサーバ２００の表示可能領域設定部２１３は、図１２に示すように表示可能領域Ｔ３０を設定できる。図１２は、第２の実施の形態の付加情報の表示の例を示す図である。つまり、表示可能領域設定部２１３は、端末装置１００のディスプレイ１０５の画面内で、請求書Ｔ１０の表示位置からデータ部領域Ｔ２０が占める範囲を割り出し、その範囲外に表示可能領域Ｔ３０を設定する。

表示可能領域Ｔ３０が設定されると、ＡＲサーバ２００の付加情報調整部２１４は、付加情報Ａ１１、Ａ１２が表示可能領域Ｔ３０に収まるようにサイズを調整する。また、付加情報調整部２１４は、付加情報Ａ１１、Ａ１２が互いに重ならず、それぞれ対応するＡＲマーカからの距離が短く（例えば、最小）なるように付加情報Ａ１１、Ａ１２の位置を決定する。

付加情報Ａ１１、Ａ１２の位置が決定されると、端末装置１００の表示制御部１１４は、図１２に示すように、決定された位置に付加情報Ａ１１、Ａ１２を重畳表示する。これにより、付加情報Ａ１１、Ａ１２によって帳票データが隠されてしまうのを抑制し、ユーザが帳票データの内容と付加情報Ａ１１、Ａ１２とを同時に確認することが容易となる。すなわち、付加情報を重畳表示したときの撮像画像上での帳票の視認性を改善できる。

図１３は、第２の実施の形態の付加情報の表示可能領域の例を示す図である。
上記のように、帳票データが記入されている帳票項目を含むようにデータ部領域が設定され、データ部領域外に付加情報の表示可能領域が設定される。また、帳票項目に複数のフィールドを含み、そのフィールドに記入される帳票データの数（例えば、表の記入済み行数）が可変の帳票の場合、空欄になっているフィールドに重なるように表示可能領域を設定することができる。

図１３（Ａ）に示すように、表示可能領域は、帳票に印字がされている帳票項目のフィールドを避けるように設定される。フィールドに印字がされているかは、帳票データベース３１１ａに登録されている帳票データを参照すれば判定することができる。一方、図１３（Ｂ）に示すように、フィールドに帳票データが印字されていない空欄のフィールドには、表示可能領域が設定され得る。このように、印字がない空欄のフィールドに重なるように表示可能領域を設定することにより、付加情報の表示のために帳票上の領域を有効に利用できるようになり、付加情報をより多く又は大きく表示できるため、視認性の向上に寄与する。

（付加情報の登録について）
図１４は、第２の実施の形態の付加情報の登録の処理フローを示すシーケンス図である。

（Ｓ１０１）帳票登録端末４００を操作するユーザは、帳票様式の設計又は予め用意された帳票様式の中から利用する帳票様式を選択する。
帳票様式を設計する場合、ユーザは、帳票様式の設計用プログラムを利用し、帳票の枠線のレイアウト、帳票データを記入するフィールドの設定、帳票項目の設定、フィールドと帳票項目との対応付けなどを行う。

また、ユーザは、帳票項目毎にＡＲマーカを付与するかどうか、どのようなＡＲマーカを付与するか（ＡＲマーカのデザイン）、及びＡＲマーカに割り当てるマーカ識別番号と付加情報の生成方法を定義する。ここでユーザが定義した内容も帳票様式に含まれる。帳票登録端末４００は、設計された帳票様式の情報（オーバレイ情報）を保持する。

帳票様式が予め用意されている場合、その帳票様式の情報は、帳票登録端末４００が保持していてもよいし、帳票管理サーバ３００が保持していてもよい。帳票管理サーバ３００が帳票様式の情報を保持している場合、帳票登録端末４００は、帳票管理サーバ３００から帳票様式の情報を取得し、取得した情報が示す帳票様式を選択可能な状態でユーザに提示する。帳票登録端末４００は、選択された帳票様式の情報（オーバレイ情報）を保持する。

（Ｓ１０２）帳票登録端末４００は、Ｓ１０１で設計又は選択された帳票様式に従い画面（例えば、ディスプレイ５１の画面）上に帳票を表示する。このとき、帳票登録端末４００は、帳票に含まれる帳票項目に対しユーザが帳票データを記入可能な状態にする。ユーザは、帳票項目に帳票データを記入する。

また、ユーザは、個々に帳票を識別する帳票ＩＤを帳票に付与する。但し、帳票データが記入された帳票毎に帳票登録端末４００が帳票ＩＤを自動的に付与してもよい。帳票登録端末４００は、帳票様式、帳票データ、帳票ＩＤを対応付けて保持する。このとき、帳票登録端末４００は、どの帳票データがどの帳票項目のフィールドに記入されたかを示す情報を帳票データのデータファイルに含めて保持する。

（Ｓ１０３）帳票登録端末４００は、帳票を登録するように帳票管理サーバ３００へ要求する。このとき、帳票登録端末４００は、帳票の情報（帳票様式）、帳票データ、帳票ＩＤを帳票管理サーバ３００へ送信し、該帳票の情報を登録するように要求する。帳票管理サーバ３００に含まれる帳票の情報にはオーバレイ情報も含まれる。

（Ｓ１０４）帳票の登録要求を受けた帳票管理サーバ３００の帳票管理部３１２は、帳票登録端末４００から受信した帳票の情報を帳票データベース３１１ａ（例えば、図９を参照）に登録する。

（Ｓ１０５）帳票管理部３１２は、Ｓ１０４で帳票データベース３１１ａに登録した帳票様式に従い、プリンタ７０を利用して帳票データを記入した帳票を印刷する。このとき、帳票様式で定義されているＡＲマーカも帳票上に印刷される。

（Ｓ１０６）帳票管理サーバ３００の付加情報登録部３１３は、帳票様式でＡＲマーカ毎に定義された付加情報の生成方法に従い、ＡＲマーカが付与される帳票項目に記入された帳票データを用いて付加情報を生成する。

例えば、「月別合計金額」の帳票項目にＡＲマーカが付され、そのＡＲマーカに割り当てられた付加情報の生成が「棒グラフの生成」である場合、付加情報登録部３１３は、該当する帳票項目の帳票データ（金額）から棒グラフを生成する（図１２のＡ１１参照）。

（Ｓ１０７）付加情報登録部３１３は、Ｓ１０６で生成した付加情報の登録をＡＲサーバ２００へ要求する。このとき、付加情報登録部３１３は、Ｓ１０６で生成した付加情報、その付加情報に対応するＡＲマーカのマーカ識別番号及び画像データ、そのＡＲマーカが付された帳票に対応する帳票ＩＤをＡＲサーバ２００へ送信する。

（Ｓ１０８）付加情報の登録要求を受けたＡＲサーバ２００の付加情報管理部２１２は、帳票管理サーバ３００から受信した付加情報をＡＲデータベース２１１ａに登録する。このとき、付加情報管理部２１２は、付加情報と共に受信した帳票ＩＤ及びマーカ識別番号を対応付けてＡＲデータベース２１１ａに登録する。

また、付加情報管理部２１２は、ＡＲマーカの画像データから特徴量を計算する。付加情報管理部２１２は、ＡＲマーカから白領域を抽出し、白領域を所定の分割数（２５６分割など）で分割し、分割領域の各々を数値化してＡＲマーカの特徴量を計算する。そして、付加情報管理部２１２は、マーカ識別情報として、上記のマーカ識別番号と共に、計算した特徴量をＡＲデータベース２１１ａへ登録する。

（付加情報の表示について）
図１５は、第２の実施の形態の付加情報の表示の処理フローを示すシーケンス図である。

（Ｓ１１１）端末装置１００の撮像部１１１は、帳票を撮像し、撮像画像を出力する。撮像部１１１が撮像する帳票は、帳票管理サーバ３００の帳票管理部３１２により印刷されたものである。

（Ｓ１１２）端末装置１００のマーカ検出部１１２は、Ｓ１１１で撮像部１１１が出力した撮像画像からＡＲマーカを検出する。このとき、マーカ検出部１１２は、撮像画像からＡＲマーカの黒枠に基づいてＡＲマーカの検出を行う。ＡＲマーカが検出された場合（検出成功）、処理はＳ１１３へ進む。一方、ＡＲマーカが検出されなかった場合（検出失敗）、図１５に示した一連の処理は終了する。

（Ｓ１１３）マーカ検出部１１２は、撮像画像から検出したＡＲマーカの白領域に含まれる画像パターンからＡＲマーカの特徴量を計算する。
撮像画像がカラー画像である場合、マーカ検出部１１２は、撮像画像をグレースケール化し、二値化し、白黒反転した上で、ＡＲマーカの白領域（反転しているため、実際には黒背景の領域）を所定の分割数で分割し、各分割領域の特徴を数値化する。これらの処理により得られた各分割領域に対応する数値の集合がＡＲマーカの特徴量となる。

上記所定の分割数は、ＡＲサーバ２００のＡＲデータベース２１１ａに登録されている特徴量の計算時に用いた分割数と同じである。なお、撮像画像がカラー画像でない場合にはグレースケール化の処理が省略され得る。

（Ｓ１１４）端末装置１００の付加情報取得部１１３は、Ｓ１１３で計算したＡＲマーカの特徴量をＡＲサーバ２００へ送信し、ＡＲマーカに対応する付加情報を要求する。
（Ｓ１１５）付加情報の要求を受けたＡＲサーバ２００の表示可能領域設定部２１３は、ＡＲデータベース２１１ａに登録されたＡＲマーカの特徴量のうち、端末装置１００から受信したＡＲマーカの特徴量に最も近い特徴量を抽出する。

例えば、特徴量がビット列で表現されている場合、付加情報取得部１１３は、ビット列同士の距離（例えば、ハミング距離）が最も短くなる特徴量を抽出する。
また、表示可能領域設定部２１３は、抽出した特徴量に対応する帳票ＩＤをＡＲデータベース２１１ａから抽出する。

（Ｓ１１６）表示可能領域設定部２１３は、帳票のうち、帳票データが記入されている帳票項目のフィールドを全て含むデータ部領域の情報（データ部領域情報）を帳票管理サーバ３００に要求する。このとき、表示可能領域設定部２１３は、Ｓ１１５で特定した帳票ＩＤを帳票管理サーバ３００へ送信する。

（Ｓ１１７）データ部領域情報の要求を受けた帳票管理サーバ３００のデータ部領域設定部３１４は、ＡＲサーバ２００から受信した帳票ＩＤに対応する帳票様式及び帳票データを帳票データベース３１１ａから抽出する。

データ部領域設定部３１４は、帳票データベース３１１ａから抽出した帳票様式及び帳票データに基づき帳票データが記入されている帳票項目のフィールドを特定する。そして、データ部領域設定部３１４は、特定したフィールドを全て含むようにデータ部領域を設定する。

（Ｓ１１８）データ部領域設定部３１４は、Ｓ１１７で設定したデータ部領域の情報をＡＲサーバ２００へ送信する。
（Ｓ１１９）データ部領域情報を受信したＡＲサーバ２００の表示可能領域設定部２１３は、撮像画像が表示された場合における端末装置１００の表示画面内でデータ部領域外の領域を計算し、計算した領域を表示可能領域とする（図１２のＴ３０参照）。

（Ｓ１２０）ＡＲサーバ２００の付加情報調整部２１４は、付加情報が表示可能領域に収まるように付加情報の画像サイズを調整する。
例えば、付加情報調整部２１４は、ＡＲデータベース２１１ａに登録された標準サイズを参照し、表示可能領域より大きな付加情報の画像サイズを縮小する。

複数の付加情報がある場合、付加情報調整部２１４は、付加情報の画像が互いに重ならず、全てに付加情報が表示可能領域に収まるように各付加情報の画像サイズを縮小する。
表示可能領域に比べて標準サイズが小さい場合、付加情報調整部２１４は、表示可能領域に収まる範囲で付加情報を拡大してもよい。

また、付加情報調整部２１４は、調整後の各付加情報について表示可能領域における表示位置を設定する。
（Ｓ１２１）付加情報調整部２１４は、Ｓ１２０で調整後の付加情報及び各付加情報の表示位置（付加情報等）を端末装置１００へ送信する。

（Ｓ１２２）付加情報等を受信した端末装置１００の付加情報取得部１１３は、付加情報等を表示制御部１１４へ入力する。表示制御部１１４は、撮像画像をディスプレイ１０５に表示する。また、表示制御部１１４は、Ｓ１２０で設定された付加情報の表示位置に基づき撮像画像に付加情報を重畳して表示する。

（変形例）
図１５の例では、ＡＲマーカから帳票ＩＤが特定されているが、端末装置１００にユーザが帳票ＩＤを手入力し、端末装置１００からＡＲサーバ２００へと送信されるシステムに変形することもできる。さらに、ユーザの手入力に代えて、端末装置１００が撮像画像から帳票ＩＤを自動認識するシステムに変形してもよい。例えば、帳票ＩＤが印刷される場所が予め設定されていれば、その場所に記載された文字や数字のデータを、ＯＣＲ（Optical Character Recognition）技術により撮像画像から読み取ることができる。

以上、第２の実施の形態について説明した。
第２の実施の形態に係る技術によれば、帳票の作成に用いられた帳票データを参照して、帳票を撮像した撮像画像の中から表示可能領域が検出される。そして、帳票に対応する付加情報が、表示可能領域の外に表示される。これにより、付加情報によって帳票データの印刷内容が隠されてしまうのを抑制し、ユーザが印刷内容と付加情報の両方を同時に確認することが容易となる。すなわち、付加情報を重畳表示したときの撮像画像上での帳票の視認性を改善できる。

１ 情報処理装置
１ａ 制御部
２ 撮像装置
３ 表示装置
４ 記憶手段
４ａ 帳票データ
５ 撮像画像
５ａ 印字データ
６ 付加情報

Claims (5)

1. コンピュータに、
   記憶手段に記憶された帳票データに基づいて、帳票を撮像した撮像画像の中で、前記帳票データを用いて印字された前記帳票上の印字データの領域を検出し、
   表示装置に表示された前記撮像画像上の、検出した前記印字データの領域外に、前記帳票に対応する付加情報を前記撮像画像と重畳させて前記表示装置に表示させる、
   処理を実行させ、
   前記印字データの領域外に、前記帳票に設けられた複数のフィールドのうち前記印字データを含まない空のフィールドを含む、
   表示制御プログラム。
2. 前記記憶手段には、前記複数のフィールドの位置を示すレイアウト情報が記憶され、
   前記帳票データと前記レイアウト情報とに基づいて、前記複数のフィールドが、前記印字データを含む印字済フィールドと前記空のフィールドとに区分される、
   請求項１記載の表示制御プログラム。
3. 前記コンピュータに、
   前記印字データの領域の外である前記撮像画像上の他の領域の大きさに基づいて、前記付加情報の表示サイズを決定する、
   処理を実行させる請求項１または２記載の表示制御プログラム。
4. コンピュータが実行する表示制御方法であって、
   記憶手段に記憶された帳票データに基づいて、帳票を撮像した撮像画像の中で、前記帳票データを用いて印字された前記帳票上の印字データの領域を検出し、
   表示装置に表示された前記撮像画像上の、検出した前記印字データの領域外に、前記帳票に対応する付加情報を前記撮像画像と重畳させて前記表示装置に表示させ、
   前記印字データの領域外に、前記帳票に設けられた複数のフィールドのうち前記印字データを含まない空のフィールドを含む、
   表示制御方法。
5. 記憶手段に記憶された帳票データに基づいて、帳票を撮像した撮像画像の中で、前記帳票データを用いて印字された前記帳票上の印字データの領域を検出し、表示装置に表示された前記撮像画像上の、検出した前記印字データの領域外に、前記帳票に対応する付加情報を前記撮像画像と重畳させて前記表示装置に表示させる制御部、
   を有し、
   前記印字データの領域外に、前記帳票に設けられた複数のフィールドのうち前記印字データを含まない空のフィールドを含む、
   情報処理装置。

Images