JP6361432B2 - 表示制御プログラム、表示制御方法および表示制御装置 - Google Patents

Description

本発明は表示制御プログラム、表示制御方法および表示制御装置に関する。

近年、センサを用いて把握された現実の空間を示す情報に対して、現実の空間に存在しない付加情報を追加してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術は、センサとしての撮像装置と、撮像装置を用いて撮像された撮像画像を表示する表示装置とを備えた端末装置上に実装されることがある。ＡＲ技術の一例として、撮像画像の中に写ったオブジェクトに対応する付加情報をデータベースから検索し、検索した付加情報と撮像画像とを重ねて表示装置に表示させるものがある。これにより、現実の空間と現実の空間に存在しない仮想的なオブジェクトとを合成した仮想的な空間を、表示装置を通じてユーザに体験させることができる。

付加情報の表示方法として、最新の撮像画像に所定の特徴をもつオブジェクトが写っているか判定し、該当するオブジェクトが写っているときのみ付加情報を表示することがある。その場合、付加情報が一度表示されても、該当するオブジェクトが撮像装置の撮像範囲から外れると、表示装置上から付加情報が消えてしまう。付加情報を表示させ続けるには、撮像装置を該当するオブジェクトに向け続けることになる。

これに対し、ＡＲマーカと呼ばれるオブジェクトが入力画像の中から失われた後も、ＡＲマーカに対応するＡＲコンテンツの表示を継続する画像処理装置が提案されている。この画像処理装置は、入力画像の中にＡＲマーカを検出すると、ＡＲマーカに対応するＡＲコンテンツをＡＲ空間に配置し、入力画像に重ねて表示する。このとき、画像処理装置は、入力画像を撮像した撮像装置の位置や姿勢の変化を検出し、検出した変化に応じてＡＲコンテンツをＡＲ空間内で移動させる。これにより、撮像装置の撮像方向がＡＲマーカから離れると、ＡＲコンテンツもＡＲマーカから離れるように移動する。ただし、ＡＲマーカと撮像装置との距離が閾値を超えると、画像処理装置はＡＲコンテンツを消滅させる。

特開２０１３−９２９６４号公報

ところで、ユーザがあるオブジェクトに対応する付加情報を表示装置に表示させた後、表示された付加情報を詳細に確認したいことがある。例えば、付加情報がグラフや地図や長いテキストなど情報量の大きいものである場合、ユーザは表示装置に表示された付加情報を見ながらメモを取るなど、付加情報に対して簡単に目視する以外の作業を行いたいときがある。撮像装置と表示装置とを備える端末装置を使用する場合、ユーザは端末装置を動かして注目するオブジェクトを撮像し、付加情報が表示されると端末装置を机上に置いて付加情報に対する作業を行いたいと考える可能性がある。

しかし、注目するオブジェクトが撮像画像に写っているときのみ付加情報が表示される従来の表示方法では、ユーザが付加情報に対する作業を行おうとするとき、当該オブジェクトが撮像範囲から外れて付加情報が消えてしまうことが生じうる。例えば、端末装置に付加情報を一度表示させても、端末装置を机上に置くと付加情報が消えてしまう。そのため、付加情報を見ながらメモを取るなどの作業が容易でないという問題がある。

なお、特許文献１に記載された表示方法は、ＡＲマーカを検出した時点からの撮像装置の位置や姿勢の変化を監視し、位置や姿勢が所定の範囲内で変化している間はその変化に合わせてＡＲコンテンツの表示を継続するものである。そのため、注目するオブジェクトを決定してそのオブジェクトに対応する付加情報を詳細に確認したい場合における表示方法としては、特許文献１に記載された表示方法は改善の余地がある。

１つの側面では、本発明は、付加情報の確認の容易化を図る表示制御プログラム、表示制御方法および表示制御装置を提供することを目的とする。

１つの態様では、コンピュータに以下の処理を実行させる表示制御プログラムが提供される。撮像手段の撮像範囲の中から対象オブジェクトの指定を受け付ける。対象オブジェクトに対応する付加情報と撮像手段を用いて撮像された撮像画像とを重畳させて表示手段に表示させる第１の表示制御を実行する。対象オブジェクトが撮像範囲から外れたことを検出した場合、第１の表示制御から、対象オブジェクトを特定する情報と付加情報とを表示手段に表示させる第２の表示制御に切り替える。

また、１つの態様では、コンピュータが実行する表示制御方法が提供される。
また、１つの態様では、制御部を有する表示制御装置が提供される。

１つの側面では、付加情報の確認の容易化を図ることができる。

第１の実施の形態の情報処理システムの例を示す図である。 第２の実施の形態の情報処理システムの例を示す図である。 第２の実施の形態の端末装置のハードウェアの例を示す図である。 第２の実施の形態の帳票管理サーバのハードウェアの例を示す図である。 第２の実施の形態の端末装置の機能の例を示すブロック図である。 第２の実施の形態のＡＲサーバの機能の例を示すブロック図である。 第２の実施の形態のＡＲデータベースの例を示す図である。 第２の実施の形態の帳票管理サーバの機能の例を示すブロック図である。 第２の実施の形態の帳票データベースの例を示す図である。 第２の実施の形態の帳票の例を示す図である。 第２の実施の形態の付加情報の表示の例（表示操作）を示す図である。 第２の実施の形態の付加情報の表示の例（全画面表示：指定帳票項目＋付加情報）を示す図である。 第２の実施の形態の付加情報の表示の例（全画面表示：全帳票項目＋付加情報）を示す図である。 第２の実施の形態の付加情報の表示の例（全画面表示の解除）を示す図である。 第２の実施の形態の付加情報の登録の処理フローを示すシーケンス図である。 第２の実施の形態の付加情報の表示の処理フローを示すシーケンス図である。 第２の実施の形態の付加情報の表示制御に係る処理フローを示すフロー図である。

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の情報処理システムの例を示す図である。

第１の実施の形態の情報処理システムは、ＡＲ技術を用いて、ユーザが注目するオブジェクトに対応する付加情報を画面に表示する。例えば、この情報処理システムは、帳票に印字された印字データに対応する、帳票に印字されていない付加情報を表示することで、帳票を使用した業務を支援することができる。その場合、帳票には、事務処理に用いられる各種の帳面や帳簿、伝票類が含まれうる。付加情報には、帳票に印字された氏名に対応する人物プロファイルや、帳票に印字された数値データを可視化したグラフなど、印字データを補足するための業務上有用な補足情報が含まれうる。第１の実施の形態の情報処理システムは、表示制御装置１、撮像手段２および表示手段３を有する。

表示制御装置１は、後述するように表示手段３の表示内容を制御する。表示制御装置１は、ユーザの操作する端末装置でもよいし、端末装置と通信を行うサーバ装置でもよい。前者はクライアント装置やクライアントコンピュータと呼ばれることもあり、後者はサーバコンピュータと呼ばれることもある。撮像手段２は、現実の空間を継続的に撮像する。撮像手段２は、例えば、デジタルスチルカメラまたはデジタルビデオカメラである。表示手段３は、表示制御装置１の制御のもと各種の情報を表示する。表示手段３に表示されうる情報には、撮像手段２を用いて撮像された撮像画像や、撮像画像に写ったオブジェクトに対応する付加情報などが含まれる。表示手段３は、例えば、液晶ディスプレイである。

ここで、撮像手段２および表示手段３は、ユーザの操作する端末装置に含まれていてもよい。表示制御装置１は、撮像手段２および表示手段３と一体に形成されていてもよい。すなわち、表示制御装置１が撮像手段２および表示手段３を含む端末装置であってもよい。また、表示制御装置１は、撮像手段２や表示手段３と分離していてもよい。すなわち、表示制御装置１が端末装置と通信するサーバ装置であってもよい。

表示制御装置１は、制御部１ａを有する。制御部１ａは、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサを含んでもよい。また、制御部１ａは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの特定用途の電子回路を含んでもよい。プロセッサは、例えば、表示制御装置１が備えるＲＡＭ（Random Access Memory）やＨＤＤ（Hard Disk Drive）などの記憶装置に記憶された表示制御プログラムを実行する。なお、複数のプロセッサの集合（マルチプロセッサ）を単に「プロセッサ」と呼ぶこともある。

制御部１ａは、以下に説明する第１の表示制御と第２の表示制御とを選択的に実行する。第１の表示制御では、制御部１ａは、撮像手段２を用いて撮像された撮像画像を表示手段３に表示させる。そして、制御部１ａは、撮像画像に写ったオブジェクトの中から、対象オブジェクトの指定をユーザから受け付ける。撮像画像に帳票が写っている場合、例えば、対象オブジェクトとして帳票の中の１または２以上の帳票項目が指定される。

対象オブジェクトが指定されると、制御部１ａは、指定された対象オブジェクトに対応する付加情報を取得する。付加情報の例として、指定された帳票項目に関連するグラフ画像や製品画像などが挙げられる。付加情報は、例えば、オブジェクトと対応付けてＨＤＤなどの不揮発性の記憶装置に記憶されている。記憶装置は、表示制御装置１が備えていてもよいし、他の情報処理装置が備えていてもよい。後者の場合、制御部１ａは、ネットワークを介して他の情報処理装置から付加情報を取得する。

付加情報を取得すると、制御部１ａは、撮像画像と重畳させて表示手段３に付加情報を表示させる。第１の表示制御は、ユーザが撮像画像の中から対象オブジェクトを指定し、詳細に確認したい付加情報を選択している状態に対応すると言うことができる。第１の表示制御は、対象オブジェクトが撮像手段２の撮像範囲内にある間、すなわち、撮像画像の中に対象オブジェクトが写っている間、継続して実行される。

一方、対象オブジェクトが撮像手段２の撮像範囲から外れたこと、すなわち、撮像画像の中に対象オブジェクトが写っていないことを検出すると、制御部１ａは、表示制御を第１の表示制御から第２の表示制御に切り替える。第２の表示制御では、制御部１ａは、第１の表示制御で指定された対象オブジェクトを特定する情報と、第１の表示制御で表示された付加情報とを対応付けて、表示手段３に表示させる。第２の表示制御では、撮像手段２を用いて撮像した撮像画像は、表示手段３に表示しなくてもよい。

対象オブジェクトを特定する情報は、第１の表示制御のときに撮像した撮像画像の中から抽出した対象オブジェクトの画像でもよいし、予め記憶装置に記憶されたデータであってもよい。他の情報処理装置が当該記憶装置を備えている場合、制御部１ａは、ネットワークを介して他の情報処理装置から対象オブジェクトを特定する情報を取得する。

第２の表示制御は、表示させる付加情報を確定し、ユーザが詳細に付加情報を確認している状態に対応すると言うことができる。付加情報と対応付けて対象オブジェクトを特定する情報を表示することで、表示手段３に撮像画像が表示されていなくても、ユーザは表示中の付加情報が何れのオブジェクトに関連するものかを認識できる。第２の表示制御は、例えば、対象オブジェクトの候補が撮像手段２の撮像範囲内に入るまで、すなわち、撮像画像の中に対象オブジェクトの候補が写るまで、継続して実行される。対象オブジェクトの候補が撮像手段２の撮像範囲内に入ったことを検出すると、制御部１ａは、第２の表示制御を解除し、表示制御を第１の表示制御に切り替える。

例えば、撮像手段２を用いて撮像画像４ａが撮像されると、表示手段３に撮像画像４ａが表示される。撮像画像４ａの中からユーザが対象オブジェクト５を指定すると、制御部１ａは、対象オブジェクト５に対応する付加情報６を取得し、撮像画像４ａと重畳させて付加情報６を表示手段３に表示させる。その後、撮像手段２を用いて、対象オブジェクト５が写っていない撮像画像４ｂが撮像されたとする。撮像手段２の撮像範囲から対象オブジェクト５が外れる場合としては、例えば、ユーザが付加情報６のメモを取るために端末装置を机上に置いた場合などが考えられる。すると、制御部１ａは、対象オブジェクト５を特定する情報と付加情報６とを表示手段３に表示させる。

第１の実施の形態の情報処理システムによれば、対象オブジェクトの候補が撮像手段２の撮像範囲に入っているときは、対象オブジェクトを指定可能にすると共に、指定された対象オブジェクトに対応する付加情報と撮像画像とが重畳して表示手段３に表示される。一方、対象オブジェクトが撮像手段２の撮像範囲から外れると、直前に表示されていた付加情報が対象オブジェクトを特定する情報と対応付けて表示手段３に表示される。

これにより、ユーザによる付加情報の確認が容易となる。すなわち、ユーザは端末装置を動かしながら、対象オブジェクトを次々と指定し、指定した各対象オブジェクトに対応する付加情報を簡単に確認することができる。そして、詳細に確認したい付加情報が見つかると、ユーザは端末装置を机上など安定した場所に置いて、付加情報のメモを取るなどの作業を行うことができる。対象オブジェクトが撮像範囲から外れると、付加情報の選択が確定してその付加情報が継続して表示されるため、ユーザは撮像手段２を対象オブジェクトに向けつつメモを取るなどの作業を行わなくてもよく作業が容易となる。

［第２の実施の形態］
第２の実施の形態について説明する。
第２の実施の形態の情報処理システムは、ＡＲ技術を用いて、ユーザが注目するオブジェクトに対応する付加情報を画面に表示する。例えば、この情報処理システムは、帳票に印字された印字データに対応する、帳票に印字されていない付加情報を表示することで、帳票を使用した業務を支援することができる。

帳票には、事務処理に用いられる各種の帳面や帳簿、伝票類が含まれうる。付加情報には、帳票に印字された氏名に対応する人物プロファイルや、帳票に印字された数値データを可視化したグラフなど、印字データを補足するための業務上有用な補足情報が含まれうる。

（システムについて）
図２は、第２の実施の形態の情報処理システムの例を示す図である。
第２の実施の形態の情報処理システムは、端末装置１００、帳票管理サーバ３００、帳票登録端末４００、ＡＲサーバ２００を含む。

端末装置１００は、無線通信によりＡＲサーバ２００と通信できる。端末装置１００は、例えば、スマートフォン、携帯電話、タブレット端末などのコンピュータである。端末装置１００は、内蔵または外部接続したカメラによる撮像機能を有する。

ＡＲサーバ２００、帳票管理サーバ３００は、サーバ装置である。帳票登録端末４００は、例えば、パーソナルコンピュータやタブレット端末などのコンピュータである。
ＡＲサーバ２００は、ネットワークＮＷを介して帳票管理サーバ３００と通信できる。帳票管理サーバ３００は、ネットワークＮＷを介してＡＲサーバ２００および帳票登録端末４００と通信できる。ネットワークＮＷは、有線または無線の通信網である。

ＡＲサーバ２００、帳票管理サーバ３００、帳票登録端末４００の少なくとも２つを１つのコンピュータに統合してもよい。
端末装置１００は、帳票を撮像し、撮像画像を画面上に表示する。このとき、端末装置１００は、帳票毎に対応するＡＲマーカを撮像画像から検出し、検出したＡＲマーカの情報（例えば、特徴量）をＡＲサーバ２００へ送信して、ＡＲサーバ２００でＡＲマーカの情報に対応する帳票を特定できるようにする。

帳票に含まれる帳票項目をユーザが指定すると、端末装置１００は、指定された帳票項目に対応する付加情報をＡＲサーバ２００から取得する。端末装置１００は、取得した付加情報を撮像画像上に重畳してまたは撮像画像外の表示領域に表示する。また、端末装置１００は、帳票が撮像範囲を外れた場合に撮像画像および付加情報の表示を維持する。

ＡＲサーバ２００は、端末装置１００からＡＲマーカの情報を受信した場合、受信したＡＲマーカの情報に対応する付加情報を端末装置１００へ送信する。
帳票管理サーバ３００は、帳票の帳票様式（枠線、帳票項目、ＡＲマーカの位置および種類、付加情報の生成方法など）を示すオーバレイ情報を管理する。また、帳票管理サーバ３００は、帳票の帳票項目毎に記入された帳票データをオーバレイ情報と対応付けて管理する。

帳票登録端末４００は、帳票様式の設計や帳票データの記入を行うユーザが操作するコンピュータである。帳票登録端末４００は、帳票管理サーバ３００による管理対象として、設計された帳票様式を示すオーバレイ情報、および記入された帳票データを帳票管理サーバ３００に登録させる。このとき、帳票登録端末４００は、帳票を識別する識別情報である帳票ＩＤ、および帳票に付するＡＲマーカをオーバレイ情報に対応付けて帳票管理サーバ３００に登録させる。

（ＡＲマーカについて）
ＡＲマーカは正方形であり、内部の白領域および白領域を囲う黒枠を有し、白領域の幅と黒枠の幅との比が２：１乃至１４：３になるように定められる。ＡＲマーカの検出は黒枠で行われる。ＡＲマーカの判別は白領域内の画像パターンから抽出される特徴量に基づいて行われる。

特徴量の抽出は、ＡＲマーカから抽出した白領域を所定の分割数（例えば、１６分割（４×４）、２５６分割（１６×１６）など）で分割し、分割領域の各々を数値化することで行われる。つまり、各分割領域に対応する数値の集合がＡＲマーカの特徴量となる。

撮像画像からのＡＲマーカの特徴量の抽出は、撮像画像をグレースケール化し、二値化し、白黒反転した上で、上記白領域（反転しているため、実際には黒背景の領域）を上記分割数で分割し、各分割領域の特徴を数値化することで行われる。但し、撮像画像がカラー画像でない場合にはグレースケール化が省略される。

（ハードウェアについて）
図３は、第２の実施の形態の端末装置のハードウェアの例を示す図である。
端末装置１００は、通信部１０１、ＣＰＵ１０２、ＲＡＭ１０３、不揮発性メモリ１０４、ディスプレイ１０５、キーパッド１０６、音声信号処理部１０７、スピーカ１０７ａ、マイクロホン１０７ｂ、カメラ１０８およびバス１０９を有する。

通信部１０１、ＣＰＵ１０２、ＲＡＭ１０３、不揮発性メモリ１０４、ディスプレイ１０５、キーパッド１０６、音声信号処理部１０７およびカメラ１０８は、バス１０９に接続されている。スピーカ１０７ａおよびマイクロホン１０７ｂは、音声信号処理部１０７に接続されている。

通信部１０１は、無線ＬＡＮ（Local Area Network）や携帯電話網の通信方式に従って無線通信を行う無線インタフェースである。
無線ＬＡＮの通信方式の場合、通信部１０１は、ＣＰＵ１０２からの指示に応じてアクセスポイントをスキャンし、スキャン結果をＣＰＵ１０２に報告する。また、通信部１０１は、ＣＰＵ１０２から指示されたアクセスポイントに接続する手続きを行う。これにより、当該アクセスポイントを介したデータ通信が可能となる。携帯電話網の通信方式の場合、通信部１０１は、ＣＰＵ１０２からの指示に応じて基地局に接続し、基地局を介したデータ通信が可能となる。

ＣＰＵ１０２は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０２は、不揮発性メモリ１０４に記憶されたプログラムやデータの少なくとも一部をＲＡＭ１０３にロードし、プログラムに応じた処理を行う。なお、ＣＰＵ１０２は複数のプロセッサコアを備えてもよく、端末装置１００は複数のプロセッサを備えてもよく、以下で説明する処理を複数のプロセッサまたはプロセッサコアを用いて並列に実行してもよい。また、複数のプロセッサの集合（マルチプロセッサ）を「プロセッサ」と呼んでもよい。

ＲＡＭ１０３は、ＣＰＵ１０２が実行するプログラムやプログラムから参照されるデータを一時的に記憶する揮発性の半導体メモリである。なお、端末装置１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個のメモリを備えてもよい。

不揮発性メモリ１０４は、ＯＳやミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性の記憶装置である。プログラムには、通信部１０１による無線通信を制御する通信制御プログラムが含まれる。不揮発性メモリ１０４として、例えば、フラッシュメモリを用いることができる。ただし、端末装置１００は、ＨＤＤなど他の種類の記憶装置を備えてもよく、複数の不揮発性の記憶装置を備えてもよい。

ディスプレイ１０５は、ＣＰＵ１０２からの指示に応じて、Ｗｅｂページや静止画像・動画像などのコンテンツ、および、操作画面を表示する。ディスプレイ１０５としては、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＥＬ：Organic Electro-Luminescence）ディスプレイなど、様々な種類のディスプレイを使用できる。

キーパッド１０６は、ユーザからの入力を受け付ける入力装置である。キーパッド１０６は、１または２以上のキーを備え、ユーザによって押下されたキーを示す入力信号をＣＰＵ１０２に出力する。なお、端末装置１００は、キーパッド１０６に代えてまたはキーパッド１０６と共に、タッチパネルなどの他の入力装置を有してもよい。例えば、タッチパネルは、ディスプレイ１０５に重ねて設置される。タッチパネルは、ディスプレイ１０５に対するタッチ操作を検出し、タッチ位置をＣＰＵ１０２に通知する。

音声信号処理部１０７は、ＣＰＵ１０２からの指示に応じて音声信号を処理する。音声信号処理部１０７は、デジタルの音声データを取得し、アナログの音声信号に変換してスピーカ１０７ａに出力する。また、音声信号処理部１０７は、マイクロホン１０７ｂからアナログの音声信号を取得し、デジタルの音声データに変換する。

スピーカ１０７ａは、音声信号処理部１０７から音声信号としての電気信号を取得し、物理振動に変換して音を再生する。例えば、ユーザが通話を行っているとき、通話相手の声や背景雑音が再生される。マイクロホン１０７ｂは、音の物理振動を電気信号に変換し、音声信号としての電気信号を音声信号処理部１０７に出力する。例えば、ユーザが通話を行っているとき、ユーザの声や背景雑音がマイクロホン１０７ｂから入力される。

カメラ１０８は、光学系、撮像素子、ＡＤＣ（Analog-to-Digital Converter）、および信号処理回路などを有する。光学系は、レンズや絞り機構などを含む導光部である。撮像素子は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子である。

ＡＤＣは、撮像素子から出力される電気信号をデジタル信号に変換する回路である。信号処理回路は、ＡＤＣから出力されたデジタル信号に対して画質の調整や符号化などの信号処理を施して画像データを生成する回路である。信号処理回路により生成された画像データは、不揮発性メモリ１０４に書き込まれる。

図４は、第２の実施の形態の帳票管理サーバのハードウェアの例を示す図である。
ＡＲサーバ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＨＤＤ２０３、画像信号処理部２０４、入力信号処理部２０５、媒体リーダ２０６および通信インタフェース２０７を有する。上記のユニットは、それぞれバス２０８に接続されている。

ＣＰＵ２０１は、プログラムの命令を実行する演算回路を含むプロセッサである。ＣＰＵ２０１は、ＨＤＤ２０３に記憶されたプログラムやデータの少なくとも一部をＲＡＭ２０２にロードし、プログラムを実行する。なお、ＣＰＵ２０１は複数のプロセッサコアを備えてもよく、ＡＲサーバ２００は複数のプロセッサを備えてもよく、以下で説明する処理を複数のプロセッサまたはプロセッサコアを用いて並列に実行してもよい。また、複数のプロセッサの集合（マルチプロセッサ）を「プロセッサ」と呼んでもよい。

ＲＡＭ２０２は、ＣＰＵ２０１が実行するプログラムやＣＰＵ２０１が演算に用いるデータを一時的に記憶する揮発性の半導体メモリである。なお、ＡＲサーバ２００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個のメモリを備えてもよい。

ＨＤＤ２０３は、ＯＳ（Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性の記憶装置である。なお、ＡＲサーバ２００は、フラッシュメモリやＳＳＤ（Solid State Drive）などの他の種類の記憶装置を備えてもよく、複数の不揮発性の記憶装置を備えてもよい。

画像信号処理部２０４は、ＣＰＵ２０１からの命令に従って、ＡＲサーバ２００に接続されたディスプレイ５１に画像を出力する。ディスプレイ５１としては、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）、有機ＥＬ（ＯＥＬ）ディスプレイなどを用いることができる。

入力信号処理部２０５は、ＡＲサーバ２００に接続された入力デバイス５２から入力信号を取得し、ＣＰＵ２０１に出力する。入力デバイス５２としては、マウスやタッチパネルやタッチパッドやトラックボールなどのポインティングデバイス、キーボード、リモートコントローラ、ボタンスイッチなどを用いることができる。また、ＡＲサーバ２００に、複数の種類の入力デバイスが接続されていてもよい。

媒体リーダ２０６は、記録媒体５３に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体５３として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）、半導体メモリなどを使用できる。媒体リーダ２０６は、例えば、記録媒体５３から読み取ったプログラムやデータをＲＡＭ２０２またはＨＤＤ２０３に格納する。

通信インタフェース２０７は、スイッチなどの通信装置とケーブルで接続される有線通信インタフェースでもよいし、基地局またはアクセスポイントと無線リンクで接続される無線通信インタフェースでもよい。

例えば、通信インタフェース２０７は、ネットワークＮＷに接続され、ネットワークＮＷを介して他のコンピュータ（例えば、帳票管理サーバ３００）と通信を行う。また、通信インタフェース２０７は、無線通信網を介して他のコンピュータ（例えば、端末装置１００）と通信を行う。

なお、ＡＲサーバ２００は、媒体リーダ２０６を備えていなくてもよく、ユーザが操作する端末装置（例えば、帳票登録端末４００）から制御可能である場合には画像信号処理部２０４や入力信号処理部２０５を備えていなくてもよい。また、ディスプレイ５１や入力デバイス５２が、ＡＲサーバ２００の筐体と一体に形成されていてもよい。帳票管理サーバ３００および帳票登録端末４００も、ＡＲサーバ２００と同様のハードウェア構成によって実現することができる。

（端末装置の機能について）
図５は、第２の実施の形態の端末装置の機能の例を示すブロック図である。
端末装置１００は、撮像部１１１、マーカ検出部１１２、付加情報取得部１１３、表示制御部１１４を有する。

撮像部１１１の機能は、カメラ１０８により実現できる。マーカ検出部１１２、表示制御部１１４の機能は、ＣＰＵ１０２により実現できる。付加情報取得部１１３の機能は、ＣＰＵ１０２および通信部１０１の機能により実現できる。

撮像部１１１は、帳票を撮像し、撮像画像をマーカ検出部１１２および表示制御部１１４へ入力する。
マーカ検出部１１２は、撮像画像からＡＲマーカを検出する。また、マーカ検出部１１２は、検出したＡＲマーカの特徴量を抽出し、付加情報取得部１１３へ入力する。このとき、マーカ検出部１１２は、ＡＲマーカの白領域を所定の分割数（例えば、２５６分割）で分割し、各分割領域の特徴（黒画素数など）を数値化して特徴量を計算する。

付加情報取得部１１３は、ＡＲサーバ２００へＡＲマーカの特徴量を送信し、ＡＲサーバ２００を介して帳票管理サーバ３００からＡＲマーカに対応する帳票のオーバレイ情報を取得する。

ユーザにより帳票項目が指定された場合、付加情報取得部１１３は、指定された帳票項目を特定する識別情報である項目識別番号をＡＲサーバ２００に送信し、ＡＲサーバ２００から項目識別番号に対応する付加情報および帳票データを取得する。但し、帳票データは、ＡＲサーバ２００を介して帳票管理サーバ３００から取得される。

付加情報取得部１１３は、取得したオーバレイ情報、帳票データ、および付加情報を表示制御部１１４へ入力する。
表示制御部１１４は、撮像画像と共に付加情報をディスプレイ１０５に表示する。

付加情報を表示する際、表示制御部１１４は、入力装置（キーパッド１０６やタッチパネル）への入力を監視し、マーカ検出部１１２により検出された各ＡＲマーカに対応する帳票項目のうちユーザが指定した１つ以上の帳票項目に対応する付加情報を表示する。

また、表示制御部１１４は、付加情報を表示した状態で、帳票項目の指定を解除する操作（例えば、帳票項目のタッチ操作など）が行われた場合に、解除対象の帳票項目に対応する付加情報を非表示にする。

また、表示制御部１１４は、撮像範囲から帳票が外れていないかを判定する。
例えば、表示制御部１１４は、撮像部１１１により撮像画像が得られる度に、マーカ検出部１１２により帳票のＡＲマーカが検出されたかを判定し、そのＡＲマーカが得られない場合には撮像範囲から帳票が外れていると判定する。

撮像範囲から帳票が外れていると判定した場合、表示制御部１１４は、オーバレイ情報、帳票データ、および付加情報を利用して、ディスプレイ１０５に帳票および付加情報を表示する。つまり、表示制御部１１４は、撮像範囲から帳票が外れた状態でも帳票と付加情報の表示を維持する。

また、表示制御部１１４は、撮像範囲から帳票が外れた後に帳票の表示を維持している状態で、帳票表示の解除操作が行われた場合に、通常の画面表示（例えば、撮像部１１１からリアルタイムに入力される撮像画像の表示など）に切り替える。

また、表示制御部１１４は、撮像範囲から帳票が外れた後に帳票の表示を維持している状態で、撮像範囲内に別の帳票が検出された場合（例えば、別の帳票のＡＲマーカが検出された場合）、別の帳票の撮像画像および付加情報を表示する。

（ＡＲサーバの機能について）
図６は、第２の実施の形態のＡＲサーバの機能の例を示すブロック図である。
ＡＲサーバ２００は、記憶部２１１および付加情報管理部２１２を有する。

記憶部２１１の機能は、ＲＡＭ２０２およびＨＤＤ２０３により実現できる。付加情報管理部２１２の機能は、ＣＰＵ２０１および通信インタフェース２０７などにより実現できる。

記憶部２１１は、ＡＲデータベース（ＤＢ）２１１ａを有する。
図７は、第２の実施の形態のＡＲデータベースの例を示す図である。
ＡＲデータベース２１１ａは、項目識別番号、帳票ＩＤ、対象項目、付加情報が登録されるデータベースである。

項目識別番号は、帳票データが記入された帳票の帳票項目をそれぞれ識別する識別番号である。図７の例において、ＡＲデータベース２１１ａには、４つの項目識別番号ＡＲ０１、ＡＲ０２、ＡＲ０３、ＡＲ０４が登録されている。

帳票ＩＤは、各帳票を識別する識別情報である。図７の例において、ＡＲデータベース２１１ａには、帳票ＩＤがＨＹＯ０１、ＨＹＯ０２のレコードが登録されている。項目識別番号と帳票ＩＤとを組み合わせると、帳票データを含む帳票項目が一意に特定できる。

対象項目は、オーバレイ情報に含まれる帳票様式が示す帳票のレイアウトの中で、個々の帳票項目を特定するための特定情報である。例えば、対象項目を指定することで、帳票データの内容にかかわらずレイアウト中の帳票項目を特定することができる。

付加情報は、端末装置１００のディスプレイ１０５に帳票と共に表示される画像データである。図７の例において、ＡＲデータベース２１１ａには、画像データＰ−ｇｒａｐｈ０１、Ｐ−ｇｒａｐｈ０２、Ｐ−ｍａｐ０１、Ｐ−ｍａｐ０２が登録されている。Ｐ−ｇｒａｐｈ０１、Ｐ−ｇｒａｐｈ０２は付加情報の一例でありグラフ画像の画像データである。Ｐ−ｍａｐ０１、Ｐ−ｍａｐ０２は付加情報の一例であり地図画像の画像データである。

再び図６を参照する。
付加情報管理部２１２は、帳票管理サーバ３００から帳票ＩＤ、対象項目、付加情報を取得する。また、付加情報管理部２１２は、帳票ＩＤと対象項目との組み合わせ毎に項目識別番号を設定する。そして、付加情報管理部２１２は、項目識別番号、帳票ＩＤ、対象項目、付加情報をＡＲデータベース２１１ａに登録する。また、付加情報管理部２１２は、帳票管理サーバ３００から帳票ＩＤと共にＡＲマーカを取得し、取得したＡＲマーカの特徴量を計算して保持する。

（帳票管理サーバの機能について）
図８は、第２の実施の形態の帳票管理サーバの機能の例を示すブロック図である。
帳票管理サーバ３００は、記憶部３１１、帳票管理部３１２、および付加情報登録部３１３を有する。

記憶部３１１の機能は、ＲＡＭ２０２、ＨＤＤ２０３または他のメモリなどにより実現できる。帳票管理部３１２、付加情報登録部３１３の機能は、ＣＰＵ２０１および通信インタフェース２０７などにより実現できる。

記憶部３１１は、帳票データベース（ＤＢ）３１１ａを有する。
図９は、第２の実施の形態の帳票データベースの例を示す図である。
帳票データベース３１１ａは、帳票ＩＤと、帳票様式と、帳票データとが登録されるデータベースである。

帳票ＩＤは、各帳票を識別するための識別情報である。図９の例において、帳票データベース３１１ａには、帳票ＩＤがそれぞれＨＹＯ０１、ＨＹＯ０２の２つのレコードが登録されている。

帳票様式は、帳票上の枠線、帳票項目、ＡＲマーカの位置および種類、付加情報の生成方法などである。帳票様式のうち帳票項目は上述した対象項目として特定される。図９の例において、帳票データベース３１１ａには、帳票様式を示すオーバレイ情報ＡＡＡが登録されている。

帳票データは、帳票の帳票項目に記入されたデータである。図９の例において、帳票データベース３１１ａには、帳票ＩＤがＨＹＯ０１の帳票上の帳票データを含むデータファイルＵ０１．ｄａｔ、および帳票ＩＤがＨＹＯ０２の帳票上の帳票データを含むデータファイルＵ０２．ｄａｔが登録されている。

再び図８を参照する。
帳票管理部３１２は、帳票登録端末４００から帳票様式を示すオーバレイ情報および帳票データを取得し、取得したオーバレイ情報および帳票データを帳票データベース３１１ａに登録する。帳票管理部３１２は、帳票管理サーバ３００に直接またはネットワークＮＷを介して接続されたプリンタ７０を用い、帳票様式に従って帳票データを含む帳票を印刷する。このとき、帳票管理部３１２は、帳票にＡＲマーカを印刷する。

付加情報登録部３１３は、オーバレイ情報に含まれる付加情報の生成方法に従い、帳票データから付加情報を生成する。例えば、付加情報登録部３１３は、月別売上高を示す帳票データの数値からグラフを生成し、グラフの画像データを付加情報とする。

また、付加情報登録部３１３は、帳票データベース３１１ａに登録された帳票の帳票ＩＤ、その帳票に印刷されるＡＲマーカ、対象項目、および付加情報をＡＲサーバ２００に送信し、ＡＲデータベース２１１ａへの登録をさせる。

付加情報登録部３１３は、ＡＲサーバ２００から帳票ＩＤを指定してオーバレイ情報を要求された場合、その帳票ＩＤに対応するオーバレイ情報をＡＲサーバ２００に提供する。また、付加情報登録部３１３は、ＡＲサーバ２００から帳票ＩＤを指定して帳票データを要求された場合、その帳票ＩＤに対応する帳票データをＡＲサーバ２００に提供する。

（付加情報の表示制御などについて）
図１０は、第２の実施の形態の帳票の例を示す図である。図１０に示した請求書は、商標の一例である。図１０に例示した請求書のように、帳票は、帳票全体の領域である帳票部Ｔ１と、帳票項目の領域である帳票項目部Ｔ１１、Ｔ１２、Ｔ１３とを含む。帳票項目部Ｔ１１、Ｔ１２、Ｔ１３には、帳票データである文字や数字が記入される。

印刷された帳票の帳票項目部Ｔ１１、Ｔ１２、Ｔ１３のレイアウトはユーザが設計した帳票様式に従う。印刷された帳票の帳票データはユーザが記入した内容である。上記のように、帳票様式にはＡＲマーカの位置なども含まれる。

ＡＲマーカを付す位置は、帳票登録端末４００を利用してユーザが任意に設定できる。図１０の例では、帳票項目部Ｔ１３の上にＡＲマーカＭ１が印刷されている。
帳票項目部Ｔ１１の帳票項目は、請求先の情報（名称など）を含む項目である。帳票項目部Ｔ１２の帳票項目は、商品毎の単価の情報を含む項目である。帳票項目部Ｔ１３の帳票項目は、請求明細（発注日の日付、請求額など）の情報を含む項目である。

帳票項目部Ｔ１１、Ｔ１２、Ｔ１３の帳票項目は一例であるが、請求先や請求元の住所および電話番号などの個人情報あるいは統計処理の対象となる数表などが帳票項目として利用されうる。帳票項目の内容は他の関連する情報（つまり、付加情報）と結びつく。

例えば、帳票項目部Ｔ１１に含まれる名称の情報からプロフィールデータや住所を割り出すことができるし、割り出した住所から地図データを生成することができる。プロフィールデータや地図データなどの情報は付加情報として利用することができる。

地図データやプロフィールデータは、帳票管理サーバ３００の記憶部３１１に予め登録されていてもよいし、付加情報登録部３１３がＷｅｂから検索して取得してもよい。
帳票項目部Ｔ１３に含まれる日付と数値からは、棒グラフや円グラフなどのグラフを生成することができる。棒グラフや円グラフの画像データも付加情報として利用できる。

どの帳票項目について、どのような付加情報を重畳表示するかは、帳票の設計時に帳票登録端末４００を利用してユーザが任意に設定でき、オーバレイ情報として帳票データベース３１１ａに登録される。

図１０の例では帳票項目部Ｔ１１、Ｔ１２、Ｔ１３に帳票データが記入されているが、帳票データベース３１１ａに登録されている帳票データを参照すれば、帳票データが記入されている帳票項目の特定ができる。

帳票項目が複数のフィールド（図１０の例では帳票項目部Ｔ１２、Ｔ１３の金額を記入する枠）を含む場合、帳票データと帳票様式とを参照することでデータが記入されたフィールドと空のフィールドとをそれぞれ特定できる。

図１１は、第２の実施の形態の付加情報の表示の例（表示操作）を示す図である。図１１の例は、端末装置１００の入力装置としてタッチパネルを利用する例である。
付加情報は、端末装置１００で帳票を撮像し、端末装置１００のディスプレイ１０５に表示された帳票の帳票項目部を指定する操作に応じて表示される。

例えば、図１１（Ａ）に示すように、ディスプレイ１０５に表示された帳票項目部Ｔ１３を操作体Ｈ（例えば、指やスタイラスペンなど）でタッチすると、（Ｂ）に示すように付加情報Ａ１３が表示される。このとき、帳票項目部Ｔ１３は、指定状態を明示するために強調表示され、付加情報Ａ１３と紐付けて表示される。

なお、図１１には１つの帳票項目を指定する場合が例示されているが、２つ以上の帳票項目が指定された場合には、各帳票項目に対応する付加情報が同様に表示される。
図１２は、第２の実施の形態の付加情報の表示の例（全画面表示：指定帳票項目＋付加情報）を示す図である。

図１１に示したように、付加情報Ａ１３が表示された状態で、図１２（Ａ）に示すように端末装置１００または帳票が移動して撮像範囲から帳票が外れると、（Ｂ）に示すように指定されていた帳票項目部Ｔ１３および付加情報Ａ１３があらためて表示される。この表示により、指定した帳票項目部Ｔ１３および付加情報Ａ１３の表示が維持され、ユーザが継続して視認可能になる。

ディスプレイ１０５を見ながら他の作業を行う場合、帳票が撮像範囲内に位置するように端末装置１００を手で持ち続けるのは大変なことが多い。例えば、ディスプレイ１０５に表示された付加情報Ａ１３を参照しながら紙にメモをとる場合などでは、端末装置１００を片手で維持しつつ他方の手でペンを動かすため、端末装置１００の状態を維持するのはユーザにとって大きな負担になる。

しかし、第２の実施の形態の技術によれば、図１１および図１２に示した端末装置１００の表示動作が実現され、撮像範囲から帳票が外れても帳票項目部Ｔ１３および付加情報Ａ１３の表示が維持されるため、上記のようなユーザの負担が軽減される。

なお、指定した帳票項目部Ｔ１３および付加情報Ａ１３の表示を維持する際、その表示のレイアウトや表示方式は図１２（Ｂ）の例に限定されない。
図１３は、第２の実施の形態の付加情報の表示の例（全画面表示：全帳票項目＋付加情報）を示す図である。

図１２（Ｂ）の例は、指定された帳票項目部Ｔ１３を付加情報Ａ１３と共に表示していたが、例えば、図１３に示すように、付加情報Ａ１３と共に帳票部Ｔ１（つまり、帳票全体）が表示されるように変形することもできる。また、帳票部Ｔ１を表示する場合には、指定された部分（つまり、付加情報Ａ１３に対応する部分）が明確になるように帳票項目部Ｔ１３が強調表示（例えば、枠線や色彩などによる強調表示）される。

図１４は、第２の実施の形態の付加情報の表示の例（全画面表示の解除）を示す図である。
第２の実施の形態に係る端末装置１００を利用すると、図１１〜図１３に例示したように、撮像範囲から帳票が外れても帳票項目部Ｔ１３および付加情報Ａ１３が表示される。

また、その後に、図１４（Ａ）に示すように他の帳票が撮像範囲に入った場合（ＡＲマーカＭ２で判定可能）には、（Ｂ）に示すように、帳票項目部Ｔ１３および付加情報Ａ１３の表示が解除される。つまり、撮像範囲に含まれる他の帳票の帳票部Ｔ２がディスプレイ１０５に表示される。

また、帳票項目部Ｔ１３および付加情報Ａ１３の全画面表示の後、同じ帳票が再び撮像範囲に入った場合（ＡＲマーカＭ１で判定可能）も同様に、全画面表示が解除される。この場合、撮像範囲に含まれる帳票の帳票部Ｔ１がディスプレイ１０５に表示される。

このように、表示の解除が自動的に行われることで、複数の帳票を次々と処理する際に解除操作の工程を省略できる分、スムーズに作業できるようになり、作業効率を高めることが可能になる。

なお、端末装置１００は、ユーザの操作により帳票項目部Ｔ１３および付加情報Ａ１３の表示が解除されるようにする機能を有していてもよい。例えば、ユーザが画面上をタッチした場合に帳票項目部Ｔ１３および付加情報Ａ１３の表示が解除される処理と、図１４に例示した解除処理とが共に機能するように変形してもよい。この変形により、上記の作業効率向上効果に加え、ユーザが自らの判断で表示を切り替えることが可能になり、よりストレスなく操作できるようになる。

（付加情報の登録について）
図１５は、第２の実施の形態の付加情報の登録の処理フローを示すシーケンス図である。

（Ｓ１０１）帳票登録端末４００を操作するユーザは、帳票様式の設計または予め用意された帳票様式の中から利用する帳票様式を選択する。
帳票様式を設計する場合、ユーザは、帳票様式の設計用プログラムを利用し、帳票の枠線のレイアウト、帳票データを記入するフィールドの設定、帳票項目の設定、フィールドと帳票項目との対応付けなどを行う。

また、ユーザは、どの位置にＡＲマーカを付与するか、どのようなＡＲマーカを付与するか（ＡＲマーカのデザイン）、および付加情報の生成方法を定義する。ここでユーザが定義した内容も帳票様式に含まれる。帳票登録端末４００は、設計された帳票様式の情報（オーバレイ情報）を保持する。

帳票様式が予め用意されている場合、その帳票様式の情報は、帳票登録端末４００が保持していてもよいし、帳票管理サーバ３００が保持していてもよい。
帳票管理サーバ３００が帳票様式の情報を保持している場合、帳票登録端末４００は、帳票管理サーバ３００から帳票様式の情報を取得し、取得した情報が示す帳票様式を選択可能な状態でユーザに提示する。帳票登録端末４００は、選択された帳票様式の情報（オーバレイ情報）を保持する。

（Ｓ１０２）帳票登録端末４００は、Ｓ１０１で設計または選択された帳票様式に従い画面（例えば、ディスプレイ５１の画面）上に帳票を表示する。このとき、帳票登録端末４００は、帳票に含まれる帳票項目に対しユーザが帳票データを記入可能な状態にする。ユーザは、帳票項目に帳票データを記入する。

また、ユーザは、個々に帳票を識別する帳票ＩＤを帳票に付与する。但し、帳票データが記入された帳票毎に帳票登録端末４００が帳票ＩＤを自動的に付与してもよい。帳票登録端末４００は、帳票様式、帳票データ、帳票ＩＤを対応付けて保持する。このとき、帳票登録端末４００は、どの帳票データがどの帳票項目のフィールドに記入されたかを示す情報を帳票データのデータファイルに含めて保持する。

（Ｓ１０３）帳票登録端末４００は、帳票を登録するように帳票管理サーバ３００へ要求する。このとき、帳票登録端末４００は、帳票の情報（帳票様式）、帳票データ、帳票ＩＤを帳票管理サーバ３００へ送信し、該帳票の情報を登録するように要求する。帳票管理サーバ３００に含まれる帳票の情報にはオーバレイ情報も含まれる。

（Ｓ１０４）帳票の登録要求を受けた帳票管理サーバ３００の帳票管理部３１２は、帳票登録端末４００から受信した帳票の情報を帳票データベース３１１ａ（例えば、図９を参照）に登録する。

（Ｓ１０５）帳票管理部３１２は、Ｓ１０４で帳票データベース３１１ａに登録した帳票様式に従い、プリンタ７０を利用して帳票データを記入した帳票を印刷する。このとき、帳票様式で定義されているＡＲマーカも帳票上に印刷される。

（Ｓ１０６）帳票管理サーバ３００の付加情報登録部３１３は、帳票様式でＡＲマーカ毎に定義された付加情報の生成方法に従い、ＡＲマーカが付与される帳票項目に記入された帳票データを用いて付加情報を生成する。

例えば、「請求額」の帳票項目に割り当てられた付加情報の生成方法が「円グラフの生成」である場合、付加情報登録部３１３は、該当する帳票項目の帳票データ（金額）から円グラフを生成する（図１１のＡ１３参照）。

（Ｓ１０７）付加情報登録部３１３は、Ｓ１０６で生成した付加情報の登録をＡＲサーバ２００へ要求する。このとき、付加情報登録部３１３は、Ｓ１０６で生成した付加情報、その付加情報に対応するＡＲマーカの画像データをＡＲサーバ２００へ送信する。また、付加情報登録部３１３は、そのＡＲマーカが付された帳票に対応する帳票ＩＤ、各帳票項目を識別するための項目識別番号、およびレイアウト上の各帳票項目を特定するための対象項目をＡＲサーバ２００へ送信する。

（Ｓ１０８）付加情報の登録要求を受けたＡＲサーバ２００の付加情報管理部２１２は、帳票管理サーバ３００から受信した付加情報をＡＲデータベース２１１ａに登録する。このとき、付加情報管理部２１２は、付加情報と共に受信した帳票ＩＤ、項目識別番号、対象項目を対応付けてＡＲデータベース２１１ａに登録する。

また、付加情報管理部２１２は、ＡＲマーカの画像データから特徴量を計算する。付加情報管理部２１２は、ＡＲマーカから白領域を抽出し、白領域を所定の分割数（２５６分割など）で分割し、分割領域の各々を数値化してＡＲマーカの特徴量を計算する。そして、付加情報管理部２１２は、計算した特徴量を帳票ＩＤに対応付けて保持する。

（付加情報の表示について）
図１６は、第２の実施の形態の付加情報の表示の処理フローを示すシーケンス図である。

（Ｓ１１１）端末装置１００の撮像部１１１は、帳票を撮像し、撮像画像を出力する。撮像部１１１が撮像する帳票は、帳票管理サーバ３００の帳票管理部３１２により印刷されたものである。

（Ｓ１１２）端末装置１００のマーカ検出部１１２は、Ｓ１１１で撮像部１１１が出力した撮像画像からＡＲマーカを検出する。このとき、マーカ検出部１１２は、撮像画像からＡＲマーカの黒枠に基づいてＡＲマーカの検出を行う。ＡＲマーカが検出された場合（検出成功）、処理はＳ１１３へ進む。一方、ＡＲマーカが検出されなかった場合（検出失敗）、図１６に示した一連の処理は終了する。

（Ｓ１１３）マーカ検出部１１２は、撮像画像から検出したＡＲマーカの白領域に含まれる画像パターンからＡＲマーカの特徴量を計算する。
撮像画像がカラー画像である場合、マーカ検出部１１２は、撮像画像をグレースケール化し、二値化し、白黒反転した上で、ＡＲマーカの白領域（反転しているため、実際には黒背景の領域）を所定の分割数で分割し、各分割領域の特徴を数値化する。これらの処理により得られた各分割領域に対応する数値の集合がＡＲマーカの特徴量となる。

上記所定の分割数は、ＡＲサーバ２００が保持する特徴量の計算時に用いた分割数と同じである。なお、撮像画像がカラー画像でない場合にはグレースケール化の処理が省略されうる。

（Ｓ１１４）端末装置１００の付加情報取得部１１３は、Ｓ１１３の処理で計算されたＡＲマーカの特徴量をＡＲサーバ２００へ送信し、そのＡＲマーカに対応するオーバレイ情報の要求をする。

（Ｓ１１５）オーバレイ情報の要求を受けたＡＲサーバ２００の付加情報管理部２１２は、受信したＡＲマーカの特徴量に対応する帳票ＩＤを特定し、特定した帳票ＩＤを帳票管理サーバ３００へ送信してオーバレイ情報の要求をする。

（Ｓ１１６）オーバレイ情報の要求を受けた帳票管理サーバ３００は、帳票データベース３１１ａを参照し、受信した帳票ＩＤに対応するオーバレイ情報（帳票様式のデータ）を抽出してＡＲサーバ２００へ送信する。

（Ｓ１１７）帳票管理サーバ３００からオーバレイ情報を受信したＡＲサーバ２００の付加情報管理部２１２は、受信したオーバレイ情報を端末装置１００へ送信する。
（Ｓ１１８）端末装置１００の付加情報取得部１１３は、ユーザによる帳票項目の指定を受け付ける。このとき、付加情報取得部１１３は、ＡＲサーバ２００から受信したオーバレイ情報を利用して撮像画像から帳票項目を認識し、ユーザにより指定を受け付けた帳票項目を特定できるようにする。

例えば、付加情報取得部１１３は、端末装置１００の入力装置（キーパッド１０６やタッチパネルなど）への入力信号を監視し、帳票項目を指定する入力信号を受信した場合に、帳票項目が指定されたと判定する。

帳票項目の指定が行われた場合（指定完了）、処理はＳ１１９へと進む。一方、帳票項目の指定が行われていない場合（指定未了）、Ｓ１１８の処理が繰り返される。
（Ｓ１１９）端末装置１００の付加情報取得部１１３は、Ｓ１１２で計算したＡＲマーカの特徴量をＡＲサーバ２００へ送信し、ＡＲマーカに対応する付加情報等（付加情報、帳票データ、オーバレイ情報）を要求する。

（Ｓ１２０）付加情報等の要求を受けたＡＲサーバ２００の付加情報管理部２１２は、保持しているＡＲマーカの特徴量のうち、端末装置１００から受信したＡＲマーカの特徴量に最も近い特徴量を抽出する。また、付加情報管理部２１２は、抽出した特徴量に対応する帳票ＩＤを特定する。

例えば、特徴量がビット列で表現されている場合、付加情報管理部２１２は、ビット列同士の距離（例えば、ハミング距離）が最も短くなる特徴量を抽出し、抽出した特徴量に対応する帳票ＩＤを特定する。

（Ｓ１２１）付加情報管理部２１２は、Ｓ１２０で特定した帳票ＩＤを帳票管理サーバ３００へ送信し、その帳票ＩＤに対応する帳票データ等（帳票データ、オーバレイ情報）を要求する。

（Ｓ１２２）帳票データ等の要求を受けた帳票管理サーバ３００の付加情報登録部３１３は、ＡＲサーバ２００から受信した帳票ＩＤに対応する帳票データおよびオーバレイ情報を帳票データベース３１１ａから抽出する。そして、付加情報登録部３１３は、抽出した帳票データおよびオーバレイ情報（帳票データ等）をＡＲサーバ２００へ送信する。

（Ｓ１２３）ＡＲサーバ２００の付加情報管理部２１２は、帳票管理サーバ３００から受信した帳票データ等と付加情報とを対応付けて保持する。
（Ｓ１２４）付加情報管理部２１２は、付加情報等（付加情報、帳票データ、オーバレイ情報）を端末装置１００へ送信する。

（Ｓ１２５）付加情報等を受信した端末装置１００の付加情報取得部１１３は、付加情報等を表示制御部１１４へ入力する。表示制御部１１４は、撮像画像と共に付加情報をディスプレイ１０５に表示する。なお、Ｓ１１８からＳ１２５までの処理はユーザ操作（帳票項目の指定）に応じて繰り返し実行される。

ここで、Ｓ１２５の処理について、さらに説明する。
図１７は、第２の実施の形態の付加情報の表示制御に係る処理フローを示すフロー図である。

（Ｓ１３１）表示制御部１１４は、撮像範囲に帳票があるかを判定する。
例えば、表示制御部１１４は、撮像部１１１が撮像画像を取得する度に、マーカ検出部１１２から出力されるＡＲマーカの検出結果を監視し、ＡＲマーカが検出された場合に撮像範囲に帳票があると判定する。他方、ＡＲマーカが検出されなかった場合、表示制御部１１４は、撮像範囲に帳票がないと判定する。

撮像範囲に帳票がある場合、処理はＳ１３４へと進む。一方、撮像範囲に帳票がない場合、処理はＳ１３２へと進む。
（Ｓ１３２）表示制御部１１４は、画面全体を使って付加情報と帳票を表示する。

例えば、表示制御部１１４は、上述したＳ１１８の処理で指定された帳票項目と、その帳票項目に対応する付加情報とをディスプレイ１０５に表示する（図１２（Ｂ）参照）。あるいは、表示制御部１１４は、上述したＳ１１８の処理で指定された帳票項目に対応する付加情報と、帳票全体（帳票部）とをディスプレイ１０５に表示する（図１３参照）。

このとき、表示制御部１１４は、ＡＲサーバ２００を介して帳票管理サーバ３００から取得したオーバレイ情報および帳票データを利用して帳票項目または帳票部を表示する。なお、指定された帳票項目の特定には、例えば、対象項目が利用される。

（Ｓ１３３）表示制御部１１４は、Ｓ１３２の表示（全体表示）の解除操作がされたかを判定する。
例えば、指定された帳票項目をユーザがタッチした場合に全体表示が解除される設定の場合、表示制御部１１４は、入力装置の入力信号を監視し、該当する帳票項目がタッチされた場合に全体表示の解除操作がされたと判定する。

全体表示の解除操作がされた場合、処理は上述したＳ１１１（図１６参照）へ戻り、再びＳ１１１以降の処理が実行される。一方、全体表示の解除操作がされていない場合、処理はＳ１３１へと進む。

（Ｓ１３４）表示制御部１１４は、撮像範囲にある帳票が、上述したＳ１１８（図１６参照）の処理で帳票項目が指定された帳票かを判定する。つまり、表示制御部１１４は、撮像範囲にある帳票が変更されたかを判定する。

例えば、表示制御部１１４は、マーカ検出部１１２から出力される検出結果を参照し、ＡＲマーカに対応する帳票ＩＤが変わった場合、撮像範囲にある帳票が変更されたと判定する。

帳票が変更された場合、処理は上述したＳ１１１（図１６参照）へ戻り、再びＳ１１１以降の処理が実行される。一方、上述したＳ１１８（図１６参照）の処理で帳票項目が指定された帳票である場合、処理はＳ１３５へと進む。

（Ｓ１３５）表示制御部１１４は、撮像画像と共に付加情報を表示する。
（Ｓ１３６）表示制御部１１４は、帳票項目の指定が変更されたかを判定する。
例えば、表示制御部１１４は、入力装置の入力信号を監視し、現在指定されている帳票項目とは異なる帳票項目が指定された場合、帳票項目の指定が変更されたと判定する。また、表示制御部１１４は、現在指定されている帳票項目の指定が解除（例えば、タッチ操作による解除など）された場合、帳票項目の指定が変更されたと判定する。

帳票項目の指定が変更された場合、処理は上述したＳ１１３（図１６）へ戻り、再びＳ１１８以降の処理が実行される。一方、帳票項目の指定が変更されていない場合、処理はＳ１３１へ進む。

（変形例）
図１６の例では、ＡＲマーカから帳票ＩＤが特定されているが、端末装置１００にユーザが帳票ＩＤを手入力し、端末装置１００からＡＲサーバ２００へと送信されるシステムに変形することもできる。さらに、ユーザの手入力に代えて、端末装置１００が撮像画像から帳票ＩＤを自動認識するシステムに変形してもよい。例えば、帳票ＩＤが印刷される場所が予め設定されていれば、その場所に記載された文字や数字のデータを、ＯＣＲ（Optical Character Recognition）技術により撮像画像から読み取ることができる。

以上、第２の実施の形態について説明した。
第２の実施の形態によれば、帳票が撮像範囲に入っているときは、帳票の帳票項目を指定可能にすると共に、指定された帳票項目に対応する付加情報が撮像画像と共に表示される。一方、帳票が撮像範囲から外れると、直前に表示されていた付加情報が、対応する帳票項目と紐付けて表示される。これにより、ユーザによる付加情報の確認が容易となる。

例えば、ユーザは端末装置１００を動かしながら、帳票項目を次々と指定し、指定した各帳票項目に対応する付加情報を簡単に確認することができる。また、詳細に確認したい付加情報が見つかると、ユーザは端末装置を机上など安定した場所に置いて、付加情報のメモを取るなどの作業を行うことができる。帳票が撮像範囲から外れると、付加情報の選択が確定してその付加情報が継続して表示されるため、ユーザは、他の作業を並行して行う際に撮像範囲に帳票を捉えた状態を維持しなくてよくなり作業が容易となる。

１ 表示制御装置
１ａ 制御部
２ 撮像手段
３ 表示手段
４ａ，４ｂ 撮像画像
５ 対象オブジェクト
６ 付加情報

Claims (7)

1. コンピュータに、
   撮像手段の撮像範囲の中から対象オブジェクトの指定を受け付け、
   前記対象オブジェクトに対応する付加情報と前記撮像手段を用いて撮像された撮像画像とを重畳させて表示手段に表示させる第１の表示制御を実行し、
   前記対象オブジェクトが前記撮像範囲から外れたことを検出した場合、前記第１の表示制御から、前記対象オブジェクトを特定する情報と前記付加情報とを前記表示手段に表示させる第２の表示制御に切り替える、
   処理を実行させる表示制御プログラム。
2. 前記コンピュータに、
   前記第２の表示制御の実行中に、前記撮像範囲に所定の種類のオブジェクトが含まれることを検出した場合、前記第２の表示制御を解除する、
   処理を実行させる請求項１記載の表示制御プログラム。
3. 前記対象オブジェクトを特定する情報は、前記対象オブジェクトまたは前記対象オブジェクトを含む全体オブジェクトに記載されたデータを含み、
   前記コンピュータに、
   他のコンピュータから、前記対象オブジェクトを特定する情報を取得する、
   処理を実行させる請求項１または２記載の表示制御プログラム。
4. 前記対象オブジェクトは、帳票に含まれる複数の帳票項目の中の一の帳票項目であり、
   前記他のコンピュータから取得する前記対象オブジェクトを特定する情報は、前記一の帳票項目または前記複数の帳票項目に記載された帳票データを含む、
   請求項３記載の表示制御プログラム。
5. 前記コンピュータに、
   帳票のレイアウトを示すレイアウト情報を他のコンピュータから取得し、
   前記撮像範囲に前記帳票が含まれる場合、前記レイアウト情報に基づいて、前記帳票に含まれる帳票項目を前記対象オブジェクトとして指定可能に前記表示手段に表示する、
   処理を実行させる請求項１または２記載の表示制御プログラム。
6. コンピュータが実行する表示制御方法であって、
   撮像手段の撮像範囲の中から対象オブジェクトの指定を受け付け、
   前記対象オブジェクトに対応する付加情報と前記撮像手段を用いて撮像された撮像画像とを重畳させて表示手段に表示させる第１の表示制御を実行し、
   前記対象オブジェクトが前記撮像範囲から外れたことを検出した場合、前記第１の表示制御から、前記対象オブジェクトを特定する情報と前記付加情報とを前記表示手段に表示させる第２の表示制御に切り替える、
   表示制御方法。
7. 撮像手段の撮像範囲の中から対象オブジェクトの指定を受け付け、前記対象オブジェクトに対応する付加情報と前記撮像手段を用いて撮像された撮像画像とを重畳させて表示手段に表示させる第１の表示制御を実行し、前記対象オブジェクトが前記撮像範囲から外れたことを検出した場合、前記第１の表示制御から、前記対象オブジェクトを特定する情報と前記付加情報とを前記表示手段に表示させる第２の表示制御に切り替える制御部、
   を有する表示制御装置。

Images