JP7052382B2 - 情報処理システム、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理方法、及びプログラムに関する。

近年、ユーザが現実世界を認識する際に補助的な情報を提示することで、ユーザの目前にある現実以上の情報を提示するＡＲ（Augmented Reality：拡張現実）技術が提供されている。従来の情報処理システムにおいては、このようなＡＲ技術を活用して、スマート端末を用いて画像形成装置が印刷した状態パターンを認識し、ＦＡＱ（Frequently Asked Questions：よくある質問）や、エラー解除をサポートする機能や、画像形成装置の設置について、スマート端末を通して目視することで、イメージできるような販売促進ツールとした技術が既に知られている。

特許文献１には、印刷物などの原稿を提供するユーザが、その原稿を見た者にその原稿についての付加情報を簡単に提供することを目的とした画像形成システムが開示されている。詳しくは、画像形成システムは、画像形成装置、サーバ、及び携帯端末を備える。画像形成装置は、基本原稿と基本原稿に拡張現実用付加情報を付加した原稿とから拡張現実用付加情報を特定し、その拡張現実用付加情報に対応するタグを生成し、そのタグに関連付けて拡張現実用付加情報をサーバに登録し、タグを付加した基本原稿の画像を出力する。そして、携帯端末は、画像形成装置により出力された、タグを付加した基本原稿の画像を撮像し、撮像した画像からタグを抽出し、そのタグを関連付けられている拡張現実用付加情報をサーバから取得し、その拡張現実用付加情報を、撮像した画像に重畳させて表示する。

しかし、従来の情報処理システムにおけるＡＲ技術にあっては、画像形成装置の状態を検知して、その状態を表す情報を合成した画像をスマート端末の画面に表示するため、合成された画像に含まれる拡張現実用付加情報が誰でも一律に閲覧できてしまうため、セキュリティ性が低いといった問題があった。特許文献１にあっては、携帯端末（スマート端末）を通して原稿を視認したときに拡張現実用付加情報を付加する点が開示されている。しかし、拡張現実用付加情報が誰でも一律に閲覧できてしまうため、セキュリティ性が低い。この場合、特定の権限者のアカウントでセキュリティ性を向上させることも考えられるが、この場合、本人に成りすます等による脆弱性があるため、確実なユーザ本人の特定が求められる。

本発明は、上記に鑑みてなされたもので、ユーザの指紋認証を含む認証情報で本人確認を行った上で、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示して、よりセキュリティ性を向上させることを目的とする。

本発明は、上記課題を解決するため、印刷後の画像の表示条件を示すマーカ画像が付与された印刷データを作成する情報処理端末と、前記印刷データを記録媒体に印刷する画像形成装置と、撮像部と指紋認証情報を含むユーザ認証情報を入力する入力部とを有する携帯端末と、第１のサーバと、第２のサーバと、を備え、前記第１のサーバは、前記携帯端末から、当該携帯端末が属するユーザグループを示すユーザグループ認証情報を受信し、前記第２のサーバは、前記第１のサーバから送られる前記携帯端末からの前記ユーザグループ認証情報から前記携帯端末の前記ユーザグループを認証し、前記第１のサーバは、前記記録媒体に印刷された印刷画像を前記携帯端末で撮影したときに、前記マーカ画像に紐付けられた表示条件と前記携帯端末の前記ユーザ認証情報とに基づき表示権限を決定し、この決定にしたがって前記携帯端末が有する表示部に表示する画像を変更し、前記第２のサーバは、指紋認証モード、非指紋認証モード、自動指紋認証モードのいずれかのモードを設定し、前記非指紋認証モードの場合は、前記指紋認証情報を含まない前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、前記指紋認証モードの場合は、前記ユーザ認証情報に前記指紋認証情報が付与されているか否かを判断し、前記ユーザ認証情報に前記指紋認証情報が付与されている場合、前記指紋認証情報を含む前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、前記ユーザ認証情報に前記指紋認証情報が付与されていない場合、前記携帯端末に表示するデータをセキュリティレベルが最も低い情報に変更し、前記自動指紋認証モードの場合は、前記第２のサーバの指紋認証要否情報に基づき前記ユーザ認証情報に紐付く認証要否を判断し、認証否の場合は、前記指紋認証情報を含まない前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、認証要の場合は、前記ユーザ認証情報に前記指紋認証情報が付与されているか否かを判断し、前記ユーザ認証情報に前記指紋認証情報が付与されている場合、前記指紋認証情報を含む前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、前記ユーザ認証情報に前記指紋認証情報が付与されていない場合、前記携帯端末に表示するデータをセキュリティレベルが最も低い情報に変更することを特徴とする。

本発明によれば、ユーザの指紋認証を含む認証情報で本人確認を行った上で、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示することができ、よりセキュリティ性を向上させることができるという効果を奏する。

図１は、情報処理システムの全体構成を示す図である。 図２は、情報処理システムの機能ブロック図である。 図３は、ＡＲマーカの一例を示す図である。 図４は、スマート端末の動作の一例を示すフローチャートである。 図５は、スマート端末における座標表現を示す図である。 図６は、スマート端末によるカメラ仮想スクリーンへの透視投影を示す図である。 図７（ａ）～（ｄ）は、スマート端末の処理により仮想物体画像を重畳したイメージを示す図である。 図８（ａ）（ｂ）は、本発明の一実施の形態に係る印刷データに含まれるＡＲマーカのイメージ図である。 図９は、実施の形態に係る対応ワード例とその分類に関するＡＲマーカイメージを分類した図である。 図１０（ａ）～（ｅ）は、実施の形態に係るスマート端末での表示イメージ図である。 図１１は、実施の形態に係るホストＰＣの処理を示すフローチャートである。 図１２は、実施の形態に係るホストＰＣのＡＲ情報作成画面を示す図である。 図１３は、実施の形態に係るホストＰＣのＡＲマーカ画像選択画面を示す図である。 図１４（ａ）は、実施の形態に係るホストＰＣのＡＲマーカを明示しない場合の重複警告メッセージを示す図であり、図１４（ｂ）は、実施の形態に係るホストＰＣのＡＲマーカを明示する場合の重複警告メッセージを示す図であり、図１４（ｃ）は、実施の形態に係るホストＰＣのＡＲマーカ登録画面を示す図である。 図１５は、実施の形態に係るホストＰＣのＡＲマーカの再選択を促すメッセージを示す図である。 図１６は、実施の形態に係るホストＰＣのＡＲマーカ再配置イメージを示す図である。 図１７は、実施の形態に係る画像形成装置の処理を示すフローチャートである。 図１８は、本実施の形態に係るスマート端末の処理を示すフローチャートである。 図１９は、実施の形態に係るスマート端末においてサーバからＡＲ情報の受信がない場合のメッセージを示す図である。 図２０は、実施の形態に係るサーバ（第１のサーバ）の処理を示すフローチャートである。 図２１は、実施の形態に係るサーバ（第１のサーバ）から送信されるユーザＩＤがない場合のメッセージを示す図である。 図２２は、実施の形態に係るサーバ（第１のサーバ）の処理を示すフローチャートである。 図２３は、実施の形態に係るサーバ（第２のサーバ）の処理を示すフローチャートである。 図２４は、実施の形態に係るサーバ（第２のサーバ）のモード処理を示すフローチャートである。 図２５は、実施の形態に係る指紋認証を促すメッセージを示す図である。

以下、本発明を図面に示した実施の形態により詳細に説明する。本発明は、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示して、セキュリティ性を向上させるために、以下の構成を有する。

すなわち、本発明の情報処理システムは、印刷後の画像の表示条件を示すマーカ画像が付与された印刷データを作成する情報処理端末と、印刷データを記録媒体に印刷する画像形成装置と、撮像部と指紋認証情報を含むユーザ認証情報を入力する入力部とを有する携帯端末と、記録媒体に印刷された印刷画像を携帯端末で撮影したときに、マーカ画像に紐付けられた表示条件と前記携帯端末のユーザ認証情報とに基づき表示権限を決定し、この決定にしたがって携帯端末が有する表示部に表示する画像を変更するサーバと、を備えることを特徴とする。

以上の構成を備えることにより、ユーザの指紋認証で本人確認を行った上で、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示することができ、よりセキュリティ性を向上させることができる。上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。

まず、ＡＲ技術について説明する。拡張現実はバーチャルリアリティ（ＶＲ）の変種であり、その時周囲を取り巻く現実環境に情報を付加・削除・強調・減衰させ、文字通り人間から見た現実世界を拡張するものを指す。バーチャルリアリティが人工的に構築された現実感と現実を差し替えるのに対し、拡張現実は現実の一部を改変する技術である。例えばバーチャルリアリティでは、仮想の部屋に居て、仮想のテーブルに置かれた仮想のティーポットを見ているかのような五感情報を人に提示するのに対し、拡張現実では、人が実際に居る現実の部屋のテーブル上に、仮想のティーポットが置かれているかのような情報提示を行う。

コンピュータ情報を付加して現実の情報を実態よりも強化・増強して人間に提供することから強化現実・増強現実と呼ばれることもある。現実環境を情報ソースとして用いることから必然的にリアルタイム処理を必要とする場合が多い。技術課題としてはバーチャルリアリティでのそれに加えて、仮想物体画像と現実環境・物体との相互作用、例えば視覚要素では照明、影、接触、隠蔽などを解決することが特に課題になる。

コンピュータが現実を拡張する手段としては、視覚・聴覚・触覚など、人のすべての感覚器官と体性感覚に対する情報提示が試みられている。バーチャルリアリティでは、人に提示する仮想物体画像のリアリティが重視されるのに対して、拡張現実では、現実世界の位置や物体などのコンテクストとの関連性も重視される。後者に重きを置いたシステムでは、例えば場所や物の説明を文字や音声で行うなど、現実を拡張する手段として単純な情報提示手法が用いられることもある。

多くのシステムでは、情報の提示や取得に、バーチャルリアリティで広く利用されているデバイス、もしくは技術が利用される。例えば、視覚情報提示には主にヘッドマウンテッドディスプレイが利用される。しかし、現実環境における作業を支援する意図から、携帯電話等の小型情報端末の画面を用いた提示も検討されている。提示される環境の主体が現実環境であることから、現実環境における作業支援がその応用分野として期待されている。例えば、道案内情報の提供、航空機やコピー機のメンテナンスを行う技術者に対する技術情報提供、医療分野における手術支援に向けた情報提示などの応用研究が行われている。

一般消費者向けのサービスを作るためによく行われている手法に、ＡＲＴｏｏｌＫｉｔなどの画像認識ルーチンを利用して、２次元コードパターンや静止画など（「ＡＲマーカ」などと呼ばれる）をデジタルカメラで撮影すると、それをＡＲマーカとして映像にマッチムーブした３ＤＣＧアニメーションがリアルタイムで合成表示されたり、静止画に合ったコンテンツが表示されたりするものがある。

次に、ＡＲ実現方法について説明する。ＡＲ技法は大きく分けて見た場合、技術的な特性から、２つに分けて考えられる。１つは、ＧＰＳなどから取得可能な位置情報を利用して情報提示を行う「ロケーションベースＡＲ」と呼ばれるもので、もう１つは画像認識・空間認識などの技術を応用して直接目の前にある環境を認識・解析することで情報提示を行う「ビジョンベースＡＲ」と呼ばれるものである。

＜情報処理システム＞
図１を参照して、情報処理システム１の全体構成について説明する。図１は、情報処理システム１の全体構成を示す図である。情報処理システム１は、ホストＰＣ１０、画像形成装置２０、サーバ３０，７０、スマート端末４０をネットワークＮ（インターネット又はＬＡＮ（Local Area Network））を介して接続したネットワーク環境上において構成する。なお、ネットワークＮにより接続されている各装置は１台ずつに限定するものではなく、複数台で構成されていてもよい。なお、第１のサーバとしてのサーバ３０はサーバ１、第２のサーバとしてのサーバ７０はサーバ２として図示する。

次に、図２を参照して、情報処理システムの機能ブロック図について説明する。図２は、情報処理システムの機能ブロック図である。

＜ホストＰＣ＞
図２に示すホストＰＣ１０は、印刷データ作成部１２、ＡＲ情報作成部１４、通信部１６を備えている。ホストＰＣは、ユーザによる印刷データ加工（機密データの削除等）、ＡＲ表示条件情報、使用するＡＲマーカの指定、印刷条件指定、印刷指示等を受け付ける。印刷データ作成部１２は、印刷条件、及び印刷データを解析した結果に基づいて、印刷データへＡＲマーカを付与する。ＡＲ情報作成部１４は、加工前のオリジナル印刷データと、セキュリティレベルを表すＡＲ表示条件情報とを関連付けるためのＡＲ情報を作成する。通信部１６は、ネットワークＮを介して画像形成装置２０へ印刷データを送信する。また、通信部１６は、ネットワークＮを介してサーバ３０へオリジナル印刷データ、及びＡＲ情報を送信する。ここで、使用するＡＲマーカは、複数指定できるようにしてもよく、未指定の場合は既定のＡＲマーカを選択するようにしてもよい。

＜画像形成装置＞
図２に示す画像形成装置２０は、通信部２２、印刷データ出力部２４を備えている。通信部２２は、ネットワークＮを介してホストＰＣ１０から印刷データを受信する。印刷データ出力部２４は、ホストＰＣ１０から指示された印刷データを記録媒体に印刷する。

＜サーバ１（第１のサーバ）＞
図２に示す第１のサーバとしてのサーバ３０は、表示データ作成部３２、通信部３４、オリジナル印刷データ記憶部３６、ＡＲ情報記憶部３８を備えている。表示データ作成部３２は、ＡＲマーカ情報とＡＲ情報とに基づいて、オリジナル印刷データを加工して加工データを生成する。通信部３４は、加工データをネットワークＮを介してスマート端末４０へ送信する。オリジナル印刷データ記憶部３６は、オリジナルデータ、ＡＲマーカ、セキュリティレベル情報を記憶する。ＡＲ情報記憶部３８は、識別子テーブル、セキュリティテーブル、及び対比テーブルを備え、各識別子、及び各ユーザＩＤに対応したＡＲ情報を記憶する。ＡＲ情報記憶部３８に記憶されるユーザＩＤは書き換え可能である。

＜サーバ２（第２のサーバ）＞
図２に示す第２のサーバとしてのサーバ７０は、通信部７１、ユーザＩＤ変換部７２、グループデータ７３を備えている。通信部７１は、ユーザＩＤ変換部７２により変換されたユーザが属するグループ情報をスマート端末４０へ通知する。ユーザＩＤ変換部７２は、ユーザＩＤをユーザが属するグループ情報に変換する。グループデータ７３は、ユーザグループ情報（後述する表５、表６参照）、ユーザ毎の指紋認証情報（後述する表７参照）を保持する。

＜スマート端末＞
携帯端末としてのスマート端末４０は、通信部４２、操作部４４、表示部４６、記憶部４８、指紋認証部４９、撮像部５０、制御部５２を備えている。通信部４２は、ネットワークＮを介して、ホストＰＣ１０（Personal Computer）などの外部装置との間で情報を通信するものであり、ＮＩＣ（Network Interface Card）などの通信装置により実現できる。

入力部としての操作部４４は、アプリケーションソフトウエアが必要とする各種情報をユーザの操作に応じて入力するものであり、タッチパネルやキースイッチなどの入力装置により実現できる。表示部４６は、各種画面を表示するものであり、液晶ディスプレイ及びタッチパネル式ディスプレイなどの表示装置により実現できる。記憶部４８は、スマート端末４０で実行される各種アプリケーションソフトウエアのプログラム、及びスマート端末４０で行われる各種処理に使用されるデータなどを記憶する。記憶部４８は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、光ディスク、及びＲＡＭ（Random Access Memory）などの磁気的、光学的、及び電気的に情報を記憶可能な記憶装置のいずれかにより実現できる。

指紋認証部４９は、スマート端末４０に搭載される指紋認証デバイス（入力部の一部）からユーザの指紋認証有無を取得し保持する。撮像部５０は、制御部５２の指示に従い、原稿を光学的に読み取って画像を生成するものであり、例えば、読取装置の一例として、デジタルカメラなどにより実現できる。

制御部５２は、スマート端末４０の各部を制御するものであり、ＣＰＵ（Central Processing Unit）やＬＳＩ（Large Scale Integration）などにより実現できる。制御部５２は、例えば、内部にＲＯＭ（read only memory）、ＲＡＭ、ＣＰＵを有し、ＲＯＭからオペレーティングシステムＯＳを読み出してＲＡＭ上に展開してＯＳを起動し、ＯＳ管理下において、ＲＯＭからプログラム（処理モジュール）を読み出し、各種処理を実行する。

さらに、制御部５２は、画像取得部５４、情報取得部５６、算出部５８、置換部６０を備えている。画像取得部５４は、拡張現実処理に用いられるＡＲマーカを含む画像を取得する。画像取得部５４が、記録媒体上にＡＲマーカが印刷された原稿を光学的に読み取ってＡＲマーカを含む画像を取得する。但し、画像取得部５４は、ＡＲマーカを含む画像を外部（例えば、ネットワークＮを介して接続されたホストＰＣ１０（情報処理装置の一例）など）から取得するようにしてもよい。

情報取得部５６は、画像取得部５４により取得された画像内のＡＲマーカから、当該ＡＲマーカに埋め込まれた、画像の印刷前の当該ＡＲマーカの現実世界における大きさに関する第１情報を取得する。具体的には、情報取得部５６は、画像取得部５４により取得された画像からＡＲマーカを検出し、検出したＡＲマーカに埋め込まれた第１情報を取得する。

算出部５８は、４つの頂点の座標を用いて、カメラの相対位置・姿勢を算出（推定）する。算出部５８は、３次元のマーカ座標系において正方形に配置された４つの頂点の座標から、２次元のカメラ仮想スクリーンＳ’の座標系への変換を求めることで、カメラの相対位置・姿勢を算出する。置換部６０は、カメラの相対位置・姿勢及び第２情報（現実世界における大きさを表す）に基づいて、マーカ座標系の３次元空間上に配置する。

＜ＡＲマーカ＞
次に、図３を参照して、ＡＲマーカについて説明する。図３は、ＡＲマーカの一例を示す図である。ＡＲマーカ２００は、外部領域２０１と内部領域２０２とで構成されており、外部領域２０１は、ＡＲマーカ２００の検出に用いられ、内部領域２０２は、第１情報の埋め込みに用いられる。図３に示す例では、ＡＲマーカ２００の形状は正方形となっているが、これに限定されず、形状が既知であって検出可能な形状であれば、長方形状や円形状などであってもよい。また、ＡＲマーカ２００の色は、画像処理の観点からモノクロであることが好ましいが、これに限定されず、カラーであってもよい。

ここで、スマート端末４０の情報取得部５６による処理について説明する。例えば、情報取得部５６は、画像取得部５４により取得された画像を二値化し、ラベリング処理（隣接する同一色の画素を１つの塊とする処理）を行って、白画素及び黒画素の塊に分離する。そして情報取得部５６は、分離した黒画素の塊それぞれに対し、輪郭上から４つの頂点を検出する処理を行う。

この結果、４つの頂点が検出された黒画素の塊がＡＲマーカ２００の外部領域となるので、情報取得部５６は、画像取得部５４により取得された画像からＡＲマーカ２００を検出でき、ＡＲマーカ２００の内部領域２０２から第１情報を取得できる。なお、ＡＲマーカ２００の形状が円形状の場合には、情報取得部５６は、ハブ変換などを行って、円を構成する黒画素の塊を検出すればよい。

第１情報は、画像の印刷（複写）前のＡＲマーカの現実世界における大きさを表し、より詳細には、ＡＲマーカ内の所定領域を構成する構成要素の色の組合せで、画像の印刷前のＡＲマーカの現実世界における大きさを表す。例えば、図３に示すＡＲマーカ２００の場合、内部領域２０２を構成する画素の色の組合せで、画像の印刷前のＡＲマーカの現実世界における大きさを表す。

図３に示すＡＲマーカ２００では、内部領域２０２が例えば６×６（３６）の画素で構成されており、画素の色が白の場合は０、画素の色が黒の場合は１、と見立てることで、画像を印刷する前のＡＲマーカの現実世界における大きさを３６ビットの２進数で表す。但し、３６ビット（画素）のうち、画像が上下左右のいずれの方向に回転してもＡＲマーカ２００を検出できるようにするため、内部領域２０２の４隅の画素の値は、画像（ＡＲマーカ２００）の向き検出に用いる。

また、残りの３２ビットのうち、前半の８ビットについては、拡張現実処理で使用するＡＲマーカ２００に基づく３次元空間に配置した３Ｄの仮想物体画像を識別するための識別子に用いる。このため、図３に示す例では、ＡＲマーカ２００の１辺の長さを２４ビット（画素）で表現することができ、ＡＲマーカ２００の１辺の長さを１ｍｍ単位で記述する場合、１ｍｍ～１６７７７２１６ｍｍの範囲で記述可能である。但し、ロバスト性向上のため、チェックサムなどを付け加える場合、ＡＲマーカ２００の１辺の長さの記述範囲は、これよりも小さくなる。

＜スマート端末の動作説明＞
次に、図４を参照して、スマート端末４０の動作について説明する。図４は、スマート端末４０の動作の一例を示すフローチャートである。なお、画像形成装置２０により記録媒体上に印刷された原稿（印刷物）には、ＡＲマーカ２００を含む画像が印刷されていることとする。

図４において、まず、ステップＳ２０１では、撮像部５０は、ＡＲマーカ２００を含む画像が印刷された原稿を撮影し、画像取得部５４は当該画像を取得する。続いて、ステップＳ２０３では、情報取得部５６は、取得した画像からＡＲマーカ２００を抽出する。続いて、ステップＳ２０５では、情報取得部５６は、抽出したＡＲマーカ２００から、当該ＡＲマーカ２００に埋め込まれた第２情報、及びＡＲマーカ２００に埋め込まれた３Ｄの仮想物体画像の識別子を取得する。

続いて、ステップＳ２０７では、算出部５８は、ステップＳ２０３で検出した４つの頂点（詳細は、情報取得部５６で説明した手法を参照）の座標を用いて、カメラの相対位置・姿勢を算出（推定）する。具体的には、算出部５８は、３次元のマーカ座標系において正方形に配置された４つの頂点の座標から、２次元のカメラ仮想スクリーンＳ’の座標系へ変換された座標を求めることで、カメラの相対位置・姿勢を算出する。

なお、ＡＲマーカ２００とカメラとの相対位置・姿勢検出の手法については『「拡張現実感システム構築ツールＡＲＴｏｏｌＫｉｔの開発」電子情報通信学会技術研究会，ｐｐ７９～８６，２００２－０２』などが知られている。また、マーカ座標系は、最終的に仮想物体画像を配置する際のグローバル座標系であることが多い。ここで、４つの頂点は、同一平面にあることが分かっているため、３次元のマーカ座標系において、ＡＲマーカ２００の中心を（ｘ，ｙ，ｚ）＝（０，０，０）とすると、４つの頂点Ｍ０～Ｍ３の座標は、Ｍ０＝（－ａ，－ａ，０）、Ｍ１＝（ａ，－ａ，０）、Ｍ２＝（－ａ，ａ，０）、Ｍ３＝（ａ，ａ，０）と表される（図５参照）。

ここで、図５を参照して、スマート端末４０における座標表現について説明する。図５は、スマート端末４０における座標表現を示す図である。これに対して、置換部６０は、求めたい回転と平行移動を行って３次元の座標変換を施すと、スマート端末４０の４つの頂点Ｍ０～Ｍ３の座標は、３次元のカメラ座標系の座標に変換される。そして、３次元のカメラ座標系からカメラ仮想スクリーンＳ’への透視投影を行うことで、２次元の座標値であるＭ０’～Ｍ３’が求められる（図６参照）。この際の、回転及び平行移動のパラメータがカメラの相対位置・姿勢に該当する。

ここで、図６を参照して、スマート端末４０によるカメラ仮想スクリーンＳ’への透視投影について説明する。図６は、スマート端末４０によるカメラ仮想スクリーンＳ’への透視投影を示す図である。

続いて、ステップＳ２０９では、通信部４２は、ＡＲマーカ２００に埋め込まれた３Ｄの仮想物体画像の識別子をネットワークＮを介してサーバ３０に送信する。そして、情報取得部５６は、通信部４２を介してサーバ３０から３Ｄの仮想物体画像（重畳データ）を取得する。そして、置換部６０は、カメラの相対位置・姿勢及び第２情報（現実世界における大きさを表す）に基づいて、マーカ座標系の３次元空間上に配置する。ここで、置換部６０は、３Ｄの仮想物体画像の配置に第２情報（現実世界における大きさを表す）を用いているため、３Ｄの仮想物体画像を現実世界に則した大きさで配置することができる。

続いて、ステップＳ２１１では、表示部４６は、３次元空間に配置した３Ｄの仮想物体画像をスクリーンＳに透視投影した際の画像を描画し、ステップＳ２０１で取得した画像と重畳する。例えば、スマート端末４０は、ステップＳ２０１で取得した画像上に、ＯｐｅｎＧＬやＤｉｒｅｃｔ３Ｄなどの３ＤプログラミングＡＰＩを用いて３次元空間に配置した３Ｄの仮想物体画像を描画する。

続いて、ステップＳ２１３では、表示部４６は、仮想物体画像が重畳された画像（図７参照）をディスプレイなどに表示する。

なお、第１情報を、画像の印刷前のＡＲマーカ２００の現実世界における大きさを示す第１大きさ情報と関連付けられた情報とし、第２情報を、画像の印刷後のＡＲマーカ２００の現実世界における大きさを示す第２大きさ情報と関連付けられた情報としてもよい。

制御部５２は、撮像部５０（カメラ）で撮像した画像に対して、画像の編集処理や画像合成処理を使用し、画像に対して何らかの情報を付加する。このとき、撮像部５０で撮像
した画像の構成、またはＡＲマーカ２００を検知することで、画像に付加すべき情報を判断し、かつ付加すべき情報は現在の位置情報とすることで、画像の切り替え表示を行うことができる。

制御部５２は、以上の処理（ステップＳ２０７～Ｓ２１３）を１秒間に６０回程度で繰り返し実行し、画面表示することで、リアルタイムに重畳画像の表示を行うものとする。繰り返し回数は表１に示すテーブルに従って、ＣＰＵ性能を検知して変更する。これにより、識別子を抽出してから、ＡＲ情報を表示するまでの処理に係る繰り返し回数を、ＣＰＵの性能に応じて切り替えることができる。

なお、表１に示すテーブルのパラメータはそれぞれユーザによる変更を可能とする。また、１秒あたりの繰り返し回数は操作部４４を介してユーザが直接入力できるようにしてもよい。これにより、ユーザが所望する繰り返し回数に切り替えることができる。

＜スマート端末での表示イメージ＞
次に、図７（ａ）～（ｄ）を参照して、スマート端末４０に表示されるイメージについて説明する。図７（ａ）～（ｄ）は、スマート端末４０の処理により仮想物体画像を重畳したイメージを示す図である。

図７（ａ）に示す「オリジナル撮影画像」イメージ３００ａに対して、図６に示す置換処理を施すことで、図７（ｂ）に示す「ＡＲ重畳画像（重畳部分）」イメージ３００ｂの重畳文字（「・機密情報Ａ１」～「・機密情報Ｄ２」）（重畳データ）のように、撮像した画像に重畳画像を合成することが可能となる。

図７（ｃ）に示す「ＡＲ重畳画像：ＡＲマーカ比率反映（重畳部分）」イメージ３００ｃは、図７（ａ）に示す「オリジナル撮影画像」イメージ３００ａをななめ手前に位置したスマート端末４０から撮影した例である。この例も、図６に示す置換処理を施すことで、カメラの相対位置・姿勢及び第２情報に基づいて、マーカ座標と傾きに応じて、重畳画像も同じ比率に変倍して重畳したものである。

例えば、ＡＲマーカ２００の「オリジナル撮影画像」イメージ３００ａと撮像画像の比率が、縦方式で１０：５、横方向で１０：８である場合、縦方向は５／１０＝１／２の比率、横方向は８／１０＝４／５の比率となるため、重畳画像も縦方向を１／２、横方向を４／５に変倍してスマート端末４０に表示される。

なお、図７（ｄ）に示す「ＡＲマーカ検知不可」イメージ３００ｄのように撮像範囲にＡＲマーカ２００の全体が含まれない場合、ＡＲマーカ２００に含まれる情報を認識できないため、ＡＲマーカ２００が「無」として判断されるため、画像イメージを重畳することはできない。その場合、表示部４６は「ＡＲマーカを画面内に収まるようにしてください。」といった旨のメッセージをスマート端末４０に表示してもよい。

これにより、マーカ画像が所定の撮像範囲内に収まるように促すメッセージを目視確認したユーザは、マーカ画像を所定の撮像範囲内に収まるように画角を移動すべきことに気付くことができる。

次に、図８（ａ）（ｂ）を参照して、印刷データに含まれるＡＲマーカ２００のイメージについて説明する。図８（ａ）（ｂ）は、本発明の一実施の形態に係る印刷データに含まれるＡＲマーカのイメージ図である。ホストＰＣ１０に対して、ユーザの指定によりＡＲマーカ付与型／ＡＲマーカレス型の指定を可能とする。

図８（ａ）に示すＡＲマーカ付与型３１０では、印刷データ内にＡＲマーカ２００を明示的に配置する方式であり、ＡＲマーカ配置条件は、
ＡＲマーカサイズ（縦×横） ＜ 空き要領サイズ（縦×横）
である。

ここで、ＡＲマーカ２００の配置方法について説明する。第１の方法は、印刷データに対して、ＡＲマーカ２００のサイズ（縦×横）に一致する画像空き領域を検索してＡＲマーカ２００を配置する方法である。指定されたＡＲマーカ２００の縦×横で表す面積未満の画像空き領域を検索し配置する。条件に一致しない場合は、ＡＲマーカ２００側を縮小して配置することも可能とする。

第２の方法は、印刷データに対して、予め配置する画像空き領域に一致するＡＲマーカ２００を検索してＡＲマーカ２００を配置する方法である。指定された画像空き領域の縦×横の面積未満のＡＲマーカ２００を検索し条件に一致するＡＲマーカ２００を配置する。条件に一致しない場合は、規定のＡＲマーカ２００を縮小して配置することも可能とする。

また、複数のＡＲマーカ２００が指定される場合、ＡＲマーカ２００の指定がない場合は、印刷データの内容をＯＣＲ処理によりワードを抽出し、そのワード内容により、関連するＡＲマーカ２００に切り替えることができる。ここで、ＯＣＲ処理に用いた検索ワードが最も多いＡＲマーカ２００を選択する。

図８（ｂ）に示すＡＲマーカレス型は、印刷データの画像内容、画像配置をＡＲマーカ２００の画像ビット配置として扱う方式である。

＜ＡＲマーカイメージ＞
ここで、図９を参照して、ＡＲマーカイメージについて説明する。図９は、実施の形態に係る対応ワード例とその分類に関するＡＲマーカイメージを分類した図である。図９に示すように、対応ワード例とその分類内容に応じて、ＡＲマーカイメージをホストＰＣ１０により選択することが可能となる。

＜スマート端末の表示イメージ＞
次に、図１０（ａ）～（ｅ）を参照して、スマート端末４０において表示される表示イメージについて説明する。図１０（ａ）～（ｅ）は、実施の形態に係るスマート端末４０での表示イメージ図である。

図１０（ａ）は、画像形成装置２０により印刷された原稿を示す。これに対して、図１０（ｂ）～（ｅ）は、図１０（ａ）に示す原稿をスマート端末４０で撮影した画像に、セキュリティレベルに応じた情報を付加してスマート端末４０に表示した例である。セキュリティレベルＡ～Ｄに応じて、サーバ３０から取得できるデータが切り替えられることが解る。

＜ホストＰＣの動作説明＞
次に、図１１を参照して、ホストＰＣ１０の動作について説明する。図１１は、実施の形態に係るホストＰＣ１０の処理を示すフローチャートである。図１１において、ステップＳ４０１では、ＡＲ情報作成部１４は、ＡＲマーカの明示の有無、配置位置を選択する。詳しくは、ＡＲ情報作成部１４は、ユーザが操作入力したＡＲマーカ２００の形式、ＡＲマーカ配置位置、及びセキュリティレベルごとの開示情報を入力する。

＜ホストＰＣのＡＲ情報作成画面＞
ここで、図１２を参照して、ホストＰＣ１０のＡＲ情報作成画面について説明する。図１２は実施の形態に係るホストＰＣ１０のＡＲ情報作成画面を示す図である。図１２に示すように、ホストＰＣ１０に表示されるＡＲ情報作成画面４００には、「オリジナル撮影画像」イメージ３００ａに加えて、「マーカ選択」の設定領域、「セキュリティレベル毎の非開示情報」の設定領域が表示されている。

ここで、「マーカ選択」の設定領域において、「明示有り」は人が確認できるように文書にＡＲマーカ２００を入れる場合であり、「明示無し」は人が確認できないように文書にＡＲマーカ２００を入れる場合である。

「マーカ配置」においては、配置する座標と、縦×横のサイズ、自動縮小の有無が指定可能になる。「セキュリティレベル毎の非開示情報」の設定領域においては、セキュリティレベルＡ～Ｄの夫々にカットするデータの座標、縦×横のサイズ、回転の角度が指定可能になる。

「ＡＲマーカを追加する」ボタン４１０が押された場合、出力イメージにＡＲマーカ２００が表示される。設定内容を確定する場合には、「ＯＫ」ボタン４２０を押せばよい。一方、設定内容をキャンセルする場合には、「キャンセル」ボタン４３０を押せばよい。

ステップＳ４０２では、ＡＲ情報作成部１４は、図１２に示すＡＲマーカ２００の明示の有無をチェックする。ＡＲマーカ２００の「明示有り」の場合は、ステップＳ４０３では、ＡＲ情報作成部１４は、通信部４２を介してサーバ３０にＡＲマーカ一覧要求を送信して問い合わせる。ＡＲ情報作成部１４は、通信部４２を介してサーバ３０から受信したＡＲマーカ一覧をユーザに表示し、ＡＲマーカ一覧の中からユーザにＡＲマーカの種類の選択を促す。ＡＲ情報作成部１４は、ユーザによる選択の結果に基づいてＡＲ情報を作成する。ユーザが選択するＡＲマーカは複数選択を可能とする。一方、ＡＲマーカ２００の「明示無し」の場合は、ステップＳ４０４では、ＡＲ情報作成部１４は、文書自体をＡＲマーカ２００として扱うようにＡＲ情報を作成する。

＜ホストＰＣのＡＲマーカ画像選択画面＞
ここで、図１３を参照して、ホストＰＣ１０のＡＲマーカ画像選択画面について説明する。図１３は実施の形態に係るホストＰＣ１０のＡＲマーカ画像選択画面４５０を示す図である。

「マーカ画像選択」の設定領域において、「自動」はＡＲ情報作成部１４によりＡＲマーカを自動作成することを表す。ＡＲ情報作成部１４により自動作成されたＡＲマーカ４６０を画面右上部に示す。設定内容を確定する場合には、「ＯＫ」ボタン４７０を押せばよい。一方、選択内容をキャンセルする場合には、「キャンセル」ボタン４８０を押せばよい。

ステップＳ４０５では、通信部１６は、ネットワークＮを介してＡＲ情報要求をサーバ３０に送信して問い合わせる。通信部１６は、サーバ３０からＡＲ情報の返信を受信する。ステップＳ４０６では、ＡＲ情報作成部１４は、ＡＲマーカ２００の重複の有無をチェックする。ＡＲ情報作成部１４は、ＡＲマーカ２００が重複ありの場合（Ｓ４０６：重複あり）は、警告メッセージを表示する。ユーザ操作によりキャンセルボタンが押下された場合にステップＳ４０１に戻り、ユーザに再入力を促す。

これにより、ＡＲマーカ２００の再入力を促すメッセージが表示されるので、当該メッセージを目視確認した作成者はＡＲマーカ２００の再入力が必要なことに気付くことができる。

＜ホストＰＣの重複警告メッセージ＞
ここで、図１４（ａ）（ｂ）を参照して、ホストＰＣ１０の重複警告メッセージについて説明する。図１４（ａ）は実施の形態に係るホストＰＣ１０のＡＲマーカ２００を明示しない場合の重複警告メッセージ５００を示す図である。図１４（ｂ）は実施の形態に係るホストＰＣ１０のＡＲマーカ２００を明示する場合の重複警告メッセージ５３０を示す図である。図１４（ｃ）は実施の形態に係るホストＰＣ１０のＡＲマーカ登録画面５７０を示す図である。

ＡＲ情報作成部１４は、ホストＰＣ１０のＡＲマーカ２００を明示しない場合、図１４（ａ）に示すように重複警告メッセージ５００を表示する。警告内容を確認したときは、「ＯＫ」ボタン５１０を押下する。一方、キャンセルする場合には、「キャンセル」ボタン５２０を押下する。また、ＡＲ情報作成部１４は、ＡＲマーカ２００を明示する場合、かつＡＲマーカ２００が重複ありの場合は、図１４（ｂ）に示す警告メッセージを表示する。キャンセルボタン５４０が押下された場合にステップＳ４０３に戻り、ユーザにＡＲマーカ２００の再入力を促す。一方、キャンセルする場合には、「キャンセル」ボタン５４０を押下する。

これにより、ＡＲマーカ２００の再入力を促すメッセージが表示されるので、当該メッセージを目視確認した作成者はＡＲマーカ２００の再入力が必要なことに気付くことができる。

ＡＲ情報作成部１４は、ＡＲマーカ２００を明示する場合、かつＡＲマーカ２００が重複ありの場合は、ステップＳ４０３に戻る。ステップＳ４０３では、図１４（ｃ）に示すＡＲマーカ登録画面５７０において、ファイルパスを入力領域５８０に入力することで、画像プレビュ５９０を表示し、「ＯＫ」ボタン６００を押すことで、ユーザのホストＰＣ１０が保有するＡＲマーカ２００の情報をサーバ３０にアップロードすることができる。サーバ３０が保有するＡＲマーカ２００を追加し、ＡＲマーカ一覧を更新することを可能とする。一方、図１４（ｃ）においてキャンセルする場合には、「キャンセル」ボタン６１０を押下する。

これにより、ＡＲマーカ２００、及びＡＲマーカ２００の一覧を更新可能にすることで、ＡＲマーカ２００、及びＡＲマーカ２００の一覧を最新のものとして利用することができる。

また、ＡＲ情報作成部１４は、さらに重複対象となったＡＲ情報は、今回の情報で上書きすることも可能とする。これにより、既に利用されているＡＲマーカ２００に今回利用するＡＲマーカ２００を上書きするので、最新のＡＲマーカ２００を利用することができる。

ステップＳ４０７では、ＡＲ情報作成部１４は、印刷データ内のＡＲマーカ２００の配置を検索する。ここで、配置検索処理は、ステップＳ４０１でＡＲマーカ２００明示の場合にのみ行う。検索条件は下記の通りである。
ユーザが選択したＡＲマーカ面積（縦×横） ＜ ユーザ指定の配置面積（縦×横）

ＡＲ情報作成部１４は、ユーザ指定の配置面積（縦×横）の方が、ユーザが選択したＡＲマーカ面積（縦×横）よりも大きいことを検索条件として、ユーザが選択したＡＲマーカ分繰り返す。

ステップＳ４０８では、ＡＲ情報作成部１４は、すべてのＡＲマーカ２００が配置不可の場合は、警告メッセージを表示する。ＡＲ情報作成部１４は、ユーザ操作によりキャンセルボタンが押下された場合にステップＳ４０３に戻り、ＡＲマーカ２００の再選択を促す。

これにより、ＡＲマーカ２００の再配置を促すメッセージが表示されるので、当該メッセージを目視確認した作成者は、ＡＲマーカ２００を付与すべき原画像上の配置位置を変更すべきことに気付くことができる。

＜再選択メッセージ＞
ここで、図１５を参照して、ＡＲマーカ２００の再選択を促すメッセージについて説明する。図１５は実施の形態に係るホストＰＣ１０のＡＲマーカ２００の再選択を促すメッセージ６５０を示す図である。図５では、ＡＲマーカ２００の再選択を促すメッセージ例であり、確認後に「ＯＫ」ボタン６６０を押下し、キャンセル時には「キャンセル」ボタン６７０を押下する。

ＡＲ情報作成部１４は、配置不可の場合は、文書内の画像空き領域を検索し、ＡＲマーカ２００のサイズが収まる領域を検索して、ＡＲマーカ２００の配置位置を決定することも可能とする。

これにより、ＡＲマーカ２００を付与すべき原画像上の配置位置に原画像の一部が占有している場合でも、検索された原画像の空き領域にＡＲマーカ２００を配置することができる。

＜ＡＲマーカの再配置イメージ＞
ここで、図１６（ａ）（ｂ）を参照して、ＡＲマーカの再配置イメージについて説明する。図１６（ａ）（ｂ）は実施の形態に係るホストＰＣ１０のＡＲマーカ再配置イメージを示す図である。

図１６（ａ）に示すように、ＡＲ情報作成部１４は、自動再配置処理では、マーカサイズ（縦×横の面積）分を文書６８０内の空き（文字、画像の未配置）の空間を検索して、マーカサイズ＜文書内の空き空間という条件が成立した場合に再配置する。

なお、図１６（ａ）は、ＡＲマーカの配置予定箇所６９０を示しているが、予定箇所に文字があるためＡＲマーカの配置は不可能である。一方、図１６（ｂ）はＡＲマーカサイズの空間を文書６８０内で検索して、ＡＲマーカが収まる空間７００に配置した場合を示す。この条件が成立しない場合は、ＡＲ情報作成部１４は、ステップＳ４０３に戻りＡＲマーカ２００の再選択を促す。

ステップＳ４０９では、通信部１６は、ＡＲ情報に、ＡＲマーカ２００と印刷データの関連付情報、セキュリティレベルごとの開示情報を付与したもの、及び、オリジナルの印刷データに識別子を付加してネットワークＮを介してサーバ３０へ送信する。

ステップＳ４１０では、印刷データ作成部１２は、オリジナルの印刷データから、セキュリティレベルごとの開示情報が示す範囲の画像を消去した印刷データ（原画像）を作成し、この印刷データを通信部１６からネットワークＮを介して画像形成装置２０に送信する。

これにより、ＡＲマーカ２００が付与された原画像を作成して、原画像を画像形成装置２０に送信することができる。

＜画像形成装置の動作説明＞
次に、図１７を参照して、画像形成装置２０の動作について説明する。図１７は、実施の形態に係る画像形成装置２０の処理を示すフローチャートである。

図１７において、ステップＳ５０１では、通信部２２は、ネットワークＮを介してホストＰＣ１０から印刷データを受信する。次いで、ステップＳ５０２では、印刷データ出力部２４は、この印刷データを記録媒体に印刷して出力する。この結果、画像形成装置２０により、セキュリティレベルごとの開示情報が示す範囲の画像が消去された内容が記録媒体に印刷される。これにより、受信した印刷データ（原画像）を記録媒体に印刷することができる。

＜スマート端末の動作説明＞
次に、図１８を参照して、スマート端末４０の動作について説明する。図１８は、実施の形態に係るスマート端末４０の処理を示すフローチャートである。

図１８において、ステップＳ６０１では、撮像部５０は、記録媒体に印刷された原稿をカメラで撮影した後、情報取得部５６はＡＲマーカ２００から識別子を検知する。ステップＳ６０２では、通信部４２は、検知したＡＲマーカ２００により表す識別子と、スマート端末４０から読み出したユーザＩＤを使用して、識別子とユーザＩＤとについての問合せ要求をサーバ３０に送信する。すなわち、通信部４２は、ネットワークＮを介してユーザＩＤと当該識別子をサーバ３０に送信する。なお、スマート端末４０はサーバ３０に問い合わせる際のユーザＩＤは操作部４４を用いてユーザが指定することもできる。これにより、指定されたユーザＩＤに対応するＡＲ情報を取得することができる。

その後、ステップＳ６０３では、通信部４２は、ネットワークＮを介してサーバ３０からＡＲ情報を受信した場合は、ステップＳ６０４に進み、表示部４６は、重畳データであるＡＲ情報と撮像画像を合成して、スマート端末４０の画面に表示する。ステップＳ６０３において、サーバ３０からＡＲ情報を受信できない場合は、表示部４６は、特に表示画像の加工は行わない。

また、表示部４６は、ＡＲ情報の受信がない場合は、その旨のエラーメッセージを表示することもできる。

これにより、サーバ３０からＡＲ情報を取得できない場合に、エラーメッセージが表示されるので、サーバ３０からＡＲ情報を取得できなかったことをユーザが気付くことができる。

＜スマート端末の表示メッセージ＞
ここで、図１９を参照して、スマート端末４０に表示されるメッセージについて説明する。図１９は、実施の形態に係るスマート端末４０においてサーバ３０からＡＲ情報を受信できない場合のメッセージ７１０を示す図である。図１９において、メッセージの確認後に「ＯＫ」ボタン７２０を押下し、キャンセル時には「キャンセル」ボタン７３０を押下する。

＜サーバ動作について説明＞
次に、図２０を参照して、サーバ３０の動作について説明する。図２０は、実施の形態に係るサーバ３０の処理を示すフローチャートである。

図２０において、ステップＳ７０１では、通信部３４は、ネットワークＮを介してスマート端末４０からＡＲマーカ２００の識別子、及びユーザＩＤの問い合わせ要求を受信する。ステップＳ７０２では、表示データ作成部３２は、受信した識別子をキーとして、ＡＲ情報記憶部３８の識別子テーブルに記憶している識別子に対応したＡＲ情報を検索する。なお、表２は、識別子に対応したＡＲ情報を記載した識別子テーブルである。

ステップＳ７０３では、表示データ作成部３２は、スマート端末４０から問合せ要求があったＡＲマーカ２００の識別子と、ＡＲ情報記憶部３８から検索した結果のＡＲ情報の識別子とが一致するか否かをチェックし、一致しない場合は処理を終了する。

一方、両者が一致した場合、ステップＳ７０４に進み、表示データ作成部３２は、受信したユーザＩＤを検索キーとして、セキュリティテーブル（表３）からセキュリティレベルを検索する。なお、表３は、セキュリティレベルとユーザＩＤとの関係を示すセキュリティテーブルである。

ステップＳ７０５では、表示データ作成部３２は、セキュリティレベルの有無をチェックし、無い場合は処理を終了する。一方、セキュリティテーブルにユーザＩＤ自体がない場合は、セキュリティテーブルにユーザＩＤ自体がない旨のエラーメッセージをユーザに通知し、ユーザＩＤの再入力を促すこともできる。

これにより、エラーメッセージを確認したユーザはユーザＩＤが未登録であることに気付くことができる。また、受信した識別子、及びユーザＩＤに基づいて、ユーザの権限に合わせたＡＲ情報を検索してユーザＩＤの送信元に送信することができ、セキュリティ性を向上させることができる。

＜ユーザＩＤがない場合のメッセージ＞
図２１は、実施の形態に係るサーバ３０から送信されるユーザＩＤがない場合のメッセージ７５０を示す図である。図２１において、メッセージの確認後に「ＯＫ」ボタン７７０を押下し、キャンセル時には「キャンセル」ボタン７６０を押下する。

他方、セキュリティテーブルにユーザＩＤが有る場合、ステップＳ７０６では、表示データ作成部３２は、通信部３４を介してＡＲ情報をスマート端末４０へ送信する。また、ステップＳ７０４において使用するセキュリティテーブルは、セキュリティレベルの数、各セキュリティレベルに対応するユーザＩＤについての変更要求をホストＰＣ１０から受信した場合に、表示データ作成部３２は、ユーザＩＤを変更することも可能とする。これにより、セキュリティテーブル上のユーザＩＤを変更することができる。

また、セキュリティレベルで表示するＡＲ情報についての変更要求をホストＰＣ１０から受信した場合に、表示データ作成部３２は、ＡＲ情報を変更することも可能とする。これにより、ＡＲ情報を変更することができ、利便性を向上することができる。

表示データ作成部３２は、セキュリティテーブルからユーザＩＤに対するセキュリティレベル（例えば、Ａ～Ｄ）を検索した後、ＡＲ画像とセキュリティレベルとの対比テーブル（表４）を参照して、ＡＲ情報とセキュリティレベルに対応する画像を選択して読み出す。表示データ作成部３２は、選択した画像データを重畳データとして通信部３４を介してスマート端末４０に送信する。表４は、ＡＲ情報とセキュリティレベル（表示条件情報）に対応したスマート端末送信画像の関係を示す対比テーブルである。

ホストＰＣ１０からのＡＲマーカ情報の問い合わせに対して、サーバ３０では、ＡＲ情報記憶部３８に記憶されているＡＲ情報で同じＡＲマーカ２００が使われていないか、重複チェックを行い、その結果をホストＰＣ１０に応答することを可能とする。

また、ホストＰＣ１０からサーバ３０のオリジナル印刷データ記憶部３６が記憶するＡＲマーカ２００、及びＡＲマーカ一覧の更新要求を受け付けた場合に、この要求内容に従って、サーバ３０内の情報を更新することを可能とする。

以上のように、撮像部５０が画像を撮影する。データの表示条件を示すＡＲマーカ２００（マーカ画像）が表示された記録媒体が撮影されると、情報取得部５６が撮影されたＡＲマーカ２００（マーカ画像）から記録媒体を識別するための識別子を抽出する。通信部４２が識別子、及びユーザを特定するためのユーザＩＤをサーバ３０へ送信する。通信部４２がサーバ３０からユーザの権限に合わせた重畳データを受信する。表示部４６が重畳データを撮影中の記録媒体上に重ねて表示する。

これにより、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示す
ることができ、セキュリティ性を向上させることができる。

次に、ユーザグループでセキュリティレベルを管理する例について説明する。ここでは、ユーザＩＤでセキュリティレベルを判断するだけでは個人別の管理情報が必要になり、管理上の利便性が良くない。そこで、ユーザグループで管理できるようにするための仕組みを設ける。

これまでは、ユーザＩＤを直接にサーバ３０に送り、サーバ３０側でユーザＩＤに紐付くセキュリティレベルに変換していた。これに対して本例では、ユーザＩＤをユーザグループＩＤに変換するためのサーバ７０を利用して、サーバ３０からサーバ７０へユーザＩＤを通知しサーバ７０でユーザグループＩＤに変換する。その後は、ユーザＩＤの代わりにユーザグループＩＤを使ってＡＲ情報の取得までを実施する。

次に、図２２を参照して、サーバ３０の動作について説明する。図２２は、実施の形態に係るサーバ３０の処理を示すフローチャートである。図２２において、ステップＳ８０１では、まず、スマート端末４０からのＡＲマーカ２００、ユーザグループＩＤの問い合わせを受信する。なお、ユーザグループＩＤの問い合わせにはユーザＩＤが使われる。続いて、ステップＳ８０２では、ユーザグループＩＤを取得するため、ＡＲマーカ２００、ユーザグループＩＤをサーバ７０へ問い合わせる。すなわち、ステップＳ８０２ではサーバ３０がサーバ７０に対してユーザグループＩＤを要求する。

ステップＳ８０３において、サーバ３０は、サーバ７０からユーザグループＩＤを受信したか否かを判断する。ステップＳ８０３において、サーバ７０からユーザグループＩＤを受信した場合（判断、有）、図２０のステップＳ７０２と同様の動作を実行する。一方、ステップＳ８０３において、サーバ７０からユーザグループＩＤを受信しない場合（判断、無）、ステップＳ８０４でスマート端末４０へユーザグループＩＤなしのエラーを送信し、本動作を終了する。

上記ステップＳ８０４においては、スマート端末４０の表示部４６には、例えば前述した図２１に示すような表示イメージを表示する。

図２３は、実施の形態に係るサーバ７０の処理を示すフローチャートである。図２３において、まず、ステップＳ９０１では、サーバ３０からのＡＲマーカ２００、ユーザグループＩＤの問い合わせを受信する。続いて、ステップＳ９０２では、サーバ３０から受信した情報に基づき、サーバ７０で保持しているＡＲマーカ２００に対応するグループを検索し、検索したグループデータ７３からユーザグループＩＤを検索する。

続いて、ステップＳ９０３において、ユーザＩＤの合致有無を判断する。ここで合致しない場合（判断、無）、ステップＳ９０５でサーバ３０にエラーを送信し、処理を終了する。一方、ステップＳ９０３において、合致した場合（判断、有）、ステップＳ９０４において受信したユーザＩＤから合致したユーザグループＩＤをサーバ３０に送信する。

なお、上述したグループの検索は、ＡＲマーカ２００の種類に割り当てられたグループテーブルを参照してＡＲマーカ２００の種類に合致するグループを選択する。グループテーブルはあらかじめサーバ７０のグループデータ７３に登録しておく。ユーザグループＩＤの検索は、上記選択されたグループに対応するユーザグループＩＤテーブルを参照してユーザＩＤに合致するユーザグループＩＤを選択する。グループテーブル構造例を下記表５に、ユーザグループＩＤテーブル例を下記表６に示す。

次に、ＡＲ技術を用いた画像形成システムにおいて、印刷した原稿を、スマート端末３０の画面を通して見た時に表示される情報を特定の権限者にのみ表示可能とすることでセキュリティ性を向上させることに加え、スマート端末４０の指紋認証を加えることで本人を特定し、セキュリティ性を向上させる例について説明する。

図２４は、実施の形態に係るサーバ７０のモード処理を示すフローチャートである。図２４において、ステップＳ１００１において、サーバ７０側で、指紋認証モード、非指紋認証モード、自動指紋認証モードの何れかのモードを設定する。

ステップＳ１００２の指紋認証モードが設定されると、まず、ステップＳ１００５においてユーザＩＤに指紋認証情報が付与されているかを判断する。ここで指紋認証情報が有ると判断した場合、ステップＳ１００６でユーザ本人と確定し、ユーザＩＤ権限に応じたＡＲ情報を応答する。一方、ステップＳ１００５においてユーザＩＤに指紋認証情報が無いと判断した場合、ステップＳ１００７で本人が確定できないため、セキュリティレベルのもっとも低いＡＲ情報を応答する。

ステップＳ１００３の非指紋認証モードが設定されると、ステップＳ１００８においてユーザ本人であると確定し、ユーザＩＤ権限に応じたＡＲ情報を応答する。

ステップＳ１００４の自動指紋認証モードが設定されると、さらに、ステップＳ１００９でサーバ７０に保存される表７に示す指紋認証要否情報テーブルから、ユーザＩＤ毎の指紋認証要否を判断する。ステップＳ１００９において指紋認証要否情報が「要」である場合、ステップＳ１００５に移行してユーザ本人を確定し、ユーザＩＤ権限に応じたＡＲ情報を応答する。一方、ステップＳ１００９において指紋認証要否情報が「否」である場合、ステップＳ１００８に移行してユーザ本人であると確定し、ユーザＩＤ権限に応じたＡＲ情報を応答する。

サーバ７０側では、指紋認証する・しない・自動の３モードを設定することができる。上記設定されたモード毎の処理後、応答するセキュリティ情報は、前述した図２０に記載の方法で管理する。

このように、スマート端末４０側では、これまでのユーザＩＤに指紋認証情報を付与する。スマート端末４０側の指紋認証は、ログイン時に認証したもの、またはサーバ７０へ問い合わせ前に認証画面を表示して認証したもののいずれかを利用する。ユーザＩＤへの指紋認証有無付与条件は、以下の通りである。
指紋認証あり：ユーザＩＤ＋指紋認証情報
指紋認証なし：ユーザＩＤのみ

サーバ７０側から指紋認証情報無しの判断によるセキュリティレベルのもっとも低いＡＲ情報が応答された場合は、指紋認証を促す画面を、例えば、図２５に示す指紋認証を促す旨をスマート端末４０の表示部４６に表示する。図２５では、指紋認証を促す画面８００であり、メッセージの確認後に「ＯＫ」ボタン８２０を押下し、キャンセル時には「キャンセル」ボタン８１０を押下する。

＜実施態様例の構成、作用、効果＞
＜第１態様＞
本態様の情報処理システム１は、印刷後の画像の表示条件を示すＡＲマーカ２００（マーカ画像）が付与された印刷データを作成するホストＰＣ１０と、印刷データを記録媒体に印刷する画像形成装置２０と、撮像部５０と指紋認証情報を含むユーザ認証情報を入力する入力部（操作部４４、指紋認証部４９）とを有するスマート端末４０と、記録媒体に印刷された印刷画像をスマート端末４０で撮影したときに、ＡＲマーカ２００（マーカ画像）に紐付けられた表示条件とスマート端末４０のユーザ認証情報とに基づき表示権限を決定し、この決定にしたがってスマート端末４０が有する表示部４６に表示する画像を変更するサーバ３０と、を備えることを特徴とする。

第１態様により、ユーザの指紋認証を含む認証情報で本人確認を行った上で、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示することができ、よりセキュリティ性を向上させることができる。

＜第２態様＞
本態様の情報処理システム１は、印刷後の画像の表示条件を示すＡＲマーカ２００（マーカ画像）が付与された印刷データを作成するホストＰＣ１０と、印刷データを記録媒体に印刷する画像形成装置２０と、撮像部５０と指紋認証情報を含むユーザ認証情報を入力する入力部（操作部４４、指紋認証部４９）とを有するスマート端末４０と、第１のサーバ（サーバ３０）と、第２のサーバ（サーバ７０）と、を備え、第１のサーバ（サーバ３０）は、スマート端末４０からユーザグループ認証情報を受信し、第２のサーバ（サーバ７０）は、第１のサーバ（サーバ３０）から送られるスマート端末４０からのユーザグループ認証情報からスマート端末４０のユーザグループを認証し、第１のサーバ（サーバ３０）は、記録媒体に印刷された印刷画像をスマート端末４０で撮影したときに、ＡＲマーカ２００（マーカ画像）に紐付けられた表示条件とスマート端末４０のユーザグループ認証情報とに基づき表示権限を決定し、この決定にしたがってスマート端末４０が有する表示部４６に表示する画像を変更することを特徴とする。

第２態様により、ユーザの指紋認証を含む認証情報で本人確認を行った上で、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示することができ、よりセキュリティ性を向上させることができる。

＜第３態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する際に、ＡＲマーカ２００が付与された原画像が既に利用されている場合は、作成者にＡＲマーカ２００の再入力を促すメッセージを表示するＡＲ情報作成部１４をホストＰＣ１０に備えたことを特徴とする。

本第３態様によれば、ホストＰＣ１０に備えたＡＲ情報作成部１４が、ＡＲマーカ２００が付与された原画像を作成する際に、ＡＲマーカ２００が付与された原画像が既に利用されている場合は、作成者にＡＲマーカ２００の再入力を促すメッセージを表示する。これにより、ＡＲマーカ２００の再入力を促すメッセージが表示されるので、当該メッセージを目視確認した作成者はＡＲマーカ２００の再入力が必要なことに気付くことができる。

＜第４態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する際に、ＡＲマーカ２００が既に利用されている場合は、作成者にＡＲマーカ２００の再入力を促すメッセージを表示するＡＲ情報作成部１４をホストＰＣ１０に備えたことを特徴とする。

本第４態様によれば、ホストＰＣ１０に備えたＡＲ情報作成部１４が、ＡＲマーカ２００が付与された原画像を作成する際に、ＡＲマーカ２００が既に利用されている場合は、作成者にマーカ画像の再入力を促すメッセージを表示する。これにより、ＡＲマーカ２００の再入力を促すメッセージが表示されるので、当該メッセージを目視確認した作成者はＡＲマーカ２００の再入力が必要なことに気付くことができる。

＜第５態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する際に、ＡＲマーカ２００、及びＡＲマーカ２００の一覧を更新可能にするＡＲ情報作成部１４をホストＰＣ１０に備えたことを特徴とする。

本第５態様によれば、ホストＰＣ１０に備えたＡＲ情報作成部１４が、ＡＲマーカ２００が付与された原画像を作成する際に、ＡＲマーカ２００、及びＡＲマーカ２００の一覧を更新可能にする。これにより、ＡＲマーカ２００、及びＡＲマーカ２００の一覧を更新可能にすることで、ＡＲマーカ２００、及びＡＲマーカ２００の一覧を最新のものとして利用することができる。

＜第６態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する際に、ＡＲマーカ２００が既に利用されている場合は、既に利用されているＡＲマーカ２００に今回利用するＡＲマーカ２００を上書きするＡＲ情報作成部１４をホストＰＣ１０に備えたことを特徴とする。

本第６態様によれば、ホストＰＣ１０に備えたＡＲ情報作成部１４が、ＡＲマーカ２００が付与された原画像を作成する際に、ＡＲマーカ２００が既に利用されている場合は、既に利用されているＡＲマーカ２００に今回利用するＡＲマーカ２００を上書きする。これにより、既に利用されているＡＲマーカ２００に今回利用するＡＲマーカ２００を上書きするので、最新のＡＲマーカ２００を利用することができる。

＜第７態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する際に、ＡＲマーカ２００を付与すべき原画像上の配置位置に原画像の一部が占有している場合は、作成者にＡＲマーカ２００の再配置を促すメッセージを表示するＡＲ情報作成部１４をホストＰＣ１０に備えたことを特徴とする。

本第７態様によれば、ホストＰＣ１０に備えたＡＲ情報作成部１４が、ＡＲマーカ２００が付与された原画像を作成する際に、ＡＲマーカ２００を付与すべき原画像上の配置位置に原画像の一部が占有している場合は、作成者にＡＲマーカ２００の再配置を促すメッセージを表示する。これにより、ＡＲマーカ２００の再配置を促すメッセージが表示されるので、当該メッセージを目視確認した作成者は、ＡＲマーカ２００を付与すべき原画像上の配置位置を変更すべきことに気付くことができる。

＜第８態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する際に、ＡＲマーカ２００を付与すべき原画像上の配置位置に原画像の一部が占有している場合は、原画像の空き領域を検索して、空き領域にＡＲマーカ２００を配置するＡＲ情報作成部１４をホストＰＣ１０に備えたことを特徴とする。

本第８態様によれば、ホストＰＣ１０に備えたＡＲ情報作成部１４が、ＡＲマーカ２００が付与された原画像を作成する際に、ＡＲマーカ２００を付与すべき原画像上の配置位置に原画像の一部が占有している場合は、原画像の空き領域を検索して、空き領域にＡＲマーカ２００を配置する。これにより、ＡＲマーカ２００を付与すべき原画像上の配置位置に原画像の一部が占有している場合でも、検索された原画像の空き領域にＡＲマーカ２００を配置することができる。

＜第９態様＞
本態様の情報処理システム１は、サーバ３０からＡＲ情報（重畳データ）を取得できない場合に、エラーメッセージを表示する表示部４６をスマート端末４０に備えたことを特徴とする。

本第９態様によれば、スマート端末４０に備えた表示部４６が、サーバ３０からＡＲ情報を取得できない場合に、エラーメッセージを表示する。これにより、サーバ３０からＡＲ情報を取得できない場合に、エラーメッセージが表示されるので、サーバ３０からＡＲ情報を取得できなかったことをユーザが気付くことができる。

＜第１０態様＞
本態様の情報処理システム１は、サーバ３０からＡＲ情報（重畳データ）を取得する場合に、ユーザＩＤを指定する操作部４４をスマート端末４０に備えたことを特徴とする。

本第１０態様によれば、スマート端末４０に備えた操作部４４が、サーバ３０からＡＲ情報を取得する場合に、ユーザＩＤを指定することで、指定されたユーザＩＤに対応するＡＲ情報を取得することができる。これにより、指定されたユーザＩＤに対応するＡＲ情報を取得することができる。

＜第１１態様＞
本態様の情報処理システム１は、重畳データを要求された場合に、ユーザＩＤが未登録であるときには、エラーメッセージを応答する表示データ作成部３２をサーバ３０に備えたことを特徴とする。

本第１１態様によれば、サーバ３０に備えた表示データ作成部３２が、重畳データを要求された場合に、ユーザＩＤが未登録であるときには、エラーメッセージを応答する。これにより、エラーメッセージを確認したユーザはユーザＩＤが未登録であることに気付くことができる。

＜第１２態様＞
本態様の情報処理システム１は、重畳データを要求された場合に、ユーザＩＤに対応するセキュリティテーブルを変更可能にする表示データ作成部３２をサーバ３０に備えたことを特徴とする。

本第１２態様によれば、サーバ３０に備えた表示データ作成部３２が、重畳データを要求された場合に、ユーザＩＤに対応するセキュリティテーブルを変更可能にする。これにより、セキュリティテーブル上のユーザＩＤを変更することができる。

＜第１３態様＞
本態様の情報処理システム１は、ＡＲ情報（重畳データ）を変更可能にする表示データ作成部３２をサーバ３０に備えたことを特徴とする。

本第１３態様によれば、サーバ３０に備えた表示データ作成部３２が、ＡＲ情報を変更可能にする。これにより、ＡＲ情報を変更することができ、利便性を向上することができる。

＜第１４態様＞
本態様の情報処理システム１は、識別子を抽出してから、ＡＲ情報（重畳データ）を表示するまでの処理に係る繰り返し回数を、処理を実行するＣＰＵの性能に応じて切り替える制御部５２をスマート端末４０に備えたことを特徴とする。

本第１４態様によれば、スマート端末４０に備えた制御部５２が、識別子を抽出してから、ＡＲ情報を表示するまでの処理に係る繰り返し回数を、処理を実行するＣＰＵの性能に応じて切り替える。これにより、識別子を抽出してから、ＡＲ情報を表示するまでの処理に係る繰り返し回数を、ＣＰＵの性能に応じて切り替えることができる。

＜第１５態様＞
本態様の情報処理システム１は、繰り返し回数をユーザの指定に応じて切り替える制御部５２をスマート端末４０に備えることを特徴とする。

本第１５態様によれば、スマート端末４０に備えた制御部５２が、繰り返し回数をユーザの指定に応じて切り替える。これにより、ユーザが所望する繰り返し回数に切り替えることができる。

＜第１６態様＞
本態様の情報処理システム１は、記録媒体を撮影する場合に、記録媒体に表示されたマーカ画像が所定の撮像範囲内にないときには、マーカ画像が所定の撮像範囲内に収まるように促すメッセージを表示する表示部４６をスマート端末４０に備えたことを特徴とする。

本第１６態様によれば、スマート端末４０に備えた表示部４６が、記録媒体を撮影する場合に、記録媒体に表示されたマーカ画像が所定の撮像範囲内にないときには、マーカ画像が所定の撮像範囲内に収まるように促すメッセージを表示する。これにより、マーカ画像が所定の撮像範囲内に収まるように促すメッセージを目視確認したユーザは、マーカ画像を所定の撮像範囲内に収まるように画角を移動すべきことに気付くことができる。

＜第１７態様＞
本態様の情報処理方法は、印刷後の画像の表示条件を示すＡＲマーカ２００（マーカ画像）が付与された印刷データをホストＰＣ１０で作成する工程と、印刷データを画像形成装置２０で記録媒体に印刷する工程と、指紋認証情報を含むユーザ認証情報をスマート端末４０で入力する工程と、記録媒体に印刷された印刷画像をスマート端末４０で撮影したときに、ＡＲマーカ２００（マーカ画像）に紐付けられた表示条件とスマート端末４０のユーザ認証情報とに基づきサーバ３０により表示権限を決定し、この決定にしたがってスマート端末４０が有する表示部４６に表示する画像を変更する工程と、を含むことを特徴とする。

第１７態様の作用、及び効果は第１態様と同様であるので、その説明を省略する。

＜第１８態様＞
本態様のプログラムは、印刷後の画像の表示条件を示すＡＲマーカ２００（マーカ画像）が付与された印刷データをホストＰＣ１０で作成するステップと、印刷データを画像形成装置２０で記録媒体に印刷するステップと、指紋認証情報を含むユーザ認証情報をスマート端末４０で入力するステップと、記録媒体に印刷された印刷画像をスマート端末４０で撮影したときに、ＡＲマーカ２００（マーカ画像）に紐付けられた表示条件とスマート端末４０のユーザ認証情報とに基づきサーバ３０により表示権限を決定し、この決定にしたがってスマート端末４０が有する表示部４６に表示する画像を変更するステップと、をコンピュータに実行させる。

本態様によれば、各ステップをプロセッサに実行させることができる。

本実施の形態の情報処理システム１で実行されるプログラムは、各モジュールが有するＲＯＭ等に予め組み込まれて提供される。また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供してもよい。

さらに、本実施の形態で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施の形態で実行されるプログラムは、上述した各部を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵが上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

なお、上述してきた実施の形態は本発明を実現するための一例として提示したものであり、発明の範囲を限定することは意図しない。これらの新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 情報処理システム
１０ ホストＰＣ
２０ 画像形成装置
３０，７０ サーバ
４０ スマート端末
１２ 印刷データ作成部
１４ ＡＲ情報作成部
１６ 通信部
２４ 印刷データ出力部
３２ 表示データ作成部
３６ オリジナル印刷データ記憶部
３８ ＡＲ情報記憶部
４４ 操作部
４６ 表示部
４８ 記憶部
４９ 指紋認証部
５０ 撮像部
５２ 制御部
５４ 画像取得部
５６ 情報取得部
５８ 算出部
６０ 置換部
２００ ＡＲマーカ
２０１ 外部領域
２０２ 内部領域

特開２０１３－０２６９２２号公報

Claims (8)

1. 印刷後の画像の表示条件を示すマーカ画像が付与された印刷データを作成する情報処理端末と、
   前記印刷データを記録媒体に印刷する画像形成装置と、
   撮像部と指紋認証情報を含むユーザ認証情報を入力する入力部とを有する携帯端末と、
   第１のサーバと、
   第２のサーバと、
   を備え、
   前記第１のサーバは、前記携帯端末から、当該携帯端末が属するユーザグループを示すユーザグループ認証情報を受信し、
   前記第２のサーバは、前記第１のサーバから送られる前記携帯端末からの前記ユーザグループ認証情報から前記携帯端末の前記ユーザグループを認証し、
   前記第１のサーバは、前記記録媒体に印刷された印刷画像を前記携帯端末で撮影したときに、前記マーカ画像に紐付けられた表示条件と前記携帯端末の前記ユーザグループ認証情報とに基づき表示権限を決定し、この決定にしたがって前記携帯端末が有する表示部に表示する画像を変更し、
   前記第２のサーバは、指紋認証モード、非指紋認証モード、自動指紋認証モードのいずれかのモードを設定し、
   前記非指紋認証モードの場合は、前記指紋認証情報を含まない前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、
   前記指紋認証モードの場合は、前記ユーザ認証情報に前記指紋認証情報が付与されているか否かを判断し、前記ユーザ認証情報に前記指紋認証情報が付与されている場合、前記指紋認証情報を含む前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、前記ユーザ認証情報に前記指紋認証情報が付与されていない場合、前記携帯端末に表示するデータをセキュリティレベルが最も低い情報に変更し、
   前記自動指紋認証モードの場合は、前記第２のサーバの指紋認証要否情報に基づき前記ユーザ認証情報に紐付く認証要否を判断し、認証否の場合は、前記指紋認証情報を含まない前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、認証要の場合は、前記ユーザ認証情報に前記指紋認証情報が付与されているか否かを判断し、前記ユーザ認証情報に前記指紋認証情報が付与されている場合、前記指紋認証情報を含む前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、前記ユーザ認証情報に前記指紋認証情報が付与されていない場合、前記携帯端末に表示するデータをセキュリティレベルが最も低い情報に変更することを特徴とする情報処理システム。
2. 前記第２のサーバには、予め前記マーカ画像と前記ユーザグループとを対応させたグループテーブルが登録されていることを特徴とする請求項１に記載の情報処理システム。
3. 前記第２のサーバは、複数のユーザグループについて認証許可を行うことを特徴とする請求項１に記載の情報処理システム。
4. 前記第２のサーバは、前記携帯端末から前記ユーザグループ認証情報が取得できない場合、前記第１のサーバにエラー発生を送信し、前記第１のサーバは、前記携帯端末のエラーメッセージを表示させることを特徴とする請求項１に記載の情報処理システム。
5. 前記第１のサーバは、前記ユーザグループ認証情報に指紋認証情報が無い場合は、前記携帯端末に表示するデータをセキュリティレベルが最も低い情報に変更することを特徴とする請求項１に記載の情報処理システム。
6. 前記第１のサーバは、前記ユーザグループ認証情報に指紋認証情報が無い場合は、前記携帯端末側で指紋認証することを促す表示を行うことを特徴とする請求項１に記載の情報処理システム。
7. 印刷後の画像の表示条件を示すマーカ画像が付与された印刷データを情報処理端末で作成する工程と、
   前記印刷データを画像形成装置で記録媒体に印刷する工程と、
   指紋認証情報を含むユーザ認証情報を携帯端末で入力する工程と、
   第１のサーバが、前記携帯端末から、当該携帯端末が属するユーザグループを示すユーザグループ認証情報を受信する工程と、
   第２のサーバが、前記携帯端末からの前記ユーザグループ認証情報から前記携帯端末の前記ユーザグループを認証する工程と、
   前記第１のサーバが、前記記録媒体に印刷された印刷画像を前記携帯端末で撮影したときに、前記マーカ画像に紐付けられた表示条件と前記携帯端末の前記ユーザグループ認証情報とに基づき表示権限を決定し、この決定にしたがって前記携帯端末が有する表示部に表示する画像を変更する工程と、
   前記第２のサーバが、指紋認証モード、非指紋認証モード、自動指紋認証モードのいずれかのモードを設定する工程と、
   前記第２のサーバが、前記非指紋認証モードの場合は、前記指紋認証情報を含まない前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更する工程と、
   前記第２のサーバが、前記指紋認証モードの場合は、前記ユーザ認証情報に前記指紋認証情報が付与されているか否かを判断し、前記ユーザ認証情報に前記指紋認証情報が付与されている場合、前記指紋認証情報を含む前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、前記ユーザ認証情報に前記指紋認証情報が付与されていない場合、前記携帯端末に表示するデータをセキュリティレベルが最も低い情報に変更する工程と、
   前記第２のサーバが、前記自動指紋認証モードの場合は、前記第２のサーバの指紋認証要否情報に基づき前記ユーザ認証情報に紐付く認証要否を判断し、認証否の場合は、前記指紋認証情報を含まない前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、認証要の場合は、前記ユーザ認証情報に前記指紋認証情報が付与されているか否かを判断し、前記ユーザ認証情報に前記指紋認証情報が付与されている場合、前記指紋認証情報を含む前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、前記ユーザ認証情報に前記指紋認証情報が付与されていない場合、前記携帯端末に表示するデータをセキュリティレベルが最も低い情報に変更する工程と、
   を含むことを特徴とする情報処理方法。
8. 印刷後の画像の表示条件を示すマーカ画像が付与された印刷データを情報処理端末で作成するステップと、
   前記印刷データを画像形成装置で記録媒体に印刷するステップと、
   指紋認証情報を含むユーザ認証情報を携帯端末で入力するステップと、
   第１のサーバが、前記携帯端末から、当該携帯端末が属するユーザグループを示すユーザグループ認証情報を受信するステップと、
   第２のサーバが、前記携帯端末からの前記ユーザグループ認証情報から前記携帯端末の前記ユーザグループを認証するステップと、
   前記第１のサーバが、前記記録媒体に印刷された印刷画像を前記携帯端末で撮影したときに、前記マーカ画像に紐付けられた表示条件と前記携帯端末の前記ユーザグループ認証情報とに基づき表示権限を決定し、この決定にしたがって前記携帯端末が有する表示部に表示する画像を変更するステップと、
   前記第２のサーバが、指紋認証モード、非指紋認証モード、自動指紋認証モードのいずれかのモードを設定するステップと、
   前記第２のサーバが、前記非指紋認証モードの場合は、前記指紋認証情報を含まない前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更するステップと、
   前記第２のサーバが、前記指紋認証モードの場合は、前記ユーザ認証情報に前記指紋認証情報が付与されているか否かを判断し、前記ユーザ認証情報に前記指紋認証情報が付与されている場合、前記指紋認証情報を含む前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、前記ユーザ認証情報に前記指紋認証情報が付与されていない場合、前記携帯端末に表示するデータをセキュリティレベルが最も低い情報に変更するステップと、
   前記第２のサーバが、前記自動指紋認証モードの場合は、前記第２のサーバの指紋認証要否情報に基づき前記ユーザ認証情報に紐付く認証要否を判断し、認証否の場合は、前記指紋認証情報を含まない前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、認証要の場合は、前記ユーザ認証情報に前記指紋認証情報が付与されているか否かを判断し、前記ユーザ認証情報に前記指紋認証情報が付与されている場合、前記指紋認証情報を含む前記ユーザ認証情報に基づき、前記携帯端末に表示するデータを変更し、前記ユーザ認証情報に前記指紋認証情報が付与されていない場合、前記携帯端末に表示するデータをセキュリティレベルが最も低い情報に変更するステップと、
   をコンピュータに実行させるためのプログラム。

Images