JP6172178B2 - 画像処理システム、画像処理装置、および画像形成装置 - Google Patents

Description

本発明は、入力画像に応じた処理画像を生成する技術に関する。

プリンタ、複写機、複合機などの画像形成装置は、入力画像に応じた処理画像をシート上に形成する。すなわち、与えられた印刷ジョブを実行してシート上に画像を形成する。入力画像は、印刷を要求するホストから画像データの形で入力されたり、原稿シートに記録された状態で与えられたりする。

印刷ジョブの実行に際して、印刷された処理画像（印刷画像）において、入力画像のもつ情報の一部が欠落することがある。情報が欠落する典型的な場合は、画像形成装置がモノクロ機であって入力画像がカラー画像である、という場合である。この場合には入力画像のもつカラー情報が欠落する。

欠落した情報を再現する先行技術がある。特許文献１には、モノクロファクシミリ送信に際して、送信する処理画像に欠落するであろう色情報を展開した２次元バーコードを付加し、受信側で受信した処理画像をそれに付加された２次元バーコードに基づいてカラー画像に色変換して印刷することが提案されている。

なお、カラー情報の欠落を防止する先行技術がある。特許文献２には、カラーのコードシンボルを有した画像をモノクロ印刷する際に、カラーのコードシンボルが表わすコード情報をもったモノクロのコードシンボルを画像に合成し、合成後の画像を印刷することが提案されている。

一方、近年、ＡＲ（Augmented Reality ）の技術を利用した種々のサービスが提供されている。ＡＲは、一般に「拡張現実」と翻訳される。ＡＲの技術によると、ＡＲマーカが付されている印刷物をスマートフォンなどで撮影すると、ＡＲマーカに対応するコンテンツが、撮影した印刷物の画像の上に表示される。これにより、現実の空間が拡張したかのようにユーザに感じさせることができる。眼鏡型のウェアラブルコンピュータを用いることによっても同様の効果が得られる。

特開２００６−３４５０４９号公報 特開２０１４−０２４１９３号公報

上述の特許文献１の先行技術では、欠落する情報を２次元バーコードなどの付加画像によって表わすので、再現可能な情報の量が最大で３０００バイト程度の所定値に制限される。つまり、欠落した情報の情報量が少ない場合には欠落した情報の全てを再現することが可能であるが、欠落した情報の情報量が所定値よりも多い場合には欠落した情報の一部のみしか再現することができないという問題があった。

欠落する情報の情報量が少ない場合として、例えば入力画像がテキスト画像であって全ての文字が黒以外（例えば赤）であるという場合が考えられる。この場合には、文字色が「赤」であるという情報を２次元バーコードで表わすことにより、２次元バーコードが付加されて黒で印刷された処理画像を元にして、赤の文字からなるテキスト画像を印刷したり表示したりすることができる。テキスト画像の文字列の一部が赤で他の一部が青であるという場合も、ｍ行〜ｎ行は赤でｘ行目が青といった程度の情報は２次元バーコードで表わすことができるので、元のテキスト画像を再現することが可能である。

しかし、欠落する情報の情報量が多い場合として、例えば入力画像がフルカラー写真を含んでいるという場合が考えられる。この場合には、フルカラー写真は各画素の色と画素数との積で表わされる大量のカラー情報をもつので、２次元バーコードまたは他のどのような付加画像を用いたとしても、欠落する情報の全てを表わすことができない。そのため、欠落する情報の一部のみしか再現することができない。

本発明は、このような問題に鑑みてなされたもので、入力画像に応じた処理画像の生成に際して欠落する情報の再現性を従来よりも高めることを目的としている。

本発明の実施形態に係るシステムは、入力画像に応じた処理画像を生成する画像処理システムであって、前記入力画像がもつ情報のうちの前記処理画像の生成に際して欠落する欠落情報を特定する画像であるＡＲマーカを、当該処理画像の生成に際して当該処理画像に付加する画像処理部と、前記欠落情報に対応するＡＲコンテンツを生成するＡＲコンテンツ生成部と、前記ＡＲマーカと前記ＡＲコンテンツとを対応付けて記憶部に記憶させるＡＲコンテンツ登録部と、印刷されまたは表示された状態の前記処理画像を撮影するカメラと、前記カメラによる前記処理画像の撮影画像に映り込んでいる前記ＡＲマーカを認識するＡＲマーカ認識部と、認識された前記ＡＲマーカに対応付けて前記記憶部に記憶されている前記ＡＲコンテンツを、前記カメラによって撮影されている状態の前記処理画像に重ねて表示するＡＲ表示処理部と、を備え、前記ＡＲコンテンツは、前記入力画像のうちの前記欠落情報を表わす部分である欠落画像の画像データと、前記ＡＲマーカと前記欠落画像との位置関係を示す位置データと、前記ＡＲマーカと前記欠落画像との大きさの関係を示すサイズデータと、を有する。

本発明によると、入力画像に応じた処理画像の生成に際して欠落する情報の再現性を従来よりも高めることができる。

本発明の一実施形態に係る画像処理システムの全体的な構成の例を示す図である。 画像処理装置のハードウェア構成の例を示す図である。 ＡＲサーバのハードウェア構成の例を示す図である。 タブレット型端末装置のハードウェア構成の例を示す図である。 眼鏡型端末装置のハードウェア構成の例を示す図である。 入力画像の例を示す図である。 処理画像の例を示す図である。 端末装置を介して処理画像を見た際の様子の例を示す図である。 画像処理システムの機能的構成の例を示す図である。 ＡＲデータベースの例を示す図である。 ＡＲコンテンツに関する指定のためのユーザインタフェースの例を示す図である。 ＡＲコンテンツに関する指定のためのユーザインタフェースの例を示す図である。 ＡＲデータベースに登録されたデータの例を示す図である。 端末装置を介して処理画像を見た際の様子の例を示す図である。 状態変化データベースの例を示す図である。 画像処理装置の状態が変化した際のＡＲデータベースの更新の例を示す図である。 処理画像の例を示す図である。 端末装置を介して処理画像を見た際の様子の例を示す図である。 処理画像の例を示す図である。 端末装置を介して処理画像を見た際の様子の例を示す図である。 ＡＲデータベースに登録されたデータの例を示す図である。 入力画像の例を示す図である。 処理画像の例を示す図である。 端末装置を介して処理画像を見た際の様子の例を示す図である。 画像処理装置の全体的な処理の流れの例を示すフローチャートである。 欠落の有無の判定処理の例を示すフローチャートである。

図１には本発明の一実施形態に係る画像処理システム１００の全体的な構成の例が示されている。

画像処理システム１００の機能は、画像の印刷および読取りが可能な画像処理装置１、ＡＲコンテンツを提供するＡＲサーバ２、ＡＲコンテンツの提供を受ける１以上の端末装置３、および通信回線４などによって実現される。

画像処理装置１、ＡＲサーバ２、および端末装置３は、これらの間で相互に通信回線４を介して通信することができる。通信回線４として、インターネット、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ回線、公衆回線、携帯電話網、または専用回線などが用いられる。通信回線４は、ハブ、ルータ、および無線基地局を有するものであってよい。

画像処理装置１は、コピー機、プリンタ、ファクシミリ機、およびスキャナなどの機能を集約した多機能機（MFP: Multi-functional Peripheral）である。画像処理装置１は、シートに画像を印刷する画像形成装置、およびシートから原稿画像を読み取る画像読取り装置として使用することが可能である。つまり、画像処理装置１は、本発明における「画像処理装置」および「画像形成装置」の例である。

端末装置３は、ＡＲサーバ２から提供されるＡＲコンテンツを表示する。端末装置３として、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、または眼鏡型コンピュータなどが用いられる。

「眼鏡型コンピュータ」は、ウェアラブルコンピュータの一種であり、ウェアラブルディスプレイとも呼称され、眼鏡のように顔に装着するタイプのコンピュータである。

以下、端末装置３として、タブレットコンピュータまたは眼鏡型コンピュータが用いられる場合を例に説明する。前者および後者をそれぞれ「タブレット型端末装置３Ｔ」および「眼鏡型端末装置３Ｍ」と区別して記載することがある。

図２には画像処理装置１のハードウェア構成の例が示されている。

画像処理装置１は、ＣＰＵ（Central Processing Unit ）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、大容量記憶装置１０ｄ、タッチパネルディスプレイ１０ｅ、操作キーパネル１０ｆ、通信インタフェースカード（NIC: Network Interface Card ）１０ｇ、モデム１０ｈ、メモリカードリーダライタ１０ｉ、スキャンユニット１０ｊ、およびプリントユニット１０ｋなどによって構成される。

タッチパネルディスプレイ１０ｅは、ユーザに対するメッセージを示す画面、ユーザがコマンドまたは情報を入力するための画面、およびＣＰＵ１０ａなどが実行した処理の結果を示す画面などを表示する。また、タッチパネルディスプレイ１０ｅは、タッチされた位置を示す信号をＣＰＵ１０ａへ送る。

操作キーパネル１０ｆは、いわゆるハードウェアキーボードであって、スタートキー、ストップキー、およびファンクションキーなどによって構成される。

通信インタフェースカード１０ｇは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol ）などのプロトコルによってＡＲサーバ２または端末装置３と通信を行う。

モデム１０ｈは、ファクシミリ端末との間でＧ３などのプロトコルで画像データをやり取りする。

メモリカードリーダライタ１０ｉは、メモリカードからデータを読み取り、または、メモリカードへデータを書き込む。

スキャンユニット１０ｊは、イメージセンサ、読取り用スリット、フラットベッド、およびＡＤＦ（Auto Document Feeder）などによって構成される。ＡＤＦは、原稿シートがセットされると、それを１枚ずつ読取り用スリットへ向けて搬送する。フラットベッドには、原稿シートがユーザによってセットされる。イメージセンサは、ＡＤＦに原稿シートがセットされた場合は、原稿シートが読取用スリットを通過する際に、原稿シートをスキャンして画像データを生成する。または、フラットベッドに原稿シートがセットされた場合は、フラットベッドを走査することによって原稿シートをスキャンして画像データを生成する。

プリントユニット１０ｋは、送給装置、プリントエンジン、および排出装置などによって構成される。送給装置は、プリントエンジンへシートを供給する。プリントエンジンは、スキャンユニット１０ｊによって読み取られた画像または他の装置から受信した画像などをシートに印刷する。排出装置は、画像が印刷されたシートを排出トレイ上へ排出する。

ＲＯＭ１０ｃまたは大容量記憶装置１０ｄには、上述のコピーなどの機能を実現するためのプログラムが記憶されている。さらに、ＡＲコンテンツ登録プログラムが記憶されている。ＡＲコンテンツ登録プログラムは、印刷または読取りに際して元の画像から欠落する情報（欠落情報）に対応したＡＲコンテンツを生成してＡＲサーバ２へ登録するプログラムである。

これらのプログラムは、必要に応じてＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。大容量記憶装置１０ｄとして、ハードディスクまたはＳＳＤ（Solid State Drive ）などが用いられる。

図３にはＡＲサーバ２のハードウェア構成の例が示されている。

ＡＲサーバ２は、ＣＰＵ２０ａ、ＲＡＭ２０ｂ、ＲＯＭ２０ｃ、大容量記憶装置２０ｄ、および通信インタフェースカード（ＮＩＣ）２０ｅなどによって構成される。

通信インタフェースカード２０ｅは、ＴＣＰ／ＩＰなどのプロトコルによって端末装置３などの装置と通信を行う。

ＲＯＭ２０ｃまたは大容量記憶装置２０ｄには、ＡＲコンテンツ管理プログラムが記憶されている。ＡＲコンテンツ管理プログラムは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。大容量記憶装置２０ｄとして、ハードディスクまたはＳＳＤなどが用いられる。

図４にはタブレット型端末装置３Ｔのハードウェア構成の例が示されている。

タブレット型端末装置３Ｔは、ＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、フラッシュメモリ３０ｄ、タッチパネルディスプレイ３０ｅ、操作ボタン群３０ｆ、デジタルカメラ３０ｇ、および無線通信装置３０ｈなどによって構成される。

タッチパネルディスプレイ３０ｅは、フラット型ディスプレイ（例えば、液晶ディスプレイ）およびタッチパネルによって構成される。フラット型ディスプレイは、種々の画像を表示する。タッチパネルは、ユーザがタッチした位置を検知し、その位置をＣＰＵ３０ａへ通知する。

操作ボタン群３０ｆは、ホーム画面に戻るためのボタン、何かを確定するためのボタン、音量を調整するためのボタン、および電源のオン／オフを切り換えるためのボタンなどによって構成される。

デジタルカメラ３０ｇは、種々の画像を撮影する。特に画像処理装置１によって生成された処理画像を撮影するために用いられる。

無線通信装置３０ｈは、基地局を介してＴＣＰ／ＩＰなどのプロトコルによってＡＲサーバ２などの装置と通信を行う。無線通信装置３０ｈの通信方式として、例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥ（Long Term Evolution ）、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）、またはＰＨＳ（Personal Handy-phone System ）などが用いられる。

ＲＯＭ３０ｃまたはフラッシュメモリ３０ｄには、ＡＲサーバ２からＡＲコンテンツを取得するクライアントプログラムが記憶されている。クライアントプログラムは、ＲＡＭ３０ｂにロードされ、ＣＰＵ３０ａによって実行される。

図５には眼鏡型端末装置３Ｍのハードウェア構成の例が示されている。

眼鏡型端末装置３Ｍは、ＣＰＵ３１ａ、ＲＡＭ３１ｂ、ＲＯＭ３１ｃ、フラッシュメモリ３１ｄ、ディスプレイ３１ｅ、操作ボタン群３１ｆ、デジタルカメラ３１ｇ、および無線通信装置３１ｈなどによって構成される。

ＣＰＵ３１ａ、ＲＡＭ３１ｂ、ＲＯＭ３１ｃ、フラッシュメモリ３１ｄ、ディスプレイ３１ｅ、操作ボタン群３１ｆ、デジタルカメラ３１ｇ、および無線通信装置３１ｈの役割は、それぞれ、タブレット型端末装置３ＴのＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、フラッシュメモリ３０ｄ、タッチパネルディスプレイ３０ｅ、操作ボタン群３０ｆ、デジタルカメラ３０ｇ、および無線通信装置３０ｈと基本的に同様である。

ただし、画像を再現する方式が、タッチパネルディスプレイ３０ｅとディスプレイ３１ｅとでは相違する。タッチパネルディスプレイ３０ｅは、上述の通り、液晶ディスプレイのような平面型のディスプレイである。一方、眼鏡型端末装置３Ｍのディスプレイ３１ｅは、眼鏡の柄の根元に設けられたプロジェクタとレンズの端部付近に設けられたプリズムとによってレンズへ投光することによって、画像を再現する。

ＲＯＭ３１ｃまたはフラッシュメモリ３１ｄに、ＡＲサーバ２からＡＲコンテンツを取得するクライアントプログラムが記憶されている。クライアントプログラムは、ＲＡＭ３１ｂにロードされ、ＣＰＵ３１ａによって実行される。

さて、画像処理システム１００は、画像処理装置１によって入力画像に応じた処理画像が生成された後に、入力画像のもつ情報のうちの処理画像において欠落した欠落情報を、ＡＲ（Augmented Reality ）の技術によって端末装置３上で再現することができる。この際に、処理画像が端末装置３によって撮影される。

入力画像は、ネットワークプリントジョブでは通信回線４を介して画像データの形で画像処理装置１に入力され、コピージョブまたはスキャンジョブでは原稿シートに記録された状態で画像処理装置１に与えられる。ネットワークプリントジョブおよびコピージョブは、いずれも印刷ジョブの一種である。スキャンジョブは、原稿シートから入力画像を読み取って他の装置または画像処理装置１内の保存先へ送るジョブである。

なお、「処理画像」は、印刷ジョブの実行によって生成される場合には、シートに印刷された「印刷画像」である。また、スキャンジョブにおいて生成される場合には、処理画像は、読取りによって得られた「画像データ」である。

なお、以下において、スキャンジョブにおいて生成される処理画像を「スキャン画像」または「スキャン画像データ」ということがある。スキャン画像は、これを取得した装置において表示されまたは印刷されることによって可視化されて撮影可能になる。スキャン画像は、モノクロのファクシミリ通信における送信画像であってもよい。

図６には入力画像４１の例が、図７には処理画像の例が、それぞれ示されている。

図６に示す入力画像４１には、フルカラー画像４１１および複数行の文字列４１２が含まれている。

フルカラー画像４１１は、モノクロ色以外の色の画素を含むものであり、写真、絵、グラフ、表などであってよい。フルカラー画像４１１は、入力画像４１の上半部をほぼ占める大きさを有している。モノクロ色は、例えばブラックおよびブラックの色材で表わされるグレースケールの色である。

文字列４１２は、モノクロ色の文字を主体として構成されている。ただし、文字列４１２は、モノクロ色以外の色の帯状マーカを付して強調されたカラー部分４１５を含んでいる。なお、カラー部分４１５は、帯状マーカを付す代わりにまたは帯状マーカを付すとともに、文字色をモノクロ色以外の色とするものでもよい。

一方、図７に示す処理画像５１には、フルカラー画像４１１に対応するモノクロ画像５１１、文字列４１２に対応するモノクロの文字列５１２、および、モノクロのＡＲマーカ６１が含まれている。文字列５１２のうちのカラー部分４１５に対応する文字はモノクロ色であり、文字列５１２に帯状マーカは付されていない。

処理画像５１は、全体的にモノクロ画像であって、モノクロ色以外の色の画素を含んでいない。つまり、処理画像５１においては、入力画像４１がもつ情報のうちのカラー情報が欠落している。ＡＲマーカ６１は、欠落したカラー情報をＡＲの技術によって再現するために付加されている。

図８には端末装置３を介して処理画像５１を見た際の様子の例が示されている。

図８において、処理画像５１はシート６に印刷されており、使用されている端末装置３はタブレット型端末装置３Ｔである。

タブレット型端末装置３Ｔを操作するユーザは、クライアントプログラムを起動させ、タブレット型端末装置３Ｔを用いてシート６（印刷物）の処理画像５１を撮影する。そうすると、タブレット型端末装置３Ｔのタッチパネルディスプレイ３０ｅに、タブレット型端末装置３Ｔによって撮影されている状態の処理画像５１が表示されるとともに、処理画像５１の所定の位置に重ねてフルカラー画像４１１およびカラー部分４１５が所定の大きさで表示される。ユーザには、入力画像４１を印刷したシート６を撮影しているかのように見える。

なお、ユーザが眼鏡型端末装置３Ｍを掛けてシート６を見た場合は、シート６に入力画像４１が印刷されているかのように見える。

このように、画像処理システム１００によると、処理画像５１の生成に際して欠落したカラー情報を、ユーザの視野内に再現してユーザに見せる、拡張現実（ＡＲ）が実現される。

次に、欠落情報を再現する仕組みについて説明する。

図９には画像処理システム１００の機能的構成の例が、図１０にはＡＲデータベースＤＢ１の例が、それぞれ示されている。また、図１１および図１２にはＡＲコンテンツに関する指定のためのユーザインタフェースの例が、図１３にはＡＲデータベースＤＢ１に登録されたデータの例が、それぞれ示されている。さらに、図１４には端末装置３を介して処理画像５１を見た際の様子の例が示されている。

図９のように、画像処理システム１００は、画像処理部１０１、ＡＲコンテンツ生成部１０２、ＡＲコンテンツ登録部１０３、操作処理部１０７、欠落判定部１２１、および状態検知部１２２を備える。これらの要素の機能は、例えば画像処理装置１において、ＡＲコンテンツ登録プログラムによって実現される。

画像処理システム１００は、記憶部１０４を備える。記憶部１０４の機能は、例えばＡＲサーバ２において、ＡＲコンテンツ管理プログラムによって実現される。

さらに、画像処理システム１００は、デジタルカメラ３０ｇ，３１ｇ、ＡＲマーカ認識部１０５、およびＡＲ表示処理部１０６を備える。ＡＲマーカ認識部１０５およびＡＲ表示処理部１０６のそれぞれの機能は、例えば端末装置３において、クライアントプログラムによって実現される。

画像処理部１０１は、入力画像４１がもつ情報のうちの処理画像５１の生成に際して欠落する欠落情報を特定する画像であるＡＲマーカ６１を、当該処理画像５１の生成に際して当該処理画像５１に付加する。詳しくは次の通りである。

処理画像５１の生成に際して情報が欠落する場合には、ＡＲコンテンツ生成部１０２から画像処理部１０１にＡＲマーカ６１の画像データが与えられる。画像処理部１０１は、与えられたＡＲマーカ６１の画像データを、処理画像５１の画像データに組み入れる。

処理画像５１の画像データとは、印刷ジョブにおいては、プリントユニット１０ｋのプリンタエンジンに与える印字データであり、スキャンジョブにおいては、指定された保存先へ転送するスキャン画像データである。

なお、ＡＲマーカ６１のサイズは固定であってもよいし、可変であってもよい。処理画像５１におけるＡＲマーカ６１を付加する位置は、後述の欠落画像４１０の位置に応じて適宜選定することができる。

ネットワークプリントジョブにおいて、印刷の対象がページ記述言語（ＰＤＬ：Page Description Language ）によって記述されている場合には、記述内容を解釈して印字データを作成するＲＩＰ（Raster Image Processor）処理の過程でＡＲマーカ６１を付加することができる。

ＡＲコンテンツ生成部１０２は、欠落判定部１２１から欠落有りの判定結果Ｓ１の通知を受けた場合に、ＡＲマーカ６１を生成し、または予め記憶している複数のＡＲマーカの一つを入力画像４１に対応するＡＲマーカ６１と決める。ＡＲコンテンツ生成部１０２は、ＡＲマーカ６１の画像データを画像処理部１０１に与える。

また、ＡＲコンテンツ生成部１０２は、欠落判定部１２１から「欠落有り」の判定結果Ｓ１の通知を受けた場合に、入力画像４１から欠落情報を表わす部分である欠落画像４１０を抽出し、欠落情報に対応するＡＲコンテンツ７１を生成する。そして、ＡＲマーカ６１およびＡＲコンテンツ７１をＡＲコンテンツ登録部１０３に引き渡す。

ＡＲコンテンツ７１は、入力画像４１のうちの欠落画像４１０の画像データ、ＡＲマーカ６１と欠落画像４１０との位置関係を示す位置データ、およびＡＲマーカ６１と欠落画像４１０との大きさの関係を示すサイズデータを、少なくとも有する。例えば上述の図６の例の入力画像４１をモノクロ印刷する場合において、欠落画像４１０は、フルカラー画像４１１およびカラー部分４１５である。

位置データは、例えばＡＲマーカ６１の中心位置と欠落画像４１０の中心位置とが水平方向および垂直方向のそれぞれにおいてどれだけずれているかを示すものであってよい。サイズデータは、例えば、ＡＲマーカ６１のサイズに対する欠落画像４１０のサイズの比率を示すものであってよい。

ＡＲコンテンツ登録部１０３は、ＡＲコンテンツ生成部１０２からＡＲマーカ６１およびＡＲコンテンツ７１を受け取り、ＡＲマーカ６１とＡＲコンテンツ７１とを対応付けて記憶部１０４に記憶させる。その際、ＡＲマーカ６１とＡＲコンテンツ７１とが対応づけられた状態でＡＲコンテンツ生成部１０２から引き渡される場合は、引き渡された状態のまま記憶部１０４に転送してもよい。それによって自ずと記録部１０４においてＡＲマーカ６１とＡＲコンテンツ７１とが対応付けて記憶されることになる。つまり、ＡＲコンテンツ登録部１０３の機能は、端末装置３が記憶部１０４に対してＡＲマーカ６１を通知することによってＡＲコンテンツ７１を呼び出すことができるようにするものであればよい。

また、ＡＲコンテンツ登録部１０３は、ＡＲコンテンツ７１を記憶部１０４に記憶させる際、ジョブの実行を指示したユーザのユーザ認証情報をＡＲマーカ６１に対応付けて記憶させることができる。さらに、当該ユーザが使用する端末装置３を特定するデバイス情報をＡＲマーカ６１に対応付けて記憶させてもよい。

記憶部１０４は、ＡＲコンテンツ登録部１０３からＡＲマーカ６１およびＡＲコンテンツ７１を受け取ると、ＡＲデータベースＤＢ１に格納することによって、ＡＲマーカ６１とＡＲコンテンツ７１とを対応付けて記憶する。図１０の例では、ＡＲマーカ６１に対応づけて、画像データ（欠落画像）としてフルカラー画像４１１およびカラー部分４１５がＡＲデータベースＤＢ１に格納されている。

なお、ＡＲデータベースＤＢ１におけるＡＲマーカ６１の記憶の形態は、ＡＲマーカ６１を構成する複数の画素の各画素値を示すパターンファイルをＡＲデータベースＤＢ１に格納する形態でもよいし、ＡＲマーカ６１に付した管理番号をＡＲデータベースＤＢ１に格納する形態でもよい。後者の場合、管理番号とパターンファイルとを対応付けて別途記憶しておき、管理番号からパターンファイルを呼び出すことできるようにすればよい。画像データ（欠落画像）の記憶についても同様である。

デジタルカメラ３０ｇ，３１ｇは、印刷されまたは表示された状態の処理画像５１、すなわち印刷物上の処理画像５１またはディスプレイの画面上の処理画像５１を撮影する。

ＡＲマーカ認識部１０５は、デジタルカメラ３０ｇ，３１ｇによる処理画像５１の撮影画像５１０に映り込んでいるＡＲマーカ６１を公知のアルゴリズムを用いて認識する。そして、認識したＡＲマーカ６１の画素値の配列情報を、ＡＲ表示処理部１０６に引き渡す。

ＡＲ表示処理部１０６は、ＡＲマーカ認識部１０５から画素値の配列情報を受け取ると、受け取った配列情報を記憶部１０４に送り、ＡＲマーカ６１に対応付けて記憶部１０４に記憶されているＡＲコンテンツ７１を記憶部１０４から取得する。このとき、記憶部１０４は、ＡＲ表示処理部１０６から送られてきた配列情報をキーとしてＡＲデータベースＤＢ１に登録されている1 以上のＡＲマーカ（パターンファイル）を検索し、配列情報との一致度が所定値以上でかつ最も大きいパターンファイルを、ＡＲマーカ認識部１０５によって認識されたＡＲマーカ６１とする。そして、このＡＲマーカ６１に対応付けられているＡＲコンテンツ７１をＡＲ表示処理部１０６に送る。

なお、ＡＲ表示処理部１０６が記憶部１０４にアクセスする際に、端末装置３のユーザのユーザ認証情報および端末装置３のデバイス情報を記憶部１０４に送り、これら情報に基づいて記憶部１０４がユーザ認証を行うようにすることができる。

ＡＲ表示処理部１０６は、記憶部１０４からＡＲコンテンツ７１を取得すると、デジタルカメラ３０ｇ，３１ｇによって撮影されている状態の処理画像５１に重ねてＡＲコンテンツ７１を表示する。詳しくは、ＡＲ表示処理部１０６は、ＡＲコンテンツ７１に含まれる位置データおよびサイズデータに基づいて、入力画像４１が再現されるように、撮影画像５１０内のＡＲマーカ６１の位置および大きさに応じて欠落画像４１０の位置および大きさを定めて欠落画像４１０を表示する。

印刷されまたは表示されている処理画像５１がタブレット型端末装置３Ｔのデジタルカメラ３０ｇによって撮影されている場合には、図８の例のように、撮影のモニター表示手段としてのタッチパネルディスプレイ３０ｅに表示されている処理画像５１に欠落画像４１０を合成して表示する。

また、処理画像５１を有した印刷物が眼鏡型端末装置３Ｍのデジタルカメラ３１ｇによって撮影されている場合には、印刷物に欠落画像４１０が印刷されているかのようにユーザに見せるように、表示手段であるディスプレイ３１ｅを用いて眼鏡のレンズに欠落画像４１０を投影する。表示されている処理画像５１が眼鏡型端末装置３Ｍのデジタルカメラ３１ｇによって撮影されている場合も同様に、あたかも入力画像４１が表示されているかのようにユーザに見せるように、眼鏡のレンズに欠落画像４１０を投影する。

従来技術のように、入力画像の一部が欠落し、欠落情報が２次元バーコードを用いて付された印刷物に手書きでメモをした場合、２次元バーコードに基づいて欠落部分を再現して印刷すると、その印刷物には手書きのメモは再現されない。そのため、メモ書きされた印刷物と、再現された印刷物とを見比べて確認する必要がある。しかし、本実施形態においては、手書きされた印刷物に欠落画像４１０が印刷されているかのように表示されることになるので、ユーザは入力画像に手書きメモがなされたように見ることができる。

操作処理部１０７は、入力画像４１が欠落画像４１０を複数有する場合に、図１１に示される画面（ユーザインタフェース）Ｑ１をタッチパネルディスプレイ１０ｅに表示させる。画面Ｑ１は、入力画像４１、情報の欠落が生じることを伝えるメッセージ８１、および欠落画像４１０の指定に関わる三つのボタン８３，８４，８５を有する。画面Ｑ１内の入力画像４１のうちの欠落画像４１０となる部分は所定色（例えば赤）の太い線からなる枠で囲まれ、それによって当該部分がＡＲによる再現の対象として指定可能であることが示される。図１１では、フルカラー画像４１１およびカラー部分４１５が、枠で囲まれている。

ユーザは、欠落画像４１０の全てを指定する場合にはボタン８３を押下し、１以上の欠落画像４１０を選択的に指定する場合にはボタン８４を押下し、いずれの欠落画像４１０も指定しない場合にはボタン８５を押下する。

ユーザがボタン８４を押下すると、操作処理部１０７は、画面Ｑ１に代えて図１２に示される画面Ｑ２をタッチパネルディスプレイ１０ｅに表示させる。画面Ｑ２は、画面Ｑ１にそのボタン８３，８４，８５を隠すようにメッセージエリア８６を配置したものに相当する。メッセージエリア８６は、欠落画像４１０の指定をユーザに促すメッセージ８２および指定が終了したことをユーザが入力するためのボタン８７を有している。

図１２では、画面Ｑ２内の入力画像４１のうちのフルカラー画像４１１にユーザがタッチしている様子が描かれている。このように、ユーザは入力画像４１のうちの枠で囲まれた部分にタッチすることによって、当該部分をＡＲによる再現の対象として指定する。

操作処理部１０７は、複数の欠落画像４１０のうちのＡＲコンテンツ７１として表示させたい欠落画像４１０を指定するユーザによる入力を受け付ける。すなわち、画面Ｑ２において、入力画像４１のうちの枠で囲まれた複数の部分のいずれかにタッチする操作を受け付ける。そして、ユーザが１以上の欠落画像４１０を指定した後にボタン８７を押下すると、操作処理部１０７は、ユーザによってどの欠落画像４１０が指定されたかをＡＲコンテンツ生成部１０２に通知する。

この通知を受けた場合、ＡＲコンテンツ生成部１０２は、複数の欠落画像４１０のうちの指定された欠落画像以外が表示の対象外となるように、指定された欠落画像４１０以外の欠落画像４１０を含まないＡＲコンテンツ７１を生成する。そして、そのようなＡＲコンテンツ７１を記憶部１０４が記憶する。したがって、この場合において、ＡＲ表示処理部１０６は、複数の欠落画像４１０のうちのユーザによって指定された欠落画像４１０のみを表示する。

例えば、ユーザが、入力画像４１について、その欠落画像４１０であるフルカラー画像４１１およびカラー部分４１５のうち、フルカラー画像４１１のみをＡＲによる再現の対象として指定したとする。そして、入力画像４１に対応する処理画像５１を印刷する印刷ジョブを画像処理装置１に実行させ、それにより得られた印刷物を、眼鏡型端末装置３Ｍのレンズを通して見たとする。

このような場合、図１３のように、ＡＲデータベースＤＢ１には、フルカラー画像４１１の画像データが格納され、カラー部分４１５の画像データは格納されない。つまり、ＡＲコンテンツ７１にカラー部分４１５の画像データは含まれない。そして、ユーザが印刷物（処理画像５１が印刷されたシート６）を見たとき、ユーザには図１４のようにフルカラー画像４１１がシート６に印刷されているかのように見える。しかし、処理画像５１のうちの入力画像４１におけるカラー部分４１５に対応する部分については、処理画像５１がそのまま見える。

図９に戻って、ところで、欠落判定部１２１は、次の（ａ）〜（ｆ）の場合のうち、少なくともいずれかであるときに、処理画像５１の生成に際して入力画像４１の情報の一部または全部が欠落すると判定し、欠落有りの判定結果Ｓ１をＡＲコンテンツ生成部１０２に通知する。つまり、画像処理システム１００は、（ａ）〜（ｆ）のいずれかの場合において、処理画像５１にＡＲマーカ６１を付加し、ＡＲコンテンツ７１を生成して記憶部１０４に記憶させる。

（ａ）〜（ｆ）のうち、（ａ）〜（ｅ）は、処理画像５１として印刷画像を生成する印刷ジョブに関係する。（ｆ）は、画像処理装置１が処理画像５１としてスキャン画像データを生成するスキャンジョブに関係する。
（ａ）入力画像４１の少なくとも一部がカラー画像であって、処理画像５１がモノクロ画像である場合
（ｂ）トナーまたはインクといった色材の不足により入力画像４１の全体に対応する処理画像５１を印刷することができない場合
（ｃ）シートの不足により入力画像４１について印刷するべき複数枚の処理画像５１を印刷することができない場合
（ｄ）フォントサイズが文字をユーザが判読し難いであろう所定のサイズ以下となる縮小率で入力画像４１を縮小して印刷する場合
（ｅ）入力画像４１のサイズと比べてシートのサイズが小さいために処理画像５１の一部を印刷することができない場合
（ｆ）処理画像５１の保存先の記憶容量の不足により入力画像４１の読取りの解像度を通常値よりも低下させる必要がある場合、つまり入力画像４１がもつ高精細な画像情報が欠落する場合
欠落判定部１２１は、画像処理装置１に与えられたジョブの内容を示すジョブ情報、および状態検知部１２２によって検知された画像処理装置１の状態などに基づいて、ジョブを実行する状況が（ａ）〜（ｆ）のいずれかに当てはまるかどうかを判定する。

例えば、画像処理装置１がこれによる印刷がモノクロ印刷に限られるモノクロ機であって、カラー印刷を指定したネットワークプリントジョブが与えられた場合は、（ａ）に当てはまる。画像処理装置１のプリンタエンジンが電子写真式であって、ＡＲマーカ６１といった小さい画像しか印刷できない程にトナーの残量が少ないトナーニアエンプティ状態の場合は、（ｂ）に当てはまる。また、コピーと比べて低い解像度での読取りを指定するファクシミリ送信ジョブなどのスキャンジョブが与えられた場合は、（ｆ）に当てはまる。

状態検知部１２２は、印刷ジョブおよびスキャンジョブの実行に関わる画像処理装置１の状態を監視し、欠落判定部１２１からの問い合わせに応じて現在の状態を返答する。

加えて、状態検知部１２２は、トナーまたはシートが不足した状態のように、以後に解消する可能性のある状態について、状態の変化を監視することによって、入力画像４１がもつ情報の欠落を招いた原因が解消したことを検知する。欠落を招いた原因が解消したことを検知すると、状態検知部１２２は、その旨をＡＲコンテンツ登録部１０３に通知する。

このような動作を実現するため、状態検知部１２２は、図１５に示される状態変化データベースＤＢ２を管理する。状態変化データベースＤＢ２では、欠落を招いた原因とその原因に関わる画像処理装置１の状態とがＡＲマーカ６１に対応付けられる。

状態の変化の監視を開始する時点、すなわちＡＲコンテンツ登録部１０３がＡＲマーカ６１とＡＲコンテンツ７１とを対応付けて記憶部１０４に記憶させた直後では、画像処理装置１の状態は、欠落を招いた原因が発生中であるという状態である。その後、この原因が解消すると、原因が解消した状態であることを示すように状態変化データベースＤＢ２が更新される。さらにその後に、再び当該原因が発生した場合には、原因が発生中の状態であることを示すように状態変化データベースＤＢ２が再び更新される。以降、当該原因が解消したり発生したりするごとに状態変化データベースＤＢ２が更新される。

ＡＲコンテンツ登録部１０３は、ＡＲマーカ６１とＡＲコンテンツ７１とが記憶部１０４に記憶されている状態において、当該ＡＲコンテンツ７１の生成に際して入力画像４１がもつ情報の欠落を招いた原因が解消したとの通知を状態検知部１２２から受けたときに、その旨を示すシステム状態情報７５をＡＲマーカ６１に対応付けて記憶部１０４に記憶させる。

例えば、記憶部１０４は、ＡＲコンテンツ登録部１０３からＡＲコンテンツ７１を受け取るときに、情報の欠落を招いた原因を示す情報を受け取り、図１６（Ａ）に示されるように、ＡＲデータベースＤＢ１に「登録元の状態」として格納しておく。その後、システム状態情報７５を受け取ると、記憶部１０４は、図１６（Ｂ）に示されるように「登録元の状態」の内容をシステム状態情報７５に応じた内容に置き換える。つまり、システム状態情報７５をＡＲデータベースＤＢ１によって記憶する。

ＡＲ表示処理部１０６は、記憶部１０４にシステム状態情報７５が記憶されている場合に、ＡＲコンテンツ７１とともにシステム状態情報７５を表示する。システム状態情報７５が表示される場合の例を次に説明する。

図１７には処理画像５２の例が、図１８には端末装置３を介して処理画像５２を見た際の様子が、それぞれ示されている。

図１７に示される処理画像５２は、モノクロのＡＲマーカ６１のみからなる。図１７において、処理画像５２は、シート６に印刷されている。

処理画像５２は、例えば上述の入力画像４１を印刷する印刷ジョブが与えられたとき、画像処理装置１においてカラー印刷用のイエロー、マゼンタおよびシアンの各色のトナーが欠乏しており、かつモノクロ色のトナーの残量が僅かである、という場合に生成される。つまり、処理画像５２が生成される時点において、画像処理装置１の状態は、上述の（ａ）の場合および（ｂ）の場合の両方に当てはまる状態であった。

ユーザが端末装置３を介して処理画像５２を見たとき、端末装置３はＡＲマーカ６１を認識し、ＡＲデータベースＤＢ１からＡＲマーカ６１に対応付けられているＡＲコンテンツ７１を取得する。処理画像５２の生成に際して、入力画像４１の全ての情報が欠落する。

したがって、端末装置３がＡＲデータベースＤＢ１にアクセスするとき、ＡＲデータベースＤＢ１には、入力画像４１の全体が欠落画像４１０として登録されている。端末装置３は、取得したＡＲコンテンツ７１に基づいて、処理画像５２に重ねて入力画像４１（フルカラー画像４１１および文字列４１２）を表示する。これにより、図１８（Ａ）のように、ユーザにはシート６に入力画像４１がカラー印刷されているかのように見える。

また、処理画像５２が印刷された後に、画像処理装置１にトナーが補給され、それによって画像処理装置１の状態がトナーニアエンプティ状態からカラー印刷の可能な状態に変化したとする。状態検知部１２２がこの変化を検知し、ＡＲコンテンツ登録部１０３がシステム状態情報７５をＡＲマーカ６１に対応付けて記憶部１０４に記憶させる。システム状態情報７５は、変化後の画像処理装置１の状態を示すものであってよい。

システム状態情報７５が記憶された後に、ユーザが端末装置３を介して処理画像５２を見ると、図１８（Ｂ）のように、処理画像５２に重ねて入力画像４１が表示されるとともに、システム状態情報７５の内容に応じたメッセージ９１が表示される。図１８（Ｂ）において、メッセージ９１は、カラー印刷が可能になったことを伝える文である。

ユーザは、メッセージ９１によってカラー印刷が可能になったことを知った後、必要に応じて改めて入力画像４１を画像処理装置１に印刷させることができる。

なお、カラー印刷の可能な状態からカラー印刷が可能でない状態に変化した場合には、その旨を示すようにＡＲデータベースＤＢ１の「登録元の状態」の内容が更新される。この更新が行われた状態では、メッセージ９１の表示は行われない。

次に、入力画像４１のもつ情報のうちのカラー情報以外の情報が欠落する場合の例を説明する。

図１９には処理画像５３の例が、図２０には端末装置３を介して処理画像５３を見た際の様子の例が、図２１にはＡＲデータベースＤＢ１に登録されたデータの例が、それぞれ示されている。

図１９に示される処理画像５３は、フルカラー画像４１１およびＡＲマーカ６１を有する。しかし、処理画像５３は、入力画像４１中の文字列４１２に対応する部分を有していない。ＡＲマーカ６１の色は、モノクロ色でもよいし、他の色でもよい。図１９において、処理画像５３は、シート７に印刷されている。

処理画像５３は、画像処理装置１において印刷に使用可能なシート６のサイズが、入力画像４１のサイズと比べて小さい場合に生成される。つまり、処理画像５３が生成される時点において、画像処理装置１の状態は上述の（ｅ）の場合に当てはまる状態であった。図１９および図２０の説明において、シート７のサイズを例えばＡ４（210mm ×297mm ）とし、入力画像４１のサイズを例えばＡ３（297mm ×420mm ）とする。

Ａ４はＡ３のちょうど半分のサイズであるので、入力画像４１の向き（ポートレイト／ランドスケープ）を９０度回転させた向きでシート７を使用することによって、入力画像４１の半分をシート７に等倍で印刷することができる。処理画像５３は、このような等倍の印刷によって生成されたものである。

処理画像５３の生成に際して、入力画像４１のうちの文字列４１２によって表わされる画像情報が欠落する。ＡＲマーカ６１は、欠落した画像情報をＡＲの技術によって再現するために付加されている。

処理画像５３が印刷される場合、図２１のように、ＡＲデータベースＤＢ１には、文字列４１２の画像データが格納される。そして、ユーザが、処理画像５３の印刷されたシート７を例えば眼鏡型端末装置３Ｍを介して見たとき、図２０のように、処理画像５３と並んで文字列４１２の印刷された印刷物が存在するかのように、ユーザには見える。

図２２には複数の入力画像４２ａ，４２ｂ，４２ｃ，４２ｄの例が、図２３には処理画像５４の例が、図２４には端末装置３を介して処理画像５４を見た際の様子の例が、それぞれ示されている。

図２２に示される４つの入力画像４２ａ，４２ｂ，４２ｃ，４２ｄのうち、少なくともいずれかは文字情報を有している。入力画像４２ａ，４２ｂ，４２ｃ，４２ｄの間で画像のサイズは等しい。

図２３に示される処理画像５４は、入力画像４２ａ，４２ｂ，４２ｃ，４２ｄと同じかそれより小さいサイズのシート７に、４つの入力画像４２ａ，４２ｂ，４２ｃ，４２ｄをそれぞれ縮小して２行２列に並べる形式（いわゆる４イン１集約）で印刷したものである。

処理画像５４の印刷に際して、入力画像４２ａ，４２ｂ，４２ｃ，４２ｄを縮小することから、入力画像４２ａ，４２ｂ，４２ｃ，４２ｄに含まれる文字の中にフォントサイズが処理画像５４において小さくなり過ぎるものが存在する。つまり、入力画像４２ａ，４２ｂ，４２ｃ，４２ｄがもつ文字情報のうちの少なくとも一部が処理画像５４において欠落する。ＡＲマーカ６１は、欠落した文字情報をＡＲの技術によって再現するために付加されている。画像処理装置１が処理画像５４を生成する状況は、上述の（ｄ）の場合に当てはまる。

処理画像５４が生成される場合には、仮に入力画像４２ａ，４２ｂ，４２ｃ，４２ｄのいずれかが、縮小によって判読が困難になるようなサイズの文字情報を含んでいない場合であっても、入力画像４２ａ，４２ｂ，４２ｃ，４２ｄのそれぞれの全体が欠落画像４１０とされる。そして、図示を省略するが、ＡＲデータベースＤＢ１には、計四つの欠落画像４１０の全てがＡＲマーカ６１に対応付けて格納される。これにより、４イン１集約された結果をＡＲによってユーザに違和感なく見せることができる。

ユーザが、処理画像５４の印刷されたシート７を例えば眼鏡型端末装置３Ｍを介して見たとき、図２４のように、入力画像４２ａ，４２ｂ，４２ｃ，４２ｄを縮小することなく２行２列に並べた画像４２が存在するかのようにユーザには見える。

以下、フローチャートを参照しながら、画像処理装置１の動作をまとめる。

図２５のフローチャートには画像処理装置１の全体的な処理の流れの例が、図２６のフローチャートには欠落の有無の判定処理の例が、それぞれ示されている。

画像処理装置１は、印刷ジョブ、スキャンジョブまたは他のジョブの入力を受け付ける（図２５の＃１１）。

画像処理装置１が印刷ジョブまたはスキャンジョブを受け付けると、欠落判定部１２１は、入力画像４１がもつ情報の欠落が生じるかどうかを判定する（＃１２）。詳しくは、次の通りである。

図２６のように、印刷ジョブの場合には（＃２１でＹＥＳ）、印刷のカラーモード（カラー／モノクロ）、トナー残量、シートサイズ、シート残り枚数、入力画像のフォントサイズなどの所定の情報を収集する（＃２２）。続いて、収集した情報とジョブ情報とに基づいて、ジョブの実行が上述の（ａ）〜（ｅ）の場合のいずれかに当てはまるかどうかを判定する（＃２３）。

スキャンジョブの場合には（＃２６でＹＥＳ）、ジョブが指定している保存先のデータ空き容量を取得し（＃２７）、ジョブの実行が上述の（ｆ）の場合に当てはまるかどうかを判定する（＃２８）。

ステップ＃２３またはステップ＃２８でＹＥＳの場合、判定結果を「欠落有り」とする（＃２４）。そして、入力画像４１のうちの欠落画像４１０を特定する（＃２５）。

印刷ジョブでもなくスキャンジョブでもないジョブの場合には（＃２６でＮＯ）、判定結果を「欠落無し」とする（＃２９）。

図２５に戻って、欠落判定部１２１による判定結果が「欠落有り」である場合（＃１３でＹＥＳ）、ＡＲコンテンツ生成部１０２は今回のジョブの処理画像５１に付加するＡＲマーカ６１を決定する（＃１４）。新たにＡＲマーカ６１を作成してもよいし、予め用意しておいた複数のＡＲマーカのうちの一つをＡＲマーカ６１として選択してもよい。

ＡＲマーカ６１が決まった後、画像処理装置１は、ジョブに応じた処理画像５１、すなわち印刷画像またはスキャン画像を生成する。その際、画像処理部１０１は、処理画像５１にＡＲマーカ６１を付加する（＃１５）。

処理画像５１の生成の後に、または処理画像５１の生成と並行して、ＡＲコンテンツ生成部１０２がＡＲコンテンツ７１を生成し（＃１６）、生成されたＡＲコンテンツ７１をＡＲコンテンツ登録部１０３がＡＲサーバ２に転送して記憶部１０４に記憶させる（＃１７）。

欠落判定部１２１による判定結果が「欠落無し」である場合には（＃１３でＮＯ）、ジョブに応じた処理画像を生成する。この場合、画像処理部１０１は、処理画像にＡＲマーカ６１を付加しない。

以上の実施形態において、例えば複数ページのドキュメントの印刷のように複数のシートを使用する印刷ジョブが与えられた場合であって、必要な枚数よりもシート残り枚数が少ない場合に、ＡＲによって再現させたい入力画像をユーザが選択できるようにしてもよい。また、印刷されない入力画像をＡＲによって再現する代わりに、印刷された処理画像をユーザが見たときに、印刷されなかった入力画像がある旨のメッセージをＡＲコンテンツとして表示させることができる。

上述の実施形態においては、画像処理装置１においてＡＲコンテンツ７１を生成するものとして説明した。しかし、これに限らない。例えば、パーソナルコンピュータからプリンタドライバによって画像処理装置１に印刷を要求する場合に、欠落判定部１２１、ＡＲコンテンツ生成部１０２、およびＡＲコンテンツ登録部１０３の各機能をプリンタドライバによって実現することができる。さらに、画像処理部１０１におけるＡＲマーカを付加する機能をプリンタドライバによって実現してもよい。特に、ネットワークプリントジョブの場合には、プリンタドライバにおいてＡＲマーカを付加した画像データを画像処理装置１に入力することができる。この場合は、ＡＲマーカを付加する処理を行う前の画像を入力画像４１と見なすことができる。

原稿画像を例えば解像度６００ｄｐｉで読み取ってスキャン画像データを例えば画像処理装置1 の大容量記憶装置１０ｄ内の所定領域（ボックス）に保存するスキャンジョブが与えられた場合であって、ボックスの空き容量が不足していることから、スキャン画像データの解像度を例えば２００ｄｐｉに下げる解像度変換をする場合があり得る。この場合、２００ｄｐｉのスキャン画像データの一部をＡＲマーカ６１の画像データに置き換え、６００ｄｐｉのスキャン画像データをＡＲコンテンツ７１として登録しておくことができる。こうすることにより、ユーザが２００ｄｐｉのスキャン画像データを印刷させるか表示させるかして可視化し、端末装置３を用いて撮影したときに、６００ｄｐｉのスキャン画像が存在するかのようにユーザに見せることができる。

スキャンジョブによって指定される保存先が画像処理装置１以外の装置、例えばパーソナルコンピュータである場合も同様である。

ＡＲサーバ２の機能を画像処理装置１または他の機器に設けてもよい。

モノクロの画像読取りは、モノクロイメージセンサによって入力画像を読取るものでもよいし、カラーイメージセンサによって読み取った後にカラー画像データをモノクロ画像データに変換するものであってもよい。

画像処理装置１は、多機能機に限らず、印刷ジョブのみまたはスキャンジョブのみの実行が可能な機器であってよく、コピー機、プリンタ、ファクシミリ機などであってもよい。

画像処理システム１００の構成、画像処理装置１の構成、ＡＲサーバ２の構成、端末装置３の構成、処理の流れ、複数の処理を実行する順序およびタイミング、ＡＲマーカ６１のサイズおよびパターン、ＡＲコンテンツ７１のデータ構成および記憶の形態などは、本発明の趣旨に沿う範囲内で適宜変更することができる。

１ 画像処理装置（画像形成装置）
６，７ シート
３０ｅ，３１ｅ ディスプレイ
３０ｇ，３１ｇ デジタルカメラ（カメラ）
４１ 入力画像
５１，５２，５３．５４ 処理画像
６１ ＡＲマーカ
７１ ＡＲコンテンツ
７５ システム状態情報
１００ 画像処理システム
１０１ 画像処理部
１０２ ＡＲコンテンツ生成部
１０３ ＡＲコンテンツ登録部
１０４ 記憶部
１０５ ＡＲマーカ認識部
１０６ ＡＲ表示処理部
１０７ 操作処理部
４１０ 欠落画像
４１１ フルカラー画像（欠落画像）
４１２ カラー部（欠落画像）
５１０ 撮影画像
５１１ モノクロ画像

Claims (10)

1. 入力画像に応じた処理画像を生成する画像処理システムであって、
   前記入力画像がもつ情報のうちの前記処理画像の生成に際して欠落する欠落情報を特定する画像であるＡＲマーカを、当該処理画像の生成に際して当該処理画像に付加する画像処理部と、
   前記欠落情報に対応するＡＲコンテンツを生成するＡＲコンテンツ生成部と、
   前記ＡＲマーカと前記ＡＲコンテンツとを対応付けて記憶部に記憶させるＡＲコンテンツ登録部と、
   印刷されまたは表示された状態の前記処理画像を撮影するカメラと、
   前記カメラによる前記処理画像の撮影画像に映り込んでいる前記ＡＲマーカを認識するＡＲマーカ認識部と、
   認識された前記ＡＲマーカに対応付けて前記記憶部に記憶されている前記ＡＲコンテンツを、前記カメラによって撮影されている状態の前記処理画像に重ねて表示するＡＲ表示処理部と、を備え、
   前記ＡＲコンテンツは、
   前記入力画像のうちの前記欠落情報を表わす部分である欠落画像の画像データと、
   前記ＡＲマーカと前記欠落画像との位置関係を示す位置データと、
   前記ＡＲマーカと前記欠落画像との大きさの関係を示すサイズデータと、を有する、
   ことを特徴とする画像処理システム。
2. 入力画像に応じた処理画像を生成する画像処理システムであって、
   前記入力画像がもつ情報のうちの前記処理画像の生成に際して欠落する欠落情報を特定する画像であるＡＲマーカを、当該処理画像の生成に際して当該処理画像に付加する画像処理部と、
   前記欠落情報に対応するＡＲコンテンツを生成するＡＲコンテンツ生成部と、
   前記ＡＲマーカと前記ＡＲコンテンツとを対応付けて記憶部に記憶させるＡＲコンテンツ登録部と、
   印刷されまたは表示された状態の前記処理画像を撮影するカメラと、
   前記カメラによる前記処理画像の撮影画像に映り込んでいる前記ＡＲマーカを認識するＡＲマーカ認識部と、
   認識された前記ＡＲマーカに対応付けて前記記憶部に記憶されている前記ＡＲコンテンツを、前記カメラによって撮影されている状態の前記処理画像に重ねて表示するＡＲ表示処理部と、を備え、
   前記ＡＲコンテンツ登録部は、前記ＡＲマーカと前記ＡＲコンテンツとが前記記憶部に記憶されている状態において、前記入力画像がもつ情報の欠落を招いた原因が解消したときに、その旨を示すシステム状態情報を前記ＡＲマーカに対応付けて前記記憶部に記憶させ、
   前記ＡＲ表示処理部は、前記記憶部に前記システム状態情報が記憶されている場合に、前記ＡＲコンテンツとともに前記システム状態情報を表示する、
   ことを特徴とする画像処理システム。
3. 入力画像に応じた処理画像を生成する画像処理システムであって、
   前記入力画像がもつ情報のうちの前記処理画像の生成に際して欠落する欠落情報を特定する画像であるＡＲマーカを、当該処理画像の生成に際して当該処理画像に付加する画像処理部と、
   前記欠落情報に対応するＡＲコンテンツを生成するＡＲコンテンツ生成部と、
   前記ＡＲマーカと前記ＡＲコンテンツとを対応付けて記憶部に記憶させるＡＲコンテンツ登録部と、
   印刷されまたは表示された状態の前記処理画像を撮影するカメラと、
   前記カメラによる前記処理画像の撮影画像に映り込んでいる前記ＡＲマーカを認識するＡＲマーカ認識部と、
   認識された前記ＡＲマーカに対応付けて前記記憶部に記憶されている前記ＡＲコンテンツを、前記カメラによって撮影されている状態の前記処理画像に重ねて表示するＡＲ表示処理部と、を備え、
   前記処理画像は、シートに記録された前記入力画像の読取りによって得られるスキャン画像であり、
   前記処理画像の保存先の記憶容量の不足により前記入力画像の読取りの解像度を低下させる必要がある場合に、前記処理画像に前記ＡＲマーカを付加し、前記ＡＲコンテンツを生成して記憶部に記憶させる、
   ことを特徴とする画像処理システム。
4. 前記ＡＲ表示処理部は、前記位置データおよび前記サイズデータに基づいて、前記入力画像が再現されるように、前記撮影画像内の前記ＡＲマーカの位置および大きさに応じて前記欠落画像の位置および大きさを定めて前記欠落画像を表示する、
   請求項１記載の画像処理システム。
5. 前記入力画像が前記欠落画像を複数有する場合に、それら複数の欠落画像のうちの表示させたい欠落画像を指定するユーザによる入力を受け付ける操作処理部、を備え、
   前記ＡＲ表示処理部は、前記複数の欠落画像のうちの指定された欠落画像のみを表示する、
   請求項１または４記載の画像処理システム。
6. 前記処理画像は、シートに印刷される印刷画像であり、
   （ａ）前記入力画像の少なくとも一部がカラー画像であって、前記処理画像がモノクロ画像である場合、
   （ｂ）色材の不足により前記入力画像の全体に対応する前記処理画像を印刷することができない場合、
   （ｃ）シートの不足により前記入力画像について印刷するべき複数枚の前記処理画像を印刷することができない場合、
   （ｄ）フォントサイズが所定のサイズ以下となる縮小率で前記入力画像を縮小して印刷する場合、および
   （ｅ）前記入力画像のサイズと比べて前記シートのサイズが小さいために前記処理画像の一部を印刷することができない場合のうち、少なくともいずれかであるときに、前記処理画像に前記ＡＲマーカを付加し、前記ＡＲコンテンツを生成して記憶部に記憶させる、
   請求項１、２、４、５のいずれかに記載の画像処理システム。
7. 入力画像に応じた処理画像を生成する画像処理装置であって、
   前記入力画像がもつ情報のうちの前記処理画像の生成に際して欠落する欠落情報を特定する画像であるＡＲマーカを、当該処理画像の生成に際して当該処理画像に付加する画像処理部と、
   前記欠落情報に対応するＡＲコンテンツを生成するＡＲコンテンツ生成部と、
   前記ＡＲマーカと前記ＡＲコンテンツとを対応付けて記憶部に記憶させるＡＲコンテンツ登録部と、を備え、
   前記ＡＲコンテンツは、
   前記入力画像のうちの前記欠落情報を表わす部分である欠落画像の画像データと、
   前記ＡＲマーカと前記欠落画像との位置関係を示す位置データと、
   前記ＡＲマーカと前記欠落画像との大きさの関係を示すサイズデータと、を有する、
   ことを特徴とする画像処理装置。
8. 前記入力画像が前記欠落情報を表わす部分である欠落画像を複数有する場合に、それら複数の欠落画像のうちの表示させたい欠落画像を指定するユーザによる入力を受け付ける操作処理部、を備え、
   前記ＡＲコンテンツ生成部は、前記複数の欠落画像のうちの指定された欠落画像以外が表示の対象外となるように前記ＡＲコンテンツを生成する、
   請求項７記載の画像処理装置。
9. 入力画像に応じた処理画像を印刷する画像形成装置であって、
   前記入力画像がもつ情報のうちの前記処理画像の印刷に際して欠落する欠落情報を特定する画像であるＡＲマーカを、当該処理画像の印刷に際して当該処理画像に付加する画像処理部と、
   前記欠落情報に対応するＡＲコンテンツを生成するＡＲコンテンツ生成部と、
   前記ＡＲマーカと前記ＡＲコンテンツとを対応付けて記憶部に記憶させるＡＲコンテンツ登録部と、を備え、
   前記ＡＲコンテンツは、
   前記入力画像のうちの前記欠落情報を表わす部分である欠落画像の画像データと、
   前記ＡＲマーカと前記欠落画像との位置関係を示す位置データと、
   前記ＡＲマーカと前記欠落画像との大きさの関係を示すサイズデータと、を有する、
   ことを特徴とする画像処理装置。
10. 入力画像に応じた処理画像を生成する画像処理装置に印刷を要求するコンピュータにおいて用いられるプリンタドライバあって、
    前記コンピュータを、
    前記入力画像がもつ情報のうちの前記処理画像の印刷に際して欠落する欠落情報を特定する画像であるＡＲマーカを、当該処理画像の印刷に際して当該処理画像に付加する画像処理部、
    前記欠落情報に対応するＡＲコンテンツを生成するＡＲコンテンツ生成部、および、
    前記ＡＲマーカと前記ＡＲコンテンツとを対応付けて記憶部に記憶させるＡＲコンテンツ登録部として機能させるものであり、
    前記ＡＲコンテンツは、
    前記入力画像のうちの前記欠落情報を表わす部分である欠落画像の画像データと、
    前記ＡＲマーカと前記欠落画像との位置関係を示す位置データと、
    前記ＡＲマーカと前記欠落画像との大きさの関係を示すサイズデータと、を有する、
    ことを特徴とするプリンタドライバ。

Images