JP5686690B2 - 画像形成システム、携帯端末装置、およびプログラム - Google Patents

Description

本発明は、画像形成システム、携帯端末装置、およびプログラムに関するものである。

画像に関連付けて付加情報を予め登録しておき、画像マッチング技術を使用して、携帯端末による撮像画像に一致する登録画像に関連付けられている付加情報を提供するシステムが提案されている（例えば特許文献１参照）。

また、デジタル複合機にマーカーを設置しておき、携帯電話機で、そのマーカーを撮像すると、携帯電話機が、サーバーから、そのデジタル複合機のヘルプ情報を取得して表示するシステムが提案されている（例えば特許文献２参照）。特に、特許文献２に記載の装置は、視覚的に分かりやすくするために、ヘルプオブジェクトを、撮像画像に重畳させて表示させている。

特開２００６−４８６７２号公報 特開２０１０−２１９８７９号公報

上述の技術では、携帯端末装置により、デジタル複合機などの画像形成装置を撮像し、その画像形成装置の付加情報を取得して視覚的にわかりやすく表示することはできるものの、例えば印刷時など、画像形成装置の利用時に、ユーザーが携帯端末装置に対する直感的な操作で画像形成装置に所望の処理を実行させることは困難である。

本発明は、上記の問題に鑑みてなされたものであり、ユーザーが携帯端末装置に対する直感的な操作で所望の処理を実行させることができる画像形成システム、並びに、そのシステムに使用可能な携帯端末装置およびプログラムを得ることを目的とする。

上記の課題を解決するために、本発明では以下のようにした。

本発明に係る画像形成システムは、マーカーを設置された画像形成装置と、携帯端末装置と、携帯端末装置からの要求に応じた処理を画像形成装置に実行させるサーバーとを備える。そして、 前記サーバー装置は、画像形成装置の機体識別子、ネットワーク識別子および機体情報の少なくとも１つと、マーカーのマーカー識別子とが互いに関連付けられてデバイス登録データとして予め記憶する記憶装置と、携帯端末装置から原稿データファイルが受信されると、原稿データファイルとともに受信されたマーカー識別子のマーカーが設置されている画像形成装置をデバイス登録データに基づいて特定し、原稿データファイルを、マーカーが設置されている画像形成装置に関連付けて記憶装置に記憶させる制御部とを有する。また、携帯端末装置は、撮像装置と、表示装置と、撮像装置による撮像画像を表示装置に表示させるとともに、撮像画像内で画像形成装置のマーカーが検出された場合に、原稿データファイルのリストに基づいた操作パネル画像を撮像画像に重畳させて表示させる付加情報処理部と、撮像画像内で画像形成装置のマーカーが検出された場合に、原稿データファイルのリストをサーバーから取得し、操作パネル画像に対するユーザー操作により選択された原稿データファイルについての処理メニューの送信要求をサーバーへ送信する通信処理部とを有する。さらに、付加情報処理部は、撮像画像内で複数の画像形成装置のマーカーが検出された場合には、マーカーが検出された各画像形成装置について、原稿データファイルのリストに基づいた操作パネル画像を撮像画像に重畳させて表示させ、また、付加情報処理部は、処理メニューを、操作パネル画像に対するユーザー操作により選択された原稿データファイルとともに操作パネル画像として、１または複数の処理項目名を選択可能に表示させる。

これにより、ユーザーが携帯端末装置に対する直感的な操作で画像形成装置などに所望の処理を実行させることができる。

また、本発明に係る画像形成システムは、上記の画像形成システムに加え、次のようにしてもよい。その場合、通信処理部は、ユーザー操作により処理メニューから印刷が選択されると、選択された原稿データファイルに基づき画像形成装置に印刷を実行させるための印刷要求を送信する。

本発明に係る携帯端末装置は、撮像装置と、表示装置と、撮像装置による撮像画像を表示装置に表示させるとともに、撮像画像内で画像形成装置に設置されているマーカーが検出された場合に、原稿データファイルのリストに基づいた操作パネル画像を画像に撮像重畳させて表示させる付加情報処理部と、撮像画像内で画像形成装置のマーカーが検出された場合に、原稿データファイルのリストをサーバーから取得し、操作パネル画像に対するユーザー操作により選択された原稿データファイルについての処理メニューの送信要求をサーバーへ送信する通信処理部とを備える。付加情報処理部は、撮像画像内で複数の画像形成装置のマーカーが検出された場合には、マーカーが検出された各画像形成装置について、原稿データファイルのリストに基づいた操作パネル画像を撮像画像に重畳させて表示させ、付加情報処理部は、処理メニューを、操作パネル画像に対するユーザー操作により選択された原稿データファイルとともに操作パネル画像として、１または複数の処理項目名を選択可能に表示させる。

また、本発明に係る携帯端末装置は、上記の携帯端末装置に加え、次のようにしてもよい。この場合、通信処理部は、ユーザー操作により処理メニューから印刷が選択されると、選択された原稿データファイルに基づき画像形成装置に印刷を実行させるための印刷要求を送信する。

これにより、ユーザーが、携帯端末装置に対する直感的な操作で、選択した原稿データに基づく印刷を画像形成装置に実行させることができる。

本発明に係るプログラムは、撮像装置と表示装置とを備える携帯端末装置内のコンピューターを、撮像装置による撮像画像を表示装置に表示させるとともに、撮像画像内で画像形成装置に設置されているマーカーが検出された場合に、原稿データファイルのリストに基づいた操作パネル画像を画像に重畳させて表示させる付加情報処理部、および撮像画像内で画像形成装置のマーカーが検出された場合に、原稿データファイルのリストをサーバーから取得し、操作パネル画像に対するユーザー操作により選択された原稿データファイルについての処理メニューの送信要求を送信する通信処理部として機能させる。付加情報処理部は、撮像画像内で複数の画像形成装置のマーカーが検出された場合には、マーカーが検出された各画像形成装置について、原稿データファイルのリストに基づいた操作パネル画像を撮像画像に重畳させて表示させ、付加情報処理部は、処理メニューを、操作パネル画像に対するユーザー操作により選択された原稿データファイルとともに操作パネル画像として、１または複数の処理項目名を選択可能に表示させる。

これにより、ユーザーが携帯端末装置に対する直感的な操作で画像形成装置などに所望の処理を実行させることができる。

本発明によれば、ユーザーが携帯端末装置に対する直感的な操作で所望の処理を実行させることができる。

図１は、本発明の実施の形態１に係る画像形成システムの構成を示すブロック図である。 図２は、図１における画像形成装置に設置されているＡＲマーカーの一例を示す図である。 図３は、実施の形態１における、サーバー装置に保存されている保存ファイルの確認、およびサーバー装置へのファイルの保存について説明するシーケンス図である。 図４は、実施の形態１の携帯端末装置による画像形成装置の撮像画像の表示例を示す図である。 図５は、実施の形態１の携帯端末装置におけるＡＲ操作パネル（保存ファイルリスト）の表示例を示す図である。 図６は、実施の形態１の携帯端末装置における、ファイル送信時の確認画面の一例を示す図である。 図７は、実施の形態１の携帯端末装置におけるＡＲ操作パネル（保存ファイルリスト）の表示例を示す図である。 図８は、実施の形態１における、サーバー装置の保存ファイルに基づく印刷について説明するシーケンス図である。 図９は、実施の形態１の携帯端末装置におけるＡＲ操作パネル（処理メニュー）の表示例を示す図である。 図１０は、実施の形態１における、サーバー装置の保存ファイルのプレビューについて説明するシーケンス図である。 図１１は、実施の形態１における、サーバー装置からの保存ファイルの削除について説明するシーケンス図である。 図１２は、実施の形態１における、サーバー装置の保存ファイルの、画像形成装置への保存について説明するシーケンス図である。 図１３は、実施の形態１において、２台の画像形成装置を同時に撮影した場合に表示されるＡＲ操作パネルの例を示す図である。 図１４は、本発明の実施の形態２に係る画像形成システムの構成を示すブロック図である。

以下、図に基づいて本発明の実施の形態を説明する。

実施の形態１．

図１は、本発明の実施の形態１に係る画像形成システムの構成を示すブロック図である。図１に示すシステムでは、１または複数の画像形成装置１がネットワーク２に接続されており、そのネットワーク２に、サーバー装置３が接続されており、さらに、携帯端末装置４が、そのネットワーク２に接続可能となっている。

画像形成装置１は、プリンター、複合機などといった、印刷、画像送信などの画像出力機能を有する装置であって、オフィスなどに配置されている。

画像形成装置１は、通信装置１１、印刷部１２、画像読取部１３、ファクシミリ部１４、記憶装置１５、および制御部１６を有する。また、画像形成装置１の筐体表面には、ＡＲマーカー２１が設置されている。図２は、画像形成装置１に設置されているＡＲマーカー２１の一例を示す図である。なお、図２において説明のため、ＡＲマーカー２１を簡略化して描いているが、ＡＲマーカー２１は、このＡＲマーカー２１に固有の図案を有し、画像形成装置１の機体識別に使用される。ＡＲマーカー２１は、筐体表面に印刷や塗装によって形成されてもよいし、別部材で作成して取り付けるようにしてもよい。

通信装置１１は、ネットワーク２を介して、ネットワーク２に接続されている他の装置とのデータ通信を行うネットワークインターフェイスである。

印刷部１２は、例えば電子写真方式の印刷エンジンを有し、原稿画像を印刷する。画像読取部１３は、原稿の画像を光学的に読み取り画像データとして出力する。ファクシミリ部１４は、電話回線などを使用して、原稿画像データから原稿画像のファクシミリ信号を生成して送信したり、原稿画像のファクシミリ信号を受信し受信したファクシミリ信号から原稿画像データを生成する。

記憶装置１５は、ハードディスクドライブ、フラッシュメモリーなどの不揮発性の記憶装置であって、プログラムやデータなどを記憶する。

制御部１６は、通信装置１１、印刷部１２、画像読取部１３、ファクシミリ部１４、記憶装置１５などの内部装置を制御する。制御部１６は、コンピューターやＡＳＩＣ（Application Specific Integrated Circuit）で実現される。

また、制御部１６は、原稿データ（例えば、ＪＰＥＧ（Joint Photographic Experts Group）データファイル、ＰＤＦ（Portable Document Format）ファイル）や印刷用データ（例えば、ページ記述言語で記述されたデータ）から、印刷部１２による印刷に使用される画像データを生成する。

原稿データや印刷用データとともに印刷要求が通信装置１１により受信された場合には、制御部１６は、色変換、ハーフトーニングなどの画像処理を行い、その原稿データや印刷用データから印刷用の画像データを生成してその画像データに基づく印刷を印刷部１２に実行させる。

原稿データや印刷用データとともに保存要求が通信装置１１により受信された場合には、制御部１６は、その原稿データや印刷用データを記憶装置１５に保存しておき、その後、そのデータについての印刷要求を受け付けたときに、そのデータから印刷用の画像データを生成してその画像データに基づく印刷を印刷部１２に実行させる。

ネットワーク２は、ＬＡＮ（Local Area Network）および／またはＷＡＮ（Wide Area Network）を含む。

また、サーバー装置３は、携帯端末装置４からの各種要求を受け付け、その要求に応じた処理を実行する。サーバー装置３は、通信装置３１、記憶装置３２、および制御部３３を有する。

通信装置３１は、ネットワーク２を介して、ネットワーク２に接続されている他の装置（画像形成装置１、携帯端末装置４など）とのデータ通信を行うネットワークインターフェイスである。記憶装置３２は、ハードディスクドライブ、フラッシュメモリーなどの不揮発性の記憶装置であって、携帯端末装置４から受信された原稿データファイルの保存に使用される。また、記憶装置３２には、画像形成装置１の機体識別子、ネットワーク識別子（ＩＰアドレスなど）および機体情報（機種名など）と、その画像形成装置１に設置されているＡＲマーカー２１のマーカー識別子とが互いに関連付けられてデバイス登録データとして予め記憶されている。

制御部３３は、通信装置３１により携帯端末装置４から原稿データファイルが受信されると、その原稿データファイルとともに受信されたマーカー識別子のＡＲマーカー２１が設置されている画像形成装置１をデバイス登録データに基づいて特定し、その原稿データファイルを、その画像形成装置１に関連付けて記憶装置３２に記憶する。

また、制御部３３は、通信装置３１により携帯端末装置４からの問い合わせや要求が受信されると、その要求に応じた処理を実行し、その処理結果に対応する応答を通信装置３１でその携帯端末装置４に送信する。その際、画像形成装置１に処理を実行させる場合には、制御部３３は、上述のマーカー識別子から特定された画像形成装置１に、問い合わせや要求に対応する処理を実行させる。

携帯端末装置４は、撮像機能および画像表示機能を有する携帯可能な装置である。携帯端末装置４は、例えば所定のソフトウェアがインストールされたスマートフォンである。携帯端末装置４は、通信装置４１、撮像装置４２、表示装置４３、操作部４４、記憶装置４５、および制御部４６を有する。

通信装置４１は、ネットワーク２を介して、ネットワーク２に接続されている他の装置（サーバー装置３など）との無線データ通信を行う。通信装置４１は、例えば、無線ＬＡＮインターフェイスや、データ通信可能な携帯電話機のベースバンド部分である。撮像装置４２は、ＣＣＤ（Charge Coupled Device）などの撮像素子を有し、撮像した動画像の画像データをリアルタイムで出力する。表示装置４３は、液晶ディスプレイなどであって、各種画像を表示する。操作部４４は、ユーザー操作を検出し、ユーザー操作に応じた電気信号を出力する。操作部４４としてはスイッチやタッチパネルなどが使用される。

記憶装置４５は、ハードディスクドライブ、フラッシュメモリーなどの不揮発性の記憶装置であって、制御部４６により実行されるプログラムやデータなどを記憶している。記憶装置４５は、プログラム５１を記憶している。制御部４６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するコンピューターであって、ＲＯＭや記憶装置４５からプログラムをＲＡＭにロードしてＣＰＵで実行することで、各種処理部を実現する。プログラム５１が実行されることで、通信処理部５２およびＡＲ処理部５３が実現される。

実施の形態１では、通信処理部５２は、撮像画像内で画像形成装置１のＡＲマーカー２１が検出された場合に、ＡＲ操作パネルデータをサーバー装置３から取得し、ＡＲ操作パネルに対するユーザー操作に対応する要求をサーバー装置３へ送信する。

ＡＲ処理部５３は、拡張現実（ＡＲ：Augmented Reality）技術で、撮像装置４２による撮像画像を表示装置４３に表示させるとともに、撮像画像内で画像形成装置１のＡＲマーカー２１が検出された場合に、ＡＲ操作パネルを撮像画像に重畳させて表示させる。

また、実施の形態１では、通信処理部５２は、ＡＲ操作パネルデータとして、サーバー装置３に保存されている原稿データのリストを取得し、ＡＲ処理部５３は、原稿データのリストをＡＲ操作パネルとして表示装置４３に表示させ、通信処理部５２は、ＡＲ操作パネルに対するユーザー操作により選択された原稿データについての処理メニューの送信要求をサーバー装置３に送信する。

さらに、実施の形態１では、ＡＲ処理部５３は、そのメニューを操作パネル画像として表示し、通信処理部５２は、ユーザー操作によりそのメニューから「印刷」が選択されると、選択された原稿データに基づき画像形成装置１に印刷を実行させるための印刷要求をサーバー装置３に送信する。

ＡＲ処理部５３は、撮像画像内においてＡＲマーカー２１を検索し、ＡＲマーカー２１を発見すると、ＡＲマーカー２１から得られるそのＡＲマーカー２１固有の識別子（以下、マーカー識別子という）を特定する。なお、マーカー識別子は、マーカー画像の特徴量、マーカー画像を所定の方式でデコードして得られる値、それらに対応する値などである。

通信処理部５２は、サーバー装置３へ要求を送信する際に、ＡＲ処理部５３により検出されたマーカー識別子をその要求とともに送信する。サーバー装置３の制御部３３は、その要求とマーカー識別子を受信すると、そのマーカー識別子に対応する画像形成装置１を特定し、その要求を、その特定した画像形成装置１に対するものであると判別する。

次に、上記システムにおける各装置の動作について説明する。

ここでは、サーバー装置３に保存されている保存ファイルの確認、サーバー装置３へのファイルの保存、サーバー装置３の保存ファイルに基づく印刷、サーバー装置３の保存ファイルのプレビュー、サーバー装置３からの保存ファイルの削除、サーバー装置３の保存ファイルの、画像形成装置１への保存について順番に説明する。

（ａ）サーバー装置３に保存されている保存ファイルの確認、およびサーバー装置３へのファイルの保存

図３は、実施の形態１における、サーバー装置３に保存されている保存ファイルの確認、およびサーバー装置３へのファイルの保存について説明するシーケンス図である。

ユーザーは、携帯端末装置４の操作部４４を操作して、画像形成装置１の撮像を開始させる。携帯端末装置４では、ＡＲ処理部５３が、撮像装置４２による撮像画像を表示装置４３にリアルタイムで表示させる（ステップＳ１）。

ＡＲ処理部５３は、画像マッチング技術などで、撮像画像内でＡＲマーカー２１を検索する。画像形成装置１が撮像されている場合には、ＡＲ処理部５３は、撮像画像内のＡＲマーカー２１を発見する（ステップＳ２）。ＡＲ処理部５３は、ＡＲマーカー２１を発見すると、そのＡＲマーカー２１の画像から、ＡＲマーカー２１のマーカー識別子を特定する。

図４は、実施の形態１の携帯端末装置４による画像形成装置１の撮像画像の表示例を示す図である。図４に示すように、画像形成装置１の画像６１が表示され、ＡＲマーカー２１が検出されると、そのＡＲマーカー２１が付されているオブジェクト（ここでは画像形成装置１）を囲むように破線枠が表示される。

ＡＲ処理部５３によりＡＲマーカー２１が発見されると、通信処理部５２は、通信装置４１を使用して、そのマーカー識別子とともにデバイス情報の問い合わせをサーバー装置３に送信する（ステップＳ３）。

サーバー装置３では、制御部３３が、通信装置３１を使用して、その問い合わせおよびマーカー識別子を受信し、そのマーカー識別子から、携帯端末装置４で撮像中の画像形成装置１を特定し、ＳＮＭＰ（Simple Network Management Protocol）などで、その画像形成装置１から機器の状態情報を取得する（ステップＳ４，Ｓ５）。状態情報は、動作モード（通常モード、スリープモードなど）、画像形成装置１が実行可能な処理（印刷、ファクシミリ送信、ファイル保存など）、ジョブの実行状況、オプションの装着状況などを示す情報である。

制御部３３は、状態情報を取得すると、通信装置３１を使用して、その状態情報を機体情報とともに携帯端末装置４へ送信する（ステップＳ６）。携帯端末装置４では、通信処理部５２が、通信装置４１を使用して、その機体情報および状態情報を受信すると、ＡＲ処理部５３が、その機体情報および状態情報を表示装置４３に表示させる。

また、サーバー装置３では、そのマーカー識別子（またはそのマーカー識別子に関連付けられている画像形成装置１）に関連付けられて記憶装置３２に保存されている原稿データファイル（以下、保存ファイルという）を検索する（ステップＳ７）。なお、原稿データファイルの保存については後述する。

制御部３３は、保存ファイルを発見すると、発見した保存ファイルのファイル名に対応するＡＲ操作パネルデータを生成し（ステップＳ８）、そのマーカー識別子とともに携帯端末装置４へ送信する（ステップＳ９）。

なお、ＡＲ操作パネルデータは、ＡＲ技術で、撮像画像内のオブジェクト（ここでは画像形成装置１）に関連付けて表示する操作パネル画像のデータである。ＡＲ操作パネルデータは、ＧＩＦ、ＰＮＧなどの画像データファイルでもよいし、ＨＴＭＬ（Hypertext Markup Language）などのマークアップ言語で記述されたデータでもよい。ステップＳ８では、ファイル名を選択可能に表示する操作パネルのＡＲ操作パネルデータが生成される。

携帯端末装置４では、通信処理部５２がそのＡＲ操作パネルデータおよびマーカー識別子を受信すると、ＡＲ処理部５３は、そのマーカー識別子のＡＲマーカー２１または画像形成装置１の画像に関連付けて、そのＡＲ操作パネルデータに基づくＡＲ操作パネルを撮像画像に重畳して表示させる（ステップＳ１０）。これにより、ステップＳ１０では、撮像されている画像形成装置１に関連付けてサーバー装置３に保存されている保存ファイルのリストが、ＡＲ操作パネルとして表示される。

図５は、実施の形態１の携帯端末装置４におけるＡＲ操作パネル（保存ファイルリスト）の表示例を示す図である。例えば、「ｘｘｘｘ．ｊｐｇ」というファイル名の保存ファイルが存在する場合には、図５に示すように、「ｘｘｘｘ．ｊｐｇ」を表示するＡＲ操作パネル６２が表示される。撮像画像内で、画像形成装置１の画像６１が移動すると、ＡＲ処理部５３は、その移動に従ってＡＲ操作パネル６２の表示位置も移動させる。

このようにして表示されているＡＲ操作パネルに対する操作を、ユーザーは操作部４４で行うことができる。

また、ユーザーは、操作部４４を操作することで、携帯端末装置４からサーバー装置３へ原稿データファイルを保存させることができる。

携帯端末装置４において、原稿データファイルは記憶装置４５に記憶されており、通信処理部５２は、操作部４４に対するユーザー操作に従って、保存すべき原稿データファイルを選択する（ステップＳ１１）。そして、ＡＲ処理部５３は、ファイル送信のユーザー確認用の操作パネルを表示装置４３に表示させ、その操作パネルに対して、ファイル送信を許可する旨のユーザー操作があると、通信処理部５２は、通信装置４１を使用して、選択した原稿データファイルを上述のマーカー識別子とともにサーバー装置３へ送信する（ステップＳ１２）。

図６は、実施の形態１の携帯端末装置４における、ファイル送信時の確認画面の一例を示す図である。図６では、ファイル名が「ｙｙｙｙ．ｐｄｆ」であるファイルについてのユーザー確認用の操作パネル６３が表示されている。

サーバー装置３では、制御部３３は、通信装置３１を使用して、その原稿データファイルおよびマーカー識別子を受信すると、そのマーカー識別子（またはそのマーカー識別子に対応する画像形成装置１）に関連付けてその原稿データファイルを記憶装置３２に保存する（ステップＳ１３）。

制御部３３は、原稿データファイルの保存を完了すると、ステップＳ８，Ｓ９と同様にして、そのファイルについてのＡＲ操作パネルデータを生成し（ステップＳ１４）、マーカー識別子とともに携帯端末装置４へ送信する（ステップＳ１５）。

携帯端末装置４では、通信処理部５２がそのＡＲ操作パネルデータおよびマーカー識別子を受信すると、ＡＲ処理部５３は、ステップＳ１０と同様にして、そのマーカー識別子のＡＲマーカー２１または画像形成装置１に関連付けて、そのＡＲ操作パネルデータの画像を撮像画像に重畳して表示させる（ステップＳ１６）。これにより、ステップＳ１６では、ステップＳ１３で保存されたファイルを含む保存ファイルのリストが、ＡＲ操作パネルとして表示される。

図７は、実施の形態１の携帯端末装置４におけるＡＲ操作パネル（保存ファイルリスト）の表示例を示す図である。図５に示す状態で、ファイル名が「ｙｙｙｙ．ｐｄｆ」であるファイルが新たに保存されると、「ｘｘｘｘ．ｊｐｇ」を表示するＡＲ操作パネル６２とともに、「ｙｙｙｙ．ｐｄｆ」を表示するＡＲ操作パネル６４が表示される。撮像画像内で、画像形成装置１の画像６１が移動すると、ＡＲ処理部５３は、その移動に従ってＡＲ操作パネル６２，６４の表示位置も移動させる。

このようにして、ユーザーは、携帯端末装置４を操作することで、携帯端末装置４からサーバー装置３へ原稿データファイルを保存でき、サーバー装置３の保存ファイルのリストがＡＲ操作パネルとして携帯端末装置４に表示される。

（ｂ）サーバー装置３の保存ファイルに基づく印刷

図８は、実施の形態１における、サーバー装置３の保存ファイルに基づく印刷について説明するシーケンス図である。

ユーザーは、操作部４４を操作して、上述のようにして携帯端末装置４に保存ファイルのリストとして表示されているＡＲ操作パネルのうちのいずれか１つを選択し、そのＡＲ操作パネルに対応する保存ファイルについて各種処理を行わせることができる。

ＡＲ処理部５３は、操作部４４に対するユーザー操作に従って、ＡＲ操作パネル（つまり、保存ファイル）を選択する（ステップＳ２１）。そして、通信処理部５２は、選択された保存ファイルの処理メニューの要求を、通信装置４１を使用して、サーバー装置３へ送信する（ステップＳ２２）。例えば、ＡＲ操作パネルには固有のＩＤが割り当てられ、ＡＲ操作パネルデータにそのＩＤが含められ、ＡＲ操作パネルに対するユーザー操作に対応する要求などがサーバー装置３へ送信される際にはそのＩＤも併せて送信される。このＩＤにより、サーバー装置３において、どのＡＲ操作パネル（つまり、どの保存ファイル）に関する要求であるかを特定することができる。

サーバー装置３では、制御部３３は、通信装置３１でその要求を受信すると、そのＡＲ操作パネルに対応する保存ファイルの処理メニューのＡＲ操作パネルデータを生成し（ステップＳ２３）、マーカー識別子とともに携帯端末装置４へ送信する（ステップＳ２４）。

携帯端末装置４では、通信処理部５２がそのＡＲ操作パネルデータおよびマーカー識別子を受信すると、ＡＲ処理部５３は、ステップＳ１０，Ｓ１６と同様にして、そのマーカー識別子のＡＲマーカー２１または画像形成装置１に関連付けて、そのＡＲ操作パネルデータに基づくＡＲ操作パネルを撮像画像に重畳して表示させる（ステップＳ２５）。これにより、ステップＳ２５では、ステップＳ２１で選択された保存ファイルについての処理メニューがＡＲ操作パネルとして表示される。処理メニューのＡＲ操作パネルでは、ファイル名が表示されるとともに、１または複数の処理項目名が選択可能に表示される。

図９は、実施の形態１の携帯端末装置４におけるＡＲ操作パネル（処理メニュー）の表示例を示す図である。

図９では、ファイル名が「ｙｙｙｙ．ｐｄｆ」である保存ファイルについての処理メニュー６５が表示されている。この処理メニュー６５には、「印刷」、「プレビュー」、「保存」、および「キャンセル」が選択可能に表示される。「印刷」は、この保存ファイルが関連付けられている画像形成装置１に、この保存ファイルに基づく印刷を実行させる処理を示す。「プレビュー」は、この保存ファイルのプレビュー表示を示す。「保存」は、この保存ファイルが関連付けられている画像形成装置１に、この保存ファイルに対応する印刷用データを保存させる処理を示す。「キャンセル」は、サーバー装置３からの、この保存ファイルの削除を示す。

ユーザーは、操作部４４を操作して、図９に示すような処理メニュー６５において、所望の処理に対応する処理項目名を選択することで、保存ファイルに対して所望の処理を実行させることができる。

ユーザー操作に基づき、処理メニュー６５において「印刷」が選択されたことがＡＲ処理部５３により検出されると（ステップＳ３１）、通信処理部５２は、通信装置４１を使用して、印刷要求をサーバー装置３に送信する（ステップＳ３２）。なお、この印刷要求には印刷設定が含まれている。

サーバー装置３では、制御部３３は、通信装置３１で、その印刷要求を受信し、その印刷要求に対応する保存ファイルを特定し、その保存ファイルに対応する印刷用データを印刷設定とともに通信装置３１で画像形成装置１へ送信する（ステップＳ３３）。

このとき、例えば、処理メニュー６５のＩＤ（つまり、ＡＲ操作パネルのＩＤ）が印刷要求とともに送信され、そのＩＤから印刷に使用される保存ファイルが特定される。また、印刷用データは、画像形成装置１が印刷処理に使用可能な形式のデータである。したがって、保存ファイルがそのままでは画像形成装置１での印刷処理に使用できない場合には、制御部３３は、保存ファイルを、ページ記述言語などの所定の形式のデータへ変換し、変換後のデータを画像形成装置１へ送信する。

画像形成装置１では、制御部１６が、通信装置１１で、その印刷用データを受信し、その印刷用データに基づいて、印刷部１２に印刷を実行させる（ステップＳ３４）。そして、印刷が完了すると、制御部１６は、その結果を示す応答をサーバー装置３へ送信する（ステップＳ３５）。

サーバー装置３では、制御部３３は、その応答を受信すると、同様の内容を有する、印刷要求の応答を携帯端末装置４へ送信する（ステップＳ３６）。

携帯端末装置４では、通信処理部５２によりその応答が受信されると、ＡＲ処理部５３は、その応答の内容を表示装置４３に表示させる（ステップＳ３７）。

このようにして、ユーザーは、携帯端末装置４を操作することで、サーバー装置３の保存ファイルに基づく印刷を実行させることができる。

（ｃ）サーバー装置３の保存ファイルのプレビュー

図１０は、実施の形態１における、サーバー装置３の保存ファイルのプレビューについて説明するシーケンス図である。

上述のように、処理メニュー６５が表示されているときに（ステップＳ２５）、ユーザーは、操作部４４を操作して、図９に示すような処理メニュー６５における「プレビュー」を選択することで、保存ファイルについてのプレビュー表示を実行させることができる。

ユーザー操作に基づき、処理メニュー６５において「プレビュー」が選択されたことがＡＲ処理部５３により検出されると（ステップＳ４１）、通信処理部５２は、通信装置４１を使用して、プレビュー要求をサーバー装置３に送信する（ステップＳ４２）。

サーバー装置３では、制御部３３は、通信装置３１で、そのプレビュー要求を受信し、そのプレビュー要求に対応する保存ファイルを特定し、その保存ファイルに対応するプレビュー画像データを生成し、応答として携帯端末装置４へ送信する（ステップＳ４３）。なお、このプレビュー要求には印刷設定が含まれており、その印刷設定に基づき印刷を行った場合のプレビュー画像の画像データが生成される。

このとき、例えば、処理メニュー６５のＩＤ（つまり、ＡＲ操作パネルのＩＤ）がプレビュー要求とともに送信され、そのＩＤからプレビューの対象となる保存ファイルが特定される。

携帯端末装置４では、通信処理部５２によりそのプレビュー画像データが受信されると、ＡＲ処理部５３は、そのプレビュー画像データに基づきプレビュー画像を表示装置４３に表示させる（ステップＳ４４）。

このようにして、ユーザーは、携帯端末装置４を操作することで、サーバー装置３の保存ファイルに基づくプレビュー表示を実行させることができる。

（ｄ）サーバー装置３からの保存ファイルの削除

図１１は、実施の形態１における、サーバー装置３からの保存ファイルの削除について説明するシーケンス図である。

上述のように、処理メニュー６５が表示されているときに（ステップＳ２５）、ユーザーは、操作部４４を操作して、図９に示すような処理メニュー６５における「キャンセル」を選択することで、サーバー装置３からの保存ファイルの削除を実行させることができる。

ユーザー操作に基づき、処理メニュー６５において「キャンセル」が選択されたことがＡＲ処理部５３により検出されると（ステップＳ５１）、通信処理部５２は、通信装置４１を使用して、キャンセル要求をサーバー装置３に送信する（ステップＳ５２）。

サーバー装置３では、制御部３３は、通信装置３１で、そのキャンセル要求を受信し、そのキャンセル要求に対応する保存ファイルを特定し、その保存ファイルおよびその保存ファイルに関連付けられているデータを記憶装置３２から削除する（ステップＳ５３）。

このとき、例えば、処理メニュー６５のＩＤ（つまり、ＡＲ操作パネルのＩＤ）がキャンセル要求とともに送信され、そのＩＤから削除対象の保存ファイルが特定される。

保存ファイルの削除が完了すると、制御部３３は、その結果を応答として携帯端末装置４へ送信する（ステップＳ５４）。

携帯端末装置４では、通信処理部５２によりその応答が受信されると、ＡＲ処理部５３は、その応答の内容を表示装置４３に表示させるとともに（ステップＳ５５）、その保存ファイルについてのＡＲ操作パネルの表示を終了する（ステップＳ５６）。

このようにして、ユーザーは、携帯端末装置４を操作することで、サーバー装置３における保存ファイルの削除を実行させることができる。

（ｅ）サーバー装置３の保存ファイルの、画像形成装置１への保存

図１２は、実施の形態１における、サーバー装置３の保存ファイルの、画像形成装置１への保存について説明するシーケンス図である。

上述のように、処理メニュー６５が表示されているときに（ステップＳ２５）、ユーザーは、操作部４４を操作して、図９に示すような処理メニュー６５における「保存」を選択することで、画像形成装置１へのデータ保存を実行させることができる。

ユーザー操作に基づき、処理メニュー６５において「保存」が選択されたことがＡＲ処理部５３により検出されると（ステップＳ６１）、通信処理部５２は、通信装置４１を使用して、保存要求をサーバー装置３に送信する（ステップＳ６２）。

サーバー装置３では、制御部３３は、通信装置３１で、その保存要求を受信し、その保存要求に対応する保存ファイルを特定し、その保存ファイルに対応する保存用データを通信装置３１で画像形成装置１へ送信する（ステップＳ６３）。

このとき、例えば、処理メニュー６５のＩＤ（つまり、ＡＲ操作パネルのＩＤ）が印刷要求とともに送信され、そのＩＤから印刷に使用される保存ファイルが特定される。また、保存用データは、上述の印刷用データまたは保存ファイルである。

画像形成装置１では、制御部１６が、通信装置１１で、その保存用データを受信し、その保存用データを記憶装置１５に記憶する（ステップＳ６４）。そして、保存が完了すると、制御部１６は、その結果を示す応答をサーバー装置３へ送信する（ステップＳ６５）。

サーバー装置３では、制御部３３は、その応答を受信すると、同様の内容を有する、保存要求の応答を携帯端末装置４へ送信する（ステップＳ６６）。

携帯端末装置４では、通信処理部５２によりその応答が受信されると、ＡＲ処理部５３は、その応答の内容を表示装置４３に表示させる（ステップＳ６７）。

このようにして、ユーザーは、携帯端末装置４を操作することで、サーバー装置３の保存ファイルに基づく、画像形成装置１へのデータ保存を実行させることができる。なお、ユーザーは、携帯端末装置４または画像形成装置１を操作することで、画像形成装置１に記憶された保存用データに基づく印刷を画像形成装置１に実行させることができる。

以上のように、上記実施の形態１によれば、携帯端末装置４は、撮像装置４２による撮像画像を表示装置４３に表示させるとともに、撮像画像内で画像形成装置１のＡＲマーカー２１が検出された場合に、ＡＲ操作パネルを撮像画像に重畳させて表示させるＡＲ処理部５３と、撮像画像内で画像形成装置１のＡＲマーカー２１が検出された場合に、ＡＲ操作パネルデータをサーバー装置３から取得し、ＡＲ操作パネルに対するユーザー操作に対応する要求をサーバー装置３へ送信する通信処理部５２とを有する。

これにより、ユーザーが携帯端末装置４に対する直感的な操作で画像形成装置１やサーバー装置３に所望の処理を実行させることができる。

また、サーバー装置３が画像形成装置１を制御するため、画像形成装置１用のドライバーなど、画像形成装置１に依存するプログラムを携帯端末装置４にインストールせずに済む。さらに、携帯端末装置４に対する、印刷のための初期設定（画像形成装置１のＩＰアドレスなどの登録やドライバーインストールなど）が不要である。

なお、上述の例（図４〜図７および図９）では、画像形成装置１は１台のみ撮像されているが、複数の画像形成装置１を同時に撮像した場合、各画像形成装置１についてＡＲ操作パネルが表示される。図１３は、実施の形態１において、２台の画像形成装置１を同時に撮影した場合に表示されるＡＲ操作パネルの例を示す図である。図１３では、複数の画像形成装置１の画像に、それぞれの画像形成装置１についての保存ファイルのＡＲ操作パネルが表示されている。このように、複数の画像形成装置１（つまり、複数のＡＲマーカー２１）が検出されている場合、各画像形成装置１（つまり、各ＡＲマーカー２１）についてＡＲ操作パネルが表示される。したがって、ユーザーは、撮像中のそれらの画像形成装置１のうちのいずれの画像形成装置１についての処理を実行させることができる。

実施の形態２．

本発明の実施の形態２に係る画像形成システムは、実施の形態１のサーバー装置３の機能を画像形成装置に持たせ、サーバー装置３を省略したものである。

図１４は、本発明の実施の形態２に係る画像形成システムの構成を示すブロック図である。図１４に示すシステムにおいて、画像形成装置１ａは、実施の形態１の画像形成装置１における制御部１６を制御部１６ａに変更したものである。

制御部１６ａは、制御部１６と同一の機能を有するとともに、ファイル管理部１０１を有する。ファイル管理部１０１は、サーバー装置３の制御部３３と同様の機能を有する。つまり、ファイル管理部１０１は、通信処理部５２との間で通信を行い、通信処理部５２からの問い合わせや要求に対応する処理を同様にして行う。

なお、実施の形態２では、携帯端末装置４の通信処理部５２は、サーバー装置３の制御部３３との通信と同様に、画像形成装置１ａのファイル管理部１０１との通信を行う。

実施の形態２に係る画像形成システムにおける各装置のその他の構成および動作については実施の形態１のものと同様であるので、その説明を省略する。

なお、上述の各実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。

例えば、実施の形態１，２におけるプログラム５１は、ＣＤ−ＲＯＭなどの可搬性のある記録媒体に記録しておき、その記録媒体を配布し、その記録媒体から携帯端末装置４にインストールするようにしてもよい。

本発明は、例えば、画像形成装置のユーザーインターフェイスに適用可能である。

１，１ａ 画像形成装置
３ サーバー装置（サーバーの一例）
４ 携帯端末装置
２１ ＡＲマーカー（マーカーの一例）
４２ 撮像装置
４３ 表示装置
４６ 演算処理装置（コンピューターの一例）
５１ プログラム
５２ 通信処理部
５３ ＡＲ処理部（付加情報処理部の一例）
６２ ＡＲ操作パネル（操作パネル画像の一例）
６４ ＡＲ操作パネル（操作パネル画像の一例）
６５ 処理メニュー（操作パネル画像の一例）

Claims (5)

1. マーカーを設置された画像形成装置と、
   携帯端末装置と、
   前記携帯端末装置からの要求に応じた処理を前記画像形成装置に実行させるサーバーとを備え、
   前記サーバー装置は、
   前記画像形成装置の機体識別子、ネットワーク識別子および機体情報の少なくとも１つと、前記マーカーのマーカー識別子とが互いに関連付けられてデバイス登録データとして予め記憶する記憶装置と、
   前記携帯端末装置から原稿データファイルが受信されると、前記原稿データファイルとともに受信されたマーカー識別子のマーカーが設置されている画像形成装置を前記デバイス登録データに基づいて特定し、前記原稿データファイルを、前記マーカーが設置されている画像形成装置に関連付けて前記記憶装置に記憶させる制御部とを有し、
   前記携帯端末装置は、
   撮像装置と、
   表示装置と、
   前記撮像装置による撮像画像を前記表示装置に表示させるとともに、前記撮像画像内で前記画像形成装置の前記マーカーが検出された場合に、前記原稿データファイルのリストに基づいた操作パネル画像を前記撮像画像に重畳させて表示させる付加情報処理部と、
   前記撮像画像内で前記画像形成装置の前記マーカーが検出された場合に、前記原稿データファイルのリストを前記サーバーから取得し、前記操作パネル画像に対するユーザー操作により選択された前記原稿データファイルについての処理メニューの送信要求を前記サーバーへ送信する通信処理部とを有し、
   前記付加情報処理部は、前記撮像画像内で複数の画像形成装置の前記マーカーが検出された場合には、前記マーカーが検出された各画像形成装置について、前記原稿データファイルのリストに基づいた操作パネル画像を前記撮像画像に重畳させて表示させ、
   前記付加情報処理部は、前記処理メニューを、前記操作パネル画像に対するユーザー操作により選択された前記原稿データファイルとともに前記操作パネル画像として、１または複数の処理項目名を選択可能に表示させること、
   を特徴とする画像形成システム。
2. 前記通信処理部は、ユーザー操作により前記処理メニューから印刷が選択されると、選択された前記原稿データファイルに基づき前記画像形成装置に印刷を実行させるための印刷要求を送信することを特徴とする請求項１記載の画像形成システム。
3. 撮像装置と、
   表示装置と、
   前記撮像装置による撮像画像を前記表示装置に表示させるとともに、前記撮像画像内で画像形成装置に設置されているマーカーが検出された場合に、原稿データファイルのリストに基づいた操作パネル画像を前記撮像画像に重畳させて表示させる付加情報処理部と、
   前記撮像画像内で前記画像形成装置の前記マーカーが検出された場合に、前記原稿データファイルのリストをサーバーから取得し、前記操作パネル画像に対するユーザー操作により選択された前記原稿データファイルについての処理メニューの送信要求を前記サーバーへ送信する通信処理部とを備え、
   前記付加情報処理部は、前記撮像画像内で複数の画像形成装置の前記マーカーが検出された場合には、前記マーカーが検出された各画像形成装置について、前記原稿データファイルのリストに基づいた操作パネル画像を前記撮像画像に重畳させて表示させ、
   前記付加情報処理部は、前記処理メニューを、前記操作パネル画像に対するユーザー操作により選択された前記原稿データファイルとともに前記操作パネル画像として、１または複数の処理項目名を選択可能に表示させること、
   を特徴とする携帯端末装置。
4. 前記通信処理部は、ユーザー操作により前記処理メニューから印刷が選択されると、選択された前記原稿データファイルに基づき前記画像形成装置に印刷を実行させるための印刷要求を送信することを特徴とする請求項３記載の携帯端末装置。
5. 撮像装置と表示装置とを備える携帯端末装置内のコンピューターを、
   前記撮像装置による撮像画像を前記表示装置に表示させるとともに、前記撮像画像内で画像形成装置に設置されているマーカーが検出された場合に、原稿データファイルのリストに基づいた操作パネルデータに基づいて操作パネル画像を前記撮像画像に重畳させて表示させる付加情報処理部、および
   前記撮像画像内で前記画像形成装置の前記マーカーが検出された場合に、前記原稿データファイルのリストをサーバーから取得し、前記操作パネル画像に対するユーザー操作により選択された前記原稿データファイルについての処理メニューの送信要求を送信する通信処理部
   として機能させ、
   前記付加情報処理部は、前記撮像画像内で複数の画像形成装置の前記マーカーが検出された場合には、各画像形成装置について、前記原稿データファイルのリストに基づいた操作パネル画像を前記撮像画像に重畳させて表示させ、
   前記付加情報処理部は、前記処理メニューを、前記操作パネル画像に対するユーザー操作により選択された前記原稿データファイルとともに前記操作パネル画像として、１または複数の処理項目名を選択可能に表示させること、
   を特徴とするプログラム。

Images