JP5854237B2 - 画像処理システム、画像処理装置、携帯情報端末およびプログラム - Google Patents

Description

本願発明は、プリンタ（ネットワークプリンタを含む）、スキャナ、ファクシミリ、コピー機、ドキュメントサーバー、または、それらの各機能を複合させた複合機等である、画像処理装置の操作画面を、拡張現実感を生み出しつつ携帯情報端末と連携させることが可能な画像処理システム、画像処理装置、携帯情報端末およびプログラムに関する。

近年、スマートフォンやタブレット端末等をはじめとする、画像等の各種情報の処理を行なうことが可能な携帯情報端末が、あらゆる分野において活用されている。そして、プリンタ（ネットワークプリンタを含む）、スキャナ、ファクシミリ、コピー機、ドキュメントサーバー、または、それらの各機能を複合させた複合機等に関する画像処理装置の分野においても、それは例外ではない。

その一例として、携帯電話の液晶パネルをプリンタの表示装置として用いる技術が、下記の特許文献１に記載されている。

また、複写機のリモートコントロール装置としてノートブックＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を利用し、ノートブックＰＣに、複写装置の表示部と同じ画面を表示させる技術が、下記の特許文献２に記載されている。

特開２００３−５４０９３号公報 特開２０００−１８１２９８号公報

画像処理装置の表示部にタッチスクリーン機能を設け、各種操作を表示画面上で行なう構成は、従来より公知である。最近では、機能の増加と共に、多機能をダイレクトに、より分かりやすく操作できることが求められている。

図２１（ａ）および（ｂ）は、従来の画像処理装置における表示画面の一例を示す図である。これらの図においては、多用されるナンバーキー等をハードウェアスイッチキー構成とした操作部１１に隣接して、表示部１２が設けられている。表示部１２には、操作を行なうための画面が表示されている。

図２１（ａ）においては、多機能を実現するための各種ボタン（図中、矩形で示されている部分）が多数、表示部１２の画面内に表示されている。しかし、表示部１２の表示パネルの面積は有限であり、多機能を実現するための各種ボタン表示を一画面に詰め込むと、見づらく、それに加えて、操作もしづらい。

図２１（ｂ）は、表示部１２の一画面に表示させる各種ボタンの数を減少させて、見づらさを抑えた構成を示している。この場合、各種ボタン（図中、矩形で示されている部分）の表示数は減少するため、見やすくはなる。しかし、各種の多機能を実現するためには、一つのボタン（例えば、用紙サイズの選択を行なうボタン）を押した際に、次に、そのボタンに対応した複数の選択肢（例えば用紙サイズＢ４，Ａ４，Ｂ３，Ａ３等）を表示する、下位階層の画面が表示され、さらにその選択肢に対応したボタンを押してゆく構成となる。この場合、ボタンを押す回数が増え、操作のしづらさは残る。よって、多機能をダイレクトに、より分かりやすく操作できるとは言い難い。

また、図２２（ａ）および（ｂ）は、従来の画像処理装置における表示画面の他の一例を示す図である。これらの図においては、図２１の場合と同様の操作部１１および表示部１２が示されており、表示部１２には、例えば画像処理装置に付属のスキャナ等で読み取り済みの、あるいは、外部のＰＣ等から転送済みの、これから印刷を行なおうとする画像の印刷プレビューデータが表示されている。これにより、実際の印刷を行なう前に、印刷対象の画像データに汚れ等がないかの確認が行なえる。

図２２（ａ）においては、印刷対象の画像データの全体が、表示部１２に示されている。この場合、ユーザは印刷対象の画像データの全体像は掴めるものの、印刷対象の画像データの詳細な部分については、表示部１２の表示面積が小さいため、表示部１２から把握することはできない。

図２２（ｂ）は、図２２（ａ）の印刷対象の画像データの一部を、表示部１２に拡大表示させた場合を示している。この場合、印刷対象の画像データの詳細な部分が拡大表示されているので、印刷対象の画像データに汚れ等がないかの確認は行なえる。しかし、印刷対象の画像データの全体像を把握することは難しい。すなわち、図２２（ａ）および（ｂ）の状態は二者択一的であり、印刷対象の画像データの全体像と詳細な部分との同時把握は、困難である。

上記の図２１および図２２に関する問題はいずれも、画像処理装置の表示部１２のサイズが有限であり、小さいことに起因する。当然ながら、表示部１２の表示パネルの面積を拡大すれば、問題解決に資することとなる。しかし、その場合は、画像処理装置の設置面積の増加、表示部のコスト増加等、他の問題を引き起こすこととなる。

この発明は上記の事情に鑑みてなされたもので、有限なサイズの表示部を有する画像処理装置において、装置を大型化させることなく、表示内容の全体像と詳細な部分の把握を容易に実現できることを目的とする。

上記目的を達成するために、本発明の画像処理システムは、画像処理装置および前記画像処理装置と通信可能な携帯情報端末を有する画像処理システムであって、前記画像処理装置が、第１表示部と、前記第１表示部に表示するための画面データを記憶する記憶部と、前記画面データに対応する仮想表示画面の一部の領域である第１の領域を示す画像を前記第１表示部に表示する第１の制御部と、を備え、前記携帯情報端末が、第２表示部と、前記第１表示部と前記第２表示部との相対的な位置関係を示す位置関係情報に対応して生成された画像であって、前記仮想表示画面の前記第１の領域と重複しない一部の領域である第２の領域を示す画像を前記第２表示部に表示する第２の制御部と、を備えることを特徴とする。

上記画像処理システムにおいて、前記位置関係情報は、前記携帯情報端末において生成されて、前記画像処理装置に送信され、前記画像処理装置は、前記仮想表示画面及び受信した前記位置関係情報に基づき前記第２の領域を示す画像を生成し、前記携帯情報端末に送信する。

これらの画像処理システムにおいて、前記携帯情報端末はさらに、撮影部と、画像処理部とを含み、前記携帯情報端末において、前記撮影部により、前記画像処理装置の前記第１表示部および／またはその近傍の画像を撮影することが可能であり、前記第１表示部および／またはその近傍の前記画像に基づき、前記画像処理部は、前記第２表示部の前記第１表示部に対する相対的な位置を画像解析により特定して、前記位置関係情報を生成するものであっても構わない。

また、前記携帯情報端末は、外部からの測位信号を取得することが可能な測位信号取得部を含み、前記携帯情報端末において、前記画像処理装置の前記第１表示部の位置に関する装置位置情報を予め取得しておき、前記装置位置情報と、前記測位信号取得部により取得した前記測位信号とに基づき、前記位置関係情報を生成するものであっても構わない。

上述の画像処理システムにおいて、前記携帯情報端末は、前記画像処理装置と通信可能であり、前記携帯情報端末および前記画像処理装置のうちの少なくとも一方への操作が行なわれた場合、その操作内容を検出し、または、前記画像処理装置の前記第１表示部に対する、前記携帯情報端末の前記第２表示部の相対的な位置関係の変化があった場合、前記位置関係情報を更新し、前記操作内容または更新後の前記位置関係情報に基づいて、前記携帯情報端末は、前記画像処理装置と通信し、前記第１および第２表示部のうちの少なくとも一方の表示内容を変化させるものであっても構わない。

このとき、前記位置関係の変化には、前記画像処理装置の前記第１表示部の長手または短手方向に対する、前記携帯情報端末の前記第２表示部の長手または短手方向の、相対的な角度の変化も含まれ、前記相対的な角度の変化に基づいて、前記携帯情報端末は、前記画像処理装置と通信し、前記第１および第２表示部のうちの少なくとも一方の表示内容を変化させるものであっても構わない。

また、前記位置関係の変化には、前記画像処理装置の前記第１表示部に対する、前記第１表示部の表示画面からの垂直方向における、前記携帯情報端末の前記第２表示部の、相対的な高さの変化も含まれ、前記相対的な高さの変化に基づいて、前記携帯情報端末は、前記画像処理装置と通信し、前記第１および第２表示部のうちの少なくとも一方の表示内容を変化させるものであっても構わない。

この場合、前記第２表示部の前記第１表示部に対する相対的な高さ位置が高くなった場合、前記第１および第２表示部のうちの少なくとも一方の表示内容における表示倍率を縮小する一方、前記第２表示部の前記第１表示部に対する相対的な高さ位置が低くなった場合、前記第１および第２表示部のうちの少なくとも一方の表示内容における表示倍率を拡大する。

本発明の他の画像処理システムは、画像処理装置および前記画像処理装置と通信可能な携帯情報端末を有する画像処理システムであって、前記画像処理装置が、第１表示部と、前記第１表示部に表示するための画面データを記憶する記憶部と、前記画面データに対応する仮想表示画面に含まれる第１の領域を示す画像を前記第１表示部に表示する第１の制御部と、を備え、前記携帯情報端末が、第２表示部と、前記第１表示部と前記第２表示部との相対的な位置関係を示す位置関係情報に対応して生成された第２の領域を示す画像を前記第２表示部に表示する第２の制御部と、を備え、前記画像処理装置は、前記第１表示部の近傍に操作部をさらに含み、前記携帯情報端末は、前記操作部の位置に関する情報を予め取得しており、前記画像処理装置の前記第１表示部に対する、前記携帯情報端末の前記第２表示部の相対的な位置関係が、前記携帯情報端末により前記操作部が隠れてしまうものであった場合、前記携帯情報端末は、前記第２表示部に、前記操作部を模した、前記画像処理装置を通信を介して操作するための端末画面上操作領域を表示させることを特徴とする。

本発明のさらに他の画像処理システムは、画像処理装置および前記画像処理装置と通信可能な携帯情報端末を有する画像処理システムであって、前記画像処理装置が、第１表示部と、前記第１表示部に表示するための画面データを記憶する記憶部と、前記画面データに対応する仮想表示画面に含まれる第１の領域を示す画像を前記第１表示部に表示する第１の制御部と、を備え、前記携帯情報端末が、第２表示部と、前記第１表示部と前記第２表示部との相対的な位置関係を示す位置関係情報に対応して生成された第２の領域を示す画像を前記第２表示部に表示する第２の制御部と、を備え、前記画像処理装置は、前記第１表示部の画面上に、前記画像処理装置を操作するための装置画面上操作領域を表示可能であり、前記画像処理装置は、前記装置画面上操作領域の位置に関する情報を予め取得しており、前記画像処理装置は、前記位置関係情報を取得し、前記画像処理装置の前記第１表示部に対する、前記携帯情報端末の前記第２表示部の相対的な位置関係が、前記携帯情報端末により前記装置画面上操作領域が隠れてしまうものであった場合、前記画像処理装置は、前記第１表示部において、前記装置画面上操作領域をずらして、前記携帯情報端末により前記装置画面上操作領域が隠れないように、表示内容を変化させることを特徴とする。

本発明のさらに他の画像処理システムは、画像処理装置および前記画像処理装置と通信可能な携帯情報端末を有する画像処理システムであって、前記画像処理装置が、第１表示部と、前記第１表示部に表示するための画面データを記憶する記憶部と、前記画面データに対応する仮想表示画面に含まれる第１の領域を示す画像を前記第１表示部に表示する第１の制御部と、を備え、前記携帯情報端末が、第２表示部と、前記第１表示部と前記第２表示部との相対的な位置関係を示す位置関係情報に対応して生成された第２の領域を示す画像を前記第２表示部に表示する第２の制御部と、を備え、前記第１表示部または前記第２表示部は、表示画面上を指または他の物体で接触したまま移動させつつはじくことにより表示内容をスクロールさせるフリック動作が可能なタッチスクリーン機能を有し、前記相対的な位置関係に応じて、前記スクロールの速度を変化させることを特徴とする。

上述のいずれかの画像処理システムにおいて、前記仮想表示画面には、互いに異なる、切換表示可能な第１および第２の仮想表示画面が少なくとも含まれ、前記画像処理装置において、前記第１表示部は、前記第１の仮想表示画面の一部の領域を表示することが可能であり、前記携帯情報端末において、前記第２表示部は、前記位置関係情報に基づき、前記一部の領域と対応する、前記第２の仮想表示画面の一部の領域を表示することが可能であるものであっても構わない。

本発明の画像処理装置は、携帯情報端末と通信可能な画像処理装置であって、第１表示部と、前記第１表示部に表示するための画面データを記憶する記憶部と、前記画面データに対応する仮想表示画面の一部の領域である第１の領域を示す画像を前記第１表示部に表示する第１の制御部と、前記第１表示部と、前記携帯情報端末が有する第２表示部との相対的な位置関係を示す位置関係情報を取得する位置取得部と、前記仮想表示画面に含まれるとともに、かつ前記位置取得部で取得した前記位置関係情報に基づく画像であって、前記仮想表示画面の前記第１の領域と重複しない一部の領域である第２の領域を示す画像を生成する画像生成部と、前記画像生成部で生成された前記第２の領域を示す画像を前記携帯情報端末に送信する送信部と、を備えたことを特徴とする。

このような画像処理装置において、前記位置取得部が、前記携帯情報端末において生成された前記位置関係情報を受信し、前記画像生成部が、前記仮想表示画面と前記位置取得部が受信した前記位置関係情報とに基づき、前記第２の領域を示す画像を生成し、前記送信部が、前記画像生成部が生成した前記第２の領域を示す画像を前記携帯情報端末に送信する。

本発明の携帯情報端末は、画像処理装置と通信可能な携帯情報端末であって、第２表示部と、前記第２表示部と前記画像処理装置が有する第１表示部との相対的な位置関係を示す位置関係情報を取得する位置取得部と、前記画像処理装置が有する仮想表示画面に含まれ、前記位置関係情報に基づき前記第１表示部と前記第２表示部との相対的な位置関係に対応するように生成された画像であって、前記画像処理装置が有する仮想表示画面に含まれ、前記仮想表示画面のうちの前記第１表示部に表示された領域と重複しない第２の領域を示す画像を前記第２表示部に表示する第２の制御部と、を備えたことを特徴とする。

このような携帯情報端末において、前記第２の制御部が、前記位置関係情報を前記画像処理装置に送信するとともに、前記画像処理装置によって、前記仮想表示画面および前記位置関係情報に基づき生成された前記第２の領域を示す画像を受信し、当該画像を前記第２表示部に表示する。

本発明のプログラムは、画像処理装置と通信可能であり、第２表示部を備えた携帯情報端末を動作させるためのプログラムであって、前記第２表示部と前記画像処理装置が有する第１表示部との相対的な位置関係を示す位置関係情報を取得するステップと、前記画像処理装置が有する仮想表示画面に含まれ、前記位置関係情報に基づき前記第１表示部と前記第２表示部との相対的な位置関係に対応するように生成された画像であって、前記画像処理装置が有する仮想表示画面に含まれ、前記仮想表示画面のうちの前記第１表示部に表示された領域と重複しない第２の領域を示す画像を前記第２表示部に表示するステップと、を有することを特徴とする。

本発明によれば、画像処理装置において、第１表示部は、第１表示部における表示面積を超える面積を有する仮想表示画面の一部の領域を表示することが可能である。そして、携帯情報端末は、画像処理装置の第１表示部と携帯情報端末の第２表示部との相対的な位置関係を示す位置関係情報を取得し、携帯情報端末において、第２表示部は、位置関係情報に基づき、仮想表示画面の他の一部の領域を表示することが可能である。よって、第１表示部だけでは表示しきれない仮想表示画面の他の一部の領域を、あたかも仮想表示画面が広がって存在するかのように、第２表示部において表示することができる。これにより、拡張現実感を生み出しつつ、画像処理装置と携帯情報端末とを連携させることが可能である。その結果、拡張現実感を利用することにより、表示部の面積を擬似的に拡大させることが可能となる。

また、携帯情報端末の撮影部で撮影された画像に基づき、携帯情報端末の画像処理部は、第２表示部の第１表示部に対する相対的な位置を画像解析により特定して、位置関係情報を生成する。よって、画像処理装置に特別なデバイスを設けることなく、携帯情報端末に撮影部および画像処理部を設けるだけで、表示部の面積を擬似的に拡大させることができる。更に、本発明によれば、装置位置情報と、測位信号取得部により取得した測位信号とに基づき、位置関係情報を生成できるため、画像処理装置の第１表示部の位置に関する装置位置情報を予め取得しておくだけで、表示部の面積を擬似的に拡大させることができる。

また、携帯情報端末や画像処理装置への操作や、携帯情報端末の第２表示部の相対的な位置関係の変化を検出したとき、その操作内容や更新した位置関係情報に基づいて、携帯情報端末は、画像処理装置と通信し、第１または第２表示部の表示内容を変化させることができる。よって、画像処理装置と携帯情報端末との連携性がより高まる。このとき、例えば、第１及び第２表示部の相対的な角度の変化や相対的な高さの変化に基づいて、表示内容を変化させることにより、画像処理装置と携帯情報端末との連携性を高めることができる。

また、本発明によれば、画像処理装置の第１表示部に対する、携帯情報端末の第２表示部の相対的な位置関係が、携帯情報端末により画像処理装置の操作部が隠れてしまうものであった場合、携帯情報端末は、第２表示部に、操作部を模した、画像処理装置を通信を介して操作するための端末画面上操作領域を表示させることができる。また、画像処理装置においても、第１表示部により、装置画面上操作領域をずらして、携帯情報端末により装置画面上操作領域が隠れないように、表示内容を変化させる。よって、画像処理装置の操作部が、携帯情報端末により隠れてしまう場合であっても、端末画面上操作領域又は操作画面上操作領域により、画像処理装置の操作を引き続き行なうことができる。

また、第１表示部または第２表示部が、その表示内容をスクロールさせるフリック動作が可能なタッチスクリーン機能を有するものとして、そのスクロールの速度を変化させることができるため、表示部の操作性が向上する。

本発明によれば、切換表示可能な第１および第２の仮想表示画面が含まれた場合に、画像処理装置において、第１表示部が、第１の仮想表示画面の一部の領域を表示する一方で、携帯情報端末において、第２表示部が、位置関係情報に基づき、第１の下層表示画面と相対させて、第２の仮想表示画面の一部の領域を表示することが可能である。よって、第１および第２の仮想表示画面が、連続する一連の印刷プレビュー画像である場合に、一連の印刷プレビュー画像中の相違箇所を、携帯情報端末において容易に確認することができる。

実施の形態１に係る画像処理システムの構成例を示す図である。 画像処理装置の詳細構成を示すブロック図である。 携帯情報端末の詳細構成を示すブロック図である。 連携リモートパネル操作の一例を示す図である。 実施の形態１に係る画像処理システムにおける、携帯情報端末と画像処理装置とで行なわれる処理を示すフローチャートである。 連携リモートパネル操作の他の一例を示す図である。 連携リモートパネル操作の他の一例を示す図である。 全階層を一画面内に収める操作画面を表した仮想表示画面を画像処理装置のディスプレイおよび携帯情報端末の表示部に表示させる場合を説明する図である。 連携リモートパネル操作の他の一例を示す図である。 連携リモートパネル操作の他の一例を示す図である。 連携リモートパネル操作の他の一例を示す図である。 連携リモートパネル操作の他の一例を示す図である。 連携リモートパネル操作の他の一例を示す図である。 実施の形態２に係る画像処理システムにおける、連携リモートパネル操作の一例を示す図である。 連携リモートパネル操作の他の一例を示す図である。 実施の形態２に係る画像処理システムにおける、携帯情報端末と画像処理装置とで行なわれる処理を示すフローチャートである。 連携リモートパネル操作の他の一例を示す図である。 連携リモートパネル操作の他の一例を示す図である。 画像処理装置のディスプレイの表示画面からの垂直方向における、携帯情報端末の表示部の相対的な高さの違いによる表示内容の相違を示す図である。 連携リモートパネル操作の他の一例を示す図である。 従来の画像処理装置における表示画面の一例を示す図である。 従来の画像処理装置における表示画面の他の一例を示す図である。

＜実施の形態１＞
本実施の形態は、画像処理装置の表示部に、仮想表示画面の一部の領域を表示することが可能であり、携帯情報端末の表示部に、仮想表示画面の他の一部の領域を表示することが可能である画像処理システムである。

図１は、本実施の形態に係る画像処理システムの構成例を示す図である。この画像処理システムは、スマートフォン等である携帯情報端末１００ａと、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のようなクローズドネットワークあるいはインターネット等のオープンネットワークのいずれであってもよい通信網たるネットワーク２００と、プリンタ（ネットワークプリンタを含む）、スキャナ、ファクシミリ、コピー機、ドキュメントサーバー、または、それらの各機能を複合させた複合機等である、画像処理装置１と、を備える。

なお、携帯情報端末１００ａは、ネットワーク２００に無線ＬＡＮアクセスポイント２０１を介して接続可能である。そしてさらに、携帯情報端末１００ａは、ネットワーク２００を介して画像処理装置１と通信可能である。ただし、本発明は、ネットワーク２００や無線ＬＡＮアクセスポイント２０１を必須の構成とするわけではなく、例えば、携帯情報端末１００ａは、画像処理装置１と直接、無線あるいは有線で通信可能であっても良い（いわゆるピアトゥピア接続であっても良い）。

図２は、画像処理装置１の詳細構成を示すブロック図である。画像処理装置１は、操作部たる操作装置１１と、表示部たるディスプレイ（表示装置）１２と、画像読取に供されるスキャナ装置１３と、画像形成に供されるプリンタ装置１４と、印刷物にステープルやパンチ等の後処理を行なうフィニッシャ装置１５と、外部との通信を行なうための通信インタフェース１６と、ドキュメントフィーダ１７と、給紙装置１８と、各部の動作を制御するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０と、プログラムやデータを一時、記憶するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１と、制御プログラム等が記憶されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２と、データ記憶部２３と、を有する。

この画像処理装置１においては、ユーザが使用する際に、データ記憶部２３に予め登録されたユーザ情報に基づいた認証を行なわなければ使用できない、との設定がなされていてもよい。

操作装置１１は、数字、文字、および記号などを入力するための複数のハードウェアスイッチキー、押下されたキーを認識するためのセンサ、および、認識したキーを示す信号をＣＰＵ２０に送信するための送信回路、等を有する。

ディスプレイ１２は、液晶ディスプレイや有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等で構成され、さらに、タッチスクリーン（タッチパネル）機能を有する。そして、ディスプレイ１２は、ユーザに対してメッセージまたは指示を与えるための画面、ユーザーが設定内容および処理内容を入力するための画面、および、画像処理装置１で形成された画像および処理の結果を示す画面、等を表示する。ディスプレイ１２は、タッチスクリーン機能を有するので、ユーザが指で触れた画面上の位置を検知し、検知結果を示す信号をＣＰＵ２０に送信する機能を備えている。

なお、ネットワーク２００にはさらに、画像処理装置１に対して、印刷指令やスキャニング指令等を行なう、ＰＣ等の機器（図示せず）が接続されていてもよく、当該機器には、画像処理装置１に対してさまざまな指令を与えるためのアプリケーションプログラムおよびドライバがインストールされている。そして、ユーザは当該機器を使用して、画像処理装置１を遠隔的に操作することもできる（例えばネットワークプリンタとして使用することができる）。

スキャナ装置１３は、写真、文字、絵等の画像情報を原稿から光電的に読取って画像データを取得する。取得された画像データ（濃度データ）は、スキャナ装置１３内の図示しない画像処理部においてデジタルデータに変換され、公知の各種画像処理を施された後、プリンタ装置１４や、通信インタフェース１６に送られる。そして、その画像データは、画像の印刷やデータの送信に供されるか、または、後の利用のためにデータ記憶部２３内に格納される。

プリンタ装置１４は、スキャナ装置１３により取得された画像データ、通信インタフェース１６を介して外部より受信した画像データ、または、データ記憶部２３に格納されている画像を、給紙装置１８より供給された用紙またはフィルム等の記録シートに印刷する。給紙装置１８は、画像処理装置１の下部に設けられており、印刷対象の画像に適した記録シートをプリンタ装置１４に供給するために用いられる。

プリンタ装置１４によって画像が印刷された記録シート、すなわち印刷物は、フィニッシャ装置１５へと導かれ、フィニッシャ装置１５では、ユーザにより予め設定されたモードに応じて、パンチ処理やステープル綴じ処理等が行なわれる。そして、フィニッシャ装置１５のトレイに排紙される。

通信インタフェース１６は、外部との通信を行なうための信号の送信部および受信部が含まれ、携帯情報端末１００ａや外部のＰＣ等の機器等と通信を行うための、無線通信装置、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）、モデム、またはＴＡ（Ｔｅｒｍｉｎａｌ Ａｄａｐｔｅｒ）等で、具体的に構成される。

データ記憶部２３には、大容量記憶媒体たるハードディスク２３Ｈと、着脱可能記憶媒体たるメモリーカード９１と情報をやり取りするためのカードリーダ２３Ｒとが含まれる。カードリーダ２３Ｒは、コンパクトフラッシュ（登録商標）やスマートメディアなどのメモリカード９１からデータを読取る、または、メモリーカード９１にデータを書込む。メモリカード９１は、主に、図示せぬ外部のＰＣとのデータのやり取りを、ネットワーク２００を介することなく行なうため、または、ハードディスク２３Ｈのデータのバックアップのために、用いられる。

ハードディスク２３Ｈには、スキャナ装置１３で読取った画像データ、通信インタフェース１６を介して外部より受信した画像データ等が、保存される。また、ハードディスク２３Ｈのデータは、ネットワーク２００を介して、図示せぬ外部のＰＣや、その他の画像処理装置からも参照可能であってよい。

ＣＰＵ２０は、ＲＯＭ２２に記憶されているプログラム、またはＲＡＭ２１にロードされたプログラムやデータを読み出して、それらのプログラムの実行やデータの処理を行ない、画像処理装置１の全体を制御する。

図３は、携帯情報端末１００ａの詳細構成を示すブロック図である。携帯情報端末１００ａは、液晶ディスプレイや有機ＥＬディスプレイ等で構成され、タッチスクリーン機能を有する表示部１０１と、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサカメラやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサカメラ等で構成される撮影部１０２と、表示部１０１に表示すべき画像および撮影部１０２で撮影された画像に対して画像処理を行なう画像処理部１０３と、ネットワーク２００に接続するためのインターフェースであるネットワークインタフェース１０４とを含む。なお、図３においては、説明の簡略化のため、携帯情報端末１００ａとネットワーク２００との間に配置される無線ＬＡＮアクセスポイント２０１の表示を省略している。

ここで、画像処理部１０３は、画像解析部１０３ａ、情報表示制御部１０３ｂ、情報送受信部１０３ｃ、パネル付近用データ１０３ｄ、および、位置情報処理部１０３ｅを有している。これら各部の詳細については、後述する。

本実施の形態に係る画像処理システムにおいては、携帯情報端末１００ａを、画像処理装置１のリモートコントロール装置として利用することができる、いわゆるリモートパネル操作の機能が実現される。ただし、このリモートパネル操作には、単純に、携帯情報端末１００ａの表示部１０１に、画像処理装置１のディスプレイ１２とまったく同様の表示画面を表示させて、携帯情報端末１００ａの表示部１０１における操作が画像読取装置１のディスプレイ１２における操作に優先する、単独リモートパネル操作の機能だけが含まれるのではない。

本実施の形態におけるリモートパネル操作には、上記の単独リモートパネル操作に加えて、画像処理装置１と携帯情報端末１００ａとを連携させることが可能な、連携リモートパネル操作の機能が含まれる。この連携リモートパネル操作の機能について、以下に詳細な説明を行なう。なお、連携リモートパネル操作および単独リモートパネル操作の選択は、ユーザが、携帯情報端末１００ａの表示部１０１、または、画像処理装置１のディスプレイ１２または操作装置１１を操作することにより、選択できるようにしておけばよい。

本実施の形態に係る連携リモートパネル操作においては、携帯情報端末１００ａをユーザが画像処理装置１のディスプレイ１２付近に近づけることにより、ディスプレイ１２が、ディスプレイ１２における表示面積を超える面積を有する仮想表示画面の一部の領域を表示し、一方、携帯情報端末１００ａの表示部１０１は、ディスプレイ１２と自身の表示部１０１との相対的な位置関係を示す位置関係情報（例えば座標の情報等）を取得し、表示部１０１に、位置関係情報に基づいて、ディスプレイ１２に示された一部の領域と重複しない、または、重複する、仮想表示画面の他の一部の領域を表示させる。

図４は、この連携リモートパネル操作の一例を示す図である。この図においては、画像処理装置１のディスプレイ１２が、ディスプレイ１２における表示面積を超える面積を有する仮想表示画面ＩＭ１の一部の領域を表示画面ＳＢ１として表示している状態が示されている。また、携帯情報端末１００ａの表示部１０１には、ディスプレイ１２に示された表示画面ＳＢ１と重複しない、仮想表示画面ＩＭ１の他の一部の領域が表示画面ＳＡ１として表示されている。なお、携帯情報端末１００ａの表示部１０１には、ディスプレイ１２と表示部１０１との相対的な位置関係に応じて、ディスプレイ１２に示された表示画面ＳＢ１と一部または全部が重複する、仮想表示画面ＩＭ１の他の一部の領域が表示画面ＳＡ１として表示されていてもよい。

なお、この例における仮想表示画面ＩＭ１は、多機能を実現するための各種ボタン（図中、矩形で示されている部分）が多数、画面内に配置された仮想表示画面である。そして、例えば、携帯情報端末１００ａの表示部１０１上の表示画面ＳＡ１内のボタンＢＴを、ユーザがタッチすることにより、例えば図４の下段に示すように、ディスプレイ１２に、表示画面ＳＢ１とは異なる内容の表示画面ＳＢ１ａを表示させることができる。

もちろん、携帯情報端末１００ａの表示部１０１上の表示画面ＳＡ１ではなく、画像処理装置１のディスプレイ１２に表示された他のボタンをユーザがタッチすることにより、他の動作も行なえる。この場合、ユーザは、所望する機能を画像処理装置１に行なわせるために、画像処理装置１のディスプレイ１２および操作装置１１を操作しても、携帯情報端末１００ａの表示部１０１の表示画面を操作しても、いずれでも良い。すなわち、機能に関する受付順位については、ディスプレイ１２および操作装置１１と、携帯情報端末１００ａの表示部１０１との間で優劣はない。

このように、画像処理装置１において、ディスプレイ１２が、ディスプレイ１２における表示面積を超える面積を有する仮想表示画面ＩＭ１の一部の領域を表示することが可能であり、携帯情報端末１００ａが、ディスプレイ１２と表示部１０１との相対的な位置関係を示す位置関係情報を取得し、携帯情報端末１００ａにおいて、表示部１０１が、位置関係情報に基づき、ディスプレイ１２で表示される一部の領域と重複しない、または、重複する、仮想表示画面ＩＭ１の他の一部の領域を表示することが可能であれば、ディスプレイ１２だけでは表示しきれない仮想表示画面ＩＭ１の他の一部の領域を、あたかも仮想表示画面ＩＭ１が広がって存在するかのように、表示部１０１において表示することができる。これにより、拡張現実感を生み出しつつ、画像処理装置１と携帯情報端末１００ａとを連携させることが可能である。その結果、拡張現実感を利用することにより、表示部の面積を擬似的に拡大させることが可能な画像処理システムを提供することができる。そして、例えば携帯情報端末１００ａを仮想表示画面ＩＭ１上にて移動させることにより、ユーザは各種の操作機能を検索することができ、また、その機能に関する操作は、画像処理装置１および携帯情報端末１００ａのいずれに対しても行なうことができる。

ここで、ディスプレイ１２と携帯情報端末１００ａの表示部１０１との相対的な位置関係を示す位置関係情報の取得について説明する。

携帯情報端末１００ａには、予め連携リモートパネル操作を実現するためのアプリケーションソフトウェアがインストールされている。ユーザがこのアプリケーションソフトウェアを起動すると、撮影部１０２が自動的に撮影をスタートし、画像処理装置１のディスプレイ１２および／またはその近傍の様子をリアルタイムで撮影する。なお、このリアルタイムの撮影内容は、携帯情報端末１００ａの表示部１０１には表示されず、その代わりに、上記の仮想表示画面ＩＭ１の他の一部の領域が表示画面ＳＡ１として表示されることとなる。

このとき、携帯情報端末１００ａの画像処理部１０３において、画像解析部１０３ａは、撮影部１０２で撮影された、ディスプレイ１２および／またはその近傍の画像に基づき、携帯情報端末１００ａの表示部１０１のディスプレイ１２に対する相対的な位置を画像解析により特定して、位置関係情報を生成する。

位置関係情報の生成に際して、画像解析部１０３ａは、パネル付近用データ１０３ｄを用いて公知の画像解析を行い、携帯情報端末１００ａの表示部１０１の、ディスプレイ１２に対する相対的な位置関係を特定する。なお、パネル付近用データ１０３ｄには、ディスプレイ１２やその周辺の操作装置１１、スキャナ装置１３等の形状や色、特徴点などに関する画像解析用の各種の公知のデータが含まれている。

このように、撮影部１０２で撮影されたディスプレイ１２および／またはその近傍の画像に基づき、画像処理部１０３が、表示部１０１のディスプレイ１２に対する相対的な位置を画像解析により特定して、位置関係情報を生成すれば、画像処理装置１に特別なデバイスを設けることなく、携帯情報端末１００ａに撮影部１０２および画像処理部１０３を設けるだけで、表示部の面積を擬似的に拡大させることが可能な画像処理システムを提供することができる。

また、位置関係情報の取得に関して、上記のような画像解析に加えて、またはこれに代えて、外部で測位されて得られた位置情報信号を利用しても良い。すなわち、携帯情報端末１００ａの画像処理部１０３において、外部からの位置情報信号を取得し、この位置情報信号を様々な用途に利用することが可能である、測位信号取得部を設ける。尚、上記位置情報信号は、例えば、画像処理装置１の複数箇所に設けた無線通信部で携帯情報端末１００と通信が確立されることで、携帯情報端末１００の画像形成処理装置１に対する方向、距離、高さ等を表す信号として、取得される。そして、連携リモートパネル操作を行なう前に、例えば携帯情報端末１００をディスプレイ１２の中央部に載置して所定の登録動作を行なうことにより、ディスプレイ１２の位置に関する装置位置情報を予め取得して上記測位信号取得部内に記憶しておく。そして、上記測位信号取得部が、この装置位置情報と、リアルタイムに取得した位置情報信号とに基づき、位置関係情報を生成するようにしてもよい。

このように、携帯情報端末１００ａが、上記位置情報信号等の、外部からの測位信号を取得することが可能な記測位信号取得部を含み、携帯情報端末１００ａにおいて、画像処理装置１のディスプレイ１２の位置に関する装置位置情報を予め取得しておき、装置位置情報と、上記位置情報信号とに基づき、位置関係情報を生成する。これにより、携帯情報端末１００ａが、上記測位信号取得部において、ディスプレイ１２の位置に関する装置位置情報を予め取得しておくだけで、表示部の面積を擬似的に拡大させることが可能な画像処理システムを提供することができる。

なお、画像解析と測位信号との両方を用いて位置関係情報を生成する場合には、上記測位信号取得部における位置情報信号による測位精度に応じて、画像解析により得られた位置関係情報をベースに、位置情報信号の結果を考慮して位置関係情報の補正を行なうか、あるいは、その逆に、位置情報信号により得られた位置関係情報をベースに、画像解析の結果を考慮して位置関係情報の補正を行なうようにすればよい。

このようにして得られた位置関係情報は、画像処理部１０３の情報表示制御部１０３ｂに送られる。情報表示制御部１０３ｂは、例えば仮想表示画面ＩＭ１の全画面データを予め記憶しておき、画像解析部１０３ａや上記測位信号取得部等からの位置関係情報に基づいて、仮想表示画面ＩＭ１のうちの適切な部分、すなわち、あたかも仮想表示画面ＩＭ１が実際に広がって存在するかのように、ディスプレイ１２の表示画面ＳＢ１の表示内容に対応する、ディスプレイ１２と表示部１０１との相対的な位置関係に応じた表示画面ＳＡ１を、表示部１０１に表示させる。

なお、ここでは仮想表示画面ＩＭ１の全画面データを情報表示制御部１０３ｂが予め取得しているとしたが、それに限らず、例えば通信によりリアルタイムで仮想表示画面ＩＭ１中の必要なデータ、または全画面分のデータを、画像処理装置１から取得する構成であっても良い。その場合は、画像処理部１０３の情報送受信部１０３ｃが情報の受信を司り、取得した情報を情報表示制御部１０３ｂに受け渡す。また、仮想表示画面ＩＭ１の全画面データを情報表示制御部１０３ｂが予め取得している場合は、通信により画像処理装置１に、表示すべき仮想表示画面ＩＭ１の一部のまたは全画面のデータを、情報送受信部１０３ｃを介して送信すればよい。

図５は、仮想表示画面が操作画面である、本実施の形態に係る画像処理システムにおける、携帯情報端末１００ａまたは１００ｂと画像処理装置１とで行なわれる処理を示すフローチャートである。

まず、携帯情報端末１００ａまたは１００ｂ側において、予めインストールされている、連携リモートパネル操作を実現するためのアプリケーションソフトウェアが、ユーザにより起動される。そして、そのアプリケーションソフトウェアを介して、リモートパネル操作の開始が指示される（ステップＳ０）。

次に、連携リモートパネル操作および単独リモートパネル操作のいずれが選択されたかが判断される（ステップＳ１）。単独リモートパネル操作が選択された場合は、携帯情報端末１００ａまたは１００ｂは、画像処理装置１に、ディスプレイ１２における表示画像を要求する（ステップＳ２）。画像処理装置１は、携帯情報端末装置１００ａまたは１００ｂからの要求を受け付けると、ディスプレイ１２における表示画像を送信する（ステップＳ３）。そして、携帯情報端末１００ａまたは１００ｂは、画像処理装置１からの表示画像を受信すると、受信した表示画像を表示部１０１に表示させる（ステップＳ４）。

これにより、単純に、携帯情報端末１００ａまたは１００ｂの表示部１０１に、画像処理装置１のディスプレイ１２とまったく同様の表示画面を表示させると、携帯情報端末１００ａまたは１００ｂの表示部１０１における操作が画像読取装置１のディスプレイ１２における操作に優先させる（ステップＳ５）。その後、単独リモートパネル操作の終了が指示されたかどうかを判断して（ステップＳ６）、終了が指示されていない場合には、ステップＳ２に戻り、終了が指示された場合には、リモートパネル操作が終了する（ステップＳ２５）。

一方、連携リモートパネル操作が選択された場合は、携帯情報端末１００ａまたは１００ｂが、画像処理装置１との通信を開始可能かどうかを判断する（ステップＳ７）。開始可能でない場合はステップＳ４に戻り、開始可能になるまで待機する。開始可能である場合には、位置情報処理部１０３ｅにより位置情報信号を取得する（ステップＳ８）。そして、撮影部１０２が自動的に撮影をスタートし、画像処理装置１のディスプレイ１２および／またはその近傍の様子をリアルタイムで撮影する（ステップＳ９）。

次に、画像解析部１０３ａは、撮影部１０２で撮影された、ディスプレイ１２および／またはその近傍の画像に基づき、ディスプレイ１２および／またはその近傍の形状が認識されたかどうかを判断する（ステップＳ１０）。それらの形状が認識されない場合は、ステップＳ８に戻り、位置情報処理部１０３ｅによる位置情報信号の取得、および撮影部１０２による撮影を再度行なう。

ディスプレイ１２および／またはその近傍の形状が認識された場合は、画像解析部１０３ａにおいて、携帯情報端末１００ａまたは１００ｂの表示部１０１のディスプレイ１２に対する相対的な位置を、パネル付近用データ１０３ｄを用いた公知の画像解析により特定して、位置関係情報を生成する。具体的には、携帯情報端末１００ａの表示部１０１およびディスプレイ１２の間の相対距離や方向、座標等を算出する（ステップＳ１１）。そして、携帯情報端末１００ａまたは１００ｂは、ステップＳ１１で算出した相対距離や方向、座標等を、その表示部１０１の画面サイズとともに、画像処理装置１に送信する（ステップＳ１２）。

画像処理装置１は、携帯情報端末１００ａまたは１００ｂから送信された情報に基づいて、携帯情報端末１００ａまたは１００ｂの配置位置を判断するとともに、その表示部１０１の画面サイズを認識する。これにより、画像処理装置１は、仮想表示画面ＩＭ１またはＩＭ２の最大辺の長さを算出して（ステップＳ１３）、携帯情報端末１００ａまたは１００ｂの表示部１０１に表示される仮想表示画面ＩＭ１またはＩＭ２の一部の画面サイズを決定し、表示部１０１に表示させる画像（一部領域画像）を生成する（ステップＳ１４）。その後、画像処理装置１は、ステップＳ１４で仮想表示画面ＩＭ１またはＩＭ２の一部を切り出して生成した画像（一部領域画像）を送信する（ステップＳ１５）。よって、携帯情報端末１００ａまたは１００ｂでは、この一部領域画像を受信して、ディスプレイ１０１に表示させる（ステップＳ１６）。

その後、携帯情報端末１００ａまたは１００ｂの移動があった場合、その相対座標が算出済みかどうかを判断し（ステップＳ１７）、算出済みでなければ、ステップＳ１７に戻って、算出を待ち、算出済みであれば、携帯情報端末１００ａまたは１００ｂの表示部１０１に表示すべき、仮想表示画面ＩＭ１またはＩＭ２のうち一部を、表示部１０１に生成する（ステップＳ１８）。

その後、携帯情報端末１００ａまたは１００ｂにおいて、ドラッグ操作があったかどうかが判断され（ステップＳ１９）、ドラッグ操作があった場合は、ドラッグによる移動後の携帯情報端末１００ａの相対座標が算出される（ステップＳ２０）。一方、ドラッグ操作がない場合は、クリック動作（ダブルクリック動作を含む）があったかどうかが判断され（ステップＳ２１）、クリック動作があった場合は、それに応じて、画像処理装置１において、表示位置や表示画像の内容を変更する処理を行い（ステップＳ２２）、装置画面上操作領域ＡＲの位置をずらす等の機能処理を受け付ける（ステップＳ２３）。

その後、連携リモートパネル操作の終了が指示されたかどうかを判断して（ステップＳ２４）、終了が指示されていない場合には、ステップＳ１６に戻り、終了が指示された場合には、リモートパネル操作が終了する（ステップＳ２５）。

図６は、この連携リモートパネル操作の一例を示す図である。図６（ａ）は、携帯情報端末１００ａを、表示部１０１上を操作することなくユーザが動かした場合、すなわち、画像処理装置１のディスプレイ１２に対する、携帯情報端末１００ａの表示部１０１の相対的な位置関係の変化があった場合（ステップＳ１９及びステップ２１両方でＮｏ）を示している。この場合、画像解析部１０３ａおよび／または位置情報処理部１０３ｅからの位置関係情報は、新たなものに更新され、この更新後の位置関係情報に基づいて、携帯情報端末１００ａは、表示部１０１の表示画面ＳＡ１を変化させる。具体的には、新たな携帯情報端末１００ａの位置における、仮想表示画面ＩＭ１のうちの適切な部分を、表示部１０１に表示させる。

また、図６（ｂ）は、携帯情報端末１００ａを、表示部１０１上を指で触れてドラッグしたままユーザが動かした場合、すなわち、携帯情報端末１００ａへの操作が行なわれ、かつ、画像処理装置１のディスプレイ１２に対する、携帯情報端末１００ａの表示部１０１の相対的な位置関係の変化があった場合（ステップＳ１９でＹｅｓ）を示している。

この場合、その操作内容（ドラッグ）が携帯情報端末１００ａにおいて検出され、さらに、位置関係情報が更新される。携帯情報端末１００ａにおいてはドラッグが引き続き行なわれているので、携帯情報端末１００ａは、表示部１０１の表示画面ＳＡ１を変化させない。一方、画像処理装置１のディスプレイ１２の表示画面ＳＢ１については、ドラッグしたままの携帯情報端末１００ａの移動に伴って、その表示内容が変化する。すなわち、携帯情報端末１００ａは、操作内容（ドラッグ）と更新後の位置関係情報に基づいて、画像処理装置１と通信し、画像処理装置１における、ディスプレイ１２の表示内容を変化させる。具体的には、新たな携帯情報端末１００ａの位置における、仮想表示画面ＩＭ１のうちの適切な部分を、ディスプレイ１２に表示させる。

また、図示していないが、携帯情報端末１００ａの位置を移動させることなく、表示部１０１上でユーザが指をスライドさせて表示画面ＳＡ１の内容を移動（フリック）させた場合、すなわち、携帯情報端末１００ａへの操作が行なわれた場合、その操作内容（フリック）に基づいて、携帯情報端末１００ａは、自身の表示部１０１の表示内容を変化させるとともに、画像処理装置１と通信し、画像処理装置１における、ディスプレイ１２の表示内容をも変化させることができる。具体的には、フリック動作により表示部１０１上で表示内容が移動した分と同じ量だけ、仮想表示画面ＩＭ１を移動させて、ディスプレイ１２に表示させる。

逆に、こちらも図示していないが、携帯情報端末１００ａの位置を移動させることなく、ディスプレイ１２上でユーザが指をスライドさせて表示画面ＳＢ１の内容を移動（フリック）させた場合、すなわち、画像処理装置１への操作が行なわれた場合、その操作内容（フリック）に基づいて、画像処理装置１は、自身のディスプレイ１２の表示内容を変化させるとともに、携帯情報端末１００ａと通信し、携帯情報端末１００ａにおける、表示部１０１の表示内容をも変化させることができる。具体的には、フリック動作によりディスプレイ１２上で表示内容が移動した分と同じ量だけ、仮想表示画面ＩＭ１を移動させて、表示部１０１に表示させる。

また、例えば、携帯情報端末１００ａの位置を移動させることなく、表示部１０１上でユーザがボタン以外の箇所をダブルクリックする（指を二回すばやくタッチさせる）動作を行なった場合（ステップＳ２１でＹｅｓ）、すなわち、携帯情報端末１００ａへの操作が行なわれた場合、その操作内容（ダブルクリック）に基づいて、携帯情報端末１００ａは、画像処理装置１と通信し、画像処理装置１において、表示内容をセンタリング（仮想表示画面ＩＭ１の中央部分を表示）させることや、あるいは、携帯情報端末１００ａの表示部１０１と同一の内容をディスプレイ１２に表示させることを行なってもよい。

図７は、連携リモートパネル操作の他の一例を示す図である。図７においては、スマートフォン等である携帯情報端末１００ａに代わって、それよりも表示画面の大きいタブレット端末である携帯情報端末１００ｂが示されている。この携帯情報端末１００ｂも、図３と同様の構成を有している。

タブレット端末たる携帯情報端末１００ｂも、スマートフォン等である携帯情報端末１００ａの場合と同様に、連携リモートパネル操作を行なうことができる。ただし、そのサイズが大きいために、画像処理装置１の操作装置１１の物理的なキーが存在する操作領域（例えば図７の上段に破線で表示された領域１１ａ）が、携帯情報端末１００ｂにより隠れてしまうことが考えられる。

そこで、図７の中段または下段に示すように、ディスプレイ１２に対する、携帯情報端末１００ｂの表示部１０１の相対的な位置関係が、携帯情報端末１００ｂにより操作装置１１が隠れてしまうものであった場合、表示部１０１の表示画面ＳＡ１に、操作装置１１を模した、端末画面上操作領域１１ｂを表示させる。そして、端末画面上操作領域１１ｂをユーザが操作することにより、画像処理装置１を通信を介して操作する。

図７の中段と下段との違いは、端末画面上操作領域１１ｂの表示画面ＳＡ１内における表示位置である。表示画面ＳＡ１内において、他のボタン等と端末画面上操作領域１１ｂとが重複表示されて見づらい場合には、図７の下段に示すように、端末画面上操作領域１１ｂを、表示画面ＳＡ１の端部に自動的に移動させて、見やすくすれば良い。

なお、携帯情報端末１００ｂは、操作装置１１の位置に関する情報を予め取得して、例えばパネル付近用データ１０３ｄ内に記憶しており、情報表示制御部１０３ｂにおいて、ディスプレイ１２に対する、携帯情報端末１００ｂの表示部１０１の相対的な位置関係が、携帯情報端末１００ｂにより操作装置１１が隠れてしまうものであるかどうかの判断を行なうことができる。具体的には、操作装置１１の位置に関する座標等の情報と、携帯情報端末１００ｂの表示部１０１の座標等の情報を比較することにより、この判断が行なわれる。

これにより、ディスプレイ１２に対する、携帯情報端末１００ｂの表示部１０１の相対的な位置関係が、携帯情報端末１００ｂにより画像処理装置１の操作装置１１が隠れてしまうものであった場合、携帯情報端末１００ｂが、表示部１０１に、操作装置１１を模した、画像処理装置１を通信を介して操作するための端末画面上操作領域１１ｂを表示させれば、操作装置１１が、携帯情報端末１００ｂにより隠れてしまう場合であっても、携帯情報端末１００ｂの表示部１０１に表示された、端末画面上操作領域１１ｂにより、画像処理装置１の操作を引き続き行なうことができる。

なお、図７においては、表示サイズの大きいタブレット端末たる携帯情報端末１００ｂを用いて説明したが、スマートフォン等である携帯情報端末１００ａを用いる場合も、同様の問題は起こりうる。よって、携帯情報端末１００ａの場合も、上記と同様に構成して、表示部１０１の表示画面に、操作装置１１を模した、端末画面上操作領域１１ｂを表示させてもよい。

上記においては、多機能を実現するための各種ボタンが多数、画面内に配置された、一般的な操作画面を表す仮想表示画面ＩＭ１を例に採っていた。しかし、発明が解決しようとする課題欄において、図２１（ｂ）に関して説明したように、一つのボタンを押した際に、次に、そのボタンに対応した複数の選択肢を表示する、下位階層の画面が表示され、さらにその選択肢に対応したボタンを押してゆく構成では、ボタンを押す回数の直接の減少につながらない場合がある。

そこで、仮想表示画面として、下位階層も上位階層も全て一画面内に収めたものを採用しても良い。このような全階層を一画面内に収める操作画面は、従来の画像処理装置では実施することが困難であったが、本発明のように擬似的に表示部を拡大できる構成であれば、実施することが可能となる。

図８は、このような全階層を一画面内に収める操作画面を表した仮想表示画面ＩＭ２を、ディスプレイ１２および携帯情報端末１００ａの表示部１０１に表示させる場合を説明する図である。図８（ａ）は、画像処理装置１のディスプレイ１２の周辺に携帯情報端末１００ａを近づける様子を、図８（ｂ）は、仮想表示画面ＩＭ２の構成をそれぞれ示す。

図８（ａ）においては、画像処理装置１のディスプレイ１２が、ディスプレイ１２における表示面積を超える面積を有する仮想表示画面ＩＭ２の一部の領域を表示画面ＳＢ２として表示している状態が示されている。また、図８（ａ）では図示していないが、携帯情報端末１００ａの表示部１０１には、ディスプレイ１２に示された表示画面ＳＢ２と重複しない、または、一部または全部が重複する、仮想表示画面ＩＭ２の他の一部の領域が表示される。

そして、図８（ｂ）に示すように、この仮想表示画面ＩＭ２においては、多機能を実現するための各種機能を表す項目ＣＴ（図中、正方形で示されている部分）が多数、中央部分に水平に並置され、その各種機能を表す項目に対応する選択肢の項目ＩＴが多数、中央部分を挟んで上下に垂直列状に配置されている。

この図８の場合も、図４ないし図７の場合と同様に、画像処理装置１と携帯情報端末１００ａとを連携させて、携帯情報端末１００ａの移動による仮想表示画面ＩＭ２内の項目検索や、いずれかの表示画面への操作に基づく表示内容の連動等の各種の機能を実現することが可能である。

図９は、連携リモートパネル操作の他の一例を示す図である。図９（ａ）においては、画像処理装置１のディスプレイ１２の長手方向に対する、携帯情報端末１００ａの表示部１０１の長手方向を、若干はずれているものの、ほぼ同じ方向に向けて、携帯情報端末１００ａをユーザが画像処理装置１のディスプレイ１２付近に近づけた状態を示す図である。

これにより、ディスプレイ１２が、ディスプレイ１２における表示面積を超える面積を有する仮想表示画面ＩＭ２の一部の領域を表示画面ＳＢ２として表示し、一方、携帯情報端末１００ａの表示部１０１は、ディスプレイ１２と自身の表示部１０１との相対的な位置関係を示す位置関係情報を取得し、表示部１０１に、位置関係情報に基づいて、ディスプレイ１２に示された一部の領域と、部分的に重複する、仮想表示画面の他の一部の領域を表示画面ＳＡ２として表示させる。

なお、表示画面ＳＢ２には、各種機能を表す項目ＣＴと、その各種機能を表す項目に対応する選択肢の項目ＩＴの上段の一部とが示され、表示画面ＳＡ２には、下段の選択肢の項目ＩＴが、縦長の表示形態ＩＴａとして表示されている。

一方、図９（ｂ）においては、図９（ａ）の場合に比べて、画像処理装置１のディスプレイ１２の長手方向に対する、携帯情報端末１００ａの表示部１０１の長手方向に、相対的な角度の変化を持たせて、すなわち、ディスプレイ１２の長手方向に対して表示部１０１の長手方向が概ね直角となるように、携帯情報端末１００ａを配置させた状態を示す図である。

この図９（ｂ）では、表示画面ＳＢ２には、各種機能を表す項目ＣＴと、その各種機能を表す項目に対応する選択肢の項目ＩＴの上段の一部とが同様に示されているものの、選択肢の項目ＩＴが、図９（ａ）の場合に比べてより多数、表示されるように、上下にやや圧縮されて表示されている。そして、表示画面ＳＡ２には、下段の選択肢の項目ＩＴが、同じくやや圧縮された表示形態ＩＴｂとして表示されている。

これはすなわち、画像処理装置１のディスプレイ１２に対する、携帯情報端末１００ａの表示部１０１の位置関係の変化に、ディスプレイ１２の長手方向に対する、表示部１０１の長手方向の相対的な角度の変化が含まれ、この相対的な角度の変化に基づいて、携帯情報端末１００ａが、画像処理装置１と通信し、ディスプレイ１２の表示内容を変化させる、および／または、表示部１０１の表示内容を変化させることを意味する。

このようにすれば、例えば、図９（ｂ）のように、ディスプレイ１２の長手方向に対して表示部１０１の長手方向が概ね直角となるように携帯情報端末１００ａを配置した場合には、ユーザが選択肢の項目ＩＴの全容を把握したいとの意図があると考えて、できるだけ多数の選択肢の項目ＩＴを圧縮された表示形態ＩＴｂとして表示させることができ、また、図９（ａ）のように、ディスプレイ１２の長手方向に対して表示部１０１の長手方向が概ね同方向となるように携帯情報端末１００ａを配置した場合には、ユーザには、上記のような意図はないと考えて、選択肢の項目ＩＴを、通常と同様の縦長の表示形態ＩＴａ（項目ＩＴの内容が文字等で表示されており、見やすい）として表示させることができる。よって、ディスプレイ１２の長手方向と表示部１０１の長手方向との相対的な角度の変化にも基づいて、画像処理装置１と携帯情報端末１００ａとの連携性がより高まる。

なお、上記における“長手”方向は“短手”方向と読み替えても良い。

図１０は、連携リモートパネル操作の他の一例を示す図である。図１０（ａ）においては、画像処理装置１のディスプレイ１２が、ディスプレイ１２における表示面積を超える面積を有する仮想表示画面ＩＭ２の一部の領域を表示画面ＳＢ２として表示している状態が示されている。また、携帯情報端末１００ａの表示部１０１には、ディスプレイ１２に示された表示画面ＳＢ２と重複しない、仮想表示画面ＩＭ２の他の一部の領域が表示画面ＳＡ２として表示されている。なお、携帯情報端末１００ａの表示部１０１には、ディスプレイ１２と表示部１０１との相対的な位置関係に応じて、ディスプレイ１２に示された表示画面ＳＢ２と一部または全部が重複する、仮想表示画面ＩＭ２の他の一部の領域が表示画面ＳＡ２として表示されていてもよい。

図１０（ｂ）においては、携帯情報端末１００ａの位置を移動させて所望の選択肢の項目ＩＴを発見した後、表示部１０１上でユーザがその選択肢の項目ＩＴをダブルクリックする（図１０（ｂ）ではダブルクリックを符号ＣＲとして示している）動作を行なった場合を示している。このとき、その操作内容（ダブルクリック）に基づいて、携帯情報端末１００ａは、画像処理装置１と通信し、画像処理装置１において、ディスプレイ１２の表示画面ＳＢ２として、携帯情報端末１００ａの表示部１０１とほぼ同一の内容を表示させている。すなわち、表示部１０１にて選択した内容（所望の選択肢の項目ＩＴ）を、ディスプレイ１２の表示画面ＳＢ２にてセンタリングさせている。

あるいは、表示部１０１上でユーザが選択肢の項目ＩＴをダブルクリックした後に、クリック状態を維持したまま、画像処理装置１のディスプレイ１２上に携帯情報端末１００ａを移動させて、その後、指を離してクリック状態を解除することで、ディスプレイ１２の表示画面ＳＢ２として、携帯情報端末１００ａの表示部１０１とほぼ同一の内容を表示させるようにしてもよい。この状態を示すのが、図１０（ｃ）である。この場合も、表示部１０１にて選択した内容（所望の選択肢の項目ＩＴ）を、ディスプレイ１２の表示画面ＳＢ２にてセンタリングさせることが可能である。

図１１は、連携リモートパネル操作の他の一例を示す図である。ディスプレイ１２および表示部１０１は、上述のようにタッチスクリーン機能が含まれる（ただし、ディスプレイ１２および表示部１０１のいずれか一方のみがタッチスクリーン機能を有し、他方はタッチスクリーン機能を持たない場合を、排除するものではない）。このタッチスクリーン機能には、表示画面上を指または他の物体（スタイラスペンなど）で接触したまま移動させつつはじくことにより表示内容をスクロールさせるフリック動作が含まれる。

ここで、ディスプレイ１２および表示部１０１における、フリック動作によるスクロールの速度を、ディスプレイ１２および表示部１０１の相対的な位置関係に応じて変化させてもよい。図１１は、このことを説明する図である。

図１１（ａ）においては、携帯情報端末１００ａの表示部１０１の位置を、ディスプレイ１２の下側に隣接させて配置させた場合を図示している。また、図１１（ｂ）においては、携帯情報端末１００ａをディスプレイ１２の付近に近づけずに、連携リモート操作を行なわない場合、あるいは、携帯情報端末１００ａをディスプレイ１２の付近から離れた位置に配置した場合（携帯情報端末１００ａがディスプレイ１２から離れすぎているため、ディスプレイ１２の表示領域が直接的に拡張されたとは言い難い場合）を図示している。

図１１（ａ）の場合、携帯情報端末１００ａの配置方向に表示領域が、矢印Ｌ１の長さで示されるように擬似的に拡張されたことになる。一方、図１１（ｂ）の場合は、ディスプレイ１２単独の表示領域となるので、矢印Ｌ２の長さで示されるように、その上下方向の表示領域は、矢印Ｌ１の長さよりも短い。

一般に、フリック動作においては、スクロール可能範囲の限界に対応して画面の移動距離に制限をかける必要がある。これに応じて、例えば、表示領域が狭い場合には、スクロール可能範囲の限界に達しやすくするために、スクロールの速度を速めに設定することが考えられ、一方、表示領域が大きい場合には、スクロール可能範囲の限界にすぐに達しやすいため、スクロールの速度を遅めに設定することが考えられる。

よって、図１１（ａ）の場合のように、携帯情報端末１００ａの配置方向に表示領域が擬似的に拡張される場合には、上下方向のスクロールの速度を抑制することが考えられる。そのほうが、各選択肢の項目ＩＴがゆっくりと表示されることになり、操作性が向上する。一方、図１１（ｂ）の場合のように、ディスプレイ１２の表示領域が拡張されない場合には、上下方向のスクロールの速度を速めに設定して、スクロール可能範囲の限界を早く認識できるようにすることができる。

このように、ディスプレイ１２および／または表示部１０１が、表示画面上を指または他の物体で接触したまま移動させつつはじくことにより表示内容をスクロールさせるフリック動作が可能なタッチスクリーン機能を有し、ディスプレイ１２および／または表示部１０１が、両者の相対的な位置関係に応じて、スクロールの速度を変化させるようにすれば、表示部の操作性が向上する。

なお、上記とは逆に、ディスプレイ１２の表示領域が擬似的に拡張される場合には、上下方向のスクロールの速度を増大させ、拡張されない場合には、上下方向のスクロールの速度を遅めに設定してもよい。この場合、ディスプレイ１２の表示領域が擬似的に拡張される場合には、同時閲覧できる各選択肢の項目ＩＴの数が増えるため、スクロールの速度を早めても問題ない、との設計思想に基づいている。

このようにいずれの場合であっても、ディスプレイ１２の表示領域が擬似的に拡張される場合とされない場合とで、スクロールの速度に差をつけることにより、表示部の操作性を向上させることができる。

図１２は、連携リモートパネル操作の他の一例を示す図である。図１２においては、画像処理装置１のディスプレイ１２の一部が、携帯情報端末１００ａにより隠れてしまう場合が示されている。そして、この隠れてしまうディスプレイ１２の一部には、本来、画像処理装置１を操作するための装置画面上操作領域ＡＲが表示されていたものとする。

そこで、ディスプレイ１２に対する、携帯情報端末１００ａの表示部１０１の相対的な位置関係が、携帯情報端末１００ａにより装置画面上操作領域ＡＲが隠れてしまうものであった場合に、画像処理装置１は、ディスプレイ１２において、装置画面上操作領域ＡＲをずらして、携帯情報端末１００ａにより装置画面上操作領域ＡＲが隠れないように、表示内容を変化させる。

なお、この処理に際し、画像処理装置１は、装置画面上操作領域ＡＲの位置に関する座標等の情報を予め取得しており、さらに、携帯情報端末１００ａの位置を認識するために、ディスプレイ１２と携帯情報端末１００ａの表示部１０１との相対的な位置関係を示す位置関係情報も通信により携帯情報端末１００ａから取得する。そして、画像処理装置１は、ディスプレイ１２に対する、携帯情報端末１００ａの表示部１０１の相対的な位置関係が、携帯情報端末１００ａにより装置画面上操作領域ＡＲが隠れてしまうものであるかどうかの判断を行なう。具体的には、装置画面上操作領域ＡＲの位置に関する座標等の情報と、携帯情報端末１００ａの表示部１０１の座標等の情報を比較することにより、この判断が行なわれる。

これにより、ディスプレイ１２に対する、携帯情報端末１００ａの表示部１０１の相対的な位置関係が、携帯情報端末１００ａにより画像処理装置１の装置画面上操作領域ＡＲが隠れてしまうものであった場合、画像処理装置１は、ディスプレイ１２において、装置画面上操作領域ＡＲをずらして、携帯情報端末１００ａにより装置画面上操作領域ＡＲが隠れないように、図１２に示すように表示内容を変化させる。

このように、画像処理装置１のディスプレイ１２に対する、携帯情報端末１００ａの表示部１０１の相対的な位置関係が、携帯情報端末１００ａにより装置画面上操作領域ＡＲが隠れてしまうものであった場合、画像処理装置１が、ディスプレイ１２において、装置画面上操作領域ＡＲをずらして、携帯情報端末１００ａにより装置画面上操作領域ＡＲが隠れないように、表示内容を変化させれば、画像処理装置１の装置画面上操作領域ＡＲが、携帯情報端末１００ａにより隠れてしまう場合であっても、装置画面上操作領域ＡＲがずらされて更新表示されるので、画像処理装置１の操作を引き続き行なうことができる。

図１３は、連携リモートパネル操作の他の一例を示す図である。図１３においては、図７の場合と同様に、スマートフォン等である携帯情報端末１００ａに代わって、それよりも表示画面の大きいタブレット端末である携帯情報端末１００ｂが示され、この携帯情報端末１００ｂによって、画像処理装置１の操作装置１１の操作領域が、携帯情報端末１００ｂにより隠れてしまう場合が示されている。

この場合も図７の場合と同様に、表示部１０１の表示画面ＳＡ２に、操作装置１１を模した、端末画面上操作領域１１ｂを表示させ、端末画面上操作領域１１ｂをユーザが操作することにより、画像処理装置１を通信を介して操作可能とすればよい。

＜実施の形態２＞
本実施の形態は、実施の形態１に係る画像処理システムの変形例であって、仮想表示画面が操作画面ではなく、例えば画像処理装置１に付属のスキャナ装置１３で読み取り済みの、あるいは、外部のＰＣ等から転送済みの、これから印刷を行なおうとする画像の印刷プレビューデータである場合を説明するものである。

図１４は、この連携リモートパネル操作の一例を示す図である。図１４（ａ）および（ｂ）は、図６（ａ）および（ｂ）にそれぞれ対応し、携帯情報端末１００ａの移動、および、表示部１０１上をドラッグしたままの携帯情報端末１００ａの移動を示している。そして、その効果も図６（ａ）および（ｂ）の各場合と同様である。

また、図１５は、この連携リモートパネル操作の他の一例を示す図である。図１５においては、画像処理装置１のディスプレイ１２が、ディスプレイ１２における表示面積を超える面積を有する、縦スパンＬ３１および横スパンＬ３２の仮想表示画面ＩＭ３の一部の領域を表示画面ＳＢ３として表示している状態が示されている。また、携帯情報端末１００ａの表示部１０１には、ディスプレイ１２に示された表示画面ＳＢ３と重複しない、仮想表示画面ＩＭ３の他の一部の領域が表示画面ＳＡ３として表示されている。なお、携帯情報端末１００ａの表示部１０１には、ディスプレイ１２と表示部１０１との相対的な位置関係に応じて、ディスプレイ１２に示された表示画面ＳＢ３と一部または全部が重複する、仮想表示画面ＩＭ３の他の一部の領域が表示画面ＳＡ３として表示されていてもよい。

なおこの例における仮想表示画面ＩＭ３は、スキャナ装置１３で読み取り済みの、あるいは、外部のＰＣ等から転送済みの、これから印刷を行なおうとする画像の印刷プレビューデータであって、プリントサイズと等倍の形状に設定された仮想表示画面である。携帯情報端末１００ａは、通信により画像処理装置１から予めこの印刷プレビューデータを取得しておく。ここでは仮想表示画面ＩＭ３の全画面データを情報表示制御部１０３ｂが予め取得しているとしたが、それに限らず、例えば通信によりリアルタイムで仮想表示画面ＩＭ３中の必要なデータ、または全画面分のデータを、画像処理装置１から取得する構成であっても良い。その場合は、画像処理部１０３の情報送受信部１０３ｃが情報の受信を司り、取得した情報を情報表示制御部１０３ｂに受け渡す。

そして、例えば、携帯情報端末１００ａの表示部１０１上の表示画面ＳＡ３内の一部を、ユーザがダブルクリックすることにより、例えば図１５の下段に示すように、ディスプレイ１２に、表示画面ＳＡ３の表示部分をセンタリングさせることもできる。

このように、画像処理装置１において、ディスプレイ１２が、ディスプレイ１２における表示面積を超える面積を有する仮想表示画面ＩＭ３の一部の領域を表示することが可能であり、携帯情報端末１００ａが、ディスプレイ１２と表示部１０１との相対的な位置関係を示す位置関係情報を取得し、携帯情報端末１００ａにおいて、表示部１０１が、位置関係情報に基づき、ディスプレイ１２で表示される一部の領域と重複しない、または、重複する、仮想表示画面ＩＭ３の他の一部の領域を表示することが可能であれば、ディスプレイ１２だけでは表示しきれない仮想表示画面ＩＭ３の他の一部の領域を、あたかも仮想表示画面ＩＭ３が広がって存在するかのように、表示部１０１において表示することができる。これにより、拡張現実感を生み出しつつ、画像処理装置１と携帯情報端末１００ａとを連携させることが可能である。その結果、拡張現実感を利用することにより、表示部の面積を擬似的に拡大させることが可能な画像処理システムを提供することができる。そして、例えば携帯情報端末１００ａを仮想表示画面ＩＭ３上にて移動させることにより、ユーザは印刷プレビューデータ画像上で細部を観察することができると同時に、縦スパンＬ３１および横スパンＬ３２の実際のプリントサイズと等倍の全体画像をも、確認することができる。なお、ディスプレイ１２と携帯情報端末１００ａの表示部１０１との相対的な位置関係を示す位置関係情報の取得については、実施の形態１の場合と同様である。

印刷プレビューに際して、画像処理装置のディスプレイ１２に対する、ディスプレイ１２の表示画面からの垂直方向における、携帯情報端末１００ａの表示部１０１の相対的な高さの変化に応じて、ディスプレイ１２および／または携帯情報端末１００ａの表示部１０１の表示内容を変化させる構成を採っても良い。すなわち、この場合は、ユーザの視線方向における携帯情報端末１００ａの配置位置に応じて、携帯情報端末１００ａの表示倍率を切り替えることにより、ディスプレイ１２に対する視野角を等価にすることができる。

図１６は、仮想表示画面が印刷プレビュー画面である、本実施の形態に係る画像処理システムにおける、携帯情報端末１００ａと画像処理装置１とで行なわれる処理を示すフローチャートである。

このフローチャートのうち、ステップＳ０〜Ｓ１８までは、実施の形態１に係る図５のフローチャートと同様の処理であるので、その説明は省略する。ステップＳ１８の後、印刷プレビューがユーザより指示されたかが判断される（ステップＳ２６）。印刷プレビューがユーザより指示された場合は、そのプリントサイズを取得し、また、ディスプレイ１２における表示サイズが算出される（ステップＳ２７）。一方、印刷プレビューがユーザより指示されなかった場合は、ステップＳ２７がスキップされる。

そして、携帯情報端末１００ａの移動があった場合、携帯情報端末１００ａの相対座標が算出済みかどうかを判断し（ステップＳ２８）、算出済みでなければ、ステップＳ２８に戻って、算出を待ち、算出済みであれば、携帯情報端末１００ａの、ディスプレイ１２からの相対的な高さの情報を取得し、その表示倍率を算出する（ステップＳ２９）。その後、表示部１０１に表示すべき、仮想表示画面ＩＭ３のうち一部を、表示部１０１に生成・表示する（ステップＳ３０）。

その後、処理は実施の形態１に係る図５のフローチャートにおけると同様のステップＳ１９に移行し、以降の各ステップＳ１９〜Ｓ２５が行なわれる。その他の点については、実施の形態１に係る画像処理システムと同様のため、説明を省略する。

図１７〜図１９は、このことを示す図であり、図１７および図１８は、連携リモートパネル操作の他の一例を示す図、図１９は、画像処理装置のディスプレイ１２の表示画面からの垂直方向における、携帯情報端末１００ａの表示部１０１の相対的な高さの違いによる表示内容の相違を示す図である。なお、図１９（ａ）が図１７に対応し、図１９（ｂ）が図１８に対応する。

図１７（ａ）は、ユーザの視点ＳＰとディスプレイ１２の表示画面との間の垂直距離ｄの半分ｄ／２の位置の高さに、携帯情報端末１００ａを配置したときの、仮想表示画面ＩＭ３の、ディスプレイ１２および携帯情報端末１００ａの表示部１０１における表示態様を示している。また、図１７（ｂ）は、仮想表示画面ＩＭ３の表示を消して、ディスプレイ１２および携帯情報端末１００ａの表示部１０１における表示態様のみを示した図である。

一方、図１８（ａ）は、ディスプレイ１２とほぼ同じ高さレベルに、携帯情報端末１００ａを配置したときの、仮想表示画面ＩＭ３の、ディスプレイ１２および携帯情報端末１００ａの表示部１０１における表示態様を示している。また、図１８（ｂ）は、仮想表示画面ＩＭ３の表示を消して、ディスプレイ１２および携帯情報端末１００ａの表示部１０１における表示態様のみを示した図である。

携帯情報端末１００ａの高さ方向の配置位置が、図１７および図１９（ａ）に示すようにディスプレイ１２から見て高い場合は、表示部１０１における表示画面ＳＡ３の表示領域を拡大（表示倍率を縮小）させれば、ディスプレイ１２ひいては仮想表示画面ＩＭ３に対する視野角を等価にすることができる。一方、逆に、携帯情報端末１００ａの高さ方向の配置位置が、図１８および図１９（ｂ）に示すようにディスプレイ１２の表示画面とほぼ同じ高さレベルの場合は、表示部１０１における表示画面ＳＡ３の表示領域を縮小（表示倍率を拡大）させれば、ディスプレイ１２ひいては仮想表示画面ＩＭ３に対する視野角を等価にすることができる。

すなわち、ディスプレイ１２と表示部１０１との位置関係の変化に、ディスプレイ１２に対する、ディスプレイ１２の表示画面からの垂直方向における、表示部１０１の相対的な高さの変化も含ませ、この相対的な高さの変化に基づいて、携帯情報端末１００ａは表示部１０１の表示内容を変化させることで、ディスプレイ１２と表示部１０１との相対的な高さの変化にも基づいて、画像処理装置１と携帯情報端末１００ａとの連携性がより高まる。

なお、ここでは相対的な高さの変化に基づいて、携帯情報端末１００ａが表示部１０１の表示内容を変化させる場合を示したが、携帯情報端末１００ａが画像処理装置１と通信し、画像処理装置１における、ディスプレイ１２の表示内容を変化させる構成を採っても良い。この場合、たとえば表示部１０１における表示画面ＳＡ３の表示倍率を一定としつつ、ディスプレイ１２における仮想表示画面ＩＭ３の表示倍率が増減することとなる。

なお、相対的な高さの情報については、測距センサなどによる高さ位置の測定や、画像処理部１０３の画像解析部１０３ａの画像解析等により、撮影部１０２の撮影画像におけるディスプレイ１２および／またはその近傍のスケールサイズの判別からも、容易に取得することができる。

図２０は、連携リモートパネル操作の他の一例を示す図である。印刷プレビューを行なう際、複数の一連のプレビュー画像（例えば印刷画像のうちの一部のみを色違いにした一連の類似画像等）を、画像処理装置１のディスプレイ１２にて順次、切換えて表示させたい場合がある。このような場合にも、連携リモートパネル操作を利用することができる。

すなわち、画像処理装置１のディスプレイ１２においては、一連の印刷プレビュー画像のうちのＮ番目（Ｎ：整数）のものを表示させておき、携帯情報端末１００ａをディスプレイ１２上に配置させ、携帯情報端末１００ａの表示部１０１に、印刷プレビュー画像のうちのＮ番目以外の画像を表示させて、その相違を確認することができる。

図２０（ａ）は、例えばディスプレイ１２および表示部１０１の双方において、一連の印刷プレビュー画像のうちのＮ番目のものを表示させた場合を示している。この図２０（ａ）では、表示部１０１において表示画面ＳＡ３ａとして、その表示内容が示されている。

図２０（ｂ）は、例えばディスプレイ１２には、一連の印刷プレビュー画像のうちのＮ番目のものを表示させたまま、表示部１０１においては、一連の印刷プレビュー画像のうちのＮ−１番目のものを表示させた場合を示している。この図２０（ｂ）では、表示画面ＳＡ３ａの一部の表示内容が変更された表示画面ＳＡ３ｂとして、表示部１０１においてその表示内容が示されている。

また、図２０（ｃ）は、例えばディスプレイ１２には、一連の印刷プレビュー画像のうちのＮ番目のものを表示させたまま、表示部１０１においては、一連の印刷プレビュー画像のうちのＮ＋１番目のものを表示させた場合を示している。この図２０（ｃ）では、表示画面ＳＡ３ａの一部の表示内容が変更された表示画面ＳＡ３ｃとして、表示部１０１においてその表示内容が示されている。

すなわちここでは、仮想表示画面には、Ｎ−１番目、Ｎ番目、およびＮ＋１番目の印刷プレビュー画像等の、互いに異なる、切換表示可能な複数の仮想表示画面が含まれ、画像処理装置１のディスプレイ１２が、複数の仮想表示画面の一つ（例えばＮ番目の印刷プレビュー画像）の一部の領域を表示し、携帯情報端末１００ａの表示部１０１が、ディスプレイ１２と表示部１０１との間の位置関係情報に基づき、上記の一部の領域と対応しない（ディスプレイ１２の表示領域外の部分である）、または、対応する（ディスプレイ１２の表示領域内の部分である）、複数の仮想表示画面の他の一つ（例えばＮ＋１番目の印刷プレビュー画像）の一部の領域を表示することが可能である。

このようにすれば、複数の仮想表示画面が、連続する一連の印刷プレビュー画像である場合に、一連の印刷プレビュー画像中の相違箇所を、携帯情報端末１００ａにおいて容易に確認することができる。

＜その他＞
上記においては、画像処理システム、画像処理装置、および、携帯情報端末としての実施の形態を説明したが、本発明はこれらに限られるものではない。本発明は、各種のコンピュータで実現される、あらゆる携帯情報端末に、上記各実施の形態に記載の各処理を実行させるためのプログラム（アプリケーションプログラム）をも包含する。これにより、拡張現実感を生み出しつつ、画像処理装置と携帯情報端末とを連携させることが可能であり、その結果、拡張現実感を利用することにより、表示部の面積を擬似的に拡大させることが可能な携帯情報端末のプログラムを提供することができる。

１ 画像処理装置、１１ 操作装置、１２ ディスプレイ、１３ スキャナ装置、１４ プリンタ装置、１５ フィニッシャ装置、１６ 通信インタフェース、１７ ドキュメントフィーダ、１８ 給紙装置、２０ ＣＰＵ、２１ ＲＡＭ、２２ ＲＯＭ、２３ データ記憶部、１００ａ，１００ｂ 携帯情報端末、１０１ 表示部、１０２ 撮影部、１０３ 画像処理部、１０３ａ 画像解析部、１０３ｂ 情報表示制御部、１０３ｃ 情報送受信部、１０３ｄ パネル付近用データ、１０３ｅ 位置情報処理部、１０４ ネットワークインタフェース、２００ ネットワーク、ＩＭ１〜ＩＭ３ 仮想表示画面。

Claims (23)

1. 画像処理装置および前記画像処理装置と通信可能な携帯情報端末を有する画像処理システムであって、
   前記画像処理装置が、
   第１表示部と、前記第１表示部に表示するための画面データを記憶する記憶部と、前記画面データに対応する仮想表示画面の一部の領域である第１の領域を示す画像を前記第１表示部に表示する第１の制御部と、
   を備え、
   前記携帯情報端末が、
   第２表示部と、前記第１表示部と前記第２表示部との相対的な位置関係を示す位置関係情報に対応して生成された前記仮想表示画面の前記第１の領域と重複しない一部の領域である第２の領域を示す画像を前記第２表示部に表示する第２の制御部と、
   を備える、
   画像処理システム。
2. 画像処理装置および前記画像処理装置と通信可能な携帯情報端末を有する画像処理システムであって、
   前記画像処理装置が、
   第１表示部と、前記第１表示部に表示するための画面データを記憶する記憶部と、前記画面データに対応する仮想表示画面に含まれる第１の領域を示す画像を前記第１表示部に表示する第１の制御部と、
   を備え、
   前記携帯情報端末が、
   第２表示部と、前記第１表示部と前記第２表示部との相対的な位置関係を示す位置関係情報に対応して生成された第２の領域を示す画像を前記第２表示部に表示する第２の制御部と、
   を備え、
   前記画像処理装置は、前記第１表示部の近傍に操作部をさらに含み、
   前記携帯情報端末は、前記操作部の位置に関する情報を予め取得しており、
   前記画像処理装置の前記第１表示部に対する、前記携帯情報端末の前記第２表示部の相対的な位置関係が、前記携帯情報端末により前記操作部が隠れてしまうものであった場合、
   前記携帯情報端末は、
   前記第２表示部に、前記操作部を模した、前記画像処理装置を通信を介して操作するための端末画面上操作領域を表示させる、
   画像処理システム。
3. 画像処理装置および前記画像処理装置と通信可能な携帯情報端末を有する画像処理システムであって、
   前記画像処理装置が、
   第１表示部と、前記第１表示部に表示するための画面データを記憶する記憶部と、前記画面データに対応する仮想表示画面に含まれる第１の領域を示す画像を前記第１表示部に表示する第１の制御部と、
   を備え、
   前記携帯情報端末が、
   第２表示部と、前記第１表示部と前記第２表示部との相対的な位置関係を示す位置関係情報に対応して生成された第２の領域を示す画像を前記第２表示部に表示する第２の制御部と、
   を備え、
   前記画像処理装置は、前記第１表示部の画面上に、前記画像処理装置を操作するための装置画面上操作領域を表示可能であり、
   前記画像処理装置は、前記装置画面上操作領域の位置に関する情報を予め取得しており、
   前記画像処理装置は、前記位置関係情報を取得し、
   前記画像処理装置の前記第１表示部に対する、前記携帯情報端末の前記第２表示部の相対的な位置関係が、前記携帯情報端末により前記装置画面上操作領域が隠れてしまうものであった場合、
   前記画像処理装置は、前記第１表示部において、前記装置画面上操作領域をずらして、前記携帯情報端末により前記装置画面上操作領域が隠れないように、表示内容を変化させる、
   画像処理システム。
4. 画像処理装置および前記画像処理装置と通信可能な携帯情報端末を有する画像処理システムであって、
   前記画像処理装置が、
   第１表示部と、前記第１表示部に表示するための画面データを記憶する記憶部と、前記画面データに対応する仮想表示画面に含まれる第１の領域を示す画像を前記第１表示部に表示する第１の制御部と、
   を備え、
   前記携帯情報端末が、
   第２表示部と、前記第１表示部と前記第２表示部との相対的な位置関係を示す位置関係情報に対応して生成された第２の領域を示す画像を前記第２表示部に表示する第２の制御部と、
   を備え、
   前記第１表示部または前記第２表示部は、表示画面上を指または他の物体で接触したまま移動させつつはじくことにより表示内容をスクロールさせるフリック動作が可能なタッチスクリーン機能を有し、前記相対的な位置関係に応じて、前記スクロールの速度を変化させる、
   画像処理システム。
5. 前記仮想表示画面には、互いに異なる、切換表示可能な第１および第２の仮想表示画面が少なくとも含まれ、
   前記画像処理装置において、前記第１表示部は、前記第１の仮想表示画面の一部の領域を表示することが可能であり、
   前記携帯情報端末において、前記第２表示部は、前記位置関係情報に基づき、前記一部の領域と対応する、前記第２の仮想表示画面の一部の領域を表示することが可能である、請求項２〜請求項４のいずれかに記載の画像処理システム。
6. 前記位置関係情報は、前記携帯情報端末において生成されて、前記画像処理装置に送信され、
   前記画像処理装置は、前記仮想表示画面及び受信した前記位置関係情報に基づき前記第２の領域を示す画像を生成し、前記携帯情報端末に送信する、
   請求項１〜請求項５のいずれかに記載の画像処理システム。
7. 前記携帯情報端末はさらに、撮影部と、画像処理部とを含み、
   前記携帯情報端末において、
   前記撮影部により、前記画像処理装置の前記第１表示部および／またはその近傍の画像を撮影することが可能であり、
   前記第１表示部および／またはその近傍の前記画像に基づき、前記画像処理部は、前記第２表示部の前記第１表示部に対する相対的な位置を画像解析により特定して、前記位置関係情報を生成する、
   請求項１〜請求項６のいずれかに記載の画像処理システム。
8. 前記携帯情報端末は、外部からの測位信号を取得することが可能な測位信号取得部を含み、
   前記携帯情報端末において、
   前記画像処理装置の前記第１表示部の位置に関する装置位置情報を予め取得しておき、
   前記装置位置情報と、前記測位信号取得部により取得した前記測位信号とに基づき、前記位置関係情報を生成する、
   請求項１〜請求項６のいずれかに記載の画像処理システム。
9. 前記携帯情報端末は、
   前記画像処理装置と通信可能であり、
   前記携帯情報端末および前記画像処理装置のうちの少なくとも一方への操作が行なわれた場合、その操作内容を検出し、または、前記画像処理装置の前記第１表示部に対する、前記携帯情報端末の前記第２表示部の相対的な位置関係の変化があった場合、前記位置関係情報を更新し、
   前記操作内容または更新後の前記位置関係情報に基づいて、前記携帯情報端末は、前記画像処理装置と通信し、前記第１および第２表示部のうちの少なくとも一方の表示内容を変化させる、
   請求項１〜請求項８のいずれかに記載の画像処理システム。
10. 前記位置関係の変化には、前記画像処理装置の前記第１表示部の長手または短手方向に対する、前記携帯情報端末の前記第２表示部の長手または短手方向の、相対的な角度の変化も含まれ、
    前記相対的な角度の変化に基づいて、前記携帯情報端末は、前記画像処理装置と通信し、前記第１および第２表示部のうちの少なくとも一方の表示内容を変化させる、
    請求項９に記載の画像処理システム。
11. 前記位置関係の変化には、前記画像処理装置の前記第１表示部に対する、前記第１表示部の表示画面からの垂直方向における、前記携帯情報端末の前記第２表示部の、相対的な高さの変化も含まれ、
    前記相対的な高さの変化に基づいて、前記携帯情報端末は、前記画像処理装置と通信し、前記第１および第２表示部のうちの少なくとも一方の表示内容を変化させる、
    請求項９又は請求項１０に記載の画像処理システム。
12. 前記第２表示部の前記第１表示部に対する相対的な高さ位置が高くなった場合、前記第１および第２表示部のうちの少なくとも一方の表示内容における表示倍率を縮小する一方、
    前記第２表示部の前記第１表示部に対する相対的な高さ位置が低くなった場合、前記第１および第２表示部のうちの少なくとも一方の表示内容における表示倍率を拡大する、
    請求項１１に記載の画像処理システム。
13. 携帯情報端末と通信可能な画像処理装置であって、
    第１表示部と、
    前記第１表示部に表示するための画面データを記憶する記憶部と、
    前記画面データに対応する仮想表示画面の一部の領域である第１の領域を示す画像を前記第１表示部に表示する第１の制御部と、
    前記第１表示部と、前記携帯情報端末が有する第２表示部との相対的な位置関係を示す位置関係情報を取得する位置取得部と、
    前記仮想表示画面に含まれるとともに、かつ前記位置取得部で取得した前記位置関係情報に基づく画像であって、前記仮想表示画面の前記第１の領域と重複しない一部の領域である第２の領域を示す画像を生成する画像生成部と、
    前記画像生成部で生成された前記第２の領域を示す画像を前記携帯情報端末に送信する送信部と、
    を備えた、
    画像処理装置。
14. 前記位置取得部が、前記携帯情報端末において生成された前記位置関係情報を受信し、
    前記画像生成部が、前記仮想表示画面と前記位置取得部が受信した前記位置関係情報とに基づき、前記第２の領域を示す画像を生成し、
    前記送信部が、前記画像生成部が生成した前記第２の領域を示す画像を前記携帯情報端末に送信する、
    請求項１３に記載の画像処理装置。
15. 画像処理装置と通信可能な携帯情報端末であって、
    第２表示部と、
    前記第２表示部と前記画像処理装置が有する第１表示部との相対的な位置関係を示す位置関係情報を取得する位置取得部と、
    前記位置関係情報に基づき前記第１表示部と前記第２表示部との相対的な位置関係に対応するように生成された画像であって、前記画像処理装置が有する仮想表示画面に含まれ、前記仮想表示画面のうちの前記第１表示部に表示された領域と重複しない第２の領域を示す画像を前記第２表示部に表示する第２の制御部と、
    を備えた、
    携帯情報端末。
16. 前記第２の制御部が、前記位置関係情報を前記画像処理装置に送信するとともに、前記画像処理装置によって、前記仮想表示画面および前記位置関係情報に基づき生成された前記第２の領域を示す画像を受信し、当該画像を前記第２表示部に表示する、
    請求項１５に記載の携帯情報端末。
17. 画像処理装置と通信可能であり、第２表示部を備えた携帯情報端末を動作させるためのプログラムであって、
    前記第２表示部と前記画像処理装置が有する第１表示部との相対的な位置関係を示す位置関係情報を取得するステップと、
    前記位置関係情報に基づき前記第１表示部と前記第２表示部との相対的な位置関係に対応するように生成された画像であって、前記画像処理装置が有する仮想表示画面に含まれ、前記仮想表示画面のうちの前記第１表示部に表示された領域と重複しない第２の領域を示す画像を前記第２表示部に表示するステップと、
    を有する、
    プログラム。
18. 携帯情報端末と通信可能な画像処理装置であって、
    第１表示部と、
    前記第１表示部に表示するための画面データを記憶する記憶部と、
    前記画面データに対応する仮想表示画面に含まれる第１の領域を示す画像を前記第１表示部に表示する第１の制御部と、
    前記第１表示部と、前記携帯情報端末が有する第２表示部との相対的な位置関係を示す位置関係情報を取得する位置取得部と、
    前記仮想表示画面に含まれるとともに、かつ前記位置取得部で取得した前記位置関係情報に基づく第２の領域を示す画像を生成する画像生成部と、
    前記画像生成部で生成された前記第２の領域を示す画像を前記携帯情報端末に送信する送信部と、
    を備え、
    前記第１表示部の画面上に、前記画像処理装置を操作するための装置画面上操作領域を表示可能であり、
    前記第１の制御部は、
    前記位置関係情報に基づく、前記第１表示部に対する、前記携帯情報端末の前記第２表示部の相対的な位置関係が、前記携帯情報端末により前記第１表示部の画面上の前記装置画面上操作領域が隠れてしまうものであった場合、
    前記第１表示部において、前記装置画面上操作領域をずらして、前記携帯情報端末により前記装置画面上操作領域が隠れないように、表示内容を変化させる、
    画像処理装置。
19. 携帯情報端末と通信可能な画像処理装置であって、
    第１表示部と、
    前記第１表示部に表示するための画面データを記憶する記憶部と、
    前記画面データに対応する仮想表示画面に含まれる第１の領域を示す画像を前記第１表示部に表示する第１の制御部と、
    前記第１表示部と、前記携帯情報端末が有する第２表示部との相対的な位置関係を示す位置関係情報を取得する位置取得部と、
    前記仮想表示画面に含まれるとともに、かつ前記位置取得部で取得した前記位置関係情報に基づく第２の領域を示す画像を生成する画像生成部と、
    前記画像生成部で生成された前記第２の領域を示す画像を前記携帯情報端末に送信する送信部と、
    を備え、
    前記第１表示部は、表示画面上を指または他の物体で接触したまま移動させつつはじくことにより表示内容をスクロールさせるフリック動作が可能なタッチスクリーン機能を有し、前記相対的な位置関係に応じて、前記スクロールの速度を変化させる、
    画像処理装置。
20. 画像処理装置と通信可能な携帯情報端末であって、
    第２表示部と、
    前記第２表示部と前記画像処理装置が有する第１表示部との相対的な位置関係を示す位置関係情報を取得する位置取得部と、
    前記画像処理装置が有する仮想表示画面に含まれ、前記位置関係情報に基づき前記第１表示部と前記第２表示部との相対的な位置関係に対応するように生成された第２の領域を示す画像を前記第２表示部に表示する第２の制御部と、
    を備え、
    前記画像処理装置の前記第１表示部の近傍に設けられた操作部の位置に関する情報を予め取得しており、
    前記第２の制御部は、
    前記位置関係情報に基づく、前記第１表示部に対する、前記携帯情報端末の前記第２表示部の相対的な位置関係が、前記携帯情報端末により前記操作部が隠れてしまうものであった場合、
    前記第２表示部に、前記操作部を模した、前記画像処理装置を通信を介して操作するための端末画面上操作領域を表示させる、
    携帯情報端末。
21. 画像処理装置と通信可能な携帯情報端末であって、
    第２表示部と、
    前記第２表示部と前記画像処理装置が有する第１表示部との相対的な位置関係を示す位置関係情報を取得する位置取得部と、
    前記画像処理装置が有する仮想表示画面に含まれ、前記位置関係情報に基づき前記第１表示部と前記第２表示部との相対的な位置関係に対応するように生成された第２の領域を示す画像を前記第２表示部に表示する第２の制御部と、
    を備え、
    前記第２表示部は、表示画面上を指または他の物体で接触したまま移動させつつはじくことにより表示内容をスクロールさせるフリック動作が可能なタッチスクリーン機能を有し、前記相対的な位置関係に応じて、前記スクロールの速度を変化させる、
    携帯情報端末。
22. 画像処理装置と通信可能であり、第２表示部を備えた携帯情報端末を動作させるためのプログラムであって、
    前記第２表示部と前記画像処理装置が有する第１表示部との相対的な位置関係を示す位置関係情報を取得するステップと、
    前記画像処理装置が有する仮想表示画面に含まれ、前記位置関係情報に基づき前記第１表示部と前記第２表示部との相対的な位置関係に対応するように生成された第２の領域を示す画像を前記第２表示部に表示するステップと、
    前記画像処理装置の前記第１表示部の近傍に設けられた操作部の位置に関する情報を取得するステップと、
    前記位置関係情報に基づく、前記第１表示部に対する、前記携帯情報端末の前記第２表示部の相対的な位置関係が、前記携帯情報端末により前記操作部が隠れてしまうものであった場合、前記第２表示部に、前記操作部を模した、前記画像処理装置を通信を介して操作するための端末画面上操作領域を表示させるステップと、
    を有する、
    プログラム。
23. 画像処理装置と通信可能であり、第２表示部を備えた携帯情報端末を動作させるためのプログラムであって、
    前記第２表示部と前記画像処理装置が有する第１表示部との相対的な位置関係を示す位置関係情報を取得するステップと、
    前記画像処理装置が有する仮想表示画面に含まれ、前記位置関係情報に基づき前記第１表示部と前記第２表示部との相対的な位置関係に対応するように生成された第２の領域を示す画像を前記第２表示部に表示するステップと、
    前記第２表示部における、表示画面上を指または他の物体で接触したまま移動させつつはじく操作により、前記相対的な位置関係に応じた速度で前記第２表示部の表示内容をスクロールさせるステップと、
    を有する、
    プログラム。

Images