JP6149684B2 - 携帯端末、画像処理装置、及びプログラム - Google Patents

Description

本発明は、画像処理装置をリモート操作する携帯端末に含まれるプログラムに関する。

従来より、テンキー等を含む複数のボタンと、表示画像に対するタッチ操作が可能な表示パネルとを備える画像処理装置が知られている。この画像処理装置は、ボタンの押下と表示パネルのタッチ操作とを組み合わせて、ユーザからの指示を受け付ける。これにより、ユーザは、より多様で複雑な指示を画像処理装置に入力することができる。

但し、上記構成の画像処理装置を操作しようとするユーザは、当該画像処理装置の設置場所まで足を運ばなければならない。このような課題を解決する技術として、例えば特許文献１には、撮像装置に設けられた操作スイッチのレイアウトと略同一の操作スイッチ画像を電子機器の表示パネルに表示し、当該電子機器から撮像装置を操作可能な技術が開示されている。

特開２００９−９４５９１号公報

しかしながら、画像処理装置に搭載される複数のボタン及び表示パネルは、装置毎に様々なレイアウトで配置されており、このレイアウトの画像をそのまま携帯端末の表示部に表示させるのは難しい。一方、画像処理装置に搭載された多数のボタンを示す画像及び表示パネルに表示された画像の一方又は両方を、過度に縮小したり、大きくレイアウトを変更したりすると、操作性が低下する可能性がある。

本発明は、上記の事情に鑑みてなされたものであり、その目的は、画像処理装置をリモート操作するための画像を、携帯端末の表示部に適切なレイアウトで表示させるプログラムを提供することにある。

本明細書に記載のプログラムは、表示部と、操作部と、記憶部と、画像処理装置と通信する通信部とを備える携帯端末によって実行される。前記記憶部には、前記表示部に表示される複数の画像のうち、第１画像のサイズを第２画像より優先して大きくする第１画像サイズ優先モード、又は前記第２画像のサイズを前記第１画像より優先して大きくする第２画像サイズ優先モードを示す優先モード情報と、画像処理装置に搭載された複数のボタンそれぞれを表す複数のオブジェクトが配列された前記第１画像を示す第１画像データとが記憶されている。該プログラムは、画像処理装置の表示画面に表示されるべき画像に相当する矩形の前記第２画像を示す第２画像データを、前記通信部を通じて画像処理装置から取得し、前記記憶部に記憶された前記優先モード情報及び前記表示部の表示領域のサイズに基づいて、前記第１画像及び前記第２画像それぞれのサイズを変更し、サイズが変更された前記第１画像及び前記第２画像を前記表示部に表示させ、前記表示部に表示された前記第２画像の位置を入力媒体でタップするタップ操作が前記操作部によって検知されたことを条件として、当該タップ位置に対応するサイズ変更前の前記第２画像上の位置を特定する位置特定情報を前記通信部を通じて画像処理装置に出力する処理を、前記携帯端末に実行させる。そして、該プログラムは、サイズを変更する処理において、前記優先モード情報が前記第１画像サイズ優先モードであることを条件として、前記第１画像を第１サイズに変更し、前記第１サイズの前記第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更し、前記優先モード情報が前記第２画像サイズ優先モードであることを条件として、前記第１サイズより小さい第２サイズに前記第１画像を変更し、前記第２サイズの前記第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更する。

上記構成によれば、表示部に表示される第１画像及び第２画像のサイズが優先モード情報に従って適切に選択される。これにより、操作性を低下させるレイアウト及び大きさの第１画像及び第２画像が表示されるのを抑制することができる。なお、優先モード情報はユーザが任意に変更可能であってもよい。これにより、ユーザにとって操作しやすいレイアウト及びサイズで第１画像及び第２画像が表示される。

なお、本明細書における「画像のサイズ」或いは「表示領域のサイズ」とは、例えば、縦方向の画素数と横方向の画素数との組み合わせによって表現される。また、本明細書における「画像の最大サイズ」とは、表示領域の端或いは隣接する画像に接するような限界サイズに限定されず、これらとの間に所定の余白を設けて表示されるサイズであってもよい。また、「サイズの変更」は、所定の倍率で画像を拡大又は縮小する処理であって、倍率が１倍の場合も含むものとする。

本明細書に記載のプログラムによれば、表示部に表示される第１画像及び第２画像のサイズが優先モード情報に従って適切に選択されるので、操作性を低下させるレイアウト及び大きさの第１画像及び第２画像が表示部に表示されるのを抑制することができる。

図１は、実施形態における画像処理システム１００の概略図である。 図２は、（Ａ）が複合機１０の外観斜視図、（Ｂ）が携帯端末５０の正面図である。 図３は、画像処理システム１００の動作を示すシーケンス図である。 図４は、表示制御処理のフローチャートである。 図５は、携帯端末５０の表示部５３の表示例であって、（Ａ）は第１サイズの標準第１画像の表示例、（Ｂ）は第２サイズの標準第１画像の表示例である。 図６は、携帯端末５０の表示部５３の表示例であって、（Ａ）は第１サイズの変形第１画像の表示例、（Ｂ）は第２サイズの変形第１画像の表示例である。 図７は、優先モード情報がレイアウト優先モードである場合の画像サイズ調整処理のフローチャートである。 図８は、優先モード情報が第１画像サイズ優先モードである場合の画像サイズ調整処理のフローチャートである。 図９は、優先モード情報が第２画像サイズ優先モードである場合の画像サイズ調整処理のフローチャートである。 図１０は、携帯端末５０の表示部５３の表示例であって、（Ａ）は筐体５１の上辺５１Ａが鉛直上向きを向いた場合の表示例、（Ｂ）はプリント処理中を示す第２画像を取得した場合の表示例である。 図１１は、操作対応処理のフローチャートである。 図１２は、フリック操作による第２画像の変化を説明するための図であって、（Ａ）は変化前の状態、（Ｂ）は変化中の状態、（Ｃ）は変化後の状態を示す。 図１３は、携帯端末５０の表示部５３に表示される第１画像及び第２画像の配置の他の例である。

以下、適宜図面を参照して本発明の実施形態について説明する。なお、以下に説明される実施形態は本発明の一例にすぎず、本発明の要旨を変更しない範囲で、本発明の実施形態を適宜変更できることは言うまでもない。

図１は、本実施形態における画像処理システム１００の概略図である。図１に示される画像処理システム１００は、複合機１０と、携帯端末５０とで構成されている。複合機１０及び携帯端末５０は、通信ネットワーク１０２を介して相互に通信可能とされている。複合機１０と携帯端末５０との間の通信方式は特に限定されないが、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略）、無線ＬＡＮ、或いはＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎの略）等であってもよい。

［複合機１０］
複合機１０は、図１及び図２（Ａ）に示されるように、プリンタ部１１と、スキャナ部１２と、表示部１３と、操作部１４と、通信部１５と、ＣＰＵ１７と、記憶部１８と、通信バス１９とを主に備える。複合機１０を構成する各構成要素は、通信バス１９を介して相互に接続されている。複合機１０は、画像処理装置の一例である。

プリンタ部１１は、インクジェット方式や電子写真方式などの公知の方式によって、画像データによって示される画像を記録媒体に記録するプリント処理を実行する。スキャナ部１２は、原稿に記録されている画像を読み取って画像データを生成するスキャン処理を実行する。プリンタ部１１及びスキャナ部１２は、画像データに対する処理を実行する画像処理部の一例である。また、複合機１０は、スキャナ部１２で生成された画像データによって示される画像をプリンタ部１１で記録媒体に記録するコピー処理、或いはＦＡＸの送受信を行うＦＡＸ処理等をさらに実行してもよい。

［表示部１３］
表示部１３は、各種情報を表示する表示画面を備える。表示部１３の具体的な構成は特に限定されないが、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略）、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙの略）等を採用することができる。

［操作部１４］
操作部１４は、ユーザによる操作を検知する入力インタフェースである。操作部１４は、図２（Ａ）に示されるように、複数の押ボタンを有している。そして、操作部１４は、押下された押ボタンを特定するボタン特定情報をＣＰＵ１７へ出力する。なお、押ボタンは、機械式に限定されず、静電センサ或いは圧力センサ等を用いたものであってもよい。本実施形態では、「０」〜「９」ボタン、「＊」ボタン、「＃」ボタン、矢印の形を模した「戻る」ボタン、家の形を模した「ホーム」ボタン、「×」ボタンが、複合機１０の前面の矩形の領域に配列されている。

また、操作部１４は、表示部１３の表示画面に重畳された膜状のタッチセンサを有している。すなわち、表示部１３は、タッチパネルディスプレイとして構成されている。そして、操作部１４は、表示部１３の表示画面に表示されたオブジェクトに対するユーザの操作を検知する。タッチセンサには、静電容量方式、抵抗膜方式等の周知の方式を採用することができる。なお、「オブジェクト」とは、ユーザが操作部１４を操作することによって選択可能な画像を指す。より具体的には、オブジェクトは、表示部１３に表示されたアイコン、ボタン、リンク等である。そして、オブジェクトの表示位置でタップ操作されることによって、当該オブジェクトが選択されてもよい。

［通信部１５］
通信部１５は、通信網或いは通信回線を通じて外部装置と通信を行うためのインタフェースである。すなわち、複合機１０は、通信部１５を通じて携帯端末５０に各種データ及び各種情報を出力し、通信部１５を通じて携帯端末５０から各種情報を取得する。

［ＣＰＵ１７］
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）１７は、複合機１０の全体動作を制御するものである。ＣＰＵ１７は、操作部１４から出力される各種情報、及び通信部１５を通じて携帯端末５０から取得した各種情報等に基づいて、後述する各種プログラムを記憶部１８から取得して実行する。すなわち、ＣＰＵ１７及び記憶部１８は、制御部の一例を構成する。

［記憶部１８］
記憶部１８は、プログラム記憶領域１８Ａと、データ記憶領域１８Ｂとを有する。プログラム記憶領域１８Ａには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略）２０と、画像処理プログラム２１とが格納される。なお、画像処理プログラム２１は、単一のプログラムであってもよいし、複数のプログラムの集合体であってもよい。データ記憶領域１８Ｂには、画像処理プログラム２１の実行に必要なデータ或いは情報が記憶される。データ記憶領域１８Ｂには、例えば、遷移元画像を示す遷移元画像データと、遷移先画像を示す遷移先画像データと、押ボタンの押下が有効か無効かを示す選択可否情報とが記憶されている。各データの詳細は後述する。

なお、本明細書中の「データ」と「情報」とは、コンピュータによって取り扱い可能なビット或いはビット列である点において共通する。「データ」とは、各ビットが示す意味内容をコンピュータが考慮することなく取り扱えるものを指す。これに対して、「情報」とは、各ビットが示す意味内容によってコンピュータの動作が分岐するものを指す。さらに、「指示」は、送信先の装置に対して次の動作を促すための制御信号であって、情報を含んでいることもあるし、それ自体が情報としての性質を有していることもある。

また、「データ」及び「情報」は、形式（例えば、テキスト形式、バイナリ形式、フラグ形式等）がコンピュータ毎に変更されたとしても、同一の意味内容と認識される限り、同一のデータ及び情報として取り扱われる。例えば、「２つ」であることを示す情報が、あるコンピュータではＡＳＣＩＩコードで”０ｘ３２”というテキスト形式の情報として保持され、別のコンピュータでは二進数表記で”１０”というバイナリ形式の情報として保持されてもよい。

但し、上記の「データ」及び「情報」の区別は厳密なものではなく、例外的な取り扱いも許容される。例えば、データが一時的に情報として扱われてもよいし、情報が一時的にデータとして扱われてもよい。また、ある装置ではデータとして扱われるものが、他の装置では情報として扱われてもよい。さらには、データの中から情報が取り出されてもよいし、情報の中からデータが取り出されてもよい。

記憶部１８は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙの略）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略）、ＣＰＵ１７が備えるバッファ等、或いはそれらの組み合わせによって構成される。なお、記憶部１８は、コンピュータが読み取り可能なストレージ媒体であってもよい。コンピュータが読み取り可能なストレージ媒体とは、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな媒体である。ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな媒体には、上記の例の他に、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体も含まれる。一方、インターネット上のサーバなどからダウンロードされるプログラムを搬送する電気信号は、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな媒体には含まれない。

プログラム記憶領域１８Ａに記憶されているプログラムは、ＣＰＵ１７によって実行される。しかしながら、本明細書では、ＣＰＵ１７を省略して各プログラムの動作を説明することがある。すなわち、以下の説明において、「プログラムＡが処理Ａを実行する」という趣旨の記述は、「ＣＰＵ１７がプログラムＡに記述された処理Ａを実行する」ことを指してもよい。後述する携帯端末５０についても同様である。

ＯＳ２０は、複合機１０を構成するハードウェアであるプリンタ部１１、スキャナ部１２、表示部１３、操作部１４、及び通信部１５等を制御するためのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅの略）を提供する基本プログラムである。すなわち、上述した各プログラムは、ＯＳ２０が提供するＡＰＩを呼び出すことによって、各ハードウェアを制御する。しかしながら、本明細書では、ＯＳ２０を省略して各プログラムの動作を説明する。すなわち、以下の説明において、「プログラムＢがハードウェアＣを制御する」という趣旨の記述は、「プログラムＢがＯＳ２０のＡＰＩを通じてハードウェアＣを制御する」ことを指してもよい。後述する携帯端末５０についても同様である。

［携帯端末５０］
携帯端末５０は、図１及び図２（Ｂ）に示されるように、筐体５１と、表示部５３と、操作部５４と、通信部５５と、姿勢検知部５６と、ＣＰＵ５７と、記憶部５８と、通信バス５９とを主に備える。携帯端末５０に含まれる表示部５３、操作部５４、通信部５５、ＣＰＵ５７、記憶部５８、及び通信バス５９は、複合機１０に含まれる表示部１３、操作部１４、通信部１５、ＣＰＵ１７、記憶部１８、及び通信バス１９と共通するので、再度の説明は省略する。但し、記憶部５８のプログラム記憶領域５８Ａには、ＯＳ６０と、端末制御プログラム６１とが格納されている。また、データ記憶領域５８Ｂには、後述する優先モード情報が記憶されている。

［筐体５１］
筐体５１は、上下方向７及び左右方向９の寸法と比較して前後方向の寸法が短い扁平な箱形状である。より具体的には、図２（Ｂ）に示されるように筐体５１を前面側から平面視すると、筐体５１は、左右方向９に略平行に延びる上辺５１Ａ及び下辺５１Ｂと、上下方向７に略平行に延びる左辺５１Ｃ及び右辺５１Ｄとで構成される縦長の長方形である。図１に示される携帯端末５０の各構成要素は、筐体５１の表面或いは内部に配置されている。例えば、筐体５１の前面には、表示部５３が設けられている。携帯端末５０は、ユーザが片手或いは両手で持ち運べる程度の大きさであって、典型的には、携帯電話或いはタブレット端末である。

［姿勢検知部５６］
姿勢検知部５６は、筐体５１の姿勢を検知し、検知した姿勢を示す姿勢情報をＣＰＵ５７へ出力する。より具体的には、姿勢検知部５６は、図２（Ｂ）に示されるように上辺５１Ａを鉛直上向きに向けた姿勢を基準として、表示部５３の表示面を含む仮想平面上における筐体５１の傾きを検知する。姿勢情報の具体例は特に限定されないが、例えば、上辺５１Ａが鉛直上向きを向いた筐体５１の姿勢を０°とし、筐体５１の時計回りの回転角を０°〜３６０°で表すものであってもよい。姿勢検知部５６の具体例は特に限定されないが、例えば、ジャイロセンサであってもよい。

［画像処理システムの動作］
図３〜図１２を参照して、本実施形態における画像処理システム１００の動作を説明する。以下に説明する処理は、複合機１０動作させるための画像を携帯端末５０の表示部５３に表示させ、且つ携帯端末５０を通じて受け付けられたユーザの指示に基づいて複合機１０を動作させる処理である。図３に示される処理は、例えば、図２（Ｂ）に示される携帯端末５０のメニュー画面において、「リモコン起動」オブジェクトをタップする操作が操作部５４によって検知されたことを条件として、開始される。

まず、携帯端末５０の端末制御プログラム６１は、複合機１０との間に通信コネクションを確立する（Ｓ１１）。複合機１０及び携帯端末５０の間では、例えば、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌの略）の３ウェイハンドシェイクによって、通信コネクションが確立されてもよい。すなわち、端末制御プログラム６１は、通信部５５を通じて複合機１０にＳＹＮパケットを出力し、複合機１０から送信されたＳＹＮ＋ＡＣＫパケットを通信部５５を通じて取得し、通信部５５を通じて複合機１０にＡＣＫパケットを出力する。これにより、複合機１０と携帯端末５０との間に論理的な通信路が確立される。

次に、端末制御プログラム６１は、データ記憶領域５８Ｂに第１画像データが記憶されているか否かを判断する（Ｓ１２）。そして、端末制御プログラム６１は、データ記憶領域５８Ｂに第１画像データが記憶されていないことを条件として（Ｓ１２：Ｎｏ）、通信部５５を通じて複合機１０に第１画像データ送信指示を出力（Ｓ１３）し、通信部５５を通じて複合機１０から第１画像データを取得する（Ｓ１４）。一方、端末制御プログラム６１は、データ記憶領域５８Ｂに第１画像データが記憶されていることを条件として（Ｓ１２：Ｙｅｓ）、ステップＳ１３、Ｓ１４をスキップする。すなわち、本実施形態におけるステップＳ１３、Ｓ１４は、複合機１０と携帯端末５０との間の最初の通信時にのみ実行される。

なお、第１画像データとは、複合機１０に搭載された複数の押ボタンそれぞれを表す複数のオブジェクトが配列された第１画像を示すデータである。すなわち、本実施形態における第１画像は、「０」〜「９」ボタン、「＊」ボタン、「＃」ボタン、「戻る」ボタン、「ホーム」ボタン、「×」ボタンそれぞれを表す複数のオブジェクトを含む。

また、第１画像データには、図５に示される標準第１画像を示すデータと、図６に示される変形第１画像を示すデータとが含まれる。標準第１画像は、複合機１０に搭載された複数の押ボタンの配列と略同一の第１レイアウトで複数のオブジェクトが配列された矩形の画像である。一方、変形第１画像は、第１レイアウトと異なる第２レイアウトで複数のオブジェクトが配列された画像である。本実施形態における変形第１画像は、左右を反転させたＬ字型（以下、「逆Ｌ字型」と表記する。）である。また、第２レイアウトは、後述する第２画像を表示させる表示部５３の表示領域を、第１レイアウトより大きくすることができるレイアウトである。

次に、複合機１０の画像処理プログラム２１は、複合機１０内でイベントが発生したことを条件として、通信部１５を通じて携帯端末５０に遷移元画像データを送信する（Ｓ１５）。ステップＳ１５を実行する複合機１０のＣＰＵ１７は、第１出力手段の一例である。なお、本明細書中の「イベント」とは、複合機１０内におけるあらゆる状態変化を指してもよい。例えば、プリンタ部１１によるプリント処理の開始及び終了は、イベントの一例である。また、表示部１３に表示される画像の切り替えは、イベントの他の例である。さらに、携帯端末５０との間の通信コネクションの確立（Ｓ１１）は、イベントの他の例である。

遷移元画像データ及び遷移先画像データは、プリンタ部１１及びスキャナ部１２を動作させる指示を受け付けるために複合機１０の表示部１３に表示されるべき画像に相当する遷移元画像及び遷移先画像を示すデータである。本実施形態における遷移元画像は、例えば図５及び図６に示されるように、左右方向の長さが上下方向より長い長方形であって、「ｔｏ ＵＳＢ」、「ｔｏ Ｅ−ｍａｉｌ Ｓｅｒｖｅｒ」、「Ｓｈｏｒｔｃｕｔｓ」、「Ｓｅｔｔｉｎｇｓ」等の複数のオブジェクトを含む。また、遷移先画像は、遷移元画像に含まれる各オブジェクトに対応づけられている。

複合機１０の表示部１３に表示される遷移元画像には、各オブジェクトにリンク情報が設定されている。リンク情報は、オブジェクトと、当該オブジェクトが選択された際に実行すべき処理及び表示部１３に表示すべき遷移先画像との対応関係を示すための情報である。そして、複合機１０の画像処理プログラム２１は、表示部１３に表示された遷移元画像に含まれるオブジェクトを選択する操作が操作部１４によって検知されたことを条件として、当該オブジェクトに対応づけられた処理を実行し、当該オブジェクトに対応づけられた遷移先画像を表示部１３に表示させる。一方、複合機１０の画像処理プログラム２１は、リンク情報が削除された遷移元画像データを、携帯端末５０に送信する。

なお、本明細書中の「遷移元画像」及び「遷移先画像」は、オブジェクトを通じて対応づけられた２つの画像の相対的な関係を示すものである。例えば、図５及び図６に示される遷移元画像は、他の画像との関係で遷移先画像となり得る。遷移先画像についても同様である。遷移元画像及び遷移先画像は第２画像の一例であり、遷移元画像データ及び遷移先画像データは第２画像データの一例である。

携帯端末５０の端末制御プログラム６１は、通信部５５を通じて携帯端末５０から遷移元画像データを取得したことを条件として（Ｓ１５）、表示制御処理を実行する（Ｓ１６）。図４を参照して、表示制御処理の詳細を説明する。表示制御処理は、第１画像及び第２画像を表示部５３に表示させ、操作部５４を通じてユーザから入力された指示を複合機１０に出力する処理である。

まず、携帯端末５０の端末制御プログラム６１は、通信部５５を通じて複合機１０から第２画像データを取得したことを条件として（Ｓ２１）、データ記憶領域５８Ｂに記憶されている優先モード情報を確認する（Ｓ２２）。また、端末制御プログラム６１は、表示部５３の表示領域のサイズをＯＳ２０を通じて取得する。そして、端末制御プログラム６１は、優先モード情報の設定値及び表示部５３の表示領域のサイズに基づいて、第１画像及び第２画像のサイズを変更する（Ｓ２３〜Ｓ２８）。なお、本実施形態では、画像の縦横比を固定した状態で第１画像及び第２画像のサイズが変更される。ステップＳ２１を実行する携帯端末５０のＣＰＵ５７は、画像取得手段の一例である。また、ステップＳ２３〜Ｓ２８を実行する携帯端末５０のＣＰＵ５７は、サイズ変更手段の一例である。

なお、本実施形態では、図５及び図６に示されるように、筐体５１の上辺５１Ａが左方を向き、下辺５１Ｂが右方を向き、左辺５１Ｃが下方を向き、右辺５１Ｄが上方を向いた状態で実行される表示制御処理を説明する。すなわち、本実施形態における表示部５３の表示領域は、長手方向を水平方向に向け且つ短手方向を鉛直方向に向けた横長の長方形である。なお、表示領域サイズは、例えば、上下方向７の画素数及び左右方向９の画素数を組み合わせて表現される。すなわち、筐体５１が図５（Ａ）の状態で取得した表示領域のサイズと、筐体５１が図１０（Ａ）の状態で取得した表示領域のサイズとでは、上下方向７の画素数と、左右方向９の画素数とが逆転することになる。

なお、端末制御プログラム６１は、ステップＳ２１において、第２画像データと共に選択可否情報を取得してもよい。選択可否情報は、第２画像データで示される第２画像が表示部５３に表示された状態で、第１画像に含まれる各オブジェクトの選択が有効か無効かを示すための情報である。また、端末制御プログラム６１は、ステップＳ２１において、第２画像データと共に範囲特定情報を取得してもよい。範囲特定情報は、第２画像のうちの表示部５３に表示させる表示範囲を特定するための情報である。すなわち、範囲特定情報が取得される場合の第２画像は、複合機１０の表示部１３の表示領域より大きい画像である。そして、範囲特定情報を取得した端末制御プログラム６１は、第２画像のうちの表示範囲に含まれる画像に対して、以降の各処理を実行する。

また、優先モード情報は、表示部５３に表示される複数の画像のうち、第１画像のサイズを第２画像より優先して大きくする第１画像サイズ優先モード、第２画像のサイズを第１画像より優先して大きくする第２画像サイズ優先モード、及び第１画像を第１レイアウトに固定するレイアウト優先モードのいずれかを示す。優先モード情報に設定される値は、予め定められたデフォルト値であってもよいし、ユーザによって任意に設定されてもよい。ユーザは、例えば図２（Ｂ）に示されるメニュー画面の「優先モード設定」オブジェクトをタップすることによって優先モード設定画面（不図示）を表示させ、当該優先モード設定画面上で優先モード情報に所望の値を設定すればよい。

端末制御プログラム６１は、優先モード情報がレイアウト優先モードであることを条件として（Ｓ２２：レイアウト優先モード）、標準第１画像を第２サイズに変更（Ｓ２３）し、第２サイズの標準第１画像が配置された残りの表示領域に表示可能な最大サイズに第２画像を変更する（Ｓ２４）。また、端末制御プログラム６１は、優先モード情報が第１画像サイズ優先モードであることを条件として（Ｓ２２：第１画像サイズ優先モード）、変形第１画像を第１サイズに変更（Ｓ２５）し、第１サイズの変形第１画像が配置された残りの表示領域に表示可能な最大サイズに第２画像を変更する（Ｓ２６）。さらに、端末制御プログラム６１は、優先モード情報が第２画像サイズ優先モードであることを条件として（Ｓ２２：第２画像サイズ優先モード）、変形第１画像を第２サイズに変更（Ｓ２７）し、第２サイズの変形第１画像が配置された残りの表示領域に表示可能な最大サイズに第２画像を変更する（Ｓ２８）。

そして、端末制御プログラム６１は、ステップＳ２３〜Ｓ２８でサイズが変更された第１画像及び第２画像を、表示部５３に表示させる（Ｓ２９）。ステップＳ２９を実行する携帯端末５０のＣＰＵ５７は、表示手段の一例である。なお、ステップＳ２３、Ｓ２４においてサイズが変更された第１画像及び第２画像の表示例が図５（Ｂ）に示される。また、ステップＳ２５、Ｓ２６においてサイズが変更された第１画像及び第２画像の表示例が図６（Ａ）に示される。また、ステップＳ２７、Ｓ２８においてサイズが変更された第１画像及び第２画像の表示例が図６（Ｂ）に示される。さらに、図５（Ａ）は、第１サイズの標準第１画像と、当該第１サイズの標準第１画像が配置された残りの表示領域に表示可能な最大サイズに変更された第２画像との表示例である。

なお、本実施形態における標準第１画像は、図５に示されるように、左右方向の長さが上下方向より長い長方形であって、表示部５３の短手方向において第２画像と隣接して配置されている。また、本実施形態における標準第１画像は、図１０（Ａ）に示されるように、表示部５３の長手方向において第２画像と隣接して配置されてもよい。一方、本実施形態における変形第１画像は、図６に示されるように、筐体５１の下辺５１Ｂ及び左辺５１Ｃに沿って逆Ｌ字型に配置されており、残りの表示領域に第２画像が配置されている。

ここで、本明細書中の「第２画像を表示可能な最大サイズ」とは、例えば、第２画像の外形輪郭線が第１画像に接するサイズ、或いは第２画像の外形輪郭線が表示部５３の表示領域の端に接するサイズを指す。図５は、第２画像の右辺は表示部５３の表示領域の端に接していないが、第２画像の下辺は第１画像に接している例である。また、図６は、第２画像の右辺は第１画像に接していないが、第２画像の下辺は第１画像に接している例である。さらに、図１０（Ａ）は、第２画像の下辺は第１画像に接していないが、第２画像の右辺は表示部５３の表示領域の端に接している例である。但し、第１画像或いは表示領域の端に接するまで第２画像を拡大する必要は必ずしも無く、これらの間に所定の余白が配置されるサイズを最大サイズとしてもよい。

図５及び図６に示されるように、同一サイズの標準第１画像及び変形第１画像は、各オブジェクトのサイズが同一である。第１サイズは第１画像の最大サイズであり、第２サイズは第１画像の最小サイズであってもよい。すなわち、第２サイズは、第１サイズより小さいサイズである。なお、最大サイズ及び最小サイズは、第１画像及び隣接する第２画像に含まれるオブジェクトの識別性及び操作性等を考慮して、任意に決定することができるものである。また、第１画像のサイズは、第１サイズ及び第２サイズの２パターンに限定されない。

図５（Ｂ）に示される第２サイズの標準第１画像は、図５（Ａ）に示される第１サイズの標準第１画像と比較して、オブジェクトのレイアウトが共通し、各オブジェクトのサイズが小さくなっている。一方、図５（Ｂ）に示される第２画像は、図５（Ａ）に示される第２画像と比較して、画像サイズが大きくなっている。すなわち、レイアウト優先モードとは、第１画像のレイアウトを第１レイアウトに固定した状態で、第２画像を最も大きく表示するためのモードである。

また、図６（Ａ）に示される第１サイズの変形第１画像は、図５（Ａ）に示される第１サイズの標準第１画像と比較して、各オブジェクトのサイズが共通し、オブジェクトのレイアウトが相違する。また、図６（Ａ）に示される第２画像は、図５（Ａ）及び図５（Ｂ）に示される第２画像と比較して、画像サイズが大きくなっている。すなわち、第２画像サイズ優先モードとは、第１画像に含まれるオブジェクトのサイズを維持した状態で、第２画像を最も大きく表示するためのモードである。

さらに、図６（Ｂ）に示される第２サイズの変形第１画像は、図６（Ａ）に示される第１サイズの変形第１画像と比較して、オブジェクトのレイアウトが共通し、各オブジェクトのサイズが小さくなっている。一方、図６（Ｂ）に示される第２画像は、図６（Ａ）に示される第２画像と比較して、画像サイズが大きくなっている。すなわち、第２画像サイズ優先モードとは、第１画像に含まれるオブジェクトの最低限の識別性及び操作性等を維持した状態で、第２画像を最も大きく表示するためのモードである。

なお、端末制御プログラム６１は、ステップＳ２１において選択可否情報を取得したことを条件として、当該選択可否情報で有効とされたオブジェクト及び無効とされたオブジェクトの表示態様を異ならせた第１画像を、表示部５３に表示させてもよい。例えば、図５（Ａ）は、「×」オブジェクトが無効とされ、それ以外のオブジェクトが有効とされた場合の表示例である。すなわち、図５（Ａ）に示される第２画像が表示されている時の複合機１０は、中断すべき処理を実行していない待機状態であることを示す。また、図１０（Ｂ）は、「×」オブジェクトが有効とされ、それ以外のオブジェクトが無効とされた場合の表示例である。すなわち、図１０（Ｂ）に示される第２画像が表示されている時の複合機１０は、「×」オブジェクトが選択されることによって、実行中のプリント処理を中断できることを示す。

次に、端末制御プログラム６１は、ユーザによる入力操作が検知されるまで待機する（Ｓ３０）。ステップＳ３０において、操作部５４は、表示部１３の表示画面に対するピンチ操作、タップ操作、及びフリック操作等を検知する。ピンチ操作は、表示画面の２点に接触させた入力媒体を互いに近づく向きにスライドさせるピンチイン操作と、互いに離れる向きにスライドさせるピンチアウト操作とを含む。タップ操作は、表示画面の１点（以下、「タップ位置」と表記する。）に入力媒体を接触させ、直後に離間させる操作である。フリック操作は、表示画面に接触させた入力媒体を、閾値加速度を超える加速度でスライドさせる操作である。なお、入力媒体の具体例は特に限定されないが、例えば、ユーザの指であってもよいし、タッチペン等でもよい。また、姿勢検知部５６は、筐体５１の姿勢を変化させる操作を検知する。

端末制御プログラム６１は、表示部５３に表示された第２画像上におけるピンチ操作が操作部５４によって検知されたことを条件として（Ｓ３０：第２画像上でピンチ操作）、画像サイズ調整処理を実行する（Ｓ３１）。ピンチ操作は、表示部５３に表示された第２画像を指定サイズに変更するサイズ変更指示の一例である。本実施形態における指定サイズは、ピンチ操作における入力媒体のスライド量によって特定される。例えば、ピンチイン操作における入力媒体のスライド量が大きいほど、第２画像の縮小率が大きくなる。一方、ピンチアウト操作における入力媒体のスライド量が大きいほど、第２画像の拡大率が大きくなる。

画像サイズ調整処理は、サイズ変更指示に含まれる指定サイズと、データ記憶領域５８Ｂに記憶された優先モード情報とに基づいて、表示部５３に表示された第１画像及び第２画像のサイズを調整する処理である。なお、本実施形態では、縦横比を固定した状態で第１画像及び第２画像のサイズが調整される。図７〜図９を参照して、画像サイズ調整処理の詳細を説明する。

図７は、優先モード情報がレイアウト優先モードである場合の画像サイズ調整処理の手順を示す。まず、端末制御プログラム６１は、指定サイズに拡大或いは縮小した第２画像を表示部５３に表示させたと仮定し、第１画像を表示可能な表示領域の形状及び大きさを特定する（Ｓ４１）。また、端末制御プログラム６１は、ステップＳ４１で特定された表示領域に表示可能な第１画像のレイアウト及びサイズを判定する（Ｓ４２）。ステップＳ４１、Ｓ４２を実行する携帯端末５０のＣＰＵ５７は、判定手段の一例である。

そして、端末制御プログラム６１は、第２サイズ以上の標準第１画像が表示可能であると判断されたことを条件として（Ｓ４２：Ｙｅｓ）、標準第１画像を判定された最大サイズに変更（Ｓ４３）し、第２画像を指定サイズに変更する（Ｓ４４）。一方、端末制御プログラム６１は、第２サイズ未満の標準第１画像が表示可能であると判断されたことを条件として（Ｓ４２：Ｎｏ）、標準第１画像を第２サイズに変更（Ｓ４５）し、第２サイズの標準第１画像が配置された残りの表示領域に表示可能な最大サイズに第２画像を変更する（Ｓ４４）。ステップＳ４３〜Ｓ４６を実行する携帯端末５０のＣＰＵ５７は、サイズ調整手段の一例である。

図８は、優先モード情報が第１画像サイズ優先モードである場合の画像サイズ調整処理の手順を示す。ステップＳ５１の処理は、図７のステップＳ４１の処理と共通するので、再度の説明は省略する。また、端末制御プログラム６１は、ステップＳ５１で特定された表示領域に表示可能な第１画像のレイアウト及びサイズを判定する（Ｓ５２、Ｓ５５）。ステップＳ５１、Ｓ５２、Ｓ５５の処理を実行する携帯端末５０のＣＰＵ５７は、判定手段の他の例である。

そして、端末制御プログラム６１は、第１サイズの標準第１画像が表示可能と判定されたことを条件として（Ｓ５２：Ｙｅｓ）、標準第１画像を第１サイズに変更（Ｓ５３）し、第２画像を指定サイズに変更する（Ｓ５４）。また、端末制御プログラム６１は、第１サイズの標準第１画像が表示不可能（Ｓ５２：Ｎｏ）で且つ第１サイズの変形第１画像が表示可能と判定されたことを条件として（Ｓ５５：Ｙｅｓ）、変形第１画像を第１サイズに変更（Ｓ５６）し、第２画像を指定サイズに変更する（Ｓ５７）。さらに、端末制御プログラム６１は、第１サイズ未満の変形第１画像が表示可能と判定されたことを条件として（Ｓ５５：Ｎｏ）、変形第１画像を第１サイズに変更（Ｓ５８）し、第１サイズの変形第１画像が配置された残りの表示領域に表示可能な最大サイズに第２画像を変更する（Ｓ５９）。ステップＳ５３、Ｓ５４、Ｓ５６、Ｓ５７、Ｓ５８、Ｓ５９を実行する携帯端末５０のＣＰＵ５７は、サイズ調整手段の他の例である。

図９は、優先モード情報が第２画像サイズ優先モードである場合の画像サイズ調整処理の手順を示す。ステップＳ６１の処理は、図７のステップＳ４１の処理と共通するので、再度の説明は省略する。また、端末制御プログラム６１は、ステップＳ６１で特定された表示領域に表示可能な第１画像のレイアウト及びサイズを判定する（Ｓ６２、Ｓ６５）。ステップＳ６１、Ｓ６２、Ｓ６５の処理を実行する携帯端末５０のＣＰＵ５７は、判定手段の他の例である。

そして、端末制御プログラム６１は、第２サイズ以上の標準第１画像が表示可能と判定されたことを条件として（Ｓ６２：Ｙｅｓ）、標準第１画像を判定された最大サイズに変更（Ｓ６３）し、第２画像を指定サイズに変更する（Ｓ６４）。また、端末制御プログラム６１は、第２サイズの標準第１画像が表示不可能（Ｓ６２：Ｎｏ）で且つ第２サイズ以上の変形第１画像が表示可能と判定されたことを条件として（Ｓ６５：Ｙｅｓ）、変形第１画像を判定された最大サイズに変更（Ｓ６６）し、第２画像を指定サイズに変更する（Ｓ６７）。さらに、端末制御プログラム６１は、第２サイズ未満の変形第１画像が表示可能と判定されたことを条件として（Ｓ６５：Ｎｏ）、変形第１画像を第２サイズに変更（Ｓ６８）し、第２サイズの変形第１画像が配置された残りの表示領域に表示可能な最大サイズに第２画像を変更する（Ｓ６９）。ステップＳ６３、Ｓ６４、Ｓ６６、Ｓ６７、Ｓ６８、Ｓ６９を実行する携帯端末５０のＣＰＵ５７は、サイズ調整手段の他の例である。

そして、端末制御プログラム６１は、図４に戻って、画像サイズ調整処理（Ｓ３１）においてサイズが調整された第１画像及び第２画像を再び表示部５３に表示させ（Ｓ２９）、ユーザによる入力操作が検知されるまで再び待機する（Ｓ３０）。

また、端末制御プログラム６１は、筐体５１の姿勢変化が姿勢検知部５６によって検知されたことを条件として（Ｓ３０：筐体の姿勢が変化）、ステップＳ２２以降の処理を再び実行する。端末制御プログラム６１は、例えば、筐体５１の姿勢が、表示部５３の長手方向が水平方向を向いた図５（Ａ）の状態から、表示部５３の短手方向が水平方向を向いた図１０（Ａ）の状態に変化されたことを条件として、ステップＳ２２〜Ｓ２９の処理を実行する。筐体５１の姿勢が、図１０（Ａ）の状態から図５（Ａ）の状態に変化された場合も同様である。これにより、姿勢変化後の表示部５３に合わせた適切なレイアウトで第１画像及び第２画像が表示される。

また、端末制御プログラム６１は、表示部５３に表示された第１画像上におけるタップ操作が操作部５４によって検知されたことを条件として（Ｓ３０：第１画像上でタップ操作）、通信部５５を通じて複合機１０にオブジェクト特定情報を出力する（Ｓ３２）。タップ操作は、タップ位置に配置されたオブジェクトを選択する操作の一例である。オブジェクト特定情報は、第１画像に含まれるオブジェクトのうち、タップ位置に表示されているオブジェクトを特定するための情報であって、前述のボタン特定情報に対応する。ステップＳ３２を実行する携帯端末５０のＣＰＵ５７は、出力手段の一例である。後述するステップＳ３３、Ｓ３４についても同様である。

なお、ステップＳ２１において選択可否情報が取得されている場合、端末制御プログラム６１は、タップ位置に表示されているオブジェクトが有効である場合のみ、オブジェクト特定情報を出力してもよい。すなわち、端末制御プログラム６１は、表示部５３に表示された第１画像に含まれるオブジェクトのうち、選択可否情報で有効とされたオブジェクトの位置におけるタップ操作が操作部５４によって検知されたことを条件として、当該オブジェクトを特定するオブジェクト特定情報を、通信部５５を通じて複合機１０に出力すればよい。

また、端末制御プログラム６１は、表示部５３に表示された第２画像上におけるタップ操作が操作部５４によって検知されたことを条件として（Ｓ３０：第２画像上でタップ操作）、通信部５５を通じて複合機１０に位置特定情報を出力する（Ｓ３３）。位置特定情報は、サイズ変更前の第２画像、換言すればステップＳ２１で取得した第２画像上におけるタップ位置に対応する位置を特定するための情報である。具体的には、操作部５４は、表示部５３に表示された第２画像、換言すればサイズ変更後の第２画像上のタップ位置を特定する位置特定情報を出力する。そこで、端末制御プログラム６１は、操作部５４から出力された位置特定情報に、第２画像の拡大率或いは縮小率の逆数を乗じればよい。

位置特定情報は、例えば、第２画像の左上端を原点とし、右向きをｘ軸の正の向き、下向きをｙ軸の正の向きとしたｘ−ｙ平面上の座標（ｘ，ｙ）として表現することができる。また、ステップＳ３３で出力される位置特定情報は、第２画像上における入力媒体の先端の大きさに相当する所定の範囲のうちの任意の位置、例えば中央の位置を特定する情報であってもよい。

また、端末制御プログラム６１は、表示部５３に表示された第２画像上におけるフリック操作が操作部５４によって検知されたことを条件として（Ｓ３０：第２画像上でフリック操作）、通信部５５を通じて複合機１０にフリック情報を出力する（Ｓ３４）。フリック操作は、第２画像上において表示範囲を移動させる操作の一例である。これにより、表示部５３上において第２画像がスライドするように表示される。フリック情報は、フリック操作における入力媒体の移動向き及び加速度を含む情報である。さらに、端末制御プログラム６１は、フリックアニメーションを表示部５３に表示させる（Ｓ３５）。フリックアニメーションの詳細は、後述する。

図３に戻って、複合機１０の画像処理プログラム２１は、通信部１５を通じて携帯端末５０から操作情報を取得したことを条件として（Ｓ１７）、操作対応処理を実行する（Ｓ１８）。ステップＳ１７を実行する複合機１０のＣＰＵ１７は、取得手段の一例である。操作情報とは、前述のオブジェクト特定情報、位置特定情報、或いはフリック情報である。また、操作対応処理は、携帯端末５０から取得した操作情報に対応づけられた処理である。図１１を参照して、操作対応処理の詳細を説明する。

複合機１０の画像処理プログラム２１は、携帯端末５０からオブジェクト特定情報を取得したことを条件として（Ｓ７１：オブジェクト特定情報）、オブジェクト特定情報によって特定されるオブジェクトに対応する処理を実行する（Ｓ７２）。また、画像処理プログラム２１は、オブジェクト特定情報によって特定されるオブジェクトに対応づけられた遷移先画像を示す遷移先画像データを、通信部１５を通じて携帯端末５０に出力する（Ｓ７３）。ステップＳ７３を実行する複合機１０のＣＰＵ１７は、第２出力手段の一例である。後述するステップ７６、Ｓ７８についても同様である。なお、取得したオブジェクト特定情報に対応する処理が存在しない場合は、ステップＳ７２がスキップされる。

例えば、図５（Ａ）に示される画面において「ホーム」オブジェクトの位置がタップされた場合、画像処理プログラム２１は、ホーム画面として表示すべき遷移先画像を示す遷移先画像データを、通信部１５を通じて携帯端末５０に出力する（Ｓ７３）。また、プリント処理の部数選択画面が遷移元画像として携帯端末５０に表示されている状態で「５」オブジェクトがタップされた場合、画像処理プログラム２１は、プリント処理の部数として”５”を記憶（Ｓ７２）し、部数の欄に”５”が表示された部数選択画面を示す遷移先画像データを、通信部１５を通じて携帯端末５０に出力する（Ｓ７３）。

また、画像処理プログラム２１は、携帯端末５０から位置特定情報を取得したことを条件として（Ｓ７１：位置特定情報）、位置特定情報によって特定される第２画像上の位置、すなわち、タップ位置に配置されたオブジェクトを特定する（Ｓ７４）。ステップＳ７４を実行する複合機１０のＣＰＵ１７は、特定手段の一例である。そして、画像処理プログラム２１は、タップ位置にオブジェクトが配置されていることを条件として、当該オブジェクトに対応する処理を実行する（Ｓ７５）。また、画像処理プログラム２１は、当該オブジェクトに対応づけてデータ記憶領域１８Ｂに記憶された遷移先画像データを、通信部１５を通じて携帯端末５０に出力する（Ｓ７６）。なお、特定されたオブジェクトに対応する処理が存在しない場合は、ステップＳ７５がスキップされる。

例えば、図５（Ａ）に示される画面において「ｔｏ ＵＳＢ」オブジェクトの位置がタップされた場合、画像処理プログラム２１は、スキャナ部１２にスキャン処理を実行させ、スキャン処理によって生成された画像データをＵＳＢメモリに記憶させる処理を実行する（Ｓ７５）。また、画像処理プログラム２１は、スキャン処理の実行中であることを報知する遷移先画像を示す遷移先画像データを、通信部１５を通じて携帯端末５０に出力する（Ｓ７６）。

さらに、画像処理プログラム２１は、携帯端末５０からフリック情報を取得したことを条件として（Ｓ７１：フリック情報）、フリック情報に含まれる移動向き及び加速度に基づいて、遷移元画像上にける移動後の表示範囲の位置を特定（Ｓ７７）し、当該表示範囲を示す範囲特定情報を通信部１５を通じて携帯端末５０に出力する（Ｓ７８）。具体的には、画像処理プログラム２１は、第２画像上における表示範囲を、フリック情報に含まれる加速度が大きいほど長くなる移動距離だけ、フリック情報に含まれる移動向きと反対向きに移動させる。

例えば、図１２（Ａ）に示される横長の第２画像の左端に表示範囲が設定されている場合において、入力媒体を左向きにスライドさせるフリック操作が行われると、図１２（Ｂ）及び図１２（Ｃ）に示されるように、第２画像上において表示範囲が右向きに移動する。そして、ステップＳ７７で特定された移動後の表示範囲が図１２（Ｃ）の位置であるとすると、当該表示範囲を示す範囲特定情報が携帯端末５０に出力される（Ｓ７８）。なお、複合機１０は、フリック操作に対応する操作対応処理（Ｓ７７〜Ｓ７８）を実行した場合、範囲特定情報のみを携帯端末５０へ出力し、第２画像データの出力を省略することができる。

再び図３に戻って、携帯端末５０の端末制御プログラム６１は、通信部５５を通じて複合機１０から遷移先画像データを取得したことを条件として（Ｓ１９）、再び表示制御処理を実行する（Ｓ１６）。なお、遷移先画像データを取得した後の表示制御処理（Ｓ１６）は既に説明した処理と共通するので、再度の説明は省略する。但し、フリック操作後の表示制御処理（Ｓ１６）において新たな表示範囲に含まれる第２画像が表示部５３に表示されるのに先立って、フリックアニメーションが表示部５３に表示される。

具体的には、端末制御プログラム６１は、フリック情報に含まれる移動向き及び加速度に基づいて、第２画像上において表示範囲を連続的に移動させ、当該表示範囲に含まれる画像を表示部５３に順番に表示させる。例えば、図１２（Ａ）の表示範囲においてフリック操作が行われ且つ図１２（Ｃ）に示される表示範囲を示す範囲特定情報が新たに取得される場合において、端末制御プログラム６１は、図１２（Ａ）の位置から図１２（Ｃ）の位置まで表示範囲を連続的に移動させ、各表示範囲内の第２画像を順番に表示部５３に表示させる。

［本実施形態の作用効果］
本実施形態によれば、予め設定された優先モード情報の値に基づいて、適切なサイズ及びレイアウトの第１画像及び第２画像が表示部５３に表示される。これにより、多様で複雑な指示を複合機１０に入力しようとするユーザに、操作しやすいインタフェースを提供することができる。例えば、レイアウト優先モードを選択したユーザは、複合機１０に搭載された押ボタンを操作する感覚で、携帯端末５０を操作することができる。また、第１画像サイズ優先モードを選択したユーザは、第１画像上のオブジェクトを選択しやすくなる。さらに、第２画像サイズ優先モードを選択したユーザは、第２画像上のオブジェクトを選択し易くなる。

［変形例］
なお、本実施形態において、複合機１０の表示部１３に表示されるべき画像と、複合機１０から携帯端末５０に送られる第２画像とは、一見して同一の画像と分かる程度に近似していればよく、厳密に一致していることまでは要求されない。例えば、表示部１３に表示されるべき画像の縦横比や解像度を調整した第２画像を示す第２画像データが、複合機１０から携帯端末５０に送られてもよい。同様に、本実施形態における標準第１画像の第１レイアウトは、複合機１０に搭載された押ボタンのレイアウトと厳密に一致している必要はない。また、第１画像データの取得先は、複合機１０に限定されず、インターネット上のサーバ装置等から取得してもよい。

また、本実施形態における変形第１画像の第２レイアウトは、図６の例に限定されない。すなわち、第２レイアウトは、第２画像を表示させる表示領域を第１レイアウトより大きく確保できればよく、具体的なレイアウトは、表示部５３及び第２画像の形状によって大きく異なる。すなわち、図６に示される変形第１画像は、表示部５３及び第２画像が横長の長方形である場合に適したレイアウトである。

図１３は、変形第１画像の第２レイアウトの他の例である。図１３（Ａ）は、筐体５１の上辺５１Ａ及び左辺５１Ｃに沿ってＬ字型に配置された変形第１画像の例を示す。図１３（Ｂ）は、筐体５１の上辺５１Ａ、左辺５１Ｃ、及び下辺５１Ｂに沿ってＵ字型に配置された第１画像の例を示す。すなわち、第２レイアウトの第１画像を表示部５３に配置した残りの表示領域の形状は、第１レイアウトの第１画像を表示部５３に配置した残りの表示領域と比較して、第２画像の相似形状に近い、換言すれば縦横比が第２画像に近ければよい。

また、本実施形態では、優先モード情報に応じて第１画像のレイアウトを選択する例を説明したが、第１画像のレイアウトを固定した状態で、第１画像サイズ優先モード及び第２画像優先モードの一方を選択できるようにしてもよい。この場合、図４のステップＳ２３、Ｓ２４は省略される。また、第１画像が第１レイアウトに固定された場合、図４のステップＳ２５、Ｓ２７において標準第１画像のサイズが変更される。一方、第１画像が第２レイアウトに固定された場合、図４のステップＳ２５、Ｓ２７において変形第１画像のサイズが変更される。その他の処理は、既に説明したものと共通する。画像サイズ調整処理においても同様である。

また、本実施形態では、縦横比を固定した状態で第１画像及び第２画像を拡大する例を説明した。これにより、図５の例では、第２画像の右側に必要以上の余白が形成される。また、図６（Ｂ）の例では、第２画像の下側に必要以上の余白が形成される。そこで、縦方向の拡大率と横方向の拡大率とを異ならせてもよい。これにより、第１画像及び第２画像をさらに大きく表示させることができる。しかしながら、各画像に含まれるオブジェクトの識別性の低下を抑制するために、縦方向の拡大率と横方向の拡大率との差が大きくなり過ぎないことが望ましい。画像を縮小する場合も同様である。

また、本実施形態では、ピンチ操作が検知されたことを条件として、画像サイズ調整処理が実行される例を説明した。しかしながら、サイズ変更指示の入力方法はピンチ操作に限定されない。例えば、第２画像をｎ（ｎ＞０）倍させるためのオブジェクトを表示部５３に表示させておき、当該オブジェクトの操作が操作部５４によって検知されたことを条件として、画像サイズ調整処理が実行されてもよい。

また、画像サイズ調整処理において、第２サイズ未満の標準第１画像が表示可能と判定された場合の処理（Ｓ４５、Ｓ４６）は、図７の例に限定されない。例えば、第１画像及び第２画像のサイズを変更することなく、サイズ変更指示が入力される前の状態に戻ってもよい。図８のステップＳ５８、Ｓ５９、及び図９のステップＳ６８、Ｓ６９についても同様である。

また、本実施形態では、表示部５３上でフリック操作が行われた場合に、移動後の表示範囲が複合機１０で算出され、スライドする過程における表示範囲が携帯端末５０で算出される例を説明したが、これに限定されない。例えば、携帯端末５０は、スライドの過程で表示部５３に表示すべき第２画像の表示範囲を複合機１０から繰り返し取得し、取得した表示範囲に含まれる第２画像を順番に表示部５３に表示させてもよい。

また、本実施形態では、表示部５３上におけるタップ操作、フリック操作、ピンチ操作が実行された場合の処理を中心に説明したが、例えば、ドラッグ操作等の他の操作が実行されてもよい。ドラッグ操作は、表示画面に接触させた入力媒体をスライドさせる点においてフリック操作と共通し、スライド速度が閾値加速度以下である点においてフリック操作と相違する。

そして、端末制御プログラム６１は、表示部５３に表示された第２画像上におけるドラッグ操作が操作部５４によって検知されたことを条件として、入力媒体の移動向き及び移動距離を含むドラッグ情報を、通信部５５を通じて複合機１０に送信する。そして、画像処理プログラム２１は、操作対応処理（Ｓ１８）において、第２画像上における表示範囲を、ドラッグ情報に含まれる移動距離が大きいほど長くなる移動距離だけ、ドラッグ情報に含まれる移動向きと反対向きに移動させる。その他の処理はフリック操作と共通するので、再度の説明は省略する。但し、フリックアニメーションの表示（Ｓ３５）は行われない。

また、各実施形態の複合機１０及び携帯端末５０において、記憶部１８、５８のプログラム記憶領域１８Ａ、５８Ａに記憶された各種プログラムがＣＰＵ１７、５７によって実行されることによって、本発明の制御部が実行する各処理が実現される例を説明した。しかしながら、制御部の構成はこれに限定されず、その一部又は全部を集積回路（ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略）とも言う。）等のハードウェアで実現してもよい。

さらに、本発明は、複合機１０或いは携帯端末５０として実現できるだけでなく、複合機１０或いは携帯端末５０に処理を実行させるプログラムとして実現してもよい。そして、当該プログラムは、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな記録媒体に記録されて提供されてもよい。ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな記録媒体は、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の他、通信ネットワーク１０２を介して複合機１０或いは携帯端末５０に接続可能なサーバ装置に搭載された記憶部を含んでもよい。そして、サーバ装置の記憶部に記憶されたプログラムは、当該プログラムを示す情報或いは信号として、インターネット等の通信ネットワーク１０２を介して配信されてもよい。

１０・・・複合機
１１・・・プリンタ部
１２・・・ＦＡＸ部
１３，５３・・・表示部
１４，５４・・・操作部
１５，５５・・・通信部
１７，５７・・・ＣＰＵ
１８，５８・・・記憶部
２１・・・画像処理プログラム
５０・・・携帯端末
５１・・・筐体
５６・・・姿勢検知部
６１・・・端末制御プログラム
１００・・・画像処理システム

Claims (13)

1. 端末表示部と、操作部と、記憶部と、画像処理装置と通信する通信部とを備える携帯端末によって実行されるプログラムであって、
   前記記憶部には、
   前記端末表示部に表示される複数の画像のうち、第１画像のサイズを第２画像より優先して大きくする第１画像サイズ優先モード、又は前記第２画像のサイズを前記第１画像より優先して大きくする第２画像サイズ優先モードを示す優先モード情報と、
   画像処理装置に搭載された複数のボタンそれぞれを表す複数のオブジェクトが配列された前記第１画像を示す第１画像データと、が記憶されており、
   前記画像処理装置は、
   画像データに対する処理を実行する画像処理部と、
   前記画像処理部の処理が対応付けられたオブジェクトを含む矩形の第２画像を表示させる装置表示部とを備えており、
   該プログラムは、
   前記第１画像サイズ優先モード及び前記第２画像サイズ優先モードのうち、ユーザが指定したモードを示す値を、前記記憶部に記憶された前記優先モード情報に設定し、
   前記第２画像を示す第２画像データを、前記通信部を通じて画像処理装置から取得し、
   前記記憶部に記憶された前記優先モード情報及び前記端末表示部の表示領域のサイズに基づいて、前記第１画像及び前記第２画像それぞれのサイズを変更し、
   サイズが変更された前記第１画像及び前記第２画像を前記端末表示部に表示させ、
   前記端末表示部に表示された前記第２画像の位置を入力媒体でタップするタップ操作が前記操作部によって検知されたことを条件として、当該タップ位置に対応するサイズ変更前の前記第２画像上の位置を特定する位置特定情報を前記通信部を通じて画像処理装置に出力する処理を、前記携帯端末に実行させ、
   サイズを変更する処理において、
   前記優先モード情報が前記第１画像サイズ優先モードであることを条件として、前記第１画像を第１サイズに変更し、前記第１サイズの前記第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更し、
   前記優先モード情報が前記第２画像サイズ優先モードであることを条件として、前記第１サイズより小さい第２サイズに前記第１画像を変更し、前記第２サイズの前記第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更するプログラム。
2. 該プログラムは、
   前記端末表示部に表示された前記第２画像を指定サイズに変更するサイズ変更指示を前記操作部を通じて受け付け、
   前記サイズ変更指示が受け付けられたことを条件として、前記端末表示部に表示された前記第１画像及び前記第２画像のサイズを調整し、
   サイズが調整された前記第１画像及び前記第２画像を前記端末表示部に表示させる処理を、さらに前記携帯端末に実行させ、
   サイズを調整する処理において、
   前記指定サイズの前記第２画像と同時に表示可能な前記第１画像のサイズを判定し、
   前記第２サイズ以上の前記第１画像が表示可能と判定されたことを条件として、前記第１画像を判定された最大サイズに変更し、前記第２画像を前記指定サイズに変更し、
   前記第２サイズ未満の前記第１画像が表示可能と判定されたことを条件として、前記第１画像を前記第２サイズに変更し、前記第２サイズの前記第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更する請求項１に記載のプログラム。
3. 前記第１画像データは、
   画像処理装置に搭載された複数のボタンの配列と略同一の第１レイアウトで複数のオブジェクトが配列された矩形の標準第１画像と、
   前記第２画像を表示させる領域を前記第１レイアウトより大きくすることができる第２レイアウトで複数のオブジェクトが配列された変形第１画像と、を含み、
   前記優先モード情報は、前記第１画像サイズ優先モード、前記第２画像サイズ優先モード、又は前記第１画像を前記第１レイアウトに固定するレイアウト優先モードを示し、
   該プログラムは、サイズを変更する処理において、
   前記優先モード情報が前記第１画像サイズ優先モードであることを条件として、前記変形第１画像を第１サイズに変更し、前記第１サイズの前記変形第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更し、
   前記優先モード情報が前記第２画像サイズ優先モードであることを条件として、前記変形第１画像を前記第２サイズに変更し、前記第２サイズの前記変形第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更し、
   前記優先モード情報が前記レイアウト優先モードであることを条件として、前記標準第１画像を前記第２サイズに変更し、前記第２サイズの前記標準第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更する請求項１に記載のプログラム。
4. 該プログラムは、
   前記端末表示部に表示された前記第２画像を指定サイズに変更するサイズ変更指示を前記操作部を通じて受け付け、
   前記サイズ変更指示が受け付けられたことを条件として、前記端末表示部に表示された前記第１画像及び前記第２画像のサイズを調整し、
   サイズが調整された前記第１画像及び前記第２画像を前記端末表示部に表示させる処理を、さらに前記携帯端末に実行させ、
   サイズを調整する処理において、前記優先モード情報が前記レイアウト優先モードであることを条件として、
   前記指定サイズの前記第２画像と同時に表示可能な前記第１画像のサイズを判定し、
   前記第２サイズ以上の前記標準第１画像が表示可能と判定されたことを条件として、前記標準第１画像を判定された最大サイズに変更し、前記第２画像を前記指定サイズに変更し、
   前記第２サイズ未満の前記標準第１画像が表示可能と判定されたことを条件として、前記標準第１画像を前記第２サイズに変更し、前記第２サイズの前記標準第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更する請求項３に記載のプログラム。
5. 該プログラムは、サイズを調整する処理において、前記優先モード情報が前記第１画像サイズ優先モードであることを条件として、
   前記指定サイズの前記第２画像と同時に表示可能な前記第１画像のサイズを判定し、
   前記第１サイズの前記標準第１画像が表示可能と判定されたことを条件として、前記標準第１画像を前記第１サイズに変更し、前記第２画像を前記指定サイズに変更し、
   前記第１サイズの前記標準第１画像が表示不可能で且つ前記第１サイズの前記変形第１画像が表示可能と判定されたことを条件として、前記変形第１画像を前記第１サイズに変更し、前記第２画像を前記指定サイズに変更し、
   前記第１サイズ未満の前記変形第１画像が表示可能と判定されたことを条件として、前記変形第１画像を前記第１サイズに変更し、前記第１サイズの前記変形第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更する請求項４に記載のプログラム。
6. 該プログラムは、サイズを調整する処理において、前記優先モード情報が前記第２画像サイズ優先モードであることを条件として、
   前記指定サイズの前記第２画像と同時に表示可能な前記第１画像のサイズを判定し、
   前記第２サイズ以上の前記標準第１画像が表示可能と判定されたことを条件として、前記標準第１画像を判定された最大サイズに変更し、前記第２画像を前記指定サイズに変更し、
   前記第２サイズの前記標準第１画像が表示不可能で且つ前記第２サイズ以上の前記変形第１画像が表示可能と判定されたことを条件として、前記変形第１画像を判定された最大サイズに変更し、前記第２画像を前記指定サイズに変更し、
   前記第２サイズ未満の前記変形第１画像が表示可能と判定されたことを条件として、前記変形第１画像を前記第２サイズに変更し、前記第２サイズの前記変形第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更する請求項４又は５に記載のプログラム。
7. 前記携帯端末は、略長方形の前記端末表示部が表面に設けられた筐体と、前記筐体の姿勢を検知する姿勢検知部と、を備えており、
   該プログラムは、前記筐体の姿勢が、前記端末表示部の長手方向及び短手方向の一方が水平方向を向いた状態から、前記端末表示部の長手方向及び短手方向の他方が水平方向を向いた状態に変化されたことが前記姿勢検知部によって検知されたことを条件として、前記第１画像及び第２画像のサイズを変更する処理及び表示する処理を再び実行させる請求項１から６のいずれかに記載のプログラム。
8. 該プログラムは、サイズを変更する処理において、変更前と変更後とで前記第２画像の縦横比が同じになるように、前記第１画像及び前記第２画像のサイズを変更する請求項１から７のいずれかに記載のプログラム。
9. 該プログラムは、前記第２画像データと、当該第２画像データで示される前記第２画像が前記端末表示部に表示された状態で、前記第１画像に含まれる各オブジェクトの選択が有効か無効かを示す選択可否情報と、を前記通信部を通じて画像処理装置から取得し、
   前記選択可否情報で有効とされたオブジェクト及び無効とされたオブジェクトの表示態様を異ならせた前記第１画像を前記端末表示部に表示させ、
   前記端末表示部に表示された前記第１画像のうちの前記選択可否情報で有効とされたオブジェクトの位置を入力媒体でタップするタップ操作が前記操作部によって検知されたことを条件として、当該オブジェクトを特定するオブジェクト特定情報を前記通信部を通じて画像処理装置に出力する請求項１から８のいずれかに記載のプログラム。
10. 該プログラムは、
    前記第２画像のうちの前記端末表示部に表示させる表示範囲を特定する範囲特定情報が取得されたことを条件として、前記第２画像のうちの前記表示範囲に含まれる画像に対してサイズを変更する処理及び表示する処理を実行し、
    前記端末表示部に表示された前記第２画像上において閾値加速度を超える加速度で入力媒体をスライドさせるフリック操作が前記操作部によって検知されたことを条件として、入力媒体の移動向き及び加速度を含むフリック情報を前記通信部を通じて画像処理装置に出力し、
    フリック操作後の表示範囲を特定する前記範囲特定情報が取得されたことを条件として、前記第２画像のうちのフリック操作後の表示範囲に含まれる画像を前記端末表示部に表示させる請求項１から９のいずれかに記載のプログラム。
11. 該プログラムは、前記第２画像のうちのフリック操作後の表示範囲に含まれる画像を前記端末表示部に表示させるのに先立って、前記フリック情報に含まれる移動向き及び加速度に基づいて、前記第２画像上で連続的に移動させた表示範囲に含まれる画像を前記端末表示部に順番に表示させる処理を、さらに前記携帯端末に実行させる請求項１０に記載のプログラム。
12. 端末表示部と、
    操作部と、
    記憶部と、
    画像処理装置と通信する通信部と、
    制御部と、を備えており、
    前記記憶部には、
    前記端末表示部に表示される複数の画像のうち、第１画像のサイズを第２画像より優先して大きくする第１画像サイズ優先モード、又は前記第２画像のサイズを前記第１画像より優先して大きくする第２画像サイズ優先モードを示す優先モード情報と、
    画像処理装置に搭載された複数のボタンそれぞれを表す複数のオブジェクトが配列された前記第１画像を示す第１画像データと、が記憶されており、
    前記画像処理装置は、
    画像データに対する処理を実行する画像処理部と、
    前記画像処理部の処理が対応付けられたオブジェクトを含む矩形の第２画像を表示させる装置表示部とを備えており、
    前記制御部は、
    前記第１画像サイズ優先モード及び前記第２画像サイズ優先モードのうち、ユーザが指定したモードを示す値を、前記記憶部に記憶された前記優先モード情報に設定する設定手段と、
    前記第２画像を示す第２画像データを、前記通信部を通じて画像処理装置から取得する画像取得手段と、
    前記記憶部に記憶された前記優先モード情報及び前記端末表示部の表示領域のサイズに基づいて、前記第１画像及び前記第２画像それぞれのサイズを変更するサイズ変更手段と、
    前記サイズ変更手段によってサイズが変更された前記第１画像及び前記第２画像を前記端末表示部に表示させる表示手段と、
    前記端末表示部に表示された前記第２画像の位置を入力媒体でタップするタップ操作が前記操作部によって検知されたことを条件として、当該タップ位置に対応するサイズ変更前の前記第２画像上の位置を特定する位置特定情報を前記通信部を通じて画像処理装置に出力する出力手段と、を含み、
    前記サイズ変更手段は、
    前記優先モード情報が前記第１画像サイズ優先モードであることを条件として、前記第１画像を第１サイズに変更し、前記第１サイズの前記第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更し、
    前記優先モード情報が前記第２画像サイズ優先モードであることを条件として、前記第１サイズより小さい第２サイズに前記第１画像を変更し、前記第２サイズの前記第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更する携帯端末。
13. 第１表示部、操作部、第１記憶部、第１通信部、及び第１制御部を備える携帯端末と、画像データに対する処理を実行する画像処理部、第２表示部、第２通信部、第２記憶部、及び第２制御部を備える画像処理装置とを備えるシステムであって、
    前記第１記憶部には、
    前記第１表示部に表示される複数の画像のうち、第１画像のサイズを第２画像より優先して大きくする第１画像サイズ優先モード、又は前記第２画像のサイズを前記第１画像より優先して大きくする第２画像サイズ優先モードを示す優先モード情報と、
    前記画像処理装置に搭載された複数のボタンそれぞれを表す複数のオブジェクトが配列された前記第１画像を示す第１画像データと、が記憶されており、
    前記第１制御部は、
    前記第１画像サイズ優先モード及び前記第２画像サイズ優先モードのうち、ユーザが指定したモードを示す値を、前記第１記憶部に記憶された前記優先モード情報に設定する設定手段と、
    前記第２表示部に表示されるべき画像に相当する矩形の前記第２画像を示す第２画像データを、前記第１通信部を通じて前記画像処理装置から取得する画像取得手段と、
    前記第１記憶部に記憶された前記優先モード情報及び前記第１表示部の表示領域のサイズに基づいて、前記第１画像及び前記第２画像それぞれのサイズを変更するサイズ変更手段と、
    前記サイズ変更手段によってサイズが変更された前記第１画像及び前記第２画像を前記第１表示部に表示させる表示手段と、
    前記第１表示部に表示された前記第２画像の位置を入力媒体でタップするタップ操作が前記操作部によって検知されたことを条件として、当該タップ位置に対応するサイズ変更前の前記第２画像上の位置を特定する位置特定情報を前記第１通信部を通じて前記画像処理装置に出力する第１出力手段と、を含み、
    前記サイズ変更手段は、
    前記優先モード情報が前記第１画像サイズ優先モードであることを条件として、前記第１画像を第１サイズに変更し、前記第１サイズの前記第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更し、
    前記優先モード情報が前記第２画像サイズ優先モードであることを条件として、前記第１サイズより小さい第２サイズに前記第１画像を変更し、前記第２サイズの前記第１画像が配置された残りの表示領域に表示可能な最大サイズに前記第２画像を変更し、
    前記第２制御部は、
    前記第２記憶部に記憶された前記第２画像データを、前記第２通信部を通じて前記携帯端末に出力する第２出力手段と、
    前記第２通信部を通じて前記携帯端末から前記位置特定情報を取得する取得手段と、
    前記取得手段によって取得された前記位置特定情報によって特定される前記第２画像上の位置に配置されたオブジェクトを特定する特定手段と、
    前記特定手段によって特定された前記オブジェクトに対応する処理を、前記画像処理部に実行させる実行手段とを含むシステム。

Images