JP6160194B2 - 画像形成システム、外部端末およびプログラム - Google Patents

画像形成システム、外部端末およびプログラム Download PDF

Info

Publication number
JP6160194B2
JP6160194B2 JP2013085146A JP2013085146A JP6160194B2 JP 6160194 B2 JP6160194 B2 JP 6160194B2 JP 2013085146 A JP2013085146 A JP 2013085146A JP 2013085146 A JP2013085146 A JP 2013085146A JP 6160194 B2 JP6160194 B2 JP 6160194B2
Authority
JP
Japan
Prior art keywords
display
image
screen
image forming
forming apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013085146A
Other languages
English (en)
Other versions
JP2014206923A (ja
Inventor
正知 松原
正知 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2013085146A priority Critical patent/JP6160194B2/ja
Publication of JP2014206923A publication Critical patent/JP2014206923A/ja
Application granted granted Critical
Publication of JP6160194B2 publication Critical patent/JP6160194B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、画像形成システムおよびそれに関連する技術に関する。
画像形成装置を外部端末によって操作する技術が存在する。
たとえば、特許文献１においては、画像形成装置から外部端末へと操作画面データ自体（ビットマップ画像データ等）をそのまま送信して当該操作画面を外部端末の表示部に表示するとともに、当該操作画面内での操作位置情報（押下位置情報等）を送受信して操作画面内における操作入力を受け付ける技術が示されている。いわゆるリモート接続による遠隔操作技術である。
特開平５−１２２４２４号公報
ところで、画像形成装置の操作パネル内の操作画面においては、当該操作画面全体のうちの一部分（特定領域内の情報）のみを拡大する拡大操作が行われ得る。
このような拡大操作は、外部端末を用いた遠隔操作においても実現されることが好ましい。
しかしながら、上記特許文献１に記載の技術においては、外部端末は、画像形成装置から送信されてくる操作画面の表示用画像（詳細にはそのデータ）を受信し、当該表示用画像に基づく表示を行っているに過ぎない。換言すれば、外部端末は、画像形成装置の遠隔操作用の操作画面を生成する機能は有しておらず、画像形成装置から送信されてきた操作画面を表示する機能を有するに過ぎない。また、外部端末は、操作画面内において特定領域とそれ以外の領域とを区別する情報を有していない。そのため、外部端末は、特定領域に対する拡大操作が行われたのか或いは特定領域以外の領域に対する拡大操作が行われたのかを知得することができず、特定領域と当該特定領域以外の領域との２種類の領域に対する拡大操作を互いに区別することができない。したがって、外部端末を用いた遠隔操作において、外部端末は、操作画面を全体的に拡大表示することは可能であるが、特定領域のみの拡大操作を実現することは困難である。
そこで、この発明は、画像形成装置の遠隔操作用の操作画面内の２種類の領域に対するジェスチャ操作を適切に区別した処理を行うことが可能な技術を提供することにある。
上記課題を解決すべく、請求項１の発明は、画像形成システムであって、画像形成装置と、前記画像形成装置との通信が可能な外部端末と、を備え、前記外部端末は、前記画像形成装置の遠隔操作用の操作画面に関する表示用画像を受信する受信手段と、前記表示用画像に基づき前記操作画面を表示する表示制御手段と、前記操作画面に対するジェスチャ操作を受け付ける入力制御手段と、前記ジェスチャ操作の操作位置を示す位置情報を前記画像形成装置に送信する第１送信手段と、を有し、前記画像形成装置は、前記外部端末から送信されてきた前記位置情報に基づいて、前記ジェスチャ操作が前記操作画面内の特定領域に対する操作であるか否かを判定する判定手段と、前記ジェスチャ操作が前記特定領域に対する操作である旨が判定されることを条件として、前記操作画面に関する更新画像であって前記ジェスチャ操作による前記特定領域に対する変更指示を反映した更新画像を生成する画像生成手段と、前記更新画像を前記外部端末に送信する第２送信手段と、を有し、前記外部端末の前記表示制御手段は、前記更新画像が前記画像形成装置から送信されてくる場合には、前記更新画像に基づく第１の表示画面を新たな操作画面として表示し、前記更新画像が前記画像形成装置から送信されてこない場合には、現在表示中の操作画面に関する前記表示用画像に基づく第２の表示画面を、前記操作画面内の特定領域外に対するジェスチャ操作に対応して、前記第１の表示画面とは異なる表示画面として生成し、生成された前記第２の表示画面を新たな操作画面として表示することを特徴とする。
請求項２の発明は、請求項１の発明に係る画像形成システムにおいて、前記外部端末は、前記表示用画像のうち前記操作画面として表示される対象範囲を示す表示範囲パラメータを記憶する記憶手段、をさらに有し、前記外部端末の前記表示制御手段は、前記画像形成装置からの前記更新画像が受信される場合には、前記記憶手段に記憶されている前記表示範囲パラメータであって前記ジェスチャ操作前の前記表示範囲パラメータを用いて前記更新画像に関する表示範囲決定処理を施して前記更新画像に基づく表示画面を生成し、前記更新画像に基づく当該表示画面を新たな操作画面として表示することを特徴とする。
請求項３の発明は、請求項２の発明に係る画像形成システムにおいて、前記外部端末の前記表示制御手段は、前記画像形成装置からの前記更新画像が受信されず前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が判定される場合には、前記ジェスチャ操作の内容と前記記憶手段に記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作による変更後の前記表示範囲パラメータを決定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面として表示することを特徴とする。
請求項４の発明は、請求項３の発明に係る画像形成システムにおいて、前記外部端末の前記表示制御手段は、前記画像形成装置からの前記更新画像が前記位置情報の送信時点から所定期間内に受信される場合には、前記特定領域に対して前記ジェスチャ操作が行われた旨を判定し、前記更新画像に基づく表示画面を新たな操作画面として表示し、前記画像形成装置からの前記更新画像が前記位置情報の前記送信時点から前記所定期間内に受信されない場合には、前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨を判定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面として表示し、前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が一旦判定され且つ前記ジェスチャ操作が継続中であると判定される場合には、前記画像形成装置からの前記更新画像の到達を待つことなく、前記ジェスチャ操作の内容と前記記憶手段に記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作継続中における最新の表示範囲パラメータを決定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記最新の前記表示範囲パラメータに基づいて変更して生成した表示画面を、最新の操作画面として表示することを特徴とする。
請求項５の発明は、請求項１ないし請求項３のいずれかの発明に係る画像形成システムにおいて、前記外部端末の前記表示制御手段は、前記画像形成装置からの前記更新画像が前記位置情報の送信時点から所定期間内に受信される場合には、前記更新画像に基づく表示画面を新たな操作画面として表示し、前記画像形成装置からの前記更新画像が前記位置情報の前記送信時点から前記所定期間内に受信されない場合には、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を変更して生成した表示画面を、新たな操作画面として表示することを特徴とする。
請求項６の発明は、請求項１ないし請求項５のいずれかの発明に係る画像形成システムにおいて、前記ジェスチャ操作は、拡大操作、スライド操作、回転操作のうちの少なくとも１つを含むことを特徴とする。
請求項７の発明は、画像形成装置を遠隔操作することが可能な外部端末であって、前記画像形成装置の遠隔操作用の操作画面に関する表示用画像を受信する受信手段と、前記表示用画像に基づき前記操作画面を表示する表示制御手段と、前記操作画面に対するジェスチャ操作を受け付ける入力制御手段と、前記ジェスチャ操作の操作位置を示す位置情報を前記画像形成装置に送信する送信手段と、を備え、前記表示制御手段は、前記位置情報の送信に応じて前記ジェスチャ操作による前記操作画面内の特定領域に対する変更指示を反映した更新画像が前記画像形成装置から送信されてくる場合には、前記更新画像に基づく第１の表示画面を新たな操作画面として表示し、前記位置情報の送信に応じて前記更新画像が前記画像形成装置から送信されてこない場合には、現在表示中の操作画面に関する前記表示用画像に基づく第２の表示画面を、前記操作画面内の特定領域外に対するジェスチャ操作に対応して、前記第１の表示画面とは異なる表示画面として生成し、生成された前記第２の表示画面を新たな操作画面として表示することを特徴とする。
請求項８の発明は、画像形成装置を遠隔操作することが可能な外部端末に内蔵されるコンピュータに、ａ）前記画像形成装置の遠隔操作用の操作画面に関する表示用画像を受信するステップと、ｂ）前記表示用画像に基づき前記操作画面を表示するステップと、ｃ）前記操作画面に対するジェスチャ操作を受け付けるステップと、ｄ）前記ジェスチャ操作の操作位置を示す位置情報を前記画像形成装置に送信するステップと、ｅ）前記位置情報の送信に応じて前記ジェスチャ操作による前記操作画面内の特定領域に対する変更指示を反映した更新画像が前記画像形成装置から送信されてくる場合には、前記更新画像に基づく第１の表示画面を新たな操作画面として表示し、前記位置情報の送信に応じて前記更新画像が前記画像形成装置から送信されてこない場合には、現在表示中の操作画面に関する前記表示用画像に基づく第２の表示画面を、前記操作画面内の特定領域外に対するジェスチャ操作に対応して、前記第１の表示画面とは異なる表示画面として生成し、生成された前記第２の表示画面を新たな操作画面として表示するステップと、を実行させるためのプログラムであることを特徴とする。
請求項９の発明は、請求項８の発明に係るプログラムにおいて、ｆ）前記表示用画像のうち前記操作画面として表示される対象範囲を示す表示範囲パラメータであって前記ジェスチャ操作前の表示範囲パラメータを記憶するステップ、をさらに有し、前記ステップｅ）においては、前記画像形成装置からの前記更新画像が受信される場合には、前記ジェスチャ操作前の前記表示範囲パラメータを用いて前記更新画像に関する表示範囲決定処理を施して前記更新画像に基づく表示画面が生成され、前記更新画像に基づく当該表示画面が新たな操作画面として表示されることを特徴とする。
請求項１０の発明は、請求項９の発明に係るプログラムにおいて、前記ステップｅ）においては、前記画像形成装置からの前記更新画像が受信されず前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が判定された場合には、前記ジェスチャ操作の内容と前記ステップｆ）において記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作による変更後の前記表示範囲パラメータが決定され、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面が、新たな操作画面として表示されることを特徴とする。
請求項１１の発明は、画像形成システムであって、画像形成装置と、前記画像形成装置との通信が可能な外部端末と、を備え、前記外部端末は、前記画像形成装置の遠隔操作用の操作画面に関する表示用画像を受信する受信手段と、前記表示用画像に基づき前記操作画面を表示する表示制御手段と、前記操作画面に対するジェスチャ操作を受け付ける入力制御手段と、前記ジェスチャ操作の操作位置を示す位置情報を前記画像形成装置に送信する第１送信手段と、を有し、前記画像形成装置は、前記外部端末から送信されてきた前記位置情報に基づいて、前記ジェスチャ操作が前記操作画面内の特定領域に対する操作であるか否かを判定する判定手段と、前記ジェスチャ操作が前記特定領域に対する操作である旨が判定されることを条件として、前記操作画面に関する更新画像であって前記ジェスチャ操作による前記特定領域に対する変更指示を反映した更新画像を生成する画像生成手段と、前記更新画像を前記外部端末に送信する第２送信手段と、を有し、前記外部端末の前記表示制御手段は、前記更新画像が前記画像形成装置から送信されてくる場合には、前記更新画像に基づく表示画面を新たな操作画面として表示し、前記更新画像が前記画像形成装置から送信されてこない場合には、現在表示中の操作画面に関する前記表示用画像に基づく表示画面を新たな操作画面として表示し、前記外部端末は、前記表示用画像のうち前記操作画面として表示される対象範囲を示す表示範囲パラメータを記憶する記憶手段、をさらに有し、前記外部端末の前記表示制御手段は、前記画像形成装置からの前記更新画像が受信される場合には、前記記憶手段に記憶されている前記表示範囲パラメータであって前記ジェスチャ操作前の前記表示範囲パラメータを用いて前記更新画像に関する表示範囲決定処理を施して前記更新画像に基づく表示画面を生成し、前記更新画像に基づく当該表示画面を新たな操作画面として表示し、前記画像形成装置からの前記更新画像が受信されず前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が判定される場合には、前記ジェスチャ操作の内容と前記記憶手段に記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作による変更後の前記表示範囲パラメータを決定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面として表示し、前記外部端末の前記表示制御手段は、前記画像形成装置からの前記更新画像が前記位置情報の送信時点から所定期間内に受信される場合には、前記特定領域に対して前記ジェスチャ操作が行われた旨を判定し、前記更新画像に基づく表示画面を新たな操作画面として表示し、前記画像形成装置からの前記更新画像が前記位置情報の前記送信時点から前記所定期間内に受信されない場合には、前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨を判定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面として表示し、前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が一旦判定され且つ前記ジェスチャ操作が継続中であると判定される場合には、前記画像形成装置からの前記更新画像の到達を待つことなく、前記ジェスチャ操作の内容と前記記憶手段に記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作継続中における最新の表示範囲パラメータを決定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記最新の前記表示範囲パラメータに基づいて変更して生成した表示画面を、最新の操作画面として表示することを特徴とする。
請求項１２の発明は、画像形成装置を遠隔操作することが可能な外部端末であって、前記画像形成装置の遠隔操作用の操作画面に関する表示用画像を受信する受信手段と、前記表示用画像に基づき前記操作画面を表示する表示制御手段と、前記操作画面に対するジェスチャ操作を受け付ける入力制御手段と、前記ジェスチャ操作の操作位置を示す位置情報を前記画像形成装置に送信する送信手段と、を備え、前記表示制御手段は、前記位置情報の送信に応じて前記ジェスチャ操作による前記操作画面内の特定領域に対する変更指示を反映した更新画像が前記画像形成装置から送信されてくる場合には、前記更新画像に基づく表示画面を新たな操作画面として表示し、前記位置情報の送信に応じて前記更新画像が前記画像形成装置から送信されてこない場合には、現在表示中の操作画面に関する前記表示用画像に基づく表示画面を新たな操作画面として表示し、前記外部端末は、前記表示用画像のうち前記操作画面として表示される対象範囲を示す表示範囲パラメータを記憶する記憶手段、をさらに備え、前記表示制御手段は、前記画像形成装置からの前記更新画像が受信される場合には、前記記憶手段に記憶されている前記表示範囲パラメータであって前記ジェスチャ操作前の前記表示範囲パラメータを用いて前記更新画像に関する表示範囲決定処理を施して前記更新画像に基づく表示画面を生成し、前記更新画像に基づく当該表示画面を新たな操作画面として表示し、前記画像形成装置からの前記更新画像が受信されず前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が判定される場合には、前記ジェスチャ操作の内容と前記記憶手段に記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作による変更後の前記表示範囲パラメータを決定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面として表示し、前記表示制御手段は、前記画像形成装置からの前記更新画像が前記位置情報の送信時点から所定期間内に受信される場合には、前記特定領域に対して前記ジェスチャ操作が行われた旨を判定し、前記更新画像に基づく表示画面を新たな操作画面として表示し、前記画像形成装置からの前記更新画像が前記位置情報の前記送信時点から前記所定期間内に受信されない場合には、前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨を判定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面として表示し、前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が一旦判定され且つ前記ジェスチャ操作が継続中であると判定される場合には、前記画像形成装置からの前記更新画像の到達を待つことなく、前記ジェスチャ操作の内容と前記記憶手段に記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作継続中における最新の表示範囲パラメータを決定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記最新の前記表示範囲パラメータに基づいて変更して生成した表示画面を、最新の操作画面として表示することを特徴とする。
請求項１３の発明は、画像形成装置を遠隔操作することが可能な外部端末に内蔵されるコンピュータに、ａ）前記画像形成装置の遠隔操作用の操作画面に関する表示用画像を受信するステップと、ｂ）前記表示用画像に基づき前記操作画面を表示するステップと、ｃ）前記操作画面に対するジェスチャ操作を受け付けるステップと、ｄ）前記ジェスチャ操作の操作位置を示す位置情報を前記画像形成装置に送信するステップと、ｅ）前記位置情報の送信に応じて前記ジェスチャ操作による前記操作画面内の特定領域に対する変更指示を反映した更新画像が前記画像形成装置から送信されてくる場合には、前記更新画像に基づく表示画面を新たな操作画面として表示し、前記位置情報の送信に応じて前記更新画像が前記画像形成装置から送信されてこない場合には、現在表示中の操作画面に関する前記表示用画像に基づく表示画面を新たな操作画面として表示するステップと、ｆ）前記表示用画像のうち前記操作画面として表示される対象範囲を示す表示範囲パラメータを記憶するステップと、を実行させるためのプログラムであって、前記ステップｅ）においては、前記画像形成装置からの前記更新画像が受信される場合には、前記ステップｆ）において記憶されている前記表示範囲パラメータであって前記ジェスチャ操作前の前記表示範囲パラメータを用いて前記更新画像に関する表示範囲決定処理を施して前記更新画像に基づく表示画面が生成され、前記更新画像に基づく当該表示画面が新たな操作画面として表示され、前記画像形成装置からの前記更新画像が受信されず前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が判定される場合には、前記ジェスチャ操作の内容と前記ステップｆ）において記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作による変更後の前記表示範囲パラメータが決定され、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面が、新たな操作画面として表示され、前記ステップｅ）においては、前記画像形成装置からの前記更新画像が前記位置情報の送信時点から所定期間内に受信される場合には、前記特定領域に対して前記ジェスチャ操作が行われた旨が判定され、前記更新画像に基づく表示画面が新たな操作画面として表示され、前記画像形成装置からの前記更新画像が前記位置情報の前記送信時点から前記所定期間内に受信されない場合には、前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が判定され、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面が、新たな操作画面として表示され、前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が一旦判定され且つ前記ジェスチャ操作が継続中であると判定される場合には、前記画像形成装置からの前記更新画像の到達を待つことなく、前記ジェスチャ操作の内容と前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作継続中における最新の表示範囲パラメータが決定され、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記最新の前記表示範囲パラメータに基づいて変更して生成した表示画面が、最新の操作画面として表示されることを特徴とする。
請求項１〜請求項１３に記載の発明によれば、画像形成装置の遠隔操作用の操作画面内の２種類の領域に対するジェスチャ操作を適切に区別することが可能である。
特に、請求項２および請求項９に記載の発明によれば、操作者のジェスチャ操作に対応する表示範囲を適切に表示させることができる。
また特に、請求項４，１１〜１３に記載の発明によれば、特定領域以外の領域に対するジェスチャ操作が開始され且つ当該ジェスチャ操作が継続中である場合には、所定期間の待機動作を行うことなく、当該ジェスチャ操作継続中における最新の表示範囲パラメータと現在表示中の表示用画像とを用いて更に新たな操作画面を表示することが可能である。
画像形成システムを示す図である。 画像形成装置の機能ブロックを示す図である。 外部端末の概略構成を示す機能ブロック図である。 画像形成装置の動作を示すフローチャートである。 外部端末の動作を示すフローチャートである。 図５の一部の動作を詳細に示す図である。 図５の一部の動作を詳細に示す図である。 プレビュー領域に対する拡大操作が行われた際の動作を示す図である。 プレビュー領域以外の領域に対する拡大操作が行われた際の動作を示す図である。 初期状態の操作画面を示す図である。 プレビュー領域以外の領域に対する拡大操作に応じて表示される新たな操作画面を示す図である。 表示対象領域を示す図である。 プレビュー領域以外の領域に対するスライド操作等に応じて表示される新たな操作画面を示す図である。 表示対象領域を示す図である。 プレビュー領域に対する拡大操作等に応じて表示される新たな操作画面を示す図である。 表示対象領域を示す図である。 プレビュー領域に対する拡大操作に応じて表示される新たな操作画面を示す図である。 変形例に係る操作画面を示す図である。 リスト表示領域に対するスライド操作に応じて表示される新たな操作画面を示す図である。 リスト表示領域以外の領域に対するスライド操作に応じて表示される新たな操作画面を示す図である。
以下、本発明の実施形態を図面に基づいて説明する。
＜１．構成概要＞
図１は、画像形成システム１を示す図である。図１に示すように、画像形成システム１は、画像形成装置１０と外部端末５０とを備える。
画像形成装置１０と外部端末５０とは、ネットワークＮＷを介して互いに接続される。ネットワークＮＷは、ＬＡＮ（Local Area Network）およびインターネットなどによって構成される。また、ネットワークＮＷに対する接続態様は、有線接続であってもよく、或いは無線接続であってもよい。たとえば、画像形成装置１０はネットワークＮＷに対して有線接続され、外部端末５０はネットワークＮＷに対して無線接続される。
画像形成システム１においては、画像形成装置１０に対する各種の操作を外部端末５０を用いて行うことが可能である。すなわち、外部端末５０は、画像形成装置１０を遠隔操作することが可能である。なお、この画像形成システム１は、画像形成装置１０の遠隔操作を行う遠隔操作システムなどとも表現される。
＜２．画像形成装置の構成＞
図２は、画像形成装置１０の機能ブロックを示す図である。ここでは、画像形成装置１０として、ＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））を例示する。図２においては、ＭＦＰ１０の機能ブロックが示されている。
ＭＦＰ１０は、スキャン機能、コピー機能、ファクシミリ機能およびボックス格納機能などを備える装置（複合機とも称する）である。具体的には、ＭＦＰ１０は、図２の機能ブロック図に示すように、画像読取部２、印刷出力部３、通信部４、格納部５、操作部６およびコントローラ９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
画像読取部２は、ＭＦＰ１０の所定の位置に載置された原稿を光学的に読み取って（すなわちスキャンして）、当該原稿の画像データ（原稿画像なしいスキャン画像とも称する）を生成する処理部である。この画像読取部２は、スキャン部であるとも称される。
印刷出力部３は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。
通信部４は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部４は、ネットワークＮＷを介したネットワーク通信を行うことも可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、ＭＦＰ１０は、所望の相手先（たとえば、外部端末５０）との間で各種のデータを授受することが可能である。通信部４は、各種データを送信する送信部４ａと各種データを受信する受信部４ｂとを有する。
格納部５は、ハードディスクドライブ（ＨＤＤ）等の記憶装置で構成される。格納部５は、印刷ジョブに係るデータ等を記憶する。
操作部６は、ＭＦＰ１０に対する操作入力を受け付ける操作入力部６ａと、各種情報の表示出力を行う表示部６ｂとを備えている。
このＭＦＰ１０においては、略板状の操作パネル部６ｃ（図１参照）が設けられている。また、操作パネル部６ｃは、その正面側にタッチパネル２５（図１参照）を有している。タッチパネル２５は、操作入力部６ａの一部としても機能するとともに、表示部６ｂの一部としても機能する。タッチパネル２５は、液晶表示パネルに各種センサ等が埋め込まれて構成され、各種情報を表示するとともに操作者からの各種の操作入力を受け付けることが可能である。
たとえば、タッチパネル２５においては、メニュー画像（ボタン画像等を含む）が表示される。操作者は、タッチパネル２５内に仮想的に配置されるボタン（ボタン画像で表現されるボタン）を押下することによって、画像形成装置１０の各種動作内容を設定することなどが可能である。
タッチパネル２５に表示される操作画面としては、プレビュー領域ＲＳと当該プレビュー領域ＲＳ以外の領域ＲＴとを含むプレビュー表示画面が例示される。プレビュー領域ＲＳは、文書のプレビューを表示する領域である。当該プレビュー領域ＲＳにおいては、表示対象文書が表示される。また、表示対象文書の各ページを拡大して表示すること、および各ページにおける表示位置を変更することなどが可能である。
なお、後述するように、外部端末５０のタッチパネル７５（図１参照）においては、画像形成装置１０のタッチパネル２５に表示される操作画面と同様の画面が表示される。外部端末５０のタッチパネル７５に表示された操作画面を用いることにより、画像形成装置１０のタッチパネル２５に表示された操作画面を用いる操作と同様の操作が実現される。
コントローラ９は、ＭＦＰ１０に内蔵され、ＭＦＰ１０を統括的に制御する制御装置である。コントローラ９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ９は、ＣＰＵにおいて、ＲＯＭ（例えば、ＥＥＰＲＯＭ）内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）ＰＧ１を実行することによって、各種の処理部を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）ＰＧ１は、ＵＳＢメモリなどの可搬性の記録媒体、あるいはネットワークＮＷ等を介してＭＦＰ１０にインストールされてもよい。
具体的には、図２に示すように、コントローラ９は、プログラムＰＧ１の実行により、通信制御部１１と動作制御部１２と判定部１３と画像生成部１５とを含む各種の処理部を実現する。
通信制御部１１は、他の装置（外部端末５０等）との間の通信動作を制御する処理部である。たとえば、通信制御部１１は、通信部４等と協働して、外部端末５０における遠隔操作画面（単に操作画面とも称する）ＭＳ（図１０等）の表示用画像（詳細にはそのデータ）等を外部端末５０に送信する。
判定部１３は、外部端末５０におけるジェスチャ操作（詳細にはタッチジェスチャ操作）の内容等を判定する処理部である。たとえば、判定部１３は、外部端末５０から送信されてきた位置情報ＭＰ（ジェスチャ操作に係る時系列の座標値等）に基づいて、外部端末５０におけるジェスチャ操作の内容を判定する。また、判定部１３は、外部端末５０から送信されてきた位置情報ＭＰに基づいて、ジェスチャ操作が操作画面ＭＳ内のプレビュー領域ＲＳに対する操作であるか否かを判定する判定動作をも行う。
画像生成部１５は、遠隔操作画面ＭＳに関する画像データ（表示用データ）を生成する処理部である。
動作制御部１２は、画像形成装置１０における印刷出力動作およびスキャン動作などの各種動作を制御する。また、動作制御部１２は、外部端末５０による遠隔操作に対応するための動作を統括的に制御する。
＜３．外部端末の構成＞
次に外部端末（遠隔操作装置とも称する）５０の構成について説明する。
外部端末５０は、他の装置との間でのネットワーク通信が可能な携帯式の情報入出力端末装置である。ここでは、外部端末５０として、タブレット型端末を例示する。ただし、これに限定されず、外部端末５０は、スマートフォンであってもよく、パーソナルコンピュータなどであってもよい。また、外部端末５０は、携帯式の装置であってもよく、据置型の装置であってもよい。
図３は、外部端末５０の概略構成を示す機能ブロック図である。
外部端末５０は、図３の機能ブロック図に示すように、通信部５４、格納部５５、操作部５６およびコントローラ５９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
通信部５４は、ネットワークＮＷを介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、外部端末５０は、所望の相手先（画像形成装置１０等）との間で各種のデータを授受することが可能である。通信部５４は、各種データを送信する送信部５４ａと各種データを受信する受信部５４ｂとを有する。たとえば、受信部５４ｂは、操作画面（遠隔操作用の操作画面）ＭＳの表示用画像（詳細にはその画像データ）等をＭＦＰ１０から受信し、送信部５４ａは、タッチパネル７５に表示された操作画面ＭＳに対する操作入力の情報（タッチ座標情報等）をＭＦＰ１０に送信する。
格納部５５は、不揮発性の半導体メモリ等の記憶装置で構成される。格納部５５には、ＭＦＰ１０から送信されてきた各種の画像データが一時的に格納される。たとえば、操作画面ＭＳの表示用画像の画像データ等が一時的に格納される。
また、格納部５５は、操作画面ＭＳに関する表示範囲パラメータＰＭをも記憶する。表示範囲パラメータＰＭは、操作画面ＭＳの表示用画像のうち実際に操作画面ＭＳとして表示される範囲（表示対象となる範囲）ＲＭを示すパラメータである。表示範囲パラメータＰＭは、たとえば、「シフト位置」を示すパラメータおよび「変倍率」を示すパラメータで構成される。「シフト位置」は、操作画面ＭＳの表示用画像のうちの表示対象範囲の基準点（たとえば左上の点）と元の表示用画像の基準点（たとえば左上の点）とのずれ（シフト量）を示すものである。「シフト位置」は、元の表示用画像に固定された所定の座標系における、表示対象範囲ＲＭの基準点の座標値等で示される。より具体的には、操作画面ＭＳの元の表示用画像Ｇ１全体のうちの拡大操作後の表示対象範囲ＲＭ（図１２参照）の基準点（たとえば左上の点）の座標値（Ｐ２（Ｘ２，Ｙ２））等で示される。また、「変倍率」は、表示用画像全体のうちの表示対象領域が元の表示用画像と同じ大きさで表示される際における倍率（端的に言えば、見かけ上の表示倍率）である。たとえば、矩形形状を有する表示対象範囲ＲＭの一辺の長さ（画素数）が元の表示用画像Ｇ１の一辺の長さ（画素数）の１／２（２分の１）であるときには、「変倍率」は、１／２の逆数の「２」、すなわち２００％である。図１１には、元の表示用画像Ｇ１（図１０参照）のうち、図１２に示される表示対象範囲ＲＭがタッチパネル７５全体に拡大されて（２００％で）表示される様子が示されている。
なお、ここでは、表示範囲パラメータＰＭが「変倍率」および「シフト位置」で構成される態様が例示されるが、これに限定されない。たとえば、表示範囲パラメータＰＭは、矩形形状の表示対象範囲ＲＭを規定する２点の座標値（詳細には、表示範囲の左上端の点の座標値および右下端の点の座標値）で構成されるものであってもよい。また、ここでは、表示対象範囲ＲＭが回転されない態様を例示しているが、表示対象範囲ＲＭが回転される場合には、表示範囲パラメータＰＭは、回転角度を示すパラメータなどを有するものであってもよい。
操作部５６は、外部端末５０に対する操作入力を受け付ける操作入力部５６ａと、各種情報の表示出力を行う表示部５６ｂとを備えている。この外部端末５０においては、液晶表示パネルに各種センサ等が埋め込まれて構成されたタッチパネル７５（図１参照）が設けられている。具体的には、図１に示すように、略板状の外部端末５０の正面側において、その周縁部（枠部）を除くほぼ全面にわたってタッチパネル７５が設けられている。このタッチパネル７５は、操作入力部５６ａの一部としても機能するとともに、表示部５６ｂの一部としても機能する。
このタッチパネル７５は、マルチタッチパネルとして構成されるユーザインタ−フェイスである。タッチパネル７５は、ユーザの１本の手指によるタッチ操作（シングルタッチ操作）と、ユーザの複数本の手指によるタッチ操作（マルチタッチ操作とも称する）との双方を受け付けることが可能である。
まず、タッチパネル７５は、ユーザの１本の手指によるタッチ操作（シングルタッチ操作とも称する）を受け付けることが可能である。たとえば、操作者は、画面にタッチしている１本の指をタッチ状態を継続しながら移動させる操作（スライド操作（フリック操作））によって移動指示を付与することが可能である。
さらに、タッチパネル７５は、ユーザの複数本の手指によるタッチ操作（マルチタッチ操作とも称する）を受け付けることが可能である。たとえば、操作者は、画面にタッチしている２本の指の距離を増大させる操作（ピンチアウト操作）によって拡大指示を付与すること、あるいは逆に２本の指の距離を低減させること（ピンチイン操作）によって縮小指示を付与することが可能である。このように、画面にタッチしている２本の指の距離を変更する操作（ピンチ操作）によって、画面の変倍処理（拡大処理および／または縮小処理）を指示することが可能である。
タッチパネル７５には、タッチパネル２５の操作画面と同様の操作画面が遠隔操作画面ＭＳ（ＭＦＰ１０を遠隔操作するための画面）として表示される。たとえば、プレビュー領域ＲＳと当該プレビュー領域ＲＳ以外の領域ＲＴとを含む操作画面ＭＳ（図１０参照）が表示される。また、タッチパネル７５は、当該遠隔操作画面ＭＳ等に対するタッチジェスチャ操作（タッチ操作とも称する）を受け付ける。
後述するように、タッチパネル７５の操作者は、操作画面ＭＳに対して拡大操作等（変更指示）を付与することが可能である。より詳細には、プレビュー領域ＲＳに対する拡大操作によって、表示対象文書の各ページをプレビュー領域ＲＳ内において拡大して表示することが可能である（図１７参照）。また、プレビュー領域ＲＳに対するスライド操作（タッチ操作）によって、プレビュー領域ＲＳ内における各ページの表示範囲をスライド移動することなども可能である。また、タッチパネル７５内の全領域ＲＬのうちプレビュー領域ＲＳを除いた領域ＲＴに対して操作者による拡大操作が行われると、外部端末５０による独自の拡大処理が行われる（図１１参照）。具体的には、操作画面ＭＳのうちのプレビュー領域ＲＳ内の画像のみが選択的に拡大されるのではなく、操作画面ＭＳが全体的に拡大される。
再び図３を参照する。図３のコントローラ５９は、外部端末５０に内蔵され、外部端末５０を統括的に制御する制御装置である。コントローラ５９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ５９は、ＣＰＵにおいて、記憶部（半導体メモリ等）内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）ＰＧ２を実行することによって、各種の処理部を実現する。なお、当該プログラムＰＧ２は、ＵＳＢメモリなどの可搬性の記録媒体、あるいはネットワークＮＷ等を介して外部端末５０にインストールされるようにしてもよい。
プログラムＰＧ２は、画像形成装置１０を遠隔操作するアプリケーションソフトウエアプログラムであり、遠隔操作に関する諸機能等を実現する。
具体的には、コントローラ５９は、プログラムＰＧ２の実行により、通信制御部６１と入力制御部６２と座標変換部６３と判定部６４と表示制御部６５とを含む各種の処理部を実現する。
通信制御部６１は、通信部５４等と協働して、画像形成装置１０等との通信動作を制御する処理部である。たとえば、通信制御部６１は、通信部５４等と協働して、外部端末５０における操作画面ＭＳの表示用画像等を受信する。
入力制御部６２は、操作入力部５６ａ（タッチパネル７５等）に対する操作入力動作を制御する制御部である。たとえば、入力制御部６２は、操作画面ＭＳに対するジェスチャ操作を受け付ける動作を制御する。
座標変換部６３は、タッチ操作に関する１点ないし２点のタッチ位置の座標値を、外部端末５０のタッチパネル７５における座標系の値から、画像形成装置１０のタッチパネル２５における座標系の値へと変換する処理部である。なお、変換後の座標値は、ジェスチャ操作の操作位置を示す位置情報（操作位置情報）ＭＰとして、通信制御部６１等によって画像形成装置１０に送信される。
判定部６４は、ジェスチャ操作（詳細にはタッチジェスチャ操作）の内容等を判定する処理部である。たとえば、判定部６４は、タッチパネル７５にて検出された位置情報ＭＰ（ジェスチャ操作に係る時系列の座標値等）に基づいて、外部端末５０におけるジェスチャ操作の内容を判定する。判定部６４は、操作者のタッチジェスチャ操作が、拡大操作、スライド操作などの複数の種類の操作のいずれに該当するか等、を判定するとともに、当該操作における拡大倍率等の各種パラメータを取得する。
表示制御部６５は、表示部５６ｂ（タッチパネル７５等）における表示動作を制御する処理部である。表示制御部６５は、画像形成装置１０を遠隔操作するための操作画面ＭＳ等をタッチパネル７５に表示させる。表示制御部６５の動作については後に詳述する。
＜４．動作＞
＜概略＞
つぎに、この画像形成システム１における動作について説明する。
この実施形態に係る画像形成システム１においては、外部端末５０のタッチパネル７５におけるジェスチャ操作（タッチジェスチャ操作）に応じて、タッチパネル７５に表示された操作画面に関する変倍処理（拡大処理および縮小処理）ならびにスライド処理等を行うことが可能である。
上述のように、操作画面ＭＳには２種類の領域ＲＳ，ＲＴが設けられる。
ユーザは、当該２種類の領域ＲＳ，ＲＴのそれぞれに対して変倍処理を施すことが可能である。ただし、一方の領域（プレビュー領域）ＲＳに対する拡大操作は、プレビュー領域ＲＳ内に表示された文書（表示対象文書）の拡大操作（部分的な拡大操作）を意味し、他方の領域ＲＴに対する拡大操作は操作画面を全体的に拡大すべき旨の拡大操作を意味する。
たとえば、図１０のような操作画面ＭＳ１が表示されている際に、操作画面ＭＳ１内においてプレビュー領域ＲＳ以外の領域ＲＴに対する拡大操作（ピンチアウト操作等）が行われると、たとえば図１１のような表示画面が新たな操作画面ＭＳ２として、タッチパネル７５に表示される。図１１は、図１２（図１０）において破線で囲まれる領域ＲＭ（ＲＭ２）が画面全体に拡大して表示された様子を示す図である。なお、図１２は、図１０の操作画面ＭＳ１の表示用画像Ｇ１と当該表示用画像Ｇ１のうち図１１の操作画面ＭＳ２で表示されている範囲（表示対象範囲）ＲＭとの関係を示す図である。
一方、図１０のような操作画面ＭＳ（ＭＳ１）が表示されている際に、プレビュー領域ＲＳに対する拡大操作（ピンチアウト操作等）が行われると、図１７のような表示画面が新たな操作画面ＭＳ（ＭＳ５）としてタッチパネル７５に表示される。図１７の新たな操作画面においては、タッチ操作の直前時点でタッチパネル７５に表示されていた操作画面のうちプレビュー領域ＲＳ内部のみが（選択的に）拡大されている。
この画像形成システム１においては、タッチパネル７５に表示された操作画面ＭＳに対する画像変更処理（拡大処理等）は基本的には外部端末５０側のみで実行される。ただし、プレビュー領域ＲＳに対する拡大操作が行われた場合には、当該拡大操作に応じた画像生成処理は、画像形成装置１０側で実行される。そして、処理結果である新たな表示用画像（更新画像）が画像形成装置１０から外部端末５０に転送され、外部端末５０において当該新たな表示用画像（更新画像）に基づく拡大表示が行われる。
より詳細には、画像形成装置１０の判定部１３は、外部端末５０から送信されてきた位置情報ＭＰ（ジェスチャ操作に関する座標値等）に基づいて、外部端末５０におけるジェスチャ操作が操作画面ＭＳ内のプレビュー領域ＲＳに対する操作であるか否かを判定する。また、画像生成部１５は、ジェスチャ操作がプレビュー領域ＲＳに対する操作である旨が判定されることを条件として、操作画面に関する更新画像（更新表示用画像とも称する）ＲＧ、より詳細にはジェスチャ操作によるプレビュー領域ＲＳに対する変更指示（ここでは拡大指示）を反映した更新画像ＲＧを生成する。そして、送信部４ａは、当該更新画像ＲＧを外部端末５０に送信する。
画像形成装置１０から送信されてきた更新画像ＲＧを外部端末５０の受信部５４ｂが受信すると、外部端末５０の表示制御部６５は、更新画像ＲＧに基づく表示画面を新たな操作画面ＭＳとして表示する。換言すれば、更新画像ＲＧが新たな表示用画像として用いられて新たな操作画面ＭＳが表示される。具体的には、位置情報ＭＰの送信時点Ｔ１から所定期間ＴＭ（たとえば、数百ミリ秒〜１秒）内に画像形成装置１０からの更新画像ＲＧが受信される場合には、表示制御部６５は、更新画像ＲＧに基づく表示画面を新たな操作画面として表示する。
一方、画像形成装置１０からの更新画像ＲＧが位置情報ＭＰの送信時点Ｔ１から所定期間ＴＭ内に受信されない場合には、表示制御部６５は、プレビュー領域ＲＳ以外の領域ＲＴに対してジェスチャ操作が行われた旨を判定する。そして、現在表示中の操作画面ＭＳに関する表示用画像に対してジェスチャ操作による変更指示（拡大指示等）に対応する画像処理（拡大処理等）を施して生成した表示画面を新たな操作画面として表示する。
このような動作について図４〜図９等を参照しながら更に説明する。図４は、画像形成装置１０の動作を示すフローチャートである。図５は、外部端末５０の動作を示すフローチャートである。図６および図７は、図５の一部の動作を詳細に示す図である。図４の処理ルーチンは、画像形成装置１０において微小時間Δｔ間隔（たとえば、数ミリ秒〜数百ミリ秒）で繰り返し実行される。同様に、図５の処理ルーチンは、外部端末５０において微小時間Δｔ間隔で繰り返し実行される。また、図８および図９は、画像形成システム１における動作例を示す図である。図８は、プレビュー領域ＲＳに対する拡大操作が行われた際の動作を示す図であり、図９は、プレビュー領域ＲＳ以外の領域ＲＴに対する拡大操作が行われた際の動作を示す図である。
まず、外部端末５０のタッチパネル７５に対するユーザによるタッチ操作が行われると、外部端末５０（詳細には入力制御部６２）は、当該タッチ操作におけるタッチ座標値を検出する。たとえば、マルチタッチ操作における複数のタッチ位置を示す複数の点の座標値（タッチ座標値）が検出される。より詳細には、複数のタッチ位置に関してそれぞれ時系列のタッチ座標値が検出される。タッチ座標が検出されると、図５のステップＳ３１からステップＳ３２に進む。タッチ座標がステップＳ３１において検出されない場合には、図５の処理ルーチンは、一旦終了し、微小時間Δｔ後に再び呼び出されて実行される。
また、外部端末５０（詳細には座標変換部６３）は、検出された各座標値を、画像形成装置１０のタッチパネル２５におけるパネル座標系の座標値（パネル座標値）に変換する（ステップＳ３２）。そして、外部端末５０（詳細には送信部５４ａ）は、変換後の座標値（パネル座標値）を、タッチ操作に関する位置情報ＭＰとして画像形成装置１０に送信する（ステップＳ３３）。このようにして、ユーザによるタッチ操作（ジェスチャ操作）に関する位置情報ＭＰが外部端末５０から画像形成装置１０に送信される。
一方、画像形成装置１０は、図４のステップＳ１１において、タッチ座標を受信するとステップＳ１１からステップＳ１２に進む。タッチ座標が受信されない場合には、図４の処理ルーチンは、一旦終了し、微小時間Δｔ後に再び呼び出されて実行される。
次のステップＳ１２においては、画像形成装置１０（詳細には判定部１３）は、外部端末５０から送信されてくるタッチ座標の経時変化に基づいてジェスチャ種類の判定動作を実行する。たとえば、２つのタッチ位置の相互間距離が座標が時間経過に従って増大しているときには、当該ジェスチャ操作がピンチアウト操作（マルチタッチ操作）による変倍指示操作（単に変倍操作とも称する）である旨が判定される。あるいは、タッチ位置が１つであり、当該タッチ位置が時間経過に従って移動しているときには、当該ジェスチャ操作がスライド操作（シングルタッチ操作）によるスライド移動指示操作（単にスライド操作とも称する）である旨が判定される。その後、他の操作種類等も判定される。
また、各種の指示操作（変倍操作あるいはスライド操作等）に関する詳細指示情報も取得される。たとえば、変倍指示操作において指示された変倍率（たとえば、拡大倍率「１５０％」等）および変倍指示操作において指示されたシフト位置ＰＳ（ＸＳ，ＹＳ）が取得される。あるいは、スライド操作において指示されたシフト位置ＰＳ（ＸＳ，ＹＳ）が取得される。
ステップＳ１３においては、ジェスチャ操作が複数の特定の操作（ここでは変倍操作およびスライド操作）のいずれかに該当するか否かが判定される。ジェスチャ操作が特定の操作である場合にはステップＳ１４に進み、ジェスチャ操作が特定の操作でない場合には図４のルーチン処理は終了する。
ステップＳ１４においては、当該特定の操作がプレビュー領域ＲＳに対して行われたものか否かが判定される。具体的には、タッチ座標値（詳細には複数のタッチ座標値の平均値）がプレビュー領域ＲＳ内の値であるか否かに基づいて判定される。このように、外部端末５０から送信されてきた位置情報ＭＰ（ジェスチャ操作に関する座標値等）に基づいて、外部端末５０におけるジェスチャ操作が操作画面ＭＳ内のプレビュー領域ＲＳに対する操作であるか否かが判定される。当該判定処理は、画像形成装置１０の判定部１３によって実行される。
タッチ座標値がプレビュー領域ＲＳ以外の領域ＲＴの値である場合には、当該特定の操作がプレビュー領域ＲＳ以外の領域ＲＴに対して行われたものと判定され、図４の処理ルーチンは終了する。
一方、タッチ座標値がプレビュー領域ＲＳ内の値である場合には、当該特定の操作がプレビュー領域ＲＳに対して行われたものと判定され、ステップＳ１５に進む。
ステップＳ１５では、タッチパネル７５の操作画面ＭＳに関する更新表示用の画像（更新画像）ＲＧ（たとえばＧ５）が生成される。当該更新画像ＲＧは、ジェスチャ操作によるプレビュー領域ＲＳに対する変更指示を反映した画像である。
ステップＳ１６では、画像形成装置１０（詳細には送信部４ａ）は、当該更新画像ＲＧを外部端末５０に送信する。
このように、ジェスチャ操作がプレビュー領域ＲＳに対する操作である旨が判定されることを条件として、画像形成装置１０は更新画像ＲＧを生成し当該更新画像ＲＧを外部端末５０に送信する（図８も参照）。
たとえば、図１０の操作画面ＭＳが表示されている際に、プレビュー領域ＲＳに対する拡大操作が行われると、図１７のような更新画像ＲＧ（Ｇ５）が画像形成装置１０によって生成される。そして、当該更新画像ＲＧ（Ｇ５）が画像形成装置１０から外部端末５０に送信される。更新画像Ｇ５（図１７）においては、プレビュー領域ＲＳ内部のみの表示倍率が（たとえば１００％から１５０％に）変更されている。
再び図５を参照する。
ステップＳ３３の次のステップＳ３４において、外部端末５０においてもジェスチャ判定処理が実行される。具体的には、外部端末５０（詳細には判定部６４）は、検出されたタッチ座標の経時変化に基づいてジェスチャ種類の判定動作を実行する。ステップＳ１２と同様に、タッチ座標の経時変化で示されるジェスチャ操作が、変倍操作（ピンチ操作）およびスライド操作等のいずれに該当するかが判定される。また、変倍操作あるいはスライド操作に関する詳細指示情報も取得される。このようにして、ジェスチャ操作の内容に関する情報が取得される。
ステップＳ３５では、ジェスチャ判定結果に基づく分岐処理が行われる。変倍操作およびスライド操作のいずれにも該当しない場合には、ステップＳ４０に進み、フラグリセット処理（フラグＦＧの値をリセットする処理）が行われる。一方、変倍操作およびスライド操作のいずれかに該当する場合には、ステップＳ３６に進む。
ステップＳ３６では、フラグＦＧがオン状態（ＦＧ＝１）であるか否かに基づく分岐処理が行われる。フラグＦＧがオン状態を有している場合にはステップＳ４１に進み、フラグＦＧがオフ状態を有している場合にはステップＳ３７に進む。フラグＦＧは、初期状態ではゼロ（オフ状態）に設定されており、後述するように、プレビュー領域ＲＳ以外の領域ＲＴに対する拡大操作がなされている旨が判定されるとフラグＦＧはオン状態に変更され、当該拡大操作が継続されている期間においてフラグＦＧのオン状態が継続される。
ステップＳ３７においては、ステップＳ３３における送信時点Ｔ１から所定期間ＴＭ（たとえば数百ミリ秒）が経過した（タイムアウトした）か否かが判定される。送信時点Ｔ１から所定期間ＴＭが経過しているときにはステップＳ４１に進み、送信時点Ｔ１から所定期間ＴＭが経過していないときにはステップＳ３８に進む。ステップＳ３８では、画像形成装置１０からの更新画像ＲＧを受信したか否かが判定され、未だ受信されていない場合にはステップＳ３７に戻る。ステップＳ３７，Ｓ３８により構成される待ちループにおいて、タイムアウトする前に更新画像ＲＧが受信された場合には、ステップＳ３８からステップＳ３９に進む。一方、更新画像ＲＧが受信されずにタイムアウトした場合には、ステップＳ４１に進む。
ステップＳ３９においては、受信した更新画像ＲＧを用いて表示更新処理が実行される（図６参照）。具体的には、受信した更新画像ＲＧを、ジェスチャ操作前の表示範囲パラメータＰＭ（変倍率およびシフト位置等）に基づいて表示する（ステップＳ５１）。ステップＳ３９では、表示範囲パラメータＰＭとして、格納部５５に保存されている値（更新前の値）が用いられる。また、ステップＳ５２では、当該表示範囲パラメータＰＭが変更されずにそのまま維持される。その後、ステップＳ４０に進み、フラグＦＧがリセット（ＦＧ＝０）され、図５の処理は終了する。
一方、ステップＳ４１においては、フラグＦＧがオン状態（ＦＧ＝１）に変更され、ステップＳ４２（図７参照）に進む。ステップＳ４２では、現在表示中の操作画面に関する表示用画像に対して、ジェスチャ操作による変更指示に対応する画像処理（具体的には、当該表示用画像から表示対象範囲の画像を抽出する抽出処理、および当該表示対象範囲の画像を変倍（拡大ないし縮小）する変倍処理等）をジェスチャ操作による変更後の表示範囲パラメータＰＭに基づいて施して生成した表示画面が、新たな操作画面として表示される（図１１および図１２等参照）。ステップＳ４２で利用されるジェスチャ操作による変更後の表示範囲パラメータＰＭは、当該ジェスチャ操作での指示内容（変倍率、シフト位置等）と格納部５５に保存されているジェスチャ操作前の表示範囲パラメータＰＭ（更新前のパラメータ値）とに基づいて算出（決定）される。また、算出（決定）された表示範囲パラメータＰＭは、当該ジェスチャ操作による変更後の新たな表示範囲パラメータＰＭとして、更新保存される（ステップＳ６３，Ｓ６５（図７））。ステップＳ４２が終了すると、図５の処理は一旦終了する。
＜プレビュー領域に関する拡大処理＞
つぎに、より具体的な動作例について説明する。以下では、
（１）プレビュー領域ＲＳに対する拡大操作が最初に行われる際の動作、
（２）プレビュー領域ＲＳ以外の領域ＲＴに対する拡大操作が最初に行われる際の動作、
（３）上記（２）の動作等の後にプレビュー領域ＲＳに対する拡大操作が行われる際の動作、
についてさらに詳細に説明する。
まず、（１）プレビュー領域ＲＳに対する拡大操作が最初に行われる際における動作、について説明する。
具体的には、図１０の操作画面ＭＳ１が表示されている際に、プレビュー領域ＲＳに対する拡大操作が行われると、図１７のような更新画像ＲＧ（Ｇ５）が表示される。このような更新動作等について説明する。
まず、外部端末５０において、図５のステップＳ３１でタッチ座標が検出され、ステップＳ３２〜Ｓ３３の処理が順次に行われる。一方、画像形成装置１０においては、図４のステップＳ１１でタッチ座標が受信され、ステップＳ１２，Ｓ１３，Ｓ１４，Ｓ１５，Ｓ１６の各処理が順次実行される。特にステップＳ１３ではジェスチャ操作が拡大処理である旨が判定され、ステップＳ１４ではタッチ座標値がプレビュー領域ＲＳ内である旨が判定される（図８も参照）。そして、図１７のような更新画像ＲＧ（Ｇ５）が生成され（ステップＳ１５）、当該更新画像Ｇ５が外部端末５０に送信される（ステップＳ１６）。更新画像Ｇ５は、プレビュー領域ＲＳにおいてのみ、元の表示用画像Ｇ１と異なる内容を有している。
また、外部端末５０は、ステップＳ３４以降において次のような処理を実行する。
ステップＳ３４においては、ジェスチャ判定処理およびジェスチャ操作に関する詳細指示情報の取得処理が実行される。また、ジェスチャ操作が拡大操作である旨が判定されることに応じて、ステップＳ３５からステップＳ３６に進む。また、フラグＦＧは初期状態ではオフ状態を有しているため、ステップＳ３６からステップＳ３７へと進み、ステップＳ３７，Ｓ３８のループ処理に進む。そして、ステップＳ３７でタイムアウトする前に、画像形成装置１０からの更新画像Ｇ５が受信され、ステップＳ３８から、ステップＳ３９（図６）およびステップＳ４０に進む。ステップＳ３９（詳細にはステップＳ５１（図６））においては、受信した更新画像Ｇ５が、格納部５５に保存されている表示範囲パラメータＰＭ（ジェスチャ操作前の表示範囲パラメータＰＭ）に基づいて表示される。詳細には、ジェスチャ操作前の表示範囲パラメータＰＭ（ＰＭ１）を用いた表示対象範囲決定処理（更新画像ＲＭのうち表示対象範囲を決定する処理）が施されて更新画像ＲＭ（Ｇ５）に基づく表示画面が生成され、当該表示画面が新たな操作画面ＭＳ（ＭＳ５）として表示される（図１７参照）。換言すれば、ジェスチャ操作前の表示範囲パラメータＰＭ（ＰＭ１）に基づく画像処理（表示対象範囲ＲＭを抽出する処理）が更新画像Ｇ５に施されて表示画面が生成され、当該表示画面が新たな操作画面ＭＳとして表示される。ここでは、表示範囲パラメータ（変倍率およびシフト位置）ＰＭは、初期状態の値ＰＭ１（詳細には、変倍率は１００％、シフト位置はＰｓ（０，０））のままであるものとする。
これにより、図１７のような操作画面ＭＳ（ＭＳ５）が表示され、プレビュー領域ＲＳ内部のみを拡大する部分的な拡大操作が実現される。操作画面ＭＳ５全体の変倍率は１００％である一方、プレビュー領域ＲＳ内のプレビュー画像（文書をプレビューするための模擬画像）の変倍率は、たとえば１５０％である。
また、操作者が手指をタッチパネル２５から離さずにプレビュー領域ＲＳに対する拡大操作を継続すると、上記と同様の処理が繰り返し実行される。具体的には、外部端末５０においてはステップＳ３１〜Ｓ４０の各処理（ステップＳ３７，Ｓ３８に関するループ処理を含む）が実行される。一方、画像形成装置１０においてはステップＳ１１〜Ｓ１６の各処理が実行される。このような処理が繰り返し実行されることにより、外部端末５０において、プレビュー領域ＲＳのみ（換言すれば、プレビュー領域ＲＳ内の表示対象文書）を更に拡大した各画像（たとえば、１７０％，１８０％，２００％，...の各拡大画像）が順次に表示される。なお、プレビュー領域ＲＳ以外の領域ＲＴは、当初の表示倍率１００％で引き続き表示される（拡大されずに表示される）。
その後、操作者が拡大操作を終了すると、ステップＳ３１あるいはステップＳ３５からステップＳ４０に進む。たとえば、操作者が２本の手指のうちの１本のみをタッチパネル２５から離して拡大操作を終了すると、ステップＳ３５からステップＳ４０に進む。操作者が２本の手指の双方をタッチパネル２５から離して拡大操作を終了すると、ステップＳ３１からステップＳ４０に進む。
＜操作画面全体に関する拡大処理＞
次に、（２）プレビュー領域ＲＳ以外の領域に対する拡大操作が最初に行われる際における動作について詳細に説明する。
図１０の操作画面ＭＳ（ＭＳ１）がタッチパネル７５に表示されている際に、プレビュー領域ＲＳ以外の領域ＲＴに対する拡大操作が行われると、たとえば図１１のような拡大画像Ｇ２が表示される。このような動作について説明する。
この場合、外部端末５０においては、図５のステップＳ３１でタッチ座標が検出され、ステップＳ３２〜Ｓ３３の処理が順次に行われる。一方、画像形成装置１０においては、図４のステップＳ１１でタッチ座標を受信し、ステップＳ１２，Ｓ１３，Ｓ１４の各処理が順次実行される。ただし、ステップＳ１４では、タッチ座標値がプレビュー領域ＲＳの外である旨が判定され、ステップＳ１５，Ｓ１６の各処理は実行されない。すなわち、更新画像ＲＧの生成処理および送信処理は行われない。
また、外部端末５０は、ステップＳ３４以降において次のような処理を実行する。
ステップＳ３４においては、ジェスチャ判定処理およびジェスチャ操作に関する詳細指示情報の取得処理が実行される。また、ジェスチャ操作が拡大操作である旨が判定されることに応じて、ステップＳ３５からステップＳ３６に進む。フラグＦＧは初期状態ではオフ状態を有しているため、ステップＳ３６からステップＳ３７へと進み、ステップＳ３７，Ｓ３８のループ処理に進む。上述のように、領域ＲＴに対する操作に関しては、画像形成装置１０側では更新画像ＲＧの生成および送信動作（ステップＳ１５，Ｓ１６）が実行されないため、外部端末５０は、画像形成装置１０からの更新画像ＲＧを受信できない。したがって、ステップＳ３７でタイムアウトが発生してステップＳ４１に進む。ステップＳ４１ではフラグＦＧがオン状態に変更され、ステップＳ４２に進む。
ステップＳ４２では、外部端末５０で表示中の画像に基づく拡大表示処理等が行われる。具体的には、図７に示すような処理が実行される。
まず、ステップＳ６１において、ジェスチャ操作が変倍操作であるかスライド操作であるかに応じた分岐処理が実行される。
ジェスチャ操作が変倍操作である場合には、ステップＳ６２に進む。ステップＳ６２では、外部端末５０のタッチパネル７５において現在表示されている操作画面ＭＳの画像に基づく表示が行われる。詳細には、外部端末５０の表示制御部６５は、ジェスチャ操作による変更後の表示範囲パラメータＰＭ（変倍率およびシフト位置）に基づいて、当該表示中の操作画面ＭＳの表示用画像Ｇ１の表示対象範囲ＲＭを変更して表示する画像Ｇ２（表示画面）を生成し、当該画像Ｇ２をタッチパネル７５に表示する。換言すれば、表示制御部６５は、現在表示中の操作画面ＭＳ１に関する表示用画像Ｇ１の表示対象範囲をジェスチャ操作による変更後の表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面ＭＳ２として表示する。より詳細には、たとえば、変更後の変倍率「２００％」およびシフト位置Ｐ２（Ｘ２，Ｙ２）に基づき、元の画像Ｇ１のうちの表示対象範囲ＲＭ２（図１２参照）を拡大して示す拡大画像Ｇ２が生成され、当該拡大画像Ｇ２が新たな操作画面ＭＳとしてタッチパネル７５の全体に表示される（図１１参照）。また、ステップＳ６３では、表示制御部６５は、変更後の表示範囲パラメータＰＭを格納部５５に更新保存する。
これにより、たとえば、図１１に示すように、表示用画像Ｇ１における部分領域ＲＭ（図１２参照）を画面全体に拡大した画像（たとえば２００％の部分拡大画像）が新たな操作画面ＭＳ（ＭＳ２）として外部端末５０のタッチパネル７５に表示される。
なお、ジェスチャ操作がスライド操作である場合には、ステップＳ６４に進む。ステップＳ６４では、外部端末５０のタッチパネル７５において現在表示されている操作画面ＭＳの画像に基づく表示が行われる。具体的には、当該画像の表示対象範囲がスライド移動され、当該画像が表示される。
また、操作者が手指をタッチパネル２５から離さずにプレビュー領域ＲＳ以外の領域ＲＴに対する拡大操作を継続すると、ステップＳ３６の処理以外は、上記と同様の処理が繰り返し実行される。具体的には、外部端末５０においてはステップＳ３１〜Ｓ３３の各処理が実行される。一方、画像形成装置１０においてはステップＳ１１〜Ｓ１４の各処理が実行され、ステップＳ１５，Ｓ１６の各処理は実行されない。また、外部端末５０は、ステップＳ３６においてフラグＦＧがオン状態である旨を判定し、直ちにステップＳ４１に進む。そして、ステップＳ４２の処理が実行される。
これにより、外部端末５０において、領域ＲＴにおける操作位置付近の部分領域をさらに拡大した画像（たとえば２１０％の部分拡大画像）が表示される。
特に、フラグＦＧの値が「１」（オン状態）に変更されているため、ステップＳ３７，Ｓ３８のループ処理には入らず、ステップＳ３６から直ちにステップＳ４１，Ｓ４２に進むため、外部端末５０側での拡大処理等が直ちに実行される。
また、操作者が手指をタッチパネル２５から離さずにプレビュー領域ＲＳ以外の領域ＲＴに対する拡大操作をさらに継続することによって、上記のような動作が繰り返され、操作画面の操作位置付近の部分領域をさらに拡大した画像（２２０％，２３０％，...等の各部分拡大画像）が順次に表示される。
特に、拡大操作が継続される際において、フラグＦＧのオン状態（ＦＧ＝「１」）は継続されるため、ステップＳ３７，Ｓ３８のループ処理には入らず、ステップＳ３６から直ちにステップＳ４１，Ｓ４２に進む。換言すれば、プレビュー領域ＲＳ以外の領域ＲＴに対してジェスチャ操作が行われた旨が一旦判定され且つ当該ジェスチャ操作が継続中であると判定される場合には、画像形成装置１０からの新たな更新画像ＲＧの到達を待つことなく、外部端末５０側での拡大処理等（ステップＳ４２）が直ちに実行される。より詳細には、外部端末５０は、継続中のジェスチャ操作における最新の表示範囲パラメータＰＭを決定し、現在表示中の操作画面に関する表示用画像Ｇ１の表示対象範囲ＲＭを最新の前記表示範囲パラメータＰＭに基づいて変更して生成した表示画面を、最新の操作画面ＭＳとして表示する。このような処理が繰り返し実行される。したがって、外部端末５０において画像の拡大処理が非常に滑らかに行われ得る。
なお、その後、操作者が拡大操作を終了すると、上述のように、ステップＳ３１あるいはステップＳ３５からステップＳ４０に進む。ステップＳ４０ではフラグＦＧがリセットされ（ＦＧ＝０）、その後、新たなジェスチャ操作が受け付けられる。
＜操作画面拡大処理後におけるプレビュー領域に関する拡大処理＞
つぎに、（３）上記（２）の動作等の後にプレビュー領域ＲＳに対する拡大操作が行われる際の動作、について説明する。
図１１の操作画面ＭＳ２が表示されている際に、プレビュー領域ＲＳ以外の領域ＲＴに対するスライド操作が行われると、画像Ｇ１における表示対象範囲ＲＭが範囲ＲＭ２（図１２）から範囲ＲＭ３（図１４）に変更され、図１３の操作画面ＭＳ３が表示される。
詳細には、範囲ＲＭ３を示す表示範囲パラメータＰＭ（ＰＭ３）は、範囲ＲＭ２を示す表示範囲パラメータＰＭ（ＰＭ２）に対して、同じ変倍率（たとえば「２００％」）を有するとともに、異なるシフト位置Ｐ５（Ｘ５，Ｙ５）を有する。スライド操作による変更後の表示範囲パラメータＰＭ３は、スライド移動操作の内容（スライド移動量等）とスライド移動操作前の表示範囲パラメータＰＭ３とに基づいて決定される。現在表示中の操作画面ＭＳ２に関する表示用画像Ｇ１に対してスライド変更指示に対応する画像処理（部分抽出処理および拡大処理等）をこの表示範囲パラメータＰＭ３に基づいて施した表示画面（画像Ｇ１の部分画像Ｇ３）が生成され、当該表示画面が新たな操作画面ＭＳ３としてタッチパネル７５の全体に表示される（図１３参照）。図１３は、図１４（図１０）における破線で囲まれる領域ＲＭ（ＲＭ３）がタッチパネル７５の画面全体に拡大して表示された様子を示す図である。なお、ステップＳ６５では、表示制御部６５は、変更後の表示範囲パラメータＰＭが格納部５５に保存される。
以下では、さらにその後、プレビュー領域ＲＳに対する拡大操作が行われる際の動作について説明する。なお、図１５の操作画面ＭＳ４は、図１３の操作画面ＭＳ３にてプレビュー領域ＲＳに対する拡大操作がさらに行われた後に表示される操作画面である。
図１３の操作画面ＭＳ３が表示されている状況において、操作者が領域ＲＴではなく今度はプレビュー領域ＲＳに対する拡大操作を実行する場面を想定する。
この場合、外部端末５０においては、図５のステップＳ３１でタッチ座標が検出され、ステップＳ３２〜Ｓ３３の処理が順次に行われる。一方、画像形成装置１０においては、図４のステップＳ１１でタッチ座標を受信し、ステップＳ１２，Ｓ１３，Ｓ１４，Ｓ１５，Ｓ１６の各処理が順次実行される。特にステップＳ１３ではジェスチャ操作が拡大処理である旨が判定され、ステップＳ１４ではタッチ座標値がプレビュー領域ＲＳ内である旨が判定される（図８も参照）。そして、図１７のような更新画像Ｇ５が生成され（ステップＳ１５）、当該更新画像Ｇ５が外部端末５０に送信される（ステップＳ１６）。
また、外部端末５０は、ステップＳ３４以降において次のような処理を実行する。具体的には、拡大操作である旨がステップＳ３５で判定されステップＳ３６に進む。また、フラグＦＧはオフ状態を有しており、ステップＳ３６からステップＳ３７へと進み、ステップＳ３７，Ｓ３８のループ処理に進む。そして、ステップＳ３７でタイムアウトする前に、画像形成装置１０からの更新画像Ｇ５が受信され、ステップＳ３８からステップＳ３９（図６）に進む。ステップＳ３９（詳細にはステップＳ５１（図６））においては、受信した更新画像Ｇ５が、格納部５５に保存されている表示範囲パラメータＰＭ３に基づいて表示される。詳細には、ジェスチャ操作前の表示範囲パラメータＰＭ３を用いた表示対象範囲決定処理（更新画像ＲＭのうち表示対象範囲を決定する処理）が施されて更新画像ＲＭ（Ｇ５）に基づく表示画面が生成され、当該表示画面が新たな操作画面ＭＳ（ＭＳ４）として表示される（図１５参照）。換言すれば、詳細には、ジェスチャ操作前の表示範囲パラメータＰＭ３に基づく画像処理（表示対象範囲ＲＭを抽出する処理）が更新画像Ｇ５に施されて表示画面が生成され、当該表示画面が新たな操作画面ＭＳ４として表示される（図１５参照）。表示範囲パラメータＰＭ３は、図１３の操作画面ＭＳ３に対応する表示対象範囲（図１４に示すような表示対象範囲ＲＭ３）を示す値を有している。換言すれば、操作画面ＭＳ３内のプレビュー領域ＲＳに対する更なる拡大操作直前の表示範囲パラメータＰＭ３がそのまま利用される。具体的には、たとえば、変倍率は２００％であり、シフト位置はＰ５（Ｘ５，Ｙ５）である。なお、図１６は、図１７の操作画面ＭＳ５の表示用画像（更新画像）Ｇ５と当該表示用画像Ｇ５のうち図１５の操作画面ＭＳ４で表示されている範囲（表示対象範囲）ＲＭ４との関係を示す図である。表示対象範囲ＲＭ４は、表示対象範囲ＲＭ３と同一である。
このようにして、図１５のような操作画面ＭＳ４が表示される。操作画面全体の変倍率は２００％である一方、プレビュー領域ＲＳ内のプレビュー画像の倍率は、たとえば３００％（＝２００％×１５０％）であり、プレビュー領域ＲＳ内における部分的な拡大操作が実現される。なお、プレビュー領域ＲＳ内部の拡大倍率（３００％）は、プレビュー領域ＲＳ以外の領域ＲＴの拡大倍率（２００％）に対して、相対的に１５０％の拡大倍率を有している。
また、操作者が手指をタッチパネル２５から離さずにプレビュー領域ＲＳに対する拡大操作を継続すると、上記と同様の処理が繰り返し実行される。具体的には、外部端末５０においてはステップＳ３１〜Ｓ４０の各処理（ステップＳ３７，Ｓ３８に関するループ処理を含む）が順次に実行される。一方、画像形成装置１０においてはステップＳ１１〜Ｓ１６の各処理が順次に実行される。これにより、外部端末５０において、最新の操作画面ＭＳが表示される。この最新の操作画面ＭＳ内のプレビュー領域ＲＳにおいては、表示対象文書の一部をさらに拡大した画像（たとえば３２０％，３４０％，...の部分拡大画像）が表示される。なお、プレビュー領域ＲＳ以外の領域に関しては、プレビュー領域ＲＳに対する拡大操作前の表示倍率２００％で、引き続き表示される（拡大倍率が変更されずに表示される）。
その後、操作者がプレビュー領域ＲＳに対する拡大操作を終了すると、ステップＳ３１あるいはステップＳ３５からステップＳ４０に進む。ステップＳ４０ではフラグＦＧがリセットされ（ＦＧ＝０）、その後、新たなジェスチャ操作が受け付けられる。
＜５．実施形態における効果等＞
以上のような態様によれば、外部端末５０の操作者は、タッチパネル７５に表示された操作画面ＭＳに関して２種類の拡大操作を行うことが可能である。
１つの拡大操作は、プレビュー領域ＲＳに対する拡大操作を伴うものである。具体的には、操作者がプレビュー領域ＲＳに対する拡大操作を行うと、当該プレビュー領域ＲＳ内の表示対象物（表示対象文書のプレビュー画像）のみが拡大されて表示される。このとき、プレビュー領域ＲＳは当該拡大操作で指示された変倍率（表示倍率）で表示され、プレビュー領域ＲＳ以外の領域ＲＴは当該拡大操作前と同じ変倍率（表示倍率）で表示される。
もう１つの拡大操作は、プレビュー領域ＲＳ以外の領域ＲＴに対する拡大操作を伴うものである。具体的には、操作者がプレビュー領域ＲＳ以外の領域ＲＴに対する拡大操作を行うと、２つの領域ＲＴ，ＲＳの双方を含む全体領域ＲＬが拡大され得る。このとき、２つの領域ＲＳ、ＲＴは、いずれも当該拡大操作で指示された拡大率（表示倍率）で拡大されて表示される。
ところで、このような２種類の拡大操作の実現にあたっては、画像形成装置１０側で常に更新画像を生成して外部端末５０に送信することも考えられる。しかしながら、そのような手法においては、例えば領域ＲＴに対する拡大操作が行われるごとに（微小時間間隔で）生成された表示用データが画像形成装置１０から外部端末５０へと頻繁に送信されるため、通信トラフィックが増大するという問題が生じる。また、全ての画像生成処理が画像形成装置１０において実現されるため、画像形成装置１０の処理負担が大きいという問題も存在する。
一方、この実施形態においては、このような２種類の拡大操作の実現にあたって、プレビュー領域ＲＳに対する拡大操作に応じた画像処理（画像拡大処理等）は画像形成装置１０によって実現される一方で、領域ＲＴに対する拡大操作に応じた画像処理（画像拡大処理等）は外部端末５０によって実現される。したがって、全ての画像生成処理が画像形成装置１０において実現される場合に比べて、画像形成装置１０の処理負担が軽減される。また、通信トラフィックを抑制することも可能である。
また、画像形成装置１０の処理負荷を減らす他の手法としては、逆に外部端末５０側で全ての処理を実行することも考えられる。しかしながら、そのような手法においては、多数のデータ（多数の操作画面の画像データ等）を外部端末５０側で保持することを要するとともに、各種の処理が煩雑になるという問題が存在する。
これに対して、上記実施形態においては、画像形成装置１０での実行処理と外部端末５０での実行処理とが適切に分配されており、上述の各種の問題を解消することが可能である。
具体的には、画像形成装置１０において、外部端末５０から送信されてきた位置情報ＭＰ（タッチ座標値）に基づいて、ユーザのジェスチャ操作が操作画面ＭＳの特定領域ＲＳに対する操作であるか否かが判定される。より詳細には、タッチパネル７５におけるジェスチャ操作（タッチ操作）がプレビュー領域ＲＳに対するものであるかプレビュー領域ＲＳ以外の領域ＲＴに対するものであるかが判定される。
そして、ジェスチャ操作が特定領域ＲＳに対する操作である旨が判定されることを条件として、画像形成装置１０は、操作画面ＭＳに関する更新画像ＲＧ、より詳細には、ジェスチャ操作による特定領域ＲＳに対する変更指示を反映した更新画像ＲＧを生成する。具体的には、ジェスチャ操作が領域ＲＴに対する操作であると判定されると、図９に示すように、画像形成装置１０は操作画面ＭＳに関する更新画像ＲＧを生成しない。一方、ジェスチャ操作がプレビュー領域ＲＳに対する操作であると判定されると、図８に示すように、画像形成装置１０は操作画面ＭＳに関する更新画像ＲＧを生成する。
更新画像ＲＧが生成されると、当該更新画像ＲＧは画像形成装置１０から外部端末５０に送信される。
また、外部端末５０は、画像形成装置１０から送信されてきた更新画像ＲＧ（Ｇ５）に基づく表示画面（ＭＳ４（図１５），ＭＳ５（図１７）等）を新たな操作画面ＭＳとして表示する。換言すれば、外部端末５０は、画像形成装置１０から更新画像ＲＧが送信されてくることを条件として、更新画像ＲＧに基づく表示画面を新たな操作画面として表示する。
具体的には、画像形成装置１０からの更新画像ＲＧが位置情報ＭＰの送信時点Ｔ１から所定期間ＴＭ内に受信される場合には、外部端末５０は、更新画像ＲＧに基づく表示画面を新たな操作画面ＭＳとして表示する。一方、画像形成装置１０からの更新画像ＲＧが位置情報ＭＰの送信時点Ｔ１から所定期間ＴＭ内に受信されない場合には、外部端末５０は、プレビュー領域ＲＳ以外の領域ＲＴに対してジェスチャ操作が行われた旨を判定する。そして、外部端末５０は、現在表示中の操作画面ＭＳ１（図１０）に関する表示用画像Ｇ１に対してジェスチャ操作による変更指示（拡大指示）に対応する画像処理（画像拡大処理）を施して生成した表示画面ＭＳ２（図１１）を新たな操作画面ＭＳとして表示する。換言すれば、外部端末５０は、現在表示中の操作画面ＭＳ１（図１０）に関する表示用画像Ｇ１の表示範囲を変更して生成した表示画面ＭＳ２（図１１）を新たな操作画面ＭＳとして表示する。
このように、外部端末５０は、所定時間ＴＭ内における更新画像ＲＧの送信の有無に基づく判定処理等を行う。
以上のような動作によれば、画像形成システム１（特に外部端末５０）において、操作者による操作画面内の２種類の領域に対するジェスチャ操作を適切に区別することが可能であるとともに、各ジェスチャ操作に対応する適切な変更画像をタッチパネル７５に表示することが可能である。
ここにおいて、上記プレビュー領域ＲＳに対する拡大操作が行われたのか或いはプレビュー領域ＲＳ以外の領域ＲＴに対する拡大操作が行われたのかを画像形成装置１０で判断し、拡大後の画像を画像形成装置１０が生成して外部端末５０に送信するだけでは、次のような問題が生じ得る。ここでは、外部端末５０が、受信した更新画像を当該拡大操作によって指示された拡大倍率（拡大操作による変更後の拡大倍率）で更に拡大しようとする処理を行う場合を仮定する。
具体的には、たとえば図１０等の表示状態において、まずプレビュー領域ＲＳ内のプレビュー画像のみを拡大しようとして操作者がプレビュー領域ＲＳに対する拡大操作（１５０％）を行うと、画像形成装置１０がプレビュー領域ＲＳの拡大を伴った画像を生成して外部端末５０に送信する。外部端末５０は、上記仮定が成立する場合には、操作者による拡大操作の対象がプレビュー領域ＲＳであるかそれ以外の領域ＲＴであるかを区別せず、受信した画像を当該拡大操作で指示された拡大倍率（１５０％）で更に拡大しようとする。そのため、操作者はプレビュー領域ＲＳのみの拡大を行うことを意図したにもかかわらず、外部端末５０は、プレビュー領域ＲＳとプレビュー領域ＲＳ以外の領域ＲＴとの双方を含む全体領域ＲＬを当該拡大倍率（１５０％）で拡大する。その結果、プレビュー領域ＲＳ以外の領域ＲＴ（拡大を意図していない領域ＲＴ）が当該拡大倍率（１５０％）で拡大されてしまう。また、プレビュー領域ＲＳは、画像形成装置１０側で当該拡大倍率で拡大されるとともに外部端末５０側でも当該拡大倍率で拡大されるため、当該拡大倍率の自乗（２乗）の拡大倍率（２２５％（＝１５０％＊１５０％））で拡大される。その結果、操作者の意図とは異なる操作画面ＭＳが表示される。このように、操作者の意図を適切に反映させることが困難である。
一方、上記実施形態においては、外部端末５０は、操作画面に関する表示範囲パラメータＰＭ（詳細には、ジェスチャ操作前の表示範囲パラメータ）を格納部５５に記憶している。より具体的には、ジェスチャ操作（ここでは拡大操作）前における２種類のパラメータの値（変倍率「１００％」およびシフト位置Ｐｓ（０，０））が表示範囲パラメータＰＭとして格納部５５に記憶される。そして、ジェスチャ操作が特定領域ＲＳに対する操作である旨が画像形成装置１０で判定されることを条件として更新画像ＲＧが生成され外部端末５０に送信されると、外部端末５０は更新画像ＲＧを受信する。外部端末５０は、更新画像ＲＧを受信する場合には特定領域ＲＳに対するジェスチャ操作（拡大操作）が行われた旨を判定するとともに、拡大操作「前」における表示範囲パラメータＰＭ（具体的には、２種類のパラメータの値（変倍率「１００％」およびシフト位置Ｐｓ（０，０）））を用いて、当該更新画像ＲＧを拡大操作直前の表示倍率（１００％）で表示する。詳細には、プレビュー領域ＲＳ以外の領域ＲＴを拡大操作直前の表示倍率（１００％）で表示するとともに、更新画像ＲＧのプレビュー領域ＲＳも拡大操作直前の表示倍率（１００％）で表示する。ただし、画像形成装置１０で生成された更新画像ＲＧのプレビュー領域ＲＳは、更新前の画像Ｇ１のプレビュー領域ＲＳに対して、拡大操作における指定倍率（１５０％）で既に拡大されている。これにより、プレビュー領域ＲＳ内のプレビュー画像のみが拡大操作における指定倍率（１５０％）で拡大され、操作者の意図した通りの拡大処理が実現される。
また、外部端末５０は、領域ＲＴに対するジェスチャ操作（拡大操作）が行われた旨を判定する場合には、拡大操作「後」における２種類のパラメータの値（変倍率「１５０％」およびシフト位置ＰＳ（ＸＳ，ＹＳ））を用いて、元の表示用画像（Ｇ１等）を拡大操作直後の（更新後の）表示倍率（１５０％）で表示する。これにより、操作者の意図した通りの拡大処理が実現される。
同様に、上記（３）で説明したように、外部端末５０において領域ＲＴに対する第１の拡大操作により操作画面を指定倍率（たとえば２００％）で一旦拡大した後に、さらにプレビュー領域ＲＳに対する第２の拡大操作を行う場合においても、適切な表示処理が行われる。具体的には、外部端末５０は、格納部５５に格納されている第２の拡大操作直前の表示倍率（２００％）で更新画像ＲＧの領域ＲＴを表示するとともに、更新画像ＲＧのプレビュー領域ＲＳも第２の拡大操作直前の表示倍率（２００％）で表示する。ただし、画像形成装置１０で生成された更新画像Ｇ５のプレビュー領域ＲＳは、更新前の画像Ｇ１のプレビュー領域ＲＳに対して、第２の拡大操作における指定拡大倍率（１５０％）で既に拡大されている。これにより、操作者の意図した通りの拡大処理が実現される。すなわち、領域ＲＴは直前の表示倍率（２００％）で表示され、プレビュー領域ＲＳは、直前の表示倍率（２００％）をベースに更に指定倍率（１５０％）で拡大され（合計３００％）で表示される。このように、領域ＲＴに関して、（第２の拡大操作による変更後の表示範囲パラメータＰＭではなく）第２の拡大操作直前の表示範囲パラメータＰＭを用いて、更新画像ＲＧが表示されるので、適切な表示が行われる。
＜６．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
たとえば、上記実施形態においては、タッチジェスチャ操作に応答して、タッチ座標値のみが外部端末５０から画像形成装置１０へと送信されているが、これに限定されない。たとえば、タッチジェスチャ操作に応答して、タッチ座標値に加えてジェスチャ種類等に関する情報も外部端末５０から画像形成装置１０へと送信されるようにしてもよい。
また、上記実施形態においては、操作画面ＭＳの各領域ＲＳ、ＲＴに対する拡大操作およびそれぞれに対応する拡大処理について主に説明しているが、これに限定されない。
たとえば、操作画面ＭＳの各領域ＲＳ、ＲＴに対する縮小操作およびそれぞれに対応する縮小処理についても同様である。
また、操作画面ＭＳの各領域ＲＳ、ＲＴに対するスライド操作およびそれぞれに対応するスライド処理についても同様である。
図１８〜図２０は、このような改変例を示す図である。当該改変例においては、ファクシミリ送信における宛先指定用の操作画面が表示されている状況を想定する。この改変例においては、図１８に示すような操作画面ＭＳ（ＭＳ１１）において、プレビュー領域ＲＳの代わりにリスト表示領域ＲＤが設けられている。操作者は、リスト表示領域ＲＤ内に表示された複数の選択肢の中から所望の選択肢を選択することによって、ファクシミリ送信における宛先を指定することが可能である。なお、図１８では、リスト表示領域ＲＤ内においてＮｏ．１〜Ｎｏ．８に関する登録内容が宛先の選択肢として表示されている。
そして、このようなリスト表示領域ＲＤに対するジェスチャ操作が行われた際には、上記実施形態におけるプレビュー領域ＲＳに対するジェスチャ操作が行われた際と同様の動作が実行されればよい。
具体的には、図１８の操作画面ＭＳ１１にてリスト表示領域ＲＤに対するジェスチャ操作（たとえばスライド操作）が行われた場合には、リスト表示領域ＲＤの内容が更新された更新画像Ｇ１５（図１９参照）が画像形成装置１０において生成され、画像形成装置１０から外部端末５０へと送信される。外部端末５０は、更新画像Ｇ１５を受信すると、ジェスチャ操作前の表示範囲パラメータＰＭ（たとえば、変倍率「１００％」、シフト位置Ｐｓ（０，０））を用いて更新画像を表示する。これにより、図１９のような新たな操作画面ＭＳ（ＭＳ１５）が表示される。操作画面ＭＳ１５のリスト表示領域ＲＤにおいては、リスト表示領域ＲＤに対する上向きのスライド移動指示に応じて、リスト表示領域ＲＤ内の表示内容が更新されている。具体的には、Ｎｏ．５〜Ｎｏ．１２に関する登録内容がリスト表示領域ＲＤに表示されている。
一方、図１８の操作画面ＭＳ１１にてリスト表示領域ＲＤ以外の領域ＲＴに対するジェスチャ操作（たとえばスライド操作）が行われた場合には、更新画像の送受信は行われず、外部端末５０は、ジェスチャ操作による変更後の表示範囲パラメータＰＭ（たとえば、変倍率「１００％」、シフト位置Ｐ２（Ｘ２，Ｙ２））を用いて現在表示中の表示用画像を表示する。これにより、当該ジェスチャ操作による変更指示（たとえば、上向きのスライド移動指示）を反映した操作画面が表示される。具体的には、図２０のような新たな操作画面ＭＳ（ＭＳ１２）が表示される。操作画面ＭＳ１２においては、Ｎｏ．１〜Ｎｏ．８に関する登録内容が引き続き表示されており、リスト表示領域ＲＤ内の表示内容は図１８の操作画面ＭＳ１１と同じである。ただし、領域ＲＴに対する上向きのスライド操作に応じて、タッチパネル７５内における画像Ｇ１１の表示位置が上向きにスライド移動されている。
また、上記実施形態においては、操作画面ＭＳの回転操作は行われない場合を例示しているが、これに限定されない。操作画面ＭＳの回転操作が行われるようにしてもよい。具体的には、操作者は、画面にタッチしている２本の指の相互間を結ぶ線分の角度（画面上での角度）を変更させるように当該２本の指を移動させる操作（回転操作）によって回転指示を付与することが可能である。このような回転操作は、操作画面ＭＳの変倍操作とともに行われるようにしてもよく、操作画面ＭＳの変倍操作に代えて行われるようにしてもよい。なお、表示範囲パラメータＰＭとしては、変倍率、シフト位置、回転角度などの各種のパラメータが適宜用いられるようにすればよい。
また、上記実施形態では、ステップＳ３７，Ｓ３８（図５）のループ処理において、更新画像ＲＧが所定期間ＴＭ内に受信されるか否かに応じて、ジェスチャ操作の対象領域がプレビュー領域ＲＳであるかそれ以外の領域ＲＴであるかが判定されているが、これに限定されない。たとえば、ジェスチャ操作の対象領域がプレビュー領域ＲＳ以外の領域ＲＴである旨が画像形成装置１０により判定されたときには、画像形成装置１０は直ちにその旨を示すデータを外部端末５０に送信するようにしてもよい。また、外部端末５０は、当該データを受信すると、ジェスチャ操作の対象領域が領域ＲＴである旨を判定するとともにステップＳ４１，Ｓ４２等の処理を行うようにすればよい。なお、ジェスチャ操作の対象領域がプレビュー領域ＲＳである旨が画像形成装置１０により判定されたときには、上記実施形態と同様に、画像形成装置１０は外部端末５０に更新画像ＲＧを送信し、外部端末５０は、当該更新画像ＲＧの受信に応答して、ジェスチャ操作の対象領域がプレビュー領域ＲＳである旨を判定すればよい。
１ 画像形成システム
１０ 画像形成装置（ＭＦＰ）
５０ 外部端末
７５ タッチパネル
Ｇ１ 表示用画像
Ｇ５，ＲＧ 更新画像
ＭＳ 操作画面
ＲＤ リスト表示領域
ＲＬ 全体領域
ＲＭ 表示対象範囲
ＲＳ プレビュー領域
ＲＴ プレビュー領域以外の領域

Claims (13)

  1. 画像形成システムであって、
    画像形成装置と、
    前記画像形成装置との通信が可能な外部端末と、
    を備え、
    前記外部端末は、
    前記画像形成装置の遠隔操作用の操作画面に関する表示用画像を受信する受信手段と、
    前記表示用画像に基づき前記操作画面を表示する表示制御手段と、
    前記操作画面に対するジェスチャ操作を受け付ける入力制御手段と、
    前記ジェスチャ操作の操作位置を示す位置情報を前記画像形成装置に送信する第１送信手段と、
    を有し、
    前記画像形成装置は、
    前記外部端末から送信されてきた前記位置情報に基づいて、前記ジェスチャ操作が前記操作画面内の特定領域に対する操作であるか否かを判定する判定手段と、
    前記ジェスチャ操作が前記特定領域に対する操作である旨が判定されることを条件として、前記操作画面に関する更新画像であって前記ジェスチャ操作による前記特定領域に対する変更指示を反映した更新画像を生成する画像生成手段と、
    前記更新画像を前記外部端末に送信する第２送信手段と、
    を有し、
    前記外部端末の前記表示制御手段は、
    前記更新画像が前記画像形成装置から送信されてくる場合には、前記更新画像に基づく第１の表示画面を新たな操作画面として表示し、
    前記更新画像が前記画像形成装置から送信されてこない場合には、現在表示中の操作画面に関する前記表示用画像に基づく第２の表示画面を、前記操作画面内の特定領域外に対するジェスチャ操作に対応して、前記第１の表示画面とは異なる表示画面として生成し、生成された前記第２の表示画面を新たな操作画面として表示することを特徴とする画像形成システム。
  2. 請求項１に記載の画像形成システムにおいて、
    前記外部端末は、
    前記表示用画像のうち前記操作画面として表示される対象範囲を示す表示範囲パラメータを記憶する記憶手段、
    をさらに有し、
    前記外部端末の前記表示制御手段は、
    前記画像形成装置からの前記更新画像が受信される場合には、前記記憶手段に記憶されている前記表示範囲パラメータであって前記ジェスチャ操作前の前記表示範囲パラメータを用いて前記更新画像に関する表示範囲決定処理を施して前記更新画像に基づく表示画面を生成し、前記更新画像に基づく当該表示画面を新たな操作画面として表示することを特徴とする画像形成システム。
  3. 請求項２に記載の画像形成システムにおいて、
    前記外部端末の前記表示制御手段は、前記画像形成装置からの前記更新画像が受信されず前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が判定される場合には、前記ジェスチャ操作の内容と前記記憶手段に記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作による変更後の前記表示範囲パラメータを決定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面として表示することを特徴とする画像形成システム。
  4. 請求項３に記載の画像形成システムにおいて、
    前記外部端末の前記表示制御手段は、
    前記画像形成装置からの前記更新画像が前記位置情報の送信時点から所定期間内に受信される場合には、前記特定領域に対して前記ジェスチャ操作が行われた旨を判定し、前記更新画像に基づく表示画面を新たな操作画面として表示し、
    前記画像形成装置からの前記更新画像が前記位置情報の前記送信時点から前記所定期間内に受信されない場合には、前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨を判定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面として表示し、
    前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が一旦判定され且つ前記ジェスチャ操作が継続中であると判定される場合には、前記画像形成装置からの前記更新画像の到達を待つことなく、前記ジェスチャ操作の内容と前記記憶手段に記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作継続中における最新の表示範囲パラメータを決定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記最新の前記表示範囲パラメータに基づいて変更して生成した表示画面を、最新の操作画面として表示することを特徴とする画像形成システム。
  5. 請求項１ないし請求項３のいずれかに記載の画像形成システムにおいて、
    前記外部端末の前記表示制御手段は、
    前記画像形成装置からの前記更新画像が前記位置情報の送信時点から所定期間内に受信される場合には、前記更新画像に基づく表示画面を新たな操作画面として表示し、
    前記画像形成装置からの前記更新画像が前記位置情報の前記送信時点から前記所定期間内に受信されない場合には、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を変更して生成した表示画面を、新たな操作画面として表示することを特徴とする画像形成システム。
  6. 請求項１ないし請求項５のいずれかに記載の画像形成システムにおいて、
    前記ジェスチャ操作は、拡大操作、スライド操作、回転操作のうちの少なくとも１つを含むことを特徴とする画像形成システム。
  7. 画像形成装置を遠隔操作することが可能な外部端末であって、
    前記画像形成装置の遠隔操作用の操作画面に関する表示用画像を受信する受信手段と、
    前記表示用画像に基づき前記操作画面を表示する表示制御手段と、
    前記操作画面に対するジェスチャ操作を受け付ける入力制御手段と、
    前記ジェスチャ操作の操作位置を示す位置情報を前記画像形成装置に送信する送信手段と、
    を備え、
    前記表示制御手段は、
    前記位置情報の送信に応じて前記ジェスチャ操作による前記操作画面内の特定領域に対する変更指示を反映した更新画像が前記画像形成装置から送信されてくる場合には、前記更新画像に基づく第１の表示画面を新たな操作画面として表示し、
    前記位置情報の送信に応じて前記更新画像が前記画像形成装置から送信されてこない場合には、現在表示中の操作画面に関する前記表示用画像に基づく第２の表示画面を、前記操作画面内の特定領域外に対するジェスチャ操作に対応して、前記第１の表示画面とは異なる表示画面として生成し、生成された前記第２の表示画面を新たな操作画面として表示することを特徴とする外部端末。
  8. 画像形成装置を遠隔操作することが可能な外部端末に内蔵されるコンピュータに、
    ａ）前記画像形成装置の遠隔操作用の操作画面に関する表示用画像を受信するステップと、
    ｂ）前記表示用画像に基づき前記操作画面を表示するステップと、
    ｃ）前記操作画面に対するジェスチャ操作を受け付けるステップと、
    ｄ）前記ジェスチャ操作の操作位置を示す位置情報を前記画像形成装置に送信するステップと、
    ｅ）前記位置情報の送信に応じて前記ジェスチャ操作による前記操作画面内の特定領域に対する変更指示を反映した更新画像が前記画像形成装置から送信されてくる場合には、前記更新画像に基づく第１の表示画面を新たな操作画面として表示し、前記位置情報の送信に応じて前記更新画像が前記画像形成装置から送信されてこない場合には、現在表示中の操作画面に関する前記表示用画像に基づく第２の表示画面を、前記操作画面内の特定領域外に対するジェスチャ操作に対応して、前記第１の表示画面とは異なる表示画面として生成し、生成された前記第２の表示画面を新たな操作画面として表示するステップと、
    を実行させるためのプログラム。
  9. 請求項８に記載のプログラムにおいて、
    ｆ）前記表示用画像のうち前記操作画面として表示される対象範囲を示す表示範囲パラメータであって前記ジェスチャ操作前の表示範囲パラメータを記憶するステップ、
    をさらに有し、
    前記ステップｅ）においては、前記画像形成装置からの前記更新画像が受信される場合には、前記ジェスチャ操作前の前記表示範囲パラメータを用いて前記更新画像に関する表示範囲決定処理を施して前記更新画像に基づく表示画面が生成され、前記更新画像に基づく当該表示画面が新たな操作画面として表示されることを特徴とするプログラム。
  10. 請求項９に記載のプログラムにおいて、
    前記ステップｅ）においては、前記画像形成装置からの前記更新画像が受信されず前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が判定された場合には、前記ジェスチャ操作の内容と前記ステップｆ）において記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作による変更後の前記表示範囲パラメータが決定され、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面が、新たな操作画面として表示されることを特徴とするプログラム。
  11. 画像形成システムであって、
    画像形成装置と、
    前記画像形成装置との通信が可能な外部端末と、
    を備え、
    前記外部端末は、
    前記画像形成装置の遠隔操作用の操作画面に関する表示用画像を受信する受信手段と、
    前記表示用画像に基づき前記操作画面を表示する表示制御手段と、
    前記操作画面に対するジェスチャ操作を受け付ける入力制御手段と、
    前記ジェスチャ操作の操作位置を示す位置情報を前記画像形成装置に送信する第１送信手段と、
    を有し、
    前記画像形成装置は、
    前記外部端末から送信されてきた前記位置情報に基づいて、前記ジェスチャ操作が前記操作画面内の特定領域に対する操作であるか否かを判定する判定手段と、
    前記ジェスチャ操作が前記特定領域に対する操作である旨が判定されることを条件として、前記操作画面に関する更新画像であって前記ジェスチャ操作による前記特定領域に対する変更指示を反映した更新画像を生成する画像生成手段と、
    前記更新画像を前記外部端末に送信する第２送信手段と、
    を有し、
    前記外部端末の前記表示制御手段は、
    前記更新画像が前記画像形成装置から送信されてくる場合には、前記更新画像に基づく表示画面を新たな操作画面として表示し、
    前記更新画像が前記画像形成装置から送信されてこない場合には、現在表示中の操作画面に関する前記表示用画像に基づく表示画面を新たな操作画面として表示し、
    前記外部端末は、
    前記表示用画像のうち前記操作画面として表示される対象範囲を示す表示範囲パラメータを記憶する記憶手段、
    をさらに有し、
    前記外部端末の前記表示制御手段は、
    前記画像形成装置からの前記更新画像が受信される場合には、前記記憶手段に記憶されている前記表示範囲パラメータであって前記ジェスチャ操作前の前記表示範囲パラメータを用いて前記更新画像に関する表示範囲決定処理を施して前記更新画像に基づく表示画面を生成し、前記更新画像に基づく当該表示画面を新たな操作画面として表示し、
    前記画像形成装置からの前記更新画像が受信されず前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が判定される場合には、前記ジェスチャ操作の内容と前記記憶手段に記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作による変更後の前記表示範囲パラメータを決定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面として表示し、
    前記外部端末の前記表示制御手段は、
    前記画像形成装置からの前記更新画像が前記位置情報の送信時点から所定期間内に受信される場合には、前記特定領域に対して前記ジェスチャ操作が行われた旨を判定し、前記更新画像に基づく表示画面を新たな操作画面として表示し、
    前記画像形成装置からの前記更新画像が前記位置情報の前記送信時点から前記所定期間内に受信されない場合には、前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨を判定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面として表示し、
    前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が一旦判定され且つ前記ジェスチャ操作が継続中であると判定される場合には、前記画像形成装置からの前記更新画像の到達を待つことなく、前記ジェスチャ操作の内容と前記記憶手段に記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作継続中における最新の表示範囲パラメータを決定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記最新の前記表示範囲パラメータに基づいて変更して生成した表示画面を、最新の操作画面として表示することを特徴とする画像形成システム。
  12. 画像形成装置を遠隔操作することが可能な外部端末であって、
    前記画像形成装置の遠隔操作用の操作画面に関する表示用画像を受信する受信手段と、
    前記表示用画像に基づき前記操作画面を表示する表示制御手段と、
    前記操作画面に対するジェスチャ操作を受け付ける入力制御手段と、
    前記ジェスチャ操作の操作位置を示す位置情報を前記画像形成装置に送信する送信手段と、
    を備え、
    前記表示制御手段は、
    前記位置情報の送信に応じて前記ジェスチャ操作による前記操作画面内の特定領域に対する変更指示を反映した更新画像が前記画像形成装置から送信されてくる場合には、前記更新画像に基づく表示画面を新たな操作画面として表示し、
    前記位置情報の送信に応じて前記更新画像が前記画像形成装置から送信されてこない場合には、現在表示中の操作画面に関する前記表示用画像に基づく表示画面を新たな操作画面として表示し、
    前記外部端末は、
    前記表示用画像のうち前記操作画面として表示される対象範囲を示す表示範囲パラメータを記憶する記憶手段、
    をさらに備え、
    前記表示制御手段は、
    前記画像形成装置からの前記更新画像が受信される場合には、前記記憶手段に記憶されている前記表示範囲パラメータであって前記ジェスチャ操作前の前記表示範囲パラメータを用いて前記更新画像に関する表示範囲決定処理を施して前記更新画像に基づく表示画面を生成し、前記更新画像に基づく当該表示画面を新たな操作画面として表示し、
    前記画像形成装置からの前記更新画像が受信されず前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が判定される場合には、前記ジェスチャ操作の内容と前記記憶手段に記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作による変更後の前記表示範囲パラメータを決定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面として表示し、
    前記表示制御手段は、
    前記画像形成装置からの前記更新画像が前記位置情報の送信時点から所定期間内に受信される場合には、前記特定領域に対して前記ジェスチャ操作が行われた旨を判定し、前記更新画像に基づく表示画面を新たな操作画面として表示し、
    前記画像形成装置からの前記更新画像が前記位置情報の前記送信時点から前記所定期間内に受信されない場合には、前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨を判定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面を、新たな操作画面として表示し、
    前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が一旦判定され且つ前記ジェスチャ操作が継続中であると判定される場合には、前記画像形成装置からの前記更新画像の到達を待つことなく、前記ジェスチャ操作の内容と前記記憶手段に記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作継続中における最新の表示範囲パラメータを決定し、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記最新の前記表示範囲パラメータに基づいて変更して生成した表示画面を、最新の操作画面として表示することを特徴とする外部端末。
  13. 画像形成装置を遠隔操作することが可能な外部端末に内蔵されるコンピュータに、
    ａ）前記画像形成装置の遠隔操作用の操作画面に関する表示用画像を受信するステップと、
    ｂ）前記表示用画像に基づき前記操作画面を表示するステップと、
    ｃ）前記操作画面に対するジェスチャ操作を受け付けるステップと、
    ｄ）前記ジェスチャ操作の操作位置を示す位置情報を前記画像形成装置に送信するステップと、
    ｅ）前記位置情報の送信に応じて前記ジェスチャ操作による前記操作画面内の特定領域に対する変更指示を反映した更新画像が前記画像形成装置から送信されてくる場合には、前記更新画像に基づく表示画面を新たな操作画面として表示し、前記位置情報の送信に応じて前記更新画像が前記画像形成装置から送信されてこない場合には、現在表示中の操作画面に関する前記表示用画像に基づく表示画面を新たな操作画面として表示するステップと、
    ｆ）前記表示用画像のうち前記操作画面として表示される対象範囲を示す表示範囲パラメータを記憶するステップと、
    を実行させるためのプログラムであって、
    前記ステップｅ）においては、
    前記画像形成装置からの前記更新画像が受信される場合には、前記ステップｆ）において記憶されている前記表示範囲パラメータであって前記ジェスチャ操作前の前記表示範囲パラメータを用いて前記更新画像に関する表示範囲決定処理を施して前記更新画像に基づく表示画面が生成され、前記更新画像に基づく当該表示画面が新たな操作画面として表示され、
    前記画像形成装置からの前記更新画像が受信されず前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が判定される場合には、前記ジェスチャ操作の内容と前記ステップｆ）において記憶されていた前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作による変更後の前記表示範囲パラメータが決定され、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面が、新たな操作画面として表示され、
    前記ステップｅ）においては、
    前記画像形成装置からの前記更新画像が前記位置情報の送信時点から所定期間内に受信される場合には、前記特定領域に対して前記ジェスチャ操作が行われた旨が判定され、前記更新画像に基づく表示画面が新たな操作画面として表示され、
    前記画像形成装置からの前記更新画像が前記位置情報の前記送信時点から前記所定期間内に受信されない場合には、前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が判定され、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記ジェスチャ操作による変更後の前記表示範囲パラメータに基づいて変更して生成した表示画面が、新たな操作画面として表示され、
    前記特定領域以外の領域に対して前記ジェスチャ操作が行われた旨が一旦判定され且つ前記ジェスチャ操作が継続中であると判定される場合には、前記画像形成装置からの前記更新画像の到達を待つことなく、前記ジェスチャ操作の内容と前記ジェスチャ操作前の前記表示範囲パラメータとに基づいて前記ジェスチャ操作継続中における最新の表示範囲パラメータが決定され、現在表示中の操作画面に関する前記表示用画像の表示対象範囲を前記最新の前記表示範囲パラメータに基づいて変更して生成した表示画面が、最新の操作画面として表示されることを特徴とするプログラム。
JP2013085146A 2013-04-15 2013-04-15 画像形成システム、外部端末およびプログラム Active JP6160194B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013085146A JP6160194B2 (ja) 2013-04-15 2013-04-15 画像形成システム、外部端末およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013085146A JP6160194B2 (ja) 2013-04-15 2013-04-15 画像形成システム、外部端末およびプログラム

Publications (2)

Publication Number Publication Date
JP2014206923A JP2014206923A (ja) 2014-10-30
JP6160194B2 true JP6160194B2 (ja) 2017-07-12

Family

ID=52120411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013085146A Active JP6160194B2 (ja) 2013-04-15 2013-04-15 画像形成システム、外部端末およびプログラム

Country Status (1)

Country Link
JP (1) JP6160194B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015103135A (ja) * 2013-11-27 2015-06-04 キヤノンマーケティングジャパン株式会社 情報処理装置とその処理方法及びプログラム
JP6435951B2 (ja) * 2015-03-26 2018-12-12 コニカミノルタ株式会社 画像生成装置、画像生成装置の制御プログラム、画像生成装置の制御方法。
JP7119886B2 (ja) * 2018-10-18 2022-08-17 コニカミノルタ株式会社 画像処理装置、操作制御方法及び操作制御プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4802557B2 (ja) * 2005-06-06 2011-10-26 コニカミノルタビジネステクノロジーズ株式会社 画像形成システム及び画像形成装置
JP4957292B2 (ja) * 2007-03-02 2012-06-20 コニカミノルタビジネステクノロジーズ株式会社 画像形成システム
US9665383B2 (en) * 2008-12-30 2017-05-30 Sharp Laboratories Of America, Inc. Methods and systems for interacting with an imaging device
JP5200979B2 (ja) * 2009-02-13 2013-06-05 日本電気株式会社 画像転送装置、方法及びプログラム
JP2011022851A (ja) * 2009-07-16 2011-02-03 Docomo Technology Inc ディスプレイ端末、画像処理システム、及び画像処理方法
JP5451355B2 (ja) * 2009-12-14 2014-03-26 シャープ株式会社 情報機器、画像処理装置、情報機器と通信可能な情報処理装置およびそれらを含む情報処理システム
JP5834669B2 (ja) * 2011-09-15 2015-12-24 コニカミノルタ株式会社 リモート端末、リモート端末の制御方法および制御プログラム

Also Published As

Publication number Publication date
JP2014206923A (ja) 2014-10-30

Similar Documents

Publication Publication Date Title
JP4959825B2 (ja) 指示入力装置、指示入力方法、プログラムおよびその記録媒体
JP5720661B2 (ja) 携帯端末装置、画像処理連携システム、画面データの表示方法及び表示プログラム
JP6071866B2 (ja) 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
JP5765366B2 (ja) 画像処理装置、携帯端末装置、リモート画面データの作成プログラム及び表示制御プログラム
JP6035985B2 (ja) 画像処理装置、画像処理装置の制御プログラム、および画像処理システム
JP5882779B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP7062388B2 (ja) スキャン画像にファイル名等を設定するための装置、その制御方法及びプログラム
JP5832257B2 (ja) 情報処理装置、表示制御方法、及びプログラム
US10356258B2 (en) Image processing system performing screen data selection, image processing device, terminal device and non-transitory readable recording medium
JP2014038560A (ja) 情報処理装置、情報処理方法及びプログラム
JP5696721B2 (ja) 表示処理装置、画像形成装置、リモート画面の表示処理システム及び表示処理方法
JP2023038197A (ja) 携帯端末装置及び携帯端末装置の表示制御方法
JP6003939B2 (ja) 画像処理連携システムと連携方法、携帯端末装置及び画像処理連携プログラム
JP2014175918A (ja) 画像処理システム、制御方法及び制御プログラム
JP6160194B2 (ja) 画像形成システム、外部端末およびプログラム
JP6195361B2 (ja) 画像処理装置、制御方法及びプログラム
JP6107246B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
JP6175907B2 (ja) 画像形成装置およびプログラム
CN110032325B (zh) 信息处理装置、信息处理装置的控制方法以及记录介质
JP6183109B2 (ja) 操作支援プログラム、端末装置、処理実行装置、および処理実行プログラム
US20140040827A1 (en) Information terminal having touch screens, control method therefor, and storage medium
US10785376B2 (en) Image processing apparatus for sending user interface data
JP6191470B2 (ja) 画像処理システム、画像処理装置及び携帯端末装置
JP2014068152A (ja) 画像処理装置、画像処理方法及びプログラム
JP6409285B2 (ja) 表示制御装置、画像形成装置、表示方法、および表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170529

R150 Certificate of patent or registration of utility model

Ref document number: 6160194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150