JP7446050B2 - 複合機、ディスプレイ共用方法、およびコンピュータプログラム - Google Patents

複合機、ディスプレイ共用方法、およびコンピュータプログラム Download PDF

Info

Publication number
JP7446050B2
JP7446050B2 JP2018020043A JP2018020043A JP7446050B2 JP 7446050 B2 JP7446050 B2 JP 7446050B2 JP 2018020043 A JP2018020043 A JP 2018020043A JP 2018020043 A JP2018020043 A JP 2018020043A JP 7446050 B2 JP7446050 B2 JP 7446050B2
Authority
JP
Japan
Prior art keywords
screen
data
icon
unit
mfp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018020043A
Other languages
English (en)
Other versions
JP2019139351A (ja
Inventor
昭 大畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018020043A priority Critical patent/JP7446050B2/ja
Priority to US16/257,228 priority patent/US20190243542A1/en
Priority to CN201910105952.2A priority patent/CN110119254A/zh
Publication of JP2019139351A publication Critical patent/JP2019139351A/ja
Application granted granted Critical
Publication of JP7446050B2 publication Critical patent/JP7446050B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285—Remote printer device, e.g. being remote from client or server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Description

本発明は、２つの画面を並べて表示する技術に関する。
コピー、スキャン、ファックス、およびボックスなどの様々な機能を備えた画像形成装置が普及している。このような画像形成装置は「ＭＦＰ（Multi Function Peripherals）」と呼ばれることがある。
また、近年、画像形成装置を物理的なサーバ（いわゆるサーバ機またはサーバユニット）と一体的に構成する技術が提案されている。これにより、画像形成装置の機能の拡張性を従来よりも容易に向上させることができる。以下、画像形成装置とサーバとを一体化した装置を「複合機」と記載する。
画像形成装置およびサーバには、それぞれ異なるオペレーティングシステムがインストールされている。
複合機のタッチパネルディスプレイは、画像形成装置およびサーバそれぞれの画面を並べて同時に表示し、ユーザによる画像形成装置およびサーバそれぞれに対する操作を受け付ける。
２つの画面を並べて表示することができる環境において、一方の画面に配置されているアイコンを他方の画面へドラッグアンドドロップすることによってこのアイコンに対応するファイルをコピーしたり移動させたりする技術が、提案されている（特許文献１）。
特開平８－１８５３０１号公報
しかし、特許文献１に記載される技術は、１つのオペレーティングシステムによって２つの画面をディスプレイに表示させた場合のものである。
異なる２つのシステムそれぞれの画面を１つのディスプレイに表示させる場合には、適用することができない。
本発明は、このような問題点に鑑み、異なる２つのシステムそれぞれの画面をディスプレイに表示させた場合においてアイコンの行き来を従来よりも容易に実現することを目的とする。
本発明の一形態に係る複合機は、第一のシステム、第二のシステム、およびタッチパネルディスプレイを有する複合機であって、前記第一のシステムで画面データが生成された第一の画面および前記第二のシステムで画面データが生成された第二の画面を並べて前記タッチパネルディスプレイに表示させる表示制御手段と、前記第一の画面に配置されているアイコンを移動させるドラッグ操作のタッチ位置が前記第一の画面と前記第二の画面との境界に達すると予測される時刻の所定の時間前に、当該アイコンの画像データを、前記第二のシステムに当該第二の画面の画面データを生成し直させるために当該第二のシステムへ付与する付与手段と、を有し、前記表示制御手段は、前記アイコンを前記第一の画面から前記第二の画面へ移動させるドラッグ操作が行われた場合に、当該ドラッグ操作に応じて当該第一の画面から当該第二の画面へ移動するように当該アイコンを前記タッチパネルディスプレイに表示させる。
好ましくは、前記操作は前記アイコンをドラッグする操作であり、前記付与手段は、前記アイコンがドラッグされ始めた際に前記画像データを付与する。
本発明によると、異なる２つのシステムそれぞれの画面をディスプレイに表示させた場合においてアイコンの行き来を従来よりも容易に実現することができる。
複合機を含むネットワークシステムの例を示す図である。 複合機のハードウェア構成の例を示す図である。 ＭＦＰユニットのハードウェア構成の例を示す図である。 サーバユニットのハードウェア構成の例を示す図である。 パネルコントローラのハードウェア構成の例を示す図である。 ＭＦＰユニットおよびサーバユニットそれぞれの機能的構成の例を示す図である。 パネルコントローラの機能的構成の例を示す図である。 デスクトップ画面の例を示す図である。 デスクトップ画面の例を示す図である。 表示面およびタッチ面の例を示す図である。 合成画面の例を示す図である。 被選択アイコンを除外した状態のデスクトップ画面の例を示す図である。 被選択アイコンのドラッグの例を示す図である。 被選択アイコンがドロップされた状態の合成画面の例を示す図である。 ＭＦＰユニットまたはサーバユニットの全体的な処理の流れの例を説明するフローチャートである。 パネルコントローラの全体的な処理の流れの例を説明するフローチャートである。 パネルコントローラの全体的な処理の流れの例を説明するフローチャートである。 ＭＦＰユニットの機能的構成の例を示す図である。 サーバユニットの機能的構成の例を示す図である。 パネルコントローラの機能的構成の例を示す図である。 ＭＦＰユニットの機能的構成の例を示す図である サーバユニットの機能的構成の例を示す図である。 パネルコントローラの全体的な処理の流れの例を説明するフローチャートである。 ＭＦＰユニットまたはサーバユニットの全体的な処理の流れの例を説明するフローチャートである。 ＭＦＰユニットまたはサーバユニットの全体的な処理の流れの例を説明するフローチャートである。
〔第一の実施形態〕
図１は、複合機１を含むネットワークシステムの例を示す図である。図２は、複合機１のハードウェア構成の例を示す図である。図３は、ＭＦＰユニット２のハードウェア構成の例を示す図である。図４は、サーバユニット３のハードウェア構成の例を示す図である。図５は、パネルコントローラ５のハードウェア構成の例を示す図である。図６は、ＭＦＰユニット２およびサーバユニット３それぞれの機能的構成の例を示す図である。図７は、パネルコントローラ５の機能的構成の例を示す図である。
図１に示す複合機１は、様々な機能を集約した装置である。複合機１は、端末装置６１などと通信回線６２を介して通信することができる。通信回線６２として、インターネット、ＬＡＮ（Local Area Network）回線、または専用線などが用いられる。
複合機１は、図２に示すように、ＭＦＰユニット２、サーバユニット３、タッチパネルディスプレイ４、およびパネルコントローラ５などによって構成される。
サーバユニット３は、ＭＦＰユニット２の筐体に収納されている。タッチパネルディスプレイ４は、表示面およびタッチ面がほぼ水平になるように複合機１の筐体の正面に配置されている。
ＭＦＰユニット２は、一般に「ＭＦＰ（Multi Function Peripherals）」などと呼ばれる画像形成装置に相当する装置であって、コピー、ＰＣプリント、ファックス、スキャン、およびボックスなどの機能を有する。
ＰＣプリント機能は、複合機１の外部の装置またはサーバユニット３から受信した画像データに基づいて画像を用紙に印刷する機能である。
ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像データなどを保存し管理するための機能である。ボックスは、パーソナルコンピュータにおける「フォルダ」または「ディレクトリ」に相当する。
サーバユニット３は、サーバ機またはパーソナルコンピュータに相当する装置であって、ウェブサーバまたはＦＴＰ（File Transfer Protocol）サーバなどの機能を有する。サーバユニット３として、組込みコンピュータ（例えば、組込みＬｉｎｕｘ（登録商標）または組込みＷｉｎｄｏｗｓ（登録商標）など）が用いられる。組込みコンピュータは、「組込みコンピュータシステム」または「ビルトインサーバ」などと呼ばれることもある。
タッチパネルディスプレイ４は、ＭＦＰユニット２およびサーバユニット３によって共用される。そして、複合機１を直接操作するユーザのために、ＭＦＰユニット２の画面およびサーバユニット３の画面を左右に並べて表示面４ＡＳに表示する。また、タッチ面４ＢＳのタッチされた位置の座標を示すデータをパネルコントローラ５へ送信する。
パネルコントローラ５は、ＭＦＰユニット２およびサーバユニット３とタッチパネルディスプレイ４とを連携させるためのコンピュータである。ＭＦＰユニット２またはサーバユニット３から受信した、画面を表示するための画面データを映像信号に変換し、タッチパネルディスプレイ４へ送信する。または、ＭＦＰユニット２およびサーバユニット３それぞれの画面を並べることによって合成画面を生成し、それを表示するための映像信号をタッチパネルディスプレイ４へ送信する。また、タッチパネルディスプレイ４から受信した座標データをＭＦＰユニット２またはサーバユニット３へ送信する。
ＭＦＰユニット２およびサーバユニット３それぞれの機能によって基本的なサービスがユーザへ提供される。さらに、これらの機能を組み合わせることによって、応用的なサービスがユーザへ提供される。
ＭＦＰユニット２は、図３に示すように、ＣＰＵ（Central Processing Unit）２０ａ、ＲＡＭ（Random Access Memory）２０ｂ、ＲＯＭ（Read Only Memory）２０ｃ、補助記憶装置２０ｄ、ＮＩＣ（Network Interface Card）２０ｅ、モデム２０ｆ、スキャンユニット２０ｇ、プリントユニット２０ｈ、およびフィニッシャ２０ｉなどによって構成される。
ＮＩＣ２０ｅは、サーバユニット３のハブ３０ｆ（図４参照）にツイストペアケーブルで繋がれており、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルでサーバユニット３またはパネルコントローラ５と通信する。さらに、ハブ３０ｆを介して複合機１の外部の装置、例えば端末装置６１またはインターネット上のサーバなどと通信する。
モデム２０ｆは、ファクシミリ端末との間でＧ３などのプロトコルで画像データをやり取りする。
スキャンユニット２０ｇは、プラテンガラスの上にセットされた用紙に記されている画像を読み取って画像データを生成する。
プリントユニット２０ｈは、スキャンユニット２０ｇによって読み取られた画像のほか、複合機１の外部の装置またはサーバユニット３から受信した画像データに示される画像を用紙に印刷する。
フィニッシャ２０ｉは、プリントユニット２０ｈによって得られた印刷物に対して、必要に応じて後処理を施す。後処理は、ステープルで綴じる処理、パンチ穴を開ける処理、または折り曲げる処理などである。
ＣＰＵ２０ａは、ＭＦＰユニット２のメインＣＰＵである。ＲＡＭ２０ｂは、ＭＦＰユニット２のメインメモリである。
ＲＯＭ２０ｃまたは補助記憶装置２０ｄには、オペレーティングシステムのほか、上述のコピーなどの機能を実現したりサービスを提供したりするためのアプリケーションが記憶されている。さらに、クライアントプログラム２０Ｐ（図６参照）が記憶されている。クライアントプログラム２０Ｐは、タッチパネルディスプレイ４をサーバユニット３と共用するサービスを受けるためのプログラムである。
これらのプログラムは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。補助記憶装置２０ｄとして、ハードディスクまたはＳＳＤ（Solid State Drive）などが用いられる。
サーバユニット３は、図４に示すように、ＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、補助記憶装置３０ｄ、ＮＩＣ３０ｅ、およびハブ３０ｆなどによって構成される。
ＮＩＣ３０ｅは、ハブ３０ｆにケーブルで繋がれており、ハブ３０ｆを介してＴＣＰ／ＩＰなどのプロトコルでＭＦＰユニット２およびパネルコントローラ５のほか、複合機１の外部の装置と通信する。
ハブ３０ｆには、上述の通り、ＮＩＣ３０ｅおよびＭＦＰユニット２のＮＩＣ２０ｅがケーブルで繋がれている。さらに、ルータおよびパネルコントローラ５のＮＩＣ５０ｅ（図５参照）にケーブルで繋がれている。そして、ハブ３０ｆは、これらの機器の間でやり取りされるデータを中継する。
ＣＰＵ３０ａは、サーバユニット３のメインＣＰＵである。ＲＡＭ３０ｂは、サーバユニット３のメインメモリである。
ＲＯＭ３０ｃまたは補助記憶装置３０ｄには、オペレーティングシステムのほか、上述の機能を実現しまたはサービスを提供するためのアプリケーションなどのプログラムが記憶されている。さらに、クライアントプログラム３０Ｐ（図６参照）が記憶されている。クライアントプログラム３０Ｐは、タッチパネルディスプレイ４をＭＦＰユニット２と共用するサービスを受けるためのプログラムである。
これらのプログラムは、ＲＡＭ３０ｂにロードされ、ＣＰＵ３０ａによって実行される。補助記憶装置３０ｄとして、ハードディスクドライブまたはＳＳＤなどが用いられる。
タッチパネルディスプレイ４は、図２に示すように、ディスプレイモジュール４Ａおよびタッチパネルモジュール４Ｂなどによって構成される。
ディスプレイモジュール４Ａは、パネルコントローラ５から送信された映像信号に基づいて画面を表示する。ディスプレイモジュール４Ａとして、有機ＥＬ（Electro Luminescence）ディスプレイまたは液晶ディスプレイなどのフラットパネルディスプレイが用いられる。
タッチパネルモジュール４Ｂは、タッチ面４ＢＳがタッチされたことを検知するごとに、タッチされた位置の座標を示すデータをパネルコントローラ５へ送信する。
パネルコントローラ５は、図５に示すように、ＣＰＵ５０ａ、ＲＡＭ５０ｂ、ＲＯＭ５０ｃ、補助記憶装置５０ｄ、ＮＩＣ５０ｅ、ＶＲＡＭ（Video RAM）５０ｆ、ビデオボード５０ｇ、および入力インタフェース５０ｈなどによって構成される。
ＮＩＣ５０ｅは、サーバユニット３のハブ３０ｆ（図４参照）にツイストペアケーブルで繋がれており、ＴＣＰ／ＩＰなどのプロトコルでＭＦＰユニット２またはサーバユニット３と通信する。
ＶＲＡＭ５０ｆは、タッチパネルディスプレイ４に表示させる画面の画面データを記憶するためのグラフィックメモリである。
ビデオボード５０ｇは、画面データを映像信号に変換して、ディスプレイモジュール４Ａへ送信する。「グラフィックボード」、「ＬＣＤ（liquid crystal display）コントローラ」、または「ビデオカード」などと呼ばれることもある。ＶＲＡＭ５０ｆがビデオボード５０ｇに内蔵されている場合がある。
ビデオボード５０ｇのインタフェースとして、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）またはＤ－ＳＵＢ（D-Subminiature）などが用いられる。
入力インタフェース５０ｈは、タッチパネルモジュール４Ｂにケーブルによって繋がれており、タッチパネルモジュール４Ｂから信号が入力される。
入力インタフェース５０ｈのインタフェースとして、ＩＥＥＥ１３９４またはＵＳＢ（Universal Serial Bus）などが用いられる。
ＲＯＭ５０ｃまたは補助記憶装置５０ｄには、オペレーティングシステムなどが記憶されている。中継プログラム５０Ｐ（図７参照）が記憶されている。中継プログラム５０Ｐは、ＭＦＰユニット２の画面およびサーバユニット３の画面を合成して映像信号としてディスプレイモジュール４Ａへ送信する処理、ならびに、タッチパネルモジュール４Ｂから入力されたデータをＭＦＰユニット２およびサーバユニット３のいずれかへ適宜補正して送信する処理を行うための、プログラムである。
これらのプログラムは、必要に応じてＲＡＭ５０ｂにロードされ、ＣＰＵ５０ａによって実行される。補助記憶装置５０ｄとして、ハードディスクドライブまたはＳＳＤなどが用いられる。
クライアントプログラム２０Ｐによると、図６に示す画面構成データ記憶部２０１、ＭＦＰ画面生成部２０２、画面データ送信部２０３、アイコンデータ送信部２０４、次処理決定部２０５、および画面更新部２０６などがＭＦＰユニット２に実現される。
クライアントプログラム３０Ｐによると、図６に示す画面構成データ記憶部３０１、サーバ画面生成部３０２、画面データ送信部３０３、アイコンデータ送信部３０４、次処理決定部３０５、および画面更新部３０６などがＭＦＰユニット２に実現される。
中継プログラム５０Ｐによると、図７に示すアイコンデータ記憶部５０１、合成画面生成部５０２、映像出力制御部５０３、ジェスチャ判別部５０４、操作対象判別部５０５、座標通知部５０６、ドラッグ開始通知部５１１、ドラッグ監視部５１２、アイコン重畳部５１３、およびドラッグ終了通知部５１４などがパネルコントローラ５に実現される。
以下、図６に示すＭＦＰユニット２の各部およびサーバユニット３の各部ならびに図７に示すパネルコントローラ５の各部を、合成画面の表示のための処理およびタッチに応答するための処理に大別して説明する。
〔合成画面の表示〕
図８は、デスクトップ画面７Ａ１の例を示す図である。図９は、デスクトップ画面７Ｂ１の例を示す図である。図１０は、表示面４ＡＳおよびタッチ面４ＢＳの例を示す図である。図１１は、合成画面７Ｃの例を示す図である。
ＭＦＰユニット２において、画面構成データ記憶部２０１には、ユーザがＭＦＰユニット２を操作するための画面であるＭＦＰ画面７Ａごとに、ＭＦＰ画面７Ａを構成するオブジェクトごとの位置および識別子を示す画面構成データ６Ａ１が予め記憶されている。「位置」は、ＭＦＰ画面７Ａにおける、そのオブジェクトの位置である。本実施形態では、そのオブジェクトの位置として、そのオブジェクトを囲むことができる最小の矩形の４つの頂点それぞれの座標が示される。
さらに、画面構成データ記憶部２０１には、オブジェクトごとの画像データ６Ａ２が識別子と対応付けられて予め記憶されている。
オブジェクトの例として、アイコン７１またはメニューバー７２などが挙げられる。例えば、ＭＦＰ画面７Ａの１つであるデスクトップ画面７Ａ１には、図８のように、メニューバー７２および９つのアイコン７１が配置されている。以下、デスクトップ画面７Ａ１に配置される各アイコン７１を「アイコン７１１」、「アイコン７１２」、…、「アイコン７１９」と区別して記載する。
なお、本実施形態では、各ＭＦＰ画面７Ａのサイズ（縦、横それぞれの長さ）は予め共通に決められており、ディスプレイモジュール４Ａの表示面４ＡＳと同じサイズである。後述するサーバ画面７Ｂも、同様である。また、説明の簡単のため、表示面４ＡＳの解像度およびタッチパネルモジュール４Ｂのタッチ面４ＢＳの解像度が同じである場合を例に説明する。また、表示面４ＡＳ、タッチ面４ＢＳ、および後述するいずれの画面においても、左上の頂点を原点とし、縦方向の軸をＹ軸とし、横方向をＸ軸とする。
ＭＦＰ画面生成部２０２は、ＭＦＰ画面７Ａの全部分をディスプレイモジュール４Ａに表示させるための画面データ６Ａ３を、そのＭＦＰ画面７Ａの画面構成データ６Ａ１およびそのＭＦＰ画面７Ａを構成するオブジェクトそれぞれの画像データ６Ａ２に基づいて生成する。
画面データ６Ａ３のフォーマットは、例えばビットマップである。ＧＩＦ（Graphics Interchange Format）またはＪＰＥＧ（Joint Photographic Experts Group）などであってもよい。また、ＭＦＰ画面生成部２０２は、所定のフレームレートでＭＦＰ画面７Ａを描画することによって動画像のデータを画面データ６Ａ３として生成してもよい。後述する画面データ６Ｂ３についても、同様である。
なお、これらの画面構成データ６Ａ１および画像データ６Ａ２は、画面構成データ記憶部２０１から読み出される。
画面データ送信部２０３は、ＭＦＰ画面生成部２０２によって生成された画面データ６Ａ３をパネルコントローラ５へ送信する。画面データ６Ａ３が動画像のデータである場合は、ライブストリーミングによって送信する。
アイコンデータ送信部２０４は、新たにＭＦＰ画面７Ａの画面データ６Ａ３が画面データ送信部２０３によって送信され始めると、そのＭＦＰ画面７Ａの中のアイコン７１それぞれの画像データ６Ａ２および区域データ６Ａ４をパネルコントローラ５へ送信する。画像データ６Ａ２は、画面構成データ記憶部２０１から読み出される。
あるアイコン７１の区域データ６Ａ４には、そのアイコン７１の識別子が示される。さらに、そのＭＦＰ画面７Ａにおけるそのアイコン７１の配置される区域として、そのアイコン７１を囲むことができる最小の矩形の４つの頂点それぞれの座標が示される。これらの座標は、画面構成データ記憶部２０１に記憶されている、そのＭＦＰ画面７Ａの画面構成データ６Ａ１に示される、そのアイコン７１の４つの座標と同じである。
例えば、デスクトップ画面７Ａ１の画面データ６Ａ３が新たに送信され始めると、アイコンデータ送信部２０４は、デスクトップ画面７Ａ１の中のアイコン７１（図８のアイコン７１１～７１９）それぞれの画像データ６Ａ２および区域データ６Ａ４をパネルコントローラ５へ送信する。その後、他のＭＦＰ画面７Ａの画面データ６Ａ３が新たに送信され始めると、当該他のＭＦＰ画面７Ａの中のアイコン７１それぞれの画像データ６Ａ２および区域データ６Ａ４をパネルコントローラ５へ送信する。再びデスクトップ画面７Ａ１の画面データ６Ａ３が新たに送信され始めると、デスクトップ画面７Ａ１の中のアイコン７１それぞれの画像データ６Ａ２および区域データ６Ａ４をパネルコントローラ５へ送信する。
サーバユニット３において、画面構成データ記憶部３０１には、ユーザがサーバユニット３を操作するための画面であるサーバ画面７Ｂごとに、サーバ画面７Ｂを構成するオブジェクトごとの位置および識別子を示す画面構成データ６Ｂ１が予め記憶されている。「位置」は、サーバ画面７Ｂにおける、そのオブジェクトの位置である。本実施形態では、そのオブジェクトの位置として、そのオブジェクトを囲むことができる最小の矩形の４つの頂点それぞれの座標が示される。
さらに、画面構成データ記憶部３０１には、オブジェクトごとの画像データ６Ｂ２が識別子と対応付けられて予め記憶されている。
サーバ画面７Ｂには、オブジェクトとしてメニューバー７４および複数のアイコン７３などが配置されている。
例えば、サーバ画面７Ｂの一例であるデスクトップ画面７Ｂ１には、図９のように、メニューバー７４および８つのアイコン７３が配置されている。以下、各アイコン７３を「アイコン７３１」、「アイコン７３２」、…、「アイコン７３８」と区別して記載する。
サーバ画面生成部３０２は、サーバ画面７Ｂをディスプレイモジュール４Ａに表示させるための画面データ６Ｂ３を、そのサーバ画面７Ｂの画面構成データ６Ｂ１およびそのサーバ画面７Ｂを構成するオブジェクトそれぞれの画像データ６Ｂ２に基づいて生成する。なお、これらの画面構成データ６Ｂ１および画像データ６Ｂ２は、画面構成データ記憶部３０１から読み出される。
画面データ送信部３０３は、サーバ画面生成部３０２によって生成された画面データ６Ｂ３をパネルコントローラ５へ送信する。画面データ６Ｂ３が動画像のデータである場合は、ライブストリーミングによって送信する。
アイコンデータ送信部３０４は、新たにサーバ画面７Ｂの画面データ６Ｂ３が画面データ送信部３０３によって送信され始めると、そのサーバ画面７Ｂの中のアイコン７３それぞれの画像データ６Ｂ２および区域データ６Ｂ４をパネルコントローラ５へ送信する。画像データ６Ｂ２は、画面構成データ記憶部３０１から読み出される。
あるアイコン７３の区域データ６Ｂ４には、そのアイコン７３の識別子が示される。さらに、そのサーバ画面７Ｂにおけるそのアイコン７３の配置される区域として、そのアイコン７３を囲むことができる最小の矩形の４つの頂点それぞれの座標が示される。これらの座標は、画面構成データ記憶部３０１に記憶されている、そのサーバ画面７Ｂの画面構成データ６Ｂ１に示される、そのアイコン７３の４つの座標と同じである。
例えば、デスクトップ画面７Ｂ１の画面データ６Ｂ３が新たに送信され始めると、アイコンデータ送信部３０４は、デスクトップ画面７Ｂ１の中のアイコン７３（図９のアイコン７３１～７３８）それぞれの画像データ６Ｂ２および区域データ６Ｂ４をパネルコントローラ５へ送信する。その後、他のサーバ画面７Ｂの画面データ６Ｂ３が新たに送信され始めると、当該他のサーバ画面７Ｂの中のアイコン７３それぞれの画像データ６Ｂ２および区域データ６Ｂ４をパネルコントローラ５へ送信する。再びデスクトップ画面７Ｂ１の画面データ６Ｂ３が新たに送信され始めると、デスクトップ画面７Ｂ１の中のアイコン７１それぞれの画像データ６Ｂ２および区域データ６Ｂ４をパネルコントローラ５へ送信する。
ところで、ディスプレイモジュール４Ａの表示面４ＡＳおよびタッチパネルモジュール４Ｂのタッチ面４ＢＳは、図１０のように、境界４０Ｃによって左右２つの領域に等分される。そして、左側の領域である左領域４０Ｌは、原則として、ＭＦＰ画面７Ａの表示または操作のために用いられる。右側の領域である右領域４０Ｒは、原則として、サーバ画面７Ｂの表示および操作のために用いられる。
以下、左領域４０Ｌに表示されているＭＦＰ画面７Ａを「カレントＭＦＰ画面」と記載し、右領域４０Ｒに表示されているサーバ画面７Ｂを「カレントサーバ画面」と記載する。
パネルコントローラ５において、アイコンデータ記憶部５０１は、ＭＦＰユニット２から送信されてきた画像データ６Ａ２および区域データ６Ａ４と、サーバユニット３から送信されてきた画像データ６Ｂ２および区域データ６Ｂ４とを、記憶する。
なお、カレントＭＦＰ画面が変わるごとに、画像データ６Ａ２および区域データ６Ａ４が新たにＭＦＰユニット２から送信されてくる。すると、古い画像データ６Ａ２および区域データ６Ａ４がアイコンデータ記憶部５０１から削除され、新たな画像データ６Ａ２および区域データ６Ａ４がアイコンデータ記憶部５０１に記憶される。
例えば、ＭＦＰユニット２のオペレーティングシステムの起動時においてデスクトップ画面７Ａ１がカレントＭＦＰ画面として表示される際に、デスクトップ画面７Ａ１の各オブジェクトの画像データ６Ａ２および区域データ６Ａ４がＭＦＰユニット２から送信されてきて、アイコンデータ記憶部５０１に記憶される。その後、デスクトップ画面７Ａ１に代えてゴミ箱の内容を示すＭＦＰ画面７ＡがカレントＭＦＰ画面として表示される際に、このＭＦＰ画面７Ａの各オブジェクトの画像データ６Ａ２および区域データ６Ａ４がＭＦＰユニット２から新たに送信されてくる。すると、デスクトップ画面７Ａ１の各オブジェクトの画像データ６Ａ２および区域データ６Ａ４がアイコンデータ記憶部５０１から削除され、新たに送信されてきた画像データ６Ａ２および区域データ６Ａ４がＭＦＰユニット２のアイコンデータ記憶部５０１に記憶される。
同様に、カレントサーバ画面が変わるごとに、画像データ６Ｂ２および区域データ６Ｂ４が新たにＭＦＰユニット２から送信されてくる。すると、古い画像データ６Ｂ２および区域データ６Ｂ４がアイコンデータ記憶部５０１から削除され、新たな画像データ６Ｂ２および区域データ６Ｂ４がアイコンデータ記憶部５０１に記憶される。
合成画面生成部５０２は、ＭＦＰユニット２から受信した画面データ６Ａ３およびサーバユニット３から受信した画面データ６Ｂ３に基づいて合成画面７Ｃの画面データ６Ｃ３を生成する。合成画面７Ｃは、図１１に示すように、ＭＦＰ画面７Ａおよびサーバ画面７Ｂそれぞれの左半分を並べたものである。
映像出力制御部５０３は、合成画面生成部５０２によって画面データ６Ｃ３が生成されると、画面データ６Ｃ３を映像信号６Ｃ４に変換してディスプレイモジュール４Ａへ出力する処理をビデオボード５０ｆに実行させる。
そして、ディスプレイモジュール４Ａは、映像信号６Ｃ４に基づいて合成画面７Ｃを表示する。
〔タッチに応答するための処理〕
ユーザは、タッチ面４ＢＳをタッチすることによって、タップ、ダブルタップ、ピンチイン、ピンチアウト、またはドラッグなどのジェスチャを行う。以下、ユーザがタッチ面４ＢＳに対して行ったジェスチャを「ユーザジェスチャ」と記載する。
タッチパネルモジュール４Ｂは、タッチ面４ＢＳがタッチされている間、定期的に、例えば、０．１秒ごとに、タッチされた位置の座標を示す座標データ６Ｅをパネルコントローラ５へ送信する。
パネルコントローラ５において、ジェスチャ判別部５０４は、座標データ６Ｅが受信され始めると、これらの座標データ６Ｅに基づいて、ユーザジェスチャがドラッグであるか否かを公知の方法によって判別する。
操作対象判別部５０５は、ユーザジェスチャがドラッグであると判別された場合に、ドラッグの対象を次のように判別する。
操作対象判別部５０５は、１番目の座標データ６Ｅに示される座標が境界４０Ｃよりも左側の座標であれば、合成画面生成部５０２から区域データ６Ａ４を読み出す。そして、その座標データ６Ｅに示される座標と、読み出した区域データ６Ａ４それぞれに示される区域とを照合することによって、これらの区域のうちのどれにその座標が属するのかをチェックする。そして、その座標が属する区域に対応するアイコン７１がドラッグの対象であると判別する。なお、その座標がいずれの区域にも属しない場合は、アイコン７１以外のオブジェクトがドラッグの対象であると判別する。
または、その座標データ６Ｅに示される座標が境界４０Ｃよりも右側の座標であれば、操作対象判別部５０５は、合成画面生成部５０２から区域データ６Ｂ４を読み出す。ところで、その座標データ６Ｅに示される座標は、タッチ面４ＢＳの原点を基準とするものである。そこで、その座標を、サーバ画面７Ｂの原点を基準とするものになるように補正する。本実施形態では、その座標を、左領域４０Ｌの幅だけ左へシフトさせる。つまり、その座標のＸ座標の値を、左領域４０Ｌの幅だけ引く。以下、このように、タッチ面４ＢＳにおける座標をサーバ画面７Ｂにおける座標に補正する処理を「シフト処理」と記載する。
操作対象判別部５０５は、シフト処理がなされた座標と、読み出した区域データ６Ｂ４それぞれに示される区域とを照合することによって、これらの区域のうちのどれにその座標が属するのかをチェックする。そして、その座標が属する区域に対応するアイコン７３がドラッグの対象であると判別する。なお、その座標がいずれの区域にも属しない場合は、アイコン７３以外のオブジェクトがドラッグの対象であると判別する。
座標通知部５０６は、１番目の座標データ６Ｅに示される座標が境界４０Ｃよりも左側の座標であれば、ドラッグの対象がアイコン７１以外のオブジェクトであると操作対象判別部５０５によって判別された場合は、タッチパネルモジュール４Ｂから送信されてきた座標データ６ＥをＭＦＰユニット２へ転送する。ユーザジェスチャがドラッグでないとジェスチャ判別部５０４によって判別された場合も同様に、これらの座標データ６ＥをＭＦＰユニット２へ転送する。
または、１番目の座標データ６Ｅに示される座標が境界４０Ｃよりも右側の座標であれば、座標通知部５０６は、ドラッグの対象がアイコン７３以外のオブジェクトであると操作対象判別部５０５によって判別された場合は、タッチパネルモジュール４Ｂから送信されてきた座標データ６Ｅを、シフト処理を施してサーバユニット３へ転送する。ユーザジェスチャがドラッグでないとジェスチャ判別部５０４によって判別された場合も同様に、これらの座標データ６Ｅを、シフト処理を施してサーバユニット３へ転送する。
なお、ドラッグの対象がアイコン７１またはアイコン７３であると操作対象判別部５０５によって判別された場合の処理については、後述する。
ＭＦＰユニット２において、次処理決定部２０５は、パネルコントローラ５から送信されてきたデータに基づいて、次に実行すべき処理（以下、「次処理」と記載する。）を決定する。
次処理決定部２０５は、座標データ６Ｅが送信されてきた場合は、これらの座標データ６Ｅに基づいて、ユーザジェスチャを公知の方法で判別する。さらに、ユーザジェスチャの対象であるオブジェクトを、カレントＭＦＰ画面の画面構成データ６Ａ１に基づいて特定する。そして、判別したユーザジェスチャおよび特定したオブジェクトに応じて、次処理を決定する。
例えば、カレントＭＦＰ画面がデスクトップ画面７Ａ１（図８参照）であり、ユーザジェスチャがタップであり、特定したオブジェクトがアイコン７１９である場合は、次処理決定部２０５は、次処理を、ゴミ箱の内容を示すＭＦＰ画面７Ａを表示する処理に決定する。または、特定したオブジェクトがメニューバー７２の中のボタン７２４である場合は、次処理を、オペレーティングシステムのシャットダウンに決定する。
そして、ＭＦＰユニット２において、次処理決定部２０５によって決定された次処理が実行される。例えば、ゴミ箱の内容を示すＭＦＰ画面７Ａを表示する処理に決定された場合は、ＭＦＰ画面生成部２０２および画面データ送信部２０３によって、このＭＦＰ画面７ＡをカレントＭＦＰ画面としてディスプレイモジュール４Ａに表示させるための処理が実行される。または、オペレーティングシステムのシャットダウンに決定された場合は、オペレーティングシステムがシャットダウンされる。
サーバユニット３において、次処理決定部３０５も、次処理決定部２０５と同様に、パネルコントローラ５から送信されてきた座標データ６Ｅに基づいて次処理を決定する。ただし、この際に、ユーザジェスチャの対象であるオブジェクトを、カレントサーバ画面の６Ｂ１に基づいて特定する。
そして、サーバユニット３において、次処理決定部３０５によって決定された次処理が実行される。
図１２は、アイコン７１４を除外した状態のデスクトップ画面７Ａ１の例を示す図である。図１３は、アイコン７１４のドラッグの例を示す図である。図１４は、アイコン７１４がドロップされた状態の合成画面７Ｃの例を示す図である。
ドラッグの対象がアイコン７１またはアイコン７３であると操作対象判別部５０５によって判別された場合は、ドラッグに応じてアイコン７１またはアイコン７３を移動させるための処理が次のように行われる。以下、ドラッグの対象であるアイコン７１またはアイコン７３を「被選択アイコン」と記載する。
ドラッグ開始通知部５１１は、いずれかのアイコン７１が被選択アイコンである場合は、ＭＦＰユニット２へ被選択アイコンの識別子を示す開始通知データ６ＦＡを送信することによって、被選択アイコンがドラッグされ始めたことをＭＦＰユニット２へ通知する。
または、いずれかのアイコン７３が被選択アイコンである場合は、ドラッグ開始通知部５１１は、サーバユニット３へ被選択アイコンの識別子を示す開始通知データ６ＦＢを送信することによって、被選択アイコンがドラッグされ始めたことをサーバユニット３へ通知する。
ドラッグ監視部５１２は、パネルコントローラ５から次々に送信されてくる座標データ６Ｅに示される座標を監視することによって、タッチ面４ＢＳのタッチされている位置を監視する。つまり、ドラッグの変化を監視する。以下、タッチ面４ＢＳのタッチされている位置を「タッチ位置」と記載する。
ＭＦＰユニット２において、次処理決定部２０５は、開始通知データ６ＦＡを受信すると、次処理を、アイコンのドラッグのためのカレントＭＦＰ画面の更新に決定する。
すると、ＭＦＰ画面生成部２０２は、カレントＭＦＰ画面の画面データ６Ａ３を、開始通知データ６ＦＡに示される識別子のアイコン７１を除いた状態で生成し直す。そして、画面データ送信部２０３は、画面データ６Ａ３をパネルコントローラ５へ送信する。
例えば、カレントＭＦＰ画面がデスクトップ画面７Ａ１（図８参照）であり、かつ、開始通知データ６ＦＡにアイコン７１４の識別子が示される場合は、ＭＦＰ画面生成部２０２は、図１２のようにアイコン７１４を除外した画面の画面データ６Ａ３を生成し、画面データ送信部２０３は、画面データ６Ａ３をパネルコントローラ５へ送信する。
サーバユニット３においても同様に、次処理決定部３０５は、開始通知データ６ＦＢを受信すると、アイコンのドラッグのためのカレントサーバ画面の更新に決定する。
すると、サーバ画面生成部３０２は、カレントサーバ画面の画面データ６Ｂ３を、開始通知データ６ＦＢに示される識別子のアイコン７３を除いた状態で生成し直す。そして、画面データ送信部３０３は、画面データ６Ｂ３をパネルコントローラ５へ送信する。
パネルコントローラ５において、合成画面生成部５０２は、上述の通り、ＭＦＰユニット２から受信した画面データ６Ａ３およびサーバユニット３から受信した画面データ６Ｂ３に基づいて合成画面７Ｃの画面データ６Ｃ３を生成する。
しかし、被選択アイコンがアイコン７１である場合は、図１２に示したように、画面データ６Ａ３によって再現されるＭＦＰ画面７Ａから被選択アイコンが除かれている。または、被選択アイコンがアイコン７３である場合は、画面データ６Ｂ３によって再現されるサーバ画面７Ｂから被選択アイコンが除かれている。
そこで、アイコン重畳部５１３および映像出力制御部５０３は、ドラッグ監視部５１２によってタッチ位置が監視されている間、次のように処理を行う。
アイコン重畳部５１３は、合成画面７Ｃの中の、最新のタッチ位置の座標と同じ座標の位置に、被選択アイコンが重なるように、画面データ６Ｃ３を更新する。
映像出力制御部５０３は、アイコン重畳部５１３によって更新された画面データ６Ｃ３を映像信号６Ｃ４に変換してディスプレイモジュール４Ａへ出力する処理をビデオボード５０ｆに実行させる。
そして、ディスプレイモジュール４Ａは、映像信号６Ｃ４に基づいて合成画面７Ｃを表示する。
タッチ位置は、時間の経過とともに変化する。したがって、アイコン重畳部５１３および映像出力制御部５０３の処理によると、タッチ位置の変化に伴って、被選択アイコンが合成画面７Ｃの中で移動する。そして、図１３に示すように境界４０Ｃを越えることがある。
座標データ６Ｅがパネルコントローラ５から送信されてこなくなると、ドラッグ監視部５１２は、ドラッグが終了したと判別し、タッチ位置の監視を終了する。これにより、被選択アイコンの移動が終了する。
ドラッグ終了通知部５１４は、ドラッグ監視部５１２がタッチ位置の監視を終了すると、ドラッグが終了した旨をＭＦＰユニット２またはサーバユニット３へ通知する処理を次のように行う。
タッチ位置が境界４０Ｃを越えることなく監視が終了した場合は、ドラッグ終了通知部５１４は、被選択アイコンがカレントＭＦＰ画面のものであれば、ＭＦＰユニット２へ第一の終了通知データ６ＧＡを送信する。第一の終了通知データ６ＧＡには、監視が終了する直前のタッチ位置つまり指が離れた位置の座標が示される。一方、被選択アイコンがカレントサーバ画面のものであれば、サーバユニット３へ第一の終了通知データ６ＧＢを送信する。第一の終了通知データ６ＧＢには、監視が終了する直前のタッチ位置に対応する、カレントサーバ画面における位置の座標が示される。
または、タッチ位置が左領域４０Ｌから境界４０Ｃを越えて右領域４０Ｒに進入した後に監視が終了した場合は、ドラッグ終了通知部５１４は、第二の終了通知データ６ＨＡをＭＦＰユニット２へ送信するとともに、進入通知データ６ＨＢをサーバユニット３へ送信する。
第二の終了通知データ６ＨＡには、被選択アイコンの識別子が示される。進入通知データ６ＨＢには、監視が終了する直前のタッチ位置に対応する、カレントサーバ画面における位置の座標が示される。さらに、被選択アイコンの画像データ６Ａ２が含まれる。
または、タッチ位置が右領域４０Ｒから境界４０Ｃを越えて左領域４０Ｌに進入した後に監視が終了した場合は、ドラッグ終了通知部５１４は、進入通知データ６ＪＡをＭＦＰユニット２へ送信するとともに、第二の終了通知データ６ＪＢをサーバユニット３へ送信する。
進入通知データ６ＪＡには、監視が終了する直前のタッチ位置の座標が示される。さらに、被選択アイコンの画像データ６Ｂ２が含まれる。第二の終了通知データ６ＪＢには、被選択アイコンの識別子が示される。
ＭＦＰユニット２において、第一の終了通知データ６ＧＡが受信された場合は、次処理決定部２０５は、次処理を、第一の終了通知データ６ＧＡに示される座標の位置へ被選択アイコンを移動させる処理に決定する。
すると、画面更新部２０６は、画面構成データ記憶部２０１に記憶されている、カレントＭＦＰ画面の画面構成データ６Ａ１を、被選択アイコンがその位置に配置されるように更新する。ＭＦＰ画面生成部２０２は、更新後の画面構成データ６Ａ１に基づいてカレントＭＦＰ画面の画面データ６Ａ３を生成し直し、画面データ送信部２０３は、その画面データ６Ａ３をパネルコントローラ５へ送信する。
そして、パネルコントローラ５において、上述の通り、合成画面７Ｃの画面データ６Ｃ３が生成され、画面データ６Ｃ３が映像信号６Ｃ４に変換されてディスプレイモジュール４Ａへ出力される。
サーバユニット３において、第一の終了通知データ６ＧＢが受信された場合は、ＭＦＰユニット２において第一の終了通知データ６ＧＡが受信された場合と同様の処理が行われる。
つまり、次処理決定部３０５は、第一の終了通知データ６ＧＢに示される座標の位置へ被選択アイコンを移動させる処理に決定する。画面更新部３０６は、画面構成データ記憶部３０１に記憶されている、カレントサーバ画面の画面構成データ６Ｂ１を、被選択アイコンがその位置に配置されるように更新する。サーバ画面生成部３０２は、更新後の画面構成データ６Ｂ１に基づいてカレントサーバ画面の画面データ６Ｂ３を生成し直し、画面データ送信部３０３は、その画面データ６Ｂ３をパネルコントローラ５へ送信する。
そして、パネルコントローラ５において、上述の通り、合成画面７Ｃの画面データ６Ｃ３が生成され、画面データ６Ｃ３が映像信号６Ｃ４に変換されてディスプレイモジュール４Ａへ出力される。
または、ＭＦＰユニット２において第二の終了通知データ６ＨＡが受信され、サーバユニット３において進入通知データ６ＨＢが受信された場合は、ファイルをＭＦＰユニット２からサーバユニット３へコピーするための処理が次のように行われる。
ＭＦＰユニット２において、次処理決定部２０５は、次処理を、第二の終了通知データ６ＨＡに示される識別子のアイコン７１に対応するファイルをサーバユニット３へコピーする処理に決定する。
すると、ＭＦＰユニット２のオペレーティングシステムによって、そのファイルがサーバユニット３へ送信される。
サーバユニット３のオペレーティングシステムは、そのファイルをカレントサーバ画面に対応する記憶領域に保存する。
さらに、画面更新部３０６は、そのファイルに対応するアイコンをアイコン７３としてカレントサーバ画面に新たに追加するための処理を行う。具体的には、そのアイコンの識別子を発行し、進入通知データ６ＨＢに示される座標の位置にそのアイコンが配置されるように、そのアイコンを囲むことができる最小の矩形の４つの頂点それぞれの座標をカレントサーバ画面の画面構成データ６Ｂ１に追記する。さらに、そのアイコンの画像データ６Ｂ２として、進入通知データ６ＨＢに含まれる画像データ６Ａ２を、発行した識別子と対応付けて画面構成データ記憶部３０１に記憶させる。
そして、サーバ画面生成部３０２は、更新後の画面構成データ６Ｂ１に基づいてカレントサーバ画面の画面データ６Ｂ３を生成し直し、画面データ送信部３０３は、画面データ６Ｂ３をパネルコントローラ５へ送信する。
すると、パネルコントローラ５において、上述の通り、合成画面７Ｃの画面データ６Ｃ３が生成され、画面データ６Ｃ３が映像信号６Ｃ４に変換されてディスプレイモジュール４Ａへ出力される。
例えば、カレントＭＦＰ画面およびカレントサーバ画面がそれぞれデスクトップ画面７Ａ１およびデスクトップ画面７Ｂ１であり、図１３に示したようにアイコン７１４がデスクトップ画面７Ａ１からドラッグされ境界４０Ｃを越えてデスクトップ画面７Ｂ１でドロップされた場合は、アイコン７１４に対応するファイルがＭＦＰユニット２からサーバユニット３へ送信される。
すると、そのファイルが、デスクトップ画面７Ｂ１に対応する記憶領域つまりデスクトップに保存されるとともに、そのファイルのアイコン７３９がアイコン７３としてデスクトップ画面７Ｂ１に追加される。
そして、アイコン７３が追加されたデスクトップ画面７Ｂ１の画面データ６Ｂ３などがパネルコントローラ５へ送信され、図１４のようにアイコン７３が追加された状態で、合成画面７Ｃがディスプレイモジュール４Ａに表示される。
または、ＭＦＰユニット２において進入通知データ６ＪＡが受信され、サーバユニット３において第二の終了通知データ６ＪＢが受信された場合は、ファイルをサーバユニット３からＭＦＰユニット２へコピーするための処理が次のように行われる。
サーバユニット３において、次処理決定部３０５は、次処理を、第二の終了通知データ６ＪＢに示される識別子のアイコン７３に対応するファイルをＭＦＰユニット２へコピーする処理に決定する。
すると、サーバユニット３のオペレーティングシステムによって、そのファイルがＭＦＰユニット２へ送信される。
ＭＦＰユニット２のオペレーティングシステムは、そのファイルをカレントＭＦＰ画面に対応する記憶領域に保存する。
さらに、画面更新部２０６は、そのファイルに対応するアイコンをアイコン７１としてカレントＭＦＰ画面に新たに追加するための処理を行う。具体的には、そのアイコンの識別子を発行し、進入通知データ６ＪＡに示される座標の位置にそのアイコンが配置されるように、そのアイコンを囲むことができる最小の矩形の４つの頂点それぞれの座標をカレントＭＦＰ画面の画面構成データ６Ａ１に追記する。さらに、そのアイコンの画像データ６Ａ２として、進入通知データ６ＪＡに含まれる画像データ６Ｂ２を、発行した識別子と対応付けて画面構成データ記憶部２０１に記憶させる。
そして、ＭＦＰ画面生成部２０２は、更新後の画面構成データ６Ａ１に基づいてカレントＭＦＰ画面の画面データ６Ａ３を生成し直し、画面データ送信部２０３は、画面データ６Ａ３をパネルコントローラ５へ送信する。
すると、パネルコントローラ５において、上述の通り、合成画面７Ｃの画面データ６Ｃ３が生成され、画面データ６Ｃ３が映像信号６Ｃ４に変換されてディスプレイモジュール４Ａへ出力される。
図１５は、ＭＦＰユニット２またはサーバユニット３の全体的な処理の流れの例を説明するフローチャートである。図１６～図１７は、パネルコントローラ５の全体的な処理の流れの例を説明するフローチャートである。
次に、ＭＦＰユニット２、サーバユニット３、およびパネルコントローラ５それぞれの全体的な処理の流れを、フローチャートを参照しながら説明する。
ＭＦＰユニット２は、クライアントプログラム２０Ｐに基づいて、図１５に示す手順で処理を実行する。サーバユニット３は、クライアントプログラム３０Ｐに基づいて、図１５に示す手順で処理を実行する。つまり、ＭＦＰユニット２の全体的な処理の流れおよびサーバユニット３の全体的な処理の流れは、基本的に同じである。
パネルコントローラ５は、中継プログラム５０Ｐに基づいて、図１６～図１７に示す手順で処理を実行する。
ＭＦＰユニット２は、オペレーティングシステムの起動後、所定のＭＦＰ画面７Ａを構成する各アイコンの画像データ６Ａ２および区域データ６Ａ４をパネルコントローラ５へ送信する（図１５の＃８０１）。さらに、このＭＦＰ画面７ＡをカレントＭＦＰ画面としてタッチパネルディスプレイ４に表示させるために、このＭＦＰ画面７Ａの画面データ６Ａ３を生成しパネルコントローラ５へ送信する（＃８０２）。ステップ＃８０２の処理は、ステップ＃８０４の処理、ステップ＃８０９の処理、ステップ＃８１１の処理、またはステップ＃８１３～＃８１４の処理と並行して所定のフレームレートで行ってもよい。後述するステップ＃８０７の処理も同様に、これらの処理と並行して所定のフレームレートで行ってもよい。
サーバユニット３も同様に、オペレーティングシステムの起動後、所定のサーバ画面７Ｂを構成する各アイコンの画像データ６Ｂ２および区域データ６Ｂ４をパネルコントローラ５へ送信する（＃８０１）。さらに、このサーバ画面７Ｂをタッチパネルディスプレイ４に表示させるために、このサーバ画面７Ｂの画面データ６Ｂ３を生成しパネルコントローラ５へ送信する（＃８０２）。ステップ＃８０２の処理は、ステップ＃８０３以降の処理を並行して所定のフレームレートで行ってもよい。
ＭＦＰユニット２は、座標データ６Ｅをパネルコントローラ５から受信すると（＃８０３でＹｅｓ）、次処理を決定する（＃８０４）。そして、次処理を、カレントＭＦＰ画面を他のＭＦＰ画面７Ａに変更することに決定した場合は（＃８０５でＹｅｓ）、当該他のＭＦＰ画面７ＡをカレントＭＦＰ画面としてタッチパネルディスプレイ４に表示させるための処理を上述の通り行う（＃８０１、＃８０２）。そうでない場合は（＃８０５でＮｏ）、オペレーティングシステムなどによって適宜、決定した次処理がＭＦＰユニット２において実行される。
同様に、サーバユニット３は、座標データ６Ｅをパネルコントローラ５から受信すると（＃８０３でＹｅｓ）、次処理を決定する（＃８０４）。そして、次処理を、カレントサーバ画面を他のサーバ画面７Ｂに変更することに決定した場合は（＃８０５でＹｅｓ）、当該他のサーバ画面７Ｂをカレントサーバ画面としてタッチパネルディスプレイ４に表示させるための処理を上述の通り行う（＃８０１、＃８０２）。そうでない場合は（＃８０５でＮｏ）、オペレーティングシステムなどによって適宜、決定した次処理がサーバユニット３において実行される。
または、ＭＦＰユニット２は、開始通知データ６ＦＡを受信した場合は（＃８０６でＹｅｓ）、開始通知データ６ＦＡに示される識別子のアイコン７１を除外した状態でカレントＭＦＰ画面の画面データ６Ａ３を生成しパネルコントローラ５へ送信する（＃８０７）。
同様に、サーバユニット３は、開始通知データ６ＦＢを受信した場合は（＃８０６でＹｅｓ）、開始通知データ６ＦＢに示される識別子のアイコン７３を除外した状態でカレントサーバ画面の画面データ６Ｂ３を生成しパネルコントローラ５へ送信する（＃８０７）。
なお、ステップ＃８０７の処理を実行している間は、ステップ＃８０２の処理を停止する。
または、ＭＦＰユニット２は、第一の終了通知データ６ＧＡを受信した場合は（＃８０８でＹｅｓ）、第一の終了通知データ６ＧＡに示される識別子のアイコン７１をカレントＭＦＰ画面の中の、第一の終了通知データ６ＧＡに示される座標の位置へ移動させるために、カレントＭＦＰ画面の画面構成データ６Ａ１を更新する（＃８０９）。そして、ステップ＃８０２に戻って、更新後の画面構成データ６Ａ１に基づいてカレントＭＦＰ画面の画面データ６Ａ３を生成しパネルコントローラ５へ送信する。
同様に、サーバユニット３は、第一の終了通知データ６ＧＢを受信した場合は（＃８０８でＹｅｓ）、第一の終了通知データ６ＧＢに示される識別子のアイコン７３をカレントサーバ画面の中の、第一の終了通知データ６ＧＢに示される座標の位置へ移動させるために、カレントサーバ画面の画面構成データ６Ｂ１を更新する（＃８０９）。そして、ステップ＃８０２に戻って、更新後の画面構成データ６Ｂ１に基づいてカレントサーバ画面の画面データ６Ｂ３を生成しパネルコントローラ５へ送信する。
または、ＭＦＰユニット２は、第二の終了通知データ６ＨＡを受信した場合は（＃８１０でＹｅｓ）、次処理を、第二の終了通知データ６ＨＡに示される識別子のアイコン７１に対応するファイルをサーバユニット３へ送信する処理に決定する（＃８１１）。そして、オペレーティングシステムによって、このファイルがサーバユニット３へ送信される。
同様に、サーバユニット３は、第二の終了通知データ６ＪＢを受信した場合は（＃８１０でＹｅｓ）、次処理を、第二の終了通知データ６ＪＢに示される識別子のアイコン７３に対応するファイルをＭＦＰユニット２へ送信する処理に決定する（＃８１１）。オペレーティングシステムによって、このファイルがＭＦＰユニット２へ送信される。
または、ＭＦＰユニット２は、進入通知データ６ＪＡを受信した場合は（＃８１２でＹｅｓ）、サーバユニット３から送信されてきたファイルを、カレントＭＦＰ画面に対応する記憶領域に保存するとともに（＃８１３）、カレントＭＦＰ画面の中の、進入通知データ６ＪＡに示される座標の位置に、そのファイルに対応するアイコンをアイコン７１として追加するための処理を行う（＃８１４）。具体的には、そのアイコンの識別子を発行し、進入通知データ６ＪＡに含まれる画像データ６Ｂ２を、そのアイコンの画像データ６Ａ２としてその識別子と対応付けて記憶するとともに、そのアイコンの位置およびその識別子を画面構成データ６Ａ１に追記する。
そして、ＭＦＰユニット２は、ステップ＃８０１に戻って、カレントＭＦＰ画面の各アイコンの画像データ６Ａ２および区域データ６Ａ４をパネルコントローラ５へ送信し（＃８０１）、更新後の画面構成データ６Ａ１に基づいてカレントＭＦＰ画面の画面データ６Ａ３を生成しパネルコントローラ５へ送信する（＃８０２）。
同様に、サーバユニット３は、進入通知データ６ＨＢを受信した場合は（＃８１２でＹｅｓ）、ＭＦＰユニット２から送信されてきたファイルを、カレントサーバ画面に対応する記憶領域に保存するとともに（＃８１３）、カレントサーバ画面の中の、進入通知データ６ＨＢに示される座標の位置に、そのファイルに対応するアイコンをアイコン７３として追加するための処理を行う（＃８１４）。具体的には、そのアイコンの識別子を発行し、進入通知データ６ＨＢに含まれる画像データ６Ａ２を、そのアイコンの画像データ６Ｂ２としてその識別子と対応付けて記憶するとともに、そのアイコンの位置およびその識別子を画面構成データ６Ｂ１に追記する。
そして、サーバユニット３は、ステップ＃８０１に戻って、カレントサーバ画面の各アイコンの画像データ６Ｂ２および区域データ６Ｂ４をパネルコントローラ５へ送信し（＃８０１）、更新後の画面構成データ６Ｂ１に基づいてカレントサーバ画面の画面データ６Ｂ３を生成しパネルコントローラ５へ送信する（＃８０２）。
ＭＦＰユニット２は、クライアントプログラム２０Ｐによるサービスを継続している間（＃８１５でＹｅｓ）、適宜、上述の処理を実行する。同様に、サーバユニット３は、クライアントプログラム３０Ｐによるサービスを継続している間（＃８１５でＹｅｓ）、適宜、上述の処理を実行する。
一方、パネルコントローラ５は、ＭＦＰユニット２から画像データ６Ａ２および区域データ６Ａ４を受信し、サーバユニット３から画像データ６Ｂ２および区域データ６Ｂ４を受信すると（図１６の＃８２１でＹｅｓ）、これらを記憶する（＃８２２）。さらに、ＭＦＰユニット２から画面データ６Ａ３を受信し、サーバユニット３から画面データ６Ｂ３を受信すると（＃８２３）、画面データ６Ａ３および画面データ６Ｂ３に基づいて画面データ６Ｃ３を生成し（＃８２４）、画面データ６Ｃ３を映像信号６Ｃ４に変換しディスプレイモジュール４Ａへ送信する（＃８２７）。これにより、ディスプレイモジュール４Ａに合成画面７Ｃが表示される。
ただし、タッチ位置の監視中である場合は（＃８２５でＹｅｓ）、パネルコントローラ５は、被選択アイコンが合成画面７Ｃに重ねられるように画面データ６Ｃ３を更新し（＃８２６）、更新した画面データ６Ｃ３を映像信号６Ｃ４に変換してディスプレイモジュール４Ａへ送信する（＃８２７）。
なお、パネルコントローラ５は、ステップ＃８２３～＃８２７の処理を、ステップ＃８２９～＃８３０の処理、ステップ＃８３２の処理、ステップ＃８３４～＃８３５の処理、またはステップ＃８３７～＃８４２の処理と並行して実行する。
または、パネルコントローラ５は、座標データ６Ｅをタッチパネルモジュール４Ｂから受信し始めると（＃８２８でＹｅｓ）、ユーザジェスチャがドラッグであるか否かを判別し（＃８２９）、ドラッグである場合は、ドラッグの対象を判別する（＃８３０）。
ユーザジェスチャがドラッグでない場合およびドラッグの対象がアイコン７１でもアイコン７３でもない場合は（＃８３１でＮｏ）、パネルコントローラ５は、ユーザジェスチャが左領域４０Ｌに対して行われたのであれば、ＭＦＰユニット２へ座標データ６Ｅを送信し、右領域４０Ｒに対して行われたのであれば、座標データ６Ｅを、シフト処理を施してサーバユニット３へ送信する（＃８３２）。タッチパネルモジュール４Ｂから座標データ６Ｅが連続的に送信されてくる間（＃８３３でＮｏ）、座標データ６ＥをＭＦＰユニット２またはサーバユニット３へ送信する（＃８３２）。
ユーザジェスチャがドラッグでありかつドラッグの対象がアイコン７１またはアイコン７３である場合は（＃８３１でＹｅｓ）、パネルコントローラ５は、ドラッグの開始をＭＦＰユニット２またはサーバユニット３に通知する（＃８３４）。具体的には、ドラッグの対象がアイコン７１であればＭＦＰユニット２へ開始通知データ６ＦＡを送信し、アイコン７３であればサーバユニット３へ開始通知データ６ＦＢを送信する。
さらに、パネルコントローラ５は、タッチ位置の監視を開始する（図１７の＃８３５）。監視中も、ステップ＃８２４～＃８２７の処理が並行して実行されるので、タッチ位置に合わせて被選択アイコンが合成画面７Ｃの中で移動する。
座標データ６Ｅが送信されてこなくなったら（＃８３６でＹｅｓ）、パネルコントローラ５は、監視を終了する（＃８３７）。そして、タッチ位置が境界４０Ｃを越えたか否かを判別し（＃８３８）、その結果に応じて次のようにＭＦＰユニット２またはサーバユニット３への通知を行う。
境界４０Ｃを越えていない場合は（＃８３９でＮｏ）、パネルコントローラ５は、被選択アイコンがアイコン７１であれば、第一の終了通知データ６ＧＡをＭＦＰユニット２へ送信し、アイコン７３であれば、第一の終了通知データ６ＧＢをサーバユニット３へ送信する（＃８４０）。
境界４０Ｃを越えている場合は（＃８３９でＹｅｓ）、パネルコントローラ５は、被選択アイコンがアイコン７１であれば、第二の終了通知データ６ＨＡをＭＦＰユニット２へ送信し、アイコン７３であれば、第二の終了通知データ６ＪＢをサーバユニット３へ送信する（＃８４１）。さらに、被選択アイコンがアイコン７１であれば、進入通知データ６ＪＡをＭＦＰユニット２へ送信し、アイコン７３であれば、進入通知データ６ＨＢをサーバユニット３へ送信する（＃８４２）。
パネルコントローラ５は、中継プログラム５０Ｐによるサービスを継続している間（＃８４３でＹｅｓ）、適宜、上述の処理を実行する。
第一の実施形態によると、ＭＦＰ画面７Ａおよびサーバ画面７Ｂを並べて表示させた場合において、アイコンの行き来を従来よりも容易に実現することができる。
第一の実施形態では、ＭＦＰユニット２は、ＭＦＰ画面７Ａの全体を表示するためのデータを画面データ６Ａ３として生成しパネルコントローラ５へ送信した。同様に、サーバユニット３は、サーバ画面７Ｂの全体を表示するためのデータを画面データ６Ｂ３として生成しパネルコントローラ５へ送信した。そして、パネルコントローラ５は、ＭＦＰ画面７Ａおよびサーバ画面７Ｂそれぞれから左領域４０Ｌおよび右領域４０Ｒそれぞれのサイズに合わせて一部分を抽出し、抽出した一部分を並べることによって合成画面７Ｃとして生成した。
しかし、ＭＦＰユニット２が左領域４０Ｌのサイズに合わせてＭＦＰ画面７Ａの一部分を抽出し、この一部分を表示するためのデータを画面データ６Ａ３としてパネルコントローラ５へ送信してもよい。同様に、サーバユニット３が右領域４０Ｒのサイズに合わせてサーバ画面７Ｂの一部分を抽出し、この一部分を表示するためのデータを画面データ６Ｂ３としてパネルコントローラ５へ送信してもよい。そして、パネルコントローラ５は、画面データ６Ａ３および画面データ６Ｂ３に基づいて合成画面７Ｃを生成してもよい。後述する第二の実施形態においても、同様である。
第一の実施形態では、パネルコントローラ５は、ユーザが被選択アイコンのドラッグを終えた後、つまり、被選択アイコンをドロップした後に、被選択アイコンの画像データ６Ａ２または画像データ６Ｂ２を、被選択アイコンに対応するファイルのコピー先へ送信した。しかし、被選択アイコンが境界４０Ｃを越えた直後に送信してもよい。
〔第二の実施形態〕
図１８は、ＭＦＰユニット２の機能的構成の例を示す図である。図１９は、サーバユニット３の機能的構成の例を示す図である。図２０は、パネルコントローラ５の機能的構成の例を示す図である。
第一の実施形態では、ドラッグに合わせてアイコン７１またはアイコン７３を移動させる処理をパネルコントローラ５が行ったが、第二の実施形態では、ＭＦＰユニット２およびサーバユニット３が行う。以下、この処理をＭＦＰユニット２およびサーバユニット３が行う仕組みについて、説明する。第一の実施形態と重複する点については、説明を省略する。
複合機１の構成は、第一の実施形態と同様であり、図１または図２に示した通りである。ＭＦＰユニット２、サーバユニット３、タッチパネルディスプレイ４、およびパネルコントローラ５それぞれのハードウェアの構成も第一の実施形態と同様であり、図２～図５に示した通りである。
ただし、補助記憶装置２０ｄ、補助記憶装置３０ｄ、および補助記憶装置５０ｄには、それぞれ、クライアントプログラム２０Ｐ、クライアントプログラム３０Ｐ、および中継プログラム５０Ｐの代わりにクライアントプログラム２１Ｐ、クライアントプログラム３１Ｐ、および中継プログラム５１Ｐが記憶されている。
クライアントプログラム２１Ｐによると、図１８に示す画面構成データ記憶部２２１、ＭＦＰ画面生成部２２２、画面データ送信部２２３、次処理決定部２２４、スタンバイ要求部２２５、ドラッグ監視部２２６、解除要求部２２７、境界到達通知部２２８、画面更新部２２９、アイコンデータ記憶部２３１、フラグ記憶部２３２、およびドロップ通知部２３３などがＭＦＰユニット２に実現される。
クライアントプログラム３１Ｐによると、図１９に示す画面構成データ記憶部３２１、サーバ画面生成部３２２、画面データ送信部３２３、次処理決定部３２４、スタンバイ要求部３２５、ドラッグ監視部３２６、解除要求部３２７、境界到達通知部３２８、画面更新部３２９、アイコンデータ記憶部３３１、フラグ記憶部３３２、およびドロップ通知部３３３などがサーバユニット３に実現される。
中継プログラム５１Ｐによると、図２０に示す合成画面生成部５２１、映像出力制御部５２２、および座標通知部５２３などがパネルコントローラ５に実現される。
〔合成画面の表示〕
ＭＦＰユニット２において、画面構成データ記憶部２２１には、第一の実施形態の画面構成データ記憶部２０１（図６参照）と同様に、画面構成データ６Ａ１および画像データ６Ａ２が予め記憶されている。
ＭＦＰ画面生成部２２２は、ＭＦＰ画面生成部２０２と同様に、画面データ６Ａ３を生成する。
画面データ送信部２２３は、ＭＦＰ画面生成部２２２によって生成された画面データ６Ａ３を、画面データ送信部２０３と同様にパネルコントローラ５へ送信する。
サーバユニット３において、画面構成データ記憶部３２１には、画面構成データ記憶部３０１（図６参照）と同様に、画面構成データ６Ｂ１および画像データ６Ｂ２が予め記憶されている。
サーバ画面生成部３２２は、サーバ画面生成部３０２と同様に、画面データ６Ｂ３を生成する。
画面データ送信部３２３は、サーバ画面生成部３２２によって生成された画面データ６Ｂ３を、画面データ送信部３０３と同様に、パネルコントローラ５へ送信する。
パネルコントローラ５において、合成画面生成部５２１は、合成画面生成部５０２（図７参照）と同様に、画面データ６Ａ３および画面データ６Ｂ３に基づいて画面データ６Ｃ３を生成する。
映像出力制御部５２２は、映像出力制御部５０３と同様に、合成画面生成部５２１によって画面データ６Ｃ３が生成されると、画面データ６Ｃ３を映像信号６Ｃ４に変換してディスプレイモジュール４Ａへ出力する処理をビデオボード５０ｆに実行させる。
そして、ディスプレイモジュール４Ａは、映像信号６Ｃ４に基づいて合成画面７Ｃを表示する。
〔タッチに応答するための処理〕
フラグ記憶部２３２には、スタンバイフラグ６Ｋが予め記憶されている。フラグ記憶部３３２にも、スタンバイフラグ６Ｋが予め記憶されている。スタンバイフラグ６Ｋの使い方は、後述する。スタンバイフラグ６Ｋの初期値は「０」である。
第一の実施形態と同様に、タッチパネルモジュール４Ｂは、座標データ６Ｅをパネルコントローラ５へ送信する。
パネルコントローラ５において、座標通知部５２３は、座標データ６Ｅが受信されると、その座標データ６Ｅに示される座標が境界４０Ｃよりも左側の座標であれば、その座標データ６ＥをＭＦＰユニット２へ転送する。または、右側の座標であれば、その座標データ６Ｅを、シフト処理を施してサーバユニット３へ転送する。
ＭＦＰユニット２において、次処理決定部２２４は、パネルコントローラ５から送信されてきた座標データ６Ｅに基づいて、ユーザジェスチャを公知の方法で判別する。さらに、ユーザジェスチャの対象であるオブジェクトを、カレントＭＦＰ画面の画面構成データ６Ａ１に基づいて特定する。そして、判別したユーザジェスチャおよび特定したオブジェクトに応じて、次処理を決定する。
サーバユニット３において、次処理決定部３２４も、次処理決定部２２４と同様に、パネルコントローラ５から送信されてきた座標データ６Ｅに基づいて次処理を決定する。ただし、この際に、ユーザジェスチャの対象であるオブジェクトを、カレントサーバ画面の６Ｂ１に基づいて特定する。
そして、ＭＦＰユニット２において、次処理決定部２２４によって決定された次処理が実行される。また、サーバユニット３において、次処理決定部３２４によって決定された次処理が実行される。
特に、ユーザジェスチャがドラッグでありかつドラッグの対象がアイコン７１である場合は、次処理決定部２２４によって次処理がアイコンの移動の処理に決定に決定される。そして、このアイコン７１すなわち被選択アイコンの移動の処理が次のように実行される。
スタンバイ要求部２２５は、スタンバイ要求データ６Ｌ１をサーバユニット３へ送信することによって、ＭＦＰユニット２からサーバユニット３へのアイコン７１の移動をスタンバイするようにサーバユニット３へ要求する。スタンバイ要求データ６Ｌ１には、被選択アイコンの画像データ６Ａ２が含まれている。
サーバユニット３において、ＭＦＰユニット２からスタンバイ要求データ６Ｌ１が送信されてくると、フラグ記憶部３３２に記憶されているスタンバイフラグ６Ｋが「１」に更新される。これにより、スタンバイモードがオンに設定される。「スタンバイモード」は、被選択アイコンの受入れをスタンバイするモードである。
さらに、アイコンデータ記憶部３３１は、スタンバイ要求データ６Ｌ１に含まれる画像データ６Ａ２を記憶する。
ＭＦＰ画面生成部２２２は、パネルコントローラ５から座標データ６Ｅが送信されてくるごとに、カレントＭＦＰ画面の画面データ６Ａ３を、被選択アイコンをカレントＭＦＰ画面の画面構成データ６Ａ１に示される位置ではなくその座標データ６Ｅに示される座標の位置に配置した状態で生成し直す。
そして、画面データ送信部２２３は、画面データ６Ａ３をパネルコントローラ５へ送信する。
すると、パネルコントローラ５において、合成画面生成部５２１は、ＭＦＰユニット２から受信した画面データ６Ａ３およびサーバユニット３から受信した画面データ６Ｂ３に基づいて合成画面７Ｃの画面データ６Ｃ３を生成する。映像出力制御部５２２は、画面データ６Ｃ３を映像信号６Ｃ４に変換してディスプレイモジュール４Ａへ出力する処理をビデオボード５０ｆに実行させる。これにより、タッチ位置に合わせて被選択アイコンがカレントＭＦＰ画面の中を動く様子が再現される。
ＭＦＰユニット２において、ドラッグ監視部２２６は、パネルコントローラ５から次々に送信されてくる座標データ６Ｅに示される座標を監視することによって、タッチ位置を監視する。つまり、ドラッグを監視する。
ユーザが指を、境界４０Ｃを越えることなくカレントＭＦＰ画面の中で離すと、タッチ位置が左領域４０Ｌの右辺に達することなく、座標データ６Ｅが送信されてこなくなる。すると、解除要求部２２７および画面更新部２２９は、次の処理を行う。
解除要求部２２７は、解除要求データ６Ｍをサーバユニット３へ送信する。サーバユニット３において、解除要求データ６Ｍが受信されると、スタンバイフラグ６Ｋが「０」に更新される。これにより、スタンバイモードがオフに設定される。さらに、アイコンデータ記憶部３３１から画像データ６Ａ２が削除される。
画面更新部２２９は、画面構成データ記憶部２２１に記憶されている、カレントＭＦＰ画面の画面構成データ６Ａ１を、最後の座標データ６Ｅに示される座標の位置つまり指がリリースされた位置に被選択アイコンが配置されるように更新する。なお、その後、ＭＦＰ画面生成部２２２は、更新後の画面構成データ６Ａ１に基づいてカレントＭＦＰ画面の画面データ６Ａ３を生成し直し、画面データ送信部２２３は、その画面データ６Ａ３をパネルコントローラ５へ送信する。
一方。タッチ位置が境界４０Ｃを越えた場合は、タッチ位置が左領域４０Ｌの右辺に達した後、座標データ６Ｅが送信されてこなくなる。
すると、境界到達通知部２２８は、境界到達通知データ６Ｎをサーバユニット３へ送信する。
また、ＭＦＰ画面生成部２２２は、カレントＭＦＰ画面の画面データ６Ａ３を、被選択アイコンをカレントＭＦＰ画面から一時的に除外した状態で生成し直す。画面データ送信部２２３は、画面データ６Ａ３をパネルコントローラ５へ送信する。
サーバユニット３において、スタンバイフラグ６Ｋが「１」である場合において、境界到達通知データ６ＮがＭＦＰユニット２から送信されてくると、被選択アイコンをカレントサーバ画面に配置するための処理が次のように行われる。
ドラッグ監視部３２６は、パネルコントローラ５から次々に送信されてくる座標データ６Ｅに示される座標を監視することによって、タッチ位置を監視する。つまり、ドラッグを監視する。
サーバ画面生成部３２２は、パネルコントローラ５から座標データ６Ｅが送信されてくるごとに、カレントサーバ画面の画面データ６Ｂ３を、座標データ６Ｅに示される座標の位置に被選択アイコンを配置した状態で生成し直す。そして、画面データ送信部３２３は、画面データ６Ｂ３をパネルコントローラ５へ送信する。
すると、パネルコントローラ５において、合成画面生成部５２１は、ＭＦＰユニット２から受信した画面データ６Ａ３およびサーバユニット３から受信した画面データ６Ｂ３に基づいて合成画面７Ｃの画面データ６Ｃ３を生成する。映像出力制御部５２２は、画面データ６Ｃ３を映像信号６Ｃ４に変換してディスプレイモジュール４Ａへ出力する処理をビデオボード５０ｆに実行させる。これにより、タッチ位置に合わせて被選択アイコンがカレントサーバ画面の中を動く様子が再現される。
ユーザが指をカレントサーバ画面の中で離すと、座標データ６Ｅが送信されてこなくなる。すると、ドラッグ監視部３２６は、被選択アイコンのドラッグが終わったと判別する。つまり、被選択アイコンがタッチ位置にドロップされたと判別する。
すると、ドロップ通知部３３３は、ドロップ通知データ６ＱをＭＦＰユニット２へ送信する。
ＭＦＰユニット２において、ドロップ通知データ６Ｑがサーバユニット３から送信されてくると、次処理決定部２２４は、次処理を、被選択アイコンに対応するファイルをＭＦＰユニット２からサーバユニット３へコピーする処理に決定する。すると、ＭＦＰユニット２のオペレーティングシステムによって、そのファイルがサーバユニット３へ送信される。
サーバユニット３のオペレーティングシステムは、そのファイルをカレントサーバ画面に対応する記憶領域に保存する。
画面更新部３２９は、そのファイルに対応するアイコンをアイコン７３としてカレントサーバ画面に新たに追加するための処理を行う。具体的には、そのアイコンの識別子を発行し、最後の座標データ６Ｅに示される座標の位置つまり被選択アイコンがドロップされた位置にそのアイコンが配置されるように、そのアイコンを囲むことができる最小の矩形の４つの頂点それぞれの座標をカレントサーバ画面の画面構成データ６Ｂ１に追記する。さらに、そのアイコンの画像データ６Ｂ２として、アイコンデータ記憶部３３１に記憶されている画像データ６Ａ２を、発行した識別子と対応付けて画面構成データ記憶部３２１に記憶させる。アイコンデータ記憶部３３１に記憶されている画像データ６Ａ２は、削除される。
また、ＭＦＰユニット２において、ＭＦＰ画面生成部２２２は、カレントＭＦＰ画面の画面データ６Ａ３を、被選択アイコンを再びカレントＭＦＰ画面に配置した状態で生成し直す。画面データ送信部２２３は、画面データ６Ａ３をパネルコントローラ５へ送信する。
これにより、第一の実施形態と同様に、図１４に示したように、被選択アイコンに対応するファイルがＭＦＰユニット２からサーバユニット３へコピーされるとともに、カレントサーバ画面にもそのファイルのアイコン７３が表われる。
図２１は、ＭＦＰユニット２の機能的構成の例を示す図である。図２２は、サーバユニット３の機能的構成の例を示す図である。
なお、図１８、図１９には、被選択アイコンがアイコン７１であり、カレントＭＦＰ画面からカレントサーバ画面へ移動する場合のデータ等の流れを示した。被選択アイコンがアイコン７３であり、カレントサーバ画面からカレントＭＦＰ画面へ移動する場合は、ＭＦＰユニット２のＭＦＰ画面生成部２２２ないしドロップ通知部２３３は、それぞれ、サーバユニット３のサーバ画面生成部３２２ないしドロップ通知部３３３と同様の処理を行い、サーバ画面生成部３２２ないしドロップ通知部３３３は、それぞれ、ＭＦＰ画面生成部２２２ないしドロップ通知部２３３と同様の処理を行う。この際のデータ等の流れは、図２１および図２２に示す通りである。
ただし、スタンバイ要求データ６Ｌ１の代わりにスタンバイ要求データ６Ｌ２がやり取りされる。スタンバイ要求データ６Ｌ２には、被選択アイコンの画像データ６Ｂ２が含まれている。そして、画像データ６Ｂ２がアイコンデータ記憶部２３１に記憶され、カレントＭＦＰ画面への被選択アイコンの移動の際に用いられる。
図２３は、パネルコントローラ５の全体的な処理の流れの例を説明するフローチャートである。図２４～図２５は、ＭＦＰユニット２またはサーバユニット３の全体的な処理の流れの例を説明するフローチャートである。
次に、ＭＦＰユニット２、サーバユニット３、およびパネルコントローラ５それぞれの全体的な処理の流れを、フローチャートを参照しながら説明する。
パネルコントローラ５は、中継プログラム５１Ｐに基づいて、図２３に示す手順で処理を実行する。
パネルコントローラ５は、ＭＦＰユニット２から画面データ６Ａ３を受信し、サーバユニット３から画面データ６Ｂ３を受信すると（＃８５１でＹｅｓ）、画面データ６Ａ３および画面データ６Ｂ３に基づいて画面データ６Ｃ３を生成し（＃８５２）、画面データ６Ｃ３を映像信号６Ｃ４に変換しディスプレイモジュール４Ａへ送信する（＃８５３）。これにより、ディスプレイモジュール４Ａに合成画面７Ｃが表示される。
または、パネルコントローラ５は、座標データ６Ｅをタッチパネルモジュール４Ｂから受信すると（＃８５４でＹｅｓ）、座標データ６Ｅが左領域４０Ｌのいずれかの座標を示すものであれば座標データ６ＥをＭＦＰユニット２へ送信し、右領域４０Ｒのいずれかの座標を示すものであれば座標データ６Ｅを、シフト処理を施してサーバユニット３へ送信する（＃８５５）。
パネルコントローラ５は、中継プログラム５１Ｐによるサービスを継続している間（＃８５６でＹｅｓ）、適宜、上述の処理を実行する。
ＭＦＰユニット２は、クライアントプログラム２１Ｐに基づいて、図２４～図２５に示す手順で処理を実行する。
ＭＦＰユニット２は、オペレーティングシステムの起動後、所定のＭＦＰ画面７ＡをカレントＭＦＰ画面としてタッチパネルディスプレイ４に表示させるために、所定のフレームレートでこのＭＦＰ画面７Ａの画面データ６Ａ３を生成しパネルコントローラ５へ送信し始める（図２４の＃８６１）。
パネルコントローラ５から座標データ６Ｅを受信し始めると（＃８６２でＹｅｓ）、ＭＦＰユニット２は、次処理を決定する（＃８６３）。
次処理がカレントＭＦＰ画面の変更である場合は（＃８６４でＹｅｓ）、ＭＦＰユニット２は、ステップ＃８６１に戻って、新たなカレントＭＦＰ画面の画面データ６Ａ３を生成しパネルコントローラ５へ送信し始める。
次処理がカレントＭＦＰ画面の中のアイコン７１の移動である場合は（＃８６５でＹｅｓ）、ＭＦＰユニット２は、ＭＦＰ画面の中でタッチ位置に合わせてそのアイコン７１を移動させるとともに（＃８６６）、サーバユニット３へスタンバイ要求データ６Ｌ１を送信する（＃８６７、＃８６８）。なお、スタンバイ要求データ６Ｌ１には、そのアイコン７１の画像データ６Ａ２が含まれている。
タッチ位置が境界４０Ｃに達することなくそのアイコン７１がドロップされると（＃８６９でＮｏ）、ＭＦＰユニット２は、そのアイコン７１が、ドロップされた位置に配置されるようにカレントＭＦＰ画面の画面構成データ６Ａ１を更新するとともに（＃８７０）、解除要求データ６Ｍをサーバユニット３へ送信する（＃８７１）。
そのアイコン７１がドロップされる前にタッチ位置が境界４０Ｃに達したら（＃８６９でＹｅｓ）、ＭＦＰユニット２は、そのアイコン７１を一時的にカレントＭＦＰ画面から除去して画面データ６Ａ３を生成し、パネルコントローラ５へ送信し始める（＃８７２）。さらに、境界到達通知データ６Ｎをサーバユニット３へ送信する（＃８７３）。
そして、ＭＦＰユニット２は、サーバユニット３からドロップ通知データ６Ｑを受信したら（＃８７４）、そのアイコン７１に対応するファイルをサーバユニット３へ送信するとともに（＃８７５）、そのアイコン７１を移動前の位置に戻す（＃８７６）。
または、ＭＦＰユニット２は、スタンバイ要求データ６Ｌ２をサーバユニット３から受信した場合は（＃８７７でＹｅｓ）、スタンバイフラグ６Ｋを「１」に更新するとともに（＃８７８）、スタンバイ要求データ６Ｌ２に含まれる画像データ６Ｂ２を一時的に記憶する（＃８７９）。
または、スタンバイフラグ６Ｋが「１」であるときに座標データ６Ｅを受信し始めると（＃８６１でＹｅｓ、＃８６４でＮｏ、＃８６５でＮｏ、図２５の＃８８０でＹｅｓ）、ＭＦＰユニット２は、カレントサーバ画面の中のドラッグされているアイコン７３（被選択アイコン）をＭＦＰ画面の中にタッチ位置に合わせて配置する（＃８８１）。被選択アイコンの描画は、一時的に記憶している画像データ６Ｂ２に基づいて行えばよい。
そして、ＭＦＰユニット２は、座標データ６Ｅが送信されてこなくなったら、つまり、被選択アイコンがドロップされたら（＃８８２でＹｅｓ）、ドロップ通知データ６Ｑをサーバユニット３へ送信する（＃８８３）。その後、被選択アイコンに対応するファイルをサーバユニット３から受信し、カレントＭＦＰ画面に対応する保存領域に保存するとともに（＃８８４）、被選択アイコンを、そのファイルに対応するアイコンとしてカレントＭＦＰ画面に追加するための処理を行う（＃８８５）。さらに、スタンバイフラグ６Ｋを「０」に更新するとともに（＃８８６）、被選択アイコンの画像データ６Ｂ２を削除する（＃８８７）。
または、ＭＦＰユニット２は、解除要求データ６Ｍをサーバユニット３から受信すると（＃８８８でＹｅｓ）、スタンバイフラグ６Ｋを「０」に更新するとともに（＃８８９）、被選択アイコンの画像データ６Ｂ２を削除する（＃８９０）。
ＭＦＰユニット２は、クライアントプログラム２１Ｐによるサービスを継続している間（＃８９１でＹｅｓ）、適宜、上述の処理を実行する。
サーバユニット３は、クライアントプログラム３１Ｐに基づいて、図２４～図２５に示す手順で処理を実行する。つまり、サーバユニット３の全体的な処理の流れは、ＭＦＰユニット２の全体的な処理の流れと基本的に同じである。
第二の実施形態によると、ＭＦＰ画面７Ａおよびサーバ画面７Ｂを並べて表示させた場合において、アイコンの行き来を従来よりも容易に実現することができる。
〔変形例〕
（１）第一の変形例
第一の実施形態および第二の実施形態では、合成画面７Ｃのデータつまり画面データ６Ｃ３をパネルコントローラ５が生成した。しかし、ＭＦＰユニット２またはサーバユニット３が生成してもよい。
例えば、アイコンデータ記憶部５０１および合成画面生成部５０２のそれぞれに相当する機能をＭＦＰユニット２およびサーバユニット３の両方に設ける。または、合成画面生成部５２１および映像出力制御部５２２のそれぞれに相当する機能をＭＦＰユニット２またはサーバユニット３の両方に設ける。
ＭＦＰユニット２が画面データ６Ｃ３を生成する場合は、サーバユニット３は、カレントサーバ画面の全部分または右領域４０Ｒのサイズに応じた一部分のデータを画面データ６Ｂ３として送信する。
そして、ＭＦＰユニット２は、カレントＭＦＰ画面の一部分およびカレントサーバ画面の一部分を合成することによって画面データ６Ｃ３を生成し、パネルコントローラ５へ送信する。
または、サーバユニット３が画面データ６Ｃ３を生成する場合は、ＭＦＰユニット２は、カレントＭＦＰ画面の全部分または左領域４０Ｌのサイズに応じた一部分のデータを画面データ６Ａ３として送信する。
そして、サーバユニット３は、カレントＭＦＰ画面の一部分およびカレントサーバ画面の一部分を合成することによって画面データ６Ｃ３を生成し、パネルコントローラ５へ送信する。
または、被選択アイコンがドラッグされる場合は、タッチ位置が右領域４０Ｒにある場合はＭＦＰユニット２が画面データ６Ｃ３を生成し、左領域４０Ｌにある場合はサーバユニット３が画面データ６Ｃ３を生成してもよい。例えば、被選択アイコンがＭＦＰ画面７Ａにあり、被選択アイコンがドラッグされ始めてから境界４０Ｃを越えるまでの間は、ＭＦＰユニット２が画面データ６Ｃ３を生成する。そして、被選択アイコンが境界４０Ｃを越えた後、ドロップされるまでの間は、サーバユニット３が画面データ６Ｃ３を生成する。つまり、合成画面７Ｃの描画を行う主体を、タッチ位置に応じて切り換える。
ＶＲＡＭおよびビデオボードをＭＦＰユニット２およびサーバユニット３の両方に設け、さらに、映像出力制御部５０３または５２３に相当する機能をＭＦＰユニット２およびサーバユニット３の両方に設けておいてもよい。そして、ＭＦＰユニット２またはサーバユニット３は、画面データ６Ｃ３を映像信号６Ｃ４に変換し、パネルコントローラ５を介すことなくディスプレイモジュール４Ａへ送信してもよい。
（２）第二の変形例
第一の実施形態、第二の実施形態、および第一の変形例では、座標データ６Ｅをパネルコントローラ５がＭＦＰユニット２およびサーバユニット３に振り分けた。しかし、ＭＦＰユニット２およびサーバユニット３の両方へ送信してもよい。
そして、ＭＦＰユニット２は、座標データ６Ｅに示される座標が左領域４０Ｌのものであれば、この座標に基づいて上述の通り処理を行う。また、サーバユニット３は、座標データ６Ｅに示される座標が右領域４０Ｒのものであれば、座標データ６Ｅにシフト処理を施し、シフト処理後の座標データ６Ｅに示される座標に基づいて上述の通り処理を行う。
（３）第三の変形例
第一の実施形態、第二の実施形態、第一の変形例、および第二の変形例では、被選択アイコンがカレントＭＦＰ画面からカレントサーバ画面にドラッグアンドドロップされた場合に、被選択アイコンに対応するファイルをＭＦＰユニット２からサーバユニット３へコピーしたが、ＭＦＰユニット２からサーバユニット３へ移動させてもよい。つまり、そのファイルをＭＦＰユニット２から削除してもよい。
（４）その他
被選択アイコンがファイルのアイコンではなくフォルダのアイコンである場合は、ＭＦＰユニット２またはサーバユニット３は、そのフォルダを一方から他方へ送信する。
被選択アイコンに対応するものが転送不能であるものであれば、ＭＦＰユニット２またはサーバユニット３は、被選択アイコンを一方の画面から他方の画面へ移動させないようにしてもよい。
被選択アイコンをドラッグする方向が境界４０Ｃへ向いていない場合は、ＭＦＰユニット２およびサーバユニット３のうちの被選択アイコンが配置された画面を有するユニット（装置）が従来通りに被選択アイコンを移動させる処理を行えばよい。また、この場合は、被選択アイコンが境界４０Ｃを越えて移動するための準備の処理（画像データ６Ａ２、６Ｂ２および区域データ６Ａ４、６Ｂ４の送信など）を行わなくてもよい。
ドラッグ中、タッチされた位置をタッチパネルモジュール４Ｂが検知してからその位置に被選択アイコンを移動させて表示するまでに、データのやり取り、データの変換、および画像の描画の演算などの処理が行われるので、時間が掛かる。つまり、タイムラグが生じる。
そこで、ＭＦＰユニット２またはサーバユニット３は、タッチ位置が境界４０Ｃに達する時刻をタッチ位置、ドラッグの速度、およびタイムラグに応じて予測し、その時刻になる所定の時間（例えば、１秒）前に、被選択アイコンの画像データ６Ａ２、６Ｂ２、区域データ６Ａ４、６Ｂ４などを送信するようにしてもよい。また、その時刻に境界到達通知データ６Ｎを送信するようにしてもよい。
その他、複合機１、ＭＦＰユニット２、サーバユニット３の全体または各部の構成、処理の内容、処理の順序、データの構成、画面の構成などは、本発明の趣旨に沿って適宜変更することができる。
１ 複合機
２ ＭＦＰユニット（第一のシステム、第一の装置）
２０４ アイコンデータ送信部（付与手段）
２２２ ＭＦＰ画面生成部（第一の表示制御手段）
３ サーバユニット（第二のシステム、第二の装置）
３０６ 画面更新部（配置手段）
３２２ サーバ画面生成部（第二の表示制御手段）
４Ａ ディスプレイモジュール（ディスプレイ）
５ パネルコントローラ（コントローラ）
５０２ 合成画面生成部（表示制御手段）
５０３ 映像出力制御部（表示制御手段）
５１３ アイコン重畳部（表示制御手段）
７Ａ ＭＦＰ画面（第一の画面）
７Ｂ サーバ画面（第二の画面）
７１４ アイコン

Claims (7)

  1. 第一のシステム、第二のシステム、およびタッチパネルディスプレイを有する複合機であって、
    前記第一のシステムで画面データが生成された第一の画面および前記第二のシステムで画面データが生成された第二の画面を並べて前記タッチパネルディスプレイに表示させる表示制御手段と、
    前記第一の画面に配置されているアイコンを移動させるドラッグ操作のタッチ位置が前記第一の画面と前記第二の画面との境界に達すると予測される時刻の所定の時間前に、当該アイコンの画像データを、前記第二のシステムに当該第二の画面の画面データを生成し直させるために当該第二のシステムへ付与する付与手段と、
    を有し、
    前記表示制御手段は、前記アイコンを前記第一の画面から前記第二の画面へ移動させるドラッグ操作が行われた場合に、当該ドラッグ操作に応じて当該第一の画面から当該第二の画面へ移動するように当該アイコンを前記タッチパネルディスプレイに表示させる、
    ことを特徴とする複合機。
  2. 前記付与手段は、前記アイコンが前記第一のシステムおよび前記第二のシステムの間でやり取りすることができるファイルまたはフォルダのものである場合に、前記時刻の所定の時間前に前記画像データを付与する、
    請求項１に記載の複合機。
  3. 第一の装置と、第二の装置と、前記第一の装置および前記第二の装置に接続することができかつ前記タッチパネルディスプレイへ映像信号を出力することができるコントローラと、を有し、
    前記第一のシステムは、前記第一の装置に設けられ、
    前記第二のシステムは、前記第二の装置に設けられ、
    前記表示制御手段は、前記コントローラに設けられる、
    請求項１または請求項２に記載の複合機。
  4. 第一の装置と、第二の装置と、を有し、
    前記第一のシステムは、前記第一の装置に設けられ、
    前記第二のシステムは、前記第二の装置に設けられ、
    前記表示制御手段は、前記第一の装置および前記第二の装置のうちのいずれか一方から制御される、
    請求項１または請求項２に記載の複合機。
  5. 第一のシステムおよび第二のシステムによってタッチパネルディスプレイを共用するディスプレイ共用方法であって、
    表示制御手段が、前記第一のシステムで画面データが生成された第一の画面および前記第二のシステムで画面データが生成された第二の画面を並べて前記タッチパネルディスプレイに表示させ、
    前記第一の画面に配置されているアイコンを移動させるドラッグ操作のタッチ位置が前記第一の画面と前記第二の画面との境界に達すると予測される時刻の所定の時間前に、当該アイコンの画像データを、前記第二のシステムに当該第二の画面の画面データを生成し直させるために当該第二のシステムへ付与し、
    前記表示制御手段が、前記アイコンを前記第一の画面から前記第二の画面へ移動させるドラッグ操作が行われた場合に、当該ドラッグ操作に応じて当該第一の画面から当該第二の画面へ移動するように当該アイコンを前記タッチパネルディスプレイに表示させる、
    ことを特徴とするディスプレイ共用方法。
  6. 第一のシステムおよび第二のシステムにタッチパネルディスプレイを共用させるためのコンピュータに用いられるコンピュータプログラムであって、
    前記コンピュータに、
    前記第一のシステムで画面データが生成された第一の画面および前記第二のシステムで画面データが生成された第二の画面を並べて前記タッチパネルディスプレイに表示させる処理を実行させ、
    前記第一のシステムから前記第一の画面に配置されているアイコンの画像データを受信する処理を実行させ、
    前記アイコンを移動させるドラッグ操作のタッチ位置が前記第一の画面と前記第二の画面との境界に達すると予測される時刻の所定の時間前に、前記画像データを、前記第二のシステムに当該第二の画面の画面データを生成し直させるために当該第二のシステムへ付与する処理を実行させ、
    前記アイコンを前記第一の画面から前記第二の画面へ移動させるドラッグ操作が行われた場合に、当該ドラッグ操作に応じて当該第一の画面から当該第二の画面へ移動するように当該アイコンを前記タッチパネルディスプレイに表示させる処理を実行させる、
    ことを特徴とするコンピュータプログラム。
  7. タッチパネルディスプレイを他のコンピュータと共用するコンピュータに用いられるコンピュータプログラムであって、
    前記コンピュータに、
    当該コンピュータで画面データを生成した第一の画面および前記他のコンピュータで画面データが生成された第二の画面を並べて前記タッチパネルディスプレイに表示させる処理を実行させ、
    前記第一の画面に配置されているアイコンを移動させるドラッグ操作のタッチ位置が前記第一の画面と前記第二の画面との境界に達すると予測される時刻の所定の時間前に、当該アイコンの画像データを、前記他のコンピュータに当該第二の画面の画面データを生成し直させるために当該他のコンピュータへ付与する処理を実行させ、
    前記アイコンを前記第一の画面から前記第二の画面へ移動させるドラッグ操作が行われた場合に、当該ドラッグ操作に応じて当該第一の画面から当該第二の画面へ移動するように当該アイコンを前記タッチパネルディスプレイに表示させる処理を実行させる、
    ことを特徴とするコンピュータプログラム。
JP2018020043A 2018-02-07 2018-02-07 複合機、ディスプレイ共用方法、およびコンピュータプログラム Active JP7446050B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018020043A JP7446050B2 (ja) 2018-02-07 2018-02-07 複合機、ディスプレイ共用方法、およびコンピュータプログラム
US16/257,228 US20190243542A1 (en) 2018-02-07 2019-01-25 Multi function peripheral, display sharing method, and computer program
CN201910105952.2A CN110119254A (zh) 2018-02-07 2019-02-02 复合机、显示器共用方法及计算机可读记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018020043A JP7446050B2 (ja) 2018-02-07 2018-02-07 複合機、ディスプレイ共用方法、およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2019139351A JP2019139351A (ja) 2019-08-22
JP7446050B2 true JP7446050B2 (ja) 2024-03-08

Family

ID=67475518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018020043A Active JP7446050B2 (ja) 2018-02-07 2018-02-07 複合機、ディスプレイ共用方法、およびコンピュータプログラム

Country Status (3)

Country Link
US (1) US20190243542A1 (ja)
JP (1) JP7446050B2 (ja)
CN (1) CN110119254A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041519A (ja) 2011-08-19 2013-02-28 Konica Minolta Business Technologies Inc 画像形成装置および画像形成システム
JP2013161247A (ja) 2012-02-03 2013-08-19 Sharp Corp 操作装置、表示装置、遠隔操作システム、操作装置の制御方法、制御プログラム、および、記録媒体
JP2015056172A (ja) 2013-09-13 2015-03-23 株式会社リコー システム、情報処理装置、画像表示方法、プログラム、記憶媒体
JP2016038692A (ja) 2014-08-07 2016-03-22 コニカミノルタ株式会社 情報処理装置、ブラウザプログラムおよび情報処理方法
JP2017041249A (ja) 2015-08-17 2017-02-23 テンテン テクノロジーズ リミテッドＴｅｎｔｅｎ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌｉｍｉｔｅｄ タッチスクリーンデバイスの直接接続を介した電子データのソーシャル共有のための改良されたユーザ体験

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3014286B2 (ja) * 1994-12-16 2000-02-28 インターナショナル・ビジネス・マシーンズ・コーポレイション 直接操作のための補助装置及び方法
JP4802557B2 (ja) * 2005-06-06 2011-10-26 コニカミノルタビジネステクノロジーズ株式会社 画像形成システム及び画像形成装置
JP5488622B2 (ja) * 2012-01-16 2014-05-14 コニカミノルタ株式会社 画像形成装置
JP5811876B2 (ja) * 2012-02-07 2015-11-11 コニカミノルタ株式会社 画像処理システム、画像処理装置、画像処理装置連携方法、および画像処理装置連携プログラム
JP5708589B2 (ja) * 2012-07-30 2015-04-30 コニカミノルタ株式会社 画像処理連携システム、画像処理連携方法、携帯端末装置、画像処理装置及び連携プログラム
JP5765366B2 (ja) * 2013-04-30 2015-08-19 コニカミノルタ株式会社 画像処理装置、携帯端末装置、リモート画面データの作成プログラム及び表示制御プログラム
JP5884815B2 (ja) * 2013-12-13 2016-03-15 コニカミノルタ株式会社 画像形成装置、操作画面表示方法、およびコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041519A (ja) 2011-08-19 2013-02-28 Konica Minolta Business Technologies Inc 画像形成装置および画像形成システム
JP2013161247A (ja) 2012-02-03 2013-08-19 Sharp Corp 操作装置、表示装置、遠隔操作システム、操作装置の制御方法、制御プログラム、および、記録媒体
JP2015056172A (ja) 2013-09-13 2015-03-23 株式会社リコー システム、情報処理装置、画像表示方法、プログラム、記憶媒体
JP2016038692A (ja) 2014-08-07 2016-03-22 コニカミノルタ株式会社 情報処理装置、ブラウザプログラムおよび情報処理方法
JP2017041249A (ja) 2015-08-17 2017-02-23 テンテン テクノロジーズ リミテッドＴｅｎｔｅｎ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌｉｍｉｔｅｄ タッチスクリーンデバイスの直接接続を介した電子データのソーシャル共有のための改良されたユーザ体験

Also Published As

Publication number Publication date
US20190243542A1 (en) 2019-08-08
JP2019139351A (ja) 2019-08-22
CN110119254A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
JP4596696B2 (ja) 情報処理装置および印刷装置
JP5683205B2 (ja) 情報処理装置、情報処理装置を制御する制御方法、およびそのプログラム
JP6216197B2 (ja) 装置、制御方法およびプログラム
JP6217266B2 (ja) 機器、情報処理端末、情報処理システム、情報処理方法、及びプログラム
US8982388B2 (en) Information processing apparatus that displays operation screen and control method therefor
JP2012066453A (ja) 画像処理装置、その制御方法、及び制御プログラム
JP7446050B2 (ja) 複合機、ディスプレイ共用方法、およびコンピュータプログラム
JP5990893B2 (ja) 拡張機能処理装置、拡張機能処理システム及び拡張機能処理プログラム
JP6794281B2 (ja) 情報処理装置、情報処理装置の制御方法、及び、プログラム
EP3226104B1 (en) Efficient transition to power saving mode respecting connection state with server
JP7119408B2 (ja) 画像処理装置、画面取扱い方法、およびコンピュータプログラム
JP6880790B2 (ja) 処理装置、サービス提供装置、画面表示方法、およびコンピュータプログラム
JP6444466B2 (ja) 装置、およびプログラム
JP6996258B2 (ja) 画像処理システム、ユーザインタフェース提供方法、およびコンピュータプログラム
JP6780334B2 (ja) 情報処理装置、処理ユニット、周辺機器使用方法、およびコンピュータプログラム
US11922231B1 (en) Printing device connectivity manager for a digital front end
US11922078B2 (en) Printing device connectivity manager for a digital front end
JP5780699B2 (ja) 画像形成装置、要求振分方法、要求振分プログラム及び要求振分システム
JP6954045B2 (ja) 画像処理システム、ユーザインタフェースの提供方法、およびコンピュータプログラム
JP2001306424A (ja) 情報処理システム及び情報処理システムの制御方法並びに記録媒体
JP6436208B2 (ja) 機器、情報処理端末、情報処理システム、情報処理方法、及びプログラム
JP2009137200A (ja) 画像形成装置
JP2009025892A (ja) 周辺装置ならびに周辺装置の状態を表示するためのウェブサーバコンピュータおよび利用装置。
JP2007087129A (ja) 情報処理装置、デバイス設定方法、記憶媒体、プログラム
JP2019159543A (ja) ディスプレイ共用支援装置、表示制御方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221007

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230424

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230424

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230508

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240227

R150 Certificate of patent or registration of utility model

Ref document number: 7446050

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150