JP5907002B2 - Image processing cooperation system, image processing device, and portable terminal device - Google Patents
Image processing cooperation system, image processing device, and portable terminal device Download PDFInfo
- Publication number
- JP5907002B2 JP5907002B2 JP2012190682A JP2012190682A JP5907002B2 JP 5907002 B2 JP5907002 B2 JP 5907002B2 JP 2012190682 A JP2012190682 A JP 2012190682A JP 2012190682 A JP2012190682 A JP 2012190682A JP 5907002 B2 JP5907002 B2 JP 5907002B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- image processing
- data
- terminal device
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Accessory Devices And Overall Control Thereof (AREA)
- Control Or Security For Electrophotography (AREA)
- Facsimiles In General (AREA)
Description
この発明は、多機能デジタル複合機であるMFP(Multi Function Peripherals)等の画像処理装置と、この画像処理装置に接続可能なスマートフォン、タブレット端末等の携帯端末装置とを備えた画像処理連携システム、同システムに好適に用いられる画像処理装置及び携帯端末装置に関する。 The present invention relates to an image processing cooperation system comprising an image processing device such as an MFP (Multi Function Peripherals) which is a multifunction digital multi-function peripheral, and a mobile terminal device such as a smartphone or a tablet terminal connectable to the image processing device, The present invention relates to an image processing device and a mobile terminal device that are preferably used in the system.
近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記MFP等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。 In recent years, portable terminal devices such as smartphones and tablet terminals can store digitized documents, and can browse and edit documents regardless of time and place. In addition, a file edited by the portable terminal device can be transmitted to an image processing apparatus such as the MFP, and the image processing apparatus can execute processing such as printing or saving. Furthermore, a file composed of image data of a document read by the scanner unit of the image processing apparatus can be transmitted to the mobile terminal device, and can be edited by the mobile terminal device.
しかし、携帯端末装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。 However, it is necessary to operate the mobile terminal device and the image processing device separately, and there is a problem that the operation becomes complicated.
そこで、最近、画像処理装置の機能を使用するための画像処理装置用の操作画面を、携帯端末装置の表示部に表示し、携帯端末装置から画像処理装置を操作できるようにした、画像処理装置と携帯端末装置との連携システムが提案されている。この連携システムでは、携帯端末装置の表示部に表示される画像処理装置の操作画面は、画像処理装置から送信される表示用データに基づいて表示される。 Therefore, recently, an image processing apparatus for displaying an operation screen for the image processing apparatus for using the function of the image processing apparatus on the display unit of the mobile terminal apparatus, and enabling the image processing apparatus to be operated from the mobile terminal apparatus. And a portable terminal device have been proposed. In this cooperative system, the operation screen of the image processing device displayed on the display unit of the mobile terminal device is displayed based on display data transmitted from the image processing device.
ところで、このような連携システムにおいて、携帯端末装置を画像処理装置に着脱可能に構成し、携帯端末装置が画像処理装置に装着されている状態では両者がUSB等を介して有線接続され、携帯端末装置が画像処理装置から取り外されると、無線接続に切り替えられるものが提案されている。 By the way, in such a cooperative system, the portable terminal device is configured to be detachable from the image processing device, and when the portable terminal device is attached to the image processing device, both are wiredly connected via USB or the like. It has been proposed to switch to a wireless connection when the device is removed from the image processing device.
また、特許文献1には、通信網に接続された他の装置に実装されている画像形式変換手段を使用することで形式変換処理の負荷と、形式変換手段の実装の通信網的分散を図り、装置1台当りの形式変換処理装備にかかるコストを削減することを目的として、第2の形式の画像データを処理する画像処理装置が第1の形式で画像データを蓄積する画像供給装置へ画像送信要求を出すと、画像供給装置は第1の形式の画像データに画像処理装置に関する情報を付加して第2の形式の画像データに形成変換する画像変換装置に送信し、当該画像データの形式変換と画像処理装置への第2の形式の画像データの送信を依頼する技術が開示されている。
Further,
前述したように、携帯端末装置が画像処理装置に装着されている状態では両者が有線接続され、携帯端末装置が画像処理装置から取り外されると、無線接続に切り替えられるシステムでは、次のような欠点があった。 As described above, when the portable terminal device is attached to the image processing device, both are connected by wire, and when the portable terminal device is removed from the image processing device, the system can be switched to wireless connection as described below. was there.
即ち、有線接続状態では一般に無線接続に較べて通信測度が速いことから、画像処理装置側の操作画面を携帯端末装置に表示させるために、操作画面の構成要素である複数の画面生成用データを画像表示の利便性を向上すべく汎用性の高い携帯端末装置に送信し、送信後に携帯端末装置にて、受信した前記複数の画面生成用データを合成することにより画像処理装置側の画面を再現し表示することが考えられる。 That is, since the communication measure is generally faster in the wired connection state than in the wireless connection, in order to display the operation screen on the image processing apparatus side on the mobile terminal device, a plurality of screen generation data that are constituent elements of the operation screen are displayed. Transmit to a highly versatile portable terminal device to improve the convenience of image display, and after transmission, the received data for screen generation is synthesized in the portable terminal device to reproduce the screen on the image processing device side And display it.
しかし、携帯端末装置が画像処理装置から取り外され無線接続に切り替わると、通信速度が低下する。また、操作画面の構成要素である複数の画面生成用データを携帯端末装置に送信し、携帯端末装置側で前記画面生成用データを合成して画像処理装置側の画面を生成し表示する場合は、画面生成用データの受信が完了しなければ画面を生成できないため、通信速度の低下に伴って、画面生成用データの受信完了までに時間がかかり、このため携帯端末装置に画像処理装置の操作画面が表示されるのが遅くなるという問題がある。 However, when the mobile terminal device is detached from the image processing device and switched to wireless connection, the communication speed decreases. In addition, when a plurality of screen generation data that are constituent elements of the operation screen are transmitted to the mobile terminal device, and the screen generation data is generated and displayed by combining the screen generation data on the mobile terminal device side Since the screen cannot be generated unless the reception of the data for generating the screen is completed, it takes time until the reception of the data for generating the screen is completed due to the decrease in the communication speed. There is a problem that the screen is displayed slowly.
なお、前述した特許文献1に記載の技術は、上記の問題に対して解決策を提供しうるものではなかった。
Note that the technique described in
この発明は、このような実情に鑑みてなされたものであり、携帯端末装置が画像処理装置に装着された状態では両者が有線接続され、携帯端末装置が画像処理装置から取り外されると無線接続に切り替わる場合に、携帯端末装置に画像処理装置側の画面が表示されるまでの時間を短縮できる画像処理連携システムを提供し、さらには前記連携システムに好適に用いられる画像処理装置と携帯端末装置を提供することを課題とする。 The present invention has been made in view of such circumstances, and when the mobile terminal device is attached to the image processing device, both are connected by wire, and when the mobile terminal device is detached from the image processing device, the wireless connection is established. Provided is an image processing cooperation system that can shorten the time until the screen on the image processing apparatus side is displayed on the portable terminal device when switching, and further provides an image processing apparatus and a portable terminal device that are preferably used in the cooperation system. The issue is to provide.
上記課題は、以下の手段によって解決される。
(1)画像処理装置と該画像処理装置に取り外し可能に装着される携帯端末装置とを備えた画像処理連携システムであって、前記画像処理装置は、前記携帯端末装置が装着された状態で、携帯端末装置と有線にて接続可能な有線接続手段と、前記携帯端末装置が取り外された状態で、携帯端末装置と無線にて接続可能な無線接続手段と、前記携帯端末装置の着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、前記接続切り替え手段により、携帯端末装置との接続が無線接続に切り替えられた状態で、1個または複数個の画面生成用データを用いて、携帯端末装置に表示される画像処理装置側の画面を生成する画面生成手段と、前記接続切り替え手段により、携帯端末装置との接続が有線接続に切り替えられた状態では、前記画面生成用データを前記携帯端末装置に送信し、携帯端末装置との接続が無線接続に切り替えられた状態では、前記画面生成手段により生成された画面を表示するための画面データを前記携帯端末装置に送信する送信手段と、を備え、前記携帯端末装置は、前記画像処理装置に装着された状態で、画像処理装置と有線にて接続可能な有線接続手段と、前記画像処理装置から取り外された状態で、画像処理装置と無線にて接続可能な無線接続手段と、前記画像処理装置から送信される前記画面生成用データまたは画面データを受信する受信手段と、前記画像処理装置に対する着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、表示手段と、前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態で、前記受信手段により受信した画面生成用データを用いて、前記表示手段に表示される画像処理装置側の画面を生成する画面生成手段と、前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態では、前記画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示し、画像処理装置との接続が無線接続に切り替えられた状態では、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示する表示制御手段と、を備えたことを特徴とする画像処理連携システム。
(2)前記携帯端末装置は、前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段と、前記画像処理装置に対し前記画面生成用データまたは画面データの自装置への送信を要求する要求手段と、前記画面生成用データまたは画面データが圧縮データである場合に、該画面生成用データまたは画面データを伸張する伸張手段と、前記画像処理装置に対し前記画面生成用データまたは画面データの受信完了を通知する受信完了通知手段と、を備えている前項1に記載の画像処理連携システム。
(3)前記画面生成用データには、前記画面の一部を構成する複数のパーツデータが含まれ、有線接続時には、前記携帯端末装置の画面生成手段は、前記複数のパーツデータを合成することにより画像処理装置側の画面を生成し、無線接続時には、前記画像処理装置の画面生成手段は、前記複数のパーツデータを合成することにより画像処理装置側の画面を生成する前項1または2に記載の画像処理連携システム。
(4)前記画面生成用データには、プレビュー画像として表示される画像データが含まれ、有線接続時には、前記携帯端末装置の画面生成手段は、前記画像データを編集して使用することによりプレビュー画面を生成する前項1〜3のいずれかに記載の画像処理連携システム。
(5)前記携帯端末装置は、自装置の前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段を備え、前記画像処理装置は、前記携帯端末装置から通知された前記操作情報を解析する解析手段と、前記解析手段の解析結果に基づいて、画面生成用データを選択する選択手段と、前記選択手段により選択された画面生成用データ、または選択された画面生成用データを用いて画面生成手段により生成された画面を表示するための画面データを、圧縮する圧縮手段と、を備え、前記画像処理装置の送信手段は、前記圧縮手段により圧縮された画面生成用データまたは画面データを前記携帯端末装置に送信する前項1〜4のいずれかに記載の画像処理連携システム。
(6)前記接続切り替え手段により携帯端末装置との接続が無線接続に切り替えられた状態で、前記画像処理装置の送信手段は、前記画面データと並行して画面生成用データをも前記携帯端末装置に送信し、前記携帯端末装置の画面生成手段は、前記受信手段による画面生成用データの受信が終了した時点で、前記受信手段により受信した画面生成用データを用いて、前記表示手段に表示される画面を生成し、前記携帯端末装置の表示制御手段は、画面生成手段により画面が生成されるまでは、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示し、画面生成手段により画面が生成された後は、前記携帯端末装置の画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示する前項1〜5のいずれかに記載の画像処理連携システム。
(7)前記携帯端末装置は、前記画像処理装置に対し画面生成用データの受信完了を通知する受信完了通知手段を備え、前記画像処理装置は、携帯端末装置からの受信完了の通知を受信すると、前記画面データの送信を停止する前項6に記載の画像処理連携システム。
(8)前記画像処理装置は、前記無線接続時の通信速度が有線接続時の通信速度よりも速いか否かを判断する通信速度判断手段を備え、前記通信速度判断手段により、無線接続時の通信速度が有線接続時の通信速度よりも速いと判断された場合、前記画像処理装置の送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する前項1〜7のいずれかに記載の画像処理連携システム。
(9)前記画像処理装置は、前記無線接続時に携帯端末装置に送信する画面生成用データのサイズの合計が所定値以下か否かを判断するサイズ判断手段を備え、前記サイズ判断手段により、画面生成用データのサイズの合計が所定値以下と判断された場合、前記画像処理装置の送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する前項1〜7のいずれかに記載の画像処理連携システム。
(10)前記携帯端末装置の表示手段に表示された画像データに対して、ユーザーが編集操作を行った場合、有線接続時は、前記携帯端末装置の画面生成手段は、画像処理装置から既に受信済みの画像データを用いて前記ユーザーの編集操作に対応する画面を生成し、前記携帯端末装置の表示制御手段は、生成された画面を表示手段に表示し、無線接続時は、画像処理装置は前記ユーザーの編集操作に対応する画面を生成し画面データを携帯端末装置に転送するとともに、画面データと並行して画像データを携帯端末装置に転送し、前記携帯端末装置は、無線接続時は、前記画像処理装置から転送されたユーザーの編集操作に対応する画面データを表示手段に表示し、画面データと並行して転送される前記画像データの転送完了後は、画面生成手段は該画像データを用いてユーザーの編集操作に対応する画面を生成し、表示手段に表示する前項1〜9のいずれかに記載の画像処理連携システム。
(11)携帯端末装置が取り外し可能に装着される画像処理装置であって、前記携帯端末装置が装着された状態で、携帯端末装置と有線にて接続可能な有線接続手段と、前記携帯端末装置が取り外された状態で、携帯端末装置と無線にて接続可能な無線接続手段と、前記携帯端末装置の着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、前記接続切り替え手段により、携帯端末装置との接続が無線接続に切り替えられた状態で、1個または複数個の画面生成用データを用いて、携帯端末装置に表示される画像処理装置側の画面を生成する画面生成手段と、前記接続切り替え手段により、携帯端末装置との接続が有線接続に切り替えられた状態では、前記画面生成用データを前記携帯端末装置に送信し、携帯端末装置との接続が無線接続に切り替えられた状態では、前記画面生成手段により生成された画面を表示するための画面データを前記携帯端末装置に送信する送信手段と、を備えたことを特徴とする画像処理装置。
(12)前記画面生成用データには、前記画面の一部を構成する複数のパーツデータが含まれ、有線接続時には、前記携帯端末装置に前記複数のパーツデータを送信し、無線接続時には、前記画面生成手段は、前記複数のパーツデータを合成することにより画像処理装置側の画面を生成する前項11に記載の画像処理装置。
(13)前記画面生成用データには、プレビュー画像として表示される画像データが含まれる前項11または12に記載の画像処理装置。
(14)前記携帯端末装置から通知された、携帯端末装置に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を解析する解析手段と、前記解析手段の解析結果に基づいて、画面生成用データを選択する選択手段と、前記選択手段により選択された画面生成用データ、または選択された画面生成用データを用いて画面生成手段により生成された画面を表示するための画面データを、圧縮する圧縮手段と、を備え、前記送信手段は、前記圧縮手段により圧縮された画面生成用データまたは画面データを前記携帯端末装置に送信する前項11〜13のいずれかに記載の画像処理装置。
(15)前記送信手段は、前記接続切り替え手段により、携帯端末装置との接続が無線接続に切り替えられた状態で、前記画面データと並行して画面生成用データをも前記携帯端末装置に送信する前項11〜14のいずれかに記載の画像処理装置。
(16)前記携帯端末装置からなされる画面生成用データの受信完了の通知を受信すると、前記画面データの送信を停止する前項15に記載の画像処理装置。
(17)前記無線接続時の通信速度が有線接続時の通信速度よりも速いか否かを判断する通信速度判断手段を備え、前記通信速度判断手段により、無線接続時の通信速度が有線接続時の通信速度よりも速いと判断された場合、前記送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する前項11〜16のいずれかに記載の画像処理装置。
(18)前記無線接続時に携帯端末装置に送信する画面生成用データのサイズの合計が所定値以下か否かを判断するサイズ判断手段を備え、前記サイズ判断手段により、画面生成用データのサイズの合計が所定値以下と判断された場合、前記画像処理装置の送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する前項11〜16のいずれかに記載の画像処理装置。
(19)画像処理装置に取り外し可能に装着される携帯端末装置であって、前記画像処理装置に装着された状態で、画像処理装置と有線にて接続可能な有線接続手段と、前記画像処理装置から取り外された状態で、画像処理装置と無線にて接続可能な無線接続手段と、前記画像処理装置との着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、表示手段と、前記画像処理装置から有線接続時に送信される、前記表示手段に表示される画像処理装置側の画面を生成するための1個または複数個の画面生成用データ、または画像処理装置から無線接続時に送信される、前記画面生成用データを用いて画像処理装置が生成した画像処理装置側の画面を表示するための画面データを受信する受信手段と、前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態で、前記受信手段により受信した前記画面生成用データを用いて、前記表示手段に表示される画像処理装置側の画面を生成する画面生成手段と、前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態では、前記画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示し、画像処理装置との接続が無線接続に切り替えられた状態では、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示する表示制御手段と、を備えたことを特徴とする携帯端末装置。
(20)前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段と、前記画像処理装置に対し前記画面生成用データまたは画面データの自装置への送信を要求する要求手段と、前記画面生成用データまたは画面データが圧縮データである場合に、該画面生成用データまたは画面データを伸張する伸張手段と、前記画像処理装置に対し前記画面生成用データまたは画面データの受信完了を通知する受信完了通知手段と、を備えている前項19に記載の携帯端末装置。
(21)前記画面生成用データには、前記画面の一部を構成する複数のパーツデータが含まれ、有線接続時には、前記画面生成手段は、前記複数のパーツデータを合成することにより画像処理装置側の画面を生成する前項19または20に記載の携帯端末装置。
(22)前記画面生成用データには、プレビュー画像として表示される画像データが含まれ、有線接続時には、前記画面生成手段は、前記画像データを編集して使用することによりプレビュー画面を生成する前項19〜21のいずれかに記載の携帯端末装置。
(23)前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段を備えている前項19〜22のいずれかに記載の携帯端末装置。
(24)無線接続に切り替えられた状態で、前記受信手段は、前記画像処理装置から前記画面データと並行して送信される画面生成用データをも受信し、前記画面生成手段は、前記受信手段による画面生成用データの受信が終了した時点で、前記受信手段により受信した画面生成用データを用いて、前記表示手段に表示される画面を生成し、前記表示制御手段は、前記画面生成手段により画面が生成されるまでは、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示し、画面生成手段により画面が生成された後は、該画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示する前項19〜23のいずれかに記載の携帯端末装置。
(25)前記画像処理装置に対し画面生成用データの受信完了を通知する受信完了通知手段を備えている前項24に記載の携帯端末装置。
(26)前記表示手段に表示された画像データに対して、ユーザーが編集操作を行った場合、有線接続時は、前記画面生成手段は、画像処理装置から既に受信済みの画像データを用いて前記ユーザーの編集操作に対応する画面を生成し、前記表示制御手段は、生成された画面を表示手段に表示し、無線接続時は、画像処理装置で生成され転送された前記ユーザーの編集操作に対応する画面データを表示手段に表示し、画面データと並行して画像処理装置から転送される画像データの転送完了後は、画面生成手段は該画像データを用いてユーザーの編集操作に対応する画面を生成し、表示手段に表示する前項19〜25のいずれかに記載の携帯端末装置。
The above problem is solved by the following means.
(1) An image processing cooperation system comprising an image processing device and a mobile terminal device that is detachably attached to the image processing device, wherein the image processing device is attached to the mobile terminal device, According to the wired connection means that can be connected to the portable terminal device by wire, the wireless connection means that can be connected to the portable terminal device wirelessly with the portable terminal device removed, and the attachment / detachment of the portable terminal device A connection switching unit that switches between a wired connection and a wireless connection, and the connection switching unit switches the connection with the portable terminal device to a wireless connection, and uses one or a plurality of screen generation data to carry In the state where the connection with the portable terminal device is switched to the wired connection by the screen generation unit that generates the screen on the image processing device side displayed on the terminal device and the connection switching unit, When the screen generation data is transmitted to the mobile terminal device and the connection with the mobile terminal device is switched to the wireless connection, screen data for displaying the screen generated by the screen generation means is displayed on the mobile terminal device. And the mobile terminal device is detached from the image processing device and wired connection means that can be connected to the image processing device in a wired manner while being attached to the image processing device. A wireless connection means that is wirelessly connectable to the image processing apparatus, a reception means for receiving the screen generation data or screen data transmitted from the image processing apparatus, and attachment / detachment to / from the image processing apparatus The connection switching unit that switches between wired connection and wireless connection, the display unit, and the connection switching unit switch the connection with the image processing apparatus to a wired connection. The screen generation means for generating the screen on the image processing apparatus side displayed on the display means using the data for screen generation received by the receiving means, and the connection to the image processing apparatus by the connection switching means Is displayed on the display means when the screen is switched to the wired connection, and the reception is displayed when the connection with the image processing apparatus is switched to the wireless connection. An image processing cooperation system comprising: display control means for displaying on the display means a screen on the image processing apparatus side based on screen data received by the means.
(2) The portable terminal device includes an operation information notifying unit for notifying the image processing device of operation information indicating a content of an operation performed on the screen on the image processing device side displayed on the display unit, and the image processing Request means for requesting the device to transmit the screen generation data or screen data to the own device, and when the screen generation data or screen data is compressed data, the screen generation data or screen data is expanded. 2. The image processing cooperation system according to
(3) The screen generation data includes a plurality of part data constituting a part of the screen, and the screen generation means of the mobile terminal device synthesizes the plurality of part data at the time of wired connection. 3. The image processing apparatus side screen is generated by the method, and when wirelessly connected, the screen generation means of the image processing apparatus generates the image processing apparatus side screen by combining the plurality of parts data. Image processing collaboration system.
(4) The screen generation data includes image data to be displayed as a preview image. When a wired connection is established, the screen generation means of the mobile terminal device edits and uses the image data to generate a preview screen. 4. The image processing cooperation system according to any one of
(5) The portable terminal device includes operation information notification means for notifying the image processing apparatus of operation information indicating the content of an operation performed on the screen on the image processing apparatus side displayed on the display means of the own apparatus. The image processing apparatus includes: an analysis unit that analyzes the operation information notified from the mobile terminal device; a selection unit that selects data for screen generation based on an analysis result of the analysis unit; and the selection unit Compression means for compressing selected screen generation data or screen data for displaying a screen generated by the screen generation means using the selected screen generation data. 5. The image processing cooperation system according to any one of
(6) In the state where the connection with the portable terminal device is switched to the wireless connection by the connection switching unit, the transmission unit of the image processing device also transmits the screen generation data in parallel with the screen data. The screen generation means of the mobile terminal device is displayed on the display means using the screen generation data received by the reception means when the reception of the screen generation data by the reception means is completed. The display control means of the portable terminal device displays the screen on the image processing apparatus side based on the screen data received by the receiving means on the display means until the screen is generated by the screen generating means. Then, after the screen is generated by the screen generation unit, the screen on the image processing apparatus side generated by the screen generation unit of the portable terminal device is displayed on the display unit. 5 Image processing cooperation system according to any one of.
(7) The portable terminal device includes a reception completion notifying unit that notifies the image processing device of completion of reception of screen generation data, and the image processing device receives a reception completion notification from the portable terminal device. 7. The image processing cooperation system according to item 6, wherein transmission of the screen data is stopped.
(8) The image processing apparatus includes a communication speed determining unit that determines whether or not a communication speed at the time of the wireless connection is faster than a communication speed at the time of the wired connection. When it is determined that the communication speed is faster than the communication speed at the time of wired connection, the transmission unit of the image processing apparatus transmits screen generation data to the portable terminal apparatus even if the transmission unit is in a wireless connection state. The image processing cooperation system according to any one of the above.
(9) The image processing apparatus includes a size determination unit that determines whether or not a total size of screen generation data to be transmitted to the mobile terminal device during the wireless connection is equal to or less than a predetermined value. When it is determined that the total size of the generation data is equal to or less than a predetermined value, the transmission unit of the image processing device transmits the screen generation data to the portable terminal device even if the transmission unit is in a wireless connection state. The image processing cooperation system according to any one of the above.
(10) When the user performs an editing operation on the image data displayed on the display unit of the mobile terminal device, the screen generation unit of the mobile terminal device has already received the image data from the image processing device during wired connection. A screen corresponding to the user's editing operation is generated using the completed image data, and the display control means of the mobile terminal device displays the generated screen on the display means. The screen corresponding to the user's editing operation is generated and the screen data is transferred to the mobile terminal device, and the image data is transferred to the mobile terminal device in parallel with the screen data. Screen data corresponding to the user's editing operation transferred from the image processing device is displayed on the display means, and after the transfer of the image data transferred in parallel with the screen data is completed, the screen data is displayed. It means image processing cooperation system according to any one of
(11) An image processing apparatus in which a mobile terminal device is detachably mounted, and a wired connection means that can be connected to the mobile terminal device in a wired manner with the mobile terminal device mounted, and the mobile terminal device With the wireless connection means wirelessly connectable with the mobile terminal device, the connection switching means for switching between the wired connection and the wireless connection according to the attachment / detachment of the mobile terminal device, and the connection switching means, Screen generation means for generating a screen on the side of the image processing device displayed on the mobile terminal device using one or a plurality of screen generation data in a state where the connection with the mobile terminal device is switched to the wireless connection; In the state where the connection with the portable terminal device is switched to the wired connection by the connection switching unit, the screen generation data is transmitted to the portable terminal device, and the connection with the portable terminal device is performed. There in a state switched to a wireless connection, an image processing apparatus characterized by comprising a transmitting means for transmitting the screen data for displaying a screen generated by the screen generating means to said portable terminal device.
(12) The screen generation data includes a plurality of part data constituting a part of the screen, and when connected by wire, transmits the plurality of parts data to the mobile terminal device, and when connected wirelessly, 12. The image processing device according to item 11, wherein the screen generation unit generates a screen on the image processing device side by combining the plurality of parts data.
(13) The image processing apparatus according to item 11 or 12, wherein the screen generation data includes image data to be displayed as a preview image.
(14) Analyzing means for analyzing operation information notified from the portable terminal apparatus and indicating operation contents performed on the screen of the image processing apparatus displayed on the portable terminal apparatus, and an analysis result of the analyzing means To select the screen generation data based on the screen generation data, the screen generation data selected by the selection means, or the screen generated by the screen generation means using the selected screen generation data Compression means for compressing the screen data, wherein the transmission means transmits the screen generation data or the screen data compressed by the compression means to the portable terminal device. Image processing apparatus.
(15) The transmission unit also transmits screen generation data to the mobile terminal device in parallel with the screen data in a state where the connection switching unit switches the connection with the mobile terminal device to a wireless connection. 15. The image processing apparatus according to any one of items 11 to 14 above.
(16) The image processing device according to item 15, wherein when the notification of completion of reception of the screen generation data made from the mobile terminal device is received, transmission of the screen data is stopped.
(17) Communication speed judging means for judging whether or not the communication speed at the time of wireless connection is faster than the communication speed at the time of wired connection, and the communication speed at the time of wireless connection by the communication speed judgment means is The image processing device according to any one of the preceding items 11 to 16, wherein when the transmission unit is determined to be faster than the communication speed, the transmission unit transmits the screen generation data to the portable terminal device even in a wireless connection state.
(18) Size determination means for determining whether the total size of the screen generation data to be transmitted to the mobile terminal device at the time of the wireless connection is equal to or less than a predetermined value, and the size determination means determines the size of the screen generation data. The image according to any one of the above items 11 to 16, wherein when the total is determined to be equal to or less than a predetermined value, the transmission unit of the image processing device transmits screen generation data to the mobile terminal device even when the transmission unit is in a wireless connection state. Processing equipment.
(19) A portable terminal device that is detachably attached to the image processing device, and is connected to the image processing device in a wired manner while being attached to the image processing device, and the image processing device. Wireless connection means that can be wirelessly connected to the image processing apparatus in a state of being removed from the connection, connection switching means for switching between wired connection and wireless connection in accordance with attachment / detachment of the image processing apparatus, display means, One or a plurality of screen generation data for generating a screen on the image processing apparatus side displayed on the display means, which is transmitted from the image processing apparatus at the time of wired connection, or transmitted from the image processing apparatus at the time of wireless connection. Receiving means for receiving screen data for displaying a screen on the image processing apparatus side generated by the image processing apparatus using the screen generation data, and the connection switching means Screen generation means for generating a screen on the image processing apparatus side displayed on the display means using the screen generation data received by the reception means in a state where the connection with the image processing apparatus is switched to a wired connection And in the state where the connection with the image processing apparatus is switched to the wired connection by the connection switching means, the screen on the image processing apparatus side generated by the screen generation means is displayed on the display means, and the image processing apparatus Display control means for displaying on the display means a screen on the image processing apparatus side based on the screen data received by the receiving means in a state in which the connection is switched to a wireless connection. apparatus.
(20) Operation information notifying means for notifying the image processing apparatus of operation information indicating the contents of the operation performed on the screen on the image processing apparatus side displayed on the display means, and generating the screen to the image processing apparatus Requesting means for requesting transmission of the screen data or screen data to its own device, when the screen generation data or screen data is compressed data, decompression means for decompressing the screen generation data or screen data, 20. The portable terminal device according to item 19, further comprising: a reception completion notifying unit that notifies the image processing device of completion of reception of the screen generation data or screen data.
(21) The screen generation data includes a plurality of parts data constituting a part of the screen, and the screen generation means combines the plurality of parts data when wired connection is performed. 21. The portable terminal device according to the item 19 or 20, which generates a side screen.
(22) The screen generation data includes image data to be displayed as a preview image. At the time of wired connection, the screen generation unit generates the preview screen by editing and using the image data. The portable terminal device in any one of 19-21.
(23) Any one of items 19 to 22 above, further comprising operation information notifying means for notifying the image processing apparatus of operation information indicating the contents of an operation performed on the screen on the image processing apparatus side displayed on the display means. The mobile terminal device according to 1.
(24) In a state where the wireless connection is switched, the receiving unit also receives screen generation data transmitted in parallel with the screen data from the image processing apparatus, and the screen generating unit is configured to receive the receiving unit. When the reception of the screen generation data by is completed, the screen generation data received by the receiving means is used to generate a screen to be displayed on the display means, and the display control means is Until the screen is generated, the screen on the image processing apparatus side based on the screen data received by the receiving means is displayed on the display means. After the screen is generated by the screen generating means, the screen generating means generates the screen. 24. The portable terminal device according to any one of items 19 to 23, wherein the screen on the image processing apparatus side is displayed on the display means.
(25) The portable terminal device according to item 24, further comprising reception completion notifying means for notifying the image processing device of completion of reception of screen generation data.
(26) When the user performs an editing operation on the image data displayed on the display unit, the screen generation unit uses the image data already received from the image processing device during wired connection. A screen corresponding to a user editing operation is generated, and the display control unit displays the generated screen on the display unit, and corresponds to the user editing operation generated and transferred by the image processing apparatus when connected wirelessly. Screen data to be displayed on the display means, and after the transfer of the image data transferred from the image processing apparatus in parallel with the screen data is completed, the screen generation means uses the image data to display a screen corresponding to the user's editing operation. 26. The portable terminal device according to any one of 19 to 25 above, which is generated and displayed on a display unit.
この発明に係る画像処理連携システムによれば、画像処理装置と携帯端末装置との接続が有線接続の場合は、画像処理装置は、1個または複数個の画面生成用データを携帯端末装置に送信し、携帯端末装置との接続が無線接続に切り替えられると、画面生成手段により画面生成用データを用いて生成された画面を表示するための画面データを携帯端末装置に送信する。携帯端末装置は、画像処理装置との接続が有線接続であれば、画像処理装置から送信された前記画面生成用データを用いて画面を生成して表示手段に表示し、無線接続に切り替えられた状態では、画像処理装置により画面生成用データを用いて生成され送信されてきた画面データに基づいて、画像処理装置側の画面を表示手段に表示する。 According to the image processing cooperation system according to the present invention, when the connection between the image processing device and the portable terminal device is a wired connection, the image processing device transmits one or a plurality of screen generation data to the portable terminal device. Then, when the connection with the mobile terminal device is switched to the wireless connection, screen data for displaying the screen generated by using the screen generation data by the screen generation means is transmitted to the mobile terminal device. If the connection with the image processing device is a wired connection, the portable terminal device generates a screen using the screen generation data transmitted from the image processing device, displays the screen on the display means, and is switched to a wireless connection In the state, the screen on the image processing apparatus side is displayed on the display means based on the screen data generated and transmitted by the image processing apparatus using the screen generation data.
つまり、画像処理装置と携帯端末装置との接続が有線接続か無線接続かに応じて、画像処理装置側の画面を画像処理装置と携帯端末装置のいずれによって生成するかを切り替え、そのために画像処理装置から携帯端末装置に送信されるデータの種類も切り替えられるから、無線接続に切り替わったときに、画像処理装置側の画面が携帯端末装置に表示されるまでの時間を短縮でき、ユーザーにとっては。画像処理装置側の画面が携帯端末装置に表示されるまでの待ち時間が短縮される。 In other words, depending on whether the connection between the image processing device and the portable terminal device is a wired connection or a wireless connection, the screen on the image processing device side is switched between the image processing device and the portable terminal device, and image processing is performed accordingly. Since the type of data transmitted from the device to the portable terminal device can also be switched, the time until the screen on the image processing device side is displayed on the portable terminal device when switching to the wireless connection can be shortened. The waiting time until the screen on the image processing device side is displayed on the portable terminal device is shortened.
また、この発明に係る画像処理装置によれば、携帯端末装置との接続が有線接続から無線接続に切り替わったときに、画像処理装置側の画面が携帯端末装置に表示されるまでの時間を短縮できる画像処理装置となし得る。 In addition, according to the image processing device of the present invention, when the connection with the portable terminal device is switched from the wired connection to the wireless connection, the time until the screen on the image processing device side is displayed on the portable terminal device is shortened. A possible image processing apparatus can be obtained.
また、この発明に係る携帯端末装置によれば、画像処理装置との接続が有線接続から無線接続に切り替わったときに、画像処理装置側の画面を表示するまでの時間を短縮できる携帯端末装置となし得る。 In addition, according to the portable terminal device according to the present invention, when the connection with the image processing device is switched from the wired connection to the wireless connection, the portable terminal device can reduce the time until the screen on the image processing device side is displayed; You can get none.
以下、この発明の実施形態を図面に基づいて説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、この発明の一実施形態に係る画像処理連携システムの構成図である。 FIG. 1 is a configuration diagram of an image processing cooperation system according to an embodiment of the present invention.
この画像処理連携システムは、画像処理装置1と、該画像処理装置1に取り外し可能に装着されるスマートフォンやタブレット端末等からなる携帯端末装置2等を備え、携帯端末装置2が画像処理装置1に装着されている状態では、画像処理装置1と携帯端末装置2は、USBインターフェース等により有線接続可能となされており、携帯端末装置2が画像処理装置1から取り外された状態では、画像処理装置1と携帯端末装置2は、WIFIモジュール、無線LANルータ3、ネットワーク4を介して無線接続可能となされている。
This image processing cooperation system includes an
この実施形態では、画像処理装置1としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のMFPが用いられている。以下、画像処理装置をMFPとも記す。また、携帯端末装置を携帯端末とも記す。
In this embodiment, the above-described MFP having a copy function, a print function, a scan function, a facsimile function and the like is used as the
図2は、前記MFP1と携帯端末2の電気的な構成を示すブロック図である。
FIG. 2 is a block diagram showing an electrical configuration of the
MFP1は、CPU101、ROM102、メインメモリ103、スキャナ部104、プリント部105、判定部106、操作パネル部107、WIFI(Wireless Fidelity)モジュール109、LAN(Local Area Network)コントローラ110、USBインターフェース(USBI/F)111等を備えている。
The
前記CPU101は、ROM102等に記憶された動作プログラムに従って動作することにより、MFP1の全体を統括的に制御するものである。例えば、MFP1の各種機能を使用可能に制御するほか、この実施形態では、携帯端末2のMFP1への脱着状態を検出し、脱着状態に応じて、携帯端末2との接続を有線接続または無線接続に切り替えたり、携帯端末2からの要求に基づいて、携帯端末2に表示するMFP1の操作画面の表示用データを携帯端末2に送信したり、携帯端末2との接続が有線接続の場合と無線接続の場合とで、携帯端末2に送信する前記操作画面の表示用データの種類を切り替える等の制御を行うが、詳細な説明は後述する。
The
前記ROM102は、CPU101の動作プログラム等を記憶するメモリである。
The
前記メインメモリ103は、RAM103aや記憶部103bを有している。RAM103aはCPU101が動作プログラムに従って動作するときの作業領域を提供するメモリである。記憶部103bは、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部107に表示される各種の操作画面を生成するための操作画面の構成要素である画面生成用データとして、画面の一部を構成する多数のパーツデータが記憶されている。そして、ユーザーの操作に応じた操作画面を生成するためのパーツデータがCPU101によって記憶部103aから呼び出されるとともに、CPU101によって合成されることにより操作画面が生成され、操作パネル部107に表示されたり、携帯端末2に送信される。また、スキャナ部104で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルが保存されている。
The
前記スキャナ部104は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。
The
前記プリント部105は、スキャナ部104により読み取られた原稿の画像データや、携帯端末2等から送信されたプリントデータを、用紙に印刷するものである。
The
前記判定部106は、無線接続時の通信速度と有線接続時の通信速度を比較し、無線接続時の通信速度が有線接続時の通信速度よりも速いか否かを判断したり、無線接続時に携帯端末2に送信する画面生成用データのサイズの合計が所定値以下か否かを判断するものである。
The
操作パネル部107は、MFP1を操作したりユーザーにメッセージ等を表示するものであり、スタートキー、テンキー等を有するキー部107aと、液晶等のタッチパネルからなる表示部107bを備えている。
The
前記WIFIモジュール109は、携帯端末2がMFP1から取り外されたときに携帯端末2と無線接続するためのインターフェースであり、前記LANコントローラ110は、パーソナルコンピュータや他のMFP等の外部装置との間の通信を制御するものである。
The
前記USBインターフェース111は、携帯端末2がMFP1に装着されているときに携帯端末2と有線接続するためのインターフェースである。
The
一方、携帯端末2には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末2は、CPU201、RAM202、記憶部203、表示部204、WIFIモジュール205、LANコントローラ206、USBインターフェース207、ファイル処理部208a、208b、連携部209等を備えている。
On the other hand, a smart phone, a tablet terminal, electronic paper, etc. are used for the
前記CPU201は、携帯端末2の全体を統括的に制御するものであり、基本ソフトウェアであるOS(Operating System)や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。
The
前記RAM202は、CPU201が動作プログラムに従って動作するときの作業領域となるメモリである。
The
前記記憶部203は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、基本OS、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。
The
前記表示部204は、タッチパネルを備えた液晶等のデバイスからなる。
The
前記WIFIモジュール205は、携帯端末2がMFP1から取り外されたときにMFP1と無線接続するためのインターフェースであり、前記LANコントローラ206は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記USBインターフェース207は、携帯端末2がMFP1に装着されているときにMFP1と有線接続するためのインターフェースである。
The
前記ファイル処理部208a、208bは、ファイルに編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部208a、208bをいずれもファイル処理部208と記す。
The
前記連携部209は、MFP1と携帯端末2の間の機能連携を円滑に行うために、MFP1の機能を使用できるようにするためのものである。具体的には、MFP1のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにMFP1の操作パネル部107に表示される操作画面と同じ操作画面を再生するための画面表示用データ等を、MFP1から受信してリモート画面として表示部204に表示したり、表示されたリモート画面をユーザーが操作したときに、画面上の操作位置の座標を検出してMFP1に送信する。MFP1は前記操作位置の座標を解析することにより、ユーザーの操作指示を特定し、操作指示に応じた動作を実行する。
The
ところで、前記ファイル処理部208は、CPU201が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部208を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。
By the way, the function of the
また、前記連携部209は、CPU201が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはMFP1と携帯端末2とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。
The
図3は、MFP1と携帯端末2のファームウェア構成を示すブロック図である。
FIG. 3 is a block diagram illustrating firmware configurations of the
MFP1は、アプリ層に、操作パネル(アプリ)121やオープンAPI(Open Application Program Interface)122等を備え、共通API層に、共通API(Common API)125やパネル表示画像生成部126等を備え、ハードウェア依存層に、パネル画面生成部123、パネル制御部124、携帯端末用制御部127等を備えている。
The
さらに、カーネル層に、パネル入力制御部129、パネルLCD制御部130、JPEGコーダドライバ131等を備え、デバイス層に、操作パネル部107、USBインターフェース部111、JPEG圧縮部133、WIFIモジュール109等を備えている。
In addition, the kernel layer includes a panel
パネル画面生成部123は、携帯端末2とMFP1が無線接続されている状態で、携帯端末2から連携操作が行われた場合に、操作パネル部107に表示されている操作画面のデータである画面データを作成する。
The panel
パネル制御部124は操作パネル部107との通信状態の制御等を行う。また、パネル表示画像生成部126は、携帯端末2とMFP1が無線接続されている状態で、操作画面がプレビュー画像等のように、スキャナ部104で読み取られた画像データその他の画像データが表示される画面である場合に、表示されるべき画像データを生成するものである。なお、生成された画像データは、携帯端末2に送信される。
The
携帯端末用制御部127は、携帯端末2との連携処理時に、携帯端末2と通信を行うためのインターフェース等を制御する。
The portable
パネル入力制御部129は、操作パネル部107の操作入力に関する制御を行い、パネルLCD制御部130は、操作パネル部107の表示部107bの表示制御を行う。JPEG圧縮部133は、JPEGコーダドライバ131を介して携帯端末用制御部127から送信されてきた操作画面を表示させるためのデータやファイルをJPEG等により圧縮するものであり、圧縮されたデータはUSBインターフェース111やWIFIモジュール109を介して、携帯端末2に送信される。
The panel
一方、携帯端末2は、画像表示アプリ221、表示画像生成アプリ222、JPEG展開アプリ223、ブラウザ等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー225、226等を備えたプラットフォーム層と、各種のライブラリ227及びカーネル228を備えたOS層と、ハードウェア229によって構成されている。
On the other hand, the
前記JPEG展開アプリ223は、MFP1から送信されてきた圧縮データを伸張(展開)するものである。表示画像生成アプリ222は、伸張されたデータに基づいて、表示部204に表示されるMFP2側の操作画面を生成するものである。また、MFP2側の操作画面に表示されたデータに対して、携帯端末2側で拡大、縮小、頁めくり等のユーザーの編集操作がなされた場合には、前記MFP1から送信されたデータを拡大あるいは縮小し、あるいは頁を変更する。
The
前記画像表示アプリ221は、前記表示画像生成アプリ222で生成されたMFP1側の画面データの描画処理を行う。
The
なお、この実施形態では、画像表示アプリ221、表示画像生成アプリ222、JPEG展開アプリ223は、連携アプリで実現される機能の一部として構成されている。
In this embodiment, the
次に、MFP1と携帯端末2を連携操作する場合の処理について説明する。
Next, processing when the
ユーザーが携帯端末2をMFP1に無線あるいは有線にて接続し、携帯端末2とMFP1を連携して操作しようとしている。携帯端末2とMFP1の連携操作は、ユーザーが携帯端末2にインストールされている連携アプリを起動することにより、開始される。
A user connects the
図4は、MFP1及び携帯端末2の各ソフトウェアの関係を示すものであり、左側にMFP1側のソフトウェアを、右側に携帯端末2のソフトウェアをそれぞれ示す。
FIG. 4 shows the relationship between the software of the
携帯端末2の連携アプリは、携帯端末2のOSと汎用のソフトウェアであるアプリソフトの中間に位置しており、ユーザーの操作情報、携帯端末2との送受信データ、携帯端末2側の表示画面データを取得することができ、必要に応じてこれらのデータをMFP1へ送信することができる。つまり、携帯端末2の連携ソフトは、アプリの呼び出し等の携帯端末2側でのユーザー操作受付処理、MFP1の操作画面表示用データの受信・表示処理(携帯端末側操作画面処理)、連携操作関連処理等を実行する。連携操作関連処理としては、操作の内容を示す操作情報のMFP1との通信等が挙げられる。
The cooperative application of the
一方、MFP1の連携アプリは、MFP1側のOSやMFP1用のアプリソフトが全て自社設計/自社カスタマイズであって必要な情報をすべて得られる場合は、OS−アプリソフト間に位置しなくても良く、OSやアプリソフトと独立でありながら、OSやアプリソフトと通信することにより、必要な情報を入手してもよい。MFP1の連携アプリは、アプリの呼び出し等のMFP1側のユーザー操作受付処理、携帯端末2へのMFP用操作画面データの送信処理(MFP側操作画面処理)、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末2からの操作情報等の受信・実行処理等が挙げられる。
On the other hand, when the OS on the
ユーザーが携帯端末2の表示部204に表示された操作画面中の連携操作アイコンを選択し、MFP連携を指示すると、携帯端末2の連携ソフトは、登録されているMFP1への通信を行い、MFP1の連携ソフトを呼び出し、操作画面の取得を要求する。それにより、連携操作モードが開始され、MFP1の表示部105aと携帯端末2の表示部204に、MFP側の操作画面が表示される。MFP側の操作画面が表示されるまでの過程は、携帯端末2とMFP1が有線接続されているか無線接続されているかによって異なるが、この点については後述する。なお、携帯端末2の表示部204に、MFP用操作画面と携帯端末用操作画面の両方が並列的に表示されても良い。
When the user selects a cooperation operation icon on the operation screen displayed on the
ユーザーが携帯端末2に表示されているMFP側の操作画面であるリモート画面を操作すると、操作の内容を示す操作情報がMFP1に送信される。MFPは、それがジョブ等の実行指示であれば対応する動作を行う。一方、操作に応じて次の操作画面を表示させる必要がある場合は、次の操作画面の表示用データを携帯端末2に送信する。
When the user operates a remote screen, which is an operation screen on the MFP side, displayed on the
次に、MFP1側の操作画面を携帯端末2に表示させる場合の処理方法について説明する。
Next, a processing method for displaying the operation screen on the
まず、携帯端末2がMFP1に装着され、両者が有線接続されているときの処理方法を図5を用いて説明する。
First, a processing method when the
携帯端末2がMFP1に装着されている場合、MFP1と携帯端末2は相互のUSBインターフェース111、207を介して有線接続されており、MFP1のCPU101は、有線接続されていることを認識している。
When the
携帯端末1の画面をユーザーが操作すると、携帯端末2から操作の内容を示す操作情報とパーツデータの取得要求がMFP1に送信される。操作情報をパーツデータの取得要求として兼用しても良い。
When the user operates the screen of the
MFP1は携帯端末2からの操作情報とパーツデータの取得要求を受信すると、CPU101が操作情報を解析し、操作に応じた画面を生成するための複数のパーツデータを記憶部103bから呼び出したのち、これらのパーツデータをその配置情報と共に、図5の太線矢印で示すように、USBインターフェース111を経由して、携帯端末2に送信する。
When the
携帯端末2は、USBインターフェース207を介してパーツデータ等の受信完了後に、CPU201が前記複数のパーツデータを配置情報に従って合成し、MFP側の操作画面を生成する。このように、パーツデータを携帯端末2で合成して画面を生成することで、画像表示の利便性を向上できる。
In the
図6(A)にパーツデータの一例を示す。図6(A)の例では、パーツデータはコピーモード等の各モードに応じたベースパーツ301と、「文字/写真」「オートカラー」「プログラム」「応用設定」等のモード設定用のキーパーツ302〜305等からなり、CPU201はこれらのパーツデータを合成することにより、図6(B)に示すようなMFP側の操作画面300を生成する。
FIG. 6A shows an example of part data. In the example of FIG. 6A, the part data includes a
操作画面300の生成後、CPU201は表示部204に生成された画面を表示する。
After generating the
次に、ユーザーが携帯端末2をMFP1から取り外すと、MFP1のCPU101は携帯端末2が取り外されたことを検知して、携帯端末2との通信を無線接続に切り替える。これに伴い、携帯端末2のCPU201も、MFP1との通信を無線接続に切り替える。
Next, when the user removes the
携帯端末2とMFP1が無線接続されているときのMFP1側の操作画面の生成処理方法を図7を用いて説明する。
An operation screen generation processing method on the
無線接続時の通信速度は、一般的には、有線接続時の通信速度よりも遅い。このため、有線接続時のように、複数のパーツデータを携帯端末2に送信し、パーツデータの送信完了後に携帯端末2が画面を生成すると、パーツデータの送信完了までに時間を要し、ひいては表示部204にMFP1側の操作画面が表示されるのが遅くなり、ユーザーの待ち時間が長くなってしまう。
The communication speed at the time of wireless connection is generally slower than the communication speed at the time of wired connection. For this reason, as in the case of wired connection, when a plurality of parts data is transmitted to the
そこで、この実施形態では、無線接続に切り替えられると、MFP1のCPU101は、図7に太実線矢印で示すように、記憶部103bから呼び出したパーツデータを合成してMFP1内で画面を生成したのち、生成した画面の表示データ(画面データ)を、WIFIモジュール109を経由して無線にて携帯端末2に送信する。
Therefore, in this embodiment, when the wireless connection is switched, the
携帯端末2は送信された画面データをWIFIモジュール205を介して受信したのち、CPU201は受信した画面データを描画処理して表示部204に表示させる。
After the
このように、無線接続状態では、MFP1がパーツデータを合成して画面を生成し、この生成された画面データを送信するから、画面データが生成され携帯端末2で受信され表示されるまでの時間が短くて済み、パーツデータを携帯端末2に無線送信し携帯端末2で画面を作成する場合に較べて、画面が生成され表示されるまでの時間が短縮され、ユーザの待ち時間も短くてすむ。
As described above, in the wireless connection state, the
また、この実施形態では、図7に太破線矢印で示すように、画面データの送信時の通信の空きを利用して、複数のパーツデータそのものをも送信している。そして、携帯端末2は、送信対象の全てのパーツデータの送信完了までは、MFP1から送信された画面データに基づいて、MFP1側の操作画面を携帯端末2の表示部204に表示し、パーツデータの送信完了後は、送信されたパーツデータを携帯端末2で合成して画面を生成し、表示部204に表示するものとなされている。これにより、さらに速くMFP1側の操作画面を携帯端末2に表示することができる。
Further, in this embodiment, as indicated by thick broken line arrows in FIG. 7, a plurality of parts data itself is also transmitted by utilizing a communication idle at the time of transmission of screen data. Then, the
また、パーツデータの受信が完了すると、携帯端末2は完了通知をMFP1に送信し、MFP1は画面データの送信が完了していなくても、画面データの送信を停止する。
When the reception of the part data is completed, the
図8は、MFP1に携帯端末2が装着され有線接続されているときの処理の流れを示すフローチャートである。
FIG. 8 is a flowchart showing the flow of processing when the
ステップS1で、ユーザーが携帯端末2の表示部204のタッチパネルを操作すると、携帯端末2はステップS2で、タッチパネルドライバからの入力情報を受領し、ステップS3でジェスチャー判定と座標変換を行い、タッチ位置を特定する。
When the user operates the touch panel of the
次いで、ステップS4で、特定したタッチ位置等を含むタッチイベント(操作情報)とパーツデータの取得要求をMFP1へ送信する。
In step S4, a touch event (operation information) including the specified touch position and the part data acquisition request is transmitted to the
MFP1は、ステップS5で、携帯端末2からのタッチイベント等の受信処理を行ったのち、ステップS6で、タッチイベントの解析処理を行い、ステップS7で、解析結果に基づいて表示すべき操作画面を特定し、操作画面の構成要素である複数のパーツデータとそれらの配置情報等の携帯端末2への転送処理を開始する。即ち、ステップS8では、パーツデータ等をPNG圧縮した後、ステップS9で、圧縮したパーツデータ等を携帯端末2に送信する。
In step S5, the
携帯端末2は、ステップS10でパーツデータ等を受信したのち、全てのパーツデータの受信が完了すると、受信完了をMFP1に通知し、ステップS11で、受信したデータを伸張(展開)する。次いで、ステップS12で画面生成処理を実行する。具体的には、複数のパーツデータ(例えばパーツA、パーツB、パーツC)を所定位置に合成してMFP1側の画面を再生する。
After receiving the part data and the like in step S10, the
次いで、ステップS13で描画処理を実行し、ステップS14で表示部204に表示する。
Next, a drawing process is executed in step S13 and displayed on the
図9は、MFP1から携帯端末2が取り外され、両者が無線接続されているときの処理の流れを示すフローチャートである。
FIG. 9 is a flowchart showing a processing flow when the
ステップS21で、ユーザーが携帯端末2の表示部204のタッチパネルを操作すると、携帯端末2はステップS22で、タッチパネルドライバからの入力情報を受領し、ステップS23でジェスチャー判定と座標変換を行い、タッチ位置を特定する。
When the user operates the touch panel of the
次いで、ステップS24で、特定したタッチ位置等を含むタッチイベント(操作情報)と画面取得要求をMFP1へ送信する。
In step S24, a touch event (operation information) including the specified touch position and the like and a screen acquisition request are transmitted to the
MFP1は、ステップS25で、携帯端末2からのタッチイベント等の受信処理を行ったのち、ステップS26で、タッチイベントの解析処理を行い、ステップS27で、解析結果に基づいて表示すべき操作画面を特定し、画面生成処理を行う。具体的には、操作画面の構成要素である複数のパーツデータ(例えばパーツA、パーツB、パーツC)を所定位置に合成してMFP1側の画面を再生する。
In step S25, the
ステップS28では、生成された画面のデータ(画面データ)をJPEG圧縮した後、ステップS29で、圧縮した画面データを携帯端末2に送信する。なお、通信の空きを利用して、パーツデータそのものも送信する。
In step S28, the generated screen data (screen data) is JPEG compressed, and in step S29, the compressed screen data is transmitted to the
携帯端末2は、ステップS30で画面データを受信したのち、ステップS31で、受信した画面データを伸張(展開)する。次いで、ステップS32で描画処理を実行し、ステップS33で表示部204に表示する。
After receiving the screen data in step S30, the
図10は、MFP1と携帯端末2の通信中の状態遷移図であり、左側に従来の、右側に本実施形態の状態遷移図をそれぞれ示す。当初、携帯端末2はMFP1に装着されて、両者は有線接続されているものとする。
FIG. 10 is a state transition diagram during communication between the
左側の従来の状態遷移図において、携帯端末2でタッチパネルの操作が検出され携帯端末2からタッチイベント等が送信されると、MFP1は、イベントを解析し、対応するパーツデータ(図10では単に「パーツ」と記す)を圧縮し、転送を開始する。転送が完了すると、携帯端末2は画面生成及び描画処理を実行する。
In the conventional state transition diagram on the left side, when an operation on the touch panel is detected by the
次に、タイミングT1において、携帯端末2がMFP1から取り外されたものとすると、両者は無線接続に切り替えられる。
Next, assuming that the
この状態で、携帯端末2の表示部204のタッチパネルが操作され、携帯端末2からタッチイベント等がMFP1に送信されても、MFP1及び携帯端末2は有線接続の場合と同様の動作を実施する。即ち、MFP1はタッチイベントを受信すると、イベントを解析し、対応するパーツデータを圧縮し、転送を開始する。パーツデータの受信が完了すると、携帯端末2は画面生成及び描画処理を実行する。
In this state, even if the touch panel of the
一方、右側の本実施形態では、携帯端末2がMFP1から取り外されるまでは、従来と一緒である。タイミングT1において、携帯端末2がMFP1から取り外され、両者は無線接続に切り替えられた状態で、タッチパネルが操作されると、携帯端末2からタッチイベント等がMFP1に送信される。
On the other hand, in the present embodiment on the right side, the process is the same as before until the
MFP1はタッチイベントを受信すると、イベントを解析し、対応するパーツデータを記憶部103bから呼び出し、これらを合成して画面を生成する。そして、生成した画面の画面データを圧縮して転送を開始する。同時にパーツデータそのものの転送も開始する。パーツデータは画面データの転送時の空きを利用して送信される。
When the
画面データの受信が完了すると、携帯端末2は完了通知をMFP1に送信したのち、描画処理を実行する。複数の画面を遷移する場合、1つの画面毎に、MFP1での画面生成、画面データの圧縮・転送、携帯端末2による受信、完了通知の送出、描画処理を実行する。
When the reception of the screen data is completed, the
また、タイミングT2で並行して転送されるパーツデータの転送が終了すると、完了通知が携帯端末2からMFP1へ送出され、MFP1は以後の画面生成、転送処理は停止し、携帯端末2は転送されたパーツデータを用いて画面を生成し、表示する。
When the transfer of the part data transferred in parallel at timing T2 is completed, a completion notification is sent from the
このように、この実施形態では、携帯端末2がMFP1から取り外されて両者が無線接続に切り替わると、パーツデータを用いた操作画面の生成が携帯端末2からMFP1へ切り替えられ、MFP1で生成された画面のデータが携帯端末2へ送信され表示されるから、無線接続への切替後も、パーツデータの転送完了後に携帯端末2で画面を生成する場合に比べて、MFP1側の操作画面が携帯端末2に表示されるまでの時間を短縮でき、ユーザーの待ち時間を短縮できる。
As described above, in this embodiment, when the
しかも、無線接続時に、画面データの送信と並行してパーツデータも送信され、パーツデータの送信完了後は、送信されたパーツデータを用いて携帯端末2により画面が生成されるから、MFP1側の操作画面が携帯端末2に表示されるまでの時間をさらに短縮できる。
In addition, when wireless connection is made, part data is also transmitted in parallel with the transmission of the screen data, and after the transmission of the part data is completed, a screen is generated by the
次に、この発明の他の実施形態を説明する。 Next, another embodiment of the present invention will be described.
この実施形態では、例えばスキャナ部104で読み取られた原稿の画像データからなるファイルをプレビュー表示するプレビュー画面を、携帯端末2に表示させるものとなされている。
In this embodiment, for example, a preview screen for previewing a file composed of image data of a document read by the
まず、有線接続時のファイルの処理方法を図11を用いて説明する。 First, a file processing method at the time of wired connection will be described with reference to FIG.
携帯端末1の画面をユーザーが操作してプレビュー表示を指示すると、携帯端末2から操作の内容を示す操作情報と、画面生成用データとしての画像データの取得要求がMFP1に送信される。
When the user operates the screen of the
MFP1は携帯端末2からの操作情報と画像データの取得要求を受信すると、CPU101が操作情報を解析し、スキャナ部104にセットされた原稿を読み取る。
When the
スキャナ部104で読み取られた原稿の画像データからなるファイルは、メインメモリ103、USBインターフェース111を経由して、携帯端末2に送信される。携帯端末2はUSBインターフェース207を介してファイルを受信すると、CPU201は受信したファイルを用いてプレビュー画面を作成し、表示部204に表示する。
A file including image data of a document read by the
なお、プレビュー画面にファイル以外のパーツデータの表示が必要な場合は、パーツデータや、該パーツデータとファイルの配置情報も、MFP1から携帯端末2へ送信され、CPU201はパーツデータとファイルを合成してプレビュー画面を生成する。
If it is necessary to display part data other than a file on the preview screen, the part data and the arrangement information of the part data and the file are also transmitted from the
一方、携帯端末2がMFP1から取り外されて無線接続に切り替わると、図12に太実線矢印で示すように、スキャナ部104で読み取られた原稿の画像データからなるファイルは、メインメモリ103を経由してCPU101へ送信される。CPU101はファイルを用いたプレビュー画面を生成する。この場合、プレビュー画面にファイル以外のパーツデータの表示が必要な場合は、CPU101はパーツデータとファイルを合成してプレビュー画面を生成する。
On the other hand, when the
プレビュー画面の生成後、その画面データはWIFIモジュール109を介して携帯端末2に無線送信される。
After the preview screen is generated, the screen data is wirelessly transmitted to the
携帯端末2はプレビュー画面の画面データを受信すると、CPU201は受信した画面データに基づいてプレビュー画面を表示部204に表示する。
When the
MFP1はプレビュー画面の画面データを無線通信する際の空きを利用し、図12に太破線矢印で示すように、画面データと並行して、ファイルそのもの(生データ)あるいはさらに、必要なパーツデータを携帯端末2に無線送信する。そして、ファイルの生データ等の送信送信完了までは、MFP1から送信された画面データに基づいて、プレビュー画面を携帯端末2の表示部204に表示し、ファイルの生データ等の送信完了後は、送信された生データ等を用いて携帯端末2でプレビュー画面を生成し、表示部204に表示するものとなされている。
The
図13は、プレビュー画面に関して、MFP1と携帯端末2の通信中の状態遷移図であり、左側に従来の、右側に本実施形態の状態遷移図をそれぞれ示す。当初、携帯端末2はMFP1に装着されて、両者は有線接続されているものとする。
FIG. 13 is a state transition diagram during communication between the
左側の従来の状態遷移図において、携帯端末2でタッチパネルの操作が検出され携帯端末2からタッチイベント(ジョブ開始指示)が送信されると、MFP1は、イベントを解析し、スキャナ部104による1頁目の原稿読み取りを行う。読み取り後に、画像データからなるファイルを圧縮し、転送を開始する。転送が完了すると、携帯端末2は転送終了をMFP1に通知したのち、プレビュー画面を生成し表示する。MFP1は1頁目の画像データの読み取り後続けて2頁目、さらには3頁目・・・と読み取りを行う。
In the conventional state transition diagram on the left side, when an operation on the touch panel is detected by the
次に、2頁目の読み取り中のタイミングT1において、携帯端末2がMFP1から取り外されたものとすると、両者は無線接続に切り替えられるが、MFP1は2頁目以降も同様の動作を実行する。即ち、2頁目の読み取り後に画像データを圧縮し、転送を開始する。転送が完了すると、携帯端末2は転送終了をMFP1に通知したのち、プレビュー画面を生成し表示する。MFP1は2頁目の画像データの読み取りに続けて3頁目の読み取りを実行する。
Next, assuming that the
一方、本実施形態では、携帯端末2がMFP1から取り外されるまでは、従来と一緒である。タイミングT1において、携帯端末2がMFP1から取り外され、両者は無線接続に切り替えられた状態では、2頁目の原稿読み取り後は、MFP1でプレビュー画面を生成し、生成後にプレビュー画面の画面データを圧縮して携帯端末2に転送する。また、並行して、2頁目の画像データそのもの(生データ)の転送も開始する。
On the other hand, in this embodiment, until the
画面データの転送が完了すると、携帯端末2は転送終了をMFP1に通知したのち、受信したプレビュー画面の画面データを表示部204に表示する。
When the transfer of the screen data is completed, the
2頁目の読み取り後、MFP1は3頁目の読み取りを開始し、読み取り後に3頁目の画面データを生成し、携帯端末2に転送する。並行して、3頁目の画面データそのものも転送する。
After reading the second page, the
MFP1は指定された頁の読み取り完了後、携帯端末2からの最終頁の画面データの転送終了通知を待ってジョブ終了通知を携帯端末2に送信する。
After completing the reading of the designated page, the
このように、この実施形態では、携帯端末2がMFP1から取り外されて両者が無線接続に切り替わると、画像データを用いたプレビュー画面の生成が携帯端末2からMFP1へ切り替えられ、MFP1で生成されたプレビュー画面のデータが携帯端末2へ送信され表示されるから、無線接続への切替後も、画像データの転送完了後に携帯端末2でプレビュー画面を生成する場合に比べて、MFP1側のプレビュー画面が携帯端末2に表示されるまでの時間を短縮でき、ユーザーの待ち時間を短縮できる。
As described above, in this embodiment, when the
また、無線接続への切替後に、画像データそのものも携帯端末2へ転送されているから、無線接続状態で、携帯端末2にプレビュー表示されている画像データに対して拡大、縮小、頁めくり等の編集操作が指示された時も、送信済みの画像データに対して携帯端末2側で編集を行うことができるから、画像データの編集後の画面データをMFP1から送信してもらう必要はなくなり、編集操作の指示後に、編集されたプレビュー画面を迅速に表示させることができ、ユーザーの操作性が向上する。
Further, since the image data itself is also transferred to the
なお、プレビュー表示される画像データ(ファイル)は、スキャナ部104で読み取られたものに限定されることはなく、MFP1の記憶部103bに保存されているファイルであっても良い。
Note that the image data (file) displayed in the preview is not limited to that read by the
以上、本発明の一実施形態を説明したが、本発明は上記実施形態に限定されることはない。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment.
例えば、MFP1と携帯端末2とが有線接続から無線接続に切り替わった時に、MFP1での画面生成に切り替えたが、判定部106により、無線接続時の通信速度が有線接続時の通信速度よりも速いか否かを判断し、無線接続時の通信速度が有線接続時の通信速度よりも速いと判断された場合は、通信速度の低下はないので、MFP1は有線接続時と同様に、パーツデータやプレビュー用のファイル等の画面生成用データを、携帯端末2に送信し、携帯端末2で画面を生成しても良い。
For example, when the
また、判定部106により、無線接続時に、携帯端末2に送信するパーツデータやプレビュー用のファイル等の画面生成用データのサイズの合計が所定値以下か否かを判断し、所定値以下と判断された場合は、有線接続から無線接続に切り替えられても、通信時間の大幅な増加はないので、MFP1は有線接続時と同様に、画面生成用データを携帯端末2に送信し、携帯端末2で画面を生成しても良い。
Further, the
また、上記の実施形態では、有線接続から無線接続に切り替えられ場合を説明したが、無線接続状態から有線接続状態に切り替えられ場合も、同様である。 In the above embodiment, the case where the wired connection is switched to the wireless connection has been described. However, the same applies to the case where the wireless connection state is switched to the wired connection state.
また、コンパクトPDF(CPDF)によるプレビュー画面が指示された場合、無線接続時には、MFP1で生成したCPDF画像の背景画像を優先して携帯端末2に送信し、背景画像に続いて文字画像を携帯端末2に送信するのが良い。これにより、ユーザーはプレビュー画像のイメージをより速くつかむことができる。
When a preview screen by compact PDF (CPDF) is instructed, the background image of the CPDF image generated by the
1 画像処理装置
2 携帯端末装置
101 CPU
102 ROM
103b 記憶部
104 スキャナ部
105 プリント部
106 判定部
107 操作パネル部
107b 表示部
109 WIFIモジュール
111 USBインターフェース
201 CPU
202 RAM
203 記憶部
204 表示部
205 WIFIモジュール
207 USBインターフェース
209 連携部
DESCRIPTION OF
102 ROM
202 RAM
203
Claims (26)
前記画像処理装置は、
前記携帯端末装置が装着された状態で、携帯端末装置と有線にて接続可能な有線接続手段と、
前記携帯端末装置が取り外された状態で、携帯端末装置と無線にて接続可能な無線接続手段と、
前記携帯端末装置の着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、
前記接続切り替え手段により、携帯端末装置との接続が無線接続に切り替えられた状態で、1個または複数個の画面生成用データを用いて、携帯端末装置に表示される画像処理装置側の画面を生成する画面生成手段と、
前記接続切り替え手段により、携帯端末装置との接続が有線接続に切り替えられた状態では、前記画面生成用データを前記携帯端末装置に送信し、携帯端末装置との接続が無線接続に切り替えられた状態では、前記画面生成手段により生成された画面を表示するための画面データを前記携帯端末装置に送信する送信手段と、
を備え、
前記携帯端末装置は、
前記画像処理装置に装着された状態で、画像処理装置と有線にて接続可能な有線接続手段と、
前記画像処理装置から取り外された状態で、画像処理装置と無線にて接続可能な無線接続手段と、
前記画像処理装置から送信される前記画面生成用データまたは画面データを受信する受信手段と、
前記画像処理装置に対する着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、
表示手段と、
前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態で、前記受信手段により受信した画面生成用データを用いて、前記表示手段に表示される画像処理装置側の画面を生成する画面生成手段と、
前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態では、前記画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示し、画像処理装置との接続が無線接続に切り替えられた状態では、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示する表示制御手段と、
を備えたことを特徴とする画像処理連携システム。 An image processing cooperation system comprising an image processing device and a mobile terminal device detachably attached to the image processing device,
The image processing apparatus includes:
With the mobile terminal device mounted, wired connection means that can be connected to the mobile terminal device by wire,
Wireless connection means that can be wirelessly connected to the mobile terminal device with the mobile terminal device removed;
Connection switching means for switching between a wired connection and a wireless connection in accordance with the attachment / detachment of the portable terminal device;
The screen on the image processing device side displayed on the mobile terminal device using one or a plurality of screen generation data in a state where the connection with the mobile terminal device is switched to the wireless connection by the connection switching means. Screen generation means for generating;
In the state where the connection with the portable terminal device is switched to the wired connection by the connection switching unit, the screen generation data is transmitted to the portable terminal device, and the connection with the portable terminal device is switched to the wireless connection Then, a transmission unit that transmits screen data for displaying the screen generated by the screen generation unit to the mobile terminal device;
With
The portable terminal device
Wired connection means that can be connected to the image processing device in a wired manner while being attached to the image processing device;
Wireless connection means that can be wirelessly connected to the image processing apparatus in a state of being removed from the image processing apparatus;
Receiving means for receiving the screen generation data or screen data transmitted from the image processing device;
A connection switching unit that switches between a wired connection and a wireless connection in accordance with attachment to and detachment from the image processing apparatus;
Display means;
The screen on the image processing apparatus displayed on the display means is displayed using the screen generation data received by the receiving means in a state where the connection with the image processing apparatus is switched to a wired connection by the connection switching means. Screen generation means for generating;
When the connection with the image processing apparatus is switched to a wired connection by the connection switching unit, the screen on the image processing apparatus side generated by the screen generation unit is displayed on the display unit, and the connection with the image processing apparatus is performed. Is switched to wireless connection, display control means for displaying on the display means a screen on the image processing apparatus side based on the screen data received by the receiving means;
An image processing cooperation system characterized by comprising:
前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段と、
前記画像処理装置に対し前記画面生成用データまたは画面データの自装置への送信を要求する要求手段と、
前記画面生成用データまたは画面データが圧縮データである場合に、該画面生成用データまたは画面データを伸張する伸張手段と、
前記画像処理装置に対し前記画面生成用データまたは画面データの受信完了を通知する受信完了通知手段と、
を備えている請求項1に記載の画像処理連携システム。 The portable terminal device
Operation information notifying means for notifying the image processing apparatus of operation information indicating the contents of the operation performed on the screen on the image processing apparatus side displayed on the display means;
Request means for requesting the image processing device to transmit the screen generation data or the screen data to the own device;
Decompression means for decompressing the screen generation data or screen data when the screen generation data or screen data is compressed data;
A reception completion notifying means for notifying the image processing device of completion of reception of the screen generation data or screen data;
The image processing cooperation system according to claim 1, further comprising:
前記画像処理装置は、前記携帯端末装置から通知された前記操作情報を解析する解析手段と、前記解析手段の解析結果に基づいて、画面生成用データを選択する選択手段と、前記選択手段により選択された画面生成用データ、または選択された画面生成用データを用いて画面生成手段により生成された画面を表示するための画面データを、圧縮する圧縮手段と、を備え、
前記画像処理装置の送信手段は、前記圧縮手段により圧縮された画面生成用データまたは画面データを前記携帯端末装置に送信する請求項1〜4のいずれかに記載の画像処理連携システム。 The portable terminal device includes an operation information notifying unit that notifies the image processing device of operation information indicating the content of an operation performed on the screen on the image processing device side displayed on the display unit of the own device,
The image processing device includes: an analysis unit that analyzes the operation information notified from the mobile terminal device; a selection unit that selects screen generation data based on an analysis result of the analysis unit; and the selection unit Compression means for compressing screen data for displaying the screen generated by the screen generation means using the generated screen generation data or the selected screen generation data,
The image processing cooperation system according to claim 1, wherein the transmission unit of the image processing device transmits the screen generation data or the screen data compressed by the compression unit to the portable terminal device.
前記画像処理装置の送信手段は、前記画面データと並行して画面生成用データをも前記携帯端末装置に送信し、
前記携帯端末装置の画面生成手段は、前記受信手段による画面生成用データの受信が終了した時点で、前記受信手段により受信した画面生成用データを用いて、前記表示手段に表示される画面を生成し、
前記携帯端末装置の表示制御手段は、画面生成手段により画面が生成されるまでは、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示し、画面生成手段により画面が生成された後は、前記携帯端末装置の画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示する請求項1〜5のいずれかに記載の画像処理連携システム。 In a state where the connection with the portable terminal device is switched to a wireless connection by the connection switching unit,
The transmission means of the image processing device transmits screen generation data to the portable terminal device in parallel with the screen data,
The screen generation means of the portable terminal device generates a screen to be displayed on the display means by using the screen generation data received by the reception means when reception of the screen generation data by the reception means is completed. And
The display control means of the portable terminal device displays the screen on the image processing apparatus side based on the screen data received by the receiving means on the display means until the screen is generated by the screen generating means, and the screen generating means The image processing cooperation system according to claim 1, wherein after the screen is generated, the screen on the image processing device side generated by the screen generation unit of the mobile terminal device is displayed on the display unit.
前記画像処理装置は、携帯端末装置からの受信完了の通知を受信すると、前記画面データの送信を停止する請求項6に記載の画像処理連携システム。 The portable terminal device includes a reception completion notification means for notifying the image processing device of completion of reception of screen generation data,
The image processing cooperation system according to claim 6, wherein the image processing apparatus stops transmission of the screen data when receiving a reception completion notification from the mobile terminal device.
前記通信速度判断手段により、無線接続時の通信速度が有線接続時の通信速度よりも速いと判断された場合、前記画像処理装置の送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する請求項1〜7のいずれかに記載の画像処理連携システム。 The image processing apparatus includes a communication speed determining unit that determines whether a communication speed at the time of the wireless connection is faster than a communication speed at the time of a wired connection,
When the communication speed determining means determines that the communication speed at the time of wireless connection is faster than the communication speed at the time of wired connection, the transmission means of the image processing apparatus can store the screen generation data even if it is in a wireless connection state. The image processing cooperation system according to claim 1, wherein the image processing cooperation system is transmitted to the mobile terminal device.
前記サイズ判断手段により、画面生成用データのサイズの合計が所定値以下と判断された場合、前記画像処理装置の送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する請求項1〜7のいずれかに記載の画像処理連携システム。 The image processing device includes size determining means for determining whether or not the total size of the screen generation data to be transmitted to the mobile terminal device during the wireless connection is a predetermined value or less.
When the size determining unit determines that the total size of the screen generation data is equal to or less than a predetermined value, the screen generation data is transmitted to the portable terminal device even when the transmission unit of the image processing apparatus is in a wireless connection state. The image processing cooperation system according to claim 1, which transmits the image processing cooperation system.
無線接続時は、画像処理装置は前記ユーザーの編集操作に対応する画面を生成し画面データを携帯端末装置に転送するとともに、画面データと並行して画像データを携帯端末装置に転送し、
前記携帯端末装置は、無線接続時は、前記画像処理装置から転送されたユーザーの編集操作に対応する画面データを表示手段に表示し、画面データと並行して転送される前記画像データの転送完了後は、画面生成手段は該画像データを用いてユーザーの編集操作に対応する画面を生成し、表示手段に表示する請求項1〜9のいずれかに記載の画像処理連携システム。 When the user performs an editing operation on the image data displayed on the display unit of the mobile terminal device, the screen generation unit of the mobile terminal device has already received an image from the image processing device during wired connection. A screen corresponding to the editing operation of the user is generated using data, and the display control means of the mobile terminal device displays the generated screen on the display means,
At the time of wireless connection, the image processing device generates a screen corresponding to the editing operation of the user and transfers the screen data to the mobile terminal device, and transfers the image data to the mobile terminal device in parallel with the screen data,
When the mobile terminal device is wirelessly connected, the screen data corresponding to the user's editing operation transferred from the image processing device is displayed on the display means, and the transfer of the image data transferred in parallel with the screen data is completed. Thereafter, the screen generation unit generates a screen corresponding to the user's editing operation using the image data and displays the screen on the display unit.
前記携帯端末装置が装着された状態で、携帯端末装置と有線にて接続可能な有線接続手段と、
前記携帯端末装置が取り外された状態で、携帯端末装置と無線にて接続可能な無線接続手段と、
前記携帯端末装置の着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、
前記接続切り替え手段により、携帯端末装置との接続が無線接続に切り替えられた状態で、1個または複数個の画面生成用データを用いて、携帯端末装置に表示される画像処理装置側の画面を生成する画面生成手段と、
前記接続切り替え手段により、携帯端末装置との接続が有線接続に切り替えられた状態では、前記画面生成用データを前記携帯端末装置に送信し、携帯端末装置との接続が無線接続に切り替えられた状態では、前記画面生成手段により生成された画面を表示するための画面データを前記携帯端末装置に送信する送信手段と、
を備えたことを特徴とする画像処理装置。 An image processing apparatus in which a mobile terminal device is detachably mounted,
With the mobile terminal device mounted, wired connection means that can be connected to the mobile terminal device by wire,
Wireless connection means that can be wirelessly connected to the mobile terminal device with the mobile terminal device removed;
Connection switching means for switching between a wired connection and a wireless connection in accordance with the attachment / detachment of the portable terminal device;
The screen on the image processing device side displayed on the mobile terminal device using one or a plurality of screen generation data in a state where the connection with the mobile terminal device is switched to the wireless connection by the connection switching means. Screen generation means for generating;
In the state where the connection with the portable terminal device is switched to the wired connection by the connection switching unit, the screen generation data is transmitted to the portable terminal device, and the connection with the portable terminal device is switched to the wireless connection Then, a transmission unit that transmits screen data for displaying the screen generated by the screen generation unit to the mobile terminal device;
An image processing apparatus comprising:
前記解析手段の解析結果に基づいて、画面生成用データを選択する選択手段と、
前記選択手段により選択された画面生成用データ、または選択された画面生成用データを用いて画面生成手段により生成された画面を表示するための画面データを、圧縮する圧縮手段と、
を備え、
前記送信手段は、前記圧縮手段により圧縮された画面生成用データまたは画面データを前記携帯端末装置に送信する請求項11〜13のいずれかに記載の画像処理装置。 Analyzing means for analyzing operation information notified from the mobile terminal device and indicating operation content performed on the screen on the image processing device side displayed on the mobile terminal device;
Selection means for selecting data for screen generation based on the analysis result of the analysis means;
Compression means for compressing screen data selected by the selection means or screen data for displaying a screen generated by the screen generation means using the selected screen generation data;
With
The image processing apparatus according to claim 11, wherein the transmission unit transmits the screen generation data or the screen data compressed by the compression unit to the mobile terminal device.
前記通信速度判断手段により、無線接続時の通信速度が有線接続時の通信速度よりも速いと判断された場合、前記送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する請求項11〜16のいずれかに記載の画像処理装置。 A communication speed determining means for determining whether the communication speed at the time of wireless connection is faster than the communication speed at the time of wired connection;
When the communication speed determining means determines that the communication speed at the time of wireless connection is faster than the communication speed at the time of wired connection, the transmission means transmits the screen generation data to the portable terminal device even if the transmission means is in a wireless connection state. The image processing apparatus according to any one of claims 11 to 16, wherein the image processing apparatus is transmitted to
前記サイズ判断手段により、画面生成用データのサイズの合計が所定値以下と判断された場合、前記画像処理装置の送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する請求項11〜16のいずれかに記載の画像処理装置。 Size determining means for determining whether or not the total size of the screen generation data to be transmitted to the mobile terminal device during the wireless connection is a predetermined value or less;
When the size determining unit determines that the total size of the screen generation data is equal to or less than a predetermined value, the screen generation data is transmitted to the portable terminal device even when the transmission unit of the image processing apparatus is in a wireless connection state. The image processing apparatus according to claim 11, which transmits the image processing apparatus.
前記画像処理装置に装着された状態で、画像処理装置と有線にて接続可能な有線接続手段と、
前記画像処理装置から取り外された状態で、画像処理装置と無線にて接続可能な無線接続手段と、
前記画像処理装置との着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、
表示手段と、
前記画像処理装置から有線接続時に送信される、前記表示手段に表示される画像処理装置側の画面を生成するための1個または複数個の画面生成用データ、または画像処理装置から無線接続時に送信される、前記画面生成用データを用いて画像処理装置が生成した画像処理装置側の画面を表示するための画面データを受信する受信手段と、
前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態で、前記受信手段により受信した前記画面生成用データを用いて、前記表示手段に表示される画像処理装置側の画面を生成する画面生成手段と、
前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態では、前記画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示し、画像処理装置との接続が無線接続に切り替えられた状態では、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示する表示制御手段と、
を備えたことを特徴とする携帯端末装置。 A portable terminal device that is detachably attached to an image processing device,
Wired connection means that can be connected to the image processing device in a wired manner while being attached to the image processing device;
Wireless connection means that can be wirelessly connected to the image processing apparatus in a state of being removed from the image processing apparatus;
Connection switching means for switching between a wired connection and a wireless connection in accordance with the attachment / detachment with the image processing device;
Display means;
One or a plurality of screen generation data for generating a screen on the image processing apparatus side displayed on the display means, which is transmitted from the image processing apparatus at the time of wired connection, or transmitted from the image processing apparatus at the time of wireless connection Receiving means for receiving screen data for displaying a screen of the image processing apparatus generated by the image processing apparatus using the screen generation data;
The screen on the image processing apparatus side displayed on the display means using the screen generation data received by the receiving means in a state where the connection with the image processing apparatus is switched to a wired connection by the connection switching means. Screen generation means for generating
When the connection with the image processing apparatus is switched to a wired connection by the connection switching unit, the screen on the image processing apparatus side generated by the screen generation unit is displayed on the display unit, and the connection with the image processing apparatus is performed. Is switched to wireless connection, display control means for displaying on the display means a screen on the image processing apparatus side based on the screen data received by the receiving means;
A portable terminal device comprising:
前記画像処理装置に対し前記画面生成用データまたは画面データの自装置への送信を要求する要求手段と、
前記画面生成用データまたは画面データが圧縮データである場合に、該画面生成用データまたは画面データを伸張する伸張手段と、
前記画像処理装置に対し前記画面生成用データまたは画面データの受信完了を通知する受信完了通知手段と、
を備えている請求項19に記載の携帯端末装置。 Operation information notifying means for notifying the image processing apparatus of operation information indicating the contents of the operation performed on the screen on the image processing apparatus side displayed on the display means;
Request means for requesting the image processing device to transmit the screen generation data or the screen data to the own device;
Decompression means for decompressing the screen generation data or screen data when the screen generation data or screen data is compressed data;
A reception completion notifying means for notifying the image processing device of completion of reception of the screen generation data or screen data;
The mobile terminal device according to claim 19, comprising:
前記受信手段は、前記画像処理装置から前記画面データと並行して送信される画面生成用データをも受信し、
前記画面生成手段は、前記受信手段による画面生成用データの受信が終了した時点で、前記受信手段により受信した画面生成用データを用いて、前記表示手段に表示される画面を生成し、
前記表示制御手段は、前記画面生成手段により画面が生成されるまでは、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示し、画面生成手段により画面が生成された後は、該画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示する請求項19〜23のいずれかに記載の携帯端末装置。 With the wireless connection switched,
The receiving means also receives screen generation data transmitted in parallel with the screen data from the image processing device,
The screen generation unit generates a screen to be displayed on the display unit using the screen generation data received by the reception unit when reception of the screen generation data by the reception unit is completed,
The display control means displays the screen on the image processing apparatus side based on the screen data received by the receiving means on the display means until the screen is generated by the screen generating means, and the screen generating means generates the screen. The portable terminal device according to any one of claims 19 to 23, wherein a screen on the image processing device side generated by the screen generation unit is displayed on the display unit.
無線接続時は、画像処理装置で生成され転送された前記ユーザーの編集操作に対応する画面データを表示手段に表示し、画面データと並行して画像処理装置から転送される画像データの転送完了後は、画面生成手段は該画像データを用いてユーザーの編集操作に対応する画面を生成し、表示手段に表示する請求項19〜25のいずれかに記載の携帯端末装置。 When the user performs an editing operation on the image data displayed on the display unit, the screen generation unit uses the image data already received from the image processing device when the wired connection is established. A screen corresponding to the operation is generated, and the display control means displays the generated screen on the display means,
When wirelessly connected, the screen data corresponding to the user editing operation generated and transferred by the image processing device is displayed on the display means, and after the transfer of the image data transferred from the image processing device in parallel with the screen data is completed The mobile terminal device according to any one of claims 19 to 25, wherein the screen generation means generates a screen corresponding to a user's editing operation using the image data and displays the screen on the display means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012190682A JP5907002B2 (en) | 2012-08-30 | 2012-08-30 | Image processing cooperation system, image processing device, and portable terminal device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012190682A JP5907002B2 (en) | 2012-08-30 | 2012-08-30 | Image processing cooperation system, image processing device, and portable terminal device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014049910A JP2014049910A (en) | 2014-03-17 |
JP5907002B2 true JP5907002B2 (en) | 2016-04-20 |
Family
ID=50609169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012190682A Active JP5907002B2 (en) | 2012-08-30 | 2012-08-30 | Image processing cooperation system, image processing device, and portable terminal device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5907002B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6241406B2 (en) * | 2014-03-26 | 2017-12-06 | 京セラドキュメントソリューションズ株式会社 | Image forming system and portable terminal |
JP6101247B2 (en) | 2014-12-26 | 2017-03-22 | 京セラドキュメントソリューションズ株式会社 | Mobile terminal and image combination program |
US10554853B2 (en) | 2018-03-19 | 2020-02-04 | Ricoh Company, Ltd. | Information processing device, information processing method, information processing system, and non-transitory recording medium |
US10868935B2 (en) * | 2018-03-30 | 2020-12-15 | Ricoh Company, Ltd. | Information processing device, information processing method, non-transitory recording medium, and image forming system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4083996B2 (en) * | 2001-04-05 | 2008-04-30 | インターナショナル・ビジネス・マシーンズ・コーポレーション | System for performing communication with terminal via wired connection path and wireless connection path, arithmetic processing unit, wireless connection terminal, data transfer method for wireless connection terminal, program, and storage medium |
JP2003345500A (en) * | 2002-05-24 | 2003-12-05 | Sharp Corp | Electronic apparatus with detachable display unit |
JP4427520B2 (en) * | 2006-03-29 | 2010-03-10 | 株式会社東芝 | Image transmitting apparatus, display apparatus and method |
JP5148677B2 (en) * | 2010-10-08 | 2013-02-20 | シャープ株式会社 | Compound machine |
-
2012
- 2012-08-30 JP JP2012190682A patent/JP5907002B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014049910A (en) | 2014-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5720661B2 (en) | Mobile terminal device, image processing cooperation system, screen data display method and display program | |
US10341518B2 (en) | Operation input system, electronic device and mobile terminal | |
US9894238B2 (en) | Computer readable recording medium, information processing apparatus, and information processing method | |
US9134932B2 (en) | User selection of a file format prior to a print preview | |
JP5776725B2 (en) | Image processing cooperation system, portable terminal device, image processing cooperation method, and image processing cooperation program | |
US8077335B2 (en) | Image processing apparatus, mobile terminal apparatus, image processing system and control method | |
JP5408169B2 (en) | Information processing program, information processing apparatus, and information processing method | |
US9473610B2 (en) | Information processing program, information processing apparatus and information processing method | |
JP5765366B2 (en) | Image processing device, portable terminal device, remote screen data creation program and display control program | |
JP2013121053A (en) | Mobile terminal, image processing device, image processing system, control method and program | |
TW201401843A (en) | Document scanning method and computer program | |
JP2004246876A (en) | Browsing system | |
JP5696721B2 (en) | Display processing apparatus, image forming apparatus, remote screen display processing system, and display processing method | |
US9875433B2 (en) | Linkage system and linkage method for image processing, portable terminal device, and image processing linkage program | |
JP2007310865A (en) | Apparatus and method for information processing, control program to allow computer to execute this method, and computer readable recording medium recorded with this program | |
JP5907002B2 (en) | Image processing cooperation system, image processing device, and portable terminal device | |
JP6252028B2 (en) | Image processing system, image processing apparatus, and remote screen display control program | |
JP5692541B2 (en) | Image processing linkage system, linkage method, portable terminal device, and linkage program | |
JP6418258B2 (en) | Image processing apparatus and remote screen control program | |
JP6089702B2 (en) | Image processing apparatus, screen data generation method, and program | |
US10785376B2 (en) | Image processing apparatus for sending user interface data | |
JP2023004179A (en) | Information processing apparatus, information processing apparatus control method and programme | |
JP2015023563A (en) | Image processing system, display control method of remote screen, portable terminal and display control program of remote screen | |
JP2009182568A (en) | Facsimile transmission system | |
JP2006094049A (en) | Image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160223 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5907002 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |