JP5692541B2

JP5692541B2 - 画像処理連携システム、連携方法、携帯端末装置及び連携プログラム

Info

Publication number: JP5692541B2
Application number: JP2012228474A
Authority: JP
Inventors: 古川　学; 学古川; 橋本　昌也; 昌也橋本; 淳一長谷; 三縞　信広; 信広三縞; 章宏鳥越
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2012-10-15
Filing date: 2012-10-15
Publication date: 2015-04-01
Anticipated expiration: 2032-10-15
Also published as: CN103731581A; CN103731581B; JP2014081746A; US8953208B2; US20140104649A1

Description

この発明は、多機能デジタル複合機であるＭＦＰ（Multi Function Peripherals）等の画像処理装置と、この画像処理装置に接続可能なスマートフォン、タブレット端末等の携帯端末装置とを備えた画像処理連携システム、同システムで実行される連携方法、携帯端末装置及び連携プログラムに関する。

近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記ＭＦＰ等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。

しかし、携帯端末装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。

そこで、最近、画像処理装置の機能を使用するための画像処理装置用の操作画面を、携帯端末装置の表示部に表示し、携帯端末装置から画像処理装置を操作できるようにした、画像処理装置と携帯端末装置との連携システムが提案されている。この連携システムでは、携帯端末装置の表示部に表示される画像処理装置の操作画面は、画像処理装置から送信される表示用データに基づいて表示される。

ところで、このような連携システムにおいて、画像処理装置の操作画面として、例えば画像処理装置内の画像データ等のファイルを画面の一部にプレビュー表示させたプレビー表示画面が表示されることもある。画像処理装置内のファイルを携帯端末装置の表示部でプレビュー表示することにより、画像処理装置の操作パネルよりも携帯端末装置の比較的大きな画面でファイルを確認することができ、ユーザーにとって極めて便利である。

ところが、携帯端末装置に表示されたプレビュー画面中のファイルに対して、携帯端末装置で操作が行われた場合には、次のような問題点があった。

即ち、前述したように、携帯端末装置の表示部に表示される画像処理装置の操作画面は、画像処理装置から送信される表示用データに基づいて表示されるため、携帯端末装置に表示されたプレビュー表示画面等を携帯端末装置で操作した場合も、まず、操作が行われたことを示す操作情報が携帯端末装置から画像処理装置に送信され、画像処理装置はこの操作情報に基づいて次の操作画面を作成し、これを表示するための表示用データを携帯端末装置に送信し、携帯端末装置はこの表示用データに基づいて操作画面を再生して表示することになる。

このため、例えば、プレビュー表示画面におけるファイル表示領域のファイルに対して、携帯端末装置側で頁めくり操作を行ったような場合、頁めくり操作に対応させるため、画像処理装置側でファイルを呼び出して、現在表示されている頁の次の頁を表示データに設定した上で、この頁のデータを有する操作画面の表示用データを携帯端末装置に送信する必要があった。従って、操作画面の表示用データの作成に時間を要し、操作後のプレビュー画面の携帯端末装置への表示速度が遅くなるという問題があった。

また、画像処理装置から携帯端末装置へのプレビュー画面表示用データの送信は、データ圧縮された状態で行われ、携帯端末側でこれを伸張して表示するため、小さいファイル表示領域内の表示データが圧縮・伸張されて再現性が劣化し、ファイルの精細なプレビュー画像を表示できないという問題もあった。

しかも、画像処理装置側で操作に応じたファイルの表示データを作成するため、プレビュー表示されたファイルに対して携帯端末装置側で使用できる操作は、画像処理装置が提供する操作に限られてしまい、携帯端末装置側のアプリケーションによりファイルに対して一般に操作可能な例えばピンチ等の操作を行うことができず、使い勝手が良くないという問題もあった。

なお、特許文献１には、ネットワークを介して接続された複数のプリンタのうちの所望のプリンタを用いて所望の印刷設定で文書データを印刷した結果と略同一の大きさで印刷プレビューを行うことができる技術が開示されている。

具体的には、ユーザーが携帯端末を操作することより印刷する文書が選択され、プリンタ及び印刷設定（用紙サイズ、解像度等）が選択されると、サーバは印刷設定に基づいて画素数を算出し、算出された画素数で文書ファイルから印刷イメージを生成する。一方、携帯端末の表示部に関する情報（横画素数、縦画素数、解像度）が取得され、印刷物の解像度と表示部の解像度とに基づいてプレビュー画像の画素数を算出し、算出された画素数でプレビュー画像を生成し、プレビュー画像を携帯端末装置へ送信する、というものである。

特開２０１１−１１８５８６号公報

しかし、上記特許文献１に記載の技術は、サーバで生成したプレビュー画像を携帯端末装置へ送信する技術に関するものであり、携帯端末装置に表示した画像処理装置側の操作画面のファイル表示領域を操作する技術ではない。このため、ファイル表示領域を操作した場合に発生する前述した問題点に対して、解決策を提供することはできなかった。

この発明は、このような実情に鑑みてなされたものであり、ファイル表示領域を有する画像処理装置用の操作画面を携帯端末装置に表示して、携帯端末装置から画像処理装置の連携操作を行う場合に、前記ファイル表示領域に対して操作が行われた場合の操作後の画面の表示速度の高速化、ファイルの表示精度の向上、使用可能な操作種類の拡大を図ることができる画像処理連携システム及び連携方法を提供し、さらには前記連携システムに好適に用いられる携帯端末装置と、該携帯端末装置のコンピュータに処理を実行させるための連携プログラムを提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムであって、前記画像処理装置は、表示手段と、前記携帯端末装置から、前記表示手段に表示される画像処理装置の操作画面の表示用データの取得要求があったときに、前記操作画面がファイルの全部または一部が表示されたファイル表示領域を有する第１の操作画面であるか、ファイル表示領域を有しない第２の操作画面であるかを判断する操作画面判断手段と、前記操作画面判断手段により第１の操作画面であると判断された場合は、前記ファイル表示領域を除く第１の操作画面の表示用データと、前記ファイルと、該ファイルを用いて前記ファイル表示領域を前記携帯端末装置が表示するためのファイル表示領域表示用情報とを携帯端末装置に送信し、第２の操作画面であると判断された場合は、第２の操作画面の表示用データを携帯端末装置に送信する送信手段と、を備え、前記携帯端末装置は、前記画像処理装置に対して、画像処理装置の操作画面の表示用データの取得要求を行う取得要求手段と、前記取得要求に応じて前記画像処理装置から送信された表示用データが、第１の操作画面の表示用データである場合は、前記画像処理装置から送信された前記第１の操作画面の表示用データとファイルとファイル表示領域表示用情報とを用いて、前記画像処理装置の第１の操作画面を作成し、画像処理装置から送信された表示用データが、第２の操作画面の表示用データである場合は、該表示用データに基づいて前記画像処理装置の第２の操作画面を作成する操作画面作成手段と、前記操作画面作成手段により作成された第１または第２の操作画面を表示する表示手段と、前記画像処理装置から送信されたファイルを保存するファイル保存手段と、前記表示手段に表示された第１または第２の操作画面に対してユーザー操作が行われたかどうかを判断する操作判断手段と、前記操作判断手段により、第１の操作画面内であるがファイル表示領域外の領域に対してユーザー操作が行われたと判断された場合、または第２の操作画面に対してユーザー操作が行われたと判断された場合は、操作が行われたことを示す操作情報を画像処理装置に通知する通知手段と、前記操作判断手段により、第１の操作画面内のファイル表示領域に対してユーザー操作が行われたと判断された場合には、前記ファイル保存手段に保存されているファイルを用いて、ファイル表示領域内の表示データを前記操作に対応するデータに切り替えて表示させる表示制御手段と、を備えていることを特徴とする画像処理連携システム。
（２）前記画像処理装置は、１個または複数個のファイルを格納するファイル格納手段と、前記操作画面判断手段により第１の操作画面であると判断された場合に、前記ファイル表示領域に表示されているファイルを前記ファイル格納手段から取得するファイル取得手段を備え、前記送信手段は、前記ファイル取得手段により取得されたファイルを前記携帯端末装置に送信する前項１に記載の画像処理連携システム。
（３）前記携帯端末装置の操作判断手段は、前記操作画面におけるユーザー操作がなされた位置の座標に基づいて、ユーザー操作が行われたかどうかを判断する前項１または２に記載の画像処理連携システム。
（４）前記携帯端末装置のファイル表示領域表示用情報には、前記第１の操作画面におけるファイル表示領域の位置を示す第１の位置情報と、ファイル表示領域に表示されるデータのファイル内での位置を示す第２の位置情報が含まれており、前記操作画面作成手段は、前記ファイルにおける前記第２の位置情報で示される位置のデータを、前記第１の位置情報で示されるファイル表示領域の位置に合成することにより、第１の操作画面を作成する前項１〜３のいずれかに記載の画像処理連携システム。
（５）前記第１の位置情報は、前記操作画面におけるファイル表示領域の座標である前項４に記載の画像処理連携システム。
（６）前記第１の操作画面は、ファイル表示領域内でファイルを頁単位でプレビュー表示するプレビュー表示画面であり、前記第２の位置情報は、ファイル表示領域に表示されるファイルの頁情報である前項４または５に記載の画像処理連携システム。
（７）前記携帯端末装置の表示制御手段は、操作に対応するデータを前記第１の位置情報で示されるファイル表示領域の位置に合成することにより、ファイル表示領域内の表示データを切り替える前項４〜６のいずれかに記載の画像処理連携システム。
（８）前記携帯端末装置は、表示手段に表示された操作画面中のファイル表示領域に対して、ファイル表示領域内の表示データの頁送り操作、拡大操作、縮小操作の少なくともいずれかのユーザー操作が行われた場合には、前記操作に対応してファイル表示領域内に表示されたデータのファイル内での位置を示す第３の位置情報を、前記画像処理装置に通知する前項１〜７のいずれかに記載の画像処理連携システム。
（９）前記携帯端末装置から前記第３の位置情報が通知されたときは、前記画像処理装置は、携帯端末装置側のファイル表示領域内の表示データと同じ表示となるように、前記第３の位置情報に基づいてデータを作成し、第１の操作画面のファイル表示領域に表示する前項８に記載の画像処理連携システム。
（１０）相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムで実行される連携方法であって、前記画像処理装置は、前記携帯端末装置から、表示手段に表示される画像処理装置の操作画面の表示用データの取得要求があったときに、前記操作画面がファイルの全部または一部が表示されたファイル表示領域を有する第１の操作画面であるか、ファイル表示領域を有しない第２の操作画面であるかを判断する操作画面判断ステップと、前記操作画面判断ステップにおいて第１の操作画面であると判断された場合は、前記ファイル表示領域を除く第１の操作画面の表示用データと、前記ファイルと、該ファイルを用いて前記ファイル表示領域を前記携帯端末装置が表示するためのファイル表示領域表示用情報とを携帯端末装置に送信し、第２の操作画面であると判断された場合は、第２の操作画面の表示用データを携帯端末装置に送信する送信ステップと、を実行し、前記携帯端末装置は、前記画像処理装置に対して、画像処理装置の操作画面の表示用データの取得要求を行う取得要求ステップと、前記取得要求に応じて前記画像処理装置から送信された表示用データが、第１の操作画面の表示用データである場合は、前記画像処理装置から送信された前記第１の操作画面の表示用データとファイルとファイル表示領域表示用情報とを用いて、前記画像処理装置の第１の操作画面を作成し、画像処理装置から送信された表示用データが、第２の操作画面の表示用データである場合は、該表示用データに基づいて前記画像処理装置の第２の操作画面を作成する操作画面作成ステップと、前記操作画面作成ステップにおいて作成された第１または第２の操作画面を表示手段に表示する表示ステップと、前記画像処理装置から送信されたファイルをファイル保存手段に保存するステップと、前記表示手段に表示された第１または第２の操作画面に対してユーザー操作が行われたかどうかを判断する操作判断ステップと、前記操作判断ステップにおいて、第１の操作画面内であるがファイル表示領域外の領域に対してユーザー操作が行われたと判断された場合、または第２の操作画面に対してユーザー操作が行われたと判断された場合は、操作が行われたことを示す操作情報を画像処理装置に通知する通知ステップと、
前記操作判断ステップにおいて、第１の操作画面内のファイル表示領域に対してユーザー操作が行われたと判断された場合には、前記ファイル保存手段に保存されているファイルを用いて、ファイル表示領域内の表示データを前記操作に対応するデータに切り替えて表示させる表示制御ステップと、を実行することを特徴とする連携方法。
（１１）画像処理装置に接続するための接続手段と、前記接続手段により接続された画像処理装置に対して、画像処理装置の操作画面の表示用データの取得要求を行う取得要求手段と、前記画像処理装置の操作画面が、ファイルの全部または一部が表示されたファイル表示領域を有する第１の操作画面である場合には、前記取得要求に応じて前記画像処理装置から送信される、前記ファイル表示領域を除く第１の操作画面の表示用データと、前記ファイルと、該ファイルを用いて前記ファイル表示領域を自装置において表示するためのファイル表示領域表示用情報とを受信し、前記ファイル表示領域を有しない第２の操作画面である場合には、前記取得要求に応じて前記画像処理装置から送信される第２の操作画面の表示用データを受信する受信手段と、前記受信手段により受信した表示用データが、第１の操作画面の表示用データである場合は、前記受信手段により受信した前記第１の操作画面の表示用データとファイルとファイル表示領域表示用情報とを用いて、前記画像処理装置の第１の操作画面を作成し、画像処理装置から送信された表示用データが、第２の操作画面の表示用データである場合は、該表示用データに基づいて前記画像処理装置の第２の操作画面を作成する操作画面作成手段と、前記操作画面作成手段により作成された第１または第２の操作画面を表示する表示手段と、前記受信手段により受信したファイルを保存するファイル保存手段と、前記表示手段に表示された第１または第２の操作画面に対してユーザー操作が行われたかどうかを判断する操作判断手段と、前記操作判断手段により、第１の操作画面内であるがファイル表示領域外の領域に対してユーザー操作が行われたと判断された場合、または第２の操作画面に対してユーザー操作が行われたと判断された場合、操作が行われたことを示す操作情報を画像処理装置に通知する通知手段と、前記操作判断手段により、第１の操作画面内のファイル表示領域に対してユーザー操作が行われたと判断された場合には、前記ファイル保存手段に保存されているファイルを用いて、ファイル表示領域内の表示データを前記操作に対応するデータに切り替えて表示させる表示制御手段と、を備えていることを特徴とする携帯端末装置。
（１２）前記ファイル表示領域表示用情報には、前記第１の操作画面におけるファイル表示領域の位置を示す第１の位置情報と、ファイル表示領域に表示されるデータのファイル内での位置を示す第２の位置情報が含まれており、前記操作画面作成手段は、前記ファイルにおける前記第２の位置情報で示される位置のデータを、前記第１の位置情報で示されるファイル表示領域の位置に合成することにより、第１の操作画面を作成する前項１１に記載の携帯端末装置。
（１３）前記第１の位置情報は、前記操作画面におけるファイル表示領域の座標である前項１２に記載の携帯端末装置。
（１４）前記第１の操作画面は、ファイル表示領域内でファイルを頁単位でプレビュー表示するプレビュー表示画面であり、前記第２の位置情報は、ファイル表示領域に表示されるファイルの頁情報である前項１２または１３に記載の携帯端末装置。
（１５）前記表示制御手段は、操作に対応するデータを前記第１の位置情報で示されるファイル表示領域の位置に合成することにより、ファイル表示領域内の表示データを切り替える前項１２〜１４のいずれかに記載の携帯端末装置。
（１６）前記操作判断手段は、前記操作画面におけるユーザー操作がなされた位置の座標に基づいて、ユーザー操作が行われたかどうかを判断する前項１１〜１５のいずれかに記載の携帯端末装置。
（１７）前記表示手段に表示された操作画面中のファイル表示領域に対して、ファイル表示領域内の表示データの頁送り操作、拡大操作、縮小操作の少なくともいずれかのユーザー操作が行われた場合には、前記操作に対応してファイル表示領域内に表示されたデータのファイル内での位置を示す第３の位置情報を、前記画像処理装置に通知する前項１１〜１６のいずれかに記載の携帯端末装置。
（１８）画像処理装置と接続するステップと、前記接続された画像処理装置に対して、画像処理装置の操作画面の表示用データの取得要求を行う取得要求ステップと、前記画像処理装置の操作画面が、ファイルの全部または一部が表示されたファイル表示領域を有する第１の操作画面である場合には、前記取得要求に応じて前記画像処理装置から送信される、前記ファイル表示領域を除く第１の操作画面の表示用データと、前記ファイルと、該ファイルを用いて前記ファイル表示領域を自装置において表示するためのファイル表示領域表示用情報とを受信し、前記ファイル表示領域を有しない第２の操作画面である場合には、前記取得要求に応じて前記画像処理装置から送信される第２の操作画面の表示用データを受信する受信ステップと、前記受信ステップにおいて受信した表示用データが、第１の操作画面の表示用データである場合は、前記受信ステップにより受信した前記第１の操作画面の表示用データとファイルとファイル表示領域表示用情報とを用いて、前記画像処理装置の第１の操作画面を作成し、画像処理装置から送信された表示用データが、第２の操作画面の表示用データである場合は、該表示用データに基づいて前記画像処理装置の第２の操作画面を作成する操作画面作成ステップと、前記操作画面作成ステップにおいて作成された第１または第２の操作画面を表示手段に表示する表示ステップと、前記受信ステップにおいて受信したファイルをファイル保存手段に保存する保存ステップと、前記表示手段に表示された第１または第２の操作画面に対してユーザー操作が行われたかどうかを判断する操作判断ステップと、前記操作判断ステップにおいて、第１の操作画面内であるがファイル表示領域外の領域に対してユーザー操作が行われたと判断された場合、または第２の操作画面に対してユーザー操作が行われたと判断された場合は、操作が行われたことを示す操作情報を画像処理装置に通知する通知ステップと、前記操作判断ステップにおいて、第１の操作画面中のファイル表示領域に対してユーザー操作が行われたと判断された場合には、前記ファイル保存手段に保存されているファイルを用いて、ファイル表示領域内の表示データを前記操作に対応するデータに切り替えて表示させる表示制御ステップと、を、携帯端末装置のコンピュータに実行させるための連携プログラム。

前項（１）に記載の発明によれば、画像処理装置は、携帯端末装置から画像処理装置の操作画面の表示用データの取得要求があったときに、前記操作画面がファイルの全部または一部が表示されたファイル表示領域を有する第１の操作画面であるか、ファイル表示領域を有しない第２の操作画面であるかを判断し、第１の操作画面であると判断した場合は、ファイル表示領域を除く第１の操作画面の表示用データと、ファイルと、該ファイルを用いて前記ファイル表示領域を携帯端末装置が表示するためのファイル表示領域表示用情報とを携帯端末装置に送信する。一方、携帯端末装置は、画像処理装置から送信されたファイル表示領域を除く第１の操作画面の表示用データと、ファイルと、ファイル表示領域表示用情報を用いて、ファイル表示領域にファイルデータが表示された画像処理装置の第１の操作画面を作成し、表示手段に表示する。また、表示された第１の操作画面中のファイル表示領域に対してユーザー操作が行われた場合には、自身のファイル保存手段に保存されているファイルを用いて、ファイル表示領域内の表示データを前記操作に対応するデータに切り替えて表示させる。

つまり、第１の操作画面中のファイル表示領域に対してユーザー操作が行われた場合には、画像処理装置から送信され携帯端末装置自身が保持している元ファイルを用いて、ファイル表示領域に表示すべきデータを作成し表示するから、従来のように、画像処理装置側で操作に応じてファイル表示領域用の表示データを生成し、該データを画像処理装置から受信する必要はなくなるから、携帯端末装置における操作後の画面への切り替え表示速度を高速にできる。

しかも、画像処理装置側で生成されたファイル表示領域内の表示データを圧縮・伸張することは不要となるから、圧縮・伸張によるデータの劣化を防止でき、ファイルの表示精度を向上することができる。

さらに、携帯端末装置が、元のファイルを用いてファイル表示領域に表示すべきデータを作成するから、携帯端末装置側で一般のファイルに対して使用可能なピンチ等の操作を、ファイル表示領域に表示されるファイルに対しても使用できるようになり、使用可能な操作種類の拡大を図ることができ、使い勝手の良いシステムとなる。

前項（４）に記載の発明によれば、ファイル表示領域表示用情報には、前記操作画面におけるファイル表示領域の位置を示す第１の位置情報と、ファイル表示領域に表示されるデータのファイル内での位置を示す第２の位置情報が含まれているから、携帯端末装置は、画像処理装置から送信されたファイルと前記ファイル表示領域再生用情報を用いて、ファイル表示領域及び第１の操作画面を確実に再生することができる。

前項（２）に記載の発明によれば、ファイル表示領域に表示されているファイルを、確実に携帯端末装置に送信することができる。

前項（５）に記載の発明によれば、第１の位置情報として操作画面におけるファイル表示領域の座標が用いられることにより、携帯端末装置は、ファイル表示領域の位置を容易に特定することができる。

前項（６）に記載の発明によれば、ファイル表示領域内でファイルを頁単位でプレビュー表示するプレビュー表示画面を、携帯端末装置に表示でき、携帯端末装置は、ファイル表示領域に表示されるファイルの頁情報を画像処理装置から取得することで、ファイル表示領域に表示されるデータのファイル内の位置を特定することができる。

前項（３）に記載の発明によれば、携帯端末装置は、操作画面におけるユーザー操作がなされた位置の座標に基づいて、ユーザー操作が行われたかどうかを容易に判断することができる。

前項（７）に記載の発明によれば、携帯端末装置は、操作に対応するデータを第１の位置情報で示されるファイル表示領域の位置に合成することにより、ファイル表示領域内の表示データを切り替えることができる。

前項（８）に記載の発明によれば、携帯端末装置に表示された操作画面中のファイル表示領域に対して、ファイル表示領域内の表示データの頁送り操作、拡大操作、縮小操作の少なくともいずれかのユーザー操作が行われた場合には、携帯端末装置から、前記操作に対応してファイル表示領域内に表示されたデータのファイル内での位置を示す第３の位置情報が、画像処理装置に通知されるから、画像処理装置は、携帯端末装置で表示されているファイル表示領域の表示状態を把握することができる。

前項（９）に記載の発明によれば、画像処理装置は、携帯端末装置で表示されているファイル表示領域の表示を、携帯端末装置側の表示と同期させることができる。

前項（１０）に記載の発明によれば、第１の操作画面中のファイル表示領域に対して携帯端末装置でユーザー操作が行われた場合には、画像処理装置から送信され携帯端末装置自身が保持している元ファイルを用いて、ファイル表示領域に表示すべきデータを作成し表示するから、従来のように、画像処理装置側で操作に対応してファイル表示領域用の表示データを生成して送信する必要はなくなり、携帯端末装置における操作後の画面への切り替え表示速度を高速にできる。しかも、画像処理装置側で生成されたファイル表示領域のデータの圧縮・伸張処理は不要となるから、圧縮・伸張によるデータの劣化を防止でき、ファイルの表示精度を向上することができる。さらに、携帯端末装置が、元のファイルを用いてファイル表示領域に表示すべきデータを作成するから、携帯端末装置側で一般のファイルに対して使用可能な操作を、ファイル表示領域に表示されるファイルに対しても使用できるようになり、使用可能な操作種類の拡大を図ることができる。

前項（１１）に記載の発明によれば、携帯端末装置により、第１の操作画面中のファイル表示領域に対してユーザー操作が行われた場合に、操作後の画面への切り替え表示速度を高速にできるとともに、ファイルの表示精度を向上することができ、しかも携帯端末装置側で一般のファイルに対して使用可能な操作を、ファイル表示領域に表示されるファイルに対しても使用できる携帯端末装置となし得る。

前項（１２）に記載の発明によれば、携帯端末装置は、画像処理装置から送信されたファイルと前記ファイル表示領域表示用情報を用いて、ファイル表示領域と第１の操作画面とを確実に再生することができる。

前項（１３）に記載の発明によれば、ファイル表示領域の位置情報として操作画面におけるファイル表示領域の座標が用いられることにより、携帯端末装置は、ファイル表示領域の位置を容易に特定することができる。

前項（１４）に記載の発明によれば、携帯端末装置は、ファイル表示領域内でファイルを頁単位でプレビュー表示するプレビュー表示画面を表示できるとともに、ファイル表示領域に表示されるファイルの頁情報を画像処理装置から取得することで、ファイル表示領域に表示されるファイル内のデータを特定することができる。

前項（１６）に記載の発明によれば、携帯端末装置は、操作画面におけるユーザー操作がなされた位置の座標に基づいて、ユーザー操作が行われたかどうかを容易に判断することができる。

前項（１５）に記載の発明によれば、携帯端末装置は、操作に対応するデータをファイル表示領域の位置に合成することにより、ファイル表示領域内の表示データを切り替えることができる。

前項（１７）に記載の発明によれば、操作画面中のファイル表示領域に対して、ファイル表示領域内の表示データの頁送り操作、拡大操作、縮小操作の少なくともいずれかのユーザー操作が行われた場合には、携帯端末装置から、前記操作に対応してファイル表示領域内に表示されたデータのファイル内での位置を示す情報が、画像処理装置に通知される。

前項（１８）に記載の発明によれば、第１の操作画面中のファイル表示領域に対してユーザー操作が行われた場合には、画像処理装置から送信され携帯端末装置自身が保持している元ファイルを用いて、ファイル表示領域に表示すべきデータを作成し表示する処理を、携帯端末装置のコンピュータに実行させることができる。

この発明の一実施形態に係る画像処理連携システムの構成図である。画像処理装置及び携帯端末装置の電気的な構成を示すブロック図である。画像処理装置及び携帯端末装置のファームウェア構成を示すブロック図である。画像処理装置及び携帯端末装置の各ソフトウェアの関係を示す図である。画像処理連携システムの動作を説明するための図である。連携操作時における画像処理装置の動作を示すフローチャートである。連携操作時における携帯端末装置の動作を示すフローチャートである。携帯端末装置に表示された画像処理装置の操作画面をユーザーが操作したときの処理を示すフローチャートである。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る画像処理連携システムの構成図である。

この画像処理連携システムは、画像処理装置１と、スマートフォンやタブレット端末等からなる携帯端末装置２等を備え、これらの画像処理装置１と携帯端末装置２は、無線ＬＡＮルータ３、ネットワーク４を介して相互に接続可能となされている。なお、画像処理装置１と携帯端末装置２は、ＵＳＢインターフェース等により有線接続されても良い。

この実施形態では、画像処理装置１としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像処理装置をＭＦＰとも記す。また、携帯端末装置を携帯端末とも記す。

図２は、前記ＭＦＰ１と携帯端末２の電気的な構成を示すブロック図である。

ＭＦＰ１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３，スキャナ部１０４、プリント部１０５、記憶部１０６、操作パネル部１０７、ＷＩＦＩ（Wireless Fidelity）モジュール１０９、ＬＡＮ（Local Area Network）コントローラ１１０、ＵＳＢインターフェース（ＵＳＢＩ／Ｆ）１１１等を備えている。

前記ＣＰＵ１０１は、ＲＯＭ１０２等に記憶された動作プログラムに従って動作することにより、ＭＦＰ１の全体を統括的に制御するものである。例えば、ＭＦＰ１の各種機能を使用可能に制御するほか、この実施形態では、携帯端末２からの要求に基づいて、携帯端末２に表示するＭＦＰ１の操作画面の表示用データを携帯端末２に送信したり、操作画面がファイルの全部または一部が表示されたファイル表示領域を有する第１の操作画面であるか、ファイル表示領域を有しない第２の操作画面であるかを判断したり、第１の操作画面のファイル表示領域を特定したり、さらに表示されたファイルを特定して記憶部１０６から取得する等の処理を実行する。なお、ファイル表示領域を有する操作画面としては、ファイルをプレビューするためのプレビュー表示画面を例示できる。

また、操作画面が前記第１の操作画面であるか第２の操作画面であるかの判断結果に応じて、携帯端末２に送信する操作画面表示用データの種類を変更する等の制御を行うが、詳細な説明は後述する。

前記ＲＯＭ１０２は、ＣＰＵ１０１の動作プログラム等を記憶するメモリであり、ＲＡＭ１０３はＣＰＵ１０１が動作プログラムに従って動作するときの作業領域を提供するメモリである。

前記スキャナ部１０４は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。

前記プリント部１０５は、スキャナ部１０４により読み取られた原稿の画像データや、携帯端末２等から送信されたプリントデータを、用紙に印刷するものである。

前記記憶部１０６は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部１０７に表示される各種の操作画面の表示用データが記憶されており、ユーザーの操作に応じた操作画面の表示用データがＣＰＵ１０１によって記憶部１０６から呼び出され、操作パネル部１０７に表示されたり、携帯端末２に送信される。また、スキャナ部１０４で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルが保存されている。

操作パネル部１０７は、ＭＦＰ１を操作したりユーザーにメッセージ等を表示するものであり、スタートキー、テンキー等を有するキー部１０７ａと、液晶等のタッチパネルからなる表示部１０７ｂを備えている。

前記ＷＩＦＩモジュール１０９は、携帯端末２と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ１１０は、パーソナルコンピュータや他のＭＦＰ等の外部装置との間の通信を制御するものである。

前記ＵＳＢインターフェース１１１は携帯端末２と有線接続するためのインターフェースである。

一方、携帯端末２には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末２は、ＣＰＵ２０１、ＲＡＭ２０２、記憶部２０３、表示部２０４、ＷＩＦＩモジュール２０５、ＬＡＮコントローラ２０６、ＵＳＢインターフェース２０７、ファイル処理部２０８ａ、２０８ｂ、連携部２０９等を備えている。

前記ＣＰＵ２０１は、携帯端末２の全体を統括的に制御するものであり、基本ソフトウェアであるＯＳ（Operating System）や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。

前記ＲＡＭ２０２は、ＣＰＵ２０１が動作プログラムに従って動作するときの作業領域となるメモリである。

前記記憶部２０３は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、基本ＯＳ、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。

前記表示部２０４は、タッチパネルを備えた液晶等のデバイスからなる。

前記ＷＩＦＩモジュール２０５は、携帯端末２をＭＦＰ１と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ２０６は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記ＵＳＢインターフェース２０７は、携帯端末装置２をＭＦＰ１と有線接続するためのインターフェースである。

前記ファイル処理部２０８ａ、２０８ｂは、ファイルに編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部２０８ａ、２０８ｂをいずれもファイル処理部２０８と記す。

前記連携部２０９は、ＭＦＰ１と携帯端末２の間の機能連携を円滑に行うために、ＭＦＰ１の機能を使用できるようにするためのものである。具体的には、ＭＦＰ１のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにＭＦＰ１の操作パネル部１０７に表示される前述の第１または第２の操作画面と同じ操作画面を再生するための画面表示用データ等を、ＭＦＰ１から受信してリモート画面として表示部２０４に表示したり、表示されたリモート画面をユーザーが操作したときに、画面上の操作位置の座標を検出してＭＦＰ１に送信する。ＭＦＰ１は前記操作位置の座標を解析することにより、ユーザーの操作指示を特定し、操作指示に応じた動作を実行する。

ところで、前記ファイル処理部２０８は、ＣＰＵ２０１が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部２０８を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。

また、前記連携部２０９は、ＣＰＵ２０１が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはＭＦＰ１と携帯端末２とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。

図３は、ＭＦＰ１と携帯端末２のファームウェア構成を示すブロック図である。

ＭＦＰ１は、アプリ層に、操作パネル（アプリ）１２１やオープンＡＰＩ（Open Application Program Interface）１２２等を備え、共通ＡＰＩ層に、共通ＡＰＩ（Common API）１２５やパネル表示画像生成部１２６等を備え、ハードウェア依存層に、パネル画面生成部１２３、パネル制御部１２４、携帯端末用制御部１２７等を備えている。

さらに、カーネル層に、パネル入力制御部１２９、パネルＬＣＤ制御部１３０、ＪＰＥＧコーダドライバ１３１等を備え、デバイス層に、操作パネル部１０７、ＵＳＢインターフェース部１１１、ＪＰＥＧ圧縮部１３３、ＷＩＦＩモジュール１０９等を備えている。

パネル画面生成部１２３は、携帯端末２から連携操作が行われた場合に、操作パネル部１０７に表示されている操作画面の表示用データを作成する。特に、連携操作時の携帯端末２から要求された操作画面が、ファイルのプレビュー画像表示画面のようなファイル表示領域を有する第１の操作画面である場合は、ファイル表示領域を除く操作画面の表示用データを作成する。ファイル表示領域を有しない第２の操作画面である場合は、そのまま第２の操作画面の表示用データを作成する。

パネル制御部１２４は操作パネル部１０７との通信状態の制御等を行う。また、パネル表示画像生成部１２６は、連携操作時に携帯端末２に表示させるリモート画面がファイル表示領域を有する第１の操作画面である場合に、第１の操作画面におけるファイル表示領域の位置を特定して、その位置を示す第１の位置情報を作成したり、ファイル表示領域に表示されるファイルを特定したり、ファイル表示領域に表示されるデータのファイル内での位置を特定して、その位置を示す第２の位置情報を作成する。なお、作成した前記第１の位置情報及び第２の位置情報は、携帯端末２がファイル表示領域を再生するためのファイル表示領域再生用情報として、ファイルと共に携帯端末２に送信される。

携帯端末用制御部１２７は、携帯端末２との連携処理時に、携帯端末２と通信を行うためのインターフェース等を制御する。

パネル入力制御部１２９は、操作パネル部１０７の操作入力に関する制御を行い、パネルＬＣＤ制御部１３０は、操作パネル部１０７の表示部１０７ｂの表示制御を行う。ＪＰＥＧ圧縮部１３３は、ＪＰＥＧコーダドライバ１３１を介して携帯端末用制御部１２７から送信されてきた操作画面表示用データやファイルをＪＰＥＧ圧縮するものであり、圧縮されたデータはＵＳＢインターフェース１１１やＷＩＦＩモジュール１０９を介して、携帯端末２に送信される。

一方、携帯端末２は、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３、ブラウザ等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー２２５、２２６等を備えたプラットフォーム層と、各種のライブラリ２２７及びカーネル２２８を備えたＯＳ層と、ハードウェア２２９によって構成されている。

前記ＪＰＥＧ展開アプリ２２３は、ＭＦＰ１から送信されてきた圧縮データを伸張するものである。表示画像生成アプリ２２２は、ＭＦＰ１から送信されてきた圧縮データがファイル表示領域を有する第１の操作画面の表示用データである場合は、伸張後のファイルと前述した第２の位置情報を用いて、第１の操作画面のファイル表示領域に表示されるデータを作成する。また、ファイル表示領域に表示されたデータに対して、携帯端末２側で拡大、縮小、頁めくり等のユーザー操作がなされた場合には、第２の位置情報で示されるファイル表示領域の大きさに合致するように、前記ＭＦＰ１から送信された元ファイルを用いてファイル内のデータを拡大あるいは縮小し、あるいは頁を変更して作成する。

前記画像表示アプリ２２１は、ＭＦＰ１から送信されＪＰＥＧ展開アプリ２２３で伸張された操作画面表示用データを用いて、ＭＦＰ１の操作画面をリモート画面として作成し表示部２０４に表示させるものである。具体的には、第２の操作画面の表示用データの場合は、そのデータに基づいて第２の操作画面を作成して表示部２０４に表示させる。また、第１の操作画面の表示用データの場合は、ＭＦＰ１から送信された第１の操作画面の表示用データにおける、前記第２の位置情報で示されるファイル表示領域の位置に、表示画像生成アプリ２２２で作成されたファイル表示領域のデータを合成して第１の操作画面を作成し、表示部２０４に表示させる。

また、携帯端末２側で、ファイル表示領域に表示されたデータに対して、拡大、縮小、頁めくり等のユーザー操作がなされた場合にも同様に、表示画像生成アプリ２２２により作成された、拡大、縮小または頁めくりされたデータを、画像表示アプリ２２１が、ファイル表示領域の位置に合成して第１の操作画面を作成し、表示部２０４に表示させる。

なお、この実施形態では、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３は、連携アプリで実現される機能の一部として構成されている。

次に、ＭＦＰ１と携帯端末２を連携操作する場合の処理について説明する。

ユーザーが携帯端末２をＭＦＰ１にネットワーク経由にてあるいは有線にて接続し、携帯端末２とＭＦＰ１を連携して操作しようとしている。携帯端末２とＭＦＰ１の連携操作は、ユーザーが携帯端末２にインストールされている連携アプリを起動することにより、開始される。

図４は、ＭＦＰ１及び携帯端末２の各ソフトウェアの関係を示すものであり、左側にＭＦＰ１側のソフトウェアを、右側に携帯端末２のソフトウェアをそれぞれ示す。

携帯端末２の連携アプリは、携帯端末２のＯＳと汎用のソフトウェアであるアプリソフトの中間に位置しており、ユーザーの操作情報、携帯端末２との送受信データ、携帯端末２側の表示画面データを取得することができ、必要に応じてこれらのデータをＭＦＰ１へ送信することができる。つまり、携帯端末２の連携ソフトは、アプリの呼び出し等の携帯端末２側でのユーザー操作受付処理、ＭＦＰ１の操作画面表示用データの受信・表示処理（携帯端末側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、操作の内容を示す操作情報のＭＦＰ１との通信等が挙げられる。

一方、ＭＦＰ１の連携アプリは、ＭＦＰ１側のＯＳやＭＦＰ１用のアプリソフトが全て自社設計／自社カスタマイズであって必要な情報をすべて得られる場合は、ＯＳ−アプリソフト間に位置しなくても良く、ＯＳやアプリソフトと独立でありながら、ＯＳやアプリソフトと通信することにより、必要な情報を入手してもよい。ＭＦＰ１の連携アプリは、アプリの呼び出し等のＭＦＰ１側のユーザー操作受付処理、携帯端末２へのＭＦＰ用操作画面データ（画面表示用データ）の送信処理（ＭＦＰ側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末２からの操作情報等の受信・実行処理等が挙げられる。

ユーザーが携帯端末２の表示部２０４に表示された操作画面中の連携操作アイコンを選択し、ＭＦＰ連携を指示すると、携帯端末２の連携ソフトは、登録されているＭＦＰ１への通信を行い、ＭＦＰ１の連携ソフトを呼び出し、操作画面の取得を要求する。それにより、連携操作モードが開始され、ＭＦＰ１の表示部１０５ａと携帯端末２の表示部２０４に、ＭＦＰ側の操作画面が表示される。なお、携帯端末２の表示部２０４に、ＭＦＰ用操作画面と携帯端末用操作画面の両方が並列的に表示されても良い。

ユーザーが携帯端末２に表示されているＭＦＰ１の操作画面であるリモート画面を操作すると、操作の内容を示す操作情報がＭＦＰ１に送信される。ＭＦＰは、それがジョブ等の実行指示であれば対応する動作を行う。一方、操作に応じて次の操作画面を表示させる必要がある場合は、次の操作画面の表示用データを携帯端末２に送信する。

ここで、ユーザーがＭＦＰ１の操作パネル１０７の表示部１０７ｂに表示された操作画面から、ＭＦＰ１内のファイルを指定し、ファイル表示領域を有する第１の操作画面、例えばファイルのプレビュー画面の表示を指示すると、そのプレビュー画面がＭＦＰ１の表示部１０７ｂに表示される。

ファイルのプレビュー画面は、図５に示すように、ＭＦＰ１の表示部１０７ｂに表示された操作画面Ｄ１にファイル表示領域Ｄ２が設定され、このファイル表示領域Ｄ２にユーザが指定したファイル内のデータＦ１が表示されている。この実施形態ではファイルは１頁単位で表示されるものとするが、１頁内の一部のみが表示されるものであっても良いし、頁数が少ない場合は全頁が表示されるものであっても良い。

ユーザーがこのプレビュー画面を大きな携帯端末２の表示画面で閲覧したい場合、ユーザーは携帯端末２から連携モードを開始させて、ＭＦＰ１に対し操作パネル１０７の表示部１０７ｂに表示されている画面の取得要求を指示する。

要求を受けたＭＦＰ１は、その操作画面がファイル表示領域を有する第１の操作画面か、ファイル表示領域を有しない第２の操作画面かを判断する。

第２の操作画面である場合は、その操作画面の表示用データを圧縮して携帯端末２に送信する。一方、第１の操作画面である場合は、図５の丸数字１で示すように、操作画面のうち、ファイル表示領域Ｄ２を除く画面の表示用データを圧縮して転送する。この際、ファイル表示領域Ｄ２に表示されているファイルを特定し、そのファイルの全体を携帯端末２に圧縮して転送するとともに、転送されたファイルを用いて携帯端末２がファイル表示領域Ｄ２を再生し第１の操作画面を再生するためのファイル表示領域再生用情報も、携帯端末２に送信する。

ファイル表示領域再生用情報としては、操作画面Ｄ１中におけるファイル表示領域Ｄ２の位置を示す第１の位置情報と、ファイル表示領域Ｄ２に表示されているデータＦ１のファイル内での位置を示す第２の位置情報がある。この実施形態では、ファイル表示領域Ｄ２にはファイルが頁毎に表示されるから、データＦ１のファイル内での位置を示す第２の位置情報は、表示されている頁情報となる。

携帯端末２は、受信したファイル等を記憶部２０３に保存するとともに、受信した操作画面表示用データを用いて、ＭＦＰ１の操作画面をリモート画面として作成する。ファイル表示領域を有しない第２の操作画面の場合には、受信した操作画面表示用データに基づいて第２の操作画面を作成する。

一方、ファイル表示領域を有する第１の操作画面の場合には、図５の矢印Ａで示すように、ＭＦＰ１から受信した第１の操作画面の表示用データにおけるファイル表示領域Ｄ２の位置を、同じくＭＦＰ１から受信した第１の位置情報を用いて特定する（図５の丸数字２）。

そして、同じくＭＦＰ１から受信したファイルと前記第２の位置情報を用いて、ファイル表示領域Ｄ２に表示されるデータを作成する。そして、矢印Ｂで示すように、前記特定したファイル表示領域Ｄ２の位置に、作成されたデータを合成して、表示部２０４に表示させる（図５の丸数字３）。

これにより、ＭＦＰ１の操作パネル１０７に表示されているファイルのプレビュー表示画面と同じリモート画面が、携帯端末２の表示部２０４に表示される。

この状態で、ファイル表示領域Ｄ２に表示されたデータに対し、ユーザーが、携帯端末２でファイルに対して一般に操作可能な例えばピンチ等の操作により、拡大、縮小、頁めくり等の操作を行うと、操作後のファイル表示領域Ｄ２に表示されるデータが携帯端末２３により作成される。

つまり、第１の位置情報または第２の位置情報に基づいてファイル表示領域Ｄ２のサイズが分かるから、携帯端末２は、記憶部２０３に記憶されているファイルを用い、拡大または縮小されたデータ、または頁めくり後のデータを前記ファイル表示領域Ｄ２のサイズに合わせて作成する。そして、作成したデータをファイル表示領域Ｄ２に合成し、第１の操作画面として表示部２０４に表示する。

このように、この実施形態では、第１の操作画面Ｄ１中のファイル表示領域Ｄ２に対してユーザー操作が行われた場合には、ＭＦＰ１から送信され携帯端末２自身が保持している元ファイルを用いて、ファイル表示領域Ｄ２に表示すべきデータを操作に応じて作成し表示するから、従来のように、ＭＦＰ１側で操作に応じてファイル表示領域Ｄ２用の表示データを生成したり、該データをＭＦＰ１から受信する必要はなくなり、携帯端末２における操作後の画面への切り替え表示速度を高速にできる。

しかも、ＭＦＰ１側で生成されたファイル表示領域Ｄ２内の表示データを圧縮して送信したり、携帯端末２側で伸張することは不要となるから、圧縮・伸張によるデータの劣化を防止でき、ファイルの表示精度を向上することができる。なお、この実施形態においても、ＭＦＰ１から携帯端末２へのファイルの送信は圧縮した状態で行われても良いが、ファイル自体の圧縮・伸張による劣化度合いは、ファイル表示領域の表示データの圧縮・伸張に較べて格段に小さいから、問題はない。

さらに、携帯端末２が、元ファイルを用いてファイル表示領域Ｄ２に表示すべきデータを作成するから、携帯端末２側で一般のファイルに対して使用可能な操作を、ファイル表示領域Ｄ２に表示されるデータに対しても使用できるようになり、使用可能な操作種類の拡大を図ることができ、使い勝手の良いシステムとなる。

なお、以上の例ではまずＭＦＰ１の操作パネル２にプレビュー表示画面を表示させ、この操作画面を携帯端末２から取得する場合を示したが、ＭＦＰ１の操作パネル２にプレビュー表示画面を表示させることなく、連携モード後に携帯端末２から表示すべきファイルを指定してプレビュー画面の取得を要求することにより、プレビュー画面を携帯端末２で表示させても良い。

また、プレビューされるファイルは、ＭＦＰ１の記憶部１０６に記憶された複数の文書ファイルの中から指定しても良い。また、スキャナ部１０４で読み取られる原稿の画像データを、読み取りと同時的に表示しても良い。

図６は、連携操作時におけるＭＦＰ２の動作を示すフローチャートである。この動作は、ＭＦＰ１のＣＰＵ１０１がＲＯＭ１０２等に格納されている動作プログラムに従って動作することにより実行される。

ステップＳ０１で、携帯端末２から操作画面の取得要求があったかどうかを判断し、なければそのまま処理を終了する。取得要求があれば（ステップＳ０１でＹＥＳ）、ステップＳ０２で、要求されたのはファイル表示領域を有する第１の操作画面かどうかを判断する。第１の操作画面であれば（ステップＳ０２でＹＥＳ）、ステップＳ０３に進み、第１の操作画面でなければ（ステップＳ０２でＮＯ）、ステップＳ０８に進む。

ステップＳ０３では、要求された操作画面の画面情報からファイル表示領域の位置を特定するとともに、特定された位置を示す第１の位置情報を取得する。この位置情報は操作画面内のファイル表示領域の位置を示す座標により構成されるのが、ファイル表示領域の位置を容易にかつ確実に特定できる点で望ましい。

次いで、ステップＳ０４で、画面情報から、ファイル表示領域に表示される元ファイルと頁を特定するとともに、特定されたファイルと頁情報（第２の位置情報）を取得する。

次に、ステップＳ０５で、取得したファイルが動画か静止画かを判断し、静止画であれば（ステップＳ０５で静止画）、ステップＳ０６でプレビュー表示を行った後、ステップＳ０８に進む。なお、既にプレビュー表示が行われている場合は、ステップＳ０６でプレビュー表示をそのまま継続する。ステップＳ０５で動画の場合は（ステップＳ０５で動画）、ステップＳ０７では元ファイルの再生を行わず、ステップＳ０８に進む。

ステップＳ０８では操作画面表示用データを作成し、次いでステップＳ０９で携帯端末２へ送信する。具体的には、操作画面がファイル表示領域を有しない第２の操作画面である場合は、第２の操作画面の表示用データを送信する。操作画面がファイル表示領域を有する第１の操作画面である場合は、ファイル表示領域を除く第１の操作画面の表示用データと、ファイルそのものと、ファイル表示領域の位置を示す第１の位置情報と、ファイル表示領域に表示されるデータのファイル内の位置を示す第２の位置情報を送信する。

次いで、ステップＳ１０で、携帯端末２側で拡大、縮小または頁めくり等の操作が行われた場合に、携帯端末２から送信される、ファイル表示領域内に表示されたデータのファイル内での位置を示す第３の位置情報を受信したかどうかを判断する。受信しなければ（ステップＳ１０でＮＯ）、ステップＳ１２に進む。受信すれば（ステップＳ１０でＹＥＳ）、ステップＳ１１で、操作パネル部１０７の表示部１０７ｂに表示されているプレビュー画面のファイル表示領域内のデータを、携帯端末２に表示されているプレビュー画面のファイル表示領域内のデータのサイズあるいは頁等に同期させたのち、処理を終了する。

ステップＳ１２では、携帯端末２から、ＭＦＰ１のリモート画面への操作に伴う操作情報を受信したかどうかを判断し、受信した場合は（ステップＳ１２でＹＥＳ）、ステップＳ１３で、操作に応じた処理を行う。この場合、操作に応じた処理が次の操作画面への遷移である場合は、遷移後の操作画面表示用データを携帯端末２に送信し、携帯端末２は遷移後のリモート画面を表示する。操作情報を受信しない場合は（ステップＳ１２でＮＯ）、処理を終了する。

図７は、連携操作時の携帯端末２の動作を示すフローチャートである。この動作は、携帯端末２のＣＰＵ２０１が記憶部２０３等に記憶された連携アプリ等に従って動作することにより実行される。

ステップＳ２１で、ＭＦＰ１に対して操作画面の取得要求を行った後、ステップＳ２２で、ＭＦＰ１からデータを受信する。

ステップＳ２３では、操作画面がファイル表示領域を有する第１の操作画面かどうかを判断し、第１の操作画面であれば（ステップＳ２３でＹＥＳ）、ステップＳ２４で、ＭＦＰ１から送信された第１の位置情報からファイル表示領域を特定した後、ステップＳ２５で、ＭＦＰ１から送信されたファイルが静止画か動画かを判断する。

静止画であれば（ステップＳ２５で静止画）、ステップＳ２６で、ＭＦＰ１から送信されたファイルと第２の位置情報に基づき、ファイル表示領域の表示用データを作成した後、ステップＳ２７で、作成したファイル表示領域の表示用データを、第１の操作画面の表示用データのファイル表示領域に合成し、第１の操作画面を表示する。

一方、動画であれば（ステップＳ２５で動画）、ステップＳ２８で、ＭＦＰ１から送信されたファイルを再生し、ステップＳ２９で、再生したデータを第１の操作画面の表示用データに合成し、第１の操作画面を表示する。

ステップＳ２３において、操作画面がファイル表示領域を有しない第２の操作画面である場合は（ステップＳ２３でＮＯ）、ステップＳ３１で、ＭＦＰ１から送信された第２の操作画面の表示用データに基づいて第２の操作画面を再生し表示する。

図８は、携帯端末２の表示部２０４に表示されたＭＦＰ１のリモート画面に対して、ユーザー操作がなされたときの携帯端末２の動作を示すフローチャートである。この動作は、携帯端末２のＣＰＵ２０１が記憶部２０３等に記憶された連携アプリ等に従って動作することにより実行される。

ステップＳ４１で、表示部２０４に表示されたＭＦＰ１のリモート画面に対して、拡大、縮小、頁めくり等のユーザー操作がなされたかどうかを判断する。なされていなければ（ステップＳ４１でＮＯ）、処理を終了する。なされると（ステップＳ４１でＹＥＳ）、ステップＳ４２で、ファイル表示領域内の表示データへの操作か否かを判断する。ユーザー操作がなされたかどうかは、リモート画面やファイル表示領域の座標内での操作かどうかを判断することにより容易に行うことができる。

ファイル表示領域内の表示データへの操作でなければ（ステップＳ４２でＮＯ）、ステップＳ４７で、操作が行われたことを示す操作情報をＭＦＰへ送信する。ファイル表示領域内の表示データへの操作であれば（ステップＳ４２でＹＥＳ）、ステップＳ４３で、ファイルは静止画か動画かを判断する。動画である場合は（ステップＳ４３で動画）、処理を終了する。静止画である場合は（ステップＳ４３で静止画）、ステップＳ４４で、ＭＦＰ１から受信し記憶部２０３に保存しているファイルを用い、操作に応じてファイル表示領域内のデータを拡大、縮小、あるいは頁めくりしてファイル表示領域への表示用データを作成したのち、ステップＳ４５で、作成したデータを第１の操作用画面のファイル表示領域に合成し、操作前のデータから切り替えて表示する。

次いで、ステップＳ４６で、操作に対応して拡大、縮小、または頁めくりされてファイル表示領域内に表示されたデータのファイル内での位置を示す第３の位置情報を、ＭＦＰ１に送信して、処理を終了する。

１画像処理装置
２携帯端末装置
１０１ＣＰＵ
１０２ＲＯＭ
１０４スキャナ部
１０５プリント部
１０６記憶部
１０７操作パネル部
１０７ｂ表示部
１０９ＷＩＦＩモジュール
１１１ＵＳＢインターフェース
２０１ＣＰＵ
２０２ＲＡＭ
２０３記憶部
２０４表示部
２０５ＷＩＦＩモジュール
２０７ＵＳＢインターフェース
２０９連携部

Claims

相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムであって、
前記画像処理装置は、
表示手段と、
前記携帯端末装置から、前記表示手段に表示される画像処理装置の操作画面の表示用データの取得要求があったときに、前記操作画面がファイルの全部または一部が表示されたファイル表示領域を有する第１の操作画面であるか、ファイル表示領域を有しない第２の操作画面であるかを判断する操作画面判断手段と、
前記操作画面判断手段により第１の操作画面であると判断された場合は、前記ファイル表示領域を除く第１の操作画面の表示用データと、前記ファイルと、該ファイルを用いて前記ファイル表示領域を前記携帯端末装置が表示するためのファイル表示領域表示用情報とを携帯端末装置に送信し、第２の操作画面であると判断された場合は、第２の操作画面の表示用データを携帯端末装置に送信する送信手段と、
を備え、
前記携帯端末装置は、
前記画像処理装置に対して、画像処理装置の操作画面の表示用データの取得要求を行う取得要求手段と、
前記取得要求に応じて前記画像処理装置から送信された表示用データが、第１の操作画面の表示用データである場合は、前記画像処理装置から送信された前記第１の操作画面の表示用データとファイルとファイル表示領域表示用情報とを用いて、前記画像処理装置の第１の操作画面を作成し、画像処理装置から送信された表示用データが、第２の操作画面の表示用データである場合は、該表示用データに基づいて前記画像処理装置の第２の操作画面を作成する操作画面作成手段と、
前記操作画面作成手段により作成された第１または第２の操作画面を表示する表示手段と、
前記画像処理装置から送信されたファイルを保存するファイル保存手段と、
前記表示手段に表示された第１または第２の操作画面に対してユーザー操作が行われたかどうかを判断する操作判断手段と、
前記操作判断手段により、第１の操作画面内であるがファイル表示領域外の領域に対してユーザー操作が行われたと判断された場合、または第２の操作画面に対してユーザー操作が行われたと判断された場合は、操作が行われたことを示す操作情報を画像処理装置に通知する通知手段と、
前記操作判断手段により、第１の操作画面内のファイル表示領域に対してユーザー操作が行われたと判断された場合には、前記ファイル保存手段に保存されているファイルを用いて、ファイル表示領域内の表示データを前記操作に対応するデータに切り替えて表示させる表示制御手段と、
を備えていることを特徴とする画像処理連携システム。
前記画像処理装置は、１個または複数個のファイルを格納するファイル格納手段と、前記操作画面判断手段により第１の操作画面であると判断された場合に、前記ファイル表示領域に表示されているファイルを前記ファイル格納手段から取得するファイル取得手段を備え、
前記送信手段は、前記ファイル取得手段により取得されたファイルを前記携帯端末装置に送信する請求項１に記載の画像処理連携システム。
前記携帯端末装置の操作判断手段は、前記操作画面におけるユーザー操作がなされた位置の座標に基づいて、ユーザー操作が行われたかどうかを判断する請求項１または２に記載の画像処理連携システム。
前記携帯端末装置のファイル表示領域表示用情報には、前記第１の操作画面におけるファイル表示領域の位置を示す第１の位置情報と、ファイル表示領域に表示されるデータのファイル内での位置を示す第２の位置情報が含まれており、
前記操作画面作成手段は、前記ファイルにおける前記第２の位置情報で示される位置のデータを、前記第１の位置情報で示されるファイル表示領域の位置に合成することにより、第１の操作画面を作成する請求項１〜３のいずれかに記載の画像処理連携システム。
前記第１の位置情報は、前記操作画面におけるファイル表示領域の座標である請求項４に記載の画像処理連携システム。
前記第１の操作画面は、ファイル表示領域内でファイルを頁単位でプレビュー表示するプレビュー表示画面であり、前記第２の位置情報は、ファイル表示領域に表示されるファイルの頁情報である請求項４または５に記載の画像処理連携システム。
前記携帯端末装置の表示制御手段は、操作に対応するデータを前記第１の位置情報で示されるファイル表示領域の位置に合成することにより、ファイル表示領域内の表示データを切り替える請求項４〜６のいずれかに記載の画像処理連携システム。
前記携帯端末装置は、表示手段に表示された操作画面中のファイル表示領域に対して、ファイル表示領域内の表示データの頁送り操作、拡大操作、縮小操作の少なくともいずれかのユーザー操作が行われた場合には、前記操作に対応してファイル表示領域内に表示されたデータのファイル内での位置を示す第３の位置情報を、前記画像処理装置に通知する請求項１〜７のいずれかに記載の画像処理連携システム。
前記携帯端末装置から前記第３の位置情報が通知されたときは、前記画像処理装置は、携帯端末装置側のファイル表示領域内の表示データと同じ表示となるように、前記第３の位置情報に基づいてデータを作成し、第１の操作画面のファイル表示領域に表示する請求項８に記載の画像処理連携システム。
相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムで実行される連携方法であって、
前記画像処理装置は、
前記携帯端末装置から、表示手段に表示される画像処理装置の操作画面の表示用データの取得要求があったときに、前記操作画面がファイルの全部または一部が表示されたファイル表示領域を有する第１の操作画面であるか、ファイル表示領域を有しない第２の操作画面であるかを判断する操作画面判断ステップと、
前記操作画面判断ステップにおいて第１の操作画面であると判断された場合は、前記ファイル表示領域を除く第１の操作画面の表示用データと、前記ファイルと、該ファイルを用いて前記ファイル表示領域を前記携帯端末装置が表示するためのファイル表示領域表示用情報とを携帯端末装置に送信し、第２の操作画面であると判断された場合は、第２の操作画面の表示用データを携帯端末装置に送信する送信ステップと、
を実行し、
前記携帯端末装置は、
前記画像処理装置に対して、画像処理装置の操作画面の表示用データの取得要求を行う取得要求ステップと、
前記取得要求に応じて前記画像処理装置から送信された表示用データが、第１の操作画面の表示用データである場合は、前記画像処理装置から送信された前記第１の操作画面の表示用データとファイルとファイル表示領域表示用情報とを用いて、前記画像処理装置の第１の操作画面を作成し、画像処理装置から送信された表示用データが、第２の操作画面の表示用データである場合は、該表示用データに基づいて前記画像処理装置の第２の操作画面を作成する操作画面作成ステップと、
前記操作画面作成ステップにおいて作成された第１または第２の操作画面を表示手段に表示する表示ステップと、
前記画像処理装置から送信されたファイルをファイル保存手段に保存するステップと、
前記表示手段に表示された第１または第２の操作画面に対してユーザー操作が行われたかどうかを判断する操作判断ステップと、
前記操作判断ステップにおいて、第１の操作画面内であるがファイル表示領域外の領域に対してユーザー操作が行われたと判断された場合、または第２の操作画面に対してユーザー操作が行われたと判断された場合は、操作が行われたことを示す操作情報を画像処理装置に通知する通知ステップと、
前記操作判断ステップにおいて、第１の操作画面内のファイル表示領域に対してユーザー操作が行われたと判断された場合には、前記ファイル保存手段に保存されているファイルを用いて、ファイル表示領域内の表示データを前記操作に対応するデータに切り替えて表示させる表示制御ステップと、
を実行することを特徴とする連携方法。
画像処理装置に接続するための接続手段と、
前記接続手段により接続された画像処理装置に対して、画像処理装置の操作画面の表示用データの取得要求を行う取得要求手段と、
前記画像処理装置の操作画面が、ファイルの全部または一部が表示されたファイル表示領域を有する第１の操作画面である場合には、前記取得要求に応じて前記画像処理装置から送信される、前記ファイル表示領域を除く第１の操作画面の表示用データと、前記ファイルと、該ファイルを用いて前記ファイル表示領域を自装置において表示するためのファイル表示領域表示用情報とを受信し、前記ファイル表示領域を有しない第２の操作画面である場合には、前記取得要求に応じて前記画像処理装置から送信される第２の操作画面の表示用データを受信する受信手段と、
前記受信手段により受信した表示用データが、第１の操作画面の表示用データである場合は、前記受信手段により受信した前記第１の操作画面の表示用データとファイルとファイル表示領域表示用情報とを用いて、前記画像処理装置の第１の操作画面を作成し、画像処理装置から送信された表示用データが、第２の操作画面の表示用データである場合は、該表示用データに基づいて前記画像処理装置の第２の操作画面を作成する操作画面作成手段と、
前記操作画面作成手段により作成された第１または第２の操作画面を表示する表示手段と、
前記受信手段により受信したファイルを保存するファイル保存手段と、
前記表示手段に表示された第１または第２の操作画面に対してユーザー操作が行われたかどうかを判断する操作判断手段と、
前記操作判断手段により、第１の操作画面内であるがファイル表示領域外の領域に対してユーザー操作が行われたと判断された場合、または第２の操作画面に対してユーザー操作が行われたと判断された場合、操作が行われたことを示す操作情報を画像処理装置に通知する通知手段と、
前記操作判断手段により、第１の操作画面内のファイル表示領域に対してユーザー操作が行われたと判断された場合には、前記ファイル保存手段に保存されているファイルを用いて、ファイル表示領域内の表示データを前記操作に対応するデータに切り替えて表示させる表示制御手段と、
を備えていることを特徴とする携帯端末装置。
前記ファイル表示領域表示用情報には、前記第１の操作画面におけるファイル表示領域の位置を示す第１の位置情報と、ファイル表示領域に表示されるデータのファイル内での位置を示す第２の位置情報が含まれており、
前記操作画面作成手段は、前記ファイルにおける前記第２の位置情報で示される位置のデータを、前記第１の位置情報で示されるファイル表示領域の位置に合成することにより、第１の操作画面を作成する請求項１１に記載の携帯端末装置。
前記第１の位置情報は、前記操作画面におけるファイル表示領域の座標である請求項１２に記載の携帯端末装置。
前記第１の操作画面は、ファイル表示領域内でファイルを頁単位でプレビュー表示するプレビュー表示画面であり、前記第２の位置情報は、ファイル表示領域に表示されるファイルの頁情報である請求項１２または１３に記載の携帯端末装置。
前記表示制御手段は、操作に対応するデータを前記第１の位置情報で示されるファイル表示領域の位置に合成することにより、ファイル表示領域内の表示データを切り替える請求項１２〜１４のいずれかに記載の携帯端末装置。
前記操作判断手段は、前記操作画面におけるユーザー操作がなされた位置の座標に基づいて、ユーザー操作が行われたかどうかを判断する請求項１１〜１５のいずれかに記載の携帯端末装置。
前記表示手段に表示された操作画面中のファイル表示領域に対して、ファイル表示領域内の表示データの頁送り操作、拡大操作、縮小操作の少なくともいずれかのユーザー操作が行われた場合には、前記操作に対応してファイル表示領域内に表示されたデータのファイル内での位置を示す第３の位置情報を、前記画像処理装置に通知する請求項１１〜１６のいずれかに記載の携帯端末装置。
画像処理装置と接続するステップと、
前記接続された画像処理装置に対して、画像処理装置の操作画面の表示用データの取得要求を行う取得要求ステップと、
前記画像処理装置の操作画面が、ファイルの全部または一部が表示されたファイル表示領域を有する第１の操作画面である場合には、前記取得要求に応じて前記画像処理装置から送信される、前記ファイル表示領域を除く第１の操作画面の表示用データと、前記ファイルと、該ファイルを用いて前記ファイル表示領域を自装置において表示するためのファイル表示領域表示用情報とを受信し、前記ファイル表示領域を有しない第２の操作画面である場合には、前記取得要求に応じて前記画像処理装置から送信される第２の操作画面の表示用データを受信する受信ステップと、
前記受信ステップにおいて受信した表示用データが、第１の操作画面の表示用データである場合は、前記受信ステップにより受信した前記第１の操作画面の表示用データとファイルとファイル表示領域表示用情報とを用いて、前記画像処理装置の第１の操作画面を作成し、画像処理装置から送信された表示用データが、第２の操作画面の表示用データである場合は、該表示用データに基づいて前記画像処理装置の第２の操作画面を作成する操作画面作成ステップと、
前記操作画面作成ステップにおいて作成された第１または第２の操作画面を表示手段に表示する表示ステップと、
前記受信ステップにおいて受信したファイルをファイル保存手段に保存する保存ステップと、
前記表示手段に表示された第１または第２の操作画面に対してユーザー操作が行われたかどうかを判断する操作判断ステップと、
前記操作判断ステップにおいて、第１の操作画面内であるがファイル表示領域外の領域に対してユーザー操作が行われたと判断された場合、または第２の操作画面に対してユーザー操作が行われたと判断された場合は、操作が行われたことを示す操作情報を画像処理装置に通知する通知ステップと、
前記操作判断ステップにおいて、第１の操作画面中のファイル表示領域に対してユーザー操作が行われたと判断された場合には、前記ファイル保存手段に保存されているファイルを用いて、ファイル表示領域内の表示データを前記操作に対応するデータに切り替えて表示させる表示制御ステップと、
を、携帯端末装置のコンピュータに実行させるための連携プログラム。