JP6540059B2

JP6540059B2 - リモートパネルシステム、リモート画面の表示方法及び画像処理装置

Info

Publication number: JP6540059B2
Application number: JP2015019752A
Authority: JP
Inventors: 健日比野; 橋本　英幸; 英幸橋本; 健一駒場; 優作田中
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2015-02-03
Filing date: 2015-02-03
Publication date: 2019-07-10
Anticipated expiration: 2035-02-03
Also published as: JP2016144097A

Description

この発明は、プリンタ機能、ファクシミリ機能、スキャン機能等の機能を備えた多機能デジタル画像処理装置であるＭＦＰ（Multi Function Peripherals）等の画像処理装置と、スマートフォンやタブレット端末等の携帯端末装置とを備えたリモートパネルシステム、同システムで実行されるリモート画面の表示方法及び画像処理装置に関する。

上述したようなＭＦＰ等の画像処理装置を携帯端末装置から操作する方式として、リモートパネルと称される方式がある。この方式では、画像処理装置の操作画面の画面データを携帯端末装置に送信することにより、前記操作画面と同一の画面をリモート画面として携帯端末装置の画面に表示するとともに、携帯端末装置の画面上でユーザーが操作を行うと、その操作データが座標データとして画像処理装置に送信される。画像処理装置はこの操作データを解析して画面上のどのボタンが操作されたかを判定し、ボタンに対応した次画面の画面データを携帯端末装置に送信する。携帯端末装置は受信した画面データを表示して画面を更新する。このような処理を繰り返すことにより、最終的に、携帯端末装置のユーザーが画面上で操作したボタンに対応する処理が画像処理装置で実行されるというものである。

ところで、画像処理装置の操作画面をユーザーがカスタマイズして、操作パネルに表示される最初の画面から最終操作画面に至るまでのいずれかの画面をそのユーザーの初期画面として登録し、登録後はそのユーザーに対してはカスタマイズされた初期画面を最初の画面として表示することが可能となっている。

そこで、上述のリモートパネル方式における携帯端末装置においても、画像処理装置との接続時に表示される最初の画面から最終操作画面に至るまでの途中のリモート画面を、そのユーザーの初期画面として登録し、以後は画像処理装置と接続すると、この登録した初期画面を最初に表示させることが考えられる。

この場合、携帯端末装置には登録された初期画面が表示されるが、実際には携帯端末装置と接続された画像処理装置からは、接続時の最初の画面の画面データが送信され、この画面は登録された初期画面とは異なる。初期画面を登録しない場合は、最初の画面データに基づいて携帯端末装置に表示されるリモート画面に対し、ユーザーが操作することで次の画面に遷移し、やがては初期画面と同じ画面に遷移する。

そこで、接続時の最初の画面から初期画面に至るまでの各画面に対してユーザーがなすべき操作に対応する操作データを、予め順番に携帯端末装置に登録しておき、画像処理装置から送信される最初の画面から初期画面に遷移するまでの各画面データに対して、登録された操作データを順番に自動的に画像処理装置に送信することで、携帯端末装置のユーザーが意識することなく、画像処理装置からの画面データの送信に基づく通常の操作と同様にして、画像処理装置側の画面も携帯端末装置のリモート画面も初期画面まで遷移させることができる。以後は必要に応じて、通常通り、リモート画面に対する操作と、操作データの画像処理装置への送信、画像処理装置による操作データの解析、指示された処理の実行、次画面への更新等の処理が行われる。

しかしながら、携帯端末装置における初期画面の表示を可能とする上記のような技術では、以下に説明するような問題があった。

特開２０１４−１２００１７号公報

すなわち、画像処理装置はインストールされているファームウェアがバージョンアップされることがあり、このようなバージョンアップにより新機能が追加されたり機能が削除されることがあるため、画像処理装置において、携帯端末装置との接続時の画面から携帯端末装置に登録されている初期画面までの現在の画面遷移の仕方と、初期画面が携帯端末装置に登録されたときの画面遷移の仕方とが結果的に異なる場合がある。

また、携帯端末装置と接続可能な画像処理装置は１台ではないため、画像処理装置の種類によっては、携帯端末装置との接続時の画面から携帯端末装置に登録されている初期画面までの現在の画面遷移の仕方と、初期画面の登録時の画面遷移の仕方とが異なる場合もある。

このような場合、画像処理装置から送信される画面データに対して登録された操作データを順に送信したとしても、画像処理装置側の画面と操作データとが対応せず、初期画面まで正しく遷移させることができないという問題がある。

なお、上述の特許文献１には、画像処理装置においてＷｅｂページを生成する際の処理負担を大きくすることなく、情報処理端末において適切に各種コンテンツの情報を表示できるようにする技術が開示されている。具体的には、端末側でコンテンツ表示できないような内容（ポップアップが伴うような表示）の場合、画像処理装置側で画像形成（ビットマップ化）し、情報処理端末にデータ送信する、というものである。

しかし、この技術は、リモートパネル方式により画像処理装置を携帯端末装置から操作するシステムにおいて、画像処理装置との接続時に、画像処理装置の画面とは異なる初期画面を携帯端末装置に表示させ、画像処理装置からの画面データに対して携帯端末装置から登録された操作データを送信して画像処理装置からの画面データを初期画面まで自動的に遷移させる場合に、画像処理装置側の現在の画面遷移の仕方が初期画面の登録時の画面遷移の仕方とは異なっているときに発生する、画像処理装置側の画面と登録された操作データとが対応せず、初期画面まで正しく遷移させることができないという問題に対して、これを解決できる手段を提供しうるものではなかった。

この発明は、このような技術的背景に鑑みてなされたものであって、リモートパネル方式により画像処理装置を携帯端末装置から操作するシステムにおいて、画像処理装置と携帯端末装置との接続時に、画像処理装置の最初の画面とは異なる登録された初期画面を携帯端末装置に表示させ、画像処理装置から送信される画面データに対して登録された操作データを順に送信した場合に、画像処理装置側の現在の画面遷移の仕方が初期画面の登録時の画面遷移の仕方とは異なっていても、初期画面まで正しく遷移させることができるリモートパネルシステム、及びリモート画面の表示方法及び画像処理装置を提供することを目的とする。

上記課題は、以下の手段によって解決される。
（１）相互に接続可能な画像処理装置と携帯端末装置とを備えたリモートパネルシステムであって、前記画像処理装置は、タッチパネルを有する第１の表示手段と、前記第１の表示手段に表示される自装置の操作画面の画面データを前記携帯端末装置に送信する送信手段と、前記画面データを受信した携帯端末装置でリモート画面として表示された前記操作画面をユーザーが操作したときに、前記携帯端末装置から送信される操作データを受信する受信手段と、前記受信手段により受信した操作データに基づいて、操作データで指示される画面更新処理を含む処理を実行する処理実行手段と、を備え、前記携帯端末装置は、タッチパネルを有する第２の表示手段と、前記画像処理装置からの前記画面データに基づいて前記リモート画面を前記第２の表示手段に表示させる表示制御手段と、前記表示制御手段により前記第２の表示手段に表示される画像処理装置のいずれかの操作画面を初期画面として登録するとともに、前記画像処理装置との接続時の最初の画面から前記登録された初期画面までの画面の遷移に必要となる各画面毎の操作データを登録し、さらに前記初期画面の登録時の前記画像処理装置の機器情報を登録する登録手段と、前記機器情報を前記画像処理装置に送信すると共に、前記画像処理装置から送信される接続時の画面から前記初期画面に遷移するまでの各画面に対して、登録された前記操作データを順番に前記画像処理装置に送信する送信手段と、を備え、前記画像処理装置はさらに、前記機種情報毎に生成された前記操作データに対応する遷移先の画面を示す遷移先情報を記憶する記憶手段と、前記接続時の画面から前記初期画面に遷移するまでに各画面に対して携帯端末装置から送信される前記操作データを受信したとき、該操作データによって遷移する次の遷移先の画面に関して、前記携帯端末装置から送信された機器情報に基づく遷移先の画面と、現在の機器情報に基づく遷移先の画面が同じかどうかを、前記記憶手段に記憶された遷移先情報に基づいて判断する判断手段と、前記判断手段により同じと判断された場合は、同じと判断された遷移先の画面の画面データを前記携帯端末装置に送信し、異なると判断された場合は、前記遷移先情報に基づいて画面遷移先を補正するとともに、補正後の遷移先の画面データを前記携帯端末装置に送信し、その後、前記登録された初期画面の画面データを前記携帯端末装置に送信する補正手段と、を備えたことを特徴とするリモートパネルシステム。
（２）前記画像処理装置の判断手段は、前記携帯端末装置から送信された機器情報に基づく遷移先の画面と、現在の機器情報に基づく遷移先の画面が異なると判断した場合、前記携帯端末装置から送信された機器情報に基づく遷移先の画面が最新の機器情報では削除されているか、現在の機器情報に基づく遷移先の画面として新たな遷移先の画面が追加されているかを判断し、前記画像処理装置の補正手段は、画面の削除または追加に応じた補正を行う前項１に記載のリモートパネルシステム。
（３）前記画像処理装置の判断手段により、前記携帯端末装置から送信された機器情報に基づく遷移先の画面が現在の機器情報では削除されていると判断された場合、前記補正手段は、前記携帯端末装置からの操作データは無視して、ダミー画面の画面データを前記携帯端末装置に送信することにより前記補正を行う前項２に記載のリモートパネルシステム。
（４）前記画像処理装置の判断手段により、前記現在の機器情報に基づく遷移先の画面として新たな遷移先の画面が追加されていると判断された場合、前記補正手段は、前記追加された画面の画面データを前記携帯端末装置に送信することにより前記補正を行う前項２に記載のリモートパネルシステム。
（５）前記機器情報は前記画像処理装置のファームウェアのバージョン情報である前項１〜４のいずれかに記載のリモートパネルシステム。
（６）前記機器情報は前記画像処理装置の製品情報である前項１〜４のいずれかに記載のリモートパネルシステム。
（７）前記機器情報は前記画像処理装置の第１の表示手段の画面サイズ情報である前項１〜４のいずれかに記載のリモートパネルシステム。
（８）前記遷移先情報として画面の座標データが用いられる前項１〜７のいずれかに記載のリモートパネルシステム。
（９）前記遷移先情報として画面番号が用いられる前項１〜７のいずれかに記載のリモートパネルシステム。
（１０）前記画像処理装置の補正手段は、前記補正を行うことができない場合は、その旨を携帯端末装置に通知する前項１〜９のいずれかに記載のリモートパネルシステム。
（１１）相互に接続可能な画像処理装置と携帯端末装置とを備えたリモートパネルシステムで実行されるリモート画面の表示方法であって、前記画像処理装置は、タッチパネルを有する自装置の第１の表示手段に表示される自装置の操作画面の画面データを前記携帯端末装置に送信する送信ステップと、前記画面データを受信した携帯端末装置でリモート画面として表示された前記操作画面をユーザーが操作したときに、前記携帯端末装置から送信される操作データを受信する受信ステップと、前記受信ステップにより受信した操作データに基づいて、操作データで指示される画面更新処理を含む処理を実行する処理実行ステップと、を実行し、前記携帯端末装置は、前記画像処理装置からの前記画面データに基づいて前記リモート画面をタッチパネルを有する自装置の第２の表示手段に表示させる表示制御ステップと、前記表示制御ステップにより前記第２の表示手段に表示される画像処理装置のいずれかの操作画面を初期画面として登録するとともに、前記画像処理装置との接続時の最初の画面から前記初期画面までの画面の遷移に必要となる各画面毎の操作データを登録し、さらに前記初期画面の登録時の前記画像処理装置の機器情報を登録する登録ステップと、前記機器情報を前記画像処理装置に送信すると共に、前記画像処理装置から送信される接続時の画面から前記初期画面に遷移するまでの各画面に対して、登録された前記操作データを順番に前記画像処理装置に送信する送信ステップと、を実行し、前記画像処理装置はさらに、前記機種情報毎に生成された前記操作データに対応する遷移先の画面を示す遷移先情報を記憶手段に記憶するステップと、前記接続時の画面から前記初期画面に遷移するまでに各画面に対して携帯端末装置から送信される前記操作データを受信したとき、該操作データによって遷移する次の遷移先の画面に関して、前記携帯端末装置から送信された機器情報に基づく遷移先の画面と、現在の機器情報に基づく遷移先の画面が同じかどうかを、前記記憶手段に記憶された遷移先情報に基づいて判断する判断ステップと、前記判断ステップにより同じと判断された場合は、同じと判断された遷移先の画面の画面データを前記携帯端末装置に送信し、異なると判断された場合は、前記遷移先情報に基づいて画面遷移先を補正するとともに、補正後の遷移先の画面データを前記携帯端末装置に送信し、その後、前記登録された初期画面の画面データを前記携帯端末装置に送信する補正ステップと、を実行することを特徴とするリモート画面の表示方法。
（１２）前項１〜１０のいずれかに記載のリモートパネルシステムに用いられる画像処理装置。

前項（１）に記載の発明によれば、画像処理装置は、接続時の画面から初期画面に遷移するまでに各画面に対して携帯端末装置からの予め登録された操作データを受信したとき、該操作データによって遷移する次の遷移先の画面に関して、携帯端末装置から送信された機器情報に基づく遷移先の画面と、現在の機器情報に基づく遷移先の画面が同じかどうかが、記憶手段に記憶されている、機種情報毎に操作データに対応する遷移先の画面を示す遷移先情報に基づいて判断される。そして、同じと判断された場合は同じと判断された遷移先の画面の画面データが携帯端末装置に送信される。異なると判断された場合は、遷移先情報に基づいて画面遷移先が補正されるとともに、補正後の遷移先の画面データが携帯端末装置に送信される。その後、登録された初期画面の画面データが携帯端末装置に送信される。

操作データが携帯端末装置から送信されるたびに、このような判断と処理が画像処理装置により行われ、携帯端末装置から送信された機器情報に基づく遷移先の画面と、現在の機器情報に基づく遷移先の画面が異なるため、画像処理装置側の画面と携帯端末装置からの登録された操作データとが対応していない場合であっても、画面遷移先の補正によって、最終的に初期画面まで正しく遷移させることができる。

前項（２）に記載の発明によれば、携帯端末装置から送信された機器情報に基づく遷移先の画面と、現在の機器情報に基づく遷移先の画面が異なると判断された場合、携帯端末装置から送信された機器情報に基づく遷移先の画面が最新の機器情報では削除されているか、現在の機器情報に基づく遷移先の画面として新たな遷移先の画面が追加されているかを判断するから、画像処理装置は、画面の削除または追加に応じた適正な補正を行うことができる。

前項（３）に記載の発明によれば、携帯端末装置から送信された機器情報に基づく遷移先の画面が現在の機器情報では削除されていると判断された場合、携帯端末装置からの操作データは無視して、ダミー画面の画面データが携帯端末装置に送信されるから、操作データに応じた誤った操作画面の画面データが携帯端末装置に送信されるのを防止できる。

前項（４）に記載の発明によれば、現在の機器情報に基づく遷移先の画面として新たな遷移先の画面が追加されていると判断された場合、追加された画面の画面データが携帯端末装置に送信されるから、操作データに応じた誤った操作画面の画面データが携帯端末装置に送信されるのを防止できる。

前項（５）に記載の発明によれば、画像処理装置のファームウェアのバージョン情報に基づいて、画面遷移先の補正が行われる。

前項（６）に記載の発明によれば、画像処理装置の製品情報に基づいて、画面遷移先の補正が行われる。

前項（７）に記載の発明によれば、画像処理装置の表示手段の画面サイズ情報に基づいて、画面遷移先の補正が行われる。

前項（８）に記載の発明によれば、画面の座標データに基づいて遷移先の画面が示される。

前項（９）に記載の発明によれば、画面番号に基づいて遷移先の画面が示される。

前項（１０）に記載の発明によれば、画面遷移先の補正を行うことができない場合は、その旨が携帯端末装置に通知されるから、携帯端末装置のユーザーは対応する措置を講ずることができる。

前項（１１）に記載の発明によれば、携帯端末装置から送信された機器情報に基づく遷移先の画面と、現在の機器情報に基づく遷移先の画面が異なる場合であっても、画面遷移先の補正によって、最終的に携帯端末装置で登録された初期画面まで正しく遷移させることができる。

前項（１２）に記載の発明によれば、携帯端末装置から送信された機器情報に基づく遷移先の画面と、現在の機器情報に基づく遷移先の画面が異なる場合であっても、画面遷移先の補正によって、最終的に携帯端末装置で登録された初期画面まで正しく遷移させることができる画像処理装置となる。

この発明の一実施形態に係る文字入力システムの構成図である。画像処理装置の内部構成を示す図である。携帯端末装置の構成を示すブロック図である。画像処理装置の操作画面を携帯端末装置にリモート画面として表示し、このリモート画面をユーザーが操作することにより携帯端末装置から画像処理装置をリモート操作する場合の動作の概要を説明するための図である。携帯端末装置に登録されている登録データの内容を示す図である。携帯端末装置に登録された初期画面が表示されるまでに、画像処理装置と携帯端末装置との間で行われるデータのやりとりを示すシーケンス図である。携帯端末装置への初期画面の登録後に、画像処理装置の操作画面の一部が削除された場合の一例を示す図である。携帯端末装置への初期画面の登録後に、画像処理装置の操作画面の一部が追加された場合の一例を示す図である。画面データの補正を行うために、画像処理装置が保持している各画面に対して遷移先情報がまとめられた表である。携帯端末装置への初期画面登録時と現在とで、画像処理装置の画面サイズが異なっている場合を説明するための図である。携帯端末装置からの座標データに対して補正ができないような場合に表示されるメッセージの一例を示す図である。画像処理装置の動作を説明するためのフローチャートである。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係るリモートパネルシステムの構成図である。

本システムは、それぞれ複数の画像処理装置１と携帯端末装置２と情報処理装置３から構成される。画像形成装置１、携帯端末装置２、情報処理装置３は、いずれもネットワーク４を介して接続されている。

ここで、ネットワーク４は、ＬＡＮ（Local Area Network）などの専用回線を用いたネットワーク、一般回線を用いたネットワーク、無線通信によるネットワーク、のいずれであっても構わない。また、ネットワーク４は、外部ネットワークを介して、他のネットワークと接続されている。

画像形成装置１は、走査した原稿画像、および情報処理装置３から送信されたプリントデータから生成した画像の複写画像を用紙上に形成する装置であり、この実施形態では、プリンタ機能、ファクシミリ機能、スキャン機能等の機能を備えた多機能デジタル画像処理装置である前述したＭＦＰが用いられている。以下、画像処理装置をＭＦＰともいう。ここで、プリントデータとは、情報処理装置３のオペレーティングシステムやアプリケーションプログラムが発行する描画命令を、プリンタドライバによって画像形成装置１が処理可能なページ記述言語に変換したページ記述言語による描画命令、もしくは、ＰＤＦ、ＴＩＦＦ、ＪＰＥＧ、ＸＰＳ等のファイルフォーマットで記述された文書データである。

また、走査した原稿画像は、ネットワーク４を介して、情報処理装置３、さらにはその他のＭＦＰに送信することもできる。さらには、外部ネットワークを介して、別のネットワークに接続された他のＭＦＰや情報処理装置に原稿画像を送信することもできる。さらに、操作した原稿画像や情報処理装置から受信した文書データを固定記憶装置に蓄積することもできる。

携帯端末装置２は、ＣＰＵ、ＲＡＭ、固定記憶装置（ハードディスク装置など）、モニタ、タッチ操作可能な液晶パネル等を有する携帯型のコンピュータ装置である。電子化された文書を蓄積して持ち運び、どこでも閲覧、編集を行うことができる。また、無線通信する手段を有し、ＭＦＰ１や情報処理装置３との間で文書の送受信を行うことができるほか、ＭＦＰ１を遠隔操作する手段を有する。以下の説明では携帯端末装置を単に携帯端末とも言う。

情報処理装置３は、ＣＰＵ、ＲＡＭ、固定記憶装置（ハードディスク装置など）、モニタ、キーボード、マウス等の接続された一般的なコンピュータ装置である。情報処理装置３は、ユーザの指示によリプリントデータを生成し、生成したプリントデータをＭＦＰ１に送信する。

図２は、ＭＦＰ１の内部構成を示す図である。ＭＦＰ１のＣＰＵ１０１には、制御プログラムの格納されたＲＯＭ１０２、作業用のＳ−ＲＡＭ（Static Random Access Memory）１０３、画像形成に関わる各種の設定を記憶するバッテリバックアップされたＮＶ−ＲＡＭ（不揮発性メモリ）１０４、時計ＩＣ１０５がバスを介して接続され、ＭＦＰ１の全体を統括的に制御する制御部１００を構成している。

制御部１００には、原稿画像を読み取る画像読取装置１２０、各種の入力を行うテンキー、プリントキー、ログアウトキーなどの各種キーや表示部１３１を備えた操作パネル１３０、ネットワーク４を介して接続された情報処理装置３−ｙをはじめとする外部の装置との間で各種の情報を送受信する為のネットワークインターフェース（ネットワークＩ／Ｆ）１６０、該ネットワークインターフェース１６０により受信したプリントデータから複写画像を生成するプリンタコントローラ１５０、複写画像を用紙上に形成する画像出力装置１４０がそれぞれバスを介して接続されている。

また、制御部１００には、固定記憶装置１１０がバスを介して接続されている。固定記憶装置１１０とは例えばハードディスク装置である。この固定記憶装置１１０には、各種のデータが記憶されている。

また、ワイヤレスインターフェース（WirelessＩ／Ｆ）１７０と短距離無線インターフェース（短距離無線Ｉ／Ｆ）１８０が、バスを介して制御部１００に接続されている。ワイヤレスインターフェース１７０は、ネットワークとの通信や携帯端末装置２との通信に利用され、短距離無線インターフェース１８０は例えばブルートゥースや赤外線通信（ＩｒＤＡ：Infrared Data Association）等の短距離無線通信を行うためのインターフェースである。

図３は携帯端末２の構成を示すブロック図である。携帯端末２は、例えばタブレット端末や携帯電話などからなり、ＣＰＵ２０１、制御プログラムの格納されたＲＯＭ２０２、作業用のＲＡＭ２０３を備え、ＲＯＭ２０２及びＲＡＭ２０３はそれぞれバスを介してＣＰＵ２０１に接続されている。また、ＣＰＵ２０１、ＲＯＭ２０２及びＲＡＭ２０３により、携帯端末２の全体を統括的に制御する制御部２００を形成している。

制御部２００には、各種の情報を表示するとともに画面を直接タッチして操作入力を行うタッチパネル２０５、ワイヤレスランインターフェース２０６、短距離無線インターフェース２０７が、バスを介してそれぞれ接続されている。ワイヤレスランインターフェース２０６は、ネットワークとの通信やＭＦＰ１との通信に利用され、短距離無線インターフェース２０７は例えばブルートゥースや赤外線通信等の短距離無線通信を行うためのインターフェースである。

さらに、制御部２００には固定記憶装置２０４がバスを介して接続されている。固定記憶装置２０４とは例えばハードディスク装置である。この固定記憶装置２０４には、各種のデータが記憶されている。

図４は、ＭＦＰ１の操作画面を携帯端末２にリモート画面として表示し、このリモート画面をユーザーが操作することにより携帯端末２からＭＦＰ１をリモート操作するリモートパネル方式の動作の概要を説明するための図である。

ＭＦＰ１の表示部１３１に初期画面が表示されている状態で、携帯端末２とＭＦＰ１を無線接続すると、ＭＦＰ１から携帯端末２へ初期画面の画面データが送信される（ステップＳ１０５）。携帯端末２は画面データを受信すると（ステップＳ２０１）、画面データに基づいて画像を展開したのち（ステップＳ２０２）、タッチパネル２０５にリモート画面として描画する（ステップＳ２０３）。

ユーザーが表示されたリモート画面に対してタッチパネル２０５上でタッチ操作すると（ステップＳ２０４）、携帯端末２はタッチ位置の座標を検出・特定したのち（ステップＳ２０５）、ジャスチャーの種類判定を行うとともに座標をＭＦＰ１側の表示部１３１の座標に変換し（ステップＳ２０６）、座標データを含む操作情報（タッチイベント）をＭＦＰ１に送信する（ステップＳ２０７）。

ＭＦＰ１はタッチイベントの受信処理を行ったのち（ステップＳ１０６）、タッチイベント処理によりタッチイベントの内容を解析し（ステップＳ１０７）、解析されたタッチイベントに応じた次の表示画面を内部処理により特定する（ステップＳ１０１）。そして、特定された画面を構成するために必要な例えばボタン等のパーツを画面作成処理（ステップＳ１０２）により合成して画面データを作成した後、この画面データを圧縮して（ステップＳ１０３）、携帯端末２に送信する（ステップＳ１０４）。

携帯端末２は、初期画面の場合と同様にして、受信した画面データに基づいてリモート画面を表示する。ユーザーがリモート画面にタッチ操作すると、タッチイベントがＭＦＰ１に送信され、ＭＦＰ１は対応する次の画面を作成し、あるいは対応する処理を実行する。以下、必要に応じて、ＭＦＰ１でのタッチイベントに基づく画面データの作成や処理の実行と、携帯端末２でのリモート画面の表示及びタッチイベントの送信等が繰り返されることにより、携帯端末２からＭＦＰ１が操作される。

このようなリモート画面を利用して携帯端末２からＭＦＰ１を操作する場合、この実施形態では初期画面として表示されるリモート画面をユーザーがカスタマイズできるようになっている。つまり、携帯端末２のユーザーは、ＭＦＰ１との接続時に表示される最初の画面から最終操作画面に至るまでの途中のリモート画面を、初期画面として登録する。登録後は、ＭＦＰ１と接続するとこの初期画面が携帯端末２のタッチパネル２０５に最初に表示される。

また、携帯端末２とＭＦＰ１との接続時にＭＦＰ１から送信される最初の画面データに基づいて携帯端末２に表示されるリモート画面から、ユーザーが登録した初期画面に遷移するまでの各リモート画面に対するユーザー操作を示す操作データも、携帯端末２に登録しておく。このような操作データは、限定はされないがこの実施形態ではＭＦＰ１のログ情報から取得している。

つまり、初期画面を登録する前の通常の操作時に、リモート画面をユーザーが操作して初期画面まで遷移させたときの各画面に対するタッチ座標データは、ログ情報としてＭＦＰ１に保存されている。携帯端末２はこのタッチ座標データをＭＦＰ１から取得し、操作データとして登録している。また、携帯端末２は初期画面の登録時におけるＭＦＰ１のファームウェアのバージョンを機器情報として取得し、操作データと共に登録している。

図５は、携帯端末２に登録されている登録データの内容を示す図である。図５の例では、初期画面は画面Ｇであり、操作データの登録時のＭＦＰ１のファームウェアのバージョンは１２３４−５６７８であり、ログ（操作データ）として複数の座標データが順番に登録されている。ログは、ＭＦＰ１との接続時にＭＦＰから送信される画面データに基づいて携帯端末２に表示された最初のリモート画面に対して、座標（１００，１５０）をタッチ操作することにより、次のリモート画面に遷移し、このリモート画面に対して座標（７５，２３０）をタッチ操作することにより、さらに次のリモート画面に遷移し、これを繰り返したのちリモート画面に対して座標（９０，５３）をタッチすることにより、初期画面Ｇのリモート画面に遷移することを意味している。

初期画面Ｇが登録されているときに、ＭＦＰ１と接続されると、携帯端末２にはリモート画面として初期画面Ｇが表示されるが、実際にはＭＦＰ１から初期画面Ｇとは異なる最初の画面データが送信される。これに対して、携帯端末２が自動的に座標データ（１００，１５０）を送信することで、次のリモート画面に遷移し、この画面に対して、携帯端末２が自動的に座標データ（７５，２３０）を送信することでさらに次の画面に遷移し、これをログの座標データ分自動的に繰り返すことで、ＭＦＰ１側の画面を初期画面と同じ画面まで進めることができる。

従って、以後は必要に応じて通常通り、リモート画面に対する操作と、操作データのＭＦＰ１への送信、ＭＦＰ１による操作データの解析、指示された処理の実行、次画面への更新等の処理が行われる。

この様子を図６（Ａ）の携帯端末２とＭＦＰ１とのシーケンス図に示す。携帯端末２からＭＦＰ１へ接続要求を送信すると（Ｓ１）、ＭＦＰ１から接続ＯＫの応答がある（Ｓ２）。携帯端末２はログ（操作データ）の保存時換言すれば初期画面登録時のファームウェアのバージョンをＭＦＰ１に通知すると（Ｓ３）、ＭＦＰ１から最初の画面データ１が携帯端末２に送信される（Ｓ４）。

この画面データ１に応答して、携帯端末２は登録されている操作データのうち、最初の座標データ（Ｘ１，Ｙ１）を自動的にＭＦＰ１に通知する（Ｓ５）。すると、ＭＦＰ１から座標データ（Ｘ１，Ｙ１）で示される操作に対応して次の画面データ２が携帯端末２に送信される（Ｓ６）。この画面データ２に応答して、携帯端末２は自動的に座標データ（Ｘ２，Ｙ２）をＭＦＰ１に通知する（Ｓ７）。すると、ＭＦＰ１から座標データ（Ｘ２，Ｙ２）で示される操作に対応して次の画面データ３が携帯端末２に送信される（Ｓ８）。

このような動作を繰り返すことにより、ＭＦＰ１から携帯端末２へ画面データｎが送信され、この画面データｎに基づいて、携帯端末２には初期画面Ｇが表示される。つまり、ＭＦＰ１側の画面も初期画面まで進んだ状態となる。携帯端末２に表示された初期画面Ｇに対してはユーザーの操作に基づいて操作データであるタッチ位置の座標データがＭＦＰ１に送信される。

これに対し、図６（Ａ）の座標データ（Ｘ２，Ｙ２）（Ｓ７）で示される操作に対応してＭＦＰ１から送信される次の画面データ３（Ｓ８）が、図６（Ｂ）では画面の追加や削除により画面データＸ（Ｓ１１）に変更されていたとする。携帯端末２はこの画面データＸに基づくリモート画面に対して、次の座標データ（Ｘ３，Ｙ３）を通知するが、画面データＸと座標データ（Ｘ３，Ｙ３）とは対応していないため、ＭＦＰ１は異なる画面へ遷移するか、または画面が異なっていることで画面遷移ができず、結果的に初期画面まで処理を進めることができない。このため、携帯端末２のユーザーは携帯端末２からＭＦＰ１を操作することができなくなってしまう。

図７は、携帯端末２への初期画面の登録後に、ＭＦＰ１の操作画面の一部が削除されあるいは追加されることにより、携帯端末２との接続時の最初の画面から携帯端末２に登録されている初期画面までのＭＦＰ１の現在の画面遷移の仕方と、初期画面が携帯端末２に登録されたときの画面遷移の仕方とが異なったものとなる場合の一例を示したものである。

この例は画面が削除されたものであり、初期画面の登録時の画面遷移の仕方は、画面Ｄ１で宛先検索キー１３１ａが押下されると画面Ｄ２に遷移し、画面Ｄ２で入力エリアを選択して検索キー１３１ｂを押下すると画面Ｄ３に遷移し、検索ワードを入力して検索実行キー１３１ｃを押下すると、検索結果を示す画面Ｄ４に遷移する、というものであった。

これに対し、操作性の改善のために変更が行われ、現在の画面遷移の仕方は、画面Ｄ１で宛先検索キー１３１ａが押下されると画面Ｄ３に遷移し、検索ワードを入力して検索実行キー１３１ｃを押下すると、検索結果を示す画面Ｄ４に遷移する、という経路になっており、画面Ｄ２が削除されているが、最終画面は同じである。

図８に画面が追加された例を示す。この例では、初期画面の登録時には、同図（Ａ）に示すように、ある画面Ｄ１１においてキーＡを操作すると画面Ｄ１２に遷移する画面遷移の仕方が設定されていた。これに対し、機能追加により、現在の画面遷移の仕方は同図（Ｂ）に示すように、ある画面Ｄ１１においてキーＡを操作すると、キーＢ及びキーＣを有する画面Ｄ１３に遷移し、キーＢを押下すると画面Ｄ１２に遷移し、キーＣを押下すると画面Ｄ１４に遷移するという画面遷移の仕方になっている。つまり、画面Ｄ１１と画面Ｄ１２の間に画面Ｄ１３が追加されているが、最終画面Ｄ１２は追加前と同じである。

このような画面の削除や追加は、例えば、ＭＦＰ１の機能追加のためにファームウェアがバージョンアップされること等により行われる。

この実施形態では、初期画面の登録時の画面遷移の仕方と現在の画面遷移の仕方とが異なっている場合には、ＭＦＰ１は、携帯端末２から自動的に通知される操作データに対して補正を行い、最終的に、携帯端末２に表示される初期画面に対応する画面データを適正に携帯端末２に送信するようになっている。

図９は、上記画面データの補正を行うために、ＭＦＰ１が保持している各画面に対して遷移先情報がまとめられた表であり、この表はデータベースとしてＭＦＰ１の例えば固定記憶装置１１０等に記憶されている。

この表には、ＭＦＰ１が現時点で動作している機器情報としてのファームウェアのバージョン（図９ではＶｅｒと記しており、以下、新バージョンともいう）と、過去のバージョン（以下、旧バージョンともいう）のパターンが管理されている。具体的には、画面を示す画面番号（丸数字１）と、その番号の画面において各遷移キー１〜４（丸数字２）が押下されたときに遷移する遷移先の画面番号、さらに次の遷移先の画面番号が、新バージョン及び旧バージョンにそれぞれについて対応付けて記憶されている。丸数字３，４で示される画面番号が、新バージョンでの遷移先とその次の遷移先の画面を示し、丸数字５，６で示される画面番号が、旧バージョンでの遷移先とその次の遷移先の画面を示している。

携帯端末２は、ＭＦＰ１との接続時に、初期画面の登録時の機器情報であるバージョン情報（図５に示す）をＭＦＰ１に通知する。また、ＭＦＰ１は携帯端末２から通知された操作データである座標データを基に、どの画面のどの遷移キーが押下されたかを判断する。このときに、ＭＦＰ１は新バージョンと旧バージョンのそれぞれの遷移先画面番号（丸数字３と丸数字５の数字）を比較する。比較したときに、画面番号が同じであれば、遷移先の画面に変更はないと判断して、新バージョンの遷移先画面の画面データを生成し、携帯端末２に送信する。

画面番号が異なっていれば、次の遷移先の画面（丸数字４及び６）も含めて判断する。新バージョンの遷移先画面（丸数字３）と旧バージョンの次の遷移先画面（丸数字６）が同じである場合は、画面が削除されているものと判断し、ＭＦＰ１はダミー画面を生成してその画面データを携帯端末２に送信する。携帯端末２はダミー画面のリモート画面に対して登録されている座標データをＭＦＰ１に通知する。これを受信したＭＦＰ１は、ダミー画面に対する座標データは無視して、丸数字６の画面データを携帯端末２に送信する。

例えば、画面番号１００１の画面において遷移キー２が操作されたときの遷移先画面は、新バージョンでは画面番号１０１０５の画面であり、旧バージョンでは画面番号１０１００の画面であり、両者は相違する。そこで、新バージョンの遷移先画面（丸数字３）と旧バージョンの次の遷移先画面（丸数字６）を比較すると、共に画面番号１０１０５の画面で同じである。この場合は、旧バージョンでの画面番号１０１００の画面は削除されているものと判断し、ダミー画面データの送信を経て、画面番号１０１０５の画面の画面データを携帯端末２に送信する。

新バージョンと旧バージョンのそれぞれの遷移先画面番号（丸数字３と丸数字５の数字）が異なっていて、新バージョンの次の遷移先画面（丸数字４）と旧バージョンの遷移先画面（丸数字５）が同じである場合は、丸数字３の画面番号の画面が新バージョンでは追加されていると判断する。例えば、画面番号２００１に対して遷移キー１が押下されたときには、画面番号２００１１と２００５０の２つに遷移するが、旧バージョンでの遷移先とは異なる。そこで、旧バージョンの遷移先画面（丸数字５）と新バージョンの次の遷移先画面（丸数字４）を比較すると、共に画面番号２０００５で同じであるから、新たに画面番号２００１１の画面が追加されていると判断する。

この場合、画面番号２０００１→２００１１→２０００５の画面遷移については、携帯端末２から通知される座標データは使用せず、画面番号２０００５の画面の画面データを携帯端末２に送信する。

このようにして、携帯端末２から操作データとしての座標データが通知されるたびに、表９の遷移先情報に基づいて遷移先に関する上述の判断を行うことで、携帯端末２の初期画面を表示させるための画面データを正しく携帯端末２に送信することができ、この画面データに基づいて、初期画面と同じリモート画面を、携帯端末２に表示させることができる。

なお、表９に示したデータベースは、全ての画面を網羅する形態で規定されていても良いし、データ量削減のため追加や削除等が行われている画面についての差分情報のみを規定したものであっても良い。

図９に示したデータベースは、ＭＦＰ１のファームウェアのバージョンによって、遷移先画面が異なっている場合を例示したが、ＭＦＰの製品によっては、携帯端末２へ初期画面を登録したときのＭＦＰと、実際に操作しようとするＭＦＰとが異なり、初期画面を登録したときのＭＦＰでの画面遷移に対して、実際に操作しようとするＭＦＰでは画面が追加されていたり削除されていたような場合もある。この場合は、携帯端末２は初期画面を登録した時にＭＦＰ１の製品情報を取得して、この取得した製品情報を機器情報として登録しておく。一方、ＭＦＰ１はＭＦＰの製品毎に遷移先情報をまとめたデータベースを保持し、携帯端末２との接続時に、携帯端末２から送信された製品情報と座標データを基に遷移先画面を調べ、図９のデータベースを用いる場合と同様に、処理すれば良い。

また、同一のＭＦＰであっても、操作パネル１３０の交換等により表示部１３１の画面サイズが異なっているような場合、キー等のレイアウトが変更されていると、遷移先の画面が異なっていることがある。例えば、図１０（Ａ）に示すように、表示部１３１の画面サイズが大きいと、下端部に多数のキー１３１ａを並べで表示できるが、同図（Ｂ）のように画面サイズが小さくなると、下端部に表示されるキー１３１ａの数も減少する。

従って、同図（Ａ）の画面サイズの時に携帯端末２への初期画面の登録を行い、その後に同図（Ｂ）のような小サイズ画面の表示部１３１に変更された場合は、ＭＦＰ１側の画面と携帯端末２からの座標データとが対応せず、初期画面への正しい遷移ができなくなる。

そこでこの場合、携帯端末２への初期画面の登録時に、ＭＦＰ１の表示部１３１の画面サイズ情報を取得してこれを機器情報として携帯端末２に登録しておく。一方、ＭＦＰ１は表示部１３１のサイズ毎に遷移先情報をまとめたデータベースを保持し、携帯端末２との接続時に、携帯端末２から送信された画面サイズ情報と座標データを基に遷移先画面を調べ、図９のデータベースを用いる場合と同様に、処理すれば良い。

携帯端末２の初期画面の登録時のＭＦＰ１の画面遷移の仕方と、ＭＦＰ１の現在の画面遷移の仕方に関して、画面階層の差異が大きく、携帯端末２からの座標データに対して補正ができないような場合は、ＭＦＰ１はその旨のメッセージを携帯端末２に送信し、携帯端末２は図１１に示すように、タッチパネル２０５にそのメッセージＭを表示する。これにより、ユーザーは必要な措置を採ることができる。

図１２は、ＭＦＰ１の動作を説明するためのフローチャートである。この動作は、ＭＦＰ１のＣＰＵ１０１がＲＯＭ１０２等の動作プログラムに従って動作することにより実行される。

ステップＳ０１で携帯端末２と接続する。この際に、携帯端末２からバージョン情報等の機器情報を取得する。ステップＳ０２で携帯端末２へ画面データを送信し、ステップＳ０３で携帯端末２からの座標データを受信する。

次に、ステップＳ０４で、受信した座標データと携帯端末２から取得した機器情報と図９に示した遷移先情報とに基づいて、現在の遷移先画面と初期画面登録時の遷移先画面が異なっているかどうかを判断する。異なっていなければ（ステップＳ０４でＮＯ）、ステップＳ０５に進む。異なっていれば（ステップＳ０４でＹＥＳ）、ステップＳ０７で座標データに対応する画面データを補正した後、ステップＳ０５に進む。

ステップＳ０５では、遷移先の最終画面かどうかを判断し、遷移先の最終画面でなければ（ステップＳ０５でＮＯ）、ステップＳ０２に戻る。遷移先の最終画面であれば（ステップＳ０５でＹＥＳ）、ステップＳ０６でその画面データを携帯端末２に送信する。

以上、本発明の一実施形態を説明したが、本発明は上記実施形態に限定されることはない。例えば、図９の遷移先情報のデータベースにおいて、遷移先を画面番号で示したが、座標データで示し、携帯端末２から通知される座標データと同じであれば遷移先画面が同じであり、異なれば遷移先画面が異なると判断しても良い。

１画像処理装置
１００制御部
１０１ＣＰＵ
１３１表示部
２携帯端末装置
２０１ＣＰＵ
２０２ＲＯＭ
２０３ＲＡＭ
２０５表示部
２０６ワイヤレスＬＡＮインターフェース
２０７短距離無線インターフェース

Claims

相互に接続可能な画像処理装置と携帯端末装置とを備えたリモートパネルシステムであって、
前記画像処理装置は、
タッチパネルを有する第１の表示手段と、
前記第１の表示手段に表示される自装置の操作画面の画面データを前記携帯端末装置に送信する送信手段と、
前記画面データを受信した携帯端末装置でリモート画面として表示された前記操作画面をユーザーが操作したときに、前記携帯端末装置から送信される操作データを受信する受信手段と、
前記受信手段により受信した操作データに基づいて、操作データで指示される画面更新処理を含む処理を実行する処理実行手段と、
を備え、
前記携帯端末装置は、
タッチパネルを有する第２の表示手段と、
前記画像処理装置からの前記画面データに基づいて前記リモート画面を前記第２の表示手段に表示させる表示制御手段と、
前記表示制御手段により前記第２の表示手段に表示される画像処理装置のいずれかの操作画面を初期画面として登録するとともに、前記画像処理装置との接続時の最初の画面から前記登録された初期画面までの画面の遷移に必要となる各画面毎の操作データを登録し、さらに前記初期画面の登録時の前記画像処理装置の機器情報を登録する登録手段と、
前記機器情報を前記画像処理装置に送信すると共に、前記画像処理装置から送信される接続時の画面から前記初期画面に遷移するまでの各画面に対して、登録された前記操作データを順番に前記画像処理装置に送信する送信手段と、
を備え、
前記画像処理装置はさらに、
前記機種情報毎に生成された前記操作データに対応する遷移先の画面を示す遷移先情報を記憶する記憶手段と、
前記接続時の画面から前記初期画面に遷移するまでに各画面に対して携帯端末装置から送信される前記操作データを受信したとき、該操作データによって遷移する次の遷移先の画面に関して、前記携帯端末装置から送信された機器情報に基づく遷移先の画面と、現在の機器情報に基づく遷移先の画面が同じかどうかを、前記記憶手段に記憶された遷移先情報に基づいて判断する判断手段と、
前記判断手段により同じと判断された場合は、同じと判断された遷移先の画面の画面データを前記携帯端末装置に送信し、異なると判断された場合は、前記遷移先情報に基づいて画面遷移先を補正するとともに、補正後の遷移先の画面データを前記携帯端末装置に送信し、その後、前記登録された初期画面の画面データを前記携帯端末装置に送信する補正手段と、
を備えたことを特徴とするリモートパネルシステム。
前記画像処理装置の判断手段は、前記携帯端末装置から送信された機器情報に基づく遷移先の画面と、現在の機器情報に基づく遷移先の画面が異なると判断した場合、前記携帯端末装置から送信された機器情報に基づく遷移先の画面が最新の機器情報では削除されているか、現在の機器情報に基づく遷移先の画面として新たな遷移先の画面が追加されているかを判断し、前記画像処理装置の補正手段は、画面の削除または追加に応じた補正を行う請求項１に記載のリモートパネルシステム。
前記画像処理装置の判断手段により、前記携帯端末装置から送信された機器情報に基づく遷移先の画面が現在の機器情報では削除されていると判断された場合、前記補正手段は、前記携帯端末装置からの操作データは無視して、ダミー画面の画面データを前記携帯端末装置に送信することにより前記補正を行う請求項２に記載のリモートパネルシステム。
前記画像処理装置の判断手段により、前記現在の機器情報に基づく遷移先の画面として新たな遷移先の画面が追加されていると判断された場合、前記補正手段は、前記追加された画面の画面データを前記携帯端末装置に送信することにより前記補正を行う請求項２に記載のリモートパネルシステム。
前記機器情報は前記画像処理装置のファームウェアのバージョン情報である請求項１〜４のいずれかに記載のリモートパネルシステム。
前記機器情報は前記画像処理装置の製品情報である請求項１〜４のいずれかに記載のリモートパネルシステム。
前記機器情報は前記画像処理装置の第１の表示手段の画面サイズ情報である請求項１〜４のいずれかに記載のリモートパネルシステム。
前記遷移先情報として画面の座標データが用いられる請求項１〜７のいずれかに記載のリモートパネルシステム。
前記遷移先情報として画面番号が用いられる請求項１〜７のいずれかに記載のリモートパネルシステム。
前記画像処理装置の補正手段は、前記補正を行うことができない場合は、その旨を携帯端末装置に通知する請求項１〜９のいずれかに記載のリモートパネルシステム。
相互に接続可能な画像処理装置と携帯端末装置とを備えたリモートパネルシステムで実行されるリモート画面の表示方法であって、
前記画像処理装置は、
タッチパネルを有する自装置の第１の表示手段に表示される自装置の操作画面の画面データを前記携帯端末装置に送信する送信ステップと、
前記画面データを受信した携帯端末装置でリモート画面として表示された前記操作画面をユーザーが操作したときに、前記携帯端末装置から送信される操作データを受信する受信ステップと、
前記受信ステップにより受信した操作データに基づいて、操作データで指示される画面更新処理を含む処理を実行する処理実行ステップと、
を実行し、
前記携帯端末装置は、
前記画像処理装置からの前記画面データに基づいて前記リモート画面をタッチパネルを有する自装置の第２の表示手段に表示させる表示制御ステップと、
前記表示制御ステップにより前記第２の表示手段に表示される画像処理装置のいずれかの操作画面を初期画面として登録するとともに、前記画像処理装置との接続時の最初の画面から前記初期画面までの画面の遷移に必要となる各画面毎の操作データを登録し、さらに前記初期画面の登録時の前記画像処理装置の機器情報を登録する登録ステップと、
前記機器情報を前記画像処理装置に送信すると共に、前記画像処理装置から送信される接続時の画面から前記初期画面に遷移するまでの各画面に対して、登録された前記操作データを順番に前記画像処理装置に送信する送信ステップと、
を実行し、
前記画像処理装置はさらに、
前記機種情報毎に生成された前記操作データに対応する遷移先の画面を示す遷移先情報を記憶手段に記憶するステップと、前記接続時の画面から前記初期画面に遷移するまでに各画面に対して携帯端末装置から送信される前記操作データを受信したとき、該操作データによって遷移する次の遷移先の画面に関して、前記携帯端末装置から送信された機器情報に基づく遷移先の画面と、現在の機器情報に基づく遷移先の画面が同じかどうかを、前記記憶手段に記憶された遷移先情報に基づいて判断する判断ステップと、
前記判断ステップにより同じと判断された場合は、同じと判断された遷移先の画面の画面データを前記携帯端末装置に送信し、異なると判断された場合は、前記遷移先情報に基づいて画面遷移先を補正するとともに、補正後の遷移先の画面データを前記携帯端末装置に送信し、その後、前記登録された初期画面の画面データを前記携帯端末装置に送信する補正ステップと、
を実行することを特徴とするリモート画面の表示方法。
請求項１〜１０のいずれかに記載のリモートパネルシステムに用いられる画像処理装置。