JP6418258B2 - 画像処理装置及びリモート画面制御プログラム - Google Patents

Description

この発明は、スマートフォン、タブレット端末等の携帯端末装置を無線通信等により接続可能な多機能デジタル画像形成装置であるＭＦＰ（Multi Function Peripherals）等の画像処理装置及びリモート画面制御プログラムに関する。

近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記ＭＦＰ等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。

しかし、携帯端末装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。

そこで、最近、画像処理装置の操作用画面を携帯端末装置の表示部にリモート画面として表示し、携帯端末装置から画像処理装置を連携操作できるようにした、画像処理装置と携帯端末装置との連携システムが提案されている。この連携システムでは、携帯端末装置の表示部に表示される画像処理装置側のリモート画面は、画像処理装置から送信される画面データに基づいて表示される。この画面データに基づくリモート画面は、本来は画像処理装置の操作パネルに表示される画面と同じである。

つまり、操作が行われたことを示す情報が携帯端末装置から画像処理装置に送信され、画像処理装置はこの情報に基づいて次の画面データを生成し、この画面データを携帯端末装置に送信し、携帯端末装置はこの画面データに基づいてリモート画面を更新表示する。

一方、携帯端末装置はタッチパネルを備えており、ユーザは表示画面に対してタッチ操作を行うと、タッチ操作の位置情報（座標データ）等が画像処理装置に送信され、画像処理装置はタッチ操作に応じて次画面データを生成し、あるいは指示されたジョブを実行する。

ところで、画像処理装置にはハードテンキー、ハードキーボード、スイッチ等のハードウェアにより構成された外キーが設けられていることが多い。

また、操作画面が前記外キーを使用して操作可能な例えば設定値入力エリアを有する画面である場合がある。この場合、画像処理装置の操作パネルに操作用画面が表示されていれば、前記外キーを用いて設定値を入力することができる。また、操作パネルにソフトキーボードやソフトテンキー等のソフトウェアキーを表示し、該ソフトウェアキーにより設定値を入力できる場合もある。

一方、携帯端末装置での設定値の入力は、画面上の設定値入力表示エリアをタップすると表示されるソフトウェアキーにより入力する方式が用いられていることが多いが、ユーザーが画像処理装置の近傍で携帯端末装置を操作する場合には、画面と重なって表示されるソフトウェアキーを表示させる必要がないことから、前記物理的な外キーを用いた方が操作し易い場合がある。

なお、特許文献１には、オプション機器の接続状態に応じて最適なメニュー画面を選択表示するとともに、オプション機器の機能設定項目が階層構造になっている場合、オプション機器が接続されたとき、接続されたオプション機器の設定項目を最上位に変更する技術が開示されている。

また、特許文献２には、パネルに表示された入力エリアに対して、どの入力手段が使用できるかを示したアイコンを小表示エリアに表示し、どの入力手段を使えば良いのかを明瞭にしつつ、入力手段を柔軟に変更できる技術が開示されている。

また、特許文献３には、接続された外部機器に応じて表示内容を変更する技術が開示されている。

特開２００７−８３６２０号公報 特開２００６−１５５２３２号公報 特開２００５−５５４９２号公報

しかし、前述したように、ユーザーが画像処理装置の近傍で携帯端末装置を操作する場合に、前記外キーを使用したい場合であっても、従来では、画像処理装置と携帯端末装置との距離の遠近に関係なく、ソフトウェアキーを使用できる表示しか携帯端末装置になされないため、画像処理装置の外キーを使用できることをユーザーが認識することができず、このため操作性の点で問題があった。

このような問題は、前述した特許文献１〜３に記載の技術によっても解決することはできなかった。

この発明は、上記技術的背景に鑑みてなされたものであり、携帯端末装置にリモート画面として表示される画像処理装置の操作用画面が、画像処理装置側のハードウェアで構成される外キーを使用して入力可能な操作画面である場合は、画像処理装置と携帯端末装置との距離に応じて、画像処理装置の外キーを使用可能であることをユーザーが認識できるようなリモート画面を携帯端末装置に表示させることができる画像処理装置を提供し、さらにリモート画面制御プログラムを提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーと、前記接続手段により接続された携帯端末装置との距離を検出する距離検出手段と、前記接続手段によって前記携帯端末装置と接続されている状態において、自装置の操作画面を、前記携帯端末装置にリモート画面として表示させるためのデータを前記携帯端末装置に送信する送信手段と、を備え、前記送信手段は、自装置が前記携帯端末装置に接続された状態であって、かつ前記携帯端末装置から、外キー対応の画面データの送信要求を受信し、前記操作画面が前記外キーを使用して入力可能な操作画面である場合において、前記距離検出手段により検出された携帯端末装置との距離が一定値以下である場合に、前記外キーの使用を促す表示を前記携帯端末装置にさせるためのデータを前記携帯端末装置に送信する、ことを特徴とする画像処理装置。
（２）前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合は、前記送信手段は、前記外キーに対応するキーの配置情報を前記携帯端末装置に送信するとともに、携帯端末装置に前記配置情報に対応して表示された外キーに対応するキーをユーザーが操作したときのキーのオン、オフ情報を、前記携帯端末装置から受信する受信手段を備えている前項１に記載の画像処理装置。
（３）前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合は、前記送信手段は、前記外キーに対応するキーが配置された操作画面を前記携帯端末装置に表示させるためのデータを前記携帯端末装置に送信するとともに、携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信手段を備えている前項１に記載の画像処理装置。
（４）前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである前項１〜３のいずれかに記載の画像処理装置。
（５）前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である前項１〜４のいずれかに記載の画像処理装置。
（６）前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である前項１〜５のいずれかに記載の画像処理装置。
（７）前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合は、前記送信手段は、前記外キーに対応するキーの表示を促す表示がなされた操作画面を前記携帯端末装置に表示させるためのデータを前記携帯端末装置に送信し、前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である前項１〜６のいずれかに記載の画像処理装置。
（８）前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである前項２〜７のいずれかに記載の画像処理装置。
（９）前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値を超えた場合には、前記送信手段は、携帯端末装置との距離が一定値を超えた場合の画面を携帯端末装置に表示させるためのデータを再度携帯端末装置へ送信する前項１〜８のいずれかに記載の画像処理装置。
（１０）前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値以下となった場合には、前記送信手段は、携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータを再度端末装置へ再度送信する前項１〜９のいずれかに記載の画像処理装置。
（１１）携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーとを備えた画像処理装置のコンピュータに、前記接続手段により接続された携帯端末装置との距離を検出する距離検出ステップと、前記接続手段によって前記携帯端末装置と接続されている状態において、自装置の操作画面を、前記携帯端末装置にリモート画面として表示させるためのデータを前記携帯端末装置に送信する送信ステップと、を実行させ、前記送信ステップでは、自装置が前記携帯端末装置に接続された状態であって、かつ前記携帯端末装置から、外キー対応の画面データの送信要求を受信し、前記操作画面が前記外キーを使用して入力可能な操作画面である場合において、前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下である場合に、前記外キーの使用を促す表示を前記携帯端末装置にさせるためのデータを前記携帯端末装置に送信する処理を、前記コンピュータに実行させるためのリモート画面制御プログラム。
（１２）前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合は、前記送信ステップでは、前記外キーに対応するキーの配置情報を前記携帯端末装置に送信する処理を前記コンピュータに実行させ、携帯端末装置に前記配置情報に対応して表示された外キーに対応するキーをユーザーが操作したときのキーのオン、オフ情報を、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる前項１１に記載のリモート画面制御プログラム。
（１３）前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合は、前記送信ステップでは、前記外キーに対応するキーが配置された操作画面を、前記携帯端末装置に表示させるためのデータを前記携帯端末装置に送信する処理を前記コンピュータに実行させ、携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる前項１１に記載のリモート画面制御プログラム。
（１４）前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである前項１１〜１３のいずれかに記載のリモート画面制御プログラム。
（１５）前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である前項１１〜１４のいずれかに記載のリモート画面制御プログラム。
（１６）前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である前項１１〜１５のいずれかに記載のリモート画面制御プログラム。
（１７）前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合は、前記送信ステップでは、前記外キーに対応するキーの表示を促す表示がなされた操作画面を前記携帯端末装置に表示させるためのデータを前記携帯端末装置に送信する処理を前記コンピュータに実行させ、前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である前項１１〜１６のいずれかに記載のリモート画面制御プログラム。
（１８）前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである前項１１〜１７のいずれかに記載のリモート画面制御プログラム。
（１９）前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値を超えた場合には、前記送信ステップでは、携帯端末装置との距離が一定値を超えた場合の画面を携帯端末装置に表示させるためのデータを再度携帯端末装置へ送信する処理を前記コンピュータに実行させる前項１１〜１８のいずれかに記載のリモート画面制御プログラム。
（２０）前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値以下となった場合には、前記送信ステップでは、携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータを携帯端末装置へ再度送信する処理を前記コンピュータに実行させる前項１１〜１９のいずれかに記載のリモート画面制御プログラム。

前項（１）に記載の発明によれば、画像処理装置が携帯端末装置に接続された状態であって、かつ携帯端末装置から、外キー対応の画面データの送信要求を受信し、操作画面が前記外キーを使用して操作可能な場合において、携帯端末装置との距離が一定値以下であれば、画像処理装置は、ハードウェアで構成された外キーの使用を促す表示を携帯端末装置にさせるためのデータを携帯端末装置に送信するから、携帯端末装置には、画像処理装置と距離が近い場合は、外キーの使用を促す表示がなされる。

従って、この表示によりユーザーに外キーの使用を促すことができる。

前項（２）に記載の発明によれば、携帯端末装置との距離が一定値を超える場合は、外キーに対応するキーの配置情報が携帯端末装置に送信されるから、携帯端末装置は前記配置情報に基づいて外キーに対応するキーを表示することができると共に、外キーに対応するキーをユーザが操作したときはそのキーのオン、オフ情報が、携帯端末装置から画像処理装置に送信される。

前項（３）に記載の発明によれば、携帯端末装置との距離が一定値を超える場合は、外キーに対応するキーが配置された操作画面を携帯端末装置に表示させるためのデータが携帯端末装置に送信されるから、携帯端末装置は前記外キーに対応するキーが配置された操作画面を表示することができると共に、外キーに対応するキーをユーザが操作したときはタッチ位置の座標データが、携帯端末装置から画像処理装置に送信される。

前項（４）に記載の発明によれば、画像処理装置と携帯端末装置との距離が近い場合は、ユーザは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかを用いて、操作画面に対する入力を行うことができる。

前項（５）に記載の発明によれば、画像処理装置と携帯端末装置との距離が一定値以下の場合は、外キーの使用を促す表示として外キーを使用できることのメッセージが表示される。

前項（６）に記載の発明によれば、操作画面は少なくとも一つの設定値入力エリアを有し、画像処理装置と携帯端末装置との距離が一定値以下の場合は、前記外キーの使用を促す表示として、前記設定値入力エリアが選択された状態にあることを示す表示がなされる。

前項（７）に記載の発明によれば、操作画面は少なくとも一つの設定値入力エリアを有し、画像処理装置と携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーの表示を促す表示として、前記設定値入力エリアが選択されていない状態にあることを示す表示がなされる。

前項（８）に記載の発明によれば、画像処理装置と携帯端末装置との距離が一定値を超える場合に、前記外キーに対応するキーとして、プレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたキーが操作画面に表示される。

前項（９）に記載の発明によれば、画像処理装置と携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づくリモート画面が表示されているときに、携帯端末装置との距離が一定値を超えた場合には、携帯端末装置に表示されるリモート画面は、距離が一定値を超えた場合の画面に切り替えられる。

前項（１０）に記載の発明によれば、画像処理装置と携帯端末装置との距離が一定値を超える場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づくリモート画面が表示されているときに、携帯端末装置との距離が一定値以下となった場合には、携帯端末装置に表示されるリモート画面は、距離が一定値以下の場合の画面に切り替えられる。

前項（１１）に記載の発明によれば、画像処理装置と携帯端末装置との距離が近い場合は、外キーの使用を促す表示を携帯端末装置にさせるためのデータを携帯端末装置に送信する処理を、画像処理装置のコンピュータに実行させることができる。

この発明の一実施形態に係る画像処理装置が用いられた表示処理システムの構成図である。 画像処理装置及び携帯端末装置の電気的な構成を示すブロック図である。 画像処理装置及び携帯端末装置のファームウェア構成を示すブロック図である。 画像処理装置及び携帯端末装置の各ソフトウェアの関係を示す図である。 操作パネル部の平面図である。 画像処理装置と携帯端末装置との距離が閾値を超えている場合に、携帯端末の表示部に表示されるリモート画面を示す図である。 画像処理装置と携帯端末装置との距離が閾値以内の場合に、携帯端末の表示部に表示されるリモート画面を示す図である。 画像処理装置と携帯端末装置との距離が閾値以内の場合に、携帯端末の表示部に表示されるリモート画面の他の例を示す図である。 画像処理装置と携帯端末装置との距離が閾値を超える場合に、携帯端末の表示部に表示されるリモート画面の他の例を示す図である。 この発明の他の実施形態を示すもので、画像処理装置と携帯端末装置との距離が閾値を超える場合に、携帯端末の表示部に表示されるリモート画面の一例を示す図である。 同じく、画像処理装置と携帯端末装置との距離が閾値を超える距離から閾値以内となったときに、携帯端末の表示部に切り替え表示されるリモート画面の一例を示す図である。 画像処理装置と携帯端末装置との間で実行される情報通信のシーケンス図である。 画像処理装置と携帯端末装置との間で実行される情報通信の他の例を示すシーケンス図である。 画像処理装置の動作を示すフローチャートである。 携帯端末装置の動作を示すフローチャートである。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る画像処理装置が用いられた表示処理システムの構成図である。

この表示処理システムは、画像処理装置としての画像形成装置１と、スマートフォンやタブレット端末等からなる携帯端末装置２等を備え、これらの画像形成装置１と携帯端末装置２は、無線ＬＡＮルータ３、ネットワーク４を介して相互に接続可能となされている。なお、画像形成装置１と携帯端末装置２は、ＵＳＢインターフェース等により有線接続も可能であるが、この実施形態では、無線通信により相互に接続されるものとなされている。

この実施形態では、画像形成装置１としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像形成装置をＭＦＰとも記す。また、携帯端末装置を携帯端末とも記す。

図２は、前記ＭＦＰ１と携帯端末２の電気的な構成を示すブロック図である。

ＭＦＰ１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３，スキャナ部１０４、プリント部１０５、記憶部１０６、操作パネル部１０７、ＷＩＦＩ（Wireless Fidelity）モジ
ュール１０９、ＬＡＮ（Local Area Network）コントローラ１１０、ＵＳＢインターフェース（ＵＳＢＩ／Ｆ）１１１等を備えている。

前記ＣＰＵ１０１は、ＲＯＭ１０２等に記憶された動作プログラムに従って動作することにより、ＭＦＰ１の全体を統括的に制御するものである。例えば、ＭＦＰ１の各種機能を使用可能に制御するほか、この実施形態では、携帯端末２から取得した携帯端末２の位置情報と自機の位置情報との比較等の方法により、自機と携帯端末２との距離を検出したり、検出した距離が予め設定された閾値以下かどうかを判断したり、携帯端末２からの要求に基づいて、携帯端末２にリモート画面として表示するＭＦＰ１の操作画面の画面データを作成して携帯端末２に送信したり、携帯端末２から送信された操作情報に対応する次画面データを生成して携帯端末２に送信する。

この際、前記操作画面がハードウェアにより構成された後述する外キーを使用して入力可能な場合において、携帯端末２との距離が閾値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末２に表示させるための画面デ
ータを生成し、携帯端末２との距離が閾値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末２に表示させるための画面データを生成する。

前記ＲＯＭ１０２は、ＣＰＵ１０１の動作プログラム等を記憶するメモリであり、ＲＡＭ１０３はＣＰＵ１０１が動作プログラムに従って動作するときの作業領域を提供するメモリである。

前記スキャナ部１０４は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。

前記プリント部１０５は、スキャナ部１０４により読み取られた原稿の画像データや、携帯端末２等から送信されたプリントデータを、用紙に印刷するものである。

前記記憶部１０６は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部１０７に表示される各種の操作画面の表示用データ（画面データ）や外キーの配置情報等が記憶されており、ユーザーの操作に応じた操作画面の表示用データがＣＰＵ１０１によって記憶部１０６から呼び出され、操作パネル部１０７に表示されたり、携帯端末２に送信される。また、スキャナ部１０４で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルや、自装置の設置場所の位置情報が保存されている。

操作パネル部１０７は、ＭＦＰ１を操作したりユーザーにメッセージ等を表示するものであり、図５に示すように、外キーとしてのスタートキー１２１、ハードテンキー１２２、スイッチ等を有するキー部１０７ａと、液晶等のタッチパネルからなる表示部１０７ｂを備えている。なお、外キーとしては、スタートキー、ハードテンキー、スイッチに限定されることはなく、ハードキーボード、プレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キー等であっても良い。

前記ＷＩＦＩモジュール１０９は、携帯端末２と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ１１０は、パーソナルコンピュータや他のＭＦＰ等の外部装置との間の通信を制御するものである。

前記ＵＳＢインターフェース１１１は携帯端末２と有線接続するためのインターフェースである。

一方、携帯端末２には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末２は、ＣＰＵ２０１、ＲＡＭ２０２、記憶部２０３、表示部２０４ａ、操作部２０４ｂ、ＷＩＦＩモジュール２０５、ＬＡＮコントローラ２０６、ＵＳＢインターフェース２０７、ファイル処理部２０８ａ、２０８ｂ、連携部２０９、位置情報取得部２１０等を備えている。

前記ＣＰＵ２０１は、携帯端末２の全体を統括的に制御するものであり、基本ソフトウェアであるＯＳ（Operating System）や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。

前記ＲＡＭ２０２は、ＣＰＵ２０１が動作プログラムに従って動作するときの作業領域となるメモリである。

前記記憶部２０３は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、ＭＦＰ１から送信された画面データや、基本ＯＳ、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。

前記表示部２０４ａは液晶等のデバイスからなり、操作部２０４ｂは表示部２０４ａに設けられタッチ操作入力が可能なタッチパネルからなる。タッチ操作は通常、タッチした指の数や指の移動に応じて操作内容を規定するジェスチャー操作によって行われる。ジェスチャー操作の一例として、画面に表示された画像に対して、変倍（拡大または縮小）や回転等の編集加工を指示するためのピンチイン操作、ピンチアウト操作などを例示できる。

前記ＷＩＦＩモジュール２０５は、携帯端末２をＭＦＰ１と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ２０６は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記ＵＳＢインターフェース２０７は、携帯端末装置２をＭＦＰ１と有線接続するためのインターフェースである。

前記ファイル処理部２０８ａ、２０８ｂは、ファイルに編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部２０８ａ、２０８ｂをいずれもファイル処理部２０８と記す。

前記連携部２０９は、ＭＦＰ１と携帯端末２の間の機能連携を円滑に行うために、ＭＦＰ１の機能を使用できるようにするためのものである。具体的には、ＭＦＰ１のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにＭＦＰ１の操作パネル部１０７に表示される画面と同じ画面を再生するための画面データ等を、ＭＦＰ１から受信してリモート画面として表示部２０４ａに表示したり、表示されたリモート画面をユーザが操作したときに、操作部２０４ｂにより画面（タッチパネル）上の操作位置の座標を検出し操作情報としてＭＦＰ１に送信する。ＭＦＰ１は前記操作位置の座標を解析することにより、ユーザの操作指示を特定し、操作指示に応じた動作を実行する。

前記ファイル処理部２０８は、ＣＰＵ２０１が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部２０８を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。

また、前記連携部２０９は、ＣＰＵ２０１が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはＭＦＰ１と携帯端末２とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。

位置情報取得部２１０は、ＧＰＳ機能により携帯端末２の現在の位置情報を取得する。取得した位置情報は、連携部２０９を介して携帯端末２からＭＦＰ１へ送信される。この実施形態では、位置情報を定期的に、あるいはＭＦＰ１から要求されたときに、その他任意のタイミングで取得し、ＭＦＰ１へ送信するのとなされている。

図３は、ＭＦＰ１と携帯端末２のファームウェア構成を示すブロック図である。

ＭＦＰ１は、アプリ層に、操作パネル（アプリ）１２１やオープンＡＰＩ（Open Appli
cation Program Interface）１２２等を備え、共通ＡＰＩ層に、共通ＡＰＩ（Common API）１２５やパネル表示画像生成部１２６等を備え、ハードウェア依存層に、パネル画面生成部１２３、パネル制御部１２４、携帯端末用制御部１２７等を備えている。

さらに、カーネル層に、パネル入力制御部１２９、パネルＬＣＤ制御部１３０、ＪＰＥＧコーダドライバ１３１等を備え、デバイス層に、操作パネル部１０７、ＵＳＢインターフェース部１１１、ＪＰＥＧ圧縮部１３３、ＷＩＦＩモジュール１０９等を備えている。

パネル画面生成部１２３は、携帯端末２から連携操作が行われた場合に、操作パネル部１０７に表示されるＭＦＰ１側の画面データを生成する。

パネル制御部１２４は操作パネル部１０７との通信状態の制御等を行う。また、パネル表示画像生成部１２６は、携帯端末２からの操作情報に基づいて、携帯端末２に表示される次画面データを生成する。

携帯端末用制御部１２７は、携帯端末２との連携処理時に、携帯端末２と通信を行うためのインターフェース等を制御する。

パネル入力制御部１２９は、操作パネル部１０７の操作入力に関する制御を行い、パネルＬＣＤ制御部１３０は、操作パネル部１０７の表示部１０７ｂの表示制御を行う。ＪＰＥＧ圧縮部１３３は、ＪＰＥＧコーダドライバ１３１を介して携帯端末用制御部１２７から送信されてきた画面データ等をＪＰＥＧ圧縮するものであり、圧縮されたデータはＵＳＢインターフェース１１１やＷＩＦＩモジュール１０９を介して、携帯端末２に送信される。

一方、携帯端末２は、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３、ブラウザ等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー２２５、２２６等を備えたプラットフォーム層と、各種のライブラリ２２７及びカーネル２２８を備えたＯＳ層と、ハードウェア２２９によって構成されている。

前記ＪＰＥＧ展開アプリ２２３は、ＭＦＰ１から送信されてきた圧縮データを伸張するものである。

表示画像生成アプリ２２２は、携帯端末２の表示部２０４ａに表示されたリモート画面に対して、ユーザが画像の拡大・縮小操作等を行ったときに、現在表示され記憶部２０３に記憶されている画面データを用いて、自装置で編集加工を行い、表示部２０４に表示させるものである。

前記画像表示アプリ２２１は、ＭＦＰ１から送信されＪＰＥＧ展開アプリ２２３で伸張された画面データを用いて、ＭＦＰ１の画面をリモート画面として生成し表示部２０４に表示させるものである。

なお、この実施形態では、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３は、連携アプリで実現される機能の一部として構成されている。

次に、ＭＦＰ１と携帯端末２を連携操作する場合の処理について説明する。

ユーザが携帯端末２をＭＦＰ１にネットワーク経由にて無線接続し、携帯端末２からＭＦＰ１をリモート操作しようとしている。携帯端末２とＭＦＰ１の連携操作は、ユーザー
が携帯端末２にインストールされている連携アプリを起動することにより、開始される。

図４は、ＭＦＰ１及び携帯端末２の各ソフトウェアの関係を示すものであり、左側にＭＦＰ１側のソフトウェアを、右側に携帯端末２のソフトウェアをそれぞれ示す。

携帯端末２の連携アプリは、携帯端末２のＯＳと汎用のソフトウェアであるアプリソフトの中間に位置しており、ユーザの操作情報、携帯端末２との送受信データ、携帯端末２側の画面データ、位置情報取得部２１０で得られた位置情報を取得することができ、必要に応じてこれらのデータをＭＦＰ１へ送信することができる。つまり、携帯端末２の連携ソフトは、アプリの呼び出し等の携帯端末２側でのユーザ操作受付処理、ＭＦＰ１の操作画面表示用の画面データの受信・表示処理（携帯端末側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、ユーザが操作部２０４ｂを介して行った操作の内容を示す操作情報のＭＦＰ１との通信等が挙げられる。

一方、ＭＦＰ１の連携アプリは、ＭＦＰ１側のＯＳやＭＦＰ１用のアプリソフトが全て自社設計／自社カスタマイズであって必要な情報をすべて得られる場合は、ＯＳ−アプリソフト間に位置しなくても良く、ＯＳやアプリソフトと独立でありながら、ＯＳやアプリソフトと通信することにより、必要な情報を入手してもよい。ＭＦＰ１の連携アプリは、アプリの呼び出し等のＭＦＰ１側のユーザ操作受付処理、携帯端末２へのＭＦＰ側画面データの送信処理（ＭＦＰ側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末２からの操作情報等の受信・実行処理等が挙げられる。

ユーザが携帯端末２の表示部２０４に表示された操作画面中のリモート操作アイコンを選択し、ＭＦＰ連携を指示すると、携帯端末２の連携ソフトは、登録されているＭＦＰ１への通信を行い、ＭＦＰ１の連携ソフトを呼び出し、画面データの取得を要求する。それにより、リモート操作モードが開始され、ＭＦＰ１から初期画面の画面データが転送効率の向上のためＪＰＥＧ等で圧縮された状態で携帯端末２に送信される。

携帯端末２は、受信したＭＦＰ側の画面データを表示部２０４ａにリモート画面として表示する。携帯端末２の表示部２０４ａの画面サイズがＭＦＰ１の表示部１０７ｂの画面サイズと異なる場合は、携帯端末２は自己の表示部２０４ａの画面サイズに合わせて画面データを調整し表示する。

なお、携帯端末２での画面表示と同時に、同一の画面をＭＦＰ１の表示部１０５ａに表示しても良いし、表示しなくても良い。

ユーザが携帯端末２に表示されているＭＦＰ１側の画面であるリモート画面をタッチ操作すると、タッチ操作が画面データの拡大・縮小を指示するジェスチャー操作であるか、通常のボタン操作であるかが判断される。そして、判断の結果がタッチ情報として、タッチ位置の座標データと共にＭＦＰ１に送信される。

一方、通常のボタン操作であると判断されると、携帯端末２は操作部２０４ｂ上のタッチ位置の座標データをＭＦＰ１に送信する。

ＭＦＰ１は受信した座標データやタッチ情報を含む操作情報を解析して、画面上のどのボタンが押されたかを判定し、そのボタン押下に対応する次画面データを生成して携帯端末２に送信し、あるいはボタン押下に対応するジョブ処理等を実行する。携帯端末２は受信した次画面データを表示部２０４ｂに表示して画面を更新する。

こうして、携帯端末２によってＭＦＰ１をリモート操作することができる。

この実施形態では、ＭＦＰ１からの取得要求時、あるいはタッチ位置の座標データの送信時、あるいは定期的に、あるいは任意のタイミングで、携帯端末２は携帯端末２の現在の位置を示す位置情報をＭＦＰ１に送信し、ＭＦＰ１は受信した位置情報に基づく携帯端末２の現在位置と、予め登録されている自機の設置位置とから、自機と携帯端末２との距離を検出するものとなされている。なお、携帯端末２との距離の検出はこの方法に限定されることはない。そして、検出した距離に応じて、生成する画面データの内容を変更するものとなされている。

即ち、携帯端末２に表示させるリモート画面が、キー部１０７ａの外キーを使用して入力可能な操作画面である場合は、自機と携帯端末２との距離を予め設定された閾値と比較し、距離が閾値を超えている場合、換言すれば携帯端末２がＭＦＰ２から遠くに存在している場合は、外キーに対応するキーが表示された操作画面をリモート画面として前記携帯端末２に表示させるための画面データを生成し、携帯端末２に送信する。

この画面データを受信した携帯端末２は、画面データに基づくリモート画面を表示部２０４ａに表示する。

図６は、携帯端末２との距離が閾値を超えている場合に、携帯端末２の表示部２０４ａに表示されているリモート画面を示す図である。このリモート画面では、通常の操作画面Ｄ１に加えて、外キーに対応するソフトウェアキー３００を有するキー表示部Ｄ２が表示されている。外キーに対応するキー３００は、この実施形態では、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレータしたものである。

ユーザーは、このキー表示領域Ｄ２に表示されたソフトウェアキー３００を用いて、操作画面に対する入力操作を行うことができる。

なお、キー表示領域Ｄ２は、リモート画面を構成する画像の一部として操作画面Ｄ１の画像データと合成されて、画面データが生成されても良い。この場合、携帯端末２に表示されたキー表示領域Ｄ２のいずれかのキー３００をユーザーがタッチした場合は、タッチ位置の座標データやタッチ状態（例えばタッチされたときのジェスチャー操作の種類）を示すタッチ情報が携帯端末２からＭＦＰ１へ送信され、ＭＦＰ１は座標データを解析して操作されたキーやタッチ状態を特定し、次画面データを生成しあるいは対応する処理を行う。

また、ＭＦＰ１はキー表示部Ｄ２に含まれるキー３００の配置情報を、操作画面Ｄ１の画面データと共に携帯端末２に画面データとして送信し、携帯端末２はこの配置情報に基づいて、各キー３００を表示部２０４ａに表示しても良い。この場合、携帯端末２に表示されたキー表示部Ｄ２のいずれかのキー３００をユーザーがタッチした場合は、携帯端末２はキー３００のオンオフ情報（キー３００がボタンの場合はオン情報のみ、トグルスイッチの場合はオンオフ情報）をＭＦＰ１に送信する。ＭＦＰ１はオンオフ情報を解析して操作されたキーを特定し、次画面データを生成しあるいは対応する処理を行う。

このように、携帯端末２との距離が遠い場合は、携帯端末２には、外キーに対応するキー３００が表示されたリモート画面が表示されるから、ユーザーはリモート画面に表示されたキーを用いて、操作画面に対する入力を行うことができる。

一方、携帯端末２との距離が閾値以内の場合には、携帯端末２の表示部２０４ａには図７に示すようなリモート画面が表示される。このリモート画面では、通常の操作画面Ｄ１
に加えて、ＭＦＰ１の外キーを使用できることを示すメッセージＤ３が表示されている。

従って、このメッセージ表示によりユーザーに外キーの使用を促すことができ、ユーザーにとってはソフトウェアキーを携帯端末２に表示させることなく、ＭＦＰ１の外キーを使用することができ、操作性の良いものとなる。

図８は、携帯端末２との距離が閾値以内の場合に、携帯端末２に表示されるリモート画面の他の例を示す図である。

この例では、操作画面Ｄ１は上下に２つの設定値入力エリアＤ１１、Ｄ１２を有している。そして、上側の設定値入力エリアＤ１１が選択された状態となっていることを示す表示がなされている。図８では選択状態であることをハッチングを付して示している。設定値入力エリアＤ１１、Ｄ１２の何れを選択状態とするかは、予め設定されている。

さらに、リモート画面内にはＭＦＰ１の外キーを使用できることを示すメッセージＤ４が表示されている。なお、メッセージＤ４は必ずしも表示されなくても良い。

ユーザーがＭＦＰ１のキー部１０７ａの外キーを操作することで、選択状態の設定値入力エリアＤ１１に設定値を入力することができる。

このように、携帯端末２との距離が閾値以内の場合には、設定値入力エリアＤ１１、Ｄ１２のうちいずれかの設定値入力エリアが選択状態となっているから、この選択状態の表示をもってユーザーに外キーの使用を促すことができ、ユーザーにとってはソフトウェアキーを携帯端末２に表示させることなく、ＭＦＰ１の外キーを使用することができ、操作性の良いものとなる。

一方、携帯端末２との距離が閾値を超える場合には、リモート画面は図９に示すように、すべての設定値入力エリアＤ１１、Ｄ１２が選択されていない状態で表示されている。これにより、このような被選択状態の表示をもって、ユーザーに外キーに対応するキーの表示を促すことができる。

ユーザーがいずれかの設定値入力エリアをタッチすると、該設定値入力エリアが選択状態に切り替わると共に、ＭＦＰ１からの画面データに基づいて、携帯端末２の表示部２０４ａにソフトウェアテンキー等が表示される。ユーザーはこのソフトウェアキーを用いて、設定値を入力することができる。

図１０及び図１１は、この発明の他の実施形態を示すものである。この実施形態では、携帯端末２との距離が閾値を超える場合、携帯端末２の表示部２０４ａには、ＭＦＰ１からの画面データに基づいて、図１０に示すように、設定値入力エリアを有する操作画面Ｄ５と共にソフトウェアテンキー３０１がリモート画面として表示されている。

この状態で、携帯端末２を所持するユーザーがＭＦＰ１に向かって移動した結果、携帯端末２との距離が閾値以内になったとする。すると、ＭＦＰ１は新たな画面データを携帯端末２に送信し、携帯端末２の表示部２０４ａには、図１１に示すように、ソフトウェアテンキーの表示が消失しＭＦＰ１の外キーを使用できる旨のメッセージＤ６が表示されたリモート画面に切り替わる。つまり、ユーザーにＭＦＰ１の外キーの使用を促す画面に切り替わる。この結果、携帯端末２を所持したユーザがＭＦＰ１に近づいても、ソフトウェアキーが継続表示され操作性を妨げるという不都合を解消できる。

また、図示は省略したが、携帯端末２を所持するユーザーがＭＦＰ１から離間する方向
に移動して、携帯端末２との距離が閾値以内から閾値を超えるものとなった場合は、リモート画面は図１１の表示から図１０の表示へと切り替わる。

図１２は、ＭＦＰ１と携帯端末２との間で実行される情報通信処理のシーケンス図である。

携帯端末２はＭＦＰ１に接続要求を送信すると（丸数字１）、ＭＦＰ１は接続許可を応答する（丸数字２）。次いで、携帯端末２はＭＦＰ２に画面データの取得を要求すると（丸数字３）、ＭＦＰ１は操作画面の画面データを携帯端末２に送信する（丸数字４）。

次に、携帯端末２は外キーに対応するキーの画面データを要求する（丸数字５）。ＭＦＰ１は、携帯端末２の位置情報を取得し、携帯端末２との距離を検出する。

距離が閾値以下の場合つまり携帯端末２との距離が近い場合は、ＭＦＰ１は、外キー対応キーが非表示でＭＦＰ１の外キーの使用を促すメッセージを含む画面データを生成し、携帯端末２に送信する（丸数字６）。携帯端末２は受信した画面データに基づいて、ＭＦＰ１の外キーの使用を促すメッセージを含むリモート画面を表示する。

一方、距離が閾値を超える場合つまり携帯端末２との距離が遠い場合は、ＭＦＰ１は、外キーに対応するソフトウェアキーの配置情報を含む画面データを生成し、携帯端末２に送信する（丸数字７）。携帯端末２は受信した画面データに基づいて、外キーに対応するソフトウェアキーの配置情報に従ってソフトウェアキーが配置されたリモート画面を表示する。

携帯端末２に表示されたリモート画面において、ユーザーが、外キーに対応するソフトウェアキー３００のうちのいずれかを押下すると、携帯端末２は、押下されたキー３００のオンオフ情報（キー３００がボタンの場合はオン情報のみ、トグルスイッチの場合はオンオフ情報）をＭＦＰ１に送信する（丸数字８）。ＭＦＰ１は受信したオンオフ情報等を解析し、対応するジョブ処理等を実行し、あるいは次画面データの生成を実行する。

図１３は、ＭＦＰ１と携帯端末２との間で実行される情報通信の別のシーケンス図である。

携帯端末２はＭＦＰ１に接続要求を送信すると（丸数字１）、ＭＦＰ１は接続許可を応答する（丸数字２）。次いで、携帯端末２はＭＦＰ２に画面データの取得を要求すると（丸数字３）、ＭＦＰ１は操作画面の画面データを携帯端末２に送信する（丸数字４）。

次に、携帯端末２は外キーに対応するキーの画面データを要求する（丸数字５）。ＭＦＰ１は、携帯端末２の位置情報を取得し、携帯端末２との距離を検出する。

距離が閾値以下の場合つまり携帯端末２との距離が近い場合は、ＭＦＰ１は、外キー対応キーが非表示でＭＦＰ１の外キーの使用を促すメッセージを含む画面データを生成して、携帯端末２に送信する（丸数字６）。携帯端末２は受信した画面データに基づいて、ＭＦＰ１の外キーの使用を促すメッセージを含むリモート画面を表示する。

一方、距離が閾値を超える場合つまり携帯端末２との距離が遠い場合は、ＭＦＰ１は、外キーに対応するソフトウェアキーの画像データを含む画面データを生成し、携帯端末２に送信する（丸数字９）。携帯端末２は受信した画面データに基づいて、外キーに対応するソフトウェアキーを有するリモート画面を表示する。

携帯端末２に表示されたリモート画面において、ユーザーが、外キーに対応するソフトウェアキー３００のうちのいずれかを押下すると、携帯端末２は、押下されたキー３００の位置を示す座標データとタッチ情報をＭＦＰ１に送信する（丸数字１０）。ＭＦＰ１は受信した座標データ等を解析し、対応するジョブ処理等を実行し、あるいは次画面データの生成を実行する。

図１４は、ＭＦＰ１の動作を示すフローチャートである。この動作は、ＭＦＰ１のＣＰＵ１０１がＲＯＭ１０２等の記録媒体に記録された動作プログラムに従って動作することにより実行される。

ステップＳ０１で携帯端末２からの接続要求を待ち、接続要求あれば（ステップＳ０１でＹＥＳ）、ステップＳ０２で、接続許可を応答する。

次いで、ステップＳ０３で、携帯端末２から画面データの取得要求を待ち、取得要求があれば（ステップＳ０３でＹＥＳ）、ステップＳ０４で自装置の操作画面データを携帯端末２に送信する。

ステップＳ０５では、携帯端末２との距離を検出し、ステップＳ０６では、携帯端末２との距離が閾値を超えるかどうかを判断する。閾値を超えていなければ（ステップＳ０６でＮＯ）、ステップＳ０９で、ＭＦＰ１の外キーに対応するキーが非表示で、かつＭＦＰ１の外キーの使用を促すメッセージを有する画面データを生成した後、ステップＳ１０に進む。閾値を超えていれば（ステップＳ０６でＹＥＳ）、ステップＳ０７で、外キーに対応するキーの画像を生成し、ステップＳ０８で、生成した画像を操作画面の画像に合成して画面データを生成したのち、ステップＳ１０に進む。

ステップＳ１０では、生成した画面データを携帯端末２に送信し、ステップＳ１１で、画面内容に変更があるかどうかを判断する。変更があれば（ステップＳ１１でＹＥＳ）、ステップＳ０５に戻る。変更がなければ（ステップＳ１１でＮＯ）、ステップＳ１２で、携帯端末２からタッチ位置の座標データ等の操作情報を受信したかどうかを判断する。受信していなければ（ステップＳ１２でＮＯ）、ステップＳ１１に戻る。受信すると（ステップＳ１２でＹＥＳ）、ステップＳ１３に進む。

ステップＳ１３では、受信した操作情報に含まれる座標データとタッチ情報を解析し、次画面データの生成、ジョブの実行等の対応する処理を行う。

次いで、ステップＳ１４で、携帯端末２が接続中かどうかを調べ、接続中であれば（ステップＳ１４でＹＥＳ）、ステップＳ０５に戻る。接続中でなければ（ステップＳ１４でＮＯ）、処理を終了する。

図１５は携帯端末２の動作を示すブロック図である。

携帯端末２はステップＳ２１で、接続要求をＭＦＰ２に送信し、ステップＳ２２では、ＭＦＰ２から接続許可の応答があるのを待つ。接続許可の応答があれば（ステップＳ２２でＹＥＳ）、ステップＳ２３で、画面データの取得要求をＭＦＰ２に送信する。

次いで、ステップＳ２４で、画面データを受信するのを待つ。受信すると（ステップＳ２４でＹＥＳ）、ステップＳ２５で、受信した画面データに基づくリモート画面を表示部２０４ａに表示したのち、ステップＳ２６で、外キー対応画面データの取得要求をＭＦＰ１に送信する。

ステップＳ２７では画面データを受信し、ステップＳ２８では画面データに基づいてリモート画面を表示する。この画面は、携帯端末２のＭＦＰ１との距離が閾値を超える場合は、外キーに対応するキーが表示された画面であり、携帯端末２のＭＦＰ１との距離が閾値以内の場合は、外キーに対応するキーは非表示であり、外キーの使用を促すメッセージが表示された画面である。

次に、ステップＳ２９では、リモート画面に対してユーザによりタッチ操作を行われたかどうかを判断し、行われなければ（ステップＳ２９でＮＯ）、ステップＳ２８に戻る。タッチ操作が行われると（ステップＳ２９でＹＥＳ）、ステップＳ３０では、接続終了の操作かどうかを判断する。接続終了の操作であれば（ステップＳ３０でＹＥＳ）、処理を終了する。接続終了の操作でなければ（ステップＳ３０でＹＥＳ）、ステップＳ３１で、タッチ位置の座標データとタッチ情報をＭＦＰ１に通知した後、ステップＳ２４に戻る。

１ 画像形成装置
２ 携帯端末装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０４ スキャナ部
１０５ プリント部
１０６ 記憶部
１０７ 操作パネル部
１０７ｂ 表示部
１０９ ＷＩＦＩモジュール
１１１ ＵＳＢインターフェース
１２０、１２１ 外キー
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ 記憶部
２０４ａ 表示部
２０４ｂ 操作部
２０５ ＷＩＦＩモジュール
２０７ ＵＳＢインターフェース
２０９ 連携部
３００ 外キーに対応するキー
Ｄ１１、Ｄ１２ 数値入力エリア

Claims (20)

1. 携帯端末装置に接続可能な接続手段と、
   ハードウェアにより構成された外キーと、
   前記接続手段により接続された携帯端末装置との距離を検出する距離検出手段と、
   前記接続手段によって前記携帯端末装置と接続されている状態において、自装置の操作画面を、前記携帯端末装置にリモート画面として表示させるためのデータを前記携帯端末装置に送信する送信手段と、
   を備え、
   前記送信手段は、自装置が前記携帯端末装置に接続された状態であって、かつ前記携帯端末装置から、外キー対応の画面データの送信要求を受信し、前記操作画面が前記外キーを使用して入力可能な操作画面である場合において、前記距離検出手段により検出された携帯端末装置との距離が一定値以下である場合に、前記外キーの使用を促す表示を前記携帯端末装置にさせるためのデータを前記携帯端末装置に送信する、ことを特徴とする画像処理装置。
2. 前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合は、前記送信手段は、前記外キーに対応するキーの配置情報を前記携帯端末装置に送信するとともに、携帯端末装置に前記配置情報に対応して表示された外キーに対応するキーをユーザーが操作したときのキーのオン、オフ情報を、前記携帯端末装置から受信する受信手段を備えている請求項１に記載の画像処理装置。
3. 前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合は、前記送信手段は、前記外キーに対応するキーが配置された操作画面を前記携帯端末装置に表示させるためのデータを前記携帯端末装置に送信するとともに、携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信手段を備えている請求項１に記載の画像処理装置。
4. 前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである請求項１〜３のいずれかに記載の画像処理装置。
5. 前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である請求項１〜４のいずれかに記載の画像処理装置。
6. 前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である請求項１〜５のいずれかに記載の画像処理装置。
7. 前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合は、前記送信手段は、前記外キーに対応するキーの表示を促す表示がなされた操作画面を前記携帯端末装置に表示させるためのデータを前記携帯端末装置に送信し、
   前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である請求項１〜６のいずれかに記載の画像処理装置。
8. 前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである請求項２〜７のいずれかに記載の画像処理装置。
9. 前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値を超えた場合には、前記送信手段は、携帯端末装置との距離が一定値を超えた場合の画面を携帯端末装置に表示させるためのデータを再度携帯端末装置へ送信する請求項１〜８のいずれかに記載の画像処理装置。
10. 前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値以下となった場合には、前記送信手段は、携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータを再度携帯端末装置へ送信する請求項１〜９のいずれかに記載の画像処理装置。
11. 携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーとを備えた画像処理装置のコンピュータに、
    前記接続手段により接続された携帯端末装置との距離を検出する距離検出ステップと、
    前記接続手段によって前記携帯端末装置と接続されている状態において、自装置の操作画面を、前記携帯端末装置にリモート画面として表示させるためのデータを前記携帯端末装置に送信する送信ステップと、
    を実行させ、
    前記送信ステップでは、自装置が前記携帯端末装置に接続された状態であって、かつ前記携帯端末装置から、外キー対応の画面データの送信要求を受信し、前記操作画面が前記外キーを使用して入力可能な操作画面である場合において、前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下である場合に、前記外キーの使用を促す表示を前記携帯端末装置にさせるためのデータを前記携帯端末装置に送信する処理を、前記コンピュータに実行させるためのリモート画面制御プログラム。
12. 前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合は、前記送信ステップでは、前記外キーに対応するキーの配置情報を前記携帯端末装置に送信する処理を前記コンピュータに実行させ、携帯端末装置に前記配置情報に対応して表示された外キーに対応するキーをユーザーが操作したときのキーのオン、オフ情報を、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる請求項１１に記載のリモート画面制御プログラム。
13. 前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合は、前記送信ステップでは、前記外キーに対応するキーが配置された操作画面を前記携帯端末装置に表示させるためのデータを前記携帯端末装置に送信する処理を前記コンピュータに実行させ、携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる請求項１１に記載のリモート画面制御プログラム。
14. 前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである請求項１１〜１３のいずれかに記載のリモート画面制御プログラム。
15. 前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である請求項１１〜１４のいずれかに記載のリモート画面制御プログラム。
16. 前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である請求項１１〜１５のいずれかに記載のリモート画面制御プログラム。
17. 前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合は、前記送信ステップでは、前記外キーに対応するキーの表示を促す表示がなされた操作画面を前記携帯端末装置に表示させるためのデータを前記携帯端末装置に送信する処理を前記コンピュータに実行させ、
    前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である請求項１１〜１６のいずれかに記載のリモート画面制御プログラム。
18. 前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである請求項１２〜１７のいずれかに記載のリモート画面制御プログラム。
19. 前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値を超えた場合には、前記送信ステップでは、携帯端末装置との距離が一定値を超えた場合の画面を携帯端末装置に表示させるためのデータを再度携帯端末装置へ送信する処理を前記コンピュータに実行させる請求項１１〜１８のいずれかに記載のリモート画面制御プログラム。
20. 前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値以下となった場合には、前記送信ステップでは、携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータを再度携帯端末装置へ送信する処理を前記コンピュータに実行させる請求項１１〜１９のいずれかに記載のリモート画面制御プログラム。

Images