JP6418258B2 - Image processing apparatus and remote screen control program - Google Patents
Image processing apparatus and remote screen control program Download PDFInfo
- Publication number
- JP6418258B2 JP6418258B2 JP2017022530A JP2017022530A JP6418258B2 JP 6418258 B2 JP6418258 B2 JP 6418258B2 JP 2017022530 A JP2017022530 A JP 2017022530A JP 2017022530 A JP2017022530 A JP 2017022530A JP 6418258 B2 JP6418258 B2 JP 6418258B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- mobile terminal
- key
- distance
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Or Security For Electrophotography (AREA)
- Facsimiles In General (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
Description
この発明は、スマートフォン、タブレット端末等の携帯端末装置を無線通信等により接続可能な多機能デジタル画像形成装置であるMFP(Multi Function Peripherals)等の画像処理装置及びリモート画面制御プログラムに関する。
This invention smartphone, an image processing equipment and the remote screen control program such as a MFP (Multi Function Peripherals) is a multifunctional digital image forming apparatus connectable to the portable terminal device such as a tablet terminal by wireless communication.
近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記MFP等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。 In recent years, portable terminal devices such as smartphones and tablet terminals can store digitized documents, and can browse and edit documents regardless of time and place. In addition, a file edited by the portable terminal device can be transmitted to an image processing apparatus such as the MFP, and the image processing apparatus can execute processing such as printing or saving. Furthermore, a file composed of image data of a document read by the scanner unit of the image processing apparatus can be transmitted to the mobile terminal device, and can be edited by the mobile terminal device.
しかし、携帯端末装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。 However, it is necessary to operate the mobile terminal device and the image processing device separately, and there is a problem that the operation becomes complicated.
そこで、最近、画像処理装置の操作用画面を携帯端末装置の表示部にリモート画面として表示し、携帯端末装置から画像処理装置を連携操作できるようにした、画像処理装置と携帯端末装置との連携システムが提案されている。この連携システムでは、携帯端末装置の表示部に表示される画像処理装置側のリモート画面は、画像処理装置から送信される画面データに基づいて表示される。この画面データに基づくリモート画面は、本来は画像処理装置の操作パネルに表示される画面と同じである。 Therefore, recently, the operation screen of the image processing apparatus is displayed as a remote screen on the display unit of the portable terminal device, and the image processing apparatus and the portable terminal device can be operated cooperatively from the portable terminal device. A system has been proposed. In this cooperative system, the remote screen on the image processing device side displayed on the display unit of the mobile terminal device is displayed based on the screen data transmitted from the image processing device. The remote screen based on this screen data is essentially the same as the screen displayed on the operation panel of the image processing apparatus.
つまり、操作が行われたことを示す情報が携帯端末装置から画像処理装置に送信され、画像処理装置はこの情報に基づいて次の画面データを生成し、この画面データを携帯端末装置に送信し、携帯端末装置はこの画面データに基づいてリモート画面を更新表示する。 That is, information indicating that an operation has been performed is transmitted from the mobile terminal device to the image processing device, and the image processing device generates next screen data based on this information, and transmits this screen data to the mobile terminal device. The mobile terminal device updates and displays the remote screen based on the screen data.
一方、携帯端末装置はタッチパネルを備えており、ユーザは表示画面に対してタッチ操作を行うと、タッチ操作の位置情報(座標データ)等が画像処理装置に送信され、画像処理装置はタッチ操作に応じて次画面データを生成し、あるいは指示されたジョブを実行する。 On the other hand, the mobile terminal device includes a touch panel. When the user performs a touch operation on the display screen, position information (coordinate data) of the touch operation is transmitted to the image processing device, and the image processing device performs the touch operation. In response, the next screen data is generated or the designated job is executed.
ところで、画像処理装置にはハードテンキー、ハードキーボード、スイッチ等のハードウェアにより構成された外キーが設けられていることが多い。 By the way, the image processing apparatus is often provided with an external key composed of hardware such as a hard numeric keypad, a hard keyboard, and a switch.
また、操作画面が前記外キーを使用して操作可能な例えば設定値入力エリアを有する画面である場合がある。この場合、画像処理装置の操作パネルに操作用画面が表示されていれば、前記外キーを用いて設定値を入力することができる。また、操作パネルにソフトキーボードやソフトテンキー等のソフトウェアキーを表示し、該ソフトウェアキーにより設定値を入力できる場合もある。 In some cases, the operation screen may be a screen having, for example, a set value input area that can be operated using the outer key. In this case, if an operation screen is displayed on the operation panel of the image processing apparatus, a set value can be input using the outer key. In some cases, software keys such as a soft keyboard and a software numeric keypad are displayed on the operation panel, and setting values can be input using the software keys.
一方、携帯端末装置での設定値の入力は、画面上の設定値入力表示エリアをタップすると表示されるソフトウェアキーにより入力する方式が用いられていることが多いが、ユーザーが画像処理装置の近傍で携帯端末装置を操作する場合には、画面と重なって表示されるソフトウェアキーを表示させる必要がないことから、前記物理的な外キーを用いた方が操作し易い場合がある。 On the other hand, the setting value input in the mobile terminal device is often performed by a method of inputting by a software key displayed when the setting value input display area on the screen is tapped, but the user is in the vicinity of the image processing device. When the mobile terminal device is operated, it is not necessary to display software keys that are displayed so as to overlap the screen, and therefore it may be easier to operate using the physical external key.
なお、特許文献1には、オプション機器の接続状態に応じて最適なメニュー画面を選択表示するとともに、オプション機器の機能設定項目が階層構造になっている場合、オプション機器が接続されたとき、接続されたオプション機器の設定項目を最上位に変更する技術が開示されている。
In
また、特許文献2には、パネルに表示された入力エリアに対して、どの入力手段が使用できるかを示したアイコンを小表示エリアに表示し、どの入力手段を使えば良いのかを明瞭にしつつ、入力手段を柔軟に変更できる技術が開示されている。
In
また、特許文献3には、接続された外部機器に応じて表示内容を変更する技術が開示されている。
しかし、前述したように、ユーザーが画像処理装置の近傍で携帯端末装置を操作する場合に、前記外キーを使用したい場合であっても、従来では、画像処理装置と携帯端末装置との距離の遠近に関係なく、ソフトウェアキーを使用できる表示しか携帯端末装置になされないため、画像処理装置の外キーを使用できることをユーザーが認識することができず、このため操作性の点で問題があった。 However, as described above, when the user operates the portable terminal device in the vicinity of the image processing device, even if the user wants to use the outer key, conventionally, the distance between the image processing device and the portable terminal device is not known. Regardless of the distance, only the display that can use the software key is displayed on the portable terminal device, so that the user cannot recognize that the external key of the image processing device can be used, which has a problem in terms of operability. .
このような問題は、前述した特許文献1〜3に記載の技術によっても解決することはできなかった。
Such a problem could not be solved even by the techniques described in
この発明は、上記技術的背景に鑑みてなされたものであり、携帯端末装置にリモート画面として表示される画像処理装置の操作用画面が、画像処理装置側のハードウェアで構成される外キーを使用して入力可能な操作画面である場合は、画像処理装置と携帯端末装置との距離に応じて、画像処理装置の外キーを使用可能であることをユーザーが認識できるようなリモート画面を携帯端末装置に表示させることができる画像処理装置を提供し、さらにリモート画面制御プログラムを提供することを課題とする。
The present invention has been made in view of the above technical background, and the operation screen of the image processing apparatus displayed as a remote screen on the mobile terminal device has an external key configured by hardware on the image processing apparatus side. If the operation screen can be used and input, a remote screen that allows the user to recognize that the external key of the image processing device can be used according to the distance between the image processing device and the mobile terminal device is carried. It is an object of the present invention to provide an image processing device that can be displayed on a terminal device, and to provide a remote screen control program.
上記課題は、以下の手段によって解決される。
(1)携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーと、前記接続手段により接続された携帯端末装置との距離を検出する距離検出手段と、前記接続手段によって前記携帯端末装置と接続されている状態において、自装置の操作画面を、前記携帯端末装置にリモート画面として表示させるためのデータを前記携帯端末装置に送信する送信手段と、を備え、前記送信手段は、自装置が前記携帯端末装置に接続された状態であって、かつ前記携帯端末装置から、外キー対応の画面データの送信要求を受信し、前記操作画面が前記外キーを使用して入力可能な操作画面である場合において、前記距離検出手段により検出された携帯端末装置との距離が一定値以下である場合に、前記外キーの使用を促す表示を前記携帯端末装置にさせるためのデータを前記携帯端末装置に送信する、ことを特徴とする画像処理装置。
(2)前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合は、前記送信手段は、前記外キーに対応するキーの配置情報を前記携帯端末装置に送信するとともに、携帯端末装置に前記配置情報に対応して表示された外キーに対応するキーをユーザーが操作したときのキーのオン、オフ情報を、前記携帯端末装置から受信する受信手段を備えている前項1に記載の画像処理装置。
(3)前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合は、前記送信手段は、前記外キーに対応するキーが配置された操作画面を前記携帯端末装置に表示させるためのデータを前記携帯端末装置に送信するとともに、携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信手段を備えている前項1に記載の画像処理装置。
(4)前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである前項1〜3のいずれかに記載の画像処理装置。
(5)前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である前項1〜4のいずれかに記載の画像処理装置。
(6)前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である前項1〜5のいずれかに記載の画像処理装置。
(7)前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合は、前記送信手段は、前記外キーに対応するキーの表示を促す表示がなされた操作画面を前記携帯端末装置に表示させるためのデータを前記携帯端末装置に送信し、前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である前項1〜6のいずれかに記載の画像処理装置。
(8)前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである前項2〜7のいずれかに記載の画像処理装置。
(9)前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値を超えた場合には、前記送信手段は、携帯端末装置との距離が一定値を超えた場合の画面を携帯端末装置に表示させるためのデータを再度携帯端末装置へ送信する前項1〜8のいずれかに記載の画像処理装置。
(10)前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値以下となった場合には、前記送信手段は、携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータを再度端末装置へ再度送信する前項1〜9のいずれかに記載の画像処理装置。
(11)携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーとを備えた画像処理装置のコンピュータに、前記接続手段により接続された携帯端末装置との距離を検出する距離検出ステップと、前記接続手段によって前記携帯端末装置と接続されている状態において、自装置の操作画面を、前記携帯端末装置にリモート画面として表示させるためのデータを前記携帯端末装置に送信する送信ステップと、を実行させ、前記送信ステップでは、自装置が前記携帯端末装置に接続された状態であって、かつ前記携帯端末装置から、外キー対応の画面データの送信要求を受信し、前記操作画面が前記外キーを使用して入力可能な操作画面である場合において、前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下である場合に、前記外キーの使用を促す表示を前記携帯端末装置にさせるためのデータを前記携帯端末装置に送信する処理を、前記コンピュータに実行させるためのリモート画面制御プログラム。
(12)前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合は、前記送信ステップでは、前記外キーに対応するキーの配置情報を前記携帯端末装置に送信する処理を前記コンピュータに実行させ、携帯端末装置に前記配置情報に対応して表示された外キーに対応するキーをユーザーが操作したときのキーのオン、オフ情報を、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる前項11に記載のリモート画面制御プログラム。
(13)前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合は、前記送信ステップでは、前記外キーに対応するキーが配置された操作画面を、前記携帯端末装置に表示させるためのデータを前記携帯端末装置に送信する処理を前記コンピュータに実行させ、携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる前項11に記載のリモート画面制御プログラム。
(14)前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである前項11〜13のいずれかに記載のリモート画面制御プログラム。
(15)前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である前項11〜14のいずれかに記載のリモート画面制御プログラム。
(16)前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である前項11〜15のいずれかに記載のリモート画面制御プログラム。
(17)前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合は、前記送信ステップでは、前記外キーに対応するキーの表示を促す表示がなされた操作画面を前記携帯端末装置に表示させるためのデータを前記携帯端末装置に送信する処理を前記コンピュータに実行させ、前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である前項11〜16のいずれかに記載のリモート画面制御プログラム。
(18)前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである前項11〜17のいずれかに記載のリモート画面制御プログラム。
(19)前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値を超えた場合には、前記送信ステップでは、携帯端末装置との距離が一定値を超えた場合の画面を携帯端末装置に表示させるためのデータを再度携帯端末装置へ送信する処理を前記コンピュータに実行させる前項11〜18のいずれかに記載のリモート画面制御プログラム。
(20)前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値以下となった場合には、前記送信ステップでは、携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータを携帯端末装置へ再度送信する処理を前記コンピュータに実行させる前項11〜19のいずれかに記載のリモート画面制御プログラム。
The above problem is solved by the following means.
(1) Connection means connectable to the mobile terminal device, an external key configured by hardware, distance detection means for detecting a distance between the mobile terminal device connected by the connection means, and the connection means Transmitting means for transmitting data for causing the portable terminal device to display an operation screen of the device as a remote screen in a state where the portable terminal device is connected to the portable terminal device; The device is connected to the mobile terminal device, and receives a request for transmission of screen data corresponding to the external key from the mobile terminal device , and the operation screen can be input using the external key. If the distance to the portable terminal device detected by the distance detecting means is less than a certain value in the case of a simple operation screen, a display prompting the use of the external key is displayed on the portable Transmitting the data for the end device to the portable terminal device, an image processing apparatus characterized by.
(2) When the distance from the mobile terminal device detected by the distance detection unit exceeds a certain value, the transmission unit transmits key arrangement information corresponding to the outer key to the mobile terminal device; The preceding
(3) When the distance from the mobile terminal device detected by the distance detection unit exceeds a certain value, the transmission unit displays an operation screen on which a key corresponding to the outer key is arranged on the mobile terminal device The coordinate data of the touch position when the user operates the key corresponding to the external key on the operation screen displayed on the mobile terminal device is transmitted from the mobile terminal device. 2. The image processing apparatus according to
(4) The image processing apparatus according to any one of
(5) The display for prompting the use of the external key when the distance from the mobile terminal device detected by the distance detection means is a predetermined value or less is a display of a message indicating that the external key can be used 1 The image processing apparatus in any one of -4.
(6) The operation screen has at least one set value input area, and the display for prompting the use of the outer key when the distance from the mobile terminal device detected by the distance detection unit is a predetermined value or less is 6. The image processing device according to any one of the preceding
(7) When the distance from the portable terminal device detected by the distance detection unit exceeds a certain value, the transmission unit displays the operation screen on which the display for prompting the display of the key corresponding to the external key is made. Data to be displayed on the terminal device is transmitted to the mobile terminal device, the operation screen has at least one set value input area, and a display for prompting display of a key corresponding to the external key is the set value input 7. The image processing apparatus according to any one of the preceding
(8) The key corresponding to the foreign key is an emulation of at least one of a preview key, a guide key, an enlarged display key, a utility key, and a job mode switching key that exists as the foreign key. The image processing apparatus according to any one of 2 to 7.
(9) Data for causing the mobile terminal device to display a screen when the distance from the mobile terminal device detected by the distance detection means is a predetermined value or less is transmitted to the mobile terminal device, and the mobile terminal device stores the data When the distance from the mobile terminal device detected by the distance detection unit exceeds a certain value when the screen based on the display is displayed, the transmission unit has exceeded the certain value from the
(10) Data for causing the mobile terminal device to display a screen when the distance from the mobile terminal device detected by the distance detection unit exceeds a certain value is transmitted to the mobile terminal device, and the mobile terminal device stores the data If the distance from the mobile terminal device detected by the distance detection means is equal to or less than a certain value when the screen based on the screen is displayed, the transmission means 10. The image processing device according to any one of the preceding
(11) A distance for detecting a distance from the portable terminal device connected by the connecting means to the computer of the image processing apparatus having a connecting means connectable to the portable terminal device and an external key configured by hardware A detecting step, and a transmitting step of transmitting data for displaying the operation screen of the own device as a remote screen to the mobile terminal device in a state of being connected to the mobile terminal device by the connecting means. In the transmission step, the device is connected to the portable terminal device , and receives a transmission request for screen data corresponding to an external key from the portable terminal device. Is an operation screen that can be input using the outer key, the distance from the mobile terminal device detected by the distance detection step is If it is value or less, the remote screen control program for executing the data for the display prompting the use of the outer key to the portable terminal device processing to be transmitted to the portable terminal device, to the computer.
(12) When the distance from the mobile terminal device detected by the distance detection step exceeds a certain value, the transmission step includes a process of transmitting key arrangement information corresponding to the outer key to the mobile terminal device. A receiving step of receiving from the mobile terminal device key on / off information when the user operates a key corresponding to the external key displayed on the mobile terminal device corresponding to the arrangement information. 12. The remote screen control program according to item 11, wherein the computer is further executed.
(13) When the distance to the mobile terminal device detected by the distance detection step exceeds a certain value, the transmission step displays an operation screen on which a key corresponding to the outer key is arranged on the mobile terminal device. Coordinate data of the touch position when the user operates the key corresponding to the outer key on the operation screen displayed on the mobile terminal device, causing the computer to execute processing for transmitting data to be displayed to the mobile terminal device 12. The remote screen control program according to claim 11, further causing the computer to execute a reception step of receiving the message from the portable terminal device.
(14) The remote screen control program according to any one of items 11 to 13, wherein the external key is at least one of a hard numeric keypad, a hard keyboard, and a switch.
(15) The display for prompting the use of the external key when the distance from the mobile terminal device detected by the distance detection step is equal to or less than a predetermined value is a display of a message indicating that the external key can be used. The remote screen control program according to any one of -14.
(16) The operation screen has at least one set value input area, and the display for prompting the use of the external key when the distance from the mobile terminal device detected by the distance detection step is equal to or less than a predetermined value is 16. The remote screen control program according to any one of the preceding items 11 to 15, which is a display indicating that the set value input area is in a selected state.
(17) When the distance from the portable terminal device detected by the distance detection step exceeds a certain value, the transmission step displays an operation screen on which a display prompting display of a key corresponding to the external key is made. Causing the computer to execute processing for transmitting data to be displayed on the terminal device to the mobile terminal device, and the operation screen has at least one set value input area, and prompts the display of a key corresponding to the external key. 17. The remote screen control program according to any one of the preceding items 11 to 16, which is a display indicating that the set value input area is not selected.
(18) The key corresponding to the foreign key is an emulation of at least one of a preview key, a guide key, an enlarged display key, a utility key, and a job mode switching key that exists as the foreign key. The remote screen control program according to any one of 11 to 17.
(19) Data for causing the mobile terminal device to display a screen when the distance from the mobile terminal device detected by the distance detection step is equal to or less than a certain value is transmitted to the mobile terminal device, and the mobile terminal device stores the data When the distance from the mobile terminal device detected by the distance detection step exceeds a certain value when the screen based on the screen is displayed, the distance from the mobile terminal device exceeds a certain value in the transmission step 19. The remote screen control program according to any one of the preceding items 11 to 18, which causes the computer to execute a process of transmitting data for causing the mobile terminal device to display data for displaying the screen in the case to the mobile terminal device again.
(20) Data for causing the mobile terminal device to display a screen when the distance to the mobile terminal device detected by the distance detection step exceeds a certain value is transmitted to the mobile terminal device, and the mobile terminal device stores the data If the distance from the mobile terminal device detected by the distance detection step is equal to or less than a certain value when the screen based on the screen is displayed, the distance from the portable terminal device is equal to or less than the certain value in the transmission step. 20. The remote screen control program according to any one of the preceding items 11 to 19, which causes the computer to execute a process of retransmitting data for causing the mobile terminal device to display data for displaying the screen in the case to the mobile terminal device.
前項(1)に記載の発明によれば、画像処理装置が携帯端末装置に接続された状態であって、かつ携帯端末装置から、外キー対応の画面データの送信要求を受信し、操作画面が前記外キーを使用して操作可能な場合において、携帯端末装置との距離が一定値以下であれば、画像処理装置は、ハードウェアで構成された外キーの使用を促す表示を携帯端末装置にさせるためのデータを携帯端末装置に送信するから、携帯端末装置には、画像処理装置と距離が近い場合は、外キーの使用を促す表示がなされる。 According to the invention described in (1), the image processing device is connected to the mobile terminal device , and the transmission request for screen data corresponding to the external key is received from the mobile terminal device. In the case where the operation using the external key is possible, if the distance from the mobile terminal device is equal to or less than a certain value, the image processing device displays a display prompting the use of the external key configured by hardware on the mobile terminal device. Since the data to be transmitted is transmitted to the mobile terminal device, the mobile terminal device is displayed to prompt the use of the external key when the distance from the image processing device is short.
従って、この表示によりユーザーに外キーの使用を促すことができる。
Therefore, Ru can encourage the use of external key to the user by the display.
前項(2)に記載の発明によれば、携帯端末装置との距離が一定値を超える場合は、外キーに対応するキーの配置情報が携帯端末装置に送信されるから、携帯端末装置は前記配置情報に基づいて外キーに対応するキーを表示することができると共に、外キーに対応するキーをユーザが操作したときはそのキーのオン、オフ情報が、携帯端末装置から画像処理装置に送信される。
According to the invention as described in the preceding paragraph (2), when the distance between the portable terminal device exceeds a certain value, since the location information of the key corresponding to the outer key is transmitted to the mobile terminal device, portable terminal device A key corresponding to the external key can be displayed based on the arrangement information, and when the user operates the key corresponding to the external key, the on / off information of the key is transmitted from the portable terminal device to the image processing device. Sent.
前項(3)に記載の発明によれば、携帯端末装置との距離が一定値を超える場合は、外キーに対応するキーが配置された操作画面を携帯端末装置に表示させるためのデータが携帯端末装置に送信されるから、携帯端末装置は前記外キーに対応するキーが配置された操作画面を表示することができると共に、外キーに対応するキーをユーザが操作したときはタッチ位置の座標データが、携帯端末装置から画像処理装置に送信される。
According to the invention described in (3) above, when the distance to the mobile terminal device exceeds a certain value , data for displaying the operation screen on which the key corresponding to the external key is arranged on the mobile terminal device is portable. Since it is transmitted to the terminal device, the mobile terminal device can display an operation screen on which a key corresponding to the external key is arranged, and when the user operates the key corresponding to the external key, the coordinates of the touch position Data is transmitted from the portable terminal device to the image processing device.
前項(4)に記載の発明によれば、画像処理装置と携帯端末装置との距離が近い場合は、ユーザは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかを用いて、操作画面に対する入力を行うことができる。 According to the invention described in (4) above, when the distance between the image processing device and the mobile terminal device is short, the user uses at least one of a hard numeric keypad, a hard keyboard, and a switch to operate the operation screen. Input can be made.
前項(5)に記載の発明によれば、画像処理装置と携帯端末装置との距離が一定値以下の場合は、外キーの使用を促す表示として外キーを使用できることのメッセージが表示される。 According to the invention described in (5) above, when the distance between the image processing device and the portable terminal device is equal to or less than a certain value, a message indicating that the external key can be used is displayed as a display prompting the use of the external key.
前項(6)に記載の発明によれば、操作画面は少なくとも一つの設定値入力エリアを有し、画像処理装置と携帯端末装置との距離が一定値以下の場合は、前記外キーの使用を促す表示として、前記設定値入力エリアが選択された状態にあることを示す表示がなされる。 According to the invention described in item (6) above, the operation screen has at least one set value input area, and when the distance between the image processing device and the mobile terminal device is equal to or less than a certain value, the use of the outer key is prohibited. As a prompting display, a display indicating that the set value input area is in a selected state is made.
前項(7)に記載の発明によれば、操作画面は少なくとも一つの設定値入力エリアを有し、画像処理装置と携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーの表示を促す表示として、前記設定値入力エリアが選択されていない状態にあることを示す表示がなされる。 According to the invention described in (7) above, the operation screen has at least one set value input area, and corresponds to the outer key when the distance between the image processing device and the mobile terminal device exceeds a certain value. As a display prompting the display of the key, a display indicating that the set value input area is not selected is made.
前項(8)に記載の発明によれば、画像処理装置と携帯端末装置との距離が一定値を超える場合に、前記外キーに対応するキーとして、プレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたキーが操作画面に表示される。 According to the invention described in item (8) above, when the distance between the image processing device and the portable terminal device exceeds a certain value, a preview key, a guide key, an enlarged display key, a utility as a key corresponding to the outer key A key emulating at least one of the key and the job mode switching key is displayed on the operation screen.
前項(9)に記載の発明によれば、画像処理装置と携帯端末装置との距離が一定値以下の場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づくリモート画面が表示されているときに、携帯端末装置との距離が一定値を超えた場合には、携帯端末装置に表示されるリモート画面は、距離が一定値を超えた場合の画面に切り替えられる。
According to the invention described in item (9) above, data for causing the mobile terminal device to display a screen when the distance between the image processing device and the mobile terminal device is equal to or less than a certain value is transmitted to the mobile terminal device. when the remote screen based on 該De over data in device is displayed, when the distance between the portable terminal device exceeds a predetermined value, the remote screen displayed on the mobile terminal device, the distance is a predetermined value Switch to the screen when exceeding.
前項(10)に記載の発明によれば、画像処理装置と携帯端末装置との距離が一定値を超える場合の画面を携帯端末装置に表示させるためのデータが携帯端末装置へ送信され、携帯端末装置で該データに基づくリモート画面が表示されているときに、携帯端末装置との距離が一定値以下となった場合には、携帯端末装置に表示されるリモート画面は、距離が一定値以下の場合の画面に切り替えられる。
According to the invention described in (10) above, data for displaying on the mobile terminal device a screen when the distance between the image processing device and the mobile terminal device exceeds a certain value is transmitted to the mobile terminal device. when the remote screen based on 該De over data in device is displayed, when the distance between the portable terminal device becomes a predetermined value or less, the remote screen displayed on the mobile terminal device, the distance constant value Switch to the screen in the following cases.
前項(11)に記載の発明によれば、画像処理装置と携帯端末装置との距離が近い場合は、外キーの使用を促す表示を携帯端末装置にさせるためのデータを携帯端末装置に送信する処理を、画像処理装置のコンピュータに実行させることができる。
According to the invention described in the preceding item ( 11 ), when the distance between the image processing device and the mobile terminal device is short , data for causing the mobile terminal device to display to prompt the use of the external key is transmitted to the mobile terminal device. The processing can be executed by a computer of the image processing apparatus.
以下、この発明の実施形態を図面に基づいて説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、この発明の一実施形態に係る画像処理装置が用いられた表示処理システムの構成図である。 FIG. 1 is a configuration diagram of a display processing system using an image processing apparatus according to an embodiment of the present invention.
この表示処理システムは、画像処理装置としての画像形成装置1と、スマートフォンやタブレット端末等からなる携帯端末装置2等を備え、これらの画像形成装置1と携帯端末装置2は、無線LANルータ3、ネットワーク4を介して相互に接続可能となされている。なお、画像形成装置1と携帯端末装置2は、USBインターフェース等により有線接続も可能であるが、この実施形態では、無線通信により相互に接続されるものとなされている。
The display processing system includes an
この実施形態では、画像形成装置1としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のMFPが用いられている。以下、画像形成装置をMFPとも記す。また、携帯端末装置を携帯端末とも記す。
In this embodiment, the above-described MFP having a copy function, a print function, a scan function, a facsimile function and the like is used as the
図2は、前記MFP1と携帯端末2の電気的な構成を示すブロック図である。
FIG. 2 is a block diagram showing an electrical configuration of the
MFP1は、CPU101、ROM102、RAM103,スキャナ部104、プリント部105、記憶部106、操作パネル部107、WIFI(Wireless Fidelity)モジ
ュール109、LAN(Local Area Network)コントローラ110、USBインターフェース(USBI/F)111等を備えている。
The
前記CPU101は、ROM102等に記憶された動作プログラムに従って動作することにより、MFP1の全体を統括的に制御するものである。例えば、MFP1の各種機能を使用可能に制御するほか、この実施形態では、携帯端末2から取得した携帯端末2の位置情報と自機の位置情報との比較等の方法により、自機と携帯端末2との距離を検出したり、検出した距離が予め設定された閾値以下かどうかを判断したり、携帯端末2からの要求に基づいて、携帯端末2にリモート画面として表示するMFP1の操作画面の画面データを作成して携帯端末2に送信したり、携帯端末2から送信された操作情報に対応する次画面データを生成して携帯端末2に送信する。
The
この際、前記操作画面がハードウェアにより構成された後述する外キーを使用して入力可能な場合において、携帯端末2との距離が閾値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末2に表示させるための画面デ
ータを生成し、携帯端末2との距離が閾値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末2に表示させるための画面データを生成する。
At this time, when the operation screen can be input using an external key (described later) configured by hardware, if the distance from the
前記ROM102は、CPU101の動作プログラム等を記憶するメモリであり、RAM103はCPU101が動作プログラムに従って動作するときの作業領域を提供するメモリである。
The
前記スキャナ部104は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。
The
前記プリント部105は、スキャナ部104により読み取られた原稿の画像データや、携帯端末2等から送信されたプリントデータを、用紙に印刷するものである。
The
前記記憶部106は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部107に表示される各種の操作画面の表示用データ(画面データ)や外キーの配置情報等が記憶されており、ユーザーの操作に応じた操作画面の表示用データがCPU101によって記憶部106から呼び出され、操作パネル部107に表示されたり、携帯端末2に送信される。また、スキャナ部104で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルや、自装置の設置場所の位置情報が保存されている。
The
操作パネル部107は、MFP1を操作したりユーザーにメッセージ等を表示するものであり、図5に示すように、外キーとしてのスタートキー121、ハードテンキー122、スイッチ等を有するキー部107aと、液晶等のタッチパネルからなる表示部107bを備えている。なお、外キーとしては、スタートキー、ハードテンキー、スイッチに限定されることはなく、ハードキーボード、プレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キー等であっても良い。
The
前記WIFIモジュール109は、携帯端末2と無線接続するためのインターフェースであり、前記LANコントローラ110は、パーソナルコンピュータや他のMFP等の外部装置との間の通信を制御するものである。
The
前記USBインターフェース111は携帯端末2と有線接続するためのインターフェースである。
The
一方、携帯端末2には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末2は、CPU201、RAM202、記憶部203、表示部204a、操作部204b、WIFIモジュール205、LANコントローラ206、USBインターフェース207、ファイル処理部208a、208b、連携部209、位置情報取得部210等を備えている。
On the other hand, a smart phone, a tablet terminal, electronic paper, etc. are used for the
前記CPU201は、携帯端末2の全体を統括的に制御するものであり、基本ソフトウェアであるOS(Operating System)や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。
The
前記RAM202は、CPU201が動作プログラムに従って動作するときの作業領域となるメモリである。
The
前記記憶部203は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、MFP1から送信された画面データや、基本OS、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。
The
前記表示部204aは液晶等のデバイスからなり、操作部204bは表示部204aに設けられタッチ操作入力が可能なタッチパネルからなる。タッチ操作は通常、タッチした指の数や指の移動に応じて操作内容を規定するジェスチャー操作によって行われる。ジェスチャー操作の一例として、画面に表示された画像に対して、変倍(拡大または縮小)や回転等の編集加工を指示するためのピンチイン操作、ピンチアウト操作などを例示できる。
The
前記WIFIモジュール205は、携帯端末2をMFP1と無線接続するためのインターフェースであり、前記LANコントローラ206は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記USBインターフェース207は、携帯端末装置2をMFP1と有線接続するためのインターフェースである。
The
前記ファイル処理部208a、208bは、ファイルに編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部208a、208bをいずれもファイル処理部208と記す。
The
前記連携部209は、MFP1と携帯端末2の間の機能連携を円滑に行うために、MFP1の機能を使用できるようにするためのものである。具体的には、MFP1のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにMFP1の操作パネル部107に表示される画面と同じ画面を再生するための画面データ等を、MFP1から受信してリモート画面として表示部204aに表示したり、表示されたリモート画面をユーザが操作したときに、操作部204bにより画面(タッチパネル)上の操作位置の座標を検出し操作情報としてMFP1に送信する。MFP1は前記操作位置の座標を解析することにより、ユーザの操作指示を特定し、操作指示に応じた動作を実行する。
The
前記ファイル処理部208は、CPU201が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部208を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。
The function of the
また、前記連携部209は、CPU201が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはMFP1と携帯端末2とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。
The
位置情報取得部210は、GPS機能により携帯端末2の現在の位置情報を取得する。取得した位置情報は、連携部209を介して携帯端末2からMFP1へ送信される。この実施形態では、位置情報を定期的に、あるいはMFP1から要求されたときに、その他任意のタイミングで取得し、MFP1へ送信するのとなされている。
The position
図3は、MFP1と携帯端末2のファームウェア構成を示すブロック図である。
FIG. 3 is a block diagram illustrating firmware configurations of the
MFP1は、アプリ層に、操作パネル(アプリ)121やオープンAPI(Open Appli
cation Program Interface)122等を備え、共通API層に、共通API(Common API)125やパネル表示画像生成部126等を備え、ハードウェア依存層に、パネル画面生成部123、パネル制御部124、携帯端末用制御部127等を備えている。
The
cation Program Interface) 122 and the like, the common API layer includes the common API (Common API) 125, the panel display
さらに、カーネル層に、パネル入力制御部129、パネルLCD制御部130、JPEGコーダドライバ131等を備え、デバイス層に、操作パネル部107、USBインターフェース部111、JPEG圧縮部133、WIFIモジュール109等を備えている。
In addition, the kernel layer includes a panel
パネル画面生成部123は、携帯端末2から連携操作が行われた場合に、操作パネル部107に表示されるMFP1側の画面データを生成する。
The panel
パネル制御部124は操作パネル部107との通信状態の制御等を行う。また、パネル表示画像生成部126は、携帯端末2からの操作情報に基づいて、携帯端末2に表示される次画面データを生成する。
The
携帯端末用制御部127は、携帯端末2との連携処理時に、携帯端末2と通信を行うためのインターフェース等を制御する。
The portable
パネル入力制御部129は、操作パネル部107の操作入力に関する制御を行い、パネルLCD制御部130は、操作パネル部107の表示部107bの表示制御を行う。JPEG圧縮部133は、JPEGコーダドライバ131を介して携帯端末用制御部127から送信されてきた画面データ等をJPEG圧縮するものであり、圧縮されたデータはUSBインターフェース111やWIFIモジュール109を介して、携帯端末2に送信される。
The panel
一方、携帯端末2は、画像表示アプリ221、表示画像生成アプリ222、JPEG展開アプリ223、ブラウザ等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー225、226等を備えたプラットフォーム層と、各種のライブラリ227及びカーネル228を備えたOS層と、ハードウェア229によって構成されている。
On the other hand, the
前記JPEG展開アプリ223は、MFP1から送信されてきた圧縮データを伸張するものである。
The
表示画像生成アプリ222は、携帯端末2の表示部204aに表示されたリモート画面に対して、ユーザが画像の拡大・縮小操作等を行ったときに、現在表示され記憶部203に記憶されている画面データを用いて、自装置で編集加工を行い、表示部204に表示させるものである。
The display
前記画像表示アプリ221は、MFP1から送信されJPEG展開アプリ223で伸張された画面データを用いて、MFP1の画面をリモート画面として生成し表示部204に表示させるものである。
The
なお、この実施形態では、画像表示アプリ221、表示画像生成アプリ222、JPEG展開アプリ223は、連携アプリで実現される機能の一部として構成されている。
In this embodiment, the
次に、MFP1と携帯端末2を連携操作する場合の処理について説明する。
Next, processing when the
ユーザが携帯端末2をMFP1にネットワーク経由にて無線接続し、携帯端末2からMFP1をリモート操作しようとしている。携帯端末2とMFP1の連携操作は、ユーザー
が携帯端末2にインストールされている連携アプリを起動することにより、開始される。
A user wirelessly connects the
図4は、MFP1及び携帯端末2の各ソフトウェアの関係を示すものであり、左側にMFP1側のソフトウェアを、右側に携帯端末2のソフトウェアをそれぞれ示す。
FIG. 4 shows the relationship between the software of the
携帯端末2の連携アプリは、携帯端末2のOSと汎用のソフトウェアであるアプリソフトの中間に位置しており、ユーザの操作情報、携帯端末2との送受信データ、携帯端末2側の画面データ、位置情報取得部210で得られた位置情報を取得することができ、必要に応じてこれらのデータをMFP1へ送信することができる。つまり、携帯端末2の連携ソフトは、アプリの呼び出し等の携帯端末2側でのユーザ操作受付処理、MFP1の操作画面表示用の画面データの受信・表示処理(携帯端末側操作画面処理)、連携操作関連処理等を実行する。連携操作関連処理としては、ユーザが操作部204bを介して行った操作の内容を示す操作情報のMFP1との通信等が挙げられる。
The cooperative application of the
一方、MFP1の連携アプリは、MFP1側のOSやMFP1用のアプリソフトが全て自社設計/自社カスタマイズであって必要な情報をすべて得られる場合は、OS−アプリソフト間に位置しなくても良く、OSやアプリソフトと独立でありながら、OSやアプリソフトと通信することにより、必要な情報を入手してもよい。MFP1の連携アプリは、アプリの呼び出し等のMFP1側のユーザ操作受付処理、携帯端末2へのMFP側画面データの送信処理(MFP側操作画面処理)、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末2からの操作情報等の受信・実行処理等が挙げられる。
On the other hand, when the OS on the
ユーザが携帯端末2の表示部204に表示された操作画面中のリモート操作アイコンを選択し、MFP連携を指示すると、携帯端末2の連携ソフトは、登録されているMFP1への通信を行い、MFP1の連携ソフトを呼び出し、画面データの取得を要求する。それにより、リモート操作モードが開始され、MFP1から初期画面の画面データが転送効率の向上のためJPEG等で圧縮された状態で携帯端末2に送信される。
When the user selects a remote operation icon on the operation screen displayed on the display unit 204 of the
携帯端末2は、受信したMFP側の画面データを表示部204aにリモート画面として表示する。携帯端末2の表示部204aの画面サイズがMFP1の表示部107bの画面サイズと異なる場合は、携帯端末2は自己の表示部204aの画面サイズに合わせて画面データを調整し表示する。
The
なお、携帯端末2での画面表示と同時に、同一の画面をMFP1の表示部105aに表示しても良いし、表示しなくても良い。
The same screen may or may not be displayed on the display unit 105a of the
ユーザが携帯端末2に表示されているMFP1側の画面であるリモート画面をタッチ操作すると、タッチ操作が画面データの拡大・縮小を指示するジェスチャー操作であるか、通常のボタン操作であるかが判断される。そして、判断の結果がタッチ情報として、タッチ位置の座標データと共にMFP1に送信される。
When the user performs a touch operation on the remote screen, which is the screen on the
一方、通常のボタン操作であると判断されると、携帯端末2は操作部204b上のタッチ位置の座標データをMFP1に送信する。
On the other hand, if it is determined that the operation is a normal button operation, the
MFP1は受信した座標データやタッチ情報を含む操作情報を解析して、画面上のどのボタンが押されたかを判定し、そのボタン押下に対応する次画面データを生成して携帯端末2に送信し、あるいはボタン押下に対応するジョブ処理等を実行する。携帯端末2は受信した次画面データを表示部204bに表示して画面を更新する。
The
こうして、携帯端末2によってMFP1をリモート操作することができる。
In this way, the
この実施形態では、MFP1からの取得要求時、あるいはタッチ位置の座標データの送信時、あるいは定期的に、あるいは任意のタイミングで、携帯端末2は携帯端末2の現在の位置を示す位置情報をMFP1に送信し、MFP1は受信した位置情報に基づく携帯端末2の現在位置と、予め登録されている自機の設置位置とから、自機と携帯端末2との距離を検出するものとなされている。なお、携帯端末2との距離の検出はこの方法に限定されることはない。そして、検出した距離に応じて、生成する画面データの内容を変更するものとなされている。
In this embodiment, the
即ち、携帯端末2に表示させるリモート画面が、キー部107aの外キーを使用して入力可能な操作画面である場合は、自機と携帯端末2との距離を予め設定された閾値と比較し、距離が閾値を超えている場合、換言すれば携帯端末2がMFP2から遠くに存在している場合は、外キーに対応するキーが表示された操作画面をリモート画面として前記携帯端末2に表示させるための画面データを生成し、携帯端末2に送信する。
That is, when the remote screen displayed on the
この画面データを受信した携帯端末2は、画面データに基づくリモート画面を表示部204aに表示する。
The
図6は、携帯端末2との距離が閾値を超えている場合に、携帯端末2の表示部204aに表示されているリモート画面を示す図である。このリモート画面では、通常の操作画面D1に加えて、外キーに対応するソフトウェアキー300を有するキー表示部D2が表示されている。外キーに対応するキー300は、この実施形態では、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレータしたものである。
FIG. 6 is a diagram illustrating a remote screen displayed on the
ユーザーは、このキー表示領域D2に表示されたソフトウェアキー300を用いて、操作画面に対する入力操作を行うことができる。
The user can perform an input operation on the operation screen using the
なお、キー表示領域D2は、リモート画面を構成する画像の一部として操作画面D1の画像データと合成されて、画面データが生成されても良い。この場合、携帯端末2に表示されたキー表示領域D2のいずれかのキー300をユーザーがタッチした場合は、タッチ位置の座標データやタッチ状態(例えばタッチされたときのジェスチャー操作の種類)を示すタッチ情報が携帯端末2からMFP1へ送信され、MFP1は座標データを解析して操作されたキーやタッチ状態を特定し、次画面データを生成しあるいは対応する処理を行う。
The key display area D2 may be combined with the image data of the operation screen D1 as a part of an image constituting the remote screen to generate screen data. In this case, when the user touches any key 300 in the key display area D2 displayed on the
また、MFP1はキー表示部D2に含まれるキー300の配置情報を、操作画面D1の画面データと共に携帯端末2に画面データとして送信し、携帯端末2はこの配置情報に基づいて、各キー300を表示部204aに表示しても良い。この場合、携帯端末2に表示されたキー表示部D2のいずれかのキー300をユーザーがタッチした場合は、携帯端末2はキー300のオンオフ情報(キー300がボタンの場合はオン情報のみ、トグルスイッチの場合はオンオフ情報)をMFP1に送信する。MFP1はオンオフ情報を解析して操作されたキーを特定し、次画面データを生成しあるいは対応する処理を行う。
Further, the
このように、携帯端末2との距離が遠い場合は、携帯端末2には、外キーに対応するキー300が表示されたリモート画面が表示されるから、ユーザーはリモート画面に表示されたキーを用いて、操作画面に対する入力を行うことができる。
As described above, when the distance from the
一方、携帯端末2との距離が閾値以内の場合には、携帯端末2の表示部204aには図7に示すようなリモート画面が表示される。このリモート画面では、通常の操作画面D1
に加えて、MFP1の外キーを使用できることを示すメッセージD3が表示されている。
On the other hand, when the distance from the
In addition, a message D3 indicating that the external key of the
従って、このメッセージ表示によりユーザーに外キーの使用を促すことができ、ユーザーにとってはソフトウェアキーを携帯端末2に表示させることなく、MFP1の外キーを使用することができ、操作性の良いものとなる。
Accordingly, the message display can prompt the user to use the external key, and the user can use the external key of the
図8は、携帯端末2との距離が閾値以内の場合に、携帯端末2に表示されるリモート画面の他の例を示す図である。
FIG. 8 is a diagram illustrating another example of a remote screen displayed on the
この例では、操作画面D1は上下に2つの設定値入力エリアD11、D12を有している。そして、上側の設定値入力エリアD11が選択された状態となっていることを示す表示がなされている。図8では選択状態であることをハッチングを付して示している。設定値入力エリアD11、D12の何れを選択状態とするかは、予め設定されている。 In this example, the operation screen D1 has two set value input areas D11 and D12 at the top and bottom. A display indicating that the upper set value input area D11 is selected is displayed. In FIG. 8, the selected state is indicated by hatching. Which of the set value input areas D11 and D12 is to be selected is set in advance.
さらに、リモート画面内にはMFP1の外キーを使用できることを示すメッセージD4が表示されている。なお、メッセージD4は必ずしも表示されなくても良い。
Further, a message D4 indicating that the outside key of the
ユーザーがMFP1のキー部107aの外キーを操作することで、選択状態の設定値入力エリアD11に設定値を入力することができる。
The user can input a setting value in the setting value input area D11 in the selected state by operating the outside key of the
このように、携帯端末2との距離が閾値以内の場合には、設定値入力エリアD11、D12のうちいずれかの設定値入力エリアが選択状態となっているから、この選択状態の表示をもってユーザーに外キーの使用を促すことができ、ユーザーにとってはソフトウェアキーを携帯端末2に表示させることなく、MFP1の外キーを使用することができ、操作性の良いものとなる。
As described above, when the distance from the
一方、携帯端末2との距離が閾値を超える場合には、リモート画面は図9に示すように、すべての設定値入力エリアD11、D12が選択されていない状態で表示されている。これにより、このような被選択状態の表示をもって、ユーザーに外キーに対応するキーの表示を促すことができる。
On the other hand, when the distance from the
ユーザーがいずれかの設定値入力エリアをタッチすると、該設定値入力エリアが選択状態に切り替わると共に、MFP1からの画面データに基づいて、携帯端末2の表示部204aにソフトウェアテンキー等が表示される。ユーザーはこのソフトウェアキーを用いて、設定値を入力することができる。
When the user touches any set value input area, the set value input area is switched to a selected state, and a software numeric keypad or the like is displayed on the
図10及び図11は、この発明の他の実施形態を示すものである。この実施形態では、携帯端末2との距離が閾値を超える場合、携帯端末2の表示部204aには、MFP1からの画面データに基づいて、図10に示すように、設定値入力エリアを有する操作画面D5と共にソフトウェアテンキー301がリモート画面として表示されている。
10 and 11 show another embodiment of the present invention. In this embodiment, when the distance to the
この状態で、携帯端末2を所持するユーザーがMFP1に向かって移動した結果、携帯端末2との距離が閾値以内になったとする。すると、MFP1は新たな画面データを携帯端末2に送信し、携帯端末2の表示部204aには、図11に示すように、ソフトウェアテンキーの表示が消失しMFP1の外キーを使用できる旨のメッセージD6が表示されたリモート画面に切り替わる。つまり、ユーザーにMFP1の外キーの使用を促す画面に切り替わる。この結果、携帯端末2を所持したユーザがMFP1に近づいても、ソフトウェアキーが継続表示され操作性を妨げるという不都合を解消できる。
In this state, it is assumed that the user holding the
また、図示は省略したが、携帯端末2を所持するユーザーがMFP1から離間する方向
に移動して、携帯端末2との距離が閾値以内から閾値を超えるものとなった場合は、リモート画面は図11の表示から図10の表示へと切り替わる。
Although not shown in the figure, when the user holding the
図12は、MFP1と携帯端末2との間で実行される情報通信処理のシーケンス図である。
FIG. 12 is a sequence diagram of information communication processing executed between the
携帯端末2はMFP1に接続要求を送信すると(丸数字1)、MFP1は接続許可を応答する(丸数字2)。次いで、携帯端末2はMFP2に画面データの取得を要求すると(丸数字3)、MFP1は操作画面の画面データを携帯端末2に送信する(丸数字4)。
When the
次に、携帯端末2は外キーに対応するキーの画面データを要求する(丸数字5)。MFP1は、携帯端末2の位置情報を取得し、携帯端末2との距離を検出する。
Next, the
距離が閾値以下の場合つまり携帯端末2との距離が近い場合は、MFP1は、外キー対応キーが非表示でMFP1の外キーの使用を促すメッセージを含む画面データを生成し、携帯端末2に送信する(丸数字6)。携帯端末2は受信した画面データに基づいて、MFP1の外キーの使用を促すメッセージを含むリモート画面を表示する。
When the distance is equal to or smaller than the threshold value, that is, when the distance to the
一方、距離が閾値を超える場合つまり携帯端末2との距離が遠い場合は、MFP1は、外キーに対応するソフトウェアキーの配置情報を含む画面データを生成し、携帯端末2に送信する(丸数字7)。携帯端末2は受信した画面データに基づいて、外キーに対応するソフトウェアキーの配置情報に従ってソフトウェアキーが配置されたリモート画面を表示する。
On the other hand, when the distance exceeds the threshold value, that is, when the distance from the
携帯端末2に表示されたリモート画面において、ユーザーが、外キーに対応するソフトウェアキー300のうちのいずれかを押下すると、携帯端末2は、押下されたキー300のオンオフ情報(キー300がボタンの場合はオン情報のみ、トグルスイッチの場合はオンオフ情報)をMFP1に送信する(丸数字8)。MFP1は受信したオンオフ情報等を解析し、対応するジョブ処理等を実行し、あるいは次画面データの生成を実行する。
When the user presses one of the
図13は、MFP1と携帯端末2との間で実行される情報通信の別のシーケンス図である。
FIG. 13 is another sequence diagram of information communication executed between the
携帯端末2はMFP1に接続要求を送信すると(丸数字1)、MFP1は接続許可を応答する(丸数字2)。次いで、携帯端末2はMFP2に画面データの取得を要求すると(丸数字3)、MFP1は操作画面の画面データを携帯端末2に送信する(丸数字4)。
When the
次に、携帯端末2は外キーに対応するキーの画面データを要求する(丸数字5)。MFP1は、携帯端末2の位置情報を取得し、携帯端末2との距離を検出する。
Next, the
距離が閾値以下の場合つまり携帯端末2との距離が近い場合は、MFP1は、外キー対応キーが非表示でMFP1の外キーの使用を促すメッセージを含む画面データを生成して、携帯端末2に送信する(丸数字6)。携帯端末2は受信した画面データに基づいて、MFP1の外キーの使用を促すメッセージを含むリモート画面を表示する。
When the distance is equal to or smaller than the threshold value, that is, when the distance to the
一方、距離が閾値を超える場合つまり携帯端末2との距離が遠い場合は、MFP1は、外キーに対応するソフトウェアキーの画像データを含む画面データを生成し、携帯端末2に送信する(丸数字9)。携帯端末2は受信した画面データに基づいて、外キーに対応するソフトウェアキーを有するリモート画面を表示する。
On the other hand, when the distance exceeds the threshold value, that is, when the distance from the
携帯端末2に表示されたリモート画面において、ユーザーが、外キーに対応するソフトウェアキー300のうちのいずれかを押下すると、携帯端末2は、押下されたキー300の位置を示す座標データとタッチ情報をMFP1に送信する(丸数字10)。MFP1は受信した座標データ等を解析し、対応するジョブ処理等を実行し、あるいは次画面データの生成を実行する。
When the user presses any one of the
図14は、MFP1の動作を示すフローチャートである。この動作は、MFP1のCPU101がROM102等の記録媒体に記録された動作プログラムに従って動作することにより実行される。
FIG. 14 is a flowchart showing the operation of the
ステップS01で携帯端末2からの接続要求を待ち、接続要求あれば(ステップS01でYES)、ステップS02で、接続許可を応答する。
In step S01, a connection request from the
次いで、ステップS03で、携帯端末2から画面データの取得要求を待ち、取得要求があれば(ステップS03でYES)、ステップS04で自装置の操作画面データを携帯端末2に送信する。
Next, in step S03, the
ステップS05では、携帯端末2との距離を検出し、ステップS06では、携帯端末2との距離が閾値を超えるかどうかを判断する。閾値を超えていなければ(ステップS06でNO)、ステップS09で、MFP1の外キーに対応するキーが非表示で、かつMFP1の外キーの使用を促すメッセージを有する画面データを生成した後、ステップS10に進む。閾値を超えていれば(ステップS06でYES)、ステップS07で、外キーに対応するキーの画像を生成し、ステップS08で、生成した画像を操作画面の画像に合成して画面データを生成したのち、ステップS10に進む。
In step S05, the distance to the
ステップS10では、生成した画面データを携帯端末2に送信し、ステップS11で、画面内容に変更があるかどうかを判断する。変更があれば(ステップS11でYES)、ステップS05に戻る。変更がなければ(ステップS11でNO)、ステップS12で、携帯端末2からタッチ位置の座標データ等の操作情報を受信したかどうかを判断する。受信していなければ(ステップS12でNO)、ステップS11に戻る。受信すると(ステップS12でYES)、ステップS13に進む。
In step S10, the generated screen data is transmitted to the
ステップS13では、受信した操作情報に含まれる座標データとタッチ情報を解析し、次画面データの生成、ジョブの実行等の対応する処理を行う。 In step S13, coordinate data and touch information included in the received operation information are analyzed, and corresponding processing such as generation of next screen data and execution of a job is performed.
次いで、ステップS14で、携帯端末2が接続中かどうかを調べ、接続中であれば(ステップS14でYES)、ステップS05に戻る。接続中でなければ(ステップS14でNO)、処理を終了する。
Next, in step S14, it is checked whether or not the
図15は携帯端末2の動作を示すブロック図である。
FIG. 15 is a block diagram showing the operation of the
携帯端末2はステップS21で、接続要求をMFP2に送信し、ステップS22では、MFP2から接続許可の応答があるのを待つ。接続許可の応答があれば(ステップS22でYES)、ステップS23で、画面データの取得要求をMFP2に送信する。
In step S21, the
次いで、ステップS24で、画面データを受信するのを待つ。受信すると(ステップS24でYES)、ステップS25で、受信した画面データに基づくリモート画面を表示部204aに表示したのち、ステップS26で、外キー対応画面データの取得要求をMFP1に送信する。
Next, in step S24, it waits for reception of screen data. When received (YES in step S24), in step S25, a remote screen based on the received screen data is displayed on the
ステップS27では画面データを受信し、ステップS28では画面データに基づいてリモート画面を表示する。この画面は、携帯端末2のMFP1との距離が閾値を超える場合は、外キーに対応するキーが表示された画面であり、携帯端末2のMFP1との距離が閾値以内の場合は、外キーに対応するキーは非表示であり、外キーの使用を促すメッセージが表示された画面である。
In step S27, screen data is received, and in step S28, a remote screen is displayed based on the screen data. This screen is a screen on which a key corresponding to the external key is displayed when the distance between the
次に、ステップS29では、リモート画面に対してユーザによりタッチ操作を行われたかどうかを判断し、行われなければ(ステップS29でNO)、ステップS28に戻る。タッチ操作が行われると(ステップS29でYES)、ステップS30では、接続終了の操作かどうかを判断する。接続終了の操作であれば(ステップS30でYES)、処理を終了する。接続終了の操作でなければ(ステップS30でYES)、ステップS31で、タッチ位置の座標データとタッチ情報をMFP1に通知した後、ステップS24に戻る。
Next, in step S29, it is determined whether or not a touch operation has been performed by the user on the remote screen. If not (NO in step S29), the process returns to step S28. When a touch operation is performed (YES in step S29), it is determined in step S30 whether the operation is a connection end operation. If it is a connection termination operation (YES in step S30), the process is terminated. If the operation is not a connection termination operation (YES in step S30), in step S31, the coordinate data and touch information of the touch position are notified to the
1 画像形成装置
2 携帯端末装置
101 CPU
102 ROM
104 スキャナ部
105 プリント部
106 記憶部
107 操作パネル部
107b 表示部
109 WIFIモジュール
111 USBインターフェース
120、121 外キー
201 CPU
202 RAM
203 記憶部
204a 表示部
204b 操作部
205 WIFIモジュール
207 USBインターフェース
209 連携部
300 外キーに対応するキー
D11、D12 数値入力エリア
DESCRIPTION OF
102 ROM
104
202 RAM
203
Claims (20)
ハードウェアにより構成された外キーと、
前記接続手段により接続された携帯端末装置との距離を検出する距離検出手段と、
前記接続手段によって前記携帯端末装置と接続されている状態において、自装置の操作画面を、前記携帯端末装置にリモート画面として表示させるためのデータを前記携帯端末装置に送信する送信手段と、
を備え、
前記送信手段は、自装置が前記携帯端末装置に接続された状態であって、かつ前記携帯端末装置から、外キー対応の画面データの送信要求を受信し、前記操作画面が前記外キーを使用して入力可能な操作画面である場合において、前記距離検出手段により検出された携帯端末装置との距離が一定値以下である場合に、前記外キーの使用を促す表示を前記携帯端末装置にさせるためのデータを前記携帯端末装置に送信する、ことを特徴とする画像処理装置。 A connection means connectable to the mobile terminal device;
An external key configured by hardware,
Distance detection means for detecting a distance from the mobile terminal device connected by the connection means;
Transmitting means for transmitting, to the mobile terminal device, data for causing the mobile terminal device to display the operation screen as a remote screen in a state where the mobile device is connected to the mobile terminal device by the connecting means;
With
The transmission means is in a state where the own device is connected to the mobile terminal device, and receives a transmission request for screen data corresponding to an external key from the mobile terminal device , and the operation screen uses the external key. In the case of the operation screen that can be input, if the distance from the mobile terminal device detected by the distance detection means is equal to or less than a certain value, the mobile terminal device displays a display prompting the use of the external key. Data for transmitting to the portable terminal device.
前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である請求項1〜6のいずれかに記載の画像処理装置。 When the distance from the mobile terminal device detected by the distance detection unit exceeds a certain value, the transmission unit displays an operation screen on the mobile terminal device with a display prompting display of a key corresponding to the external key. Transmitting data to be displayed to the portable terminal device;
The operation screen has at least one set value input area, and the display for prompting the display of the key corresponding to the outside key is a display indicating that the set value input area is not selected. The image processing apparatus according to any one of 1 to 6.
前記接続手段により接続された携帯端末装置との距離を検出する距離検出ステップと、
前記接続手段によって前記携帯端末装置と接続されている状態において、自装置の操作画面を、前記携帯端末装置にリモート画面として表示させるためのデータを前記携帯端末装置に送信する送信ステップと、
を実行させ、
前記送信ステップでは、自装置が前記携帯端末装置に接続された状態であって、かつ前記携帯端末装置から、外キー対応の画面データの送信要求を受信し、前記操作画面が前記外キーを使用して入力可能な操作画面である場合において、前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下である場合に、前記外キーの使用を促す表示を前記携帯端末装置にさせるためのデータを前記携帯端末装置に送信する処理を、前記コンピュータに実行させるためのリモート画面制御プログラム。 In a computer of an image processing apparatus provided with connection means connectable to a portable terminal device and an external key configured by hardware,
A distance detection step of detecting a distance from the mobile terminal device connected by the connection means;
A transmission step of transmitting data for displaying the operation screen of the device as a remote screen to the mobile terminal device in a state of being connected to the mobile terminal device by the connection means;
And execute
In the transmission step, the device itself is connected to the portable terminal device, and a transmission request for screen data corresponding to the foreign key is received from the portable terminal device , and the operation screen uses the foreign key. In the case of the operation screen that can be input, when the distance from the mobile terminal device detected by the distance detection step is a predetermined value or less, the mobile terminal device is caused to display a display prompting the use of the external key. The remote screen control program for making the said computer perform the process which transmits the data for this to the said portable terminal device.
前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である請求項11〜16のいずれかに記載のリモート画面制御プログラム。 When the distance to the mobile terminal device detected by the distance detection step exceeds a certain value, the transmission step displays an operation screen on the mobile terminal device that is displayed to prompt the display of the key corresponding to the external key. Causing the computer to execute a process of transmitting data for display to the portable terminal device;
The operation screen has at least one set value input area, and the display for prompting the display of the key corresponding to the outside key is a display indicating that the set value input area is not selected. The remote screen control program according to any one of 11 to 16.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017022530A JP6418258B2 (en) | 2017-02-09 | 2017-02-09 | Image processing apparatus and remote screen control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017022530A JP6418258B2 (en) | 2017-02-09 | 2017-02-09 | Image processing apparatus and remote screen control program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012289151A Division JP6089702B2 (en) | 2012-12-28 | 2012-12-28 | Image processing apparatus, screen data generation method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017103814A JP2017103814A (en) | 2017-06-08 |
JP6418258B2 true JP6418258B2 (en) | 2018-11-07 |
Family
ID=59017173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017022530A Active JP6418258B2 (en) | 2017-02-09 | 2017-02-09 | Image processing apparatus and remote screen control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6418258B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6990839B2 (en) * | 2017-06-30 | 2022-01-12 | 京セラドキュメントソリューションズ株式会社 | Remote communication system |
US10853007B2 (en) | 2018-03-19 | 2020-12-01 | Ricoh Company, Ltd. | Information processing apparatus configured to adjust a display of an icon based on whether an associated application is executable on an external apparatus connected thereto, information processing method, and computer-readable recording medium |
CN110928762B (en) * | 2019-09-11 | 2023-11-21 | 珠海亿智电子科技有限公司 | Display screen debugging method and system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003050661A (en) * | 2001-08-06 | 2003-02-21 | Casio Comput Co Ltd | Electronic equipment with communicating function and communication program |
JP5304829B2 (en) * | 2011-03-31 | 2013-10-02 | ブラザー工業株式会社 | Image recording apparatus, portable terminal, image recording system, and program |
JP6089702B2 (en) * | 2012-12-28 | 2017-03-08 | コニカミノルタ株式会社 | Image processing apparatus, screen data generation method, and program |
-
2017
- 2017-02-09 JP JP2017022530A patent/JP6418258B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017103814A (en) | 2017-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5720661B2 (en) | Mobile terminal device, image processing cooperation system, screen data display method and display program | |
US8958105B2 (en) | Image processing system, image processing apparatus control method, and recording medium storing image processing apparatus control program | |
JP5776725B2 (en) | Image processing cooperation system, portable terminal device, image processing cooperation method, and image processing cooperation program | |
JP5765366B2 (en) | Image processing device, portable terminal device, remote screen data creation program and display control program | |
US20170295288A1 (en) | Operation input system, electronic device and mobile terminal | |
EP2966563B1 (en) | Contact information transfer system, contact information transfer method, portable terminal apparatus, and contact information transfer program | |
JP6035985B2 (en) | Image processing apparatus, control program for image processing apparatus, and image processing system | |
EP2712167B1 (en) | Image processing apparatus, operation standardization method, and computer-readable recording medium encoded with operation standardization program | |
JP5696721B2 (en) | Display processing apparatus, image forming apparatus, remote screen display processing system, and display processing method | |
JP6003939B2 (en) | Image processing linkage system and linkage method, portable terminal device, and image processing linkage program | |
JP6252028B2 (en) | Image processing system, image processing apparatus, and remote screen display control program | |
JP6418258B2 (en) | Image processing apparatus and remote screen control program | |
JP2015172875A (en) | Image processor and system including the same | |
JP6089702B2 (en) | Image processing apparatus, screen data generation method, and program | |
JP5692541B2 (en) | Image processing linkage system, linkage method, portable terminal device, and linkage program | |
JP5907002B2 (en) | Image processing cooperation system, image processing device, and portable terminal device | |
JP6191470B2 (en) | Image processing system, image processing apparatus, and portable terminal device | |
US20160219161A1 (en) | Image processing system, image processing device, terminal device and non-transitory readable recording medium | |
US8873077B2 (en) | Image forming apparatus, application switching method, and non-transitory computer-readable recording medium encoded with application switching program | |
JP6127800B2 (en) | Image processing system, remote screen display control method, portable terminal device, and remote screen display control program | |
JP2022138660A (en) | Information processing apparatus, control method for information processing, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171128 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6418258 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |