JP6053842B2 - Remote support method for mobile communication terminals using screenshots - Google Patents

Remote support method for mobile communication terminals using screenshots Download PDF

Info

Publication number
JP6053842B2
JP6053842B2 JP2015033108A JP2015033108A JP6053842B2 JP 6053842 B2 JP6053842 B2 JP 6053842B2 JP 2015033108 A JP2015033108 A JP 2015033108A JP 2015033108 A JP2015033108 A JP 2015033108A JP 6053842 B2 JP6053842 B2 JP 6053842B2
Authority
JP
Japan
Prior art keywords
mobile communication
communication terminal
computer
remote support
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015033108A
Other languages
Japanese (ja)
Other versions
JP2015158914A (en
Inventor
ヒョン ス ソ
ヒョン ス ソ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rsupport Co Ltd
Original Assignee
Rsupport Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rsupport Co Ltd filed Critical Rsupport Co Ltd
Publication of JP2015158914A publication Critical patent/JP2015158914A/en
Application granted granted Critical
Publication of JP6053842B2 publication Critical patent/JP6053842B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs

Description

本発明は、移動体通信網２１の移動局である移動体通信端末１０への遠隔サポート方法に関し、コンピュータ４０に搭載された遠隔サポートプログラムと移動体通信端末１０に搭載された遠隔サポートプログラムとが、それぞれ実行された後、移動体通信端末１０の運用体系がスクリーンショット１１を抽出すると、移動体通信端末１０の遠隔サポートプログラムが、記憶装置に保存（記録）されたスクリーンショット１１を引き出して伝送し、伝送されたスクリーンショット１１をコンピュータ４０の遠隔サポートプログラムが受信して出力することにより、移動体通信端末１０の運用体系の応用プログラムである遠隔サポートプログラムに対する上位権限の付与がなくても、コンピュータ４０の使用者が移動体通信端末１０の画面を確認することを可能にするものに関する。   The present invention relates to a remote support method for the mobile communication terminal 10 that is a mobile station of the mobile communication network 21, and includes a remote support program installed in the computer 40 and a remote support program installed in the mobile communication terminal 10. After each execution, when the operation system of the mobile communication terminal 10 extracts the screen shot 11, the remote support program of the mobile communication terminal 10 extracts and transmits the screen shot 11 stored (recorded) in the storage device. Then, by receiving and outputting the transmitted screen shot 11 by the remote support program of the computer 40, even if no higher authority is given to the remote support program which is an application program of the operation system of the mobile communication terminal 10, The user of the computer 40 confirms the screen of the mobile communication terminal 10 On those that enable the Rukoto.

移動体通信網２１を通じたデータ処理能力の飛躍的な発展及び無線ＬＡＮ（ｗｉｒｅｌｅｓｓ ＬＡＮ）２２の拡散とともに、大容量の制御演算装置及び記憶装置はもとより、高解像度のタッチスクリーンが入出力装置として装着された高機能移動体通信端末１０の普及が拡大することにより、過去においてはデスクトップコンピュータで行われたマルチメディア情報の処理等の作業が、移動体通信端末１０を通じて行われている。   Along with the dramatic development of data processing capability through the mobile communication network 21 and the spread of wireless LAN (wireless LAN) 22, not only large-capacity control arithmetic devices and storage devices, but also high-resolution touch screens are installed as input / output devices. The spread of the high-function mobile communication terminal 10 is expanded, and in the past, operations such as processing of multimedia information performed by a desktop computer are performed through the mobile communication terminal 10.

いわゆる、スマートフォンと呼ばれる高機能移動体通信端末１０には、高性能な制御演算装置、大容量の記憶装置、及び高解像度のタッチスクリーンが採用され、一般のデスクトップコンピュータに匹敵する情報処理容量及びグラフィックユーザインタフェース（ＧＵＩ：Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）が提供されているので、音声通話及びショートメッセージサービス（ＳＭＳ：Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）に限られた従来の移動体通信端末１０の機能を越えて、事実上、携帯型のコンピュータの役割をしているが、このように、移動体通信端末１０の使用方式が複雑になることにより、新たな通信環境に慣れていないほとんどの一般の使用者が、移動体通信端末１０の利用に困難を感じているだけでなく、操作ミスによる誤作動、データ損失、個人情報の流出、及び過度な通信料の負担等の被害を被ることが実状である。   A so-called high-performance mobile communication terminal 10 called a smartphone employs a high-performance control arithmetic device, a large-capacity storage device, and a high-resolution touch screen, and has an information processing capacity and graphics comparable to a general desktop computer. Since a user interface (GUI: Graphic User Interface) is provided, it is practically beyond the functions of the conventional mobile communication terminal 10 limited to voice calls and short message services (SMS). However, since the usage method of the mobile communication terminal 10 is complicated as described above, most general users who are not accustomed to the new communication environment can use the mobile communication terminal. Just feel difficult to use 10 Ku, malfunction due to misoperation, data loss, leakage of personal information, and may suffer damage burden such excessive communication charge is actual situation.

そこで、高機能な移動体通信端末１０を有する使用者を加入者とした通信社、移動体通信端末１０の製造会社、無線網２０によって接続され、有料データ、応用プログラム等を配布するインターネット情報提供業者等が、使用者の同意の下で、移動体通信端末１０を遠隔制御するような遠隔サポートサービスを提供することにより、高機能な移動体通信端末１０の操作に未熟な一般の使用者のインターネットアクセス及びデータ送受信方法を案内し、遠隔操作するだけでなく、誤作動及び故障への措置を遠隔地から行うようにした、関連の従来技術として韓国特許第１２４５６２４号が挙げられる。   Therefore, Internet information provision that distributes paid data, application programs, etc., connected by a communication company whose subscriber is a user having a high-performance mobile communication terminal 10, a manufacturer of the mobile communication terminal 10, and a wireless network 20. By providing a remote support service such that a vendor or the like remotely controls the mobile communication terminal 10 with the consent of the user, a general user who is unskilled in the operation of the highly functional mobile communication terminal 10 Korean Patent No. 1245624 is a related prior art that guides the Internet access and data transmission / reception method and performs remote operation as well as measures against malfunctions and failures from a remote location.

図１は、韓国特許第１２４５６２４号を始めとする従来の遠隔サポートを行う各構成要素の接続関係を示すものであり、同図に示されるように、移動体通信端末１０の遠隔サポートは、移動体通信網２１の移動局である移動体通信端末１０、移動体通信網２１又は無線ＬＡＮ２２等の無線網２０、及びインターネットと接続されたコンピュータ４０等によって行われる。   FIG. 1 shows the connection relationship of each component that performs conventional remote support such as Korean Patent No. 1245624. As shown in FIG. 1, the remote support of the mobile communication terminal 10 is mobile. It is performed by the mobile communication terminal 10 which is a mobile station of the mobile communication network 21, the mobile communication network 21 or the wireless network 20 such as the wireless LAN 22, and the computer 40 connected to the Internet.

ここで、無線網２０とは、図示されたように、ＴＤＭＡ（Ｔｉｍｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式等の移動体通信網２１と、ＴＣＰ／ＩＰ（Ｔｒａｎｓｐｏｒｔ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）基盤通信を行うＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ−Ｆｉｄｅｌｉｔｙ）（商品名）の無線ＬＡＮ２２とを通称するものであって、無線網２０を構成する無線ＬＡＮ２２及び移動体通信網２１は、それぞれゲートウェイサーバ３１、及び一種のゲートウェイサーバ３１と言える通信社サーバ３２を介してインターネットに接続され、被支援側の移動体通信端末１０を遠隔サポートする支援側のコンピュータ４０もインターネットと接続される。   Here, the wireless network 20 includes a mobile communication network 21 such as a time division multiple access (TDMA) method and a code division multiple access (CDMA) method, and a TCP / IP (Transport Control Protocol / Internet). A wireless LAN 22 of Wi-Fi (Wireless-Fidelity) (product name) for performing protocol-based communication, and the wireless LAN 22 and the mobile communication network 21 constituting the wireless network 20 are respectively connected to a gateway server 31. , And a type of gateway server 31, which is connected to the Internet via a communication company server 32, and is used to remotely support the supported mobile communication terminal 10. Yuta 40 is also connected to the Internet.

このような移動体通信端末１０の遠隔サポートは、移動体通信網２１及び無線ＬＡＮ２２等の無線網２０を通じたデータ通信を基盤として行われるものであって、上述した通信社、移動体通信端末１０の製造会社又はインターネット情報提供業者の相談員と移動体通信端末１０の使用者との間において、音声通話、又はショートメッセージサービス、マルチメディアメッセージサービス（ＭＭＳ：Ｍｕｌｔｉｍｅｄｉａ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）及びモバイルメッセンジャー等を通じたテキストメッセージと一緒に行われ、図２に示されるように、遠隔サポートサービスの過程で、被支援側の移動体通信端末１０の画面がそのまま支援側のコンピュータ４０の画面に表示される（特許文献１参照。）。   Such remote support of the mobile communication terminal 10 is performed on the basis of data communication through the wireless network 20 such as the mobile communication network 21 and the wireless LAN 22. Between a counselor of a manufacturing company or an Internet information provider and a user of the mobile communication terminal 10 through a voice call, a short message service, a multimedia message service (MMS), a mobile messenger, or the like As shown in FIG. 2, the screen of the supported mobile communication terminal 10 is displayed as it is on the screen of the support computer 40 in the process of remote support service, as shown in FIG. 1).

韓国特許第１２４５６２４号公報Korean Patent No. 1245624

図２に示されるように、従来の移動体通信端末１０の遠隔サポートサービスが行われる場合、支援側のコンピュータ４０の画面には、被支援側の移動体通信端末１０の画面がそのまま出力され、遠隔サポートの遂行中、移動体通信端末１０の使用者が自身の移動体通信端末１０を直接操作するか、又は、通信社の相談員等の支援側のコンピュータ４０の使用者が、遠隔サポートサービスの一環として被支援側の移動体通信端末１０に対する遠隔制御を行うことによって移動体通信端末１０を操作すると、変更された移動体通信端末１０の画面が実時間で伝送され、コンピュータ４０の画面に出力される。   As shown in FIG. 2, when the remote support service of the conventional mobile communication terminal 10 is performed, the screen of the support side mobile communication terminal 10 is output as it is on the screen of the support side computer 40, While the remote support is being performed, the user of the mobile communication terminal 10 directly operates the mobile communication terminal 10 or the user of the support side computer 40 such as a counselor of a communication company provides a remote support service. When the mobile communication terminal 10 is operated by performing remote control on the supported mobile communication terminal 10 as part of the process, the changed screen of the mobile communication terminal 10 is transmitted in real time and displayed on the screen of the computer 40. Is output.

したがって、通信社の相談員等のコンピュータ４０の使用者は、遠隔地の被支援側の移動体通信端末１０の画面をコンピュータ４０の画面から正確に把握することができ、このような遠隔地のコンピュータ４０における被支援側の移動体通信端末１０の画面出力は、遠隔サポートサービスにおける基本前提かつ核心要素と言える。   Accordingly, a user of the computer 40 such as a counselor of a communication company can accurately grasp the screen of the mobile communication terminal 10 on the remote side to be supported from the screen of the computer 40. The screen output of the supported mobile communication terminal 10 on the computer 40 can be said to be a basic premise and a core element in the remote support service.

従来の移動体通信端末１０の遠隔サポートサービスにおいて、移動体通信端末１０の画面情報の抽出及び遠隔地のコンピュータ４０への伝送は、移動体通信端末１０に搭載された遠隔サポートプログラムにより行われるが、ここで、遠隔サポートプログラムは、移動体通信端末１０の運用体系の応用プログラム（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ）であって、当該移動体通信端末１０の運用体系から与えられた権限（ｐｅｒｍｉｓｓｉｏｎ）により、移動体通信端末１０の作動を制御し、データの入力及び出力を行うようになる。   In the conventional remote support service of the mobile communication terminal 10, the screen information of the mobile communication terminal 10 is extracted and transmitted to the remote computer 40 by a remote support program installed in the mobile communication terminal 10. Here, the remote support program is an application program (application program) of the operation system of the mobile communication terminal 10, and the mobile communication is performed according to the authority given from the operation system of the mobile communication terminal 10. The operation of the terminal 10 is controlled to input and output data.

運用体系の種類及びバージョンにより異なるが、一般に、移動体通信端末１０の運用体系の応用プログラムに与えられる権限は、最上位権限であるルート権限、その次の権限であるシステム権限、及び一般使用者の権限であるユーザ権限に大別され、これらの権限は、運用体系内のアクセス可能領域により細分されるが、上述した移動体通信端末１０の画面の実時間での抽出及び伝送を行うためには、入出力制御が可能なルート権限又はシステム権限等の上位権限の設定が必要である。   Generally, the authority given to the application program of the operation system of the mobile communication terminal 10 is the root authority which is the highest authority, the system authority which is the next authority, and the general user, although it varies depending on the type and version of the operation system. In order to perform extraction and transmission of the screen of the mobile communication terminal 10 described above in real time, these authorities are subdivided into accessible areas in the operation system. Therefore, it is necessary to set a higher authority such as a root authority or a system authority capable of input / output control.

しかしながら、移動体通信端末１０の運用体系の製作会社、移動体通信端末１０の製造会社等は、保安の確保、応用プログラム別付与権限の細分による開発費の上昇、自社配布応用プログラムの市場確保、及び自社運用体系の遂行機能の競争者による蚕食の遮断を目的として、遠隔サポートプログラム等の一般応用プログラムに相対的に下位の権限を付与する方針を維持している。   However, manufacturers of mobile communication terminal 10 operating systems, mobile communication terminal 10 manufacturing companies, etc. ensure security, increase development costs due to subdivision of grant authority by application program, secure the market for in-house distributed application programs, In addition, for the purpose of blocking beggars by competitors in the performance function of the in-house operation system, a policy of granting relatively lower authority to general application programs such as remote support programs is maintained.

したがって、被支援側の移動体通信端末１０の画面情報の抽出及び伝送等の遠隔サポートプログラムの作動に制約が生じ、このため、移動体通信端末１０への遠隔サポートサービスが活性化しないという深刻な問題点があった。   Therefore, the operation of the remote support program such as the extraction and transmission of the screen information of the supported mobile communication terminal 10 is restricted, and therefore, the remote support service to the mobile communication terminal 10 is not activated. There was a problem.

そこで、エンベディッド方式の遠隔サポートプログラム、すなわち、移動体通信端末１０の運用体系の製作会社又は移動体通信端末１０の製造会社において、移動体通信端末１０の販売前に特定の遠隔サポートプログラムを運用体系に含ませる方式、又は移動体通信端末１０に搭載する方式が考えられるが、このようなエンベディッド方式は、移動体通信端末１０の製造費又は運用体系の制作費を上昇させる要因となり、消費者の負担を大きくするだけでなく、不特定多数の使用者が極少数の製造会社の移動体通信端末１０又は通信社サービスを用いる移動体通信産業の特性上、特定の運用体系又は遠隔サポートプログラムの独占を許容する深刻な問題点を引き起こし得る。   Therefore, an embedded remote support program, that is, a mobile communication terminal 10 operating system manufacturing company or a mobile communication terminal 10 manufacturing company, a specific remote support program is operated before the mobile communication terminal 10 is sold. Or embedded in the mobile communication terminal 10, such an embedded method increases the manufacturing cost of the mobile communication terminal 10 or the production cost of the operation system. Due to the characteristics of the mobile communication industry, which not only increases the burden, but uses an unspecified number of users of the mobile communication terminal 10 or the service of a very small number of manufacturing companies, a specific operation system or monopoly of a remote support program Can cause serious problems.

また、遠隔サポートプログラムをエンベディッド方式として搭載する場合、遠隔サポートを必要としない使用者の移動体通信端末１０が、遠隔制御等の不要な遠隔サポートのアクセスに露出してしまう深刻な保安上の問題点を生じるだけでなく、遠隔サポートサービスの使用者の選択権を剥奪し、関連ソフトウェア及びサービスの発展を阻害するという深刻な問題点を引き起こし得る。   Further, when the remote support program is installed as an embedded system, a serious security problem that the mobile communication terminal 10 of a user who does not need remote support is exposed to unnecessary remote support access such as remote control. Not only does this create a point, but it can cause serious problems such as depriving the user of the remote support service of the choice and hindering the development of related software and services.

本発明は、上記問題点に鑑みてなされたものであり、その目的は、応用プログラムによる移動体通信端末１０の画面情報の実時間の任意抽出が不可能な下位権限だけが遠隔サポートプログラムに付与されていても、遠隔サポートを行うコンピュータ４０の画面から被支援側の移動体通信端末１０の画面を把握することが可能な、スクリーンショットを用いた移動体通信端末の遠隔サポート方法を提供することにある。   The present invention has been made in view of the above-mentioned problems, and its purpose is to give only a lower authority that cannot arbitrarily extract real-time screen information of the mobile communication terminal 10 by an application program to the remote support program. To provide a remote support method of a mobile communication terminal using a screen shot, which can grasp the screen of the supported mobile communication terminal 10 from the screen of a computer 40 that performs remote support It is in.

上述した目的を達成するために、本発明によるスクリーンショットを用いた移動体通信端末の遠隔サポート方法は、移動体通信網２１の移動局である移動体通信端末１０を、インターネット及び無線網２０と接続されたコンピュータ４０が遠隔サポートする方法において、コンピュータ４０に搭載された遠隔サポートプログラムと移動体通信端末１０に搭載された遠隔サポートプログラムとが、それぞれ実行され、遠隔サポートプログラムが実行中のコンピュータ４０の画面に表示領域５１が設定され、移動体通信端末１０とコンピュータ４０との間の通信路が開設される実行段階（Ｓ１１）と、移動体通信端末１０の運用体系が、使用者による移動体通信端末１０の所定の操作に伴って、遠隔サポートプログラムによることなく移動体通信端末１０のスクリーンショット１１を抽出し、移動体通信端末１０の記憶装置に保存する抽出段階（Ｓ１２）と、移動体通信端末１０の遠隔サポートプログラムが移動体通信端末１０の記憶装置に保存されたスクリーンショット１１を引き出し、コンピュータ４０に伝送する伝送段階（Ｓ３０）と、コンピュータ４０の遠隔サポートプログラムがスクリーンショット１１を受信し、コンピュータ４０の記憶装置に保存し、コンピュータ４０の画面の表示領域５１に、受信されたスクリーンショット１１を出力する出力段階（Ｓ４０）とから成ることを特徴とする。   In order to achieve the above-described object, a method for remotely supporting a mobile communication terminal using a screen shot according to the present invention includes a mobile communication terminal 10 that is a mobile station of a mobile communication network 21, and the Internet and a radio network 20. In the method of remote support by the connected computer 40, the remote support program installed in the computer 40 and the remote support program installed in the mobile communication terminal 10 are respectively executed, and the computer 40 in which the remote support program is being executed. The display area 51 is set on the screen and the execution stage (S11) in which the communication path between the mobile communication terminal 10 and the computer 40 is opened, and the operation system of the mobile communication terminal 10 is determined by the user's mobile body. In accordance with a predetermined operation of the communication terminal 10, mobile communication without using a remote support program The screen shot 11 of the terminal 10 is extracted and stored in the storage device of the mobile communication terminal 10 (S12), and the remote support program of the mobile communication terminal 10 is stored in the storage device of the mobile communication terminal 10 The transmission step (S30) for extracting the screen shot 11 and transmitting it to the computer 40, and the remote support program of the computer 40 receives the screen shot 11, stores it in the storage device of the computer 40, and displays it in the display area 51 of the screen of the computer 40. And an output step (S40) for outputting the received screen shot 11.

また、前記実行段階（Ｓ１１）が行われた後、遠隔サポートプログラムが実行中のコンピュータ４０の画面には、メッセージ領域５２が設定され、コンピュータ４０の遠隔サポートプログラムが、メッセージ領域５２に入力された文字列を移動体通信端末１０に伝送するメッセージ伝送段階（Ｓ１２）が行われ、移動体通信端末１０の遠隔サポートプログラムが伝送された文字列を受信し、移動体通信端末１０の画面に出力するメッセージ出力段階（Ｓ１３）が行われることを特徴とする。   After the execution step (S11), the message area 52 is set on the screen of the computer 40 on which the remote support program is being executed, and the remote support program of the computer 40 is input to the message area 52. A message transmission step (S12) for transmitting the character string to the mobile communication terminal 10 is performed, and the remote support program of the mobile communication terminal 10 is received and output to the screen of the mobile communication terminal 10. A message output step (S13) is performed.

そして、前記実行段階（Ｓ１１）では、コンピュータ４０に搭載された遠隔サポートプログラムと移動体通信端末１０に搭載された遠隔サポートプログラムとが、それぞれ実行され、遠隔サポートプログラムが実行中であり、遠隔サポートが行われているときのコンピュータ４０の画面に、表示領域５１及び索引領域５３が設定され、移動体通信端末１０とコンピュータ４０との間の通信路が開設され、抽出段階（Ｓ２０）乃至出力段階（Ｓ４０）が繰り返し行われ、コンピュータ４０の記憶装置に多数のスクリーンショット１１が保存された後、コンピュータ４０の遠隔サポートプログラムが、保存された多数のスクリーンショット１１を引き出し、それぞれのスクリーンショット１１に対応する縮小イメージである索引イメージ５４を生成し、生成した多数の索引イメージ５４を索引領域５３に出力する索引段階（Ｓ６１）が行われ、コンピュータ４０のポインティングデバイスが索引領域５３において操作されることにより、コンピュータ４０の遠隔サポートプログラムが、当該索引イメージ５４に対応するスクリーンショット１１をコンピュータ４０の記憶装置から引き出し、表示領域５１に出力する引出段階（Ｓ６２）が行われることを特徴とする。   In the execution step (S11), the remote support program installed in the computer 40 and the remote support program installed in the mobile communication terminal 10 are respectively executed, and the remote support program is being executed. The display area 51 and the index area 53 are set on the screen of the computer 40 when the communication is performed, a communication path between the mobile communication terminal 10 and the computer 40 is established, and the extraction stage (S20) to the output stage (S40) is repeatedly performed and a large number of screen shots 11 are stored in the storage device of the computer 40. Then, the remote support program of the computer 40 extracts the large number of stored screen shots 11 and displays the screen shots 11 in the respective screen shots 11. The corresponding reduced image, index image 54, is created. Then, an index step (S61) for outputting the generated many index images 54 to the index area 53 is performed, and the pointing device of the computer 40 is operated in the index area 53, so that the remote support program of the computer 40 The screen shot 11 corresponding to the index image 54 is extracted from the storage device of the computer 40 and output to the display area 51 (S62).

また、前記出力段階（Ｓ４０）又は前記引出段階（Ｓ６２）が行われた後、コンピュータ４０のポインティングデバイスが表示領域５１において操作されることにより、コンピュータ４０の遠隔サポートプログラムが、表示領域５１に出力されたスクリーンショット１１を修正し、サポートイメージ５５を生成するイメージ生成段階（Ｓ５１）が行われ、生成されたサポートイメージ５５を、コンピュータ４０の遠隔サポートプログラムが移動体通信端末１０に伝送するイメージサポート段階（Ｓ５２）が行われ、移動体通信端末１０の遠隔サポートプログラムが、伝送されたサポートイメージ５５を受信し、画面に出力するイメージ出力段階（Ｓ５３）が行われることを特徴とする。   Further, after the output step (S40) or the withdrawal step (S62) is performed, the remote support program of the computer 40 is output to the display region 51 by operating the pointing device of the computer 40 in the display region 51. An image generation step (S51) of correcting the screen shot 11 and generating the support image 55 is performed, and the remote support program of the computer 40 transmits the generated support image 55 to the mobile communication terminal 10. The step (S52) is performed, and the remote support program of the mobile communication terminal 10 receives the transmitted support image 55 and outputs an image to the screen (S53).

本発明によれば、移動体通信端末１０の運用体系の応用プログラムの付与権限体系を変更したり、エンベディッド方式の遠隔サポートプログラムを適用したりすることなく、無線網２０及びインターネットを介した移動体通信端末１０への遠隔地コンピュータ４０の遠隔サポートが可能であり、これにより、使用者の利便性を高くすることはもとより、使用者の選択権を保障する効果が得られる。   According to the present invention, a mobile object via the wireless network 20 and the Internet can be used without changing the granting authority system of the application program of the operation system of the mobile communication terminal 10 or applying the embedded remote support program. Remote support of the remote computer 40 to the communication terminal 10 is possible, thereby increasing the convenience for the user and ensuring the user's right of choice.

また、通信事業者、インターネット情報提供業者、移動体通信端末１０の製造会社等が、遠隔サポートサービスを提供するに当たり、移動体通信端末１０の運用体系を修正したり、変更したり、エンベディッド方式の遠隔サポートプログラムを適用したりする必要がないので、関連応用プログラムの容易な作製及び配布が可能であり、これにより、サービス提供費用を節減し、競争力を確保することができる。   In addition, a telecommunications carrier, an Internet information provider, a manufacturer of the mobile communication terminal 10, etc. may modify or change the operation system of the mobile communication terminal 10 to provide a remote support service. Since it is not necessary to apply a remote support program, it is possible to easily create and distribute a related application program, thereby reducing service provision costs and ensuring competitiveness.

遠隔サポートを行うコンピュータ及び移動体通信端末の接続状態の例示図である。It is an illustration figure of the connection state of the computer which performs remote support, and a mobile communication terminal. 従来技術による遠隔サポート時におけるコンピュータ及び移動体通信端末の画面の例示図である。It is an illustration figure of the screen of a computer and a mobile communication terminal at the time of remote support by a prior art. 本発明の遂行時におけるコンピュータ及び移動体通信端末の画面の例示図である。It is an illustration figure of the screen of a computer and a mobile communication terminal at the time of performance of this invention. 本発明の遂行時における段階別のコンピュータ及び移動体通信端末の画面の例示図である。FIG. 4 is a view showing an example of a screen of a computer and a mobile communication terminal according to a stage when performing the present invention. 本発明における移動体通信端末のタッチスクリーン操作を通じた抽出段階の遂行方式の説明図である。It is explanatory drawing of the execution system of the extraction step through touch screen operation of the mobile communication terminal in this invention. 本発明におけるスクリーンショット基盤イメージ生成方式の説明図である。It is explanatory drawing of the screen shot base image generation system in this invention. 本発明における索引イメージ基盤イメージ生成方式の説明図である。It is explanatory drawing of the index image base image generation system in this invention.

以下、添付した図面に基づき、本発明の詳細な構成及び遂行過程について詳述する。   Hereinafter, a detailed configuration and execution process of the present invention will be described in detail with reference to the accompanying drawings.

まず、図３は、本発明の遂行時における、遠隔サポートを提供する支援側のコンピュータ４０の画面、及び遠隔サポートを提供される被支援側の移動体通信端末１０の画面をそれぞれ示すものであって、図示されたように、コンピュータ４０の画面には表示領域５１が設定され、この表示領域５１に移動体通信端末１０の画面が表示される。   First, FIG. 3 shows a screen of the supporting computer 40 that provides remote support and a screen of the supported mobile communication terminal 10 that provides remote support when the present invention is performed. As shown in the figure, a display area 51 is set on the screen of the computer 40, and the screen of the mobile communication terminal 10 is displayed in the display area 51.

本発明において、支援側のコンピュータ４０の画面に表示される移動体通信端末１０の画面情報は、移動体通信端末１０から伝送されたスクリーンショット１１、すなわち、移動体通信端末１０の使用者の操作により、移動体通信端末１０の運用体系が抽出した停止画面情報であって、図４に示すような過程を経て、コンピュータ４０の画面の表示領域５１に出力され、通信社の相談員等の支援側のコンピュータ４０の使用者は、これに基づいて、被支援側の移動体通信端末１０の画面を把握し、移動体通信端末１０の使用者との音声通話又はテキストメッセージ等の遠隔サポートに必要な、また、適切な措置を取ることになる。   In the present invention, the screen information of the mobile communication terminal 10 displayed on the screen of the computer 40 on the support side is the screen shot 11 transmitted from the mobile communication terminal 10, that is, the operation of the user of the mobile communication terminal 10. Thus, the stop screen information extracted by the operation system of the mobile communication terminal 10 is output to the display area 51 of the screen of the computer 40 through the process shown in FIG. The user of the side computer 40 grasps the screen of the supported mobile communication terminal 10 based on this, and is necessary for remote support such as voice call or text message with the user of the mobile communication terminal 10 Also, take appropriate measures.

このように、移動体通信網２１の移動局である被支援側の移動体通信端末１０を、インターネット及び無線網２０と接続された支援側のコンピュータ４０によって支援する遠隔サポート、すなわち、本発明の移動体通信端末１０の遠隔サポートは、コンピュータ４０に搭載された遠隔サポートプログラムと移動体通信端末１０に搭載された遠隔サポートプログラムとが、それぞれ実行され、図４に示されるように、遠隔サポートプログラムが実行中のコンピュータ４０の画面に表示領域５１が設定され、移動体通信端末１０とコンピュータ４０との間の通信路が開設される実行段階（Ｓ１１）として開始される。   As described above, the remote support for supporting the supported mobile communication terminal 10 which is a mobile station of the mobile communication network 21 by the support computer 40 connected to the Internet and the wireless network 20, that is, the present invention. The remote support of the mobile communication terminal 10 is executed by executing a remote support program installed in the computer 40 and a remote support program installed in the mobile communication terminal 10, respectively. As shown in FIG. Is started as an execution stage (S11) in which a display area 51 is set on the screen of the computer 40 that is being executed and a communication path between the mobile communication terminal 10 and the computer 40 is opened.

移動体通信端末１０に搭載される遠隔サポートプログラムは、移動体通信端末１０と支援側のコンピュータ４０との間の通信を行い、移動体通信端末１０の記憶装置に保存された画面情報を引き出し（読み出し）てコンピュータ４０に伝送する等の機能を有し、コンピュータ４０に搭載される遠隔サポートプログラムは、コンピュータ４０と被支援側の移動体通信端末１０との間の通信を行い、伝送された画面情報をコンピュータ４０の画面に出力する等の機能を有する応用プログラムであって、これらの移動体通信端末１０の遠隔サポートプログラムとコンピュータ４０の遠隔サポートプログラムとは、遠隔サポートサービスを提供するための連関作業を行うが、コンピュータ４０と移動体通信端末１０とで、作動環境及び具体的遂行作業が異なるので、制御移動体通信端末１０とコンピュータ４０とにそれぞれ搭載された遠隔サポートプログラムが同一のプログラムである必要はない。   The remote support program installed in the mobile communication terminal 10 performs communication between the mobile communication terminal 10 and the support side computer 40, and extracts screen information stored in the storage device of the mobile communication terminal 10 ( The remote support program installed in the computer 40 has functions such as reading and transmitting to the computer 40. The remote support program installed in the computer 40 performs communication between the computer 40 and the mobile communication terminal 10 on the supported side, and the transmitted screen. An application program having a function of outputting information to the screen of the computer 40. The remote support program of the mobile communication terminal 10 and the remote support program of the computer 40 are related to provide a remote support service. Work is performed, but the operating environment and specific work performed by the computer 40 and the mobile communication terminal 10 Different since, remote support program to control the mobile communication terminal 10 and the computer 40 are mounted respectively need not be the same program.

前述されたように、本発明による遠隔サポートは、通信社の相談員等が、当該通信社の加入者である移動体通信端末１０の使用者に、移動体通信端末１０の使用法を説明するか、又は誤作動への対処方法を試演する等のサービスを提供するときに利用されるので、コンピュータ４０に搭載された遠隔サポートプログラムは、常時作動状態を維持する可能性が高く、移動体通信端末１０に搭載された遠隔サポートプログラムが実行され、実質的な遠隔サポートが開始されるに先立って、当該通信社のコールセンタを通じた相談員と移動体通信端末１０の使用者との間の音声通話又はテキストメッセージが先行される可能性が高い。   As described above, in the remote support according to the present invention, a counselor of a communication company explains how to use the mobile communication terminal 10 to a user of the mobile communication terminal 10 who is a subscriber of the communication company. Or the remote support program installed in the computer 40 is likely to maintain the operation state at all times, and is used when providing a service such as trialing a countermeasure method for malfunction. Before the remote support program installed in the terminal 10 is executed and substantial remote support is started, the voice call between the counselor and the user of the mobile communication terminal 10 through the call center of the communication company. Or a text message is likely to be preceded.

したがって、遠隔サポートを希望する移動体通信端末１０の使用者が、通信社の相談員等の支援側のコンピュータ４０の使用者の案内により、図４の右上端に示されるように、移動体通信端末１０のタッチスクリーン画面上のアイコンをタッチする等の方式で、移動体通信端末１０に搭載された遠隔サポートプログラムが実行されることにより、実行段階（Ｓ１１）が行われる。   Therefore, as shown in the upper right corner of FIG. 4, the user of the mobile communication terminal 10 who desires remote support is guided by the user of the support side computer 40 such as a counselor of a communication company. The execution stage (S11) is performed by executing the remote support program installed in the mobile communication terminal 10 by a method such as touching an icon on the touch screen screen of the terminal 10.

図４に示されるように、遠隔サポートプログラムが実行中のコンピュータ４０の画面には、遠隔サポートの対象となる移動体通信端末１０の画面が出力される表示領域５１のほかに、メッセージ領域５２及び索引領域５３が設定されるが、これらのメッセージ領域５２及び索引領域５３は、メッセージ伝送段階（Ｓ１２）及び後述する索引段階（Ｓ６１）において利用される。   As shown in FIG. 4, the screen of the computer 40 on which the remote support program is being executed includes a message area 52 and a display area 51 in which the screen of the mobile communication terminal 10 to be remote supported is output. An index area 53 is set, and these message area 52 and index area 53 are used in a message transmission stage (S12) and an index stage (S61) described later.

そして、図４の左上端に示されるように、遠隔サポートプログラムが実行中のコンピュータ４０の画面にメッセージ領域５２が設定されると、コンピュータ４０の遠隔サポートプログラムがメッセージ領域５２に入力された文字列を移動体通信端末１０に伝送するメッセージ伝送段階（Ｓ１２）が行われる。   4, when the message area 52 is set on the screen of the computer 40 on which the remote support program is being executed, the character string in which the remote support program of the computer 40 is input to the message area 52 is displayed. Is transmitted to the mobile communication terminal 10 (S12).

メッセージ伝送段階（Ｓ１２）は、通信社の相談員等の支援側のコンピュータ４０の使用者が、移動体通信端末１０の使用者において追って必要になる移動体通信端末１０の操作方法、注意事項等をコンピュータ４０のメッセージ領域５２に入力すると、コンピュータ４０の遠隔サポートプログラムがこれを移動体通信端末１０に伝送するものであって、図４の中間部の左側に示されるように、コンピュータ４０の使用者が、遠隔サポート遂行中において、移動体通信端末１０に伝送されたメッセージの履歴情報を容易に把握することができるように、メッセージ領域５２に、メッセージを入力するための入力窓と、移動体通信端末１０に既に伝送されたメッセージの伝送時刻及び内容等とが、順次に、かつ、対応させて出力される。   In the message transmission stage (S12), the user of the support side computer 40 such as a counselor of a communication company will need to follow the user of the mobile communication terminal 10 to operate the mobile communication terminal 10, notes, etc. In the message area 52 of the computer 40, the remote support program of the computer 40 transmits it to the mobile communication terminal 10, and the use of the computer 40 as shown on the left side of the middle part of FIG. An input window for inputting a message in the message area 52, and a mobile unit so that a user can easily grasp history information of a message transmitted to the mobile communication terminal 10 during remote support. The transmission time and contents of messages already transmitted to the communication terminal 10 are output sequentially and in correspondence.

メッセージ伝送段階（Ｓ１２）が行われた後は、移動体通信端末１０の遠隔サポートプログラムが、コンピュータ４０から伝送された文字列を受信し、図４の中間部の右側に示されるように、移動体通信端末１０の画面に出力するメッセージ出力段階（Ｓ１３）が行われ、移動体通信端末１０の使用者は、移動体通信端末１０の画面に出力されたメッセージを確認し、それに応じて後続する操作を行うようになる。   After the message transmission step (S12) is performed, the remote support program of the mobile communication terminal 10 receives the character string transmitted from the computer 40 and moves as shown on the right side of the middle part of FIG. A message output step (S13) for outputting to the screen of the mobile communication terminal 10 is performed, and the user of the mobile communication terminal 10 confirms the message output to the screen of the mobile communication terminal 10 and follows accordingly. The operation starts.

本実施の形態においては、メッセージ出力段階（Ｓ１３）において、移動体通信端末１０の遠隔サポートプログラムが、メッセージを移動体通信端末１０の画面に、ステイタスバーメッセージ等のポップアップメッセージ形式で出力するようになっているが、それ以外に、移動体通信端末１０の画面上に別途メッセージ出力窓を設定し、メッセージを常時出力する等の方式も可能であり、このような移動体通信端末１０の文字列の出力方式は、本発明の属する技術の分野における通常の知識を有する者が選択適用可能な事項である。   In the present embodiment, in the message output stage (S13), the remote support program of the mobile communication terminal 10 outputs the message to the screen of the mobile communication terminal 10 in the form of a pop-up message such as a status bar message. However, other than that, it is also possible to set a separate message output window on the screen of the mobile communication terminal 10 and always output a message. A character string of such mobile communication terminal 10 is also possible. This output method is a matter that can be selectively applied by a person having ordinary knowledge in the technical field to which the present invention belongs.

このように、実行段階（Ｓ１１）以降、メッセージ伝送段階（Ｓ１２）及びメッセージ出力段階（Ｓ１３）を通じて、コンピュータ４０の使用者と移動体通信端末１０の使用者との間の効率的な意思伝達は可能であるが、被支援側の移動体通信端末１０の画面を支援側のコンピュータ４０の使用者が把握しなければ実質的な遠隔サポートが不可能であるので、このような移動体通信端末１０の画面情報の確保及び出力は、本発明の遠隔サポートの主要構成である抽出段階（Ｓ２０）乃至出力段階（Ｓ４０）を通じて行われる。   As described above, the effective communication between the user of the computer 40 and the user of the mobile communication terminal 10 is performed through the message transmission stage (S12) and the message output stage (S13) after the execution stage (S11). Although it is possible, substantial remote support is not possible unless the user of the support side computer 40 grasps the screen of the support side mobile communication terminal 10. The screen information is secured and output through the extraction step (S20) to the output step (S40), which are the main components of the remote support of the present invention.

一旦、前記実行段階（Ｓ１１）が行われた後は、移動体通信端末１０の運用体系が、移動体通信端末１０のスクリーンショット１１を抽出し、移動体通信端末１０の記憶装置に保存する抽出段階（Ｓ２０）が行われるが、ここで、スクリーンショット１１の機能は、移動体通信端末１０に搭載された遠隔サポートプログラムが任意で行うのではなく、移動体通信端末１０の使用者の操作に伴って、運用体系が行うものである。したがって、移動体通信端末１０に搭載される遠隔サポートプログラムは、移動体通信端末１０のタッチスクリーンに出力される画面情報を実時間で抽出することのできる上位権限を獲得しなくても、遂行が可能である。   Once the execution step (S11) is performed, the operation system of the mobile communication terminal 10 extracts the screen shot 11 of the mobile communication terminal 10 and stores it in the storage device of the mobile communication terminal 10 The step (S20) is performed. Here, the function of the screen shot 11 is not performed arbitrarily by the remote support program installed in the mobile communication terminal 10, but by the operation of the user of the mobile communication terminal 10. Along with this, the operation system performs. Therefore, the remote support program installed in the mobile communication terminal 10 can be executed without acquiring a higher authority that can extract screen information output to the touch screen of the mobile communication terminal 10 in real time. Is possible.

図４の右下端に示されるように、抽出段階（Ｓ２０）は、使用者が移動体通信端末１０のホームボタン（ｈｏｍｅ ｂｕｔｔｏｎ）とパワー／ロックキー（ｐｏｗｅｒ／ｌｏｃｋ ｂｕｔｔｏｎ）を同時に押圧する等、移動体通信端末１０の物理的ボタンを操作することにより、移動体通信端末１０の運用体系が当該時点における移動体通信端末１０の画面のデジタルイメージであるスクリーンショット１１を抽出する方式で遂行され、また、このような物理的ボタンとは別の入力手段としての、図５に示されるような移動体通信端末１０のタッチスクリーンに形成されたアイコンをタッチする方式で遂行することができる。   As shown in the lower right corner of FIG. 4, in the extraction step (S20), the user simultaneously presses the home button (home button) and the power / lock button (power / lock button) of the mobile communication terminal 10, etc. By operating the physical buttons of the mobile communication terminal 10, the operation system of the mobile communication terminal 10 is performed by a method of extracting a screen shot 11 that is a digital image of the screen of the mobile communication terminal 10 at the time point, Further, it can be performed by touching an icon formed on the touch screen of the mobile communication terminal 10 as shown in FIG. 5 as an input means different from the physical button.

抽出段階（Ｓ２０）が完了すると、移動体通信端末１０の遠隔サポートプログラムが、移動体通信端末１０の記憶装置に保存されたスクリーンショット１１を引き出し、コンピュータ４０に伝送する伝送段階（Ｓ３０）が行われるが、ここで、移動体通信端末１０の遠隔サポートプログラムは、移動体通信端末１０のハードウェアを直接制御したり、移動体通信端末１０の運用体系の深部にアクセスして情報を抽出したりすることなく、単に移動体通信端末１０の記憶装置に既に保存されたデジタルイメージであるスクリーンショット１１を引き出すので、上述した抽出段階（Ｓ２０）と同様に、上位権限を獲得することなく遂行することができる。   When the extraction step (S20) is completed, the remote support program of the mobile communication terminal 10 extracts the screen shot 11 stored in the storage device of the mobile communication terminal 10 and transmits it to the computer 40 (S30). However, the remote support program of the mobile communication terminal 10 directly controls the hardware of the mobile communication terminal 10 or accesses the deep part of the operation system of the mobile communication terminal 10 to extract information. The screen shot 11 which is a digital image already stored in the storage device of the mobile communication terminal 10 is extracted without performing the above process, so that it can be performed without acquiring higher authority as in the extraction step (S20). Can do.

すなわち、移動体通信端末１０の運用体系により抽出されたスクリーンショット１１は、いわゆるアルバムと呼ばれる移動体通信端末１０の記憶装置内の特定の領域に保存されることが一般的であるが、本発明の移動体通信端末１０の遠隔サポートプログラムは、スクリーンショット１１を直接抽出するものではなく、アルバムが既に保存されたスクリーンショット１１を単純に引き出すものであるので、下位権限だけが付与された状態でも、移動体通信端末１０の画面情報の獲得が可能である。   That is, the screen shot 11 extracted by the operation system of the mobile communication terminal 10 is generally stored in a specific area in the storage device of the mobile communication terminal 10 called a so-called album. The remote support program of the mobile communication terminal 10 does not extract the screen shot 11 directly, but simply pulls out the screen shot 11 in which the album is already stored. The screen information of the mobile communication terminal 10 can be acquired.

以降、コンピュータ４０の遠隔サポートプログラムがスクリーンショット１１を受信し、コンピュータ４０の記憶装置に保存するとともに、コンピュータ４０の画面の表示領域５１に受信したスクリーンショット１１を出力する出力段階（Ｓ４０）が行われ、図４の左下端に示すようなコンピュータ４０の画面が形成され、これにより、支援側のコンピュータ４０の使用者が、被支援側の移動体通信端末１０の画面を正確に把握することができるようになる。   Thereafter, the remote support program of the computer 40 receives the screen shot 11 and saves it in the storage device of the computer 40, and outputs the received screen shot 11 to the display area 51 of the screen of the computer 40 (S40). 4, the screen of the computer 40 as shown in the lower left corner of FIG. 4 is formed, so that the user of the computer 40 on the support side can accurately grasp the screen of the mobile communication terminal 10 on the supported side. become able to.

一方、図４乃至図７に示されるように、本発明の遂行中、コンピュータ４０の画面には、表示領域５１及びメッセージ領域５２以外に、索引領域５３が設定され、スクリーンショット１１に対応する縮小イメージである索引イメージ５４が出力される。   On the other hand, as shown in FIGS. 4 to 7, during the execution of the present invention, in addition to the display area 51 and the message area 52, an index area 53 is set on the screen of the computer 40, and a reduction corresponding to the screen shot 11 is performed. An index image 54 that is an image is output.

このような索引イメージ５４の出力は、索引段階（Ｓ６１）及び引出段階（Ｓ６２）を通じて行われるが、まず、索引段階（Ｓ６１）の遂行に先立って、コンピュータ４０に搭載された遠隔サポートプログラムと移動体通信端末１０に搭載された遠隔サポートプログラムとが、それぞれ実行され、移動体通信端末１０とコンピュータ４０との間の通信路が開設される実行段階（Ｓ１１）において、遠隔サポートプログラムが実行中のコンピュータ４０の画面に表示領域５１を設定するとともに、索引領域５３を設定する。   The output of the index image 54 is performed through the index stage (S61) and the extraction stage (S62). First, prior to the execution of the index stage (S61), the remote support program installed in the computer 40 and the movement are performed. The remote support program installed in the body communication terminal 10 is executed, and the remote support program is being executed in the execution stage (S11) in which the communication path between the mobile communication terminal 10 and the computer 40 is opened. A display area 51 is set on the screen of the computer 40 and an index area 53 is set.

以降、上述した抽出段階（Ｓ２０）乃至出力段階（Ｓ４０）が繰り返し行われ、コンピュータ４０の記憶装置に多数のスクリーンショット１１が保存された状態で、コンピュータ４０の遠隔サポートプログラムが、保存された多数のスクリーンショット１１を引き出し、それぞれのスクリーンショット１１に対応する縮小イメージである索引イメージ５４を生成し、生成した多数の索引イメージ５４を索引領域５３に出力する索引段階（Ｓ６１）が行われる。   Thereafter, the above-described extraction step (S20) to output step (S40) are repeatedly performed, and a large number of stored remote support programs of the computer 40 are stored in a state where a large number of screenshots 11 are stored in the storage device of the computer 40. The screen shot 11 is extracted, an index image 54 which is a reduced image corresponding to each screen shot 11 is generated, and an index step (S 61) is performed to output the generated many index images 54 to the index area 53.

索引イメージ５４は、コンピュータ４０の記憶装置に保存されたスクリーンショット１１に対応する一種のサムネイルイメージ、すなわち、縮小イメージであって、図５乃至図７に示されるように、抽出段階（Ｓ２０）乃至出力段階（Ｓ４０）が繰り返し行われることにより、出力段階（Ｓ４０）の記憶装置に順次保存されたスクリーンショット１１ごとに生成され、コンピュータ４０の画面上の索引領域５３に順次出力されて配列される。本実施の形態においては、多数の索引イメージ５４が、画面上の右側端に形成された索引領域５３に縦方向に配列されるようになっているが、画面の下端に索引領域５３を設定し、索引イメージ５４を横方向に配列する等、多様に配列することができる。   The index image 54 is a kind of thumbnail image corresponding to the screen shot 11 stored in the storage device of the computer 40, that is, a reduced image. As shown in FIG. 5 to FIG. By repeatedly performing the output step (S40), the screen shots 11 are sequentially stored in the storage device of the output step (S40), and are sequentially output and arranged in the index area 53 on the screen of the computer 40. . In the present embodiment, a large number of index images 54 are arranged vertically in an index area 53 formed at the right end on the screen, but the index area 53 is set at the lower end of the screen. The index image 54 can be arranged in various ways such as in the horizontal direction.

支援側のコンピュータ４０の使用者は、索引領域５３に順次配列された索引イメージ５４を通じて、遠隔サポートサービスの提供中、移動体通信端末１０から伝送されたスクリーンショット１１を時間順で明確に把握することができる。また、遠隔サポートサービスが長時間持続することにより、多数のスクリーンショット１１及びそれに対応する索引イメージ５４が累積されるので、画面上に区画された索引領域５３に全体の索引イメージ５４が出力されない場合、図に示されるように、索引領域５３に形成されたスクロールバー等を操作することにより、時間別の索引イメージ５４を検索することができる。   The user of the computer 40 on the support side clearly grasps the screen shots 11 transmitted from the mobile communication terminal 10 in time order through the index images 54 sequentially arranged in the index area 53 while providing the remote support service. be able to. In addition, since the remote support service lasts for a long time, a large number of screenshots 11 and corresponding index images 54 are accumulated, so that the entire index image 54 is not output to the index area 53 partitioned on the screen. As shown in the figure, by operating a scroll bar or the like formed in the index area 53, the index image 54 by time can be searched.

索引段階（Ｓ６１）以降、コンピュータ４０のポインティングデバイスが索引領域５３において操作されることにより、コンピュータ４０の遠隔サポートプログラムが、当該索引イメージ５４に対応するスクリーンショット１１をコンピュータ４０の記憶装置から引き出して表示領域５１に出力する引出段階（Ｓ６２）が行われることにより、支援側のコンピュータ４０の使用者が、コンピュータ４０の記憶装置に既に保存された任意時点のスクリーンショット１１を容易に再確認することができる。   After the indexing step (S61), when the pointing device of the computer 40 is operated in the index area 53, the remote support program of the computer 40 extracts the screen shot 11 corresponding to the index image 54 from the storage device of the computer 40. By performing the extraction step (S62) to be output to the display area 51, the user of the supporting computer 40 can easily reconfirm the screen shot 11 at an arbitrary time already stored in the storage device of the computer 40. Can do.

引出段階（Ｓ６２）において、索引領域５３内のポインティングデバイスの操作とは、マウス等のポインティングデバイス形式のコンピュータ４０の入力装置において、カーソル又はポインターが索引領域５３内の特定の索引イメージ５４に位置された状態で、コンピュータ４０の使用者がクリック、ダブルクリック又はドラッグ等の操作を行うことを意味する。   In the extraction step (S62), the operation of the pointing device in the index area 53 means that the cursor or pointer is positioned at a specific index image 54 in the index area 53 in the input device of the pointing device type computer 40 such as a mouse. In this state, the user of the computer 40 performs an operation such as click, double click or drag.

このような索引段階（Ｓ６１）及び引出段階（Ｓ６２）を通じた任意時点のスクリーンショット１１の表示領域５１内の再出力は、支援側のコンピュータ４０の使用者がスクリーンショット１１の特定部分に線を表示する等の変更を加え、サポートイメージ５５を生成し、これを移動体通信端末１０に伝送する、後述されるイメージ生成段階（Ｓ５１）等を遂行する場合に、特に有用である。   The re-output in the display area 51 of the screen shot 11 at an arbitrary time point through the indexing step (S61) and the drawing step (S62) is performed by the user of the supporting computer 40 by placing a line on a specific part of the screen shot 11. This is particularly useful when performing an image generation step (S51), which will be described later, in which a support image 55 is generated by changing the display and the like, and this is transmitted to the mobile communication terminal 10.

すなわち、図６及び７に示されるように、支援側のコンピュータ４０の画面の表示領域５１内に出力されたスクリーンショット１１に線を表示する等の変形を加えることにより、スクリーンショット１１を基盤とし、修正がされたデジタルイメージであるサポートイメージ５５を生成し、生成したサポートイメージ５５を移動体通信端末１０に伝送及び出力し、移動体通信端末１０の使用者がサポートイメージ５５を視覚的に確認することを可能にすることにより、使用者の理解度を高めることができ、一層効率的な遠隔サポートを可能にするものである。   That is, as shown in FIGS. 6 and 7, the screen shot 11 is based on the screen shot 11 by modifying the screen shot 11 output in the display area 51 of the screen of the support side computer 40. The support image 55, which is a modified digital image, is generated, the generated support image 55 is transmitted to the mobile communication terminal 10, and the user of the mobile communication terminal 10 visually confirms the support image 55. By making it possible to do so, the user's understanding level can be increased, and more efficient remote support can be realized.

このような本発明のサポートイメージ５５の生成、伝送及び出力は、イメージ生成段階（Ｓ５１）乃至イメージ出力段階（Ｓ５３）を通じて行われるが、イメージ生成段階（Ｓ５１）は、図６に示されるように出力段階（Ｓ４０）の直後に行われるか、又は図７に示されるように引出段階（Ｓ６２）の直後に行われる。   The generation, transmission, and output of the support image 55 of the present invention are performed through an image generation step (S51) to an image output step (S53). The image generation step (S51) is as shown in FIG. It is performed immediately after the output stage (S40) or immediately after the extraction stage (S62) as shown in FIG.

図６及び７に示されるように、イメージ生成段階（Ｓ５１）は、コンピュータ４０のポインティングデバイスが、スクリーンショット１１が出力された表示領域５１において操作され、コンピュータ４０の遠隔サポートプログラムが、表示領域５１に出力されたスクリーンショット１１に線を表示する等の修正を加えることにより、サポートイメージ５５を生成するものであって、生成したサポートイメージ５５は、コンピュータ４０の記憶装置に保存されるだけでなく、当該時点のサポートイメージ５５を縮小した索引イメージ５４が対応させて生成され、索引領域５３に表示される。   As shown in FIGS. 6 and 7, in the image generation step (S51), the pointing device of the computer 40 is operated in the display area 51 where the screen shot 11 is output, and the remote support program of the computer 40 is operated in the display area 51. The support image 55 is generated by making a modification such as displaying a line on the screen shot 11 that is output to the screen shot 11, and the generated support image 55 is not only stored in the storage device of the computer 40, but also The index image 54 obtained by reducing the support image 55 at that time is generated in correspondence with the support image 55 and displayed in the index area 53.

イメージ生成段階（Ｓ５１）が完了すると、生成したサポートイメージ５５を、コンピュータ４０の遠隔サポートプログラムが移動体通信端末１０に伝送するイメージサポート段階（Ｓ５２）が行われた後、移動体通信端末１０の遠隔サポートプログラムが、伝送されたサポートイメージ５５を受信して画面に出力するイメージ出力段階（Ｓ５３）が行われる。これにより、移動体通信端末１０の使用者がサポートイメージ５５を確認することができる。   When the image generation step (S51) is completed, after the image support step (S52) in which the generated support image 55 is transmitted to the mobile communication terminal 10 by the remote support program of the computer 40, the mobile communication terminal 10 An image output step (S53) is performed in which the remote support program receives the transmitted support image 55 and outputs it to the screen. Thereby, the user of the mobile communication terminal 10 can confirm the support image 55.

このようなサポートイメージ５５の生成、並びに移動体通信端末１０の伝送及び出力を通じて、音声通話又はテキストメッセージによる基盤遠隔サポートの限界を克服することができ、移動体通信端末１０の使用者の理解度及び遠隔サポートの効果を十分に高くすることができる。   Through the generation of the support image 55 and the transmission and output of the mobile communication terminal 10, it is possible to overcome the limitations of the basic remote support by voice call or text message, and the degree of understanding of the user of the mobile communication terminal 10. And the effect of remote support can be made high enough.

特に、長時間の遠隔サポートが進行する際に、図７に示されるように、以前のスクリーンショット１１を、索引領域５３を利用して検索及び再出力し、これを基盤としてイメージ生成段階（Ｓ５１）乃至イメージ出力段階（Ｓ５３）を行うことにより、移動体通信端末１０の使用方法を移動体通信端末１０の使用者に説明する等の遠隔サポートにおいて、一層効率的にサービスを提供することができる。   In particular, when long-time remote support proceeds, as shown in FIG. 7, the previous screenshot 11 is searched and re-output using the index area 53, and the image generation stage (S51) is performed based on this. ) To the image output step (S53), it is possible to provide a service more efficiently in remote support such as explaining how to use the mobile communication terminal 10 to the user of the mobile communication terminal 10. .

１０ 移動体通信端末
１１ スクリーンショット
２０ 無線網
２１ 移動体通信網
２２ 無線ＬＡＮ
３１ ゲートウェイサーバ
３２ 通信社サーバ
４０ コンピュータ
５１ 表示領域
５２ メッセージ領域
５３ 索引領域
５４ 索引イメージ
５５ サポートイメージ
Ｓ１１ 実行段階
Ｓ１２ メッセージ伝送段階
Ｓ１３ メッセージ出力段階
Ｓ２０ 抽出段階
Ｓ３０ 伝送段階
Ｓ４０ 出力段階
Ｓ５１ イメージ生成段階
Ｓ５２ イメージサポート段階
Ｓ５３ イメージ出力段階
Ｓ６１ 索引段階
Ｓ６２ 引出段階 10 mobile communication terminal 11 screenshot 20 wireless network 21 mobile communication network 22 wireless LAN
31 gateway server 32 communication company server 40 computer 51 display area 52 message area 53 index area 54 index image 55 support image S11 execution stage S12 message transmission stage S13 message output stage S20 extraction stage S30 transmission stage S40 output stage S51 image generation stage S52 image Support stage S53 Image output stage S61 Index stage S62 Extraction stage

Claims (4)

移動体通信網２１の移動局である移動体通信端末１０を、インターネット及び無線網２０と接続されたコンピュータ４０が遠隔サポートする方法において、
コンピュータ４０に搭載された遠隔サポートプログラムと移動体通信端末１０に搭載された遠隔サポートプログラムとが、それぞれ実行され、遠隔サポートプログラムが実行中のコンピュータ４０の画面に表示領域５１が設定され、移動体通信端末１０とコンピュータ４０との間に通信路が開設される実行段階（Ｓ１１）と、
移動体通信端末１０の運用体系が、使用者による移動体通信端末１０の所定の操作に伴って、遠隔サポートプログラムによることなく移動体通信端末１０のスクリーンショット１１を抽出し、移動体通信端末１０の記憶装置に保存する抽出段階（Ｓ２０）と、
移動体通信端末１０の遠隔サポートプログラムが移動体通信端末１０の記憶装置に保存されたスクリーンショット１１を引き出し、コンピュータ４０に伝送する伝送段階（Ｓ３０）と、
コンピュータ４０の遠隔サポートプログラムがスクリーンショット１１を受信し、コンピュータ４０の記憶装置に保存し、コンピュータ４０の画面の表示領域５１に受信されたスクリーンショット１１を出力する出力段階（Ｓ４０）とから成ることを特徴とするスクリーンショットを用いた移動体通信端末の遠隔サポート方法。 In a method in which a mobile communication terminal 10 which is a mobile station of a mobile communication network 21 is remotely supported by a computer 40 connected to the Internet and a wireless network 20,
A remote support program installed in the computer 40 and a remote support program installed in the mobile communication terminal 10 are respectively executed, and a display area 51 is set on the screen of the computer 40 on which the remote support program is being executed. An execution stage (S11) in which a communication path is established between the communication terminal 10 and the computer 40;
The operation system of the mobile communication terminal 10 extracts a screen shot 11 of the mobile communication terminal 10 without using a remote support program in accordance with a predetermined operation of the mobile communication terminal 10 by a user. An extraction step (S20) to be stored in the storage device;
A transmission step (S30) in which the remote support program of the mobile communication terminal 10 extracts the screen shot 11 stored in the storage device of the mobile communication terminal 10 and transmits it to the computer 40;
The remote support program of the computer 40 receives the screen shot 11, stores it in the storage device of the computer 40, and outputs the received screen shot 11 to the display area 51 of the screen of the computer 40 (S40). A method for remotely supporting a mobile communication terminal using a screen shot characterized by the above. 前記実行段階（Ｓ１１）が行われた後、
遠隔サポートプログラムが実行中のコンピュータ４０の画面には、メッセージ領域５２が設定され、コンピュータ４０の遠隔サポートプログラムが、メッセージ領域５２に入力された文字列を移動体通信端末１０に伝送するメッセージ伝送段階（Ｓ１２）が行われ、
移動体通信端末１０の遠隔サポートプログラムが伝送された文字列を受信し、移動体通信端末１０の画面に出力するメッセージ出力段階（Ｓ１３）が行われることを特徴とする請求項１に記載のスクリーンショットを用いた移動体通信端末の遠隔サポート方法。 After the execution step (S11) is performed,
Message area 52 is set on the screen of computer 40 on which the remote support program is being executed, and the remote support program of computer 40 transmits the character string input in message area 52 to mobile communication terminal 10. (S12) is performed,
2. The screen according to claim 1, wherein a message output step (S <b> 13) is performed in which a character string transmitted by the remote support program of the mobile communication terminal 10 is received and output to the screen of the mobile communication terminal 10. A remote support method for mobile communication terminals using shots. 前記実行段階（Ｓ１１）では、コンピュータ４０に搭載された遠隔サポートプログラムと移動体通信端末１０に搭載された遠隔サポートプログラムとが、それぞれ実行され、遠隔サポートプログラムが実行中のコンピュータ４０の画面に、表示領域５１及び索引領域５３が設定され、移動体通信端末１０とコンピュータ４０との間の通信路が開設され、
抽出段階（Ｓ２０）乃至出力段階（Ｓ４０）が繰り返し行われ、コンピュータ４０の記憶装置に多数のスクリーンショット１１が保存された後、コンピュータ４０の遠隔サポートプログラムが、保存された多数のスクリーンショット１１を引き出し、それぞれのスクリーンショット１１に対応する縮小イメージである索引イメージ５４を生成し、生成した多数の索引イメージ５４を索引領域５３に出力する索引段階（Ｓ６１）が行われ、
コンピュータ４０のポインティングデバイスが索引領域５３において操作されることにより、コンピュータ４０の遠隔サポートプログラムが、当該索引イメージ５４に対応するスクリーンショット１１をコンピュータ４０の記憶装置から引き出し、表示領域５１に出力する引出段階（Ｓ６２）が行われることを特徴とする請求項１に記載のスクリーンショットを用いた移動体通信端末の遠隔サポート方法。 In the execution step (S11), the remote support program installed in the computer 40 and the remote support program installed in the mobile communication terminal 10 are executed, respectively, on the screen of the computer 40 on which the remote support program is being executed. A display area 51 and an index area 53 are set, and a communication path between the mobile communication terminal 10 and the computer 40 is established.
After the extraction step (S20) to the output step (S40) are repeatedly performed and a large number of screen shots 11 are stored in the storage device of the computer 40, the remote support program of the computer 40 stores the large number of stored screen shots 11. An index step (S61) is performed to generate an index image 54, which is a reduced image corresponding to each screen shot 11, and output the generated many index images 54 to the index area 53.
When the pointing device of the computer 40 is operated in the index area 53, the remote support program of the computer 40 extracts the screen shot 11 corresponding to the index image 54 from the storage device of the computer 40 and outputs it to the display area 51. The method according to claim 1, wherein step (S62) is performed. 請求項１における前記出力段階（Ｓ４０）又は請求項３における前記引出段階（Ｓ６２）が行われた後、
コンピュータ４０のポインティングデバイスが表示領域５１において操作されることにより、コンピュータ４０の遠隔サポートプログラムが、表示領域５１に出力されたスクリーンショット１１を修正し、サポートイメージ５５を生成するイメージ生成段階（Ｓ５１）が行われ、
生成されたサポートイメージ５５を、コンピュータ４０の遠隔サポートプログラムが移動体通信端末１０に伝送するイメージサポート段階（Ｓ５２）が行われ、
移動体通信端末１０の遠隔サポートプログラムが、伝送されたサポートイメージ５５を受信し、画面に出力するイメージ出力段階（Ｓ５３）が行われることを特徴とするスクリーンショットを用いた移動体通信端末の遠隔サポート方法。 After the output step (S40) in claim 1 or the withdrawal step (S62) in claim 3,
When the pointing device of the computer 40 is operated in the display area 51, the remote support program of the computer 40 modifies the screen shot 11 output to the display area 51 and generates a support image 55 (S51). Is done,
An image support step (S52) is performed in which the remote support program of the computer 40 transmits the generated support image 55 to the mobile communication terminal 10.
The remote support program of the mobile communication terminal 10 receives the transmitted support image 55 and performs an image output step (S53) for outputting to the screen. Support method.
JP2015033108A 2014-02-24 2015-02-23 Remote support method for mobile communication terminals using screenshots Active JP6053842B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0021407 2014-02-24
KR1020140021407A KR101607072B1 (en) 2014-02-24 2014-02-24 Mobile phone remote supporting method using screenshot

Publications (2)

Publication Number Publication Date
JP2015158914A JP2015158914A (en) 2015-09-03
JP6053842B2 true JP6053842B2 (en) 2016-12-27

Family

ID=54182815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015033108A Active JP6053842B2 (en) 2014-02-24 2015-02-23 Remote support method for mobile communication terminals using screenshots

Country Status (2)

Country Link
JP (1) JP6053842B2 (en)
KR (1) KR101607072B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6736940B2 (en) 2016-03-28 2020-08-05 富士ゼロックス株式会社 Operation support device, operation support method, and program
CN110896405B (en) * 2018-09-12 2023-09-15 西安中兴新软件有限责任公司 Method, device, equipment and storage medium for remote control interaction
CN115562525B (en) * 2022-03-15 2023-06-13 荣耀终端有限公司 Screen capturing method and device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192293A (en) * 2002-12-11 2004-07-08 Iyo Engineering:Kk Software verification support tool
JP4247277B2 (en) * 2007-02-06 2009-04-02 Ｓｋｙ株式会社 Terminal monitoring device and program thereof
JP4917930B2 (en) * 2007-03-16 2012-04-18 株式会社リコー Screen sharing system, screen sharing program
JP4350137B2 (en) * 2007-04-04 2009-10-21 Ｓｋｙ株式会社 Terminal monitoring method, terminal monitoring apparatus, and terminal monitoring program
JP2009020583A (en) * 2007-07-10 2009-01-29 Vector Inc Information processing system and information processing method
JP2010099211A (en) * 2008-10-23 2010-05-06 Taito Corp Game error screen reporting system
JP5951938B2 (en) * 2011-05-25 2016-07-13 株式会社オプティム Terminal remote system, remote operation method
US8862723B2 (en) * 2011-05-27 2014-10-14 Sharp Laboratories Of America, Inc. System and method for monitoring handheld devices in a user testing mode
JP2013045200A (en) * 2011-08-23 2013-03-04 Kyocera Document Solutions Inc Support service system, electronic apparatus, and image forming device
CN102521020B (en) 2011-10-26 2014-05-21 华为终端有限公司 Application screen capture method and application screen capture device for mobile terminals
KR101140419B1 (en) 2011-12-01 2012-05-03 알서포트 주식회사 Mobile phone display capturing method
KR101198271B1 (en) 2012-01-10 2012-11-07 알서포트 주식회사 Display management method for computer controled mobile telephone
JP5935456B2 (en) * 2012-03-30 2016-06-15 株式会社リコー Image processing device

Also Published As

Publication number Publication date
JP2015158914A (en) 2015-09-03
KR20150100067A (en) 2015-09-02
KR101607072B1 (en) 2016-03-29

Similar Documents

Publication Publication Date Title
US9563613B1 (en) System and method for dynamic portable document file generation
KR101198271B1 (en) Display management method for computer controled mobile telephone
US20110113090A1 (en) Dynamic mobile client
CN102789351B (en) Method and device for switching browsed interfaces
CN102811184B (en) Sharing method, terminal, server and system for custom emoticons
KR20140144104A (en) Electronic apparatus and Method for providing service thereof
KR101066853B1 (en) Screen image interception method for mobile telephone on the remote control
CN106406851A (en) Webpage image capture method and system
JP6053842B2 (en) Remote support method for mobile communication terminals using screenshots
WO2015168849A1 (en) Simulated desktop building method and related device
CN102831150A (en) Interactive method, system and terminal for browser and local application
US11064008B2 (en) Methods for facilitating a remote interface and devices thereof
KR101140418B1 (en) Screen image interception method for mobile telephone on the remote control using status bar alert message
EP2296344A1 (en) Method for accessing to external site for each country and mobile communication terminal using the same
CN103473035A (en) Screen capturing method and device
US20170039037A1 (en) Live mobile application visual editor demo
CN111538551A (en) Information processing method and electronic equipment
US20170289239A1 (en) User interface delegation to a delegated device
EP2987100A1 (en) Systems and methods for programming behavior of a website to respond to capabilities of different devices
US10979582B2 (en) Extension of remote frame buffer (RFB) protocol
KR102132601B1 (en) Mobile phone remote supporting method using screenshot
KR100859595B1 (en) System for providing mobile mash-up service for mobile telecommunication terminal and method thereof
TW201800925A (en) Method for interaction between terminal device and web site, method for providing web service for terminal device, and computer program product for interaction between terminal device and web site
WO2014162667A1 (en) Terminal device, terminal device control method, and storage medium
CN101094309A (en) TV set possessing function of receiving and sending short message

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161129

R150 Certificate of patent or registration of utility model

Ref document number: 6053842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250