JP6034709B2 - Terminal device, external display device, and information system including terminal device and external display device - Google Patents
Terminal device, external display device, and information system including terminal device and external display device Download PDFInfo
- Publication number
- JP6034709B2 JP6034709B2 JP2013015183A JP2013015183A JP6034709B2 JP 6034709 B2 JP6034709 B2 JP 6034709B2 JP 2013015183 A JP2013015183 A JP 2013015183A JP 2013015183 A JP2013015183 A JP 2013015183A JP 6034709 B2 JP6034709 B2 JP 6034709B2
- Authority
- JP
- Japan
- Prior art keywords
- display device
- external display
- terminal device
- touch
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Description
本発明は、端末装置、外部表示装置及び端末装置と外部表示装置とからなる情報システムに関するものである。 The present invention relates to a terminal device, an external display device, and an information system including a terminal device and an external display device.
近年、タッチパネル式のディスプレイを備えたスマートフォンなどの携帯型の端末装置が急速に普及してきている。このような端末装置は、パーソナルコンピュータに近い機能を有するが、ディスプレイが小さいため、パーソナルコンピュータに比べると操作性及び視認性が低いという課題があった。そこで、携帯型の端末装置をサイズの大きい外部表示装置に接続し、端末装置の画像を外部表示装置に表示し、外部表示装置側で操作入力を行う技術が開発されている。 In recent years, portable terminal devices such as smartphones equipped with a touch panel display have been rapidly spread. Although such a terminal device has a function similar to a personal computer, since the display is small, there is a problem that operability and visibility are low as compared with a personal computer. Therefore, a technique has been developed in which a portable terminal device is connected to a large external display device, an image of the terminal device is displayed on the external display device, and operation input is performed on the external display device side.
特許文献１には、携帯端末と車載ディスプレイ装置を備える画像表示システムが開示されている。図７は、特許文献１に係る画像表示システムの概略構成図である。車載ディスプレイ装置１０１は、表示部１０３とパネル内操作部１０４とから構成されるタッチパネル式ディスプレイ１０５を備えている。携帯端末１０２は、車載用画像生成部１０６を備えており、車載用画像生成部１０６より携帯端末１０２で表示されている画像の画像データを車載ディスプレイ装置１０１での画面表示に適した画像データに変換し、変換した画像データを車載ディスプレイ装置１０１に送信する。車載ディスプレイ装置１０１は、該画像データを受信してタッチパネル式ディスプレイ１０５に画像を表示する。 Patent Document 1 discloses an image display system including a mobile terminal and an in-vehicle display device. FIG. 7 is a schematic configuration diagram of an image display system according to Patent Document 1. The in-vehicle display device 101 includes a touch panel display 105 including a display unit 103 and an in-panel operation unit 104. The mobile terminal 102 includes an in-vehicle image generation unit 106, and the image data displayed on the mobile terminal 102 from the in-vehicle image generation unit 106 is converted into image data suitable for screen display on the in-vehicle display device 101. The converted image data is transmitted to the in-vehicle display device 101. The in-vehicle display device 101 receives the image data and displays an image on the touch panel display 105.
また、車載ディスプレイ装置１０１は、タッチパネル式ディスプレイ１０５が入力操作されたとき、座標データを携帯端末１０２に送信する。携帯端末１０２は、座標検出部１０７にて座標データを受信すると、その座標データを携帯端末１０２の表示画面の座標データに変換して制御処理部１０８に出力することで処理を行う。 The in-vehicle display device 101 transmits coordinate data to the mobile terminal 102 when the touch panel display 105 is input. When the coordinate detection unit 107 receives the coordinate data, the portable terminal 102 performs processing by converting the coordinate data into coordinate data on the display screen of the portable terminal 102 and outputting the coordinate data to the control processing unit 108.
この構成により、車載ディスプレイ装置１０１がグラフィカルユーザーインターフェースとなり、携帯端末１０２がユーザの操作に応じた制御処理を行う。 With this configuration, the in-vehicle display device 101 becomes a graphical user interface, and the mobile terminal 102 performs control processing according to the user's operation.
上述したように、特許文献１の技術では、車載ディスプレイ装置のタッチパネル式ディスプレイが操作されたとき、ディスプレイは入力情報を携帯端末に送信する。しかし、一般的にディスプレイのタッチセンサと携帯端末のタッチセンサは異なる性能を有する。 As described above, in the technique of Patent Document 1, when the touch panel display of the in-vehicle display device is operated, the display transmits input information to the mobile terminal. However, in general, a touch sensor for a display and a touch sensor for a mobile terminal have different performances.
例えば、タッチセンサの性能としてはタッチセンサの分解能、サンプリング周波数や最大マルチタッチ数等がある。これらのタッチセンサの性能がタッチによる操作が行われる外部表示装置側と処理を行う端末装置側で異なっていると、誤動作や操作が反応しないといった不具合が生じることがある。しかし、特許文献１にはこれらの対応について何ら考慮されていないため、不具合が生じる可能性があるという問題があった。 For example, the touch sensor performance includes the resolution of the touch sensor, the sampling frequency, the maximum number of multi-touches, and the like. If the performance of these touch sensors differs between the external display device side where the touch operation is performed and the terminal device side where the processing is performed, a malfunction such as a malfunction or an operation may not occur. However, since Patent Document 1 does not consider any of these measures, there is a problem that a malfunction may occur.
本発明は、このような問題に鑑みてなされたものであり、その目的は、端末装置と外部表示装置のタッチセンサの性能が異なっている場合にも、外部表示装置でのタッチによる入力操作が支障なく処理される端末装置を実現することにある。 The present invention has been made in view of such problems, and its purpose is to perform an input operation by touch on the external display device even when the performance of the touch sensor of the terminal device is different from that of the external display device. It is to realize a terminal device that can be processed without any trouble.
本発明に係る端末装置は、タッチセンサを備える外部表示装置と接続する端末装置であって、端末装置は、調整用データ生成部と通信部を備え、調整用データ生成部は、外部表示装置のタッチセンサの性能と端末装置のタッチ処理能力を比較して、外部表示装置から端末装置に送信されるタッチ操作データを調整するための調整用データを生成し、通信部は、調整用データを外部表示装置に送信することを特徴とする。 A terminal device according to the present invention is a terminal device connected to an external display device including a touch sensor, and the terminal device includes an adjustment data generation unit and a communication unit, and the adjustment data generation unit is an external display device The performance of the touch sensor and the touch processing capability of the terminal device are compared, and adjustment data for adjusting touch operation data transmitted from the external display device to the terminal device is generated. It transmits to a display apparatus, It is characterized by the above-mentioned.
また、外部表示装置のタッチセンサの性能は、サンプリング周波数及び最大マルチタッチ数に関する情報であることを特徴としても良い。また、外部表示装置のタッチセンサの性能が端末装置のタッチ処理能力より高い場合、調整用データは、端末装置のタッチ処理能力の情報であることを特徴としても良い。 In addition, the performance of the touch sensor of the external display device may be information regarding the sampling frequency and the maximum number of multi-touches. When the performance of the touch sensor of the external display device is higher than the touch processing capability of the terminal device, the adjustment data may be information on the touch processing capability of the terminal device.
本発明に係る情報システムは、端末装置と、タッチセンサを備える外部表示装置とからなる情報システムであって、端末装置は、調整用データ生成部と端末装置側通信部を備え、調整用データ生成部は、外部表示装置のタッチセンサの性能と端末装置のタッチ処理能力を比較して、外部表示装置から端末装置に送信されるタッチ操作データを調整するための調整用データを生成し、端末装置側通信部は、調整用データを外部表示装置に送信するものであり、外部表示装置は、外部表示装置側通信部、タッチセンサ、制御部を備え、外部表示装置側通信部は、調整用データを受信し、タッチセンサは、タッチ操作が行われたことを検出し、制御部は、調整用データに基づいてタッチ操作データを調整することを特徴とする。 An information system according to the present invention is an information system including a terminal device and an external display device including a touch sensor. The terminal device includes an adjustment data generation unit and a terminal device side communication unit, and generates adjustment data. The section compares the performance of the touch sensor of the external display device with the touch processing capability of the terminal device, generates adjustment data for adjusting touch operation data transmitted from the external display device to the terminal device, The side communication unit transmits adjustment data to the external display device. The external display device includes an external display device side communication unit, a touch sensor, and a control unit. The external display device side communication unit includes adjustment data. The touch sensor detects that a touch operation has been performed, and the control unit adjusts the touch operation data based on the adjustment data.
本発明によれば、端末装置と外部表示装置のタッチセンサの性能が異なっている場合にも、外部表示装置でのタッチによる入力操作が支障なく処理されることができる。 According to the present invention, even when the performances of the touch sensors of the terminal device and the external display device are different, the input operation by the touch on the external display device can be processed without any trouble.
以下、本発明の実施の形態について図面に基づいて説明する。なお、本発明の図面において、同一の参照符号は、同一部分又は相当部分を表わすものとする。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the drawings of the present invention, the same reference numerals represent the same or corresponding parts.
〔実施形態１〕
図１は、本実施形態の端末装置と外部表示装置との連携を説明する図である。端末装置１０と外部表示装置２０とは、例えば、ＭＨＬ（Mobile High-definition Link、登録商標）ケーブル３０を介して接続される。
Embodiment 1
FIG. 1 is a diagram illustrating the cooperation between the terminal device and the external display device of the present embodiment. The terminal device 10 and the external display device 20 are connected via, for example, an MHL (Mobile High-definition Link, registered trademark) cable 30.
端末装置１０は、例えば、タッチパネルを有するスマートフォンやパーソナルコンピュータ、タブレットＰＣなどの装置である。また、外部表示装置２０は、タッチパネルを有する液晶ディスプレイなどの表示装置である。 The terminal device 10 is a device such as a smartphone, a personal computer, or a tablet PC having a touch panel, for example. The external display device 20 is a display device such as a liquid crystal display having a touch panel.
図１では、端末装置１０側の通信部と外部表示装置２０側の通信部を有線で接続することで、端末装置１０に表示された画像４０を拡大した画像５０が、外部表示装置２０に表示されている。さらに、外部表示装置２０側でタッチ操作入力を行うことが可能である。 In FIG. 1, an image 50 obtained by enlarging the image 40 displayed on the terminal device 10 is displayed on the external display device 20 by connecting the communication unit on the terminal device 10 side and the communication unit on the external display device 20 side by wire. Has been. Furthermore, it is possible to perform a touch operation input on the external display device 20 side.
なお、端末装置１０と外部表示装置２０とは、無線で接続されることとしてもよい。 Note that the terminal device 10 and the external display device 20 may be connected wirelessly.
図２は、本発明の実施形態に係る端末装置の機能構成の一例を示すブロック図である。端末装置１０は、アンテナ１１、無線通信部１２、有線通信部１３、タッチパネル部１４、記憶部１５、制御部１６を備える。 FIG. 2 is a block diagram illustrating an example of a functional configuration of the terminal device according to the embodiment of the present invention. The terminal device 10 includes an antenna 11, a wireless communication unit 12, a wired communication unit 13, a touch panel unit 14, a storage unit 15, and a control unit 16.
アンテナ１１は、基地局との間で無線通信を行うためのアンテナである。無線通信部１２は、アンテナ１１を介して、基地局との間で無線通信を行う通信デバイスであり、データ通信を行う。 The antenna 11 is an antenna for performing wireless communication with a base station. The wireless communication unit 12 is a communication device that performs wireless communication with a base station via the antenna 11 and performs data communication.
有線通信部１３は、ＭＨＬケーブル３０などのネットワークケーブルを介して他の装置との間で有線通信を行う通信デバイスである。 The wired communication unit 13 is a communication device that performs wired communication with another apparatus via a network cable such as the MHL cable 30.
タッチパネル部１４は、情報の表示を行うとともに、ユーザのタッチ操作により、ユーザから情報の入力を受け付ける表示・入力デバイスである。タッチパネル部１４は、表示部１４ａ、タッチセンサ部１４ｂを備える。表示部１４ａは、液晶ディスプレイなどの表示デバイスであり、所定の解像度を有する。タッチセンサ部１４ｂは、ユーザによりタッチされた位置を検出するセンサ部であり、所定の分解能を有する。表示部１４ａの画素、タッチの情報は、画面内の位置を特定するため解像度及びタッチセンサ部１４ｂの分解能に従って、それぞれの座標系を有しており、各座標系の原点は、４隅のいずれかに設定されている。 The touch panel unit 14 is a display / input device that displays information and receives input of information from the user by a user's touch operation. The touch panel unit 14 includes a display unit 14a and a touch sensor unit 14b. The display unit 14a is a display device such as a liquid crystal display, and has a predetermined resolution. The touch sensor unit 14b is a sensor unit that detects a position touched by the user and has a predetermined resolution. The pixel and touch information of the display unit 14a has respective coordinate systems according to the resolution and the resolution of the touch sensor unit 14b in order to specify the position in the screen, and the origin of each coordinate system is any of the four corners. It is set to
記憶部１５は、メモリやハードディスク装置などの記憶デバイスである。記憶部１５は、画像データ１５ａ、外部用画像データ１５ｂ、画面解像度データ１５ｃ、タッチ操作データ１５ｄ、タッチセンサ性能データ１５ｅ、タッチ操作データ調整用データ１５ｆなどを記憶する。 The storage unit 15 is a storage device such as a memory or a hard disk device. The storage unit 15 stores image data 15a, external image data 15b, screen resolution data 15c, touch operation data 15d, touch sensor performance data 15e, touch operation data adjustment data 15f, and the like.
画像データ１５ａは、表示部１４ａに表示される画像のデータである。 The image data 15a is image data displayed on the display unit 14a.
外部用画像データ１５ｂは、外部表示装置２０に送信され、外部表示装置２０で表示される画像のデータである。外部用画像データ１５ｂは、端末装置１０の制御部１６により生成される。 The external image data 15 b is image data that is transmitted to the external display device 20 and displayed on the external display device 20. The external image data 15 b is generated by the control unit 16 of the terminal device 10.
画面解像度データ１５ｃは、外部表示装置２０の画面の解像度の情報である。 The screen resolution data 15 c is information on the screen resolution of the external display device 20.
タッチ操作データ１５ｄは、外部表示装置２０から受信したタッチ操作に関する情報である。具体的にはタッチ操作データ１５ｄは、ユーザが外部表示装置２０にてタッチ操作したときのタッチ位置の座標情報を端末装置１０の処理能力に応じて調整された情報であり、この情報は、外部表示装置２０のタッチセンサの座標系で表されている。 The touch operation data 15 d is information regarding the touch operation received from the external display device 20. Specifically, the touch operation data 15d is information in which the coordinate information of the touch position when the user performs a touch operation on the external display device 20 is adjusted according to the processing capability of the terminal device 10, and this information is It is expressed in the coordinate system of the touch sensor of the display device 20.
タッチセンサ性能データ１５ｅは、外部表示装置２０側のタッチセンサの性能に関する情報である。タッチセンサの性能には、タッチセンサの分解能、サンプリング周波数、最大マルチタッチ数等が含まれる。タッチセンサの分解能は、タッチ操作の精度を示す性能であり、解像度とも言われる。サンプリング周波数は、１秒に何回処理できるかを示す性能である。最大マルチタッチ数は、同時にタッチして処理が行える最大の点数を示す性能である。 The touch sensor performance data 15e is information regarding the performance of the touch sensor on the external display device 20 side. The touch sensor performance includes the resolution of the touch sensor, the sampling frequency, the maximum number of multi-touches, and the like. The resolution of the touch sensor is a performance indicating the accuracy of the touch operation, and is also referred to as resolution. Sampling frequency is a performance indicating how many times a second can be processed. The maximum number of multi-touches is a performance indicating the maximum number of points that can be processed by touching simultaneously.
タッチ操作データ調整用データ１５ｆは、外部表示装置２０から端末装置１０にタッチ操作に関する情報を送信するときに、端末装置１０の処理能力に応じて、送信する情報を調整するために用いられる情報である。タッチ操作データ調整用データ１５ｆは、端末装置１０と外部表示装置２０が接続されたときに設定される。本実施形態において、タッチ操作データ調整用データ１５ｆは、サンプリング周波数及び最大マルチタッチ数に関する情報である。 The touch operation data adjustment data 15f is information used to adjust the information to be transmitted according to the processing capability of the terminal device 10 when transmitting information related to the touch operation from the external display device 20 to the terminal device 10. is there. The touch operation data adjustment data 15f is set when the terminal device 10 and the external display device 20 are connected. In the present embodiment, the touch operation data adjustment data 15f is information regarding the sampling frequency and the maximum number of multi-touches.
画面解像度データ１５ｃ、タッチ操作データ１５ｄ及びタッチセンサ性能データ１５ｅは、外部表示装置２０から取得される。 The screen resolution data 15c, touch operation data 15d, and touch sensor performance data 15e are acquired from the external display device 20.
制御部１６は、端末装置１０の各部を制御するＣＰＵ（Central Processing Unit）などの制御デバイスである。制御部１６は、調整用データ生成部１６ａ、外部画像生成部１６ｂ、位置座標変換部１６ｃ、タッチ操作実行部１６ｄを備える。 The control unit 16 is a control device such as a CPU (Central Processing Unit) that controls each unit of the terminal device 10. The control unit 16 includes an adjustment data generation unit 16a, an external image generation unit 16b, a position coordinate conversion unit 16c, and a touch operation execution unit 16d.
調整用データ生成部１６ａは、外部表示装置２０から端末装置１０に送信するタッチ操作に関する情報を調整するために用いるタッチ操作データ調整用データ１５ｆを設定する処理部である。具体的には、調整用データ生成部１６ａは、端末装置１０のタッチ操作に関する処理能力と外部表示装置２０のタッチセンサの性能を比較する。本実施形態では、サンプリング周波数及び最大マルチタッチ数に関して比較を行う。 The adjustment data generation unit 16a is a processing unit that sets touch operation data adjustment data 15f used to adjust information related to a touch operation transmitted from the external display device 20 to the terminal device 10. Specifically, the adjustment data generation unit 16a compares the processing capability regarding the touch operation of the terminal device 10 with the performance of the touch sensor of the external display device 20. In this embodiment, a comparison is made regarding the sampling frequency and the maximum number of multi-touches.
比較した結果、外部表示装置２０のタッチセンサの性能が端末装置１０の処理能力よりも高い場合、外部表示装置２０から端末装置１０に送信されるタッチ操作に関する情報を端末装置１０で処理できるように情報量を制限する必要がある。そのため、調整用データ生成部１６ａは、端末装置１０のタッチ操作に関する処理能力を記憶部１５にタッチ操作データ調整用データ１５ｆとして記録する。 As a result of the comparison, when the performance of the touch sensor of the external display device 20 is higher than the processing capability of the terminal device 10, information related to the touch operation transmitted from the external display device 20 to the terminal device 10 can be processed by the terminal device 10. It is necessary to limit the amount of information. Therefore, the adjustment data generation unit 16a records the processing capability regarding the touch operation of the terminal device 10 in the storage unit 15 as the touch operation data adjustment data 15f.
例えば、サンプリング周波数について、端末装置１０の処理能力が６０Ｈｚで、外部表示装置２０のタッチセンサが２４０Ｈｚである場合、外部表示装置２０で行われたタッチ操作の情報をすべて端末装置１０に送信したとしても、端末装置１０は処理しきれない。そのため、調整用データ生成部１６ａは、端末装置１０の処理能力が６０Ｈｚであることをタッチ操作データ調整用データ１５ｆとして記録する。 For example, regarding the sampling frequency, when the processing capability of the terminal device 10 is 60 Hz and the touch sensor of the external display device 20 is 240 Hz, all the information of the touch operation performed on the external display device 20 is transmitted to the terminal device 10. However, the terminal device 10 cannot process. Therefore, the adjustment data generation unit 16a records that the processing capability of the terminal device 10 is 60 Hz as the touch operation data adjustment data 15f.
また、最大マルチタッチ数について、端末装置１０の処理能力が５点で、外部表示装置２０のタッチセンサが１０点である場合、外部表示装置２０で６点以上のタッチ操作が行われてすべての情報を端末装置１０に送信したとしても、端末装置１０は処理しきれない。そのため、調整用データ生成部１６ａは、端末装置１０の処理能力が５点であることをタッチ操作データ調整用データ１５ｆとして記録する。 In addition, for the maximum number of multi-touches, when the processing capacity of the terminal device 10 is 5 points and the touch sensor of the external display device 20 is 10 points, the touch operation of 6 points or more is performed on the external display device 20 and all Even if information is transmitted to the terminal device 10, the terminal device 10 cannot be processed. Therefore, the adjustment data generation unit 16a records that the processing capability of the terminal device 10 is 5 points as touch operation data adjustment data 15f.
一方、外部表示装置２０のタッチセンサの性能が端末装置１０の処理能力と同等あるいは低い場合、外部表示装置２０から端末装置１０に送信されるタッチ操作に関する情報を端末装置１０で処理できるため、情報量を制限する必要はない。そのため、調整用データ生成部１６ａは、外部表示装置２０のタッチセンサの性能の情報を記憶部１５にタッチ操作データ調整用データ１５ｆとして記録する。 On the other hand, when the performance of the touch sensor of the external display device 20 is equal to or lower than the processing capability of the terminal device 10, information related to the touch operation transmitted from the external display device 20 to the terminal device 10 can be processed by the terminal device 10. There is no need to limit the amount. Therefore, the adjustment data generation unit 16a records the performance information of the touch sensor of the external display device 20 in the storage unit 15 as the touch operation data adjustment data 15f.
外部画像生成部１６ｂは、外部表示装置２０に表示する画像を生成する処理部である。具体的には、外部画像生成部１６ｂは、記憶部１５に記憶された画面解像度データ１５ｃを読み出して、外部表示装置２０の画面の解像度の情報を取得する。そして、記憶部１５から画像４０の画像データ１５ａを読み出し、画面解像度データ１５ｃを参照して、画像４０のアスペクト比を保ったまま、画像４０の縦のピクセル数が外部表示装置２０の画面の縦のピクセル数と一致する拡大率を演算し、その拡大率にてその画像４０を拡大する。 The external image generation unit 16 b is a processing unit that generates an image to be displayed on the external display device 20. Specifically, the external image generation unit 16 b reads the screen resolution data 15 c stored in the storage unit 15 and acquires information on the screen resolution of the external display device 20. Then, the image data 15 a of the image 40 is read from the storage unit 15, and the screen resolution data 15 c is referred to, and the vertical pixel count of the image 40 is set so that the aspect ratio of the image 40 is maintained. An enlargement ratio that matches the number of pixels is calculated, and the image 40 is enlarged at the enlargement ratio.
ここで拡大後の画像５０の横のピクセル数が、外部表示装置２０の画像の横のピクセル数と一致する場合、外部画像生成部１６ｂは、画像５０のデータを記憶部１５に外部用画像データ１５ｂとして記憶する。 When the number of horizontal pixels of the image 50 after enlargement matches the number of horizontal pixels of the image of the external display device 20, the external image generation unit 16 b stores the data of the image 50 in the storage unit 15 and external image data. Store as 15b.
一方、拡大後の画像５０の横のピクセル数が、外部表示装置２０の画像の横のピクセル数と一致しない場合、図３のように、外部画像生成部１６ｂは、拡大後の画像５０の両側に黒画像５１を付け足して、外部表示装置２０の画像の横のピクセル数と一致する画像を生成し、生成した画像のデータを記憶部１５に外部用画像データ１５ｂとして記憶する。 On the other hand, when the number of horizontal pixels of the enlarged image 50 does not match the number of horizontal pixels of the image of the external display device 20, the external image generation unit 16b performs both sides of the enlarged image 50 as shown in FIG. An image that matches the number of horizontal pixels of the image of the external display device 20 is generated by adding the black image 51 to the image, and the generated image data is stored in the storage unit 15 as external image data 15b.
位置座標変換部１６ｃは、外部表示装置２０のタッチセンサの座標系で表されたタッチ位置の座標を、端末装置１０のタッチセンサの座標系に変換する処理部である。具体的には、位置座標変換部１６ｃは、外部表示装置２０から受信したタッチ操作データ１５ｄに対して、端末装置１０のタッチセンサの分解能と外部表示装置２０のタッチセンサの分解能の情報を用いて、外部表示装置２０側の座標系から端末装置１０の座標系に変換する。 The position coordinate conversion unit 16 c is a processing unit that converts the coordinates of the touch position expressed in the coordinate system of the touch sensor of the external display device 20 into the coordinate system of the touch sensor of the terminal device 10. Specifically, the position coordinate conversion unit 16 c uses the touch sensor resolution of the terminal device 10 and the resolution information of the touch sensor of the external display device 20 for the touch operation data 15 d received from the external display device 20. Then, the coordinate system of the external display device 20 is converted to the coordinate system of the terminal device 10.
タッチ操作実行部１６ｄは、位置座標変換部１６ｃにて変換されたタッチ位置の座標を参照し、外部表示装置２０でのユーザによるタッチ操作に応じて処理を実行する処理部である。具体的には、タッチ操作実行部１６ｄは、変換後の座標を用いて、画像４０がユーザによりタッチされた場合に行われる処理を実行する。このような処理として、例えば、画像４０が地図画像である場合に、タッチされた位置に地図の中心を移動させる処理などがある。このように、ユーザは、外部表示装置２０においてタッチ操作をする場合に、端末装置１０においてタッチ操作をするのと同様の感覚で操作を行うことができる。 The touch operation execution unit 16d is a processing unit that refers to the coordinates of the touch position converted by the position coordinate conversion unit 16c and executes processing according to the touch operation by the user on the external display device 20. Specifically, the touch operation execution unit 16d executes processing performed when the image 40 is touched by the user, using the converted coordinates. As such a process, for example, when the image 40 is a map image, there is a process of moving the center of the map to the touched position. As described above, when the user performs a touch operation on the external display device 20, the user can perform the operation with the same feeling as that performed on the terminal device 10.
つぎに、図４を用いて、本発明の実施形態に係る外部表示装置２０の機能構成について説明する。図４は、本発明の実施形態に係る外部表示装置の機能構成の一例を示すブロック図である。外部表示装置２０は、アンテナ２１、無線通信部２２、有線通信部２３、タッチパネル部２４、記憶部２５、制御部２６を備える。 Next, a functional configuration of the external display device 20 according to the embodiment of the present invention will be described with reference to FIG. FIG. 4 is a block diagram showing an example of a functional configuration of the external display device according to the embodiment of the present invention. The external display device 20 includes an antenna 21, a wireless communication unit 22, a wired communication unit 23, a touch panel unit 24, a storage unit 25, and a control unit 26.
アンテナ２１は、基地局との間で無線通信を行うためのアンテナである。無線通信部２２は、アンテナ２１を介して、基地局との間で無線通信を行う通信デバイスでありデータ通信を行う。有線通信部２３は、ＭＨＬケーブル３０などのネットワークケーブルを介して他の装置との間で有線通信を行う通信デバイスである。 The antenna 21 is an antenna for performing wireless communication with the base station. The wireless communication unit 22 is a communication device that performs wireless communication with the base station via the antenna 21 and performs data communication. The wired communication unit 23 is a communication device that performs wired communication with another apparatus via a network cable such as the MHL cable 30.
タッチパネル部２４は、情報の表示を行うとともに、ユーザのタッチ操作により、ユーザから情報の入力を受け付ける表示・入力デバイスである。タッチパネル部２４は、表示部２４ａ、タッチセンサ部２４ｂを備える。表示部２４ａは、液晶ディスプレイなどの表示デバイスであり、所定の解像度を有する。タッチセンサ部２４ｂは、ユーザによりタッチされた位置を検出するセンサ部であり、所定の分解能を有する。表示部２４ａの画素、タッチの情報は、画面内の位置を特定するため解像度及びタッチセンサ部２４ｂの分解能に従って、それぞれの座標系を有しており、各座標系の原点は、４隅のいずれかに設定されている。 The touch panel unit 24 is a display / input device that displays information and receives input of information from the user by a user's touch operation. The touch panel unit 24 includes a display unit 24a and a touch sensor unit 24b. The display unit 24a is a display device such as a liquid crystal display, and has a predetermined resolution. The touch sensor unit 24b is a sensor unit that detects a position touched by the user and has a predetermined resolution. The pixel and touch information of the display unit 24a has respective coordinate systems in accordance with the resolution and the resolution of the touch sensor unit 24b in order to specify the position in the screen, and the origin of each coordinate system is any of the four corners. It is set to
記憶部２５は、メモリやハードディスク装置などの記憶デバイスである。記憶部２５は、画像データ２５ａ、画面解像度データ２５ｂ、タッチ操作元データ２５ｃ、タッチ操作データ２５ｄ、タッチセンサ性能データ２５ｅ、タッチ操作データ調整用データ２５ｆなどを記憶する。 The storage unit 25 is a storage device such as a memory or a hard disk device. The storage unit 25 stores image data 25a, screen resolution data 25b, touch operation source data 25c, touch operation data 25d, touch sensor performance data 25e, touch operation data adjustment data 25f, and the like.
画像データ２５ａ、タッチ操作データ調整用データ２５ｆは、図２で説明した端末装置１０の記憶部１５に記録される外部用画像データ１５ｂ、タッチ操作データ調整用データ１５ｆと同様のデータであり、端末装置１０から受信したものである。 The image data 25a and the touch operation data adjustment data 25f are the same data as the external image data 15b and the touch operation data adjustment data 15f recorded in the storage unit 15 of the terminal device 10 described in FIG. It has been received from the device 10.
画面解像度データ２５ｂ、タッチ操作データ２５ｄ、タッチセンサ性能データ２５ｅは、図２で説明した端末装置１０の記憶部１５に記録される画面解像度データ１５ｃ、タッチ操作データ１５ｄ、タッチセンサ性能データ１５ｅと同様のデータであり、端末装置１０に送信されるものである。タッチセンサ性能データ２５ｅは、タッチセンサ部２４ｂの性能である。 The screen resolution data 25b, touch operation data 25d, and touch sensor performance data 25e are the same as the screen resolution data 15c, touch operation data 15d, and touch sensor performance data 15e recorded in the storage unit 15 of the terminal device 10 described in FIG. Which is transmitted to the terminal device 10. The touch sensor performance data 25e is the performance of the touch sensor unit 24b.
タッチ操作元データ２５ｃは、ユーザが外部表示装置２０にてタッチ操作したときのタッチ位置の座標情報からなり、外部表示装置２０のタッチセンサの性能に応じた情報である。この座標情報は、外部表示装置２０のタッチセンサの座標系で表されている。 The touch operation source data 25c includes coordinate information of a touch position when the user performs a touch operation on the external display device 20, and is information according to the performance of the touch sensor of the external display device 20. This coordinate information is expressed in the coordinate system of the touch sensor of the external display device 20.
タッチ操作データ２５ｄは、制御部２６がタッチ操作データ調整用データ２５ｆに基づいてタッチ操作元データ２５ｃを調整したものである。 The touch operation data 25d is obtained by adjusting the touch operation source data 25c based on the touch operation data adjustment data 25f by the control unit 26.
制御部２６は、外部表示装置２０の各部を制御するＣＰＵなどの制御デバイスである。 The control unit 26 is a control device such as a CPU that controls each unit of the external display device 20.
つぎに、本発明の実施形態に係る端末装置１０と外部表示装置２０とからなる情報システムに関する処理手順の一例について図５と図６を用いて説明する。なお、図５及び図６の説明においては、「ステップ」を「Ｓ」で表し、各工程を数字で区別している。 Next, an example of a processing procedure regarding the information system including the terminal device 10 and the external display device 20 according to the embodiment of the present invention will be described with reference to FIGS. In the description of FIGS. 5 and 6, “step” is represented by “S”, and each step is distinguished by a number.
図５は、端末装置１０と外部表示装置２０を接続してから端末装置１０と外部表示装置２０において情報システムの設定が完了するまでの処理手順の一例について説明するフローチャートである。 FIG. 5 is a flowchart for explaining an example of a processing procedure from the connection of the terminal device 10 and the external display device 20 to the completion of the information system setting in the terminal device 10 and the external display device 20.
まず、端末装置１０と外部表示装置２０はＭＨＬケーブル３０などで接続されると、端末装置１０の有線通信部１３と、外部表示装置２０の有線通信部２３は、通信を確立する（Ｓ１０１、Ｓ１０２）。そして、外部表示装置２０の有線通信部２３は、端末装置１０に外部表示装置２０の画面の解像度の情報である画面解像度データ２５ｂを送信し（Ｓ１０３）、端末装置１０の有線通信部１３は、その情報を受信する（Ｓ１０４）。端末装置１０は、その情報を受信すると、記憶部１５に画面解像度データ１５ｃとして記録する。 First, when the terminal device 10 and the external display device 20 are connected by the MHL cable 30 or the like, the wired communication unit 13 of the terminal device 10 and the wired communication unit 23 of the external display device 20 establish communication (S101, S102). ). Then, the wired communication unit 23 of the external display device 20 transmits screen resolution data 25b that is information on the resolution of the screen of the external display device 20 to the terminal device 10 (S103), and the wired communication unit 13 of the terminal device 10 The information is received (S104). When receiving the information, the terminal device 10 records the screen resolution data 15c in the storage unit 15.
なお、画面の解像度の情報の送信は、通信の確立後に自動的に行われることとしてもよいし、端末装置１０の有線通信部１３からの要求に応じて行われることとしてもよい。 The transmission of the screen resolution information may be automatically performed after the communication is established, or may be performed in response to a request from the wired communication unit 13 of the terminal device 10.
続いて、外部表示装置２０の有線通信部２３は、端末装置１０に外部表示装置２０のタッチセンサの性能の情報であるタッチセンサ性能データ２５ｅを送信し（Ｓ１０５）、端末装置１０の有線通信部１３は、その情報を受信する（Ｓ１０６）。端末装置１０は、その情報を受信すると、記憶部１５にタッチセンサ性能データ１５ｅとして記録する。ここで、タッチセンサの性能とは、タッチセンサの分解能、サンプリング周波数、最大マルチタッチ数等が含まれる。 Subsequently, the wired communication unit 23 of the external display device 20 transmits touch sensor performance data 25e, which is information on the performance of the touch sensor of the external display device 20, to the terminal device 10 (S105), and the wired communication unit of the terminal device 10 13 receives the information (S106). Upon receiving the information, the terminal device 10 records the information as touch sensor performance data 15e in the storage unit 15. Here, the performance of the touch sensor includes the resolution of the touch sensor, the sampling frequency, the maximum number of multi-touches, and the like.
なお、タッチセンサの性能の情報の送信は、画面の解像度の情報の送受信のステップ１０３、１０４と同時に行われることとしてもよいし、端末装置１０の有線通信部１３からの要求に応じて行われることとしてもよい。 The transmission of the performance information of the touch sensor may be performed at the same time as the transmission / reception of the screen resolution information 103 and 104, or in response to a request from the wired communication unit 13 of the terminal device 10. It is good as well.
その後、端末装置１０の調整用データ生成部１６ａは、端末装置１０のタッチ操作に関する処理能力と外部表示装置２０のタッチセンサの性能を比較し、タッチ操作データ調整用データ１５ｆを設定し、記憶部１５に記録する（Ｓ１０７）。 Thereafter, the adjustment data generation unit 16a of the terminal device 10 compares the processing capability related to the touch operation of the terminal device 10 with the performance of the touch sensor of the external display device 20, sets the touch operation data adjustment data 15f, and the storage unit 15 (S107).
端末装置１０の有線通信部１３は、タッチ操作データ調整用データ１５ｆを外部表示装置２０に送信し（Ｓ１０８）、外部表示装置２０の有線通信部２３は、その情報を受信する（Ｓ１０９）。外部表示装置２０は、その情報を受信すると、記憶部２５にタッチ操作データ調整用データ２５ｆとして記録する。 The wired communication unit 13 of the terminal device 10 transmits the touch operation data adjustment data 15f to the external display device 20 (S108), and the wired communication unit 23 of the external display device 20 receives the information (S109). When receiving the information, the external display device 20 records it in the storage unit 25 as touch operation data adjustment data 25f.
ステップ１０４〜１０９のように端末装置１０と外部表示装置２０の間でタッチ操作に関する情報について通信した後、端末装置１０の外部画像生成部１６ｂは、外部表示装置２０に表示する画像を生成する（Ｓ１１０）。同時に、外部画像生成部１６ｂは、生成した画像を記憶部１５に外部用画像データ１５ｂとして記録する。 After communicating about the touch operation information between the terminal device 10 and the external display device 20 as in Steps 104 to 109, the external image generation unit 16b of the terminal device 10 generates an image to be displayed on the external display device 20 ( S110). At the same time, the external image generation unit 16b records the generated image in the storage unit 15 as external image data 15b.
端末装置１０の有線通信部１３は、生成した画像を外部表示装置２０に送信し（Ｓ１１１）、外部表示装置２０の有線通信部２３は、その画像を受信し、表示部２４ａに表示する（Ｓ１１２）。このとき、外部表示装置２０は、受信した画像の情報を記憶部２５に画像データ２５ａとして記録する。さらに、外部表示装置２０の制御部２６は、記憶部２５の画像データ２５ａを読み出し、表示部２４ａに表示する。 The wired communication unit 13 of the terminal device 10 transmits the generated image to the external display device 20 (S111), and the wired communication unit 23 of the external display device 20 receives the image and displays it on the display unit 24a (S112). ). At this time, the external display device 20 records the received image information in the storage unit 25 as image data 25a. Furthermore, the control unit 26 of the external display device 20 reads the image data 25a in the storage unit 25 and displays it on the display unit 24a.
以上の工程により、端末装置１０の画像を外部表示装置２０に表示し、外部表示装置２０側でタッチ操作入力を行うことが可能となる。 Through the above steps, the image of the terminal device 10 can be displayed on the external display device 20, and a touch operation input can be performed on the external display device 20 side.
図６は、図５に示されるフローチャートの続きであり、外部表示装置２０側でタッチ操作が行われてから、そのタッチ操作に応じた処理が実行されるまでの処理手順の一例について説明するフローチャートである。 FIG. 6 is a continuation of the flowchart shown in FIG. 5, and is a flowchart for explaining an example of a processing procedure from when a touch operation is performed on the external display device 20 until a process corresponding to the touch operation is executed. It is.
タッチセンサ部２４ｂは、その画像上におけるユーザからのタッチ操作を受け付ける（Ｓ１１３）。外部表示装置２０の制御部２６は、ユーザからのタッチ操作を受け付けると、タッチ位置の座標情報を記憶部２５にタッチ操作元データ２５ｃとして記憶する。 The touch sensor unit 24b receives a touch operation from the user on the image (S113). When receiving the touch operation from the user, the control unit 26 of the external display device 20 stores the coordinate information of the touch position in the storage unit 25 as the touch operation source data 25c.
制御部２６は、タッチ操作データ調整用データ２５ｆに基づいてタッチ操作元データ２５ｃを端末装置１０で処理できるように調整し、調整した情報をタッチ操作データ２５ｄとして記録する（Ｓ１１４）。 Based on the touch operation data adjustment data 25f, the control unit 26 adjusts the touch operation source data 25c so that it can be processed by the terminal device 10, and records the adjusted information as the touch operation data 25d (S114).
外部表示装置２０の有線通信部２３は、タッチされた画面上の位置の情報であるタッチ操作データ２５ｄを端末装置１０に送信し（Ｓ１１５）、端末装置１０の有線通信部１３は、その情報を受信する（Ｓ１１６）。端末装置１０は、その情報を受信すると、記憶部１５にタッチ操作データ１５ｄとして記録する。 The wired communication unit 23 of the external display device 20 transmits touch operation data 25d, which is information on the position on the touched screen, to the terminal device 10 (S115), and the wired communication unit 13 of the terminal device 10 transmits the information. Receive (S116). Upon receiving the information, the terminal device 10 records the information as touch operation data 15d in the storage unit 15.
なお、タッチ操作データ２５ｄの送信は、ユーザによるタッチ操作が検出された後に自動的に行われることとしてもよいし、端末装置１０の有線通信部１３からの要求に応じて行われることとしてもよい。 Note that the transmission of the touch operation data 25d may be performed automatically after the touch operation by the user is detected, or may be performed in response to a request from the wired communication unit 13 of the terminal device 10. .
そして、端末装置１０の位置座標変換部１６ｃは、受信したタッチ操作データ１５ｄの座標を外部表示装置２０側のタッチセンサの座標系から端末装置１０側のタッチセンサの座標系に変換する（Ｓ１１７）。その後、タッチ操作実行部１６ｄは、位置座標変換部１６ｃにて変換されたタッチ位置の座標を参照し、外部表示装置２０で行われたユーザによるタッチ操作に応じて処理を実行する（Ｓ１１８）。タッチ操作に応じた処理が実行されることにより端末装置１０では表示部１４ａの画像が変化する。 Then, the position coordinate conversion unit 16c of the terminal device 10 converts the coordinates of the received touch operation data 15d from the coordinate system of the touch sensor on the external display device 20 side to the coordinate system of the touch sensor on the terminal device 10 side (S117). . Thereafter, the touch operation execution unit 16d refers to the coordinates of the touch position converted by the position coordinate conversion unit 16c, and executes processing according to the touch operation performed by the user on the external display device 20 (S118). When the process according to the touch operation is executed, the image of the display unit 14a is changed in the terminal device 10.
端末装置１０の表示部１４ａに表示される画像が変わると、その画像を外部表示装置２０の表示部２４ａにも表示させるために、外部画像生成部１６ｂは、外部表示装置２０に表示する画像を生成する（Ｓ１１９）。端末装置１０の有線通信部１３は、生成した画像を外部表示装置２０に送信し（Ｓ１２０）、外部表示装置２０の有線通信部２３は、その画像を受信し、表示部２４ａに表示する（Ｓ１２１）。 When the image displayed on the display unit 14 a of the terminal device 10 changes, the external image generation unit 16 b displays the image displayed on the external display device 20 in order to display the image on the display unit 24 a of the external display device 20. Generate (S119). The wired communication unit 13 of the terminal device 10 transmits the generated image to the external display device 20 (S120), and the wired communication unit 23 of the external display device 20 receives the image and displays it on the display unit 24a (S121). ).
以上の工程により、端末装置１０と外部表示装置２０を接続し、外部表示装置２０で行われたタッチ操作を支障なく端末装置１０で処理することができる。なお、図５に示す工程は端末装置１０と外部表示装置２０を接続した直後に行われるものであり、一度実行されれば、接続が切れるまで再度実行される必要はない。また、外部表示装置２０側でタッチ操作を受け付ける度、図６に示される工程が実行され、端末装置１０と外部表示装置２０の連携が保たれる。 Through the above steps, the terminal device 10 and the external display device 20 are connected, and the touch operation performed on the external display device 20 can be processed by the terminal device 10 without any trouble. Note that the process shown in FIG. 5 is performed immediately after the terminal device 10 and the external display device 20 are connected, and once executed, it is not necessary to be executed again until the connection is disconnected. Further, every time a touch operation is received on the external display device 20 side, the process shown in FIG. 6 is executed, and the cooperation between the terminal device 10 and the external display device 20 is maintained.
以上のように、端末装置１０と外部表示装置２０を連携させたときに、外部表示装置２０から端末装置１０に送信するタッチ操作に関する情報を端末装置１０で処理できるように調整することで、タッチ操作の連携で不具合が生じないようすることが可能となる。 As described above, when the terminal device 10 and the external display device 20 are linked, the information related to the touch operation transmitted from the external display device 20 to the terminal device 10 is adjusted so that the terminal device 10 can process the information. It is possible to prevent problems from occurring due to the cooperation of operations.
例えば、外部表示装置２０のタッチセンサの性能が端末装置１０のタッチ操作に関する処理能力より高く、端末装置１０の処理能力を超えるタッチ操作が外部表示装置２０で行われた場合、端末装置１０側で一部のタッチ操作の処理が実行されないといった不具合やユーザが所望しない処理が行われてしまうといった不具合が生じることがある。このような問題を防ぐために、端末装置１０と外部表示装置２０を接続したときに、端末装置１０のタッチ操作に関する処理能力と外部表示装置２０のタッチセンサの性能を比較し、端末装置１０に送信される情報が端末装置１０の処理能力を超えないように、外部表示装置２０にタッチ操作に関する情報を調整するための情報を予め記憶させておく。こうすることで、タッチ操作入力の連携で不具合が生じないようすることが可能となる。 For example, when the performance of the touch sensor of the external display device 20 is higher than the processing capability related to the touch operation of the terminal device 10 and the touch operation exceeding the processing capability of the terminal device 10 is performed on the external display device 20, the terminal device 10 side There may be a problem that some touch operation processes are not executed or a process that a user does not want to perform. In order to prevent such a problem, when the terminal device 10 and the external display device 20 are connected, the processing capability relating to the touch operation of the terminal device 10 and the performance of the touch sensor of the external display device 20 are compared and transmitted to the terminal device 10. The information for adjusting the information related to the touch operation is stored in advance in the external display device 20 so that the information to be processed does not exceed the processing capability of the terminal device 10. By doing so, it becomes possible to prevent problems from occurring due to the cooperation of touch operation inputs.
また上記のように、ユーザによるタッチ操作のタッチ位置の情報をタッチセンサの座標系で送受信し、端末装置１０のタッチセンサの分解能と外部表示装置２０のタッチセンサの分解能の情報を用いて座標変換を行うことで、画面の解像度を考慮に入れず、スムーズに処理を実行することが可能となる。 In addition, as described above, information on the touch position of the touch operation by the user is transmitted and received in the coordinate system of the touch sensor, and coordinate conversion is performed using information on the resolution of the touch sensor of the terminal device 10 and the resolution of the touch sensor of the external display device 20. By performing the above, it becomes possible to execute the processing smoothly without taking the screen resolution into consideration.
また上記のように、端末装置１０と外部表示装置２０を連携させ、外部表示装置２０においてユーザによりタッチ操作された場合に、タッチ位置の情報を外部表示装置２０から端末装置１０に送信し、座標係を端末装置１０のタッチセンサに適応するために変換させ、タッチ操作の処理を実行することで、ユーザは外部表示装置２０においてタッチ操作をする場合に、端末装置１０においてタッチ操作をするのと同様の感覚で操作を行うことができる。そのため、比較的画面の小さい端末装置では、操作性及び視認性が低く、行いづらかった行為、例えば、書類作成やゲーム操作などを、より大きな画面を有する外部表示装置で行うことが可能となる。その結果、タッチ操作の操作性及び画面の視認性が向上し、ユーザはより良い状況で作業を行うことが可能となる。 Further, as described above, when the terminal device 10 and the external display device 20 are linked to each other and a touch operation is performed by the user on the external display device 20, information on the touch position is transmitted from the external display device 20 to the terminal device 10, and the coordinates By converting the staff to adapt to the touch sensor of the terminal device 10 and executing the touch operation process, the user performs the touch operation on the terminal device 10 when performing the touch operation on the external display device 20. The operation can be performed with the same feeling. Therefore, in a terminal device with a relatively small screen, operability and visibility are low, and it is possible to perform actions that are difficult to perform, such as document creation and game operation, on an external display device having a larger screen. As a result, the operability of the touch operation and the visibility of the screen are improved, and the user can work in a better situation.
また実施形態１では、調整用データ生成部１６ａは、端末装置１０のタッチ操作に関する処理能力と外部表示装置２０のタッチセンサの性能を比較し、タッチ操作データ調整用データ１５ｆを設定したが、さらに端末装置１０と外部表示装置２０を接続する通信の性能を考慮に入れてタッチ操作データ調整用データ１５ｆを設定するほうが好ましい。通信の性能とは、通信速度のことを指し、ステップ１０１、１０２で通信を確立するときに、端末装置１０は、通信の性能の情報を得ても良い。 In the first embodiment, the adjustment data generation unit 16a compares the processing capability related to the touch operation of the terminal device 10 with the performance of the touch sensor of the external display device 20, and sets the touch operation data adjustment data 15f. It is preferable to set the touch operation data adjustment data 15f taking into consideration the performance of communication connecting the terminal device 10 and the external display device 20. The communication performance refers to a communication speed, and the terminal device 10 may obtain communication performance information when establishing communication in steps 101 and 102.
なお、図５と図６において端末装置１０と外部表示装置２０間の通信を有線で行ったが、無線通信としても良い。 5 and 6, the communication between the terminal device 10 and the external display device 20 is performed by wire, but may be wireless communication.
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 As mentioned above, although embodiment of this invention was described, this invention is not limited to said embodiment, The range of this invention is shown by a claim, and the meaning and range equivalent to a claim All changes within are intended to be included.
例えば、実施形態１では外部表示装置２０を横向きに設置した場合について説明したが、外部表示装置２０を９０度回転させて縦向きに設置しても良い。また外部表示装置２０に表示される画像やタッチ操作の連携を最適な状態にするために、外部表示装置２０は、表示の向きが横か縦のどちらであるかに関する情報を端末装置１０に送信することが好ましい。外部表示装置２０から端末装置１０に外部表示装置２０の表示に関する情報を送信するタイミングは、図５のステップ１０３あるいはステップ１０５と同時であっても良い。 For example, in the first embodiment, the case where the external display device 20 is installed in the horizontal direction has been described. However, the external display device 20 may be installed in the vertical direction by rotating 90 degrees. Further, in order to optimize the cooperation between the image displayed on the external display device 20 and the touch operation, the external display device 20 transmits information regarding whether the display direction is horizontal or vertical to the terminal device 10. It is preferable to do. The timing for transmitting information related to the display of the external display device 20 from the external display device 20 to the terminal device 10 may be simultaneous with step 103 or step 105 in FIG.
１０ 端末装置
１１ アンテナ
１２ 無線通信部
１３ 有線通信部
１４ タッチパネル部
１４ａ 表示部
１４ｂ タッチセンサ部
１５ 記憶部
１５ａ 画像データ
１５ｂ 外部用画像データ
１５ｃ 画面解像度データ
１５ｄ タッチ操作データ
１５ｅ タッチセンサ性能データ
１５ｆ タッチ操作データ調整用データ
１６ 制御部
１６ａ 調整用データ生成部
１６ｂ 外部画像生成部
１６ｃ 位置座標変換部
１６ｄ タッチ操作実行部
２０ 外部表示装置
２１ アンテナ
２２ 無線通信部
２３ 有線通信部
２４ タッチパネル部
２４ａ 表示部
２４ｂ タッチセンサ部
２５ 記憶部
２５ａ 画像データ
２５ｂ 画面解像度データ
２５ｃ タッチ操作元データ
２５ｄ タッチ操作データ
２５ｅ タッチセンサ性能データ
２５ｆ タッチ操作データ調整用データ
２６ 制御部
３０ ＭＨＬケーブル
３０ ケーブル
４０ 画像
５０ 画像
５１ 黒画像
DESCRIPTION OF SYMBOLS 10 Terminal device 11 Antenna 12 Wireless communication part 13 Wired communication part 14 Touch panel part 14a Display part 14b Touch sensor part 15 Memory | storage part 15a Image data 15b External image data 15c Screen resolution data 15d Touch operation data 15e Touch sensor performance data 15f Touch operation Data adjustment data 16 Control unit 16a Adjustment data generation unit 16b External image generation unit 16c Position coordinate conversion unit 16d Touch operation execution unit 20 External display device 21 Antenna 22 Wireless communication unit 23 Wired communication unit 24 Touch panel unit 24a Display unit 24b Touch Sensor unit 25 Storage unit 25a Image data 25b Screen resolution data 25c Touch operation source data 25d Touch operation data 25e Touch sensor performance data 25f Touch operation data adjustment data 26 Control Part 30 MHL cable 30 cable 40 image 50 image 51 black image
Claims (4)
前記端末装置は、調整用データ生成部と通信部を備え、
前記調整用データ生成部は、前記外部表示装置のタッチセンサの性能と前記端末装置のタッチ処理能力を比較して、前記外部表示装置から前記端末装置に送信されるタッチ操作データを調整するための調整用データを生成し、
前記通信部は、前記調整用データを前記外部表示装置に送信することを特徴とする端末装置。 A terminal device connected to an external display device including a touch sensor,
The terminal device includes an adjustment data generation unit and a communication unit,
The adjustment data generation unit is configured to adjust the touch operation data transmitted from the external display device to the terminal device by comparing the performance of the touch sensor of the external display device with the touch processing capability of the terminal device. Generate adjustment data,
The communication device transmits the adjustment data to the external display device.
前記端末装置は、調整用データ生成部と端末装置側通信部を備え、
前記調整用データ生成部は、前記外部表示装置のタッチセンサの性能と前記端末装置のタッチ処理能力を比較して、前記外部表示装置から前記端末装置に送信されるタッチ操作データを調整するための調整用データを生成し、
前記端末装置側通信部は、前記調整用データを前記外部表示装置に送信するものであり、
前記外部表示装置は、外部表示装置側通信部、タッチセンサ、制御部を備え、
前記外部表示装置側通信部は、前記調整用データを受信し、
前記タッチセンサは、タッチ操作が行われたことを検出し、
前記制御部は、前記調整用データに基づいて前記タッチ操作データを調整することを特徴とする情報システム。 An information system comprising a terminal device and an external display device provided with a touch sensor,
The terminal device includes an adjustment data generation unit and a terminal device side communication unit,
The adjustment data generation unit is configured to adjust the touch operation data transmitted from the external display device to the terminal device by comparing the performance of the touch sensor of the external display device with the touch processing capability of the terminal device. Generate adjustment data,
The terminal device side communication unit transmits the adjustment data to the external display device,
The external display device includes an external display device side communication unit, a touch sensor, and a control unit.
The external display device side communication unit receives the adjustment data,
The touch sensor detects that a touch operation has been performed,
The control unit adjusts the touch operation data based on the adjustment data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013015183A JP6034709B2 (en) | 2013-01-30 | 2013-01-30 | Terminal device, external display device, and information system including terminal device and external display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013015183A JP6034709B2 (en) | 2013-01-30 | 2013-01-30 | Terminal device, external display device, and information system including terminal device and external display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014146228A JP2014146228A (en) | 2014-08-14 |
| JP6034709B2 true JP6034709B2 (en) | 2016-11-30 |
Family
ID=51426430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013015183A Active JP6034709B2 (en) | 2013-01-30 | 2013-01-30 | Terminal device, external display device, and information system including terminal device and external display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6034709B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6117562B2 (en) | 2013-02-13 | 2017-04-19 | ソニー株式会社 | Information processing apparatus, information processing method, and information processing system |
| CN105607859B (en) | 2016-03-02 | 2018-12-11 | 腾讯科技（深圳）有限公司 | A kind of data processing method and device |
| JP6462627B2 (en) * | 2016-05-13 | 2019-01-30 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002323884A (en) * | 2001-04-26 | 2002-11-08 | Matsushita Electric Ind Co Ltd | Wireless display system which monitors and operates plural personal computers |
| JP5426150B2 (en) * | 2008-11-28 | 2014-02-26 | 富士通テン株式会社 | In-vehicle system, in-vehicle device, and command execution control method thereof |
| JP5198355B2 (en) * | 2009-05-19 | 2013-05-15 | 株式会社日立製作所 | Portable communication terminal, input / output device communicating with the same, system including these, program for remote operation of portable communication terminal |
| JP2011203982A (en) * | 2010-03-25 | 2011-10-13 | Fujitsu Ten Ltd | Operation system, operation device, and command execution method |
| JP5555555B2 (en) * | 2010-06-28 | 2014-07-23 | 本田技研工業株式会社 | In-vehicle device that cooperates with a portable device and realizes an input operation possible for the portable device |
| US9606651B2 (en) * | 2011-01-27 | 2017-03-28 | Kyocera Corporation | Electronic device |
| JP5472256B2 (en) * | 2011-05-06 | 2014-04-16 | 株式会社デンソー | Vehicle display device and information display system |
| JP2012243058A (en) * | 2011-05-19 | 2012-12-10 | Panasonic Corp | Touch panel device and plasma display device including the same |
| JP5257486B2 (en) * | 2011-05-20 | 2013-08-07 | 大日本印刷株式会社 | Computer apparatus, input system, and program |
-
2013
- 2013-01-30 JP JP2013015183A patent/JP6034709B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014146228A (en) | 2014-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6759341B2 (en) | How to display multiple application windows on a mobile terminal, and mobile terminals | |
| US20170199662A1 (en) | Touch operation method and apparatus for terminal | |
| US10275056B2 (en) | Method and apparatus for processing input using display | |
| US10789033B2 (en) | System and method for providing widget | |
| US20160139797A1 (en) | Display apparatus and contol method thereof | |
| US9582094B2 (en) | Information processing device, display device with touch panel, information processing method, and program | |
| WO2018137304A1 (en) | Method for displaying 2d application in vr device, and terminal | |
| US20140320537A1 (en) | Method, device and storage medium for controlling electronic map | |
| KR20140100306A (en) | Portable device and Method for controlling external device thereof | |
| WO2019129264A1 (en) | Interface display method and mobile terminal | |
| US11662858B2 (en) | Terminal device, calibration method and calibration program | |
| CN107358083B (en) | Information processing method, terminal and computer readable storage medium | |
| JP6034709B2 (en) | Terminal device, external display device, and information system including terminal device and external display device | |
| CN109491964B (en) | File sharing method and terminal | |
| US20150145749A1 (en) | Image processing apparatus and image processing method | |
| US10719926B2 (en) | Image stitching method and electronic device | |
| CN109062483B (en) | Image processing method and terminal equipment | |
| CN111443968A (en) | Screenshot method and electronic equipment | |
| WO2019206224A1 (en) | Screen unlocking method and mobile terminal | |
| CN111045588B (en) | Information viewing method and electronic equipment | |
| KR20130121370A (en) | Method for improving touch response and an electronic device thereof | |
| JP2015153347A (en) | Information processor and computer program | |
| WO2015102326A1 (en) | Display device and method for controlling same | |
| US10757242B2 (en) | Computer system, and method and program for setting | |
| KR101869063B1 (en) | System and method for inputting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150423 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150916 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160726 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161028 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6034709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |