JP6111481B2 - Display device, terminal device, display system, and display method - Google Patents

Display device, terminal device, display system, and display method Download PDF

Info

Publication number
JP6111481B2
JP6111481B2 JP2013143146A JP2013143146A JP6111481B2 JP 6111481 B2 JP6111481 B2 JP 6111481B2 JP 2013143146 A JP2013143146 A JP 2013143146A JP 2013143146 A JP2013143146 A JP 2013143146A JP 6111481 B2 JP6111481 B2 JP 6111481B2
Authority
JP
Japan
Prior art keywords
flick
movement amount
touch
terminal device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013143146A
Other languages
Japanese (ja)
Other versions
JP2015018300A (en
Inventor
恵介 長谷川
恵介 長谷川
充史 大沼
充史 大沼
愛 寺島
愛 寺島
小野寺　俊雄
俊雄 小野寺
高橋　努
努 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013143146A priority Critical patent/JP6111481B2/en
Publication of JP2015018300A publication Critical patent/JP2015018300A/en
Application granted granted Critical
Publication of JP6111481B2 publication Critical patent/JP6111481B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、表示装置、端末機器、表示システム、及び表示方法に関し、より詳細には、タッチ操作可能な表示装置、端末機器、表示システム、及び表示方法に関する。   The present invention relates to a display device, a terminal device, a display system, and a display method, and more particularly to a display device, a terminal device, a display system, and a display method that can be touch-operated.

近年、スマートフォンやＰＤＡ(Personal Digital Assistant)などの携帯端末が急速に普及している。このような携帯端末は、省スペース性及び簡易操作性を実現するために、ユーザによる操作入力を受け付けるための操作部として、タッチパネルが採用されている。このタッチパネルでは、ユーザの指やタッチペン等によりタッチされた点の画面上における座標値を検出することにより、タッチにより描画された線等の画像を認識して、液晶表示装置等の画面上に表示することができる。また、タッチパネルの原理としては、例えば、抵抗膜方式、静電容量方式、光学方式（赤外線方式）など、種々存在する。   In recent years, mobile terminals such as smartphones and PDAs (Personal Digital Assistants) are rapidly spreading. Such a mobile terminal employs a touch panel as an operation unit for receiving an operation input by a user in order to realize space saving and simple operability. In this touch panel, by detecting the coordinate value on the screen of the point touched by the user's finger or touch pen, an image such as a line drawn by touch is recognized and displayed on the screen of a liquid crystal display device or the like. can do. Further, as the principle of the touch panel, there are various types such as a resistance film method, a capacitance method, and an optical method (infrared method), for example.

上記のタッチパネルにおけるタッチ操作の一つとして、フリック操作が知られている。このフリック操作とは、ユーザがタッチパネル上で押下した指を一定方向に移動させた後にタッチパネルから指を跳ねるようにして離す操作であり、これにより、表示画像のページ送りや、拡大縮小などの操作が可能となる。   As one of touch operations on the touch panel, a flick operation is known. This flick operation is an operation such as moving the finger pressed on the touch panel in a certain direction and then releasing it by bouncing the finger off the touch panel. Is possible.

従来、タッチパネルにおけるフリック操作に関して、例えば、特許文献１に記載の技術が提案されている。これは、フリック操作時にタッチ開始位置からタッチ終了位置までの移動速度を計測し、その移動速度とユーザの指の数とに基づいて、表示画像をスクロールさせる制御量を設定するものである。また、特許文献２には、複数の指によるマルチフリック操作が検出された場合、表示画像のページを、マルチフリック操作による接触点の数に応じた移動量で移動させる技術が記載されている。   Conventionally, for example, a technique described in Patent Document 1 has been proposed for a flick operation on a touch panel. This measures the moving speed from the touch start position to the touch end position during the flick operation, and sets a control amount for scrolling the display image based on the moving speed and the number of fingers of the user. Patent Document 2 describes a technique for moving a page of a display image by a movement amount corresponding to the number of contact points by a multi-flick operation when a multi-flick operation by a plurality of fingers is detected.

特開２０１１−２４８４１６号公報JP 2011-248416 A 特開２０１１−１７０６０３号公報JP 2011-170603 A

ここで、スマートフォンなどの携帯端末の表示画面を、液晶モニタの大画面にそのまま表示させるＭｉｒａｃａｓｔ（登録商標）という技術が知られている。このＭｉｒａｃａｓｔは、Ｗｉ-Ｆｉ Ａｌｌｉａｎｃｅで策定された無線接続規格であり、無線ＬＡＮを使って液晶モニタと携帯端末とを１対１で接続する。そのため、無線ＬＡＮルータは不要となる。接続は簡単で、例えば、液晶モニタ側の所定の入力切替ボタンを選択し、接続の待受中になったら、対応する携帯端末側で、Ｍｉｒａｃａｓｔ用アプリケーションを起動させることにより、双方が相手を認識し、携帯端末の画面がそのまま液晶モニタの大画面に表示される。   Here, a technique called Miracast (registered trademark) that displays a display screen of a mobile terminal such as a smartphone on a large screen of a liquid crystal monitor is known. Miracast is a wireless connection standard established by Wi-Fi Alliance, which connects a liquid crystal monitor and a portable terminal on a one-to-one basis using a wireless LAN. Therefore, a wireless LAN router is not necessary. Connection is simple. For example, when a predetermined input switching button on the LCD monitor is selected and the connection is on standby, both parties recognize the other party by launching the Miracast application on the corresponding mobile terminal. Then, the screen of the mobile terminal is displayed as it is on the large screen of the liquid crystal monitor.

上記において、液晶モニタが備えるタッチパネルからのタッチ操作情報を、携帯端末側に送信して操作内容を伝えることにより、液晶モニタ側から携帯端末を操作することが可能となっている。例えば、液晶モニタ側で画像のページ送りを行うために、液晶モニタのタッチパネル上でフリック操作を行う場合、このときのタッチ操作情報が携帯端末へ送信され、携帯端末はこのタッチ操作情報に応じて画像を前ページあるいは後ページに送る操作を実行する。そして、操作後の画像の前ページあるいは後ページが携帯端末から液晶モニタに送信され、ページ送り後の画像が液晶モニタに表示される。   In the above, it is possible to operate the portable terminal from the liquid crystal monitor side by transmitting the touch operation information from the touch panel included in the liquid crystal monitor to the portable terminal side to convey the operation content. For example, when a flick operation is performed on the touch panel of the liquid crystal monitor in order to page the image on the liquid crystal monitor side, the touch operation information at this time is transmitted to the mobile terminal, and the mobile terminal responds to the touch operation information. Executes an operation to send an image to the previous page or the next page. Then, the previous page or the rear page of the image after the operation is transmitted from the portable terminal to the liquid crystal monitor, and the image after the page is fed is displayed on the liquid crystal monitor.

しかしながら、上記の構成とした場合、次のような問題がある。通常、携帯端末の画面サイズは液晶モニタの画面サイズよりも小さいため、液晶モニタのタッチパネル上でのフリック操作で携帯端末を操作しようとした場合、通常のフリック操作では、携帯端末で行う場合と比べ指の移動量を多くしないとならない。例えば、図７において、液晶モニタ１０１と携帯端末１０２の画面上に同じ画像Ｐが表示されている場合について想定する。小画面の携帯端末１０２でのフリック操作による指の移動量Ｌ２を、大画面の液晶モニタ１０１上で再現しようとすると、移動量Ｌ２よりも多い移動量Ｌ１だけ指を移動させる必要がある。この移動量Ｌ１は液晶モニタ１０１の画面サイズが大きくなるほど増加する。つまり、携帯端末１０２での所定の移動量を得るためには、液晶モニタ１０１での指の移動量を携帯端末１０２での指の移動量よりも多くしなければならず、ユーザに違和感を与えてしまう。   However, the above configuration has the following problems. Normally, the screen size of the mobile device is smaller than the screen size of the LCD monitor. Therefore, when you try to operate the mobile device by flicking on the touch panel of the LCD monitor, the normal flick operation is compared to the case of using the mobile device. The amount of finger movement must be increased. For example, in FIG. 7, a case where the same image P is displayed on the screens of the liquid crystal monitor 101 and the portable terminal 102 is assumed. In order to reproduce the finger movement amount L2 by the flick operation on the small-screen portable terminal 102 on the large-screen liquid crystal monitor 101, it is necessary to move the finger by the movement amount L1 larger than the movement amount L2. This movement amount L1 increases as the screen size of the liquid crystal monitor 101 increases. That is, in order to obtain a predetermined amount of movement on the mobile terminal 102, the amount of finger movement on the liquid crystal monitor 101 must be larger than the amount of finger movement on the mobile terminal 102, giving the user a sense of incongruity. End up.

本発明は、上述のような実情に鑑みてなされたもので、Ｍｉｒａｃａｓｔ接続等により端末機器と同じ画像を表示装置に表示させた場合に、表示装置側からのマルチフリック操作によって端末機器を違和感なく操作できる表示装置、端末機器、表示システム、及び表示方法を提供することを目的とする。   The present invention has been made in view of the above situation, and when the same image as the terminal device is displayed on the display device by Miracast connection or the like, the terminal device can be comfortably displayed by a multi-flick operation from the display device side. It is an object to provide a display device, a terminal device, a display system, and a display method that can be operated.

上記課題を解決するために、本発明の第１の技術手段は、タッチ操作可能な端末機器と接続される表示装置であって、前記端末機器に表示されている画像データと同じ画像データを前記端末機器から受信する受信部と、該受信した画像データを表示する表示部と、該表示部に一体的に設けられたタッチパネルと、該タッチパネルにより検出されたタッチ操作がマルチフリック操作であるか否かを判定するマルチフリック操作判定部と、該マルチフリック操作判定部によりマルチフリック操作と判定した場合、該マルチフリック操作でのタッチ座標の第１のフリック移動量を、予め規定された調整量に従って、シングルフリック操作での第２のフリック移動量に変換するフリック移動量変換部と、該フリック移動量変換部により変換した第２のフリック移動量に基づくタッチ操作情報を前記端末機器に送信する送信部とを備え、前記タッチ操作情報は、前記マルチフリック操作でのタッチ座標と、前記第２のフリック移動量とに基づいて算出される座標情報であり、前記フリック移動量変換部は、前記座標情報の座標が、前記端末機器の座標範囲を超える場合に、該座標範囲内に収まるように前記第２のフリック移動量を調整することを特徴としたものである。 In order to solve the above problems, a first technical means of the present invention is a display device connected to a terminal device capable of touch operation, and the same image data as the image data displayed on the terminal device is stored in the display device. A receiving unit that receives from the terminal device, a display unit that displays the received image data, a touch panel provided integrally with the display unit, and whether or not the touch operation detected by the touch panel is a multi-flick operation When the multi-flick operation determination unit and the multi-flick operation determination unit determine that the multi-flick operation is determined, the first flick movement amount of the touch coordinates in the multi-flick operation is determined according to a predetermined adjustment amount. , A flick movement amount conversion unit for converting to a second flick movement amount in a single flick operation, and a second flick movement amount conversion unit converted by the flick movement amount conversion unit And a transmission unit for transmitting the touch operation information based on Rick movement amount to the terminal device, the touch operation information is calculated based on the touch coordinates in the multi-flick operation, the said second flick movement amount When the coordinates of the coordinate information exceed the coordinate range of the terminal device, the flick movement amount conversion unit adjusts the second flick movement amount so as to be within the coordinate range. in which was characterized by a call.

第２の技術手段は、第１の技術手段において、前記フリック移動量変換部は、前記予め規定された調整量を、前記表示装置の画面サイズと前記端末機器の画面サイズとの比率に基づき決定することを特徴としたものである。   According to a second technical means, in the first technical means, the flick movement amount conversion unit determines the predetermined adjustment amount based on a ratio between a screen size of the display device and a screen size of the terminal device. It is characterized by doing.

第３の技術手段は、第１の技術手段において、前記フリック移動量変換部は、前記予め規定された調整量を、前記マルチフリック操作時に同時入力されるタッチ点の数に基づき決定することを特徴としたものである。   According to a third technical means, in the first technical means, the flick movement amount conversion unit determines the predetermined adjustment amount based on the number of touch points input simultaneously during the multi-flick operation. It is a feature.

第４の技術手段は、第１の技術手段において、前記フリック移動量変換部は、前記予め規定された調整量を、ユーザが設定した設定値に基づき決定することを特徴としたものである。   According to a fourth technical means, in the first technical means, the flick movement amount conversion unit determines the predetermined adjustment amount based on a set value set by a user.

第５の技術手段は、第１〜第４のいずれか１の技術手段における表示装置と接続される端末機器であって、前記画像データを表示する表示部と、前記表示装置から受信したタッチ操作情報に従って、前記表示部に表示されている画像データに対して所定の操作を実行する制御部とを備えたことを特徴としたものである。 The fifth technical means is a terminal device connected to the display device in any one of the first to fourth technical means, the display unit displaying the image data, and the touch operation received from the display device And a control unit that executes a predetermined operation on the image data displayed on the display unit according to the information.

第６の技術手段は、第５の技術手段において、前記制御部は、前記所定の操作として、前記画像データに対してページ送り操作を実行することを特徴としたものである。 According to a sixth technical means, in the fifth technical means, the control unit executes a page turning operation on the image data as the predetermined operation.

第７の技術手段は、第５の技術手段において、前記制御部は、前記所定の操作として、前記画像データに対して拡大縮小操作を実行することを特徴としたものである。 According to a seventh technical means, in the fifth technical means, the control unit executes an enlargement / reduction operation on the image data as the predetermined operation.

第８の技術手段は、タッチ操作可能な端末機器と、タッチ操作可能な表示装置とが接続された表示システムであって、前記表示装置は、前記端末機器に表示されている画像データと同じ画像データを前記端末機器から受信する受信部と、該受信した画像データを表示する表示部と、該表示部に一体的に設けられたタッチパネルと、該タッチパネルにより検出されたタッチ操作がマルチフリック操作であるか否かを判定するマルチフリック操作判定部と、該マルチフリック操作判定部によりマルチフリック操作と判定した場合、該マルチフリック操作でのタッチ座標の第１のフリック移動量を、予め規定された調整量に従って、シングルフリック操作での第２のフリック移動量に変換するフリック移動量変換部と、該フリック移動量変換部により変換した第２のフリック移動量に基づくタッチ操作情報を前記端末機器に送信する送信部とを備え、前記タッチ操作情報は、前記マルチフリック操作でのタッチ座標と、前記第２のフリック移動量とに基づいて算出される座標情報であり、前記フリック移動量変換部は、前記座標情報の座標が、前記端末機器の座標範囲を超える場合に、該座標範囲内に収まるように前記第２のフリック移動量を調整し、前記端末機器は、前記画像データを表示する表示部と、前記表示装置から受信したタッチ操作情報に従って、前記端末機器の前記表示部に表示されている画像データに対して所定の操作を実行する制御部とを備えたことを特徴としたものである。 The eighth technical means is a display system in which a touch-operable terminal device and a touch-operable display device are connected, and the display device has the same image data as the image data displayed on the terminal device. A receiving unit that receives data from the terminal device, a display unit that displays the received image data, a touch panel provided integrally with the display unit, and a touch operation detected by the touch panel is a multi-flick operation. When the multi-flick operation determination unit that determines whether or not there is a multi-flick operation is determined by the multi-flick operation determination unit, the first flick movement amount of the touch coordinates in the multi-flick operation is determined in advance. According to the adjustment amount, a flick movement amount conversion unit that converts to a second flick movement amount in a single flick operation, and the flick movement amount conversion unit The touch operation information based on the converted second flick movement amount and a transmission unit for transmitting to the terminal device, the touch operation information, the touch coordinates in the multi-flick operation, and the second flick movement amount The flick movement amount conversion unit calculates the second flick so as to be within the coordinate range when the coordinates of the coordinate information exceed the coordinate range of the terminal device. The amount of movement is adjusted, and the terminal device performs predetermined processing on the image data displayed on the display unit of the terminal device according to the display unit that displays the image data and touch operation information received from the display device. And a control unit that executes the operations described above.

第９の技術手段は、タッチ操作可能な端末機器と接続される表示装置による表示方法であって、
前記表示装置が、前記端末機器に表示されている画像データと同じ画像データを前記端末機器から受信する受信ステップと、該受信した画像データを表示部に表示する表示ステップと、前記表示部に一体的に設けられたタッチパネルにより検出されたタッチ操作がマルチフリック操作であるか否かを判定するマルチフリック操作判定ステップと、該マルチフリック操作判定ステップにてマルチフリック操作と判定した場合、該マルチフリック操作でのタッチ座標の第１のフリック移動量を、予め規定された調整量に従って、シングルフリック操作での第２のフリック移動量に変換するフリック移動量変換ステップと、該フリック移動量変換ステップにて変換した第２のフリック移動量に基づくタッチ操作情報を前記端末機器に送信する送信ステップとを備え、前記タッチ操作情報は、前記マルチフリック操作でのタッチ座標と、前記第２のフリック移動量とに基づいて算出される座標情報であり、前記フリック移動量変換ステップにおいては、前記座標情報の座標が、前記端末機器の座標範囲を超える場合に、該座標範囲内に収まるように前記第２のフリック移動量を調整することを特徴としたものである。 A ninth technical means is a display method by a display device connected to a touch-operable terminal device,
The display device receives from the terminal device the same image data as the image data displayed on the terminal device, a display step to display the received image data on the display unit, and the display unit A multi-flick operation determination step for determining whether or not the touch operation detected by the touch panel provided is a multi-flick operation, and when the multi-flick operation is determined in the multi-flick operation determination step, the multi-flick operation A flick movement amount conversion step for converting the first flick movement amount of the touch coordinates in the operation into a second flick movement amount in the single flick operation according to a predetermined adjustment amount; and the flick movement amount conversion step. The transmission operation for transmitting the touch operation information based on the second flick movement amount converted in this way to the terminal device. Tsu and a flop, the touch operation information, the touch coordinates in the multi-flick operation, a coordinate information calculated on the basis of the second flick movement amount, in the flick movement amount conversion step, coordinates of the coordinate information, when it exceeds coordinate range of the terminal device, in which the second flick movement amount so as to fall within the coordinate range was characterized by an adjusting child.

本発明によれば、Ｍｉｒａｃａｓｔ接続等により端末機器と同じ画像を表示装置に表示させ、表示装置でのマルチフリック操作を検出した場合に、表示装置のタッチ座標の第１のフリック移動量を、予め規定された調整量に従って、シングルフリック操作での第２のフリック移動量に変換することができるため、表示装置側のマルチフリック操作によって端末機器を違和感なく操作することができる。   According to the present invention, when the same image as that of the terminal device is displayed on the display device by Miracast connection or the like and a multi-flick operation on the display device is detected, the first flick movement amount of the touch coordinates of the display device is determined in advance. Since it can be converted into the second flick movement amount by the single flick operation according to the specified adjustment amount, the terminal device can be operated without a sense of incongruity by the multi flick operation on the display device side.

本発明に係る表示システムの外観構成例を示す図である。It is a figure which shows the example of an external appearance structure of the display system which concerns on this invention. 本発明の第１の実施形態に係る液晶モニタ及び携帯端末の機能的な構成例を示すブロック図である。It is a block diagram which shows the functional structural example of the liquid crystal monitor and portable terminal which concern on the 1st Embodiment of this invention. 液晶モニタに表示されるフリック移動量調整画面の一例を示す図である。It is a figure which shows an example of the flick movement amount adjustment screen displayed on a liquid crystal monitor. 本発明に係る表示装置による表示方法の一例を説明するためのフロー図である。It is a flowchart for demonstrating an example of the display method by the display apparatus which concerns on this invention. 本発明に係る表示装置による表示方法の他の例を説明するためのフロー図である。It is a flowchart for demonstrating the other example of the display method by the display apparatus which concerns on this invention. 本発明の第２の実施形態に係る液晶モニタ及び携帯端末の機能的な構成例を示すブロック図である。It is a block diagram which shows the functional structural example of the liquid crystal monitor and portable terminal which concern on the 2nd Embodiment of this invention. 従来技術を説明するための図である。It is a figure for demonstrating a prior art.

以下、添付図面を参照しながら、本発明の表示装置、端末機器、表示システム、及び表示方法に係る好適な実施の形態について説明する。   Hereinafter, preferred embodiments according to a display device, a terminal device, a display system, and a display method of the present invention will be described with reference to the accompanying drawings.

図１は、本発明に係る表示システムの外観構成例を示す図である。図中、１は表示装置の一例である液晶モニタ、２は端末機器の一例である携帯端末を示す。大画面の液晶モニタ１と小画面の携帯端末２とは、例えば、前述のＭｉｒａｃａｓｔ接続されており、携帯端末２で表示する画像Ｐを液晶モニタ１に送信し、液晶モニタ１では携帯端末２と同じ画像Ｐを表示する。なお、液晶モニタ１と携帯端末２との接続方法は、このＭｉｒａｃａｓｔ接続に限定されるのではなく、同様の機能を有する有線接続あるいは無線接続であってもよい。   FIG. 1 is a diagram showing an external configuration example of a display system according to the present invention. In the figure, reference numeral 1 denotes a liquid crystal monitor which is an example of a display device, and 2 denotes a portable terminal which is an example of a terminal device. The large-screen liquid crystal monitor 1 and the small-screen portable terminal 2 are connected to the aforementioned Miracast, for example, and transmit the image P displayed on the portable terminal 2 to the liquid crystal monitor 1. The same image P is displayed. Note that the connection method between the liquid crystal monitor 1 and the portable terminal 2 is not limited to this Miracast connection, but may be a wired connection or a wireless connection having the same function.

そして、液晶モニタ１及び携帯端末２は共にタッチパネルを備え、タッチ操作を可能としている。本例の表示システムでは、液晶モニタ１でのタッチ操作情報が携帯端末２へ送信され、携帯端末２ではこのタッチ操作情報に従って所定の操作を実行する。例えば、画像データが複数頁からなる場合、液晶モニタ１でのフリック操作に応じて、携帯端末２が画像データのページ送り操作を実行し、ページ送り後の画像データを液晶モニタ１へ送信し、液晶モニタ１ではこれを表示するように制御される。   Both the liquid crystal monitor 1 and the portable terminal 2 are provided with a touch panel to enable a touch operation. In the display system of this example, touch operation information on the liquid crystal monitor 1 is transmitted to the mobile terminal 2, and the mobile terminal 2 executes a predetermined operation according to the touch operation information. For example, when the image data is composed of a plurality of pages, the portable terminal 2 executes a page feed operation of the image data in response to a flick operation on the liquid crystal monitor 1, and transmits the image data after page feed to the liquid crystal monitor 1. The liquid crystal monitor 1 is controlled to display this.

（第１の実施形態）
図２は、本発明の第１の実施形態に係る液晶モニタ及び携帯端末の機能的な構成例を示すブロック図である。液晶モニタ１は、受信部１１、表示パネル制御部１２、表示パネル１３、タッチパネル１４、タッチパネル制御部１５、制御部１６、及び送信部１７を備える。携帯端末２は、例えば、スマートフォンなどであり、受信部２１、表示部２２、タッチパネル２３、制御部２４、及び送信部２５を備える。なお、本発明に係る表示装置としては、上記の液晶モニタ１以外の薄型表示装置であってもよく、例えば、液晶テレビをモニタとして利用するものであってもよい。また、本発明に係る端末機器としては、上記の携帯端末２以外であってもよく、例えば、タッチパネルを搭載したパーソナルコンピュータなどであってもよい。 (First embodiment)
FIG. 2 is a block diagram illustrating a functional configuration example of the liquid crystal monitor and the portable terminal according to the first embodiment of the present invention. The liquid crystal monitor 1 includes a receiving unit 11, a display panel control unit 12, a display panel 13, a touch panel 14, a touch panel control unit 15, a control unit 16, and a transmission unit 17. The portable terminal 2 is, for example, a smartphone, and includes a reception unit 21, a display unit 22, a touch panel 23, a control unit 24, and a transmission unit 25. The display device according to the present invention may be a thin display device other than the liquid crystal monitor 1 described above. For example, a liquid crystal television may be used as a monitor. Further, the terminal device according to the present invention may be other than the portable terminal 2 described above, for example, a personal computer equipped with a touch panel.

液晶モニタ１の受信部１１は、携帯端末２から送られてくる画像データを受信、解析、デコードし、デコード後の画像データを表示パネル制御部１２に送る。表示パネル制御部１２は、表示パネル１３の駆動制御を行うためのもので、受信部１１からの画像データを可視できる状態で表示パネル１３に表示させる。表示パネル１３は、本例では液晶パネルで構成される。   The receiving unit 11 of the liquid crystal monitor 1 receives, analyzes, and decodes image data sent from the portable terminal 2 and sends the decoded image data to the display panel control unit 12. The display panel control unit 12 is for controlling the drive of the display panel 13 and displays the image data from the receiving unit 11 on the display panel 13 in a state where it can be seen. The display panel 13 is composed of a liquid crystal panel in this example.

タッチパネル１４は、液晶モニタ１の画面上をユーザの指またはスタイラスペンなどでタッチしたときに、そのタッチ位置（以下、タッチ座標ともいう）を入力するためのセンサである。タッチパネル制御部１５は、タッチパネル１４を介して入力されたタッチ座標を検出し、検出したタッチ座標を制御部１６に送る。制御部１６は、液晶モニタ１の動作を制御するためのＣＰＵやメモリなどで構成され、タッチパネル制御部１５からのタッチ座標によりタッチ操作情報を生成する。送信部１７は、制御部１６で生成したタッチ操作情報を送信用の所定のフォーマットに変換して携帯端末２へ送信する。   The touch panel 14 is a sensor for inputting a touch position (hereinafter also referred to as touch coordinates) when the user touches the screen of the liquid crystal monitor 1 with a user's finger or a stylus pen. The touch panel control unit 15 detects touch coordinates input via the touch panel 14 and sends the detected touch coordinates to the control unit 16. The control unit 16 includes a CPU and a memory for controlling the operation of the liquid crystal monitor 1, and generates touch operation information based on touch coordinates from the touch panel control unit 15. The transmission unit 17 converts the touch operation information generated by the control unit 16 into a predetermined format for transmission and transmits it to the mobile terminal 2.

携帯端末２の送信部２５は、表示部２２に表示される画像データを液晶モニタ１に送信し、また、受信部２１は、液晶モニタ１からタッチ操作情報を受信する。そして、制御部２４は、液晶モニタ１から受信したタッチ操作情報により、表示部２２に表示中の画像データに対して、自身のタッチパネル２３を介して検出されるタッチ操作と同様の動作、処理を実行する。   The transmission unit 25 of the portable terminal 2 transmits image data displayed on the display unit 22 to the liquid crystal monitor 1, and the reception unit 21 receives touch operation information from the liquid crystal monitor 1. Then, the control unit 24 performs the same operation and processing as the touch operation detected via its touch panel 23 on the image data being displayed on the display unit 22 based on the touch operation information received from the liquid crystal monitor 1. Run.

すなわち、液晶モニタ１のタッチパネル１４上の座標位置と、携帯端末２のタッチパネル２３上の座標位置とは対応付けされており、液晶モニタ１でのタッチ座標位置がタッチ操作情報として携帯端末２へ送信される。携帯端末２では、液晶モニタ１でのタッチ座標位置を自身の対応座標位置に割り当てて認識する。このようにして、液晶モニタ１にてフリック操作やピンチイン／ピンチアウト操作等のタッチ操作がなされた場合、携帯端末２ではこれらのタッチ操作の軌跡を、上記のタッチ操作情報により認識し、この軌跡に応じた操作を実行することができる。   That is, the coordinate position on the touch panel 14 of the liquid crystal monitor 1 and the coordinate position on the touch panel 23 of the mobile terminal 2 are associated with each other, and the touch coordinate position on the liquid crystal monitor 1 is transmitted to the mobile terminal 2 as touch operation information. Is done. The portable terminal 2 recognizes the touch coordinate position on the liquid crystal monitor 1 by assigning it to its corresponding coordinate position. In this way, when a touch operation such as a flick operation or a pinch-in / pinch-out operation is performed on the liquid crystal monitor 1, the mobile terminal 2 recognizes the locus of these touch operations from the touch operation information described above, and this locus It is possible to execute an operation according to.

本発明の主たる目的は、Ｍｉｒａｃａｓｔ接続等により端末機器と同じ画像を表示装置に表示させた場合に、表示装置側からのマルチフリック操作によって端末機器を違和感なく操作できるようにすることにある。このための構成として、表示装置の一例である液晶モニタ１は、端末機器の一例である携帯端末２に表示されている画像データと同じ画像データを携帯端末２から受信する受信部１１と、受信した画像データを表示する表示部に相当する表示パネル１３と、表示パネル１３に一体的に設けられたタッチパネル１４と、タッチパネル１４により検出されたタッチ操作がマルチフリック操作であるか否かを判定するマルチフリック操作判定部１６ａと、マルチフリック操作判定部１６ａによりマルチフリック操作と判定した場合、マルチフリック操作でのタッチ座標の第１のフリック移動量を、予め規定された調整量に従って、シングルフリック操作での第２のフリック移動量に変換するフリック移動量変換部１６ｂと、フリック移動量変換部１６ｂにより変換した第２のフリック移動量に基づくタッチ操作情報を携帯端末２に送信する送信部１７とを備える。   A main object of the present invention is to enable a terminal device to be operated without a sense of incompatibility by a multi-flick operation from the display device side when the same image as that of the terminal device is displayed on the display device by Miracast connection or the like. As a configuration for this, a liquid crystal monitor 1 that is an example of a display device includes a receiving unit 11 that receives the same image data as the image data displayed on a portable terminal 2 that is an example of a terminal device, and a reception unit 11 A display panel 13 corresponding to a display unit for displaying the image data, a touch panel 14 provided integrally with the display panel 13, and whether or not the touch operation detected by the touch panel 14 is a multi-flick operation. When the multi-flick operation determination unit 16a and the multi-flick operation determination unit 16a determine that the multi-flick operation is performed, the first flick movement amount of the touch coordinates in the multi-flick operation is determined according to a predetermined adjustment amount. The flick movement amount conversion unit 16b for converting to the second flick movement amount at the flick movement amount conversion unit 1 b by and a transmitter 17 for transmitting the touch operation information based on the second flick movement amount converted into the mobile terminal 2.

ここで、マルチフリック操作とは、ユーザがタッチパネル上で押下した複数本の指を一定方向に移動させた後にタッチパネルから複数本の指を跳ねるようにして離す操作である。また、シングルフリック操作とは、ユーザがタッチパネル上で押下した１本の指を一定方向に移動させた後にタッチパネルから１本の指を跳ねるようにして離す操作である。   Here, the multi-flick operation is an operation of moving a plurality of fingers pressed by the user on the touch panel in a certain direction and then releasing the plurality of fingers so as to jump from the touch panel. The single flick operation is an operation of moving one finger pressed on the touch panel in a certain direction and then releasing the finger so as to jump from the touch panel.

また、マルチフリック操作判定部１６ａ及びフリック移動量変換部１６ｂは、制御部１６の一機能として実現される。具体的には、マルチフリック操作判定部１６ａ及びフリック移動量変換部１６ｂとしての機能を実行するためのプログラムが制御部１６内のメモリ（図示せず）に格納されており、実行時に、制御部１６のＣＰＵ（図示せず）が、メモリから当該プログラムを読み出して実行する。   Further, the multi-flick operation determination unit 16 a and the flick movement amount conversion unit 16 b are realized as one function of the control unit 16. Specifically, a program for executing functions as the multi-flick operation determination unit 16a and the flick movement amount conversion unit 16b is stored in a memory (not shown) in the control unit 16, and at the time of execution, the control unit Sixteen CPUs (not shown) read the program from the memory and execute it.

上記において、マルチフリック操作判定部１６ａは、タッチパネル１４に対するタッチ点の軌跡を検出し、マルチフリック操作であるか否かを判定する。マルチフリック操作の場合、同時に複数のタッチ点が検出され、これら複数のタッチ点が連続的に移動するような軌跡となる。従って、マルチフリック操作判定部１６ａは、このようなタッチ点の軌跡を検出した場合に、タッチ操作がマルチフリック操作であると判定することができる。   In the above, the multi-flick operation determination unit 16a detects the locus of the touch point on the touch panel 14 and determines whether or not it is a multi-flick operation. In the case of a multi-flick operation, a plurality of touch points are detected at the same time, and a trajectory in which the plurality of touch points continuously move is obtained. Therefore, the multi-flick operation determination unit 16a can determine that the touch operation is a multi-flick operation when such a touch point locus is detected.

次に、フリック移動量変換部１６ｂの第１の処理例について説明する。マルチフリック操作でのタッチ座標の第１のフリック移動量をａ１、予め規定された調整量をｂ１、シングルフリック操作での第２のフリック移動量をａ１′とした場合、調整量ｂ１は、以下の式（１）により決定することができる。
ｂ１＝ａ１×ｃ …式（１）
但し、ｃは調整係数とする。そして、第２のフリック移動量ａ１′は、
ａ１′＝ａ１＋ｂ１＝（１＋ｃ）×ａ１ …式（２）
と求めることができる。 Next, a first processing example of the flick movement amount conversion unit 16b will be described. When the first flick movement amount of the touch coordinates in the multi-flick operation is a1, the predetermined adjustment amount is b1, and the second flick movement amount in the single flick operation is a1 ′, the adjustment amount b1 is as follows. (1).
b1 = a1 × c (1)
However, c is an adjustment coefficient. The second flick movement amount a1 ′ is
a1 ′ = a1 + b1 = (1 + c) × a1 Formula (2)
It can be asked.

フリック移動量変換部１６ｂは、調整量ｂ１を、例えば、液晶モニタ１の画面サイズと携帯端末２の画面サイズとの比率に基づき決定する。具体的には、液晶モニタ１の画面サイズが携帯端末２の画面サイズよりも縦横比にして例えば５０％大きい場合、調整量ｂ１は、第１のフリック移動量ａ１に、調整係数ｃとして“０．５”を乗じることで算出される。そして、この場合、第２のフリック移動量ａ１′は、上記式（２）より、
ａ１′＝（１＋０．５）×ａ１＝１．５×ａ１
と求めることができる。 The flick movement amount conversion unit 16b determines the adjustment amount b1 based on, for example, the ratio between the screen size of the liquid crystal monitor 1 and the screen size of the mobile terminal 2. Specifically, when the screen size of the liquid crystal monitor 1 is 50% larger than the screen size of the portable terminal 2 in aspect ratio, for example, the adjustment amount b1 is “0” as the adjustment coefficient c with respect to the first flick movement amount a1. .5 "multiplied by. In this case, the second flick movement amount a1 ′ is calculated from the above equation (2).
a1 ′ = (1 + 0.5) × a1 = 1.5 × a1
It can be asked.

上記において、第１のフリック移動量ａ１は、マルチフリック操作での指の移動量、つまり、タッチ開始座標からタッチ終了座標までの距離を検出することで求めることができる。なお、マルチフリック操作の場合、同時に複数点のタッチ座標が検出されることになるが、いずれか１つのタッチ点の開始座標と終了座標でもよく、また、複数のタッチ点の開始座標と終了座標それぞれの平均であってもよい。ここで、タッチ開始座標が（ｘ１，ｙ１）で、タッチ終了座標が（ｘ２，ｙ２）であった場合、タッチ開始座標とタッチ終了座標との距離は、ｘ方向に｜ｘ２−ｘ１｜、ｙ方向に｜ｙ２−ｙ１｜となる。従って、第１のフリック移動量ａ１は、（｜ｘ２−ｘ１｜，｜ｙ２−ｙ１｜）と表すことができる。   In the above, the first flick movement amount a1 can be obtained by detecting the movement amount of the finger in the multi-flick operation, that is, the distance from the touch start coordinate to the touch end coordinate. In the case of multi-flick operation, touch coordinates of a plurality of points are detected at the same time. However, the start coordinates and end coordinates of any one touch point may be used, and the start coordinates and end coordinates of a plurality of touch points may be used. It may be the average of each. Here, when the touch start coordinates are (x1, y1) and the touch end coordinates are (x2, y2), the distance between the touch start coordinates and the touch end coordinates is | x2-x1 |, y in the x direction. In the direction, | y2-y1 |. Therefore, the first flick movement amount a1 can be expressed as (| x2-x1 |, | y2-y1 |).

この場合、第２のフリック移動量ａ１′は、（１．５×｜ｘ２−ｘ１｜，１．５×｜ｙ２−ｙ１｜）と求めることができる。このようにして、マルチフリック操作での第１のフリック移動量ａ１（｜ｘ２−ｘ１｜，｜ｙ２−ｙ１｜）は、シングルフリック操作での第２のフリック移動量ａ１′（１．５×｜ｘ２−ｘ１｜，１．５×｜ｙ２−ｙ１｜）に変換される。   In this case, the second flick movement amount a1 ′ can be obtained as (1.5 × | x2-x1 |, 1.5 × | y2-y1 |). Thus, the first flick movement amount a1 (| x2-x1 |, | y2-y1 |) in the multi-flick operation is equal to the second flick movement amount a1 ′ (1.5 × | X2-x1 |, 1.5 × | y2-y1 |).

そして、フリック移動量変換部１６ｂは、第２のフリック移動量ａ１′に応じたタッチ操作情報として、マルチフリック操作でのタッチ開始座標（ｘ１，ｙ１）と、第２のフリック移動量ａ１′（１．５×｜ｘ２−ｘ１｜，１．５×｜ｙ２−ｙ１｜）とに基づいて座標情報を算出する。ここでは、座標情報として、（ｘ１＋１．５×（ｘ２−ｘ１），ｙ１＋１．５×（ｙ２−ｙ１））が得られる。このようにして得られたタッチ操作情報（座標情報）は、液晶モニタ１の送信部１７から、携帯端末２へ送信される。このタッチ操作情報（座標情報）により、タッチ開始座標（ｘ１，ｙ１）からタッチ終了座標（ｘ２，ｙ２）までのマルチフリック操作の軌跡が、タッチ開始座標（ｘ１，ｙ１）からタッチ終了座標（ｘ１＋１．５×（ｘ２−ｘ１），ｙ１＋１．５×（ｙ２−ｙ１））までのシングルフリック操作の軌跡として伝えられる。   Then, the flick movement amount conversion unit 16b uses, as touch operation information corresponding to the second flick movement amount a1 ′, the touch start coordinates (x1, y1) in the multi-flick operation and the second flick movement amount a1 ′ ( Coordinate information is calculated based on 1.5 × | x2-x1 |, 1.5 × | y2-y1 |). Here, (x1 + 1.5 × (x2−x1), y1 + 1.5 × (y2−y1)) is obtained as the coordinate information. The touch operation information (coordinate information) obtained in this way is transmitted from the transmission unit 17 of the liquid crystal monitor 1 to the portable terminal 2. Based on this touch operation information (coordinate information), the trajectory of the multi-flick operation from the touch start coordinate (x1, y1) to the touch end coordinate (x2, y2) is changed from the touch start coordinate (x1, y1) to the touch end coordinate (x1 + 1). .5 × (x2−x1), y1 + 1.5 × (y2−y1)).

なお、フリック移動量変換部１６ｂは、上記のタッチ操作情報として算出された座標情報の座標が、携帯端末２の座標範囲を超える場合に、座標範囲内に収まるように第２のフリック移動量ａ１′を調整するようにしてもよい。具体的には、上記のタッチ終了座標（ｘ１＋１．５×（ｘ２−ｘ１），ｙ１＋１．５×（ｙ２−ｙ１））が、携帯端末２の座標範囲内に収まる上限（頭打ち）となるように、第２のフリック移動量ａ１′（１．５×｜ｘ２−ｘ１｜，１．５×｜ｙ２−ｙ１｜）を調整する。   It should be noted that the flick movement amount conversion unit 16b uses the second flick movement amount a1 so as to be within the coordinate range when the coordinates of the coordinate information calculated as the touch operation information exceeds the coordinate range of the mobile terminal 2. 'May be adjusted. Specifically, the touch end coordinates (x1 + 1.5 × (x2−x1), y1 + 1.5 × (y2−y1)) are set to an upper limit (heading) within the coordinate range of the mobile terminal 2. The second flick movement amount a1 ′ (1.5 × | x2-x1 |, 1.5 × | y2-y1 |) is adjusted.

さらに、フリック移動量変換部１６ｂの第２の処理例について説明する。マルチフリック操作でのタッチ座標の第１のフリック移動量をａ２、予め規定された調整量をｂ２、シングルフリック操作での第２のフリック移動量をａ２′とした場合、第２のフリック移動量ａ２′を、以下の式（３）により求めてもよい。
ａ２′＝ｂ２×ａ２ …式（３） Further, a second processing example of the flick movement amount conversion unit 16b will be described. When the first flick movement amount of the touch coordinates in the multi-flick operation is a2, the predetermined adjustment amount is b2, and the second flick movement amount in the single flick operation is a2 ′, the second flick movement amount You may obtain | require a2 'by the following formula | equation (3).
a2 '= b2 * a2 Formula (3)

ここで、フリック移動量変換部１６ｂは、調整量ｂ２を、例えば、液晶モニタ１の画面サイズと携帯端末２の画面サイズとの比率に基づき決定する。具体的には、液晶モニタ１の画面サイズが携帯端末２の画面サイズに対して縦横比にして例えば３倍大きい場合、調整量ｂ２を“３”に設定する。そして、この場合、第２のフリック移動量ａ２′は、上記式（３）より、
ａ２′＝３×ａ２
と求めることができる。 Here, the flick movement amount conversion unit 16b determines the adjustment amount b2 based on, for example, the ratio between the screen size of the liquid crystal monitor 1 and the screen size of the mobile terminal 2. Specifically, when the screen size of the liquid crystal monitor 1 is, for example, three times larger than the screen size of the portable terminal 2 in the aspect ratio, the adjustment amount b2 is set to “3”. In this case, the second flick movement amount a2 ′ is calculated from the above equation (3).
a2 ′ = 3 × a2
It can be asked.

上記において、液晶モニタ１のタッチ座標として、例えば、タッチ開始座標が（ｘ１，ｙ１）で、タッチ終了座標が（ｘ２，ｙ２）であった場合、タッチ開始座標とタッチ終了座標との距離は、ｘ方向に｜ｘ２−ｘ１｜、ｙ方向に｜ｙ２−ｙ１｜となる。従って、第１のフリック移動量ａ２は、（｜ｘ２−ｘ１｜，｜ｙ２−ｙ１｜）と表すことができる。   In the above, as the touch coordinates of the liquid crystal monitor 1, for example, when the touch start coordinates are (x1, y1) and the touch end coordinates are (x2, y2), the distance between the touch start coordinates and the touch end coordinates is | x2-x1 | in the x direction and | y2-y1 | in the y direction. Therefore, the first flick movement amount a2 can be expressed as (| x2-x1 |, | y2-y1 |).

この場合、第２のフリック移動量ａ２′は、（３×｜ｘ２−ｘ１｜，３×｜ｙ２−ｙ１｜）と求めることができる。このようにして、マルチフリック操作での第１のフリック移動量ａ２（｜ｘ２−ｘ１｜，｜ｙ２−ｙ１｜）は、シングルフリック操作での第２のフリック移動量ａ２′（３×｜ｘ２−ｘ１｜，３×｜ｙ２−ｙ１｜）に変換される。   In this case, the second flick movement amount a2 ′ can be obtained as (3 × | x2-x1 |, 3 × | y2-y1 |). Thus, the first flick movement amount a2 (| x2-x1 |, | y2-y1 |) in the multi-flick operation is equal to the second flick movement amount a2 ′ (3 × | x2) in the single flick operation. −x1 |, 3 × | y2−y1 |).

そして、フリック移動量変換部１６ｂは、第２のフリック移動量ａ２′に応じたタッチ操作情報として、マルチフリック操作でのタッチ開始座標（ｘ１，ｙ１）と、第２のフリック移動量ａ２′（３×｜ｘ２−ｘ１｜，３×｜ｙ２−ｙ１｜）とに基づいて座標情報を算出する。ここでは、座標情報として、（ｘ１＋３×（ｘ２−ｘ１），ｙ１＋３×（ｙ２−ｙ１））が得られる。   Then, the flick movement amount conversion unit 16b uses the touch start coordinates (x1, y1) in the multi-flick operation as the touch operation information corresponding to the second flick movement amount a2 ′, and the second flick movement amount a2 ′ ( The coordinate information is calculated based on 3 × | x2-x1 |, 3 × | y2-y1 |). Here, (x1 + 3 × (x2−x1), y1 + 3 × (y2−y1)) is obtained as the coordinate information.

次に、携帯端末２の構成例について説明する。携帯端末２は、液晶モニタ１に送信した画像データと同じ画像データを表示する表示部２２と、液晶モニタ１から受信したタッチ操作情報に従って、表示部２２に表示されている画像データに対して所定の操作を実行する制御部２４とを備える。ここでいう所定の操作とは、例えば、画像データのページ送り操作や、画像データの拡大縮小操作などである。そして、所定の操作の実行後の画像データは、携帯端末２から液晶モニタ１へ送信され、液晶モニタ１ではこの画像データを表示する。   Next, a configuration example of the mobile terminal 2 will be described. The mobile terminal 2 displays the same image data as the image data transmitted to the liquid crystal monitor 1 and the image data displayed on the display unit 22 according to the touch operation information received from the liquid crystal monitor 1. The control part 24 which performs operation of these is provided. The predetermined operation here is, for example, a page feed operation of image data, an enlargement / reduction operation of image data, or the like. The image data after execution of the predetermined operation is transmitted from the portable terminal 2 to the liquid crystal monitor 1, and the liquid crystal monitor 1 displays this image data.

以上のフリック移動量調整処理により、図１に示すように、液晶モニタ１に対してユーザがフリック移動量Ｌ３（第１のフリック移動量）のマルチフリック操作を行った場合、携帯端末２にはフリック移動量Ｌ４（＞Ｌ３，第２のフリック移動量）のシングルフリック操作の軌跡として入力される。つまり、ユーザは液晶モニタ１に対してフリック移動量の少ないマルチフリック操作を行うことで、フリック移動量の多いシングルフリック操作に変換され、変換後の操作内容が携帯端末２へ伝えられる。換言すれば、マルチフリック操作をトリガとして、液晶モニタ１での少ないフリック移動量であっても、携帯端末２にフリック移動量を増加させて伝えることができるため、ユーザは液晶モニタ１から携帯端末２を違和感なく操作することができる。   With the above flick movement amount adjustment processing, when the user performs a multi-flick operation of the flick movement amount L3 (first flick movement amount) on the liquid crystal monitor 1, as shown in FIG. It is input as the trajectory of the single flick operation of the flick movement amount L4 (> L3, the second flick movement amount). In other words, the user performs a multi-flick operation with a small flick movement amount on the liquid crystal monitor 1, so that the user is converted into a single flick operation with a large flick movement amount, and the converted operation content is transmitted to the portable terminal 2. In other words, even when a small flick movement amount on the liquid crystal monitor 1 is triggered by the multi-flick operation, the user can transmit the flick movement amount to the portable terminal 2 by increasing the flick movement amount. 2 can be operated without a sense of incongruity.

なお、携帯端末２の画面サイズについては、液晶モニタ１と携帯端末２との間で通信プロトコルを確立する際に、液晶モニタ１が携帯端末２の画面サイズ情報を自動的に取得するようにしてもよい。あるいは、ユーザが液晶モニタ１に携帯端末２の画面サイズ情報を手動で入力するようにしてもよい。そして、液晶モニタ１では、携帯端末２の画面サイズ情報と、液晶モニタ１が持つ自身の画面サイズ情報とを比較し、両者の画面サイズの比率に基づき第１の処理例の調整量ｂ１あるいは第２の処理例の調整量ｂ２を決定することができる。   As for the screen size of the mobile terminal 2, the liquid crystal monitor 1 automatically acquires the screen size information of the mobile terminal 2 when establishing a communication protocol between the liquid crystal monitor 1 and the mobile terminal 2. Also good. Alternatively, the user may manually input the screen size information of the portable terminal 2 to the liquid crystal monitor 1. Then, the liquid crystal monitor 1 compares the screen size information of the portable terminal 2 with its own screen size information, and the adjustment amount b1 or the first processing amount in the first processing example based on the ratio of the screen sizes of the two. The adjustment amount b2 in the second processing example can be determined.

また、第１の処理例の調整量ｂ１あるいは第２の処理例の調整量ｂ２は、マルチフリック操作時に同時入力されるタッチ点の数に基づき決定するようにしてもよい。具体的には、第１の処理例の場合、調整係数ｃをタッチ点の数に基づき決定する。例えば、同時入力されたタッチ点が２つ（指が２本）であれば、調整係数ｃを“０．５”とし、同様に、タッチ点が３つ（指が３本）であれば、調整係数ｃを“１．０”とすればよい。タッチ点の数と調整係数ｃとの対応関係は、この例に限定されるものではなく、適宜定めておくことができる。また、第２の処理例の場合、同時入力されたタッチ点が２つであれば、調整量ｂ２を“２”とし、同様に、タッチ点が３つであれば、調整量ｂ２を“３”とすればよい。   Further, the adjustment amount b1 of the first processing example or the adjustment amount b2 of the second processing example may be determined based on the number of touch points input simultaneously during the multi-flick operation. Specifically, in the case of the first processing example, the adjustment coefficient c is determined based on the number of touch points. For example, if two touch points are input simultaneously (two fingers), the adjustment coefficient c is “0.5”. Similarly, if there are three touch points (three fingers), The adjustment coefficient c may be “1.0”. The correspondence between the number of touch points and the adjustment coefficient c is not limited to this example, and can be determined as appropriate. In the case of the second processing example, if there are two touch points input simultaneously, the adjustment amount b2 is set to “2”. Similarly, if there are three touch points, the adjustment amount b2 is set to “3”. "And it is sufficient.

また、第１の処理例の調整量ｂ１あるいは第２の処理例の調整量ｂ２は、ユーザが設定した設定値に基づき決定するようにしてもよい。具体的には、図３に示すように、液晶モニタ１に、フリック移動量調整画面を表示させ、ユーザが任意に調整の程度を設定できるようにすればよい。図３の例において、ユーザの操作により、「調整しない」が選択された場合、フリック移動量調整処理は実施されず、「画面サイズ比」が選択された場合、液晶モニタ１の画面サイズと携帯端末２の画面サイズとの比率に基づき調整係数ｃあるいは調整量ｂ２が調整される。また、「タッチ点」が選択された場合、マルチフリック操作時に同時入力されるタッチ点数に基づき調整係数ｃあるいは調整量ｂ２が調整される。また、「ユーザ設定」が選択された場合、ユーザの操作に従って、スライダーバー上の任意の位置につまみＴを移動させることで、調整係数ｃあるいは調整量ｂ２が調整される。なお、図３の例では、「画面サイズ比」が選択されている状態を示す。   Further, the adjustment amount b1 of the first processing example or the adjustment amount b2 of the second processing example may be determined based on a setting value set by the user. Specifically, as shown in FIG. 3, a flick movement amount adjustment screen may be displayed on the liquid crystal monitor 1 so that the user can arbitrarily set the degree of adjustment. In the example of FIG. 3, when “do not adjust” is selected by the user's operation, the flick movement amount adjustment processing is not performed, and when “screen size ratio” is selected, the screen size of the liquid crystal monitor 1 and the mobile phone The adjustment coefficient c or the adjustment amount b2 is adjusted based on the ratio with the screen size of the terminal 2. In addition, when “touch point” is selected, the adjustment coefficient c or the adjustment amount b2 is adjusted based on the number of touch points simultaneously input during the multi-flick operation. When “user setting” is selected, the adjustment coefficient c or the adjustment amount b2 is adjusted by moving the knob T to an arbitrary position on the slider bar in accordance with the user's operation. In the example of FIG. 3, “screen size ratio” is selected.

図４は、本発明に係る表示装置による表示方法の一例を説明するためのフロー図である。本例では、図２の構成例に基づき説明するものとする。まず、表示装置の一例である液晶モニタ１は、タッチパネル１４に対して何らかのタッチイベント（以下、タッチ操作という）を検出した場合に、フリック移動量調整モードがオンされているか否かを判定する（ステップＳ１）。例えば、前述の図３に示したフリック移動量調整画面で、「調整しない」以外が選択されている場合に、フリック移動量調整モードがオンされていると判定し、「調整しない」が選択されている場合に、フリック移動量調整モードがオフされていると判定する。そして、ステップＳ１において、フリック移動量調整モードがオンされていないと判定した場合（ＮＯの場合）、ステップＳ５へ移行し、タッチ操作情報をそのまま携帯端末２へ送信する（ステップＳ５）。また、ステップＳ１において、フリック移動量調整モードがオンされていると判定した場合（ＹＥＳの場合）、タッチ操作がシングルタッチであるか否かを判定する（ステップＳ２）。   FIG. 4 is a flowchart for explaining an example of the display method by the display device according to the present invention. This example will be described based on the configuration example of FIG. First, the liquid crystal monitor 1, which is an example of a display device, determines whether or not the flick movement amount adjustment mode is turned on when any touch event (hereinafter referred to as a touch operation) is detected on the touch panel 14 ( Step S1). For example, in the flick movement amount adjustment screen shown in FIG. 3 described above, when a setting other than “Do not adjust” is selected, it is determined that the flick movement amount adjustment mode is on, and “Do not adjust” is selected. If it is, it is determined that the flick movement amount adjustment mode is off. If it is determined in step S1 that the flick movement amount adjustment mode is not turned on (in the case of NO), the process proceeds to step S5, and the touch operation information is transmitted as it is to the portable terminal 2 (step S5). If it is determined in step S1 that the flick movement amount adjustment mode is turned on (in the case of YES), it is determined whether or not the touch operation is a single touch (step S2).

次に、液晶モニタ１は、ステップＳ２において、タッチ操作がシングルタッチであると判定した場合（ＹＥＳの場合）、ステップＳ５に移行して、タッチ操作情報をそのまま携帯端末２へ送信する。また、ステップＳ２において、タッチ操作がシングルタッチではないと判定した場合（ＮＯの場合）、タッチ操作がマルチフリック操作であるか否かを判定する（ステップＳ３）。   Next, when it is determined in step S2 that the touch operation is a single touch (YES), the liquid crystal monitor 1 proceeds to step S5 and transmits the touch operation information to the mobile terminal 2 as it is. If it is determined in step S2 that the touch operation is not a single touch (NO), it is determined whether or not the touch operation is a multi-flick operation (step S3).

次に、液晶モニタ１は、ステップＳ３において、タッチ操作がマルチフリック操作ではないと判定した場合（ＮＯ場合）、調整対象外のタッチ操作とし、ステップＳ５に移行して、タッチ操作情報をそのまま携帯端末２へ送信する。また、ステップＳ３において、タッチ操作がマルチフリック操作であると判定した場合（ＹＥＳの場合）、タッチ操作終了イベント、具体的には、フリック動作の終了を示すリリースイベントが発生したか否かを判定する（ステップＳ４）。   Next, when it is determined in step S3 that the touch operation is not a multi-flick operation (NO), the liquid crystal monitor 1 sets the touch operation as a non-adjustment touch operation, proceeds to step S5, and carries the touch operation information as it is. Transmit to terminal 2. If it is determined in step S3 that the touch operation is a multi-flick operation (in the case of YES), it is determined whether or not a touch operation end event, specifically, a release event indicating the end of the flick operation has occurred. (Step S4).

次に、液晶モニタ１は、ステップＳ４において、タッチ操作終了イベントが発生しない、すなわち、フリック動作の終了ではなく、フリック動作の継続中と判定した場合（ＮＯの場合）、フリック動作に伴うタッチ操作情報を内部メモリに保存し（ステップＳ６）、ステップＳ４に戻り処理を繰り返す。また、ステップＳ４において、タッチ操作終了イベントが発生したと判定した場合（ＹＥＳの場合）、タッチ操作の開始位置と終了位置とから第１のフリック移動量を算出する（ステップＳ７）。   Next, when it is determined in step S4 that the touch operation end event does not occur, that is, the flick operation is not completed, but the flick operation is continuing (NO), the liquid crystal monitor 1 performs a touch operation associated with the flick operation. Information is stored in the internal memory (step S6), and the process returns to step S4 to repeat the process. If it is determined in step S4 that the touch operation end event has occurred (YES), the first flick movement amount is calculated from the start position and end position of the touch operation (step S7).

次に、液晶モニタ１は、ステップＳ７で算出した第１のフリック移動量を、予め規定された調整量に従って、第２のフリック移動量に変換する（ステップＳ８）。ここでいう調整量とは、例えば、液晶モニタ１の画面サイズと携帯端末２の画面サイズとの比率に基づき決定される。また、マルチフリック操作時に同時入力されるタッチ点の数に基づき決定してもよく、あるいは、ユーザが設定した設定値に基づき決定してもよい。   Next, the liquid crystal monitor 1 converts the first flick movement amount calculated in step S7 into a second flick movement amount according to a predetermined adjustment amount (step S8). The adjustment amount here is determined based on, for example, the ratio between the screen size of the liquid crystal monitor 1 and the screen size of the portable terminal 2. Further, it may be determined based on the number of touch points input simultaneously during the multi-flick operation, or may be determined based on a setting value set by the user.

次に、液晶モニタ１は、ステップＳ８で求めた第２のフリック移動量に応じたタッチ操作情報を携帯端末２に送信する（ステップＳ９）。このタッチ操作情報は、マルチフリック操作でのタッチ開始座標と、第２のフリック移動量とに基づいて算出される座標情報である。そして、携帯端末２では、液晶モニタ１から受信したタッチ操作情報を解析し、操作内容が、タッチ開始座標から第２のフリック移動量だけ移動したタッチ終了座標までのシングルフリック操作であると認識する。そして、携帯端末２は、認識した操作内容に応じて、画像データのページ送り操作や、拡大縮小操作などを実行する。   Next, the liquid crystal monitor 1 transmits touch operation information corresponding to the second flick movement amount obtained in step S8 to the portable terminal 2 (step S9). This touch operation information is coordinate information calculated based on the touch start coordinates in the multi-flick operation and the second flick movement amount. Then, the mobile terminal 2 analyzes the touch operation information received from the liquid crystal monitor 1 and recognizes that the operation content is a single flick operation from the touch start coordinate to the touch end coordinate moved by the second flick movement amount. . Then, the mobile terminal 2 executes a page feed operation of image data, an enlargement / reduction operation, or the like according to the recognized operation content.

上記図４のフローでは、マルチフリック操作が終了した時点で、タッチ開始座標とタッチ終了座標とから第１のフリック移動量を求め、これを第２のフリック移動量に変換し、第２のフリック移動量に応じたタッチ操作情報を携帯端末２へ送信していた。これに対して、以下の図５のフローでは、マルチフリック操作の途中で、タッチ操作の前回位置と今回位置とから第１のフリック移動量を求め、これを第２のフリック移動量に変換し、第２のフリック移動量に応じたタッチ操作情報を携帯端末２へ送信する処理を、マルチフリック操作の軌跡上の複数のタッチ点について繰り返し行う。つまり、図４のフローでは、マルチフリック操作の終了後に１回だけ携帯端末にタッチ操作情報を送るのに対して、図５のフローでは、マルチフリック操作の途中で複数回に渡り携帯端末にタッチ操作情報を送る点で異なる。   In the flow of FIG. 4 described above, when the multi-flick operation is completed, the first flick movement amount is obtained from the touch start coordinates and the touch end coordinates, converted into the second flick movement amount, and the second flick movement amount is obtained. Touch operation information corresponding to the amount of movement has been transmitted to the mobile terminal 2. On the other hand, in the flow of FIG. 5 below, the first flick movement amount is obtained from the previous position and the current position of the touch operation in the middle of the multi-flick operation, and this is converted into the second flick movement amount. The process of transmitting the touch operation information corresponding to the second flick movement amount to the mobile terminal 2 is repeated for a plurality of touch points on the trajectory of the multi-flick operation. That is, in the flow of FIG. 4, touch operation information is sent to the mobile terminal only once after the multi-flick operation is completed, whereas in the flow of FIG. 5, the mobile terminal is touched multiple times during the multi-flick operation. It differs in that operation information is sent.

図５は、本発明に係る表示装置による表示方法の他の例を説明するためのフロー図である。本例では、図４のフローと同様に、図２の構成例に基づき説明するものとする。まず、液晶モニタ１は、タッチパネル１４に対して何らかのタッチイベント（以下、タッチ操作という）を検出した場合に、フリック移動量調整モードがオンされているか否かを判定する（ステップＳ１１）。図４の場合と同様に、前述の図３に示したフリック移動量調整画面で、「調整しない」以外が選択されている場合に、フリック移動量調整モードがオンされていると判定し、「調整しない」が選択されている場合に、フリック移動量調整モードがオフされていると判定する。そして、ステップＳ１１において、フリック移動量調整モードがオンされていないと判定した場合（ＮＯの場合）、ステップＳ１５へ移行し、タッチ操作情報をそのまま携帯端末２へ送信する（ステップＳ１５）。また、ステップＳ１１において、フリック移動量調整モードがオンされていると判定した場合（ＹＥＳの場合）、タッチ操作がシングルタッチであるか否かを判定する（ステップＳ１２）。   FIG. 5 is a flowchart for explaining another example of the display method by the display device according to the present invention. In this example, description will be made based on the configuration example of FIG. 2, similarly to the flow of FIG. 4. First, the liquid crystal monitor 1 determines whether or not the flick movement amount adjustment mode is turned on when any touch event (hereinafter referred to as touch operation) is detected on the touch panel 14 (step S11). As in the case of FIG. 4, when a setting other than “Do not adjust” is selected on the flick movement amount adjustment screen shown in FIG. 3, it is determined that the flick movement amount adjustment mode is on, and “ When “Do not adjust” is selected, it is determined that the flick movement amount adjustment mode is off. If it is determined in step S11 that the flick movement amount adjustment mode is not turned on (in the case of NO), the process proceeds to step S15, and the touch operation information is transmitted as it is to the portable terminal 2 (step S15). If it is determined in step S11 that the flick movement amount adjustment mode is on (in the case of YES), it is determined whether or not the touch operation is a single touch (step S12).

次に、液晶モニタ１は、ステップＳ１２において、タッチ操作がシングルタッチであると判定した場合（ＹＥＳの場合）、ステップＳ１５に移行して、タッチ操作情報をそのまま携帯端末２へ送信する。また、ステップＳ１２において、タッチ操作がシングルタッチではないと判定した場合（ＮＯの場合）、タッチ操作がマルチフリック操作であるか否かを判定する（ステップＳ１３）。   Next, when it is determined in step S12 that the touch operation is a single touch (YES), the liquid crystal monitor 1 proceeds to step S15 and transmits the touch operation information to the portable terminal 2 as it is. If it is determined in step S12 that the touch operation is not a single touch (NO), it is determined whether or not the touch operation is a multi-flick operation (step S13).

次に、液晶モニタ１は、ステップＳ１３において、タッチ操作がマルチフリック操作ではないと判定した場合（ＮＯ場合）、調整対象外のタッチ操作とし、ステップＳ１５に移行して、タッチ操作情報をそのまま携帯端末２へ送信する。また、ステップＳ１３において、タッチ操作がマルチフリック操作であると判定した場合（ＹＥＳの場合）、タッチ操作の前回位置と今回位置とから第１のフリック移動量を算出する（ステップＳ１４）。   Next, when it is determined in step S13 that the touch operation is not a multi-flick operation (NO), the liquid crystal monitor 1 determines that the touch operation is not subject to adjustment, and proceeds to step S15 to carry the touch operation information as it is. Transmit to terminal 2. If it is determined in step S13 that the touch operation is a multi-flick operation (YES), a first flick movement amount is calculated from the previous position and the current position of the touch operation (step S14).

次に、液晶モニタ１は、ステップＳ１４で算出した第１のフリック移動量を、予め規定された調整量に従って、第２のフリック移動量に変換する（ステップＳ１６）。ここでいう調整量とは、例えば、液晶モニタ１の画面サイズと携帯端末２の画面サイズとの比率に基づき決定される。また、マルチフリック操作時に同時入力されるタッチ点の数に基づき決定してもよく、あるいは、ユーザが設定した設定値に基づき決定してもよい。   Next, the liquid crystal monitor 1 converts the first flick movement amount calculated in step S14 into a second flick movement amount according to a predetermined adjustment amount (step S16). The adjustment amount here is determined based on, for example, the ratio between the screen size of the liquid crystal monitor 1 and the screen size of the portable terminal 2. Further, it may be determined based on the number of touch points input simultaneously during the multi-flick operation, or may be determined based on a setting value set by the user.

次に、液晶モニタ１は、ステップＳ１６で求めた第２のフリック移動量に応じたタッチ操作情報を携帯端末２に送信し（ステップＳ１７）、タッチ操作終了イベント、具体的には、フリック動作の終了を示すリリースイベントが発生したか否かを判定する（ステップＳ１８）。本例の場合、タッチ操作情報は、マルチフリック操作での前回タッチ座標と、第２のフリック移動量とに基づいて算出される座標情報である。   Next, the liquid crystal monitor 1 transmits touch operation information corresponding to the second flick movement amount obtained in step S16 to the mobile terminal 2 (step S17), and the touch operation end event, specifically, the flick operation is performed. It is determined whether or not a release event indicating end has occurred (step S18). In the case of this example, the touch operation information is coordinate information calculated based on the previous touch coordinates in the multi-flick operation and the second flick movement amount.

次に、液晶モニタ１は、ステップＳ１８において、タッチ操作終了イベントが発生しない、すなわち、フリック動作の終了ではなく、フリック動作の継続中と判定した場合（ＮＯの場合）、ステップＳ１４に戻り処理を繰り返す。また、ステップＳ１８において、タッチ操作終了イベントが発生したと判定した場合（ＹＥＳの場合）、そのまま終了する。一方、携帯端末２では、液晶モニタ１から受信した複数のタッチ操作情報をそれぞれ解析し、操作内容が、タッチ開始座標からタッチ終了座標までのシングルフリック操作であると認識し、この操作内容に応じて、画像データのページ送り操作や、拡大縮小操作などを実行する。   Next, when it is determined in step S18 that the touch operation end event does not occur, that is, the flick operation is not completed but the flick operation is continuing (NO), the liquid crystal monitor 1 returns to step S14 to perform the processing. repeat. If it is determined in step S18 that a touch operation end event has occurred (YES), the process ends. On the other hand, the mobile terminal 2 analyzes each of the plurality of touch operation information received from the liquid crystal monitor 1 and recognizes that the operation content is a single flick operation from the touch start coordinate to the touch end coordinate. Then, an image data page feed operation, an enlargement / reduction operation, and the like are executed.

このように、本実施形態によれば、マルチフリック操作をトリガとして、液晶モニタ１での少ないフリック移動量であっても、携帯端末２にフリック移動量を増加させて伝えることができるため、ユーザは液晶モニタ１から携帯端末２を違和感なく操作することができる。   As described above, according to the present embodiment, even when a small flick movement amount on the liquid crystal monitor 1 is triggered by a multi-flick operation, the flick movement amount can be increased and transmitted to the mobile terminal 2. Can operate the portable terminal 2 from the liquid crystal monitor 1 without a sense of incongruity.

（第２の実施形態）
図６は、本発明の第２の実施形態に係る液晶モニタ及び携帯端末の機能的な構成例を示すブロック図で、図中、１′は液晶モニタ、２′は携帯端末を示す。なお、前述の図２に示した第１の実施形態における各部と同じ機能を有する部分には同じ符号を付し、繰り返しの説明は省略するものとする。本実施形態では、フリック移動量変換部を携帯端末側に備えており、携帯端末側でフリック移動量の変換処理が実行される。 (Second Embodiment)
FIG. 6 is a block diagram showing a functional configuration example of a liquid crystal monitor and a portable terminal according to the second embodiment of the present invention, in which 1 ′ denotes a liquid crystal monitor and 2 ′ denotes a portable terminal. It should be noted that parts having the same functions as those in the first embodiment shown in FIG. 2 are given the same reference numerals, and repeated descriptions are omitted. In the present embodiment, the flick movement amount conversion unit is provided on the mobile terminal side, and the flick movement amount conversion processing is executed on the mobile terminal side.

すなわち、携帯端末２′は、画像データを表示する表示部２２と、表示部２２に一体的に設けられたタッチパネル２３と、表示部２２に表示されている画像データと同じ画像データを液晶モニタ１′に送信する送信部２５と、液晶モニタ１′から、送信部２５から送信した画像データに対するマルチフリック操作でのタッチ操作情報を受信する受信部２１と、受信したタッチ操作情報からマルチフリック操作でのタッチ座標の第１のフリック移動量を求め、第１のフリック移動量を、予め規定された調整量に従って、シングルフリック操作での第２のフリック移動量に変換するフリック移動量変換部２４ａと、タッチ操作情報と第２のフリック移動量とに基づいて、表示部２２に表示されている画像データに対して所定の操作を実行する制御部２４とを備える。   That is, the portable terminal 2 ′ displays the image data on the liquid crystal monitor 1, the touch panel 23 provided integrally with the display unit 22, and the same image data as the image data displayed on the display unit 22. ', A receiving unit 21 for receiving touch operation information in a multi-flick operation on the image data transmitted from the transmitting unit 25, and a multi-flick operation from the received touch operation information. A first flick movement amount of the touch coordinates of the flick movement amount conversion unit 24a for converting the first flick movement amount into a second flick movement amount in a single flick operation according to a predetermined adjustment amount; Control for executing a predetermined operation on the image data displayed on the display unit 22 based on the touch operation information and the second flick movement amount And a 24.

上記において、液晶モニタ１′が送信するタッチ操作情報によれば、携帯端末２′に対して、タッチ点の座標情報と共に、タッチ操作がマルチフリック操作であることが伝えられる。携帯端末２′のフリック移動量変換部２４ａは、タッチ点の座標情報から第１のフリック移動量を求め、予め規定された調整量に従って、第２のフリック移動量に変換する。ここでいう調整量とは、例えば、液晶モニタ１′の画面サイズと携帯端末２′の画面サイズとの比率に基づき決定される。また、マルチフリック操作時に同時入力されるタッチ点の数に基づき決定してもよく、あるいは、ユーザが設定した設定値に基づき決定してもよい。   In the above, according to the touch operation information transmitted from the liquid crystal monitor 1 ′, it is notified to the portable terminal 2 ′ that the touch operation is a multi-flick operation together with the coordinate information of the touch point. The flick movement amount conversion unit 24a of the portable terminal 2 ′ obtains the first flick movement amount from the coordinate information of the touch point, and converts it into the second flick movement amount in accordance with a predetermined adjustment amount. The adjustment amount here is determined based on, for example, the ratio between the screen size of the liquid crystal monitor 1 ′ and the screen size of the portable terminal 2 ′. Further, it may be determined based on the number of touch points input simultaneously during the multi-flick operation, or may be determined based on a setting value set by the user.

上記において、携帯端末２′の画面サイズと液晶モニタ１′の画面サイズとの比率は、それぞれの画面サイズ情報から求めることができる。例えば、液晶モニタ１′と携帯端末２′との間で通信プロトコルを確立する際に、携帯端末２′が液晶モニタ１′の画面サイズ情報を自動的に取得するようにしてもよく、あるいは、ユーザが携帯端末２′に液晶モニタ１′の画面サイズ情報を手動で入力するようにしてもよい。携帯端末２′では、液晶モニタ１′の画面サイズ情報と、携帯端末２′が持つ自身の画面サイズ情報とを比較し、両者の画面サイズの比率に基づき調整量を決定することができる。また、マルチフリック操作時に同時入力されるタッチ点数は、タッチ操作情報から取得するようにすればよい。また、ユーザ設定値は、携帯端末２′に直接設定してもよく、あるいは、液晶モニタ１′から設定し、タッチ操作情報に含めて携帯端末２′に送信するようにしてもよい。   In the above, the ratio between the screen size of the portable terminal 2 ′ and the screen size of the liquid crystal monitor 1 ′ can be obtained from the respective screen size information. For example, when establishing a communication protocol between the liquid crystal monitor 1 ′ and the portable terminal 2 ′, the portable terminal 2 ′ may automatically acquire the screen size information of the liquid crystal monitor 1 ′, or The user may manually input the screen size information of the liquid crystal monitor 1 ′ into the portable terminal 2 ′. The portable terminal 2 ′ can compare the screen size information of the liquid crystal monitor 1 ′ with its own screen size information and determine the adjustment amount based on the ratio of the screen sizes of the two. Further, the number of touch points that are simultaneously input during the multi-flick operation may be obtained from the touch operation information. The user set value may be set directly on the portable terminal 2 ', or may be set from the liquid crystal monitor 1' and included in the touch operation information and transmitted to the portable terminal 2 '.

そして、制御部２４は、上記タッチ操作情報から得られる座標情報からタッチ開始座標を特定し、特定したタッチ開始座標と、第２のフリック移動量とに基づき、表示中の画像データに対して所定の操作を実行する。ここでいう所定の操作とは、例えば、画像データのページ送り操作や、画像データの拡大縮小操作などである。そして、所定の操作の実行後の画像データは、携帯端末２′から液晶モニタ１′へ送信され、液晶モニタ１′ではこの画像データを表示する。   Then, the control unit 24 specifies touch start coordinates from the coordinate information obtained from the touch operation information, and performs predetermined processing on the image data being displayed based on the specified touch start coordinates and the second flick movement amount. Execute the operation. The predetermined operation here is, for example, a page feed operation of image data, an enlargement / reduction operation of image data, or the like. The image data after execution of the predetermined operation is transmitted from the portable terminal 2 ′ to the liquid crystal monitor 1 ′, and the liquid crystal monitor 1 ′ displays this image data.

このように、本実施形態によれば、前述の第１の実施形態と同様に、マルチフリック操作をトリガとして、液晶モニタ１′での少ないフリック移動量であっても、携帯端末２′にてフリック移動量を増加させることができるため、ユーザは液晶モニタ１′から携帯端末２′を違和感なく操作することができる。   As described above, according to the present embodiment, similarly to the first embodiment described above, even when the amount of flick movement is small on the liquid crystal monitor 1 ′ using the multi-flick operation as a trigger, the portable terminal 2 ′ Since the amount of flick movement can be increased, the user can operate the portable terminal 2 'from the liquid crystal monitor 1' without a sense of incongruity.

１，１′…表示装置（液晶モニタ）、２，２′…端末機器（携帯端末）、１１，２１…受信部、１２…表示パネル制御部、１３…表示パネル、１４，２３…タッチパネル、１５…タッチパネル制御部、１６，２４…制御部、１６ａ…マルチフリック操作判定部、１６ｂ，２４ａ…フリック移動量変換部、１７，２５…送信部、２２…表示部。 DESCRIPTION OF SYMBOLS 1,1 '... Display apparatus (liquid crystal monitor) 2,2' ... Terminal device (mobile terminal) 11,21 ... Reception part, 12 ... Display panel control part, 13 ... Display panel, 14, 23 ... Touch panel, 15 ... touch panel control unit, 16, 24 ... control unit, 16a ... multi-flick operation determination unit, 16b, 24a ... flick movement amount conversion unit, 17, 25 ... transmission unit, 22 ... display unit.

Claims (9)

タッチ操作可能な端末機器と接続される表示装置であって、
前記端末機器に表示されている画像データと同じ画像データを前記端末機器から受信する受信部と、該受信した画像データを表示する表示部と、該表示部に一体的に設けられたタッチパネルと、該タッチパネルにより検出されたタッチ操作がマルチフリック操作であるか否かを判定するマルチフリック操作判定部と、該マルチフリック操作判定部によりマルチフリック操作と判定した場合、該マルチフリック操作でのタッチ座標の第１のフリック移動量を、予め規定された調整量に従って、シングルフリック操作での第２のフリック移動量に変換するフリック移動量変換部と、該フリック移動量変換部により変換した第２のフリック移動量に基づくタッチ操作情報を前記端末機器に送信する送信部とを備え、
前記タッチ操作情報は、前記マルチフリック操作でのタッチ座標と、前記第２のフリック移動量とに基づいて算出される座標情報であり、前記フリック移動量変換部は、前記座標情報の座標が、前記端末機器の座標範囲を超える場合に、該座標範囲内に収まるように前記第２のフリック移動量を調整することを特徴とする表示装置。 A display device connected to a terminal device capable of touch operation,
A receiving unit that receives the same image data as the image data displayed on the terminal device from the terminal device, a display unit that displays the received image data, a touch panel provided integrally with the display unit, A multi-flick operation determination unit that determines whether or not the touch operation detected by the touch panel is a multi-flick operation, and touch coordinates in the multi-flick operation when the multi-flick operation determination unit determines that the touch operation is a multi-flick operation The first flick movement amount is converted into a second flick movement amount in a single flick operation in accordance with a predetermined adjustment amount, and the second flick movement amount conversion unit converts the second flick movement amount by the flick movement amount conversion unit. A transmission unit that transmits touch operation information based on the flick movement amount to the terminal device ,
The touch operation information is coordinate information calculated based on the touch coordinates in the multi-flick operation and the second flick movement amount, and the flick movement amount conversion unit has the coordinates of the coordinate information as follows: wherein when exceeding the coordinate range of the terminal device, a display device which is characterized that you adjust the second flick movement amount so as to fall within the coordinate range. 請求項１に記載の表示装置において、前記フリック移動量変換部は、前記予め規定された調整量を、前記表示装置の画面サイズと前記端末機器の画面サイズとの比率に基づき決定することを特徴とする表示装置。   The display device according to claim 1, wherein the flick movement amount conversion unit determines the predetermined adjustment amount based on a ratio between a screen size of the display device and a screen size of the terminal device. Display device. 請求項１に記載の表示装置において、前記フリック移動量変換部は、前記予め規定された調整量を、前記マルチフリック操作時に同時入力されるタッチ点の数に基づき決定することを特徴とする表示装置。   The display device according to claim 1, wherein the flick movement amount conversion unit determines the predetermined adjustment amount based on the number of touch points simultaneously input during the multi-flick operation. apparatus. 請求項１に記載の表示装置において、前記フリック移動量変換部は、前記予め規定された調整量を、ユーザが設定した設定値に基づき決定することを特徴とする表示装置。   The display device according to claim 1, wherein the flick movement amount conversion unit determines the predetermined adjustment amount based on a setting value set by a user. 請求項１〜４のいずれか１項に記載の表示装置と接続される端末機器であって、
前記画像データを表示する表示部と、前記表示装置から受信したタッチ操作情報に従って、前記表示部に表示されている画像データに対して所定の操作を実行する制御部とを備えたことを特徴とする端末機器。 A terminal device connected to the display device according to any one of claims 1-4,
A display unit that displays the image data, and a control unit that performs a predetermined operation on the image data displayed on the display unit according to touch operation information received from the display device. Terminal equipment to be used. 請求項５に記載の端末機器において、前記制御部は、前記所定の操作として、前記画像データに対してページ送り操作を実行することを特徴とする端末機器。 6. The terminal device according to claim 5 , wherein the control unit performs a page turning operation on the image data as the predetermined operation. 請求項５に記載の端末機器において、前記制御部は、前記所定の操作として、前記画像データに対して拡大縮小操作を実行することを特徴とする端末機器。 6. The terminal device according to claim 5 , wherein the control unit executes an enlargement / reduction operation on the image data as the predetermined operation. タッチ操作可能な端末機器と、タッチ操作可能な表示装置とが接続された表示システムであって、
前記表示装置は、前記端末機器に表示されている画像データと同じ画像データを前記端末機器から受信する受信部と、該受信した画像データを表示する表示部と、該表示部に一体的に設けられたタッチパネルと、該タッチパネルにより検出されたタッチ操作がマルチフリック操作であるか否かを判定するマルチフリック操作判定部と、該マルチフリック操作判定部によりマルチフリック操作と判定した場合、該マルチフリック操作でのタッチ座標の第１のフリック移動量を、予め規定された調整量に従って、シングルフリック操作での第２のフリック移動量に変換するフリック移動量変換部と、該フリック移動量変換部により変換した第２のフリック移動量に基づくタッチ操作情報を前記端末機器に送信する送信部とを備え、前記タッチ操作情報は、前記マルチフリック操作でのタッチ座標と、前記第２のフリック移動量とに基づいて算出される座標情報であり、前記フリック移動量変換部は、前記座標情報の座標が、前記端末機器の座標範囲を超える場合に、該座標範囲内に収まるように前記第２のフリック移動量を調整し、
前記端末機器は、前記画像データを表示する表示部と、前記表示装置から受信したタッチ操作情報に従って、前記端末機器の前記表示部に表示されている画像データに対して所定の操作を実行する制御部とを備えたことを特徴とする表示システム。 A display system in which a terminal device capable of touch operation and a display device capable of touch operation are connected,
The display device is provided integrally with a receiving unit that receives the same image data as the image data displayed on the terminal device from the terminal device, a display unit that displays the received image data, and the display unit. The touch panel detected by the touch panel, a multi-flick operation determination unit that determines whether or not the touch operation detected by the touch panel is a multi-flick operation, and the multi-flick operation when the multi-flick operation determination unit determines A flick movement amount conversion unit that converts the first flick movement amount of the touch coordinates in the operation into a second flick movement amount in the single flick operation according to a predetermined adjustment amount, and the flick movement amount conversion unit the touch operation information based on the converted second flick movement amount and a transmission unit for transmitting to the terminal device, the touch operation The information is coordinate information calculated based on the touch coordinates in the multi-flick operation and the second flick movement amount, and the flick movement amount conversion unit has the coordinates of the coordinate information as the terminal device. When the coordinate range is exceeded, the second flick movement amount is adjusted to be within the coordinate range,
The terminal device performs a predetermined operation on the image data displayed on the display unit of the terminal device in accordance with a display unit that displays the image data and touch operation information received from the display device. And a display system. タッチ操作可能な端末機器と接続される表示装置による表示方法であって、
前記表示装置が、前記端末機器に表示されている画像データと同じ画像データを前記端末機器から受信する受信ステップと、該受信した画像データを表示部に表示する表示ステップと、前記表示部に一体的に設けられたタッチパネルにより検出されたタッチ操作がマルチフリック操作であるか否かを判定するマルチフリック操作判定ステップと、該マルチフリック操作判定ステップにてマルチフリック操作と判定した場合、該マルチフリック操作でのタッチ座標の第１のフリック移動量を、予め規定された調整量に従って、シングルフリック操作での第２のフリック移動量に変換するフリック移動量変換ステップと、該フリック移動量変換ステップにて変換した第２のフリック移動量に基づくタッチ操作情報を前記端末機器に送信する送信ステップとを備え、前記タッチ操作情報は、前記マルチフリック操作でのタッチ座標と、前記第２のフリック移動量とに基づいて算出される座標情報であり、前記フリック移動量変換ステップにおいては、前記座標情報の座標が、前記端末機器の座標範囲を超える場合に、該座標範囲内に収まるように前記第２のフリック移動量を調整することを特徴とする表示方法。 A display method by a display device connected to a terminal device capable of touch operation,
The display device receives from the terminal device the same image data as the image data displayed on the terminal device, a display step to display the received image data on the display unit, and the display unit A multi-flick operation determination step for determining whether or not the touch operation detected by the touch panel provided is a multi-flick operation, and when the multi-flick operation is determined in the multi-flick operation determination step, the multi-flick operation A flick movement amount conversion step for converting the first flick movement amount of the touch coordinates in the operation into a second flick movement amount in the single flick operation according to a predetermined adjustment amount; and the flick movement amount conversion step. The transmission operation for transmitting the touch operation information based on the second flick movement amount converted in this way to the terminal device. Tsu and a flop, the touch operation information, the touch coordinates in the multi-flick operation, a coordinate information calculated on the basis of the second flick movement amount, in the flick movement amount conversion step, how to coordinates of said coordinate information, if it exceeds the coordinate range of the terminal device, characterized that you adjust the second flick movement amount so as to fall within the coordinate range.
JP2013143146A 2013-07-09 2013-07-09 Display device, terminal device, display system, and display method Active JP6111481B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013143146A JP6111481B2 (en) 2013-07-09 2013-07-09 Display device, terminal device, display system, and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013143146A JP6111481B2 (en) 2013-07-09 2013-07-09 Display device, terminal device, display system, and display method

Publications (2)

Publication Number Publication Date
JP2015018300A JP2015018300A (en) 2015-01-29
JP6111481B2 true JP6111481B2 (en) 2017-04-12

Family

ID=52439257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013143146A Active JP6111481B2 (en) 2013-07-09 2013-07-09 Display device, terminal device, display system, and display method

Country Status (1)

Country Link
JP (1) JP6111481B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6591941B2 (en) 2016-07-21 2019-10-16 ファナック株式会社 Numerical control device with manual handle feed function that can easily set the magnification of the axis movement amount
CN106559711B (en) * 2016-11-23 2019-07-12 深圳创维数字技术有限公司 A kind of control method and device of screen touch-control
JP6967751B2 (en) * 2018-01-19 2021-11-17 パナソニックＩｐマネジメント株式会社 Input device
CN111381791B (en) * 2020-03-03 2023-03-21 安徽文香科技有限公司 Interactive system, method, equipment and storage medium
CN111836098B (en) * 2020-07-28 2022-02-08 深圳市康冠商用科技有限公司 Multi-interface wireless same-screen device and wireless same-screen method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069356A (en) * 1996-06-20 1998-03-10 Sharp Corp Mouse cursor controller and recording medium where mouse cursor control program
US9258402B2 (en) * 2009-04-14 2016-02-09 Qualcomm Incorporated System and method for controlling mobile devices
JP5472256B2 (en) * 2011-05-06 2014-04-16 株式会社デンソー Vehicle display device and information display system
JP2013105461A (en) * 2011-11-16 2013-05-30 Canon Inc Information processing apparatus and method of controlling the same

Also Published As

Publication number Publication date
JP2015018300A (en) 2015-01-29

Similar Documents

Publication Publication Date Title
KR101794000B1 (en) Apparatus and method for scrolling in portable terminal
US20200371685A1 (en) Graphical User Interface Display Method And Electronic Device
US9582903B2 (en) Display terminal device connectable to external display device and method therefor
JP6111481B2 (en) Display device, terminal device, display system, and display method
US9128562B2 (en) Terminal apparatus, display system, display method, and recording medium for switching between pointer mode and touch-panel mode based on handheld activation
JP6157885B2 (en) Display control method for portable terminal device
CN108491149B (en) Split screen display method and terminal
JP2014123386A (en) Apparatus and method for performing multi-tasking
JP5871965B2 (en) Scroll apparatus for electronic device and method thereof
US10735606B2 (en) Display device, image processing device and non-transitory recording medium determining continuity of operation two or more display areas
WO2012088800A1 (en) Method, device and system for displaying pictures in display terminal
US20150253943A1 (en) Method and Apparatus for Implementing Remote Browsing
JP2012008827A (en) Information processing device
US20130258411A1 (en) Print information output apparatus, portable electronic device and computer-readable medium
US20150109219A1 (en) Method of operating screen on touch screen
EP2998838A1 (en) Display apparatus and method for controlling the same
US20160132204A1 (en) Information processing apparatus, processing method thereof, and program
US20190179474A1 (en) Control method, electronic device, and non-transitory computer readable recording medium
US20130130739A1 (en) Portable electronic device and control method
JP6493274B2 (en) Display device and display control program
US10645144B2 (en) Computer-implemented method for controlling a remote device with a local device
JP6111480B2 (en) Display device, terminal device, display system, and display method
KR20110066545A (en) Method and terminal for displaying of image using touchscreen
WO2012090296A1 (en) Screen data sending/receiving system and screen data sending/receiving program
KR20150080831A (en) Virtual keyboard for Dual Remote Control between mobile devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170223

R150 Certificate of patent or registration of utility model

Ref document number: 6111481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150