JPWO2014098164A1 - Image display device, portable terminal device, information processing system, image display device control method, and program - Google Patents
Image display device, portable terminal device, information processing system, image display device control method, and program Download PDFInfo
- Publication number
- JPWO2014098164A1 JPWO2014098164A1 JP2014553194A JP2014553194A JPWO2014098164A1 JP WO2014098164 A1 JPWO2014098164 A1 JP WO2014098164A1 JP 2014553194 A JP2014553194 A JP 2014553194A JP 2014553194 A JP2014553194 A JP 2014553194A JP WO2014098164 A1 JPWO2014098164 A1 JP WO2014098164A1
- Authority
- JP
- Japan
- Prior art keywords
- instruction signal
- cursor
- terminal device
- mobile terminal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/08—Cursor circuits
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Telephone Function (AREA)
- Navigation (AREA)
Abstract
遠隔操作用の専用のアプリケーションプログラムを必要とせずに、携帯端末装置を遠隔操作することが可能となり、また、操作性が向上する画像表示装置を提供する。画像表示装置は、自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部と、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部と、当該カーソル移動指示信号及びクリック指示信号を、当該所定の通信方式に従って送信するカーソル操作情報送信部と、自画像表示装置の表示画面上においてタッチ操作で指定された位置と、携帯端末装置の表示画面上において当該カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ自画像表示装置および携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部と、を備える。Provided is an image display device capable of remotely operating a mobile terminal device without requiring a dedicated application program for remote operation and improving operability. The image display device includes a touch operation detection unit that detects a touch operation on the display screen of the self-image display device, and a cursor that generates a cursor movement instruction signal and a click instruction signal in accordance with a predetermined communication method based on the touch operation. An operation information generation unit, a cursor operation information transmission unit that transmits the cursor movement instruction signal and the click instruction signal according to the predetermined communication method, a position designated by a touch operation on the display screen of the self-image display device, The position of the cursor moved based on the cursor movement instruction signal on the display screen of the terminal device is set to be relatively the same position based on the images displayed by the self-image display device and the mobile terminal device, respectively. A calibration unit that acquires calibration information.
Description
本発明は、スマートフォン等の携帯端末装置を制御する画像表示装置、当該画像表示装置と所定の校正処理を行う携帯端末装置、情報処理システム、画像表示装置制御方法及びプログラムに関する。 The present invention relates to an image display device that controls a mobile terminal device such as a smartphone, a mobile terminal device that performs a predetermined calibration process with the image display device, an information processing system, an image display device control method, and a program.
近年、通信技術の進歩に伴って情報端末装置は多機能化し、スマートフォンやタブレット端末など、持ち運び可能な携帯端末装置が普及している。携帯端末装置は、電子メールなどの送受信機能だけでなく、インターネットに接続したウェブサーバから所定の記述言語で記述された文書ファイルを取得し、ウェブページを閲覧するブラウザ機能を標準的に備えている。このような携帯端末装置では、押下式のボタン入力に加えて、画面を指でタッチ等することで入力操作できるタッチパネル手段を備えているものが主流となっている。 In recent years, information terminal devices have become multifunctional with the progress of communication technology, and portable terminal devices such as smartphones and tablet terminals have become widespread. The mobile terminal device has not only a function for sending and receiving e-mail and the like, but also a browser function for acquiring a document file described in a predetermined description language from a web server connected to the Internet and browsing a web page as standard. . In such portable terminal devices, in addition to the push-type button input, those having touch panel means that can be input by touching the screen with a finger or the like are mainly used.
自動車などに搭載されるカーナビゲーションシステム(以下、「カーナビ」と呼ぶ。)などの車載情報端末装置においても、既存のルート検索機能やテレビ視聴機能に加えて、インターネット通信を利用した電子メールの送受信、ホームページの閲覧、電子商取引など様々な情報の収集を可能とするものが発売されている。 In-vehicle information terminal devices such as car navigation systems (hereinafter referred to as “car navigation”) installed in automobiles, etc., send and receive e-mail using Internet communication in addition to the existing route search function and TV viewing function. Those that enable collection of various information such as browsing homepages and electronic commerce have been released.
ところで自動車を所有するユーザの多くは、自動車に搭載される車載情報端末装置とともに、無線通信を利用してデータ送受信する機能を有する携帯端末装置を保有している。車載情報端末装置において上記インターネット通信を利用するためには通信機能が必要となるが、ユーザがカーナビなどの車載情報端末装置について別途通信費を支払うことは高コストとなるため難しい。したがって、ユーザが所有している携帯端末装置と車載情報端末装置を無線LAN(Local Area Network)、Bluetooth(登録商標)、有線ケーブル等のインターフェイスを介して接続し、携帯端末装置の通信機能を利用して、車載情報端末装置に通信機能を提供する形態をとるのが一般的となっている。 By the way, many users who own a car have a portable terminal device having a function of transmitting and receiving data using wireless communication together with an in-vehicle information terminal device mounted on the car. In order to use the Internet communication in the in-vehicle information terminal device, a communication function is required, but it is difficult for the user to pay a separate communication cost for the in-vehicle information terminal device such as a car navigation system because it is expensive. Therefore, the mobile terminal device owned by the user and the in-vehicle information terminal device are connected via an interface such as a wireless LAN (Local Area Network), Bluetooth (registered trademark), or a wired cable, and the communication function of the mobile terminal device is used. Thus, it is common to provide a communication function for the in-vehicle information terminal device.
ここで、特許文献1には、携帯端末装置と通信する車載情報端末装置が開示されている。
また車載情報端末装置で、ナビゲーション機能を有する携帯端末装置を操作することを可能にする技術も知られている。この技術では、車載情報端末装置からの遠隔操作を可能にするための遠隔操作用のアプリケーション機能を携帯端末装置に実行させる。Here,
There is also known a technique that enables a mobile terminal device having a navigation function to be operated by an in-vehicle information terminal device. In this technology, a mobile terminal device is caused to execute an application function for remote operation for enabling remote operation from the in-vehicle information terminal device.
車載情報端末装置で携帯端末装置の操作を可能とする技術では、車載情報端末装置から遠隔操作するための専用のアプリケーションプログラムが携帯端末装置において必要となり、当該専用のアプリケーションプログラムを携帯端末装置にインストールするという作業が必須であった。また、携帯端末装置は、車載情報端末装置から遠隔操作するための専用のアプリケーションプログラムを自携帯端末装置にて動作させて、車載情報端末装置からの情報を逐次解析しながら動作する必要があるため、車載情報端末装置の操作情報に対する追従性が悪く、操作性の低下を招いていた。 In the technology that enables operation of the mobile terminal device with the in-vehicle information terminal device, a dedicated application program for remote operation from the in-vehicle information terminal device is required in the mobile terminal device, and the dedicated application program is installed in the mobile terminal device The work of doing was essential. In addition, the mobile terminal device needs to operate while sequentially analyzing information from the in-vehicle information terminal device by operating a dedicated application program for remote operation from the in-vehicle information terminal device on the own mobile terminal device. The followability of the in-vehicle information terminal device with respect to the operation information is poor and the operability is lowered.
そこでこの発明は、上述の問題を解決することのできる画像表示装置、携帯端末装置、情報処理システム、画像表示装置制御方法及びプログラムを提供することを目的としている。 Accordingly, an object of the present invention is to provide an image display device, a portable terminal device, an information processing system, an image display device control method, and a program that can solve the above-described problems.
本発明は、上述の課題を解決すべくなされたもので、携帯端末装置の表示画面に表示された画像を表示する画像表示部と、自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部と、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部と、前記カーソル移動指示信号及び前記クリック指示信号を、前記所定の通信方式に従って送信するカーソル操作情報送信部と、自画像表示装置の前記表示画面上において前記タッチ操作で指定された位置と、前記携帯端末装置の前記表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ自画像表示装置および前記携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部と、を備える画像表示装置である。 The present invention has been made to solve the above-described problem, and includes an image display unit that displays an image displayed on a display screen of a mobile terminal device, and a touch operation that detects a touch operation on the display screen of the self-image display device. A detection unit; a cursor operation information generation unit that generates a cursor movement instruction signal and a click instruction signal in accordance with a predetermined communication method based on the touch operation; and the cursor movement instruction signal and the click instruction signal. Based on the cursor movement instruction signal on the display screen of the portable terminal device, the position designated by the touch operation on the display screen of the self-image display device, The position of the moved cursor is based on the images displayed by the self-image display device and the mobile terminal device, respectively. A calibration unit for obtaining calibration information for the same relative position, an image display device comprising a.
また本発明は、自携帯端末装置の表示画面に表示された画像を表示する画像表示装置と、所定の校正処理を行う携帯端末装置であって、所定の通信方式に準拠したカーソル移動指示信号を受信して、当該カーソル移動指示信号に基づいて、自携帯端末装置の前記表示画面上においてカーソルを移動させる制御部を備え、前記制御部はさらに、自携帯端末装置の前記表示画面上の一部に所定の応答領域を設定し、前記カーソルが当該応答領域内にあった場合において、前記画像表示装置から所定のクリック指示信号を受信した場合には、所定のレスポンス信号を送信する携帯端末装置である。 The present invention also relates to an image display device that displays an image displayed on the display screen of its own mobile terminal device and a mobile terminal device that performs a predetermined calibration process, wherein a cursor movement instruction signal that conforms to a predetermined communication method is received. A control unit that receives and moves the cursor on the display screen of the portable terminal device based on the cursor movement instruction signal, and the control unit further includes a part of the display screen of the portable terminal device. When a predetermined click instruction signal is received from the image display device when a predetermined response area is set in the response area and the cursor is in the response area, the portable terminal device transmits a predetermined response signal. is there.
また本発明は、携帯端末装置の表示画面に表示された画像を表示する画像表示装置と、前記画像表示装置と、所定の校正処理を行う携帯端末装置と、を備える情報処理システムであって、前記画像表示装置は、自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部と、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部と、前記カーソル移動指示信号及び前記クリック指示信号を、前記所定の通信方式に従って送信するカーソル操作情報送信部と、自画像表示装置の前記表示画面上において前記タッチ操作で指定された位置と、前記携帯端末装置の前記表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ前記画像表示装置および前記携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部と、を備え、前記校正部はさらに、前記カーソル操作情報送信部を介して、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返し、当該クリック指示信号に対する前記携帯端末装置からの所定のレスポンス信号の有無に基づいて、前記校正用情報を取得し、前記携帯端末装置は、前記カーソル移動指示信号を受信して、当該カーソル移動指示信号に基づいて、前記携帯端末装置の前記表示画面上において前記カーソルを移動させる制御部を備え、前記制御部はさらに、前記携帯端末装置の前記表示画面上の一部に所定の応答領域を設定し、前記カーソルが当該応答領域内にあった場合において、前記クリック指示信号を受信した場合には、前記レスポンス信号を送信する情報処理システムである。 Further, the present invention is an information processing system including an image display device that displays an image displayed on a display screen of a mobile terminal device, the image display device, and a mobile terminal device that performs a predetermined calibration process, The image display device generates a touch operation detection unit that detects a touch operation on the display screen of the self-image display device, and a cursor movement instruction signal and a click instruction signal that comply with a predetermined communication method based on the touch operation. A cursor operation information generation unit, a cursor operation information transmission unit that transmits the cursor movement instruction signal and the click instruction signal according to the predetermined communication method, and the touch operation specified on the display screen of the self-image display device Position of the cursor moved on the display screen of the mobile terminal device based on the cursor movement instruction signal A calibration unit for acquiring calibration information for relatively setting the same position with reference to images displayed by the image display device and the mobile terminal device, respectively, the calibration unit further comprising: The transmission of the cursor movement instruction signal and the transmission of the click instruction signal following the transmission of the cursor movement instruction signal are repeated a plurality of times via the cursor operation information transmission unit, and the mobile terminal device for the click instruction signal is transmitted. The calibration information is acquired based on the presence or absence of a predetermined response signal, and the portable terminal device receives the cursor movement instruction signal, and based on the cursor movement instruction signal, the portable terminal device A control unit that moves the cursor on the display screen; and the control unit is further provided at a part of the display screen of the mobile terminal device. Set the response area of, in a case where the cursor was in the response area, upon receiving the click instruction signal is an information processing system for transmitting the response signal.
また本発明は、携帯端末装置の表示画面に表示された画像を他の表示画面に表示し、当該画像を表示する前記他の表示画面上においてタッチされた位置と、前記携帯端末装置の前記表示画面上において所定のカーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ前記他の表示画面に表示される前記画像および前記携帯端末装置の前記表示画面に表示される前記画像を基準にして相対的に同一の位置とするための校正用情報を取得し、前記他の表示画面上におけるタッチ操作を検出し、前記タッチ操作に基づいて、前記カーソル移動指示信号及びクリック指示信号を生成し、前記カーソル移動指示信号及び前記クリック指示信号を、所定の通信方式に従って送信する画像表示装置制御方法である。 Further, the present invention displays an image displayed on the display screen of the mobile terminal device on another display screen, a position touched on the other display screen displaying the image, and the display of the mobile terminal device The position of the cursor moved based on a predetermined cursor movement instruction signal on the screen, and the image displayed on the other display screen and the image displayed on the display screen of the portable terminal device as a reference The calibration information for obtaining the relatively same position is acquired, the touch operation on the other display screen is detected, and the cursor movement instruction signal and the click instruction signal are generated based on the touch operation. In the image display device control method, the cursor movement instruction signal and the click instruction signal are transmitted according to a predetermined communication method.
また本発明は、携帯端末装置の表示画面に表示された画像を表示する画像表示装置のコンピュータを、自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部、前記カーソル移動指示信号及び前記クリック指示信号を、前記所定の通信方式に従って送信するカーソル操作情報送信部、自画像表示装置の前記表示画面上において前記タッチ操作で指定された位置と、前記携帯端末装置の前記表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ自画像表示装置および前記携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部、として機能させるプログラムである。 The present invention also provides a computer of an image display device that displays an image displayed on a display screen of a mobile terminal device, a touch operation detection unit that detects a touch operation on the display screen of the self-image display device, and the touch operation based on the touch operation. A cursor operation information generation unit that generates a cursor movement instruction signal and a click instruction signal in accordance with a predetermined communication method; a cursor operation information transmission unit that transmits the cursor movement instruction signal and the click instruction signal according to the predetermined communication method The position designated by the touch operation on the display screen of the self-portrait display device and the position of the cursor moved based on the cursor movement instruction signal on the display screen of the mobile terminal device, respectively Device and the image displayed on the portable terminal device are set at the same relative position. Calibration unit for acquiring calibration information for a program to function as a.
本発明では、遠隔操作用の専用のアプリケーションプログラムを必要とせずに携帯端末装置を遠隔操作することが可能となり、また、操作性が向上する効果が得られる。 In the present invention, it is possible to remotely operate the portable terminal device without requiring a dedicated application program for remote operation, and an effect of improving operability can be obtained.
以下、本発明の一実施形態における画像表示装置を、図面を参照して説明する。
図1は同実施形態における画像表示装置の最小構成を示す図である。この図において、符号1は画像表示装置である。Hereinafter, an image display apparatus according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a minimum configuration of the image display apparatus according to the embodiment. In this figure,
図1に示すように、画像表示装置1は少なくとも、タッチ操作検出部100、カーソル操作情報生成部、校正部121及びカーソル操作情報送信部130を備えている。
タッチ操作検出部100は、画像表示装置1の表示画面上におけるタッチ操作を検出する機能部である。
カーソル操作情報生成部120は、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成する機能部である(カーソル移動指示信号及びクリック指示信号については後述する)。
カーソル操作情報送信部130は、当該カーソル移動指示信号及びクリック指示信号を、所定の通信方式に従って送信する機能部である。
校正部121は、自画像表示装置の表示画面上においてタッチ操作で指定された位置と、携帯端末装置2(図2)の表示画面上においてカーソル移動指示信号に基づいて移動させたマウスカーソルの位置と、を各々の装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する機能部である。As shown in FIG. 1, the
The touch
The cursor operation
The cursor operation
The
図2は、本発明の一実施形態における画像表示装置と携帯端末装置の機能構成を具体的に示す図である。
図2に示す通り、画像表示装置1は、タッチパネル10、表示部11、制御部12、無線通信部13及び有線通信部14を備えている。FIG. 2 is a diagram specifically illustrating a functional configuration of the image display device and the mobile terminal device according to the embodiment of the present invention.
As illustrated in FIG. 2, the
タッチパネル10は所定のタッチセンサを有するパネルであり、表示部11と一体となってタッチセンサディスプレイを構成する機能部である。一方、表示部11は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイなどで構成されるフラットディスプレイであり、ユーザの視覚を通じて各種情報を伝達する機能部である。
The
本実施形態におけるタッチパネル10は、一般的に用いられるタッチセンサディスプレイと同様、静電容量方式、抵抗方式等を利用して実現され、表示部11の表示画面上においてタッチされた位置を座標情報(X、Y)として検出する。なお、タッチパネル10は、図1におけるタッチ操作検出部100の一態様である。
The
また本実施形態における表示部11は、有線通信部14が携帯端末装置2から受信した画像情報に基づく画像であって、携帯端末装置2の表示画面に表示された画像と同等の画像を表示する。例えば携帯端末装置2にてカーナビゲーション用アプリケーション機能(以下、「カーナビゲーション機能」)が実行されており、その表示画面(表示部21)に当該カーナビゲーション機能用の画像が表示されている場合、画像表示装置1の表示部11も、当該カーナビゲーション機能用の画像を表示することとなる。
Further, the
制御部12は、タッチパネル10の他、種々の機能部から入力される情報に応じて様々な処理を実行し、当該処理の過程または結果を所定の機能部へと出力する機能部である。制御部12は、一般的にはCPU(Central Proccessing Unit、中央演算装置)に所定のプログラムを実行させることで構成される。なお本実施形態においては、図1に示したカーソル操作情報生成部120及び校正部121は、制御部12にて実現されるものとする。これらカーソル操作情報生成部120及び校正部121の具体的な機能については後述する。
The
無線通信部13は、携帯端末装置2と、所定の通信方式に準拠した無線通信を行う機能部である。具体的には、本実施形態における無線通信部13は、Bluetooth(登録商標)のHID(Human Interface Device)プロファイル(以下、単に「HIDプロファイル」と称する。)を用いた無線通信を実現する。ここでBluetooth(登録商標)とは、電子機器の近距離無線通信規格の一つである。またHIDプロファイルとは、Bluetooth(登録商標)のプロファイルのうち、マウスやキーボードなどの入力装置用の無線通信規格である。
なお、無線通信部13は、図1に示すカーソル操作情報送信部130の一態様である。また、「HIDプロファイル」は本実施形態における「所定の通信方式」の一態様である。すなわち、本実施形態における無線通信部13は、HIDプロファイルに基づいたマウス操作情報であるカーソル移動指示信号、プレス指示信号またはリリース指示信号を送信する(各指示信号の内容については後述する)。なお無線通信部13は、当該カーソル移動指示信号、プレス指示信号またはリリース指示信号の他、HIDプロファイルに基づくキーボードの操作信号等を送受信してもよい。
なお本実施形態においては、画像表示装置1と携帯端末装置2の間におけるマウス操作情報のやり取りを、上述した通り、無線通信(Bluetooth(登録商標)のHIDプロファイル)を利用して実現しているが、他の実施形態においてこの態様に限定されるものではない。すなわちマウス操作情報を送受信するにあたって、USB(Universal Serial Bus)マウスを想定した所定の有線通信を用いて当該マウス操作情報の送受信を行ってもよい。The
The
In this embodiment, the exchange of mouse operation information between the
また無線通信部13は、Bluetooth(登録商標)のSPP(Serial Port Profile)プロファイル(以下、単に「SPPプロファイル」とする。)を用いた無線通信を行う。SPPプロファイルは、Bluetooth(登録商標)で通信する電子機器を仮想シリアルポート化するためのプロファイルである。無線通信部13はこのSPPプロファイルに準拠した無線通信で、例えば、携帯端末装置2の表示部21における画像解像度や携帯端末装置2の向き(縦、横)を受信する。
The
有線通信部14は、携帯端末装置2と有線通信を行う機能部である。有線通信部14は、例えばHDMI(登録商標)(High−Definition Multimedia Interface)端子を有する有線接続部である。有線通信部14は、HDMIケーブル3を介して携帯端末装置2の有線通信部24と接続する。本実施形態における有線通信部14は、例えば携帯端末装置2の表示部21に表示中の画像の画像情報を受信する。
なお本実施形態においては、画像表示装置1と携帯端末装置2の間における画像情報のやり取りを有線通信(HDMI)を利用して実現しているが、他の実施形態においてこの態様に限定されるものではない。すなわち画像情報を送受信するにあたって十分な通信速度が実現できる場合には、無線通信を用いて当該画像情報の送受信を行ってもよい。The
In the present embodiment, the exchange of image information between the
一方、携帯端末装置2は、タッチパネル20、表示部21、制御部22、無線通信部23及び有線通信部24を備えている。
On the other hand, the mobile
タッチパネル20及び表示部21の基本的な機能は、画像表示装置1が備えるタッチパネル10及び表示部11の機能と同等である。上述のとおり、表示部21は、例えば携帯端末装置2にてカーナビゲーション用アプリケーション機能が実行されている場合は、当該カーナビゲーション用アプリケーション機能用の画像を表示する。
The basic functions of the
携帯端末装置2が備える制御部22は、画像表示装置1における制御部12と同じく、携帯端末装置2における種々の処理を行う機能部である。制御部22は、制御部12と同様にCPUに所定のプログラムを実行させることで構成される。また制御部22は、例えばカーナビゲーション機能が記述されたアプリケーションプログラムを読み出して、当該カーナビゲーション機能を実現する機能部となる。
The
また制御部22は、HIDプロファイルに準拠したカーソル移動指示信号を受信して、当該カーソル移動指示信号に基づいて、表示部21の画面上においてマウスカーソルを移動させる。
例えば制御部22は、外部装置からマウス操作情報として「カーソル移動指示信号」を受信すると、自携帯端末装置の表示部21上において表示されるマウスカーソルを、現在の位置から、当該カーソル移動指示信号に基づいた距離及び方向へ移動させる処理を実行する。なおカーソル移動指示信号は、ユーザがマウスを移動させる操作に応じてマウス自身が出力する、HIDプロファイルに準拠した信号である。
また、制御部22は、外部装置からマウス操作情報として「プレス指示信号」を受信すると、マウスボタンのプレス操作(マウスに備えられた所定のボタンを押下する操作)に基づく処理を実行する。同様に、制御部22はマウス操作情報として「リリース指示信号」を受信すると、マウスボタンのリリース操作(当該押下されたボタンを離す操作)に基づく処理を実行する。
なお一般的に知られているマウス操作として、プレス操作の後にリリース操作する「クリック操作」がある。また、プレス操作を維持したままマウスカーソルを移動させることで「ドラッグ操作」となる。また本実施形態においては、上記プレス指示信号に続くリリース指示信号の一連の信号セットを「クリック指示信号」と定義する。Further, the
For example, when the
In addition, when receiving a “press instruction signal” as mouse operation information from the external device, the
As a generally known mouse operation, there is a “click operation” in which a release operation is performed after a press operation. Further, a “drag operation” is performed by moving the mouse cursor while maintaining the press operation. In the present embodiment, a series of signal sets of release instruction signals following the press instruction signal is defined as a “click instruction signal”.
無線通信部23は、画像表示装置1の無線通信部13に対し、HIDプロファイル及びSPPプロファイルに準拠した無線通信を確立する。無線通信部23は例えば、画像表示装置1の無線通信部13からHIDプロファイルに準拠したマウス操作情報(カーソル移動指示信号、プレス指示信号、リリース指示信号)を受信する。
有線通信部24は、画像表示装置1の有線通信部14と同様で、HDMI端子を有する有線接続部であり、有線通信部14とHDMIケーブル3を介して有線通信を行う。有線通信部24は、例えば表示部21に表示中の画像の画像情報を画像表示装置1の有線通信部14に送信する。The
Similar to the wired
上述の内容をまとめると、本実施形態における画像表示装置1は、カーナビゲーション機能が実行された携帯端末装置2と有線通信及び無線通信を確立し、自動車等に搭載されるカーナビゲーションシステムとして機能する装置である。本実施形態における画像表示装置1は、携帯端末装置2の表示画面に表示された画像を表示する画像表示装置であって、携帯端末装置2において実現されるカーナビゲーション機能を、ユーザが行う操作の利便性を向上させる用途で使用する補助装置であるといえる。
ただしこの場合、携帯端末装置2は当該カーナビゲーションシステムの根幹として機能する装置である一方、画像表示装置1はあくまで、携帯端末装置2の表示画面に表示された画像を、自画像表示装置の表示画面に表示し、さらに当該表示画像に対するユーザの意思に基づく操作を、携帯端末装置2に対する操作として反映させるユーザインターフェイス装置である。すなわち画像表示装置1は、携帯端末装置2にて実行されるアプリケーション機能次第では、当該カーナビゲーションシステム以外の態様として機能し得るものである。例えば、携帯端末装置2が動画再生機能を実行中の場合、画像表示装置1は、当該動画再生機能が実行された携帯端末装置2と有線通信及び無線通信を確立して動画再生システムとして機能する。In summary, the
However, in this case, the mobile
図3は、本発明の一実施形態における画像表示装置と携帯端末装置の動作を説明する第一の図である。
次に、カーナビゲーションシステムとして機能する画像表示装置1と携帯端末装置2の具体的な動作について説明する。まず、カーナビゲーション用アプリケーションプログラムを実行させた携帯端末装置2を画像表示装置1にHDMIケーブル3にて接続する。すると、携帯端末装置2の制御部22(図3には図示せず)は有線通信部24を介して自携帯端末装置の表示部21に表示中の画像(主画像A)の画像情報を送信する。主画像Aは、携帯端末装置2において当該カーナビゲーション機能を実現するための表示画像である。FIG. 3 is a first diagram illustrating operations of the image display device and the mobile terminal device according to the embodiment of the present invention.
Next, specific operations of the
そして、画像表示装置1の制御部12(図3には図示せず)は、有線通信部14を介して受信した主画像Aの画像情報に基づいた主画像A’を自画像表示装置の表示部11に出力する。なお制御部12は、主画像Aについての解像度情報を同時に受信している。解像度情報とは、携帯端末装置2の表示部21の横方向の画素数W2及び縦方向の画素数H2に基づいた、画像の縦横比及び解像度を示す情報である。
Then, the control unit 12 (not shown in FIG. 3) of the
ここで制御部12は、図3に示すように、受信した主画像Aに基づいた主画像A’の全体が表示部11に描画できる限度まで主画像Aを拡大して表示する。普通の携帯端末装置2に用いられるディスプレイ(表示部21)は小型であるためこのままではユーザが情報を視認しにくく不都合であったが、画像表示装置1が上記主画像A’を自画像表示装置の表示部11いっぱいに表示することでこの問題を解決できる。
Here, as shown in FIG. 3, the
しかしこの際、携帯端末装置2の機種次第では、携帯端末装置2の表示部21と画像表示装置1の表示部11の縦横比が合致しない場合も考えられる。そこで制御部12は、主画像Aの縦横比を維持したまま自画像表示装置の表示部11に主画像A’を表示し、表示部11の表示画面のうち主画像A’が表示されない領域については余白画像B(例えば黒一色の画像)を表示することとする(図3)。例えば、携帯端末装置2の表示部21が「W2=600、H2=400」(いずれも画素数)の解像度であり、一方、画像表示装置1の表示部11が「W1=900、H1=700」であったとする。この場合、制御部12は、主画像Aを1.5倍(=900/600)に拡大した画像を主画像A’として「W1=900、H1’=600」の解像度で表示部11に表示し、さらに上下の余白部分(H1=700からH1’=600を差し引いた幅分の領域)には余白画像Bを表示する。
However, at this time, depending on the model of the mobile
図4は、本発明の一実施形態における画像表示装置と携帯端末装置の動作を説明する第二の図である。
以下、画像表示装置1のタッチパネル10にてタッチ操作(指をタッチパネル10に接触させ、接触させた指を離す操作)を検出した際の、カーソル操作情報生成部120の動作について詳細に説明する。カーソル操作情報生成部120は、画像表示装置1のタッチパネル10に対するユーザのタッチ操作に基づいて、HIDプロファイルに準拠したマウス操作情報(カーソル移動指示信号、プレス指示信号、リリース指示信号)を生成する。そして、ユーザの意思に基づく画像表示装置1へのタッチ操作が、携帯端末装置2においてのマウス操作として反映されるように、当該マウス操作情報を生成する。ここでカーソル操作情報生成部120は、携帯端末装置2におけるマウスカーソルが予め基準位置である座標(0、0)(例えば表示部21上における右下端)にあることを前提として、マウス操作情報(特にカーソル移動指示信号)を生成する。FIG. 4 is a second diagram illustrating operations of the image display device and the mobile terminal device according to the embodiment of the present invention.
Hereinafter, the operation of the cursor operation
ここで、まずタッチパネル10が座標(X1、Y1)におけるタッチ操作を検出したとする(図4右)。すると、カーソル操作情報生成部120は直ちにタッチ位置(X1、Y1)に応じたカーソル移動指示信号(X2、Y2)を生成する。ここでカーソル操作情報生成部120は、予め取得していた自画像表示装置の表示部11に対する携帯端末装置2の表示部21の縮尺及び所定の「校正用情報」に基づいてカーソル移動指示信号を生成する(「校正用情報」については後述する)。そしてカーソル操作情報生成部120は、当該カーソル移動指示信号(X2、Y2)と、続いてクリック指示信号(プレス指示信号とその後に続くリリース指示信号)を無線通信部13に出力する。
Here, it is assumed that the
ここで、ユーザが行うタッチ操作の「タッチ時間」すなわち、指がタッチパネル10に接触してから離れるまでの時間は、クリック指示信号においてプレス指示信号が送信されてからリリース指示信号が送信されるまでの時間と対応させてもよい。すなわち、カーソル操作情報生成部120は、指がタッチパネル10に接触することを感知してプレス指示信号を出力し、続いて、指がタッチパネル10から離れたことを感知してリリース指示信号を出力してもよい。このようにすることで、ユーザが行ういわゆる“長押し”操作(一定の期間タッチパネル10に接触し続ける操作)についても、携帯端末装置2におけるマウス操作として反映させることができる。
Here, the “touch time” of the touch operation performed by the user, that is, the time from when the finger touches the
携帯端末装置2の制御部22(図4には図示せず)は、当該カーソル移動指示信号(X2、Y2)及びクリック指示信号を、無線通信部23を介して受信する。ここで制御部22は、当該各種受信信号をHIDプロファイルに準拠したマウス操作情報として受信する。そうすると制御部22は、当該カーソル移動指示信号(X2、Y2)に従ってカーソルを現在の位置(基準位置(0、0))からX軸方向(紙面左方向)にX2幅分、Y軸方向(紙面上方向)にY2幅分だけ移動させる(図4左)。そして制御部22は、続いて受信したクリック指示信号に基づいて、マウスのクリック操作を受け付けた際の処理を実行する。
The control unit 22 (not shown in FIG. 4) of the mobile
カーソル操作情報生成部120が、以上のような一連のマウス操作用情報を生成して出力することで、ユーザの意思に基づく画像表示装置1へのタッチ操作が、携帯端末装置2においては、当該ユーザの意思を反映したマウス操作(マウスカーソルを移動させてクリック)として処理される。なお、カーソル操作情報生成部120は、タッチ操作に基づくカーソル移動指示信号及びクリック指示信号を出力した後に、マウスカーソルを基準位置(0、0)に戻すためのカーソル移動指示信号を出力する。このようにすることで、カーソル操作情報生成部120は、自画像表示装置において検出するタッチ操作の度に、携帯端末装置2のカーソル位置が基準位置(0、0)にあることを前提としてカーソル移動指示信号を生成することができる。
The cursor operation
図5は、本発明の一実施形態における画像表示装置と携帯端末装置の動作を説明する第三の図である。
次に、画像表示装置1のタッチパネル10にてドラッグ操作(指をタッチパネル10に接触させてそのまま他の位置まで滑らせる操作)を検出した際の、カーソル操作情報生成部120の動作について詳細に説明する。カーソル操作情報生成部120は、上記タッチ操作の場合と同様に、ユーザのドラッグ操作に基づいて、HIDプロファイルに準拠したマウス操作情報を生成する。FIG. 5 is a third diagram for explaining the operation of the image display device and the mobile terminal device according to the embodiment of the present invention.
Next, the operation of the cursor operation
まず、カーソル操作情報生成部120はドラッグ操作の開始(タッチパネル10に指が接触したこと)を検出すると、ドラッグ操作の最初の位置(X1、Y1)に対応するカーソル移動指示信号(X2、Y2)を生成する。当該処理は、上述したタッチ操作の処理についてのカーソル移動処理と同等である。すなわち、カーソル操作情報生成部120は、携帯端末装置2におけるマウスカーソルが予め基準位置(0、0)にあることを前提としてカーソル移動指示信号(X2、Y2)を生成する。またカーソル操作情報生成部120は、当該カーソル移動指示信号に続いてプレス指示信号を生成し、無線通信部13を介して送信する。
First, when the cursor operation
次に、タッチパネル10が座標(X1、Y1)から座標(X1’、Y1’)までのドラッグ操作を検出したとする(図5右)。すると、カーソル操作情報生成部120はドラッグ操作の始点位置(X1、Y1)及び終点位置(X1’、Y1’)の差分(dX1、dY1)を算出し、当該差分座標(dX1、dY1)に応じたカーソル移動指示信号(dX2、dY2)を生成する。この場合においても、カーソル操作情報生成部120は、表示部11に対する表示部21の縮尺及び所定の校正用情報(後述)に基づいたカーソル移動指示信号を生成する。
Next, it is assumed that the
携帯端末装置2の制御部22(図5には図示せず)は、当該カーソル移動指示信号(dX2、dY2)を、無線通信部23を介して受信する。ここで制御部22は、当該受信信号をHIDプロファイルに準拠したマウス操作情報として受信する。そうすると、制御部22は、当該カーソル移動指示信号(dX2、dY2)に従ってマウスカーソルを現在の位置(X2、Y2)からX軸方向(紙面左方向)にdX2幅分、Y軸方向(紙面下方向)にdY2幅分だけ移動させる(図5左)。
The control unit 22 (not shown in FIG. 5) of the mobile
またカーソル操作情報生成部120は、上記ドラッグ操作の開始時にてプレス指示信号を出力した後、ドラッグ操作の終了(タッチパネル10から指が離れたこと)を検出するまではリリース指示信号を出力しないで、マウスボタンが押下された状態を継続する。このようにすることで、カーソル操作情報生成部120は、画像表示装置1における指を利用したドラッグ操作を、携帯端末装置2におけるマウスを利用したドラッグ操作として対応させることができる。なお、カーソル操作情報生成部120は、当該ドラッグ操作の終了を検出すると、当該リリース指示信号に続いてマウスカーソルを基準位置(0、0)に戻すためのカーソル移動指示信号を出力する。このようにすることで、カーソル操作情報生成部120は、ドラッグ操作の終了後においても、携帯端末装置2のカーソル位置を基準位置(0、0)に戻すことができる。
Also, the cursor operation
以上に説明したとおり、本実施形態における画像表示装置1は、当該画像表示装置1に対するユーザの「タッチ操作」及び「ドラッグ操作」を、携帯端末装置2に対するマウス操作として再現させる。このような画像表示装置1を用いると、ユーザは携帯端末装置2の小さいディスプレイ(表示部21)に対して直接操作を要することなく、画像表示装置1の比較的大きいサイズのディスプレイ(表示部11)に対する操作で携帯端末装置2を意図する通りに操作することができる。
As described above, the
また本実施形態においては、上述した通り、一般的な携帯端末装置2であれば普通に利用できるHIDプロファイルを利用して携帯端末装置2を遠隔操作する。したがってユーザは、画像表示装置1と携帯端末装置2を、カーナビゲーションシステムとして機能させるための連携操作用のアプリケーションプログラムをインストールする必要が生じない。さらに当該HIDプロファイルを利用すれば、携帯端末装置2は、通常の無線マウスを利用した信号としてカーソル移動指示信号、プレス指示信号およびリリース指示信号を受信するため、カーソル移動、クリック及びドラッグ等の各処理も、通常の無線マウスを利用した操作として俊敏に実行される。
In the present embodiment, as described above, the mobile
以上説明した本実施形態の画像表示装置では、画像表示装置1から遠隔操作するためのアプリケーションプログラムを必要とせずに、画像表示装置1から携帯端末装置2を操作することが可能となり、また、操作性が向上する効果が得られる。
In the image display device according to the present embodiment described above, it is possible to operate the mobile
ところで、上述したように画像表示装置1におけるタッチ操作及びドラッグ操作が、ユーザが意図する通りに携帯端末装置2におけるマウス操作として再現されるためには、表示部11におけるタッチ位置またはドラッグ操作時において指定される位置と、表示部21においてカーソル移動指示信号に基づいてマウスカーソルを移動させる位置とが、各々の表示部が表示する画像を基準にして相対的に常に同一の位置となることを要する。
By the way, as described above, in order for the touch operation and the drag operation in the
ところが、実際にはユーザが使用する携帯端末装置2ごとに、表示部21の縦横比や解像度はまちまちである。また画像表示装置1が同じ内容のカーソル移動指示信号を送信したとしても、それを受信した携帯端末装置2の仕様(或いはユーザ設定)次第では、表示部21上においてマウスカーソルが実際に移動する移動量は異なってくる。したがって画像表示装置1は、予め定められた一つの校正用情報を用意しておくのではなく、携帯端末装置2が画像表示装置1に接続される度に、当該携帯端末装置2についての校正用情報を取得する必要がある。
However, in practice, the aspect ratio and resolution of the
そこで校正部121は、上述したカーソル操作情報生成部120の処理に先立って、表示部11の表示画面上においてタッチ操作で指定された位置と、携帯端末装置2の表示部21の表示画面上においてカーソル移動指示信号に基づいて移動させたマウスカーソルの位置と、を各々の表示部が表示する画像を基準にして常に同一の位置とするために必要な校正用情報を取得する。
Therefore, prior to the processing of the cursor operation
図6Aおよび図6Bは、本発明の一実施形態におけるカーソル移動指示信号の内容を具体的に説明する図である。
まず校正部121における校正処理の具体的内容を説明する前に、カーソル移動指示信号の内容を、図6Aおよび図6Bを参照して詳細に説明する。図6A及び図6Bは、それぞれ異なる内容のカーソル移動指示信号を示している。6A and 6B are diagrams for specifically explaining the contents of the cursor movement instruction signal according to the embodiment of the present invention.
First, before describing the specific content of the calibration process in the
ここで、HIDプロファイルに基づくカーソル移動指示信号は、「移動量L」と「移動速度V」の二つの情報の組み合わせからなる。移動量Lとは、上述したマウスカーソルを移動させる大きさの基準となる量である。一般的な無線マウスであれば、当該無線マウスから送信される移動量Lの値は、ユーザが無線マウスを実際に移動させた距離に対応する。すなわちユーザが無線マウスを大きく移動させた場合、受信側(携帯端末装置2)が受信する移動量Lはその移動距離に応じて大きくなる。ただし、受信側においては、受信した移動量Lがそのまま表示部21上におけるマウスカーソルの移動量として適用されるわけではない。この点については後述する。
Here, the cursor movement instruction signal based on the HID profile is composed of a combination of two pieces of information of “movement amount L” and “movement speed V”. The movement amount L is a reference amount for moving the mouse cursor described above. In the case of a general wireless mouse, the value of the movement amount L transmitted from the wireless mouse corresponds to the distance that the user actually moved the wireless mouse. That is, when the user greatly moves the wireless mouse, the movement amount L received by the receiving side (mobile terminal device 2) increases in accordance with the movement distance. However, on the receiving side, the received movement amount L is not applied as it is as the movement amount of the mouse cursor on the
受信側は、X軸方向の移動量Lxについて“Lx=100”を受信すると、X軸方向に“Lx=100”に応じてマウスカーソルを現在の位置から移動させる処理を行う。なおY軸方向についても同様であり、移動量Lは、X軸方向への移動量Lx、Y軸方向への移動量Lyの組み合わせで表される。 Upon receiving “Lx = 100” for the movement amount Lx in the X-axis direction, the receiving side performs processing for moving the mouse cursor from the current position in accordance with “Lx = 100” in the X-axis direction. The same applies to the Y-axis direction, and the movement amount L is represented by a combination of a movement amount Lx in the X-axis direction and a movement amount Ly in the Y-axis direction.
また、一般的な無線マウス等のカーソル移動指示信号の送信側は、上記移動量Lを、所定の分割移動量Lpに分割し、これを複数回に分けて送信する。そして受信側は、一回の送信当たりの分割移動量Lpを、もう一つの情報である「移動速度V」として受信する。例えば図6A及び図6Bに示すカーソル移動指示信号は、いずれも受信側にとっては移動量“L=30”と認識される。しかし、図6Aに示すカーソル移動指示信号は、一回の送信当たりの分割移動量Lpを“15”として2回に分けて送信することで移動量Lを“30”としている。一方、図6Bに示すカーソル移動指示信号では、一回の送信当たりの分割移動量Lpを“7.5”として4回に分けて送信することで移動量Lを“30”としている。 Further, the transmission side of a cursor movement instruction signal such as a general wireless mouse divides the movement amount L into a predetermined divided movement amount Lp, and transmits the divided movement amount in a plurality of times. Then, the receiving side receives the divided movement amount Lp per transmission as “movement speed V” which is another information. For example, the cursor movement instruction signals shown in FIGS. 6A and 6B are recognized as the movement amount “L = 30” for the receiving side. However, the cursor movement instruction signal shown in FIG. 6A sets the movement amount L to “30” by transmitting the divided movement amount Lp per transmission as “15” in two steps. On the other hand, in the cursor movement instruction signal shown in FIG. 6B, the divided movement amount Lp per transmission is set to “7.5”, and the movement amount L is set to “30” by dividing the transmission into four times.
受信側は、分割移動量Lpに基づく単位時間(例えば1秒)当たりの移動量を移動速度Vとして受信する。例えば、図6Aの場合、受信側は、一回の送信当たりの分割移動量“Lp=15”に基づく単位時間当たりの移動量である“90”を移動速度Vとして受信する。同様に、図6Bの場合、一回の送信当たりの分割移動量“Lp=7.5”に基づく単位時間当たりの移動量である“45”を移動速度Vとして受信する。
なお移動速度Vも移動量Lと同様、X軸方向への移動速度Vx、Y軸方向への移動速度Vyの組み合わせで表される。The receiving side receives the movement amount per unit time (for example, 1 second) based on the divided movement amount Lp as the movement speed V. For example, in the case of FIG. 6A, the receiving side receives “90”, which is the movement amount per unit time based on the divided movement amount “Lp = 15” per transmission, as the movement speed V. Similarly, in the case of FIG. 6B, “45”, which is the movement amount per unit time based on the divided movement amount “Lp = 7.5” per transmission, is received as the movement speed V.
Similarly to the movement amount L, the movement speed V is represented by a combination of a movement speed Vx in the X-axis direction and a movement speed Vy in the Y-axis direction.
図7は、本発明の一実施形態における携帯端末装置が有する移動量掛け率情報を示す図である。
携帯端末装置2の制御部22は、上記のように定義された移動量Lと移動速度Vに基づいて、表示部21上におけるマウスカーソルの実際の移動量を定める。ここで制御部22は、予め自携帯端末装置に設定されている「移動量掛け率情報」を参照して受信した移動量に対して乗ずる「掛け率」を特定する。すなわち制御部22は、受信した移動量に当該「掛け率」を乗算した値を、実際のマウスカーソルの移動量として移動処理を実行する。
図7に示す移動量掛け率情報テーブルの左列には移動速度Vの範囲が定義されており、右列には各移動速度Vの範囲に対応する掛け率が定義されている。すなわち、適用される掛け率は受信する移動速度Vに基づいて特定される。FIG. 7 is a diagram illustrating movement amount multiplying rate information included in the mobile terminal device according to the embodiment of the present invention.
The
The range of moving speed V is defined in the left column of the moving amount multiplying rate information table shown in FIG. 7, and the multiplying rate corresponding to each range of moving speed V is defined in the right column. That is, the multiplication rate to be applied is specified based on the moving speed V to be received.
例えば、携帯端末装置2が、HIDプロファイル送信側からカーソル移動指示信号として移動量“L=100”、移動速度“V=200”を受信したとする。すると制御部22は、移動量掛け率情報テーブルを参照して、移動速度“V=200”に対応する掛け率“A=3”を特定する(図7)。そして、受信した移動量“L=100”に“A=3”を乗じ、掛け率適用後の移動量“LA=300”を算出する。制御部22は、表示部21上において当該掛け率適用後の移動量“LA=300”の幅分だけマウスカーソルを移動させる処理を行う(以下、LAを「実効移動量」と称する)。
For example, it is assumed that the mobile
また、図6Aに示す例(移動量“L=30”、移動速度“V=90”)の場合、表示部21上におけるマウスカーソルの実際の移動量である実効移動量LAは“39”(=30×1.3)となるのに対し、図6Bに示す例(移動量“L=30”、移動速度“V=45”)の場合、実効移動量LAは“30”(=30×1)となる(図7の表を参照)。このように携帯端末装置2は、移動量Lが同じであってもその移動速度Vが大きいほど、実効移動量LAを大きくさせるような処理を行う。
In the example shown in FIG. 6A (movement amount “L = 30”, movement speed “V = 90”), the effective movement amount LA that is the actual movement amount of the mouse cursor on the
携帯端末装置2の制御部22が、移動速度Vに応じて動的に実効移動量LAを変化させる処理は、ユーザが行う通常のマウス操作を快適にするために用いられる既に知られた技術である。すなわち携帯端末装置2は、ユーザがマウスを素早く動かした場合には、ユーザがカーソルを大きく動かす意思があるものとして、自動的にマウスカーソルの移動量を大きくする。一方、ユーザがマウスをゆっくりと動かした場合には、ユーザはカーソルを微調整する意思があるものとして、自動的にマウスカーソルの移動量を小さくする。
なお以上のような移動速度に応じた移動量の調整機能は、携帯端末装置2のみならず、マウス操作を受け付ける電子機器全般に利用されているものである。The process in which the
Note that the movement amount adjustment function according to the movement speed as described above is used not only for the mobile
しかし、どの程度の移動速度に応じて移動量がどの程度増加するのか、という情報、すなわち図7に示す移動量掛け率情報テーブルは、携帯端末装置2において定められた固有の情報であり、さらにユーザ設定に応じて自由にカスタマイズできるものでもある。
したがって、画像表示装置1が上述した携帯端末装置2との連携処理(図4及び図5)を実現するためには、画像表示装置1は、携帯端末装置2が固有に有する移動量掛け率情報を取得する必要がある。カーソル操作情報生成部120は、当該取得した移動量掛け率情報を参照しながら、タッチ操作におけるタッチ座標(X1、Y1)と携帯端末装置2におけるマウスカーソルの移動量(X2、Y2)の対応付けを行う。However, the information on how much the moving amount increases according to how much moving speed, that is, the moving amount multiplying rate information table shown in FIG. 7 is unique information determined in the mobile
Therefore, in order for the
そこで本実施形態における画像表示装置1の校正部121は、所定の校正処理を行い、携帯端末装置2において定められた固有の情報であって、移動速度Vに応じて適用される移動量Lへの掛け率を定めた移動量掛け率情報を以下に示す処理手順に基づいて特定する。本実施形態においては、当該移動量掛け率情報が「校正用情報」の一態様である。
一方、携帯端末装置2の制御部22は、校正部121の校正処理を実現するために、所定の校正用アプリケーションプログラムを読み込む。そして、当該校正用アプリケーションプログラムを読み込んだ制御部22は、表示部21の画面上の一部に所定の応答領域211を設定し、マウスカーソルが当該応答領域211にあった場合において、クリック指示信号を受信した場合には、所定のレスポンス信号を送信する処理を実行する。
以下、校正部121における移動量掛け率情報の具体的な取得手段について説明する。Therefore, the
On the other hand, the
Hereinafter, specific means for acquiring the movement amount multiplication rate information in the
図8は、本発明の一実施形態における校正部の初期動作を説明する図である。
ここで本実施形態における携帯端末装置2の表示部21の画素数が、X軸方向(紙面横方向)に580、Y軸方向(紙面縦方向)に350であったとする。
まず校正部121は校正処理の開始に先立って、無線通信部13を介して校正用アプリケーション機能の起動指示信号を送信する。一方、携帯端末装置2の制御部22(図8には図示せず)は、無線通信部23を介して当該起動指示信号を受信すると携帯端末装置2に予め記憶された校正用アプリケーションプログラムを読み出して、所定の校正用アプリケーション機能を実行する。以下、校正部121が当該校正用アプリケーション機能を利用してX軸方向に関する移動量掛け率情報を取得する手順を説明する。FIG. 8 is a diagram illustrating the initial operation of the calibration unit according to the embodiment of the present invention.
Here, it is assumed that the number of pixels of the
First, the
図8には、当該校正用アプリケーション機能に基づく表示画像が表示部21に表示された状態を示している。校正用アプリケーション機能に基づく表示画像は、図8に示す通り、非応答領域210と応答領域211で構成される。応答領域211は、マウスカーソルの基準位置(0、0)から最も離れた(図8における表示部21左端の)一画素幅分の領域に設定される。また非応答領域210は、応答領域211以外の全ての領域として設定される。
FIG. 8 shows a state in which a display image based on the calibration application function is displayed on the
制御部22は、マウスカーソルが応答領域211に位置する場合にクリック指示信号を外部から受信すると、当該校正用アプリケーション機能に基づいて所定のレスポンス信号を、無線通信部23を介して送信する。一方、制御部22は、マウスカーソルが非応答領域210に位置する場合にクリック指示信号を外部から受信すると、当該所定のレスポンス信号を送信しない。
When the
校正部121は、無線通信部13を介して、カーソル移動指示信号の送信、及びこれに続くクリック指示信号の送信を複数回繰り返し、当該クリック指示信号に対する携帯端末装置2からの所定のレスポンス信号の有無に基づいて校正処理を実行する。
The
図9は、本発明の一実施形態における校正部の第一の特定処理を説明する第一の図である。
校正部121は、最初に移動速度Vxに対応する掛け率A(図7の表右列)を特定するための「第一の特定処理」を行う。
校正部121は、まず所定のカーソル移動指示信号を送信してマウスカーソルを基準位置(0、0)に移動させておく。ここで校正部121が携帯端末装置2のマウスカーソルを基準位置(0、0)に移動させることは、画像表示装置1が、移動量掛け率情報を把握していない段階であっても可能である。例えば校正部121は、携帯端末装置2の表示部21の解像度に対し十分に大きな移動量を送信すれば、マウスカーソルは表示部21の端部(すなわち基準位置)に自然に収まることとなる。FIG. 9 is a first diagram illustrating a first specifying process of the calibration unit according to the embodiment of the present invention.
The
The
次に、校正部121は移動速度Vxを所定の最大移動速度に固定させた状態で、移動量Lxを所定量ずつ増加させながら、カーソル移動指示信号及びクリック指示信号の送信を複数回繰り返す。ここで最大移動速度とは、HIDプロファイルにおいて一回の送信で送ることができる分割移動量Lpの最大値に対応する移動速度である。以降の説明においては、例としてこの最大移動速度を300とする。
Next, the
まず図9(a)では、校正部121が移動量“Lx=100”、移動速度“Vx=300”(最大移動速度)でカーソル移動指示信号を送信している。携帯端末装置2は、当該カーソル移動指示信号を受信して、受信した内容(移動量“Lx=100”、移動速度“Vx=300”)に基づいてマウスカーソルを移動させる。この時点で、画像表示装置1は、携帯端末装置2における掛け率Aが不明であるため、携帯端末装置2において移動したマウスカーソルの位置が、基準位置から実際にどの程度移動したかは把握できない。
First, in FIG. 9A, the
校正部121は、続いてクリック指示信号を送信する。携帯端末装置2は、当該クリック指示信号を受信すると、マウスを利用したクリック操作を受け付けた場合の処理を実行する。ここで、携帯端末装置2におけるマウスカーソルは、図9(a)に示す通り非応答領域210に属しているので、当該クリック指示信号に対して所定のレスポンス信号を送信しない。画像表示装置1は所定の期間当該レスポンス信号を受信しないことを検知して、マウスカーソルが応答領域211(すなわち表示部21の端部)に到達していないことを把握する。
Subsequently, the
次に校正部121は、一旦マウスカーソルの位置を基準位置に戻すカーソル移動指示信号を送信する。そして校正部121はマウスカーソルを基準位置に戻した後、移動速度Vxを“300”に固定したまま、移動量Lxを前回よりも増加させ、“Lx=101”として再度カーソル移動指示信号を送信する。携帯端末装置2は、当該カーソル移動指示信号を受信してマウスカーソルを移動させる。そして校正部121は、続いて送信したクリック指示信号に対し所定の期間レスポンス信号がないことを検知すると、移動量Lxをさらに増加させながら同様の処理を繰り返す。
Next, the
校正部121が、移動量Lxを増加させながらカーソル移動指示信号を送信する処理を複数回繰り返した後の状態を図9(b)に示す。図9(b)では、校正部121が移動量“Lx=290”、移動速度“Vx=300”でカーソル移動指示信号を送信している。携帯端末装置2は、当該カーソル移動指示信号を受信して、受信した内容(移動量“Lx=290”、移動速度“Vx=300”)に基づいてマウスカーソルを移動させる。
FIG. 9B shows a state after the
校正部121は、続いてクリック指示信号を送信する。携帯端末装置2は、当該クリック指示信号を受信すると、マウスを利用したクリック操作を受け付けた場合の処理を実行する。ここで、携帯端末装置2におけるマウスカーソルは、図9(b)に示す通り応答領域211に到達しているので、携帯端末装置2は当該クリック操作に対して所定のレスポンス信号を送信する。画像表示装置1はこの結果を受けて、マウスカーソルが応答領域211に到達したことを把握する。
Subsequently, the
図9(b)は、携帯端末装置2が、移動量“Lx=290”を受信して、移動速度“Vx=300”で適用される掛け率Aを乗算し求めた値(実効移動量LA)だけマウスカーソルを動かした結果、マウスカーソルがちょうど表示部21の画面左端まで移動した状態を示している。一方、画像表示装置1は、携帯端末装置2の表示部21の解像度情報(画素数580×350)については、HDMIケーブル3及び有線通信部14を介して予め取得している。したがって校正部121は、移動量“Lx=290”、移動速度“Vx=300”を送信した結果、マウスカーソルが表示部21の画面左端に到達したことを受け、携帯端末装置2において最大移動速度“Vx=300”に適用される掛け率Aは“2”(580÷290)であると特定することができる。
以上のとおり、校正部121は「第一の特定処理」の過程において、レスポンス信号を受信した場合には、当該レスポンス信号を受信した時点における移動量Lに基づいて掛け率Aを特定する。FIG. 9B shows a value (effective movement amount LA) obtained by the mobile
As described above, when the
なお第一の特定処理の具体的内容は、上述した処理に限定されるものではない。上述した例では、校正部121は移動量Lxを最初から1ずつ増加させているが、他の実施形態ではこの態様に限らない。例えば校正部121は、移動量Lxをまず100ずつ増加させて画面左端に到達する移動量Lxに当たりをつけ、画面左端に到達した段階から徐々に移動量Lを減らして絞り込みを行うという処理を行ってもよい。このようにすることで、校正部121が行う第一の特定処理に要する繰り返し回数が低減し、結果として校正処理全体の速度を向上させることができる。また、校正部121が最大移動速度とする値は、携帯端末装置2の一般的な仕様を考慮して十分に大きいと認められる値から当たりをつけて決定してもよい。
また校正部121は、移動量Lxを、十分に大きい値から順に減少させながらカーソル移動指示信号を送信し、携帯端末装置2からのレスポンス信号が受信できる状態から、当該レスポンス信号を最初に受信できなくなった際の移動量Lxを参照して、掛け率Aを特定してもよい。Note that the specific content of the first specific process is not limited to the process described above. In the example described above, the
The
図10は、本発明の一実施形態における校正部の処理の経過を示す第一の図である。
校正部121は、上述した一回目の第一の特定処理の結果、最大移動速度“Vx=300”に対応する掛け率Aが“2”であることを特定する(図10)。FIG. 10 is a first diagram illustrating a process of the calibration unit in the embodiment of the present invention.
The
図11は、本発明の一実施形態における校正部の第二の特定処理を説明する図である。
続いて校正部121は、求めた掛け率Aについて“2”が適用される移動速度Vxの範囲(下限)を求める。校正部121は、第一の特定処理にて特定した掛け率Aが適用される移動速度の範囲を特定するための「第二の特定処理」を行う。
具体的には、校正部121は移動量Lxを、第一の特定処理にて画面左端に到達した際の移動量に固定させた状態で、移動速度Vxを所定量ずつ減少させながら、カーソル移動指示信号及びクリック指示信号の送信を複数回繰り返す。FIG. 11 is a diagram illustrating a second specifying process of the calibration unit according to the embodiment of the present invention.
Subsequently, the
Specifically, the
まず図11(a)では、校正部121が移動量“Lx=290”、移動速度“Vx=299”でカーソル移動指示信号を送信する。ここで校正部121は、移動速度Vxを、第一の特定処理で固定していた値300から1だけ減じて“Vx=299”としている。携帯端末装置2は、当該カーソル移動指示信号を受信して、受信した内容(移動量“Lx=290”、移動速度“Vx=299”)に基づいてマウスカーソルを移動させる。
First, in FIG. 11A, the
校正部121は、続いてクリック指示信号を送信する。ここで、携帯端末装置2におけるマウスカーソルは、図11(a)に示す通り応答領域211に属しているので、携帯端末装置2は、当該クリック指示信号に対して所定のレスポンス信号を送信する。画像表示装置1は、移動速度を300から1だけ減じて“Vx=299”としても、掛け率Aは依然として“2”が適用されていることを把握する。
Subsequently, the
次に校正部121は、一旦マウスカーソルを基準位置に戻した後、移動量Lxを“290”に固定したまま、移動速度Vxを前回よりもさらに減少させ、“Vx=298”として再度カーソル移動指示信号を送信する。携帯端末装置2は、当該カーソル移動指示信号を受信してマウスカーソルを移動させる。そして校正部121は、続いて送信したクリック指示信号に応答すべきレスポンス信号を引き続き受信すると、移動速度Vxをさらに減少させながら同様の処理を繰り返す。
Next, the
校正部121が、移動速度Vxを減少させながらカーソル移動指示信号を送信する処理を複数回繰り返した後の状態を図11(b)に示す。図11(b)では、校正部121が移動量“Lx=290”、移動速度“Vx=249”でカーソル移動指示信号を送信している。携帯端末装置2は、当該カーソル移動指示信号を受信して、受信した内容(移動量“Lx=290”、移動速度“Vx=249”)に基づいてマウスカーソルを移動させる。
FIG. 11B shows a state after the
校正部121は、続いてクリック指示信号を送信する。ここで、携帯端末装置2におけるマウスカーソルは、図11(b)に示す通り応答領域211を外れ、非応答領域210に属しているので、携帯端末装置2は当該クリック指示信号に対して所定のレスポンス信号を送信しない。画像表示装置1はこの結果を受けて、マウスカーソルが応答領域211を外れたことを把握する。すなわちこの結果は、移動速度Vxを“300”から“249”まで減らして初めて、移動量“Lx=290”に対する掛け率Aに“2”が適用されなくなったことを示している。
Subsequently, the
図12は、本発明の一実施形態における校正部の処理の経過を示す第二の図である。
校正部121は、以上に説明した一回目の第二の特定処理の結果、掛け率Aとして“2”が適用されなくなった移動速度Vxが“249”であったことを受け、掛け率Aとして“2”が適用される移動速度Vxの下限が“249”の一つ前の“250”であることを特定する(図12)。
なお以上に説明した処理において、校正部121は、移動速度Vxを徐々に減じながら、携帯端末装置2からのレスポンス信号を受信しなくなったことを検知して、掛け率Aに“2”が適用される移動速度Vxの下限を特定した。しかし本実施形態の校正部121における上記処理はこの態様に限定されるものではない。すなわち校正部121は、移動速度Vxを、例えば“1”から順に増加させながらカーソル移動指示信号を送信し、携帯端末装置2からのレスポンス信号を受信できない状態から、当該レスポンス信号を最初に受信できた状態に移行した際の移動速度Vxを参照して、掛け率Aに“2”が適用される移動速度Vxの下限を特定してもよい。FIG. 12 is a second diagram showing the progress of the processing of the calibration unit in the embodiment of the present invention.
The
In the processing described above, the
図13は、本発明の一実施形態における校正部の第一の特定処理を説明する第二の図である。
続いて校正部121は、次の移動速度Vx(249の移動速度Vx)について適用される掛け率Aを求める。校正部121は、最初に移動速度“Vx=249”に対応する掛け率Aを特定するための二回目の「第一の特定処理」を行う。FIG. 13 is a second diagram illustrating the first specifying process of the calibration unit according to the embodiment of the present invention.
Subsequently, the
校正部121は先の第二の特定処理において、移動速度Vxを“249”としたときに、掛け率Aについて“2”が適用されなくなり、マウスカーソルが応答領域211(表示部21の画面左端)に到達しなくなったことを把握している。また校正部121は、このマウスカーソルが応答領域211に到達しなくなったときの移動量Lxが“290”であることを把握している。したがって校正部121は、移動速度Vxを“249”に固定させた状態で、移動量Lxを“290”から所定量ずつ増加させながら、カーソル移動指示信号及びクリック指示信号の送信を複数回繰り返す。
When the moving speed Vx is set to “249” in the second specifying process, “2” is not applied to the multiplication rate A, and the calibrating
まず図13(a)では、校正部121が移動量“Lx=291”、移動速度“Vx=249”でカーソル移動指示信号を送信している。携帯端末装置2は、当該カーソル移動指示信号を受信して、受信した内容(移動量“Lx=291”、移動速度“Vx=249”)に基づいてマウスカーソルを移動させる。この時点で、画像表示装置1は、携帯端末装置2におけるマウスカーソルの位置が、基準位置から実際にどの程度移動したかは把握できない。
First, in FIG. 13A, the
校正部121は、続いてクリック指示信号を送信する。携帯端末装置2は、当該クリック指示信号を受信すると、マウスを利用したクリック操作を受け付けた場合の処理を実行する。ここで、携帯端末装置2におけるマウスカーソルは、図13(a)に示す通り非応答領域210に属しているので、携帯端末装置2は、当該クリック操作に対して所定のレスポンス信号を送信しない。画像表示装置1はこの結果を受けて、マウスカーソルが応答領域211(すなわち表示部21の端部)に到達していないことを把握する。
Subsequently, the
次に校正部121はマウスカーソルを基準位置に戻した後、移動速度Vxを“249”に固定したまま、移動量Lxを前回よりも増加させ、“Lx=292”として再度カーソル移動指示信号を送信する。携帯端末装置2は、当該カーソル移動指示信号を受信してマウスカーソルを移動させる。そして校正部121は、続いて送信したクリック指示信号に応答すべきレスポンス信号がないと判断すると、移動量Lxをさらに増加させながら同様の処理を繰り返す。
Next, after returning the mouse cursor to the reference position, the
校正部121が、移動量Lxを増加させながらカーソル移動指示信号を送信する処理を複数回繰り返した後の状態を図13(b)に示す。図13(b)では、校正部121が移動量“Lx=310”、移動速度“Vx=249”でカーソル移動指示信号を送信している。携帯端末装置2は、当該カーソル移動指示信号を受信して、受信した内容(移動量“Lx=310”、移動速度“Vx=249”)に基づいてマウスカーソルを移動させる。
FIG. 13B shows a state after the
校正部121は、続いてクリック指示信号を送信する。ここで、携帯端末装置2におけるマウスカーソルは、図13(b)に示す通り応答領域211に到達しているので、携帯端末装置2は当該クリック指示信号に対して所定のレスポンス信号を送信する。画像表示装置1はこの結果を受けて、マウスカーソルが応答領域211に到達したことを把握する。
Subsequently, the
校正部121は、移動量“Lx=310”を送信してマウスカーソルが表示部21の画面左端に到達したことを受けて、移動速度“Vx=249”に対する掛け率Aは“1.87”(580÷310)であると特定することができる。
When the
図14は、本発明の一実施形態における校正部の処理の経過を示す第三の図である。
校正部121は、二回目の「第一の特定処理」の結果、移動速度“Vx=249”に対応する掛け率Aが“1.87”であることを特定する(図14)。続いて校正部121は、二回目の「第二の特定処理」を実行し、掛け率Aについて“1.87”が適用される移動速度Vxの範囲(下限)を求める。FIG. 14 is a third diagram illustrating the progress of the processing of the calibration unit according to the embodiment of the present invention.
The
以降、校正部121は、図9から図14で説明した「第一の特定処理」及び「第二の特定処理」の内容を繰り返して実行し、携帯端末装置2にて設定されていた移動量掛け率情報テーブルの内容を全て特定する。なお、以上の説明は全てX軸方向についての移動量掛け率情報を特定する処理手続であったが、校正部121は、同様の処理手続に従って、Y軸方向についての移動量掛け率情報を特定する。
Thereafter, the
図15及び図16は、本発明の一実施形態における校正部及び携帯端末装置の処理フローを示す第一の図及び第二の図である。
以上に説明した画像表示装置1の校正部121及び携帯端末装置2の処理フローを、図15及び図16を参照して順を追って説明する。図15及び図16は、画像表示装置1に携帯端末装置2が有線接続されてからの処理フローを示している。15 and 16 are a first diagram and a second diagram illustrating a processing flow of the calibration unit and the mobile terminal device according to the embodiment of the present invention.
The processing flow of the
まず画像表示装置1は、携帯端末装置2から所定の接続信号を、有線通信部14を介して受信すると、携帯端末装置2との有線通信、無線通信を確立する(ステップS10)。画像表示装置1はこの段階で携帯端末装置2に関する情報、特に表示部21の縦横比、解像度情報などを取得しておく。次に、校正部121が無線通信部13を介して携帯端末装置2に向けて所定の校正用アプリケーション起動指示信号を送信する(ステップS11)。携帯端末装置2の制御部22は、当該校正用アプリケーション起動指示信号を受信すると、校正用アプリケーションプログラムを読み込んで起動させる(ステップS12)。携帯端末装置2の制御部22は、当該校正用アプリケーション機能の起動を完了すると、その旨を通知する(ステップS13)。
First, when receiving a predetermined connection signal from the mobile
校正部121は、当該校正用アプリケーション機能の起動完了通知を受けると校正処理を開始する。まず校正部121は「第一の特定処理」を開始する(ステップS14)。校正部121は、所定の値に設定したカーソル移動指示信号及びクリック指示信号を送信する(ステップS15)。ここで校正部121は、カーソル移動指示信号のうち移動速度Vを最大移動速度(例えばV=300)に設定しておく。
The
携帯端末装置2は、当該カーソル移動指示信号を受信すると、当該カーソル移動指示信号に基づいてマウスカーソルを移動させ、続いて受信するクリック指示信号に基づいてマウスのクリック操作を実行する(ステップS16)。しかし、移動したマウスカーソルの位置が非応答領域210に属している場合、携帯端末装置2は所定のレスポンス信号を送信しない(ステップS17(図9(a)に示す状態))。なお携帯端末装置2はステップS17にて、マウスカーソルの位置が非応答領域210に属していることを通知する信号を別途送信してもよい。
When receiving the cursor movement instruction signal, the mobile
校正部121は、クリック指示信号を送信後に携帯端末装置2から所定の期間レスポンス信号がないことを検知すると、携帯端末装置2におけるマウスカーソルを基準位置へ戻すためのカーソル移動指示信号を送信する(ステップS18)。携帯端末装置2は、ステップS18において送信されたカーソル移動指示信号を受信すると、当該カーソル移動指示信号に基づいてマウスカーソルを基準位置まで移動させる(ステップS19)。一方、校正部121は、携帯端末装置2から所定のレスポンス信号がないことを受け、カーソル移動指示信号における移動速度Vを固定させた状態で移動量Lを増加させ(ステップS20)、携帯端末装置2から所定のレスポンス信号を受信するまでステップS15〜ステップS20の処理を繰り返す。
When the
携帯端末装置2は、マウスカーソルが応答領域211に到達した段階でクリック指示信号を受信すると、レスポンス信号を通知する(ステップS21(図9(b)に示す状態))。校正部121は、当該レスポンス信号を受信すると、携帯端末装置2にて定められている移動量掛け率情報テーブルの掛け率Aを特定して、第一の特定処理を終了する(ステップS22)。
When the mobile
続いて画像表示装置1の校正部121は、「第二の特定処理」を開始する(図16のステップS23)。校正部121は、第二の特定処理において、まず、第一の特定処理に基づいたカーソル移動指示信号及びクリック指示信号を送信する(ステップS24)。校正部121は、カーソル移動指示信号のうち移動量Lを、第一の特定処理において最初にレスポンス信号を受信したときの値に設定しておく。また校正部121は、移動速度Vを、第一の特定処理において最初にレスポンス信号を受信したときの値から下げて設定する。
Subsequently, the
携帯端末装置2は、当該カーソル移動指示信号を受信すると、当該カーソル移動指示信号に基づいてマウスカーソルを移動させ、続いて受信するクリック指示信号に基づいてマウスのクリック操作を実行する(ステップS25)。しかし移動速度Vを下げても、移動したマウスカーソルの位置が未だ応答領域211に属している場合は、携帯端末装置2は所定のレスポンス信号を送信する(ステップS26(図11(a)に示す状態))。
When receiving the cursor movement instruction signal, the mobile
校正部121は、携帯端末装置2からのレスポンス信号があることを検知すると、携帯端末装置2におけるマウスカーソルを基準位置へ戻すためのカーソル移動指示信号を送信する(ステップS27)。携帯端末装置2は、ステップS27において送信されたカーソル移動指示信号を受信すると、当該カーソル移動指示信号に基づいてマウスカーソルを基準位置まで移動させる(ステップS28)。一方、校正部121は、携帯端末装置2からレスポンス信号があったことを受け、カーソル移動指示信号における移動量Lを固定させた状態で移動速度Vを減少させ(ステップS29)、携帯端末装置2から所定のレスポンス信号の受信がなくなるまでステップS24〜ステップS29の処理を繰り返す。
When the
携帯端末装置2は、マウスカーソルが応答領域211から外れた段階でクリック指示信号を受信すると、レスポンス信号を通知しない(ステップS30(図11(b)に示す状態))。校正部121は、当該レスポンス信号の受信がなかったことを検知して、第一の特定処理で特定した掛け率Aが適用される移動速度Vの下限を特定して、第二の特定処理を終了する(ステップS31)。そして、一回目の「第一の特定処理」及び「第二の特定処理」を完了すると、校正部121は次の段階の掛け率A及びその掛け率Aが適用される移動速度Vの範囲を特定すべく、二回目の「第一の特定処理」を開始する(ステップS32)。
If the mobile
図17は、本発明の一実施形態におけるカーソル操作情報生成部の動作を具体的に説明する図である。
次に、校正部121が上述した処理で特定した移動量掛け率情報に基づいて、カーソル操作情報生成部120が行う処理の例を説明する。まず、携帯端末装置2の表示部21における解像度が600×400であり、表示部21の縦横比に応じた画像表示装置1の表示部11における解像度が900×600であったとする(図17)。校正部121は既に校正処理を完了しているものとする。FIG. 17 is a diagram for specifically explaining the operation of the cursor operation information generation unit according to the embodiment of the present invention.
Next, an example of processing performed by the cursor operation
ここでタッチパネル10が表示部11上の座標(300、0)にタッチ操作を検出したとする(図17右)。するとカーソル操作情報生成部120は、携帯端末装置2の表示部21上で、当該タッチ検出箇所に対応する位置をクリックさせるためのカーソル移動指示信号を生成する。具体的には、カーソル操作情報生成部120は、表示部11と表示部21の縮尺である解像度比P(600/900=2/3)を考慮して、表示部11上の座標(300、0)に、当該解像度比P(2/3)を乗じた値(200、0)だけマウスカーソルを基準位置(0、0)から移動させればよい。
Here, it is assumed that the
そこでカーソル操作情報生成部120は、さらに移動速度Vxに応じた移動量Lxへの掛け率Aを考慮して移動量Lxを決定する。すなわち、カーソル操作情報生成部120は、自画像表示装置へのタッチ操作を即座に携帯端末装置2に反映させる必要があるため、携帯端末装置2におけるマウスカーソルを最速で座標(200、0)に移動させるようにカーソル移動指示信号を生成する。すなわちカーソル操作情報生成部120は、移動速度Vxを最大移動速度(例えば“300”)と設定する。
Therefore, the cursor operation
そしてカーソル操作情報生成部120は、校正部121が取得した移動量掛け率情報テーブルを参照し、当該最大移動速度に対応する掛け率A(例えば“2”)を取得する。そしてカーソル操作情報生成部120は、マウスカーソルを200だけ移動させるように(実効移動量LAが200となるように)掛け率“A=2”を考慮して移動量Lxを“100”に設定する。
Then, the cursor operation
以上より、カーソル操作情報生成部120が生成したカーソル移動指示信号の内容は、移動量“Lx=100”、移動速度“Vx=300”となる。携帯端末装置2は、カーソル移動指示信号を受信するとその内容に基づいて、基準位置(0、0)からマウスカーソルを移動させる。携帯端末装置2は、移動速度“Vx=300”に基づいて、移動量“Lx=100”に掛け率“2”を乗じて、実効移動量“LAx=200”に基づいてマウスカーソルをX軸方向に200移動させる(図17左)。
As described above, the contents of the cursor movement instruction signal generated by the cursor operation
すなわちカーソル操作情報生成部120は、生成すべきカーソル移動指示信号の移動量を、式(1)に基づいて決定する。
That is, the cursor operation
式(1)において、タッチ位置(X)とは、画像表示装置1のタッチパネル10が検出したタッチ位置(X座標の値)である。図17の例ではX=300となる。また、両表示部の解像度比(P)とは、画像表示装置1の表示部11に表示されている画像と携帯端末装置2の表示部21に表示されている画像の解像度比である。図17の例では、携帯端末装置2の表示部21における解像度が600×400であり、表示部21の縦横比に応じた画像表示装置1の表示部11における解像度が900×600であるから、P=2/3である。そして、適用される掛け率(A)とは、カーソル操作情報生成部120が送信しようとする移動速度Vxに応じた掛け率Aである。カーソル操作情報生成部120は、校正部121が予め取得している移動量掛け率情報テーブルを参照して当該掛け率Aを取得する。図17に示す例では、移動速度Vxが最大移動速度である“300”であるから、掛け率Aには“2”が適用される。
In Expression (1), the touch position (X) is a touch position (value of X coordinate) detected by the
カーソル操作情報生成部120は、以上の値を式(1)に当てはめて移動量Lxを得る。図17に示す例では、カーソル操作情報生成部120は移動量Lxとして“100”を得る。
The cursor operation
なお、ユーザが画像表示装置1に対しドラッグ操作を行った場合であっても、カーソル操作情報生成部120は、移動量掛け率情報テーブルを参照することで、タッチ操作の場合と同様に処理することができる。すなわちカーソル操作情報生成部120は、ドラッグ操作においてユーザが滑らせる指の速さに応じて様々な移動速度Vxを設定することとなるが、その都度、移動量掛け率情報テーブルから適用される掛け率Aを取得して、式(1)に当てはめればよい。
Even when the user performs a drag operation on the
以上説明した本実施形態の画像表示装置では、画像表示装置1から遠隔操作するための専用のアプリケーションプログラムを必要とせずに、画像表示装置1から携帯端末装置2を操作することが可能となり、また、操作性が向上する効果が得られる。なお画像表示装置1は校正処理のため、携帯端末装置2に校正用のアプリケーションプログラムをインストールする必要があるものの、当該校正用アプリケーションプログラムは校正処理の完了以降では動作しないため、画像表示装置1の操作性に影響を与えることはない。
In the image display device of the present embodiment described above, it becomes possible to operate the mobile
また、画像表示装置1が校正部121を備えており、画像表示装置1は、自動的な校正処理を実施する。このようにすることで、画像表示装置1は連携する携帯端末装置2の機種やユーザ設定、マウスの加速の違い等に関わらずユーザが意図した操作を携帯端末装置2へ反映させることができる。
Further, the
なお本実施形態における画像表示装置1は、上述したカーナビゲーションシステムとして用いられる態様に限定されるものではない。例えば画像表示装置1は、携帯端末装置2よりも大きい表示部を有する大画面テレビや、パソコン用ディスプレイ、タブレット型端末装置であって、携帯端末装置2のアプリケーション機能に基づく所定の情報処理システム(カーナビゲーションシステムの他、動画再生機やゲーム機等)として機能してもよい。一方、携帯端末装置2は、一般的なスマートフォンとして説明したが、本実施形態における携帯端末装置2は、例えば、スマートフォンよりも大きいサイズのタブレット型端末装置などであっても構わない。
In addition, the
なお、上述の画像表示装置1及び携帯端末装置2は、内部にコンピュータシステムを有している。そして、上述した画像表示装置1及び携帯端末装置2の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行し、上記処理が行われる。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM(Compact Disk Read Only Memory)または半導体メモリ等をいう。また、このコンピュータプログラムを通信回線経由でコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
Note that the
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は、上述した実施形態に記載の範囲に限定されるものではない。上記実施形態に多様な変更又は改良を加えることが可能であることが、当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in embodiment mentioned above. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
この出願は、2012年12月21日に出願された日本出願特願2012−279622号を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2012-279622 for which it applied on December 21, 2012, and takes in those the indications of all here.
本発明は、例えば、スマートフォン等の携帯端末装置を遠隔操作する用途に利用可能である。本発明を適用することで、遠隔操作用の専用のアプリケーションプログラムを必要とせずに、携帯端末装置を遠隔操作することが可能となり、また、操作性が向上する。 The present invention can be used for, for example, a remote operation of a mobile terminal device such as a smartphone. By applying the present invention, it becomes possible to remotely operate the portable terminal device without requiring a dedicated application program for remote operation, and the operability is improved.
1・・・画像表示装置
10、20・・・タッチパネル
100・・・タッチ検出部
11、21・・・表示部
210・・・非応答領域
211・・・応答領域
12、22・・・制御部
120・・・カーソル操作情報生成部
121・・・校正部
13、23・・・無線通信部
130・・・カーソル操作情報送信部
14、24・・・有線通信部
3・・・HDMIケーブルDESCRIPTION OF
本発明は、上述の課題を解決すべくなされたもので、携帯端末装置の表示画面に表示された画像を表示する画像表示手段と、自装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部と、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部と、前記カーソル移動指示信号及びクリック指示信号を、前記所定の通信方式により送信するカーソル操作情報送信部と、自装置の表示画面上においてタッチ操作で指定された位置と、前記携帯端末装置の表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、を各々が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部と、を備え、前記校正部は、前記カーソル操作情報送信部を介して、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返し、当該クリック指示信号に対する前記携帯端末装置からの所定のレスポンス信号の有無に基づいて、前記校正用情報を取得する画像表示装置である。 The present invention has been made to solve the above-described problems, and includes an image display means for displaying an image displayed on a display screen of a mobile terminal device, and a touch operation detection for detecting a touch operation on the display screen of the own device. A cursor operation information generation unit that generates a cursor movement instruction signal and a click instruction signal based on a predetermined communication method based on the touch operation, and the cursor movement instruction signal and the click instruction signal are transmitted to the predetermined communication Cursor operation information transmission unit to be transmitted by a method, a position designated by a touch operation on the display screen of the own device, and a position of the cursor moved based on the cursor movement instruction signal on the display screen of the mobile terminal device When, and a correction unit, each of which obtains the calibration information for the same relative position with respect to the image to display the previous The calibration unit repeats the transmission of the cursor movement instruction signal and the transmission of the click instruction signal following the transmission of the cursor movement instruction signal through the cursor operation information transmission unit a plurality of times, and The image display device acquires the calibration information based on the presence or absence of a predetermined response signal from the terminal device .
また本発明は、携帯端末装置の表示画面に表示された画像を他の表示画面に表示する画像表示ステップと、当該画像を表示する前記他の表示画面上においてタッチされた位置と、前記携帯端末装置の前記表示画面上において所定のカーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ前記他の表示画面に表示される前記画像および前記携帯端末装置の前記表示画面に表示される前記画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正ステップと、前記他の表示画面上におけるタッチ操作を検出するタッチ操作検出ステップと、前記タッチ操作に基づいて、前記カーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成ステップと、前記カーソル移動指示信号及び前記クリック指示信号を、所定の通信方式に従って送信するカーソル操作情報送信ステップと、を有し、前記校正ステップにおいて、前記カーソル操作情報送信ステップを介して、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返し、当該クリック指示信号に対する前記携帯端末装置からの所定のレスポンス信号の有無に基づいて、前記校正用情報を取得する画像表示装置制御方法である。 The present invention also provides an image display step for displaying an image displayed on a display screen of a mobile terminal device on another display screen, a position touched on the other display screen for displaying the image, and the mobile terminal. The position of the cursor moved based on a predetermined cursor movement instruction signal on the display screen of the device is displayed on the image displayed on the other display screen and the display screen of the mobile terminal device, respectively. Based on the touch operation , a calibration step for acquiring calibration information for setting the same position relative to the image, a touch operation detection step for detecting a touch operation on the other display screen, and the touch operation , a cursor operation information generating step of generating said cursor movement instruction signal and the click instruction signal, the cursor movement instruction signal and said clip An instruction signal, anda cursor operation information transmitting step of transmitting in accordance with a predetermined communication method, in the calibration step, through the cursor operation information transmitting step, the transmission of the cursor movement instruction signal, and the cursor movement instruction An image display device control method for acquiring the calibration information based on the presence or absence of a predetermined response signal from the mobile terminal device to the click instruction signal by repeating transmission of the click instruction signal following signal transmission a plurality of times. is there.
また本発明は、携帯端末装置の表示画面に表示された画像を表示する画像表示装置のコンピュータを、自装置の表示画面上におけるタッチ操作を検出するタッチ操作検出手段、当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成手段、前記カーソル移動指示信号及びクリック指示信号を、前記所定の通信方式により送信するカーソル操作情報送信手段、自装置の表示画面上においてタッチ操作で指定された位置と、前記携帯端末装置の表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、を各々が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正手段、として機能させ、前記校正部は、前記カーソル操作情報送信部を介して、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返し、当該クリック指示信号に対する前記携帯端末装置からの所定のレスポンス信号の有無に基づいて、前記校正用情報を取得するプログラムである。 Further, the present invention provides a computer of an image display device that displays an image displayed on a display screen of a mobile terminal device, a touch operation detection unit that detects a touch operation on the display screen of the device itself, based on the touch operation. Cursor operation information generating means for generating a cursor movement instruction signal and a click instruction signal conforming to a predetermined communication method, a cursor operation information transmitting means for transmitting the cursor movement instruction signal and the click instruction signal by the predetermined communication method, The position designated by the touch operation on the display screen of the device and the position of the cursor moved based on the cursor movement instruction signal on the display screen of the mobile terminal device, based on the images respectively displayed calibration means for acquiring calibration information for the same relative position, to function as, the calibration unit, Through the cursor operation information transmission unit, the transmission of the cursor movement instruction signal and the transmission of the click instruction signal following the transmission of the cursor movement instruction signal are repeated a plurality of times, and the mobile terminal device responds to the click instruction signal. It is a program for acquiring the calibration information based on the presence or absence of a predetermined response signal .
Claims (10)
自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部と、
当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部と、
前記カーソル移動指示信号及び前記クリック指示信号を、前記所定の通信方式に従って送信するカーソル操作情報送信部と、
自画像表示装置の前記表示画面上において前記タッチ操作で指定された位置と、前記携帯端末装置の前記表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ自画像表示装置および前記携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部と、
を備える画像表示装置。An image display unit for displaying an image displayed on the display screen of the mobile terminal device;
A touch operation detection unit that detects a touch operation on the display screen of the self-image display device;
Based on the touch operation, a cursor operation information generation unit that generates a cursor movement instruction signal and a click instruction signal conforming to a predetermined communication method;
A cursor operation information transmission unit for transmitting the cursor movement instruction signal and the click instruction signal according to the predetermined communication method;
The position designated by the touch operation on the display screen of the self-image display device and the position of the cursor moved based on the cursor movement instruction signal on the display screen of the mobile terminal device, respectively. And a calibration unit for obtaining calibration information for relatively setting the same position with reference to the image displayed by the mobile terminal device;
An image display device comprising:
前記カーソル操作情報送信部を介して、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返し、当該クリック指示信号に対する前記携帯端末装置からの所定のレスポンス信号の有無に基づいて、前記校正用情報を取得する
請求項1に記載の画像表示装置。The calibration unit is
Via the cursor operation information transmission unit, the transmission of the cursor movement instruction signal and the transmission of the click instruction signal following the transmission of the cursor movement instruction signal are repeated a plurality of times, and the mobile terminal device responds to the click instruction signal from the portable terminal device. The image display device according to claim 1, wherein the calibration information is acquired based on presence or absence of a predetermined response signal.
移動量と移動速度の二つの情報の組み合わせであり、
前記校正部は、
前記携帯端末装置において定められた固有の情報であって、前記移動速度に応じて適用される前記移動量への掛け率を定めた移動量掛け率情報を特定することで前記校正用情報を取得する
請求項2に記載の画像表示装置。The cursor movement instruction signal is
It is a combination of two types of information: movement amount and movement speed.
The calibration unit is
Acquiring the calibration information by specifying movement amount multiplying rate information that is specific information determined in the mobile terminal device and that determines a multiplying rate to be applied to the moving amount according to the moving speed The image display device according to claim 2.
前記移動速度を固定させた状態で前記移動量を所定量ずつ変化させながら、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返す第一の特定処理と、
前記移動量を固定させた状態で前記移動速度を所定量ずつ変化させながら、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返す第二の特定処理と、をそれぞれ複数回行う
請求項3に記載の画像表示装置。The calibration unit is
First, the transmission of the cursor movement instruction signal and the transmission of the click instruction signal following the transmission of the cursor movement instruction signal are repeated a plurality of times while changing the movement amount by a predetermined amount with the movement speed fixed. Specific processing of
The transmission of the cursor movement instruction signal and the transmission of the click instruction signal following the transmission of the cursor movement instruction signal are repeated a plurality of times while changing the movement speed by a predetermined amount with the movement amount fixed. The image display device according to claim 3, wherein the specific processing is performed a plurality of times.
前記第一の特定処理の過程において前記レスポンス信号を受信した場合には、当該レスポンス信号を受信した時点における移動量に基づいて前記掛け率を特定するとともに、前記第二の特定処理を開始し、
前記第二の特定処理の過程において前記レスポンス信号を受信しなくなった場合には、当該レスポンス信号を受信しなくなった時点における移動速度に基づいて、前記第一の特定処理にて特定した前記掛け率が適用される移動速度の範囲を特定する
請求項4に記載の画像表示装置。The calibration unit is
When the response signal is received in the course of the first specific process, the multiplication rate is specified based on the movement amount at the time when the response signal is received, and the second specific process is started.
If the response signal is no longer received in the course of the second specific process, the multiplication rate specified in the first specific process is based on the moving speed at the time when the response signal is no longer received. The image display apparatus according to claim 4, wherein a range of a moving speed to which is applied is specified.
前記移動量を、一回の送信当たりに送信する分割移動量に分割し、当該分割移動量を移動速度として前記カーソル移動指示信号を生成し、
前記カーソル操作情報送信部は、
当該分割移動量を一回の送信ごとに複数回に分けて送信することで、前記移動量及び前記移動速度の情報を送信する
請求項3から請求項5の何れか一項に記載の画像表示装置。The cursor operation information generation unit
The movement amount is divided into divided movement amounts to be transmitted per transmission, and the cursor movement instruction signal is generated using the divided movement amount as a movement speed,
The cursor operation information transmission unit
The image display according to any one of claims 3 to 5, wherein the information on the movement amount and the movement speed is transmitted by transmitting the divided movement amount in a plurality of times for each transmission. apparatus.
所定の通信方式に準拠したカーソル移動指示信号を受信して、当該カーソル移動指示信号に基づいて、自携帯端末装置の前記表示画面上においてカーソルを移動させる制御部を備え、
前記制御部はさらに、
自携帯端末装置の前記表示画面上の一部に所定の応答領域を設定し、前記カーソルが当該応答領域内にあった場合において、前記画像表示装置から所定のクリック指示信号を受信した場合には、所定のレスポンス信号を送信する
携帯端末装置。An image display device that displays an image displayed on the display screen of the mobile terminal device, and a mobile terminal device that performs a predetermined calibration process,
A control unit that receives a cursor movement instruction signal compliant with a predetermined communication method and moves the cursor on the display screen of the portable terminal device based on the cursor movement instruction signal;
The control unit further includes:
When a predetermined response area is set on a part of the display screen of the portable terminal device, and the cursor is in the response area, when a predetermined click instruction signal is received from the image display apparatus A portable terminal device that transmits a predetermined response signal.
前記画像表示装置と、所定の校正処理を行う携帯端末装置と、
を備える情報処理システムであって、
前記画像表示装置は、
自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部と、
当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部と、
前記カーソル移動指示信号及び前記クリック指示信号を、前記所定の通信方式に従って送信するカーソル操作情報送信部と、
自画像表示装置の前記表示画面上において前記タッチ操作で指定された位置と、前記携帯端末装置の前記表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ前記画像表示装置および前記携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部と、
を備え、
前記校正部はさらに、
前記カーソル操作情報送信部を介して、前記カーソル移動指示信号の送信、及び前記カーソル移動指示信号の送信に続く前記クリック指示信号の送信を複数回繰り返し、当該クリック指示信号に対する前記携帯端末装置からの所定のレスポンス信号の有無に基づいて、前記校正用情報を取得し、
前記携帯端末装置は、
前記カーソル移動指示信号を受信して、当該カーソル移動指示信号に基づいて、前記携帯端末装置の前記表示画面上において前記カーソルを移動させる制御部を備え、
前記制御部はさらに、
前記携帯端末装置の前記表示画面上の一部に所定の応答領域を設定し、前記カーソルが当該応答領域内にあった場合において、前記クリック指示信号を受信した場合には、前記レスポンス信号を送信する
情報処理システム。An image display device for displaying an image displayed on the display screen of the mobile terminal device;
The image display device, a portable terminal device for performing a predetermined calibration process,
An information processing system comprising:
The image display device includes:
A touch operation detection unit that detects a touch operation on the display screen of the self-image display device;
Based on the touch operation, a cursor operation information generation unit that generates a cursor movement instruction signal and a click instruction signal conforming to a predetermined communication method;
A cursor operation information transmission unit for transmitting the cursor movement instruction signal and the click instruction signal according to the predetermined communication method;
The position specified by the touch operation on the display screen of the self-image display device and the position of the cursor moved based on the cursor movement instruction signal on the display screen of the mobile terminal device are displayed on the image, respectively. A calibration unit for acquiring calibration information for relatively setting the same position with reference to an image displayed by the device and the mobile terminal device;
With
The calibration unit further includes
Via the cursor operation information transmission unit, the transmission of the cursor movement instruction signal and the transmission of the click instruction signal following the transmission of the cursor movement instruction signal are repeated a plurality of times, and the mobile terminal device responds to the click instruction signal from the portable terminal device. Based on the presence or absence of a predetermined response signal, obtain the calibration information,
The portable terminal device
A control unit that receives the cursor movement instruction signal and moves the cursor on the display screen of the mobile terminal device based on the cursor movement instruction signal;
The control unit further includes:
A predetermined response area is set on a part of the display screen of the mobile terminal device, and the response signal is transmitted when the click instruction signal is received when the cursor is in the response area Information processing system.
当該画像を表示する前記他の表示画面上においてタッチされた位置と、前記携帯端末装置の前記表示画面上において所定のカーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ前記他の表示画面に表示される前記画像および前記携帯端末装置の前記表示画面に表示される前記画像を基準にして相対的に同一の位置とするための校正用情報を取得し、
前記他の表示画面上におけるタッチ操作を検出し、
前記タッチ操作に基づいて、前記カーソル移動指示信号及びクリック指示信号を生成し、
前記カーソル移動指示信号及び前記クリック指示信号を、所定の通信方式に従って送信する
画像表示装置制御方法。Display the image displayed on the display screen of the mobile terminal device on another display screen,
The position touched on the other display screen displaying the image and the position of the cursor moved based on a predetermined cursor movement instruction signal on the display screen of the mobile terminal device, respectively, Obtaining calibration information for making the position relatively the same with reference to the image displayed on the display screen and the image displayed on the display screen of the mobile terminal device;
Detecting a touch operation on the other display screen;
Based on the touch operation, the cursor movement instruction signal and the click instruction signal are generated,
An image display apparatus control method for transmitting the cursor movement instruction signal and the click instruction signal according to a predetermined communication method.
自画像表示装置の表示画面上におけるタッチ操作を検出するタッチ操作検出部、
当該タッチ操作に基づいて、所定の通信方式に準拠したカーソル移動指示信号及びクリック指示信号を生成するカーソル操作情報生成部、
前記カーソル移動指示信号及び前記クリック指示信号を、前記所定の通信方式に従って送信するカーソル操作情報送信部、
自画像表示装置の前記表示画面上において前記タッチ操作で指定された位置と、前記携帯端末装置の前記表示画面上において前記カーソル移動指示信号に基づいて移動させたカーソルの位置と、をそれぞれ自画像表示装置および前記携帯端末装置が表示する画像を基準にして相対的に同一の位置とするための校正用情報を取得する校正部、
として機能させるプログラム。A computer of an image display device that displays an image displayed on the display screen of the mobile terminal device,
A touch operation detection unit for detecting a touch operation on the display screen of the self-image display device;
A cursor operation information generation unit that generates a cursor movement instruction signal and a click instruction signal based on a predetermined communication method based on the touch operation,
A cursor operation information transmitting unit for transmitting the cursor movement instruction signal and the click instruction signal according to the predetermined communication method;
The position designated by the touch operation on the display screen of the self-image display device and the position of the cursor moved based on the cursor movement instruction signal on the display screen of the mobile terminal device, respectively. And a calibration unit that acquires calibration information for relatively setting the same position with reference to the image displayed by the mobile terminal device,
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014553194A JP5871080B2 (en) | 2012-12-21 | 2013-12-19 | Image display device, portable terminal device, information processing system, image display device control method, and program |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012279622 | 2012-12-21 | ||
JP2012279622 | 2012-12-21 | ||
PCT/JP2013/084005 WO2014098164A1 (en) | 2012-12-21 | 2013-12-19 | Image display device, mobile terminal device, information processing system, control method for image display device and program |
JP2014553194A JP5871080B2 (en) | 2012-12-21 | 2013-12-19 | Image display device, portable terminal device, information processing system, image display device control method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5871080B2 JP5871080B2 (en) | 2016-03-01 |
JPWO2014098164A1 true JPWO2014098164A1 (en) | 2017-01-12 |
Family
ID=50978484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014553194A Active JP5871080B2 (en) | 2012-12-21 | 2013-12-19 | Image display device, portable terminal device, information processing system, image display device control method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5871080B2 (en) |
WO (1) | WO2014098164A1 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110470A (en) * | 2014-12-09 | 2016-06-20 | 株式会社Will Smart | Electronic apparatus coordination system |
CN104503722B (en) * | 2014-12-19 | 2017-11-10 | 广东欧珀移动通信有限公司 | The method, device and mobile terminal of compatible display screen |
CN104731457A (en) * | 2015-03-31 | 2015-06-24 | 北京极简时代软件科技有限公司 | Clock display method and device for mobile terminal |
CN105373307A (en) * | 2015-10-12 | 2016-03-02 | 广东欧珀移动通信有限公司 | Picture control method and device |
CN105867736A (en) * | 2016-03-29 | 2016-08-17 | 努比亚技术有限公司 | Multi-level interface screenshot device and method |
JP7022899B2 (en) * | 2016-12-27 | 2022-02-21 | パナソニックIpマネジメント株式会社 | Electronic devices, input control methods, and programs |
CN114546145B (en) * | 2020-11-24 | 2024-03-01 | 明基智能科技(上海)有限公司 | Cursor control method and touch display device applying cursor control method |
TWI739673B (en) * | 2020-11-24 | 2021-09-11 | 明基電通股份有限公司 | Touch-sensing display apparatus and cursor controlling methode of its touch pannel |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012221487A (en) * | 2012-02-02 | 2012-11-12 | Pioneer Electronic Corp | Ambient condition detection system of mobile body |
JP2012253736A (en) * | 2011-05-06 | 2012-12-20 | Denso Corp | Vehicle display device and information display system |
JP2013254435A (en) * | 2012-06-08 | 2013-12-19 | Clarion Co Ltd | Display device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009122870A (en) * | 2007-11-13 | 2009-06-04 | Sharp Corp | Cursor control device, cursor control system, and control method for cursor control device |
JP2012177998A (en) * | 2011-02-25 | 2012-09-13 | Panasonic Corp | On-vehicle terminal device |
-
2013
- 2013-12-19 WO PCT/JP2013/084005 patent/WO2014098164A1/en active Application Filing
- 2013-12-19 JP JP2014553194A patent/JP5871080B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012253736A (en) * | 2011-05-06 | 2012-12-20 | Denso Corp | Vehicle display device and information display system |
JP2012221487A (en) * | 2012-02-02 | 2012-11-12 | Pioneer Electronic Corp | Ambient condition detection system of mobile body |
JP2013254435A (en) * | 2012-06-08 | 2013-12-19 | Clarion Co Ltd | Display device |
Also Published As
Publication number | Publication date |
---|---|
JP5871080B2 (en) | 2016-03-01 |
WO2014098164A1 (en) | 2014-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5871080B2 (en) | Image display device, portable terminal device, information processing system, image display device control method, and program | |
US10656895B2 (en) | System for linking and controlling terminals and user terminal used in the same | |
US10948950B2 (en) | Information processing device, table, display control method, program, portable terminal, and information processing system | |
US9632642B2 (en) | Terminal apparatus and associated methodology for automated scroll based on moving speed | |
US8847978B2 (en) | Information processing apparatus, information processing method, and information processing program | |
US10802663B2 (en) | Information processing apparatus, information processing method, and information processing system | |
US8542199B2 (en) | Image processing apparatus, image processing method, and program | |
JP6032286B2 (en) | In-vehicle device, portable terminal control method and program | |
CN101751286A (en) | Intuitive file transfer method | |
US10013156B2 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
US9582094B2 (en) | Information processing device, display device with touch panel, information processing method, and program | |
WO2020098605A1 (en) | Method and apparatus for displaying menu, device, and storage medium | |
JP5384706B2 (en) | Multi-touch operation method and system | |
US20140035816A1 (en) | Portable apparatus | |
JP6411067B2 (en) | Information processing apparatus and input method | |
JP6722239B2 (en) | Information processing device, input method, and program | |
JP2014160416A (en) | Browsing system and program | |
US10983608B2 (en) | System and method of annotation of a shared display using a mobile device | |
JP2020013472A (en) | Image output device, control method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5871080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |