JP5801282B2 - Electronic device, operation support method, and program - Google Patents
Electronic device, operation support method, and program Download PDFInfo
- Publication number
- JP5801282B2 JP5801282B2 JP2012285602A JP2012285602A JP5801282B2 JP 5801282 B2 JP5801282 B2 JP 5801282B2 JP 2012285602 A JP2012285602 A JP 2012285602A JP 2012285602 A JP2012285602 A JP 2012285602A JP 5801282 B2 JP5801282 B2 JP 5801282B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- display
- image
- main screen
- touch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明の実施形態は、タッチスクリーンディスプレイを備える電子機器、並びに該機器に適用される操作支援方法及びプログラムに関する。 Embodiments described herein relate generally to an electronic device including a touch screen display, and an operation support method and program applied to the device.
ディスプレイの画面をタッチすることによって、該ディスプレイに表示された画像内のオブジェクトを直感的に操作できるタッチスクリーンディスプレイが普及している。ユーザは、例えば、ディスプレイに表示されたアイコン、ボタン、スクロールバー、画像、ウィンドウ等のオブジェクトをタッチすることによって、タッチしたオブジェクトに関連付けられた機能を実行することができる。このようなタッチスクリーンディスプレイは、例えば、携帯型ゲーム機、スマートフォン、タブレット型パーソナルコンピュータ（ＰＣ）等で利用されている。 2. Description of the Related Art Touch screen displays that can intuitively operate objects in an image displayed on the display by touching the screen of the display have become widespread. The user can execute a function associated with the touched object by touching an object such as an icon, a button, a scroll bar, an image, or a window displayed on the display. Such touch screen displays are used in, for example, portable game machines, smartphones, tablet personal computers (PCs), and the like.
また、会議場や講義室のような広い場所に集まった聴衆が視認でき、且つ発表者（ユーザ）が直感的に操作できる大型のタッチスクリーンディスプレイを実現することもできる。そのような大型のタッチスクリーンディスプレイでは、タッチスクリーンディスプレイの上部に手が届かないことや、タッチスクリーンディスプレイの左端や右端に移動しなければならないことによって、タッチ操作のための労力を要する可能性がある。そのため、タッチスクリーンディスプレイに表示されている所定の領域の画像を縮小し、縮小した画像をタッチスクリーンディスプレイ内の別の小画面領域に表示し、この小画面領域へのタッチ操作を当該所定の領域に対するタッチ操作に置き換えることにより、タッチスクリーンディスプレイを操作する技術が提案されている。これにより、ユーザは、大型のタッチスクリーンディスプレイを利用するときに、ユーザが現在操作している位置から離れた位置に表示されている対象を容易に操作することができる。 In addition, it is possible to realize a large touch screen display in which an audience gathered in a wide place such as a conference hall or a lecture room can be visually recognized and can be operated intuitively by a presenter (user). Such a large touch screen display may require effort for touch operations by not reaching the top of the touch screen display or having to move to the left or right edge of the touch screen display. is there. Therefore, an image of a predetermined area displayed on the touch screen display is reduced, the reduced image is displayed on another small screen area in the touch screen display, and a touch operation on the small screen area is performed on the predetermined area. There has been proposed a technique for operating a touch screen display by replacing it with a touch operation on. Thereby, when using a large-sized touch screen display, the user can easily operate an object displayed at a position away from the position where the user is currently operating.
ところで、コンピュータに、タッチパネルを備える第１ディスプレイと、タッチパネルが設けられていない第２ディスプレイとが接続されることがある。その場合、コンピュータは、第１ディスプレイと第２ディスプレイとに同時に同じ映像を表示すること（クローン表示）や、第１ディスプレイと第２ディスプレイとに同時に異なる映像を表示すること（拡張表示）ができる。拡張表示では、ユーザは、複数のディスプレイをあたかも一つのディスプレイとして利用することができる。 By the way, the 1st display provided with a touch panel and the 2nd display without the touch panel may be connected to a computer. In that case, the computer can simultaneously display the same image on the first display and the second display (clone display), or can display different images on the first display and the second display simultaneously (extended display). . In the extended display, the user can use a plurality of displays as if they were one display.
しかし、第１ディスプレイ（タッチスクリーンディスプレイ）では、画面に表示されたオブジェクトを、タッチパネルを用いて直感的に操作できる一方、第２ディスプレイでは、タッチパネルを用いた直感的な操作を行うことができない。 However, on the first display (touch screen display), an object displayed on the screen can be intuitively operated using the touch panel, while on the second display, an intuitive operation using the touch panel cannot be performed.
本発明は、タッチパネルを備える第１ディスプレイと、タッチパネルが設けられていない第２ディスプレイとが接続されたとき、第１ディスプレイに設けられたタッチパネルを用いた第２ディスプレイの操作を支援できる電子機器、操作支援方法及びプログラムを提供することを目的とする。 The present invention provides an electronic device capable of supporting the operation of a second display using the touch panel provided on the first display when the first display including the touch panel and the second display without the touch panel are connected, An object is to provide an operation support method and program.
実施形態によれば、電子機器は、タッチスクリーンディスプレイと操作画面切替手段と入力制御手段と表示制御手段とを具備する。操作画面切替手段は、前記電子機器と外部ディスプレイとが接続されている場合、前記タッチスクリーンディスプレイ上での画面と前記外部ディスプレイ上での画面のいずれか一方を、前記タッチスクリーンディスプレイへの入力操作の対象とする操作対象画面に設定する。入力制御手段は、前記外部ディスプレイ上での画面が前記操作対象画面に設定されている場合、前記タッチスクリーンディスプレイへの入力操作によって前記タッチスクリーンディスプレイ上での画面内の第１座標が指示されたとき、前記第１座標を前記外部ディスプレイ上での画面内の第２座標に変換し、前記第２座標が指示されたことを示すイベントを発行する。表示制御手段は、前記外部ディスプレイ上での画面が前記操作対象画面に設定されている場合、前記外部ディスプレイ上での画面に表示されている第２画像を前記タッチスクリーンディスプレイ上での画面のサイズに基づいて変更することによって第１画像を生成し、前記生成された第１画像を前記タッチスクリーンディスプレイ上での画面に表示させる。 According to the embodiment, the electronic device includes a touch screen display, an operation screen switching unit, an input control unit, and a display control unit. When the electronic device and the external display are connected, the operation screen switching unit is configured to input an operation to the touch screen display for either one of the screen on the touch screen display or the screen on the external display. Set to the operation target screen that is the target of. When the screen on the external display is set as the operation target screen, the input control means is directed to the first coordinate in the screen on the touch screen display by an input operation to the touch screen display. When the first coordinate is converted into a second coordinate in the screen on the external display, an event indicating that the second coordinate is designated is issued. When the screen on the external display is set as the operation target screen, the display control means displays the second image displayed on the screen on the external display as the screen size on the touch screen display. A first image is generated based on the change, and the generated first image is displayed on the screen on the touch screen display.
以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばタブレットタイプのパーソナルコンピュータ（ＰＣ）１０として実現される。また、この電子機器は、スマートフォン、ＰＤＡ、ノートブックタイプのＰＣ等としても実現され得る。図１に示すように、本コンピュータ１０は、コンピュータ本体１１とタッチスクリーンディスプレイ１７とから構成される。
Hereinafter, embodiments will be described with reference to the drawings.
FIG. 1 is a perspective view illustrating an external appearance of an electronic apparatus according to an embodiment. This electronic device is realized as, for example, a tablet-type personal computer (PC) 10. The electronic device can also be realized as a smartphone, a PDA, a notebook type PC, or the like. As shown in FIG. 1, the
コンピュータ本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、ＬＣＤ（liquid crystal display）１７Ａ及びタッチパネル１７Ｂが組み込まれている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面を覆うように設けられる。タッチスクリーンディスプレイ１７は、コンピュータ本体１１の上面に重ね合わせるように取り付けられている。
The computer
コンピュータ本体１１の上側面には、本コンピュータ１０を電源オン／電源オフするためのパワーボタン、音量調節ボタン、メモリカードスロット等が配置されている。コンピュータ本体１１の下側面には、スピーカ等が配置されている。コンピュータ本体の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１３、ＨＤＭＩ（high-definition multimedia interface）規格に対応した外部ディスプレイ接続端子２等が設けられている。この外部ディスプレイ接続端子２は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
On the upper side of the computer
図２は、本コンピュータ１０のシステム構成を示す図である。
本コンピュータ１０は、図２に示されるように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスコントローラ１０５、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール１１０、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ（ＥＣ）１１３、ＥＥＰＲＯＭ１１４、ＨＤＭＩ制御回路３等を備える。
FIG. 2 is a diagram showing a system configuration of the
As shown in FIG. 2, the
ＣＰＵ１０１は、コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、操作支援プログラム２０２、各種アプリケーションプログラム等を実行する。操作支援プログラム２０２は、タッチスクリーンディスプレイ１７を用いた入力操作を支援するための操作支援機能を有する。操作支援プログラム２０２は、タッチスクリーンディスプレイ１７に設けられたタッチパネル１７Ｂを用いて、タッチスクリーンディスプレイ１７に設けられたＬＣＤ１７Ａに表示された画面だけでなく、例えば、ＨＤＭＩ端子２を介して接続された外部ディスプレイ装置１に表示された画面も操作できるように、タッチパネル１７Ｂを用いた入力を制御する。
The
例えば、外部ディスプレイ装置１がコンピュータ１０に接続されていないとき、タッチパネル１７Ｂを用いた操作によって、ＬＣＤ１７Ａに表示された画面が操作される。そして、例えば、外部ディスプレイ装置１がコンピュータ１０に接続されているとき、操作支援プログラム２０２は、タッチパネル１７Ｂを用いた操作によって、ＬＣＤ１７Ａに表示された画面と外部ディスプレイ装置１に表示された画面のいずれか一方が操作されるように制御する。そのため、タッチパネル１７Ｂを用いて外部ディスプレイ装置１に表示された画面を操作する場合、操作支援プログラム２０２は、タッチパネル１７Ｂ上のタッチ入力（操作）を、外部ディスプレイ装置１に表示された画面上の操作に変換する。
For example, when the
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
The
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０５との通信を実行する機能も有している。
The
グラフィクスコントローラ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０５によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて映像を表示する。
The
ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルで外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。つまり、コンピュータ１０は、ＨＤＭＩ端子２等を介して、外部ディスプレイ装置１に接続可能である。
The
サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。
The
サウスブリッジ１０４は、タッチパネル１７Ｂを制御するためのＵＳＢコントローラを内蔵している。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うためのポインティングデバイスである。ユーザは、タッチパネル１７Ｂを用いて、ＬＣＤ１７Ａの画面に表示されたグラフィカルユーザインタフェース（ＧＵＩ）等を操作することができる。例えば、ユーザは、画面に表示されたボタンをタッチすることによって、当該ボタンに対応する機能の実行を指示することができる。また、このＵＳＢコントローラは、例えば、ＵＳＢコネクタ１３に接続されたＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。
The
さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ１０８は、例えばＩＥＥＥ ８０２．３規格の有線通信を実行する有線通信デバイスである。無線ＬＡＮコントローラ１１２は、例えばＩＥＥＥ ８０２．１１ｇ規格の無線通信を実行する無線通信デバイスである。Ｂｌｕｅｔｏｏｔｈモジュール１１０は、外部機器とのＢｌｕｅｔｏｏｔｈ通信を実行する通信モジュールである。
Further, the
ＥＣ１１３は、電力管理のためのエンベデッドコントローラを含む１チップマイクロコンピュータである。ＥＣ１１３は、ユーザによるパワーボタンの操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。
The
なお、コンピュータ１０は、タッチパネルを有さないディスプレイを内蔵し、タッチパネルとディスプレイとを備えるタッチスクリーンディスプレイを外部接続する構成であってもよい。また、コンピュータ１０は、タッチパネルとディスプレイとを備えるタッチスクリーンディスプレイと、タッチパネルを有さないディスプレイとを外部接続する構成であってもよい。
The
次いで、図３を参照して、操作支援プログラム２０２の一機能構成を説明する。操作支援プログラム２０２は、タッチスクリーンディスプレイ１７に設けられたタッチパネル１７Ｂを用いて、タッチスクリーンディスプレイ１７に設けられたＬＣＤ１７Ａに表示された画面だけでなく、例えば、ＨＤＭＩ端子２を介して接続された外部ディスプレイ装置１に表示された画面も操作できるように、タッチパネル１７Ｂを用いた入力を制御する。ＬＣＤ１７Ａの画面と外部ディスプレイ装置１の画面とには、それぞれ、アイコン、ボタン、スクロールバー、画像、テキスト、ウィンドウ等の各種のオブジェクトが表示されている。このオブジェクトは、ユーザによる操作の対象であるＧＵＩである。操作支援プログラム２０２は、操作画面切替部３０、表示制御部３１及び入力制御部３２を備える。
Next, a functional configuration of the
操作画面切替部３０は、コンピュータ１０に、タッチスクリーンディスプレイ１７と１以上のディスプレイとが接続されているときに（すなわち、コンピュータ１０が、タッチスクリーンディスプレイ１７と１以上のディスプレイとを利用可能であるときに）、タッチスクリーンディスプレイ１７に設けられたタッチパネル１７Ｂを用いて操作する対象のディスプレイ（以下、操作対象画面、メイン画面とも称する）を切り替える。操作画面切替部３０は、例えば、ユーザによる所定の操作に応じて、操作対象画面を切り替える。操作画面切替部３０は、例えば、操作支援プログラム２０２が起動されたとき、外部ディスプレイ装置１がコンピュータ１０に接続されたとき等に、外部ディスプレイ装置１の画面を操作対象であるメイン画面に設定し、ＬＣＤ１７Ａの画面を操作対象でない画面（以下、非メイン画面とも称する）に設定する。また、操作画面切替部３０は、例えば、操作支援プログラム２０２が終了したとき、外部ディスプレイ装置１がコンピュータ１０から切断されたとき等に、ＬＣＤ１７Ａの画面をメイン画面に設定し、外部ディスプレイ装置１の画面を非メイン画面に設定する。
The operation
タッチパネル１７Ｂを用いたタッチ入力は、メイン画面に作用するように制御される。すなわち、ＬＣＤ１７Ａの画面がメイン画面に設定され、外部ディスプレイ装置１の画面が非メイン画面に設定されたとき、タッチパネル１７Ｂを用いたタッチ入力に応じて、メイン画面であるＬＣＤ１７Ａの画面が操作される。タッチパネル１７ＢによるＬＣＤ１７Ａの画面の操作は、例えば、タッチスクリーンディスプレイ１７の通常の動作によって実現され得る。また、外部ディスプレイ装置１の画面がメイン画面に設定され、ＬＣＤ１７Ａの画面が非メイン画面に設定されたとき、タッチパネル１７Ｂを用いたタッチ入力に応じて、メイン画面である外部ディスプレイ装置１の画面が操作される。タッチパネル１７Ｂによる外部ディスプレイ装置１の画面の操作は、後述する表示制御部３１と入力制御部３２とによって実現される。
Touch input using the touch panel 17B is controlled to act on the main screen. That is, when the screen of the
操作画面切替部３０は、外部ディスプレイ装置１の画面がメイン画面に設定され、ＬＣＤ１７Ａの画面が非メイン画面に設定されたとき、表示制御部３１（表示イベント検出部３１１）に、外部ディスプレイ装置１の画面がメイン画面に設定されたことを通知する。
When the screen of the
表示制御部３１は、タッチスクリーンディスプレイ１７に設けられたＬＣＤ１７Ａに表示される画像を制御する。表示制御部３１は、表示イベント検出部３１１、画面画像キャプチャ部３１２、画面情報検出部３１３、操作画像生成部３１４、及び操作画像表示部３１５を備える。
The
表示イベント検出部３１１は、操作画面切替部３０によって外部ディスプレイ装置１の画面がメイン画面に設定されたことを示す通知を受けた場合、メイン画面に表示されている画面画像（例えば、デスクトップ画面の画像）を非メイン画面に表示するための表示イベントを検出する。表示イベントは、メイン画面の画面画像を非メイン画面に表示するためのイベントだけでなく、非メイン画面に既に表示されている、メイン画面の画面画像を更新するためのイベントも含む。したがって、表示イベント検出部３１１は、例えば、所定の操作が行われたこと（例えば、所定のボタンが押されたこと）、メイン画面に表示されている画面画像が更新されたこと等を表示イベントとして検出する。表示イベント検出部３１１によって表示イベントが検出されたとき、メイン画面に表示されている画面画像が非メイン画面に表示される。
表示イベント検出部３１１は、表示イベントが検出された場合、表示イベントが検出されたことを画面画像キャプチャ部３１２と画面情報検出部３１３とに通知する。
When the operation
When a display event is detected, the display
画面画像キャプチャ部３１２は、表示イベント検出部３１１による通知に応じて、画面に描画されている画像をキャプチャする。キャプチャされた画像は、例えば、外部ディスプレイ装置１の画面に描画されている画像（メイン画面画像とも云う）と、ＬＣＤ１７Ａの画面に描画されている画像（非メイン画面画像とも云う）とを含む。画面画像キャプチャ部３１２は、キャプチャされた画像を操作画像生成部３１４に出力する。
The screen
また、画面情報検出部３１３は、表示イベント検出部３１１による通知に応じて、メイン画面の画面サイズ（ＬＸ，ＬＹ）と非メイン画面の画面サイズ（ｌｘ，ｌｙ）とを検出する。画面情報検出部３１３は、例えば、ＯＳ２０１によって検出されている、外部ディスプレイ装置１（メイン画面）の画面サイズやＬＣＤ１７Ａ（非メイン画面）の画面サイズ等を示す画面情報を用いて、メイン画面の画面サイズ（ＬＸ，ＬＹ）と非メイン画面の画面サイズ（ｌｘ，ｌｙ）とを検出する。画面サイズは、例えばピクセル単位で表される画面の幅と高さとを示す。画面情報検出部３１３は、検出されたメイン画面の画面サイズ（ＬＸ，ＬＹ）と非メイン画面の画面サイズ（ｌｘ，ｌｙ）とを操作画像生成部３１４に出力する。
Further, the screen
操作画像生成部３１４は、画面画像キャプチャ部３１２によって出力されたキャプチャ画像を用いて、メイン画面画像と非メイン画面画像とを切り出す。そして、操作画像生成部３１４は、画面情報検出部３１３によって出力されたメイン画面の画面サイズ（ＬＸ，ＬＹ）と非メイン画面の画面サイズ（ｌｘ，ｌｙ）とを用いて、メイン画面画像のサイズ（ＬＸ，ＬＹ）を、非メイン画面であるＬＣＤ１７Ａの画面サイズ（ｌｘ，ｌｙ）に応じて変更することにより、メイン画面を操作するための操作画像を生成する。例えば、メイン画面の画面サイズ（ＬＸ，ＬＹ）が非メイン画面の画面サイズ（ｌｘ，ｌｙ）よりも大きい場合、メイン画面画像をサイズ（ｌｘ，ｌｙ）に縮小した操作画像を生成する。また、メイン画面の画面サイズ（ＬＸ，ＬＹ）が非メイン画面の画面サイズ（ｌｘ，ｌｙ）よりも小さい場合、メイン画面画像をサイズ（ｌｘ，ｌｙ）に拡大した操作画像を生成する。したがって、非メイン画面上の座標（ｘ，ｙ）とメイン画面画像上の座標（Ｘ，Ｙ）との対応は次式によって算出される。
ｘ＝（ｌｘ／ＬＸ）×Ｘ
ｙ＝（ｌｙ／ＬＹ）×Ｙ
操作画像生成部３１４は、伸縮されたメイン画面画像（操作画像）を操作画像表示部３１５に出力する。なお、メイン画面画像は、非メイン画面の画面サイズに限らず、非メイン画面に表示可能なサイズ（すなわち、非メイン画面の画面サイズよりも小さいサイズ）に伸縮されてもよい。
The operation
x = (lx / LX) × X
y = (ly / LY) × Y
The operation
操作画像表示部３１５は、操作画像生成部３１４によって出力された、伸縮されたメイン画面画像を非メイン画面であるＬＣＤ１７Ａの画面に表示する。操作画像表示部３１５は、メイン画面画像を、例えば所定の透過度で非メイン画面に重畳して描画する。メイン画面画像が透過して表示されることにより、ユーザは、非メイン画面に既に表示されている画像と、メイン画面を操作するために新たに表示されたメイン画面画像とを区別して視認できるので、タッチ入力等の操作を容易に行うことができる。なお、非メイン画面に表示されるメイン画面画像が、非メイン画面の画面サイズよりも小さいとき、操作画像表示部３１５は、メイン画面画像を透過せずに非メイン画面に表示してもよい。また、操作画像表示部３１５は、メイン画面画像が非メイン画面に既に表示されているとき（すなわち、メイン画面画像を更新するためのイベントが起きているとき）、操作画像生成部３１４によって出力されたメイン画面画像を用いて、非メイン画面に表示されているメイン画面画像を更新する。操作画像表示部３１５は、非メイン画面にメイン画面画像が表示されたこと（又は、非メイン画面に表示されている画面画像が更新されたこと）を、入力制御部３２（タッチ入力検出部３２１）に通知する。
The operation
なお、表示イベント検出部３１１は、さらに、メイン画面画像の一部を拡大して表示するための表示イベントを検出してもよい。表示イベント検出部３１１は、例えば、非メイン画面に表示されているメイン画面画像がタッチされたことを表示イベントとして検出する。そして、表示イベント検出部３１１は、そのタッチされた位置を示す座標情報を操作画像生成部３１４に出力する。
Note that the display
操作画像生成部３１４は、表示イベント検出部３１１によって出力された座標情報を用いて、メイン画面画像から、その座標情報で示される位置を含む所定の領域を切り出す。そして、操作画像生成部３１４は、切り出された画像を非メイン画面のサイズに応じて伸縮する。具体的には、例えば、表示イベント検出部３１１によって出力された座標情報が、メイン画面画像に含まれる１以上のウィンドウの内の第１ウィンドウ内の位置であるとき、操作画像生成部３１４は、メイン画面画像から、第１ウィンドウを含む画像（領域）を切り出す。切り出される画像は、例えば、第１ウィンドウを含み、且つ非メイン画面と同様のアスペクト比を有する領域に対応する。操作画像生成部３１４は、切り出された画像を、非メイン画面のサイズに応じて伸縮する。操作画像生成部３１４は、伸縮された画像を操作画像表示部３１５に出力する。そして、操作画像表示部３１５は、伸縮された画像を用いて、非メイン画面に表示されている画面画像を更新する。
The operation
次いで、入力制御部３２は、外部ディスプレイ装置１の画面がメイン画面（タッチパネル１７Ｂによる操作対象の画面）に設定され、ＬＣＤ１７Ａの画面が非メイン画面に設定されているとき、非メイン画面に表示されたメイン画面画像に対する、タッチパネル１７Ｂを用いたタッチ入力が、メイン画面に作用するように制御する。入力制御部３２は、タッチ入力検出部３２１、座標変換部３２２及び入力イベント生成部３２３を備える。
Next, the
タッチ入力検出部３２１は、タッチパネル１７Ｂを用いたタッチ入力を検出する。このタッチ入力は、タッチパネル１７Ｂを触れる操作を示し、タップ入力、ドラッグ入力、フリック入力等を含み、また複数の箇所が同時に触れられるマルチタッチ入力も含む。タッチ入力検出部３２１は、非メイン画面（すなわち、タッチパネル１７Ｂ）上のタッチ入力座標（ｘ，ｙ）を検出する。そして、タッチ入力検出部３２１は、検出された非メイン画面上のタッチ入力座標（ｘ，ｙ）を座標変換部３２２に出力する。
The touch
座標変換部３２２は、タッチ入力検出部３２１によって検出されたタッチ入力座標（ｘ，ｙ）を、メイン画面（外部ディスプレイ装置１）上の座標（Ｘ，Ｙ）に変換する。座標変換部３２２は、例えば、以下の式を用いて、タッチ入力座標（ｘ，ｙ）に対応するメイン画面上の座標（Ｘ，Ｙ）を算出する。
Ｘ＝（ＬＸ／ｌｘ）×ｘ
Ｙ＝（ＬＹ／ｌｙ）×ｙ
なお、上述のように、（ＬＸ，ＬＹ）はメイン画面のサイズを示し、（ｌｘ，ｌｙ）は非メイン画面のサイズを示す。座標変換部３２２は、算出されたメイン画面上の座標（Ｘ，Ｙ）をイベント生成部３２３に出力する。
The coordinate
X = (LX / lx) × x
Y = (LY / ly) × y
As described above, (LX, LY) indicates the size of the main screen, and (lx, ly) indicates the size of the non-main screen. The coordinate
入力イベント生成部３２３は、座標変換部３２２によって出力されたメイン画面上の座標（Ｘ，Ｙ）を用いて、座標（Ｘ，Ｙ）がタッチされたことを示すイベントを発行する。コンピュータ１０によって実行されるＯＳ２０１や各種のプログラムは、発行されたイベントに応じて、当該イベントに対応する処理を実行する。これにより、非メイン画面（タッチパネル１７Ｂ）上でのタッチ入力が、メイン画面上でのタッチ入力に置き換えられ、メイン画面に作用する。例えば、発行されたイベントに示される座標（Ｘ，Ｙ）が、メイン画面上に表示されたボタン内の位置を示す場合、そのボタンに関連付けられた機能が実行される。また、例えば、発行されたイベントに示される座標（Ｘ，Ｙ）が、メイン画面上に表示されたウィンドウ内の位置を示す場合、そのウィンドウがアクティブな状態に設定される。
The input
以上の構成により、タッチパネル１７ＢとＬＣＤ１７Ａとを備えるタッチスクリーンディスプレイ１７と、タッチパネルが設けられていない外部ディスプレイ装置１とが接続されたとき、タッチスクリーンディスプレイ１７に設けられたタッチパネル１７Ｂを用いて外部ディスプレイ装置１に表示されたオブジェクトを容易に操作できる。つまり、タッチスクリーンディスプレイ１７に設けられたタッチパネル１７Ｂを用いた操作を、ＬＣＤ１７Ａと外部ディスプレイ装置１のいずれか一方に作用させることができる。また、外部ディスプレイ装置１が操作対象画面（メイン画面）に設定されているとき、外部ディスプレイ装置１に表示されている画面の画像をタッチスクリーンディスプレイ１７（ＬＣＤ１７Ａ）に表示することによって、タッチパネル１７Ｂを用いて外部ディスプレイ装置１の操作を直感的に行うことができる。
With the above configuration, when the
図４から図７は、本実施形態のコンピュータ１０によって表示される画面の例を示す。図４から図７に示す例では、コンピュータ１０に、タッチスクリーンディスプレイ１７が内蔵され、外部ディスプレイ装置１が接続されることを想定する。また、操作画面切替部３０によって、外部ディスプレイ装置１が、タッチパネル１７Ｂによって操作されるメイン画面（操作対象画面）４２に設定され、タッチスクリーンディスプレイ１７に設けられたＬＣＤ１７Ａが、タッチパネル１７Ｂによって操作されない非メイン画面４１に設定されることを想定する。つまり、タッチパネル１７Ｂによる入力は、非メイン画面４１であるＬＣＤ１７Ａではなく、メイン画面４２（外部ディスプレイ装置１）を操作するために用いられる。
4 to 7 show examples of screens displayed by the
図４に示す例では、メイン画面４２にウィンドウ４２１，４２２，４２３，４２４が表示されている。ユーザは、メイン画面４２上で指示したい点４２Ａに対応する、非メイン画面４１（タッチパネル１７Ｂ）上の点４１Ａをタッチすることにより、メイン画面４２に対するタッチ入力を行う。ユーザは、例えば、メイン画面４２を参照しながら、メイン画面４２上の点４２Ａが相対的に対応する非メイン画面４１上の点４１Ａをタッチする。
In the example shown in FIG. 4,
ユーザが、非メイン画面４１上の点４１Ａをタッチした場合、点４１Ａに対するタッチ入力は、メイン画面４２上の点４２Ａに対するタッチ入力に置き換えられる。具体的には、非メイン画面４１上の点４１Ａの座標が、メイン画面４２上の座標（点４２Ａ）に変換される。そして、点４１Ａに対するタッチ入力は、メイン画面４２上の点４２Ａに対するタッチ入力として作用する。これによりユーザは、タッチパネル１７Ｂを用いて、外部ディスプレイ装置１であるメイン画面４２を操作することができる。具体的には、例えば、ユーザが非メイン画面４１上の点４１Ａをタッチした場合、この点４１Ａに対応する、メイン画面４２上の点４２Ａを含むウィンドウ４２１がアクティブな状態に設定される。
When the user touches the
しかし、メイン画面４２を参照しながら非メイン画面４１上で操作を行うので、メイン画面４２上の指示したい点に対応しない、非メイン画面４１上の点をタッチしてしまう等、タッチミスが生じることがある。つまり、ユーザがタッチしている対象は、タッチスクリーンディスプレイ１７（すなわち、コンピュータ１０本体側）であるが、システムによって制御される対象は外部ディスプレイ装置１の画面となるので、ユーザの感覚に基づく相対的な操作が求められ、ボタンの押しミス等が発生する可能性がある。例えば、メイン画面４２上に複数の細かいオブジェクト（ボタン等）が表示されている場合には、メイン画面４２上の指示したい点に対応する、非メイン画面４１上の点を正確に指示することは難しい。また、例えば、タッチしたいボタンとは異なるボタンがタッチされ、意図しない処理が実行されてしまう可能性がある。
However, since the operation is performed on the
そのため、図５に示す例のように、所定の操作に応じて、メイン画面４２に表示されている画面画像に対応する画像が非メイン画面４３に表示される。これによりユーザは、メイン画面４２自体を見ることなく、タッチパネル１７Ｂを用いて（すなわち、非メイン画面４３を見て）メイン画面４２に対する操作を行うことができる。つまり、ユーザは、相対的な操作ではなく、直接的な操作を行うことができるようになるので、ボタンの押しミスのような誤操作が防止され、ユーザによる操作性を向上させることができる。
Therefore, as in the example shown in FIG. 5, an image corresponding to the screen image displayed on the
図５に示す例では、図４に示した例と同様に、メイン画面４２にウィンドウ４２１，４２２，４２３，４２４が表示されている。そして、非メイン画面４３には、メイン画面４２の画面画像が伸縮された画像が所定の透過度で表示されている。したがって、非メイン画面４３に表示された画像に含まれるウィンドウ４３１，４３２，４３３，４３４は、メイン画面４２に表示されたウィンドウ４２１，４２２，４２３，４２４にそれぞれ対応する。ユーザは、メイン画面４２上で指示したい点４２Ｂに対応する、非メイン画面４３（タッチパネル１７Ｂ）上の点４３Ａをタッチすることにより、メイン画面４２に対するタッチ入力を行う。したがってユーザは、非メイン画面４３に表示された、メイン画面４２の画面画像が縮小された画像を見て、メイン画面４２自体を見ることなく、メイン画面４２を直感的に操作することができる。
In the example illustrated in FIG. 5,
ユーザが、非メイン画面４３上の点４３Ａをタッチした場合、点４３Ａに対するタッチ入力は、メイン画面４２上の点４２Ｂに対するタッチ入力に置き換えられる。具体的には、非メイン画面４３上の点４３Ａの座標が、メイン画面４２上の座標（点４２Ｂ）に変換される。そして、点４３Ａに対するタッチ入力は、メイン画面４２上の点４２Ｂに対するタッチ入力として作用する。例えば、ユーザが、非メイン画面４３上の点４３Ａをタッチした場合、この点４３Ａに対応する、メイン画面４２上の点４２Ｂを含むウィンドウ４２１がアクティブな状態に設定される。
When the user touches the
また、図６に示す例では、図４に示した例と同様に、メイン画面４２にウィンドウ４２１，４２２，４２３，４２４が表示されている。そして、例えば、図５に示した非メイン画面４３上でウィンドウ４２１内の位置を指示する操作（タッチ入力）が行われたことに応じて、非メイン画面４４には、メイン画面画像の一部が拡大された画像が所定の透過度で描画される。この操作は、例えば、ウィンドウ４２１をアクティブな状態に設定するための操作である。図６の非メイン画面４４には、操作されたウィンドウ４２１に対応するウィンドウ４４１を主に含む領域が拡大された画像が描画されている。非メイン画面４４に表示された画像に含まれるウィンドウ４４１，４４２，４４４は、メイン画面４２に表示されたウィンドウ４２１，４２２，４２４にそれぞれ対応している。
In the example shown in FIG. 6,
ユーザは、メイン画面４２上で指示したい点４２Ｃに対応する、非メイン画面４４（タッチパネル１７Ｂ）上の点４４Ａをタッチすることにより、メイン画面４２に対するタッチ入力を行う。ユーザは、非メイン画面４４に表示された、メイン画面画像の一部が拡大された画像を見ることにより、メイン画面４２を見ることなく、メイン画面４２を操作することができる。また、メイン画面画像の一部が拡大された画像を用いることにより、画面画像内の細かいオブジェクト等を容易に操作することができる。
The user performs touch input on the
ユーザが、非メイン画面４４上の点４４Ａをタッチした場合、点４４Ａに対するタッチ入力は、メイン画面４２上の点４２Ｃに対するタッチ入力に置き換えられる。具体的には、非メイン画面４４上の点４４Ａの座標が、メイン画面４２上の座標（点４２Ｃ）に変換される。そして、点４４Ａに対するタッチ入力は、メイン画面４２上の点４２Ｃに対するタッチ入力として作用する。例えば、ユーザが、非メイン画面４４上のボタン４４５をタッチしたことに応じて、このボタン４４５に対応する、メイン画面４２上のボタン４２５に関連付けられた機能（処理）が実行される。
When the user touches the
次いで、図７は、メイン画面４２に表示された画面画像が、非メイン画面４１に表示される際の画面遷移の例を示す。ここで、タッチスクリーンディスプレイ１７を内蔵するコンピュータ１０は、起動ボタン（ハードウェアボタン）５１を備えることを想定する。この起動ボタン５１は、メイン画面４２に表示された画面画像を非メイン画面４１に表示することを指示するためのボタンである。この起動ボタン５１が押されたことは、表示イベント検出部３１１によって、メイン画面４２に表示されている画面画像を非メイン画面４１に表示するための表示イベントとして検出される。
Next, FIG. 7 shows an example of screen transition when the screen image displayed on the
図４を参照して説明したように、ユーザは、メイン画面４２上で指示したい点４２Ａに対応する、非メイン画面４１（タッチパネル１７Ｂ）上の点４１Ａをタッチすることにより、メイン画面４２に対するタッチ入力を行う。これによりユーザは、タッチパネル１７Ｂを用いて、外部ディスプレイ装置１であるメイン画面４２を操作することができる。
As described with reference to FIG. 4, the user touches the
そして、起動ボタン５１を指５２等で押すことによって、図５を参照して説明したように、非メイン画面４３に、メイン画面４２に表示されている画面画像が描画される。これによりユーザは、タッチパネル１７Ｂ（非メイン画面４３）を用いて、メイン画面４２を見ることなく、メイン画面４２を直感的に操作することができる。
Then, by pressing the
次いで、図８に示すフローチャートを参照して、電子機器１０によって実行される画面画像表示制御処理の手順の例について説明する。なお、ここでは、処理の開始時に、タッチスクリーンディスプレイ１７に設けられたＬＣＤ１７Ａが、タッチパネル１７Ｂによる操作対象画面（メイン画面）に設定されていることを想定する。
Next, an example of the procedure of the screen image display control process executed by the
まず、操作画面切替部３０は、操作対象画面（メイン画面）を外部ディスプレイ装置１に切り替えるか否かを判定する（ブロックＢ１０１）。操作画面切替部３０は、例えば、ユーザによる所定の操作が検出されたとき、操作対象画面を切り替える。例えば、操作支援プログラム２０２が起動されたこと、外部ディスプレイ装置１がコンピュータ１０に接続されたこと等に応じて、操作対象画面がＬＣＤ１７Ａから外部ディスプレイ装置１に切り替えられる。操作対象画面が外部ディスプレイ装置１に切り替えられない場合（ブロックＢ１０１のＮＯ）、ブロックＢ１０１に戻り、再度、操作対象画面を外部ディスプレイ装置１に切り替えるか否かが判定される。操作対象画面が外部ディスプレイ装置１に切り替えられる場合（ブロックＢ１０１のＹＥＳ）、操作画面切替部３０は、外部ディスプレイ装置１を操作対象画面に設定する（ブロックＢ１０２）。また、操作画面切替部３０は、ＬＣＤ１７Ａを操作対象でない画面（非メイン画面）に設定する。
First, the operation
次いで、表示イベント検出部３１１は、操作対象画面の操作を支援するための操作画像をＬＣＤ１７Ａに表示するか否かを判定する（ブロックＢ１０３）。例えば、操作画像をＬＣＤ１７Ａに表示するためのボタン５１が押されたことが検出されたとき、操作画像がＬＣＤ１７Ａに表示される。操作画像をＬＣＤ１７Ａに表示しない場合（ブロックＢ１０３のＮＯ）、表示イベント検出部３１１は、ブロックＢ１０３に戻り、再度、操作画像をＬＣＤ１７Ａ表示するか否かを判定する。
Next, the display
操作画像をＬＣＤ１７Ａに表示する場合（ブロックＢ１０３のＹＥＳ）、画面情報検出部３１３は、操作対象画面（メイン画面）である外部ディスプレイ装置１の画面サイズ（ＬＸ，ＬＹ）を検出する（ブロックＢ１０４）。そして、画面情報検出部３１３は、非メイン画面であるＬＣＤ１７Ａの画面サイズ（ｌｘ，ｌｙ）を検出する（ブロックＢ１０５）。
When the operation image is displayed on the
次いで、画面画像キャプチャ部３１２は、画面に描画されている画像をキャプチャする（ブロックＢ１０６）。キャプチャされた画像は、例えば、外部ディスプレイ装置１の画面に描画されている画像（メイン画面画像）と、ＬＣＤ１７Ａの画面に描画されている画像（非メイン画面画像）とを含む。操作画像生成部３１４は、キャプチャされた画像から、メイン画面画像と非メイン画面画像とを切り出す（ブロックＢ１０７）。そして、操作画像生成部３１４は、メイン画面画像を、非メイン画面であるＬＣＤ１７Ａの画面サイズ（ｌｘ，ｌｙ）に応じて伸縮する（ブロックＢ１０８）。例えば、メイン画面の画面サイズ（ＬＸ，ＬＹ）が非メイン画面１７Ａの画面サイズ（ｌｘ，ｌｙ）よりも大きい場合、メイン画面画像をサイズ（ｌｘ，ｌｙ）に縮小する。また、メイン画面の画面サイズ（ＬＸ，ＬＹ）が非メイン画面１７Ａの画面サイズ（ｌｘ，ｌｙ）よりも小さい場合、メイン画面画像をサイズ（ｌｘ，ｌｙ）に拡大する。そして、操作画像表示部３１５は、伸縮されたメイン画面画像（操作画像）を非メイン画面であるＬＣＤ１７Ａの画面に透過して描画する（ブロックＢ１０９）。
Next, the screen
次いで、表示イベント検出部３１１は、メイン画面に描画されている画像が更新されたか否かを判定する（ブロックＢ１１０）。メイン画面に描画されている画像は、例えば、ユーザによる操作や各種のイベントが発生することによって更新される。メイン画面に描画されている画像が更新されている場合（ブロックＢ１１０のＹＥＳ）、ブロックＢ１０６からブロックＢ１０９までの処理が実行されることによって、非メイン画面に描画されているメイン画面画像が更新される。
Next, the display
メイン画面に描画されている画像が更新されていない場合（ブロックＢ１１０のＮＯ）、表示イベント検出部３１１は、操作画像の描画を終了するか否かを判定する（ブロックＢ１１１）。表示イベント検出部３１１は、例えば、外部ディスプレイ装置１の画面が非メイン画面に切り替えられるとき、又は外部ディスプレイ装置１とコンピュータ１０との間の接続が解除（切断）されたとき、操作画像の描画を終了する。
When the image drawn on the main screen has not been updated (NO in block B110), the display
操作画像の描画を終了しない場合（ブロックＢ１１１のＮＯ）、ブロックＢ１１０に戻り、再度、メイン画面が更新されたか否かが判定される。一方、操作画像の描画を終了する場合（ブロックＢ１１１のＹＥＳ）、操作画像表示部３１５は、操作画像の描画を終了する（ブロックＢ１１２）。
When the drawing of the operation image is not completed (NO in block B111), the process returns to block B110, and it is determined again whether or not the main screen has been updated. On the other hand, when drawing of the operation image ends (YES in block B111), the operation
また、図９は、コンピュータ１０によって実行されるタッチ入力制御処理の手順の例を示す。以下では、外部ディスプレイ装置１の画面がメイン画面に設定され、タッチスクリーンディスプレイ１７（ＬＣＤ１７Ａ）の画面が非メイン画面に設定されていることを想定する。また、非メイン画面には、メイン画面に表示されている画面の画像が表示されていることを想定する。
FIG. 9 shows an example of the procedure of touch input control processing executed by the
まず、タッチ入力検出部３２１は、タッチパネル１７Ｂを用いたタッチ入力が検出されたか否かを判定する（ブロックＢ２１）。このタッチ入力は、タッチパネル１７Ｂに触れる操作を示し、ドラッグ入力、フリック入力等も含む。タッチ入力が検出されていない場合（ブロックＢ２１のＮＯ）、ブロックＢ２１に戻り、再度、タッチ入力が検出されたか否かが判定される。
First, the touch
タッチ入力が検出された場合（ブロックＢ２１のＹＥＳ）、タッチ入力検出部３２１は、非メイン画面（すなわち、タッチパネル１７Ｂ）上のタッチ入力座標（ｘ，ｙ）を検出する（ブロックＢ２２）。そして、座標変換部３２２は、検出されたタッチ入力座標（ｘ，ｙ）を、メイン画面（外部ディスプレイ装置１）上の座標（Ｘ，Ｙ）に変換する（ブロックＢ２３）。
When touch input is detected (YES in block B21), the touch
次いで、入力イベント生成部３２３は、メイン画面上の座標（Ｘ，Ｙ）がタッチされたことを示すイベントを発行する（ブロックＢ２４）。コンピュータ１０によって実行されるＯＳ２０１や各種のプログラムは、発行されたイベントに応じて、当該イベントに対応する処理を実行する。例えば、イベントに示される座標（Ｘ，Ｙ）が、メイン画面上に表示されたボタン内を示す座標である場合、そのボタンに関連付けられた機能が実行される。また、例えば、イベントに示される座標（Ｘ，Ｙ）が、メイン画面上に表示されたウィンドウ内を示す座標である場合、そのウィンドウがアクティブな状態に設定される。
Next, the input
以上の画面画像表示制御処理及びタッチ入力制御処理により、タッチスクリーンディスプレイ１７に設けられたＬＣＤ１７Ａと外部ディスプレイ装置１のいずれか一方が、タッチスクリーンディスプレイ１７に設けられたタッチパネル１７Ｂを用いた入力によって操作される操作対象画面に設定される。これにより、タッチパネル１７Ｂを用いて、ＬＣＤ１７に表示された画面だけでなく、外部ディスプレイ装置１に表示された画面も操作することができる。また、外部ディスプレイ装置１が操作対象画面に設定されている場合、所定の操作に応じて、外部ディスプレイ装置１の画面画像がＬＣＤ１７Ａの画面に表示される。その場合、タッチパネル１７Ｂ上でのタッチ入力を外部ディスプレイ装置１上でのタッチ入力に置き換え、タッチパネル１７Ｂを用いたタッチ入力によって、外部ディスプレイ装置１に表示されたオブジェクトを直感的に操作することができる。
Through the above screen image display control process and touch input control process, either the
以上説明したように、本実施形態によれば、タッチパネルを備える第１ディスプレイ（タッチスクリーンディスプレイ１７）と、タッチパネルが設けられていない第２ディスプレイ（外部ディスプレイ装置１）とが接続されたとき、第１ディスプレイに設けられたタッチパネルを用いた第２ディスプレイの操作を支援することができる。つまり、第１ディスプレイに設けられたタッチパネルを用いた操作を、第２ディスプレイに作用させることができる。また、第２ディスプレイが操作対象画面に設定されたとき、第２ディスプレイに表示されている画像に対応する画像が第１ディスプレイに表示される。これにより、タッチパネルを用いて第２ディスプレイの操作を直感的に行うことができる。 As described above, according to the present embodiment, when the first display having the touch panel (touch screen display 17) and the second display without the touch panel (external display device 1) are connected, The operation of the second display using the touch panel provided on the one display can be supported. That is, an operation using the touch panel provided on the first display can be applied to the second display. When the second display is set as the operation target screen, an image corresponding to the image displayed on the second display is displayed on the first display. Thereby, operation of a 2nd display can be performed intuitively using a touch panel.
なお、本実施形態の画面画像表示制御処理及びタッチ入力制御処理の手順は全てソフトウェアによって実行することができる。このため、画面画像表示制御処理及びタッチ入力制御処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。 Note that the procedures of the screen image display control process and the touch input control process of this embodiment can all be executed by software. For this reason, it is the same as that of this embodiment only by installing and executing this program on a normal computer through a computer-readable storage medium storing a program for executing the procedure of the screen image display control process and the touch input control process. The effect can be easily realized.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
２０２…操作支援プログラム、３０…操作画面切替部、３１…表示制御部、３２…入力制御部、３１１…表示イベント検出部、３１２…画面画像キャプチャ部、３１３…画面情報検出部、３１４…操作画像生成部、３１５…操作画像表示部、３２１…タッチ入力検出部、３２２…座標変換部、３２３…入力イベント生成部。 202 ... Operation support program, 30 ... Operation screen switching unit, 31 ... Display control unit, 32 ... Input control unit, 311 ... Display event detection unit, 312 ... Screen image capture unit, 313 ... Screen information detection unit, 314 ... Operation image Generation unit, 315, operation image display unit, 321, touch input detection unit, 322, coordinate conversion unit, 323, input event generation unit.
Claims (6)
タッチスクリーンディスプレイと、
前記電子機器と外部ディスプレイとが接続されている場合、前記タッチスクリーンディスプレイ上での画面と前記外部ディスプレイ上での画面のいずれか一方を、前記タッチスクリーンディスプレイへの入力操作の対象とする操作対象画面に設定する操作画面切替手段と、
前記外部ディスプレイ上での画面が前記操作対象画面に設定されている場合、前記タッチスクリーンディスプレイへの入力操作によって前記タッチスクリーンディスプレイ上での画面内の第１座標が指示されたとき、前記第１座標を前記外部ディスプレイ上での画面内の第２座標に変換し、前記第２座標が指示されたことを示すイベントを発行する入力制御手段と、
前記外部ディスプレイ上での画面が前記操作対象画面に設定されている場合、前記外部ディスプレイ上での画面に表示されている第２画像を前記タッチスクリーンディスプレイ上での画面のサイズに基づいて変更することによって第１画像を生成し、前記生成された第１画像を前記タッチスクリーンディスプレイ上での画面に表示させる表示制御手段と、
を具備する電子機器。 Electronic equipment,
Touch screen display,
When the electronic device and an external display are connected, an operation target that targets one of the screen on the touch screen display and the screen on the external display as an input operation to the touch screen display Operation screen switching means to be set on the screen;
When the screen on the external display is set as the operation target screen, the first coordinate in the screen on the touch screen display is instructed by an input operation to the touch screen display. Input control means for converting the coordinates to second coordinates in the screen on the external display and issuing an event indicating that the second coordinates are indicated;
When the screen on the external display is set as the operation target screen, the second image displayed on the screen on the external display is changed based on the size of the screen on the touch screen display. Display control means for generating a first image and displaying the generated first image on a screen on the touch screen display;
An electronic device comprising:
前記表示制御手段は、前記１以上のウィンドウの内の、第１ウィンドウ内の位置が指示されたとき、当該第１ウィンドウを拡大し、前記拡大された第１ウィンドウを前記タッチスクリーンディスプレイ上での画面に表示させる請求項１記載の電子機器。 The second image includes one or more windows;
The display control means enlarges the first window when the position in the first window of the one or more windows is instructed, and displays the enlarged first window on the touch screen display. The electronic device according to claim 1, which is displayed on a screen.
前記電子機器と外部ディスプレイとが接続されている場合、前記タッチスクリーンディスプレイ上での画面と前記外部ディスプレイ上での画面のいずれか一方を、前記タッチスクリーンディスプレイへの入力操作の対象とする操作対象画面に設定し、
前記外部ディスプレイ上での画面が前記操作対象画面に設定されている場合、前記タッチスクリーンディスプレイへの入力操作によって前記タッチスクリーンディスプレイ上での画面内の第１座標が指示されたとき、前記第１座標を前記外部ディスプレイ上での画面内の第２座標に変換し、前記第２座標が指示されたことを示すイベントを発行し、
前記外部ディスプレイ上での画面が前記操作対象画面に設定されている場合、前記外部ディスプレイ上での画面に表示されている第２画像を前記タッチスクリーンディスプレイ上での画面のサイズに基づいて変更することによって第１画像を生成し、前記生成された第１画像を前記タッチスクリーンディスプレイ上での画面に表示させる操作支援方法。 An operation support method for supporting an operation on an electronic device having a touch screen display,
When the electronic device and an external display are connected, an operation target that targets one of the screen on the touch screen display and the screen on the external display as an input operation to the touch screen display Set to screen,
When the screen on the external display is set as the operation target screen, the first coordinate in the screen on the touch screen display is instructed by an input operation to the touch screen display. Converting the coordinates to second coordinates in the screen on the external display, and issuing an event indicating that the second coordinates are indicated;
When the screen on the external display is set as the operation target screen, the second image displayed on the screen on the external display is changed based on the size of the screen on the touch screen display. An operation support method for generating a first image and displaying the generated first image on a screen on the touch screen display.
前記コンピュータと外部ディスプレイとが接続されている場合、前記タッチスクリーンディスプレイ上での画面と前記外部ディスプレイ上での画面のいずれか一方を、前記タッチスクリーンディスプレイへの入力操作の対象とする操作対象画面に設定する手順と、 前記外部ディスプレイ上での画面が前記操作対象画面に設定されている場合、前記タッチスクリーンディスプレイへの入力操作によって前記タッチスクリーンディスプレイ上での画面内の第１座標が指示されたとき、前記第１座標を前記外部ディスプレイ上での画面内の第２座標に変換し、前記第２座標が指示されたことを示すイベントを発行する手順と、
前記外部ディスプレイ上での画面が前記操作対象画面に設定されている場合、前記外部ディスプレイ上での画面に表示されている第２画像を前記タッチスクリーンディスプレイ上での画面のサイズに基づいて変更することによって第１画像を生成し、前記生成された第１画像を前記タッチスクリーンディスプレイ上での画面に表示させる手順とを前記コンピュータに実行させるプログラム。 A program for supporting operations on a computer having a touch screen display,
When the computer and an external display are connected, an operation target screen that targets one of the screen on the touch screen display and the screen on the external display as an input operation to the touch screen display When the screen on the external display is set as the operation target screen, the first coordinate in the screen on the touch screen display is indicated by the input operation to the touch screen display. A procedure for converting the first coordinates into second coordinates in the screen on the external display and issuing an event indicating that the second coordinates are indicated;
When the screen on the external display is set as the operation target screen, the second image displayed on the screen on the external display is changed based on the size of the screen on the touch screen display. A program for causing the computer to execute a procedure for generating a first image and displaying the generated first image on a screen on the touch screen display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012285602A JP5801282B2 (en) | 2012-12-27 | 2012-12-27 | Electronic device, operation support method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012285602A JP5801282B2 (en) | 2012-12-27 | 2012-12-27 | Electronic device, operation support method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011119291A Division JP5259772B2 (en) | 2011-05-27 | 2011-05-27 | Electronic device, operation support method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013140589A JP2013140589A (en) | 2013-07-18 |
| JP5801282B2 true JP5801282B2 (en) | 2015-10-28 |
Family
ID=49037924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012285602A Active JP5801282B2 (en) | 2012-12-27 | 2012-12-27 | Electronic device, operation support method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5801282B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6624767B1 (en) * | 2019-08-26 | 2019-12-25 | 株式会社ブラック | Information processing system and information processing method |
| JP6695530B1 (en) * | 2019-11-25 | 2020-05-20 | 株式会社ブラック | Information processing system and information processing method |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5818425A (en) * | 1996-04-03 | 1998-10-06 | Xerox Corporation | Mapping drawings generated on small mobile pen based electronic devices onto large displays |
| US5850340A (en) * | 1996-04-05 | 1998-12-15 | York; Matthew | Integrated remote controlled computer and television system |
| JP2001157284A (en) * | 1999-11-25 | 2001-06-08 | Hitachi Ltd | Remote controller, control object device and control system |
| KR100474724B1 (en) * | 2001-08-04 | 2005-03-08 | 삼성전자주식회사 | Apparatus having touch screen and external display device using method therefor |
| US20030121054A1 (en) * | 2001-12-26 | 2003-06-26 | Digeo, Inc. | Display for a client terminal for an interactive video casting system |
| JP2003330591A (en) * | 2002-05-08 | 2003-11-21 | Toshiba Corp | Information processing unit and method for operating computer |
| US20060082518A1 (en) * | 2004-10-19 | 2006-04-20 | Pranil Ram | Multiple monitor display apparatus |
| US20070056009A1 (en) * | 2005-08-23 | 2007-03-08 | Michael Spilo | System and method for viewing and controlling a personal computer using a networked television |
| JP5217199B2 (en) * | 2007-03-16 | 2013-06-19 | カシオ計算機株式会社 | Image display device |
| EP1990707A1 (en) * | 2007-05-07 | 2008-11-12 | Giga-Byte Communications, Inc. | Dual function touch screen module for portable device and operating method therefor |
| JP2009010629A (en) * | 2007-06-27 | 2009-01-15 | Toshiba Corp | Information processor and television reception device control method by information processor |
| JP2010539849A (en) * | 2007-09-18 | 2010-12-16 | トムソン ライセンシング | User interface for set-top boxes |
| KR100988377B1 (en) * | 2008-05-06 | 2010-10-18 | 엘지전자 주식회사 | Apparatus and method for managing menu of mobile terminal |
| JP5292948B2 (en) * | 2008-06-30 | 2013-09-18 | 富士通株式会社 | Device with display and input functions |
| US8226476B2 (en) * | 2008-11-04 | 2012-07-24 | Quado Media Inc. | Multi-player, multi-screens, electronic gaming platform and system |
| KR101164813B1 (en) * | 2009-11-13 | 2012-07-12 | 삼성전자주식회사 | Display apparatus, terminal and image displaying method |
-
2012
- 2012-12-27 JP JP2012285602A patent/JP5801282B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013140589A (en) | 2013-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5259772B2 (en) | Electronic device, operation support method, and program | |
| JP4818427B2 (en) | Information processing apparatus and screen selection method | |
| JP5204286B2 (en) | Electronic device and input method | |
| JP5730289B2 (en) | Screen display management method for portable terminal and portable terminal | |
| JP5174372B2 (en) | Function icon display system and method | |
| JP5777731B2 (en) | Environment-dependent dynamic range control for gesture recognition | |
| JP5703873B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2022031339A (en) | Display method and device | |
| JP2013015890A (en) | Information processor and method for controlling the same | |
| JP2013109421A (en) | Electronic apparatus, electronic apparatus control method and electronic apparatus control program | |
| KR20210151751A (en) | Image display apparatus and method for displaying image | |
| JP2012079065A (en) | Electronic device, icon display method and program for electronic device | |
| JP2015127872A (en) | Controller, control method and program | |
| US20120313838A1 (en) | Information processor, information processing method, and computer program product | |
| WO2022111397A1 (en) | Control method and apparatus, and electronic device | |
| US20140019895A1 (en) | Electronic device | |
| KR20140142520A (en) | Apparatus and method for receiving touch input in an apparatus providing a touch interface | |
| JP5801282B2 (en) | Electronic device, operation support method, and program | |
| JP2014134867A (en) | Information processing terminal | |
| KR20160096645A (en) | Binding of an apparatus to a computing device | |
| JP5221694B2 (en) | Electronic device, object display method, and object display program. | |
| WO2017022031A1 (en) | Information terminal device | |
| KR20150115454A (en) | Electronic device and method for displaying a service display | |
| JP6977710B2 (en) | Information processing equipment, information processing methods, and programs | |
| TW201317881A (en) | Method for editing on-screen display menu by touch module |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130730 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140120 |
|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20140415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150728 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150826 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5801282 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313121 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |