JP6803581B2 - 表示制御装置、表示制御方法、および表示制御システム - Google Patents

表示制御装置、表示制御方法、および表示制御システム Download PDF

Info

Publication number
JP6803581B2
JP6803581B2 JP2018185816A JP2018185816A JP6803581B2 JP 6803581 B2 JP6803581 B2 JP 6803581B2 JP 2018185816 A JP2018185816 A JP 2018185816A JP 2018185816 A JP2018185816 A JP 2018185816A JP 6803581 B2 JP6803581 B2 JP 6803581B2
Authority
JP
Japan
Prior art keywords
touch screen
image
display
touch
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018185816A
Other languages
English (en)
Other versions
JP2020057085A (ja
Inventor
正宣 柳沼
正宣 柳沼
中村 雄一郎
雄一郎 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018185816A priority Critical patent/JP6803581B2/ja
Priority to US16/579,012 priority patent/US10877592B2/en
Publication of JP2020057085A publication Critical patent/JP2020057085A/ja
Application granted granted Critical
Publication of JP6803581B2 publication Critical patent/JP6803581B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08Cursor circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Description

本開示は、表示制御装置、表示制御方法、および表示制御システムに関する。
ソース機器のディスプレイに表示された画像をシンク機器のディプレイに表示するミラーリング技術を利用して、シンク機器のタッチスクリーン上で実行された操作を、ソース機器側に送信する技術が従来から知られている。このような技術によって、ユーザはシンク機器のタッチスクリーンを操作することで、ソース機器のディスプレイに対して操作をした場合と同様の操作を実行することができる。
特開2015−152992号公報 特開2007−147928号公報
しかしながら、従来技術においては、1台の情報端末から複数の表示装置に対して画像が配信された場合に、当該画像に対して複数の表示装置のタッチスクリーンでそれぞれ操作が行われると、ユーザの意図しない動作が実行される場合があった。
本開示は、1台の情報端末から画像の配信を受ける複数の表示装置のタッチスクリーンに対してそれぞれ操作が行われる場合に、ユーザの意図しない動作が実行されることを抑制することができる表示制御装置、表示制御方法、および表示制御システムを提供する。
本開示に係る表示制御装置は、ディスプレイを有する情報端末、第1タッチスクリーンを有する第1表示装置、および第2タッチスクリーンを有する第2表示装置とネットワークを介して接続する表示制御装置であって、メモリと、プロセッサとを備える。プロセッサは、情報端末から、ディスプレイに表示される第1画像を示す画像情報を受信し、画像情報に基づいて第1表示装置と第2表示装置とを制御して、第1タッチスクリーンと第2タッチスクリーンとに、第1画像を表示させ、第1タッチスクリーンのうち第1画像が表示された範囲に指または物体を接触させるタッチ操作がおこなわれた場合に、第1表示装置から、第1画像上の接触位置を示す第1座標情報を受信し、第1座標情報を受信した場合に、第2タッチスクリーンに表示された第1画像上の第1座標情報に対応する位置に、第2画像を重畳して表示し、受信した第1座標情報を情報端末に送信する。
本開示に係る表示制御装置によれば、1台の情報端末から画像の配信を受ける複数の表示装置のタッチスクリーンに対してそれぞれ操作が行われる場合に、ユーザの意図しない動作が実行されることを抑制できる。
図1は、第1の実施形態に係る表示制御システムが搭載された車両の一例を示す図である。 図2は、第1の実施形態に係る表示制御装置のハードウェア構成の一例を示す図である。 図3は、第1の実施形態に係る表示制御装置が備える機能的構成の一例を示すブロック図である。 図4は、第1の実施形態に係る画面表示の一例を示す図である。 図5は、第1の実施形態に係る表示制御システムにおける表示制御処理の流れの一例を示すシーケンス図である。 図6は、第1の実施形態に係る第1タッチスクリーンと第2タッチスクリーンの画面表示の時系列の変化の一例を示す図である。 図7は、第2の実施形態に係る表示制御装置が備える機能の一例を示すブロック図である。 図8は、第2の実施形態に係る画面表示の一例を示す図である。 図9は、第2の実施形態に係る表示制御システムにおける表示制御処理の流れの一例を示すシーケンス図である。 図10は、変形例2に係る表示制御装置のハードウェア構成の一例を示す図である。
以下、図面を参照しながら、本開示に係る表示制御装置、表示制御方法、および表示制御システムの実施形態について説明する。
(第1の実施形態)
図1は、本実施形態に係る表示制御システムSが搭載された車両4の一例を示す図である。図1に示すように、本実施形態の表示制御システムSは、表示制御装置1と、第1表示装置2aと、第2表示装置2bとを備える。
本実施形態の第1表示装置2aと第2表示装置2bとは、車両4の助手席41aのシートバックと運転席41bのシートバックとにそれぞれ設けられたリアシートモニタである。第1表示装置2aと第2表示装置2bとは、指またはタッチペン(スタイラスペン)で操作可能なタッチスクリーンをそれぞれ備えるものとする。タッチスクリーンは、ディスプレイとタッチパネルとを備える。本実施形態においては、第1表示装置2aが備えるタッチスクリーンを第1タッチスクリーン21a、第2表示装置2bが備えるタッチスクリーンを第2タッチスクリーン21bという。以下、第1表示装置2aと第2表示装置2bとを特に区別しない場合は、表示装置2という。また、第1タッチスクリーン21aと第2タッチスクリーン21bとを特に区別しない場合は、タッチスクリーン21という。
表示制御装置1は、第1表示装置2aと第2表示装置2bとを制御して、第1表示装置2aと第2表示装置2bとに動画等を表示させるコンピュータである。表示制御装置1と、第1表示装置2aおよび第2表示装置2bとは、ケーブル50a,50bを介した有線ネットワークによって接続している。表示制御装置1と、第1表示装置2aおよび第2表示装置2bと、の情報通信には、例えば、IEEEBUSまたはGVIF(Gigabit Video Interface)等の方式が用いられるものとする。また、表示制御装置1は、Wi−Fi(登録商標)等の無線ネットワーク51を介して情報端末3と接続する。
第1表示装置2aと第2表示装置2bとは、本実施形態の情報端末3から受信した画像データを表示する。本実施形態においては、表示制御装置1は、Miracast(登録商標)等のミラーリングの技術により、情報端末3のディスプレイに表示される画像(以下、ディスプレイ画像という)を、第1表示装置2aおよび第2表示装置2bのタッチスクリーン21に表示する。ディスプレイ画像は、静止画に限らず、動画でも良い。
また、表示制御装置1は、第1表示装置2aおよび第2表示装置2bのタッチスクリーン21上で、ミラーリングによって表示されたディスプレイ画像に対して指または物体を接触させる操作が行われた場合に、ディスプレイ画像上の指または物体が接触した位置を示す座標情報を情報端末3にフィードバックする。当該フィードバックは、例えば、UIBC(User Input Back Channel)の技術によって行われる。情報端末3は、表示制御装置1から座標情報のフィードバックを受けた場合に、情報端末3のディスプレイ上の当該座標情報に対応する位置に指または物体が接触した場合と同様の動作を実行する。これにより、ユーザは、第1表示装置2aまたは第2表示装置2bのタッチスクリーン21を操作することで、情報端末3を操作することができる。
ここで、タッチスクリーンに指または物体を接触させる操作をタッチ操作と呼ぶ。また、タッチスクリーン上で指または物体が接触した位置、すなわちタッチ操作をおこなった位置を、タッチ位置と呼ぶ。
情報端末3は、例えばスマートフォンであるが、Miracast(登録商標)等のミラーリングの規格に対応した機器であれば良く、タブレット端末またはラップトップPCであっても良い。
本実施形態の表示制御システムSは、リアシートに着座している乗員に情報端末3から配信された動画等のエンターテイメントを提供するため、RSE(Rear Sheet Entertainment:リアシートエンターテイメント)システムともいう。また、情報端末3は、画像の配信元であるため、ソース機器ともいう。また、第1表示装置2aおよび第2表示装置2bは、ソース機器から配信された画像を表示するため、シンク機器ともいう。
図2は、本実施形態に係る表示制御装置1のハードウェア構成の一例を示す図である。図2に示すように、表示制御装置1は、プロセッサ10と、メモリ11と、デバイスインタフェース(I/F:Inter/Face)12a,12bと、ネットワークインタフェース(I/F)14と、通信アンテナ13とを備える。
通信アンテナ13は、無線ネットワーク51を介して情報端末3との間で情報の送受信を行う。
ネットワークインタフェース14は、情報端末3との間のネットワーク通信を行うモジュールである。例えば、ネットワークインタフェース14は、通信アンテナ13が受信した情報をプロセッサ10に送信する。本実施形態においては、ネットワークインタフェース14は、通信アンテナ13を介して、情報端末3から、情報端末3のディスプレイ31に表示されたディスプレイ画像を示す画像情報を受信する。
また、ネットワークインタフェース14は、プロセッサ10から出力された情報を通信アンテナ13に送信する。本実施形態においては、ネットワークインタフェース14は、プロセッサ10から、第1タッチスクリーン21aまたは第2タッチスクリーン21bにおけるタッチ位置を示すタッチ座標を、タッチ操作されたタッチスクリーンを識別する情報と対応付けて、通信アンテナ13を介して情報端末3に送信する。タッチ座標の詳細については後述する。
プロセッサ10は、表示制御装置1全体を制御する。例えば、プロセッサ10は、メモリ11に記憶された各種のプログラムを読み出して実行することにより、各種の機能を実現する。本実施形態においては、プロセッサ10は、第1表示装置2aおよび第2表示装置2bを制御して、情報端末3から送信されたディスプレイ画像を、第1タッチスクリーン21aおよび第2タッチスクリーン21bに表示する。また、プロセッサ10は、シャドー画像を生成して、第1タッチスクリーン21aまたは第2タッチスクリーン21bに表示する。ここで、シャドー画像とは、他のタッチスクリーンにおいてディスプレイ画像が表示された範囲に指または物体が接触した位置(タッチ位置)を表す画像であり、詳細については後述する。
メモリ11は、プロセッサ10で実行されるプログラム、および処理の実行に必要な各種のデータを記憶する記憶装置である。メモリ11は、例えばROM、RAM、フラッシュメモリ、HDD等である。
デバイスインタフェース12a,12bは、第1表示装置2aまたは第2表示装置2bと情報の送受信を行う。具体的には、デバイスインタフェース12aは、第1表示装置2aに対して、プロセッサ10から出力されたディスプレイ画像を示す画像情報、シャドー画像を示す画像情報、シャドー画像の表示位置等を送信する。また、デバイスインタフェース12aは、第1表示装置2aから、第1表示装置2aの第1タッチスクリーン21aにおけるタッチ座標を取得し、プロセッサ10に送信する。また、デバイスインタフェース12bは、第2表示装置2bに対して、プロセッサ10から出力されたディスプレイ画像を示す画像情報、シャドー画像を示す画像情報、シャドー画像の表示位置等を送信する。また、デバイスインタフェース12bは、第2表示装置2bから、第2表示装置2bの第2タッチスクリーン21bにおけるタッチ座標を取得し、プロセッサ10に送信する。以下、デバイスインタフェース12a,12bを区別しない場合は、単にデバイスインタフェース12という。デバイスインタフェース12は、例えば、IEEEBUSの規格で情報の送受信を行うIC(Integrated Circuit)であるが、これに限定されるものではない。また、デバイスインタフェース12を介さずに、プロセッサ10と第1表示装置2aまたは第2表示装置2bとが情報の送受信を行うものとしても良い。
次に、本実施形態の表示制御装置1が備える機能の詳細を説明する。
図3は、本実施形態に係る表示制御装置1が備える機能的構成の一例を示すブロック図である。図3に示すように、表示制御装置1は、第1の受信部101と、第1の表示制御部102と、第2の受信部103と、第2の表示制御部104と、送信部105とを備える。
一例として、第1の受信部101と、第1の表示制御部102と、第2の受信部103と、第2の表示制御部104と、送信部105とは、コンピュータによって実行可能な形式のプログラムとしてメモリ11に記憶されて提供される。プロセッサ10は、メモリ11から当該プログラムを読み出して実行することにより、上記各部に対応する機能を実現する。
上記プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、上記プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上記プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
第1の受信部101は、通信アンテナ13およびネットワークインタフェース14を介して、情報端末3から、情報端末3のディスプレイ31に表示されるディスプレイ画像を示す画像情報を受信する。第1の受信部101は、受信した画像情報を第1の表示制御部102に送出する。ディスプレイ画像は、本実施形態における第1画像の一例である。
第1の表示制御部102は、第1の受信部101が取得した画像情報に基づいて第1表示装置2aと第2表示装置2bとを制御して、第1タッチスクリーン21aと第2タッチスクリーン21bとにディスプレイ画像を表示させる。
ここで、ディスプレイ画像の表示について、図4を用いて説明する。
図4は、本実施形態に係る画面表示の一例を示す図である。第1の表示制御部102は、図4に示すように、情報端末3のディスプレイ31に表示されたディスプレイ画像30を、第1表示装置2aの第1タッチスクリーン21aと、第2表示装置2bの第2タッチスクリーン21bとに表示する。このため、第1表示装置2aを使用するユーザ6aと、第2表示装置2bを使用するユーザ6bとは、情報端末3のディスプレイ31に表示されたディスプレイ画像30と同様の画像を視認することができる。以下、ユーザ6aとユーザ6bとを特に区別しない場合は、ユーザ6という。
図3に戻り、第2の受信部103は、第1タッチスクリーン21aまたは第2タッチスクリーン21bのうちディスプレイ画像30が表示された範囲でタッチ操作がおこなわれた場合(指または物体が接触した場合)に、第1表示装置2aまたは第2表示装置2bから、ディスプレイ画像30上のタッチ位置を示すタッチ座標を受信する。この際、第2の受信部103は、デバイスインタフェース12a,12bを介して、第1表示装置2aまたは第2表示装置2bから、タッチ座標を受信する。
タッチ座標は、本実施形態における第1座標情報または第2座標情報の一例である。
例えば、図4に示す例では、第1表示装置2aを使用するユーザ6aが、第1タッチスクリーン21aに表示されたディスプレイ画像30上のタッチ位置Pにタッチしている。この場合、第2の受信部103は、ディスプレイ画像30上のタッチ位置Pを示すタッチ座標を受信する。また、この場合に、第2の受信部103は、タッチ操作されているタッチスクリーン21を特定するタッチスクリーン識別情報を受信する。
図4に示す例では、第1タッチスクリーン21aがタッチ操作されているため、第2の受信部103は、第1タッチスクリーン21a示すタッチスクリーン識別情報と、タッチ座標とを受信する。
本実施形態においては、タッチ操作されているタッチスクリーン21を特定するタッチスクリーン識別情報は、表示装置2が表示制御装置1に対して送信するものとする。
なお、本実施形態においては、ミラーリング中に、ディスプレイ画像30が表示されていないタッチスクリーン21の範囲がタッチ操作された場合は、表示装置2は、当該タッチ操作のタッチ位置を示す座標を表示制御装置1に送信しないものとする。例えば、情報端末3のディスプレイ31の画像サイズと、表示装置2のタッチスクリーン21の画面サイズとの差異のために、タッチスクリーン21上にディスプレイ画像30が表示されていない範囲が生じる場合がある。このような範囲へのタッチ操作は、ディスプレイ画像30に対する操作および情報端末3への操作ではないため、表示装置2は、当該タッチ操作のタッチ位置を示す座標を表示制御装置1に送信しない。
第2の受信部103は、受信したタッチ座標と、操作されているタッチスクリーン21を特定するタッチスクリーン識別情報とを対応付けて、第2の表示制御部104と送信部105とに送出する。
図3に戻り、第2の表示制御部104は、第2の受信部103がタッチ座標を受信した場合に、当該タッチ座標の送信元の表示装置2以外の表示装置2に設けられたタッチスクリーン21に対して、ディスプレイ画像30上のタッチ座標に対応する位置に、シャドー画像を重畳して表示する。
例えば、図4に示すように、第1タッチスクリーン21a上のタッチ位置Pがタッチ操作されている場合は、第2の表示制御部104は、第2タッチスクリーン21bに表示されたディスプレイ画像30上のタッチ位置Pに対応する位置に、手の形状をした黒色のシャドー画像23を重畳して表示する。
また、図4に示す例とは逆に、第2タッチスクリーン21bがタッチ操作されている場合は、第2の表示制御部104は、第1タッチスクリーン21aに表示されたディスプレイ画像30上のタッチ位置Pに対応する位置に、シャドー画像23を重畳して表示する。なお、図4では、第1タッチスクリーン21aのみがタッチ操作をされているが、第1タッチスクリーン21aと第2タッチスクリーン21bとが同時にタッチ操作されても良い。
シャドー画像23は、他のタッチスクリーン21においてディスプレイ画像30が表示された範囲にタッチ位置を表す画像であり、本実施形態における第2画像の一例である。シャドー画像23は、例えば、手、指、タッチペン、矢印等の形状のアイコン画像であるが、これらに限定されるものではない。
図3に戻り、送信部105は、第2の受信部103がタッチ座標を受信した場合に、受信されたタッチ座標を、ネットワークインタフェース14および通信アンテナ13を介して情報端末3に送信する。本実施形態の情報端末3では、タッチ操作が第1タッチスクリーン21aと第2タッチスクリーン21bとのいずれに対して実行されたものであるかは区別しない。このため、送信部105は、情報端末3に対して、タッチ操作されているタッチスクリーン21を特定するタッチスクリーン識別情報は送信しないものとする。
次に、以上のように構成された本実施形態の表示制御システムSが実行する表示制御処理の流れについて説明する。
図5は、本実施形態に係る表示制御システムSにおける表示制御処理の流れの一例を示すシーケンス図である。
情報端末3は、例えば、ユーザによる第1表示装置2aおよび第2表示装置2bへのミラーリング開始の操作を受け付けた場合に、ミラーリングを開始する(S1)。情報端末3を操作するユーザは、第1表示装置2aまたは第2表示装置2bを使用するユーザ6と同一のユーザでも良いし、異なるユーザであっても良い。
情報端末3は、ミラーリングを開始すると、情報端末3のディスプレイ31に表示されているディスプレイ画像30を示す画像情報を、表示制御装置1に送信する(S2)。表示制御装置1の第1の受信部101は、情報端末3から送信された画像情報を受信する。
次に、表示制御装置1の第1の表示制御部102は、第1の受信部101が取得した画像情報に基づいて第1表示装置2aと第2表示装置2bとを制御して、第1タッチスクリーン21aと第2タッチスクリーン21bとにディスプレイ画像30を表示させる(S3)。
そして、第1表示装置2aの第1タッチスクリーン21aにおいて、ディスプレイ画像30が表示された範囲がタッチ操作された場合(S4)、第1表示装置2aは、表示制御装置1に対して、ディスプレイ画像30におけるタッチ位置Pを示すタッチ座標と、第1タッチスクリーン21aを示すタッチスクリーン識別情報とを送信する(S5)。表示制御装置1の第2の受信部103は、第1表示装置2aから送信されたタッチ座標と、タッチスクリーン識別情報とを受信する。また、第2の受信部103は、受信したタッチ座標と、タッチスクリーン識別情報とを対応付けて、第2の表示制御部104と送信部105とに送出する。
次に、表示制御装置1の第2の表示制御部104は、シャドー画像23を生成する(S6)。そして、第2の表示制御部104は、タッチ座標およびタッチスクリーン識別情報に基づいて、タッチ操作されたタッチスクリーン21以外のタッチスクリーン21に対して、ディスプレイ画像30上のタッチ位置Pに対応する位置に、シャドー画像23を重畳して表示する。このシーケンス図においては、タッチ操作されたのは第1タッチスクリーン21aであるため、第2の表示制御部104は、第2表示装置2bを制御して、第2タッチスクリーン21bに表示されたディスプレイ画像30上のタッチ位置Pに対応する位置に、シャドー画像23を重畳して表示する(S7)。
また、表示制御装置1の送信部105は、第1の受信部101が受信したタッチ座標を、情報端末3に送信する(S8)。換言すれば、送信部105は、情報端末3からミラーリングによって配信されたディスプレイ画像30に対してユーザ6が実行したタッチ操作を、情報端末3にフィードバックする。
そして、情報端末3は、表示制御装置1から送信されたタッチ座標に基づいて、各種の処理を実行する。一例として、情報端末3は、表示制御装置1から送信されたタッチ座標に基づいて、ディスプレイ31の画面表示を変更する(S9)。
次に、情報端末3は、変更後のディスプレイ画像30を示す画像情報を、表示制御装置1に対して送信する(S10)。
図5では、第1タッチスクリーン21aがタッチ操作された場合を例として処理の流れを説明したが、第2タッチスクリーン21bがタッチ操作された場合も同様に、表示制御装置1が第1タッチスクリーン21aに対してシャドー画像23を表示する。また、第1タッチスクリーン21aと第2タッチスクリーン21bとが同時に操作された場合には、第1タッチスクリーン21aにおけるタッチ位置Pを示すシャドー画像23が第2タッチスクリーン21bに表示され、第2タッチスクリーン21bにおけるタッチ位置Pを示すシャドー画像23が第1タッチスクリーン21aに表示される。
従来技術においては、1台の情報端末から複数の表示装置に対して画像が配信された場合に、当該画像に対して複数の表示装置のタッチスクリーンでそれぞれタッチ操作が行われると、ユーザの意図しない動作が実行される場合があった。
例えば、ユーザがタッチスクリーンにタッチ操作を行う場合に、他の表示装置のタッチスクリーンに対して、別のユーザがタッチ操作を行っている場合がある。このような場合に、情報端末3は両方のユーザのタッチ操作を受け付けるため、各ユーザの意図した動作とは異なる動作が、情報端末3において実行される場合があった。
具体的には、あるユーザが第1タッチスクリーン上の1点をタッチし、他のユーザが第2タッチスクリーン上の1点をタッチしたとする。この場合に、各ユーザは1点をタッチする操作を行っていると認識しているが、情報端末3は第1タッチスクリーンと第2タッチスクリーンとを区別しないため、2点タッチの操作として受け付ける。このため、例えば、いずれかのユーザがスワイプ操作をすることを意図して、タッチスクリーンをタッチしたまま指を動かした場合に、情報端末3がピンチイン(縮小)またはピンチアウト(拡大)操作の入力として受け付けることとなる。この場合、各ユーザの意図しない動作が実行されることとなるため、各ユーザは、タッチスクリーンまたは情報端末3の誤作動と誤認する可能性があった。
また、他のユーザが他のタッチスクリーン上でどのような操作をしているかが不明であるため、他のユーザが他のタッチスクリーンに対して行った操作によってディスプレイ画像が変化することにより、ユーザが違和感を覚える場合があった。
これに対して、本実施形態の表示制御装置1では、第1タッチスクリーン21aのうちディスプレイ画像30が表示された範囲でタッチ操作がおこなわれた場合に、第1表示装置2aからディスプレイ画像30上の接触位置を示すタッチ座標を受信し、第2タッチスクリーン21bに表示されたディスプレイ画像30上のタッチ座標に対応する位置に、シャドー画像23を重畳して表示する。このため、本実施形態の表示制御装置1によれば、第2タッチスクリーン21bを使用するユーザ6bに対して、第1タッチスクリーン21a上のタッチ位置P1を認識させることができるため、ユーザ6bは他のユーザ6aの操作を認識した上で第2タッチスクリーン21bを操作することができる。このため、本実施形態の表示制御装置1によれば、1台の情報端末3から複数の表示装置2に対してディスプレイ画像30が配信された場合であっても、ユーザ6bの意図しない動作が実行されることを抑制することができる。
例えば、本実施形態の表示制御装置1においては、第2タッチスクリーン21bを使用するユーザ6bは、第1タッチスクリーン21aがタッチ操作されている場合にタッチ操作を待機したり、第1タッチスクリーン21aを使用する他のユーザ6aのタッチ位置Pを認識した上で他のユーザ6aと共同でタッチ操作したりすることができる。その結果、ユーザ6bの意図しない動作の実行が抑制される。
また、本実施形態のシャドー画像23は、他のタッチスクリーン21においてディスプレイ画像30が表示された範囲にタッチ位置を表す画像であるため、ユーザ6は、他のタッチスクリーン21が操作されていることと、他のタッチスクリーン21における操作のタッチ位置P1とを、容易に把握することができる。
また、本実施形態の表示制御装置1は、第2タッチスクリーン21bのうちディスプレイ画像30が表示された範囲でタッチ操作がおこなわれた場合に、第2表示装置2bからディスプレイ画像30上の接触位置を示すタッチ座標を受信し、第1タッチスクリーン21aに表示されたディスプレイ画像30上のタッチ座標に対応する位置に、シャドー画像23を重畳して表示する。このため、本実施形態の表示制御装置1によれば、第1タッチスクリーン21aを使用するユーザ6aと、第2タッチスクリーン21bを使用するユーザ6bとが相互に相手のタッチ位置Pを認識することができる。このため、本実施形態の表示制御装置1によれば、いずれかのタッチスクリーン21がタッチ操作されている場合に、他のタッチスクリーン21の操作を受け付けないように排他制御しなくとも、ユーザ6の意図しない動作が実行されることを抑制することができる。このため、本実施形態の表示制御装置1によれば、排他制御の切り替えの際の待ち時間によってユーザ6が違和感を覚えることを抑制することができる。
ここで、異なるタッチスクリーン21を使用するユーザ6同士が共同でタッチ操作をする例について、図面を用いて説明する。
図6は、本実施形態に係る第1タッチスクリーン21aと第2タッチスクリーン21bの画面表示の時系列の変化の一例を示す図である。図6に示すように、第1タッチスクリーン21aおよび第2タッチスクリーン21bには、ディスプレイ画像30が表示されているものとする。まず、図6の上段の図に示すように、ユーザ6aが第1タッチスクリーン21aを指等でタッチ操作したとする。当該タッチ操作された位置をタッチ位置P1とする。この場合、表示制御装置1は、図6の上段の図に示すように、第2タッチスクリーン21b上のタッチ位置P1に対応する位置に、シャドー画像23bを表示する。シャドー画像23bにより、ユーザ6bは、ユーザ6aがディスプレイ画像30上のどの位置をタッチ操作したかを認識することができる。
次に、ユーザ6bは、図6の上段の図に示すように、第2タッチスクリーン21bを指等でタッチしたとする。当該タッチされた位置をタッチ位置P2とする。この場合、表示制御装置1は、図6の中段の図に示すように、第1タッチスクリーン21a上のタッチ位置P2に対応する位置に、シャドー画像23aを表示する。シャドー画像23aにより、ユーザ6aも、ユーザ6bがディスプレイ画像30上のどの位置をタッチ操作したかを認識することができる。
ここで、例えば、図6の中段の図に示すように、ユーザ6bが第2タッチスクリーン21bをタッチしたまま、シャドー画像23bから離れる方向に指を移動してスワイプ操作をしたとする。図6の下段の図に示すように、移動後の位置を、タッチ位置P2´とする。このような操作は、情報端末3にとっては、ユーザ6がディスプレイ31上の2点をタッチしてピンチアウトをした場合と同様の操作となる。このため、図6の下段の図に示すように、第1タッチスクリーン21aと第2タッチスクリーン21bには、拡大されたディスプレイ画像30が表示される。
ユーザ6bは、シャドー画像23aにより、第1タッチスクリーン21a上のタッチ位置P2を認識することができるため、自身のスワイプ操作がピンチアウトの操作になるか、ピンチインの操作になるかを把握した上で操作を行うことができる。このため、ユーザ6bは、意図したとおりの動作を情報端末3に実行させることができる。また、ユーザ6bがタッチ位置P2をタッチ位置P2´に変更した場合、表示制御装置1は、第1タッチスクリーン21a上のタッチ位置P2´に対応した位置にシャドー画像23aを表示するため、ユーザ6aは、ユーザ6bが第2タッチスクリーン21b上でスワイプ操作をしたことを認識することができる。このため、本実施形態の表示制御装置1によれば、ユーザ6bのピンチアウトの操作によって第1タッチスクリーン21aに表示されたディスプレイ画像30が拡大されても、ユーザ6aが第1タッチスクリーン21aまたは情報端末3の誤動作と誤解することを抑制できる。
図6に示す例は、異なるタッチスクリーン21を使用するユーザ6同士が共同で行う操作の一例に過ぎず、本実施形態の表示制御システムSの活用例はこれに限定されるものではない。例えば、ユーザ6同士がゲームの対戦等を行う際に、異なるタッチスクリーン21から同一のゲーム画面を操作するために、本実施形態の表示制御システムSが適用されても良い。
また、本実施形態の表示制御装置1によれば、情報端末3と無線通信によって接続するため、車両4の車内における情報端末3の位置が制限されない。
なお、本実施形態においては、表示制御システムSは、2台の表示装置(第1表示装置2aおよび第2表示装置2b)を備えるものとしたが、表示装置の数はこれに限定されるものではない。また、第1表示装置2aと第2表示装置2bの設置位置は、図1等に図示した例に限定されるものではない。例えば、本実施形態の表示制御システムSは、車両4に搭載されなくとも良い。
また、情報端末3は、ディスプレイ画像30だけではなく音楽データも表示制御装置1に対して送信するものとしても良い。この場合は、表示制御装置1は、第1表示装置2aおよび第2表示装置2bに対して、情報端末3から送信された音楽データを送信する。
また、本実施形態においては、表示制御装置1の第2の受信部103は、タッチ操作されているタッチスクリーン21を特定するタッチスクリーン識別情報を受信するとしたが、第2の受信部103が、タッチ操作されているタッチスクリーン21を判断しても良い。例えば、本実施形態においては、表示制御装置1は、第1表示装置2aと第2表示装置2bとでは異なるデバイスインタフェース12を介して情報を受信している。このため、第2の受信部103は、タッチ座標を受信したデバイスインタフェース12に応じていずれのタッチスクリーン21がタッチ操作されたかを判断しても良い。例えば、第2の受信部103は、デバイスインタフェース12aを介して受信したタッチ座標は、第1タッチスクリーン21a上のタッチ位置P1を示すタッチ座標であると判断し、デバイスインタフェース12bを介して受信したタッチ座標は、第2タッチスクリーン21b上のタッチ位置P1を示すタッチ座標であると判断しても良い。
(第2の実施形態)
上述の第1の実施形態では、表示制御装置1は、いずれかのタッチスクリーン21が操作されている場合であっても、他のタッチスクリーン21からの操作を排他せずに受け付けるものとしたが、この第3の実施形態では、表示制御装置1は、いずれかのタッチスクリーン21において複数個所がタッチ操作されている場合に、他のタッチスクリーン21に対して排他制御を実施する。
本実施形態の表示制御システムSの全体構成は、図1で説明した第1の実施形態の構成と同様である。また、表示制御装置1、第1表示装置2a、および第2表示装置2bのハードウェア構成は、図2で説明した第1の実施形態の構成と同様である。
図7は、本実施形態に係る表示制御装置1が備える機能の一例を示すブロック図である。図7に示すように、本実施形態の表示制御装置1は、第1の受信部101と、第1の表示制御部102と、第2の受信部103と、第2の表示制御部1104と、送信部1105と、排他制御部106とを備える。
一例として、第1の受信部101と、第1の表示制御部102と、第2の受信部103と、第2の表示制御部1104と、送信部1105と、排他制御部106とは、コンピュータによって実行可能な形式のプログラムとしてメモリ11に記憶される。プロセッサ10は、メモリ11から当該プログラムを読み出して実行することにより、上記各部に対応する機能を実現する。
第1の受信部101と、第1の表示制御部102と、第2の受信部103とは、第1の実施形態と同様の機能を備える。
排他制御部106は、いずれかのタッチスクリーン21においてディスプレイ画像30が表示された範囲内の複数の箇所でタッチ操作がおこなわれた場合(すなわち、複数の箇所に指または物体が接触した場合)、他のタッチスクリーン21に対する操作を受け付けない。
より詳細には、排他制御部106は、各タッチスクリーン21のディスプレイ画像30が表示された範囲内においてタッチ操作がおこなわれた箇所をカウントし、1つのタッチスクリーン21の複数の箇所でタッチ操作がおこなわれたか否かを判断する。排他制御部106は、いずれかのタッチスクリーン21において複数の箇所でタッチ操作がおこなわれたと判断した場合に、送信部1105に対して、当該タッチスクリーン21以外のタッチスクリーン21に対するタッチ位置Pを示すタッチ座標を情報端末3に送信することを停止するように指示を送出する。本実施形態においては、当該指示を、排他制御の指示という。
また、排他制御部106は、いずれかのタッチスクリーン21において複数の箇所でタッチ操作がおこなわれたと判断した場合に、送信部1105に対して、当該タッチスクリーン21以外のタッチスクリーン21に、当該タッチスクリーン21が操作中であることを通知するメッセージを表示するように指示を送出する。メッセージの詳細については後述する。
このようにして、排他制御部106は、第1タッチスクリーン21aのうちディスプレイ画像30が表示された範囲内の複数の箇所でタッチ操作がおこなわれた場合に、第2タッチスクリーン21bに対する操作を受け付けない。また、排他制御部106は、第2タッチスクリーン21bのうちディスプレイ画像30が表示された範囲内の複数の箇所でタッチ操作がおこなわれた場合に、第1タッチスクリーン21aに対する操作を受け付けない。
本実施形態の第2の表示制御部1104は、第1の実施形態の機能を備えた上で、いずれかのタッチスクリーン21においてディスプレイ画像30が表示された範囲内の複数の箇所でタッチ操作がおこなわれた場合、つまり、排他制御部106によって他のタッチスクリーン21の操作が排他制御される場合に、当該タッチスクリーン21が操作中であることを通知するメッセージを、他のタッチスクリーン21に表示する。
具体的には、本実施形態の第2の表示制御部1104は、第1タッチスクリーン21aのうちディスプレイ画像30が表示された範囲内の複数の箇所でタッチ操作がおこなわれた場合に、第1タッチスクリーン21aが操作中であることを通知するメッセージを、第2タッチスクリーン21bに表示する。また、第2の表示制御部1104は、第2タッチスクリーン21bのうちディスプレイ画像30が表示された範囲内の複数の箇所でタッチ操作がおこなわれた場合に、第2タッチスクリーン21bが操作中であることを通知するメッセージを、第1タッチスクリーン21aに表示する。
図8は、本実施形態に係る画面表示の一例を示す図である。図8に示す例では、ユーザ6aが、第1タッチスクリーン21aのタッチ位置P3とタッチ位置P4とをタッチ操作している。この場合、第2の表示制御部1104は、第2表示装置2bを制御して、シャドー画像23c,23dとメッセージ24とを、第2タッチスクリーン21bに表示する。シャドー画像23c,23dは、それぞれ、タッチ位置P1とタッチ位置P3とのタッチ座標に対応する位置に表示されるものとする。
メッセージ24は、第1タッチスクリーン21aが操作中であることを通知するメッセージである。図8では、一例として「もう一方のディスプレイで操作中のため、しばらくお待ちください。」と表示しているが、メッセージ24の文言はこれに限定されるものではない。
図7に戻り、本実施形態の送信部1105は、第1の実施形態の機能を備えた上で、いずれかのタッチスクリーン21においてディスプレイ画像30が表示された範囲内の複数の箇所でタッチ操作がおこなわれた場合、つまり、排他制御部106によって他のタッチスクリーン21の操作が排他制御される場合に、当該タッチスクリーン21以外のタッチスクリーン21に対するタッチ位置Pを示すタッチ座標を情報端末3に送信することを停止する。
図8に示した例では、ユーザ6bが第2タッチスクリーン21b上のタッチ位置P4をタッチ操作しているが、送信部1105は、タッチ位置P4を示すタッチ座標を情報端末3に送信しない。このため、第2タッチスクリーン21bに対するユーザ6bの操作は排他制御される。なお、図8に示した例では、表示制御装置1は、シャドー画像23c,23dとメッセージ24とを第2タッチスクリーン21bに表示しているが、メッセージ24のみを第2タッチスクリーン21bに表示するとしてもよい。
次に、以上のように構成された本実施形態の表示制御システムSにおける表示制御処理の流れについて説明する。
図9は、本実施形態に係る表示制御システムSにおける表示制御処理の流れの一例を示すシーケンス図である。S1のミラーリングの開始から、S6のシャドー画像23の生成処理までは、図5で説明した第1の実施形態の処理と同様である。なお、S4のタッチ操作においては、図8に示すタッチ位置P3がタッチ操作されたものとする。
本実施形態の表示制御装置1の排他制御部106は、第1表示装置2aから送信されたタッチ座標の数をカウントすることにより、第1タッチスクリーン21aのタッチ箇所(接触箇所)の数をカウントする(S101)。S101の時点では、第1タッチスクリーン21aにおけるタッチ箇所は1箇所のみであるため、排他制御部106は、排他制御を実施しない。
また、S7のシャドー画像23(例えば、図8に示すシャドー画像23c)の表示から、S11の変更後のディスプレイ画像30の表示までは、第1の実施形態の処理と同様である。
次に、第1表示装置2aの第1タッチスクリーン21aにおいて、ディスプレイ画像30が表示された範囲内の2箇所目がタッチ操作された場合(S102)、第1表示装置2aは、表示制御装置1に対して、ディスプレイ画像30におけるタッチ位置P(例えば、図8に示すタッチ位置P4)を示すタッチ座標と、第1タッチスクリーン21aを示すタッチスクリーン識別情報とを送信する(S103)。表示制御装置1の第2の受信部103は、第1表示装置2aから送信されたタッチ座標と、タッチスクリーン識別情報とを受信する。また、第2の受信部103は、受信したタッチ座標と、タッチスクリーン識別情報とを対応付けて、排他制御部106と、第2の表示制御部1104と送信部1105とに送出する。
S104のシャドー画像の生成の処理は、S6の処理と同様である。そして、排他制御部106は、第1表示装置2aから送信されたタッチ座標の数をカウントすることにより、第1タッチスクリーン21aのタッチ箇所の数をカウントする(S105)。ここで、第1表示装置2aから、第1タッチスクリーン21aにおける2箇所のタッチ位置P3,P4を示すタッチ座標が送信されため、排他制御部106は、第1タッチスクリーン21aにおいて複数の箇所でタッチ操作がおこなわれたと判断する。この場合、排他制御部106は、第2タッチスクリーン21bに対する排他制御を開始する(S106)。
また、この場合に、第1タッチスクリーン21aに対する操作は制限されないため、第1タッチスクリーン21aに対するタッチ座標を情報端末3に送信するS107の処理は、S8と同様に実行される。
次に、第2の表示制御部1104は、第2表示装置2bを制御して、シャドー画像23dとメッセージ24とを、第2タッチスクリーン21bに表示する(S108)。
ここで、ユーザ6bが、第2タッチスクリーン21bのうちディスプレイ画像30が表示された範囲内のタッチ位置P4をタッチ操作したとする(S109)。この場合、第2表示装置2bは、表示制御装置1に対して、タッチ位置P4を示すタッチ座標と、第2タッチスクリーン21bを示すタッチスクリーン識別情報とを送信する(S110)。しかしながら、排他制御部106によって排他制御が実施されているため、当該タッチ座標は、情報端末3に対して送信されない。また、排他制御部106による排他制御は、例えば、第1タッチスクリーン21aのタッチ箇所が1箇所以下になった場合に、終了するものとする。
図9では、第1タッチスクリーン21aが複数個所タッチ操作された場合を例として説明したが、第2タッチスクリーン21bが複数個所タッチ操作された場合には、第1タッチスクリーン21aが排他制御されるものとする。また、図9では、第1タッチスクリーン21aが複数個所タッチ操作された場合を例として説明したが、第1タッチスクリーン21aが1点でのみタッチされた場合に、第2タッチスクリーン21bが排他制御されるとしてもよい。
このように、本実施形態の表示制御装置1では、第1タッチスクリーン21aのうちディスプレイ画像30が表示された範囲内の複数の箇所でタッチ操作がおこなわれた場合に、第2タッチスクリーン21bに対する操作を排他制御すると共に、第1タッチスクリーン21aが操作中であることを通知するメッセージ24を、第2タッチスクリーン21bに表示する。このため、本実施形態の表示制御装置1によれば、いずれかのタッチスクリーン21において、ユーザ6がピンチインまたはピンチアウト等の複数個所をタッチする操作を実施する場合に、他のユーザが他のタッチスクリーン21に対して実施する操作の影響によってユーザ6の意図しない動作が実行されることを抑制する。また、本実施形態の表示制御装置1によれば、メッセージ24を表示することにより、排他制御された他のタッチスクリーン21を使用する他のユーザが、タッチ操作が受け付けられない理由を他のタッチスクリーン21の不具合であると誤認することを抑制する。
(変形例1)
上述の第1および第2の実施形態では、ユーザ6によってタッチスクリーン21がタッチ操作された場合に、他のタッチスクリーン21上にシャドー画像23が表示されるものとしたが、シャドー画像23の代わりに、タッチスクリーン21がタッチ操作されていることを通知するメッセージが表示されてもよい。
例えば、表示制御装置1の第2の表示制御部104,1104は、第1タッチスクリーン21aがタッチ操作されている場合に、第2タッチスクリーン21bに対して、第1タッチスクリーン21aがタッチ操作されていることを通知するメッセージを表示しても良い。本変形例においては、当該メッセージを、第2画像の一例とする。
(変形例2)
上述の第1および第2の実施形態では、図2に示したように、1つのプロセッサ10によって各機能が実現されるものとしたが、表示制御装置1のハードウェア構成はこれに限定されるものではない。
図10は、本変形例に係る表示制御装置1のハードウェア構成の一例を示す図である。本変形例のプロセッサ1010は、例えば、第1の受信部101、第1の表示制御部102、送信部105,1105、および排他制御部106の機能を実現するものとする。また、本変形例のシャドー画像描画器2010aおよびシャドー画像描画器2010bは、プロセッサであり、例えば、第2の受信部103および第2の表示制御部104,1104の機能を実現するものとする。
プロセッサ1010を第1のプロセッサ、シャドー画像描画器2010aを第2のプロセッサ、シャドー画像描画器2010bを第3のプロセッサと呼んでも良い。
本実施形態のシャドー画像描画器2010aは、デバイスインタフェース12aを介して第1表示装置2aから第1タッチスクリーン21aのタッチ座標を受信し、受信したタッチ座標をプロセッサ1010に送信する。また、シャドー画像描画器2010bは、デバイスインタフェース12bを介して第2表示装置2bから第2タッチスクリーン21bのタッチ座標を受信し、受信したタッチ座標をプロセッサ1010に送信する。プロセッサ1010は、シャドー画像描画器2010aから送信された第1タッチスクリーン21aのタッチ座標をシャドー画像描画器2010bに送信する。また、プロセッサ1010は、シャドー画像描画器2010bから送信された第2タッチスクリーン21bのタッチ座標をシャドー画像描画器2010aに送信する。
シャドー画像描画器2010aおよびシャドー画像描画器2010bは、第1、第2の実施形態の第2の表示制御部104,1104と同様に、当該タッチ座標の送信元の表示装置2以外の表示装置2に設けられたタッチスクリーン21に対して、ディスプレイ画像30上のタッチ座標に対応する位置に、シャドー画像23を重畳して表示する。
なお、複数のプロセッサによって機能を実現する構成は図10に示す例に限定されるものではない。
(変形例3)
上述の第1および第2の実施形態では、表示制御装置1側で第1タッチスクリーン21aと第2タッチスクリーン21bの表示制御、およびシャドー画像23の生成を実施していたが、これらの機能の全てまたは一部を第1表示装置2aおよび第2表示装置2bが実施するものとしても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 表示制御装置
2 表示装置
2a 第1表示装置
2b 第2表示装置
3 情報端末
4 車両
6,6a,6b ユーザ
10,1010 プロセッサ
11 メモリ
12a,12b デバイスインタフェース
14 ネットワークインタフェース
21 タッチスクリーン
21a 第1タッチスクリーン
21b 第2タッチスクリーン
23,23a〜23d シャドー画像
24 メッセージ
30 ディスプレイ画像
31 ディスプレイ
50a,50b ケーブル
51 無線ネットワーク
101 第1の受信部
102 第1の表示制御部
103 第2の受信部
104,1104 第2の表示制御部
105,1105 送信部
106 排他制御部
2010a,2010b シャドー画像描画器
P,P1〜P4 タッチ位置
S 表示制御システム

Claims (7)

  1. ディスプレイを有する情報端末、第1タッチスクリーンを有する第1表示装置、および第2タッチスクリーンを有する第2表示装置とネットワークを介して接続する表示制御装置であって、
    メモリと、プロセッサとを備え、
    前記プロセッサは、
    前記情報端末から、前記ディスプレイに表示される第1画像を示す画像情報を受信し、
    前記画像情報に基づいて前記第1表示装置と前記第2表示装置とを制御して、前記第1タッチスクリーンと前記第2タッチスクリーンとに、前記第1画像を表示させ、
    前記第1タッチスクリーンのうち前記第1画像が表示された範囲に指または物体を接触させるタッチ操作がおこなわれた場合に、前記第1表示装置から、前記第1画像上の接触位置を示す第1座標情報を受信し、
    前記第1座標情報を受信した場合に、前記第2タッチスクリーンに表示された前記第1画像上の前記第1座標情報に対応する位置に、第2画像を重畳して表示し、
    受信した前記第1座標情報を前記情報端末に送信する、
    表示制御装置。
  2. 前記第2画像は、前記第1タッチスクリーンに対して前記タッチ操作がおこなわれたことを表す画像である、
    請求項1に記載の表示制御装置。
  3. 前記プロセッサは、
    さらに、前記第2タッチスクリーンのうち前記第1画像が表示された範囲で前記タッチ操作がおこなわれた場合に、前記第2表示装置から、前記第1画像上の接触位置を示す第2座標情報を受信し、
    前記第2座標情報を受信した場合に、前記第1タッチスクリーンに表示された前記第1画像上の前記第2座標情報に対応する位置に、前記第2画像を重畳して表示し、
    受信した前記第2座標情報を前記情報端末に送信する、
    請求項1または2に記載の表示制御装置。
  4. 前記情報端末と無線通信によって接続され、
    前記第1表示装置および前記第2表示装置と有線通信によって接続される、
    請求項1から3のいずれか1項に記載の表示制御装置。
  5. 前記プロセッサは、
    さらに、前記第1タッチスクリーンのうち前記第1画像が表示された範囲内の複数の箇所で前記タッチ操作がおこなわれた場合に、前記第2タッチスクリーンに対する前記タッチ操作を受け付けず、
    前記第1タッチスクリーンのうち前記第1画像が表示された範囲内の複数の箇所で前記タッチ操作がおこなわれた場合に、前記第1タッチスクリーンが操作中であることを通知するメッセージを、前記第2タッチスクリーンに表示する、
    請求項1から4のいずれか1項に記載の表示制御装置。
  6. ディスプレイを有する情報端末から、前記ディスプレイに表示される第1画像を示す画像情報を受信し、
    前記画像情報に基づいて、第1タッチスクリーンを有する第1表示装置と第2タッチスクリーンを有する第2表示装置とを制御して、前記第1画像を、前記第1タッチスクリーンと前記第2タッチスクリーンとに表示させ、
    前記第1タッチスクリーンのうち前記第1画像が表示された範囲に指または物体を接触させるタッチ操作がおこなわれた場合に、前記第1表示装置から、前記第1画像上の接触位置を示す第1座標情報を受信し、
    前記第1座標情報を受信した場合に、前記第2タッチスクリーンに表示された前記第1画像上の前記第1座標情報に対応する位置に、第2画像を重畳して表示し、
    受信した前記第1座標情報を前記情報端末に送信する、
    ことを含む表示制御方法。
  7. 第1表示装置と、第2表示装置と、表示制御装置とを備える表示制御システムであって、
    前記第1表示装置は、第1タッチスクリーンを備え、
    前記第2表示装置は、第2タッチスクリーンを備え、
    前記表示制御装置は、メモリと、プロセッサとを備え、
    前記プロセッサは、
    ディスプレイを有する情報端末から、前記ディスプレイに表示される第1画像を示す画像情報を受信し、
    前記画像情報に基づいて前記第1表示装置と前記第2表示装置とを制御して、前記第1タッチスクリーンと前記第2タッチスクリーンとに、前記第1画像を表示させ、
    前記第1タッチスクリーンのうち前記第1画像が表示された範囲に指または物体を接触させるタッチ操作がおこなわれた場合に、前記第1表示装置から、前記第1画像上の接触位置を示す第1座標情報を受信し、
    前記第1座標情報を受信した場合に、前記第2タッチスクリーンに表示された前記第1画像上の前記第1座標情報に対応する位置に、第2画像を重畳して表示し、
    受信した前記第1座標情報を前記情報端末に送信する、
    表示制御システム。
JP2018185816A 2018-09-28 2018-09-28 表示制御装置、表示制御方法、および表示制御システム Active JP6803581B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018185816A JP6803581B2 (ja) 2018-09-28 2018-09-28 表示制御装置、表示制御方法、および表示制御システム
US16/579,012 US10877592B2 (en) 2018-09-28 2019-09-23 Display control device, display control method, and display control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018185816A JP6803581B2 (ja) 2018-09-28 2018-09-28 表示制御装置、表示制御方法、および表示制御システム

Publications (2)

Publication Number Publication Date
JP2020057085A JP2020057085A (ja) 2020-04-09
JP6803581B2 true JP6803581B2 (ja) 2020-12-23

Family

ID=69945021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018185816A Active JP6803581B2 (ja) 2018-09-28 2018-09-28 表示制御装置、表示制御方法、および表示制御システム

Country Status (2)

Country Link
US (1) US10877592B2 (ja)
JP (1) JP6803581B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021045247A1 (ko) * 2019-09-03 2021-03-11 엘지전자 주식회사 데이터를 처리하는 방법 및 그 전자 장치
US11507269B2 (en) * 2020-04-21 2022-11-22 AppEsteem Corporation Technologies for indicating third party content and resources on mobile devices
CN114115770A (zh) * 2020-08-31 2022-03-01 华为终端有限公司 显示控制的方法及相关装置
KR20220048245A (ko) * 2020-10-12 2022-04-19 엘지전자 주식회사 무선 디바이스 및 무선 시스템
CN112468863A (zh) * 2020-11-24 2021-03-09 北京字节跳动网络技术有限公司 投屏控制方法、设备及电子设备
CN115145645B (zh) * 2022-09-01 2022-11-25 南京芯驰半导体科技有限公司 一种支持多操作系统的触摸屏控制方法、系统及芯片
US11689695B1 (en) * 2022-12-15 2023-06-27 Northern Trust Corporation Computing technologies for screensharing
CN115861331B (zh) * 2023-03-03 2023-06-02 海的电子科技(苏州)有限公司 标记显示屏上被维修区的方法、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4508077B2 (ja) * 2005-10-24 2010-07-21 株式会社デンソー 車載マルチカーソルシステム
JP2007147928A (ja) 2005-11-26 2007-06-14 Nec Corp 画像切替・分配システム
JP5369702B2 (ja) * 2009-01-23 2013-12-18 セイコーエプソン株式会社 共有情報表示装置、共有情報表示方法およびコンピュータプログラム
JP2011180948A (ja) * 2010-03-03 2011-09-15 Brother Industries Ltd 端末装置、会議サーバおよび処理プログラム
KR101899816B1 (ko) * 2012-07-26 2018-09-20 엘지전자 주식회사 단말 장치 및 이의 필기 공유 방법
KR102107404B1 (ko) * 2013-10-30 2020-05-07 삼성전자주식회사 어플리케이션을 공유하는 전자 장치 및 그 제어 방법
JP5914542B2 (ja) 2014-02-12 2016-05-11 日本電信電話株式会社 表示制御装置、表示制御装置の動作方法およびコンピュータプログラム
EP3316109B1 (en) * 2016-10-28 2019-09-04 TeamViewer GmbH Computer-implemented method for controlling a remote device with a local device
JP2018116411A (ja) * 2017-01-17 2018-07-26 株式会社リコー 表示制御システム、表示制御方法、表示装置、プログラムおよび情報処理装置

Also Published As

Publication number Publication date
US20200104004A1 (en) 2020-04-02
US10877592B2 (en) 2020-12-29
JP2020057085A (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
JP6803581B2 (ja) 表示制御装置、表示制御方法、および表示制御システム
JP5204286B2 (ja) 電子機器および入力方法
JP4816255B2 (ja) 表示端末、表示端末プログラム及びコメント画像の表示方法
KR20150006180A (ko) 채팅 창 제어 방법 및 이를 구현하는 전자 장치
US20090167715A1 (en) User interface of portable device and operating method thereof
EP2472381A2 (en) Method and apparatus for providing mouse right click function in touch screen terminal
CN103677711A (zh) 连接移动终端和外部显示器的方法和实现该方法的装置
JP5522755B2 (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
CN106293563B (zh) 一种控制方法和电子设备
WO2017138223A1 (ja) 画像処理装置、画像処理システム及び画像処理方法
EP2998838A1 (en) Display apparatus and method for controlling the same
WO2014034369A1 (ja) 表示制御装置、シンクライアントシステム、表示制御方法および記録媒体
US20140129933A1 (en) User interface for input functions
US20140002404A1 (en) Display control method and apparatus
US20230021380A1 (en) Display control device and display control system
US10691293B2 (en) Display device and computer-readable non-transitory recording medium with display control program stored thereon
TWI547862B (zh) Multi - point handwriting input control system and method
JP2018085071A (ja) 表示システム
JP6253861B1 (ja) タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置
JP2007004656A (ja) サーバ装置、方法およびプログラム
CN104572602A (zh) 显示消息的方法和装置
KR20140136854A (ko) 어플리케이션 운영 방법 및 이를 구현하는 전자 장치
US10983658B2 (en) Cursor control system and cursor control method
JP2014106843A (ja) 情報処理装置、及び情報処理方法並びにプログラム
WO2014148352A1 (ja) 情報端末、操作領域制御方法及び操作領域制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201117

R151 Written notification of patent or utility model registration

Ref document number: 6803581

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03