JP5226142B1 - 表示制御装置、表示制御方法、電子機器、および電子機器の制御方法 - Google Patents
表示制御装置、表示制御方法、電子機器、および電子機器の制御方法 Download PDFInfo
- Publication number
- JP5226142B1 JP5226142B1 JP2012044479A JP2012044479A JP5226142B1 JP 5226142 B1 JP5226142 B1 JP 5226142B1 JP 2012044479 A JP2012044479 A JP 2012044479A JP 2012044479 A JP2012044479 A JP 2012044479A JP 5226142 B1 JP5226142 B1 JP 5226142B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- screen
- time
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4112—Peripherals receiving signals from specially adapted client devices having fewer capabilities than the client, e.g. thin client having less processing power or no tuning capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/08—Cursor circuits
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】一例として、他装置から受信した画像データを表示する自装置において、他装置の入力操作部での入力操作をより認識しやすい表示制御装置、表示制御方法、電子機器、および電子機器の制御方法を得る。
【解決手段】実施形態にかかる表示制御装置では、表示制御部は、デコードされた画面画像のデータと生成された操作画像のデータとから画面画像と操作画像とを含む画像を第二装置に含まれる第二表示装置の第二表示画面に表示させる。また、表示制御部は、第一の時間に第一表示画面に表示された第一の画面画像と、第一の時間の後の第二の時間における入力操作を示す第一の操作画像とを含む画像を表示させた後に、第二の時間に第一表示画面に表示された第二の画面画像と第二の時間における入力操作を示す第二の操作画像とを含む画像を、表示させる。
【選択図】図1
【解決手段】実施形態にかかる表示制御装置では、表示制御部は、デコードされた画面画像のデータと生成された操作画像のデータとから画面画像と操作画像とを含む画像を第二装置に含まれる第二表示装置の第二表示画面に表示させる。また、表示制御部は、第一の時間に第一表示画面に表示された第一の画面画像と、第一の時間の後の第二の時間における入力操作を示す第一の操作画像とを含む画像を表示させた後に、第二の時間に第一表示画面に表示された第二の画面画像と第二の時間における入力操作を示す第二の操作画像とを含む画像を、表示させる。
【選択図】図1
Description
本発明の実施形態は、表示制御装置、表示制御方法、電子機器、および電子機器の制御方法に関する。
従来、他装置から有線あるいは無線で受信した画像データを自装置の表示装置で表示することが可能な電子機器が知られている。
この種の技術で、他装置が表示部とこの表示部に重なったタッチパネルとを有する場合に、当該他装置でユーザ等によるタッチパネルでの操作によって画像が切り替えられると、それに応じて自装置でも画像が切り替わる。このような場合、他装置では、ユーザ等は、手指やスタイラス等の動きでタッチパネルに対してどのような操作が行われるかあるいは行われたかを認識できるが、自装置では、ユーザ等は、タッチパネルに対してどのような操作が行われるかあるいは行われたかを認識しにくい。
そこで、本発明の実施形態は、一例として、他装置から有線あるいは無線で受信した画像データを表示する表示装置を有した自装置において、他装置の入力操作部での入力操作をより認識しやすい表示制御装置、表示制御方法、電子機器、および電子機器の制御方法を得ることを目的の一つとする。
本発明の実施形態にかかる表示制御装置は、第一受信部と、デコード部と、第二受信部と、画像データ生成部と、表示制御部と、を備える。第一受信部は、第一装置の第一送信部から、エンコードされた画面画像のデータを受信する。デコード部は、第一受信部で受信されたエンコードされた画面画像のデータをデコードする。第二受信部は、第二送信部から送信された操作位置を示すデータを受信する。画像データ生成部は、第二受信部で受信された操作位置を示すデータに対応した操作画像のデータを生成する。表示制御部は、デコードされた画面画像のデータと生成された操作画像のデータとから画面画像と操作画像とを含む画像を第二装置に含まれる第二表示装置の第二表示画面に表示させる。また、表示制御部は、第一の時間に第一表示画面に表示された第一の画面画像と、第一の時間の後の第二の時間における入力操作を示す第一の操作画像とを含む画像を表示させた後に、第二の時間に第一表示画面に表示された第二の画面画像と第二の時間における入力操作を示す第二の操作画像とを含む画像を、表示させる。
以下の複数の例示的な実施形態や変形例には、同様の構成要素が含まれている。以下では、それら同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。なお、本明細書中の、第一、第二等の序数は、構成要素等を便宜上区別するために付与されており、処理の順序や、優先度、重要度等を意味するものではない。
<第1実施形態>
本実施形態では、一例として、図1に示されるように、システムは、電子機器100(第一装置)および映像表示装置200(第二装置、表示制御装置)を含む。電子機器100は、表示画面101aを有した表示部101(表示装置、第一表示装置)を備える。電子機器100は、表示部101の表示画面101a上に重ねて設けられた入力操作部102と、表示部101とは外れて設けられた入力操作部109と、を備える。表示部101は、例えば、液晶ディスプレイ(LCD,liquid crystal display)や、有機ELディスプレイ(OELD,organic electro-luminescent display)等である。入力操作部102は、例えば、透明なタッチパネル(タッチパッド、タッチセンサ、操作面、入力受付部)であり、入力操作部109は、例えば、クリックボタン(押しボタン)や、ポインティングデバイス(タッチパッド)等である。電子機器100は、例えば、スマートフォンや、携帯電話機、PDA(personal digital assistant)、パーソナルコンピュータ、テレビジョン受像機等である。なお、電子機器100の表示部101や、記憶部104、通信部108(図2参照)等は、制御部103等を有した本体部とは一体化されず、所謂外付けの装置であることができる。
本実施形態では、一例として、図1に示されるように、システムは、電子機器100(第一装置)および映像表示装置200(第二装置、表示制御装置)を含む。電子機器100は、表示画面101aを有した表示部101(表示装置、第一表示装置)を備える。電子機器100は、表示部101の表示画面101a上に重ねて設けられた入力操作部102と、表示部101とは外れて設けられた入力操作部109と、を備える。表示部101は、例えば、液晶ディスプレイ(LCD,liquid crystal display)や、有機ELディスプレイ(OELD,organic electro-luminescent display)等である。入力操作部102は、例えば、透明なタッチパネル(タッチパッド、タッチセンサ、操作面、入力受付部)であり、入力操作部109は、例えば、クリックボタン(押しボタン)や、ポインティングデバイス(タッチパッド)等である。電子機器100は、例えば、スマートフォンや、携帯電話機、PDA(personal digital assistant)、パーソナルコンピュータ、テレビジョン受像機等である。なお、電子機器100の表示部101や、記憶部104、通信部108(図2参照)等は、制御部103等を有した本体部とは一体化されず、所謂外付けの装置であることができる。
また、映像表示装置200は、表示画面201aを有した表示部201(表示装置、第二表示装置)を備える。表示部201は、例えば、液晶ディスプレイ(LCD,liquid crystal display)や、有機ELディスプレイ(OELD,organic electro-luminescent display)等である。映像表示装置200は、例えば、スマートフォンや、携帯電話機、PDA(personal digital assistant)、パーソナルコンピュータ、テレビジョン受像機、ディスプレイ装置等である。なお、映像表示装置200の表示部201や、記憶部202、通信部205(図3参照)等は、制御部210等を有した本体部とは一体化されず、所謂外付けの装置であることができる。なお、表示部201の表示画面201a上には、タッチパネルが設けられてもよい。
映像表示装置200の表示画面201aには、電子機器100の表示画面101aに表示された画像Imo(画面画像)と対応した(同じ)画像Imy(画面画像)が表示される。さらに、映像表示装置200の表示画面201aには、電子機器100の入力操作部102への入力操作に応じた画像Imr(操作画像)が表示される。入力操作に応じた画像は、通常、電子機器100の表示画面101aでは表示されない。そこで、本実施形態では、一例として、入力操作部102で検出された表示画面101a上での位置Ptに対応した表示画面201a上での位置Piに、生成された画像Imrが表示される。入力操作部102は、手Hや、指F、スタイラス、タッチペン等による操作位置(接触位置、近接位置等)を検出する。電子機器100での画像Imoのデータ(画面画像のデータ)、ならびに映像表示装置200での画像Imrの元となるデータ(入力操作部102での入力操作に応じたデータ)は、電子機器100から映像表示装置200へ、有線または無線の通信システム(通信装置、送信装置、中継装置、受信装置、配線等)を介して送信される。電子機器100はソース機器(ソース装置)、映像表示装置200はシンク機器(シンク装置)と言うことができる。データの転送方式は、一例としては無線LAN(local area network)等が用いられるが、これには限定されない。
本実施形態では、一例として、図2に示されるように、電子機器100は、表示部101や、入力操作部102、制御部103、記憶部104、表示処理部105、画像データ取得部106、エンコード部107、通信部108、入力操作部109等を有する。
電子機器100の制御部103による各処理は、一例としては、コンピュータの記憶部(例えば、HDD等)に記憶され、コンピュータの演算処理部(例えば、CPU(central processing unit)等)に読み出されて実行されたプログラム(アプリケーション等)の動作によって、実現される。また、制御部103は、通信部108等で受信したデータに含まれるプログラム(アプリケーション、スクリプト等)にしたがって処理を実行することができる。記憶部104は、電子機器100での種々の処理に関わるデータを記憶し、一例としては、HDD(hard disk drive)等である。
表示処理部105は、制御部103に制御され、表示部101の表示画面101aで画像Imo(画面画像、図1参照)を表示させる処理を実行する。表示画面101aで表示される画像Imoは、例えば、動画のコンテンツや、ユーザインタフェース用の画像、静止画等、電子機器100の使用によって出力される画像(映像)であれば、どのようなものであってもよい。画像データ取得部106は、制御部103に制御され、予め設定されたタイミング(サンプリング間隔)で、表示処理部105から、表示画面101aで表示される画像のデータを取得する(サンプルする)。エンコード部107は、画像データ取得部106で取得された画像(映像)のデータを、所定の方式(一例としては、H.264/MPEG-4 AVC等)でエンコードする。制御部103は、通信部108を制御し、表示画面101aで表示される画像Imoのデータ(画面画像のデータ、一例としてはエンコードされたデータ)を送信する。すなわち、本実施形態では、通信部108は、第一送信部の一例である。
入力操作部102では、表示画面101a上の操作位置が検出される。制御部103は、通信部108を制御し、入力操作部102での入力操作に応じたデータ(例えば、操作位置(表示画面101aに対応した二次元座標上での位置)を示すデータや、当該操作位置を示すデータから生成された画像データ等)を、所定のタイミング(間隔)で、送信する。すなわち、本実施形態では、通信部108は、第二送信部の一例でもある。なお、画面画像のデータを送信する第一送信部と、入力操作に応じたデータを送信する第二送信部とは、それぞれ別個に構成することができる。
また、本実施形態では、一例として、図3に示されるように、映像表示装置200は、表示部201や、記憶部202、チューナ部203、デマルチプレクサ部204(Demux部)、通信部205、受信部206、GUI処理部207、デコード部208、表示処理部209、制御部210、入力操作部211,212,213等を備える。記憶部202は、一例としては、HDD(hard disk drive)等である。
チューナ部203は、放送データ(放送信号、放送波)の受信部である。デマルチプレクサ部204は、受信された放送データから、各種データを分離する分離部である。放送データから分離された映像のデータは、デコード部208へ送られる。また、放送データから分離されたデータや通信部205を介して取得されたデータ等は、記憶部202に送られ、記憶される。デコード部208は、デマルチプレクサ部204から受け取ったデータ、記憶部202から受け取ったデータ、あるいは通信部205から受け取ったデータを、デコードする。デコードされたデータは表示処理部209へ送られる。通信部205は、他装置(例えば電子機器100や、中継装置(図示されず)等)との間でのデータの授受を実行する。
通信部205は、電子機器100の通信部108から送られた表示画面101aで表示される画像Imoのデータ(画面画像のデータ)を受信する。すなわち、本実施形態では、通信部205は、第一受信部の一例である。また、通信部205は、電子機器100の通信部108から送られた入力操作部102での入力操作に応じたデータを受信する。すなわち、本実施形態では、通信部205は、第二受信部の一例でもある。なお、画面画像のデータを受信する第一受信部と、入力操作に応じたデータを受信する第二受信部とは、それぞれ別個に構成することができる。
映像表示装置200の制御部210による各処理は、一例としては、コンピュータの記憶部(例えば、HDD等)に記憶され、コンピュータの演算処理部(例えば、CPU(central processing unit)等)に読み出されて実行されたプログラム(アプリケーション等)の動作によって、実現される。また、制御部210は、チューナ部203や通信部205等で受信したデータに含まれるプログラム(アプリケーション、スクリプト等)にしたがって処理を実行することができる。
制御部210は、JavaScript(登録商標)処理部や、HTML処理部、Video/Audioエレメント処理部、API(application program interface)処理部、CSS処理部等(いずれも図示されず)等を有したウエブブラウザ部(Web browser部)を含むことができる。GUI処理部207は、制御部210の指示により、ユーザインタフェース用の画像を生成する。表示処理部209は、デコード部208から受け取ったデータと、GUI処理部207から受け取ったデータを合成する。表示処理部209で合成されたデータは、表示部201の表示画面201aで表示される。
また、制御部210は、受信部206を介して、例えばリモコン等の入力操作部213から無線(一例としては赤外線等)による制御信号を受信する。また、制御部210は、映像表示装置200に内蔵された入力操作部211(例えば、タッチセンサ、スイッチ等)や、外付けの入力操作部212(例えば、マウス、キーボード等)から制御信号を受信する。制御部210は、これら入力操作部211〜213より入力された制御信号に応じて各種演算処理を実行したり、各部を制御したりすることができる。
本実施形態では、一例として、図4に示されるように、電子機器100から映像表示装置200へは、エンコードされた表示画面101aで表示される画像ImoのデータDei(画面画像のデータ)と、入力操作部102での入力操作に応じた検出位置(操作位置)を示すデータDp(入力操作データ)とが、送られる。すなわち、電子機器100の制御部103は、入力操作部102での検出結果(操作結果)から、当該入力操作部102での入力操作に応じたデータDpを生成するデータ生成部30a(データ生成部)として機能する。また、映像表示装置200の制御部210は、電子機器100より受け取った入力操作部102での入力操作に応じたデータDpから当該データDpに対応した表示画面201aで表示される画像(操作画像、画像Imr等)のデータを生成する画像データ生成部30bとして機能する。さらに、制御部210は、入力操作部102での入力操作に応じた画像(操作画像)のデータと、表示画面101aで表示される画像Imo(画面画像)のデータとを合成するための合成制御部30cとしても機能する。
本実施形態では、一例として、電子機器100および映像表示装置200は、図5に示されるフローチャートにしたがって動作する。図5の左側には、電子機器100の動作の一例が示され、図5の右側には、映像表示装置200の動作の一例が示される。
電子機器100において、入力操作部102で入力操作が検出されると(ステップS11でYes)、制御部103は、データ生成部30aとして機能し、入力操作に応じた入力操作データを生成する(ステップS12)。このステップS12では、検出された箇所(操作された箇所)が複数存在する場合、入力操作データは、当該複数箇所の位置を表すデータとして生成される。また、入力操作データには、検出された(あるいは対応する画面画像のデータが表示された)タイミング(時刻、時間)を表すデータを含めることができる。制御部103は、通信部108を制御し、通信部108は、入力操作データDp(入力操作に応じたデータ、図4参照)を送信する(ステップS13)。また、本実施形態では、一例として、入力操作データは、エンコードされずに送信される。よって、一例としては、入力操作データをより迅速に送信することができる。
また、電子機器100では、入力操作データの検出の有無に拘わらず、一例としては、入力操作データに関わる検出ならびに送信の処理と並行して、画像データが取得される。すなわち、制御部103は、表示処理部105や画像データ取得部106等を制御し、表示部101の表示画面101aで表示される画像(映像)のデータ(画面画像のデータ)を取得する(ステップS14)。次に、制御部103は、エンコード部107を制御し、エンコード部107は、取得された画像のデータをエンコードする(ステップS15)。次に、制御部103は、通信部108を制御し、通信部108は、エンコードされた画像のデータDei(エンコードされた画面画像のデータ、図4参照)を送信する(ステップS16)。画像(映像)の転送処理が終了されない場合(ステップS17でNo)、ステップS11に戻る。
一方、映像表示装置200において、通信部205で入力操作データDpが受信されると(ステップS21でYes)、制御部210は、受信した入力操作データを解析する(ステップS22)。制御部210は、画像データ生成部30bとして機能し、今まで受信した入力操作データに応じた画像データ(操作画像のデータ)を生成する(ステップS23)。なお、ステップS21でNoの場合にも、ステップS23での画像データ生成は実行される。これは、ステップS21で入力操作データDpを受信していない場合であっても、例えば軌跡を生成する場合等には、今まで受信した入力操作データに応じた画像データを生成する場合があるからである。このステップS23での処理によって表示部201の表示画面201aに表示される画像の例については、後述する。
また、映像表示装置200では、入力操作データの受信の有無に拘わらず、一例としては、入力操作データの受信ならびに入力操作に応じた画像データの生成の処理と並行して、画面画像のデータDeiが受信される(ステップS24)。次に、制御部210は、デコード部208を制御し、デコード部208は、受信された画面画像のデータDeiをデコードする(ステップS25)。次に、制御部210は、合成制御部30cとして、表示処理部209を制御し、ステップS25でデコードされた画像データ(画面画像のデータ)と、ステップS23で生成された画像データ(操作画像のデータ)とを合成した画像データを生成する(ステップS26)。このステップS26では、生成された操作画像のデータが、対応する画面画像のデータに合成される。具体的には、例えば、入力操作に応じたデータに、検出された(あるいは対応する画面画像のデータが表示された)タイミング(時刻、時間)を表すデータが含まれていた場合、あるいは、入力操作に応じたデータおよび画面画像のデータのうち少なくとも一方に、同期タイミングや、時刻等を表すデータが含まれていた場合、制御部210は、当該データに基づいて画面画像のデータと操作画像のデータとを同期させやすい。また、電子機器100で画像Imoが表示されてから映像表示装置200で画像Imoと対応する(同じ)画像Imyが表示されるまでの遅延時間が、事前のテスト(キャリブレーション)等で判明している場合、制御部210は、当該遅延時間のデータに基づいて画面画像のデータと操作画像のデータとを同期させやすい。
次に、制御部210は、表示処理部209を制御し、表示処理部209は、表示部201を制御して、表示画面201a(図1参照)に、画面画像と操作画像とが合成された画像を表示する(ステップS27)。本実施形態では、一例として、制御部210、GUI処理部207、表示処理部209等が、表示制御部の一例である。本実施形態では、一例として、入力操作部102における入力操作の検出から操作画像が生成されるまでの処理と、画面画像のデータが、取得され、エンコードされ、送信され、受信され、デコードされ合成されるまでの処理と、の少なくとも一部同士が、並行して実行される。
次に、図6〜図9を参照して、本実施形態にかかる映像表示装置200の表示画面201aにおける、操作画像(Ima1,Ima2,Imr1,Imr2,Imr3,Imp1,Imp2)の例について説明する。図6には、入力操作される前の時点で表示される操作画像Ima1,Ima2の例が示されている。すなわち、電子機器100で画面画像Imoが表示された状態で入力操作部102への入力操作が検出された時点から、映像表示装置200の表示画面201aで当該画面画像Imoに対応した画面画像Imyが表示されるまでには、電子機器100から映像表示装置200への画面画像のデータの送受信や、各装置での処理、画面画像のデータのエンコードおよびデコード等により、時間(遅延時間)を要する。よって、入力操作が検出された時点(例えば、検出が開始された時点)での入力操作の位置に対応したデータから生成した操作画像Ima1,Ima2を、入力操作が検出される前の時点での画面画像Imyに合成することが可能である。また、図6の例では、入力操作される前の時点での操作画像Ima1,Ima2は、時間の経過とともに、入力操作が開始される時点に近付くにつれて、濃くなる。このような操作画像Ima1,Ima2は、入力操作部102に指F等が近付くにつれて色が濃くなる影のような印象を与えることができる。なお、図中、符号T1は、表示画面201a上で、操作画像が更新される(あるいは表示される)時間間隔であり、一例としては、100[ms]である。
図7には、ユーザの指F(図1参照)等が入力操作部102に触れている場合(動かない場合、タップされた場合)の、入力操作に対応した操作画像Imr1,Imr2,Imr3の一例が示されている。この例では、指F等が入力操作部102に接触している場所が変化しなかった場合には、操作画像Imr1は、より拡がった操作画像Imr2を経てさらに拡がった操作画像Imr3へ変化している。このような操作画像Imr1,Imr2,Imr3は、液面に拡がる波紋のような印象を与えることができる。
図8には、ユーザの指F(図1参照)等が入力操作部102に触れている場合(動かない場合、タップアンドホールドされた場合)の、入力操作に対応した操作画像Imr1,Imr2,Imr3の別の一例が示されている。この例では、指F等が入力操作部102に接触している場所が変化しなかった場合には、操作画像Imr1は、より拡がった操作画像Imr2を経てさらに拡がった操作画像Imr3へ変化している。また、時間の経過とともに、新たな画像Imr1,Imr2等が出現している。このような操作画像Imr1,Imr2,Imr3は、液面に拡がる波紋のような印象を与えることができる。
図9には、入力操作された後の時点で表示される操作画像Imp1,Imp2の例が示されている。この例では、指F等が入力操作部102から離れた後も、しばらくの間は、操作画像Imp1,Imp2が、残像として表示される。操作画像Imp1,Imp2は、指F等が入力操作部102に最後に接触した場所に表示される。操作画像Imp1,Imp2は、入力操作の終了された時点から時間が経つほど、色が薄くなる。このような操作画像Imp1,Imp2は、入力操作部102から指F等が離れるにつれて色が薄くなる影のような印象を与えることができる。図6〜9に例示されるような操作画像(Ima1,Ima2,Imr1,Imr2,Imr3,Imp1,Imp2)は、一例としては、記憶部(本実施形態では、一例として記憶部202)に記憶された形状データベース(データ)に基づいて、生成することができる。形状データベースは、操作画像(Ima1,Ima2,Imr1,Imr2,Imr3,Imp1,Imp2)の表示形態(位置、大きさ、形状、色、濃さ、輝度、デザイン等)を示すデータが、操作画像の種別(入力操作時点より前、入力操作時点、入力操作時点より後)や、経過時間等のデータに対応づけて記憶されている。画像データ生成部30bは、形状データベースを参照して、操作画像(Ima1,Ima2,Imr1,Imr2,Imr3,Imp1,Imp2)のデータを取得する。
図10には、電子機器100の表示部101の定点に指Fが接触した場合における、当該表示部101の状態(平面視)と、映像表示装置200の表示部201での操作画像(Ima1,Ima2,Imr1,Imr2,Imr3,Imp1,Imp2)の経時変化の一例が示されている。図10の各枠は、一定の時間間隔T1でサンプリングされた表示部101,201の一部を示しており、時刻(タイミング)t110〜t117は、それぞれ、時刻(タイミング)t210〜t217に対応している。この例では、表示部101で画面画像Imoが表示されるかあるいは入力操作部102で当該画面画像Imoに対応した指F等による入力操作が検出されてから、表示部201で画面画像Imoに対応した画面画像Imyが表示されるまでに、時間T2(遅延時間)を要している。指Fは、少なくとも時刻t113から時刻t114までの間は入力操作部102に接触して入力操作を行い、当該時刻t113,t114に対応した時刻t213,t214の間で、表示部201では、当該入力操作に対応した操作画像Imr1,Imr2,Imr3が表示されている。そして、それより前の時刻t111やt112では、指Fは入力操作部102に接触していないが、これら時刻t111やt112に対応した時刻t211,t212で、表示部201では、入力操作される前の時点での操作画像Ima1,Ima2が表示されている。図10から、これら操作画像Ima1,Ima2が表示される時刻t211,t212は、入力操作が行われた(検出された)時刻t113,t114より後であることがわかる。すなわち、この図10から、遅延時間T2を利用して、入力操作される前の時点での操作画像Ima1,Ima2が仮想的に生成されていることが理解できよう。
図11には、電子機器100の表示部101に対応した入力操作部102上で、指F等が接触しながら動かされた場合における、操作画像(Ima1,Ima2,Imr1,Imr2,Imr3,Imp1,Imp2)の経時変化の一例が示されている。図11に示される操作画像(Ima1,Ima2,Imr1,Imr2,Imr3,Imp1,Imp2)は、入力操作部102での入力操作の軌跡に対応した画像である。図11の各枠は、一定の間隔T1でサンプリングされた表示部201の一部を示しており、時刻(タイミング)t220〜t227は、一定の時間間隔でサンプリングされた各時刻を示している。図11には、表示部101(入力操作部102)に接触した指Fが左下から右上に向けて動かされた(スワイプが行われた、スライドされた)場合が例示されている。図11の例でも、表示部201では、時刻t222〜t225の間では、入力操作部102での入力操作に対応した操作画像Imr1〜Imr3が表示されている。ただし、入力操作部102での接触位置(入力操作位置)が変化するにつれて、操作画像Imr1〜Imr3の表示位置は、位置Pi1〜位置Pi4へ変化している。そして、操作画像Imr1〜Imr3は、位置Pi1〜位置Pi4の間で変化しながら、表示されてからの経過時間に応じて、形態が変化している。すなわち、時刻t222に位置Pi1で出現した操作画像Imr1は、時刻t223,t224の経過につれて、色が薄くなるとともに大きくなる操作画像Imr2,Imr3に変化する。また、時刻t223に位置Pi2で出現した操作画像Imr1は、時刻t224,t225の経過につれて、色が薄くなるとともに大きくなる操作画像Imr2,Imr3に変化する。また、時刻t224に位置Pi3で出現した操作画像Imr1は、時刻t225,t226の経過につれて、色が薄くなるとともに大きくなる操作画像Imr2,Imr3に変化する。また、時刻t225に位置Pi4で出現した操作画像Imr1は、時刻t226,t227の経過につれて、色が薄くなるとともに大きくなる操作画像Imr2,Imr3に変化する。そして、図11の例でも、時刻t220,221では、入力操作される前の時点での操作画像Ima1,Ima2が表示されている。これら画像Ima1,Ima2の位置は、入力操作部102で入力操作が開始された位置に対応した位置Pi1に設定されている。また、時刻t226,t227では、入力操作された後の時点での操作画像Imp1,Imp2が表示されている。これら画像Imp1,Imp2の位置は、入力操作部102で入力操作が終了された位置に対応した位置Pi5に設定されている。このように、入力操作される前および後の時点に対応した操作画像Ima1,Ima2,Imp1,Imp2の位置は、入力操作された位置に基づいて、決定(設定)することができる。
図12は、電子機器100と映像表示装置200とに表示される画面の一例を示す図である。電子機器100の表示画面101aには、時間Tx1に画面Sc0が、時間Tx2に画面Sc2が、時間Tx3に画面Sc3が、時間Tx4に画面Sc4が、時間Tx5に画面Sc5が表示される。そして、電子機器100の入力操作部102は、時間Tx1では入力操作(例えば、指等が入力操作部102に接触したこと、押圧したこと、近付いたこと等)を検出しておらず、時間Tx2に位置Px1に対する入力操作を検出し、時間Tx2から時間Tx3の間に当該入力操作の位置Px2への移動を検出し、時間Tx4および時間Tx5においては入力操作を検出していない。すなわち、電子機器100の入力操作部102は、入力操作が開始されたことを時間Tx2に検出し、入力操作が終了したことを時間Tx3に検出する。
ここで、映像表示装置200は、電子機器100が時間Tx1に表示していた画面Sc1を、当該時間Tx1から映像遅延時間Td1が経過した時間Tx21に表示する。なお、映像遅延時間Td1には、上述したように、例えば、電子機器100が画面Sc1をエンコードする時間や、エンコードされた画面Sc1を電子機器100が送信するまでの時間、送信された画面Sc1のデータを映像表示装置200が受信するまでの時間、受信された画面Sc1を映像表示装置200がデコードして表示するまでの時間等が、含まれる。また、映像表示装置200は、入力操作部102が時間Tx2に検出した入力操作の位置Px1に対応する画像Ix1(操作画像)を、時間Tx2からポインタ遅延時間Td2(電子機器100で入力操作が検出されてから映像表示装置200で対応する画像が表示されるまでに要する時間)が経過した時間Tx21に表示する。なお、画像Ix1は画面Sc2への操作に対応するが、電子機器100は時間Tx21において画面Sc1を表示している。このため、電子機器100は、画像Ix1を例えば影のような表示形態で表示する。
次に、映像表示装置200は、電子機器100が時間Tx2に表示していた画面Sc2を、当該時間Tx2から映像遅延時間Td1が経過した時間Tx31に表示する。また、時間Tx31において、映像表示装置200は、入力操作部102が時間Tx2に検出した入力操作の位置Px1に対応する画像Ix2(操作画像)を画面Sc2と共に表示する。
図12におけるここまでの処理を言い換えると、電子機器100が画面Sc2を表示している場合に、当該画面Sc2の位置Px1に対する入力操作が開始されると、映像表示装置200は、電子機器100が画面Sc2を表示していた時間Tx2よりも前の時間Tx1に表示されていた画面Sc1と共に、位置Px1に対応する画像Ix1を表示する。そして、映像表示装置200は、画面Sc1と画像Ix1とを表示した後の時間Tx31において、画面Sc2と画像Ix2とを表示する。なお、画像Ix2は、画面Sc2が電子機器100に表示されていたときに当該電子機器100が検出した入力操作の位置Px1に対応する位置に表示される。すなわち、画像Ix2は、画像Ix1と同じ位置に表示される。なお、画像Ix1と画像Ix2との表示形態は異なっていてもよい。
さらに、時間Tx31において、映像表示装置200は画像Ix3(操作画像)を表示しても良い。ここで、画像Ix3は、電子機器100が時間Tx3において検出した入力操作の位置Px2に対応している。すなわち、映像表示装置200は、画面Sc2を電子機器100が表示していたときに当該電子機器100が検出した位置Px1(接触位置等)に対応する画像Ix2と、画面Sc2を電子機器100が表示していたときに当該電子機器100が検出した位置Px2(接触位置等)に対応する画像Ix3とを、画面Sc2上に重ねて表示しても良い。そして、このとき、画像Ix2とIx3とは表示形態が異なっている。なお、画面Sc0において表示される画像Ix1と、画面Sc1において表示される画像Ix3とのどちらも、将来表示される画面における操作位置を予告する画像である。このため、画像Ix1と画像Ix3の表示形態は同じであっても良い。
また、映像表示装置200は、画面Sc2を表示している場合に、画像Ix2と、当該画像Ix2が移動する方向(位置Px2の方向)を示す画像を表示しても良い。なお、図12においては図示していないが、映像表示装置200は、時間Tx21と時間Tx31の間の時間において、画像Ix1と当該画像Ix1が移動する方向を示す画像を表示しても良い。すなわち、電子機器100が、Tx2とTx3との間の時間において入力操作の移動を検出し、当該入力操作の位置を映像表示装置200に通知した場合、映像表示装置200は、時間Tx31になって画像Ix2を表示するまでの間に、画像Ix1を移動させる、あるいは画像Ix1の移動方向を示す矢印を表示しても良い。
次に、映像表示装置200は、電子機器100が時間Tx3に表示していた画面Sc3を、当該時間Tx3から映像遅延時間Td1が経過した時間Tx41に表示する。また、時間Tx41において、映像表示装置200は、入力操作部102が時間Tx3に検出した入力操作の位置Px2に対応する画像Ix4(操作画像)を画面Sc3と共に表示する。さらに、このとき、映像表示装置200は、入力操作の軌跡を示す画像Ix5(操作画像)を表示しても良い。
次に、映像表示装置200は、電子機器100が時間Tx4に表示していた画面Sc4を、当該時間Tx4から映像遅延時間Td1が経過した時間Tx51に表示する。また、時間Tx51において映像表示装置200は、入力操作部102が時間Tx3に検出した入力操作の位置Px2に対応する画像Ix6を画面Sc4と共に表示する。なお画像Ix6は、映像表示装置200が過去に表示していた画面Sc3に対応するものである。このため画像Ix6の表示形態は、例えば波紋等により入力操作の軌跡を示すものであっても良い。
なお、図12においては、画面が電子機器100に表示されてから映像表示装置200に表示されるまでの遅延時間が、画面Sc1乃至画面Sc5のいずれについても同じ(Td1)であると説明した。しかし、画面Sc1乃至画面Sc5等の画面毎に遅延時間が異なる場合もある。これは、複雑な画像が表示される画面に関してはエンコードおよびデコードに時間を要する場合やデータ量が多くなる場合があるためである。しかし、いずれにしても、それぞれの画面が映像表示装置に表示されるまでの映像遅延時間は、ポインタ遅延時間Td2よりも長い。なお、映像表示装置200は、画像Ix1を、時間Tx2からポインタ遅延時間Td2が経過した時間以降に、表示することができる。また、映像表示装置200は、画像Ix1等を、当該画像Ix1が表示される時間Tx2より前の複数の時間で入力操作部102が検出した複数の入力操作データに基づいて生成することができる。この場合、複数の時間で検出された入力操作データ(位置データ)の内挿あるいは外挿等の処理により、実際の入力操作された位置とは外れた位置に、画像Ix1等を表示することができる。具体的には、入力操作が例えばスワイプ(スライド)であった場合、映像表示装置200は、実際の入力操作の開始位置に対して当該入力操作の逆方向の位置に、画像Ix1を表示することができる。また、実際の入力操作の終了位置に対して当該入力操作の方向の位置に、画像Ix6を表示することができる。この場合、入力操作Ix2〜Ix5の動きに対応した仮想的な画像Ix1,Ix6を表示することができる。なお、本実施形態では、実際の入力操作を示さない(入力操作部102による検出結果を示すものではない)画像Ix1や画像Ix6等も、入力操作に関連したものであることから、便宜上、操作画像と称している。
図13〜20には、電子機器100の表示部101に対応した入力操作部102上に二本の指Fが接触し、それら二本の指Fの間隔が広がるように動かされた(ピンチアウトが行われた、ピンチオープンが行われた、スライドされた)場合における表示部101,201の状態が示されている。図13に示される表示部101での時刻t130での画面画像Imoに対応した画面画像Imyは、図14に示されるように、時刻t230で表示部201に表示される。図15に示される表示部101での時刻t131での画面画像Imoに対応した画面画像Imyは、図16に示されるように、時刻t231で表示部201に表示される。図17に示される表示部101での時刻t132での画面画像Imoに対応した画面画像Imyは、図18に示されるように、時刻t232で表示部201に表示される。図19に示される表示部101での時刻t133での画面画像Imoに対応した画面画像Imyは、図20に示されるように、時刻t233で表示部201に表示される。図15〜18を参照すればわかるように、二本の指Fによる入力操作部102への入力操作により、画面画像Imo,Imyは、拡大されている。
また、この例では、図15,17に示されるように、二つの指Fは、時刻t131,t132で入力操作部102に接触し、当該入力操作部102での入力操作に応じた操作画像Imr11〜Imr13,Imr21〜Imr23は、図16,18に示されるように、時刻t231,t232で表示部201に表示される。また、図16,18からわかるように、この例では、操作画像Imr11〜Imr13,Imr21〜Imr23は、動かされる方向に向いた部分を有した形状(本実施形態では、一例として、一つの角部(端部)が動かされる方向に向いた三角形状)に形成されている。この例でも、時刻t231,t232が、時刻t131,t132より遅く、操作画像Imr11〜Imr13,Imr21〜Imr23を生成する前に、入力操作部102で複数の時刻t131,t132での入力操作(の位置や方向)が検出されうるため、操作画像Imr11〜Imr13,Imr21〜Imr23での方向の指定が可能となる。また、図18において、操作画像Imr12は、他の操作画像Imr11,Imr13の位置Pi11,Pi12(Pt11,Pt12)に基づく補間処理(例えば、それらの中間位置の演算)によって生成され、操作画像Imr22は、他の操作画像Imr21,Imr23の位置Pi21,Pi22(Pt21,Pt22)に基づく補間処理(例えば、それらの中間位置の演算)によって生成される。このように、入力操作部102での入力操作の検出結果に基づく種々の演算によって、操作画像の種々の形態での表示が可能となっている。
同様に、表示部201では、図13に示されるように、まだ二本の指Fが入力操作部102に接触していない時刻t130(図13)に対応した時刻t230で、二本の指Fの位置Pt11,Pt21に対応した位置Pi11,Pi21で、その後の二本の指Fの動く方向を向いた操作画像Ima1,Ima2を表示することができる。なお、表示部201では、図20に示されるように、二本の指Fが入力操作部102から離れた時刻t133(図19)に対応した時刻t233で、入力操作が終了した時点での二本の指Fの位置Pt12,Pt22(図17参照)に対応した位置Pi12,Pi22で、特定の方向を向かない(この例では、一例として、円形状の)操作画像Imp1,Imp2を表示することができる。
以上のように、本実施形態によれば、一例としては、電子機器100と映像表示装置200との間の画像表示の時間差を利用して、映像表示装置200に、入力操作部102での入力操作に対応した操作画像を、より効果的な形態で表示することができる。
また、本実施形態では、一例として、表示部201の表示画面201aに画面画像Imyと、入力操作部102への入力操作に対応した操作画像Imrとが表示される。よって、ユーザ等は、他装置としての電子機器100の入力操作部102にどのような操作が行われるかあるいは行われたかをより認識しやすい。
また、本実施形態では、一例として、画像データ生成部30bは、入力操作を示す操作画像Imrのデータを生成するとともに、入力操作に応じたデータ(第一データ)に基づいて入力操作の位置Ptに対応した入力操作される前の時点での操作画像Imaのデータを生成する。よって、本実施形態によれば、一例としては、表示部201の表示画面201aに表示される画面画像Imyが変化する前に、当該表示画面201aに、その変化を予告する操作画像Imaが表示されることができる。
また、本実施形態では、一例として、入力操作を示す操作画像Imrと、入力操作される前の時点での操作画像Imaとが、外観上相異なるように表示される。よって、一例としては、ユーザ等は、表示部201において、実際の操作に基づく操作画像Imrと、仮想的な操作画像Imaとを区別しやすい。また、本実施形態では、一例として、入力操作される前の時点での操作画像Imaは、入力操作を示す操作画像Imrより暗い。よって、入力操作される前の時点での操作画像Imaを、影のように表現することができる。
また、本実施形態では、一例として、入力操作される前の時点での画像Imaは、入力操作の方向を向いた部分を有した。よって、一例としては、ユーザ等は、表示部201において、操作画像Ima,Imrがどの方向に動くのかを、予測しやすくなる。
また、本実施形態では、一例として、画像データ生成部30bは、入力操作に応じたデータ(第一データ)に基づいて入力操作の位置Ptに対応した入力操作された後の時点での操作画像Impのデータを生成する。よって、本実施形態によれば、一例としては、表示部201の表示画面201aで操作画像Imrが急に消滅するのを抑制することができる。
また、本実施形態では、一例として、操作画像Imrは、入力操作部102での入力操作の軌跡に対応する。よって、本実施形態によれば、一例としては、ユーザ等は、他装置としての電子機器100の入力操作部102にどのような操作が行われるかあるいは行われたかをより認識しやすい。
<第2実施形態>
上記実施形態での表示形態は、他の実施形態によっても得られる。具体的に、図21,22に示される実施形態では、画像データ生成部30bが、電子機器100に設けられている。そして、電子機器100の画像データ生成部30bが、上述したような操作画像Ima,Imr,Impのデータを生成し(図22のステップS102)、電子機器100の通信部108が生成された操作画像Ima,Imr,Impのデータを映像表示装置200へ送信する(図22のステップS103)。そして、映像表示装置200の通信部205が操作画像Ima,Imr,Impのデータを受信した場合に(ステップS201)、映像表示装置200の合成制御部30cが画面画像Imoのデータと操作画像Ima,Imr,Impのデータとを合成する(ステップS26)。本実施形態における各部位や各ステップでの具体的な処理は上記実施形態と同様である。このような実施形態によっても、上記実施形態で例示されたような表示形態が得られる。
上記実施形態での表示形態は、他の実施形態によっても得られる。具体的に、図21,22に示される実施形態では、画像データ生成部30bが、電子機器100に設けられている。そして、電子機器100の画像データ生成部30bが、上述したような操作画像Ima,Imr,Impのデータを生成し(図22のステップS102)、電子機器100の通信部108が生成された操作画像Ima,Imr,Impのデータを映像表示装置200へ送信する(図22のステップS103)。そして、映像表示装置200の通信部205が操作画像Ima,Imr,Impのデータを受信した場合に(ステップS201)、映像表示装置200の合成制御部30cが画面画像Imoのデータと操作画像Ima,Imr,Impのデータとを合成する(ステップS26)。本実施形態における各部位や各ステップでの具体的な処理は上記実施形態と同様である。このような実施形態によっても、上記実施形態で例示されたような表示形態が得られる。
<第3実施形態>
また、図23,24に示される実施形態では、画像データ生成部30bならびに合成制御部30cが、電子機器100に設けられている。そして、電子機器100の画像データ生成部30bが、上述したような操作画像Ima,Imr,Impのデータを生成し(図24のステップS102)、電子機器100の合成制御部30cが画面画像Imoのデータと操作画像Ima,Imr,Impのデータとを合成する(ステップS125)。電子機器100のエンコード部107は、合成された画像データをエンコードし(ステップS105)、電子機器100の通信部108は、エンコードされた画像データ(合成された画像データ)を送信する(ステップS106)。映像表示装置200の通信部205がエンコードされた画像データ(合成された画像データ)を受信すると(ステップS213)、映像表示装置200のデコード部208は、エンコードされた画像データ(合成された画像データ)をデコードする(ステップS214)。本実施形態における各部位や各ステップでの具体的な処理は上記実施形態と同様である。このような実施形態によっても、上記実施形態で例示されたような表示形態が得られる。ただし、本実施形態では、入力操作部102で入力操作された前の時点での操作画像Imaを表示する場合には、電子機器100に、複数フレーム(複数のタイミング、複数のサンプリングタイミング)の画像データを一時的に記憶する記憶部(バッファ、リングバッファ等、例えばHDD等)が必要となる。入力操作部102で入力操作が検出された時点で、その時点より前の時点での画面画像Imoのデータに、検出された時点での検出結果に基づいて生成された操作画像Imaのデータが合成される。
また、図23,24に示される実施形態では、画像データ生成部30bならびに合成制御部30cが、電子機器100に設けられている。そして、電子機器100の画像データ生成部30bが、上述したような操作画像Ima,Imr,Impのデータを生成し(図24のステップS102)、電子機器100の合成制御部30cが画面画像Imoのデータと操作画像Ima,Imr,Impのデータとを合成する(ステップS125)。電子機器100のエンコード部107は、合成された画像データをエンコードし(ステップS105)、電子機器100の通信部108は、エンコードされた画像データ(合成された画像データ)を送信する(ステップS106)。映像表示装置200の通信部205がエンコードされた画像データ(合成された画像データ)を受信すると(ステップS213)、映像表示装置200のデコード部208は、エンコードされた画像データ(合成された画像データ)をデコードする(ステップS214)。本実施形態における各部位や各ステップでの具体的な処理は上記実施形態と同様である。このような実施形態によっても、上記実施形態で例示されたような表示形態が得られる。ただし、本実施形態では、入力操作部102で入力操作された前の時点での操作画像Imaを表示する場合には、電子機器100に、複数フレーム(複数のタイミング、複数のサンプリングタイミング)の画像データを一時的に記憶する記憶部(バッファ、リングバッファ等、例えばHDD等)が必要となる。入力操作部102で入力操作が検出された時点で、その時点より前の時点での画面画像Imoのデータに、検出された時点での検出結果に基づいて生成された操作画像Imaのデータが合成される。
以上、本発明の実施形態を例示したが、上記実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、各構成要素のスペックは、適宜に変更して実施することができる。
上述した実施形態にかかる装置(システム)は、入力操作部に対する上述したタップ、スワイプ、ピンチアウト(ピンチオープン)以外の入力操作、例えば、ダブルタップ、ドラッグ、フリック、スクロール、二本指スクロール、ピンチイン(ピンチクローズ)、タッチアンドホールド等の入力操作についても、同様に動作し、同様の結果が得られる。
また、操作画像の表示形態(位置、大きさ、形状、色、濃さ、輝度、デザイン等)も、種々に変形することができる。入力操作に対応した操作画像、入力操作される前の時点での操作画像、ならびに入力操作された後の時点での操作画像は、これら表示形態の少なくともいずれかが相違することができる。また、操作画像は、複数のタイミングで繋がった画像とすることができる。また、第一装置から第二装置へ送られる入力操作データには、サンプリングされた時刻とは別の入力操作の開始時点と終了時点でのデータを含めることができる。
100…電子機器(第一装置)、101…表示部(第一表示装置)、101a…表示画面、102…入力操作部、107…エンコード部、108…通信部(第一送信部、第二送信部)、200…映像表示装置(第二装置)、201…表示部(第二表示装置)、201a…表示画面、205…通信部(第一受信部、第二受信部)、207…GUI処理部(表示制御部)、208…デコード部、209…表示処理部(表示制御部)、210…制御部(表示制御部)、30b…画像データ生成部。
Claims (10)
- 第一表示画面を有した第一表示装置と、当該第一表示画面に表示される画面画像のデータをエンコードするエンコード部と、当該エンコード部でエンコードされた前記画面画像のデータを送信する第一送信部と、前記第一表示画面に重ねて設けられた入力操作部と、当該入力操作部での操作位置を示すデータを送信する第二送信部と、を備えた第一装置の前記第一送信部から、前記エンコードされた画面画像のデータを受信する第一受信部と、
前記第一受信部で受信された前記エンコードされた画面画像のデータをデコードするデコード部と、
前記第二送信部から送信された前記操作位置を示すデータを受信する第二受信部と、
前記第二受信部で受信された前記操作位置を示すデータに対応した操作画像のデータを生成する画像データ生成部と、
前記デコードされた画面画像のデータと前記生成された操作画像のデータとから前記画面画像と前記操作画像とを含む画像を第二装置に含まれる第二表示装置の第二表示画面に表示させる表示制御部と、
を備え、
前記表示制御部は、第一の時間に前記第一表示画面に表示された第一の画面画像と、前記第一の時間の後の第二の時間における前記入力操作を示す第一の操作画像とを含む画像を表示させた後に、前記第二の時間に前記第一表示画面に表示された第二の画面画像と前記第二の時間における入力操作を示す第二の操作画像とを含む画像を表示させる、表示制御装置。 - 表示制御部は、前記第一の操作画像と前記第二の操作画像とを外観上相異なるように表示させる、請求項1に記載の表示制御装置。
- 前記第一の操作画像は、前記第二の操作画像より暗い、請求項2に記載の表示制御装置。
- 前記第一の操作画像は、前記入力操作の方向を示す部分を有した、請求項1〜3のうちいずれか一つに記載の表示制御装置。
- 前記表示制御部は、前記第二の時間に前記第一表示画面に表示された前記第二の画面画像と、前記第二の操作画像と、前記第二の時間よりも後の第三の時間における前記入力操作を示す第三の操作画像とを含む画像を表示させる、請求項1に記載の表示制御装置。
- 前記画像データ生成部は、前記入力操作の軌跡に対応した前記操作画像のデータを生成する、請求項1〜5のうち何れか一つに記載の表示制御装置。
- 前記画像データ生成部によるデータの生成の少なくとも一部が、前記デコード部によるデータのデコードと並行して行われる、請求項1〜6のうちいずれか一つに記載の表示制御装置。
- 表示制御装置の表示制御方法であって、
前記表示制御装置が、
第一表示画面を有した第一表示装置と、当該第一表示画面に表示される画面画像のデータを送信する第一送信部と、前記第一表示画面に重ねて設けられた入力操作部と、当該入力操作部での操作位置を示すデータを送信する第二送信部と、を備えた第一装置の前記第一送信部から、前記画面画像のデータを受信すること、
前記送信された前記操作位置を示すデータを受信すること、
前記受信された前記操作位置を示すデータに対応した操作画像のデータを生成すること、および、
第一の時間に前記第一表示画面に表示された第一の画面画像と、前記第一の時間の後の第二の時間における前記操作位置を示すデータに対応した第一の操作画像とを含む画像を表示させた後に、前記第二の時間に前記第一表示画面に表示された第二の画面画像と前記第二の時間における入力操作を示す第二の操作画像とを含む画像を表示させること、
を含む、表示制御方法。 - 第一表示装置の第一表示画面に表示される画面画像のデータをエンコードするエンコード部と、
前記エンコード部でエンコードされた前記画面画像のデータを送信する第一送信部と、
前記第一表示画面に重ねて設けられた入力操作部での操作位置を示すデータに対応し別の装置の表示画面で表示される操作画像のデータを生成する画像データ生成部と、
前記画像データ生成部で生成された操作画像のデータを送信する第二送信部と、
を備え、
前記画像データ生成部は、第一の時間に前記第一表示画面に表示された第一の画面画像に重ねて表示される第一の操作画像であって前記第一の時間より後の第二の時間の入力操作を示す当該第一の操作画像のデータを生成するとともに、前記第二の時間に前記第一表示画面に表示された第二の画面画像に重ねて表示される当該第二の時間の入力操作を示す第二の操作画像のデータを生成する、
電子機器。 - 電子機器の制御方法であって、
前記電子機器が、
第一表示装置の第一表示画面に表示される画面画像のデータをエンコードすること、
前記エンコードされた前記画面画像のデータを送信すること、
前記第一表示画面に重ねて設けられた入力操作部での操作位置を示すデータに対応し別の装置の表示画面で表示される操作画像のデータを生成すること、および、
前記生成された操作画像のデータを送信すること、
を含み、
前記操作画像のデータとして、前記第一の時間に前記第一表示画面に表示された第一の画面画像に重ねて表示される第一の操作画像であって前記第一の時間より後の第二の時間の入力操作を示す当該第一の操作画像のデータと、前記第二の時間に前記第一表示画面に表示された第二の画面画像に重ねて表示される当該第二の時間の入力操作を示す第二の操作画像のデータと、が生成される、
制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012044479A JP5226142B1 (ja) | 2012-02-29 | 2012-02-29 | 表示制御装置、表示制御方法、電子機器、および電子機器の制御方法 |
EP20120183695 EP2634685A1 (en) | 2012-02-29 | 2012-09-10 | Display control apparatus, display control method, electronic device, and control method for electronic device |
US13/609,817 US20130222229A1 (en) | 2012-02-29 | 2012-09-11 | Display control apparatus, display control method, and control method for electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012044479A JP5226142B1 (ja) | 2012-02-29 | 2012-02-29 | 表示制御装置、表示制御方法、電子機器、および電子機器の制御方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013049542A Division JP5284549B1 (ja) | 2013-03-12 | 2013-03-12 | 表示制御装置および表示制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5226142B1 true JP5226142B1 (ja) | 2013-07-03 |
JP2013182074A JP2013182074A (ja) | 2013-09-12 |
Family
ID=47257366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012044479A Expired - Fee Related JP5226142B1 (ja) | 2012-02-29 | 2012-02-29 | 表示制御装置、表示制御方法、電子機器、および電子機器の制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130222229A1 (ja) |
EP (1) | EP2634685A1 (ja) |
JP (1) | JP5226142B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014026602A (ja) * | 2012-07-30 | 2014-02-06 | Casio Comput Co Ltd | 表示端末装置及びプログラム |
WO2015021928A1 (zh) * | 2013-08-14 | 2015-02-19 | 深圳市同洲电子股份有限公司 | 一种多屏交互方法、终端及系统 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140107829A (ko) * | 2013-02-28 | 2014-09-05 | 삼성전자주식회사 | 디스플레이장치, 입력장치 및 그 제어방법 |
TW201435651A (zh) * | 2013-03-06 | 2014-09-16 | Ind Tech Res Inst | 行動通訊裝置以及其人機介面操作方法 |
JP2015007949A (ja) | 2013-06-26 | 2015-01-15 | ソニー株式会社 | 表示装置、表示制御方法及びコンピュータプログラム |
JP6120751B2 (ja) * | 2013-10-30 | 2017-04-26 | 三菱電機株式会社 | 情報処理装置、情報端末、情報通信システムおよび情報提供方法 |
JP6289038B2 (ja) * | 2013-11-05 | 2018-03-07 | キヤノン株式会社 | 表示制御装置、方法及びプログラム |
CN103729138A (zh) * | 2013-12-18 | 2014-04-16 | 乐视致新电子科技(天津)有限公司 | 一种基于显示屏模拟物理按键的方法和电子设备 |
US10782787B2 (en) * | 2014-06-06 | 2020-09-22 | Adobe Inc. | Mirroring touch gestures |
GB2530983A (en) * | 2014-09-30 | 2016-04-13 | Ibm | Content mirroring |
CN105511780A (zh) * | 2015-11-26 | 2016-04-20 | 小米科技有限责任公司 | 测试方法及装置 |
CN106791561B (zh) * | 2016-11-30 | 2019-09-03 | 珠海市魅族科技有限公司 | 视频图像控制方法 |
US10585637B2 (en) * | 2017-03-27 | 2020-03-10 | Lenovo (Beijing) Co., Ltd. | Information processing method and electronic device |
WO2018183765A1 (en) * | 2017-04-01 | 2018-10-04 | Projansky Daniel | System and method for creation and control of interactive user interfaces |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05119955A (ja) * | 1991-10-28 | 1993-05-18 | Nippon Telegr & Teleph Corp <Ntt> | 端末間画面操作方式 |
JPH0922339A (ja) * | 1995-07-05 | 1997-01-21 | Matsushita Electric Ind Co Ltd | 遠隔操作装置 |
JPH10191142A (ja) * | 1996-12-20 | 1998-07-21 | Nikon Corp | 画像処理装置 |
JP3780982B2 (ja) * | 2002-07-05 | 2006-05-31 | ソニー株式会社 | 映像表示システム、映像表示方法及び表示装置 |
JP2007158919A (ja) * | 2005-12-07 | 2007-06-21 | Fujifilm Corp | 画像表示装置及び画像表示方法 |
JP5531612B2 (ja) * | 2009-12-25 | 2014-06-25 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム |
JP2011210052A (ja) * | 2010-03-30 | 2011-10-20 | Sharp Corp | ネットワークシステム、通信方法、および通信端末 |
US20120327126A1 (en) * | 2011-06-27 | 2012-12-27 | Nokia Corporation | Method and apparatus for causing predefined amounts of zooming in response to a gesture |
-
2012
- 2012-02-29 JP JP2012044479A patent/JP5226142B1/ja not_active Expired - Fee Related
- 2012-09-10 EP EP20120183695 patent/EP2634685A1/en not_active Withdrawn
- 2012-09-11 US US13/609,817 patent/US20130222229A1/en not_active Abandoned
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014026602A (ja) * | 2012-07-30 | 2014-02-06 | Casio Comput Co Ltd | 表示端末装置及びプログラム |
US9582903B2 (en) | 2012-07-30 | 2017-02-28 | Casio Computer Co., Ltd. | Display terminal device connectable to external display device and method therefor |
WO2015021928A1 (zh) * | 2013-08-14 | 2015-02-19 | 深圳市同洲电子股份有限公司 | 一种多屏交互方法、终端及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20130222229A1 (en) | 2013-08-29 |
JP2013182074A (ja) | 2013-09-12 |
EP2634685A1 (en) | 2013-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5226142B1 (ja) | 表示制御装置、表示制御方法、電子機器、および電子機器の制御方法 | |
US20210051359A1 (en) | Systems and methods for enabling transitions between items of content | |
US8670078B2 (en) | Two-sided remote control | |
US10565288B2 (en) | Video streaming in a web browser | |
US10534460B2 (en) | Terminal apparatus, display method and recording medium | |
US8799828B2 (en) | Scrolling method and apparatus for electronic device | |
JP2008140182A (ja) | 入力装置、送受信システム、入力処理方法、および制御プログラム | |
CN104866262B (zh) | 可穿戴设备 | |
TWI702843B (zh) | 遠端觸控操作的電視系統 | |
WO2018120768A1 (zh) | 一种遥控方法和终端 | |
JP2015080025A (ja) | 電子機器および通信制御方法 | |
JP6022076B2 (ja) | 電子機器および通信制御方法 | |
CN103218057B (zh) | 触摸遥控多媒体类电子设备的方法 | |
JP5284549B1 (ja) | 表示制御装置および表示制御方法 | |
JP5802312B2 (ja) | 放送受信装置、拡張機能実行装置、放送受信装置の制御方法、および、情報処理装置 | |
TWI524691B (zh) | 遠端控制方法以及實現此方法之系統、接收裝置、行動上網裝置以及記錄媒體 | |
CN103491402A (zh) | 终端设备以及控制方法 | |
US20120113033A1 (en) | Display device, display program, and display method | |
CN202033732U (zh) | 一种遥控设备、键盘及游戏手柄 | |
JP6106564B2 (ja) | 放送受信装置 | |
WO2014084346A1 (ja) | 情報通信装置とその制御方法とプログラム | |
JP2014007479A (ja) | セットトップボックス | |
KR20110065615A (ko) | 휴대기기에서 재생 중인 동영상 내의 오브젝트 조작에 의한 동영상 제어 방법과 그 휴대기기 | |
KR20130033182A (ko) | 영상표시장치의 동작 방법 | |
JP2008148061A (ja) | 放送受信装置、放送受信方法、制御プログラム、および、放送番組受信提示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130313 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |