JP5772023B2 - 情報処理システム及び情報処理方法 - Google Patents

情報処理システム及び情報処理方法 Download PDF

Info

Publication number
JP5772023B2
JP5772023B2 JP2011022983A JP2011022983A JP5772023B2 JP 5772023 B2 JP5772023 B2 JP 5772023B2 JP 2011022983 A JP2011022983 A JP 2011022983A JP 2011022983 A JP2011022983 A JP 2011022983A JP 5772023 B2 JP5772023 B2 JP 5772023B2
Authority
JP
Japan
Prior art keywords
information
displayed
text
display
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011022983A
Other languages
English (en)
Other versions
JP2012164070A (ja
Inventor
健 宮下
健 宮下
麗子 宮崎
麗子 宮崎
嘉人 大木
嘉人 大木
松一郎 守屋
松一郎 守屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011022983A priority Critical patent/JP5772023B2/ja
Priority to US13/359,903 priority patent/US8730158B2/en
Priority to CN201210020292.6A priority patent/CN102693114B/zh
Publication of JP2012164070A publication Critical patent/JP2012164070A/ja
Application granted granted Critical
Publication of JP5772023B2 publication Critical patent/JP5772023B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782Web browsing, e.g. WebTV
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208Display device provided on the remote control
    • H04N21/42209Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/025LAN communication management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Description

本発明は、情報処理システム及び情報処理方法に関し、例えば、複数の表示部に対して情報を表示させる情報処理システムに適用して好適なものである。
近年、操作部と表示部を兼ねたタッチスクリーンを有する情報処理装置が広く普及しており、このような情報処理装置として、例えば、テレビジョン受像機(これをTV受像機とも呼ぶ)のリモートコントローラ(これをリモコンとも呼ぶ)がある。
このようなタッチスクリーン付きのリモコンでは、タッチスクリーンに対するタッチ操作によりTV受像機を操作できるばかりでなく、様々な情報をタッチスクリーンに表示してユーザに確認させることができるようになっている。
例えば、TV受像機から番組表のデータを取得して、このデータをもとにタッチスクリーンに番組表を表示することにより、手元で番組表を確認しながら視聴又は録画する番組を選択できるようにしたリモコンが提案されている。(例えば、特許文献1参照)。
このリモコンは、タッチスクリーンに対するタッチ操作により番組表を表示するよう指示されると、TV受像機から番組表のデータを取得して、このデータをもとに、タッチスクリーンに番組表を表示させるようになっている。
特開2003−32509公報
ところで、上述したようなタッチスクリーン付きのリモコンと、TV受像機とで構成されるシステムの場合、システム全体として、複数の表示部(リモコンのタッチスクリーンとTV受像機の表示部)を有していることになる。
このようなシステムでは、従来、複数の表示部を有効利用するために、システムを構成するハードウェアからシステム上で動作するアプリケーションまでを含めたシステム全体の中で、どの情報をどの表示部に表示させるのかが決められている。
このため、このような従来のシステムで、例えば、複数の表示部を利用して表示することを想定していない情報(例えばWebページ)をシステムの外部から取得して表示するような場合、複数の表示部を有効利用することができなかった。
このように、従来のシステムでは、複数の表示部を有効利用できない場合があり、この点が改善されれば、ユーザにとって、より使い易いものになると考えられる。
本発明は以上の点を考慮してなされたもので、従来と比して一段と使い易い情報処理システム及び情報処理方法を提案しようとするものである。
かかる課題を解決するため本発明においては、第1の表示部に表示されている操作対象のうちのテキスト入力欄を選択する操作が行われると、当該テキスト入力欄を第2の表示部に表示させる情報とする第1の制御部と、第2の表示部に表示させる情報とされたテキスト入力欄を第2の表示部に表示させるための制御情報を、当該第2の表示部を有する第2の装置に送信する第1の通信部とを有する第1の装置と、第1の装置から送信されてくる制御情報を受信する第2の通信部と、第2の通信部により受信された制御情報に基づいて、第2の表示部に表示する情報とされたテキスト入力欄を当該第2の表示部に表示させる第2の制御部とを有する第2の装置とを設け、第2の装置は、第2の制御部が、テキスト入力欄を第2の表示部に表示させた後、所定の入力部を介して入力されたテキストを、そのまま当該テキスト入力欄に表示させ、第2の通信部が、所定の入力部を介して入力されたテキストを示す入力テキスト情報を、第1の装置に送信し、第1の装置は、テキスト入力欄に入力するテキストが秘匿情報でない場合、第1の通信部が入力テキスト情報を受信すると、第1の制御部が、当該入力テキスト情報に示されたテキストを、そのまま第1の表示部に表示されているテキスト入力欄に表示させ、テキスト入力欄に入力するテキストが秘匿情報である場合、第1の通信部が入力テキスト情報を受信すると、第1の制御部が、当該入力テキスト情報に示されたテキストを、第1の表示部に表示されているテキスト入力欄に確認できない状態で表示させるようにした。
このように、第1の装置の第1の表示部に表示されている操作対象としてのテキスト入力欄を選択する操作が行われると、このテキスト入力欄を第2の装置の第2の表示部に表示させる情報として、当該第2の表示部に表示させ、第2の装置でテキストを入力させるようにした。
こうすることで、例えば、1つの表示部に表示することを想定して作られているWebページなどに含まれるテキスト入力欄を表示するような場合でも、第1の表示部と第2の表示部の複数の表示部を有効に利用してこのテキスト入力欄を表示させることができる。
本発明によれば、1つの表示部に表示することを想定して作られているWebページなどに含まれるテキスト入力欄を表示するような場合でも、第1の表示部と第2の表示部の複数の表示部を有効に利用してこのテキスト入力欄を表示させることができる。かくして、従来と比して一段と使い易い情報処理システム及び情報処理方法を実現することができる。
実施の形態の概要となる情報処理システムの機能構成を示すブロック図である。 TVシステムの構成を示す略線図である。 TV受像機のハードウェア構成を示すブロック図である。 リモコンのハードウェア構成を示すブロック図である。 TV画面に表示したWebページを示す略線図である。 2画面を利用した表示例(1)の説明にともなう略線図である。 2画面を利用した表示例(2)の説明にともなう略線図である。 2画面を利用した表示例(3)の説明にともなう略線図である。 2画面表示処理手順の概要を示すフローチャートである。 2画面表示処理手順の詳細を示すフローチャートである。 図10に示すフローチャートにつづくフローチャートである。 2画面を利用した他の表示例(1)の説明にともなう略線図である。 2画面を利用した他の表示例(2)の説明にともなう略線図である。
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明する。尚、説明は以下の順序で行う。
1.実施の形態の概要
2.実施の形態の具体例
3.実施の形態の変形例
<1.実施の形態の概要>
まず、実施の形態の概要を説明する。因みに、この概要を説明した後、実施の形態の具体例の説明に移り、最後に実施の形態の変形例を説明する。
図1において1は、情報処理システムを示す。この情報処理システム1は、第1の表示部2を有する第1の装置3と、第2の表示部4を有する第2の装置5とで構成される。尚、第1の表示部2は、第1の装置3に設けられていてもよいし、接続されるようになっていてもよい。同様に、第2の表示部4も、第2の装置5に設けられていてもよいし、接続されるようになっていてもよい。
さらに第1の装置3には、第1の表示部2に表示されている操作対象が操作されると、当該操作対象の属性に基づいて、第2の表示部4に表示させる情報を決定する制御部6が設けられている。さらに第1の装置3には、制御部6により決定された情報を第2の表示部4に表示させるための制御情報を、当該第2の表示部4を有する第2の装置5に送信する通信部7が設けられている。
一方、第2の装置5には、第1の装置3から送信されてくる制御情報を受信する通信部8と、通信部8により受信された制御情報に基づいて、第2の表示部4に表示するよう決定された情報を第2の表示部4に表示させる制御部9とが設けられている。
このように、情報処理システム1では、第1の表示部2に表示されている操作対象が操作されると、その都度、第1の装置3が、この操作対象の属性に基づいて、第2の表示部4に表示させる情報を決定するようにした。
こうすることで、例えば、1つの表示部に表示することを想定して作られている情報を表示するような場合でも、第1の表示部2に表示されている操作対象の属性をもとに、第2の表示部4に表示する情報を決定して、この情報を第2の表示部に表示させることができる。
具体的に、第1の装置3の制御部6は、第1の表示部2に表示されているテキスト入力欄を選択する操作が行われると、当該テキスト入力欄を、上記第2の表示部4に表示させる情報とする。そして、第1の装置3の通信部7が、テキスト入力欄を第2の表示部4に表示させるための制御情報を、第2の装置5に送信する。この結果、第2の装置5によって、第2の表示部4にテキスト入力欄が表示され、テキスト入力可能な状態となる。
さらに第1の装置3の通信部7は、制御情報を送信した後、第2の装置5から送信されてくる、入力されたテキストを示す入力テキスト情報を受信する。そして第1の装置3の制御部6は、この入力テキスト情報に示されたテキストを、第1の表示部2に表示されているテキスト入力欄に表示させる。
ここで、第1の装置3の制御部6は、第1の表示部2に表示されているテキスト入力欄に入力するテキストが秘匿情報である場合、受信した入力テキスト情報に示されたテキストを、第1の表示部2に表示されているテキスト入力欄に確認できない状態で表示させるようにしてもよい。
さらに第1の装置3の制御部6は、第1の表示部2に表示されている追加情報表示ボタンを押下する操作が行われると、当該操作に応じて追加表示する追加表示情報を、第2の表示部4に表示させる情報とする。そして、第1の装置3の通信部7が、追加表示情報を第2の表示部4に表示させるための制御情報を、第2の装置5に送信する。この結果、第2の装置5によって、第2の表示部4に追加表示情報が表示される。
さらに、第1の装置3の制御部6は、第1の表示部2に表示されている表示内容更新ボタンを押下する操作が行われると、第2の表示部4に表示させる情報を無しとし、第1の表示部2の表示内容を更新する。
さらに、第1の装置3の制御部6は、第2の表示部4に表示させる情報を決定すると、第1の表示部2に、第2の表示部4に表示するよう決定した情報が画面から飛び出していくようなアニメーションを表示させる。
さらに、第2の装置5の制御部9は、第1の装置3から送信されてくる制御情報を受信すると、この制御情報に基づいて、第2の表示部4に、当該第2の表示部4に表示するよう決定された情報が画面に飛び込んでくるようなアニメーションを表示させる。
このような構成でなる情報処理システム1の具体例について、以下、詳しく説明する。
<2.実施の形態の具体例>
[2−1.携帯端末の外観構成]
次に、本実施の形態の具体例について説明する。まず図2を用いて、上述した第1の装置の具体例であるTV受像機100と、第2の装置の具体例であるリモコン101とからなるTVシステム102のシステム構成について説明する。
このTVシステム102のTV受像機100は、TV放送受信機能にくわえてインターネット接続機能を有している。
実際、TV受像機100は、アンテナ(図示せず)を介してTV放送信号を受信する。そしてTV受像機100は、受信したTV放送信号からTV放送の映像と音声を抽出し、映像をディスプレイ100Aに表示させ、音声をスピーカ100Bから出力する。このようにしてTV受像機100は、ユーザにTV放送を視聴させ得るようになっている。
またこのTV受像機100は、ルータ(図示せず)を介してインターネットに接続される。そしてTV受像機100は、インターネット上の任意のWebサーバからページデータを取得し、このページデータに基づくWebページをディスプレイ100Aに表示させる。このようにして、TV受像機100は、ユーザにWebページを閲覧させ得るようになっている。
一方、リモコン101は、その筐体にタッチスクリーン101Aと操作ボタン101Bが設けられ、また所定の無線方式でTV受像機100と無線通信するようになっている。
実際、リモコン101は、タッチスクリーン101A又は操作ボタン101Bに対して所定の操作が行われると、どのような操作が行われたのかを示す操作情報をTV受像機100に送信する。TV受像機100は、この操作情報を受信し、この操作情報に応じて動作する。
このようにして、TVシステム102は、リモコン101でTV受像機100を操作できるようになっている。
さらに、このTVシステム102では、TV受像機100のディスプレイ100Aの画面をメイン画面、リモコン101のタッチスクリーン101Aの画面をサブ画面として2つの画面を連携させ、それぞれに様々な情報を表示させるようにもなっている。尚、ここでは、ディスプレイ100Aの画面をTV画面、タッチスクリーン101Aの画面をリモコン画面と呼ぶ。また、これら2つの画面をどのように連携させて、どのような情報を表示させるのかについて、詳しくは後述する。
[2−2.TV受像機及びリモコンのハードウェア構成]
次に、TV受像機100及びリモコン101のハードウェア構成について説明する。まず図3を用いてTV受像機100のハードウェア構成から説明する。
TV受像機100は、CPU110が、不揮発性メモリ111に記憶されているプログラムをRAM112にロードして、このプログラムを実行することで全体を制御するようになっている。
またTV受像機100は、無線インタフェース(I/F)113によりリモコン101と通信するようになっていて、例えば、リモコン101から送信されてくる操作情報を、この無線I/F113で受信して、CPU110に送る。CPU110は、この操作情報に応じて、TV受像機100の各部の動作を制御する。
実際、リモコン101に対してTV放送の受信を指示する操作が行われたとする。するとCPU110は、リモコン101から送信されてくる操作情報を無線I/F113を介して取得して、この操作情報をもとに、TV放送の受信を指示する操作が行われた旨を認識し、TV放送を受信するよう各部の動作を制御する。
すなわち、チューナ114は、CPU110の制御のもと、アンテナAtにより受信されたTV放送信号から、例えばリモコン101の操作により指定されたチャンネルのトランスポートストリームを得、これをデスクランブラ115に送る。
デスクランブラ115は、CPU110の制御のもと、トランスポートストリームのスクランブルを解除するための鍵を、TV受像機100に装着された所定のICカード(図示せず)から得、この鍵で、送られてきたトランスポートストリームのスクランブルを解除する。そしてデスクランブラ115は、このスクランブルが解除されたトランスポートストリームを、デマルチプレクサ(DEMUX)116に送る。
デマルチプレクサ116は、CPU110の制御のもと、スクランブルが解除されたトランスポートストリームからオーディオデータとビデオデータとを分離して、オーディオデータをオーディオデコーダ117に送り、ビデオデータをビデオデコーダ118に送る。
オーディオデコーダ117は、CPU110の制御のもと、送られてきたオーディオデータをデコードすることで、音声データを得、これを音声処理回路119に送る。音声処理回路119は、送られてきた音声データに対して音声処理を施すことで、音声信号を得、これをスピーカ100Bに送る。この結果、スピーカ100Bから、音声信号に基づく音声、すなわちTV放送の音声が出力される。
一方、ビデオデコーダ118は、CPU110の制御のもと、送られてきたビデオデータをデコードすることで、映像データを得、これを映像処理回路120に送る。映像処理回路120は、送られてきた映像データに対して映像処理を施すことで、映像信号を得、これをディスプレイ100Aに送る。この結果、ディスプレイ100Aに、映像信号に基づく映像、すなわちTV放送の映像が表示される。
このようにしてTV受像機100は、番組をユーザに視聴させ得るようになっている。
またTV受像機100は、ネットワークインタフェース(I/F)121を介してルータRtに接続され、このルータRtを経由してインターネットに接続されるようになっている。
実際、リモコン101に対してインターネットへの接続を指示する操作が行われたとする。すると、CPU110は、無線I/F113から送られてくる操作情報をもとに、インターネットへの接続を指示する操作が行われた旨を認識し、ネットワークI/F121を介してインターネットに接続する。
さらにCPU110は、例えばリモコン101の操作により指定されたWebページのページデータを、ネットワークI/F121を介してインターネットから受信して、これをグラフィックス処理回路122に送る。
グラフィックス処理回路122は、CPU110の制御のもと、ページデータをもとに、Webページの画像データを生成して、これを映像処理回路120に送る。映像処理回路120は、送られてきた画像データに対して映像処理を施すことで画像信号を得、これをディスプレイ100Aに送る。この結果、ディスプレイ100Aに、画像信号に基づく画像、すなわちWebページが表示される。
尚、このときディスプレイ100Aには、Webページ上に、任意の箇所を指定するためのカーソルも表示されるようにもなっている。
さらにCPU110は、適宜、無線I/F113を介して、リモコン101に制御情報を送信することで、リモコン101の動作を制御するようにもなっている。
具体的に、CPU110は、リモコン101に対して、例えば、所定の情報をタッチスクリーン101Aに表示させるための制御情報を、無線I/F113を介して、リモコン101に送信する。この結果、リモコン101のタッチスクリーン101Aに所定の情報が表示されることになる。
つまり、TV受像機100は、自身のディスプレイ100Aに情報を表示させるばかりでなく、リモコン101のタッチスクリーン101Aにも情報を表示させることができるようになっている。
次に、図4を用いてリモコン101のハードウェア構成について説明する。リモコン101は、CPU130が、不揮発性メモリ131に記憶されているプログラムをRAM132にロードして、このプログラムを実行することで全体を制御するようになっている。
リモコン101の筐体に設けられたタッチスクリーン101Aは、各種情報を表示する表示デバイスである表示パネル133と、操作入力を受け付ける操作入力デバイスであるタッチパネル134とで構成される。
CPU130は、このタッチパネル134から出力される操作面上のタッチ位置を取得して、これを表示パネル133の画面座標に変換することで、画面上のどの箇所がタッチされたのかを認識する。
またCPU130は、タッチパネル134から出力されるタッチ位置を、所定時間ごとに取得することで、タッチ位置の変位を検出する。そしてCPU130は、このタッチ位置の変位をもとに、画面上でタッチ位置がどのように動いたのか(すなわちタッチ位置の軌跡)を認識する。
CPU130は、このようにして認識したタッチ位置とその軌跡とに基づいて、画面に対してどのようなタッチ操作が行われたのかを特定し、このタッチ操作を操作入力として受け付けるようになっている。
尚、CPU130は、タッチ(触る)、タップ(触って離す)、ドラッグ(なぞる)、フリック(払う)等のタッチ操作を、操作入力として受け付けるようになっている。
またCPU130は、操作ボタン101Bに対する押下操作を認識すると、これをユーザによる操作入力として受け付けるようにもなっている。
さらにリモコン101は、無線I/F135によりTV受像機100と通信するようになっていて、例えば、タッチスクリーン101Aに対して所定のタッチ操作が行われると、このタッチ操作に対応する操作情報を、無線I/F135を介してTV受像機100に送信する。
ここで、例えば、タッチスクリーン101Aに、TV放送に対応するアイコンが表示されている状態で、ユーザが、このアイコンをタップしたとする。
するとCPU130は、このようなタッチ操作が行われた旨を示す操作情報を、無線I/F135を介してTV受像機100に送信する。TV受像機100は、この操作情報をもとに、TV放送の受信を指示する操作が行われたと認識して、TV放送の映像をディスプレイ100Aに表示させると共に音声をスピーカ100Bから出力する。
また、例えば、タッチスクリーン101Aに、インターネットに対応するアイコンが表示されている状態で、ユーザが、このアイコンをタップしたとする。
するとCPU130は、このようなタッチ操作が行われた旨を示す操作情報を、無線I/F135を介してTV受像機100に送信する。TV受像機100は、この操作情報をもとに、インターネットへの接続を指示する操作が行われたと認識して、インターネットに接続し、例えば、ホームページに設定されているWebページをディスプレイ100Aに表示させる。
さらにTV受像機100にWebページが表示されている状態で、ユーザが、リモコン101のタッチスクリーン101A上をドラッグしたとする。
するとCPU130は、このようなタッチ操作が行われた旨を示す操作情報を、無線I/F135を介してTV受像機100に送信する。TV受像機100は、この操作情報をもとに、カーソルの移動を指示する操作が行われたと認識して、Webページ上に表示されているカーソルを移動させる。因みに、このようなタッチ操作(ドラッグ)を、カーソル移動操作とも呼ぶ。
さらにこのカーソルが任意の箇所に位置している状態で、ユーザが、リモコン101のタッチスクリーン101A上をタップしたとする。
するとCPU130は、このようなタッチ操作が行われた旨を示す操作情報を、無線I/F135を介してTV受像機100に送信する。TV受像機100は、この操作情報をもとに、カーソルにより指定された箇所の選択を指示する操作が行われたと認識して、Webページ内の、カーソルにより指定された箇所を選択する。因みに、このようなタッチ操作(タップ)を、選択操作とも呼ぶ。
このようにして、リモコン101は、TV受像機100の操作部として機能する。
さらに、リモコン101は、TV受像機100から送信されてくる制御情報を、無線I/F135で受信して、CPU130に送る。CPU130は、この制御情報に応じて、リモコン101の各部の動作を制御する。
ここで、例えば、TV受像機100から所定の情報をタッチスクリーン101Aに表示させるための制御情報が送信されたとする。
するとCPU130は、この制御情報を無線I/F135を介して取得して、この制御情報をもとに、指定された情報をタッチスクリーン101Aに表示させる。
このように、リモコン101は、TV受像機100側から制御できるようになっていて、例えば、TV受像機100のサブディスプレイとして機能する。
因みに、実施の形態の概要で説明した第1の装置3の第1の表示部2の具体的なハードウェアの例が上述したTV受像機100のディスプレイ100Aである。また第1の装置3の制御部6の具体的なハードウェアの例がTV受像機100のCPU110である。さらに第1の装置3の通信部7の具体的なハードウェアの例がTV受像機100の無線I/F113である。
さらに第2の装置5の第2の表示部4の具体的なハードウェアの例がリモコン101のタッチスクリーン101Aである。さらに第2の装置5の通信部8の具体的なハードウェアの例がリモコン101の無線I/F135である。さらに第2の装置5の制御部9の具体的なハードウェアの例がリモコン101のCPU130である。
[2−3.2つの表示部を利用した情報の表示]
次に、TV受像機100のTV画面をメイン画面、リモコン101のリモコン画面をサブ画面として2つの画面を連携させ、それぞれに情報を表示させるときの動作について、具体例を用いて詳述する。
まず、図5に示すように、TV画面(すなわちメイン画面)に、任意のWebページ200が表示されているとする。尚、TV画面の表示制御は、主としてTV受像機100のCPU110が行う。
ここでは、一例として、或るサービスへのユーザ登録を行うためのWebページ200がTV画面に表示されているとする。このWebページ200は、HTMLなどのマークアップ言語で記述され、インターネット上に公開されているページである。
このWebページ200には、操作対象となる種々のオブジェクトが配置されている。具体的には、ユーザの性及び名をそれぞれテキストで直接入力するためのテキストボックスTb1、Tb2や、ユーザの生まれた年月日のそれぞれをリストから選択して入力するためのリストボックスLb1、Lb2、Lb3が配置されている。
また、既にユーザ登録を済ませたユーザがサインインに必要な情報を入力するためのウインドウを別途表示させるための表示ボタンBt1や、サービスに関する詳細情報が記されたウインドウを別途表示させるための表示ボタンBt2が配置されている。
さらに、このWebページ200には、サイトのトップページに移るためのリンクボタンLiなども配置されている。
TV画面には、このような構成のWebページ200が表示されていると共に、Webページ200上の任意の箇所を指定するためのカーソルCsも表示されている。
さらにこのTV画面では、ユーザがリモコン101に対してカーソル移動操作(ドラッグ)を行うことで、カーソルCsをWebページ200上の任意の位置に移動させることができるようになっている。
さらにこのTV画面では、カーソルCsを所望のオブジェクト上に移動させることで所望のオブジェクトにフォーカスを当てることができ、またフォーカスが当てられているオブジェクトを強調表示するようになっている。
そしてこのTV画面では、所望のオブジェクトにフォーカスが当てられている状態で、ユーザがリモコン101に対して選択操作(タップ)を行うことで、フォーカスが当てられているオブジェクトを選択できるようになっている。
このようにしてTV画面上でオブジェクトが選択されると、TV受像機100のCPU110は、選択されたオブジェクトの種類に応じて、リモコン画面(すなわちサブ画面)に表示させる情報を決定する。
そしてTV受像機100のCPU110は、この情報をリモコン画面に表示させるための制御情報を、無線I/F113を介してリモコン101に送信することで、この情報をリモコン画面に表示させる。
より詳しく説明すると、例えば、図6(A)に示すように、選択されたオブジェクトが、表示ボタンBt(例えばBt2)だったとする。
尚、実際のTV画面には、図5に示すように、Webページ200全体が表示されているが、ここでは、説明をわかり易くするため、図6乃至図9において、TV画面に、選択されたオブジェクトのみを表示させている。
このときTV受像機100のCPU110は、リモコン画面に表示させる情報を、この表示ボタンBt2に対応付けられているウインドウ(すなわち表示ボタンBt2が選択されたときに表示するよう指定されているサービスの詳細情報が記されたウインドウ)に決定する。
ここでTV受像機100のCPU110は、まず図6(B)に示すように、TV画面に、選択された表示ボタンBt2に対応付けられているウインドウWdが画面手前側に飛び出していくようなアニメーションを表示させる。尚、この時点で、リモコン画面には、まだ何も表示されていない。
つづけてCPU110は、このウインドウWdをリモコン画面に表示させるための制御情報を、無線I/F113を介してリモコン101に送信する。この制御情報には、例えば、ウインドウWdの画像データと、この画像データに基づいてウインドウWdを表示するよう指示するコマンドとが含まれている。
リモコン101のCPU130は、無線I/F135を介してこの制御情報を受信する。するとCPU130は、この制御情報をもとに、図6(C)に示すように、リモコン画面に、ウインドウWdが画面奥側から飛び込んでくるようなアニメーションを表示させる。
このように、TVシステム102では、TV画面から前方にウインドウWdが飛び出していくようなアニメーションを表示させた後、リモコン画面に前方からウインドウWdが飛び込んでくるようなアニメーションを表示させる。こうすることで、TVシステム102では、TV画面を見ているユーザの視線を、TV画面から手元のリモコン画面に誘導するようになっている。
その後、CPU130は、図6(D)に示すように、このウインドウWdをリモコン画面に固定表示させる。
これにより、TV画面上で選択された表示ボタンBt2に対応付けられている、サービスの詳細情報が記されたウインドウWdを、リモコン画面上で確認できる状態となる。
このように、TVシステム102では、まずTV画面にWebページ200を表示させ、このWebページ200内の表示ボタンBtが選択されると、この表示ボタンBtが選択されたときに表示するよう指定されているウインドウWdをリモコン画面に表示させる。
こうすることで、このTVシステム102では、Webページの閲覧はTV画面を利用し、Webページ内の表示ボタンBtを選択することで別途表示するウインドウWdの確認はリモコン画面を利用してというように、2つの画面を有効利用することができる。
またこれとは別に、例えば、図7(A)に示すように、選択されたオブジェクトが、テキストボックスTb(例えばTb1)だったとする。このときTV受像機100のCPU110は、リモコン画面に表示させる情報を、テキストボックスと、このテキストボックスに文字入力を行うためのソフトウェアキーボードに決定する。
ここでTV受像機100のCPU110は、まず図7(B)に示すように、TV画面に、選択されたテキストボックスTb1をコピーしたテキストボックスTbxが画面手前側に飛び出していくようなアニメーションを表示させる。尚、この時点で、リモコン画面には、まだ何も表示されていない。
つづけてCPU110は、テキストボックスとソフトウェアキーボードとをリモコン画面に表示させるための制御情報を、無線I/F113を介してリモコン101に送信する。
リモコン101のCPU130は、無線I/F135を介してこの制御情報を受信する。するとCPU130は、この制御情報をもとに、図7(C)に示すように、リモコン画面に、テキストボックスTbxが画面奥側から飛び込んでくるようなアニメーションを表示させる。
このように、TVシステム102では、TV画面からリモコン側にテキストボックスTbxが飛び出していくようなアニメーションを表示させた後、リモコン画面にTV側からテキストボックスTbxが飛び込んでくるようなアニメーションを表示させる。こうすることで、TVシステム102では、TV画面を見ているユーザの視線を、TV画面からリモコン画面に誘導するようになっている。
その後、CPU130は、図7(D)に示すように、このテキストボックスTbxをリモコン画面の所定位置に固定表示させると共に、このテキストボックスTbxの下方に、複数のキー画像で構成されるソフトウェアキーボードSkを表示させる。
この時点で、リモコン画面上でテキストボックスTbxへの文字入力が可能な状態となる。
そしてリモコン101のCPU130は、図7(E)に示すように、リモコン画面に表示させたソフトウェアキーボードSkの各キー画像がタップされるごとに、タップされたキー画像に対応する文字をリモコン画面に表示させたテキストボックスTbx内に表示させていく。
その後、ソフトウェアキーボードSkの所定キー画像(例えばリターンキー画像)がタップされると、CPU130は、ユーザによる文字入力が完了したと判断する。
するとCPU130は、図7(F)に示すように、ソフトウェアキーボードSkを非表示にすると共に、リモコン画面に、入力されたテキストが表示されている状態のテキストボックスTbxが画面奥側に飛び出していくようなアニメーションを表示させる。
つづけてCPU130は、テキストボックスTbx内のテキスト、すなわち入力されたテキストを示す入力テキスト情報を、無線I/F135を介してTV受像機100に送信する。
TV受像機100のCPU110は、無線I/F113を介してこの入力テキスト情報を受信する。するとCPU110は、図7(G)に示すように、TV画面に、入力テキスト情報に示されたテキストが表示されている状態のテキストボックスTbxが画面手前側から飛び込んでくるようなアニメーションを表示させる。
このように、TVシステム102では、リモコン画面からTV側にテキストボックスTbxが飛び出していくようなアニメーションを表示させた後、TV画面にリモコン側からテキストボックスTbxが飛び込んでくるようなアニメーションを表示させる。こうすることで、TVシステム102では、リモコン画面を見ているユーザの視線を、再度TV画面に戻させるようになっている。
その後、CPU10は、図7(H)に示すように、TV画面に表示されている選択中のテキストボックスTb内に、入力テキスト情報に示されたテキストを表示させる。この時点で、TV画面上のテキストボックスTbへのテキスト入力が完了したことになる。
このように、TVシステム102では、まずTV画面にWebページ200を表示させ、このWebページ200内のテキストボックスTbが選択されると、テキストボックスTbxとソフトウェアキーボードSkをリモコン画面に表示させる。
こうすることで、このTVシステム102では、Webページの閲覧はTV画面を利用して、Webページ内のテキストボックスへの入力はリモコン画面を利用してというように、2つの画面を有効利用することができる。
さらに、これとは別に、例えば、図8(A)に示すように、選択されたオブジェクトが、リストボックスLb(例えばLb1)だったとする。このときTV受像機100のCPU110は、リモコン画面に表示させる情報を、このリストボックスLb1に対応付けられているリスト(すなわちリストボックスLb1が選択されたときに表示するよう指定されているリスト)Lsに決定する。
ここでTV受像機100のCPU110は、まず図8(B)に示すように、TV画面に、選択されたリストボックスLb1に対応付けられているリストLsが画面手前側に飛び出していくようなアニメーションを表示させる。このリストLsには、選択可能な複数の項目Lsiが記されている。尚、この時点で、リモコン画面には、まだ何も表示されていない。
つづけてCPU110は、リストLsをリモコン画面に表示させるための制御情報を、無線I/F113を介してリモコン101に送信する。この制御情報には、例えば、リストLsの項目Lsiを示す項目情報と、この項目情報に基づいてリストLsを表示するよう指示するコマンドとが含まれている。
リモコン101のCPU130は、無線I/F135を介してこの制御情報を受信する。するとCPU130は、この制御情報をもとに、図8(C)に示すように、リモコン画面に、リストLsが画面奥側から飛び込んでくるようなアニメーションを表示させる。
このように、TVシステム102では、TV画面からリモコン側にリストLsが飛び出していくようなアニメーションを表示させた後、リモコン画面にTV側からリストLsが飛び込んでくるようなアニメーションを表示させる。こうすることで、TVシステム102では、TV画面を見ているユーザの視線を、TV画面からリモコン画面に誘導するようになっている。
その後、CPU130は、図8(D)に示すように、このリストLsをリモコン画面に固定表示させる。
これにより、TV画面上で選択されたリストボックスLbに対応付けられているリストLsを、リモコン画面上で確認できる状態となる。
そしてリモコン101のCPU130は、図8(E)に示すように、リモコン画面に表示させたリストLsに記されている複数の項目Lsiのうちの1つがタップされると、ユーザにより項目Lsiが選択されたと判断する。
するとCPU130は、図8(F)に示すように、リモコン画面に、選択された項目Lsi(すなわちタップされた項目Lsi)のみが記されている状態のボックスBxが画面奥側に飛び出していくようなアニメーションを表示させる。
つづけてCPU130は、リストLsから選択された項目Lsiを示す選択項目情報を、無線I/F135を介してTV受像機100に送信する。
TV受像機100のCPU110は、無線I/F113を介してこの選択項目情報を受信する。するとCPU110は、図8(G)に示すように、TV画面に、選択された項目Lsiのみが記されている状態のボックスBxが画面手前側から飛び込んでくるようなアニメーションを表示させる。
このように、TVシステム102では、リモコン画面からTV側にボックスBxが飛び出していくようなアニメーションを表示させた後、TV画面にリモコン側からボックスBxが飛び込んでくるようなアニメーションを表示させる。こうすることで、TVシステム102では、リモコン画面を見ているユーザの視線を、再度TV画面に戻させるようになっている。
その後、CPU10は、図8(H)に示すように、TV画面に表示されている選択中のリストボックスLb1内に、選択項目情報に示された項目Lsiを表示させる。この時点で、TV画面上のリストボックスLb1に対する項目選択が完了したことになる。
このように、TVシステム102では、まずTV画面にWebページを表示させ、このWebページ内のリストボックスLb1が選択されると、リストボックスLb1に対応付けられているリストLsをリモコン画面に表示させる。
こうすることで、このTVシステム102では、Webページの閲覧はTV画面を利用して、Webページ内のリストボックスLbに対応付けられているリストLsの確認及びリストLsからの項目選択は、リモコン画面を利用してというように、2つの画面を有効利用することができる。
さらに、例えば、選択されたオブジェクトが、リンクボタンLiだったとする。このときTV受像機100のCPU110は、リモコン画面に表示させる情報は無しと決定する。
そしてTV受像機100のCPU110は、TV画面に、現在表示しているWebページにえて、リンクボタンLiに対応付けられているリンク先のアドレスのWebページを表示させる。
このように、TVシステム102では、Webページの閲覧については、リモコン画面と比して大画面のTV画面のみを利用するようになっている。
[2−4.処理手順]
次に、TV画面とリモコン画面の2つの画面を連携させ、それぞれに情報を表示させるときの、TV受像機100とリモコン101とで実行される処理の手順(これを2画面表示処理手順とも呼ぶ)について説明する。
ここでは、まずTV受像機100側とリモコン101側とで行われる2画面表示処理手順の概要を簡単に説明してから、TV受像機100側とリモコン101側とで行われる2画面表示処理手順の詳細について説明することとする。
まず図9に示すシーケンスチャートを用いて、2画面表示処理手順の概要について説明する。尚、このシーケンスは、主として、TV受像機100のCPU110と、リモコン101のCPU130とが協働して実行するシーケンスである。
リモコン101から操作情報などの各種情報がTV受像機100に送信されると、TV受像機100は、これを無線I/F113を介して受信する。するとTV受像機100のCPU110は、ステップSP1において、この情報を読み込んで解読し、次のステップSP2に移る。
ステップSP2においてCPU110は、解読した情報をもとに、リモコン画面に表示させる情報を決定するなどの内部処理を実行して、次のステップSP3に移る。ステップSP3においてCPU110は、アニメーションを表示させるなどしてTV画面の表示を更新し、次のステップSP4に移る。
ステップSP4においてCPU110は、無線I/F113を介してリモコン101に制御情報を送信し、再びステップSP1に戻る。
一方、TV受像機100から制御情報などの各種情報がリモコン101に送信されると、リモコン101は、これを無線I/F135を介して受信する。するとリモコン101のCPU130は、ステップSP10において、この情報を読み込んで解読し、次のステップSP11に移る。
ステップSP11においてCPU130は、解読した情報をもとに、タッチスクリーン101Aに表示する画像データを準備するなどの内部処理を実行して、次のステップSP12に移る。
ステップSP12においてCPU130は、準備した画像データに基づく画像を表示させるなどしてリモコン画面の表示を更新し、次のステップSP13に移る。
ステップSP13においてCPU130は、タッチスクリーン101Aに対するタッチ操作に応じて、操作情報などの各種情報を、無線I/F135を介してTV受像機100に送信し、再びステップSP10に戻る。
このようなシーケンスにしたがって、TV受像機100とリモコン101との間で通信が行われ、それぞれの画面の表示が更新されるようになっている。
次に、図10及び図11に示すフローチャートを用いて、2画面表示処理手順の詳細について説明する。
まずステップSP20においてTV受像機100のCPU110が、リモコン101から送信されてくる操作情報を受信したとする。すると次のステップSP21において、TV受像機100のCPU110は、この操作情報をもとに、例えば、Webページ上のオブジェクトが選択されたか否かを判断する。
このステップSP21で否定結果を得た場合、2画面表示処理手順は終了する。一方、このステップSP21で肯定結果を得た場合、TV受像機100のCPU110は、次のステップSP22において、選択されたオブジェクトの種類がリンクボタンであるか否かを判断する。
このステップSP22で肯定結果を得ると、TV受像機100のCPU110は、リモコン画面に表示させる情報は無しと決定し、次のステップSP23において、リンクボタンLiが示すリンク先のWebページをTV画面に表示させる。そして、この2画面表示処理手順が終了する。
これに対して、上述のステップSP22で否定結果を得た場合、TV受像機100のCPU110は、ステップSP24において、選択されたオブジェクトの種類が、表示ボタン、テキストボックス、リストボックスのどれであるかを判別する。
ここで、表示ボタンであると判別した場合、TV受像機100のCPU110は、リモコン画面に表示させる情報を、表示ボタンBtに対応付けられているウインドウWdに決定する。そしてCPU110は、次のステップSP25において、TV画面に、表示ボタンBtに対応付けられているウインドウWdが画面手前側に飛び出していくようなアニメーションを表示させる。
その後、TV受像機100のCPU110は、次のステップSP26において、リモコン101に対して、ウインドウWdを表示させるための制御情報を送信する。
リモコン101のCPU130は、TV受像機100から送信されてくる制御情報を受信すると、ステップSP27(図11)において、この制御情報をもとにウインドウWdを、画面奥側から飛び込んでくるようにしてリモコン画面に表示させる。そして、この2画面表示処理手順が終了する。
これに対して、選択されたオブジェクトの種類がテキストボックスであると判別した場合、TV受像機100のCPU110は、リモコン画面に表示させる情報を、テキストボックスTbxとソフトウェアキーボードSkに決定する。そしてCPU110は、ステップSP28(図10)において、TV画面に、テキストボックスTbxが画面手前側に飛び出していくようなアニメーションを表示させる。
その後、TV受像機100のCPU110は、次のステップSP29において、リモコン101に対して、テキストボックスTbxとソフトウェアキーボードSkを表示させるための制御情報を送信する。
リモコン101のCPU130は、TV受像機100から制御情報を受信すると、ステップSP30(図11)において、この制御情報をもとにテキストボックスTbxを、画面奥側から飛び込んでくるようにしてリモコン画面に表示させる。またこれとともに、CPU130は、ソフトウェアキーボードSkをリモコン画面に表示させる。
その後、リモコン101のCPU130は、ステップSP31において、リモコン画面上で、テキストボックスTbxへのテキスト入力が完了するのを待ち受ける。
そしてテキスト入力が完了したことを認識すると、リモコン101のCPU130は、ステップSP32において、リモコン画面に、テキストボックスTbxが画面奥側に飛び出していくようなアニメーションを表示させる。
その後、リモコン101のCPU130は、ステップSP33において、入力されたテキストを示す入力テキスト情報を、TV受像機100に送信する。
TV受像機100のCPU110は、リモコン101から入力テキスト情報を受信すると、ステップSP34において、TV画面に、テキストボックスTbxが画面手前側から飛び込んでくるようなアニメーションを表示させ、テキストボックスTb内に、入力されたテキストを表示させる。そして、この2画面表示処理手順が終了する。
これとは別に、選択されたオブジェクトの種類がリストボックスであると判別した場合、TV受像機100のCPU110は、リモコン画面に表示させる情報を、リストボックスLbに対応付けられているリストLsに決定する。そしてCPU110は、ステップSP35(図10)において、TV画面に、リストボックスLbに対応付けられているリストLsが画面手前側に飛び出していくようなアニメーションを表示させる。
その後、TV受像機100のCPU110は、次のステップSP36において、リモコン101に対して、リストLsを表示させるための制御情報を送信する。
リモコン101のCPU130は、TV受像機100から制御情報を受信すると、ステップSP37(図11)において、この制御情報をもとにリストLsを、画面奥側から飛び込んでくるようにしてリモコン画面に表示させる。
その後、リモコン101のCPU130は、ステップSP38において、リモコン画面上で、リストLsからの項目選択が完了するのを待ち受ける。
そして項目選択が完了したことを認識すると、リモコン101のCPU130は、ステップSP39において、リモコン画面に、リストLsから選択された項目Lsiのみが表示されたボックスBxが画面奥側に飛び出していくようなアニメーションを表示させる。
その後、リモコン101のCPU130は、ステップSP40において、選択された項目Lsiを示す選択項目情報を、TV受像機100に送信する。
TV受像機100のCPU110は、リモコン101から選択項目情報を受信すると、ステップSP41において、TV画面に、項目Lsiのみが表示されたボックスBxが画面手前側から飛び込んでくるようなアニメーションを表示させ、その後、リストボックスLb内に、選択された項目Lsiを表示させる。そして、この2画面表示処理手順が終了する。
このようにして、TVシステム102では、TV画面とリモコン画面の2つの画面を連携させ、それぞれに種々の情報を表示させるようになっている。
[2−5.動作及び効果]
以上の構成において、TV受像機100は、まずWebページ200をメイン画面となるTV画面に表示させる。
その後、リモコン101の操作により、このWebページ200内のオブジェクトが選択されると、TV受像機100は、選択されたオブジェクトの種類に応じて、サブ画面となるリモコン画面に表示させる情報を決定する。
すなわちTV受像機100は、選択されたオブジェクトの種類が、表示ボタンやリストボックスのように、ウインドウやリストなどの情報を追加表示するためのものである場合、追加表示する情報(これを追加表示情報とも呼ぶ)を、リモコン画面に表示させる情報とする。
そしてTV受像機100は、リモコン101を制御して、ウインドウやリストなどの追加表示情報を、リモコン画面に表示させる。
またTV受像機100は、選択されたオブジェクトの種類が、テキストボックスのように、テキストを入力するためのものである場合には、テキストボックスとソフトウェアキーボードを、リモコン画面に表示させる情報とする。
そしてTV受像機100は、リモコン101を制御して、テキストボックスとソフトウェアキーボードを、リモコン画面に表示させる。
さらにTV受像機100は、選択されたオブジェクトの種類が、リンクボタンのように、TV画面の表示内容を更新させるためのものである場合には、リモコン画面に表示させる情報を無しに決定する。
このように、TV画面に表示されているオブジェクトが選択されると、その都度、TV受像機100が、このオブジェクトの種類に基づいて、リモコン画面に表示させる情報を決定するようにした。
こうすることで、Webページのように、もともと複数の画面を利用して表示するようには作られていない情報であっても、TV画面とリモコン画面の2つの画面を利用して表示することができる。
以上の構成によれば、複数の画面を利用して表示するようには作られていないWebページなどの情報を表示するような場合でも、TV画面とリモコン画面の2つの画面を有効に利用してこの情報を表示することができる。
<3.実施の形態の変形例>
[3−1.変形例1]
尚、上述した実施の形態では、TV画面に表示させたWebページ200上のテキストボックスTbが選択されたときに、リモコン画面に、テキストボックスTbxとソフトウェアキーボードSbを表示して、リモコン画面上でテキスト入力できるようにした。
ここで、Webページ200上のテキストボックスTbに入力されるテキストが秘匿性の高い情報(例えばパスワード)である場合に、リモコン画面上で入力されたテキストを、リモコン画面上でのみ確認できるようにしてもよい。尚、パスワードのように、秘匿すべき情報を、ここでは、秘匿情報と呼ぶ。
この場合、図12(A)〜(D)に示すように、TV画面上でパスワード入力用のテキストボックスTbpが選択されると、通常のテキストボックスTbが選択されたときと同様にして、リモコン画面にテキストボックスTbxとソフトウェアキーボードSkが表示される。
そして、図12(E)に示すように、リモコン画面上でパスワードとなるテキストが入力されたとする。このときテキストボックスTbx内には、入力されたパスワードがそのまま表示されることで、ユーザが入力したパスワードを確認できるようになっている。
入力が完了すると、リモコン101のCPU130は、図12()に示すように、入力されたパスワードが表示されている状態のテキストボックスTbxが画面奥側に飛び出していくようなアニメーションを表示させる。
さらにCPU130は、入力されたテキスト(すなわちパスワード)を示す入力テキスト情報を、TV受像機100に送信する。
TV受像機100のCPU110は、この入力テキスト情報を受信すると、図12(G)に示すように、TV画面に、この入力テキスト情報に示されたパスワードが確認できない状態で表示されているテキストボックスTbxが画面手前側から飛び込んでくるようなアニメーションを表示させる。
そしてCPU110は、図12(H)に示すように、パスワード入力用のテキストボックスTbp内に、入力テキスト情報に示されたパスワードを確認できない状態で表示させる。
実際、図12(G)及び(H)では、入力テキスト情報に示されたパスワードの各文字を特定の文字(ここでは「*」)に置き換えて表示することで、リモコン画面上で入力されたパスワードを、TV画面上では確認できないようになっている。
こうすることで、パスワードのような秘匿性の高い情報を、TV画面を見ている他のユーザには見られることなく、リモコン101を操作しているユーザのみ確認できるようにして、入力することができる。
また、これに限らず、リモコン101側で、パスワード入力完了後、テキストボックスTbxが画面奥側に飛び出していくようなアニメーションを表示させるときに、このテキストボックスTbx内にパスワードを確認できない状態で表示させるようにしてもよい。
この場合、TV受像機100のCPU110は、リモコン101に対して、テキストボックスとソフトウェアキーボードを表示させ、さらに今回のテキスト入力がパスワード入力である旨を示す制御情報を送信するようにする。
これにより、リモコン101のCPU130は、今回のテキスト入力がパスワード入力である旨を認識して、パスワード入力完了後、テキストボックスTbx内に、確認できない状態でパスワードを表示させる。
また、このようにパスワードの入力を行うときに、リモコン画面の輝度を下げたり、リモコン画面全体の色を暗くしたりして、リモコン画面の表示を変更することで、リモコン101を操作しているユーザ以外の人に対して、画面自体を見づらくするようにしてもよい。
さらに、パスワード入力時に、リモコン101のCPU130が、リモコン画面に、枠を表示させ、この枠内をタッチさせることでユーザの指紋を取得し、この指紋からユーザを特定して、このユーザのパスワードを自動入力するなどしてもよい。
[3−2.変形例2]
また、上述した実施の形態では、例えばTV画面上でテキストボックスTbが選択されると、TV画面から前方にテキストボックスTbxが飛び出していくようなアニメーションを表示させるようにした。そして、リモコン画面に前方からテキストボックスTbxが飛び込んでくるようなアニメーションを表示させるようにした。
このようなアニメーションを表示することで、TVシステム102では、ユーザの視線を、TV画面からリモコン画面に、またはその逆に誘導するようになっている。
これに限らず、この他種々の方法で、ユーザの視線を誘導するようにしてもよい。ここで、図13(A)〜(I)を用いて、視線を誘導する他の方法について説明する。
まず、図13(A)に示すように、リモコン画面の上端部に、横長のスリットSLを常に表示させるようにする。
ここで、例えば、TV画面上でテキストボックスTbが選択されたとする。するとTV受像機100のCPU110は、図13(B)及び(C)に示すように、テキストボックスTbをコピーしたテキストボックスTbxが下方に移動して、画面下隅から消えていくようなアニメーションを表示させる。
つづけてCPU110は、テキストボックスとソフトウェアキーボードとをリモコン画面に表示させるための制御情報を、リモコン101に送信する。
リモコン101のCPU130は、この制御情報を受信すると、図13(D)に示すように、テキストボックスTbxがリモコン画面の上端部に表示されているスリットSLから下方に吐き出されるようなアニメーションを表示させる。
このように、TV画面に画面下隅からテキストボックスTbxが消えていくようなアニメーションを表示させた後、リモコン画面に、スリットSLからテキストボックスTbxが吐き出されるようなアニメーションを表示させる。
こうすることで、ユーザの視線をTV画面からリモコン画面にスムーズに誘導することができる。
その後、図13(E)に示すように、このテキストボックスTbxをリモコン画面の所定位置に固定表示させると共に、このテキストボックスTbxの下方に、ソフトウェアキーボードSkを表示させる。
そして図13(F)に示すようにテキストが入力され、ソフトウェアキーボードSkの所定キー画像がタップされると、CPU130は、ユーザによるテキスト入力が完了したと判断する。
するとCPU130は、図13(G)に示すように、ソフトウェアキーボードSkを非表示にすると共に、リモコン画面に、入力されたテキストが表示されている状態のテキストボックスTbxがスリットSLに吸い込まれていくようなアニメーションを表示させる。
つづけてCPU130は、入力されたテキストを示す入力テキスト情報を、TV受像機100に送信する。
TV受像機100のCPU110は、この入力テキスト情報を受信すると、図13(H)に示すように、テキストボックスTbxが画面下隅から現れて、上方に移動していくようなアニメーションを表示させる。
このように、リモコン画面にスリットSLにテキストボックスTbxが吸い込まれていくようなアニメーションを表示させた後、TV画面に画面下隅からテキストボックスTbxが現れるようなアニメーションを表示させる。
こうすることで、ユーザの視線をリモコン画面からTV画面にスムーズに誘導することができる。
その後、CPU110は、図13(I)に示すように、TV画面に表示されている選択中のテキストボックスTbに、入力テキスト情報に示されたテキストを表示させる。
このような方法で、ユーザの視線を誘導するようにしてもよい。
またこれに限らず、TV画面の下端部にもスリットを表示させて、このスリットにテキストボックスなどのオブジェクトが吸い込まれたり、このスリットから吐き出されたりするようなアニメーションを表示させるようにしてもよい。
さらにリモコン画面にスリットSLを表示せずに、リモコン画面にオブジェクトが画面上隅から現れるようなアニメーションを表示させるなどしてもよい。
さらに視線をリモコン画面に移すよう促す文章をTV画面に表示させたり、視線を移すよう促す音声をTV受像機100のスピーカ100Bから出力させたりしてもよい。
さらにリモコン101の筐体に、筐体を振動させるためのモータを内蔵させて、このモータを駆動して筐体を振動させることで、視線をリモコン画面に誘導させるようにするなどしてもよい。
さらにこれらのような種々の方法を組み合わせて、ユーザの視線を誘導するようにしてもよい。
[3−3.変形例3]
さらに上述した実施の形態では、テキスト入力時に、リモコン画面に、テキストボックスTbxとソフトウェアキーボードSkとを表示させるようにした。
このとき、テキストボックスTbxのアニメーションだけでなく、ソフトウェアキーボードSkのアニメーション(例えば画面下隅から現れるようなアニメーション)を表示させるようにしてもよい。
[3−4.変形例4]
さらに上述した実施の形態では、例えば、TV画面上で表示ボタンBtが選択されたときに、対応するウインドウWdの画像データと、ウインドウWdを表示するよう指示するコマンドとを含んだ制御情報をTV受像機100からリモコン101に送信するようにした。
これに限らず、例えば、ウインドウWdの画像データの代わりに、ウインドウWdの画像データを生成するためのソースと、コマンドとをリモコン101に送信するようにしてもよい。
この場合、リモコン101のCPU130は、このソースをもとに、ウインドウWdの画像データを生成して、リモコン画面に表示させる。
また、このソースに、インターネット上に存在するコンテンツのアドレスが含まれている場合、TV受像機100は、ソースと共に、インターネット上から取得したコンテンツのデータも、リモコン101に送信するようにする。
こうすることで、リモコン101では、リモコン画面に、コンテンツを再生するウインドウWdを表示することができる。
さらに、リモコン101に、インターネット接続機能を持たせることで、リモコン101自身がインターネットにアクセスして、ソースに含まれるアドレスをもとにコンテンツのデータを取得するようにしてもよい。
[3−5.変形例5]
さらに上述した実施の形態では、TV画面上で選択された操作対象であるオブジェクトの種類に応じて、リモコン画面に表示する情報を決定するようにした。
これに限らず、オブジェクトの様々な属性に応じて、リモコン画面に表示する情報を決定するようにしてもよい。
例えば、テキストボックスが選択されたときに、そのテキストボックスに入力すべき情報に応じて、リモコン画面に表示する情報を決定するようにしてもよい。
具体的には、入力すべき情報が秘匿性の高い情報(パスワードやクレジットカードの番号など)である場合には、テキストボックスとソフトウェアキーボードをリモコン画面に表示させて、リモコン画面上でテキスト入力を行うことができるようにする。
この場合、入力対象が秘匿性の高い情報でなければ、リモコン画面には何も表示させず、TV画面上で直接テキストボックスへのテキスト入力を行うことができるようにする。
また、例えば、リストボックスが選択されたときに、そのリストボックスに対応付けられているリストの項目数に応じて、リモコン画面に表示する情報を決定するようにしてもよい。
具体的には、例えば、リストの項目数が所定数以上の場合には、リモコン画面に表示させる情報をこのリストとし、所定数未満の場合には、リモコン画面に表示させる情報を無しとする。この場合、リストは、TV画面に表示するようにする。
さらに、例えば、表示ボタンが選択されたときに、その表示ボタンに対応付けられているウインドウの表示サイズに応じて、リモコン画面に表示する情報を決定するようにしてもよい。
具体的には、例えば、ウインドウの表示サイズが所定サイズ(例えばリモコン画面の表示サイズ)以下の場合には、リモコン画面に表示させる情報をこのウインドウとし、所定サイズを超える場合には、リモコン画面に表示させる情報を無しとする。この場合、ウインドウは、TV画面に表示するようにする。
[3−6.変形例6]
さらに上述した実施の形態では、TV画面に表示したWebページ上のオブジェクトが選択されたときに、オブジェクトの種類に応じて、リモコン画面に表示させる情報を決定するようにした。これに限らず、TV画面に表示したこの他種々のアプリケーション画面上の種々の操作対象が操作されたときに、操作対象の属性に応じて、リモコン画面に表示させる情報を決定するようにしてもよい。
[3−7.変形例7]
さらに上述した実施の形態では、TV受像機100のディスプレイ100Aと、リモコン101のタッチスクリーン101Aの2つの表示部を有するTVシステム102に本発明を適用するようにした。
これに限らず、本発明を、2つの表示部を有する他のシステムや装置に適用するようにしてもよく、また適用することができる。
例えば、ノートブック型のパーソナルコンピュータと携帯電話機とで構成されるシステムに適用したり、モニタに接続された据置型のゲーム機と携帯型ゲーム機とで構成されるシステムに適用したり、2つの表示部を有する1台の装置に適用したりしてもよい。
[3−8.変形例8]
さらに、上述した実施の形態では、リモコン101に、表示パネル133とタッチパネル134とで構成されるタッチスクリーン101Aを設けるようにした。
これに限らず、タッチスクリーン101Aの代わりに、タッチパネルの機能を有するディスプレイをリモコン101に設けるなどしてもよい。
さらに表示パネル133についても、液晶ディスプレイ、EL(Electroluminescence display)ディスプレイ等、種々のディスプレイを用いるようにしてもよい。
さらに操作部と表示部とを兼用したデバイスに限らず、例えば、表示パネルと操作ボタンとを個別にリモコン101に設けるようにしてもよい。
[3−9.変形例9]
さらに上述した実施の形態では、情報処理装置及び第1の装置としてのTV受像機100に、第1の表示部としてのディスプレイ100Aと、制御部及び第1の制御部としてのCPU110と、通信部及び第1の通信部としての無線I/F113を設けるようにした。
本発明はこれに限らず、同様の機能を有するのであれば、上述したTV受像機100の各機能部(第1の表示部、制御部及び第1の制御部、通信部及び第1の通信部)を、他の種々のハードウェアにより構成するようにしてもよい。
また、同様の機能を有していれば、TV受像機100に限らず、モニタに接続されたパーソナルコンピュータ、ビデオレコーダ、ゲーム機などに本発明を適用するようにしてもよい。
一方、情報処理装置及び第2の装置としてのリモコン101に、第2の表示部としてのタッチスクリーン101Aと、制御部及び第2の制御部としてのCPU130と、通信部及び第2の通信部としての無線I/F135を設けるようにした。
本発明はこれに限らず、同様の機能を有するのであれば、上述したリモコン101の各機能部(第2の表示部、制御部及び第2の制御部、通信部及び第2の通信部)を、他の種々のハードウェアにより構成するようにしてもよい。
また、同様の機能を有していれば、リモコン101に限らず、スマートフォン、携帯型ゲーム機、タブレット型コンピュータなどに本発明を適用するようにしてもよい。
[3−10.変形例10]
さらに上述した実施の形態では、各種処理を実行するためのプログラムを、TV受像機100の不揮発性メモリ111に書き込んでおくようにした。
これに限らず、例えば、TV受像機100にメモリカードなどの記憶媒体のスロットを設け、CPU110が、このスロットに差し込まれた記憶媒体からプログラムを読み出して実行するようにしてもよい。またCPU110が、この記憶媒体から読み出したプログラムを、不揮発性メモリ111にインストールするようにしてもよい。さらにCPU110が、このプログラムを、ネットワークインタフェース121を介して、ネットワーク上の機器からダウンロードして、不揮発性メモリ111にインストールするようにしてもよい。
リモコン101についても同様であり、例えば、無線I/F135を介して、外部の機器からプログラムをダウンロードして、不揮発性メモリ131にインストールするようにしてもよい。
[3−11.変形例11]
さらに、本発明は、上述した実施の形態と変形例とに限定されるものではない。すなわち本発明は、上述した実施の形態と変形例の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用範囲が及ぶものである。
本発明は、複数の表示部を有するシステム及び装置で広く利用することができる。
1……情報処理システム、2……第1の表示部、3……第1の装置、4……第2の表示部、5……第2の装置、6、9……制御部、7、8……通信部、100……TV受像機、100A……ディスプレイ、101……リモコン、101A……タッチスクリーン、102……TVシステム、110、130……CPU、113、135……無線I/F。

Claims (5)

  1. 第1の表示部に表示されている操作対象のうちのテキスト入力欄を選択する操作が行われると、当該テキスト入力欄を第2の表示部に表示させる情報とする第1の制御部と、
    上記第2の表示部に表示させる情報とされた上記テキスト入力欄を上記第2の表示部に表示させるための制御情報を、当該第2の表示部を有する第2の装置に送信する第1の通信部と
    を有する第1の装置と、
    上記第1の装置から送信されてくる制御情報を受信する第2の通信部と、
    上記第2の通信部により受信された制御情報に基づいて、上記第2の表示部に表示する情報とされた上記テキスト入力欄を当該第2の表示部に表示させる第2の制御部と
    を有する第2の装置と
    を具え、
    上記第2の装置は、
    上記第2の制御部が、上記テキスト入力欄を上記第2の表示部に表示させた後、所定の入力部を介して入力されたテキストを、そのまま当該テキスト入力欄に表示させ、上記第2の通信部が、所定の入力部を介して入力されたテキストを示す入力テキスト情報を、上記第1の装置に送信し、
    上記第1の装置は、
    上記テキスト入力欄に入力するテキストが秘匿情報でない場合、上記第1の通信部が上記入力テキスト情報を受信すると、上記第1の制御部が、当該入力テキスト情報に示されたテキストを、そのまま上記第1の表示部に表示されているテキスト入力欄に表示させ、上記テキスト入力欄に入力するテキストが秘匿情報である場合、上記第1の通信部が上記入力テキスト情報を受信すると、上記第1の制御部が、当該入力テキスト情報に示されたテキストを、上記第1の表示部に表示されているテキスト入力欄に確認できない状態で表示させる
    情報処理システム。
  2. 上記第1の装置は、
    上記第1の制御部が、上記第1の表示部に表示されている操作対象のうちの追加情報表示ボタンを押下する操作が行われると、当該操作に応じて追加表示する追加表示情報を、上記第2の表示部に表示させる情報とし、
    上記第1の通信部が、上記追加表示情報を上記第2の表示部に表示させるための制御情報を、当該第2の表示部を有する第2の装置に送信し、
    上記第2の装置は、
    上記第2の制御部が、上記第2の通信部により受信された制御情報に基づいて、上記第2の表示部に表示する情報とされた上記追加表示情報を当該第2の表示部に表示させる
    請求項1に記載の情報処理システム。
  3. 上記第1の装置は、
    上記第1の制御部が、上記第1の表示部に表示されている操作対象のうちの表示内容更新ボタンを押下する操作が行われると、上記第2の表示部に表示させる情報を無しとし、上記第1の表示部の表示内容を更新する
    請求項1に記載の情報処理システム。
  4. 上記第1の装置は、
    上記第1の制御部が、上記第1の表示部に表示されているテキスト入力欄を選択する操作が行われると、当該第1の表示部に、当該テキスト入力欄が画面から飛び出していくようなアニメーションを表示させ、
    上記第2の装置は、
    上記第2の通信部により上記制御情報が受信されると、上記第2の制御部が、当該制御情報に基づいて、上記第2の表示部に、上記テキスト入力欄が画面に飛び込んでくるようなアニメーションを表示させる
    請求項1に記載の情報処理システム。
  5. 第1の装置の第1の制御部が、当該第1の装置の第1の表示部に表示されている操作対象のうちのテキスト入力欄を選択する操作が行われると、当該テキスト入力欄を第2の表示部に表示させる情報とし、
    上記第1の装置の第1の通信部が、上記第2の表示部に表示させる情報とされた上記テキスト入力欄を上記第2の表示部に表示させるための制御情報を、当該第2の表示部を有する第2の装置に送信し、
    第2の装置の第2の通信部が、上記第1の装置から送信されてくる制御情報を受信し、上記第2の装置の第2の制御部が、上記第2の通信部により受信された制御情報に基づいて、上記第2の表示部に表示する情報とされた上記テキスト入力欄を当該第2の表示部に表示させ、その後、所定の入力部を介して入力されたテキストを、そのまま当該テキスト入力欄に表示させ、
    上記第2の通信部が、上記所定の入力部を介して入力されたテキストを示す入力テキスト情報を、上記第1の装置に送信し、
    上記テキスト入力欄に入力するテキストが秘匿情報でない場合、上記第1の通信部が上記入力テキスト情報を受信すると、上記第1の制御部が、当該入力テキスト情報に示されたテキストを、そのまま上記第1の表示部に表示されているテキスト入力欄に表示させ、上記テキスト入力欄に入力するテキストが秘匿情報である場合、上記第1の通信部が上記入力テキスト情報を受信すると、上記第1の制御部が、当該入力テキスト情報に示されたテキストを、上記第1の表示部に表示されているテキスト入力欄に確認できない状態で表示させる
    情報処理方法。
JP2011022983A 2011-02-04 2011-02-04 情報処理システム及び情報処理方法 Expired - Fee Related JP5772023B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011022983A JP5772023B2 (ja) 2011-02-04 2011-02-04 情報処理システム及び情報処理方法
US13/359,903 US8730158B2 (en) 2011-02-04 2012-01-27 Information processing device, information processing method, information processing program, and information processing system
CN201210020292.6A CN102693114B (zh) 2011-02-04 2012-01-29 信息处理装置、方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011022983A JP5772023B2 (ja) 2011-02-04 2011-02-04 情報処理システム及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2012164070A JP2012164070A (ja) 2012-08-30
JP5772023B2 true JP5772023B2 (ja) 2015-09-02

Family

ID=46600316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011022983A Expired - Fee Related JP5772023B2 (ja) 2011-02-04 2011-02-04 情報処理システム及び情報処理方法

Country Status (3)

Country Link
US (1) US8730158B2 (ja)
JP (1) JP5772023B2 (ja)
CN (1) CN102693114B (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8243013B1 (en) 2007-05-03 2012-08-14 Sipix Imaging, Inc. Driving bistable displays
KR20110114732A (ko) 2007-09-24 2011-10-19 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR101642111B1 (ko) * 2009-08-18 2016-07-22 삼성전자주식회사 방송수신장치, 모바일 디바이스, 서비스 제공 방법 및 방송수신장치 제어 방법
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
JP5702411B2 (ja) * 2013-01-21 2015-04-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
ES2558759T3 (es) * 2013-04-29 2016-02-08 Swisscom Ag Método; dispositivo electrónico y sistema para la introducción de texto por vía remota
JP6115293B2 (ja) * 2013-05-02 2017-04-19 株式会社リコー 機器、情報処理端末、情報処理システム、表示制御方法、及びプログラム
JP6398153B2 (ja) * 2013-06-04 2018-10-03 株式会社リコー 機器、情報処理端末、情報処理システム、表示制御方法、及びプログラム
WO2015006565A2 (en) * 2013-07-10 2015-01-15 Gemini Interface Solutions Llc Dual screen interface
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
JP5780611B2 (ja) * 2013-09-30 2015-09-16 Kddi株式会社 画像表示方法、映像処理システム、携帯端末、及び携帯端末の操作プログラム
KR102296180B1 (ko) * 2014-03-21 2021-09-01 삼성전자주식회사 사용자 단말 장치, 전자 장치, 시스템 및 그 제어 방법
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
TWI610221B (zh) * 2014-06-18 2018-01-01 緯創資通股份有限公司 螢幕播送方法以及使用該方法的系統與裝置
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN104552611B (zh) * 2014-12-26 2017-02-22 三一汽车制造有限公司 预制混凝土搅拌站的控制系统与方法
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11361148B2 (en) * 2015-10-16 2022-06-14 Samsung Electronics Co., Ltd. Electronic device sharing content with an external device and method for sharing content thereof
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
CN108804000B (zh) * 2017-04-26 2021-07-27 深圳富泰宏精密工业有限公司 电子装置及外接显示器操作方法
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
EP4156129A1 (en) 2017-09-09 2023-03-29 Apple Inc. Implementation of biometric enrollment
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN112419693B (zh) * 2020-11-03 2023-05-12 深圳Tcl新技术有限公司 设备控制方法、装置、显示设备及计算机可读存储介质
CN112565842A (zh) * 2020-12-04 2021-03-26 广州视源电子科技股份有限公司 信息处理方法、装置及存储介质
CN114679616A (zh) * 2022-03-28 2022-06-28 京东方科技集团股份有限公司 控制显示设备的方法及相关设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU733904B2 (en) * 1997-03-24 2001-05-31 Evolve Communications, Inc. Two-way remote control with advertising display
US6097441A (en) * 1997-12-31 2000-08-01 Eremote, Inc. System for dual-display interaction with integrated television and internet content
JP4734792B2 (ja) 2001-07-16 2011-07-27 ソニー株式会社 制御装置、制御方法、プログラムおよび遠隔操作システム
WO2003077097A1 (fr) * 2002-03-08 2003-09-18 Mitsubishi Denki Kabushiki Kaisha Dispositif de communication mobile, procede de commande d'affichage pour ledit dispositif et programme correspondant
GB0207791D0 (en) * 2002-04-04 2002-05-15 Koninkl Philips Electronics Nv Digital remote control device
JP2005216214A (ja) * 2004-02-02 2005-08-11 Konica Minolta Business Technologies Inc 文字入力・表示装置
KR20070063981A (ko) * 2005-12-16 2007-06-20 삼성전자주식회사 네트워크 디스플레이장치, 컴퓨터 및 그 제어방법
CN101159547A (zh) * 2007-11-07 2008-04-09 合肥讯天信息技术有限公司 文本信息输入、输出和传输的动态保密方法
CN101557479A (zh) * 2008-04-11 2009-10-14 鸿富锦精密工业(深圳)有限公司 电视机及其遥控器和遥控方法以及电视系统
CN101639973B (zh) * 2008-07-30 2012-03-28 Tcl集团股份有限公司 一种遥控器的管理方法
JP5219270B2 (ja) * 2008-10-29 2013-06-26 パナソニック株式会社 ネット対応テレビシステム
JP5384186B2 (ja) * 2009-04-24 2014-01-08 京セラ株式会社 携帯端末装置
CN101969470A (zh) * 2010-10-26 2011-02-09 深圳市同洲电子股份有限公司 数字电视接收终端文本输入方法及数字电视接收终端
US20120127081A1 (en) * 2010-11-24 2012-05-24 Guoxiang Lin Methods of remote text input and editing on TV screen using locally-text-editable remote control

Also Published As

Publication number Publication date
JP2012164070A (ja) 2012-08-30
US8730158B2 (en) 2014-05-20
US20120200489A1 (en) 2012-08-09
CN102693114A (zh) 2012-09-26
CN102693114B (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
JP5772023B2 (ja) 情報処理システム及び情報処理方法
US11409327B2 (en) User terminal device for displaying contents and methods thereof
KR102331956B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
US20150193036A1 (en) User terminal apparatus and control method thereof
US10534460B2 (en) Terminal apparatus, display method and recording medium
US20150193103A1 (en) User terminal apparatus and control method thereof
CN101582053A (zh) 将用户界面推到远程设备
CN103535028A (zh) 用于提供与显示的内容相关的附加内容的方法和系统
CN112969084A (zh) 一种用户界面展示方法、存储介质及显示设备
US20110111806A1 (en) Mobile terminal and control method thereof
US20180310066A1 (en) Moving image reproduction device, moving image reproduction method, moving image distribution system, storage medium with moving image reproduction program stored therein
RU2603278C2 (ru) Передающее устройство, устройство управления отображением, способ передачи контента и носитель записи
JP6062984B2 (ja) 情報処理装置および情報表示方法
JP5274390B2 (ja) 表示装置、プログラムおよび記録媒体
CN111885415B (zh) 一种音频数据快速输出方法及显示设备
US20240082713A1 (en) Storage medium, method, and information processing apparatus
JP5957065B2 (ja) 表示装置、プログラムおよび記録媒体
KR102330475B1 (ko) 단말기 및 그의 동작 방법
JP5667658B2 (ja) 表示装置、プログラムおよび記録媒体
CN109032489A (zh) 显示设备及显示用户界面的方法
JP2010258907A (ja) コンテンツ再生装置、プログラム、および記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150615

R151 Written notification of patent or utility model registration

Ref document number: 5772023

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees