JP6638804B2 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP6638804B2
JP6638804B2 JP2018231808A JP2018231808A JP6638804B2 JP 6638804 B2 JP6638804 B2 JP 6638804B2 JP 2018231808 A JP2018231808 A JP 2018231808A JP 2018231808 A JP2018231808 A JP 2018231808A JP 6638804 B2 JP6638804 B2 JP 6638804B2
Authority
JP
Japan
Prior art keywords
information
display
window
control unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018231808A
Other languages
English (en)
Other versions
JP2019083023A (ja
Inventor
重文 田村
重文 田村
亮介 野村
亮介 野村
祐輔 清水
祐輔 清水
笠原　正樹
正樹 笠原
顕司 西山
顕司 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2019083023A publication Critical patent/JP2019083023A/ja
Application granted granted Critical
Publication of JP6638804B2 publication Critical patent/JP6638804B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
特許文献１には、ウインドウ毎に管理権限を設定する技術が開示されている。特許文献２には、ウインドウの表示位置に応じてウインドウの管理権限を設定する技術が開示されている。特許文献３には、ユーザの位置を検出し、検出結果に基づいてユーザに対応するウインドウの表示位置を決定する技術が開示されている。
特開２００６−６５５５８号公報 特開２０１３−１４５４５１号公報 特開２０１０−２６３２７号公報
しかし、これらの特許文献には、複数の情報処理装置を連携させる技術については何ら開示されていなかった。
一方、情報処理装置に表示させるウインドウの表示位置を他の情報処理装置を用いて指定する技術が求められていた。
本開示によれば、ウインドウの表示位置を指示する表示位置指定情報を他の情報処理装置から受信する通信部と、表示部の表示エリアのうち、表示位置指定情報が示す表示位置にウインドウを表示する制御を行う制御部と、を備える情報処理装置が提供される。
本開示によれば、ウインドウの表示位置を指示する表示位置指定情報を生成する制御部と、表示位置指定情報を、ウインドウを表示可能な他の情報処理装置に送信する通信部と、を備える、情報処理装置が提供される。
本開示によれば、ウインドウの表示位置を指示する表示位置指定情報を他の情報処理装置から受信することと、表示部の表示エリアのうち、表示位置指定情報が示す表示位置にウインドウを表示する制御を行うことと、を含む、情報処理方法が提供される。
本開示によれば、コンピュータに、ウインドウの表示位置を指示する表示位置指定情報を他の情報処理装置から受信する通信機能と、表示部の表示エリアのうち、表示位置指定情報が示す表示位置にウインドウを表示する制御を行う制御機能と、を実現させる、プログラムが提供される。
本開示によれば、情報処理装置は、他の情報処理装置から表示位置指定情報を受信し、この表示位置指定情報が示す表示位置にウインドウを表示することができる。
以上説明したように本開示によれば、表示させるウインドウの表示位置を他の情報処理装置を用いて指定することができる。なお、本開示に係る技術による効果はここで記載された効果に限定されない。本開示に係る技術は、本明細書中に記載されたいずれかの効果、または他の効果を有するものであってもよい。
本開示の第１の実施形態に係る情報処理装置（他の情報処理装置）の構成を示すブロック図である。 同実施形態に係る情報処理装置のハードウェア構成図である。 同実施形態に係る表示装置（情報処理装置）の構成を示すブロック図である。 同実施形態に係る表示装置のハードウェア構成図である。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理装置による表示例を示す説明図である。 情報処理装置による表示例を示す説明図である。 情報処理装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 情報処理装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 情報処理装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 情報処理装置及び表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 本開示の第２の実施形態に係るヘッドマウントディスプレイ（他の情報処理装置）の構成を示すブロック図である。 同実施形態に係るヘッドマウントディスプレイのハードウェア構成図である。 同実施形態に係るサーバの構成を示すブロック図である。 同実施形態に係るサーバのハードウェア構成図である。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すシーケンス図である。 情報処理システムによる処理の手順を示すシーケンス図である。 情報処理システムによる処理の手順を示すシーケンス図である。 情報処理システムの全体構成を示す説明図である。 表示装置による表示例を示す説明図である。 ヘッドマウントディスプレイによる表示例を示す説明図である。 ヘッドマウントディスプレイによる表示例を示す説明図である。 ヘッドマウントディスプレイによる表示例を示す説明図である。 ヘッドマウントディスプレイによる表示例を示す説明図である。 表示装置及びヘッドマウントディスプレイによる表示例を示す説明図である。 表示装置及びヘッドマウントディスプレイによる表示例を示す説明図である。 対応テーブルの一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態（表示装置及び情報処理装置を備える情報処理システムの例）
１−１．全体構成
１−２．情報処理装置の構成
１−３．表示装置の構成
１−４．情報処理システムによる処理の例
１−４−１．第１処理例
１−４−２．第２処理例
１−４−３．第３処理例
１−４−４．第４処理例
１−４−５．第５処理例
１−４−６．第６処理例
１−４−７．第７処理例
１−４−８．第８処理例
１−４−９．第９処理例
１−４−１０．第１０処理例
１−４−１１．第１１処理例
２．第２の実施の形態（第１の実施形態にヘッドマウントディスプレイを追加した例）
２−１．全体構成
２−２．ヘッドマウントディスプレイの構成
２−３．サーバの構成
２−４．情報処理システムによる処理の例
２−４−１．第１処理例
２−４−２．第２処理例
２−４−３．第３処理例
２−４−４．第４処理例
２−４−５．第５処理例
２−４−６．第６処理例
＜１．第１の実施形態＞
（１−１．全体構成）
まず、第１の実施形態に係る情報処理システムの全体構成について説明する。情報処理システムは、１または複数の情報処理装置１０と、表示装置２０とを備える。なお、情報処理システムは、情報処理装置１０を有していなくてもよい。すなわち、後述する処理例のうち、いくつかの処理例では、必ずしも情報処理装置１０は必要ない。この場合、情報処理システムは、情報処理装置１０を有していなくてもよい。情報処理システムが複数の情報処理装置１０を有する場合、これらの情報処理装置１０は異なるユーザによって所持されていてもよい。
情報処理装置１０は、ユーザによる入力操作に応じて表示装置２０との間で通信を行う。情報処理装置１０は、好ましくはユーザにより携行される情報処理装置、例えばスマートフォン、スマートタブレット、及び携帯電話等であるが、これらに限定されない。すなわち、情報処理装置１０は、後述する各処理例が実現されるものであればどのようなものであってもよい。
表示装置２０は、情報処理装置１０との間で通信を行い、これに応じて各種画像を表示する。表示装置２０は、複数のウインドウを表示する場合がある。また、これらのウインドウは互いに異なるユーザによる操作対象となりうる。詳細は後述する処理例にて説明する。表示装置２０は、複数のウインドウを表示するので、解像度は大きいことが好ましい。また、表示装置２０は、解像度が大きく、かつ大画面であってもよい。例えば、部屋の壁一面が表示装置２０となっていてもよい。
なお、以下の説明において、「スロー（ｔｈｒｏｗ）」は、情報処理装置１０に表示された情報を表示装置２０に表示させることを意味する。また、「キャッチ（ｃａｔｃｈ）」は、表示装置２０に表示された情報を情報処理装置１０に表示させることを意味する。また、「右」、「左」は、ユーザから見た方向を意味する。
（１−２．情報処理装置の構成）
つぎに、図１及び図２に基づいて、第１の実施形態に係る情報処理装置１０の構成について説明する。図１に示すように、情報処理装置１０は、表示部１１、操作部１２、検出部１３、通信部１４、記憶部１５、制御部１６、及び音声出力部１７を備える。
表示部１１は、制御部１６による制御により各種画像を表示する。操作部１２は、ユーザによる入力操作を受け付ける。操作部１２は、入力操作情報を制御部１６に出力する。検出部１３は、情報処理装置１０の姿勢等を検出し、検出結果に関する検出情報を制御部１６に出力する。通信部１４は、表示装置２０との間で通信を行い、これにより得られた情報を制御部１６に出力する。通信部１４は、ネットワークを経由して他の情報処理装置と通信を行ってもよい。記憶部１５は、各種情報、例えば情報処理装置１０に表示部１１、操作部１２、検出部１３、通信部１４、記憶部１５、及び制御部１６を実現させるためのプログラム、及び各種画像情報等を記憶する。制御部１６は、情報処理装置１０全体を制御する他、後述する各処理例に示される処理を行う。音声出力部１７は、制御部１６による制御により音声情報を出力する。
情報処理装置１０は、図２に示すハードウェア構成を有し、これらのハードウェア構成によって上記の表示部１１、操作部１２、検出部１３、通信部１４、記憶部１５、制御部１６、及び音声出力部１７が実現される。
すなわち、情報処理装置１０は、ハードウェア構成として、ディスプレイ１１ａ、操作装置１２ａ、センサ１３ａ、通信装置１４ａ、不揮発性メモリ１５ａ、ＲＡＭ１５ｂ、ＣＰＵ１６ａ、及び音声出力装置１７ａを備える。
ディスプレイ１１ａは、各種画像情報を表示する。操作装置１２ａは、ユーザによる入力操作を受け付ける。操作装置１２ａは、好ましくはタッチパネルであるが、ハードキー等であってもよい。センサ１３ａは、情報処理装置１０の姿勢等を検出する。センサ１３ａの具体例としては、例えばジャイロセンサ、加速度センサ等が挙げられる。
通信装置１４ａは、表示装置２０との間で通信を行う。不揮発性メモリ１５ａは、各種プログラム及び画像情報等を記憶する。ここで、当該プログラムには、情報処理装置１０に表示部１１、操作部１２、検出部１３、通信部１４、記憶部１５、制御部１６、及び音声出力部１７を実現させるためのプログラムが含まれる。ＲＡＭ１５ｂは、ＣＰＵ１６ａによる作業領域となるものである。ＣＰＵ１６ａは、不揮発性メモリ１５ａに記憶されたプログラムを読みだして実行する。したがって、ＣＰＵ１６ａが不揮発性メモリ１５ａに記憶されたプログラムを読みだして実行することで、表示部１１、操作部１２、検出部１３、通信部１４、記憶部１５、及び制御部１６が実現される。すなわち、ＣＰＵ１５ａは、情報処理装置１０の実質的な動作主体となりうるものである。音声出力装置１７ａは、音声情報を出力する装置であり、例えばスピーカ及びヘッドフォンである。
（１−３．表示装置の構成）
つぎに、図３及び図４に基づいて、第１の実施形態に係る表示装置２０の構成について説明する。図３に示すように、表示装置２０は、表示部２１、音声出力部２２、撮像部２３（検出部）、通信部２４、記憶部２５、制御部２６、及び音声検出部２７を備える。
表示部２１は、制御部２６による制御により各種画像を表示する。音声出力部２２は、音声情報を出力する。ここで、音声出力部２２は指向性の音声情報を出力する場合がある。撮像部２３は、表示装置２０を視認するユーザ等を撮像し、これによって得られた撮像画像を制御部２６に出力する。通信部２４は、情報処理装置１０との間で通信を行い、これによって得られた情報を制御部２６に出力する。通信部２４は、ネットワークを経由して他の情報処理装置と通信を行ってもよい。記憶部２５は、各種情報、例えば表示装置２０に表示部２１、音声出力部２２、撮像部２３、通信部２４、記憶部２５、制御部２６、及び音声検出部２７を実現させるためのプログラム、及び各種画像情報等を記憶する。制御部２６は、表示装置２０全体を制御する他、後述する各処理例に示される処理を行う。音声検出部２７は、音声情報、例えばユーザの声を検出し、制御部２６に出力する。
表示装置２０は、図４に示すハードウェア構成を有し、これらのハードウェア構成によって上記の表示部２１、音声出力部２２、撮像部２３、通信部２４、記憶部２５、制御部２６、及び音声検出部２７が実現される。
すなわち、表示装置２０は、ハードウェア構成として、ディスプレイパネル２１ａ、スピーカ２２ａ、撮像装置２３ａ、通信装置２４ａ、不揮発性メモリ２５ａ、ＲＡＭ２５ｂ、ＣＰＵ２６ａ、及びマイク２７ａを備える。
ディスプレイパネル２１ａは、各種画像情報を表示する。スピーカ２２ａは、音声情報を出力する。スピーカ２２ａは、指向性の音声情報を出力する場合がある。撮像装置２３ａは、撮像を行うことで、撮像画像を生成する。
通信装置２４ａは、情報処理装置１０との間で通信を行う。不揮発性メモリ２５ａは、各種プログラム及び画像情報等を記憶する。ここで、当該プログラムには、表示装置２０に表示部２１、音声出力部２２、撮像部２３、通信部２４、記憶部２５、制御部２６、及び音声検出部２７を実現させるためのプログラムが含まれる。ＲＡＭ２５ｂは、ＣＰＵ２６ａによる作業領域となるものである。ＣＰＵ２６ａは、不揮発性メモリ２５ａに記憶されたプログラムを読みだして実行する。したがって、ＣＰＵ２６ａが不揮発性メモリ２５ａに記憶されたプログラムを読みだして実行することで、表示部２１、音声出力部２２、撮像部２３、通信部２４、記憶部２５、及び制御部２６が実現される。すなわち、ＣＰＵ２５ａは、表示装置２０の実質的な動作主体となりうるものである。マイク２７ａは、音声情報を検出する。なお、表示装置２０とは別体となるセットトップボックスを用意し、このセットトップボックスによって制御部２６を実現させるようにしてもよい。この場合、セットトップボックスは、制御部２６（及び表示装置２０と通信を行う通信部）を実現させるために必要なハードウェア構成を有する。また、制御部２６は、情報処理装置１０（の一部）によって実現されてもよい。また、少なくとも表示装置２０とネットワークを介して通信可能な情報処理サーバを用意し、この情報処理サーバによって制御部２６を実現させるようにしてもよい。この場合、情報処理サーバは、制御部２６（及び表示装置２０と通信を行う通信部）を実現させるために必要なハードウェア構成を有する。
（１−４．情報処理システムによる処理の例）
以下、情報処理システムによる処理例を説明する。なお、以下の説明では、情報処理装置１０はいわゆるスマートフォンであるものとする。したがって、上述した操作部１２はいわゆるタッチパネルによって実現される。
（１−４−１．第１処理例）
次に、情報処理システムによる第１の処理例について説明する。第１の処理例では、ユーザは、ｔｈｒｏｗ操作を行うことで、情報処理装置１０に表示された情報を表示装置２０に表示させる。情報処理装置１０は、表示装置２０が表示中の情報をミラー表示する。
第１処理例の具体的な内容を図５、図６、図１４〜図１８に基づいて説明する。情報処理装置１０は、図５に示すフローチャートに沿った処理を行い、表示装置２０は、図６に示すフローチャートに沿った処理を行う。
（情報処理装置による処理）
ステップＳ１０において、制御部１６は、画像情報を表示部１１に表示させる一方で、ユーザがｔｈｒｏｗ操作を行うまで待機する。ここで、当該画像情報は、表示装置２０に表示される画像情報、すなわちｔｈｒｏｗ画像情報となるものである。操作部１２は、ｔｈｒｏｗ操作がなされた場合には、ｔｈｒｏｗ操作情報を制御部１６に出力する。制御部１６は、ｔｈｒｏｗ操作情報が与えられた場合、すなわちｔｈｒｏｗ操作を検出した場合、ステップＳ２０に進む。
表示例を図１４に示す。この例では、制御部１６は、ｔｈｒｏｗ画像情報としてウェブページを表示する他、ｔｈｒｏｗボタン１００を表示する。具体的には、制御部１６は、ｔｈｒｏｗボタン１００、及びｔｈｒｏｗ画像表示用ウインドウ１２０を表示する。ｔｈｒｏｗボタン１００は、ユーザがｔｈｒｏｗ操作を行うためのボタンである。すなわち、ユーザは、ｔｈｒｏｗボタン１００をタップすることで、ｔｈｒｏｗ操作を行う。なお、ｔｈｒｏｗ操作はこの例に限られない。例えば、何らかのジェスチャ操作（例えば表示部１１上を下端から上端に向けてフリックする操作）をｔｈｒｏｗとしてもよい。この場合、ｔｈｒｏｗボタン１００は表示されても良いし、省略されてもよい。ｔｈｒｏｗ画像表示用ウインドウ１２０には、ｔｈｒｏｗ画像情報が表示される。具体的には、ｔｈｒｏｗ画像表示用ウインドウ１２０には、アドレス画像情報１２０ａと、ウェブページ１２０ｂと、更新ボタン１２０ｃとが表示される。アドレス画像情報１２０ａは、現在表示中のウェブページ１２０ｂのアドレスを示す。更新ボタン１２０ｃは、ウェブページ１２０ｂを最新の情報に更新するためのボタンであり、ユーザが更新ボタン１２０ｃをタップした場合、制御部１６は、最新のウェブページ１２０ｂを取得し、ｔｈｒｏｗ画像表示用ウインドウ１２０に表示する。もちろん、制御部１６は、ウェブページ以外の画像をｔｈｒｏｗボタン１００と共に表示してもよい。
ステップＳ２０以降において、制御部１６は、情報処理装置１０が表示中の情報を表示装置２０に表示させたい旨のｔｈｒｏｗリクエスト情報を通信部１４に出力する。通信部１４は、ｔｈｒｏｗリクエスト情報を表示装置２０に送信する。これに応じて、表示装置２０は、ｔｈｒｏｗ画像情報を表示可能な表示エリア（表示位置）、すなわち表示可能エリアに関する表示可能エリア情報を情報処理装置１０に送信する。詳細は後述する。
ステップＳ３０において、通信部１４は、表示可能エリア情報を受信し、制御部１６に出力する。
ステップＳ４０において、制御部１６は、表示可能エリア情報に基づいて、表示エリア選択ダイアログを生成し、表示エリアダイアログを表示部１１に表示する。表示エリアダイアログは、ユーザにウインドウの表示エリアを選択させるためのダイアログである。ユーザが選択した表示エリアにウインドウが表示され、このウインドウ内に情報処理装置１０が表示中の情報が表示される。表示例を図１５に示す。この例では、制御部１６は、ｔｈｒｏｗボタン１００、アドレス画像情報１２０ａ、ウェブページ１２０ｂ、及び更新ボタン１２０ｃをグレーアウトし、表示エリアダイアログ１３０を表示する。
表示エリアダイアログ１３０は、表示装置画像１４０と、表示エリア選択ボタン１５０、１６０と、キャンセルボタン１７０とを含む。表示装置画像１４０は、表示装置２０をデフォルメ表示した画像である。表示エリア選択ボタン１５０，１６０は、ユーザに表示エリアを選択させるためのボタンであり、表示装置画像１４０のうち、表示可能エリアに相当する部分に表示される。すなわち、表示エリア選択ボタン１５０、１６０は、表示可能エリアを示す。この例では、表示部２１の左端及び右端が表示可能エリアとなっている。表示エリア選択ボタン１５０は、左端の表示可能エリアを示し、表示エリア選択ボタン１６０は、右端の表示可能エリアを示す。したがって、例えば表示部２１の上端及び下端が表示可能エリアとなっている場合、表示装置画像１４０の上端と下端に表示エリア選択ボタンが表示されることとなる。
ここで表示エリアダイアログはこの例に限られない。例えば、表示エリアダイアログは、表示可能エリアの位置を示す文字情報をリスト表示してもよい。この場合、リスト中の各行が表示エリア選択ボタンとなる。
ステップＳ５０において、制御部１６は、ユーザが表示エリア選択操作、すなわち表エリアを選択する操作を行うまで待機する。操作部１２は、表示エリア選択操作がなされた場合には、表示エリア選択操作情報を制御部１６に出力する。制御部１６は、表示エリア選択操作情報が与えられた場合、すなわち表示エリア選択操作を検出した場合、ステップＳ６０に進む。ここで、表示エリア選択操作としては、例えば上述した表示エリア選択ボタンをタップする操作等が挙げられる。
ステップＳ６０において、制御部１６は、表示エリア選択操作に基づいて、ユーザが選択した表示エリアを認識する。そして、制御部１６は、ユーザが選択した表示エリアに関する選択エリア情報（表示位置指定情報）を生成する。制御部１６は、選択エリア情報を通信部１４に出力する。通信部１４は、選択エリア情報を表示装置２０に送信する。これに応じて、表示装置２０は、選択エリア情報が示す表示可能エリアにウインドウを表示する。詳細は後述する。
ステップＳ７０において、制御部１６は、表示部１１に表示中の画像情報、すなわちｔｈｒｏｗ画像情報を通信部１４に出力し、通信部１４は、ｔｈｒｏｗ画像情報を表示装置２０にストリーミング送信する。表示装置２０は、ストリーミング送信されたｔｈｒｏｗ画像情報を受信し、ｔｈｒｏｗ画像表示用ウインドウ内にｔｈｒｏｗ画像情報を表示する。なお、送信形態はこの例に限られない。一方、制御部１６は、ストリーミング送信中のｔｈｒｏｗ画像情報を表示部１１にも表示する。すなわち、制御部１６は、表示装置２０に表示されるｔｈｒｏｗ画像情報を表示部１１にもミラー表示する。
表示例を図１６に示す。この表示例は、ステップＳ４０の表示例で左端の表示エリアが選択された場合に表示される。すなわち、制御部１６は、インジケータ２００と、表示エリア切り替えボタン２１０と、リターンボタン２２０と、ウインドウ２３０とを表示する。インジケータ２００は、ｔｈｒｏｗ中であることを示す文字情報である。表示エリア切り替えボタン２１０は、ｔｈｒｏｗ画像情報の表示エリアを切り替えるためのボタンである。表示エリア切り替えボタン２１０は、表示可能エリアの数だけ表示されてもよい。この例では、表示可能エリア切り替えボタン２１０は、右端の表示可能エリアを示す。制御部１６は、ユーザが表示エリア切り替えボタン２１０をタップした場合、その旨の切り替えリクエスト情報を通信部１４に出力する。通信部１４は、切り替えリクエスト情報を表示装置２０に送信する。表示装置２０は、切り替えリクエスト情報に基づいて、ウインドウの表示エリアを切り替える。リターンボタン２２０は、表示装置２０へのストリーミング送信を終了するためのボタンである。ウインドウ２３０には、ストリーミング送信中のｔｈｒｏｗ画像情報が表示される。例えば上述したウェブページが表示される。
ステップＳ８０において、制御部１６は、ユーザが終了操作を行ったか否かを判定する。例えば、制御部１６は、リターンボタン２２０のタップを終了操作と判定してもよい。また、制御部１６は、何らかのジェスチャ操作を終了操作としてもよい。操作部１２は、終了操作が行われた場合には、終了操作情報を制御部１６に出力する。制御部１６は、終了操作情報が与えられた場合、すなわち終了操作を検出した場合には、ステップＳ９０に進み、終了操作を検出しない場合には、ステップＳ７０に戻る。
ステップＳ９０において、制御部１６は、切断処理を行う。例えば、制御部１６は、ストリーミング送信を終了する旨の終了通知情報を通信部１４に出力する。通信部１４は、終了通知情報を表示装置２０に送信する。その後、制御部１６は、表示装置２０との通信を切断する。
（表示装置による処理）
ステップＳ１００において、表示装置２０の通信部２４は、ｔｈｒｏｗリクエスト情報を受信し、制御部２６に出力する。なお、制御部２６は、ｔｈｒｏｗリクエスト情報の待機中に、何らかの画像情報（以下、「ベース画像情報」とも称する）を表示部２１に表示してもよい。表示例を図１７に示す。この例では、制御部１６は、表示部２１にベース画像情報として画像情報１７０を表示する。
ステップＳ１１０において、制御部２６は、ウインドウ表示可能エリアを決定する。ウインドウ表示可能エリアの決定方法については特に制限されない。表示可能エリアは、予め設定されていてもよく、ユーザが任意に設定してもよい。
ステップＳ１２０において、制御部２６は、表示可能エリアに関する表示可能エリア情報を生成し、通信部２４に出力する。通信部２４は、表示可能エリア情報を情報処理装置１０に送信する。
ステップＳ１３０において、通信部２４は、選択エリア情報を受信し、制御部２６に出力する。
ステップＳ１４０において、制御部２６は、選択エリア情報が示す表示可能エリアに新規のウインドウ、すなわちｔｈｒｏｗ画像表示用ウインドウを開く。
ステップＳ１５０において、通信部２４は、ｔｈｒｏｗ画像情報をストリーミング受信し、制御部２６に出力する。
ステップＳ１６０において、制御部２６は、ｔｈｒｏｗ画像情報をｔｈｒｏｗ画像表示用ウインドウに表示する。
表示例を図１８に示す。この表示例は、ステップＳ４０の表示例で左端の表示エリアが選択された場合に表示される。すなわち、制御部２６は、ベース画像表示用ウインドウ１７１と、ｔｈｒｏｗ画像表示用ウインドウ１８０と、各種情報表示用ウインドウ１９０と、カーソル１９３とを表示する。
ベース画像表示用ウインドウ１７１は、ベース画像表示エリア１７１ａと、ベース画像インジケータ１７１ｂとを含む。ベース画像表示エリア１７１ａには、ベース画像情報１７１ｃが表示される。インジケータ１７１ｂは、ベース画像情報の題名等、ベース画像情報を識別するための情報を示す。ここで、ベース画像表示エリア１７１ａのアスペクト比は表示部２１のアスペクト比に一致している。すなわち、制御部１６は、ベース画像情報の表示エリアを右方向に縮小し、開いた表示エリアにｔｈｒｏｗ画像表示用ウインドウ１８０を表示している。また、ベース画像表示エリア１７１ａのアスペクト比は表示部２１のアスペクト比に一致するため、ベース画像表示エリア１７１ａの下方の表示エリアが空く。そこで、制御部２６は、空いた表示エリアに各種情報表示用ウインドウ１９０を表示する。もちろん、ベース画像表示エリア１７１ａのアスペクト比は表示部２１のアスペクト比と異なっていてもよい。
ｔｈｒｏｗ画像表示用ウインドウ１８０は、ｔｈｒｏｗ画像を表示するためのウインドウである。ｔｈｒｏｗ画像表示用ウインドウ１８０は、インジケータ１８１と、ｔｈｒｏｗ画像表示エリア１８２と、表示エリア切り替えボタン１８４と、縮小ボタン１８５と、拡大ボタン１８６と、カーソル１９３とを含む。
インジケータ１８１は、表示装置２０にｔｈｒｏｗ画像情報をストリーミング送信中の情報処理装置１０を識別するための情報、例えば情報処理装置１０の所有者の名称を示す。ｔｈｒｏｗ画像表示エリア１８２には、ｔｈｒｏｗ画像情報が表示される。この例では、ｔｈｒｏｗ画像表示エリア１８２には、アドレス画像情報１８２ａと、ウェブページ１８２ｂとが表示される。アドレス画像情報１８２ａは、ウェブページ１８２ｂのアドレスを示す。
表示エリア切り替えボタン１８４は、ｔｈｒｏｗ画像の表示エリア、すなわちｔｈｒｏｗ画像表示用ウインドウの表示エリアを切り替えるためのボタンである。表示エリア切り替えボタン１８４は、表示可能エリアの数だけ表示されてもよい。この例では、表示可能エリア切り替えボタン２１０は、右端の表示可能エリアを示す。縮小ボタン１８５は、ｔｈｒｏｗ画像表示用ウインドウを縮小するためのボタンである。拡大ボタン１８６は、ｔｈｒｏｗ画像表示用ウインドウを拡大するためのボタンである。
各種情報表示用ウインドウ１９０には、ベース画像情報及びｔｈｒｏｗ画像情報等に関連する情報等が表示される。具体的には、各種情報表示用ウインドウ１９０には、広告情報１９１、及び操作ボタン１９２が含まれる。広告情報１９１は、任意の広告情報であるが、例えばｔｈｒｏｗ画像情報またはベース画像情報に関連する広告情報であってもよい。操作ボタン１９２は、ユーザが各種操作を行うためのボタンである。操作ボタン１９２には、音声入力等を行うためのユーザインタフェースが含まれていてもよい。
カーソル１９３は、ユーザによる入力操作に基づいて移動する。ここで、カーソル１９３を移動するための入力操作は、表示装置２０用のリモートコントローラを用いて行われればよい。なお、後述する第２処理例では、カーソルの移動等が情報処理装置１０を用いて行われる。
すなわち、制御部２６は、リモートコントローラから与えられた操作情報に基づいて、カーソル１９３の移動等を行う。そして、制御部２６は、ユーザが表示エリア切り替えボタン１８４を押した場合、ｔｈｒｏｗ画像表示用ウインドウ１８０の表示エリアを右端に移動する。ここで、表示エリア切り替えボタン１８４を押す操作としては、カーソル１９３が表示エリア切り替えボタン１８４上に存在する状態でリモートコントローラの決定ボタンを押す操作等が挙げられる。縮小ボタン１８５、拡大ボタン１８６、及び操作ボタン１９２を選択する操作も同様である。
また、制御部２６は、ユーザが縮小ボタン１８５を押した場合、ｔｈｒｏｗ画像表示用ウインドウ１８０を縮小する。具体的には、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０とベース画像表示用ウインドウ１７１との境界線１８３を左方向にシフトする。
また、制御部２６は、ユーザが拡大ボタン１８６を押した場合、ｔｈｒｏｗ画像表示用ウインドウ１８０を拡大する。具体的には、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０とベース画像表示用ウインドウ１７１との境界線１８３を右方向にシフトする。
また、制御部２６は、ユーザが操作ボタン１９２を押した場合、操作ボタン１９２の種類に応じた処理を行う。例えば、制御部２６は、「Ｆｕｌｌ ｓｃｒｅｅｎ」ボタンが押された場合には、ｔｈｒｏｗ画像情報をフルスクリーン表示する。制御部２６は、「Ｃｌｏｓｅ」ボタンが押された場合には、ｔｈｒｏｗ画像表示用ウインドウを閉じる。また、制御部２６は、「Ｈｏｍｅ」ボタンが押された場合には、所定の初期画像をベース画像として表示する。操作ボタン１９２の種類は上記に限られない。
また、制御部２６は、切り替えリクエスト情報が与えられた場合には、ｔｈｒｏｗ画像表示用ウインドウの表示エリアを切り替えリクエスト情報が示す表示エリアに移動する。
ステップＳ１７０において、制御部２６は、終了通知情報を受信したか否かを判定する。制御部２６は、終了通知情報を受信したと判定した場合には、ステップＳ１８０に進み、終了通知情報を受信していないと判定した場合には、ステップＳ１４０に進む。ステップＳ１８０において、制御部２６は、切断処理を行う。例えば、制御部２６は、情報処理装置１０との通信を切断する。
ここで、第１処理例では、情報処理装置１０は１つだけ示したが、情報処理装置１０は複数存在してもよい。すなわち、複数のユーザが自己の情報処理装置１０の画像情報を表示装置２０に表示させるようにしてもよい。
第１処理例によれば、情報処理装置１０は、表示装置２０に表示されるウインドウ、すなわちｔｈｒｏｗ画像表示用ウインドウの表示位置を指定することができる。したがって、ユーザは、自己の情報処理装置１０を用いて、表示部２１内の所望の位置に容易にウインドウを表示させることができる。
また、表示装置２０は、ｔｈｒｏｗ画像表示用ウインドウの表示可能位置に関する情報を情報処理装置１０に送信するので、情報処理装置１０は、例えば表示エリア選択ダイアログを表示することができる。したがって、ユーザは、より容易に所望の表示エリアを選択することができる。
（１−４−２．第２処理例）
次に、図７及び図８に基づいて、第２処理例について説明する。第２処理例は、情報処理装置１０をリモートコントローラとして使用する例である。
（情報処理装置による処理）
図７に示すステップＳ１９０〜Ｓ２４０において、情報処理装置１０は、図５に示すステップＳ１０〜ステップＳ６０と同様の処理を行う。
ステップＳ２５０において、制御部１６は、コンテクスト情報を生成する。ここで、コンテクスト情報は、ｔｈｒｏｗ画像情報に関する情報等を含む。例えば、コンテクスト情報には、情報処理装置１０で実行中のアプリケーションに関する情報（アプリケーションＩＤ等）、ｔｈｒｏｗ画像情報の所在（例えばＵＲＬ）、現在のｔｈｒｏｗ画像情報の表示状態（表示位置、再生位置など）、操作履歴などを含む。
ステップＳ２６０において、制御部１６は、ユーザからの入力操作を受け付ける。この入力操作は、ユーザが表示装置２０のウインドウに表示されたｔｈｒｏｗ画像情報に対して行われる入力操作を含む。入力操作としては、タッチパネルを使用した操作、情報処理装置１０自体を動かす操作（以下、「遠隔ポインティング操作」とも称する）等が挙げられる。タッチパネルを使用した操作としては、例えばドラッグ操作、タップ操作、ピンチイン、ピンチアウト操作等が挙げられる。
具体的には、制御部１６は、検出部１３から与えられた検出情報、及び操作部１２から与えられた操作情報に基づいて、ユーザが行った入力操作を認識する。そして、制御部１６は、認識した入力操作に関する遠隔操作情報を通信部１４に出力し、通信部１４は、遠隔操作情報を表示装置２０に送信する。表示装置２０は、遠隔操作情報に基づいた処理を行う。具体的には後述する。
ステップＳ２７０において、制御部１６は、終了通知情報を受信したか否かを判定する。制御部１６は、終了通知情報を受信したと判定した場合には、ステップＳ２８０に進み、終了通知情報を受信していないと判定した場合には、ステップＳ２６０に進む。ステップＳ２８０において、制御部１６は、切断処理を行う。例えば、制御部１６は、表示装置２０との通信を切断する。
（表示装置による処理）
図８に示すステップＳ２９０〜Ｓ３３０において、表示装置２０は、図６に示すステップＳ１００〜ステップＳ１４０と同様の処理を行う。
ステップＳ３４０において、通信部２４は、コンテクスト情報を受信し、制御部２６に出力する。
ステップＳ３５０において、制御部２６は、コンテクスト情報に基づく処理を行う。具体的には、制御部２６は、コンテクスト情報が示すアプリケーションを実行し、コンテクスト情報が示す所在からｔｈｒｏｗ画像情報を取得する。そして、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウにｔｈｒｏｗ画像情報を表示する。
ステップＳ３６０において、通信部２４は、遠隔操作情報を受信し、制御部２６に出力する。
ステップＳ３７０において、制御部２６は、遠隔操作情報に基づく処理を行う。例えば、制御部２６は、ドラッグ操作に基づいて、ｔｈｒｏｗ画像情報をスクロールさせる。また、制御部２６は、タップ操作に基づいて、決定処理（例えば上述した各種ボタン１８４、１８５、１８６、１９２を押す処理）を行う。また、制御部２６は、ピンチイン操作に基づいて、ｔｈｒｏｗ画像表示用ウインドウを縮小させる。また、制御部２６は、ピンチアウト操作に基づいて、ｔｈｒｏｗ画像表示用ウインドウを拡大させる。また、制御部２６は、遠隔ポインティング操作に基づいて、カーソル（例えばカーソル１９３）を移動させる。
ステップＳ３８０において、制御部２６は、ユーザが終了操作を行ったか否かを判定する。例えば、制御部２６は、「Ｃｌｏｓｅ」ボタンを押す操作を終了操作と判定してもよい。制御部２６は、終了操作を検出した場合には、ステップＳ３９０に進み、終了操作を検出しない場合には、ステップＳ３５０に戻る。
ステップＳ３９０において、制御部２６は、切断処理を行う。例えば、制御部２６は、ｔｈｒｏｗ画像情報の表示を終了する旨の終了通知情報を通信部２４に出力する。通信部２４は、終了通知情報を情報処理装置１０に送信する。その後、制御部２６は、情報処理装置１０との通信を切断する。
ここで、第２処理例では、情報処理装置１０は１つだけ示したが、情報処理装置１０は複数存在してもよい。すなわち、複数のユーザが自己の情報処理装置１０の画像情報を表示装置２０に表示させるようにしてもよい。
第２処理例によれば、第１処理例と同様の効果が得られる。また、ユーザは、ｔｈｒｏｗ画像情報をより容易に操作することができる。なお、第２処理例においてもｔｈｒｏｗ画像情報を表示部１１に表示しても良い。
（１−４−３．第３処理例）
次に、図１９及び図２０に基づいて、第３処理例について説明する。第３処理例は、第１処理例及び第２処理例の変形例に相当するものである。第３処理例では、制御部２６は、情報処理装置１０の使用状態（縦置き、横置き、斜め置き等）に基づいて、ｔｈｒｏｗ画像表示用ウインドウの表示状態を決定する。
具体的には、制御部１６は、検出部１３から与えられた検出情報に基づいて、情報処理装置１０の使用状態を判定する。そして、制御部１６は、使用状態に関する使用状態情報を通信部１４に出力する。通信部１４は、使用状態情報を表示装置２０に送信する。表示装置２０の通信部２４は、使用状態情報を受信し、制御部２６に出力する。制御部２６は、使用状態情報に基づいて、ｔｈｒｏｗ画像表示用ウインドウの表示状態を決定する。例えば、制御部２６は、使用状態が縦置きとなる場合、ｔｈｒｏｗ画像表示用ウインドウを縦長の形状とし、使用状態が横置きとなる場合、ｔｈｒｏｗ画像表示用ウインドウを横長の形状とする。また、制御部２６は、使用状態が斜め置きとなる場合、ｔｈｒｏｗ画像表示用ウインドウを斜めに長い形状とする。
処理例を図１９及び図２０に示す。すなわち、図１９に示すように、情報処理装置１０が横置きとなっている場合、図２０に示すように、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０を横長の形状で表示する。この場合、制御部２６は、表示部２１の下端全体にｔｈｒｏｗ画像表示用ウインドウ１８０を表示してもよい。また、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０を表示部２１の下端からせり上がるように表示してもよい。
第３処理例によれば、表示装置２０は、情報処理装置１０の使用状態に基づいて、ウインドウの表示状態を決定するので、ユーザは、所望の表示状態でウインドウを表示させることができる。
（１−４−４．第４処理例）
次に、図２１に基づいて、第４処理例について説明する。第４処理例は、第１処理例及び第２処理例の変形例に相当するものである。第４処理例では、制御部２６は、情報処理装置１０の空間中の位置及び／または姿勢に基づいて、ｔｈｒｏｗ画像表示用ウインドウを表示する。より具体的には、制御部２６は、情報処理装置１０の中心を通り、かつ情報処理装置１０の長手方向に伸びる直線と、表示部２１との交点にｔｈｒｏｗ画像表示用ウインドウを表示する。
具体的には、情報処理装置１０の制御部１６は、遠隔ポインティング操作に関する遠隔ポインティング操作情報を通信部１４に出力する。通信部１４は、遠隔ポインティング操作情報を表示装置２０に送信する。表示装置２０の通信部２４は、遠隔ポインティング操作情報を受信し、制御部２６に出力する。制御部２６は、遠隔ポインティング操作情報に基づいて、ｔｈｒｏｗ画像表示用ウインドウの表示位置を決定する。例えば、制御部２６は、上述した交点がｔｈｒｏｗ画像表示用ウインドウの上のいずれかに配置されるように、ｔｈｒｏｗ画像表示用ウインドウの表示位置を決定する。
表示例を図２１に示す。この例では、ユーザＡが情報処理装置１０を移動させる。制御部２６は、情報処理装置１０の中心を通り、かつ情報処理装置１０の長手方向に伸びる直線Ｐ１と、表示部２１との交点Ｐ２がｔｈｒｏｗ画像表示用ウインドウ１８０の左上端部に位置するように、ｔｈｒｏｗ画像表示用ウインドウ１８０の表示位置を決定する。例えば、制御部２６は、交点Ｐ２が位置Ｐ２ａから位置Ｐ２ｂに移動した場合、ｔｈｒｏｗ画像表示用ウインドウ１８０を位置１８０ａから１８０ｂまで移動させる。
なお、制御部２６は、表示部２１を複数の小領域に区分し、上述した交点を含む小領域にｔｈｒｏｗ画像表示用ウインドウを表示するようにしてもよい。
第４処理例によれば、ユーザは、所望の位置にｔｈｒｏｗ画像表示用ウインドウを表示させることができる。
（１−４−５．第５処理例）
次に、図９、図１０、図２２〜図２４に基づいて、第５処理例について説明する。第５処理例は、いわゆるキャッチ（ｃａｔｃｈ）を行うものである。
（情報処理装置による処理）
図９に示すステップＳ４００において、制御部１６は、ユーザがｃａｔｃｈのトリガ操作を行うまで待機する。ここで、トリガ操作としては、例えば表示部１１上を上端から下端に向けてフリックする操作等が挙げられる。また、制御部１６は、表示部１１にｃａｔｃｈボタンを表示してもよい。そして、制御部１６は、ユーザがｃａｔｃｈボタンをタップする操作をトリガ操作と判定してもよい。
ステップＳ４１０において、制御部１６は、表示内容情報をリクエストする旨のｃａｔｃｈリクエスト情報を通信部１４に出力する。ここで、表示内容情報は、表示装置２０の現在の表示内容を示す情報である。表示内容情報は、ユーザによるｃａｔｃｈの対象となりうるウインドウ、すなわちｃａｔｃｈ可能ウインドウの表示エリア（表示位置）を示す。通信部１４は、ｃａｔｃｈリクエスト情報を表示装置２０に送信する。これに応じて、表示装置２０は、表示内容情報を情報処理装置１０に送信する。詳細は後述する。
ステップＳ４２０において、通信部１４は、表示内容情報を受信し、制御部１６に出力する。
ステップＳ４３０において、制御部１６は、表示内容情報に基づいて、ｃａｔｃｈ可能ウインドウを表示する。具体的には、制御部１６は、表示内容情報に基づいて、ｃａｔｃｈ対象ウインドウ選択ダイアログを生成し、ｃａｔｃｈ対象ウインドウ選択ダイアログを表示部１１に表示する。ｃａｔｃｈ対象ウインドウ選択ダイアログは、ユーザにｃａｔｃｈ対象ウインドウを選択させるためのダイアログである。ユーザが選択したｃａｔｃｈ対象ウインドウ内の画像情報が情報処理装置１０の表示部１１に表示される。
表示例を図２２に示す。この例では、制御部１６は、ｃａｔｃｈ対象ウインドウ選択ダイアログ２５０及びインジケータ２６０を表示する。制御部１６は、キャンセルボタンを表示してもよい。ｃａｔｃｈ対象ウインドウ選択ダイアログ２５０は、表示装置画像２５０ａと、ｃａｔｃｈ対象ウインドウ選択ボタン２５１〜２５４とを含む。
表示装置画像２５０ａは、表示装置２０をデフォルメ表示した画像である。ｃａｔｃｈ対象ウインドウ選択ボタン２５１〜２５４は、ユーザにｃａｔｃｈ対象ウインドウを選択させるためのボタンであり、表示装置画像２５０ａのうち、ｃａｔｃｈ可能ウインドウの表示位置に相当する部分に表示される。すなわち、ｃａｔｃｈ対象ウインドウ選択ボタン２５１〜２５４は、ｃａｔｃｈ可能ウインドウを示す。この例では、表示部２１上に４つのｃａｔｃｈ可能ウインドウが表示されている。また、例えばｃａｔｃｈ対象ウインドウ選択ボタン２５１は、表示部２１の左上端に表示されたｃａｔｃｈ可能ウインドウを示す。インジケータ２６０は、ユーザにｃａｔｃｈ対象ウインドウの選択を促す文字情報である。
ここでｃａｔｃｈ対象ウインドウ選択ダイアログはこの例に限られない。例えば、ｃａｔｃｈ対象ウインドウ選択は、ｃａｔｃｈ可能ウインドウの表示位置を示す文字情報をリスト表示してもよい。この場合、リスト中の各行がｃａｔｃｈ対象ウインドウ選択ボタンとなる。
ステップＳ４４０において、制御部１６は、ユーザがウインドウ指定操作、すなわちｃａｔｃｈ対象ウインドウを選択する操作を行うまで待機する。操作部１２は、ウインドウ指定操作がなされた場合には、ウインドウ指定操作情報を制御部１６に出力する。制御部１６は、ウインドウ指定操作情報が与えられた場合、すなわちウインドウ指定操作を検出した場合、ステップＳ４５０に進む。ここで、ウインドウ指定操作としては、例えば上述したｃａｔｃｈ対象ウインドウ選択ボタンをタップする操作等が挙げられる。
ステップＳ４５０において、制御部１６は、ウインドウ指定操作に基づいて、ユーザが選択したｃａｔｃｈ対象ウインドウを認識する。そして、制御部１６は、ユーザが選択したｃａｔｃｈ対象ウインドウに関するウインドウ指定情報を生成する。ここで、ウインドウ指定情報として、ｃａｔｃｈ対象ウインドウを識別するためのＩＤ（ウインドウＩＤ）、ｃａｔｃｈ対象ウインドウの表示エリアを示す情報等が挙げられる。制御部１６は、これらの情報を全てウインドウ指定情報に含めても良いし、いずれか一方のみをウインドウ指定情報に含めてもよい。制御部１６は、ウインドウ指定情報を通信部１４に出力する。通信部１４は、ウインドウ指定情報を表示装置２０に送信する。これに応じて、表示装置２０は、ｃａｔｃｈ対象ウインドウに表示中の画像情報、すなわちウインドウ表示情報を情報処理装置１０に送信する。
ステップＳ４６０において、通信部１４は、ウインドウ表示情報を受信し、制御部１６に出力する。ステップＳ４７０において、制御部１６は、ウインドウ表示情報を表示する。
（表示装置による処理）
図１０に示すステップＳ４８０において、表示装置２０の通信部２４は、ｃａｔｃｈリクエスト情報受信し、制御部２６に出力する。
ステップＳ４９０において、制御部２６は、表示内容情報を生成する。例えば、制御部２６は、図２３に示すｃａｔｃｈ可能ウインドウ２４１〜２４４を表示している場合、ｃａｔｃｈ可能ウインドウ２４１〜２４４の表示エリアを示す表示内容情報を生成する。ここで、制御部２６は、各ｃａｔｃｈ対象ウインドウにウインドウＩＤを付与し、このウインドウＩＤをｃａｔｃｈ可能ウインドウの表示エリアに関する情報に含めてもよい。また、制御部２６は、ウインドウＩＤのみを表示内容情報としてもよい。制御部２６は、表示内容情報を通信部２４に出力し、通信部２４は、表示内容情報を情報処理装置１０に送信する。
ステップＳ５００において、通信部２４は、ウインドウ指定情報を受信し、制御部２６に出力する。ステップＳ５１０において、制御部２６は、ウインドウ指定情報に基づいてｃａｔｃｈ対象ウインドウを認識し、ｃａｔｃｈ対象ウインドウに表示中の画像情報、すなわちウインドウ表示情報を取得する。そして、制御部２６は、ウインドウ表示情報を通信部２４に出力する。通信部２４は、ウインドウ表示情報を情報処理装置１０に送信する。
ステップＳ５２０において、制御部２６は、ｃａｔｃｈ対象ウインドウを表示部２１から消去する。制御部２６は、ｃａｔｃｈ対象ウインドウを残してもよい。
処理例を図２４に基づいて説明する。この例では、表示装置２０は、図２３に示すｃａｔｃｈ可能ウインドウ２４１〜２４４を表示している。したがって、情報処理装置１０は、図２２に示すｃａｔｃｈ対象ウインドウ選択ダイアログ２５０を表示する。情報処理装置１０は、ユーザがｃａｔｃｈ可能ウインドウ２４３をｃａｔｃｈ対象ウインドウとして選択した場合、その旨のウインドウ指定情報を表示装置２０に送信する。表示装置２０は、ｃａｔｃｈ対象ウインドウに表示中の画像情報をウインドウ表示情報として取得し、情報処理装置１０に送信する。情報処理装置１０は、ウインドウ表示情報２６０（すなわち、ｃａｔｃｈ可能ウインドウ２４３に表示されていた画像情報）を表示する。また、表示装置２０は、ｃａｔｃｈ可能ウインドウ２４３を消去する。
なお、表示装置２０は、以下の処理によりｃａｔｃｈ対象ウインドウを判定してもよい。すなわち、撮像部２３は、ユーザを撮像し、これによって得られた撮像画像を制御部２６に出力する。一方、ユーザは、ｃａｔｃｈ可能ウインドウのいずれかを指定するジェスチャ操作（例えばいずれかのｃａｔｃｈ可能ウインドウをポインティングする（指さす）操作）を行う。制御部２６は、撮像画像に基づいて、ユーザが指定したｃａｔｃｈ可能ウインドウをｃａｔｃｈ対象ウインドウと判定する。
この場合、制御部２６は、以下の処理によりウインドウ表示情報の送り先をユーザに選択させてもよい。すなわち、制御部２６は、送り先の一覧を示すリスト画像を表示部２１に表示する。ユーザは、リストアップされた送り先からいずれかの送り先を選択するジェスチャ操作（例えば、いずれかの送り先をポインティングする操作、ｃａｔｃｈ可能ウインドウをドラッグアンドドロップする操作）を行う。なお、ドラッグアンドドロップ操作は、例えば、ｃａｔｃｈ可能ウインドウをポインティングし、その後、指をいずれかの送り先を指し示す位置まで移動させることで行われる。制御部２６は、撮像画像に基づいて、ユーザが選択した送り先を判定し、この送り先にウインドウ表示情報を送信する。一覧表示される送り先には、情報処理装置１０以外の情報処理装置（据え置きＰＣ等）が含まれていてもよい。
また、ユーザは、音声情報によりｃａｔｃｈ対象ウインドウ及びウインドウ表示情報の送り先を指定してもよい。この場合、音声検出部２７は、音声情報を制御部２６に出力し、制御部２６は、音声情報に基づいて、ｃａｔｃｈ対象ウインドウ及びウインドウ表示情報の送り先を認識する。
第５処理例によれば、表示装置２０は、複数のウインドウのうち、いずれか一のウインドウに表示された画像情報が情報処理装置１０から要求された場合には、一のウインドウに表示された画像情報を情報処理装置１０に送信する。したがって、情報処理装置１０のユーザは、所望の画像情報を容易に取得することができる。
さらに、表示装置２０は、一のウインドウを消去する制御を行うので、ユーザは、一のウインドウに表示された画像情報を取得したことを容易に把握することができる。
（１−４−６．第６処理例）
つぎに、図１１、図２５〜図２８に基づいて、第６処理例について説明する。第６処理例は、ユーザの位置に応じてウインドウの表示位置を決定する処理である。この第６処理例では、情報処理システムは、必ずしも情報処理装置１０を有していなくてもよい。また、第６処理例では、表示装置２０の前（撮像部２３による撮像範囲）に１または複数のユーザが存在する。
（表示装置による処理）
図１１に示すステップＳ５３０において、音声検出部２７は、ユーザによる音声指示情報を検出し、制御部２６に出力する。ここで、音声指示情報には、少なくともウインドウの表示を指示する旨の音声情報が含まれる。音声指示情報には、ウインドウの表示内容を示す音声情報が含まれていてもよい。
ステップＳ５４０において、撮像部２３は、ユーザを撮像し、これによって得られた撮像画像を制御部２６に出力する。制御部２６は、撮像画像に基づいて、音声指示情報を発したユーザの位置を特定する。
ステップＳ５５０において、制御部２６は、音声指示情報を発したユーザの位置を判定する。ここで、制御部２６は、撮像部２３の撮像範囲をユーザから向かって右側、中央、及び左側に分類し、ユーザの位置がこれらの分類のどれに該当するのかを判定する。もちろん、分類はこの例に限られない。例えば、分類はより細分化されても良い。制御部２６は、ユーザが右側に存在すると判定した場合には、ステップＳ５６０に進み、ユーザが左側に存在すると判定した場合には、ステップＳ５７０に進み、ユーザが中央に存在すると判定した場合には、ステップＳ５８０に進む。
ステップＳ５６０において、制御部２６は、表示部２１の右側（右端）にウインドウを表示する。制御部２６は、音声指示情報にウインドウの表示内容が含まれる場合には、ウインドウにユーザが指定した表示内容を表示する。
ステップＳ５７０において、制御部２６は、表示部２１の左側（左端）にウインドウを表示する。制御部２６は、音声指示情報にウインドウの表示内容が含まれる場合には、ウインドウにユーザが指定した表示内容を表示する。
ステップＳ５８０において、制御部２６は、プロンプトを表示する。ここで、プロンプトは、ウインドウの表示位置の指定を促す情報である。具体例は後述する。
ステップＳ５９０において、音声検出部２７は、ユーザによる音声指示情報を検出し、制御部２６に出力する。ここでの音声指示情報には、少なくともウインドウの表示位置を指示する旨の音声情報が含まれる。
ステップＳ６００において、制御部２６は、音声指示情報が右を示すか否かを判定し、音声指示情報が右を示すと判定した場合には、ステップＳ６１０に進み、音声指示情報が左を示すと判定した場合には、ステップＳ６２０に進む。
ステップＳ６１０において、制御部２６は、表示部２１の右側（右端）にウインドウを表示する。制御部２６は、音声指示情報にウインドウの表示内容が含まれる場合には、ウインドウにユーザが指定した表示内容を表示する。
ステップＳ６２０において、制御部２６は、表示部２１の左側（左端）にウインドウを表示する。制御部２６は、音声指示情報にウインドウの表示内容が含まれる場合には、ウインドウにユーザが指定した表示内容を表示する。なお、ユーザは、ジェスチャ操作（ポインティング、フリックなど）によりウインドウの表示位置を指定してもよい。この場合、制御部２６は、撮像画像に基づいて、ウインドウの表示位置を決定する。すなわち、制御部２６は、ジェスチャ操作したユーザを判定し、その結果に基づいて、ウインドウの表示位置を決定する。
処理例を図２５〜図２８に基づいて説明する。図２５に示すように、表示装置２０（制御部２６）は、任意の画像情報、例えば画像情報１７０を表示する。この例では、３人のユーザＡ〜Ｃが画像情報１７０を視認している。また、ユーザＡ〜Ｃは撮像部２３の撮像範囲に含まれる。ユーザＡ〜Ｃは、情報処理装置１０を有していても有していなくてもよい。
その後、左端に存在するユーザＡが「地図を表示」と発声した場合、図２６に示すように、表示装置２０は、ウインドウ２７０を表示部２１の左端に表示する。ウインドウ２７０には、ウインドウ２７０の表示内容を示すインジケータ２７１と、地図画像が表示される画像表示エリア２７２とが含まれる。また、表示装置２０は、画像情報１７０のアスペクト比を固定して縮小し、画像情報１７０の上側にインジケータ１７１を表示する。インジケータ１７１は、画像情報１７０を識別するための情報を示す。
一方、中央に存在するユーザＢが「地図を表示」と発声した場合、図２７に示すように、表示装置２０は、プロンプト２８１、２８２を表示部２１の両端に表示する。プロンプト２８１は、表示部２１の右端に表示され、「Ｒ」の文字が描かれる。プロンプト２８２は、表示部２１の左端に表示され、「Ｌ」の文字が描かれる。これにより、表示装置２０は、ユーザにウインドウの表示位置の指定を促すことができる。その後、ユーザＢが「左」と発声した場合、表示装置２０は、図２８に示すように、表示装置２０は、ウインドウ２９０を表示部２１の左端に表示する。ウインドウ２９０には、ウインドウ２９０の表示内容を示すインジケータ２９１と、地図画像が表示される画像表示エリア２９２とが含まれる。また、表示装置２０は、画像情報１７０のアスペクト比を固定して縮小し、画像情報１７０の上側にインジケータ１７１を表示する。インジケータ１７１は、画像情報１７０を識別するための情報を示す。
第６処理例によれば、各ユーザは、自己の見やすい位置に所望のウインドウを容易に表示させることができる。
（１−４−７．第７処理例）
つぎに、図１２及び図２９に基づいて、第７処理例について説明する。第７処理例は、第１及び第２処理例の変形例に相当する。
まず、制御部２６は、第１及び第２処理例と同様の画像を表示する。表示例を図２９に示す。この例では、制御部２６は、ベース画像表示用ウインドウ１７１と、ｔｈｒｏｗ画像表示用ウインドウ１８０とを表示する。この例では、各種情報表示用ウインドウ１９０と、カーソル１９３とが省略されるが、これらの画像が表示されても良いことはもちろんである。また、ユーザＡ、Ｂが表示装置２０を視認している。ユーザＢは情報処理装置１０を有していなくてもよい。
ベース画像表示用ウインドウ１７１は、ベース画像表示エリア１７１ａと、ベース画像インジケータ１７１ｂとを含む。ベース画像表示エリア１７１ａには、ベース画像情報１７１ｃが表示される。インジケータ１７１ｂは、ベース画像情報の題名等、ベース画像情報を識別するための情報を示す。詳細な内容は図１８と同様である。
ｔｈｒｏｗ画像表示用ウインドウ１８０は、ｔｈｒｏｗ画像を表示するためのウインドウである。ｔｈｒｏｗ画像表示用ウインドウ１８０は、インジケータ１８１と、ｔｈｒｏｗ画像表示エリア１８２とを含む。具体的な内容は図１８と同様である。なお、この例では、表示エリア切り替えボタン１８４と、縮小ボタン１８５と、拡大ボタン１８６と、カーソル１９３とが省略されるが、これらの画像が表示されても良いことはもちろんである。
また、この例では、ｔｈｒｏｗ画像表示エリア１８２には、ユーザＡの情報処理装置１０から送信された（またはコンテクスト情報により得られた）ｔｈｒｏｗ画像情報（すなわちアドレス画像情報１８２ａ、ウェブページ１８２ｂ）が表示されている。なお、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウの代わりに、他のウインドウ、例えば第７処理例で説明したウインドウを表示してもよい。
また、情報処理装置１０の制御部１６は、ｔｈｒｏｗ画像情報（または上述した他のウインドウ）に対応する音声情報Ｓ１を出力している。
ここで、制御部２６は、表示部２１の表示内容を示す表示内容情報を通信部２４に出力し、通信部２４は、表示内容情報をユーザＡの情報処理装置１０に送信する。情報処理装置１０の通信部１４は、表示内容情報を受信し、制御部１６に出力する。制御部１６は、表示内容情報を表示部１１に表示する。表示例は図２９に示す通りである。すなわち、この例では、制御部１６は、表示内容情報３００を表示する。表示内容情報３００は、表示装置２０の表示内容をデフォルメした画像である。表示内容画像３００は、ｔｈｒｏｗ画像表示用ウインドウに相当するウインドウ選択ボタン３１０と、ベース画像表示用ウインドウ１７１に相当するウインドウ選択ボタン３２０とを含む。
制御部１６は、ユーザがいずれかのウインドウ選択ボタンをタップした場合、ユーザがタップした（選択した）ウインドウ選択ボタンに関する選択ウインドウ情報を通信部１４に出力する。通信部１４は、選択ウインドウ情報を表示装置２０に出力する。表示装置２０の通信部２４は、選択ウインドウ情報を制御部２６に出力する。制御部２６は、選択ウインドウ情報に基づいて、ユーザが選択したウインドウを認識し、当該ウインドウに対応する音声情報を取得する。ここで、制御部２６は、音声情報をネットワークから取得してもよく、記憶部２５から取得するようにしてもよい。制御部２６は、音声情報を通信部２４に出力し、通信部２４は、音声情報を情報処理装置１０に送信する。情報処理装置１０の通信部１４は、音声情報を受信し、制御部１６に出力する。制御部１６は、音声情報を音声出力部１７から出力させる。なお、制御部１６は、当該音声情報を表示装置２０から取得する代わりに、ネットワークから取得するようにしてもよい。また、記憶部１５に音声情報を予め記憶させておき、制御部１６は、記憶部１５から音声情報を取得するようにしてもよい。
また、制御部２６から表示内容情報を情報処理装置１０に送信する代わりに、以下の処理を行ってもよい。この場合、情報処理装置１０に撮像部を備えさせる必要がある。すなわち、ユーザは、情報処理装置１０の撮像部を用いて表示部２１を撮像する。撮像部は、当該撮像により得られた撮像画像を制御部１６に出力する。制御部１６は、この撮像画像を表示内容情報として表示部１１に表示する。
一方、表示装置２０は、ユーザＢに対しては、図１２に示すフローチャートに沿った処理を行う。なお、この場合、音声出力部２２は指向性の音声情報を出力できることが好ましい。
すなわち、ステップＳ６３０において、撮像部２３は、ユーザＢを撮像し、これによって得られた撮像画像を制御部２６に出力する。制御部２６は、撮像画像に基づいて、ユーザＢの視点を検出する。
ステップＳ６４０において、制御部２６は、検出結果に基づいて、ユーザＢが対応音声ありのウインドウを所定時間見たか否かを判定する。この例では、対応音声ありのウインドウは、ベース画像表示用ウインドウ１７１及びｔｈｒｏｗ画像表示用ウインドウ１８０のいずれかとなる。制御部２６は、ユーザＢが対応音声ありのウインドウを所定時間見たと判定した場合には、ステップＳ６５０に進み、それ以外の場合には、本処理を終了する。
制御部２６は、ユーザＢが視認中のウインドウに対応する音声情報を音声出力部２２から出力する。すなわち、音声情報を切り替える。例えば、ユーザＢの視点（視線Ｘ１）がベース画像表示用ウインドウ１７１に向いている場合、制御部２６は、ベース画像表示用ウインドウ１７１に対応する音声情報Ｓ２を出力する。なお、制御部２６は、音声出力部２２からユーザＢに向けて音声情報を出力してもよい。また、制御部２６は、ユーザＢが視認中のウインドウに対応する音声情報を大きく、他の音声情報を小さく出力するようにしてもよい。また、制御部２６は、音声切り換え時にそれまで出力していた音声情報をフェードアウトし、新たに出力する音声情報をフェードインしてもよい。
第７処理例によれば、各ユーザは、自己が所望する音声情報をより容易に聞き取ることができる。
（１−４−８．第８処理例）
つぎに、図１３及び図３０に基づいて、第８処理例について説明する。この第８処理例においても、情報処理システムは、情報処理装置１０を有していなくてもよい。また、第８処理例では、１または複数のユーザが表示装置２０を視認している。
ステップＳ６６０において、撮像部２３は、ユーザを撮像し、これによって得られた撮像画像を制御部２６に出力する。
ステップＳ６７０において、制御部２６は、撮像画像から顔検出を行うことで、撮像範囲内にユーザが存在するか否かを判定する。制御部２６は、撮像範囲内にユーザが存在すると判定した場合には、ステップＳ６８０に進み、撮像範囲内にユーザが存在しないと判定した場合には、本処理を終了する。
ステップＳ６８０において、制御部２６は、顔検出の結果に基づいて、ユーザの左右方向の位置を特定する。
ステップＳ６９０において、制御部２６は、顔検出の結果、具体的には顔の大きさに基づいて、ユーザの前後方向の位置（表示装置２０からユーザまでの距離）を特定する。
ステップＳ７００において、制御部２６は、ユーザの左右方向の位置に基づいて、ウインドウの左右方向の表示位置を決定する。例えば、制御部２６は、ユーザの左右方向の位置とウインドウの左右方向の位置とが一致するように、ウインドウの左右方向の位置を特定してもよい。
ステップＳ７１０において、制御部２６は、ユーザの前後方向の位置に基づいて、ウインドウの表示サイズを決定する。例えば、制御部２６は、ユーザが表示装置２０から離れるほど、ウインドウの表示サイズを大きくしてもよい。なお、制御部２６は、ウインドウの表示サイズを調整する代わりに、ウインドウに表示される画像情報の大きさを調整してもよい。例えば、制御部２６は、ユーザが表示装置２０から離れるほど、画像情報を大きくしてもよい。
ステップＳ７２０において、制御部２６は、ユーザの前後方向の位置に基づいて、ウインドウの高さ方向の表示装置（表示部２１の下端部からの距離）を決定する。例えば、制御部２６は、ユーザの顔の高さにウインドウが配置されるように、ウインドウの高さ方向の位置を特定してもよい。
ステップＳ７３０において、制御部２６は、ウインドウを上記で決定された位置及び表示サイズで表示する。
処理例を図３０に示す。この例では、ユーザＡ、Ｂがそれぞれ表示装置２０を視認している。表示装置２０は、顔検出を行うことでユーザＡ、Ｂの顔を検出し、検出結果に基づいて、ユーザＡに対応するウインドウ２９５、ユーザＢに対応するウインドウ３００の表示位置、及び表示サイズを決定する。そして、表示装置２０は、ウインドウ２９５、３００を当該決定された表示位置、及び表示サイズで表示する。例えば、表示装置２０は、ユーザＡの視線Ｐ３の先にウインドウ２９５が、ユーザＢの視線Ｐ４の先にウインドウ３００が配置されるように、ウインドウ２９５、３００を表示する。制御部２６は、ウインドウ２９５、３００のそれぞれに、ユーザＡ、Ｂが指定した画像情報等を表示する。
例えば、制御部２６は、ユーザＡ、Ｂの各々が有する情報処理装置１０から送信されたｔｈｒｏｗ画像情報を表示する。この場合、記憶部２５には、情報処理装置１０の識別情報（情報処理装置ＩＤ）とユーザの識別情報とが関連付けられたユーザ特定用情報が記憶されている。ユーザの識別情報としては、ユーザの氏名、顔画像等が挙げられる。また、情報処理装置１０から送信されるｔｈｒｏｗ画像情報には、情報処理装置１０の識別情報が付加されている。そして、制御部２６は、ｔｈｒｏｗ画像情報に付加された情報処理装置１０の識別情報と、記憶部２５に記憶されたユーザ特定用情報とに基づいて、ｔｈｒｏｗ画像情報をいずれのウインドウに表示させるかを決定する。
また、制御部２６は、ユーザの左右方向の位置が変動した場合、それに応じてウインドウの左右方向の表示位置も変更してよい。
処理例を図３１、図３２に示す。図３１に示すように、制御部２６は、ウインドウ２９５、３００に画像情報を表示している。また、制御部２６は、ウインドウ２９５、３００の間にウインドウ３１０を表示し、このウインドウ３１０にも画像情報を表示している。
ここで、ユーザＡが矢印Ｐ５方向に移動し、ユーザＢが矢印Ｐ６方向に移動することで、ユーザＡ、Ｂの位置が入れ替わった場合、制御部２６は、ウインドウ２９５、３００の表示位置を入れ替える。具体的には、制御部２６は、ウインドウ２９５の表示位置を矢印Ｐ７方向に移動させる一方、ウインドウ３００の表示位置を矢印Ｐ８方向に移動させることで、ウインドウ２９５、３００の表示位置を入れ替える。具体的には、制御部２６は、ユーザの位置が変動した場合、ステップＳ６６０〜ステップＳ７３０の処理を再度行う。これにより、制御部２６は、ユーザＡ、Ｂの位置が変動しても、ユーザＡ、Ｂの視線の先にウインドウ２９５、３００を表示することができる。
また、制御部２６は、ユーザの位置の変動に応じてウインドウ表示位置を変更する場合、表示位置の変更があったウインドウを他の部分と異なる態様で（すなわち強調して）表示してもよい。例えば、制御部２６は、ウインドウの表示位置を変更する場合、ウインドウの表示位置を変更してから所定時間の間は、当該ウインドウの境界部分を他の部分と異なる態様で表示してもよい。ウインドウの表示態様としては、例えばウインドウの境界部分を他の部分よりも目立つ色で表示する、ウインドウの境界付近を輝くようなエフェクトで表示する、ウインドウを点滅させる等が挙げられる。これにより、ユーザは、移動中に視線を表示装置２０から外しても、視線を表示装置２０に戻した際に自己に対応するウインドウを容易に発見することができる。
また、制御部２６は、ウインドウの表示位置を変更してから所定時間の間は、当該ウインドウに対応するユーザを示すインジケータを当該ウインドウ内（またはウインドウの近傍）に表示してもよい。このようなインジケータとしては、ユーザの顔画像を示すアイコン、ユーザの氏名等を示す文字情報、ユーザを撮像することにより得られるライブ映像等が挙げられる。ライブ映像はスルー画像として表示されても良い。制御部２６は、インジケータをウインドウ内に表示する場合、インジケータをウインドウ内の一部に表示しても良いし、ウインドウ内の画像情報とインジケータとをαブレンディングしたものを表示しても良い。これにより、ユーザは、移動中に視線を表示装置２０から外しても、視線を表示装置２０に戻した際に自己に対応するウインドウを容易に発見することができる。
また、制御部２６は、ウインドウの表示位置を変更する場合、ウインドウを変更後の表示位置まで連続的に移動させてもよいし、一旦ウインドウを消去し、その後変更後の表示位置にウインドウを表示してもよい。前者の場合、制御部２６は、ウインドウが新たな表示位置に到達するまで（またはウインドウが新たな表示位置に到達してから所定時間内）は、ウインドウを透過表示してもよい。これにより、制御部２６は、ウインドウの移動中にウインドウが他の画像情報と重複した場合であっても、他の画像情報の視認性の低下を抑えることができる。
第８処理例によれば、表示装置２０は、情報処理装置１０のユーザの位置に基づいて、情報処理装置１０に関連付けられたウインドウの表示位置を決定するので、ユーザは、所望のウインドウをより容易に視認することができる。
また、表示装置２０は、情報処理装置１０のユーザの位置が変動した場合、情報処理装置１０に関連付けられたウインドウの表示位置を変動させるので、ユーザは、所望のウインドウをより容易に視認することができる。
（１−４−９．第９処理例）
つぎに、図３３に基づいて、第９処理例について説明する。第９処理例は、第１及び第２処理例の変形例に相当する。
まず、制御部２６は、第１及び第２処理例と同様の画像を表示する。表示例を図３３に示す。この例では、制御部２６は、ベース画像表示用ウインドウ１７１と、ｔｈｒｏｗ画像表示用ウインドウ１８０とを表示する。この例では、各種情報表示用ウインドウ１９０と、カーソル１９３とが省略されるが、これらの画像が表示されても良いことはもちろんである。また、ユーザＡが表示装置２０を視認している。また、ユーザＡは情報処理装置１０を所持しており、情報処理装置１０は、ｔｈｒｏｗ画像情報を表示装置２０に送信する。
ベース画像表示用ウインドウ１７１は、ベース画像表示エリア１７１ａと、ベース画像インジケータ１７１ｂとを含む。ベース画像表示エリア１７１ａには、ベース画像情報１７１ｃが表示される。インジケータ１７１ｂは、ベース画像情報の題名等、ベース画像情報を識別するための情報を示す。詳細な内容は図１８と同様である。
ｔｈｒｏｗ画像表示用ウインドウ１８０は、ｔｈｒｏｗ画像を表示するためのウインドウである。ｔｈｒｏｗ画像表示用ウインドウ１８０は、インジケータ１８１と、ｔｈｒｏｗ画像表示エリア１８２とを含む。具体的な内容は図１８と同様である。なお、この例では、表示エリア切り替えボタン１８４と、縮小ボタン１８５と、拡大ボタン１８６と、カーソル１９３とが省略されるが、これらの画像が表示されても良いことはもちろんである。
また、この例では、ｔｈｒｏｗ画像表示エリア１８２には、ユーザＡの情報処理装置１０から送信された（またはコンテクスト情報により得られた）ｔｈｒｏｗ画像情報（すなわちアドレス画像情報１８２ａ、ウェブページ１８２ｂ）が表示されている。なお、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウの代わりに、他のウインドウ、例えば第７処理例で説明したウインドウを表示してもよい。
そして、撮像部２３は、ユーザＡを撮像し、撮像画像を制御部２６に出力する。制御部２６は、撮像画像から顔検出を行うことで、ユーザＡを認識する。制御部２６は、ユーザＡが撮像部２３の撮像範囲から外れる方向に移動を開始した場合、ユーザＡの移動量に応じてｔｈｒｏｗ画像表示用ウインドウ１８０を縮小する。そして、制御部２６は、ユーザＡが撮像範囲から離脱した際に、ｔｈｒｏｗ画像表示用ウインドウ１８０を消去する。
例えば、制御部２６は、ユーザＡが矢印Ｐ９方向へ移動を開始した場合、ｔｈｒｏｗ画像表示用ウインドウ１８０とベース画像表示用ウインドウ１７１との境界線１８３をユーザＡの移動量に応じて矢印Ｐ１０方向に移動させる。制御部２６は、境界線１８３の移動に応じて、ｔｈｒｏｗ画像情報も横方向に縮小する。すなわち、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０を横方向に縮小する。そして、制御部２６は、ユーザＡが撮像範囲から離脱した際に、境界線１８３を表示部２１の左端に到達させる。これにより、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウを消去する。
なお、ユーザＡの移動とｔｈｒｏｗ画像表示用ウインドウ１８０の消去との間にはタイムラグがあってもよい。すなわち、制御部２６は、ユーザＡが撮像範囲から離脱したタイミングよりも遅いタイミングでｔｈｒｏｗ画像表示用ウインドウ１８０を消去するようにしてもよい。
また、制御部２６は、以下の各方法によりｔｈｒｏｗ画像表示用ウインドウ１８０を消去してもよい。例えば、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０を画面外に移動させることで、ｔｈｒｏｗ画像表示用ウインドウ１８０を消去してもよい。また、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０を縦方向に縮小してもよい。また、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０の透過度を高くすることで、ｔｈｒｏｗ画像表示用ウインドウ１８０を消去してもよい。また、制御部２６は、上記処理を行うか否かをユーザに設定させるようにしてもよい。
その後、制御部２６は、ユーザＡが撮像部２３の撮像範囲内への進入を開始した場合、ユーザＡの移動量に応じてｔｈｒｏｗ画像表示用ウインドウ１８０を再表示する。そして、制御部２６は、ユーザＡの全体（例えば顔全体）が撮像範囲内に入った際に、ｔｈｒｏｗ画像表示用ウインドウ１８０を元の大きさに戻す。
例えば、制御部２６は、ユーザＡが撮像範囲外から矢印Ｐ１１方向へ移動を開始した場合、ｔｈｒｏｗ画像表示用ウインドウ１８０とベース画像表示用ウインドウ１７１との境界線１８３をユーザＡの移動量に応じて矢印Ｐ１２方向に移動させる。制御部２６は、境界線１８３の移動に応じて、ｔｈｒｏｗ画像情報も横方向に拡大する。すなわち、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０を横方向に拡大する。そして、制御部２６は、ユーザＡの全体が撮像範囲内に入った際に、境界線１８３を元の位置に到達させる。これにより、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウを再表示する。
なお、ユーザＡの移動とｔｈｒｏｗ画像表示用ウインドウ１８０の表示との間にはタイムラグがあってもよい。すなわち、制御部２６は、ユーザＡ全体が撮像範囲内に入ったタイミングよりも遅いタイミングでｔｈｒｏｗ画像表示用ウインドウ１８０を元の大きさに戻してもよい。
また、制御部２６は、以下の各方法によりｔｈｒｏｗ画像表示用ウインドウ１８０を再表示してもよい。例えば、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０を画面外から画面内に移動させることで、ｔｈｒｏｗ画像表示用ウインドウ１８０を再表示してもよい。また、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０を縦方向に拡大することで、ｔｈｒｏｗ画像表示用ウインドウ１８０を再表示してもよい。また、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０の透過度を低くすることで、ｔｈｒｏｗ画像表示用ウインドウ１８０を再表示してもよい。また、制御部２６は、上記処理を行うか否かをユーザに設定させるようにしてもよい。
また、制御部２６は、ｔｈｒｏｗ画像表示用ウインドウ１８０の消去中は、ｔｈｒｏｗ画像情報の再生を一時停止させてもよい。制御部２６は、ベース画像情報のストリーミングも一時停止してもよい。制御部２６は、ユーザＡが中座する（すなわち撮像範囲から外れる）時間が所定時間よりも長い場合、上記の再表示を行わなくてもよい。また、制御部２６は、ユーザＡが撮像範囲内で静止した位置に基づいて、ｔｈｒｏｗ画像表示用ウインドウ１８０の表示位置を決定してもよい。具体的な処理内容は第８処理例と同様であればよい。
第９処理例によれば、表示装置２０は、ユーザが撮像範囲内に存在する場合にウインドウを表示することができるので、例えばユーザの不在時に他のユーザがウインドウを煩わしく感じないようにすることができる。
（１−４−１０．第１０処理例）
次に、図３５に基づいて、第１０処理例について説明する。第１０処理例では、表示部２１の表示エリア毎に異なるユーザに操作権限が設定される。なお、図３５に示す例では、ユーザＡ、Ｂが表示装置２０を視認している。第１０の処理例では、情報処理システムは、情報処理装置１０を有していても有していなくてもよい。情報処理システムが情報処理装置１０を有する場合、すなわち各ユーザが異なる情報処理装置１０を有する場合、記憶部２５は、情報処理装置１０の識別情報とユーザの識別情報（例えば顔画像）とが関連付けられたユーザ特定用情報が記憶されていてもよい。これにより、制御部２６は、いずれかのユーザの情報処理装置１０から遠隔操作情報が与えられた場合、その遠隔操作情報がどのユーザから発せられたのかを認識することができる。
例えば、撮像部２３は、ユーザを撮像し、これによって得られた撮像画像を制御部２６に出力する。制御部２６は、撮像画像から顔検出を行うことで、ユーザＡ、Ｂを検出し、ユーザＡ、Ｂの左右方向の位置を特定する。そして、制御部２６は、ユーザＡの正面の表示エリア３３０の操作権限をユーザＡに付与し、ユーザＢの正面の表示エリア３４０の操作権限をユーザＢに付与する。制御部２６は、表示エリア３３０、３４０間の表示エリア３５０の操作権限をユーザＡ、Ｂの双方に付与する。なお、表示エリアの区分及び操作権限の付与方法についてはこの例に限られない。例えば、制御部２６は、表示エリアを任意に区分し、表示エリア毎に異なるユーザに操作権限を付与してもよい。
そして、制御部２６は、ユーザＡによるウインドウ表示指示操作により表示エリア３３０内にウインドウ３３０ａ、３３０ｂを表示し、ユーザＢによる入力操作により表示エリア３４０内にウインドウ３４０ａを表示する。
ここで、ユーザによるウインドウ表示指示操作としては、例えば第１処理例及び第２処理例と同様の操作（例えば、ｔｈｒｏｗボタン１００をタップする操作）、各種ジェスチャ操作、音声操作（発声により指示する操作）等が挙げられる。なお、制御部２６は、どのユーザがジェスチャ操作または音声操作を行ったのかを、撮像画像に基づいて判定することができる。
また、制御部２６は、ユーザＡによるウインドウ操作に基づいて、ウインドウ３３０ａ、３３０ｂに関する処理（例えば画像情報の表示、画像情報の切り替え等）を行う。また、制御部２６は、ユーザＢによるウインドウ操作に基づいて、ウインドウ３４０ａに関する処理（例えば画像情報の表示、画像情報の切り替え等）を行う。ここで、ユーザによるウインドウ操作としては、上述した第２処理例と同様の操作（例えば、カーソル１９３をウインドウ内の所望の位置に移動させて情報処理装置１０をタップする操作）の他、各種ジェスチャ操作、音声操作等が挙げられる。
また、制御部２６は、ユーザＡによるウインドウ移動指示操作に基づいて、ウインドウ３３０ａ、３３０ｂを移動させ、ユーザＢによるウインドウ移動指示操作に基づいて、ウインドウ３４０ａを移動させる。ここで、ユーザによるウインドウ移動指示操作としては、上述した第２処理例と同様の操作（例えば、カーソル１９３を用いてウインドウをドラッグアンドドロップする操作）の他、各種ジェスチャ操作、音声操作等が挙げられる。
また、制御部２６は、例えばウインドウ３３０ｂが表示エリア３５０に進入した場合、ウインドウ３３０ｂをユーザＡ、Ｂによって操作可能なウインドウ３５０ａとする。
このように、制御部２６は、表示エリア内に表示されたウインドウの操作権限を、当該表示エリアの操作権限を有するユーザに付与する。
第１０処理例によれば、表示装置２０は、表示部２１の表示エリアを複数の表示エリア（小領域）に区分し、複数の表示エリアの各々と、複数の情報処理装置１０の各々とを関連付ける。
したがって、表示エリア毎に操作権限が付与されるので、ユーザは、自己に操作権限があるウインドウをより容易に把握することができる。
（１−４−１１．第１１処理例）
次に、図３６及び図３７に基づいて、第１１処理例について説明する。第１１処理例では、表示部２１のウインドウ毎に異なるユーザに操作権限が設定される。なお、図３６に示す例では、ユーザＡ、Ｂ、Ｃが表示装置２０を視認しており、図３７に示す例では、ユーザＡ、Ｂが表示装置２０を視認している。第１１の処理例では、情報処理システムは、情報処理装置１０を有していても有していなくてもよい。情報処理システムが情報処理装置１０を有する場合、すなわち各ユーザが異なる情報処理装置１０を有する場合、記憶部２５は、情報処理装置１０の識別情報とユーザの識別情報とが関連付けられたユーザ特定用情報が記憶されていてもよい。ユーザの識別情報としては、ユーザの氏名、顔画像等が挙げられる。これにより、制御部２６は、いずれかのユーザの情報処理装置１０から遠隔操作情報が与えられた場合、その遠隔操作情報がどのユーザから発せられたのかを認識することができる。
例えば、撮像部２３は、ユーザを撮像し、これによって得られた撮像画像を制御部２６に出力する。制御部２６は、撮像画像から顔検出を行うことで、ユーザＡ、Ｂ、Ｃを検出する。
そして、図３６に示すように、制御部２６は、ウインドウ３６０〜３９０を表示し、ウインドウ毎に異なるユーザに操作権限を付与する。例えば、制御部２６は、ウインドウ３６０の操作権限をユーザＡに付与し、ウインドウ３７０の操作権限をユーザＣに付与し、ウインドウ３８０の操作権限をユーザＡ、Ｂに付与する。制御部２６は、ウインドウ３９０の操作権限をユーザＢに付与する。そして、制御部２６は、ウインドウ３６０〜３９０の端部にインジケータ３６１〜３９１を表示する。インジケータ３６１〜３９１は、ウインドウ３６０〜３９０の操作権限を有するユーザを示す。
なお、ウインドウ３８０の操作権限はユーザＡ、Ｂに付与される（すなわちウインドウ３８０はユーザＡ、Ｂの共有となる）が、例えば、制御部２６は、初期状態ではユーザＡに操作権限を付与してもよい。そして、制御部２６は、ユーザＡによる操作により、ウインドウ３８０の操作権限をＢにも付与してもよい。例えば、制御部２６は、ユーザＡによるジェスチャ操作（例えばウインドウ３８０のポインティング操作）に基づいて、操作権限を共有させるユーザのリストを表示する。リストアップされるユーザは、例えば撮像画像に写っているユーザに限定してもよい。そして、制御部２６は、ユーザＡがいずれかのユーザ（例えばユーザＢ）を選択した場合、ウインドウ３８０をユーザＡと選択されたユーザとの共有としてもよい。
このように、制御部２６は、ウインドウ３６０〜３９０とユーザＡ、Ｂ、Ｃとを関連付ける。ここで、各ユーザＡ、Ｂ、Ｃが情報処理装置１０を保持する場合、制御部２６は、情報処理装置１０から送信された遠隔操作情報と、記憶部１５に記憶されたユーザ特定用情報とに基づいて、遠隔操作情報による操作対象となるウインドウを判定する。したがって、制御部２６は、ウインドウ３６０〜３９０と各ユーザＡ、Ｂ、Ｃと情報処理装置１０とを関連付けることとなる。
また、制御部２６は、ユーザＡによるウインドウ操作に基づいて、ウインドウ３６０、３８０に関する処理（例えば画像情報の表示、画像情報の切り替え等）を行う。また、制御部２６は、ユーザＢによるウインドウ操作に基づいて、ウインドウ３８１、３９０に関する処理（例えば画像情報の表示、画像情報の切り替え等）を行う。また、制御部２６は、ユーザＣによるウインドウ操作に基づいて、ウインドウ３７０に関する処理を行う。ウインドウ操作の具体的な内容は第１０処理例と同様である。また、制御部２６は、ユーザＡ、Ｂ、Ｃによるウインドウ移動指示操作に基づいて、ユーザＡ、Ｂ、Ｃが操作権限を有するウインドウの移動を行う。具体的な処理は第１０処理例と同様である。
このように、制御部２６は、表示部２１に表示されたウインドウの操作権限を、各ユーザに付与する。
また、制御部２６は、図３７に示すように、ユーザＡが矢印Ｐ１３方向に移動することで、ユーザＡが撮像範囲から離脱した場合、ユーザＡの操作権限を解除する。すなわち、制御部２６は、ユーザＡの情報処理装置１０とウインドウとの関連付けを解除する。例えば、制御部２６は、ユーザＡのウインドウ３６０、３８０に対する操作権限を解除する。
そして、制御部２６は、操作権限を有するユーザが存在しないウインドウが存在する場合、そのウインドウの操作権限を撮像範囲内に存在する全てのユーザに付与する。
例えば、ウインドウ３６０は、ユーザＡが離脱することで、操作権限を有するユーザが存在しなくなるので、制御部２６は、ユーザＢ、Ｃにウインドウ３６０の操作権限を付与する。すなわち、制御部２６は、ユーザＡ以外のユーザの情報処理装置１０にウインドウ３６０を関連付ける。
制御部２６は、上記の処理に応じて、インジケータ３６１〜３９１の表示内容を変更する。例えば、制御部２６は、インジケータ３６１に「Ｆｒｅｅ」、すなわちユーザＢ、Ｃに操作権限を付与したことを示す文字情報を表示する。また、制御部２６は、インジケータ３８１にユーザＢの識別情報を表示する。なお、制御部２６は、操作権限を有するユーザが存在しないウインドウ３６０を消去してもよい。
第１１処理例によれば、表示装置２０は、複数のウインドウを表示する制御を行う一方、複数のウインドウの各々と、複数の情報処理装置１０の各々とを関連付ける。したがって、各ユーザは、自己の情報処理装置１０が関連付けられたウインドウを操作することができるので、操作に混乱する可能性が低減される。
さらに、表示装置２０は、情報処理装置１０のユーザを検出できなかった場合、情報処理装置１０に関連付けられたウインドウと当該情報処理装置１０との関連付けを解除する。したがって、あるユーザが撮像範囲外に離脱した場合、そのユーザに関連付けられたウインドウが操作できなくなるという可能性が低減される。
さらに、表示装置２０は、情報処理装置１０との関連付けが解除されたウインドウを、当該情報処理装置１０以外の情報処理装置１０に関連付ける。したがって、あるユーザが撮像範囲外に離脱した場合、そのユーザに関連付けられたウインドウが他のユーザによって操作可能となる。
さらに、表示装置２０は、情報処理装置１０のユーザを検出できなかった場合、当該情報処理装置１０に関連付けられたウインドウを消去する。したがって、ユーザが混乱する可能性が低減される。なお、上述した各処理例は適宜組み合わせても良いことはもちろんである。例えば、第１１処理例のウインドウには、ユーザが第１処理例で指定したｔｈｒｏｗ画像表示用ウインドウが含まれてもよい。
＜２．第２の実施の形態（第１の実施形態にヘッドマウントディスプレイを追加した例）＞
次に、第２の実施形態について説明する。
（２−１．全体構成）
まず、図３８〜図４１、及び図４９に基づいて、全体構成について説明する。第２の実施形態に係る情報処理システムは、情報処理装置１０と、表示装置２０と、ヘッドマウントディスプレイ（以下、「ＨＭＤ」とも称する）３０とを備える。情報処理装置１０と、表示装置２０と、ＨＭＤ３０とは、いずれも各種サーバ（例えば翻訳サーバ４０、字幕サーバ５０、及びＡＣＲサーバ６０）との間で通信を行う。
（２−２．ＨＭＤの構成）
情報処理装置１０及び表示装置２０の構成は第１の実施形態と同様である。そこで、ここでは、ＨＭＤ３０の構成について説明する。
ＨＭＤ３０は、図４０に示すように、表示部３１、外部撮像部３２、内部撮像部３３、操作部３４、検出部３５、通信部（取得部）３６、記憶部３７、制御部３８、及び音声出力部３９を備える。
表示部３１は、制御部３８による制御により、各種画像を表示する。なお、表示部３１は、透過型となっており、ユーザは、ＨＭＤ３０を装着した際に、表示部３１に表示された画像情報の他、表示部３１の奥側に存在する各種オブジェクトを視認することができる。表示部３１は２枚存在するが、２枚の表示部３１の各々に略同一の画像情報が表示される。なお、これらの表示部３１に視差のある画像情報を表示することで、画像情報を立体視させるようにしてもよい。
外部撮像部３２は、ＨＭＤ３０の前方を撮像し、これにより得られた撮像画像を制御部３８に出力する。外部撮像部３２の撮像範囲は、ユーザの視野と略同一となるように調整されてもよい。また、外部撮像部３２は、録音も可能であってもよい。内部撮像部３３は、ＨＭＤ３０を装着したユーザの視点を撮像し、これにより得られた撮像画像を制御部３８に出力する。
操作部３４は、ユーザによる入力操作を受け付け、これにより得られた操作情報を制御部３８に出力する。検出部３５は、ＨＭＤ３０の姿勢等を検出し、検出結果に関する検出情報を制御部３８に出力する。通信部３６は、情報処理装置１０及び各種サーバとの間で通信を行う。通信部３６は、これら以外の装置、例えば表示装置２０と通信を行ってもよい。
記憶部３７は、ＨＭＤ３０に、表示部３１、外部撮像部３２、内部撮像部３３、操作部３４、検出部３５、通信部３６、記憶部３７、及び制御部３８を実現させるためのプログラム等を記憶する。制御部３８は、ＨＭＤ３０全体を制御する他、後述する各処理例に示される処理を行う。音声出力部３９は、制御部３８による制御により、各種音声情報を出力する。
ＨＭＤ３０は、図３９に示すハードウェア構成を有し、これらのハードウェア構成によって上記の表示部３１、外部撮像部３２、内部撮像部３３、操作部３４、検出部３５、通信部３６、記憶部３７、制御部３８、及び音声出力部３９が実現される。
すなわち、ＨＭＤ３０は、ハードウェア構成として、ディスプレイ３１ａ、外部撮像装置３２ａ、内部撮像装置３３ａ、操作装置３４ａ、センサ３５ａ、通信装置３６ａ、不揮発性メモリ３７ａ、ＲＡＭ３７ｂ、ＣＰＵ３８ａ、及び音声出力装置３９ａを備える。
ディスプレイ３１ａは、各種画像情報を表示する。外部撮像装置３２ａは、ＨＭＤ３０の周囲を撮像する。内部撮像装置３３ａは、ＨＭＤ３０を装着したユーザの視点を撮像する。操作装置３４ａは、ユーザによる入力操作を受け付ける。操作装置３４ａは、好ましくはタッチパネル（タッチセンサ）であるが、ハードキー等であってもよい。センサ３５ａは、ＨＭＤ３０の姿勢等を検出する。センサ３５ａの具体例としては、例えばジャイロセンサ、加速度センサ等が挙げられる。
通信装置３６ａは、情報処理装置１０及び各種サーバとの間で通信を行う。不揮発性メモリ３７ａは、各種プログラム及び画像情報等を記憶する。ここで、当該プログラムには、ＨＭＤ３０に表示部３１、外部撮像部３２、内部撮像部３３、操作部３４、検出部３５、通信部３６、記憶部３７、制御部３８、及び音声出力部３９を実現させるためのプログラムが含まれる。ＲＡＭ３７ｂは、ＣＰＵ３８ａによる作業領域となるものである。ＣＰＵ３８ａは、不揮発性メモリ３７ａに記憶されたプログラムを読みだして実行する。したがって、ＣＰＵ３８ａが不揮発性メモリ３７ａに記憶されたプログラムを読みだして実行することで、表示部３１、外部撮像部３２、内部撮像部３３、操作部３４、検出部３５、通信部３６、記憶部３７、制御部３８、及び音声出力部３９が実現される。すなわち、ＣＰＵ３８ａは、ＨＭＤ３０の実質的な動作主体となりうるものである。音声出力装置３９ａは、音声情報を出力する装置であり、例えばスピーカ及びヘッドフォンである。
（２−３．サーバの構成）
次に、図４０及び図４１に基づいて、第２の実施形態で使用される翻訳サーバ４０、字幕サーバ５０、及びＡＣＲサーバ６０の構成について説明する。
翻訳サーバ４０は、図４０に示すように、通信部４１、記憶部４２、及び制御部４３を備える。通信部３６は、情報処理装置１０、表示装置２０、及びＨＭＤ３０等との間で通信を行う。記憶部４２は、翻訳サーバ４０に、通信部４１、記憶部４２、及び制御部４３を実現させるためのプログラム、及び各種翻訳情報（同じ意味を有する英語、日本語等の言語が関連付けられた情報等）等を記憶する。制御部４３は、翻訳サーバ４０全体を制御する他、後述する各処理例に示される処理を行う。
翻訳サーバ４０は、図４１に示すハードウェア構成を有し、これらのハードウェア構成によって上記の通信部４１、記憶部４２、及び制御部４３が実現される。すなわち、翻訳サーバ４０は、ハードウェア構成として、通信装置４１ａ、不揮発性メモリ４２ａ、ＲＡＭ４２ｂ、外部記憶媒体４２ｃ、及びＣＰＵ４３ａを備える。
通信装置４１ａは、情報処理装置１０、表示装置２０、及びＨＭＤ３０等との間で通信を行う。不揮発性メモリ４２ａは、各種プログラム等を記憶する。ここで、当該プログラムには、翻訳サーバ４０に通信部４１、記憶部４２、及び制御部４３を実現させるためのプログラムが含まれる。ＲＡＭ４２ｂは、ＣＰＵ４３ａによる作業領域となるものである。外部記憶媒体４２ｃは、翻訳情報等を記憶する。ＣＰＵ４３ａは、不揮発性メモリ４２ａに記憶されたプログラムを読みだして実行する。したがって、ＣＰＵ４３ａが不揮発性メモリ４２ａに記憶されたプログラムを読みだして実行することで、通信部４１、記憶部４２、及び制御部４３が実現される。すなわち、ＣＰＵ４３ａは、翻訳サーバ４０の実質的な動作主体となりうるものである。
字幕サーバ５０は、図４０に示すように、通信部５１、記憶部５２、及び制御部５３を備える。通信部５１は、情報処理装置１０、表示装置２０、及びＨＭＤ３０等との間で通信を行う。記憶部５２は、字幕サーバ５０に、通信部５１、記憶部５２、及び制御部５３を実現させるためのプログラム、及び字幕特定用情報（コンテンツＩＤと字幕情報（関連情報）とが関連付けられた情報）等を記憶する。制御部５３は、字幕サーバ５０全体を制御する他、後述する各処理例に示される処理を行う。
字幕サーバ５０は、図４１に示すハードウェア構成を有し、これらのハードウェア構成によって上記の通信部５１、記憶部５２、及び制御部５３が実現される。すなわち、字幕サーバ５０は、ハードウェア構成として、通信装置５１ａ、不揮発性メモリ５２ａ、ＲＡＭ５２ｂ、外部記憶媒体５２ｃ、及びＣＰＵ５３ａを備える。
通信装置５１ａは、情報処理装置１０、表示装置２０、及びＨＭＤ３０等との間で通信を行う。不揮発性メモリ５２ａは、各種プログラム等を記憶する。ここで、当該プログラムには、字幕サーバ５０に通信部５１、記憶部５２、及び制御部５３を実現させるためのプログラムが含まれる。ＲＡＭ５２ｂは、ＣＰＵ５３ａによる作業領域となるものである。外部記憶媒体５２ｃは、字幕特定用情報等を記憶する。ＣＰＵ５３ａは、不揮発性メモリ５２ａに記憶されたプログラムを読みだして実行する。したがって、ＣＰＵ５３ａが不揮発性メモリ５２ａに記憶されたプログラムを読みだして実行することで、通信部５１、記憶部５２、及び制御部５３が実現される。すなわち、ＣＰＵ５３ａは、字幕サーバ５０の実質的な動作主体となりうるものである。
ＡＣＲ（Ａｕｔｏｍａｔｉｃ ｃｏｎｔｅｎｔ ｒｅｃｏｇｎｉｔｉｏｎ）サーバ６０は、図４０に示すように、通信部６１、記憶部６２、及び制御部６３を備える。通信部６１は、情報処理装置１０、表示装置２０、及びＨＭＤ３０等との間で通信を行う。記憶部６２は、ＡＣＲサーバ６０に、通信部６１、記憶部６２、及び制御部６３を実現させるためのプログラム、及びコンテンツＩＤ特定用情報（画像情報及び音声情報とコンテンツＩＤとが関連付けられた情報）等を記憶する。記憶部６２は、付加情報特定用情報（コンテンツＩＤと付加情報とが関連付けられた情報）を記憶していてもよい。付加情報は、画像情報がドラマ等の映像コンテンツである場合、例えば、出演者情報、関連コンテンツ、広告、スコア（評価）などであってもよい。また、付加情報は、画像情報がスポーツ番組である場合、選手情報などであってもよい。
画像情報の内容を説明する情報（出演者情報等）である。制御部６３は、ＡＣＲサーバ６０全体を制御する他、後述する各処理例に示される処理を行う。
ＡＣＲサーバ６０は、図４１に示すハードウェア構成を有し、これらのハードウェア構成によって上記の通信部６１、記憶部６２、及び制御部６３が実現される。すなわち、ＡＣＲサーバ６０は、ハードウェア構成として、通信装置６１ａ、不揮発性メモリ６２ａ、ＲＡＭ６２ｂ、外部記憶媒体６２ｃ、及びＣＰＵ６３ａを備える。
通信装置６１ａは、情報処理装置１０、表示装置２０、及びＨＭＤ３０等との間で通信を行う。不揮発性メモリ６２ａは、各種プログラム等を記憶する。ここで、当該プログラムには、ＡＣＲサーバ６０に通信部６１、記憶部６２、及び制御部６３を実現させるためのプログラムが含まれる。ＲＡＭ６２ｂは、ＣＰＵ６３ａによる作業領域となるものである。外部記憶媒体６２ｃは、コンテンツＩＤ特定用情報等を記憶する。ＣＰＵ６３ａは、不揮発性メモリ６２ａに記憶されたプログラムを読みだして実行する。したがって、ＣＰＵ６３ａが不揮発性メモリ６２ａに記憶されたプログラムを読みだして実行することで、通信部６１、記憶部６２、及び制御部６３が実現される。すなわち、ＣＰＵ６３ａは、ＡＣＲサーバ６０の実質的な動作主体となりうるものである。
（２−４．情報処理システムによる処理の例）
（２−４−１．第１処理例）
次に、図４２及び図５０〜図５４に基づいて、第１の処理例について説明する。第１〜第４処理例では、ＨＭＤ３０を装着したユーザが表示装置２０を視認している場合に、表示部３１に字幕情報を表示する。
図４２に示すステップＳ７４０において、ＨＭＤ３０の外部撮像部３２は、表示装置２０の表示部２１を撮像し、これにより得られた撮像画像を制御部３８に出力する。
ステップＳ７５０において、制御部３８は、撮像画像中の表示装置２０及び各ウインドウの位置を特定する。
ステップＳ７６０において、制御部３８は、各ウインドウの字幕情報（字幕テキスト情報、関連情報）を取得する。制御部３８は、字幕情報のみならず、各種付加情報（画像情報の内容を説明する情報等）を取得してもよい。具体的な処理内容は後述する。
ステップＳ７７０において、制御部３８は、撮像画像中の表示装置２０及び各ウインドウの位置に基づいて、字幕情報の表示位置を決定する。具体的には、制御部３８は、字幕情報が当該字幕情報に対応する画像情報に重畳するように、字幕情報の表示位置を決定する。ステップＳ７８０において、制御部３８は、字幕情報の表示制御を行う。制御部３８は、例えば字幕情報のフォントサイズ、枠・吹き出しの位置（ウインドウに対する相対位置）、形状、色、アニメーションの仕方（及び有無）等を調整して、字幕情報を表示してもよい。付加情報に関しても同様である。
ここで、ＨＭＤ３０は、図４６〜図４８に示す処理のいずれかにより字幕情報を取得すれば良い。
例えば、図４６に示すステップＳ９５０において、表示装置２０（ＴＶ）の制御部２６は、現在表示中の画像情報に対応する字幕情報（日本語）を翻訳サーバ４０に送信する。ステップＳ９６０において、翻訳サーバ４０の制御部４３は、字幕情報（日本語）に対応する字幕情報（英語または任意の外国語）を取得し、表示装置２０に送信する。ステップＳ９６５において、表示装置２０の制御部２６は、字幕情報（英語または任意の外国語）をＨＭＤ３０に送信する。
例えば、図４７に示すステップＳ９７０において、表示装置２０（ＴＶ）の制御部２６は、現在表示中の画像情報に対応するコンテンツＩＤを情報処理装置１０（スマートフォン）に送信する。ステップＳ９８０において、情報処理装置１０の制御部１６は、コンテンツＩＤを字幕サーバ５０に送信する。ステップＳ９９０において、字幕サーバ５０の制御部５３は、コンテンツＩＤに対応する字幕情報を情報処理装置１０に送信する。ステップＳ１０００において、情報処理装置１０の制御部１６は、字幕情報をＨＭＤ３０に送信する。
例えば、図４８に示すステップＳ１００１において、ＨＭＤ３０の外部撮像部３２は、表示装置２０の表示部２１（ＴＶ画面）を撮像することで、撮像画像（映像）を取得する。外部撮像部３２は、撮像画像（映像）を取得する代わりに、表示装置２０から出力される音声情報（音データ）を録音してもよい。また、制御部３８は、表示装置２０から音声情報を取得してもよい。外部撮像部３２は、撮像画像または音声情報を制御部３８に出力する。
ステップＳ１０１０において、制御部３８は、撮像画像または音声情報をＡＣＲサーバ６０に送信する。ステップＳ１０２０において、ＡＣＲサーバ６０の制御部６３は、撮像画像または音声情報に対応するコンテンツＩＤをＨＭＤ３０に送信する。ステップＳ１０３０において、ＨＭＤ３０の制御部３８は、コンテンツＩＤを字幕サーバ５０に送信する。ステップＳ１０４０において、字幕サーバ５０の制御部５３は、コンテンツＩＤに対応する字幕情報をＨＭＤ３０に送信する。
処理例を図５０、図５１に基づいて説明する。表示装置２０は、ウインドウ４００、４１０を表示する。ウインドウ４００は、インジケータ４０１と、画像情報表示エリア４０２とを備える。インジケータ４０１は、画像情報表示エリア４０２に表示中のコンテンツを識別するための情報を表示する。画像情報表示エリア４０２には、画像情報が表示される。ウインドウ４１０は、インジケータ４１１と、画像情報表示エリア４１２とを備える。インジケータ４１１は、画像情報表示エリア４１２に表示中のコンテンツを識別するための情報を表示する。画像情報表示エリア４１２には、画像情報が表示される。
これに対し、ＨＭＤ３０は、図５１に示すように、表示部３１のうち、ウインドウ４００に重畳する位置に、ウインドウ４００に対応する字幕情報４２０を表示し、ウインドウ４１０に重畳する位置に、ウインドウ４１０に対応する字幕情報４３０を表示する。
第１処理例によれば、表示装置２０は、ウインドウに表示中の画像情報に関連する関連情報、すなわち字幕情報ＨＭＤ３０に送信することができる。したがって、ＨＭＤ３０は、関連情報、例えば字幕情報及び関連情報を表示することができる。
そして、第１処理例によれば、ＨＭＤ３０に字幕情報を表示するので、よりパーソナル性の高い（ＨＭＤ３０を装着したユーザしか見えない）字幕情報を表示することができる。第１処理例は、例えば表示装置２０に多数のウインドウが表示され、多数のユーザが互いに異なるウインドウ（すなわち異なる画像情報）を視認している場合に特に好適である。すなわち、これらのユーザがＨＭＤ３０を装着していれば、ユーザが視認中のウインドウに対する字幕情報をそのユーザのＨＭＤ３０に表示するので、各ユーザは、自己が知りたい字幕情報をより容易に把握することができる。
（２−４−２．第２処理例）
次に、図４３、図５０、図５２、及び図５３に基づいて、第２処理例について説明する。図４３に示すステップＳ７９０において、ＨＭＤ３０の外部撮像部３２は、表示装置２０の表示部２１を撮像し、これにより得られた外部撮像画像を制御部３８に出力する。一方、内部撮像部３３は、ＨＭＤ３０を装着したユーザの視点を撮像し、これにより得られた内部撮像画像を制御部３８に出力する。
ステップＳ８００において、制御部３８は、外部撮像画像中の表示装置２０及び各ウインドウの位置を特定する。ステップＳ８１０において、制御部３８は、内部撮像画像からユーザの視点位置（視線方向）を特定する。
ステップＳ８２０において、制御部３８は、ステップＳ８００及びＳ８１０の結果に基づいて、ユーザの視点位置に対応するウインドウ、すなわちユーザが視認中のウインドウを特定する。
ステップＳ８３０において、制御部３８は、各ウインドウの字幕情報（字幕テキスト情報、関連情報）を取得する。具体的な処理内容は上述した通りである。制御部３８は、字幕情報のみならず、各種付加情報（画像情報の内容を説明する情報等）を取得してもよい。具体的な処理内容は後述する。ステップＳ８４０において、制御部３８は、字幕情報の表示制御を行う。
処理例を図５０、図５２、及び図５３に基づいて説明する。図５０に示すように、表示装置２０は、ウインドウ４００、４１０を表示している。そして、ＨＭＤ３０を装着したユーザがウインドウ４００を視認している場合、ＨＭＤ３０は、ウインドウ４００に対応する字幕情報４２０を取得する。そして、図５２に示すように、ＨＭＤ３０は、ウインドウ４００に対応する字幕情報４２０を表示部３１に表示する。一方、ユーザがウインドウ４１０を視認している場合、ＨＭＤ３０は、ウインドウ４１０に対応する字幕情報４３０を取得する。そして、図５３に示すように、ＨＭＤ３０は、ウインドウ４１０に対応する字幕情報４３０を表示部３１に表示する。
第２処理例によれば、各ユーザは、自己が知りたい字幕情報をより容易に把握することができる。
（２−４−３．第３処理例）
次に、図４４、図５０、図５２、及び図５３に基づいて、第３処理例について説明する。図４４に示すステップＳ８５０において、ＨＭＤ３０の外部撮像部３２は、表示装置２０の表示部２１を撮像し、これにより得られた撮像画像を制御部３８に出力する。
ステップＳ８６０において、制御部３８は、撮像画像中の表示装置２０及び各ウインドウの位置を特定する。ステップＳ８７０において、制御部３８は、撮像画像に基づいて、ユーザ視野の中央に最も近い位置に存在するウインドウを特定する。
ステップＳ８８０において、制御部３８は、ステップＳ８６０及びＳ８７０の結果に基づいて、ユーザ視野の中心に存在するウインドウの字幕情報（字幕テキスト情報、関連情報）を取得する。具体的な処理内容は上述した通りである。制御部３８は、字幕情報のみならず、各種付加情報（画像情報の内容を説明する情報等）を取得してもよい。具体的な処理内容は後述する。ステップＳ８９０において、制御部３８は、字幕情報の表示制御を行う。
処理例を図５０、図５２、及び図５３に基づいて説明する。図５０に示すように、表示装置２０は、ウインドウ４００、４１０を表示している。そして、ＨＭＤ３０を装着したユーザ視野の中心にウインドウ４００が存在する場合、ＨＭＤ３０は、ウインドウ４００に対応する字幕情報４２０を取得する。そして、図５２に示すように、ＨＭＤ３０は、ウインドウ４００に対応する字幕情報４２０を表示部３１に表示する。一方、ユーザ視野の中心にウインドウ４１０が存在する場合、ＨＭＤ３０は、ウインドウ４１０に対応する字幕情報４３０を取得する。そして、図５３に示すように、ＨＭＤ３０は、ウインドウ４１０に対応する字幕情報４３０を表示部３１に表示する。
第３処理例によれば、各ユーザは、自己が知りたい字幕情報をより容易に把握することができる。
（２−４−４．第４処理例）
次に、図４５及び図５０、図５４に基づいて、第４の処理例について説明する。図４５に示すステップＳ９００において、ＨＭＤ３０の外部撮像部３２は、表示装置２０の表示部２１を撮像し、これにより得られた撮像画像を制御部３８に出力する。
ステップＳ９１０において、制御部３８は、撮像画像中の表示装置２０及び各ウインドウの位置を特定する。
ステップＳ９２０において、制御部３８は、各ウインドウの字幕情報（字幕テキスト情報、関連情報）及び付加情報を取得する。字幕情報の取得方法は上述した通りである。制御部３８は、例えば図４８に示すフローに従ってコンテンツＩＤと共に付加情報を取得すればよい。
ステップＳ９３０において、制御部３８は、撮像画像中の表示装置２０及び各ウインドウの位置に基づいて、字幕情報及び付加情報の表示位置を決定する。具体的には、制御部３８は、字幕情報及び付加情報が当該字幕情報及び付加情報に対応する画像情報に重畳するように、字幕情報の表示位置を決定する。ステップＳ９４０において、制御部３８は、字幕情報の表示制御を行う。
処理例を図５０、図５４に基づいて説明する。表示装置２０は、ウインドウ４００、４１０を表示している。ＨＭＤ３０を装着したユーザは、ウインドウ４００、４１０を視認している。ＨＭＤ３０は、吹き出しを有する字幕情報４６０、４８０、効果音に対応する効果音情報４７０、及び付加情報４９０を、これらに対応するウインドウに重畳するように表示してもよい。効果音情報は付加情報の一種である。この例では、字幕情報４６０及び効果音情報４７０がウインドウ４００に対応し、字幕情報４８０及び付加情報４９０がウインドウ４１０に対応する。制御部３８は、表示装置２０と重畳する位置、または重畳しない位置に字幕情報等を表示しても良い。
第４処理例によれば、各ユーザは、自己が知りたい字幕情報をより容易に把握することができる。
上述した第１処理例〜第４処理例において、ユーザが第１の実施形態の第１及び第２処理例（ｔｈｒｏｗ）または第６処理例（音声またはジェスチャ操作）により指定したウインドウが表示されている場合、制御部３８は、以下の処理を行ってもよい。すなわち、制御部３８は、当該ウインドウに対応する字幕情報及び付加情報等を継続して表示し続けてもよい。
また、上述した第１処理例〜第４処理例において、ＨＭＤ３０の制御部３８は、複数のウインドウのうち、少なくとも１つのウインドウの音声情報を音声出力部３９から出力してもよい。また、ＨＭＤ３０の制御部３８は、残りのウインドウのうち、少なくとも１つのウインドウの字幕情報を表示部３１に表示してもよい。表示装置２０が音声情報を出力するウインドウは、予め設定されていてもよく、字幕表示されていないウインドウまたはユーザが見ていないウインドウであってもよい。ユーザは、第１〜第４処理例のどの処理を行わせるかについて、任意に選択できるようにしてもよい。
（２−４−５．第５処理例）
次に、図５５及び図５６に基づいて、第５処理例について説明する。第５処理例では、ＨＭＤ３０の使用状態に基づいて、字幕情報を表示する表示部を決定するものである。なお、付加情報についても同様の処理を行ってもよい。
具体的には、ＨＭＤ３０の外部撮像部３２は、ＨＭＤ３０の前方（ユーザの視界）を撮像し、これにより得られた撮像画像を制御部３８に出力する。制御部３８は、撮像画像に基づいて、ユーザが表示装置２０を視認しているか否かを判定する。制御部３８は、ユーザが表示装置２０を視認していると判定した場合には、字幕情報表示リクエスト情報を表示装置２０に送信する。表示装置２０の制御部２６は、図４６に示すフローに従って字幕情報を取得し、表示部２１に表示する。一方、制御部３８は、ユーザが表示装置２０を視認していないと判定した場合には、上述した方法により字幕情報を取得し、表示部３１に表示する。
処理例を図５５及び図５６に示す。ユーザが表示装置２０を視認していない場合、図５５に示すように、ＨＭＤ３０は字幕情報５００（表示装置２０に表示中の画像情報に対応するもの）を表示部３１に表示する。一方、ユーザが表示装置２０を視認している場合、表示装置２０の制御部２６は、字幕情報５００を表示部２１に表示する。
なお、制御部３８は、ＨＭＤ３０を装着したユーザが表示装置２０を視認しているか否かに応じて、字幕情報及び音声情報の出力方法を変えてもよい。例えば、制御部３８は、ユーザが表示装置２０を視認している場合、音声情報を第１言語（例えば英語）で出力し、字幕情報を第２言語（例えば日本語）で出力するようにしてもよい。また、制御部３８は、ユーザが表示装置２０を視認していない場合、音声情報を第２言語（例えば日本語）で出力し、字幕情報を第１言語（例えば英語）で出力するようにしてもよい。出力場所は、例えば上述した第５処理例と同様に決定されてもよい。なお、出力場所は表示装置２０または情報処理装置１０とされてもよい。この場合、制御部１６、２６が出力制御を行う。また、この場合、情報処理システムは、ＨＭＤ３０を有していなくてもよい。
また、制御部３８は、ＨＭＤ３０がユーザによって装着されている場合、表示部３１に字幕情報を表示してもよく、ユーザがＨＭＤ３０を外している場合、表示部２１に字幕情報を表示してもよい。
第５処理例によれば、ユーザにとってより必要性が高いと推定される情報を提供することができる。第５の処理例は第１〜第４処理例と組み合わせてもよい。
（２−４−６．第６処理例）
次に、第６処理例について説明する。第６処理例では、画像情報毎（あるいは画像情報のジャンル毎）に、音声情報及び画像情報の出力先を変更するものである。
画像情報のジャンルと出力先との対応関係の一例を図５７に示す。このテーブルは、例えば情報処理装置１０、表示装置２０、及びＨＭＤ３０のいずれかに記憶させればよい。例えばＨＭＤ３０の記憶部３７にテーブルが記憶される場合、制御部３８が出力先を決定する。そして、制御部３８は、音声情報及び字幕情報の出力先を決定し、決定された出力先に音声情報及び字幕情報を出力させる。なお、このテーブルには、さらに他の情報、例えば画像情報のジャンルと言語の種類（日本語、英語等の種類）及び字幕情報のボリューム（簡易かフルか等）との対応関係が含まれていてもよい。この場合、字幕サーバ５０には、簡易版の字幕情報及びフル版の字幕情報が記憶される。制御部３８は、テーブルにしたがって、音声情報及び字幕情報の出力先を決定するとともに、字幕情報の言語の種類、及びボリュームを決定する。そして、制御部３８は、決定された種類及びボリュームの字幕情報を取得し（具体的な取得方法は図４６〜図４８に準ずる）決定された出力先から字幕情報を出力させる。また、制御部３８は、複数のユーザがＨＭＤ３０を装着している場合、ＨＭＤ３０毎に異なる種類の字幕情報を表示してもよい。
第６処理例によれば、ユーザのニーズに近いと推定される情報を提供することができる。第６処理例の表示態様は、第１〜第５処理例にも適用可能である。
なお、第１及び第２の実施形態は、本明細書中に記載されたいずれかの効果、または他の効果を有するものであってもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ウインドウの表示位置を指示する表示位置指定情報を他の情報処理装置から受信する通信部と、
表示部の表示エリアのうち、前記表示位置指定情報が示す表示位置にウインドウを表示する制御を行う制御部と、を備える情報処理装置。
（２）
前記制御部は、前記ウインドウの表示可能位置に関する情報を前記他の情報処理装置に送信する制御を行う、前記（１）記載の情報処理装置。
（３）
前記制御部は、前記他の情報処理装置の使用状態に基づいて、前記ウインドウの表示状態を決定する、前記（１）または（２）記載の情報処理装置。
（４）
前記他の情報処理装置は複数存在し、
前記制御部は、複数のウインドウを表示する制御を行う一方、複数のウインドウの各々と、複数の他の情報処理装置の各々とを関連付ける、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記他の情報処理装置のユーザの位置を検出する検出部を備え、
前記制御部は、前記他の情報処理装置のユーザの位置に基づいて、前記他の情報処理装置に関連付けられたウインドウの表示位置を決定する、前記（４）記載の情報処理装置。
（６）
前記制御部は、前記他の情報処理装置のユーザの位置が変動した場合、前記他の情報処理装置に関連付けられたウインドウの表示位置を変動させる、前記（５）記載の情報処理装置。
（７）
前記他の情報処理装置のユーザの位置を検出する検出部を備え、
前記制御部は、前記他の情報処理装置のユーザの位置が所定の範囲に存在しないと判定されることに応じて、前記他の情報処理装置に関連付けられたウインドウと前記他の情報処理装置との関連付けを解除する、前記（４）記載の情報処理装置。
（８）
前記制御部は、前記他の情報処理装置との関連付けが解除されたウインドウを、前記他の情報処理装置以外の情報処理装置に関連付ける、前記（７）記載の情報処理装置。
（９）
前記制御部は、前記検出部が前記他の情報処理装置のユーザの位置が所定の範囲に存在しないと判定されることに応じて、前記他の情報処理装置に関連付けられたウインドウを消去する、前記（７）記載の情報処理装置。
（１０）
前記制御部は、前記表示エリアを複数の小領域に区分し、複数の小領域の各々と、複数の他の情報処理装置の各々とを関連付ける、前記（４）記載の情報処理装置。
（１１）
前記制御部は、複数のウインドウを表示する制御を行う一方、複数のウインドウのうち、いずれか一のウインドウに表示された画像情報が前記他の情報処理装置から要求された場合には、前記一のウインドウに表示された画像情報を前記他の情報処理装置に送信する制御を行う、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記制御部は、前記一のウインドウを消去する制御を行う、前記（１１）記載の情報処理装置。
（１３）
前記制御部は、前記ウインドウに表示中の画像情報に関連する関連情報を前記他の情報処理装置に送信する、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
ウインドウの表示位置を指示する表示位置指定情報を生成する制御部と、
前記表示位置指定情報を、前記ウインドウを表示可能な他の情報処理装置に送信する通信部と、を備える、情報処理装置。
（１５）
ウインドウの表示位置を指示する表示位置指定情報を他の情報処理装置から受信することと、
表示部の表示エリアのうち、前記表示位置指定情報が示す表示位置にウインドウを表示する制御を行うことと、を含む、情報処理方法。
（１６）
コンピュータに、
ウインドウの表示位置を指示する表示位置指定情報を他の情報処理装置から受信する通信機能と、
表示部の表示エリアのうち、前記表示位置指定情報が示す表示位置にウインドウを表示する制御を行う制御機能と、を実現させる、プログラム。
１０ 情報処理装置
１１ 表示部
１２ 操作部
１３ 検出部
１４ 通信部
１５ 記憶部
１６ 制御部
１７ 音声出力部
２０ 表示装置
２１ 表示部
２２ 音声出力部
２３ 撮像部
２４ 通信部
２５ 記憶部
２６ 制御部
２７ 音声検出部

Claims (9)

  1. 表示部の表示エリアに第一のウインドウと第二のウインドウとを表示する制御を行い、ウインドウと情報処理装置を関連付けるためのユーザ特定用情報に基づいて、前記第一のウインドウと第一の情報処理装置とを関連付けることにより、前記第一のウインドウの操作権限を第一の情報処理装置の第一のユーザに付与し、前記第二のウインドウと第二の情報処理装置とを関連付けることにより、前記第二のウインドウの操作権限を第二の情報処理装置の第二のユーザに付与し、
    検出部が取得するユーザの位置に関する情報に基づいて、前記ウインドウの操作権限を持つユーザを変更し、
    前記検出部によって、前記ユーザの位置が所定の範囲に存在しないと判定されることに応じて、当該ユーザに付与された前記ウインドウの操作権限を解除し、
    操作権限を持つユーザが存在しなくなったウインドウと前記所定の範囲に存在するユーザの情報処理装置とを関連付けることにより、当該操作権限を持つユーザが存在しなくなったウインドウの操作権限を当該所定の範囲に存在するユーザに付与する
    制御部を備える、表示装置。
  2. 前記制御部は、前記第一の情報処理装置の第一のユーザによる操作入力に応じて、前記第一のウインドウに設定された操作権限を持つユーザを変更する、請求項１に記載の表示装置。
  3. 前記制御部は、前記第一の情報処理装置の第一のユーザによる操作入力に応じて、前記第一のウインドウの操作権限を前記第二のユーザに付与する、請求項２に記載の表示装置。
  4. 前記制御部は、前記第一の情報処理装置の第一のユーザによる操作入力に応じて、前記第一のウインドウに設定された操作権限を第二のユーザと共有する、請求項２に記載の表示装置。
  5. 前記制御部は、前記操作権限を付与するユーザを前記検出部が検出する所定の範囲に存在するユーザに限定する、請求項１に記載の表示装置。
  6. 前記制御部は、前記検出部によって、前記第一のユーザの位置が所定の範囲に存在しないと判定されることに応じて、前記第一の情報処理装置に関連付けられたウインドウを消去する、請求項１に記載の表示装置。
  7. 前記制御部は、前記情報処理装置から取得した前記ウインドウの表示位置を指示する表示位置指定情報に基づいて、前記表示エリアに前記ウインドウを表示する制御を行う、請求項１に記載の表示装置。
  8. 前記ユーザ特定用情報は、前記情報処理装置の識別情報とユーザの識別情報とを関連付けた情報である、請求項１に記載の表示装置。
  9. 前記制御部は、前記第一のウインドウと前記第二のウインドウに操作権限を有するユーザを示すインジケータを表示する、請求項１に記載の表示装置。
JP2018231808A 2013-10-04 2018-12-11 表示装置 Expired - Fee Related JP6638804B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013208828 2013-10-04
JP2013208828 2013-10-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015540422A Division JP6455435B2 (ja) 2013-10-04 2014-08-20 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019083023A JP2019083023A (ja) 2019-05-30
JP6638804B2 true JP6638804B2 (ja) 2020-01-29

Family

ID=52778527

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015540422A Expired - Fee Related JP6455435B2 (ja) 2013-10-04 2014-08-20 情報処理装置、情報処理方法、及びプログラム
JP2018231808A Expired - Fee Related JP6638804B2 (ja) 2013-10-04 2018-12-11 表示装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015540422A Expired - Fee Related JP6455435B2 (ja) 2013-10-04 2014-08-20 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US10545623B2 (ja)
EP (1) EP3054378B1 (ja)
JP (2) JP6455435B2 (ja)
WO (1) WO2015049931A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030778B2 (en) * 2014-03-31 2021-06-08 Healthy.Io Ltd. Methods and apparatus for enhancing color vision and quantifying color interpretation
JP6412778B2 (ja) * 2014-11-19 2018-10-24 東芝映像ソリューション株式会社 映像装置、方法、およびプログラム
KR102306536B1 (ko) * 2015-04-01 2021-09-29 삼성전자주식회사 위젯 제공 시스템 및 방법
KR102389038B1 (ko) * 2015-09-02 2022-04-21 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20170096408A (ko) * 2016-02-16 2017-08-24 삼성전자주식회사 어플리케이션을 표시하는 방법 및 이를 지원하는 전자 장치
US10937460B2 (en) * 2016-06-09 2021-03-02 Apple Inc. Media files and protocols supporting runtime dependent tracks
US11076112B2 (en) * 2016-09-30 2021-07-27 Lenovo (Singapore) Pte. Ltd. Systems and methods to present closed captioning using augmented reality
US10331394B1 (en) * 2017-12-21 2019-06-25 Logmein, Inc. Manipulating shared screen content
US20210217412A1 (en) * 2018-06-07 2021-07-15 Sony Corporation Information processing apparatus, information processing system, information processing method, and program
JP7153522B2 (ja) * 2018-10-11 2022-10-14 日本放送協会 字幕表示装置及びそのプログラム
JP7450906B2 (ja) 2019-10-08 2024-03-18 株式会社セイビ堂 作業現場用の表示システム、情報伝達方法
CN113542825B (zh) * 2020-04-20 2022-10-11 华为技术有限公司 投屏显示方法、系统、终端设备和存储介质
WO2022239152A1 (ja) * 2021-05-12 2022-11-17 日本電信電話株式会社 情報提示装置、情報提示方法、及びプログラム
CN113590251B (zh) * 2021-08-05 2024-04-12 四川艺海智能科技有限公司 单屏多窗口的数字化互动展示系统及方法
WO2023157241A1 (ja) * 2022-02-18 2023-08-24 任天堂株式会社 システム、ポータブル電子機器、処理方法、およびプログラム
JP7519486B1 (ja) 2023-02-28 2024-07-19 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及びプレゼンテーション支援方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3524187B2 (ja) * 1994-12-28 2004-05-10 キヤノン株式会社 共有ウィンドウ操作権管理システムおよびその制御方法
JP4171123B2 (ja) * 1998-12-15 2008-10-22 富士通株式会社 端末操作装置
JP2004021595A (ja) 2002-06-17 2004-01-22 Mitsubishi Electric Corp 会議支援協調作業システム
JP2004318121A (ja) * 2003-04-04 2004-11-11 Canon Inc 表示制御装置及び表示システム及びｔｖ装置
JP2006065558A (ja) 2004-08-26 2006-03-09 Canon Inc 入力表示装置
JP5100003B2 (ja) * 2005-01-06 2012-12-19 キヤノン株式会社 情報処理装置、方法、記憶媒体並びプログラム
US20060150108A1 (en) * 2005-01-06 2006-07-06 Canon Kabushiki Kaisha Information processing device, information processing method, storage medium, and program
JP5037061B2 (ja) * 2005-10-28 2012-09-26 シャープ株式会社 画像出力装置、画像一覧表示システム、プログラム、記録媒体、及び画像出力方法
JP4827626B2 (ja) * 2006-06-14 2011-11-30 キヤノン株式会社 被制御機器、遠隔制御システムおよび遠隔制御システムの制御方法、プログラム
JP5093884B2 (ja) * 2007-04-17 2012-12-12 シャープ株式会社 表示制御装置及び表示制御プログラム
JP5058335B2 (ja) * 2008-04-10 2012-10-24 パイオニア株式会社 画面表示システム及び画面表示プログラム
JP5248225B2 (ja) * 2008-07-11 2013-07-31 富士フイルム株式会社 コンテンツ表示装置、コンテンツ表示方法およびプログラム
JP2010026327A (ja) 2008-07-22 2010-02-04 Canon Inc 表示装置の制御装置、制御方法、及びコンピュータプログラム
JP2010177848A (ja) * 2009-01-28 2010-08-12 Sharp Corp テレビ装置、ｐｃ装置、テレビ装置とｐｃ装置とからなる表示システム
JP5375338B2 (ja) * 2009-05-29 2013-12-25 セイコーエプソン株式会社 画像表示システム、画像表示装置、画像表示方法、画像供給装置、およびプログラム
US9344510B2 (en) * 2009-07-03 2016-05-17 International Business Machines Corporation Pushing content from a local device to a remote display
US9201627B2 (en) * 2010-01-05 2015-12-01 Rovi Guides, Inc. Systems and methods for transferring content between user equipment and a wireless communications device
US8789131B2 (en) * 2010-05-14 2014-07-22 Lg Electronics Inc. Electronic device and method of sharing contents thereof with other devices
JP2012019413A (ja) * 2010-07-08 2012-01-26 Toshiba Corp 表示システム、端末装置、表示装置、及びプログラム
JP5516882B2 (ja) * 2010-07-29 2014-06-11 セイコーエプソン株式会社 プログラム、情報記憶媒体、端末装置、表示システムおよび画像生成方法
WO2012102416A1 (en) * 2011-01-24 2012-08-02 Lg Electronics Inc. Data sharing between smart devices
JP6196017B2 (ja) 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2013179553A (ja) * 2012-01-30 2013-09-09 Sharp Corp 画面分割表示システム及び画面分割表示方法
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
US8938558B2 (en) * 2013-03-04 2015-01-20 Microsoft Corporation Modifying functionality based on distances between devices
US9063631B2 (en) * 2013-03-15 2015-06-23 Chad Dustin TILLMAN System and method for cooperative sharing of resources of an environment
US20140282103A1 (en) * 2013-03-16 2014-09-18 Jerry Alan Crandall Data sharing
JP2014232228A (ja) * 2013-05-29 2014-12-11 ソニー株式会社 情報処理装置、および情報処理システム

Also Published As

Publication number Publication date
JP6455435B2 (ja) 2019-01-23
JP2019083023A (ja) 2019-05-30
EP3054378A1 (en) 2016-08-10
US10545623B2 (en) 2020-01-28
US20160231872A1 (en) 2016-08-11
EP3054378A4 (en) 2017-06-14
EP3054378B1 (en) 2022-11-02
JPWO2015049931A1 (ja) 2017-03-09
WO2015049931A1 (ja) 2015-04-09

Similar Documents

Publication Publication Date Title
JP6638804B2 (ja) 表示装置
KR102266901B1 (ko) 디스플레이 장치 및 디스플레이 방법
US10757335B2 (en) Mobile terminal
ES2958183T3 (es) Procedimiento de control de aparatos electrónicos basado en el reconocimiento de voz y de movimiento, y aparato electrónico que aplica el mismo
JP7092028B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11818425B2 (en) Methods, systems, and media for presenting caption information based on volume setting adjustments
US11825177B2 (en) Methods, systems, and media for presenting interactive elements within video content
EP3024220A2 (en) Display apparatus and display method
KR20140085931A (ko) 손 움직임 감지를 통한 방송 서비스 제공 방법 및 장치
WO2017104089A1 (ja) ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置
CN115175004A (zh) 用于视频播放的方法、装置、可穿戴设备及电子设备
KR20180057034A (ko) 이동 단말기 및 그 제어방법
WO2019138682A1 (ja) 情報処理装置、情報処理方法及びプログラム
US9774812B1 (en) Image processing terminal and method for providing a service based on sensing levels of a key in a remote controller
EP4345817A1 (en) Display device and operating method thereof
KR20240037796A (ko) 전자 장치 및 그 동작 방법
JP2020076997A (ja) ヘッドマウントディスプレイ装置
JP2013109459A (ja) 表示装置、表示方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R151 Written notification of patent or utility model registration

Ref document number: 6638804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees