JP6575518B2

JP6575518B2 - 表示制御装置、表示制御方法およびプログラム

Info

Publication number: JP6575518B2
Application number: JP2016529171A
Authority: JP
Inventors: 克也兵頭; 邦在鳥居; 遼深澤; 佐藤　直之; 直之佐藤; 浩一川崎; 昭彦泉
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-06-25
Filing date: 2015-05-12
Publication date: 2019-09-18
Anticipated expiration: 2035-05-12
Also published as: JPWO2015198729A1; CN106462251B; EP3163403A1; US10684707B2; US20170205899A1; WO2015198729A1; EP3163403A4; CN106462251A

Description

本開示は、表示制御装置、表示制御方法およびプログラムに関する。

近年、１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトを表示し、マウスを用いたクリック操作によって指定された表示オブジェクトに関連付けられたアプリケーションを操作対象のアプリケーションとして選択する技術が知られている。また、タッチパネルへのタップ操作によって指定された表示オブジェクトに関連付けられたアプリケーションを操作対象のアプリケーションとして選択する技術も知られている（例えば、特許文献１参照）。

表示オブジェクトの例としては、ウィンドウ、アイコンなどといった各種のオブジェクトが挙げられる。このようにして選択された操作対象のアプリケーションに対しては、ユーザが操作を行うことが可能となる。

特開２０１１−０３４１４０号公報

しかし、タッチパネルへのタップ操作によって表示オブジェクトが指定される場合、表示オブジェクトが表示される画面が大きくなるにつれてタッチパネルへのタップ操作を行うのがユーザにとって煩雑になり得る。また、マウスを用いたクリック操作によって表示オブジェクトが指定される場合、表示オブジェクトが表示される画面が大きくなるにつれてポインティング位置をドラッグ操作によって移動させるのがユーザにとって煩雑になり得る。

そこで、ユーザが操作対象のアプリケーションを容易に指定することが可能な技術が提供されることが望まれる。

本開示によれば、１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御する出力制御部と、ユーザの指差し方向を検出する行動検出部と、前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択するアプリケーション選択部と、を備える、表示制御装置が提供される。

本開示によれば、１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御することと、ユーザの指差し方向を検出することと、前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択することと、を備える、表示制御方法が提供される。

本開示によれば、コンピュータを、１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御する出力制御部と、ユーザの指差し方向を検出する行動検出部と、前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択するアプリケーション選択部と、を備える、表示制御装置として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、ユーザが操作対象のアプリケーションを容易に指定することが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る情報処理システムの構成例を示す図である。同実施形態に係る情報処理システムの機能構成例を示すブロック図である。操作対象のアプリケーション選択の第１の例を示す図である。操作対象のアプリケーション選択の第２の例を示す図である。操作対象のアプリケーション選択の第３の例を示す図である。操作対象のアプリケーション選択の第４の例を示す図である。操作対象のアプリケーション選択の第５の例を示す図である。操作対象のアプリケーション選択の第６の例を示す図である。操作対象のアプリケーション選択の第７の例を示す図である。操作対象のアプリケーションに対応する動作の第１の例を示す図である。操作対象のアプリケーションに対応する動作の第２の例を示す図である。操作対象のアプリケーションに対応する動作の第３の例を示す図である。操作対象のアプリケーションに対応する動作の第４の例を示す図である。本開示の実施形態に係る表示制御装置の動作の例を示すフローチャートである。同実施形態に係る情報処理システムのハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施形態
１．１．システム構成例
１．２．機能構成例
１．３．操作対象のアプリケーション選択例
１．４．操作対象のアプリケーションに対応する動作例
１．５．表示制御装置の動作例
１．６．ハードウェア構成例
２．むすび

＜１．本開示の実施形態＞
［１．１．システム構成例］
まず、図面を参照しながら本開示の実施形態に係る情報処理システム１００の構成例について説明する。図１は、本開示の実施形態に係る情報処理システム１００の構成例を示す説明図である。図１に示したように、本開示の実施形態に係る情報処理システム１００は、入力部１１０（１１０Ａ、１１０Ｂ）と、出力部１３０（１３０Ａ、１３０Ｂ）とを備える。情報処理システム１００は、各種の情報を表示し、情報処理システム１００を使用するユーザＵ（以下、単に「ユーザ」とも言う。）に各種の情報に対する操作をさせるシステムである。

入力部１１０Ａは、情報を入力する機能を有する。図１に示した例では、入力部１１０Ａは、テーブル１４０の上方に天井から吊り下げられている。しかし、入力部１１０Ａが設けられる位置は特に限定されない。入力部１１０Ａには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。また、入力部１１０Ａには、ユーザが発する音声を収音するマイクが追加的に含まれてもよい。

出力部１３０Ａは、テーブル１４０に画面Ｇ１を表示する機能を有する。図１に示した例では、出力部１３０Ａは、テーブル１４０の上方に天井から吊り下げられている。しかし、出力部１３０Ａが設けられる位置は特に限定されない。例えば、出力部１３０Ａには、テーブル１４０の天面に画面Ｇ１を投影することが可能なプロジェクタが含まれてもよい。また、出力部１３０Ａは、音声信号に基づいて音声を出力することが可能なスピーカが追加的に含まれてもよい。

ここで、スピーカの数は１つであってもよいし、複数であってもよい。例えば、出力部１３０Ａに含まれるスピーカの数が複数である場合、複数のスピーカの中から、音声を出力するスピーカが選択されてもよい。また、出力部１３０Ａに含まれるスピーカの数が１または複数である場合、１または複数のスピーカの一部または全部による音声の出力方向が調整されてもよい。

なお、本明細書では、テーブル１４０の天面が画面Ｇ１の表示面となる場合を主に説明するが、画面Ｇ１の表示面は、テーブル１４０の天面以外であってもよい。例えば、画面Ｇ１の表示面は、壁、建物、床面、地面などであってもよい。また、出力部１３０Ａが表示面を有する場合には、画面Ｇ１の表示面は、出力部１３０Ａが有する表示面であってもよい。

入力部１１０Ｂは、情報を入力する機能を有する。図１に示した例では、入力部１１０Ｂは、情報入力端末に設けられている。しかし、入力部１１０Ｂが設けられる位置は特に限定されない。入力部１１０Ｂには、ユーザのタッチ操作やドラッグ操作などを検出することが可能なタッチパネルが含まれてもよいし、ユーザによる押下操作を検出することが可能なボタンが含まれてもよい。

出力部１３０Ｂは、情報を出力する機能を有する。図１に示した例では、出力部１３０Ｂは、情報入力端末に設けられている。しかし、出力部１３０Ｂが設けられる位置は特に限定されない。例えば、出力部１３０Ｂには、情報を表示することが可能な表示装置が含まれてもよい。また、出力部１３０Ｂは、音声信号に基づいて音声を出力することが可能なスピーカが追加的に含まれてもよい。

以上、本開示の実施形態に係る情報処理システム１００の構成例について説明した。

［１．２．機能構成例］
続いて、本開示の実施形態に係る情報処理システム１００の機能構成例について説明する。図２は、本開示の実施形態に係る情報処理システム１００の機能構成例を示すブロック図である。図２に示したように、本開示の実施形態に係る情報処理システム１００は、入力部１１０（１１０Ａ、１１０Ｂ）と、制御部１２０（以下、「表示制御装置１２０」とも言う。）と、出力部１３０（１３０Ａ、１３０Ｂ）とを備える。

表示制御装置１２０は、情報処理システム１００の各部の制御を実行する。例えば、表示制御装置１２０は、出力部１３０から出力する情報を生成する。また、例えば、表示制御装置１２０は、入力部１１０が入力した情報を、出力部１３０から出力する情報に反映させる。図２に示したように、表示制御装置１２０は、行動検出部１２１と、デバイス状態検出部１２２と、アプリケーション状態検出部１２３と、アプリケーション選択部１２４と、出力制御部１２５とを備える。これらの各機能ブロックについての詳細は、後に説明する。

なお、表示制御装置１２０は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ；中央演算処理装置）などで構成されていてもよい。表示制御装置１２０がＣＰＵ等の装置で構成される場合は、かかる装置は電子回路で構成され得る。

以上、本開示の実施形態に係る情報処理システム１００の機能構成例について説明した。続いて、本開示の実施形態に係る表示制御装置１２０が有する機能の詳細について説明する。まず、出力制御部１２５は、表示制御装置１２０による制御に従って、出力部１３０Ａに画面Ｇ１を出力させる。画面Ｇ１には、１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが含まれていてよい。

ユーザが画面Ｇ１を参照して、操作しようとするアプリケーションに関連付けられた表示オブジェクトを見つけた場合、その表示オブジェクトに対して指差しを行う。ここで、指差しに用いられる指の種類は特に限定されない。そして、行動検出部１２１は、ユーザの指差し方向を検出する。例えば、行動検出部１２１は、入力部１１０Ａによって撮像された画像から指差し方向を検出する。

なお、本明細書においては、行動検出部１２１が、テーブル１４０への指の接触を検出したときに、指の付け根から先端に向かう方向を示す二次元的な情報を指差し方向として検出する場合について主に説明する。二次元的な情報は、入力部１１０Ａがカメラを含む場合、カメラによって撮像された画像に映る指の付け根から先端に向かう方向であってよい。ここで、テーブル１４０への指の接触は、どのように検出されてもよい。

例えば、入力部１１０Ａがステレオカメラを含む場合には、行動検出部１２１は、ステレオカメラによって撮像された画像を解析して得られる指の奥行情報と画像における指の座標とに基づいて、テーブル１４０への指の接触を検出してもよい。あるいは、入力部１１０Ａがテーブル１４０に積層されたタッチパネルを含む場合には、行動検出部１２１は、タッチパネルによる指の接触検出によって、テーブル１４０への指の接触を検出してもよい。

なお、行動検出部１２１が指差し方向を検出するタイミングは、テーブル１４０への指の接触を検出したときでなくてもよい。例えば、行動検出部１２１は、カメラによって撮像された画像に基づいて所定の領域内への指の進入を検出したときに、指差し方向を検出してもよい。また、指差し方向は、指の付け根から先端に向かう方向を示す三次元的な情報であってよい。例えば、入力部１１０Ａがステレオカメラを含む場合には、行動検出部１２１は、ステレオカメラによって撮像された画像を解析して指の付け根から先端に向かう方向を示す三次元的な情報を検出してもよい。

行動検出部１２１によって指差し方向が検出されると、アプリケーション選択部１２４は、１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと指差し方向とに基づいて、操作対象のアプリケーションを選択する。かかる構成によれば、ユーザが操作対象のアプリケーションを容易に指定することが可能となる。以下、アプリケーション選択部１２４による操作対象のアプリケーション選択例について詳細に説明する。

［１．３．操作対象のアプリケーション選択例］
図３は、操作対象のアプリケーション選択の第１の例を示す図である。図３を参照すると、出力制御部１２５は、それぞれがアプリケーションに関連付けられた表示オブジェクトＡ１〜Ａ３を含む画面Ｇ１を出力部１３０Ａに表示させている。図３には、表示オブジェクトＡ１〜Ａ３それぞれは、アプリケーション実行時に画面Ｇ１に現れるウィンドウである場合が例として示されているが、表示オブジェクトＡ１〜Ａ３それぞれは、ウィンドウに限定されず、アイコンであってもよいし、他のオブジェクトであってもよい。また、画面Ｇ１に含まれる表示オブジェクトの数も特に限定されない。

表示オブジェクトＡ１〜Ａ３それぞれの画面Ｇ１における位置は、ユーザＵのドラッグ操作によって移動可能であってもよく、表示制御装置１２０によって記憶されている。ここで、ユーザＵは、表示オブジェクトＡ１に関連付けられたアプリケーションを操作したいと考えた場合、テーブル１４０に指を接触させるとともに表示オブジェクトＡ１を指差しすればよい。そうすると、アプリケーション選択部１２４は、指の位置Ｐｆを基準として指差し方向Ｄｆ（ラインＬｆ上）に存在する表示オブジェクトＡ１に関連付けられたアプリケーションを、操作対象のアプリケーションとして選択する。

このように指の位置Ｐｆを基準とすれば、ユーザＵがより直感的に操作対象のアプリケーションを指定することが可能である。指の位置Ｐｆは、画面Ｇ１における位置であってよい。例えば、アプリケーション選択部１２４は、入力部１１０Ａによって入力された画像を解析することによって指の位置Ｐｆを取得してよい。また、図３には、ユーザの位置Ｐｕも示されている。ユーザの位置Ｐｕについては、後に説明する。

図４は、操作対象のアプリケーション選択の第２の例を示す図である。図４を参照すると、図３に示した例と同様に、出力制御部１２５は、それぞれがアプリケーションに関連付けられた表示オブジェクトＡ１〜Ａ３を含む画面Ｇ１を出力部１３０Ａに表示させている。ここで、ユーザＵから見て、表示オブジェクトＡ２が手前側にあり、表示オブジェクトＡ３が奥側にある。

このような場合であっても、テーブル１４０に指を接触させるとともに表示オブジェクトＡ２および表示オブジェクトＡ３を指差しすればよい。アプリケーション選択部１２４は、ラインＬｆ上に存在する表示オブジェクトＡ２および表示オブジェクトＡ３のうち、指の位置から最も近い表示オブジェクトＡ２に関連付けられたアプリケーションを、操作対象のアプリケーションとして選択すればよい。指の位置から最も近い表示オブジェクトＡ２に関連付けられたアプリケーションを、操作対象のアプリケーションとして指定したいとユーザＵが考える可能性がより高いからである。

図５は、操作対象のアプリケーション選択の第３の例を示す図である。図５を参照すると、図３に示した例と同様に、出力制御部１２５は、それぞれがアプリケーションに関連付けられた表示オブジェクトＡ１〜Ａ３を含む画面Ｇ１を出力部１３０Ａに表示させている。ここで、ユーザＵから見て、表示オブジェクトＡ２が手前側にあり、表示オブジェクトＡ３が奥側にある。

このような場合、図４に示したように、アプリケーション選択部１２４は、ラインＬｆ上に存在する表示オブジェクトＡ２および表示オブジェクトＡ３のうち、指の位置から最も近い表示オブジェクトＡ２に関連付けられたアプリケーションを、操作対象のアプリケーションとして選択すればよい。しかし、ユーザＵは、操作対象のアプリケーションを表示オブジェクトＡ３に関連付けられたアプリケーションに切り替えたいと考える場合も想定される。

このような場合であっても、ユーザＵは、一度テーブル１４０から指を離脱させ、再度テーブル１４０に指を接触させるとともに表示オブジェクトＡ２および表示オブジェクトＡ３を指差しすればよい。そうすると、アプリケーション選択部１２４は、指の位置を基準として指差し方向Ｄｆ（ラインＬｆ上）に存在する表示オブジェクトＡ３に関連付けられたアプリケーションに、操作対象のアプリケーションを切り替える。なお、操作対象のアプリケーションを切り替える操作は、かかる例に限定されない。

以上に示した例においては、表示オブジェクトＡ１〜Ａ３それぞれに関連付けられたアプリケーションの状態に関わらず、アプリケーション選択部１２４が操作対象のアプリケーションを選択する例について説明した。しかし、アプリケーション選択部１２４による操作対象のアプリケーションの選択に、表示オブジェクトＡ１〜Ａ３それぞれに関連付けられたアプリケーションの状態が考慮されてもよい。

具体的には、アプリケーション状態検出部１２３は、表示オブジェクトＡ１〜Ａ３それぞれの状態をアプリケーション状態として検出し、アプリケーション選択部１２４は、アプリケーション状態に基づいて操作対象のアプリケーションを選択するとよい。アプリケーション状態は特に限定されないが、アプリケーションに対する操作が必要か否かを示す情報であってもよい。以下、かかる例について説明する。

図６は、操作対象のアプリケーション選択の第４の例を示す図である。図６を参照すると、図３に示した例と同様に、出力制御部１２５は、それぞれがアプリケーションに関連付けられた表示オブジェクトＡ１〜Ａ３を含む画面Ｇ１を出力部１３０Ａに表示させている。ここで、表示オブジェクトＡ２に関連付けられたアプリケーションに対する操作は不要であり、表示オブジェクトＡ３に関連付けられたアプリケーションに対する操作は必要である。

このような場合、図６に示したように、表示オブジェクトＡ２および表示オブジェクトＡ３がラインＬｆ上に存在するが、アプリケーション選択部１２４は、表示オブジェクトＡ２に関連付けられたアプリケーションに対する操作は不要であるため、表示オブジェクトＡ２に関連付けられたアプリケーションを操作対象のアプリケーションとして選択しなくてよい。操作が不要なアプリケーションは、操作対象のアプリケーションとして選択される必要性がないからである。

一方、アプリケーション選択部１２４は、表示オブジェクトＡ３に関連付けられたアプリケーションに対する操作は必要であるため、表示オブジェクトＡ３に関連付けられたアプリケーションを操作対象のアプリケーションとして選択すればよい。操作が必要なアプリケーションは、操作対象のアプリケーションとして選択される必要性があるからである。

なお、ここでは、アプリケーション状態として、アプリケーションに対する操作が必要か否かを示す情報を例として挙げたが、アプリケーション状態は特に限定されない。例えば、アプリケーション状態は、アプリケーションに対する操作が必要か否かを示す情報の他、アプリケーションに対する操作が必要になった時刻、アプリケーションの実行開始からの経過時間、アプリケーションに対する最終操作がなされてからの経過時間およびアプリケーションに関連付けられた表示オブジェクトとユーザとの距離のうち少なくとも何れか一つを含んでもよい。例えば、アプリケーション選択部１２４は、アプリケーションに対する操作が必要になった時刻が古いアプリケーションほど優先的に選択してもよい。あるいは、アプリケーション選択部１２４は、アプリケーションの実行開始からの経過時間が長いアプリケーションほど優先的に選択してもよい。また、アプリケーション選択部１２４は、アプリケーションに対する最終操作がなされてからの経過時間が短いアプリケーションほど優先的に選択してもよい。また、アプリケーション選択部１２４は、アプリケーションに関連付けられた表示オブジェクトとユーザとの距離が近いアプリケーションほど優先的に選択してもよい。

以上に示した例においては、表示制御装置１２０の状態に関わらず、アプリケーション選択部１２４が操作対象のアプリケーションを選択する例について説明した。しかし、アプリケーション選択部１２４による操作対象のアプリケーションの選択に、出力部１３０Ａの状態が考慮されてもよい。

具体的には、デバイス状態検出部１２２は、表示制御装置１２０の状態をデバイス状態として検出し、アプリケーション選択部１２４は、デバイス状態に基づいて操作対象のアプリケーションを選択するとよい。デバイス状態は特に限定されないが、ネットワークに接続されているか否かを示す情報であってもよい。ネットワークに接続されているか否かを示す情報は、アプリケーションに関連付けられている各種の情報から取得されてもよい。あるいは、ネットワークを介した通信履歴が残っているか否かによってネットワークに接続されているか否かが判断されてもよい。以下、かかる例について説明する。

図７は、操作対象のアプリケーション選択の第５の例を示す図である。図７を参照すると、図３に示した例と同様に、出力制御部１２５は、それぞれがアプリケーションに関連付けられた表示オブジェクトＡ１〜Ａ３を含む画面Ｇ１を出力部１３０Ａに表示させている。ここで、表示制御装置１２０はネットワークに接続されておらず、表示オブジェクトＡ２に関連付けられたアプリケーションはネットワークへの接続が必要であり、表示オブジェクトＡ３に関連付けられたアプリケーションはネットワークへの接続が不要である。

このような場合、図７に示したように、表示オブジェクトＡ２および表示オブジェクトＡ３がラインＬｆ上に存在するが、アプリケーション選択部１２４は、表示オブジェクトＡ２に関連付けられたアプリケーションがネットワークへの接続が必要であるため、表示オブジェクトＡ２に関連付けられたアプリケーションを操作対象のアプリケーションから除外してよい。ネットワークへの接続が必要なアプリケーションは、ネットワークへの非接続状態において操作対象のアプリケーションとして選択される必要性がないからである。

一方、アプリケーション選択部１２４は、表示オブジェクトＡ３に関連付けられたアプリケーションがネットワークへの接続が不要であるため、表示オブジェクトＡ３に関連付けられたアプリケーションを操作対象のアプリケーションとして選択すればよい。ネットワークへの接続が不要なアプリケーションは、ネットワーク非接続状態においても操作対象のアプリケーションとして選択される必要性があるからである。

なお、ここでは、デバイス状態として、表示制御装置１２０がネットワークに接続されているか否かを示す情報を例として挙げたが、デバイス状態は特に限定されない。

以上に示した例においては、アプリケーション選択部１２４は、指の位置を基準として指差し方向に存在する表示オブジェクトに関連付けられたアプリケーションを操作対象のアプリケーションとして選択する例について説明した。しかし、他の動作によって操作対象のアプリケーションが指定されてもよい。例えば、操作対象のアプリケーションとして指定したいアプリケーションに対してユーザが視線を当てることによって操作対象のアプリケーションが指定されてもよい。

具体的には、行動検出部１２１は、ユーザＵの視線を検出し、アプリケーション選択部１２４は、視線上に存在する表示オブジェクトに関連付けられたアプリケーションを、操作対象のアプリケーションとして選択するとよい。ユーザＵの視線はどのように検出されてもよいが、入力部１１０Ａによって入力された画像を解析することによって検出されてもよいし、他のカメラ（例えば、ユーザＵの目を撮像するカメラ）によって撮像された画像を解析することによって検出されてもよい。以下、かかる例について説明する。

図８は、操作対象のアプリケーション選択の第６の例を示す図である。図８を参照すると、図３に示した例と同様に、出力制御部１２５は、それぞれがアプリケーションに関連付けられた表示オブジェクトＡ１〜Ａ３を含む画面Ｇ１を出力部１３０Ａに表示させている。また、画面Ｇ１の三次元位置と表示オブジェクトＡ１〜Ａ３それぞれの画面Ｇ１における位置と目の三次元位置Ｐｅとは、あらかじめ表示制御装置１２０によって記憶されている。

ここで、ユーザＵは、表示オブジェクトＡ２に関連付けられたアプリケーションを操作したいと考えた場合、表示オブジェクトＡ２に視線を当てればよい。そうすると、アプリケーション選択部１２４は、目の三次元位置Ｐｅを基準として三次元的な視線方向Ｄｅ（ラインＬｅ上）に存在する表示オブジェクトＡ２に関連付けられたアプリケーションを、操作対象のアプリケーションとして選択することができる。このように視線を利用することによって、直感的に操作対象のアプリケーションを指定することが可能である。

また、ユーザが視線を当てるという動作以外の動作によって操作対象のアプリケーションが指定されてもよい。例えば、操作対象のアプリケーションとして指定したいアプリケーションを識別するための情報（以下、単に「アプリケーション識別情報」とも言う。）をユーザが発声することによって操作対象のアプリケーションが指定されてもよい。ユーザから発せられる音声は、入力部１１０Ａによって入力されてよい。かかる例について以下に説明する。

図９は、操作対象のアプリケーション選択の第７の例を示す図である。図９を参照すると、図３に示した例と同様に、出力制御部１２５は、それぞれがアプリケーションに関連付けられた表示オブジェクトＡ１〜Ａ３を含む画面Ｇ１を出力部１３０Ａに表示させている。また、表示オブジェクトＡ１〜Ａ３それぞれに関連付けられたアプリケーションを識別するための情報が、あらかじめ表示制御装置１２０によって記憶されている。

ここで、ユーザＵは、表示オブジェクトＡ２に関連付けられたアプリケーションを操作したいと考えた場合、そのアプリケーションを識別するための情報をユーザＵが発声すればよい。そうすると、行動検出部１２１は、ユーザＵから発せられた音声から文字列を検出し、アプリケーション選択部１２４は、その文字列と記憶されているアプリケーションを識別情報とを照合し、その文字列に一致または類似するアプリケーション識別情報によって識別されるアプリケーションを、操作対象のアプリケーションとして選択することができる。

このようにユーザＵから発せられた音声を利用することによって、直感的に操作対象のアプリケーションを指定することが可能である。なお、ユーザＵから発せられる音声は、アプリケーション識別情報自体であってもよいが、図９に示したように、所定のフレーズがアプリケーション識別情報の末尾に付された音声であってもよい。あるいは、ユーザＵから発せられる音声は、所定のフレーズがアプリケーション識別情報の先頭に付された音声であってもよい。

［１．４．操作対象のアプリケーションに対応する動作例］
以上に説明したように、アプリケーション選択部１２４は、操作対象のアプリケーションを選択することが可能である。操作対象のアプリケーションが選択されると、出力制御部１２５は、操作対象のアプリケーションに対応する所定の動作が実行されるように出力部１３０を制御する。操作対象のアプリケーションに対応する動作は特に限定されない。以下では、操作対象のアプリケーションに対応する動作の例について説明する。

図１０は、操作対象のアプリケーションに対応する動作の第１の例を示す図である。図１０を参照すると、図３に示した例と同様に、出力制御部１２５は、それぞれがアプリケーションに関連付けられた表示オブジェクトＡ１〜Ａ３を含む画面Ｇ１を出力部１３０Ａに表示させている。また、表示オブジェクトＡ１〜Ａ３それぞれに関連付けられたアプリケーションには、アプリケーションを操作するための操作オブジェクトが関連付けられている。

ここで、図１０に示したように、アプリケーション選択部１２４によって操作対象のアプリケーションとして表示オブジェクトＡ１に関連付けられたアプリケーションが選択された場合を想定する。かかる場合、出力制御部１２５は、操作対象のアプリケーションに関連付けられた操作オブジェクトＥ１が表示されるように出力部１３０Ａを制御してよい。そうすれば、表示された操作オブジェクトＥ１への操作により操作対象のアプリケーションを操作することが可能となる。例えば、操作対象のアプリケーションに対する操作は、操作対象のアプリケーションがコンテンツ群の再生を行うアプリケーションである場合には、コンテンツの再生開始であってもよいし、次のコンテンツの再生を行う操作であってもよいし、前のコンテンツの再生を行う操作であってもよい。

操作オブジェクトＥ１の位置は特に限定されないが、ユーザにとって操作しやすい領域に操作オブジェクトＥ１が表示されるのがよい。したがって、出力制御部１２５は、操作オブジェクトＥ１がユーザの位置Ｐｕに応じた位置に表示されるように出力部１３０Ａを制御するとよい。より具体的には、出力制御部１２５は、画面Ｇ１の中でユーザの位置Ｐｕから最も近い位置に操作オブジェクトＥ１が表示されるように出力部１３０Ａを制御するとよい。

なお、ユーザの位置Ｐｕはどのように取得されてもよい。例えば、出力制御部１２５は、入力部１１０Ａによって入力された画像を解析することによってユーザの位置Ｐｕも取得してよい。ユーザの位置Ｐｕは、ユーザＵの身体の全部であってもよいし、ユーザＵの身体の一部（例えば、顔、目など）であってもよい。また、ユーザの位置Ｐｕおよび画面Ｇ１それぞれの位置は、二次元位置であってもよいし、三次元位置であってもよい。

また、ユーザにとって操作しやすい領域に操作オブジェクトＥ１が表示されるのがよいのは上記した通りであるが、操作オブジェクトＥ１の位置は、画面Ｇ１には限定されない。例えば、出力部１３０が、出力部１３０Ａおよび出力部１３０Ｂといったように複数のデバイスに分かれて存在する場合もある。かかる場合、出力制御部１２５は、操作オブジェクトＥ１がユーザの位置Ｐｕに応じたデバイスに表示されるように当該デバイスを制御するとよい。以下、かかる例について説明する。

図１１は、操作対象のアプリケーションに対応する動作の第２の例を示す図である。図１１を参照すると、図３に示した例と同様に、出力制御部１２５は、それぞれがアプリケーションに関連付けられた表示オブジェクトＡ１〜Ａ３を含む画面Ｇ１を出力部１３０Ａに表示させている。また、表示オブジェクトＡ１〜Ａ３それぞれに関連付けられたアプリケーションには、アプリケーションを操作するための操作オブジェクトが関連付けられている。

また、出力部１３０Ａおよび出力部１３０Ｂそれぞれの二次元位置または三次元位置が表示制御装置１２０によって記憶されている。例えば、移動可能性のある出力部１３０Ｂの位置は、適宜に表示制御装置１２０によって取得されて更新されてもよい。出力部１３０Ｂの位置は、例えば、情報入力装置に搭載されたＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）センサによって検出されてもよいが、どのように検出されてもよい。

ここで、図１１に示したように、アプリケーション選択部１２４によって操作対象のアプリケーションとして表示オブジェクトＡ１に関連付けられたアプリケーションが選択された場合を想定する。かかる場合、出力制御部１２５は、ユーザの位置Ｐｕから出力部１３０Ａおよび出力部１３０Ｂまでの距離をそれぞれ算出してよい。そして、出力制御部１２５は、ユーザの位置Ｐｕからの距離がより小さい出力部１３０に操作オブジェクトＥ１が表示されるように出力部１３０を制御するのがよい。ユーザの位置Ｐｕは、二次元位置であってもよいし、三次元位置であってもよい。

図１１に示した例では、出力制御部１２５は、ユーザの位置Ｐｕから出力部１３０Ａまでの距離よりユーザの位置Ｐｕから出力部１３０Ｂまでの距離がより小さいと判定している。そのため、出力制御部１２５は、ユーザの位置Ｐｕまでの距離がより小さいと判定した出力部１３０Ｂに操作オブジェクトＥ１が表示されるように出力部１３０を制御している。

以上に示した例においては、入力部１１０の状態に関わらず、出力制御部１２５が、操作対象のアプリケーションに対応する動作を実行させる例について説明した。しかし、出力制御部１２５による動作の実行に、入力部１１０の状態が考慮されてもよい。

具体的には、デバイス状態検出部１２２は、入力部１１０の状態をデバイス状態として検出し、出力制御部１２５は、デバイス状態に基づいて操作オブジェクトＥ１の位置を制御するとよい。デバイス状態は特に限定されないが、操作受付可能であるか否かを示す情報であってもよい。例えば、操作受付不可能な状態は、操作が受け付けられない何らかの事由が生じている状態を意味し、ビジー状態などが該当し得る。操作受付可能な状態は、操作が受け付けられない如何なる事由も生じていない状態を意味する。以下、かかる例について説明する。

図１２は、操作対象のアプリケーションに対応する動作の第３の例を示す図である。図１２を参照すると、図３に示した例と同様に、出力制御部１２５は、それぞれがアプリケーションに関連付けられた表示オブジェクトＡ１〜Ａ３を含む画面Ｇ１を出力部１３０Ａに表示させている。また、表示オブジェクトＡ１〜Ａ３それぞれに関連付けられたアプリケーションには、アプリケーションを操作するための操作オブジェクトが関連付けられている。

ここで、図１２に示したように、アプリケーション選択部１２４によって操作対象のアプリケーションとして表示オブジェクトＡ１に関連付けられたアプリケーションが選択された場合を想定する。かかる場合、デバイス状態検出部１２２は、入力部１１０Ａおよび入力部１１０Ｂそれぞれが操作受付可能であるか否かを検出する。図１２に示した例では、出力制御部１２５は、入力部１１０Ａが操作受付不可能であると判定し、入力部１１０Ｂが操作受付可能であると判定している。

かかる場合、出力制御部１２５は、操作受付可能な入力部１１０Ｂに対応する出力部１３０Ｂによって操作オブジェクトＥ１が表示されるように出力部１３０Ｂを制御するとよい。一方、出力制御部１２５は、操作受付不可能な入力部１１０Ａに対応する出力部１３０Ａによって操作オブジェクトＥ１が表示されないように出力部１３０Ａを制御するとよい。

以上に示した例においては、操作対象のアプリケーションに対応する動作の例として、操作対象のアプリケーションに関連付けられた操作オブジェクトＥ１を表示させる動作について説明した。しかし、操作対象のアプリケーションに対応する動作は、かかる動作に限定されない。例えば、出力制御部１２５は、操作対象のアプリケーションに関連付けられた表示オブジェクトがユーザの位置Ｐｕに応じた位置に移動されるように出力部１３０Ａを制御してもよい。そうすれば、操作対象のアプリケーションに対する操作を表示オブジェクトに対して容易に行うことが可能となる。以下、かかる例について説明する。

図１３は、操作対象のアプリケーションに対応する動作の第４の例を示す図である。図１３を参照すると、図３に示した例と同様に、出力制御部１２５は、それぞれがアプリケーションに関連付けられた表示オブジェクトＡ１〜Ａ３を含む画面Ｇ１を出力部１３０Ａに表示させている。また、表示オブジェクトＡ１〜Ａ３それぞれに関連付けられたアプリケーションには、アプリケーションを操作するための操作オブジェクトが関連付けられている。

ここで、図１３に示したように、アプリケーション選択部１２４によって操作対象のアプリケーションとして表示オブジェクトＡ１に関連付けられたアプリケーションが選択された場合を想定する。かかる場合、出力制御部１２５は、表示オブジェクトＡ１が画面Ｇ１のうちユーザの位置Ｐｕから最も近い位置に移動されるように出力部１３０Ａを制御するとよい。そうすれば、操作対象のアプリケーションに対する操作を表示オブジェクトＡ１に対して容易に行うことが可能となる。

［１．５．表示制御装置の動作例］
以上、操作対象のアプリケーションに対応する動作の例について説明した。続いて、本開示の実施形態に係る表示制御装置１２０の動作例について説明する。図１４は、本開示の実施形態に係る表示制御装置１２０の動作の例を示すフローチャートである。なお、図１４に示した動作例は、本開示の実施形態に係る表示制御装置１２０の動作の一例に過ぎない。したがって、本開示の実施形態に係る表示制御装置１２０の動作は、図１４に示した動作例に限定されない。

行動検出部１２１は、ユーザの行動を検出する（Ｓ１１）。また、デバイス状態検出部１２２は、デバイス状態を検出する（Ｓ１２）。また、アプリケーション状態検出部１２３は、アプリケーション状態を検出する（Ｓ１３）。続いて、アプリケーション選択部１２４は、ユーザの行動、デバイス状態およびアプリケーション状態に基づいて、操作対象のアプリケーションの選択を試みる（Ｓ２０）。

なお、図１４には、アプリケーション選択部１２４が、行動検出部１２１、デバイス状態検出部１２２およびアプリケーション状態検出部１２３の全部の検出結果に基づいて操作対象のアプリケーションを選択する例が示されている。しかし、アプリケーション選択部１２４は、行動検出部１２１、デバイス状態検出部１２２およびアプリケーション状態検出部１２３の一部の検出結果に基づいて操作対象のアプリケーションを選択してもよい。

続いて、出力制御部１２５は、操作対象のアプリケーションが選択された場合には（Ｓ３０において「Ｙｅｓ」）、操作対象のアプリケーションに関連付けられた操作オブジェクトを表示させる（Ｓ４０）。なお、図１４には、操作対象のアプリケーションに対応する動作の例として、操作オブジェクトを表示させる動作が示されているが、操作対象のアプリケーションに対応する動作は、操作オブジェクトを表示させる動作に限定されない。一方、出力制御部１２５は、操作対象のアプリケーションが選択されない場合には（Ｓ３０において「Ｎｏ」）、Ｓ５０に動作を移行させる。

続いて、出力制御部１２５は、操作対象のアプリケーションを再度選択する場合には（Ｓ５０において「Ｙｅｓ」）、一定時間待機した後（Ｓ６０）、Ｓ１１〜Ｓ１３に動作を移行させる。一方、出力制御部１２５は、操作対象のアプリケーションを再度選択しない場合には（Ｓ５０において「Ｎｏ」）、動作を終了する。

以上、本開示の実施形態に係る表示制御装置１２０の動作例について説明した。

［１．６．ハードウェア構成例］
次に、図１５を参照して、本開示の実施形態に係る情報処理システム１００のハードウェア構成について説明する。図１５は、本開示の実施形態に係る情報処理システム１００のハードウェア構成例を示すブロック図である。

図１５に示すように、情報処理システム１００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇｕｎｉｔ）９０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９０３、およびＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９０５を含む。また、情報処理システム１００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理システム１００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理システム１００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理システム１００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理システム１００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理システム１００に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能しうる。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、ＰＤＰ（ＰｌａｓｍａＤｉｓｐｌａｙＰａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理システム１００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。

ストレージ装置９１９は、情報処理システム１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理システム１００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理システム１００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（ＳｍａｌｌＣｏｍｐｕｔｅｒＳｙｓｔｅｍＩｎｔｅｒｆａｃｅ）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理システム１００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（ＷｉｒｅｌｅｓｓＵＳＢ）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）またはＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理システム１００の筐体の姿勢など、情報処理システム１００自体の状態に関する情報や、情報処理システム１００の周辺の明るさや騒音など、情報処理システム１００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理システム１００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

＜２．むすび＞
以上説明したように、本開示の実施形態によれば、１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部１３０を制御する出力制御部１２５と、ユーザの指差し方向を検出する行動検出部１２１と、前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択するアプリケーション選択部１２４と、を備える、表示制御装置１２０が提供される。かかる構成によれば、ユーザが操作対象のアプリケーションを容易に指定することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、操作対象のアプリケーションに対応する動作の例を説明したが、操作対象のアプリケーションに対応する動作は上記に限定されない。例えば、操作対象のアプリケーションがコンテンツの再生を行うアプリケーションである場合には、操作対象のアプリケーションに対応する動作は、コンテンツの再生停止中にはコンテンツを開始する動作であってよく、コンテンツの再生中にはコンテンツを停止する動作であってもよい。あるいは、操作対象のアプリケーションに対応する動作は、表示オブジェクトを拡大または縮小する動作であってもよい。

また、上記では、デバイス状態の例を説明したが、デバイス状態は上記に限定されない。例えば、デバイス状態が表示オブジェクトの存在する位置を示す場合であってもよい。かかる場合、出力制御部１２５は、少なくとも表示オブジェクトの存在しない位置に操作オブジェクトが表示されるように出力部１３０Ａを制御するとよい。そうすれば、表示オブジェクトと操作オブジェクトとの重なりを防ぐことが可能となる。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理システム１００が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

また、出力制御部１２５は、出力部１３０に表示内容を表示させるための表示制御情報を生成し、生成した表示制御情報を出力部１３０に出力することで、当該表示内容が出力部１３０に表示されるように出力部１３０を制御することが可能である。かかる表示制御情報の内容はシステム構成にあわせて適宜変更されてよい。

具体的な一例として、情報処理システム１００を実現するためのプログラムは、ウェブアプリケーションであってもよい。かかる場合、表示制御情報は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）、ＳＧＭＬ（ＳｔａｎｄａｒｄＧｅｎｅｒａｌｉｚｅｄＭａｒｋｕｐＬａｎｇｕａｇｅ）、ＸＭＬ（ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）などのマークアップ言語により実現されてもよい。

なお、上述した情報処理システム１００の動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、入力部１１０と出力部１３０と表示制御装置１２０とは、ネットワークを介して接続された互いに異なる装置に設けられてもよい。この場合には、表示制御装置１２０が、例えば、ウェブサーバやクラウドサーバのようなサーバに相当し、入力部１１０および出力部１３０が当該サーバにネットワークを介して接続されたクライアントに相当し得る。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御する出力制御部と、
ユーザの指差し方向を検出する行動検出部と、
前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択するアプリケーション選択部と、
を備える、表示制御装置。
（２）
前記出力制御部は、前記操作対象のアプリケーションに対応する所定の動作が実行されるように前記出力部を制御する、
前記（１）に記載の表示制御装置。
（３）
前記出力制御部は、前記操作対象のアプリケーションに関連付けられた操作オブジェクトが表示されるように前記出力部を制御する、
前記（２）に記載の表示制御装置。
（４）
前記出力制御部は、前記操作オブジェクトが前記ユーザの位置に応じた位置に表示されるように前記出力部を制御する、
前記（３）に記載の表示制御装置。
（５）
前記アプリケーション選択部は、指の位置を基準として前記指差し方向に存在する表示オブジェクトに関連付けられたアプリケーションを、前記操作対象のアプリケーションとして選択する、
前記（１）〜前記（４）の何れか一項に記載の表示制御装置。
（６）
前記アプリケーション選択部は、前記指の位置を基準として前記指差し方向に存在する複数の表示オブジェクトのうち前記指の位置に最も近い表示オブジェクトに関連付けられたアプリケーションを、前記操作対象のアプリケーションとして選択する、
前記（５）に記載の表示制御装置。
（７）
前記アプリケーション選択部は、前記指の位置を基準として前記指差し方向に存在する複数の表示オブジェクトの間で、ユーザによる所定の操作に従って前記操作対象のアプリケーションを切り替える、
前記（５）または前記（６）に記載の表示制御装置。
（８）
前記表示制御装置は、前記表示制御装置の状態をデバイス状態として検出するデバイス状態検出部を備え、
前記アプリケーション選択部は、前記デバイス状態に基づいて前記操作対象のアプリケーションを選択する、
前記（１）〜前記（７）の何れか一項に記載の表示制御装置。
（９）
前記アプリケーション選択部は、前記デバイス状態がネットワークへの非接続を示す場合、前記ネットワークへの接続を必要とするアプリケーションを前記操作対象のアプリケーションから除外する、
前記（８）に記載の表示制御装置。
（１０）
前記表示制御装置は、前記出力部に対応する入力部の状態をデバイス状態として検出するデバイス状態検出部を備え、
前記出力制御部は、前記デバイス状態に基づいて前記操作オブジェクトの位置を制御する、
前記（３）または前記（４）に記載の表示制御装置。
（１１）
前記入力部は、複数のデバイスに分かれて存在し、
前記出力制御部は、前記デバイス状態がデバイスごとに操作受付可能か否かを示す場合、前記操作オブジェクトが操作受付可能なデバイスに対応する出力部によって表示されるように当該デバイスを制御する、
前記（１０）に記載の表示制御装置。
（１２）
前記出力制御部は、前記デバイス状態が表示オブジェクトの存在する位置を示す場合、少なくとも前記表示オブジェクトの存在しない位置に前記操作オブジェクトが表示されるように前記出力部を制御する、
前記（１０）に記載の表示制御装置。
（１３）
前記表示制御装置は、前記１または複数のアプリケーションそれぞれの状態をアプリケーション状態として検出するアプリケーション状態検出部を備え、
前記アプリケーション選択部は、前記アプリケーション状態に基づいて前記操作対象のアプリケーションを選択する、
前記（１）〜前記（１２）の何れか一項に記載の表示制御装置。
（１４）
前記アプリケーション状態は、アプリケーションに対する操作が必要か否かを示す情報、前記アプリケーションに対する操作が必要になった時刻、前記アプリケーションの実行開始からの経過時間、前記アプリケーションに対する最終操作がなされてからの経過時間および前記アプリケーションに関連付けられた表示オブジェクトとユーザとの距離のうち少なくとも何れか一つを含む、
前記（１３）に記載の表示制御装置。
（１５）
前記行動検出部は、ユーザから発せられた音声から文字列を検出し、
前記アプリケーション選択部は、前記文字列に一致または類似するアプリケーション識別情報によって識別されるアプリケーションを、前記操作対象のアプリケーションとして選択する、
前記（１）に記載の表示制御装置。
（１６）
前記行動検出部は、ユーザの視線を検出し、
前記アプリケーション選択部は、前記視線上に存在する表示オブジェクトに関連付けられたアプリケーションを、前記操作対象のアプリケーションとして選択する、
前記（１）〜前記（１５）の何れか一項に記載の表示制御装置。
（１７）
前記出力部は、複数のデバイスに分かれて存在し、
前記出力制御部は、前記操作オブジェクトが前記ユーザの位置に応じたデバイスによって表示されるように当該デバイスを制御する、
前記（３）に記載の表示制御装置。
（１８）
前記出力制御部は、前記操作対象のアプリケーションに関連付けられた前記表示オブジェクトが前記ユーザの位置に応じた位置に移動されるように前記出力部を制御する、
前記（２）に記載の表示制御装置。
（１９）
１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御することと、
ユーザの指差し方向を検出することと、
前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択することと、
を備える、表示制御方法。
（２０）
コンピュータを、
１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御する出力制御部と、
ユーザの指差し方向を検出する行動検出部と、
前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択するアプリケーション選択部と、
を備える、表示制御装置として機能させるためのプログラム。

１００情報処理システム
１１０（１１０Ａ、１１０Ｂ）入力部
１２０表示制御装置（制御部）
１２１行動検出部
１２２デバイス状態検出部
１２３アプリケーション状態検出部
１２４アプリケーション選択部
１２５出力制御部
１３０（１３０Ａ、１３０Ｂ）出力部
１４０テーブル
Ｇ１画面
Ａ１〜Ａ３表示オブジェクト
Ｅ１操作オブジェクト

Claims

１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御する出力制御部と、
ユーザの指差し方向を検出する行動検出部と、
前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択するアプリケーション選択部と、
を備え、
前記アプリケーション選択部は、指の位置を基準として前記指差し方向に存在する複数の表示オブジェクトのうち前記指の位置に最も近い表示オブジェクトに関連付けられたアプリケーションを、前記操作対象のアプリケーションとして選択する、表示制御装置。
１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御する出力制御部と、
ユーザの指差し方向を検出する行動検出部と、
前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択するアプリケーション選択部と、
を備え、
前記アプリケーション選択部は、指の位置を基準として前記指差し方向に存在する複数の表示オブジェクトの間で、ユーザによる所定の操作に従って前記操作対象のアプリケーションを切り替える、表示制御装置。
１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御する出力制御部と、
ユーザの指差し方向を検出する行動検出部と、
前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択するアプリケーション選択部と、
を備え、
前記出力部は、複数のデバイスに分かれて存在し、
前記出力制御部は、前記操作対象のアプリケーションに関連付けられた操作オブジェクトが前記ユーザの位置に応じたデバイスによって表示されるように当該デバイスを制御する、表示制御装置。
表示制御装置であって、
１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御する出力制御部と、
ユーザの指差し方向を検出する行動検出部と、
前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択するアプリケーション選択部と、
前記表示制御装置の状態をデバイス状態として検出するデバイス状態検出部と、
を備え、
前記アプリケーション選択部は、前記デバイス状態がネットワークへの非接続を示す場合、前記ネットワークへの接続を必要とするアプリケーションを前記操作対象のアプリケーションから除外する、表示制御装置。
１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御する出力制御部と、
ユーザの指差し方向を検出する行動検出部と、
前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択するアプリケーション選択部と、
前記出力部に対応する入力部の状態をデバイス状態として検出するデバイス状態検出部と、
を備え、
前記出力制御部は、前記デバイス状態に基づいて前記操作対象のアプリケーションに関連付けられた操作オブジェクトの位置を制御し、
前記入力部は、複数のデバイスに分かれて存在し、
前記出力制御部は、前記デバイス状態がデバイスごとに操作受付可能か否かを示す場合、前記操作オブジェクトが操作受付可能なデバイスに対応する出力部によって表示されるように当該デバイスを制御する、表示制御装置。
前記出力制御部は、前記操作対象のアプリケーションに対応する所定の動作が実行されるように前記出力部を制御する、
請求項１〜３の何れか一項に記載の表示制御装置。
前記出力制御部は、前記操作対象のアプリケーションに関連付けられた操作オブジェクトが表示されるように前記出力部を制御する、
請求項６に記載の表示制御装置。
前記出力制御部は、前記操作オブジェクトが前記ユーザの位置に応じた位置に表示されるように前記出力部を制御する、
請求項７に記載の表示制御装置。
前記アプリケーション選択部は、指の位置を基準として前記指差し方向に存在する表示オブジェクトに関連付けられたアプリケーションを、前記操作対象のアプリケーションとして選択する、
請求項１〜８の何れか一項に記載の表示制御装置。
前記表示制御装置は、前記表示制御装置の状態をデバイス状態として検出するデバイス状態検出部を備え、
前記アプリケーション選択部は、前記デバイス状態に基づいて前記操作対象のアプリケーションを選択する、
請求項１〜９の何れか一項に記載の表示制御装置。
前記表示制御装置は、前記出力部に対応する入力部の状態をデバイス状態として検出するデバイス状態検出部を備え、
前記出力制御部は、前記デバイス状態に基づいて前記操作オブジェクトの位置を制御する、
請求項７または８に記載の表示制御装置。
前記出力制御部は、前記デバイス状態が表示オブジェクトの存在する位置を示す場合、少なくとも前記表示オブジェクトの存在しない位置に前記操作オブジェクトが表示されるように前記出力部を制御する、
請求項１１に記載の表示制御装置。
前記表示制御装置は、前記１または複数のアプリケーションそれぞれの状態をアプリケーション状態として検出するアプリケーション状態検出部を備え、
前記アプリケーション選択部は、前記アプリケーション状態に基づいて前記操作対象のアプリケーションを選択する、
請求項１〜１２の何れか一項に記載の表示制御装置。
前記アプリケーション状態は、アプリケーションに対する操作が必要か否かを示す情報、前記アプリケーションに対する操作が必要になった時刻、前記アプリケーションの実行開始からの経過時間、前記アプリケーションに対する最終操作がなされてからの経過時間および前記アプリケーションに関連付けられた表示オブジェクトとユーザとの距離のうち少なくとも何れか一つを含む、
請求項１３に記載の表示制御装置。
前記行動検出部は、ユーザから発せられた音声から文字列を検出し、
前記アプリケーション選択部は、前記文字列に一致または類似するアプリケーション識別情報によって識別されるアプリケーションを、前記操作対象のアプリケーションとして選択する、
請求項１〜５の何れか一項に記載の表示制御装置。
前記行動検出部は、ユーザの視線を検出し、
前記アプリケーション選択部は、前記視線上に存在する表示オブジェクトに関連付けられたアプリケーションを、前記操作対象のアプリケーションとして選択する、
請求項１〜１５の何れか一項に記載の表示制御装置。
前記出力制御部は、前記操作対象のアプリケーションに関連付けられた前記表示オブジェクトが前記ユーザの位置に応じた位置に移動されるように前記出力部を制御する、
請求項６に記載の表示制御装置。
１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御することと、
ユーザの指差し方向を検出することと、
前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択することと、
を備え、
指の位置を基準として前記指差し方向に存在する複数の表示オブジェクトのうち前記指の位置に最も近い表示オブジェクトに関連付けられたアプリケーションを、前記操作対象のアプリケーションとして選択する、表示制御方法。
コンピュータを、
１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトが表示されるように出力部を制御する出力制御部と、
ユーザの指差し方向を検出する行動検出部と、
前記１または複数のアプリケーションそれぞれに関連付けられた表示オブジェクトと前記指差し方向とに基づいて、操作対象のアプリケーションを選択するアプリケーション選択部と、
を備え、
前記アプリケーション選択部は、指の位置を基準として前記指差し方向に存在する複数の表示オブジェクトのうち前記指の位置に最も近い表示オブジェクトに関連付けられたアプリケーションを、前記操作対象のアプリケーションとして選択する、表示制御装置として機能させるためのプログラム。