JP6809467B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6809467B2
JP6809467B2 JP2017536635A JP2017536635A JP6809467B2 JP 6809467 B2 JP6809467 B2 JP 6809467B2 JP 2017536635 A JP2017536635 A JP 2017536635A JP 2017536635 A JP2017536635 A JP 2017536635A JP 6809467 B2 JP6809467 B2 JP 6809467B2
Authority
JP
Japan
Prior art keywords
information processing
information
input
application
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017536635A
Other languages
English (en)
Other versions
JPWO2017033513A1 (ja
Inventor
重文 田村
重文 田村
亮介 野村
亮介 野村
哲男 池田
哲男 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017033513A1 publication Critical patent/JPWO2017033513A1/ja
Application granted granted Critical
Publication of JP6809467B2 publication Critical patent/JP6809467B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
スマートフォンやタブレット端末などの、タッチパネルに対する操作によって様々な情報を表示する装置が、広く普及している。タブレット端末については、画面サイズの大型化も図られるようになり、複数のユーザが同時に操作する使われ方も考慮されるようになりつつある。また、情報を表示する装置としては、プロジェクタが用いられる場合もある。
また、近年では、スマートフォンやタブレット端末などのような情報処理装置に対して情報を入力する方法も多様化してきており、例えば、集音された音声や撮像された映像を、入力情報として使用可能な情報処理装置もある。
特開2011−102984号公報
一方で、複数のユーザが、情報処理装置を同時に操作するような状況下においては、各ユーザが操作する対象(例えば、アプリケーション)が複数同時に動作し、かつ、複数のユーザそれぞれから当該対象に対して情報を入力する状況が想定され得る。そのため、複数のユーザそれぞれからの入力情報を識別して取得し、当該ユーザが操作する対象を判別して、取得した入力情報を判別した対象に対して入力することが可能な仕組みが求められる。
そこで、本開示では、複数のユーザが同時に操作するような状況下においても、各ユーザからの入力情報を当該ユーザが操作する対象に対して入力することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得する取得部と、少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てる制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得することと、プロセッサが、少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てることと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得することと、少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てることと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、複数のユーザが同時に操作するような状況下においても、各ユーザからの入力情報を当該ユーザが操作する対象に対して入力することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の構成例を示す説明図である。 本開示の一実施形態に係る情報処理装置の構成例を示す説明図である。 本開示の一実施形態に係る情報処理装置の構成例を示す説明図である。 本開示の第1の実施形態に係る情報処理装置の概要について説明するための説明図である。 同実施形態に係る情報処理装置による制御の概要について説明するための説明図である。 同実施形態に係る情報処理装置による制御の概要について説明するための説明図である。 同実施形態に係る情報処理装置による制御の概要について説明するための説明図である。 同実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。 同実施形態に係る情報処理装置の一連の処理の流れの一例について示したフローチャートである。 同実施形態に係る情報処理装置の一連の処理の流れの一例について示したフローチャートである。 変形例1に係る情報処理装置の制御の一例について説明するための説明図である。 変形例1に係る情報処理装置の制御の一例について説明するための説明図である。 変形例1に係る情報処理装置の制御の一例について説明するための説明図である。 変形例2に係る情報処理装置の制御の一例について説明するための説明図である 変形例2に係る情報処理装置の制御の一例について説明するための説明図である 変形例3に係る情報処理装置の概要について説明するための説明図である。 変形例4に係る情報処理装置の概要について説明するための説明図である。 変形例5に係る情報処理装置の概要について説明するための説明図である。 変形例5に係る情報処理装置の概要について説明するための説明図である。 変形例5に係る情報処理装置の概要について説明するための説明図である。 変形例6に係る情報処理装置の制御の一例について説明するための説明図である。 変形例6に係る情報処理装置の一連の処理の流れの一例について示したフローチャートである。 本開示の第2の実施形態に係る情報処理装置の概要について説明するための説明図である。 同実施形態に係る情報処理装置による制御の一例について説明するための説明図である。 同実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。 同実施形態に係る情報処理装置が、各部分領域をユーザに対して提示する方法の一例について説明するための説明図である。 同実施形態に係る情報処理装置が、部分領域の態様を制御する場合の一例について説明するための説明図である。 本開示の一実施形態にかかる情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.1.第1の実施形態
1.1.構成例
1.2.制御の概要
1.2.1.各ユーザからの音声の取得
1.2.2.音声入力の入力先の特定
1.3.機能構成
1.4.処理
1.5.変形例
1.5.1.変形例1:入力先の候補が複数存在する場合の制御例1
1.5.2.変形例2:入力先の候補が複数存在する場合の制御例2
1.5.3.変形例3:各領域を示す情報の報知
1.5.4.変形例4:出力量の制御例
1.5.5.変形例5:領域の制御例
1.5.6.変形例6:入力情報の入力先の制御例
1.6.まとめ
2.第2の実施の形態
2.1.概要
2.2.機能構成
3.ハードウェア構成例
4.まとめ
<1.第1の実施形態>
[1.1.構成例]
まず、図面を参照しながら本開示の一実施形態に係る情報処理装置の構成例について説明する。図1は、本開示の一実施形態に係る情報処理装置の構成例を示す説明図である。以下、図1を用いて本開示の一実施形態に係る情報処理装置の構成例について説明する。
図1に示したように、本開示の一実施形態に係る情報処理装置100aは、入力部110aと、出力部130aとを含む。図1に示した本開示の一実施形態に係る情報処理装置100aは、テーブル140aの天面に情報を表示し、テーブル140aに表示した情報に対して情報処理装置100aを使用するユーザに操作をさせる。なお、以降では、図1に示すようにテーブル140aの天面に情報を表示する方式を「プロジェクション型」と称する場合がある。また、情報処理装置100aは、入力部110aと、出力部130aとのうち、少なくともいずれかが外部装置として外付けされた情報処理システムとして構成されていてもよい。
入力部110aは、情報処理装置100aを使用するユーザの操作内容や、テーブル140aに置かれている物体の形状や模様などを入力するための装置である。図1に示した例では、入力部110aは、テーブル140aの上方に、例えば天井から吊り下げられた状態で設けられる。すなわち、入力部110aは、情報が表示される対象となるテーブル140aとは離隔して設けられる。入力部110aとしては、例えば1つの撮像光学系(例えば、一連のレンズ群)でテーブル140aを撮像するカメラや、2つの撮像光学系でテーブル140aを撮像して奥行き方向の情報を記録することが可能なステレオカメラ、情報処理装置100aを使用するユーザが発する音声や情報処理装置100aが置かれている環境の環境音等の音響情報を集音するための集音デバイス(例えば、マイク等)が用いられ得る。
入力部110aとして、1つの撮像光学系でテーブル140aを撮像するカメラが用いられる場合には、情報処理装置100aは、例えば、そのカメラが撮像した画像を解析することで、テーブル140aに置かれた物体を検出する。また入力部110aとしてステレオカメラが用いられる場合には、そのステレオカメラには、例えば可視光カメラや赤外線カメラ等が適用され得る。入力部110aとしてステレオカメラが用いられることで、入力部110aは、深度情報を取得することが可能となる。入力部110aが、深度情報を取得することで、情報処理装置100aは、例えばテーブル140aの上に置かれた手や物体等の実オブジェクトを検出することが可能となる。また入力部110aが、深度情報を取得することで、情報処理装置100aは、テーブル140aへのユーザの手のような操作体の接触及び近接や、テーブル140aからの操作体の離脱を検出することが可能となる。なお、以下の説明では、ユーザが情報の表示面に手等の操作体を接触または近接させることを、まとめて単に「接触」とも称する。
また入力部110aとしてマイクが用いられる場合、そのマイクは特定の方向からの音響情報(例えば、音声)を収音するためのマイクアレイが用いられ得る。入力部110aとしてマイクアレイが用いられる場合、情報処理装置100aは、マイクアレイの集音方向を任意の方向に調整しても良い。また、情報処理装置100aは、マイクアレイを構成する各マイクによる音響情報の集音結果に応じて、当該音響情報の到来方向を推定してもよい。具体的な一例として、情報処理装置100aは、アレイマイクを構成する各マイクにより集音された音響情報それぞれの音量の比率に応じて、当該音響情報の到来方向を推定してもよい。
なお、以下では、手などの操作体によるユーザの操作が、入力部110aによって撮像された画像から検出される場合を主に説明するが、本開示は係る例に限定されるものではない。ユーザの操作は、ユーザの指等の接触を検出するタッチパネルによって検出されてもよい。また入力部110aが取得できるユーザ操作としては、この他にも、例えば情報の表示面に対するスタイラス操作、カメラに対するジェスチャ操作等が含まれ得る。
出力部130aは、入力部110aによって入力された、情報処理装置100aを使用するユーザの操作内容や、出力部130aが出力している情報の内容、テーブル140aに置かれている物体の形状や模様等の情報に応じて、テーブル140aに情報を表示したり、音声を出力したりするための構成である。出力部130aとしては、例えばプロジェクタやスピーカ等が用いられる。図1に示した例では、出力部130aは、テーブル140aの上方に、例えば天井から吊り下げられた状態で設けられる。出力部130aがプロジェクタで構成される場合、出力部130aは、テーブル140aの天面に情報を投影する。出力部130aがスピーカで構成される場合、出力部130aは、音声信号に基づいて音声を出力する。出力部130aがスピーカで構成される場合、スピーカの数は1つで合っても良く、複数であっても良い。出力部130aが複数のスピーカで構成される場合、情報処理装置100aは、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしても良い。
また情報処理装置100aが図1に示したようなプロジェクション型である場合、出力部130aに、照明機器が含まれていても良い。出力部130aに照明機器が含まれる場合、情報処理装置100aは、入力部110aによって入力された情報の内容に基づいて、照明機器の点灯、消灯等の状態を制御しても良い。
情報処理装置100aを使用するユーザは、出力部130aがテーブル140aに表示する情報に対して、指などをテーブル140aに置いて操作することが出来る。また情報処理装置100aを使用するユーザは、テーブル140aに物体を置いて入力部110aに認識させることで、その認識させた物体(即ち、実オブジェクト)に関する種々の操作を実行することが出来る。
なお図1には図示しないが、情報処理装置100aには他の装置が接続されていても良い。例えば情報処理装置100aには、テーブル140aを照らすための照明機器が接続されていても良い。情報処理装置100aにテーブル140aを照らすための照明機器が接続されていることで、情報処理装置100aは、情報の表示面の状態に応じて照明機器の点灯状態を制御することが可能となる。
また、本開示では、情報処理装置の形態は図1に示したものに限定されるものではない。図2及び図3は、本開示の一実施形態にかかる情報処理装置のさらなる別の形態の例を示す説明図である。
図2に示したのは、本開示の一実施形態に係る情報処理装置100bの構成例を示す説明図であり、テーブル140bの下から情報を出力部130aに照射させることで、テーブル140bの表面に情報を表示させるように構成されているものである。すなわち、図2に示した情報処理装置100bでは、情報の表示面はテーブル140bの天面となる。テーブル140bの面はガラス板や透明プラスチック板等の透明な材質で形成される。図2のようにテーブル140bの下から情報を出力部130aに照射させて、テーブル140bの天面に情報を表示する方式を「リアプロジェクション型」とも称する。図2に示した例では、テーブル140bの表面に入力部110bが設けられる構成を示しているが、図1に示した情報処理装置100aと同様に、入力部110bは、テーブル140bの下方にテーブル140bとは離隔して設けられても良い。
図3に示したのは、本開示の一実施形態に係る情報処理装置100cの構成例を示す説明図である。図3には、タッチパネル式のディスプレイがテーブル上に置かれている状態が示されている。このようにタッチパネル式のディスプレイの場合、入力部110c及び出力部130cは、タッチパネル式のディスプレイとして構成され得る。すなわち、図3に示した情報処理装置100cでは、情報の表示面はタッチパネル式のディスプレイとなる。図3に示した情報処理装置100cでは、図1に示した情報処理装置100aと同様に、タッチパネル式のディスプレイの上方に、ユーザの位置を検出するためのカメラが設けられても良い。
なお以下の説明では、図1に示したような、テーブル140aの上方に入力部110a及び出力部130aが設けられる情報処理装置100aの構成、すなわち、情報の表示面と離隔して入力部110a及び出力部130aが設けられる構成を例にして説明する。以下の説明では、情報処理装置100a、入力部110a、出力部130aを、単に情報処理装置100、入力部110、出力部130としても説明する。
[1.2.制御の概要]
次に、本開示の一実施形態に係る情報処理装置100の特徴をよりわかりやすくするために、まず、本実施形態に係る情報処理装置100の課題について整理し、次いで、本実施形態に係る情報処理装置100による制御の概要について説明する。
まず、図4を参照して、本実施形態に係る情報処理装置100の課題について整理する。図4は、本実施形態に係る情報処理装置100の概要について説明するための説明図であり、情報処理装置100に対して複数のユーザが同時に操作を行っている場合の一例を示している。本実施形態に係る情報処理装置100は、テーブルの天面上に比較的大きな操作画面を投影することで、例えば、図4に示すように複数のユーザが同時に操作可能な環境を実現している。
図4において、参照符号R10は、情報処理装置100が情報を表示する領域(即ち、情報の表示面)を模式的に示している。なお、プロジェクション型の情報処理装置100の場合には、プロジェクタにより操作画面が投影される投影面が、表示面R10に相当する。また、参照符号v11〜v14のそれぞれは、互いに異なるアプリケーションが実行されることで、当該アプリケーションそれぞれの動作により、情報の表示面R10上に表示された各表示オブジェクト(例えば、ウィンドウ等の表示コンポーネント)の一例を示している。
図4に示す例では、ユーザu11は、参照符号v11で示されたビデオチャットのためのアプリケーションA11の操作画面に対して、音声により情報を入力している。また、ユーザu12は、参照符号v12で示された音声検索のためのアプリケーションA12の入力画面に対して、音声により情報を入力している。同様に、ユーザu13は、参照符号v13で示されたブラウザA13の画面に対して、音声により情報を入力している。
また、図4に示す例では、ユーザu14は、情報処理装置100に対して操作を行っていない。また、図4に示す例では、ユーザu11〜u13が操作するアプリケーションA11〜A13に加えて、音楽プレイヤーのアプリケーションA14が動作している。なお、本説明では、音楽プレイヤーのアプリケーションA14は、表示面R10上に操作画面v14を表示させていてもよいし、当該操作画面v14を表示面R10上に表示させていなくてもよいものとする。
図4に示すように、情報処理装置100に対して複数のユーザが同時に操作を行うような状況下では、各ユーザが操作する対象(例えば、アプリケーション)が複数同時に動作し、かつ、複数のユーザそれぞれから当該対象に対して情報を入力する状況が想定され得る。
このような状況下において、各ユーザが音声により情報を入力する際に、例えば、音声入力により操作を行う場合等のように、当該ユーザは、必ずしも対象となるアプリケーションを明示的に指定するとは限らない。また、情報処理装置100は、各ユーザから発話された音声を単に集音するのみでは、各ユーザから発せられた音声をそれぞれ識別して取得することが困難な場合もある。そのため、図4に示すように、複数のユーザそれぞれが操作するアプリケーションが同時に動作する状況下では、情報処理装置100は、集音された各音声の入力先となるアプリケーションを特定することが困難な場合がある。
本開示の一実施形態に係る情報処理装置100は、上記のような状況を鑑みてなされたものであり、複数のユーザが同時に操作するような状況下においても、各ユーザからの入力情報(例えば、音声入力)を当該ユーザが操作する対象(例えば、アプリケーション)に対して入力することが可能な仕組みを提供する。
そこで、以下に図5〜図7を参照して、本実施形態に係る情報処理装置100による制御の概要について、特に、各ユーザが音声により情報を入力する場合の動作に着目して説明する。
<<1.2.1.各ユーザからの音声の取得>>
まず、図5を参照して、本実施形態に係る情報処理装置100が、複数のユーザそれぞれから発せられた音声を識別して取得する仕組みの一例について説明する。図5は、本実施形態に係る情報処理装置100による制御の概要について説明するための説明図であり、当該情報処理装置100が各ユーザからの音声を識別して取得するための仕組みの一例について説明するための図である。
本実施形態に係る情報処理装置100は、ユーザから発せられた音声などの音響情報を集音するための入力部110として、複数の集音部113(例えば、マイク)を含むマイクアレイを備え、各集音部113による音響情報の集音結果に応じて、当該音響情報の到来方向を推定する。なお、本説明では、各集音部113として、無指向性のマイクを適用した場合の例について説明する。
例えば、図5において、参照符号R20は、複数の集音部113を含む入力部110が、音響情報を集音可能な領域(以降では、「集音領域」と記載する場合がある)を模式的に示している。また、参照符号R21は、入力部110の位置を基点とした方向に応じて、集音領域R20を複数の部分領域に分割した場合における、各部分領域を示している。
ここで、入力部110により、当該入力部110の位置を基点として部分領域R21aが延伸する方向から到来する音響情報を、各集音部113により集音する場合に着目する。この場合には、複数の集音部113のうち、部分領域R21aが延伸する方向に向いた集音部113aで集音される音響情報の音量が最も高くなり得る。また、部分領域R21aが延伸する方向から到来する音響情報は、集音部113aに隣接する集音部113b及び113cによっても集音させる場合がある。この場合には、集音部113b及び113cで集音される音響情報の音量は、集音部113aにより集音される音響情報の音量よりも低くなる傾向にある。また、集音部113aとは逆側に位置する集音部113dでは、部分領域R21aが延伸する方向から到来する音響情報はほとんど集音されない場合が多い。
このような特性を利用して、例えば、情報処理装置100は、入力部110(例えば、アレイマイク)を構成する複数の集音部113で集音された音響情報それぞれの音量の比率に応じて、当該音響情報の到来方向(即ち、当該音響情報の音源が存在する部分領域R21)を推定する。
このような構成により、情報処理装置100は、入力部110の集音領域R20が分割された複数の部分領域R21それぞれから到来する各音響情報を識別して取得する。即ち、情報処理装置100は、上記に説明した構成により、部分領域R21ごとに、当該部分領域R21に存在するユーザから発せられた音声を識別して取得することが可能となる。
なお、情報処理装置100が、各音響情報を識別して取得可能な部分領域R21(換言すると、到来方向)の分解能は、入力部110を構成する集音部113の数や、各集音部113の配置に応じて決定される。
また、上記に示した入力部110の構成はあくまで一例であり、入力部110の集音領域R20が分割された複数の部分領域R21それぞれから到来する各音響情報を識別して取得できれば、入力部110の構成は上記に示した構成には限定されない。具体的な一例として、入力部110を構成する各集音部113として、指向性のマイクを適用してもよい。この場合には、情報処理装置100は、例えば、複数の集音部113のうち、音響情報を集音した集音部113に応じて、当該音響情報の到来方向(即ち、当該音響情報の音源が存在する部分領域R21)を推定すればよい。また、各部分領域R21から到来する音響情報を識別して取得できれば、集音領域R20を複数の部分領域R21に分割する方法は、上記に説明した入力部110の位置を基点とした方向に応じた分割方法には限定されないことは言うまでもない。
<<1.2.2.音声入力の入力先の特定>>
次に、図6及び図7を参照して、本実施形態に係る情報処理装置100が、入力部110を介して取得した音響情報の入力先を特定する仕組みの一例について説明する。図6及び図7は、本実施形態に係る情報処理装置100による制御の概要について説明するための説明図であり、当該情報処理装置100が取得した音響情報の入力先を特定するための仕組みについて説明するための説明図である。
本実施形態に係る情報処理装置100は、動作中のアプリケーションの状態やコンテキストに応じて、当該アプリケーションそれぞれを、図5に示した入力部110の集音領域R20中のいずれかの部分領域R21に関連付ける。なお、本説明では、情報処理装置100の制御をよりわかりやすくするために、図6及び図7に示すように、表示面R10と、入力部110の集音領域R20とが略一致しているものとして説明する。ただし、表示面R10と集音領域R20とは、それぞれの広さや位置が必ずしも一致している必要はない。また、領域R20中の部分領域R21が、「対象領域」の一例に相当する。
例えば、図6は、アプリケーションA11〜A14のうち、ビデオチャットのアプリケーションA11のみが、ユーザからの音声入力を受け付けている状態、または、音声入力を受け付け可能な状態を模式的に示している。なお、以降の説明では、アプリケーションがユーザからの音声入力を受け付けている状態、または、音声入力を受け付け可能な状態を「アクティブ状態」と記載する場合がある。また、アプリケーションがユーザからの音声入力を受け付けていない状態(例えば、入力の受け付けを一時的に停止している状態等)を「インアクティブ状態」と記載する場合がある。
図6に示す例では、情報処理装置100は、動作中のアプリケーションA11〜A14のうち、アクティブ状態のアプリケーションA11を、集音領域R20中の部分領域R21aに関連付けている。
この場合には、情報処理装置100は、アプリケーションA11が起動した場合や、当該アプリケーションA11が音声入力の受け付けを開始した場合、または、音声入力を取得した契機をトリガとして、当該アプリケーションA11がアクティブ状態に遷移したことを認識する。なお、情報処理装置100は、アプリケーションA11が音声入力の受け付けを開始したタイミングを、例えば、当該アプリケーションA11に対応する所定の操作(例えば、表示オブジェクトv11に対する所定のタッチ操作)に基づき認識することが可能である。
情報処理装置100は、アクティブ状態に遷移したアプリケーションA11の状態やコンテキストに基づき、当該アプリケーションA11を関連付ける、集音領域R20中の部分領域R21の広さや位置を特定する。
例えば、図6に示す例では、情報処理装置100は、集音領域R20中において、アプリケーションA11に対応する表示オブジェクトv11に重畳する部分領域R21aを当該アプリケーションA11に関連付けている。この場合には、例えば、情報処理装置100は、対象となるアプリケーションの表示オブジェクト(例えば、操作画面等)の位置、向き、及びサイズのうち少なくとも一部の情報に基づき、当該アプリケーションを関連付ける部分領域R21を特定すればよい。
具体的な一例として、情報処理装置100は、ユーザが対象となるアプリケーションの表示オブジェクトに対して正対して操作を行うと仮定し、当該表示オブジェクトの位置、向き、サイズ等の情報により、当該ユーザの位置を推定する。なお、このとき推定されたユーザの位置が、対象となるアプリケーションに向けた音声入力の音源の位置に相当することは言うまでもない。
また、他の一例として、情報処理装置100は、対象となるアプリケーションの種別に応じて、当該アプリケーションを関連付ける部分領域R21を特定してもよい。なお、上記に説明した例は、あくまで一例であり、情報処理装置100が対象となるアプリケーションに関する情報に応じて、当該アプリケーションを関連付ける部分領域R21を特定できれば、その方法は特に限定されない。
また、図6に示す例では、情報処理装置100は、集音領域R20中の部分領域R21a以外の他の部分領域R21zに対して、例えば、OS(Operating System)レベルで動作する管理ソフト(例えば、音声エージェント)を関連付けてもよい。なお、以降では、OSレベルで動作する管理ソフトして、音声エージェントが動作しているものとして説明する。
そして、図6に示す例において、情報処理装置100は、部分領域R21aから到来する音響情報(例えば、部分領域R21a中に存在するユーザが発した音声)を取得した場合には、当該音響情報を、当該部分領域R21aに関連付けられたアプリケーションA11に割り当てる(即ち、入力する)。また、情報処理装置100は、部分領域R21a以外の他の部分領域R21、即ち、部分領域R21zから到来する音響情報を取得した場合には、当該音響情報を音声エージェントに割り当てる。
また、図7は、図6に示す状態から、さらにアプリケーションA12及びA13がアクティブ状態となった場合を模式的に示している。この場合には、情報処理装置100は、アクティブ状態に遷移したアプリケーションA12及びA13の状態やコンテキストに基づき、当該アプリケーションA12及びA13それぞれを関連付ける、集音領域R20中の部分領域R21の広さや位置を特定する。
具体的な一例として、情報処理装置100は、集音領域R20中において、アプリケーションA12に対応する表示オブジェクトv12に重畳する部分領域R21cを当該アプリケーションA12に関連付ける。同様に、情報処理装置100は、集音領域R20中において、アプリケーションA13に対応する表示オブジェクトv13に重畳する部分領域R21eを当該アプリケーションA12に関連付ける。
また、図7に示す例では、情報処理装置100は、アクティブ状態となったアプリケーションが関連付けられていない部分領域R21b、R21d、及びR21fを、OSレベルで動作する音声エージェントに関連付けることとなる。
即ち、情報処理装置100は、図7に示す例において、部分領域R21cから到来する音響情報を取得した場合には、当該音響情報を、当該部分領域R21cに関連付けられたアプリケーションA13に割り当てる。同様に、情報処理装置100は、部分領域R21eから到来する音響情報を取得した場合には、当該音響情報を、当該部分領域R21eに関連付けられたアプリケーションA14に割り当てる。また、情報処理装置100は、部分領域R21a、R21c、及びR21e以外の他の部分領域R21、即ち、部分領域R21b、R21d、及びR21fの少なくともいずれかから到来する音響情報を取得した場合には、当該音響情報を音声エージェントに割り当てる。
以上説明したように、情報処理装置100は、入力部110に含まれる複数の集音部113それぞれによる音響情報の集音結果に応じて、当該音響情報の音源が位置する部分領域R21(換言すると、当該音響情報の到来方向)を推定する。このような構成により、情報処理装置100は、集音領域R20中の各部分領域R21から到来する音響情報を、当該部分領域R21ごとに識別して取得する。
また、情報処理装置100は、各ユーザが操作している(例えば、音声入力を行っている)アプリケーションを、当該アプリケーションの状態やコンテキストに応じて、集音領域R20中の部分領域R21に関連付ける。そして、情報処理装置100は、部分領域R21ごとに識別して取得した音響情報を、当該部分領域R21に関連付けられたアプリケーションに割り当てる。
なお、上記に説明した例では、情報処理装置100は、アプリケーションがアクティブ状態か否かをトリガとして、当該アプリケーションを部分領域R21に関連付ける態様について説明したが、必ずしも当該態様に限定するものではない。即ち、アプリケーションの状態やコンテキストに応じて、当該アプリケーションがいずれかの部分領域R21に関連付けられれば、情報処理装置100の動作は必ずしも上記態様には限定されない。
以上のような構成により、情報処理装置100は、複数のユーザが同時に操作するような状況下においても、各ユーザからの音声入力を識別して取得し、各ユーザから取得した音声入力それぞれを、当該ユーザが操作するアプリケーションに入力することが可能となる。以上、図4〜図7を参照して、本実施形態に係る情報処理装置100による制御の概要について説明した。なお、以降では、本実施形態に係る情報処理装置100について、さらに詳しく説明する。
[1.3.機能構成]
まず、図8を参照して、本実施形態に係る情報処理装置100の機能構成の一例について説明する。図8は、本実施形態に係る情報処理装置100の機能構成の一例を示したブロック図である。なお、本説明では、情報処理装置100がプロジェクション型として構成されている場合を例に説明する。
図8に示すように、本実施形態に係る情報処理装置100は、入力部110と、制御部120と、出力部130とを含む。入力部110は、例えば、撮像部111と、集音部113とを含む。また、出力部130は、例えば、映像出力部131を含む。また、出力部130は、音響出力部133を含んでもよい。
入力部110は、情報処理装置100を使用するユーザの情報処理装置100に対する操作内容や、出力部130が情報を出力する面(例えば図1に示したテーブル140aの天面等の表示面R10)に置かれている物体の形状や模様などを示す情報を取得するための構成である。情報処理装置100を使用するユーザの情報処理装置100に対する操作内容には、情報処理装置100が情報の表示面に出力するGUIに対する操作内容を含む。
例えば、入力部110に含まれる撮像部111は、情報処理装置100がプロジェクション型の場合に、ユーザの情報処理装置100に対する操作内容や、表示面R10に置かれている物体の形状や模様などを示す情報を、画像情報として取得する。具体的には、撮像部111は、例えば、表示面R10の画像を撮像し、撮像した画像を後述する制御部120に出力する。なお、撮像部111は、例えば、1つの撮像光学系で構成されるカメラや、2つの撮像光学系で構成されるステレオカメラ等により構成され得る。
入力部110に含まれる集音部113は、情報処理装置100を使用するユーザが発する音声や、情報処理装置100が置かれている環境の環境音等の音響情報を集音するための構成である。図5を参照して前述したように、本実施形態に係る情報処理装置100は、集音領域R20の複数の部分領域R21それぞれから到来する音響情報(換言すると、複数の方向から到来する音響情報)を識別して取得する。そのため、例えば、入力部110は、集音部113を複数含み、当該複数の集音部113がアレイマイクとして構成されていてもよい。なお、以降では、入力部110が集音部113を複数含み、当該複数の集音部113をアレイマイクとして構成されているものとして説明する。
アレイマイクを構成する複数の集音部113それぞれは、集音した音響情報を後述する制御部120に出力する。
制御部120は、情報処理装置100の各部の制御を実行する。例えば制御部120は、入力部110が入力した情報を用いて、出力部130から出力する情報を生成する。図8に示すように、制御部120は、入力解析部121と、割当て制御部125と、処理実行部126と、出力制御部127とを含む。
入力解析部121は、後述する処理実行部126や、出力制御部127が動作するために、入力部110からの入力情報を取得し、当該入力情報を解析するための構成である。図8に示すように、入力解析部121は、例えば、検出部122と、入力元判別部123と、入力先特定部124とを含む。
検出部122は、情報処理装置100を使用するユーザの、情報処理装置100に対する操作内容や、出力部130が出力している情報の内容、出力部130が情報を出力する表示面R10(例えば図1に示したテーブル140a)に置かれている物体の形状や模様などを検出する処理を実行する。
例えば情報処理装置100が、図1に示したプロジェクション型の場合には、検出部122は、撮像部111により撮像された表示面R10の画像を取得し、当該画像を解析することで、前述した操作体や表示面R10におかれている物体等を検出する。このとき、情報を表示する表示面R10の座標と、ユーザの手等の操作体の表示面R10への接触座標とが一致するように予め校正されることで、例えば、検出部122は、操作体が、GUIのどの部分に接触したかを検出することが可能となる。
そして、検出部122は、検出した内容を、例えば、出力制御部127に出力する。
入力元判別部123は、入力部110が取得した入力情報の入力元を判別するための構成である。具体的な一例として、入力元判別部123は、図5を参照して前述したように、複数の集音部113それぞれによる音響情報の集音結果を取得し、取得した集音結果に応じて、当該音響情報の音源が位置する集音領域R20中の部分領域R21(換言すると、当該音響情報の到来方向)を推定する。なお、推定方法の詳細については、前述した通りのため、本説明では省略する。
入力元判別部123は、複数の集音部113により集音された音響情報の集音結果と、当該音響情報の音源が位置する部分領域R21の推定結果とを、入力先特定部124に出力する。
入力先特定部124は、入力元判別部123から、複数の集音部113により集音された音響情報(例えば、ユーザが発した音声)の集音結果と、当該音響情報の音源が位置する部分領域R21の推定結果とを取得する。また、入力先特定部124は、後述する割当て制御部125から、動作中の各アプリケーションと、当該アプリケーションが関連付けられた部分領域R21を示す情報とを取得する。
入力先特定部124は、音響情報の音源が位置する部分領域R21の推定結果と、動作中の各アプリケーションが関連付けられた部分領域R21を示す情報とを比較することで、音響情報の音源が位置する部分領域R21に関連付けられたアプリケーションを特定する。なお、このとき入力先特定部124は、候補となるアプリケーションが複数存在する場合には、あらかじめ設定された各アプリケーション間の優先度に基づき、対象となるアプリケーションを特定してもよい。なお、候補となるアプリケーションが複数存在する場合の動作の詳細については、変形例として別途後述する。
そして、入力先特定部124は、取得した音響情報の集音結果を処理実行部126に出力し、当該音響情報の入力先として、特定したアプリケーションを示す情報を当該処理実行部126に通知する。これにより、処理実行部126は、複数のアプリケーションが同時に動作する状況下においても、取得した音響情報の入力先となるアプリケーションを認識することが可能となる。
処理実行部126は、アプリケーション等の各種処理を実行するための構成である。処理実行部126は、例えば、入力部110を介したユーザからの指示に基づき、対応するアプリケーションを所定の記憶部(図示しない)から抽出し、抽出したアプリケーションを実行する。また、処理実行部126は、入力解析部121から入力情報を取得し、取得した入力情報を入力解析部121により指定されたアプリケーションに入力してもよい。また、処理実行部126は、実行した各種アプリケーションの実行結果を出力制御部127に出力する。また、処理実行部126は、実行中の各種アプリケーションの情報(例えば、アプリケーションの種別等)を、後述する割当て制御部125に通知してもよい。
出力制御部127は、入力解析部121による入力情報の解析結果に基づいて出力部130から出力するための出力情報を生成し、当該出力情報を出力部130に出力させる。
具体的な一例として、出力制御部127は、入力解析部121から、検出されたユーザの操作内容を示す制御情報を取得する。出力制御部127は、取得した制御情報に基づき、ユーザ入力に基づき指定された操作対象(例えば、表示オブジェクト)と、当該操作対象に対する処理内容を認識する。そして、出力制御部127は、特定した操作対象及び処理内容に応じて、表示制御の対象となる表示オブジェクトを特定し、特定した表示オブジェクトの表示及び非表示、表示位置や向き、及び表示態様(例えば、色やサイズ)等を制御する。
また、出力制御部127は、処理実行部126からアプリケーションの実行結果を取得し、当該実行結果に基づき出力情報の生成や、当該出力情報の出力に係る制御を行ってもよい。
具体的な一例として、出力制御部127は、処理実行部126からアプリケーションの実行結果を取得し、当該アプリケーションに対応付けられた表示オブジェクト(例えば、ウィンドウ)に表示結果を提示してもよい。
また、出力制御部127が出力部130に出力させる出力情報は、表示オブジェクト等の表示情報には限定されない。具体的な一例として、出力制御部127は、音響情報(例えば、音声)を出力情報として、出力部130に出力させてもよい。
また、出力制御部127は、各表示オブジェクトの表示制御の結果や、各種アプリケーション(もしくは、コンテンツ)の実行結果に基づき、当該アプリケーションの各種状態を管理してもよい。なお、アプリケーションの状態の一例として、アクティブ状態やインアクティブ状態が挙げられる。アプリケーションがアクティブ状態か否かを認識するための情報としては、例えば、対応する表示オブジェクトが選択されているか否か、アプリケーション(もしくは、コンテンツ)が実行中か否か、アプリケーション(もしくは、対応する表示オブジェクト)が入力を受け付けているか等を示す情報が挙げられる。
そして、出力制御部127は、各種アプリケーションの状態や、当該アプリケーションに対応する出力情報(例えば、表示オブジェクト)の制御結果を、割当て制御部125に通知する。
割当て制御部125は、入力部110が入力情報を取得する領域(例えば、図5に示した集音領域R20)に含まれる部分領域と、各種アプリケーションとの関連付けを制御するための構成である。
具体的には、割当て制御部125は、処理実行部126や出力制御部127から、動作中の各種アプリケーションの状態やコンテキストを示す情報を取得し、取得結果に応じて当該アプリケーションを関連付ける部分領域の広さや位置を特定する。
具体的な一例として、割当て制御部125は、図6及び図7を参照して前述したように、動作中のアプリケーションに対応する表示オブジェクトの位置、向き、サイズ等の情報に基づき、当該アプリケーションを関連付ける部分領域R21を特定してもよい。この場合には、割当て制御部125は、出力制御部127から各種アプリケーションに対応する表示オブジェクトの情報を取得し、取得した情報に応じて、当該アプリケーションを関連付ける部分領域R21を特定すればよい。
なお、割当て制御部125は、各集音部113が音響情報を集音可能な集音領域R20と、出力部130が表示オブジェクト等の表示情報を表示する表示面R10との関係を、例えば、各集音部113と、出力部130(特に、後述する映像出力部131)との間の位置関係により認識すればよい。
また、他の一例として、割当て制御部125は、各種アプリケーションの種別に応じて、当該アプリケーションを関連付ける部分領域R21を特定してもよい。この場合には、割当て制御部125は、処理実行部126から各種アプリケーションの種別を示す情報を取得し、取得した情報に応じて、当該アプリケーションを関連付ける部分領域R21を特定すればよい。
また、割当て制御部125は、動作中のアプリケーションそれぞれの状態に応じて、部分領域R21に関連付けるアプリケーションを特定してもよい。具体的な一例として、割当て制御部125は、動作中のアプリケーションのうち、アクティブ状態に遷移したアプリケーションをいずれかの部分領域R21に関連付けてもよい。この場合には、割当て制御部125は、処理実行部126や出力制御部127から取得した情報に基づき、各アプリケーションがアクティブ状態か否か(または、アクティブ状態に遷移したか否か)を判別すればよい。
なお、割当て制御部125は、各部分領域R21のうち、アプリケーションが関連付けられた部分領域R21以外の他の部分領域R21については、音声エージェント等のようなOSレベルで動作する管理ソフトを関連付けてもよい。
また、割当て制御部125は、部分領域R21に関連付けられたアプリケーションのコンテキストや状態に応じて、当該アプリケーションと当該部分領域R21との間の関連付けを解消するように制御してもよい。具体的な一例として、割当て制御部125は、部分領域R21に関連付けられたアプリケーションがアクティブ状態からインアクティブ状態に遷移した場合に、当該アプリケーションと当該部分領域R21との間の関連付けを解消してもよい。
もちろん、部分領域R21に関連付けられたアプリケーションが終了した場合には、割当て制御部125は、当該アプリケーションと当該部分領域R21との間の関連付けを解消してもよいことは言うまでもない。
なお、割当て制御部125は、アプリケーションと部分領域R21との間の関連付けを解消し、結果として、当該部分領域R21にアプリケーションが関連付けられていない状態となった場合には、当該部分領域R21に対してOSレベルで動作する管理ソフトを関連付けてもよい。
なお、割当て制御部125が、上記に説明した処理を実行するタイミングは特に限定されない。具体的な一例として、割当て制御部125は、各種アプリケーションの状態やコンテキストを定期的に監視し、監視結果に応じて、アプリケーションと部分領域R21との間の関連付けに係る制御を実行してもよい。
また、他の一例として、割当て制御部125は、特定の処理をトリガとして、アプリケーションと部分領域R21との間の関連付けに係る制御を実行してもよい。具体的な一例として、割当て制御部125は、アプリケーションの状態がアクティブ状態やインアクティブ状態に遷移した場合に、当該状態の遷移をトリガとして、当該アプリケーションと部分領域R21との間の関連付けに係る制御を実行してもよい。
出力部130は、入力部110によって入力された、情報処理装置100を使用するユーザの操作内容や、出力部130が出力している情報の内容、また出力部130が情報を出力する表示面R10(例えば図1に示したテーブル140a)に置かれている物体の形状や模様等の情報に応じて情報を出力する。出力部130は、出力制御部127が生成する情報に基づいて情報を出力する。
出力部130に含まれる映像出力部131は、表示オブジェクトが提示された画面(GUI)等の表示情報を出力するための構成である。情報処理装置100がプロジェクション型として構成されている場合には、映像出力部131は、例えば、所望の投影面(即ち、表示面R10)に向けて表示情報を投影するためのプロジェクタにより構成され得る。
また、出力部130に含まれる音響出力部133は、効果音、音楽、音声等のような音響情報を出力情報として出力するための構成である。音響出力部133は、例えば、スピーカ等の音響デバイスにより構成され得る。
以上、図8を参照して、本実施形態に係る情報処理装置100の機能構成の一例について説明した。
[1.4.処理]
次に、図9及び図10を参照して、本実施形態に係る情報処理装置100の一連の処理の流れの一例について説明する。図9及び図10は、本実施形態に係る情報処理装置100の一連の処理の流れの一例について示したフローチャートである。
まず、図9を参照して、本実施形態に係る情報処理装置100による、アプリケーションと部分領域R21との間の関連付けの制御に係る処理の一例について、以下に説明する。なお、本説明では、情報処理装置100は、アプリケーションがアクティブ状態か否かに応じて、当該アプリケーションと部分領域R21との関連付けを制御する場合を例に説明する。
(ステップS101)
情報処理装置100の割当て制御部125は、処理実行部126や出力制御部127から、動作中の各種アプリケーションの状態やコンテキストを示す情報を取得し、取得結果に基づき、アクティブ状態に遷移したアプリケーションを検出する。
(ステップS103)
アクティブ状態に遷移したアプリケーションが検出された場合には(ステップS101、YES)、割当て制御部125は、取得した当該アプリケーションの情報に基づき、当該アプリケーションを関連付ける部分領域R21を特定する。具体的な一例として、割当て制御部125は、アクティブ状態に遷移したアプリケーションに対応する表示オブジェクトの位置、向き、及びサイズ等に基づき、当該アプリケーションを操作するユーザの位置を推定し、当該ユーザが位置する部分領域R21を特定する。
そして、割当て制御部125は、アクティブ状態に遷移した当該アプリケーションと、特定した部分領域R21とを関連付ける。なお、割当て制御部125は、各種アプリケーションと部分領域R21との間の関連付けを示す情報を、入力解析部121の入力先特定部124に通知してもよい。これにより、入力先特定部124は、各部分領域R21に対して関連付けられたアプリケーションを認識することが可能となる。
なお、アクティブ状態に遷移したアプリケーションが検出されなかった場合には(ステップS101、NO)、割当て制御部125は、ステップS103として示した処理を実行せずに、次処理に遷移する。
(ステップS105)
また、割当て制御部125は、処理実行部126や出力制御部127から取得した各種アプリケーションの状態やコンテキストを示す情報に基づき、部分領域R21に関連付けられたアプリケーションのうち、インアクティブ状態に遷移したアプリケーションを検出する。なお、インアクティブ状態に遷移したアプリケーションが検出されなかった場合には(ステップS105、NO)、割当て制御部125は、後述するステップS107〜S111に係る処理を実行せずに、次処理に遷移する。
(ステップS107)
インアクティブ状態に遷移したアプリケーションが検出された場合には(ステップS101、YES)、割当て制御部125は、検出されたアプリケーションと、当該アプリケーションが関連付けられた部分領域R21との間の関連付けを解消する。
(ステップS109)
アプリケーションと部分領域R21との間の関連付けを解消した場合に、割当て制御部125は、当該部分領域R21に対して他のアプリケーションが関連付けられているか否かを確認する。
(ステップS111)
対象となる部分領域R21に対して他のアプリケーションが関連付けられていない場合には(ステップS109、YES)、割当て制御部125は、当該部分領域R21に対してOSレベルで動作する管理ソフトを関連付けてもよい。OSレベルで動作する管理ソフトとしては、例えば、音声エージェントが挙げられる。
なお、対象となる部分領域R21に対して他のアプリケーションが関連付けられている場合には(ステップS109、NO)、割当て制御部125は、ステップS111として示した処理を実行せずに、次処理に遷移する。
以上のようにして、情報処理装置100による、各種アプリケーションの状態やコンテキストに応じて、当該アプリケーションと部分領域R21との間の関連付けを制御する。
なお、情報処理装置100が、上記に説明した一連の処理を実行するタイミングは特に限定されない。具体的な一例として、情報処理装置100は、各種アプリケーションの状態やコンテキストを定期的に監視し、監視結果に応じて、アプリケーションと部分領域R21との間の関連付けに係る制御を実行してもよい。
また、他の一例として、情報処理装置100は、特定の処理をトリガとして、アプリケーションと部分領域R21との間の関連付けに係る制御を実行してもよい。具体的な一例として、情報処理装置100は、アプリケーションの状態がアクティブ状態やインアクティブ状態に遷移した場合に、当該状態への遷移をトリガとして、当該アプリケーションと部分領域R21との間の関連付けに係る制御を実行してもよい。
また、上記では、ステップS101〜S111に係る処理を、一連の処理の流れとして説明した。一方で、アクティブ状態に遷移したアプリケーションを検出した場合の処理(ステップS101〜S103)と、インアクティブ状態に遷移したアプリケーションを検出した場合の処理(ステップS105〜S111)とは、互いに異なるタイミングで別々に実行されてもよい。
以上、図9を参照して、本実施形態に係る情報処理装置100による、アプリケーションと部分領域R21との間の関連付けの制御に係る処理の一例について説明した。
次に、図10を参照して、本実施形態に係る情報処理装置100が、入力として取得した音響情報の入力先となるアプリケーションを特定し、特定したアプリケーションに当該音響情報を入力する処理の一例について、以下に説明する。
(ステップS131)
情報処理装置100の入力解析部121は、ユーザが発する音声や情報処理装置100が置かれている環境の環境音等の音響情報の集音結果を、アレイマイクを構成する複数の集音部113それぞれから取得する。
(ステップS133)
入力解析部121の入力元判別部123は、図5を参照して前述したように、取得した集音結果に応じて、当該音響情報の音源が位置する集音領域R20中の部分領域R21(換言すると、当該音響情報の到来方向)を推定する。具体的な一例として、入力解析部121は、アレイマイクを構成する複数の集音部113により集音された音響情報それぞれの音量の比率に応じて、当該音響情報の音源が位置する集音領域R20中の部分領域R21を推定する。
そして、入力元判別部123は、複数の集音部113により集音された音響情報の集音結果と、当該音響情報の音源が位置する部分領域R21の推定結果とを、入力先特定部124に出力する。
(ステップS135)
入力先特定部124は、入力元判別部123から、複数の集音部113により集音された音響情報(例えば、ユーザが発した音声)の集音結果と、当該音響情報の音源が位置する部分領域R21の推定結果とを取得する。また、入力先特定部124は、割当て制御部125から、動作中の各アプリケーションと、当該アプリケーションが関連付けられた部分領域R21を示す情報とを取得する。
入力先特定部124は、音響情報の音源が位置する部分領域R21の推定結果と、動作中の各アプリケーションが関連付けられた部分領域R21を示す情報とを比較することで、音響情報の音源が位置する部分領域R21に関連付けられたアプリケーションを特定する。即ち、入力先特定部124は、取得した音響情報の入力先として、当該音響情報の音源が位置する部分領域R21に関連付けられたアプリケーションを特定する。
(ステップS137)
そして、入力先特定部124は、取得した音響情報の集音結果を処理実行部126に出力し、当該音響情報の入力先として、特定したアプリケーションを示す情報を当該処理実行部126に通知する。これにより、処理実行部126は、複数のアプリケーションが同時に動作する状況下においても、取得した音響情報の入力先となるアプリケーションを認識することが可能となる。
以上、図10を参照して、本実施形態に係る情報処理装置100が、入力として取得した音響情報の入力先となるアプリケーションを特定し、特定したアプリケーションに当該音響情報を入力する処理の一例について説明した。
[1.5.変形例]
次に、本実施形態に係る情報処理装置100の変形例について説明する。
<<1.5.1.変形例1:入力先の候補が複数存在する場合の制御例1>>
まず、変形例1として、図11〜図13を参照して、入力情報として取得された音響情報の入力先の候補となるアプリケーションが複数存在する場合(即ち、特定された部分領域R21に対してアプリケーションが複数関連付けられている場合)における、情報処理装置100の制御の一例について説明する。図11〜図13は、変形例1に係る情報処理装置100の制御の一例について説明するための説明図である。
なお、変形例1では、情報処理装置100が、候補となる複数のアプリケーションのうち、いずれかにのみ取得した音響情報を入力する制御(以降では、「排他制御」と記載する場合がある)の一例について説明する。また、本説明では、情報処理装置100が、対象となるアプリケーションの表示オブジェクトの位置、向き、及びサイズ等の情報に基づき、当該アプリケーションと部分領域とを関連付ける場合を例に説明する。
例えば、図11は、音声検索のアプリケーションA41と、ウェブブラウザA42(単に、「アプリケーションA42」と記載する場合もある)とが、共通の部分領域に関連付けられている場合の一例を示している。図11の左側の図において、参照符号v41は、アプリケーションA41に対応する表示オブジェクト(例えば、操作画面)を示している。同様に、参照符号v42は、ウェブブラウザA42に対応する表示オブジェクトを示している。
また、図11の左側の図に示す例では、集音領域R20中の部分領域が、所定の基準位置(例えば、入力部110の位置)を基準とした方向に応じて設定されている。具体的な一例として、図11の左側の図に示す例では、アプリケーションA41及びA42は、基準位置を基点とした所定の方向(例えば、図面の上方向)を0°とした場合における、210°の方向と240°の方向との間に形成される部分領域に関連付けられている。なお、図11に示すように、210°の方向と240°の方向との間に形成される部分領域を、例えば「部分領域210−240」と記載する場合がある。
また、図11の右側の図は、各アプリケーション(プログラム)と、当該アプリケーションが関連付けられた部分領域と、各アプリケーション間の優先度と、各アプリケーションに設定されたモードとの関係の一例を示している。ここで、各アプリケーションに設定されたモードとは、音響情報の入力を排他制御するか否かを示しており、図11に示す例では、アプリケーションA41及びA42の双方に「Exclusive(排他制御)」が設定されている。なお、情報処理装置100が、音響情報の入力に際し、複数のアプリケーション間で排他制御が行わない場合の制御の一例については、変形例2として別途後述する。
例えば、図11に示す例では、情報処理装置100は、共通の部分領域に関連付けられた複数のアプリケーション間において、対応する表示オブジェクトがより上位のレイヤに表示されたアプリケーションほど優先度が高くなるように、優先度付けを行っている。具体的な一例として、図11に示す例では、表示オブジェクトv41が、表示オブジェクトv42よりも上位のレイヤ(例えば、最前面のレイヤ)に表示されている。そのため、情報処理装置100は、音声検索のアプリケーションA41の優先度を、ウェブブラウザA42の優先度よりも高く設定する。
ここで、アプリケーションA41及びA42の双方には、モードとしてExclusive(排他制御)が設定されている。そのため、図11に示す例では、情報処理装置100は、部分領域210−240から取得した音響情報を、当該部分領域210−240に関連付けられたアプリケーションA41及びA42のうち、より優先度の高い音声検索のアプリケーションA41に入力する。
次に、図12に示す例について説明する。図12は、図11に示す状態から、ウェブブラウザA42に対応する表示オブジェクトv42がユーザにより選択され、当該表示オブジェクトv42が最前面に表示された場合の一例を示している。
この場合には、情報処理装置100は、表示オブジェクトがより上位のレイヤに表示されたウェブブラウザA42の優先度を、アプリケーションA41の優先度よりも高くなるように、アプリケーション間に設定された優先度を更新する。
そして、図12に示す例では、情報処理装置100は、部分領域210−240から取得した音響情報を、当該部分領域210−240に関連付けられたアプリケーションA41及びA42のうち、より優先度の高いウェブブラウザA42に入力する。
次に、図13に示す例について説明する。図13に示す例は、複数のアプリケーションが互いに異なる部分領域に関連付けられ、かつ、各部分領域が部分的に重畳している場合の一例を示している。
具体的には、図13に示す例では、ウェブブザウザA42は、基準位置を基点とした所定の方向(例えば、図面の上方向)を0°とした場合における、210°の方向と240°の方向との間に形成される部分領域210−240に関連付けられている。これに対して、マップを提示するアプリケーションA43は、所定の方向を0°とした場合における、135°の方向と225°の方向との間に形成される部分領域135−225に関連付けられている。ここで、部分領域210−240と、部分領域135−225とは、210°の方向と225°の方向との間に形成される領域210−225で重複している。
また、図13の左側の図において、参照符号A42は、ウェブブラウザA42に対応する表示オブジェクトを示している。同様に、参照符号A43は、マップを提示するアプリケーションA43に対応する表示オブジェクトを示している。
また、図13に示す例では、図11及び図12に示す例と同様に、情報処理装置100は、対応する表示オブジェクトがより上位のレイヤに表示されたアプリケーションほど優先度が高くなるように、アプリケーション間の優先度付けを行うものとする。具体的には、図13に示す例では、表示オブジェクトv42が、表示オブジェクトv43よりも上位のレイヤ(例えば、最前面のレイヤ)に表示されている。そのため、情報処理装置100は、ウェブブラウザA42の優先度を、マップを提示するアプリケーションA43の優先度よりも高く設定する。
なお、アプリケーションA42及びA43の双方には、モードとしてExclusive(排他制御)が設定されているものとする。
このような状況下において、例えば、情報処理装置100は、ウェブブラウザA42が関連付けられた部分領域210−240のうち、部分領域135−225と重畳しない領域225−240から音響情報を取得したものとする。ここで、部分領域210−240に包含される領域225−240には、ウェブブラウザA42のみが関連付けられている。そのため、情報処理装置100は、領域225−240から取得した音響情報を、ウェブブラウザA42に入力する。
同様に、情報処理装置100は、マップを提示するアプリケーションA43が関連付けられた部分領域135−225のうち、部分領域210−240と重畳しない領域135−210から音響情報を取得したものとする。ここで、部分領域135−225に包含される領域135−210には、マップを提示するアプリケーションA43のみが関連付けられている。そのため、情報処理装置100は、領域135−210から取得した音響情報を、マップを提示するアプリケーションA43に入力する。
これに対して、部分領域135−225と部分領域210−240とが重畳する領域210−225には、ウェブブラウザA42と、マップを提示するアプリケーションA43とが関連付けられている。ここで、前述したように、アプリケーションA42及びA43の双方には、モードとしてExclusive(排他制御)が設定されている。そのため、情報処理装置100は、領域210−225から音響情報を取得した場合には、アプリケーションA42及びA43の間で設定された優先度に基づき、当該音響情報の入力先を決定する。
具体的には、図13に示す例では、ウェブブラウザA42の優先度が、マップを提示するアプリケーションA43の優先度よりも高く設定されている。そのため、情報処理装置100は、領域210−225から音響情報を取得した場合には、より高い優先度が設定されたウェブブラウザA42に当該音響情報を入力する。
以上、変形例1として、図11〜図13を参照して、入力情報として取得された音響情報の入力先の候補となるアプリケーションが複数存在する場合における、情報処理装置100の制御の一例について説明した。上記に説明した構成により、情報処理装置100は、音響情報の入力先の候補となるアプリケーションが複数存在する状況下においても、当該アプリケーション間において優先度を設定し、当該優先度に基づき取得した音響情報の入力先を決定することが可能となる。
なお、上記に示す例では、情報処理装置100は、共通の部分領域に関連付けられたアプリケーション間の優先度を、対応する表示オブジェクトが表示されたレイヤ間の位置関係に応じて設定していた。しかしながら、上記に示す例はあくまで一例であり、情報処理装置100が、共通の部分領域に関連付けられたアプリケーション間の優先度を設定できれば、その方法は特に限定されない。
具体的な一例として、図1〜図3に示すように、テーブルの天面等のような水平面に情報を表示する構成(所謂、テーブルトップ型の構成)の場合には、ユーザは、表示面R10の外縁のさらに外側に位置し、表示面R10中のより外側に表示された表示オブジェクトほどユーザの近くに位置することとなる。このような特性を利用して、情報処理装置100は、共通の部分領域に関連付けられたアプリケーション間において、対応する表示オブジェクトが表示面R10のより外側に位置するアプリケーションほど、優先度がより高くなるように優先度付けを行ってもよい。
また、他の一例として、情報処理装置100は、共通の部分領域に関連付けられたアプリケーションの優先度を、各アプリケーションに関連付けられた部分領域の広さに基づき設定してもよい。具体的な一例として、情報処理装置100は、より狭い部分領域に関連付けられたアプリケーションの優先度を、より広い部分領域に関連付けられたアプリケーションの優先度よりも高くなるように、優先度付けを行ってもよい。
<<1.5.2.変形例2:入力先の候補が複数存在する場合の制御例2>>
次に、変形例2として、図14及び図15を参照して、入力情報として取得された音響情報の入力先の候補となるアプリケーションが複数存在する場合の、情報処理装置100の制御の他の一例について説明する。図14及び図15は、変形例2に係る情報処理装置100の制御の一例について説明するための説明図である。
変形例1では、入力情報として取得された音響情報の入力先の候補となるアプリケーションが複数存在する状況下において、いずれかのアプリケーションにのみ当該音響情報を入力する(即ち、排他制御を行う)場合の、情報処理装置100の制御の一例について説明した。変形例2では、入力先の候補となるアプリケーションが複数存在する状況下において、各アプリケーションそれぞれに対して当該音響情報を入力する場合における、情報処理装置100の制御の一例について説明する。
例えば、図14に示す例では、ウェブブラウザA42が、部分領域210−240に関連付けられており、電話会議のアプリケーションA44が、部分領域0−360(即ち、集音領域R20全体)に関連付けられている場合の一例を示しいている。ここで、図14の左側の図に示すように、アプリケーションA42及びA44の双方には、モードとしてExclusive(排他制御)が設定されているものとする。また、図14の左側の図に示すように、ウェブブラウザA42の優先度は、電話会議のアプリケーションA44の優先度よりも高く設定されているものとする。
ここで、図14に示す例では、基準位置を基点とした所定の方向を0°とした場合における、240°の方向から右回りに210°の方向まで間に形成される部分領域240―210(即ち、部分領域210−360及び部分領域0−240)には、電話会議のアプリケーションA44のみが関連付けられている。そのため、情報処理装置100は、部分領域240―210から取得した音響情報を、電話会議のアプリケーションA44に入力する。
これに対して、210°の方向から右回りに240°の方向まで間に形成される部分領域210−240には、アプリケーションA42及びA44が関連付けられており、双方には、モードとしてExclusive(排他制御)が設定されている。そのため、変形例1で説明したように、情報処理装置100は、音響情報の入力について当該アプリケーションA42及びA44間で排他制御を行う。即ち、図14に示す例において、情報処理装置100は、部分領域210−240から取得した音響情報を、より高い優先度が設定されたウェブブラウザA42にのみ入力する。
ここで、情報処理装置100は、例えば、ユーザからの指示に基づき、部分領域210−240から取得した音響情報を、ウェブブラウザA42に加えて、電話会議のアプリケーションA44に対しても入力するように制御してもよい。例えば、図15は、情報処理装置100が、部分領域210−240から取得した音響情報を、ウェブブラウザA42に加えて、電話会議のアプリケーションA44に対しても入力する場合の制御の一例について示している。
具体的には、情報処理装置100は、部分領域210−240に対するユーザからの操作を受けて、当該部分領域210−240に関連付けられたアプリケーションのモードを、「Exclusive」から、アプリケーション間で入力情報を共有する「Through」に変更する。例えば、図15に示す例では、情報処理装置100は、ウェブブラウザA42のモードを「Through」に変更している。
なお、このとき情報処理装置100は、例えば、図14及び図15に示すように、ウェブブラウザA42への入力情報(音声)の受け付け状態を示す表示オブジェクトv421(例えば、部分領域210−240を提示する扇状の表示オブジェクト)をユーザに提示し、当該表示オブジェクトv421に対するモードの変更に係る所定のユーザ操作(例えば、タッチ操作)を受けて、当該ウェブブラウザA42のモードを変更してもよい。これは、電話会議のアプリケーションA44についても同様である。即ち、情報処理装置100は、当該アプリケーションA44への入力情報(音声)の受け付け状態を示す表示オブジェクトv441をユーザに提示し、当該表示オブジェクトv441に対するユーザ操作(例えば、タッチ操作)を受けて、当該アプリケーションA44のモードを変更してもよい。
また、他の一例として、情報処理装置100は、各アプリケーションに対応する表示オブジェクトに対するユーザからのモードの変更に係る所定の操作を受けて、当該表示オブジェクトに対応するアプリケーションのモードを変更してもよい。
また、情報処理装置100は、モードの設定を部分領域単位で制御してもよい。具体的な一例として、情報処理装置100は、ウェブブラウザA42が関連付けられた部分領域210−240のうち一部の領域(例えば、領域210−220)のみについてモードを変更できるようにしてもよい。この場合には、情報処理装置100は、ユーザからの部分領域の指定と、当該部分領域に対するモードの変更に係る所定の操作とを受けて、当該部分領域に対して設定されたモードを変更できるようにしてもよい。
このようなモード制御に基づき、情報処理装置100は、「Through」が設定されたアプリケーションに入力する入力情報(例えば、音響情報)を、当該アプリケーションよりも優先度の低い他のアプリケーションに対しても入力する。具体的な一例として、図15に示す例では、情報処理装置100は、部分領域210−240から取得した音響情報を、より高い優先度が設定されたウェブブラウザA42に入力する。また、ウェブブラウザA42のモードには「Through」が設定されているため、情報処理装置100は、当該音響情報を、ウェブブラウザA42よりも優先度の低い電話会議のアプリケーションA44に対しても入力する。
以上、変形例2として、図14及び図15を参照して、入力先の候補となるアプリケーションが複数存在する状況下において、各アプリケーションそれぞれに対して当該音響情報を入力する、情報処理装置100の制御の一例について説明した。上記に説明した構成により、情報処理装置100は、入力先の候補となるアプリケーションそれぞれに設定されたモードの制御に基づき、当該アプリケーションそれぞれに対して当該音響情報を入力することが可能となる。即ち、変形例2に係る情報処理装置100に依れば、ユーザは、所望の部分領域に関連付けられたアプリケーション間の排他制御を適宜解除し、当該アプリケーションそれぞれに対して入力情報(例えば、音声等の音響情報)を入力することが可能となる。
<<1.5.3.変形例3:各領域を示す情報の報知>>
次に、変形例3として、情報処理装置100が、ユーザに対して、各アプリケーションが関連付けられた部分領域R21を報知する方法の一例について説明する。
具体的な一例として、情報処理装置100は、アプリケーションが関連付けられた各部分領域を可視化した表示オブジェクトを、表示面R10上に提示してもよい。具体的な一例として、図14及び図15に示したように、情報処理装置100は、アプリケーションが関連付けられた各部分領域を、扇状の表示オブジェクト(例えば、表示オブジェクトv421及びv441)として表示面R10上に提示している。
また、図16は、変形例3に係る情報処理装置100の概要について説明するための説明図であり、各部分領域を可視化した表示オブジェクトの表示態様の一例を示している。
図16に示す例では、集音領域R20中の部分領域R21a〜R21fのうち、部分領域R21a、R21c、及びR21eに対して、アプリケーションA11、A12、及びA13が関連付けられている。また、部分領域R21b、R21d、及びR21fには、OSレベルで動作する管理ソフト(例えば、音声エージェント)が関連付けられている。
図16において、参照符号v31は、部分領域R21aを示す表示オブジェクトである。また、参照符号v31は、部分領域R21cを示す表示オブジェクトである。同様に、参照符号v33は、部分領域R21eを示す表示オブジェクトである。
即ち、図16に示す例では、情報処理装置100は、表示面R10の外縁部のうち、部分領域R21a、R21c、及びR21eと重畳する部分に、各部分領域を示す表示オブジェクトv31〜v33を表示している。
また、図16に示すように、情報処理装置100は、各部分領域のうち、OSレベルで動作する管理ソフト以外の他のアプリケーション(例えば、アクティブ状態のアプリケーション)が関連付けられた部分領域について、当該部分領域を示す表示オブジェクトを表示面R10に表示させている。このように、情報処理装置100は、特定の条件を満たす部分領域(例えば、アクティブ状態のアプリケーションが関連付けられた部分領域)についてのみ、当該部分領域を示す表示オブジェクトをユーザに対して提示してもよい。
また、情報処理装置100は、各部分領域と、当該部分領域に関連付けられたアプリケーションとの関係を識別できるように、ユーザに対して情報を提示してもよい。具体的には、情報処理装置100は、ある部分領域について、当該部分領域を示す表示オブジェクトと、当該部分領域に関連付けられたアプリケーションに対応する表示オブジェクトとに、共通の識別情報を表示させてもよい。
例えば、情報処理装置100は、ある部分領域に関連付けられたアプリケーションに対応する表示オブジェクトに対して、当該部分領域を示す表示オブジェクトと同色のマーカを識別情報として付してもよい。これにより、ユーザは、同一の色で提示された部分領域と、表示オブジェクト(ひいては、アプリケーション)とが関連付けられていることを容易に認識することが可能となる。
なお、上記では、情報処理装置100が、アプリケーションが関連付けられた各部分領域を、表示情報として提示する例について説明した。しかしながら、上記に示す例は、あくまで一例であり、情報処理装置100が、アプリケーションが関連付けられた各部分領域をユーザに提示できれば、その方法は特に限定されない。具体的な一例として、情報処理装置100は、LED(light-emitting diodes)等の発光部を発光させることで、各部分領域をユーザに提示してもよい。
以上、変形例3として、図14〜図16を参照して、情報処理装置100が、ユーザに対して、各アプリケーションが関連付けられた部分領域R21を報知する方法の一例について説明した。
<<1.5.4.変形例4:出力量の制御例>>
前述した実施形態及び変形例では、情報処理装置100が、部分領域ごとに取得した入力情報の入力先を制御する場合の一例について説明した。変形例4では、情報処理装置100が、各アプリケーションからの出力情報の出力量(例えば、ボリューム)を、部分領域ごとに制御する場合の一例について説明する。例えば、図17は、変形例4に係る情報処理装置100の概要について説明するための説明図であり、情報処理装置100が各アプリケーションからの音響情報の出力量を部分領域ごとに制御する場合の一例について示している。
例えば、音響情報を出力するための出力デバイス(即ち、音響出力部133に対応する出力デバイス)として、指向性のスピーカを適用することで、情報処理装置100は、音響情報の出力を部分領域ごとに制御することが可能となる。
具体的には、情報処理装置100に対して複数の指向性スピーカを設け、各指向性スピーカを集音領域R20中のいずれかの部分領域R21に関連付ける。そして、各指向性スピーカの音響情報の出力先(即ち、音響情報を出力する方向)が、当該指向性スピーカが関連付けられた部分領域となるように、各指向性スピーカの位置や向きを事前に調整する。このような構成により、情報処理装置100は、指向性スピーカごとに音響情報の出力を制御することで、各部分領域に向けた音響情報の出力を個別に制御することが可能となる。
ここで、図17が示す状況について詳しく説明する。例えば、図17に示す例では、集音領域R20中の部分領域R21a〜R21fのうち、部分領域R21a、R21c、及びR21eに対して、特定のユーザからの操作を受け付けている(即ち、アクティブ状態の)アプリケーションA11、A12、及びA13が関連付けられている。また、部分領域R21b、R21d、及びR21fには、OSレベルで動作する管理ソフト(例えば、音声エージェント)が関連付けられている。なお、図17に示す例では、参照符号A14で示した音楽プレイヤーのアプリケーションは、特定のユーザによる操作を受け付けていない状態(換言すると、非アクティブ状態)であり、OSレベルで動作する管理ソフトの管理に基づき動作しているものとする。
このような状況のもと、情報処理装置100は、例えば、OSレベルで動作する管理ソフトが関連付けられた部分領域R21b、R21d、及びR21fに対して、非アクティブ状態のアプリケーションA14からの音響情報の出力量を100%に設定している。また、情報処理装置100は、当該部分領域R21b、R21d、及びR21fに対して、他のアプリケーションA11〜A13からの音響情報を出力していない(もしくは、出力を抑制している)。即ち、部分領域R21b、R21d、及びR21f中に位置するユーザは、音楽プレイヤーのアプリケーションA14から出力された音響情報のみを認識することとなる。
これに対して、アクティブ状態のアプリケーションA11が関連付けられた部分領域R21aに着目する。情報処理装置100は、部分領域R21aに対して、アプリケーションA11からの音響情報の出力量を100%に設定している。また、情報処理装置100は、当該部分領域R21aに対して、管理ソフトの管理に基づき動作する(換言すると、非アクティブ状態の)アプリケーションA14からの音響情報の出力量が20%となるように、当該音響情報の出力を抑制している。即ち、部分領域R21aに位置するユーザは、アプリケーションA11及びA14のそれぞれから出力される音響情報を認識することとなる。また、このとき、アプリケーションA11から出力された音響情報のボリュームは、アプリケーションA14から出力された音響情報のボリュームよりも大きくなる。
また、他の一例として、アクティブ状態のアプリケーションA12が関連付けられた部分領域R21cに着目する。情報処理装置100は、部分領域R21cに対して、アプリケーションA12からの音響情報の出力量を100%に設定している。また、情報処理装置100は、当該部分領域R21cに対する、管理ソフトの管理に基づき動作するアプリケーションA14からの音響情報が出力されないように(即ち、出力が0%となるように)、当該音響情報の出力を抑制している。即ち、部分領域R21aに位置するユーザは、アプリケーションA12から出力される音響情報のみを認識することとなる。
また、他の一例として、アクティブ状態のアプリケーションA13が関連付けられた部分領域R21eに着目する。情報処理装置100は、部分領域R21eに対して、アプリケーションA13からの音響情報の出力量が50%となるように、当該出力を抑制している。また、情報処理装置100は、当該部分領域R21eに対して、管理ソフトの管理に基づき動作するアプリケーションA14からの音響情報の出力量を100%に設定している。即ち、部分領域R21eに位置するユーザは、アプリケーションA13及びA14のそれぞれから出力される音響情報を認識することとなる。また、このとき、アプリケーションA13から出力された音響情報のボリュームは、アプリケーションA14から出力された音響情報のボリュームよりも小さくなる。
以上のよう構成に基づき、情報処理装置100は、各アプリケーションからの出力情報の出力量(換言すると、出力比)を、部分領域ごとに制御してもよい。
なお、情報処理装置100は、各部分領域に対して各アプリケーションから出力される情報の出力量を、当該部分領域に対するユーザ操作に基づき、制御できるように構成されていてもよい。具体的な一例として、情報処理装置100は、部分領域に対する所定のユーザ操作を受けて、当該部分領域に対して各アプリケーションからの出力情報の出力比を制御するためのミキサのようなUI(User Interface)を提示してもよい。この場合には、情報処理装置100は、当該UIを介して設定された出力比に基づき、当該部分領域への各アプリケーションからの出力情報の出力量を制御してもよい。
なお、上記では、各アプリケーションからの音響情報の出力量を、部分領域ごとに制御する例について説明したが、各アプリケーションから出力される情報の出力量を制御できれば、制御対象となる情報は必ずしも音響情報には限定されない。
以上、変形例4として、図17を参照して、情報処理装置100が、各アプリケーションからの出力情報の出力量(例えば、ボリューム)を、部分領域ごとに制御する場合の一例について説明した。
<<1.5.5.変形例5:領域の制御例>>
次に、変形例5として、情報処理装置100が、ユーザ操作を受けて、当該操作に基づき指定された部分領域の態様や、当該部分領域に関連付けられた動作を制御する場合の一例について説明する。
具体的な一例として、情報処理装置100は、ユーザからの指示(例えば、ユーザ操作)に基づき、各アプリケーションが関連付けられた部分領域の位置や広さを変更してもよい。
例えば、図18は、変形例5に係る情報処理装置100の概要について説明するための説明図であり、情報処理装置100がユーザからの操作を受けて部分領域の位置や広さを変更する場合の一例を示している。
図18に示す例では、情報処理装置100は、電話会議のアプリケーションA44が関連付けられた部分領域を示す表示オブジェクトv441を提示し、当該表示オブジェクトv441に対するユーザ操作に基づき、当該部分領域の広さを変更している。具体的には、図18に示す例では、情報処理装置100は、ユーザによる表示オブジェクトv441に対するピンチ操作を受け付けた場合に、当該ピンチ操作に応じて、アプリケーションA44が関連付けられた部分領域の広さを拡大または縮小している。
また、他の一例として、図19は、変形例5に係る情報処理装置100の概要について説明するための説明図であり、情報処理装置100がユーザからの操作を受けて部分領域からの入力情報の取得を一時的に停止している場合の一例を示している。
例えば、図19に示す例では、情報処理装置100は、電話会議のアプリケーションA44が関連付けられた部分領域を示す表示オブジェクトv441を提示している。そして、情報処理装置100は、表示オブジェクトv441中の一部の領域v442に対してユーザからの所定の操作(例えば、タップ操作)を受け付けると、アプリケーションA44に対する、当該領域v442にからの音響情報の入力を一時的に停止する。このような構成により、例えば、ユーザは、所定のアプリケーションが入力を受け付け可能な部分領域中の少なくとも一部の領域に対して所定の操作を行うことで、当該一部の領域からの音響情報の当該アプリケーションへの入力を一時的に停止する(即ち、部分的にミュートする)ことが可能となる。
また、他の一例として、情報処理装置100は、アプリケーションに対応する表示オブジェクトの位置や向きを変更する操作を受けて、当該表示オブジェクトの位置や向きの変更に応じて、当該アプリケーションに関連付けられた部分領域の位置や広さを変更してもよい。
例えば、図20は、変形例5に係る情報処理装置100の概要について説明するための説明図である。即ち、図20に示す例では、情報処理装置100は、ユーザからの表示オブジェクトの位置を変更する操作を受けて、当該表示オブジェクトに対応するアプリケーションに関連付けられた部分領域の位置を更新している。
図20に示す例は、ユーザが、例えば、ドラッグ操作により、アプリケーションA12に対応する表示オブジェクトの位置を、参照符号v12で示した位置から、参照符号v12’で示した位置に移動させた場合について示している。図20において、参照符号R241は、参照符号v12で示された表示オブジェクトの位置に基づき、アプリケーションA12に関連付けられた部分領域を示している。また、参照符号R242は、参照符号v12’で示された表示オブジェクトの位置に基づき、アプリケーションA12に関連付けられた部分領域を示している。
即ち、図20に示す例では、情報処理装置100は、ユーザからの操作に基づき、アプリケーションA12に対応する表示オブジェクトの位置が変更された場合に、当該変更に追随して、アプリケーションA12に関連付けられた部分領域の位置を更新している。このように、情報処理装置100は、例えば、ユーザの操作等により変化する状況を逐次監視し、当該変化に追随して、各種アプリケーションと部分領域との関連付けを動的に変更してもよい。
なお、図20に示す例はあくまで一例であり、情報処理装置100は、ユーザの操作等により状況が変化した場合(例えば、表示オブジェクトの位置が変更された場合等)に、必ずしも各種アプリケーションと部分領域との関連付けを変更しなくてもよい。この場合には、情報処理装置100は、所定のタイミング(例えば、アプリケーションが起動したタイミングやアクティブ状態に遷移したタイミング等)で、アプリケーションと部分領域とを関連付け、状況が変化した場合においても当該関連付けを維持すればよい。
以上、変形例5として、図18〜図20を参照して、情報処理装置100が、ユーザ操作を受けて、当該操作に基づき指定された部分領域の態様や、当該部分領域に関連付けられた動作を制御する場合の一例について説明した。
なお、上記に示した各機能は、定常的に動作するように構成されていてもよいし、所定のユーザ操作に基づき有効及び無効を切り替えられるように構成されていてもよいことは言うまでもない。
<<1.5.6.変形例6:入力情報の入力先の制御例>>
次に、変形例6として、少なくとも一部の部分領域からの入力情報の入力先を、当該部分領域に関連付けられたアプリケーションから他のアプリケーションに一時的に変更することが可能な、情報処理装置100の制御の一例について説明する。例えば、図21は、変形例6に係る情報処理装置100の制御の一例について説明するための説明図である。
例えば、図21に示す例では、集音領域R20中の部分領域R21a〜R21fのうち、部分領域R21a、R21c、及びR21eに対して、アプリケーションA11、A12、及びA13が関連付けられている。また、部分領域R21b、R21d、及びR21fには、OSレベルで動作する管理ソフト(例えば、音声エージェント)が関連付けられている。なお、図21に示す例では、音楽プレイヤーのアプリケーションA14は、OSレベルで動作する管理ソフトの管理に基づき動作しているものとする。
図21に示す例において、情報処理装置100は、アプリケーションA12を操作するユーザu12が発した音声を、部分領域R21cから到来する音響情報として認識し、当該部分領域R21cに関連付けられたアプリ―ションA12に入力する。
一方で、図21に示すような状況下においても、ユーザu12は、例えば、一時的に他のアプリケーション(例えば、音楽プレイヤーのアプリケーションA14)に対する情報(例えば、音声情報)の入力が必要となる場合もある。このような場合には、例えば、ユーザu12は、所望のアプリケーションに関連付けられた部分領域に移動することで、当該アプリケーションに対して情報を入力することが可能ではあるが、当該情報入力の動作が煩雑になる場合も少なくない。
そこで、変形例6に係る情報処理装置100は、ユーザからの所定の操作に基づき、所望の部分領域からの入力情報の入力先となるアプリケーションを一時的に変更する機能を提供する。
例えば、情報処理装置100は、ユーザから発せられた音声(即ち、入力音声)中から所定の単語(以降では、「マジックワード」と記載する場合がある)を検出した場合に、当該マジックワードに続く音声を制御情報として認識する。そして、情報処理装置100は、認識した制御情報の内容に基づき、当該部分領域からの音響情報(即ち、音声入力)の入力先を一時的に変更する。
具体的な一例として、部分領域R21cに位置するユーザu12が、マジックワードの発話に続いて、音楽プレイヤーのアプリケーションA14を操作するため制御情報として、「音楽を次の曲に変えて」と発話したものとする。
この場合には、情報処理装置100は、部分領域R21cから取得したユーザu12からの音声入力に対する認識処理の結果として、まずマジックワードを検出することとなる。そして、情報処理装置100は、マジックワードの検出に伴い、当該マジックワード以降の制御情報に対して意味解析を施すことで、その内容が音楽プレイヤーのアプリケーションA14に対する操作であることを認識する。即ち、この場合には、情報処理装置100は、部分領域R21cから取得した当該音声入力の入力先を、当該部分領域R21cに関連付けられたアプリケーションA12から、一時的に音楽プレイヤーのアプリケーションA14に変更する。
このような構成により、図21に示す例において、ユーザu12は、音楽プレイヤーのアプリケーションA14に対して情報を入力するために、位置を移動するといった煩雑な操作を行う必要がなくなる。
また、他の一例として、情報処理装置100は、OSレベルで動作する管理ソフト(例えば、音声エージェント)に対する指示を、制御情報として入力できるように構成されていてもよい。
具体的な一例として、ユーザu12が、マジックワードの発話に続いて、OSレベルで動作する管理ソフトに対して指示を行うための制御情報として、「システムを終了」と発話したものとする。
この場合には、情報処理装置100は、音声入力に対する認識処理の結果としてマジックワードを検出し、当該マジックワード以降の制御情報に対して意味解析を施すことで、その内容が、OSレベルで動作する管理ソフトに対して指示であることを認識する。そして、情報処理装置100は、取得した「システムを終了」という音声入力を、OSレベルで動作する管理ソフトに入力する。即ち、この場合には、OSレベルで動作する管理ソフトは、この音声入力を受けてシステムを終了させることとなる。
なお、OSレベルで動作する管理ソフトへの指示としては、例えば、コンピュータのオン及びオフ(即ち、システムの開始及び終了)、接続された照明機器の点灯及び消灯、各種システムの設定、アプリケーションの起動及び停止等が挙げられる。
次に、図22を参照して、変形例6に係る情報処理装置100の一連の処理の流れの一例について、特に、情報処理装置100が、入力音声が制御情報を含むか否かを識別し、制御情報の場合には対応する制御を実行する動作に着目して説明する。図22は、変形例6に係る情報処理装置100の一連の処理の流れの一例について示したフローチャートである。
(ステップS301)
情報処理装置100は、各ユーザからの入力音声(即ち、音響情報)を部分領域ごとに識別して取得し、取得した入力音声の内容を、音声認識等の技術に基づき、例えば文字情報として認識する。そして、情報処理装置100は、文字情報として認識した入力音声の内容に対して、例えば、構文解析を施すことで、当該入力音声中に含まれる単語等の語句を抽出することが可能となる。
(ステップS303)
情報処理装置100は、取得した入力音声の内容を認識したら、認識した入力音声中にマジックワードが含まれるか否かを確認する。
(ステップS305)
認識した入力音声中にマジックワードが含まれる場合には(ステップS303、YES)、情報処理装置100は、当該マジックワードに続く音声を制御情報として認識し、当該制御情報に対して意味解析を施すことで、当該制御情報の内容を認識する。具体的な一例として、ユーザが、マジックワードの発話に続いて「システムを終了」と発話したものとする。この場合には、情報処理装置100は、「システムを終了」という音声を制御情報として認識し、認識した制御情報に対する意味解析の結果から、当該制御情報が、システムの終了に関する指示であることを認識する。
(ステップS307、S309)
認識した制御情報に対する意味解析を施したら、情報処理装置100は、当該意味解析の結果から、当該制御情報に対応する制御を実行するためのコマンドを生成し(ステップS307)、生成したコマンドを実行する(ステップS309)。
具体的な一例として、情報処理装置100は、OSレベルで動作する管理ソフトに対するシステムの終了に関する指示を認識した場合には、当該指示に基づき、当該管理ソフトにシステムの終了に係る指示を実行させるためのコマンドを生成する。そして、情報処理装置100が生成したコマンドを実行することで、当該管理ソフトは、当該コマンドの実行に従いに、システムを終了する。
なお、上述した、制御情報に対する意味解析や、当該意味解析の結果に基づくコマンドの生成、及び生成したコマンドの実行に係る処理の主体については、特に限定されない。具体的な一例として、これらの処理のうち一部もしくは全部を、例えば、OSレベルで動作する管理ソフト(例えば、音声エージェント)が実行してもよい。
以上、変形例6として、図21及び図22を参照して、一部の部分領域からの入力情報の入力先を、当該部分領域に関連付けられたアプリケーションから他のアプリケーションに一時的に変更することが可能な、情報処理装置100の制御の一例について説明した。
なお、上記に示す例では、情報処理装置100が、マジックワードにより制御情報を認識する例について説明したが、当該情報処理装置100が、入力された情報が制御情報であることを認識できれば、その方法は特に限定されない。具体的な一例として、情報処理装置100は、所定のタッチ操作(例えば、タップ操作)や、所定のジェスチャ操作を認識した場合に、続いて入力される入力情報が、制御情報であるものと認識してもよい。
[1.6.まとめ]
以上、説明したように、本実施形態に係る情報処理装置100は、入力部110に含まれる複数の集音部113それぞれによる音響情報の集音結果に応じて、当該音響情報の音源が位置する部分領域R21(換言すると、当該音響情報の到来方向)を推定する。このような構成により、情報処理装置100は、集音領域R20中の各部分領域R21から到来する音響情報を、当該部分領域R21ごとに識別して取得する。
また、情報処理装置100は、各ユーザが操作している(例えば、音声入力を行っている)アプリケーションを、当該アプリケーションの状態やコンテキストに応じて、集音領域R20中の部分領域R21に関連付ける。そして、情報処理装置100は、部分領域R21ごとに識別して取得した音響情報を、当該部分領域R21に関連付けられたアプリケーションに割り当てる。
以上のような構成により、情報処理装置100は、複数のユーザが同時に操作するような状況下においても、各ユーザからの音声入力を識別して取得し、取得した音声入力それぞれを、当該ユーザが操作するアプリケーションに入力することが可能となる。
なお、上記では、情報処理装置100の特徴をよりわかりやすくするために、表示面R10と集音領域R20とが略一致しているものとして説明した。しかしながら、前述したように、表示面R10と集音領域R20とは、それぞれの広さや位置が必ずしも一致している必要はない。
また、動作中の各種アプリケーションが集音領域R20中の部分領域R21に関連付けられ、当該部分領域R21から取得された入力情報が、当該部分領域R21に関連付けられたアプリケーションに入力されれば、情報処理装置100の構成は前述した例に限定されない。例えば、情報処理装置100は、表示情報を表示面R10に表示させる構成を備えていなくてもよい。具体的な一例として、情報処理装置100は、ユーザからの音声入力に対して、当該ユーザに対して音声により情報を提示する、対話型の音声エージェントとして構成されていてもよい。
<2.第2の実施形態>
[2.1.概要]
次に、本開示の第2の実施形態に係る情報処理装置100の一例について説明する。前述した第1の実施形態では、情報処理装置100が、入力情報として、音声等の音響情報を取得し、当該音響情報の入力先を制御する例について説明した。一方で、入力情報は、必ずしも音響情報には限定されない。そこで、本実施形態では、情報処理装置100が、音響情報以外の他の入力情報として、映像情報を取得し、当該映像情報の入力先を制御する場合の一例について、ビデオチャットのアプリケーションを動作させる場合を例に説明する。
例えば、図23は、本実施形態に係る情報処理装置100の概要について説明するための説明図であり、当該情報処理装置100の概略的な構成の一例を示している。なお、図23に示す例は、情報処理装置100を、図1に示すようなプロジェクション型として構成した場合の一例を示している。なお、以降では、本実施形態に係る情報処理装置100の構成や処理の内容について、前述した第1の実施形態に係る情報処理装置100とは異なる部分に着目して説明し、同様の部分については詳細な説明は省略する。
図23において、参照符号v51は、ユーザu11が操作する、ビデオチャットのアプリケーションに対応する表示オブジェクトを示している。同様に、参照符号v52は、ユーザu12が操作する、ビデオチャットのアプリケーションに対応する表示オブジェクトを示している。
図23に示すように、本実施形態に係る情報処理装置100は、ビデオチャットのアプリケーションを操作するユーザの映像を撮像するための撮像部150を備える。なお、以降の説明では、入力部110に含まれる撮像部111(即ち、表示面R10の画像を撮像するための撮像部)と、ユーザの映像を撮像するための撮像部150とを区別するために、撮像部111を「第1撮像部111」と記載し、撮像部150を「第2撮像部150」と記載する場合がある。
第2撮像部150は、例えば、所謂全天周カメラのように、周囲360°の画像を撮像することが可能な広角カメラ(例えば、上向き広角カメラ)として構成され得る。また、第2撮像部150は、例えば、表示面R10上の所望の位置に設置される。
情報処理装置100は、表示面R10上に設置された第2撮像部150から、当該第2撮像部150の周囲の画像(換言すると、表示面R10の周囲の画像)を取得する。そして、情報処理装置100は、取得した画像から、表示オブジェクトv51及びv52に対して操作を行うユーザu11及びu12の部分画像をそれぞれ切り出し、切り出した各部分画像を、表示オブジェクトv51及びv52それぞれに対応するアプリケーションに割り当てる。そこで、情報処理装置100の本動作について、図24を参照して詳しく説明する。図24は、本実施形態に係る情報処理装置100による制御の一例について説明するための説明図である。
図24において、参照符号R51及びR52のそれぞれは、第2撮像部150が画像を撮像可能な撮像領域中に含まれる部分領域をそれぞれ示している。即ち、本実施形態に係る情報処理装置100は、各ユーザそれぞれが操作するビデオチャットのアプリケーションを、第2撮像部150の撮像領域中の部分領域に関連付ける。そして、情報処理装置100は、第2撮像部150から取得した画像から、各部分領域に対応する画像(即ち、映像入力)を切り出し、部分領域ごとに切り出した画像を、当該部分領域に関連付けられたアプリケーションに割り当てる。
具体的には、図24に示すように、第2撮像部150には、当該第2撮像部150の位置や向きを特定するためのマーカ151が付されている。情報処理装置100は、入力部110中の第1撮像部111により撮像された表示面R10の画像を解析することで、当該画像中に撮像された第2撮像部150及びマーカ151に基づき、表示面R10中における第2撮像部150の位置及び向きを特定する。
そして、情報処理装置100は、第2撮像部150の位置及び向きと、当該第2撮像部150により撮像された画像を利用するアプリケーション(例えば、ビデオチャットのアプリケーション)の状態やコンテキストを示す情報とに基づき、当該アプリケーションを関連付ける部分領域を特定する。
例えば、図24に示す例では、情報処理装置100は、第2撮像部150の位置及び向きと、各アプリケーションに対応する表示オブジェクトの位置、向き、及びサイズとに基づき、当該アプリケーションを関連付ける部分領域を特定する。
具体的な一例として、情報処理装置100は、表示オブジェクトv51に対してユーザu11が正対しているものと仮定し、第2撮像部150の位置及び向きと、表示オブジェクトv51の位置、向き、及びサイズとに基づき、第2撮像部150に対するユーザu11の相対位置を推定する。情報処理装置100は、推定した第2撮像部150に対するユーザu11の相対位置に基づき、第2撮像部150の位置から推定したユーザu11の位置に向けて延伸する部分領域R51を特定する。そして、情報処理装置100は、特定した当該部分領域R51に対して、表示オブジェクトv51に対応するビデオチャットのアプリケーション(即ち、表示オブジェクトv51の表示を制御するアプリケーション)を関連付ける。
同様に、情報処理装置100は、第2撮像部150の位置及び向きと、表示オブジェクトv52の位置、向き、及びサイズとに基づき、第2撮像部150に対するユーザu12の相対位置を推定する。そして、情報処理装置100は、推定した第2撮像部150に対するユーザu11の相対位置に基づき部分領域R52を特定し、特定した部分領域R51に対して、表示オブジェクトv52に対応するビデオチャットのアプリケーションを関連付ける。
そして、情報処理装置100は、第2撮像部150により撮像された画像を取得し、認識した第2撮像部150の位置及び向きに基づき、取得した画像から、各アプリケーションが関連付けられた部分領域に対応する部分画像を切り出す。
具体的な一例として、情報処理装置100は、認識した第2撮像部150の位置及び向きに基づき、当該第2撮像部を基準として、部分領域R51が延伸する方向や、当該部分領域R51の広さを特定する。そして、情報処理装置100は、第2撮像部150により撮像された画像中から、特定した部分領域R51が延伸する方向の画像を切り出す。このとき、情報処理装置100は、部分領域R51の広さに基づき、切り出す画像の画角を特定してもよい。
同様に、情報処理装置100は、認識した第2撮像部150の位置及び向きに基づき、当該第2撮像部を基準として、部分領域R52が延伸する方向や、当該部分領域R51の広さを特定する。そして、情報処理装置100は、第2撮像部150により撮像された画像中から、特定した部分領域R52が延伸する方向の画像を切り出す。
以上のようにして、情報処理装置100は、第2撮像部150により撮像されたが画像から、各部分領域に対応する部分画像を、部分領域ごとに識別して取得する。
各部分領域に対応する部分画像を取得したら、情報処理装置100は、部分領域ごとに取得した部分画像を、当該部分領域に関連付けられたアプリケーションに入力する。
具体的な一例として、情報処理装置100は、部分領域R51の部分画像を、当該部分領域R51に関連付けられたアプリケーション、即ち、表示オブジェクトv51に対応するビデオチャットのアプリケーションに割り当てる。同様に、情報処理装置100は、部分領域R52の部分画像を、当該部分領域R52に関連付けられたアプリケーション、即ち、表示オブジェクトv51に対応するビデオチャットのアプリケーションに割り当てる。
以上のようにして、本実施形態に係る情報処理装置100は、第2撮像部150により撮像された画像から、部分領域ごとに識別して、当該部分領域が撮像された部分画像を取得する。そして、情報処理装置100は、部分領域ごとに取得した部分画像を、当該部分領域に関連付けられたアプリケーションに割り当てる。
以上のような構成により、本実施形態に係る情報処理装置100は、複数のユーザが同時に操作するような状況下においても、各ユーザの映像入力を識別して取得し、取得した各ユーザの映像入力それぞれを、当該ユーザが操作するアプリケーションに入力することが可能となる。
[2.2.機能構成]
次に、図25を参照して、本実施形態に係る情報処理装置100の機能構成の一例について説明する。図25は、本実施形態に係る情報処理装置100の機能構成の一例を示したブロック図である。
図25に示すように、本実施形態に係る情報処理装置100は、入力部110と、制御部220と、出力部130と、第2撮像部150とを含む。なお、入力部110及び出力部130は、前述した第1の実施形態に係る入力部110及び出力部130(図8参照)と同様である。
また、制御部220は、入力解析部221と、割当て制御部225と、処理実行部226と、出力制御部227とを含む。また、入力解析部221は、検出部222と、入力元判別部223と、入力先特定部224とを含む。なお、制御部220は、前述した第1の実施形態に係る制御部120に相当する。具体的には、処理実行部226及び出力制御部227は、前述した第1の実施形態に係る処理実行部126及び出力制御部127と同様である。
また、入力解析部221は、前述した第1の実施形態に係る入力解析部121に相当し、主に、入力元判別部223及び入力先特定部224の動作が、前述した第1の実施形態に係る入力元判別部123及び入力先特定部124と異なる。また、割当て制御部225は、前述した第1の実施形態に係る割当て制御部125に対応しており、当該割当て制御部125と処理の内容が一部異なる。
そこで、以降では、主に、前述した第1の実施形態に係る情報処理装置100と異なる、割当て制御部225、入力元判別部223、及び入力先特定部224について詳細に説明し、その他の構成については詳細な説明は省略する。
割当て制御部225は、処理実行部126や出力制御部127から、動作中の各種アプリケーションの状態やコンテキストを示す情報を取得する。また、割当て制御部225は、検出部222から表示面R10におかれている物体の検出結果を取得し、当該検出結果に基づき、表示面R10上に設置された第2撮像部150の位置及び向きを特定する。
そして、割当て制御部225は、取得した各種アプリケーションの状態やコンテキストを示す情報と、特定した第2撮像部150の位置及び向きとに基づき、当該アプリケーションを関連付ける第2撮像部150の撮像領域中の部分領域の広さや位置を特定する。
具体的な一例として、情報処理装置100は、第2撮像部150の位置及び向きと、各アプリケーションに対応する表示オブジェクトの位置、向き、及びサイズとに基づき、当該アプリケーションを関連付ける部分領域を特定する。
なお、割当て制御部225は、撮像領域中の部分領域のうち、アプリケーションが関連付けられた部分領域以外の他の部分領域については、OSレベルで動作する管理ソフトを関連付けてもよい。
また、割当て制御部225は、前述した第1の実施形態に係る割り当て制御部125と同様に、部分領域に関連付けられたアプリケーションのコンテキストや状態に応じて、当該アプリケーションと当該部分領域との間の関連付けを解消するように制御してもよい。
また、割当て制御部225が、上記に説明した処理を実行するタイミングは特に限定されないことは、前述した第1の実施形態に係る割り当て制御部125と同様である。
入力元判別部223は、第2撮像部150により撮像された画像を取得し、当該画像から、各部分領域に対応する部分画像を、当該部分領域ごとに識別して取得するための構成である。
具体的には、入力元判別部223は、第2撮像部150により撮像された画像をあらかじめ決められたタイミングごとに取得する。また、入力元判別部223は、第2撮像部150の位置及び向きと、各部分領域の広さや位置とのそれぞれを示す情報を、割り当て制御部125から取得する。入力元判別部223は、取得した当該情報に基づき、第2撮像部150の位置及び向きと、各部分領域の広さや位置とのそれぞれを認識する。
入力元判別部223は、認識した第2撮像部150の位置及び向きと、各部分領域の広さや位置とに基づき、当該第2撮像部を基準とした、各部分領域が延伸する方向や、当該部分領域の広さを特定する。そして、情報処理装置100は、第2撮像部150により撮像された画像中から、特定した部分領域が延伸する方向の画像を切り出す。このとき、情報処理装置100は、当該部分領域の広さに基づき、切り出す画像の画角を特定してもよい。
以上のようにして、入力元判別部223は、第2撮像部150により撮像された画像から、各部分領域に対応する部分画像を、部分領域ごとに識別して取得する。そして、入力元判別部223は、部分領域ごとに、当該部分領域に対応する部分画像を、入力先特定部224に出力する。
入力先特定部224は、入力元判別部223から、部分領域ごとに、当該部分領域に対応する部分画像を取得する。また、入力先特定部224は、割当て制御部225から、動作中の各アプリケーションと、当該アプリケーションが関連付けられた部分領域を示す情報とを取得する。
入力先特定部224は、部分領域ごとに、入力元判別部223から取得した当該部分が領域に対応する部分画像の入力先として、割当て制御部225から取得した情報に基づき、当該部分領域に関連付けられたアプリケーションを特定する。そして、入力先特定部224は、各部分領域の部分画像を、当該部分画像の入力先として特定したアプリケーションに割り当てる。
以上のようにして、本実施形態に係る情報処理装置100は、第2撮像部150により撮像された画像から、部分領域ごとに識別して、当該部分領域が撮像された部分画像を取得する。そして、情報処理装置100は、部分領域ごとに取得した部分画像を、当該部分領域に関連付けられたアプリケーションに割り当てる。
なお、本実施形態に係る情報処理装置100は、前述した第1の実施形態の変形例3に係る情報処理装置100と同様に、各アプリケーションが関連付けられた部分領域を示す情報、ユーザに対して提示(報知)してもよい。
例えば、図26は、本実施形態に係る情報処理装置100が、各部分領域をユーザに対して提示する方法の一例について説明するための説明図であり、当該部分領域を示す表示オブジェクトを表示面R10上に提示する場合の一例について示している。
図26において、参照符号v61は、表示オブジェクトv51に対応するアプリケーションが関連付けられた部分領域を、ユーザに識別可能に提示するための表示オブジェクトの一例を示している。同様に、参照符号v62は、表示オブジェクトv52に対応するアプリケーションが関連付けられた部分領域を、ユーザに識別可能に提示するための表示オブジェクトの一例を示している。即ち、図26に示す例では、情報処理装置100は、アプリケーションが関連付けられた各部分領域を、扇状の表示オブジェクトとして表示面R10上に提示している。
この場合には、例えば、制御部220の出力制御部227が、割当て制御部225から、動作中の各アプリケーションが関連付けられた、第2撮像部150の撮像領域中の部分領域の広さや位置を示す情報を取得する。そして、出力制御部227は、取得した各部分領域の広さや位置を示す情報に基づき、当該部分領域を示す表示オブジェクトを生成し、生成した表示オブジェクトを映像出力部131に表示させればよい。
また、本実施形態に係る情報処理装置100は、前述した第1の実施形態の変形例5に係る情報処理装置100と同様に、ユーザ操作を受けて、当該操作に基づき指定された部分領域の態様や、当該部分領域に関連付けられた動作を制御してもよい。
例えば、図27は、本実施形態に係る情報処理装置100が、部分領域の態様を制御する場合の一例について説明するための説明図であり、情報処理装置100がユーザからの操作を受けて部分領域の位置や広さを変更する場合の一例を示している。
図27に示す例では、情報処理装置100は、表示オブジェクトv51に対応するアプリケーションが関連付けられた部分領域を示す表示オブジェクトv61を提示し、当該表示オブジェクトv61に対するユーザ操作に基づき、当該部分領域の広さを変更している。具体的には、図27に示す例は、情報処理装置100が、ユーザにより表示オブジェクトv61の範囲の拡大を示すピンチ操作を受け付けて、当該表示オブジェクトv61の範囲を、参照符号v61’で示した範囲に拡大する場合を示している。
即ち、情報処理装置100は、ユーザ操作に基づき、表示オブジェクトv61が、参照符号v61’で示された範囲に拡大された場合に、拡大後の表示オブジェクトの範囲v61’に基づき、対応する部分領域の範囲を拡大する。また、部分領域の拡大に伴い、情報処理装置100は、第2撮像部150から取得した画像から、当該部分領域に対応する部分画像を切り出す範囲(即ち、画角)を変更すればよい。
もちろん、情報処理装置100は、表示オブジェクトv61に対するユーザ操作に基づき、対応する部分領域の位置を変更してもよい。この場合には、情報処理装置100は、部分領域の位置の変更に伴い、第2撮像部150から取得した画像から、当該部分領域に対応する部分画像を切り出す方向を変更すればよい。
[2.3.まとめ]
以上、説明したように、本実施形態に係る情報処理装置100は、第2撮像部150により撮像された画像から、部分領域ごとに識別して、当該部分領域が撮像された部分画像を取得する。そして、情報処理装置100は、部分領域ごとに取得した部分画像を、当該部分領域に関連付けられたアプリケーションに割り当てる。
以上のような構成により、本実施形態に係る情報処理装置100は、複数のユーザが同時に操作するような状況下においても、各ユーザの映像入力を識別して取得し、取得した各ユーザの映像入力それぞれを、当該ユーザが操作するアプリケーションに入力することが可能となる。
なお、上記に説明した例では、表示面R10の周囲に位置する各ユーザの画像を取得するための構成として、周囲360°の画像を撮像することが可能な広角カメラを適用していた。一方で、表示面R10の周囲に位置する各ユーザの画像を取得できれば、その構成は特に限定されない。具体的な一例として、第2撮像部150に変えて、半球状のミラーを設置することで、半球状のミラーにより反射された、当該ミラーの周囲の像(即ち、表示面R10の周囲の像)を、当該ミラーの上部に位置する入力部110の第1撮像部111により撮像することで取得してもよい。
また、前述した第1の実施形態に係る情報処理装置100は、図1に示すようなプロジェクション型に必ずしも限定されず、例えば、図2に示したリアプロジェクション型や、図3に示すような、タッチパネル式のディスプレイを利用した構成であってもよい。なお、この場合には、情報処理装置100は、例えば、表示面R10上に設置された第2撮像部150の位置や向きを、例えば、静電容量方式や光学式のタッチセンサ等の各種センサの検出結果により特定すればよい。また、他の一例として、第2撮像部150の位置や向きをユーザが指定する構成としてもよい。この場合には、情報処理装置100は、ユーザ操作に基づき、第2撮像部150の位置や向きを認識すればよいことは言うまでもない。
また、本実施形態に係る情報処理装置100と、前述した第1の実施形態に係る情報処理装置100とを組み合わせることで、音声入力と映像入力との双方を個々に取得できるようにしてもよい。この場合には、情報処理装置100は、音声入力の取得元を示す部分領域と、映像入力の取得元を示す部分領域とを別々に管理し、音声入力及び映像入力それぞれに対応する部分領域に対して、個々にアプリケーションを関連付ければよい。即ち、情報処理装置100は、音声入力を取得した場合には、当該音声入力の取得元を示す部分領域に基づき、当該音声入力の入力先となるアプリケーションを特定すればよい。同様に、情報処理装置100は、映像入力については、当該映像入力の取得元を示す部分領域に基づき、当該映像入力の入力先となるアプリケーションを特定すればよい。
<3.ハードウェア構成例>
次に、図28を参照して、本開示の一実施形態にかかる情報処理装置100のハードウェア構成について説明する。図28は、本開示の一実施形態にかかる情報処理装置100のハードウェア構成例を示すブロック図である。
図28に示すように、情報処理装置100は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置100は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置100は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置100は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置100内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、ユーザの音声を検出するマイクを含んでもよい。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置100の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置933も、ユーザの手の動きなどを撮像することによって、入力装置として機能しうる。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro−Luminescence)ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、情報処理装置100の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置917は、周囲を明るくするためライトなどを含んでもよい。
ストレージ装置919は、情報処理装置100の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置100に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置100と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置100の筐体の姿勢など、情報処理装置100自体の状態に関する情報や、情報処理装置100の周辺の明るさや騒音など、情報処理装置100の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
以上、情報処理装置100のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
<4.まとめ>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得する取得部と、
少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てる制御部と、
を備える、情報処理装置。
(2)
前記取得部は、前記入力情報として、前記対象領域から到来する音響入力を、当該対象領域ごとに識別して取得し、
前記制御部は、取得した前記対象領域からの前記音響入力を、当該対象領域に関連付けられた前記アプリケーションに割り当てる、
前記(1)に記載の情報処理装置。
(3)
前記音響入力を集音するための複数のマイクを備え、
前記取得部は、前記複数のマイクそれぞれの集音結果に基づき、前記複数の対象領域それぞれから到来する前記音響入力を、当該対象領域ごとに識別して取得する、
前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記対象領域に関連付けられた前記アプリケーションからの音響出力を、当該対象領域に向けて出力する、前記(2)または(3)に記載の情報処理装置。
(5)
前記音響出力を出力するための複数のスピーカを備え、
前記制御部は、前記複数のスピーカのうち、前記音響出力の出力先となる前記対象領域に応じたスピーカから、当該音響出力を出力させる、
前記(4)に記載の情報処理装置。
(6)
前記制御部は、複数の前記アプリケーションそれぞれからの前記音響出力の出力比を、前記対象領域ごとに制御する、前記(4)または(5)に記載の情報処理装置。
(7)
前記制御部は、表示領域中に表示された、前記アプリケーションが表示情報を提示するための表示オブジェクトの位置及び向きの少なくともいずれかを示す位置情報に応じて、当該アプリケーションに対する前記音響入力の取得元となる前記対象領域を決定する、前記(2)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記制御部は、前記表示オブジェクトの前記位置情報の変化に応じて、当該表示オブジェクトに対応する前記アプリケーションに対する前記音響入力の取得元となる前記対象領域を動的に更新する、前記(7)に記載の情報処理装置。
(9)
前記制御部は、前記対象領域を動的に更新する制御の有効及び無効を、ユーザからの指示に基づき切り替える、前記(8)に記載の情報処理装置。
(10)
前記表示領域を含む投影面に対して、前記表示オブジェクトが表示された画面を投影することで、当該表示領域に当該表示オブジェクトを表示させる表示部を備え、
前記制御部は、撮像された前記表示領域の画像の解析結果に応じて、前記画面を更新する、
前記(7)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記取得部は、前記入力情報として、前記対象領域が撮像された映像入力を、当該対象領域ごとに識別して取得し、
前記制御部は、取得した前記対象領域からの前記映像入力を、当該対象領域に関連付けられた前記アプリケーションに割り当てる、
前記(1)に記載の情報処理装置。
(12)
前記制御部は、前記入力情報の割り当て先となる前記アプリケーションの候補が複数存在する場合には、当該複数のアプリケーション間における優先度に応じて、当該入力情報を割り当てる前記アプリケーションを決定する、前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記制御部は、前記候補となる前記複数のアプリケーションそれぞれが、表示情報を提示するための表示オブジェクトの間の相対的な位置関係に基づき、当該複数のアプリケーション間における前記優先度を決定する、前記(12)に記載の情報処理装置。
(14)
前記制御部は、前記入力情報が取得される契機に応じて、前記優先度を更新する、前記(12)または(13)に記載の情報処理装置。
(15)
前記制御部は、前記候補となる前記アプリケーションが追加または削減される契機に応じて、前記優先度を更新する、前記(12)または(13)に記載の情報処理装置。
(16)
前記制御部は、ユーザに対して情報を報知するための報知部に、前記対象領域を提示するための報知情報を報知させる、前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記制御部は、前記対象領域と前記アプリケーションとの間の関連付けを、当該関連付けの変更に係る指示に基づき更新する、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記制御部は、少なくとも一部の前記対象領域に対するユーザからの指示を受けて、当該対象領域の位置及び広さのうち少なくともいずれかを更新する、前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得することと、
プロセッサが、少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てることと、
を含む、情報処理方法。
(20)
コンピュータに、
入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得することと、
少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てることと、
を実行させる、プログラム。
100 情報処理装置
110 入力部
111 撮像部
113 集音部
120 制御部
121 入力解析部
122 検出部
123 入力元判別部
124 入力先特定部
125 割当て制御部
126 処理実行部
127 出力制御部
130 出力部
131 映像出力部
133 音響出力部
150 第2撮像部
220 制御部
221 入力解析部
222 検出部
223 入力元判別部
224 入力先特定部
225 制御部
226 処理実行部
227 出力制御部

Claims (19)

  1. 入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得する取得部と、
    少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てる制御部と、
    を備え、
    前記制御部は、前記入力情報の割り当て先となる前記アプリケーションの候補が複数存在する場合には、当該複数のアプリケーション間における優先度に応じて、当該入力情報を割り当てる前記アプリケーションを決定する、情報処理装置。
  2. 前記取得部は、前記入力情報として、前記対象領域から到来する音響入力を、当該対象領域ごとに識別して取得し、
    前記制御部は、取得した前記対象領域からの前記音響入力を、当該対象領域に関連付けられた前記アプリケーションに割り当てる、
    請求項1に記載の情報処理装置。
  3. 前記音響入力を集音するための複数のマイクを備え、
    前記取得部は、前記複数のマイクそれぞれの集音結果に基づき、前記複数の対象領域それぞれから到来する前記音響入力を、当該対象領域ごとに識別して取得する、
    請求項2に記載の情報処理装置。
  4. 前記制御部は、前記対象領域に関連付けられた前記アプリケーションからの音響出力を、当該対象領域に向けて出力する、請求項2または請求項3に記載の情報処理装置。
  5. 前記音響出力を出力するための複数のスピーカを備え、
    前記制御部は、前記複数のスピーカのうち、前記音響出力の出力先となる前記対象領域に応じたスピーカから、当該音響出力を出力させる、
    請求項4に記載の情報処理装置。
  6. 前記制御部は、複数の前記アプリケーションそれぞれからの前記音響出力の出力比を、前記対象領域ごとに制御する、請求項4または請求項5に記載の情報処理装置。
  7. 前記制御部は、表示領域中に表示された、前記アプリケーションが表示情報を提示するための表示オブジェクトの位置及び向きの少なくともいずれかを示す位置情報に応じて、当該アプリケーションに対する前記音響入力の取得元となる前記対象領域を決定する、請求項2乃至請求項6の何れか1項に記載の情報処理装置。
  8. 前記制御部は、前記表示オブジェクトの前記位置情報の変化に応じて、当該表示オブジェクトに対応する前記アプリケーションに対する前記音響入力の取得元となる前記対象領域を動的に更新する、請求項7に記載の情報処理装置。
  9. 前記制御部は、前記対象領域を動的に更新する制御の有効及び無効を、ユーザからの指示に基づき切り替える、請求項8に記載の情報処理装置。
  10. 前記表示領域を含む投影面に対して、前記表示オブジェクトが表示された画面を投影することで、当該表示領域に当該表示オブジェクトを表示させる表示部を備え、
    前記制御部は、撮像された前記表示領域の画像の解析結果に応じて、前記画面を更新する、
    請求項7乃至請求項9の何れか1項に記載の情報処理装置。
  11. 前記取得部は、前記入力情報として、前記対象領域が撮像された映像入力を、当該対象領域ごとに識別して取得し、
    前記制御部は、取得した前記対象領域からの前記映像入力を、当該対象領域に関連付けられた前記アプリケーションに割り当てる、
    請求項1に記載の情報処理装置。
  12. 前記制御部は、前記候補となる前記複数のアプリケーションそれぞれが、表示情報を提示するための表示オブジェクトの間の相対的な位置関係に基づき、当該複数のアプリケーション間における前記優先度を決定する、請求項1乃至請求項11の何れか1項に記載の情報処理装置。
  13. 前記制御部は、前記入力情報が取得される契機に応じて、前記優先度を更新する、請求項1乃至請求項12の何れか1項に記載の情報処理装置。
  14. 前記制御部は、前記候補となる前記アプリケーションが追加または削減される契機に応じて、前記優先度を更新する、請求項1乃至請求項12の何れか1項に記載の情報処理装置。
  15. 前記制御部は、ユーザに対して情報を報知するための報知部に、前記対象領域を提示するための報知情報を報知させる、請求項1乃至請求項14の何れか1項に記載の情報処理装置。
  16. 前記制御部は、前記対象領域と前記アプリケーションとの間の関連付けを、当該関連付けの変更に係る指示に基づき更新する、請求項1乃至請求項15の何れか1項に記載の情報処理装置。
  17. 前記制御部は、少なくとも一部の前記対象領域に対するユーザからの指示を受けて、当該対象領域の位置及び広さのうち少なくともいずれかを更新する、請求項1乃至請求項16の何れか1項に記載の情報処理装置。
  18. 入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得することと、
    プロセッサが、少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てることと、
    を含み、
    前記プロセッサは、前記入力情報の割り当て先となる前記アプリケーションの候補が複数存在する場合には、当該複数のアプリケーション間における優先度に応じて、当該入力情報を割り当てる前記アプリケーションを決定する、情報処理方法。
  19. コンピュータに、
    入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得することと、
    少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てることと、
    を実行させる、プログラムであって、
    前記コンピュータは、前記入力情報の割り当て先となる前記アプリケーションの候補が複数存在する場合には、当該複数のアプリケーション間における優先度に応じて、当該入力情報を割り当てる前記アプリケーションを決定する、プログラム。
JP2017536635A 2015-08-24 2016-05-20 情報処理装置、情報処理方法、及びプログラム Active JP6809467B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015164353 2015-08-24
JP2015164353 2015-08-24
PCT/JP2016/065029 WO2017033513A1 (ja) 2015-08-24 2016-05-20 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017033513A1 JPWO2017033513A1 (ja) 2018-06-07
JP6809467B2 true JP6809467B2 (ja) 2021-01-06

Family

ID=58099787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017536635A Active JP6809467B2 (ja) 2015-08-24 2016-05-20 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US10572073B2 (ja)
EP (1) EP3343339A4 (ja)
JP (1) JP6809467B2 (ja)
WO (1) WO2017033513A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
EP2954514B1 (en) 2013-02-07 2021-03-31 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9740352B2 (en) * 2015-09-30 2017-08-22 Elo Touch Solutions, Inc. Supporting multiple users on a large scale projected capacitive touchscreen
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US20180336892A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1315071A1 (en) * 2001-11-27 2003-05-28 BRITISH TELECOMMUNICATIONS public limited company User interface
US8861756B2 (en) * 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
JP2011102984A (ja) 2010-11-30 2011-05-26 Sony Corp ナビゲーション装置、音声認識方法、およびプログラム
JP2013214259A (ja) * 2012-04-04 2013-10-17 Sharp Corp 表示装置
JP2014241005A (ja) * 2013-06-11 2014-12-25 株式会社東芝 表示制御装置、表示制御方法、及び表示制御プログラム
WO2015098187A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP6199736B2 (ja) * 2013-12-27 2017-09-20 住友ゴム工業株式会社 タイヤ用ゴム組成物及び空気入りタイヤ
JP6149818B2 (ja) * 2014-07-18 2017-06-21 沖電気工業株式会社 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム
KR20160026317A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 음성 녹음 방법 및 장치
JP6131989B2 (ja) * 2015-07-07 2017-05-24 沖電気工業株式会社 収音装置、プログラム及び方法

Also Published As

Publication number Publication date
EP3343339A1 (en) 2018-07-04
EP3343339A4 (en) 2019-03-27
JPWO2017033513A1 (ja) 2018-06-07
US20180188840A1 (en) 2018-07-05
WO2017033513A1 (ja) 2017-03-02
US10572073B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
JP6809467B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6635049B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5456832B2 (ja) 入力された発話の関連性を判定するための装置および方法
US11373650B2 (en) Information processing device and information processing method
JP6729555B2 (ja) 情報処理システムおよび情報処理方法
EP3352051A1 (en) Information processing device, information processing method, and program
JP6911870B2 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
CN107148614B (zh) 信息处理设备、信息处理方法和程序
US10962738B2 (en) Information processing apparatus and information processing method to calibrate line-of-sight of a user
WO2018139036A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN106462251B (zh) 显示控制设备、显示控制方法以及程序
WO2017033544A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210294482A1 (en) Information processing device, information processing method, and program
WO2017043141A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018139050A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11221684B2 (en) Information processing device, information processing method, and recording medium
US11188206B2 (en) Information processing apparatus and information processing method
JP2016170584A (ja) 情報処理装置、情報処理方法およびプログラム
JP2018156047A (ja) 信号処理装置、信号処理方法および属性付与装置
JP2021135701A (ja) 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190510

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190510

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201123

R151 Written notification of patent or utility model registration

Ref document number: 6809467

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151