JP6747446B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6747446B2
JP6747446B2 JP2017539720A JP2017539720A JP6747446B2 JP 6747446 B2 JP6747446 B2 JP 6747446B2 JP 2017539720 A JP2017539720 A JP 2017539720A JP 2017539720 A JP2017539720 A JP 2017539720A JP 6747446 B2 JP6747446 B2 JP 6747446B2
Authority
JP
Japan
Prior art keywords
information
information processing
processing apparatus
users
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017539720A
Other languages
English (en)
Other versions
JPWO2017047182A1 (ja
Inventor
哲男 池田
哲男 池田
優 林
優 林
まや 蒲池
まや 蒲池
智裕 石井
智裕 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017047182A1 publication Critical patent/JPWO2017047182A1/ja
Application granted granted Critical
Publication of JP6747446B2 publication Critical patent/JP6747446B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00Board games; Raffle games
    • A63F3/00643Electric board games; Electric features of board games
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/18Question-and-answer games
    • A63F9/183Question-and-answer games electric
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3204Player-machine interfaces
    • G07F17/3206Player sensing means, e.g. presence detection, biometrics
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3204Player-machine interfaces
    • G07F17/3211Display means
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3216Construction aspects of a gaming system, e.g. housing, seats, ergonomic aspects
    • G07F17/322Casino tables, e.g. tables having integrated screens, chip detection means
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F1/00Card games
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F1/00Card games
    • A63F2001/008Card games adapted for being playable on a screen
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00Board games; Raffle games
    • A63F3/00697Playing pieces
    • A63F2003/007Design of classical playing pieces, e.g. classical chess, draughts or go
    • A63F2003/00712Scissors, paper, stone or rock
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401Detail of input, input devices
    • A63F2009/2402Input by manual operation
    • A63F2009/241Touch screen
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2483Other characteristics
    • A63F2009/2485Other characteristics using a general-purpose personal computer
    • A63F2009/2486Other characteristics using a general-purpose personal computer the computer being an accessory to a board game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/26Balancing games, i.e. bringing elements into or out of balance

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
スマートフォンやタブレット端末などの、タッチパネルに対する操作によって、各種機能(アプリケーション)の実行や、様々な情報の提示を可能とする装置が、広く普及している。タブレット端末については、画面サイズの大型化も図られるようになり、複数のユーザが同時に操作する使われ方も考慮されるようになりつつある。また、情報を表示するための装置としては、プロジェクタが用いられる場合もある。
例えば、特許文献1には、プロジェクタにより投影面に対して比較的サイズの大きな操作画面を投影し、当該操作画面に対するユーザからのタッチ操作を検出することで、複数のユーザが同時に操作すること可能な環境を提供する技術の一例が開示されている。
特開2015−90524号公報
一方で、複数のユーザが同時に操作を行う状況下では、例えば、複数のユーザがグループに分かれて操作するような状況や、各ユーザが順番に操作を行うような状況等が想定され得る。このような場合には、例えば、グループ分けや順序等のような複数のユーザ間の関係を示す条件を設定し、当該条件に応じて各ユーザからの操作に基づく動作を制御するための仕組みが求められる場合がある。
そこで、本開示では、複数のユーザ間の関係を示す条件を設定し、当該条件に基づき各ユーザからの操作に応じた動作を制御することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、所定の領域内に存在する複数の操作体それぞれについて、当該操作体に関連する情報の検出結果を取得する取得部と、前記検出結果に基づき、前記複数の操作体それぞれによる操作に基づく動作を制御するための属性情報を生成する生成部と、を備える、情報処理装置が提供される。
また、本開示によれば、所定の領域内に存在する複数の操作体それぞれに関連する情報の検出結果を取得することと、プロセッサが、前記検出結果に基づき、前記複数の操作体それぞれによる操作に基づく動作を制御するための属性情報を生成することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、所定の領域内に存在する複数の操作体それぞれに関連する情報の検出結果を取得することと、前記検出結果に基づき、前記複数の操作体それぞれによる操作に基づく動作を制御するための属性情報を生成することと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、複数のユーザ間の関係を示す条件を設定し、当該条件に応じて各ユーザからの操作に応じた動作を制御することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の構成例を示す説明図である。 同実施形態にかかる情報処理装置のさらなる別の形態の例を示す説明図である。 同実施形態にかかる情報処理装置のさらなる別の形態の例を示す説明図である。 本開示の第1の実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。 同実施形態に係る情報処理装置の一連の処理の流れの一例を示したフローチャートである。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−1に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−2に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−2に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−2に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−3に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−3に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−3に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−4に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−4に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−5に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−5に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−5に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−5に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−6に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−6に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−6に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−6に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−6に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−6に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−6に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−6に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−6に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−6に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−6に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−6に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−7に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−7に係る情報処理装置の動作の一例について説明するための説明図である。 実施例1−7に係る情報処理装置の動作の一例について説明するための説明図である。 本開示の第2の実施形態に係る情報処理装置の一連の処理の流れの一例を示したフローチャートである。 実施例2に係る情報処理装置の動作の一例について説明するための説明図である。 実施例2に係る情報処理装置の動作の一例について説明するための説明図である。 実施例2に係る情報処理装置の動作の一例について説明するための説明図である。 実施例2に係る情報処理装置の動作の一例について説明するための説明図である。 実施例2に係る情報処理装置の動作の一例について説明するための説明図である。 実施例2に係る情報処理装置の動作の一例について説明するための説明図である。 実施例2に係る情報処理装置の動作の一例について説明するための説明図である。 実施例2に係る情報処理装置の動作の一例について説明するための説明図である。 実施例2に係る情報処理装置の動作の一例について説明するための説明図である。 本開示の一実施形態にかかる情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施の形態
1.1.構成例
1.2.複数ユーザにより操作を行う場合についての検討
1.3.機能構成
1.4.処理
1.5.実施例
1.5.1.実施例1−1:複数のユーザをグループに分類する制御の一例
1.5.2.実施例1−2:所属グループの提示方法の一例
1.5.3.実施例1−3:外部端末との連携の一例
1.5.4.実施例1−4:過去の属性情報を利用した制御の一例
1.5.5.実施例1−5:ユーザの識別結果を組み合わせた制御の一例
1.5.6.実施例1−6:ユーザ間を順序付けする制御の一例
1.5.7.実施例1−7:順序付けに応じた情報の提示方法の一例
1.6.まとめ
2.第2の実施の形態
2.1.概要
2.2.処理
2.3.実施例
2.4.まとめ
3.ハードウェア構成例
4.むすび
<1.第1の実施形態>
[1.1.構成例]
まず、図面を参照しながら本開示の一実施形態に係る情報処理装置の構成例について説明する。図1は、本開示の一実施形態に係る情報処理装置の構成例を示す説明図である。以下、図1を用いて本開示の一実施形態に係る情報処理装置の構成例について説明する。
図1に示したように、本開示の一実施形態に係る情報処理装置100aは、入力部110aと、出力部130aとを含む。図1に示した本開示の一実施形態に係る情報処理装置100aは、テーブル140aの天面に情報を表示し、テーブル140aに表示した情報に対して情報処理装置100aを使用するユーザに操作をさせる。なお、以降では、図1に示すようにテーブル140aの天面に情報を表示する方式を「プロジェクション型」と称する場合がある。また、情報処理装置100aは、入力部110aと、出力部130aとのうち、少なくともいずれかが外部装置として外付けされた情報処理システムとして構成されていてもよい。
入力部110aは、情報処理装置100aを使用するユーザの操作内容や、テーブル140aに置かれている物体の形状や模様などを入力するための装置である。図1に示した例では、入力部110aは、テーブル140aの上方に、例えば天井から吊り下げられた状態で設けられる。すなわち、入力部110aは、情報が表示される対象となるテーブル140aとは離隔して設けられる。入力部110aとしては、例えば1つの撮像光学系(例えば、一連のレンズ群)でテーブル140aを撮像するカメラや、2つの撮像光学系でテーブル140aを撮像して奥行き方向の情報を記録することが可能なステレオカメラ、情報処理装置100aを使用するユーザが発する音声や情報処理装置100aが置かれている環境の環境音等の音響情報を集音するための集音デバイス(例えば、マイク等)が用いられ得る。
入力部110aとして、1つの撮像光学系でテーブル140aを撮像するカメラが用いられる場合には、情報処理装置100aは、例えば、そのカメラが撮像した画像を解析することで、テーブル140aに置かれた物体を検出する。また入力部110aとしてステレオカメラが用いられる場合には、そのステレオカメラには、例えば可視光カメラや赤外線カメラ等が適用され得る。入力部110aとしてステレオカメラが用いられることで、入力部110aは、深度情報を取得することが可能となる。入力部110aが、深度情報を取得することで、情報処理装置100aは、例えばテーブル140aの上に置かれた手や物体等の実オブジェクトを検出することが可能となる。また入力部110aが、深度情報を取得することで、情報処理装置100aは、テーブル140aへのユーザの手のような操作体の接触及び近接や、テーブル140aからの操作体の離脱を検出することが可能となる。なお、以下の説明では、ユーザが情報の表示面に手等の操作体を接触または近接させることを、まとめて単に「接触」とも称する。
また入力部110aとしてマイクが用いられる場合、そのマイクは特定の方向からの音響情報(例えば、音声)を収音するためのマイクアレイが用いられ得る。入力部110aとしてマイクアレイが用いられる場合、情報処理装置100aは、マイクアレイの集音方向を任意の方向に調整しても良い。また、情報処理装置100aは、マイクアレイを構成する各マイクによる音響情報の集音結果に応じて、当該音響情報の到来方向を推定してもよい。具体的な一例として、情報処理装置100aは、アレイマイクを構成する各マイクにより集音された音響情報それぞれの音量の比率に応じて、当該音響情報の到来方向を推定してもよい。
なお、以下では、手などの操作体によるユーザの操作が、入力部110aによって撮像された画像から検出される場合を主に説明するが、本開示は係る例に限定されるものではない。ユーザの操作は、ユーザの指等の接触を検出するタッチパネルによって検出されてもよい。また入力部110aが取得できるユーザ操作としては、この他にも、例えば情報の表示面に対するスタイラス操作、カメラに対するジェスチャ操作等が含まれ得る。
出力部130aは、入力部110aによって入力された、情報処理装置100aを使用するユーザの操作内容や、出力部130aが出力している情報の内容、テーブル140aに置かれている物体の形状や模様等の情報に応じて、テーブル140aに情報を表示したり、音声を出力したりするための構成である。出力部130aとしては、例えばプロジェクタやスピーカ等が用いられる。図1に示した例では、出力部130aは、テーブル140aの上方に、例えば天井から吊り下げられた状態で設けられる。出力部130aがプロジェクタで構成される場合、出力部130aは、テーブル140aの天面に情報を投影する。出力部130aがスピーカで構成される場合、出力部130aは、音声信号に基づいて音声を出力する。出力部130aがスピーカで構成される場合、スピーカの数は1つで合っても良く、複数であっても良い。出力部130aが複数のスピーカで構成される場合、情報処理装置100aは、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしても良い。
また情報処理装置100aが図1に示したようなプロジェクション型である場合、出力部130aに、照明機器が含まれていても良い。出力部130aに照明機器が含まれる場合、情報処理装置100aは、入力部110aによって入力された情報の内容に基づいて、照明機器の点灯、消灯等の状態を制御しても良い。
情報処理装置100aを使用するユーザは、出力部130aがテーブル140aに表示する情報に対して、指などをテーブル140aに置いて操作することが出来る。また情報処理装置100aを使用するユーザは、テーブル140aに物体を置いて入力部110aに認識させることで、その認識させた物体(即ち、実オブジェクト)に関する種々の操作を実行することが出来る。
なお図1には図示しないが、情報処理装置100aには他の装置が接続されていても良い。例えば情報処理装置100aには、テーブル140aを照らすための照明機器が接続されていても良い。情報処理装置100aにテーブル140aを照らすための照明機器が接続されていることで、情報処理装置100aは、情報の表示面の状態に応じて照明機器の点灯状態を制御することが可能となる。
また、本開示では、情報処理装置の形態は図1に示したものに限定されるものではない。図2及び図3は、本開示の一実施形態にかかる情報処理装置のさらなる別の形態の例を示す説明図である。
図2に示したのは、本開示の一実施形態に係る情報処理装置100bの構成例を示す説明図であり、テーブル140bの下から情報を出力部130aに照射させることで、テーブル140bの表面に情報を表示させるように構成されているものである。すなわち、図2に示した情報処理装置100bでは、情報の表示面はテーブル140bの天面となる。テーブル140bの面はガラス板や透明プラスチック板等の透明な材質で形成される。図2のようにテーブル140bの下から情報を出力部130aに照射させて、テーブル140bの天面に情報を表示する方式を「リアプロジェクション型」とも称する。図2に示した例では、テーブル140bの表面に入力部110bが設けられる構成を示しているが、図1に示した情報処理装置100aと同様に、入力部110bは、テーブル140bの下方にテーブル140bとは離隔して設けられても良い。また、図2に示した情報処理装置100bでは、図1に示した情報処理装置100aと同様に、テーブル140bの天面の上方に、ユーザの位置を検出するためのカメラが設けられても良い。また、この場合には、情報処理装置100bは、テーブル140bの天面の上方に設けられたカメラとして、ステレオカメラが用いられることで、深度情報を取得可能に構成されていてもよい。
図3に示したのは、本開示の一実施形態に係る情報処理装置100cの構成例を示す説明図である。図3には、タッチパネル式のディスプレイがテーブル上に置かれている状態が示されている。このようにタッチパネル式のディスプレイの場合、入力部110c及び出力部130cは、タッチパネル式のディスプレイとして構成され得る。すなわち、図3に示した情報処理装置100cでは、情報の表示面はタッチパネル式のディスプレイとなる。なお、図3に示した情報処理装置100cでは、図1に示した情報処理装置100aと同様に、タッチパネル式のディスプレイの上方に、ユーザの位置を検出するためのカメラが設けられても良い。また、この場合には、情報処理装置100cは、タッチパネル式のディスプレイの上方に設けられたカメラとして、ステレオカメラが用いられることで、深度情報を取得可能に構成されていてもよい。
なお以下の説明では、図1に示したような、テーブル140aの上方に入力部110a及び出力部130aが設けられる情報処理装置100aの構成、すなわち、情報の表示面と離隔して入力部110a及び出力部130aが設けられる構成を例にして説明する。また、以下の説明では、情報処理装置100a、入力部110a、出力部130aを、単に情報処理装置100、入力部110、出力部130として説明する。
[1.2.複数ユーザにより操作を行う場合についての検討]
ここで、本開示の一実施形態に係る情報処理装置100の特徴をよりわかりやすくするために、当該情報処理装置100を複数のユーザで操作する場合について検討し、次いで、本実施形態に係る情報処理装置100の課題について整理する。
本開示の一実施形態に係る情報処理装置100は、例えば、プロジェクタとして構成された出力部130により投影面(例えば、テーブルの天面等)に対して画面を投影する等により、比較的サイズの大きい操作画面をユーザに提示することが可能である。そのため、当該実施形態に係る情報処理装置100は、単一のユーザによる操作のみに限らず、例えば、複数のユーザが同時に操作するような状況についても想定している。
一方で、複数のユーザが同時に操作を行う状況下では、例えば、複数のユーザがグループに分かれて操作する場合や、各ユーザが順番に操作を行う場合等のように、各ユーザからの操作に応じた各種動作を、条件に応じて制御する(例えば、制限する)ことが求められる場合がある。
具体的な一例として、複数のユーザがグループに分かれて操作するような状況下では、複数のユーザそれぞれに対応する操作体をグループに分類する(換言すると、複数の操作体間を関連付ける)ための仕組みや、操作を受け付けた操作体が所属するグループに応じて制御を切り替える仕組み等が必要となる場合がある。また、他の一例として、複数のユーザが順番に操作を行うような状況下では、複数のユーザそれぞれに対応する操作体に対して操作の順序を設定する(換言すると、各ユーザの操作体を順位付けする)仕組みや、設定された順序に応じて各操作体からの操作に応じた動作を制御する(例えば、順序に応じて一部の操作体による操作を制限する)仕組み等が必要となる場合がある。
上記を実現するための手法として、例えば、各ユーザが操作を行うための操作体として専用のデバイスを使用する方法が挙げられる。この場合には、例えば、情報処理装置100は、各ユーザが操作するデバイスそれぞれを識別することで、各操作をユーザごとに識別し、当該識別結果に応じて上記に説明したような各種制御を実行することが可能である。しかしながら、この場合には、各ユーザが専用のデバイスを使用することが前提となるため、例えば、手や指等を操作体として操作をすることを想定した利用シーンへの適用は困難である。
そこで、本開示では、専用のデバイスを必要としないより簡素な構成に基づき、グループ分けや順序等のような複数のユーザ間の関係を示す条件を設定し、当該条件に応じて各ユーザからの操作に応じた各種動作(例えば、情報の提示やアプリケーションの実行等)を制御することが可能な仕組みを提案する。
[1.3.機能構成]
次に、図4を参照して、本開示の第1の実施形態に係る情報処理装置100の機能構成の一例について説明する。図4は、本実施形態に係る情報処理装置100の機能構成の一例を示したブロック図である。なお、本説明では、情報処理装置100が上記に説明したプロジェクション型として構成されている場合を例に説明する。
図4に示すように、本実施形態に係る情報処理装置100は、入力部110と、制御部120と、出力部130とを含む。図4に示す、入力部110及び出力部130は、例えば、図1に示した入力部110a及び出力部130aに相当し得る。
入力部110は、情報処理装置100を使用するユーザの当該情報処理装置100に対する操作内容や、出力部130が情報を出力する面(以降では「表示面R10」と称する場合がある)に置かれている物体の形状や模様などを示す情報を取得するための構成である。なお、表示面R10は、例えば、図1に示したテーブル140aの天面のような投影面等に相当し得る。
より具体的な一例として、入力部110は、カメラ等のような撮像部を含んでもよい。この場合には、入力部110は、例えば、表示面R10に置かれている物体の形状や模様などを示す情報を、撮像部により撮像された画像情報として取得し、取得した画像情報を後述する制御部120に出力する。なお、当該撮像部は、例えば、1つの撮像光学系で構成されるカメラや、2つの撮像光学系で構成されるステレオカメラ等により構成され得る。
制御部120は、情報処理装置100の各部の制御を実行する。例えば制御部120は、入力部110が入力した情報を用いて、出力部130から出力する情報を生成する。図4に示すように、制御部120は、入力解析部121と、属性情報生成部123と、処理実行部125と、出力制御部127とを含む。
入力解析部121は、情報処理装置100を使用するユーザの、情報処理装置100に対する操作内容や、出力部130が出力している情報の内容、出力部130が情報を出力する表示面R10(例えば図1に示したテーブル140a)上に存在する物体の形状や模様などを検出する処理を実行する。
例えば情報処理装置100が、図1に示したプロジェクション型の場合には、入力解析部121は、撮像部により撮像された表示面R10の画像を取得し、当該画像を解析することで、ユーザの手等のような操作体や表示面R10上に存在する物体等を検出する。このとき、情報を表示する表示面R10の座標と、ユーザの手等の操作体の表示面R10への接触座標とが一致するように予め校正されることで、例えば、入力解析部121は、操作体が、GUIのどの部分に接触したかを検出することが可能となる。
また、入力解析部121は、表示面R10上に存在する各操作体、ひいては、当該操作体を操作するユーザそれぞれを識別してもよい。例えば、入力解析部121は、ユーザが情報処理装置100を操作するために、表示面R10上の領域(即ち、入力部110により入力が検出される領域)に腕を挿入した場合に、入力解析部121は、当該領域に対して腕が挿入された位置(即ち、表示面R10の端部上における腕の根元側が存在する位置)に基づき、当該腕に対応する手(即ち、操作体)を識別してもよい。また、他の一例として、入力解析部121は、手等の操作体の形状や模様等の特徴の違いに基づき、各ユーザに対応する当該操作体を識別してもよい。なお、このとき、入力解析部121は、例えば、静脈認証等の技術に基づき各操作体を識別してもよく、その場合には、情報処理装置100に当該識別処理を実現するための構成(例えば、赤外線カメラ等)が設けられていてもよい。
そして、入力解析部121は、表示面R10上に存在する各操作体や各物体、各操作体を介した操作内容、及び、各操作体の識別結果等のような検出した各種情報を、入力情報として、属性情報生成部123、処理実行部125、及び出力制御部127に出力する。
属性情報生成部123は、入力解析部121から、表示面R10上に存在する各操作体や各物体の検出結果、各操作体を介した操作内容の検出結果、及び、各操作体の識別結果等の入力情報を取得する。そして、属性情報生成部123は、取得した入力情報に基づき、後述する処理実行部125及び出力制御部127が、各操作体それぞれによる操作に基づく各種動作を制御するための属性情報を生成する。
より具体的には、属性情報生成部123は、各操作体の位置、向き、形状、模様、及び動作等のうち少なくともいずれかを示す情報(以降では、「操作情報」とも称する)を認識する。そして、属性情報生成部123は、操作情報の認識結果に基づき属性情報を生成する。
また、属性情報生成部123は、操作情報の認識結果と、表示面R10上に存在する各物体の認識結果とに基づき属性情報を生成してもよい。より具体的な一例として、属性情報生成部123は、各操作体の状態と、当該操作体が保持する物体(例えば、把持する物体)の状態とに基づき、属性情報を生成してもよい。
また、属性情報生成部123は、出力制御部127から、表示面R10上に表示されている各種表示情報の位置や向き等のような、当該表示情報に関する情報を取得してもよい。この場合には、属性情報生成部123は、操作情報の認識結果と、取得した表示情報に関する情報とに基づき属性情報を生成してもよい。より具体的な一例として、属性情報生成部123は、各表示情報の位置を示す情報と、各操作体の位置を示す情報とに基づき、当該表示情報に対する当該操作体による操作を認識し、当該操作の認識結果に基づき属性情報を生成してもよい。
また、属性情報生成部123は、処理実行部125から実行中のアプリケーションの状態や、当該アプリケーションの実行結果等のような、アプリケーションに関する情報を取得してもよい。この場合には、属性情報生成部123は、操作情報の認識結果と、取得したアプリケーションに関する情報とに基づき属性情報を生成してもよい。より具体的な一例として、属性情報生成部123は、アプリケーションとして実行される各種処理の開始、実行中、または、終了等の各種契機に応じて、操作情報の認識結果に応じた属性情報の生成に係る動作を制御してもよい。
また、属性情報生成部123により生成される属性情報としては、例えば、表示面R10上に存在する複数の操作体のうち、少なくとも2以上の操作体間を関連付けるための情報(換言すると、複数の操作体それぞれに対応するユーザをグループに分類するための情報)が挙げられる。また、属性情報の他の一例として、表示面R10上に存在する複数の操作体間を重み付けする(例えば、順位付けする)ための情報が挙げられる。
もちろん、上記に説明した例はあくまで一例であり、取得した入力情報に基づき、各操作体それぞれによる操作に基づく各種動作を制御するための属性情報が生成されれば、属性情報の内容や、当該属性情報の生成方法は特に限定されない。なお、属性情報の生成に係る動作や、当該属性情報に基づく制御に係る動作の詳細については、別途実施例として後述する。
以上のようにして、属性情報生成部123は、取得した入力情報に基づき属性情報を生成し、生成した属性情報を、処理実行部125及び出力制御部127のうち少なくともいずれかに出力する。また、属性情報生成部123は、生成した属性情報を、所定の記憶領域に記憶させることで、当該属性情報を一時的または恒常的に保持してもよい。なお、この場合には、属性情報生成部123は、生成した属性情報を、当該記憶領域を介して、処理実行部125及び出力制御部127に出力してもよい。
処理実行部125は、アプリケーション等の各種処理を実行するための構成である。処理実行部125は、例えば、入力部110を介したユーザからの指示に基づき、対応するアプリケーションを所定の記憶部(図示しない)から抽出し、抽出したアプリケーションを実行する。なお、このとき処理実行部125は、属性情報生成部123から属性情報を取得し、取得した属性情報に示された内容(例えば、操作体間の関連付けや、操作体間の重み付け)に応じて、各種アプリケーションの実行を制御してもよい(例えば、制限してもよい)。なお、本動作の詳細については、実施例として別途後述する。また、処理実行部125は、実行した各種アプリケーションの実行結果を出力制御部127に出力する。
出力制御部127は、入力解析部121による入力情報の解析結果に基づいて出力部130から出力するための出力情報を生成し、当該出力情報を出力部130に出力させる。
具体的な一例として、出力制御部127は、入力解析部121から、検出されたユーザの操作内容を示す入力情報を取得する。出力制御部127は、取得した入力情報に基づき、ユーザ入力により指定された操作対象(例えば、表示オブジェクト)と、当該操作対象に対する処理内容を認識する。そして、出力制御部127は、特定した操作対象及び処理内容に応じて、表示制御の対象となる表示オブジェクトを特定し、特定した表示オブジェクトの表示及び非表示、表示位置や向き、及び表示態様(例えば、色やサイズ)等を制御する。
また、出力制御部127は、検出されたユーザの操作内容に応じた各種情報を、表示情報として表示させることで、ユーザに提示してもよい。具体的な一例として、出力制御部127は、検出されたユーザの操作内容に応じて、ユーザが手等の操作体により指定した表示面R10上の位置が識別可能に示された表示情報を表示させてもよい。また、このとき出力制御部127は、各ユーザの操作体の位置に応じて、当該表示情報を表示させる位置や向きを制御してもよい。例えば、出力制御部127は、所定のユーザに対して提示する表示情報が、当該ユーザに対応する操作体上に重畳されるように、当該表示情報が表示される表示面R10中の位置や向きを制御してもよい。
また、出力制御部127は、処理実行部125からアプリケーションの実行結果を取得し、当該実行結果に基づき出力情報の生成や、当該出力情報の出力に係る制御を行ってもよい。具体的な一例として、出力制御部127は、処理実行部125からアプリケーションが出力する情報(例えば、ユーザに対する報知情報)を取得し、取得した当該情報を表示情報としてユーザに提示してもよい。また、このとき、出力制御部127は、処理実行部125から実行されたアプリケーションに関する制御情報を取得し、取得した制御情報に基づき、当該アプリケーションに対応付けられた表示オブジェクトに、当該アプリケーションが出力する情報(例えば、アプリケーションの実行結果)を提示してもよい。
また、出力制御部127は、属性情報生成部123から属性情報を取得し、取得した属性情報に示された内容(例えば、操作体間の関連付けや、操作体間の重み付け)に応じて、対応する表示情報が表示されるように制御してもよい。具体的な一例として、出力制御部127は、属性情報に基づき、互いに関連付けられた操作体間を示す表示情報が出力部130に出力させてもよい。また、他の一例として、出力制御部127は、属性情報に基づき、操作体間に設定された重みを示す表示情報を出力部130に出力させてもよい。
なお、出力制御部127は、表示情報に限らず、例えば、音声、音楽、または効果音等のような音響情報を、出力情報として出力部130(例えば、スピーカ等の音響デバイス)に出力させてもよい。この場合には、例えば、出力制御部127は、検出されたユーザの操作内容に応じた音響情報を、出力部130に出力させてもよい。また、他の一例として、出力制御部127は、アプリケーションの実行結果に応じた音響情報を、出力部130に出力させてもよい。また、出力制御部127は、取得した属性情報に示された内容に応じて、音響情報の出力を制御してもよい。
出力部130は、入力部110によって入力された情報処理装置100を使用するユーザの操作内容や、出力部130が出力している情報の内容、または、表示面R10(例えば図1に示したテーブル140a)に置かれている物体の形状や模様等の情報に応じて各種情報を出力する。出力部130は、出力制御部127が生成する情報に基づいて各種情報を出力する。
より具体的には、出力部130は、表示オブジェクトが提示された画面(GUI)や、各ユーザに対して提示される報知情報等を、表示情報として表示させる。情報処理装置100がプロジェクション型として構成されている場合には、出力部130は、例えば、所望の投影面(即ち、表示面R10)に向けて表示情報を投影するためのプロジェクタを含み得る。
また、出力部130は、表示情報に加えて、例えば、効果音、音楽、音声等のような音響情報を出力情報として出力可能に構成されていてもよい。この場合には、出力部130は、例えば、スピーカ等の音響デバイスを含み得る。
なお、上記に説明した機能構成はあくまで一例であり、必ずしも図4に示す例には限定されない。具体的な一例として、入力部110、制御部120、及び出力部130のうち、いずれかの構成が情報処理装置100の外部に設けられていてもよい。また、他の一例として、制御部120の各種構成のうち、少なくとも一部が、情報処理装置100とは異なる外部装置に設けられていてもよい。
以上、図4を参照して、本開示の第1の実施形態に係る情報処理装置100の機能構成の一例について説明した。
[1.4.処理]
次に、図5を参照して、本開示の第1の実施形態に係る情報処理装置100の一連の処理の流れの一例について、特に、情報処理装置100による属性情報の生成に係る処理に着目して説明する。図5は、本実施形態に係る情報処理装置100の一連の処理の流れの一例を示したフローチャートである。なお、本説明では、本実施形態に係る情報処理装置100の特徴をよりわかりやすくするために、各ユーザが自身の手を操作体として、情報処理装置100による当該操作体の検出範囲内(即ち、表示面R10上の領域)において、各種操作や各種動作を行う場合を例に説明する。
(ステップS101)
まず、情報処理装置100は、ユーザに対して、属性動作を生成するための各種操作や各種動作の実行を指示するための情報を報知する。例えば、情報処理装置100は、ユーザに対する指示内容を示す表示情報を表示面R10に投影することで、当該指示内容をユーザに報知してもよい。
(ステップS105)
次いで、情報処理装置100は、所定の検知範囲内(例えば、表示面R10上)に存在する、各ユーザの手を操作体として検知する。そして、情報処理装置100は、操作体の検知結果に基づき、属性情報の生成条件に応じた各種情報(即ち、操作情報)を取得する。具体的な一例として、情報処理装置100は、操作体が撮像された画像を解析することで、当該操作体の形状特徴を示す操作情報を取得してもよい。また、他の一例として、情報処理装置100は、操作体が撮像された動画像を解析することで、当該操作体の動作を示す操作情報を取得してもよい。
(ステップS107)
そして、情報処理装置100は、操作体の検知結果に基づき取得した操作情報が、当該操作体の検知に係る動作の終了条件を満たしているか否かを判定する。なお、当該終了条件とは、情報処理装置100がユーザに対して実行を指示した各種操作や各種動作を、当該ユーザが実行したことを示す条件に相当する。
より具体的な一例として、情報処理装置100は、各ユーザに対して、手の形状を、複数の候補のうちのいずれかの形状に変化させるように指示したものとする。この場合には、情報処理装置100は、検知された操作体(即ち、ユーザの手)の形状が、当該複数の候補のいずれかに合致する場合に、当該操作体が終了条件を満たしたものと判定する。
また、他の一例として、情報処理装置100は、各ユーザに対して、手を使った動作(例えば、ジェスチャ)として、複数の候補のうちいずれかの動作の実行を指示したものとする。この場合には、情報処理装置100は、検知された操作体の動作が、当該複数の候補のいずれかに合致する場合に、当該操作体が終了条件を満たしたものと判定する。
(ステップS108、S109)
なお、情報処理装置100は、検知された操作体が終了条件を満たした場合には(S107、YES)、当該操作体が終了条件を満たしたことを、当該操作体に対応するユーザにフィードバックしてもよい(S108)。具体的な一例として、情報処理装置100は、表示面R10上に存在する操作体に重畳するように所定の報知情報を投影することで、当該報知情報を当該操作体に対応するユーザに提示してもよい。同様に、情報処理装置100は、検知された操作体が終了条件を満たしていない場合には(S107、NO)、当該操作体が終了条件を満たしていないことを、当該操作体に対応するユーザにフィードバックしてもよい(S109)。
(ステップS103)
以上のようにして、情報処理装置100は、ステップS105〜S109で示された一連の処理を、所定の検知範囲内に存在する全ての操作体について実行するまで継続する(S103、NO)。
(ステップS111)
情報処理装置100は、ステップS105〜S109で示された一連の処理を全て操作体について処理した場合には(S103、YES)、当該全ての操作体が終了条件を満たしたか否かを判定する。なお、このとき情報処理装置100は、全ての操作体が個々に終了条件を満たした否かの判定に加えて、複数の操作体を対象としてあらかじめ設定された制約条件を満たしているか否かを判定してもよい。より具体的な一例として、情報処理装置100は、同じ形状の操作体の数が閾値を超えている場合には、終了条件を満たしていないものと判定してもよい。このような制約を設けることで、情報処理装置100は、例えば、互いに関連付けられる操作体の数(換言すると、同一グループに分類されるユーザの数)を制限することが可能となる。なお、全ての操作体が終了条件を満たしていない場合には(S111、NO)、情報処理装置100は、ステップS105〜S109で示された一連の処理の実行を、全ての操作体が終了条件を満たすまで継続する。
(ステップS113)
全ての操作体が終了条件を満たした場合には(S111、YES)、情報処理装置100は、各操作体の検知結果の基づき取得した操作情報(例えば、操作体の形状や動きを示す情報等)に基づき、属性情報を生成する。例えば、情報処理装置100は、各操作体について取得した操作情報に基づき、2以上の操作体間を関連付けるための属性情報を生成してもよい。より具体的には、情報処理装置100は、操作情報が示す各操作体の形状特徴に基づき、互いに類似する形状を示す2以上の操作体間を関連付ける属性情報を生成してもよい。また、他の一例として、情報処理装置100は、複数の操作体が終了条件を満たした順序に応じて、当該複数の操作体間を重み付けする(例えば、順位付けする)ための属性情報を生成してもよい。
(ステップS115)
そして、情報処理装置100は、生成した属性情報に基づき各種処理を実行する。例えば、情報処理装置100は、2以上の操作体間を関連付ける(即ち、複数のユーザをグループに分類する)ための属性情報を生成した場合には、当該属性情報に基づき、各操作体による操作を、当該操作体に対応するユーザが所属するグループに応じて制御(例えば、制限)してもよい。また、情報処理装置100は、生成した属性情報に基づき、表示面R10上に存在する各操作体に対して、当該操作体に対応するユーザが所属するグループを示す情報を関連付けて提示してもよい。
また、情報処理装置100は、複数の操作体間を重み付けする(例えば、順序付けする)ための属性情報を生成した場合には、生成した属性情報に基づき、表示面R10上に存在する各操作体に対して、当該操作体に対応する重みを示す情報を関連付けて提示してもよい。また、情報処理装置100は、生成した属性情報に基づき、各操作体に対応する重みに応じて、少なくとも一部の操作体を介した操作を制御(例えば、制限)してもよい。
以上、図5を参照して、本開示の第1の実施形態に係る情報処理装置100の一連の処理の流れの一例について、特に、情報処理装置100による属性情報の生成に係る処理に着目して説明した。
[1.5.実施例]
次に、本開示の第1の実施形態に係る情報処理装置100の実施例として、情報処理装置100のより具体的な適用例について説明する。
[1.5.1.実施例1−1:複数のユーザをグループに分類する制御の一例]
まず、実施例1−1として、情報処理装置100が、複数のユーザをグループに分類するための制御(即ち、複数の操作体間を関連付ける制御)の一例について、具体的な例を挙げて説明する。なお、本実施例においては、特に説明が無い限りは、情報処理装置100が、所定の検知範囲内(例えば、表示面R10上)に存在する手u11〜u16それぞれに対応数するユーザ(即ち、6人のユーザ)を複数のグループに分ける場合を例に説明する。
(手形状に応じたグループへの分類の一例)
まず、図6〜図8を参照して、情報処理装置100が、複数のユーザそれぞれの手の形状を認識し、当該形状の認識結果に応じて、当該複数のユーザをグループに分類する制御の一例について説明する。図6〜図8は、実施例1−1に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が手形状の認識結果に応じて複数のユーザをグループに分類する制御の一例を示している。
まず、図6に示すように、情報処理装置100は、各ユーザに対して自身の手の形状を複数の候補のうちのいずれかの形状をとるように指示する。例えば、図6に示す例では、情報処理装置100は、ユーザに対して、自身の手をグー、チョキ、パーのうちのいずれかの形状とするように指示するための表示情報v111を表示面R10に投影することで、当該指示の内容を各ユーザに報知している。また、情報処理装置100は、所定の検知範囲内(例えば、表示面R10上)に存在する、各ユーザの手(換言すると、操作体)の検知を開始する。
次いで、図7に示すように、情報処理装置100により表示情報v111として提示された指示内容に応じて、各ユーザが自身の手の形状を変化させたものとする。図7に示す例では、手u12が「グー」の形状を示し、手u11及びu15が「チョキ」の形状を示し、手u13及びu16が「パー」の形状を示している。また、手u14については、「グー」、「チョキ」、「パー」のいずれに該当するかを判別することが困難な形状を示している。即ち、図7に示す例では、手u11〜u13、u15、及びu16が、情報処理装置100が指示した内容が示す条件(以降、「終了条件」とも称する)を満たしており、手u14については、終了条件を満たしてないこととなる。この場合には、例えば、情報処理装置100は、終了条件を満たしてない手u14に対応するユーザに対して、表示情報v111として示した指示内容に従うように情報をフィードバックする。具体的には、図7に示す例では、情報処理装置100は、手の形状を指示内容として示した候補のうちのいずれかの形状をとる旨の指示を示した報知情報v113を、手u14に関連付けて投影している。
また、情報処理装置100は、対象となるすべての手(即ち、手u11〜u16)が終了条件を満たした場合には、対象となる手それぞれの形状に応じて、それぞれの手に対応するユーザをグループに分類するための属性情報を生成する。例えば、図7に示す例では、手u11及びu15が「チョキ」の形状を示している(即ち、手u11及びu15は互いに類似する形状を示している)。そのため、情報処理装置100は、手u11及びu15それぞれに対応するユーザを同一グループに分類する。同様に、図7に示す例では、手u13及びu16が「パー」の形状を示しているため、情報処理装置100は、手u13及びu16それぞれに対応するユーザを同一グループに分類する。また、手u14が「グー」の形状を示したものとする。この場合には、手u12及びu14が「グー」の形状を示すことになるため、情報処理装置100は、手u12及びu14それぞれに対応するユーザを同一グループに分類する。
そして、情報処理装置100は、生成した属性情報、即ち、複数のユーザをグループに分類するための属性情報に応じて各種制御を実行する。例えば、図8は、情報処理装置100が、生成した属性情報に基づき、各ユーザが属するグループを示す表示情報v115を、当該ユーザに対応する手に関連付けて提示する場合の一例を示している。図8に示す例では、情報処理装置100は、各ユーザの手それぞれについて、表示面R10上の領域への進入位置(即ち、当該領域に対して各ユーザの腕が挿入される位置)を特定し、当該進入位置に相当する位置に、当該ユーザの属するグループを示す表示情報v115を投影している。なお、図8に示した、属性情報に基づく情報の提示方法は、あくまで一例であり、必ずしも図8に示す例には限定されない。なお、その他の例については別途後述する。
以上、図6〜図8を参照して、情報処理装置100が、複数のユーザそれぞれの手の形状を認識し、当該形状の認識結果に応じて、当該複数のユーザをグループに分類する制御の一例について説明した。
(手の向きに応じたグループへの分類の一例)
次に、図9〜図11を参照して、情報処理装置100が、複数のユーザそれぞれの手の向き(即ち、手の平と手の甲とのうちいずれが上方を向いているか)を認識し、当該手の向きの認識結果に応じて、当該複数のユーザをグループに分類する制御の一例について説明する。図9〜図11は、実施例1−1に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が複数のユーザそれぞれの手の向きの認識結果に応じて複数のユーザをグループに分類する制御の一例を示している。
まず、図9に示すように、情報処理装置100は、各ユーザに対して手の平と手の甲のうちのいずれかを提示するように指示する。図9に示す例では、情報処理装置100は、表示情報v111を表示面R10に投影することで、指示の内容を各ユーザに報知している。また、情報処理装置100は、所定の検知範囲内(例えば、表示面R10上の領域)に存在する、各ユーザの手(換言すると、操作体)の検知を開始する。
なお、情報処理装置100が、各ユーザが「手の平(オモテ側)」と「手の甲(ウラ側)」とのうちのいずれを提示しているかを認識できれば、その方法は特に限定されない。例えば、情報処理装置100は、各ユーザの手が撮像された画像の解析することで、当該手の形状の特徴や、手の模様(例えば、手の平上のしわ等)の特徴に応じて、「手の平(オモテ側)」と「手の甲(ウラ側)」とのうちのいずれが提示されているかを認識してもよい。もちろん、上記に説明した例はあくまで一例であり、必ずしも上記に説明した例には限定されない。
次いで、図10に示すように、情報処理装置100により表示情報v111として提示された指示内容に応じて、各ユーザが自身の手の向きを変化させたものとする。図10に示す例では、手u12、u15、及びu16が「手の平(オモテ側)」を示し、手u11及びu13が「手の甲(ウラ側)」を示している。また、手u14については、「手の平(オモテ側)」と「手の甲(ウラ側)」といずれと判別するかが曖昧な向きを示している。即ち、図10に示す例では、手u11〜u13、u15、及びu16が、終了条件を満たしており、手u14については、終了条件を満たしてないこととなる。この場合には、例えば、情報処理装置100は、終了条件を満たしてない手u14に対応するユーザに対して、手の平と手の甲とのいずれかを提示する旨の指示を示した報知情報v113を、手u14に関連付けて投影している。なお、以降では、当該指示を受けて、手u14が「手の甲(ウラ側)」を示したものとして説明する。
情報処理装置100は、対象となるすべての手(即ち、手u11〜u16)が終了条件を満たした場合には、対象となる手それぞれの形状に応じて、それぞれの手に対応するユーザをグループに分類するための属性情報を生成する。より具体的には、情報処理装置100は、「手の平(オモテ側)」を示している手u12、u15、及びu16それぞれに対応するユーザを同一グループに分類する。同様に、情報処理装置100は、「手の甲(ウラ側)」を示している手u11、u13、及びu14それぞれに対応するユーザを同一グループに分類する。
そして、情報処理装置100は、生成した属性情報、即ち、複数のユーザをグループに分類するための属性情報に応じて各種制御を実行する。例えば、図11は、情報処理装置100が、生成した属性情報に基づき、各ユーザが属するグループを示す表示情報v115を、当該ユーザに対応する手に関連付けて提示する場合の一例を示している。図11に示す例では、情報処理装置100は、「手の平(オモテ側)」を提示したユーザを「Aグループ」とし、「手の甲(ウラ側)」を提示したユーザを「Bグループ」として、各ユーザが属するグループを示す表示情報v115を提示している。なお、図11に示す表示情報v115の提示方法は、図8に示す例と同様のため詳細な説明は省略する。
以上、図9〜図11を参照して、情報処理装置100が、複数のユーザそれぞれの手の向きを認識し、当該手の向きの認識結果に応じて、当該複数のユーザをグループに分類する制御の一例について説明
(表示情報への操作に応じたグループへの分類の一例)
次に、図12〜図14を参照して、情報処理装置100が、所定の表示情報を提示し、当該表示情報に対する複数のユーザそれぞれの手による操作に応じて、当該複数のユーザをグループに分類する制御の一例について説明する。図12〜図14は、実施例1−1に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、所定の表示情報に対する複数のユーザそれぞれの手による操作に応じて、当該複数のユーザをグループに分類する制御の一例を示している。
具体的には、図12に示すように、情報処理装置100は、各グループに対応する表示情報v117を表示面R10に投影する。例えば、図12に示す例では、情報処理装置100は、「グループA」〜「グループC」の3つのグループそれぞれに対応する表示情報v117a〜v117cを表示面R10に投影している。この場合には、情報処理装置100は、複数のユーザを「グループA」〜「グループC」の3つのグループに分類することとなる。なお、以降の説明では、表示情報v117a〜v117cを特に区別しない場合には、単に「表示情報v117」と称する場合がある。また、情報処理装置100は、所定の検知範囲内(例えば、表示面R10上の領域)に存在する、各ユーザの手の検知を開始する。
情報処理装置100は、各ユーザの手による表示情報v117a〜v117cに対する操作(例えば、タッチ操作)を検知した場合には、操作の主体である手に対応するユーザを、操作対象である表示情報v117に対応するグループに分類する。例えば、図9に示す例では、手u11が表示情報v117aをタッチしている。そのため、情報処理装置100は、手u11に対応するユーザを、表示情報v117a対応する「グループA」に分類している。なお、このとき、情報処理装置100は、「グループA」に所属していることを示す表示情報v115を、手u11に関連付けて提示している。同様に、図12に示す例では、手u14が表示情報v117cをタッチしている。そのため、情報処理装置100は、手u14に対応するユーザを、表示情報v117c対応する「グループC」に分類することとなる。
なお、情報処理装置100は、複数のユーザをグループに分類する場合に所定の制約を設けてもよい。例えば、図13は、複数のユーザのグループへの分類に対して所定の制約を設けた場合の制御の一例を示している。例えば、図13に示す例では、「グループA」〜「グループC」それぞれに所属できるユーザの定員が2名に制限されている。この場合には、情報処理装置100は、表示情報v117として、対応するグループの定員を示す情報を提示してもよく、当該グループに分類されたユーザの人数をリアルタイムで提示してもよい。
また、図13に示す例では、既に手u11及びu12が表示情報v117aをタッチしており「グループA」に所属するユーザは既に定員に達している状態で、さらに、手u13が当該表示情報v117aをタッチした状況を示している。この場合には、情報処理装置100は、「グループA」が既に定員に達している旨を示した報知情報v113を、手u13に関連付けて提示している。
そして、情報処理装置100は、対象となるすべての手(即ち、手u11〜u16)が終了条件を満たした場合には、対象となる手それぞれの形状に応じて、それぞれの手に対応するユーザをグループに分類するための属性情報を生成する。例えば、図14は、全ての手が終了条件を満たした状態の一例を示している。より具体的には、情報処理装置100は、表示情報v117aをタッチしている手u11及びu12それぞれに対応するユーザを、当該表示情報v117aに対応する「グループA」に分類する。同様に、情報処理装置100は、表示情報v117bをタッチしている手u15及びu16それぞれに対応するユーザを、当該表示情報v117bに対応する「グループB」に分類する。また、情報処理装置100は、表示情報v117cをタッチしている手u13及びu14それぞれに対応するユーザを、当該表示情報v117cに対応する「グループC」に分類する。
以上、図12〜図14を参照して、情報処理装置100が、所定の表示情報を提示し、当該表示情報に対する複数のユーザそれぞれの手による操作に応じて、当該複数のユーザをグループに分類する制御の一例について説明した。
(複数の手の位置関係に応じたグループへの分類の一例)
次に、図15〜図17を参照して、情報処理装置100が、複数のユーザそれぞれの手の位置関係に応じて、当該複数のユーザをグループに分類する制御の一例について説明する。図15〜図17は、実施例1−1に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、複数のユーザそれぞれの手の位置関係に応じて、当該複数のユーザをグループに分類する制御の一例を示している。なお、本説明では、情報処理装置100が、互いに重ねあわされた複数の手(換言すると、互いに近傍に位置する複数の手)それぞれに対応するユーザどうしを同一のグループに分類する場合を例に説明する。
まず、図15に示すように、情報処理装置100は、各ユーザに対して互いグループを組むことを所望するユーザどうしで手を重ねるように指示する。図15に示す例では、情報処理装置100は、表示情報v111を表示面R10に投影することで、指示の内容を各ユーザに報知している。また、情報処理装置100は、所定の検知範囲内(例えば、表示面R10上の領域)に存在する、各ユーザの手(換言すると、操作体)の検知を開始する。
次いで、図16に示すように、情報処理装置100により表示情報v111として提示された指示内容に応じて、各ユーザが互いにグループを組むことを所望する相手と手を重ねたものとする。具体的には、図16は、手u11と手u12と重ねられており、手u13と手u14とが重ねられている状態を示している。なお、図16に示す例では、手u15と手u16とは、いずれの手とも重ねられていない。
このとき、情報処理装置100は、例えば、複数の手が重ねられた状態が所定の期間以上継続した場合に、当該複数の手それぞれに対応するユーザどうしを同一のグループに分類してもよい。例えば、図16に示す例では、手u11と手u12とが互いに重ねられた状態となった後に、まだ所定の期間が経過していないものとする。この場合には、情報処理装置100は、当該所定の期間が経過するまでの残り時間が提示された報知情報v113を、互いに重ねられた手u11及びu12に関連付けて提示してもよい。そして、情報処理装置100は、所定の期間が経過した後に、互いに重ねられた手u11及びu12それぞれに対応するユーザどうしを同一のグループに分類する。
また、図16に示す例では、手u13と手u14とが互いに重ねられた状態となった後に、所定の期間が既に経過しているものとする。この場合には、情報処理装置100は、互いに重ねられた手u13及びu14それぞれに対応するユーザどうしを同一のグループに分類する。また、このとき情報処理装置100は、手u13及びu14それぞれに対応するユーザどうしがグループとなったことを示す報知情報v113を、当該手u13及びu14に関連付けて提示してもよい。
また、情報処理装置100は、いずれの手とも重ねられていない手u15及びu16については、グループに分類されていないことを示す報知情報v113をそれぞれに関連付けて提示してもよい。
そして、情報処理装置100は、対象となるすべての手(即ち、手u11〜u16)が終了条件を満たした場合(即ち、いずれかの手と重ねられた場合)には、互いに重ねられた手それぞれに対応するユーザを同一のグループに分類するための属性情報を生成する。例えば、図17は、全ての手が終了条件を満たした状態の一例を示している。図17に示す例では、手u11と手u12とに対応するユーザが同一のグループ(グループA)に分類されている。同様に、手u15と手u16とに対応するユーザが同一のグループ(グループB)に分類されている。また、手u13と手u14とに対応するユーザが同一のグループ(グループC)に分類されている。なお、前述したその他の例と同様に、情報処理装置100は、生成した属性情報に基づき、各ユーザが属するグループを示す表示情報v115を、当該ユーザに対応する手に関連付けて提示してもよい。
以上、図15〜図17を参照して、情報処理装置100が、複数のユーザそれぞれの手の位置関係に応じて、当該複数のユーザをグループに分類する制御の一例について説明した。
(手の動きに応じたグループへの分類の一例)
次に、図18〜図20を参照して、情報処理装置100が、複数のユーザそれぞれの手の動きに応じて、当該複数のユーザをグループに分類する制御の一例について説明する。図18〜図21は、実施例1−1に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、複数のユーザそれぞれの手の動きに応じて、当該複数のユーザをグループに分類する制御の一例を示している。なお、本説明では、情報処理装置100が、複数の手が互いの手の平どうしをタッチする動作(例えば、ハイタッチの動作)を検出した場合に、当該複数の手それぞれに対応するユーザどうしを同一のグループに分類する場合を例に説明する。
まず、図18に示すように、情報処理装置100は、各ユーザに対して互いにグループを組むことを所望するユーザどうしでハイタッチをするように指示する。図18に示す例では、情報処理装置100は、表示情報v111を表示面R10に投影することで、指示の内容を各ユーザに報知している。また、情報処理装置100は、所定の検知範囲内(例えば、表示面R10上の領域)に存在する、各ユーザの手(換言すると、操作体)の検知を開始する。
次いで、図19に示すように、情報処理装置100により表示情報v111として提示された指示内容に応じて、少なくとも一部のユーザが互いにグループを組むことを所望する相手とハイタッチを行ったものとする。
例えば、図19に示す例では、手u12と手u13とがハイタッチを行っている。この場合には、情報処理装置100は、ハイタッチを行った手u12及びu13それぞれに対応するユーザどうしを同一のグループに分類する。また、情報処理装置100は、手u12と手u13とのハイタッチを検出した場合には、当該ハイタッチを検出したこと当該手u12及びu13それぞれのユーザに報知してもよい。例えば、図19に示す例では、情報処理装置100は、ハイタッチを検出したことを示す表示情報v119(例えば、強調表示のためのマーカ等)を、手u12及びu13に関連付けて提示している。
また、図19に示す例では、手u11と手u14とは既にハイタッチが完了しており、当該手u11及びu14それぞれに対応するユーザどうしが、既に同一のグループに分類されている。この場合には、情報処理装置100は、例えば、手u11及びu14それぞれに対応するユーザどうしが同一のグループ(例えば、グループA)に分類されていることを示す表示情報v115を、当該手u11及びu14のそれぞれに関連付けて提示してもよい。
また、情報処理装置100は、いずれの手ともハイタッチが行われていない手u15及びu16については、グループに分類されていないことを示す報知情報v113をそれぞれに関連付けて提示してもよい。
そして、情報処理装置100は、対象となるすべての手(即ち、手u11〜u16)が終了条件を満たした場合(即ち、いずれかの手とハイタッチを行った場合)には、ハイタッチが行われた複数の手それぞれに対応するユーザを同一のグループに分類するための属性情報を生成する。例えば、図20は、全ての手が終了条件を満たした状態の一例を示している。図20に示す例では、手u11と手u14とに対応するユーザが同一のグループ(グループA)に分類されている。同様に、手u12と手u13とに対応するユーザが同一のグループ(グループB)に分類されている。また、手u15と手u16とに対応するユーザが同一のグループ(グループC)に分類されている。なお、前述したその他の例と同様に、情報処理装置100は、生成した属性情報に基づき、各ユーザが属するグループを示す表示情報v115を、当該ユーザに対応する手に関連付けて提示してもよい。
以上、図18〜図20を参照して、情報処理装置100が、複数のユーザそれぞれの手の動きに応じて、当該複数のユーザをグループに分類する制御の一例について説明した。
[1.5.2.実施例1−2:所属グループの提示方法の一例]
次に、実施例1−2として、情報処理装置100が、複数のユーザをグループに分類するための属性情報(換言すると、複数の操作体間を関連付けるための属性情報)に基づき、各ユーザが属するグループを提示する方法の一例について説明する。なお、本実施例においては、特に説明が無い限りは、情報処理装置100が、所定の検知範囲内(例えば、表示面R10上の領域)に存在する手u11〜u16それぞれに対応数するユーザ(即ち、6人のユーザ)を複数のグループに分けた場合を例に説明する。
例えば、図21は、実施例1−2に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、各ユーザが属するグループを提示する方法の一例を示している。図21に示す例では、情報処理装置100は、生成した属性情報に基づき、各ユーザの手(即ち、手u11〜u16)それぞれの周囲に、当該ユーザが属するグループに対応する色で示された表示情報v121を提示している。
また、図22は、実施例1−2に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、各ユーザが属するグループを提示する方法の他の一例を示している。図22に示す例では、情報処理装置100は、生成した属性情報に基づき、各ユーザの手(即ち、手u11〜u16)の上(例えば、手の甲の上)に重畳するように、当該ユーザが属するグループを示す情報が示された表示情報v123を提示している。
また、図23は、実施例1−2に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、各ユーザが属するグループを提示する方法の他の一例を示している。図23に示す例では、情報処理装置100は、生成した属性情報に基づき、各ユーザの手(即ち、手u11〜u16)それぞれの指先の周囲に、当該ユーザが属するグループに対応する色で示された表示情報v125を提示している。
なお、上記に説明した例はあくまで一例であり、各ユーザが自身の属するグループを識別することが可能な情報が提示されていれば、情報処理装置100が属性情報に応じて提示する情報の種別や当該情報の表示態様は特に限定されない。
以上、実施例1−2として、情報処理装置100が、複数のユーザをグループに分類するための属性情報(換言すると、複数の操作体間を関連付けるための属性情報)に基づき、各ユーザが属するグループを提示する方法の一例について説明した。
[1.5.3.実施例1−3:外部端末との連携の一例]
次に、実施例1−3として、図24〜図26を参照して、情報処理装置100が、複数のユーザをグループに分類するための属性情報を利用することで、外部端末と連携して動作する場合の制御の一例について説明する。図24〜図26は、実施例1−3に係る情報処理装置100の動作の一例について説明するための説明図である。
例えば、図24に示す例では、情報処理装置100により、手u11〜u14それぞれに対応するユーザが、既に、複数のグループに分類されている。具体的には、手u12及びu14それぞれに対応するユーザがグループAに分類されており、手u11及びu13それぞれに対応するユーザがグループBに分類されている。また、所定の検知範囲内(例えば、表示面R10上の領域)には外部端末u21〜u24が存在しており、情報処理装置100は、当該外部端末u21〜u24それぞれを個々に識別して検知しているものとする。
なお、情報処理装置100が、外部端末u21〜u24それぞれを識別できれば、その方法は特に限定されない。例えば、情報処理装置100は、外部端末u21〜u24のいずれかとの間で通信(例えば、無線通信)を確立し、通信を確立した外部端末に所定の表示情報を提示させ、撮像した表示面R10の画像中から当該表示情報を提示する外部端末を特定する。情報処理装置100は、以上の動作を、外部端末u21〜u24それぞれについて時分割で順次実行することにより、当該外部端末u21〜u24それぞれを識別することが可能となる。
次いで、図25に示すように、情報処理装置100は、各ユーザが個々に自身の手で外部端末u21〜u24のいずれかを把持したことを検出したものとする。例えば、図25に示す例では、手u11が外部端末u24を把持している。この場合には、情報処理装置100は、外部端末u24が、手u11に対応するユーザが操作する端末であるものと認識する。同様に、手u12が外部端末u21を把持しているため、情報処理装置100は、当該外部端末u21が、手u12に対応するユーザが操作する端末であるものと認識する。また、手u13が外部端末u22を把持しているため、情報処理装置100は、当該外部端末u22が、手u13に対応するユーザが操作する端末であるものと認識する。また、手u14が外部端末u23を把持しているため、情報処理装置100は、当該外部端末u23が、手u14に対応するユーザが操作する端末であるものと認識する。
また、このとき情報処理装置100は、あらかじめ生成した属性情報と、各ユーザと外部端末u21〜u24それぞれとの間の関係とに基づき、当該外部端末u21〜u24それぞれを、対応するユーザが所属するグループに分類してもよい。例えば、図26は、情報処理装置100が、属性情報に基づき、外部端末u21〜u24それぞれを、対応するユーザが所属するグループに分類した場合の一例を示している。具体的には、図26に示すように、情報処理装置100は、手u12が把持する外部端末u21と、手u14が把持する外部端末u23とを、当該手u12及びu14それぞれに対応するユーザが所属するグループAに分類する。同様に、情報処理装置100は、手u11が把持する外部端末u24と、手u13が把持する外部端末u22とを、当該手u11及びu13それぞれに対応するユーザが所属するグループBに分類する。
以上、実施例1−3として、図24〜図26を参照して、情報処理装置100が、複数のユーザをグループに分類するための属性情報を利用することで、外部端末と連携して動作する場合の制御の一例について説明した。
[1.5.4.実施例1−4:過去の属性情報を利用した制御の一例]
次に、実施例1−4として、情報処理装置100が、複数のユーザをグループに分類する場合における、過去に生成した属性情報を利用した制御の一例について説明する。
例えば、図27は、実施例1−4に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、複数のユーザを新たにグループに分類する際に、過去に記録した属性情報に応じて報知情報を提示する場合の一例を示している。図27に示す例では、図15〜図17を参照して前述したように、情報処理装置100が、互いに重ねあわされた複数の手それぞれに対応するユーザどうしを同一のグループに分類する場合の一例を示している。
具体的には、情報処理装置100は、生成した属性情報を記録しておき、過去に生成して記録した属性情報を参照することで、前回、複数のユーザをグループに分類した際に、互いに同じグループに分類されたユーザを認識する。そして、情報処理装置100は、前回同じグループに分類されたユーザどうしが、再度同じグループとなるような状況を検出した場合には、対応するユーザに対して所定の報知情報v131を提示してもよい。
例えば、図27に示す例では、手u13と手u14とのそれぞれに対応するユーザは、前回、情報処理装置100が、手u11〜u16それぞれに対応するユーザをグループに分類した際に、同じグループに分類されたものとする。この場合には、情報処理装置100は、前回生成した属性情報に基づき、当該手u13及びu14が、再度、同じグループに属するような動作を示していることを認識する。そして、情報処理装置100は、2回連続で同じグループになっている旨を提示した報知情報v131を、当該手u13及びu14に関連付けて提示している。また、このとき情報処理装置100は、再度、同じグループに属するための操作を制限してもよい。例えば、図27に示す例では、情報処理装置100は、手u13と手u14とのそれぞれに対応するユーザが、同じグループに属することができないように制限してもよい。
また、他の一例として、情報処理装置100は、属性情報に対して他のデータを関連付けて記録しておき、過去に記録した属性情報と当該属性情報に関連付けられたデータとに応じて報知情報を提示してもよい。例えば、図28は、実施例1−4に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、複数のユーザを新たにグループに分類する際に、過去に記録した属性情報と当該属性情報に関連付けられたデータとに応じて報知情報を提示する場合の一例を示している。図28に示す例では、図15〜図17を参照して前述したように、情報処理装置100が、互いに重ねあわされた複数の手それぞれに対応するユーザどうしを同一のグループに分類する場合の一例を示している。
より具体的には、図28に示す例では、情報処理装置100は、生成した属性情報に対して、当該属性情報に基づきグループごとの成績(例えば、ゲーム等の成績)を示すデータを関連付けて記録している。また、情報処理装置100は、過去に生成して記録した属性情報と当該属性情報に関連付けられたグループごとの成績を示すデータとを参照することで、過去に好成績を示したグループと当該グループに分類されていた複数のユーザとを認識する。そして、情報処理装置100は、過去に好成績を示したグループに属していたユーザどうしが、再度同じグループとなるような状況を検出した場合には、対応するユーザに対して所定の報知情報v131を提示してもよい。
例えば、図28に示す例では、手u13と手u14とのそれぞれに対応するユーザは、過去に同じグループに分類され、そのときに好成績を記録していたものとする。この場合には、情報処理装置100は、過去に生成した属性情報と当該属性情報に関連付けられたデータ(即ち、グループごとの成績のデータ)とに基づき、過去に好成績を記録したグループに属していたユーザに対応する当該手u13及びu14が、再度、同じグループに属するような動作を示していることを認識する。そして、情報処理装置100は、手u13及びu14それぞれに対応するユーザどうしの組み合わせが、過去に好成績を記録したグループに対応する組み合わせであることを提示した報知情報v131を、当該手u13及びu14に関連付けて提示している。また、このとき情報処理装置100は、再度、同じグループに属するための操作を制限してもよい。例えば、図28に示す例では、情報処理装置100は、過去に好成績を記録した手u13及びu14それぞれに対応するユーザが、同じグループに属することができないように制限してもよい。
以上、実施例1−4として、情報処理装置100が、複数のユーザをグループに分類する場合における、過去に生成した属性情報を利用した制御の一例について説明する。
[1.5.5.実施例1−5:ユーザの識別結果を組み合わせた制御の一例]
次に、実施例1−5として、情報処理装置100が、所定の検知範囲内(例えば、表示面R10上の領域)に存在する手それぞれに対応するユーザの識別結果と、複数のユーザをグループに分類するための属性情報とを組み合わせた制御の一例について説明する。
まず、情報処理装置100が、所定の検知範囲内に存在する1以上の手を個々に判別する処理の一例について説明する。例えば、情報処理装置100は、検知範囲内に存在する1以上の手それぞれの画像の撮像結果を解析することで、当該手それぞれの形状特徴を抽出することで、検知範囲内に存在する1以上の手それぞれを判別する。また、他の一例として、情報処理装置100は、所定の検知範囲内を赤外線等によりセンシングすることで、当該検知範囲内に存在する手それぞれに対応する静脈パターンの情報を抽出することで、検知範囲内に存在する1以上の手それぞれを判別する。なお、上記に説明した例はあくまで一例であり、情報処理装置100が、所定の検知範囲内に存在する1以上の手を個々に判別することが可能であれば、その方法は特に限定されない。また、情報処理装置100が、所定の検知範囲内に存在する1以上の手を個々に判別する方法に応じて、当該判別に要する構成を別途含んでもよいことは言うまでもない。
そして、情報処理装置100は、抽出された手の形状特徴を示す情報と、当該手に対応するユーザの情報とをあらかじめ関連付けておくことで、当該手を検知した場合に、当該手に対応するユーザを特定することが可能となる。
次いで、情報処理装置100が、所定の検知範囲内に存在する手それぞれに対応するユーザの識別結果と、複数のユーザをグループに分類するための属性情報とを組み合わせた制御の一例について説明する。
(提示される情報の言語を最適化する場合の例)
まず、図29を参照して、情報処理装置100が、各グループに属するユーザの使用言語に応じて、当該グループに対して提示される情報の言語を最適化する場合の一例について説明する。図29は、実施例1−5に係る情報処理装置100の動作の一例について説明するための説明図である。図29に示す例では、情報処理装置100は、ユーザA〜Fを個々に識別しているものとする。また、情報処理装置100は、ユーザA〜Cを同一グループに分類し、ユーザD〜Fを同一グループに分類している。なお、ユーザA〜Cが属するグループと、ユーザD〜Fが属するグループとは異なるものとする。
例えば、図29は、ユーザA〜Cと、ユーザD〜Fとが、それぞれブラウザ等によりウェブサイトを閲覧している状況を示している。図29において、参照符号v133aは、ユーザA〜Cの近傍に提示されたブラウザの画面等のような表示情報を示している。換言すると、表示情報v133aは、ユーザA〜Cが属するグループに対して提示された情報に相当する。また、参照符号v133bは、ユーザD〜Fの近傍に提示されたブラウザの画面等のような表示情報を示している。換言すると、表示情報v133bは、ユーザD〜Fが属するグループに対して提示された情報に相当する。
図29に示す例では、情報処理装置100は、各グループに属するユーザそれぞれの情報に基づき当該ユーザの使用言語を認識し、各グループに対して提示する表示情報を、当該グループに属するユーザ間の共通言語で提示している。より具体的な一例として、図29に示す例では、ユーザA、D、E、及びFが日本人、ユーザBがアメリカ人、ユーザCがドイツ人であるものとする。この場合には、情報処理装置100は、例えば、ユーザA〜Cが属するグループに対して提示する表示情報v133aを、当該ユーザA〜C間の共通言語である英語で提示してもよい。同様に、情報処理装置100は、ユーザD〜Fが属するグループに対して提示する表示情報v133bを、当該ユーザD〜F間の共通言語である日本語で提示してもよい。
以上、図29を参照して、情報処理装置100が、各グループに属するユーザの使用言語に応じて、当該グループに対して提示される情報の言語を最適化する場合の一例について説明した。
(提示される情報の表示サイズを最適化する場合の例)
次に、図30を参照して、情報処理装置100が、各グループに属するユーザの年齢に応じて、当該グループに対して提示される情報の表示サイズを最適化する場合の一例について説明する。図30は、実施例1−5に係る情報処理装置100の動作の他の一例について説明するための説明図である。図30に示す例では、情報処理装置100は、ユーザA〜Dを個々に識別しているものとする。また、情報処理装置100は、ユーザA及びBを同一グループに分類し、ユーザC及びFを同一グループに分類している。なお、ユーザA及びBが属するグループと、ユーザC及びBが属するグループとは異なるものとする。
例えば、図30は、ユーザA及びBと、ユーザC及びFとが、それぞれブラウザ等によりウェブサイトを閲覧している状況を示している。図30において、参照符号v135aは、ユーザA及びBの近傍に提示されたブラウザの画面等のような表示情報を示している。換言すると、表示情報v135aは、ユーザA及びBが属するグループに対して提示された情報に相当する。また、参照符号v135bは、ユーザC及びDの近傍に提示されたブラウザの画面等のような表示情報を示している。換言すると、表示情報v135bは、ユーザC及びDが属するグループに対して提示された情報に相当する。
図30に示す例では、情報処理装置100は、各グループに属するユーザそれぞれの情報に基づき当該ユーザの年齢を認識し、各グループに対して提示する表示サイズ(例えば、文字のサイズ)を、当該グループに属するユーザの年齢に応じて制御している。より具体的な一例として、図30に示す例では、ユーザAが子供、ユーザB及びCが大人、ユーザDが老人であるものとする。この場合には、情報処理装置100は、例えば、ユーザC及びD(即ち、大人及び老人)が属するグループに提示する表示情報v135bにおける文字のサイズを、ユーザA及びB(即ち、子供及び大人)が属するグループに提示する表示情報v135aにおける文字のサイズよりも大きくなるように制御してもよい。
また、このとき情報処理装置100は、子供(ユーザA)が属するグループに対して提示する表示情報v135aについては、漢字や英語の表示に対してふりがなを付してもよい。
以上、図30を参照して、情報処理装置100が、各グループに属するユーザの年齢に応じて、当該グループに対して提示される情報の表示サイズを最適化する場合の一例について説明した。
(ユーザの属性に応じた制御の一例)
情報処理装置100が、各グループに属するユーザの属性に応じて、各種処理を切り替える場合の制御の一例について説明する。
まず、図31を参照して、情報処理装置100が、各グループに属するユーザの属性に応じて、当該グループに対して提示される情報の内容を制御する場合の一例について説明する。図31は、実施例1−5に係る情報処理装置100の動作の他の一例について説明するための説明図である。図31に示す例では、情報処理装置100は、ユーザA〜Dを個々に識別しているものとする。また、情報処理装置100は、ユーザA及びBを同一グループに分類し、ユーザC及びFを同一グループに分類している。なお、ユーザA及びBが属するグループと、ユーザC及びBが属するグループとは異なるものとする。
例えば、図31は、ユーザA及びBと、ユーザC及びFとが、それぞれブラウザ等によりウェブサイトを閲覧している状況を示している。図31において、参照符号v137aは、ユーザA及びBの近傍に提示されたブラウザの画面中に提示された広告等の表示情報を示している。換言すると、表示情報v137aは、ユーザA及びBが属するグループに対して提示された広告に相当する。また、参照符号v137bは、ユーザC及びDの近傍に提示されたブラウザの画面中に提示された広告等の表示情報を示している。換言すると、表示情報v137bは、ユーザC及びDが属するグループに対して提示された広告に相当する。
図31に示す例では、情報処理装置100は、各グループに属するユーザそれぞれの情報に基づき当該ユーザの属性を認識し、各グループに対して提示する広告を、当該グループに属するユーザの属性に応じて制御している。なお、ユーザの属性としては、例えば、ユーザの性別、ユーザの職業、ユーザの年齢層等が挙げられる。より具体的な一例として、図31に示す例では、ユーザA及びBの属性が独身男性であり、ユーザC及びDの属性が主婦であるものとする。この場合には、情報処理装置100は、独身男性であるユーザA及びBが属するグループに対しては、独身男性を対象とした広告(例えば、電気シェーバ等の広告)を表示情報v137aとして提示してもよい。また、情報処理装置100は、主婦であるユーザC及びBが属するグループに対しては、主婦を対象とした広告(例えば、キッチン用品の広告)を表示情報v137bとして提示してもよい。
以上、図31を参照して、情報処理装置100が、各グループに属するユーザの属性に応じて、当該グループに対して提示される情報の内容を制御する場合の一例について説明した。
次に、図32を参照して、情報処理装置100が、各グループに属するユーザの属性に応じて、当該グループ間に対してハンディキャップを設定する場合の制御の一例について説明する。図32は、実施例1−5に係る情報処理装置100の動作の他の一例について説明するための説明図である。図32に示す例では、情報処理装置100は、ユーザA〜Dを個々に識別しているものとする。また、情報処理装置100は、ユーザA及びBを同一グループに分類し、ユーザC及びFを同一グループに分類している。なお、ユーザA及びBが属するグループと、ユーザC及びBが属するグループとは異なるものとする。
例えば、図32は、ユーザA〜Dが、ユーザA及びBのグループと、ユーザC及びDのグループとに分かれて、グループ間で得点を争うゲームを行うような状況を示している。図32において、参照符号v139aは、ユーザA及びBが属するグループの得点が提示された表示情報を示している。また、参照符号v139bは、ユーザC及びDが属するグループの得点が提示された表示情報を示している。
図32に示す例では、情報処理装置100は、各グループに属するユーザそれぞれの情報に基づき当該ユーザの属性を認識し、各グループに属するユーザの属性に応じて、ゲーム中におけるグループ間のハンディキャップを設定している。なお、ユーザの属性としては、各ユーザの年齢に応じて、当該ユーザが、子供及び大人のいずれかを判別するための情報が設定されているものとする。より具体的な一例として、図32に示す例では、ユーザA及びBの属性が大人であり、ユーザC及びDの属性が子供であるものとする。この場合には、情報処理装置100は、大人であるユーザA及びBが属するグループよりも、子供であるユーザC及びDが属するグループがより有利になるように、ユーザC及びDが属するグループに対してハンディキャップとして得点を加算している。
以上、図32を参照して、情報処理装置100が、各グループに属するユーザの属性に応じて、当該グループ間に対してハンディキャップを設定する場合の制御の一例について説明した。
なお、上記に説明した例はあくまで一例であり、必ずしも上記に説明した例には限定されない。具体的な一例として、情報処理装置100は、各ユーザの識別結果を属性情報の生成に利用してもよい。より具体的な一例として、情報処理装置100は、大人と子供とが混在する複数のユーザをグループに分類する場合には、例えば、大人どうしが同じグループに属する操作を制限してもよい。
[1.5.6.実施例1−6:ユーザ間を順序付けする制御の一例]
実施例1−6として、情報処理装置100が、複数のユーザ間を順序付けするための制御(即ち、複数のユーザ間を重み付けするための制御)の一例について、具体的な例をあげて説明する。
(表示情報への操作に応じた順序付けの一例)
まず、図33〜図36を参照して、情報処理装置100が、所定の表示情報を提示し、当該表示情報に対する複数のユーザそれぞれの手による操作に応じて、当該複数のユーザ間を順序付けする制御の一例について説明する。図33〜図36は、実施例1−6に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、所定の表示情報に対する複数のユーザそれぞれの手による操作に応じて、当該複数のユーザ間を順序付けする制御の一例を示している。なお、本説明では、情報処理装置100は、所定の検知範囲内(例えば、表示面R10上の領域)に存在する手u11〜u16それぞれに対応数するユーザ(即ち、6人のユーザ)を順序付けするものとして説明する。
具体的には、図33に示すように、情報処理装置100は、所定の表示情報v141を表示させるとともに、当該表示情報v141に対する操作をユーザに対して指示する。また、情報処理装置100は、所定の検知範囲内(例えば、表示面R10上の領域)に存在する、各ユーザの手の検知を開始する。情報処理装置100は、複数のユーザそれぞれの手(即ち、手u11〜u16)による表示情報v141に対する操作(例えば、タッチ操作)を検知した順序に基づき、当該複数のユーザを順序付けする。
例えば、図34は、手u11〜u16のうち、手u11、u12、及びu16により表示情報v141に対するタッチ操作が行われた状態を示している。即ち、図34に示す時点においては、手u13〜u15については、表示情報v141に対するタッチ操作を行っていない。この場合には、情報処理装置100は、表示情報v141に対するタッチ操作を促すための指示を示した表示情報v113を、手u13〜u15のそれぞれに関連付けて提示してもよい。
そして、情報処理装置100は、対象となるすべての手(即ち、手u11〜u16)が終了条件(即ち、表示情報v141に対するタッチ操作)を満たした場合には、表示情報v141に対するタッチ操作が行われた順序(即ち、終了条件を満たした順序)に基づき、それぞれの手に対応するユーザ間を順序付けするための属性情報を生成する。例えば、図35は、全ての手が終了条件を満たした状態の一例を示している。なお、図35に示す例においては、手u11、手u12、手u16、手u14、手u15、手u13の順序で、表示情報v141に対するタッチ操作が行われたものとする。
そして、情報処理装置100は、生成した属性情報、即ち、複数のユーザ間を順序付けするための属性情報に応じて各種制御を実行する。例えば、図36は、情報処理装置100が、生成した属性情報に基づき、各ユーザ間に設定された順序を示す表示情報v143を、当該ユーザに対応する手に関連付けて提示する場合の一例を示している。なお、図36に示す例では、情報処理装置100は、図8に示した例と同様に、各ユーザの手それぞれについて、表示面R10上の領域への進入位置(即ち、当該領域に対して各ユーザの腕が挿入される位置)を特定し、当該進入位置に相当する位置に、当該ユーザに対応する順序を示す表示情報v143を投影している。なお、図36に示した、属性情報に基づく情報の提示方法は、あくまで一例であり、必ずしも図36に示す例には限定されない。なお、その他の例については別途後述する。
以上、図33〜図36を参照して、情報処理装置100が、所定の表示情報を提示し、当該表示情報に対する複数のユーザそれぞれの手による操作に応じて、当該複数のユーザ間を順序付けする制御の一例について説明した。
(表示情報への操作に応じた順序付けの他の一例)
次に、図37〜図40を参照して、情報処理装置100が、所定の表示情報を提示し、当該表示情報に対する複数のユーザそれぞれの手による操作に応じて、当該複数のユーザ間を順序付けする制御の他の一例について説明する。図37〜図40は、実施例1−6に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、所定の表示情報に対する複数のユーザそれぞれの手による操作に応じて、当該複数のユーザ間を順序付けする制御の他の一例を示している。なお、本説明では、情報処理装置100は、所定の検知範囲内(例えば、表示面R10上の領域)に存在する手u11〜u16それぞれに対応数するユーザ(即ち、6人のユーザ)を順序付けするものとして説明する。
まず、図37に示すように、情報処理装置100は、以降に表示される表示情報に対する操作をユーザに対して指示する。例えば、図37に示す例では、情報処理装置100は、指示の内容を示す表示情報v111を表示面R10に投影することで、当該指示の内容を各ユーザに報知している。次いで、図38に示すように、情報処理装置100は、複数の表示情報v145を表示面R10上に表示させる。このとき、情報処理装置100は、複数の表示情報v145それぞれが、表示面R10内を個々に動き回るように制御してもよい。また、情報処理装置100は、所定の検知範囲内(例えば、表示面R10上の領域)に存在する、各ユーザの手の検知を開始する。そして、情報処理装置100は、複数のユーザそれぞれの手(即ち、手u11〜u16)による、いずれかの表示情報v145に対する操作(例えば、タッチ操作)を検知した順序に基づき、当該複数のユーザを順序付けする。
例えば、図39は、手u11〜u16のうち、手u11、及び、u14〜u16が、複数の表示情報v145のうちいずれかに対してタッチ操作が行われた状態を示している。また、図39に示す例では、手u13は、いずれの表示情報v145に対してもタッチ操作を行っていない。この場合には、情報処理装置100は、表示情報v145に対するタッチ操作を促すための指示を示した表示情報v113を、手u13に関連付けて提示してもよい。
また、情報処理装置100は、複数のユーザ間を順序付けする場合に所定の制約を設けてもよい。例えば、図39に示す例では、情報処理装置100は、複数の表示情報v145それぞれに対して、複数のユーザによる操作(換言すると、複数の手による操作)を制限している。より具体的には、図39に示す例では、手u12は、既に手u11がタッチ操作を完了している表示情報v145に対してタッチ操作を行っている。この場合には、情報処理装置100は、この時点において、手u12が終了条件を満たしてないものと判定してもよい。また、このとき情報処理装置100は、手u12がタッチ操作を行った表示情報v145が、既に他の手(即ち、手u11)によりタッチ操作が行われている旨を示した表示情報v113を、手u12に関連付けて提示してもよい。
そして、情報処理装置100は、対象となるすべての手(即ち、手u11〜u16)が終了条件を満たした場合には、対象となる手それぞれがいずれかの表示情報v145に対してタッチ操作を行った順序(即ち、終了条件を満たした順序)に基づき、それぞれの手に対応するユーザ間を順序付けするための属性情報を生成する。例えば、図40は、全ての手が終了条件を満たした状態の一例を示している。図40に示す例は、手u11、手u14、手u16、手u15、手u13、手u12の順序で、いずれかの表示情報v145に対するタッチ操作が行われた状態を示している。即ち、情報処理装置100は、当該順序に基づき、手u11〜u16それぞれに対応するユーザ間を順序付けるための属性情報を生成することとなる。なお、前述したその他の例と同様に、情報処理装置100は、生成した属性情報に基づき、各ユーザ間に設定された順序を示す表示情報v143を、当該ユーザに対応する手に関連付けて提示してもよい。
以上、図37〜図40を参照して、情報処理装置100が、所定の表示情報を提示し、当該表示情報に対する複数のユーザそれぞれの手による操作に応じて、当該複数のユーザ間を順序付けする制御の他の一例について説明した。
(実オブジェクトの検知結果を利用した順序付けの一例)
次に、図41〜図44を参照して、情報処理装置100が、所定の検知範囲内(例えば、表示面R10上の領域)に存在する、ユーザの手と、当該ユーザの手以外の実オブジェクトとのそれぞれの検知結果に応じて、複数のユーザ間を順序付けする制御の一例について説明する。図41〜図44は、実施例1−6に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、実オブジェクトとのそれぞれの検知結果を利用して、複数のユーザ間を順序付けする制御の一例について示している。なお、本説明では、複数のユーザそれぞれが自身の手の平の上に棒を立てて保持する期間の長さを競うゲームにおいて、情報処理装置100が、当該ゲームの順位を検知し、順位の検知結果に応じて当該複数のユーザ間を順序付けする場合を例に説明する。また、本説明では、情報処理装置100は、所定の検知範囲内(例えば、表示面R10上)に存在する手u11〜u13それぞれに対応数するユーザ(即ち、3人のユーザ)を順序付けするものとして説明する。
まず、図41に示すように、情報処理装置100は、棒を手の平の上に乗せてその状態を維持する旨をユーザに対して指示する。例えば、図41に示す例では、情報処理装置100は、指示の内容を示す表示情報v111を表示面R10に投影することで、当該指示の内容を各ユーザに報知している。次いで、図42に示すように、ユーザに対してゲームの開始を指示し、所定の検知範囲内(例えば、表示面R10上の領域)に存在する、各ユーザの手と、当該手に保持された棒との検知を開始する。なお、手以外の実オブジェクト(例えば、手の平の上に保持される棒)の検知方法については、手を検知する場合と同様の方法が適用可能であるため、詳細な説明は省略する。
次いで、図43を参照して、ゲーム中における情報処理装置100の動作の一例について説明する。図43に示す例では、手u12により保持されていた棒が倒れた状態を示している。
例えば、情報処理装置100は、手u12と当該手u12に保持されていた棒との検知結果(例えば、手u12と棒との位置関係)に基づき、当該棒が倒れたことを認識する。なお、この場合においては、各ユーザの手が保持する棒が倒れた状態が、当該手が終了条件を満たした状態に相当する。また、このとき情報処理装置100は、手u11及びu13それぞれが、棒を維持した状態であること(即ち、終了条件を満たしていないこと)を認識する。
そして、情報処理装置100は、手u11〜u13それぞれの状況の認識結果に基づき、手u12に対応するユーザが3人のユーザ中の3位であると判定する。なお、このとき情報処理装置100は、手u12に対応するユーザの順位を示す表示情報v143(即ち、当該ユーザに設定された順序を示す情報)を、当該手u12に関連付けて提示してもよい。
また、図43に示すように、情報処理装置100は、ゲームの状況を示す情報をユーザに提示してもよい。例えば、図43に示す例では、情報処理装置100は、ゲームの状況として、ゲームの開始から経過した時間を示す表示情報v111を表示面R10に投影することで、当該状況をユーザに報知している。
そして、情報処理装置100は、対象となるすべての手(即ち、手u11〜u13)が終了条件を満たした場合には、各手が保持する棒が倒れた順序(即ち、終了条件を満たした順序)に基づき、それぞれの手に対応するユーザ間を順序付けするための属性情報を生成する。例えば、図44は、全ての手が終了条件を満たした状態の一例を示している。図40に示す例は、手u12、手u13、手u11の順序で、各手が保持する棒が倒れた状態を示している。そのため、情報処理装置100は、手u11、手u13、手u12の順序で(換言すると、ゲームの順位に基づき)、手u11〜u13それぞれに対応するユーザ間を順序付けするための属性情報を生成することとなる。前述したその他の例と同様に、情報処理装置100は、生成した属性情報に基づき、各ユーザ間に設定された順序を示す表示情報v143を、当該ユーザに対応する手に関連付けて提示してもよい。
以上、図41〜図44を参照して、情報処理装置100が、所定の検知範囲内に存在する、ユーザの手と、当該ユーザの手以外の実オブジェクトとのそれぞれの検知結果に応じて、複数のユーザ間を順序付けする制御の一例について説明した。
[1.5.7.実施例1−7:順序付けに応じた情報の提示方法の一例]
次に、実施例1−7として、情報処理装置100が、複数のユーザ間を順序付けするための属性情報(換言すると、複数のユーザ間を重み付けするための属性情報)に基づき、各種情報を提示する方法の一例について説明する。なお、本実施例においては、特に説明が無い限りは、情報処理装置100が、所定の検知範囲内(例えば、表示面R10上の領域)に存在する手u11〜u14それぞれに対応数するユーザ(即ち、4人のユーザ)間に設定された順序に応じて情報を提示する場合を例に説明する。
例えば、図45は、実施例1−7に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、複数のユーザ間に設定された順序を提示する方法の一例を示している。図45に示す例では、情報処理装置100は、生成した属性情報に基づき、各ユーザの手(即ち、手u11〜u14)の上(例えば、手の甲の上)に重畳するように、当該ユーザに設定された順序を示す情報が示された表示情報v1151を提示している。
図46は、実施例1−7に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、複数のユーザ間に設定された順序に応じて、表示面R10に対する操作を制御する場合における情報の提示方法の一例を示している。図46に示す例では、情報処理装置100は、ユーザ間に設定された順序に応じて、手u11〜u14を介した操作を順次受け付け、ある手から操作を受け付けているときには、他の手からの操作の受け付けを制限している。このような場合において、情報処理装置100は、現在操作を受け付けることが可能なユーザを通知するための情報を提示してもよい。例えば、図46に示す例では、情報処理装置100は、属性情報に基づき操作を受け付けるユーザを特定し、当該ユーザに対応する手(即ち、操作を受け付ける手)の周囲に、操作を受け付けることが可能であることを示す表示情報v153を提示している。
また、図47は、実施例1−7に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、複数のユーザ間に設定された順序に応じて、表示面R10に対する操作を制御する場合における情報の提示方法の他の一例を示している。図47に示す例では、情報処理装置100は、属性情報に基づき操作を受け付けるユーザを特定し、当該ユーザに対応する手(即ち、操作を受け付ける手)の指先の周囲に、操作を受け付けることが可能であることを示す表示情報v155を提示している。
以上、実施例1−7として、情報処理装置100が、複数のユーザ間を順序付けするための属性情報(換言すると、複数のユーザ間を重み付けするための属性情報)に基づき、各種情報を提示する方法の一例について説明した。
[1.6.まとめ]
以上、説明したように、本開示の第1の実施形態に係る情報処理装置100は、所定の検知範囲内に存在する操作体それぞれについて、当該操作体に関連する操作情報(例えば、位置、向き、形状、模様、及び動作等)を取得する。情報処理装置100は、各操作体について取得した操作情報に基づき、当該操作体を介した操作に基づく動作を制御するための属性情報を生成する。具体的な一例として、情報処理装置100は、複数の操作体間を関連付ける(換言すると、複数のユーザをグループに分類する)ための属性情報を生成してもよい。また、他の一例として、情報処理装置100は、複数のユーザ間を重み付けする(換言すると、複数のユーザ間を順序付けする)ための属性情報を生成してもよい。そして、情報処理装置100は、生成した属性情報に基づき、各種機能(例えば、各種アプリケーション)の実行を制御する。
以上のような構成に基づき、本実施形態に係る情報処理装置100は、複数のユーザが同時に操作を行うような状況下においても、当該複数のユーザ間の関係を示す条件を設定し、設定した条件に基づき各ユーザからの操作に応じた動作を制御することが可能となる。また、本実施形態に係る情報処理装置100は、複数のユーザ間の関係を示す条件の設定(即ち、属性情報の生成)に際し、各ユーザを識別するための専用のデバイスを必要としない。そのため、本実施形態に係る情報処理装置100は、複数のユーザ間の関係を示す条件の設定に係る動作を、より簡素な構成により実現することが可能であり、専用のデバイスを必要としないため利便性をより向上させることも可能となる。
<2.第2の実施形態>
[2.1.概要]
次に、本開示の第2の実施形態に係る情報処理装置100について説明する。前述した第1の実施形態に係る情報処理装置100は、属性情報を生成する際に、各ユーザに対して当該属性情報を生成するための明示的な手順を実行させていた。これに対して、第2の実施形態に係る情報処理装置100は、表示面R10に対する各ユーザの操作を監視し、当該監視結果に応じて動的に属性情報を生成する(換言すると、リアルタイムで属性情報を生成する)。そこで、以降では、第2の実施形態に係る情報処理装置100について、前述した第1の実施形態に係る情報処理装置100と異なる部分に着目して説明する。なお、第1の実施形態と実質的に同一の部分については、称さない説明は省略する。
[2.2.処理]
まず、図48を参照して、本実施形態に係る情報処理装置100の一連の処理の流れの一例について、特に、情報処理装置100による属性情報の生成と、生成した当該属性情報に応じた制御とのそれぞれに係る処理に着目して説明する。図48は、本実施形態に係る情報処理装置100の一連の処理の流れの一例を示したフローチャートである。なお、本説明では、各ユーザが自身の手を操作体として、情報処理装置100による当該操作体の検出範囲内(即ち、表示面R10上の領域)において、各種操作や各種動作を行う場合を例に説明する。
(ステップS201)
まず、情報処理装置100は、ユーザからの指示に応じてコンテンツの表示に係る制御や、各種アプリケーションの動作の制御等を実行する。
(ステップS205)
次いで、情報処理装置100は、所定の検知範囲内(例えば、表示面R10上の領域)に存在する、各ユーザの手を操作体として検知する。そして、情報処理装置100は、各ユーザの手の検知結果に基づき、当該ユーザの手それぞれについて、属性情報の生成条件に応じた各種情報(即ち、操作情報)を取得する。
(ステップS207)
次いで、情報処理装置100は、各ユーザの手それぞれについて取得した操作情報が、属性情報の生成条件を満たしているか否かを判定する。例えば、情報処理装置100は、各ユーザの手それぞれについて、形状特徴、向き、模様、検知範囲内への進入位置(即ち、当該検知範囲に対して各ユーザの腕が挿入される位置)等が条件を満たしているか否かを判定する。
(ステップS209)
そして、情報処理装置100は、取得した操作情報が属性情報の生成条件を満たしている手が存在する場合には(S207、YES)、対象となる手について、対応する操作情報に基づき属性情報を生成する。例えば、情報処理装置100は、少なくとも一部の手について、取得した操作情報に基づき検知範囲内への進入位置を特定し、当該手に対応するユーザを、特定した当該進入位置にあらかじめ関連付けられたグループに属するユーザとして判定してもよい。
なお、情報処理装置100は、その時点においてまだ属性情報の生成対象となっていない手についてのみ、属性情報の生成対象としてもよい(即ち、属性情報の生成条件を満たしたものと判定してもよい)。また、情報処理装置100は、既に生成されている属性情報を、新たに取得した操作情報に基づき更新してもよい。
なお、取得した操作情報が属性情報の生成条件を満たしている手が存在しない場合には(S207、NO)、情報処理装置100は、属性情報の生成に係る処理を実行しなくてもよい。
そして、情報処理装置100は、属性情報を生成した場合には、生成した属性情報に応じて、コンテンツの表示に係る制御や、各種アプリケーションの動作の制御を実行してもよい(S201)。
(ステップS203)
情報処理装置100は、上記に説明した一連の動作(即ち、ステップS201〜S209に係る動作)を、アプリケーションの終了条件を満たすまで継続する(S203、NO)。そして、情報処理装置100は、アプリケーションの終了条件を満たした場合(例えば、ユーザからの指示に基づきアプリケーションが終了した場合)には(S203、YES)、上記に説明した一連の動作を終了する。
以上、図48を参照して、本実施形態に係る情報処理装置100の一連の処理の流れの一例について、特に、情報処理装置100による属性情報の生成と、生成した当該属性情報に応じた制御とのそれぞれに係る処理に着目して説明した。なお、本実施形態に係る情報処理装置100による、属性情報の生成に係る動作や、生成した属性情報に基づく制御の具体的な一例については、実施例としても別途後述する。
[2.3.実施例]
次に、本開示の第2の実施形態に係る情報処理装置100の実施例として、当該情報処理装置100のより具体的な適用例について説明する。なお、以降の説明では、本実施形態に係る情報処理装置100の実施例を、「実施例2」と称する場合がある。
(指の角度に基づく所属グループの判定)
まず、図49及び図50を参照して、情報処理装置100が、複数のユーザそれぞれの手の指が向いている方向(即ち、指の角度)に応じて、当該ユーザが所属するグループを判定する制御(換言すると、当該ユーザをグループに分類するための属性情報を生成する制御)の一例について説明する。図49及び図50は、実施例2に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、複数のユーザそれぞれの手の指が向いている方向に応じて当該ユーザが所属するグループを判定する制御の一例を示している。なお、図49及び図50は、情報処理装置100を所謂クイズゲームに適用した場合の一例を示しており、複数のユーザが複数のグループに分かれて正解数に応じた得点を競う場合の一例について示している。
具体的には、図49に示すように、情報処理装置100は、ユーザに対して問題を出題するとともに、当該問題の解答の候補を示す表示情報v161を表示面R10上に提示する。各ユーザは、提示された表示情報v161の中から、問題に対する解答を自身の指でタッチすることで選択する。例えば、図49に示す例では、手u11の指が、正解に対応する表示情報v161をタッチしており、手u12の指が、正解とは異なる表示情報v161をタッチしている。
このとき、情報処理装置100は、正解に対応する表示情報v161をタッチした手u11の指の向きを判定し、判定結果に応じて、当該手u11に対応するユーザが所属するグループを判定する。例えば、手u11は、指が図面の左側を向くように、表示情報v161をタッチしている。これに対して、手u12については、指が図面の右側を向くように表示情報v161をタッチしている。そのため、情報処理装置100は、手u11及びu12それぞれの指の角度の検出結果に基づき、手u11及びu12それぞれに対応するユーザが互いに異なるグループに所属しているものと判定する。
例えば、図50は、手u11による正解に対応する表示情報v161へのタッチ操作を受けた、情報処理装置100による制御の一例を示している。より具体的には、情報処理装置100は、図49において手u11の指が図面の左側を向いていることを認識した結果として、当該手u11に対応するユーザが「Aチーム」に所属しているものと認識する。同様に、情報処理装置100は、図49において手u12の指が図面の右側を向いていることを認識した結果として、当該手u11に対応するユーザが「Bチーム」に所属しているものと認識する。そして、図50に示す例では、情報処理装置100は、正解に対応する表示情報v161をタッチした手u11に対応するユーザが所属する「Aチーム」に対して得点を加点している。
以上、図49及び図50を参照して、情報処理装置100が、複数のユーザそれぞれの手の指が向いている方向(即ち、指の角度)に応じて、当該ユーザが所属するグループを判定する制御の一例について説明した。
(手の進入位置に基づく所属グループの判定)
次に、図51を参照して、情報処理装置100が、所定の検知範囲(例えば、表示面R10上の領域)に対する複数のユーザそれぞれの手の進入位置(即ち、当該領域に対して各ユーザの腕が挿入される位置)に応じて、当該ユーザが所属するグループを判定する制御の一例について説明する。図51は、実施例2に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、所定の検知範囲内に対する複数のユーザそれぞれの手の進入位置に応じて、当該ユーザが所属するグループを判定する制御の一例について示している。なお、図51は、図49及び図50に示す例と同様に、情報処理装置100を所謂クイズゲームに適用した場合の一例を示しており、複数のユーザが複数のグループに分かれて正解数に応じた得点を競う場合の一例について示している。
具体的には、図51に示す例は、情報処理装置100は、所定の検知範囲内に対する複数のユーザそれぞれの手の進入位置を判定し、判定結果に応じて、当該手に対応するユーザが所属するグループを判定する点が、図49及び図50を参照して前述した例と異なる。例えば、図51に示す例では、手u11及びu12は、表示面R10上の領域に対して、図面の右側から侵入している。そのため、情報処理装置100は、手u11及びu12それぞれに対応するユーザが、「Aチーム」に所属しているものと認識する。また、手u13及びu14については、表示面R10上の領域に対して、図面の左側から侵入している。そのため、情報処理装置100は、手u13及びu14それぞれに対応するユーザが、「Bチーム」に所属しているものと認識する。
なお、以降の処理については、図49及び図50を参照して説明した例と実質的に同様のため、詳細な説明は省略する。
以上、図51を参照して、情報処理装置100が、所定の検知範囲に対する複数のユーザそれぞれの手の進入位置に応じて、当該ユーザが所属するグループを判定する制御の一例について説明した。
(手の形状に基づく所属グループの判定)
次に、図52を参照して、情報処理装置100が、複数のユーザそれぞれの手の形状に応じて、当該ユーザが所属するグループを判定する制御の一例について説明する。図52は、実施例2に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100が、複数のユーザそれぞれの手の形状に応じて、当該ユーザが所属するグループを判定する制御の一例について示している。なお、図52は、図49〜図51に示す例と同様に、情報処理装置100を所謂クイズゲームに適用した場合の一例を示しており、複数のユーザが複数のグループに分かれて正解数に応じた得点を競う場合の一例について示している。
具体的には、図52に示す例は、情報処理装置100は、複数のユーザそれぞれの手の形状を判定し、判定結果に応じて、当該手に対応するユーザが所属するグループを判定する点が、図49〜図51を参照して前述した例と異なる。具体的には、図52に示す例では、表示情報v161をタッチした手の形状が「グー」及び「パー」のいずれかに応じて、当該手に対応するユーザが所属するグループを判定している。例えば、図52に示す例では、手u11及びu13が、「パー」の形状を示している。そのため、情報処理装置100は、手u11及びu13それぞれに対応するユーザが、「チームパー」に所属しているものと認識する。また、手u12及びu14については、「グー」の形状を示している。そのため、情報処理装置100は、手u12及びu14それぞれに対応するユーザが、「チームグー」に所属しているものと認識する。
なお、以降の処理については、図49〜図51を参照して説明した例と実質的に同様のため、詳細な説明は省略する。
以上、図52を参照して、情報処理装置100が、複数のユーザそれぞれの手の形状に応じて、当該ユーザが所属するグループを判定する制御の一例について説明した。
(各種アプリケーションへの適用例)
次に、本実施形態に係る情報処理装置100を、ゲームやペイント等のような各種アプリケーションに適用した場合の一例について説明する。
(ゲームへの適用例1)
まず、図53を参照して、本実施形態に係る情報処理装置100を、ゲームに適用した場合の一例について説明する。図53は、実施例2に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100を、提示された国旗に該当する国の位置を当てるゲームに適用した場合の一例を示している。図53に示す例では、情報処理装置100は、表示面R10上に、所望の値域の地図を示す表示情報v171と、当該地図上に表示された国のうち、いずれかの国に対応する国旗を示す表示情報v173とを提示している。各ユーザは、表示情報v173として提示された国旗に対応する国の位置を、表示情報v171として提示された地図上から、自身の指でタッチすることで選択する。
情報処理装置100は、指でタッチされた表示情報v171上の位置に基づき、当該指が示す地図上の位置がどの国に該当するかを特定し、特定した国が、表示情報v173として提示した国旗が示す国と一致するか否かに応じて、当該指による選択が正解か否かを判定する。また、このとき情報処理装置100は、表示面R10上の領域に対する複数のユーザそれぞれの手の進入位置に応じて、当該ユーザが所属するグループを判定する。そして、情報処理装置100は、正解を指定した指に対応するユーザが属するグループに対して得点を加点すればよい。なお、情報処理装置100は、各ユーザが地図上の位置をタッチした場合に、正解か否かを示す表示情報を、当該ユーザが所属するグループに対応する表示態様(例えば、グループに対応する色等)で提示してもよい。
以上、図53を参照して、本実施形態に係る情報処理装置100を、提示された国旗に該当する国の位置を当てるゲームに適用した場合の一例について説明した。
(ペイントソフトへの適用例)
次に、図54を参照して、本実施形態に係る情報処理装置100を、絵などを描くための所謂ペイントソフトに適用した場合の一例について説明する。図54は、実施例2に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100を、所謂ペイントソフトに適用した場合の一例を示している。
例えば、情報処理装置100は、表示面R10上に、色やブラシを選択するための操作画面v171を提示する。ユーザは、操作画面v171から所望の色やブラシに対応するアイコンを自身の指によりタッチすることで、当該アイコンに対応する色やブラシに切り替えることが可能である。また、情報処理装置100は、各ユーザの指による表示面R10中の操作画面v171以外の領域に対するタッチ操作を認識した場合には、当該指の軌跡に沿って、選択された色とブラシの組み合わせに対応した表示情報を提示する。また、情報処理装置100は、各ユーザの手に対して、そのとき選択されている色やブラシを示す表示情報v173を関連付けて提示してもよい。
また、図54に示す例では、情報処理装置100は、複数のユーザを複数のグループに分類し、当該グループへの分類結果に応じて各種動作を制御している。より具体的な一例として、情報処理装置100は、あるユーザが操作画面v171を操作することで、色やブラシの設定を切り替えた場合には、当該ユーザと同一のグループに所属する他のユーザの色やブラシの設定を同様に切り替えてもよい。
より具体的な一例として、図54に示す例では、手u11及びu13のそれぞれに対応するユーザが同一のグループに所属している。そのため、手u11及びu13それぞれのユーザに対応する設定として、同一の色やブラシの設定が適用されている。同様に、手u12及びu14のそれぞれに対応するユーザが同一のグループに所属している。そのため、手u12及びu14それぞれのユーザに対応する設定として、同一の色やブラシの設定が適用されている。また、図54に示す例では、手u14が、操作画面v171を操作することで、ブラシの設定を切り替えている。この場合には、情報処理装置100は、手u14に対応するユーザと同じグループに所属する、手u12に対応するユーザに対応するブラシの設定を同様に切り替えることとなる。
以上、図54を参照して、本実施形態に係る情報処理装置100を、絵などを描くための所謂ペイントソフトに適用した場合の一例について説明した。
(ゲームへの適用例2)
次に、本実施形態に係る情報処理装置100を、ゲームに適用した場合の他の一例について説明する。
例えば、図55は、実施例2に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100を、複数人でプレイするボードゲームに適用した場合の一例である。
図55に示す例では、情報処理装置100は、表示面R10上の領域に存在する手の、当該領域に対する進入位置(即ち、当該領域に対して腕が挿入される位置)に応じて、当該手に対応するユーザを判別している。また、このとき情報処理装置100は、各ユーザの手を判定するための当該進入位置に対応する領域に、当該ユーザに関する情報(例えば、ゲームの成績や、ゲーム内における状態を示す情報)を表示情報v181として提示してもよい。
また、図55に示す例では、情報処理装置100は、ユーザ間の順序付けを行い、当該順序付けの結果に応じて、ゲームの操作を行う順序を制御している。例えば、図55に示す例では、手u11に対応するユーザに対して操作する順番がまわってきた状態を示している。この場合には、情報処理装置100は、手u11からの操作のみを受け付け、他のユーザの手による操作の受け付けを制限する。例えば、図55に示す例では、操作の順番ではない他のユーザの手u12が、表示面R10に対して操作を行っている。この場合には、情報処理装置100は、操作の受け付けが制限されている旨を示した報知情報v183を、手u12に関連付けて提示してもよい。
また、情報処理装置100は、複数のユーザ間に設定された順序付けに応じて、各ユーザに対応する表示情報v181に対して、操作の順番を示唆する情報を提示してよい。
また他の一例として、図56は、実施例2に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100を、2人のユーザが順番に操作を行うことでプレイするゲームに適用した場合の一例である。
図56に示す例では、情報処理装置100は、例えば、表示面R10上の領域に存在する手の、当該領域に対する進入位置に応じて、当該手に対応するユーザを判別してもよい。また、他の一例として、情報処理装置100は、表示面R10上の領域に存在する手の指の角度に応じて、当該手に対応するユーザを判別してもよい。
また、図56に示す例では、図55に示す例と同様に、情報処理装置100は、ユーザ間の順序付けを行い、当該順序付けの結果に応じて、ゲームの操作を行う順序を制御している。即ち、図56に示す例では、情報処理装置100は、操作する順番がまわってきたユーザに対応する手からの操作のみを受け付け、他のユーザの手による操作の受け付けを制限してもよい。また、情報処理装置100は、各ユーザの手に対して、当該ユーザに操作の順番がまわってきたか否かを示す報知情報v183を、当該手に関連付けて提示してもよい。
また他の一例として、図57は、実施例2に係る情報処理装置100の動作の一例について説明するための説明図であり、情報処理装置100を、複数のユーザそれぞれが自身に対応する表示情報を選択することで進行するゲームに適用した場合の一例を示している。
図57に示す例では、情報処理装置100は、例えば、表示面R10上の領域に存在する手の、当該領域に対する進入位置に応じて、当該手に対応するユーザを判別してもよい。また、他の一例として、情報処理装置100は、表示面R10上の領域に存在する手の指の角度に応じて、当該手に対応するユーザを判別してもよい。
また、図57に示す例では、情報処理装置100は、各ユーザに対応する表示情報v191a及びv191bを提示している。なお、表示情報v191aは、手u12に対応するユーザにあらかじめ関連付けられている。即ち、情報処理装置100は、表示情報v191aに対する操作として、手u12からの操作のみを受け付ける。同様に、表示情報v191bは、手u11に対応するユーザにあらかじめ関連付けられている。即ち、情報処理装置100は、表示情報v191bに対する操作として、手u11からの操作のみを受け付ける。
例えば、図57に示す例では、手u12が、当該手u12に対応するユーザとは異なるユーザに対応する表示情報v191bに対して操作を行っている。この場合には、情報処理装置100は、操作の受け付けが制限されている旨を示した報知情報v183を、手u12に関連付けて提示してもよい。
[2.4.まとめ]
以上説明したように、本開示の第2の実施形態に係る情報処理装置100は、所定の検知範囲内に存在する操作体それぞれについて操作情報を取得し、取得した操作情報に基づき属性情報を動的に生成する。そして、情報処理装置100は、動的に生成した属性情報に応じて、コンテンツの表示に係る制御や、各種アプリケーションの動作の制御を動的に実行する。このような構成により、本実施形態に係る情報処理装置100は、例えば、リアルタイムで、複数のユーザ間の関係を示す条件を設定し、当該条件の設定を、動作中の処理(例えば、コンテンツの表示やアプリケーションの動作)に対して反映することが可能となる。
<3.ハードウェア構成例>
次に、図58を参照して、本開示の一実施形態にかかる情報処理装置100のハードウェア構成について説明する。図58は、本開示の一実施形態にかかる情報処理装置100のハードウェア構成例を示すブロック図である。
図58に示すように、情報処理装置100は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置100は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置100は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置100は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置100内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。なお、前述した制御部120は、例えば、CPU901により実現され得る。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、ユーザの音声を検出するマイクを含んでもよい。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置100の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置933も、ユーザの手の動きなどを撮像することによって、入力装置として機能し得る。なお、前述した入力部110は、例えば、入力装置915により実現され得る。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro−Luminescence)ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、情報処理装置100の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置917は、周囲を明るくするためライトなどを含んでもよい。なお、前述した出力部130は、例えば、出力装置917により実現され得る。
ストレージ装置919は、情報処理装置100の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置100に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置100と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置100の筐体の姿勢など、情報処理装置100自体の状態に関する情報や、情報処理装置100の周辺の明るさや騒音など、情報処理装置100の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
以上、情報処理装置100のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
<4.むすび>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
所定の領域内に存在する複数の操作体それぞれについて、当該操作体に関連する情報の検出結果を取得する取得部と、
前記検出結果に基づき、前記複数の操作体それぞれによる操作に基づく動作を制御するための属性情報を生成する生成部と、
を備える、情報処理装置。
(2)
前記生成部は、前記複数の操作体のうち2以上の前記操作体を関連付けるための前記属性情報を生成する、前記(1)に記載の情報処理装置。
(3)
前記取得部は、前記操作体に関連する情報として、当該操作体の形状特徴の検出結果を取得し、
前記生成部は、前記検出結果に応じた前記複数の操作体それぞれの前記形状特徴に基づき、当該複数の操作体のうち2以上の前記操作体を関連付ける、前記(2)に記載の情報処理装置。
(4)
前記取得部は、前記操作体に関連する情報として、当該操作体の位置または向きの検出結果を取得し、
前記生成部は、前記検出結果に応じた前記複数の操作体それぞれの前記位置または向きに基づき、当該複数の操作体のうち2以上の前記操作体を関連付ける、前記(2)に記載の情報処理装置。
(5)
前記生成部は、前記検出結果に基づき、前記複数の操作体のうち互いに近接する2以上の前記操作体を関連付ける、前記(4)に記載の情報処理装置。
(6)
前記取得部は、前記操作体に関連する情報として、当該操作体の動作の検出結果を取得し、
前記生成部は、前記検出結果に応じた前記複数の操作体それぞれの前記動作に基づき、当該複数の操作体のうち2以上の前記操作体を関連付ける、前記(2)に記載の情報処理装置。
(7)
前記取得部は、前記操作体に関連する情報として、所定の操作対象に対する当該操作体を介した操作結果を取得し、
前記生成部は、前記複数の操作体それぞれを介した前記操作結果に基づき、当該複数の操作体のうち2以上の前記操作体を関連付ける、前記(2)に記載の情報処理装置。
(8)
前記取得部は、前記複数の操作体それぞれに対応するユーザを識別するための識別情報を取得し、
前記生成部は、前記識別情報に基づき、前記複数の操作体のうち少なくとも一部の操作体間の関連付けに関連する動作を制御する、前記(2)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記生成部は、前記検出結果と、過去に生成された前記属性情報とに基づき、新たな前記属性情報を生成する、前記(2)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記生成部は、前記検出結果と、過去に生成された前記属性情報とに基づき、前記複数の操作体のうち少なくとも一部の操作体間の関連付けに関連する動作を制御する、前記(9)に記載の情報処理装置。
(11)
前記属性情報に基づき、2以上の前記操作体間の関連付けに応じた表示情報を提示する表示制御部を備える、前記(2)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記表示制御部は、前記属性情報に基づき、2以上の前記操作体間の関連付けを示す前記表示情報を、当該操作体に関連付けて提示する、前記(11)に記載の情報処理装置。
(13)
前記表示制御部は、前記検出結果と、取得された前記複数の操作体に対応するユーザを識別するための識別情報とに基づき、前記表示情報を提示する、前記(11)に記載の情報処理装置。
(14)
前記表示制御部は、前記検出結果と、過去に生成された前記属性情報とに基づき、前記表示情報を提示する、前記(11)に記載の情報処理装置。
(15)
前記属性情報に基づく前記2以上の操作体間の関連付けに応じて、前記複数の操作体のうち少なくとも一部の操作体を介した操作の受け付けを制御する制御部を備える、前記(2)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記生成部は、前記複数の操作体間を重み付けするための前記属性情報を生成する、前記(1)に記載の情報処理装置。
(17)
前記属性情報に基づき、前記操作体の重みに応じた表示情報を、当該操作体に関連付けて提示する表示制御部を備える、前記(16)に記載の情報処理装置。
(18)
前記属性情報に基づく前記複数の操作体間の重み付けに応じて、前記複数の操作体のうち少なくとも一部の操作体を介した操作の受け付けを制限する制御部を備える、前記(16)または(17)に記載の情報処理装置。
(19)
所定の領域内に存在する複数の操作体それぞれに関連する情報の検出結果を取得することと、
プロセッサが、前記検出結果に基づき、前記複数の操作体それぞれによる操作に基づく動作を制御するための属性情報を生成することと、
を含む、情報処理方法。
(20)
コンピュータに、
所定の領域内に存在する複数の操作体それぞれに関連する情報の検出結果を取得することと、
前記検出結果に基づき、前記複数の操作体それぞれによる操作に基づく動作を制御するための属性情報を生成することと、
を実行させる、プログラム。
100、100a〜100c 情報処理装置
110、110a〜110c 入力部
120 制御部
121 入力解析部
123 属性情報生成部
125 処理実行部
127 出力制御部
130、130a〜130c 出力部

Claims (18)

  1. 複数のユーザのそれぞれに対応する、所定の領域内に存在する複数の操作体それぞれについて、当該操作体に関連する情報の検出結果を取得する取得部と、
    記複数の操作体それぞれによる操作に基づく動作を制御するため、前記検出結果に基づき、前記複数の操作体のうち2以上の前記操作体を関連付けるための属性情報を生成する生成部と、
    前記属性情報に基づく前記2以上の操作体間の関連付けに応じて、前記複数の操作体のうち少なくとも一部の操作体を介した操作の受け付けを制御する制御部と、
    を備え、
    前記各操作体は、前記各ユーザの手であり、
    前記属性情報は、2以上の前記ユーザを関連付ける情報である、
    情報処理装置。
  2. 前記取得部は、前記操作体に関連する情報として、当該操作体の形状特徴の検出結果を取得し、
    前記生成部は、前記検出結果に応じた前記複数の操作体それぞれの前記形状特徴に基づき、当該複数の操作体のうち2以上の前記操作体を関連付ける、請求項に記載の情報処理装置。
  3. 前記取得部は、前記操作体に関連する情報として、当該操作体の位置または向きの検出結果を取得し、
    前記生成部は、前記検出結果に応じた前記複数の操作体それぞれの前記位置または向きに基づき、当該複数の操作体のうち2以上の前記操作体を関連付ける、請求項に記載の情報処理装置。
  4. 前記生成部は、前記検出結果に基づき、前記複数の操作体のうち互いに近接する2以上の前記操作体を関連付ける、請求項に記載の情報処理装置。
  5. 前記取得部は、前記操作体に関連する情報として、当該操作体の動作の検出結果を取得し、
    前記生成部は、前記検出結果に応じた前記複数の操作体それぞれの前記動作に基づき、当該複数の操作体のうち2以上の前記操作体を関連付ける、請求項に記載の情報処理装置。
  6. 前記取得部は、前記操作体に関連する情報として、所定の操作対象に対する当該操作体を介した操作結果を取得し、
    前記生成部は、前記複数の操作体それぞれを介した前記操作結果に基づき、当該複数の操作体のうち2以上の前記操作体を関連付ける、請求項に記載の情報処理装置。
  7. 前記取得部は、前記複数の操作体それぞれに対応するユーザを識別するための識別情報を取得し、
    前記生成部は、前記識別情報に基づき、前記複数の操作体のうち少なくとも一部の操作体間の関連付けに関連する動作を制御する、請求項2〜のいずれか一項に記載の情報処理装置。
  8. 前記生成部は、前記検出結果と、過去に生成された前記属性情報とに基づき、新たな前記属性情報を生成する、請求項2〜のいずれか一項に記載の情報処理装置。
  9. 前記生成部は、前記検出結果と、過去に生成された前記属性情報とに基づき、前記複数の操作体のうち少なくとも一部の操作体間の関連付けに関連する動作を制御する、請求項に記載の情報処理装置。
  10. 前記属性情報に基づき、2以上の前記操作体間の関連付けに応じた表示情報を提示する表示制御部を備える、請求項2〜のいずれか一項に記載の情報処理装置。
  11. 前記表示制御部は、前記属性情報に基づき、2以上の前記操作体間の関連付けを示す前記表示情報を、当該操作体に関連付けて提示する、請求項10に記載の情報処理装置。
  12. 前記表示制御部は、前記検出結果と、取得された前記複数の操作体に対応するユーザを識別するための識別情報とに基づき、前記表示情報を提示する、請求項10に記載の情報処理装置。
  13. 前記表示制御部は、前記検出結果と、過去に生成された前記属性情報とに基づき、前記表示情報を提示する、請求項10に記載の情報処理装置。
  14. 前記生成部は、前記複数の操作体間を重み付けするための前記属性情報を生成する、請求項1に記載の情報処理装置。
  15. 前記属性情報に基づき、前記操作体の重みに応じた表示情報を、当該操作体に関連付けて提示する表示制御部を備える、請求項14に記載の情報処理装置。
  16. 前記属性情報に基づく前記複数の操作体間の重み付けに応じて、前記複数の操作体のうち少なくとも一部の操作体を介した操作の受け付けを制限する制御部を備える、請求項14または15に記載の情報処理装置。
  17. 複数のユーザのそれぞれに対応する、所定の領域内に存在する複数の操作体それぞれに関連する情報の検出結果を取得することと、
    プロセッサが、前記複数の操作体それぞれによる操作に基づく動作を制御するため、前記検出結果に基づき、前記複数の操作体のうち2以上の前記操作体を関連付けるための属性情報を生成することと、
    前記属性情報に基づく前記2以上の操作体間の関連付けに応じて、前記複数の操作体のうち少なくとも一部の操作体を介した操作の受け付けを制御することと、
    を含み、
    前記各操作体は、前記各ユーザの手であり、
    前記属性情報は、2以上の前記ユーザを関連付ける情報である、
    情報処理方法。
  18. コンピュータに、
    複数のユーザのそれぞれに対応する、所定の領域内に存在する複数の操作体それぞれに関連する情報の検出結果を取得することと、
    記複数の操作体それぞれによる操作に基づく動作を制御するため、前記検出結果に基づき、前記複数の操作体のうち2以上の前記操作体を関連付けるための属性情報を生成することと、
    前記属性情報に基づく前記2以上の操作体間の関連付けに応じて、前記複数の操作体のうち少なくとも一部の操作体を介した操作の受け付けを制御することと、
    を実行させる、プログラムであって、
    前記各操作体は、前記各ユーザの手であり、
    前記属性情報は、2以上の前記ユーザを関連付ける情報である、
    プログラム。
JP2017539720A 2015-09-18 2016-06-16 情報処理装置、情報処理方法、及びプログラム Active JP6747446B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015184913 2015-09-18
JP2015184913 2015-09-18
PCT/JP2016/067931 WO2017047182A1 (ja) 2015-09-18 2016-06-16 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017047182A1 JPWO2017047182A1 (ja) 2018-06-28
JP6747446B2 true JP6747446B2 (ja) 2020-08-26

Family

ID=58288683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017539720A Active JP6747446B2 (ja) 2015-09-18 2016-06-16 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US10564712B2 (ja)
EP (1) EP3352051A4 (ja)
JP (1) JP6747446B2 (ja)
WO (1) WO2017047182A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11935449B2 (en) * 2018-01-22 2024-03-19 Sony Corporation Information processing apparatus and information processing method
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11925863B2 (en) * 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
EP4327185A1 (en) 2021-04-19 2024-02-28 Snap, Inc. Hand gestures for animating and controlling virtual and graphical elements

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090131151A1 (en) * 2006-09-01 2009-05-21 Igt Automated Techniques for Table Game State Tracking
US7969418B2 (en) * 2006-11-30 2011-06-28 Cherif Atia Algreatly 3-D computer input device and method
US8069081B2 (en) 2008-09-23 2011-11-29 Microsoft Corporation Targeted advertising using object identification
JP5343773B2 (ja) * 2009-09-04 2013-11-13 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US20110187664A1 (en) * 2010-02-02 2011-08-04 Mark Rinehart Table computer systems and methods
JP5957892B2 (ja) 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP6070512B2 (ja) 2013-11-05 2017-02-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2015098187A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP6245117B2 (ja) * 2014-09-02 2017-12-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
US10564712B2 (en) 2020-02-18
EP3352051A1 (en) 2018-07-25
EP3352051A4 (en) 2019-05-15
JPWO2017047182A1 (ja) 2018-06-28
WO2017047182A1 (ja) 2017-03-23
US20180196503A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
JP6747446B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6669069B2 (ja) 検出装置、検出方法、制御装置、および制御方法
US11170580B2 (en) Information processing device, information processing method, and recording medium
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
US8823642B2 (en) Methods and systems for controlling devices using gestures and related 3D sensor
JP4323180B2 (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
JP5205187B2 (ja) 入力システム及び入力方法
TW200945174A (en) Vision based pointing device emulation
KR20150116897A (ko) Nui 관여의 검출
CN111698564B (zh) 信息推荐方法、装置、设备及存储介质
JPWO2015198688A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2019033322A1 (zh) 手持式控制器、跟踪定位方法以及系统
US11886643B2 (en) Information processing apparatus and information processing method
CN109144598A (zh) 基于手势的电子面罩人机交互方法与系统
US11216179B2 (en) Information processing apparatus and information processing method
Yeo et al. OmniSense: Exploring Novel Input Sensing and Interaction Techniques on Mobile Device with an Omni-Directional Camera
JPWO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム
JP6298915B1 (ja) ゲームプログラム、方法、および情報処理装置
CN109144235B (zh) 基于头手协同动作的人机交互方法与系统
JP6469784B1 (ja) プログラム、方法、および情報処理装置
JP2018183566A (ja) ゲームプログラム、方法、および情報処理装置
JP2019177001A (ja) ゲームプログラム、方法、および情報処理装置
JP2019181214A (ja) ゲームプログラム、方法、および情報処理装置
CN111095186A (zh) 信息处理装置、信息处理方法和程序
van Wezel Gesture-based interaction concepts for mobile augmented reality applications

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R151 Written notification of patent or utility model registration

Ref document number: 6747446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151