JP5880199B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents

表示制御装置、表示制御方法およびプログラム Download PDF

Info

Publication number
JP5880199B2
JP5880199B2 JP2012071332A JP2012071332A JP5880199B2 JP 5880199 B2 JP5880199 B2 JP 5880199B2 JP 2012071332 A JP2012071332 A JP 2012071332A JP 2012071332 A JP2012071332 A JP 2012071332A JP 5880199 B2 JP5880199 B2 JP 5880199B2
Authority
JP
Japan
Prior art keywords
display control
virtual object
display
captured image
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012071332A
Other languages
English (en)
Other versions
JP2013205896A (ja
JP2013205896A5 (ja
Inventor
俊一 笠原
俊一 笠原
脩 繁田
脩 繁田
誠司 鈴木
誠司 鈴木
遼 深澤
遼 深澤
麻紀 森
麻紀 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012071332A priority Critical patent/JP5880199B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP13712937.5A priority patent/EP2831701B1/en
Priority to BR112014023250A priority patent/BR112014023250A8/pt
Priority to IN7836DEN2014 priority patent/IN2014DN07836A/en
Priority to US14/386,591 priority patent/US20150077331A1/en
Priority to KR20147025417A priority patent/KR20150009955A/ko
Priority to CN201380015173.4A priority patent/CN104185829A/zh
Priority to PCT/JP2013/001398 priority patent/WO2013145572A1/en
Publication of JP2013205896A publication Critical patent/JP2013205896A/ja
Publication of JP2013205896A5 publication Critical patent/JP2013205896A5/ja
Application granted granted Critical
Publication of JP5880199B2 publication Critical patent/JP5880199B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8029—Fighting without shooting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Instrument Panels (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、表示制御装置、表示制御方法およびプログラムに関する。
近年、撮像装置により撮像されたユーザの撮像結果（例えば、ユーザのジェスチャ等）を入力インタフェースとして用いる技術が開発されている。かかる技術によれば、例えば、撮像画像におけるユーザの位置（例えば、ユーザの身体の一部または全部の位置）に対応する領域に付加されるオブジェクトを制御することが可能となる。このような入力インタフェースを用いた技術では、ユーザの正面に設置された撮像装置により撮像された撮像画像が用いられ、その撮像画像におけるユーザの２次元上の位置に対応する領域に付加されるオブジェクトが制御されるのが一般的である。
例えば、ユーザの正面に設置された撮像装置により撮像された撮像画像から動きのある２次元上の領域を検出し、この検出結果に応じて、コンピュータ画像に含まれるオブジェクトの移動を制御する技術について開示されている（例えば、特許文献１参照）。
特開２００６−０１４８７５号公報
しかしながら、撮像装置がユーザの正面に設置されるとは限らない。例えば、撮像装置により撮像された撮像画像に操作用の仮想オブジェクトが付加されるという前提において、撮像装置がユーザの斜め後方に設けられる場合、撮像装置がユーザの正面に設けられている場合と同様な手法により操作用の仮想オブジェクトが撮像画像に付加されてしまうと、ユーザの操作性が低下してしまう。したがって、ユーザの操作性を向上させるための技術が実現されることが望ましい。
本開示によれば、撮像装置によって撮像された撮像画像を取得する画像取得部と、前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御する表示制御部とを備え、前記表示制御部は、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御する、表示制御装置が提供される。
また、本開示によれば、撮像装置によって撮像された撮像画像を取得することと、前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御することとを含み、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御することを含む、表示制御方法が提供される。
また、本開示によれば、コンピュータを、撮像装置によって撮像された撮像画像を取得する画像取得部と、前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御する表示制御部とを備え、前記表示制御部は、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御する、表示制御装置として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザの操作性を向上させることが可能である。
第１の実施形態に係る表示制御システムの構成の一例を示す図である。 図１に示した例に従って表示制御システムが構成された場合における操作用の仮想オブジェクトの付加の一例を示す図である。 第１の実施形態に係る表示制御システムの構成の他の一例を示す図である。 図３に示した例に従って表示制御システムが構成された場合における操作用の仮想オブジェクトの付加の一例を示す図である。 第１の実施形態に係る表示制御装置の機能構成例を示すブロック図である。 第１の実施形態に係る表示制御システムの構成の他の一例を示す図である。 図６に示した例に従って表示制御システムが構成された場合における操作用の仮想オブジェクトの付加の一例を示す図である。 図６に示した例に従って表示制御システムが構成された場合における操作用の仮想オブジェクトの付加の他の一例を示す図である。 操作用の仮想オブジェクトの表示を変化させる例を示す図である。 操作用の仮想オブジェクトの表示を変化させる他の一例を示す図である。 操作用の仮想オブジェクトの表示を変化させる他の一例を示す図である。 第１の実施形態に係る表示制御装置の動作の流れを示すフローチャートである。 第２の実施形態に係る表示制御システムの構成の一例を示す図である。 第２の実施形態に係る表示制御装置の機能構成例を示すブロック図である。 第２の実施形態に係る表示制御装置の動作の流れを示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．第１の実施形態
２．第２の実施形態
３．むすび
＜１．第１の実施形態＞
以下では、本開示の第１の実施形態について説明する。まず、本開示の第１の実施形態に係る表示制御システムの構成の一例について説明する。なお、この例は、後に説明する第１のモードが設定される場合における表示制御システムの構成例に相当する。
図１は、本開示の第１の実施形態に係る表示制御システムの構成の一例を示す図である。図１に示したように、本開示の第１の実施形態に係る表示制御システム１Ａは、表示制御装置１０Ａと表示装置２０と撮像装置３０とを含む。撮像装置３０は、ユーザＵを撮像する機能を有している。表示制御装置１０Ａは、撮像装置３０により撮像された撮像画像が表示装置２０に表示されるように表示装置２０を制御する機能を有している。表示装置２０は、表示制御装置１０Ａによる制御に従って撮像画像を表示する機能を有している。
図２は、図１に示した例に従って表示制御システム１Ａが構成された場合における操作用の仮想オブジェクトの付加の一例を示す図である。図２に示したように、表示装置２０には撮像装置３０により撮像された撮像画像が表示されており、撮像画像には操作用の仮想オブジェクト２１１ａ，２１１ｂが付加されている。図２に示した例では、操作用の仮想オブジェクトの数が２つであるが、操作用の仮想オブジェクトの数は特に限定されない。また、図２には、表示制御装置１０ＡがＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）に組み込まれる場合が例として示されているが、表示制御装置１０Ａは、表示装置２０に組み込まれていてもよいし、撮像装置３０に組み込まれていてもよい。また、表示制御装置１０Ａは、他の装置に組み込まれていてもよいし、他の装置に組み込まれておらず単体で存在してもよい。
続いて、本開示の第１の実施形態に係る表示制御システム１Ａの構成の他の一例について説明する。なお、この例は、後に説明する第２のモードが設定される場合における表示制御システム１Ａの構成例に相当する。
図３は、本開示の第１の実施形態に係る表示制御システム１Ａの構成の他の一例を示す図である。図３に示したように、本開示の第１の実施形態に係る表示制御システム１Ａの他の一例は、表示制御装置１０Ａと表示装置２０と撮像装置３０と検出装置４０とを含む。表示制御装置１０Ａは、撮像装置３０により撮像された撮像画像が表示装置２０に表示されるように表示装置２０を制御する機能を有している。検出装置４０は、ユーザＵの動作を検出する機能を有する。検出装置４０は、奥行き情報を取得できる装置であればよく、例えば、赤外線センサにより構成されてもよい。
図４は、図３に示した例に従って表示制御システム１Ａが構成された場合における操作用の仮想オブジェクトの付加の一例を示す図である。図４に示したように、表示装置２０には撮像装置３０により撮像された撮像画像が表示されており、撮像画像には操作用の仮想オブジェクト２１１ｃが付加されている。図４に示した例では、操作用の仮想オブジェクト２１１ｃの数が１０個であるが、操作用の仮想オブジェクト２１１ｃの数は特に限定されない。また、図４には、表示制御装置１０ＡがＳＴＢに組み込まれる場合が例として示されているが、表示制御装置１０Ａは、表示装置２０に組み込まれていてもよいし、撮像装置３０に組み込まれていてもよいし、検出装置４０に組み込まれてもよい。また、表示制御装置１０Ａは、他の装置に組み込まれていてもよいし、他の装置に組み込まれておらず単体で存在してもよい。
図４には、ユーザＵによる操作用の仮想オブジェクト２１１ｃの選択に基づいて進行するアプリケーションの表示画面がコンピュータ画像２２０として表示されている。したがって、ユーザＵは、コンピュータ画像２２０を閲覧しながら、選択すべき操作用の仮想オブジェクト２１１ｃを判断することができる。このようなコンピュータ画像２２０は、図２に示した表示装置２０には表示されていないが、図２に示した表示装置２０にも同様にコンピュータ画像２２０が表示されてもよい。
以上、本開示の第１の実施形態に係る表示制御システム１Ａの構成の例および他の一例について説明した。続いて、これらの例に示したように表示制御システム１Ａが構成される場合に、表示制御装置１０Ａが有する機能について説明する。
図５は、第１の実施形態に係る表示制御装置１０Ａの機能構成例を示すブロック図である。図５に示したように、表示制御装置１０Ａは、表示装置２０、撮像装置３０、検出装置４０および記憶装置５０と接続されている。ただし、図１に示した例に従って表示制御システム１Ａが構成された場合においては、検出装置４０は特に存在しなくてもよい。また、図５に示したように、表示制御装置１０Ａは、画像取得部１１０、モード設定部１２０、領域決定部１３０、範囲検出部１４０、表示制御部１５０、動作検出部１６０およびコマンド実行部１７０を備える。
表示制御装置１０Ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。表示制御装置１０Ａは、記憶装置５０または他の記憶媒体に記憶されるプログラムを実行することにより、表示制御装置１０Ａが有する様々な機能を動作させる。
記憶装置５０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、表示制御装置１０Ａによる処理のためのプログラムおよびデータを記憶する。例えば、記憶装置５０は、物体認識のために使用される特徴量辞書を記憶する。さらに、記憶装置５０は、物体認識の結果として生成される認識結果を記憶することもできる。図５に示した例では、表示制御装置１０Ａと記憶装置５０とが別体に構成されているが、記憶装置５０は、表示制御装置１０Ａに組み込まれていてもよい。
画像取得部１１０は、撮像装置３０によって撮像された撮像画像を取得する。表示制御部１５０は、撮像画像と撮像画像に付加される操作用の仮想オブジェクトとが表示装置２０により表示されるように表示装置２０を制御する。表示制御部１５０は、撮像装置３０と表示装置２０との位置関係に応じて操作用の仮想オブジェクトの表示を制御する。このような制御が行われることにより、操作用の仮想オブジェクトの表示を柔軟に変更することができるため、ユーザの操作性を向上させることが可能である。
撮像装置３０と表示装置２０との位置関係は、特に限定されないが、例えば、図１および図３に示した例では、撮像装置の向きｉと表示装置の向きｄとの関係であってもよいし、撮像装置３０の位置と表示装置２０の位置との関係であってもよい。操作用の仮想オブジェクトの表示の制御は、操作用の仮想オブジェクトの位置の制御であってもよいし、操作用の仮想オブジェクトの透明度の制御であってもよい。
例えば、撮像画像における２次元上の位置に操作用の仮想オブジェクト２１１ａ，２１１ｂが付加されるモード（以下、「第１のモード」と言う）と撮像画像から認識される３次元空間における位置に操作用の仮想オブジェクト２１１ｃが付加されるモード（以下、「第２のモード」と言う）との相異なる２つのモードを用意してもよい。このような相異なる２つのモードが用意された場合には、モード設定部１２０は、第１のモードおよび第２のモードのいずれかを設定し、表示制御部１５０は、モード設定部１２０により設定されたモードに従って操作用の仮想オブジェクトを付加する。
例えば、図２には、モード設定部１２０により第１のモードが設定され、表示制御部１５０により第１のモードに従って操作用の仮想オブジェクト２１１ａ，２１１ｂが撮像画像に付加された場合における表示例が示されている。この例では、撮像画像における２次元上の位置に操作用の仮想オブジェクト２１１ａ，２１１ｂが付加されるため、ユーザＵは、撮像装置３０からの奥行きを意識せずに操作用の仮想オブジェクト２１１ａ，２１１ｂを選択することができる。
一方、図４には、モード設定部１２０により第２のモードが設定され、表示制御部１５０により第２のモードに従って操作用の仮想オブジェクト２１１ｃが撮像画像に付加された場合における表示例が示されている。この例では、撮像画像から認識される３次元空間における位置に操作用の仮想オブジェクト２１１ｃが付加されるため、ユーザＵは、撮像装置３０からの奥行きの違いを利用して複数の仮想オブジェクト２１１ｃのいずれかを選択することが可能となる。
より詳細には、操作用の仮想オブジェクト２１１ｃが付加される位置は、３次元空間に操作用の仮想オブジェクト２１１ｃが配置されたと仮定した場合に撮像画像に映る操作用の仮想オブジェクト２１１ｃの撮像画像における位置である。かかる場合に撮像画像に映る操作用の仮想オブジェクト２１１ｃの撮像画像における位置は、撮像装置の向きｉおよび撮像装置３０の画角に基づいて、３次元空間における操作用の仮想オブジェクト２１１ｃの配置から容易に推測される。３次元空間における操作用の仮想オブジェクト２１１ｃの配置は、例えば、上記したアプリケーションにおいて定められている。
撮像装置の向きｉと表示装置の向きｄとの関係が用いられる場合、モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度に応じて、第１のモードおよび第２のモードのいずれかを設定してもよい。例えば、モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度が所定の閾値を下回る場合には第１のモードを設定し、撮像装置の向きｉと表示装置の向きｄとのなす角度が所定の閾値を上回る場合には第２のモードを設定してもよい。
ここで、所定の閾値は、あらかじめ定めておくことができる。また、撮像装置の向きｉと表示装置の向きｄとのなす角度が所定の閾値と等しい場合には、第１のモードが設定されてもよいし、第２のモードが設定されてもよい。例えば、所定の閾値が９０度である場合を想定する。かかる場合、図１に示したように撮像装置の向きｉと表示装置の向きｄとのなす角度が９０度を下回る場合には第１のモードが設定され（図２参照）、図３に示したように撮像装置の向きｉと表示装置の向きｄとのなす角度が９０度を上回る場合には第２のモードが設定されてもよい（図４参照）。
このように、撮像装置の向きｉと表示装置の向きｄとのなす角度と所定の閾値との関係に基づいて、第１のモードと第２のモードとを使い分けるとよい。撮像装置の向きｉと表示装置の向きｄとのなす角度が所定の閾値を上回る場合には（例えば、ユーザＵの斜め後方から撮像する場合には）、撮像装置の向きｉと表示装置の向きｄとのなす角度が所定の閾値を下回る場合と比較して（例えば、ユーザＵの正面から撮像する場合と比較して）、撮像装置３０からの奥行きが異なる複数の操作用の仮想オブジェクトが画面上においてユーザＵにとって区別しやすいからである。
また、撮像装置の向きｉと表示装置の向きｄとの各々は、どのように取得されてもよい。例えば、撮像装置の向きｉと表示装置の向きｄとの各々は、ユーザＵにより入力されてもよい。あるいは、モード設定部１２０は、表示装置の向きｄとしてユーザの向きｕを使用してもよい。例えば、モード設定部１２０は、ユーザの向きｕと同一の方向でありユーザの向きｕと逆向きを表示装置の向きｄとすることもできる。ユーザの向きｕは、撮像装置３０により撮像された撮像画像から認識されてもよいし、検出装置４０により検出されたデータから認識されてもよい。また、ユーザの向きｕは、ユーザＵの顔の向きであってもよいし、ユーザＵの胴体の向きであってもよい。
第１のモードと第２のモードのいずれを設定するかを決定するに際しては、撮像装置の向きｉと表示装置の向きｄとのなす角度以外の条件がさらに加味されてもよい。例えば、モード設定部１２０は、第１のモードを設定した場合において、ユーザの向きｕと撮像装置の向きｉとのなす角度が所定の上限値を上回る場合、第２のモードを設定してもよい。また、モード設定部１２０は、第２のモードを設定した場合において、ユーザの向きｕと撮像装置の向きｉとのなす角度が所定の下限値を下回る場合、第１のモードを設定してもよい。
ここで、所定の上限値および所定の下限値は、あらかじめ定めておくことができる。例えば、ユーザＵは表示装置２０が設置されている方向を向いている場合には、撮像装置の向きｉと表示装置の向きｄとのなす角度に基づいてモード設定を行えばよいが、表示装置２０が設置されている方向をユーザＵが向いていないことも想定される。したがって、このような条件をさらに加味することにより、ユーザの向きｕをより正確に反映したモード設定を行うことが可能となる。
また、ユーザＵに操作用の仮想オブジェクトを選択させるに際して、ユーザＵが存在すべき位置を示してもよい。例えば、領域決定部１３０は、撮像装置３０と表示装置２０との位置関係に応じて操作用の仮想オブジェクトを選択可能な領域を決定してもよい。この場合、表示制御部１５０は、領域決定部１３０により決定された領域に、操作用の仮想オブジェクトを選択可能な領域である旨を示す表示用の仮想オブジェクト８０を付加してもよい。このような表示用の仮想オブジェクト８０が付加されれば、ユーザＵは、表示用の仮想オブジェクト８０により示される位置によって自分の存在すべき位置を把握することができる。
例えば、領域決定部１３０は、撮像装置３０の位置を基準として撮像装置の向きｉに伸ばした直線と表示装置２０の位置を基準として表示装置の向きｄに伸ばした直線との交点に基づいて、操作用の仮想オブジェクトを選択可能な領域を決定してもよい。例えば、領域決定部１３０は、その交点を基準とした円により囲まれる領域、あるいは、その交点を基準とした矩形に囲まれる領域を、操作用の仮想オブジェクトを選択可能な領域として決定してもよい。
また、ユーザＵの状態が考慮された上で操作用の仮想オブジェクトが表示されてもよい。極端な例を挙げれば、ユーザＵは立ち上がっている状態において操作を行う場合もあれば、座っている状態において操作を行う場合も想定されるからである。したがって、範囲検出部１４０は、ユーザＵの可動範囲７０を検出し、表示制御部１５０は、範囲検出部１４０により検出されたユーザＵの可動範囲７０にさらに基づいて操作用の仮想オブジェクトの位置を制御してもよい。
ユーザＵの可動範囲７０は、ユーザＵが身体を動かすことが可能な３次元空間上の範囲であり、検出装置４０により検出されたデータに基づいて範囲検出部１４０により検出されてもよい。身体は、ユーザＵの身体の一部または全部であり、ユーザＵの手が一例として挙げられるが、ユーザＵの身体の他の部位であってもよいし、身体により移動される何らかの物体であってもよい。
より詳細には、表示制御部１５０は、ユーザＵの可動範囲７０に操作用の仮想オブジェクトが収まるように操作用の仮想オブジェクトの位置を制御すればよい。このような制御がなされれば、ユーザＵの状態が考慮された上で操作用の仮想オブジェクトが表示されるため、操作性がさらに向上することが期待される。ユーザＵの可動範囲７０の検出は、ユーザＵの指定するタイミングで行われてもよいし、操作用の仮想オブジェクトが表示されるタイミングで行われてもよい。ユーザＵの可動範囲７０の検出が行われる場合には、表示装置２０に「無理なく手の届く範囲で手を伸ばして、動かしてください」などといったメッセージが表示されてもよい。
動作検出部１６０は、ユーザＵの動作を検出する。動作検出部１６０は、例えば、モード設定部１２０により第１のモードが設定されている場合には、撮像装置３０により撮像された撮像画像に基づいてユーザＵの動作を検出する。また、動作検出部１６０は、例えば、モード設定部１２０により第２のモードが設定されている場合には、検出装置４０により検出されたデータに基づいてユーザＵの動作を検出する。
例えば、第１のモードが設定されている場合には、撮像画像における２次元上の位置に操作用の仮想オブジェクトが付加されるため、ユーザＵの身体の撮像画像における２次元上の位置がユーザＵの動作として検出されてもよい。また、例えば、第２のモードが設定されている場合には、撮像画像から認識される３次元空間における位置に操作用の仮想オブジェクトが付加されるため、ユーザＵの身体の３次元空間における位置がユーザＵの動作として検出されてもよい。
より詳細には、動作検出部１６０は、第１のモードが設定されている場合には、操作用の仮想オブジェクトとユーザＵの身体とにおいて、撮像画像における２次元上の位置が一致する場合に、操作用の仮想オブジェクトを選択するためのユーザ動作を検出してもよい。また、動作検出部１６０は、第２のモードが設定されている場合には、操作用の仮想オブジェクトとユーザＵの身体とにおいて、３次元空間における位置が一致する場合に、操作用の仮想オブジェクトを選択するためのユーザ動作を検出してもよい。
コマンド実行部１７０は、動作検出部１６０により操作用の仮想オブジェクトを選択するためのユーザ動作が検出された場合、操作用の仮想オブジェクトに対応するコマンドを実行する。例えば、コマンド実行部１７０は、図２に示された例では、操作用の仮想オブジェクト２１１ａを選択するためのユーザ動作が検出された場合には、アプリケーションにより提供されるサービスを開始するためのコマンドを実行し、操作用の仮想オブジェクト２１１ｂを選択するためのユーザ動作が検出された場合には、アプリケーションにより提供されるサービスを終了するためのコマンドを実行する。
また、コマンド実行部１７０は、図４に示された例では、操作用の仮想オブジェクト２１１ｃを選択するためのユーザ動作が検出された場合には、アプリケーションにより提供されるサービスにおける各種のコマンドを実行する。実行されるコマンドは、複数の操作用の仮想オブジェクト２１１ｃの全部において異なっていてもよいし、複数の操作用の仮想オブジェクト２１１ｃの一部において同一であってもよい。
以上、表示制御装置１０Ａが有する機能について説明した。ところで、本開示の第１の実施形態に係る表示制御システム１Ａの他の一例（図３および図４に示された例）では、撮像装置３０による撮像範囲に表示装置２０が含まれていない。しかし、撮像範囲には表示装置２０が含まれる場合も想定される。以下では、撮像範囲に表示装置２０が含まれる場合について説明する。
図６は、第１の実施形態に係る表示制御システム１Ａの構成の他の一例を示す図である。図６に示したように、本開示の第１の実施形態に係る表示制御システム１Ａの他の一例は、表示制御装置１０Ａと表示装置２０と撮像装置３０と検出装置４０とを含む。また、図６に示した表示制御システム１Ａの構成の他の一例では、撮像装置３０による撮像範囲に表示装置２０が含まれている。
上記したように、撮像装置の向きｉと表示装置の向きｄとのなす角度と所定の閾値との関係に基づいて、第１のモードと第２のモードとを使い分けるとよい。図６に示したように、撮像装置３０により撮像された撮像画像に表示装置２０が映っている場合、モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度として撮像画像から認識される表示装置２０の角度を使用してもよい。
例えば、表示装置２０の角度は、表示装置２０により表示されている画面の姿勢が認識される場合には、その画面の姿勢により認識されてもよいし、表示装置２０自身の姿勢が認識される場合には、表示装置２０自身の姿勢により認識されてもよい。例えば、撮像画像に表示装置２０の前面が正面から映っている場合には、撮像装置の向きｉと表示装置の向きｄとのなす角度が１８０度であり、撮像画像に表示装置２０の背面が正面から映っている場合には、撮像装置の向きｉと表示装置の向きｄとのなす角度が０度である。
なお、第２のモードが設定されている場合、操作用の仮想オブジェクトは撮像画像から認識される３次元空間に付加される。しかし、表示装置２０よりも奥に付加された場合には、ユーザＵは、その操作用の仮想オブジェクトを選択するために表示装置２０の奥に手を伸ばす必要が生じ、ユーザＵは不自然な動きを強要される。したがって、表示制御部１５０は、モード設定部１２０により第２のモードが設定されている場合、撮像画像に映っている表示装置２０の位置よりも奥の位置への操作用の仮想オブジェクトの付加を制限してもよい。
例えば、表示制御部１５０は、モード設定部１２０により第２のモードが設定されている場合、撮像画像に映っている表示装置２０の位置よりも奥の位置への操作用の仮想オブジェクトの付加を禁止してもよい。図６に示した例では、表示装置２０の奥の領域が、仮想オブジェクト付加禁止領域９０として示されている。例えば、表示制御部１５０は、モード設定部１２０により第２のモードが設定されている場合、撮像画像に映っている表示装置２０の位置よりも奥の位置への操作用の仮想オブジェクトの付加を禁止するとともに、その操作用の仮想オブジェクトを撮像画像に映っている表示装置２０の位置よりも手前の位置に付加してもよい。
図７は、図６に示した例に従って表示制御システム１Ａが構成された場合における操作用の仮想オブジェクトの付加の一例を示す図である。図７に示したように、撮像範囲に表示装置２０が含まれる場合においても、表示装置２０には撮像装置３０により撮像された撮像画像Ｉｍｇが表示されており、撮像画像Ｉｍｇには操作用の仮想オブジェクト２１１ｃが付加されている。しかし、撮像画像Ｉｍｇには表示装置２０が含まれており、この表示装置２０にも撮像画像Ｉｍｇが表示されるため、複数の撮像画像Ｉｍｇが連続的に表示されてしまうことになる。
図８は、図６に示した例に従って表示制御システム１Ａが構成された場合における操作用の仮想オブジェクトの付加の他の一例を示す図である。上記のような連続的な表示を回避するため、表示制御部１５０は、モード設定部１２０により第２のモードが設定されている場合、撮像画像Ｉｍｇに映っている表示装置２０により表示されている画像を他の画像に置き換えればよい。他の画像は特に限定されないが、例えば、図８に示したように、表示制御部１５０は、撮像画像Ｉｍｇに映っている表示装置２０により表示されている画像をコンピュータ画像２２０に置き換えてもよい。
以上、撮像装置３０による撮像範囲に表示装置２０が含まれる場合について説明した。ところで、上記した例では、ユーザＵの身体の位置を特に考慮せずに操作用の仮想オブジェクトを付加することとしたため、操作用の仮想オブジェクトによりユーザＵの身体が隠蔽されてしまうという事態も想定される。以下では、かかる事態を回避してユーザの操作性をさらに向上させる例について説明する。
図９は、操作用の仮想オブジェクトの表示を変化させる例を示す図である。表示制御部１５０は、例えば、モード設定部１２０により第２のモードが設定されている場合、撮像画像においてユーザＵの手前に操作用の仮想オブジェクトが重なる場合には、操作用の仮想オブジェクトの表示を変化させればよい。操作用の仮想オブジェクト２１１ｃとユーザＵとの重なりは、操作用の仮想オブジェクト２１１ｃのうちの所定領域とユーザＵとの重なりにより判定されてもよいし、操作用の仮想オブジェクト２１１ｃのうち所定量を超えた部分とユーザＵとの重なりにより判定されてもよい。
図９に示した例では、表示制御部１５０は、撮像画像においてユーザＵの手前に操作用の仮想オブジェクト２１１ｃが重なっているため、透過率を低下させた操作用の仮想オブジェクト２１１ｃを撮像画像に付加することにより操作用の仮想オブジェクト２１１ｃの表示を変化させている。透過率の低下度合いは特に限定されない。このように制御すれば、ユーザＵは、自身の身体の位置を把握しやすくなる。
図１０は、操作用の仮想オブジェクトの表示を変化させる他の一例を示す図である。図１０に示した例では、表示制御部１５０は、撮像画像においてユーザＵの手前に操作用の仮想オブジェクト２１１ｃが重なっているため、ユーザＵとの重なりが生じない位置に操作用の仮想オブジェクト２１１ｃを付加することにより操作用の仮想オブジェクト２１１ｃの表示を変化させている。特に、図１０に示した例では、操作用の仮想オブジェクト２１１ｃを表示装置２０に近づけるように移動させている。このように制御すれば、ユーザＵは、自身の身体の位置を把握しやすくなる。
図１１は、操作用の仮想オブジェクトの表示を変化させる他の一例を示す図である。図１１に示した例では、表示制御部１５０は、撮像画像においてユーザＵの手前に操作用の仮想オブジェクト２１１ｃが重なっているため、ユーザＵとの重なりが生じない位置に操作用の仮想オブジェクト２１１ｃを付加することにより操作用の仮想オブジェクト２１１ｃの表示を変化させている。特に、図１１に示した例では、操作用の仮想オブジェクト２１１ｃの高さを変更している。このように制御すれば、ユーザＵは、自身の身体の位置を把握しやすくなる。
以上、操作用の仮想オブジェクトによりユーザＵの身体が隠蔽されてしまうという事態を回避する例について説明した。以下では、第１の実施形態に係る表示制御装置１０Ａの動作の流れについて説明する。
図１２は、第１の実施形態に係る表示制御装置１０Ａの動作の流れを示すフローチャートである。図１２に示すように、まず、画像取得部１１０は、撮像装置３０により撮像された撮像画像を取得する（ステップＳ１１）。モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度が閾値を下回る場合には（ステップＳ１２で「ＹＥＳ」）、第１のモードを設定する。一方、モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度が閾値を上回る場合には（ステップＳ１２で「ＮＯ」）、第２のモードを設定する。
モード設定部１２０により第１のモードが設定された場合には、表示制御部１５０は、撮像画像の２次元上の位置に操作用の仮想オブジェクトを付加する（ステップＳ１３）。一方、モード設定部１２０により第２のモードが設定された場合には、表示制御部１５０は、撮像画像から認識される３次元空間における位置に操作用の仮想オブジェクトを付加する（ステップＳ１４）。
撮像画像に操作用の仮想オブジェクトが付加されると、表示制御部１５０は、操作用の仮想オブジェクトが付加された撮像画像が表示装置２０に表示されるように表示装置２０を制御する（ステップＳ１５）。表示制御部１５０による制御に従って、表示装置２０が操作用の仮想オブジェクトが付加された撮像画像を表示すると、ステップＳ１６に移行される。
続いて、動作検出部１６０は、操作用の仮想オブジェクトの位置を選択するためのユーザ動作が検出したか否かを判定する（ステップＳ１６）。動作検出部１６０は、操作用の仮想オブジェクトの位置を選択するためのユーザ動作を検出しない場合には（ステップＳ１６で「ＮＯ」）、操作用の仮想オブジェクトの位置を選択するためのユーザ動作を検出するまでステップＳ１６の判定を行う。一方、動作検出部１６０により、操作用の仮想オブジェクトの位置を選択するためのユーザ動作が検出された場合には（ステップＳ１６で「ＹＥＳ」）、コマンド実行部１７０は、操作用の仮想オブジェクトに対応するコマンドを実行し（ステップＳ１７）、動作が終了される。
以上に説明したように、本開示の第１の実施形態によれば、撮像装置３０と表示装置２０との位置関係に応じて操作用の仮想オブジェクトの表示が制御される。例えば、撮像装置の向きｉと表示装置の向きｄとのなす角度に応じて、第１のモードおよび第２のモードのいずれかが設定され、設定されたモードに従って操作用の仮想オブジェクトの表示が制御される。このような制御により、ユーザの操作性が向上されることが期待される。
＜２．第２の実施形態＞
続いて、本開示の第２の実施形態について説明する。本開示の第２の実施形態は、表示制御システムが複数の撮像装置３０を備える例である。したがって、撮像画像の提供元の撮像装置３０として複数の撮像装置３０のうちのいずれかが選択され得る。また、撮像装置３０の選択に応じてモードを変更することも可能である。まず、本開示の第２の実施形態に係る表示制御システムの構成の一例について説明する。
図１３は、第２の実施形態に係る表示制御システムの構成の一例を示す図である。図１３に示したように、本開示の第２の実施形態に係る表示制御システム１Ｂは、表示制御装置１０Ｂと表示装置２０と複数の撮像装置３０と検出装置４０とを含む。複数の撮像装置３０は、ユーザＵを撮像する機能を有している。表示制御装置１０Ｂは、複数の撮像装置３０から選択された撮像装置３０により撮像された撮像画像が表示装置２０に表示されるように表示装置２０を制御する機能を有している。表示装置２０は、表示制御装置１０Ｂによる制御に従って撮像画像を表示する機能を有している。
なお、図１３には、複数の撮像装置３０の例として、撮像装置３０Ａおよび撮像装置３０Ｂが示されているが、撮像装置３０の数は２つに限定される訳ではない。また、図１３には、撮像装置３０Ａおよび撮像装置３０Ｂの各々の向きが撮像装置の向きｉ１および撮像装置の向きｉ２として示されている。第１の実施形態と同様に、表示制御装置１０Ｂは、ＳＴＢに組み込まれてもよいし、表示装置２０に組み込まれていてもよいし、撮像装置３０に組み込まれていてもよい。また、表示制御装置１０Ｂは、他の装置に組み込まれていてもよいし、他の装置に組み込まれておらず単体で存在してもよい。
以上、本開示の第２の実施形態に係る表示制御システム１Ｂの構成の例について説明した。続いて、この例に示したように表示制御システム１Ｂが構成される場合に、表示制御装置１０Ｂが有する機能について説明する。
図１４は、第２の実施形態に係る表示制御装置１０Ｂの機能構成例を示すブロック図である。図１４に示したように、表示制御装置１０Ｂは、表示装置２０、複数の撮像装置３０、検出装置４０および記憶装置５０と接続されている。表示制御装置１０Ｂは、ＣＰＵまたはＤＳＰなどのプロセッサに相当する。表示制御装置１０Ｂは、記憶装置５０または他の記憶媒体に記憶されるプログラムを実行することにより、表示制御装置１０Ｂが有する様々な機能を動作させる。
また、図１４に示したように、表示制御装置１０Ｂは、表示制御装置１０Ａが備える機能ブロックの他に、選択部１８０を備える。選択部１８０は、複数の撮像装置３０が設置されている場合、複数の撮像装置３０の中から１つの撮像装置３０を選択する機能を有する。画像取得部１１０は、選択部１８０により選択された撮像装置３０によって撮像された撮像画像を取得する。
選択部１８０による撮像装置３０の選択手法は特に限定されない。例えば、選択部１８０は、動作検出部１６０により検出されたユーザＵの状態に基づいて撮像装置３０を選択してもよい。一例として、選択部１８０は、動作検出部１６０により撮像装置３０を指定するユーザ動作が検出された場合、ユーザ動作により指定される撮像装置３０を選択してもよい。撮像装置３０を指定するユーザ動作は特に限定されないが、例えば、撮像装置３０を指定するための仮想オブジェクトが表示された場合には、その仮想オブジェクトを選択する動作であってもよい。
また、他の一例として、選択部１８０は、ユーザの向きｕと複数の撮像装置３０の各々の向きとのなす角度に基づいて、撮像装置３０を選択してもよい。例えば、選択部１８０は、ユーザの向きｕとなす角度が最大となる向きの撮像装置３０を選択してもよい。ユーザの向きｕと撮像装置の向きｉとのなす角度が大きいほどユーザＵによる操作が容易に行われることが予想されるからである。
図１３に示した例では、ユーザの向きｕと撮像装置の向きｉ２とのなす角度の方が、ユーザの向きｕと撮像装置の向きｉ１とのなす角度よりも大きいため、選択部１８０は、撮像装置３０Ｂを選択してもよい。なお、角度が小さいほどユーザＵによる操作が容易である場合も想定される。したがって、ユーザＵによる設定によっては、ユーザの向きｕと撮像装置の向きｉとのなす角度が最小となる向きの撮像装置３０が選択されてもよい。
以上、本開示の第２の実施形態に係る表示制御システム１Ｂが有する機能について説明した。続いて、第２の実施形態に係る表示制御装置１０Ｂの動作の流れについて説明する。本動作においては、第１の実施形態に係る表示制御装置１０Ａの動作に対して、複数の撮像装置３０の中から１つの撮像装置３０を選択する動作が追加される。
図１５は、第２の実施形態に係る表示制御装置１０Ｂの動作の流れを示すフローチャートである。図１５に示すように、まず、選択部１８０は、複数の撮像装置３０の中から１つの撮像装置３０を選択する（ステップＳ２１）。画像取得部１１０は、選択された撮像装置３０により撮像された撮像画像を取得する（ステップＳ２２）。モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度が閾値を下回る場合には（ステップＳ２３で「ＹＥＳ」）、第１のモードを設定する。一方、モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度が閾値を上回る場合には（ステップＳ２３で「ＮＯ」）、第２のモードを設定する。
モード設定部１２０により第１のモードが設定された場合には、表示制御部１５０は、撮像画像の２次元上の位置に操作用の仮想オブジェクトを付加する（ステップＳ２４）。一方、モード設定部１２０により第２のモードが設定された場合には、表示制御部１５０は、撮像画像から認識される３次元空間における位置に操作用の仮想オブジェクトを付加する（ステップＳ２５）。
撮像画像に操作用の仮想オブジェクトが付加されると、表示制御部１５０は、操作用の仮想オブジェクトが付加された撮像画像が表示装置２０に表示されるように表示装置２０を制御する（ステップＳ２６）。表示制御部１５０による制御に従って、表示装置２０が操作用の仮想オブジェクトが付加された撮像画像を表示すると、ステップＳ２７に移行される。
続いて、動作検出部１６０は、操作用の仮想オブジェクトの位置を選択するためのユーザ動作が検出したか否かを判定する（ステップＳ２７）。動作検出部１６０は、操作用の仮想オブジェクトの位置を選択するためのユーザ動作を検出しない場合には（ステップＳ２７で「ＮＯ」）、操作用の仮想オブジェクトの位置を選択するためのユーザ動作を検出するまでステップＳ２７の判定を行う。一方、動作検出部１６０により、操作用の仮想オブジェクトの位置を選択するためのユーザ動作が検出された場合には（ステップＳ２７で「ＹＥＳ」）、コマンド実行部１７０は、操作用の仮想オブジェクトに対応するコマンドを実行し（ステップＳ２８）、動作が終了される。
以上に説明したように、本開示の第２の実施形態によれば、選択部１８０が有する機能により複数の撮像装置３０の中から１つの撮像装置３０を選択され、選択された撮像装置３０により撮像される撮像画像が画像取得部１１０により取得される。したがって、第２の実施形態によれば、ユーザの利便性がさらに向上されることが期待される。
＜３．むすび＞
以上説明したように、本開示の第１の実施形態によれば、撮像装置３０によって撮像された撮像画像を取得する画像取得部１１０と、撮像画像と撮像画像に付加される操作用の仮想オブジェクトとが表示装置２０により表示されるように表示装置２０を制御する表示制御部１５０とを備える表示制御装置１０が提供される。表示制御部１５０は、撮像装置３０と表示装置２０との位置関係に応じて操作用の仮想オブジェクトの表示を制御する。
かかる構成によれば、撮像装置３０と表示装置２０との位置関係に応じて操作用の仮想オブジェクトの表示が制御される。例えば、撮像装置の向きｉと表示装置の向きｄとのなす角度に応じて、第１のモードおよび第２のモードのいずれかが設定され、設定されたモードに従って操作用の仮想オブジェクトの表示が制御される。このような制御により、ユーザの操作性が向上されることが期待される。
また、本開示の第２の実施形態によれば、複数の撮像装置３０の中から１つの撮像装置３０を選択する選択部１８０をさらに有する表示制御装置１０Ｂが提供される。かかる構成によれば、選択部１８０により選択された撮像装置３０により撮像される撮像画像が画像取得部１１０により取得される。したがって、ユーザの利便性がさらに向上されることが期待される。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、例えば、上記では、表示装置２０を認識する機能（あるいは、表示装置２０により表示されている画面を認識する機能）を、表示制御装置１０が有する例を主に説明したが、かかる機能は、表示制御装置１０の代わりにサーバが有していてもよい。例えば、表示制御装置１０が撮像画像をサーバに送信した場合、サーバは表示制御装置１０の代わりに撮像画像から表示装置２０を認識してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。
また、本明細書の表示制御装置１０の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、表示制御装置１０の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、表示制御装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した表示制御装置１０の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像装置によって撮像された撮像画像を取得する画像取得部と、
前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御する表示制御部とを備え、
前記表示制御部は、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御する、
表示制御装置。
（２）
前記表示制御装置は、
前記撮像画像における２次元上の位置に前記操作用の仮想オブジェクトを付加する第１のモードおよび前記撮像画像から認識される３次元空間における位置に前記操作用の仮想オブジェクトを付加する第２のモードのいずれかを設定するモード設定部をさらに備え、
前記表示制御部は、前記モード設定部により設定されたモードに従って前記操作用の仮想オブジェクトを付加する、
前記（１）に記載の表示制御装置。
（３）
前記モード設定部は、前記撮像装置の向きと前記表示装置の向きとのなす角度に応じて、前記第１のモードおよび前記第２のモードのいずれかを設定する、
前記（２）に記載の表示制御装置。
（４）
前記モード設定部は、前記撮像装置の向きと前記表示装置の向きとのなす角度が所定の閾値を下回る場合には前記第１のモードを設定し、前記撮像装置の向きと前記表示装置の向きとのなす角度が前記所定の閾値を上回る場合には前記第２のモードを設定する、
前記（３）に記載の表示制御装置。
（５）
前記モード設定部は、
前記第１のモードを設定した場合において、ユーザの向きと前記撮像装置の向きとのなす角度が所定の上限値を上回る場合、前記第２のモードを設定し、
前記第２のモードを設定した場合において、ユーザの向きと前記撮像装置の向きとのなす角度が所定の下限値を下回る場合、前記第１のモードを設定する、
前記（２）〜（４）のいずれか１項に記載の表示制御装置。
（６）
前記表示制御装置は、
ユーザ動作を検出する動作検出部と、
前記動作検出部により前記操作用の仮想オブジェクトを選択するためのユーザ動作が検出された場合、前記操作用の仮想オブジェクトに対応するコマンドを実行するコマンド実行部と、
をさらに備える、前記（１）〜（５）のいずれか１項に記載の表示制御装置。
（７）
前記動作検出部は、前記ユーザ動作を、前記撮像装置とは別に設置された検出装置により検出されたデータに基づいて検出する、
前記（６）に記載の表示制御装置。
（８）
前記モード設定部は、前記撮像装置の向きと前記表示装置の向きとのなす角度として前記撮像画像から認識される前記表示装置の角度を使用する、
前記（３）〜（５）のいずれか１項に記載の表示制御装置。
（９）
前記モード設定部は、前記表示装置の向きとしてユーザの向きを使用する、
前記（３）〜（５）のいずれか１項に記載の表示制御装置。
（１０）
前記表示制御部は、
前記モード設定部により前記第２のモードが設定されている場合、前記撮像画像においてユーザの手前に前記操作用の仮想オブジェクトが重なる場合には、前記操作用の仮想オブジェクトの表示を変化させる、
前記（２）〜（５）のいずれか１項に記載の表示制御装置。
（１１）
前記表示制御部は、
透過率を低下させた操作用の仮想オブジェクトを前記撮像画像に付加することにより前記操作用の仮想オブジェクトの表示を変化させる、
前記（１０）に記載の表示制御装置。
（１２）
前記表示制御部は、
重なりが生じない位置に前記操作用の仮想オブジェクトを付加することにより前記操作用の仮想オブジェクトの表示を変化させる、
前記（１０）に記載の表示制御装置。
（１３）
前記表示制御部は、
前記モード設定部により前記第２のモードが設定されている場合、前記撮像画像に映っている前記表示装置の位置よりも奥の位置への操作用の仮想オブジェクトの付加を制限する、
前記（２）〜（５）のいずれか１項に記載の表示制御装置。
（１４）
前記表示制御部は、
前記モード設定部により前記第２のモードが設定されている場合、前記撮像画像に映っている前記表示装置により表示されている画像を他の画像に置き換える、
前記（２）〜（５）のいずれか１項に記載の表示制御装置。
（１５）
前記表示制御装置は、
前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトを選択可能な領域を決定する領域決定部をさらに備え、
前記表示制御部は、前記領域決定部により決定された領域に、前記操作用の仮想オブジェクトを選択可能な領域である旨を示す表示用の仮想オブジェクトを付加する、
前記（１）〜（１４）のいずれか１項に記載の表示制御装置。
（１６）
前記表示制御装置は、
ユーザの可動範囲を検出する範囲検出部をさらに備え、
前記表示制御部は、前記範囲検出部により検出されたユーザの可動範囲にさらに基づいて前記操作用の仮想オブジェクトの位置を制御する、
前記（１）〜（１５）のいずれか１項に記載の表示制御装置。
（１７）
前記表示制御装置は、
複数の撮像装置が設置されている場合、前記複数の撮像装置の中から１つの撮像装置を選択する選択部をさらに備え、
前記画像取得部は、前記選択部により選択された撮像装置によって撮像された撮像画像を取得する、
前記（１）〜（１６）のいずれか１項に記載の表示制御装置。
（１８）
前記選択部は、前記動作検出部により検出されたユーザの状態に基づいて撮像装置を選択する、
前記（１７）に記載の表示制御装置。
（１９）
撮像装置によって撮像された撮像画像を取得することと、
前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御することとを含み、
前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御することを含む、表示制御方法。
（２０）
コンピュータを、
撮像装置によって撮像された撮像画像を取得する画像取得部と、
前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御する表示制御部とを備え、
前記表示制御部は、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御する、
表示制御装置として機能させるためのプログラム。
１（１Ａ，１Ｂ） 表示制御システム
１０（１０Ａ，１０Ｂ） 表示制御装置
２０ 表示装置
３０（３０Ａ，３０Ｂ） 撮像装置
４０ 検出装置
７０ 可動範囲
８０ 表示用の仮想オブジェクト
９０ 仮想オブジェクト付加禁止領域
１１０ 画像取得部
１２０ モード設定部
１３０ 領域決定部
１４０ 範囲検出部
１５０ 表示制御部
１６０ 動作検出部
１７０ コマンド実行部
１８０ 選択部
２１１ａ，２１１ｂ，２１１ｃ 操作用の仮想オブジェクト

Claims (20)

  1. 撮像装置によって撮像された撮像画像を取得する画像取得部と、
    前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御する表示制御部とを備え、
    前記表示制御部は、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御する、
    表示制御装置。
  2. 前記表示制御装置は、
    前記撮像画像における２次元上の位置に前記操作用の仮想オブジェクトを付加する第１のモードおよび前記撮像画像から認識される３次元空間における位置に前記操作用の仮想オブジェクトを付加する第２のモードのいずれかを設定するモード設定部をさらに備え、
    前記表示制御部は、前記モード設定部により設定されたモードに従って前記操作用の仮想オブジェクトを付加する、
    請求項１に記載の表示制御装置。
  3. 前記モード設定部は、前記撮像装置の向きと前記表示装置の向きとのなす角度に応じて、前記第１のモードおよび前記第２のモードのいずれかを設定する、
    請求項２に記載の表示制御装置。
  4. 前記モード設定部は、前記撮像装置の向きと前記表示装置の向きとのなす角度が所定の閾値を下回る場合には前記第１のモードを設定し、前記撮像装置の向きと前記表示装置の向きとのなす角度が前記所定の閾値を上回る場合には前記第２のモードを設定する、
    請求項３に記載の表示制御装置。
  5. 前記モード設定部は、
    前記第１のモードを設定した場合において、ユーザの向きと前記撮像装置の向きとのなす角度が所定の上限値を上回る場合、前記第２のモードを設定し、
    前記第２のモードを設定した場合において、ユーザの向きと前記撮像装置の向きとのなす角度が所定の下限値を下回る場合、前記第１のモードを設定する、
    請求項２〜４のいずれか１項に記載の表示制御装置。
  6. 前記表示制御装置は、
    ユーザ動作を検出する動作検出部と、
    前記動作検出部により前記操作用の仮想オブジェクトを選択するためのユーザ動作が検出された場合、前記操作用の仮想オブジェクトに対応するコマンドを実行するコマンド実行部と、
    をさらに備える、請求項１〜５のいずれか１項に記載の表示制御装置。
  7. 前記動作検出部は、前記ユーザ動作を、前記撮像装置とは別に設置された検出装置により検出されたデータに基づいて検出する、
    請求項６に記載の表示制御装置。
  8. 前記モード設定部は、前記撮像装置の向きと前記表示装置の向きとのなす角度として前記撮像画像から認識される前記表示装置の角度を使用する、
    請求項３〜５のいずれか１項に記載の表示制御装置。
  9. 前記モード設定部は、前記表示装置の向きとしてユーザの向きを使用する、
    請求項３〜５のいずれか１項に記載の表示制御装置。
  10. 前記表示制御部は、
    前記モード設定部により前記第２のモードが設定されている場合、前記撮像画像においてユーザの手前に前記操作用の仮想オブジェクトが重なる場合には、前記操作用の仮想オブジェクトの表示を変化させる、
    請求項２〜５のいずれか１項に記載の表示制御装置。
  11. 前記表示制御部は、
    透過率を低下させた操作用の仮想オブジェクトを前記撮像画像に付加することにより前記操作用の仮想オブジェクトの表示を変化させる、
    請求項１０に記載の表示制御装置。
  12. 前記表示制御部は、
    重なりが生じない位置に前記操作用の仮想オブジェクトを付加することにより前記操作用の仮想オブジェクトの表示を変化させる、
    請求項１０に記載の表示制御装置。
  13. 前記表示制御部は、
    前記モード設定部により前記第２のモードが設定されている場合、前記撮像画像に映っている前記表示装置の位置よりも奥の位置への操作用の仮想オブジェクトの付加を制限する、
    請求項２〜５のいずれか１項に記載の表示制御装置。
  14. 前記表示制御部は、
    前記モード設定部により前記第２のモードが設定されている場合、前記撮像画像に映っている前記表示装置により表示されている画像を他の画像に置き換える、
    請求項２〜５のいずれか１項に記載の表示制御装置。
  15. 前記表示制御装置は、
    前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトを選択可能な領域を決定する領域決定部をさらに備え、
    前記表示制御部は、前記領域決定部により決定された領域に、前記操作用の仮想オブジェクトを選択可能な領域である旨を示す表示用の仮想オブジェクトを付加する、
    請求項１〜１４のいずれか１項に記載の表示制御装置。
  16. 前記表示制御装置は、
    ユーザの可動範囲を検出する範囲検出部をさらに備え、
    前記表示制御部は、前記範囲検出部により検出されたユーザの可動範囲にさらに基づいて前記操作用の仮想オブジェクトの位置を制御する、
    請求項１〜１５のいずれか１項に記載の表示制御装置。
  17. 前記表示制御装置は、
    複数の撮像装置が設置されている場合、前記複数の撮像装置の中から１つの撮像装置を選択する選択部をさらに備え、
    前記画像取得部は、前記選択部により選択された撮像装置によって撮像された撮像画像を取得する、
    請求項１〜１６のいずれか１項に記載の表示制御装置。
  18. 前記選択部は、ユーザの状態に基づいて撮像装置を選択する、
    請求項１７に記載の表示制御装置。
  19. 撮像装置によって撮像された撮像画像を取得することと、
    前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御することとを含み、
    前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御することを含む、表示制御方法。
  20. コンピュータを、
    撮像装置によって撮像された撮像画像を取得する画像取得部と、
    前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御する表示制御部とを備え、
    前記表示制御部は、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御する、
    表示制御装置として機能させるためのプログラム。
JP2012071332A 2012-03-27 2012-03-27 表示制御装置、表示制御方法およびプログラム Active JP5880199B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2012071332A JP5880199B2 (ja) 2012-03-27 2012-03-27 表示制御装置、表示制御方法およびプログラム
BR112014023250A BR112014023250A8 (pt) 2012-03-27 2013-03-06 Dispositivo e método de controle de exibição, e, mídia legível por computador
IN7836DEN2014 IN2014DN07836A (ja) 2012-03-27 2013-03-06
US14/386,591 US20150077331A1 (en) 2012-03-27 2013-03-06 Display control device, display control method, and program
EP13712937.5A EP2831701B1 (en) 2012-03-27 2013-03-06 Display control device, display control method, and program
KR20147025417A KR20150009955A (ko) 2012-03-27 2013-03-06 표시 제어 장치, 표시 제어 방법 및 프로그램
CN201380015173.4A CN104185829A (zh) 2012-03-27 2013-03-06 显示控制设备、显示控制方法和程序
PCT/JP2013/001398 WO2013145572A1 (en) 2012-03-27 2013-03-06 Display control device, display control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012071332A JP5880199B2 (ja) 2012-03-27 2012-03-27 表示制御装置、表示制御方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2013205896A JP2013205896A (ja) 2013-10-07
JP2013205896A5 JP2013205896A5 (ja) 2015-04-16
JP5880199B2 true JP5880199B2 (ja) 2016-03-08

Family

ID=48014233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012071332A Active JP5880199B2 (ja) 2012-03-27 2012-03-27 表示制御装置、表示制御方法およびプログラム

Country Status (8)

Country Link
US (1) US20150077331A1 (ja)
EP (1) EP2831701B1 (ja)
JP (1) JP5880199B2 (ja)
KR (1) KR20150009955A (ja)
CN (1) CN104185829A (ja)
BR (1) BR112014023250A8 (ja)
IN (1) IN2014DN07836A (ja)
WO (1) WO2013145572A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2519339A (en) * 2013-10-18 2015-04-22 Realeyes O Method of collecting computer user data
JP2017054251A (ja) * 2015-09-08 2017-03-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017104835A1 (ja) * 2015-12-16 2017-06-22 日本電気株式会社 侵入検出装置、設定支援装置、侵入検出方法、設定支援方法及びプログラム記録媒体
KR101991794B1 (ko) * 2016-12-06 2019-06-25 한국과학기술연구원 공간적 관계 정보를 이용하여 겹쳐 있는 가상 객체를 선택하기 위한 방법, 프로그램 및 장치
JP2019117994A (ja) 2017-12-27 2019-07-18 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
CN113694531B (zh) * 2020-05-21 2024-01-19 抖音视界有限公司 游戏特效的生成方法、装置、电子设备及计算机可读介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050287871A1 (en) * 2004-06-25 2005-12-29 Matsushita Electric Industrial Co., Ltd. Device, method, and program for computer aided design of flexible substrates
JP4005061B2 (ja) 2004-06-30 2007-11-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法
JP4177381B2 (ja) * 2006-03-01 2008-11-05 株式会社スクウェア・エニックス 画像生成方法、画像生成装置、および画像生成プログラム
JP5232478B2 (ja) * 2008-01-09 2013-07-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
US20110113383A1 (en) * 2008-07-14 2011-05-12 Denis Dyack Apparatus and Methods of Computer-Simulated Three-Dimensional Interactive Environments
JP2010122879A (ja) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab 端末装置、表示制御方法および表示制御プログラム
JP2011035592A (ja) * 2009-07-31 2011-02-17 Nintendo Co Ltd 表示制御プログラムおよび情報処理システム
JP5114795B2 (ja) * 2010-01-29 2013-01-09 島根県 画像認識装置および操作判定方法並びにプログラム
JP4783465B1 (ja) * 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
US8602887B2 (en) * 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
NL1038375C2 (nl) * 2010-11-11 2011-11-09 Embedded Games Holding B V Werkwijze en interactieve bewegingsinrichting voor het over een parcours verplaatsen van een avatar.
US8873841B2 (en) * 2011-04-21 2014-10-28 Nokia Corporation Methods and apparatuses for facilitating gesture recognition

Also Published As

Publication number Publication date
EP2831701B1 (en) 2017-06-14
JP2013205896A (ja) 2013-10-07
US20150077331A1 (en) 2015-03-19
IN2014DN07836A (ja) 2015-04-24
KR20150009955A (ko) 2015-01-27
WO2013145572A1 (en) 2013-10-03
BR112014023250A2 (ja) 2017-06-20
CN104185829A (zh) 2014-12-03
EP2831701A1 (en) 2015-02-04
BR112014023250A8 (pt) 2017-07-25

Similar Documents

Publication Publication Date Title
JP5880199B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP6370893B2 (ja) 検出されたジェスチャーに基づいてデバイス動作を実行するためのシステムおよび方法
CN103576857B (zh) 凝视跟踪系统的快速唤醒
US10082879B2 (en) Head mounted display device and control method
KR101773030B1 (ko) 전자디바이스 제어방법
JP5528476B2 (ja) 電子データ入力システム
US20200225834A1 (en) Quick review of captured image data
US10437324B2 (en) Information processing apparatus, information processing method, and computer program
US20170308172A1 (en) Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
JP6711817B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
JP5769277B2 (ja) 入力装置、入力方法及びプログラム
KR102326489B1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
JP2016224686A5 (ja)
JP2013205896A5 (ja)
US20160147294A1 (en) Apparatus and Method for Recognizing Motion in Spatial Interaction
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
US10963137B2 (en) Information display apparatus and non-transitory recording medium storing program for controlling information display apparatus
US20160124602A1 (en) Electronic device and mouse simulation method
JP2007226397A (ja) ポインティング装置、ポインティング方法、ポインティングプログラムおよびポインティングプログラムを記録した記録媒体
GB2524247A (en) Control of data processing
JP6447179B2 (ja) 情報入力システムおよび入力装置
JP7383471B2 (ja) 電子機器およびその制御方法
JP2014219812A (ja) 入力装置および入力プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160118

R151 Written notification of patent or utility model registration

Ref document number: 5880199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250