JP6590324B2 - 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法 - Google Patents

情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法 Download PDF

Info

Publication number
JP6590324B2
JP6590324B2 JP2017254723A JP2017254723A JP6590324B2 JP 6590324 B2 JP6590324 B2 JP 6590324B2 JP 2017254723 A JP2017254723 A JP 2017254723A JP 2017254723 A JP2017254723 A JP 2017254723A JP 6590324 B2 JP6590324 B2 JP 6590324B2
Authority
JP
Japan
Prior art keywords
unit
user
image
display
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017254723A
Other languages
English (en)
Other versions
JP2019121099A (ja
Inventor
英生 上田
英生 上田
貴裕 吉田
貴裕 吉田
道生 堀切
道生 堀切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to JP2017254723A priority Critical patent/JP6590324B2/ja
Priority to KR1020207021555A priority patent/KR102443394B1/ko
Priority to PCT/JP2018/030204 priority patent/WO2019130644A1/ja
Publication of JP2019121099A publication Critical patent/JP2019121099A/ja
Application granted granted Critical
Publication of JP6590324B2 publication Critical patent/JP6590324B2/ja
Priority to US16/913,669 priority patent/US11562564B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法に関する。
近年、現実空間を撮像して得られる画像と仮想的な情報を表す画像とを合成した画像を、表示部に対して表示させる、所謂、拡張現実（ＡＲ：Augmented Reality）に関する技術が普及しつつある。例えば、特許文献１には、現実空間に設けられたカード等のオブジェクトを撮像して得られる画像と、当該オブジェクトに対応付けられた仮想的なキャラクタを示す画像とを合成することで、あたかも、オブジェクト上に仮想的なキャラクタが存在するかのような合成画像を生成し、当該合成画像を表示部に対して表示させる技術が開示されている。
特開２０１４−０９３０３４号公報
ところで、カードゲーム、将棋、及び、チェス等のように、カード、駒、または、フィギュア等の、現実空間におけるオブジェクトを用いて行われるゲーム等が存在する。また、オブジェクトを用いて行われるゲーム等が進行する様子を撮像し、撮像して得られた画像を表示部に対して表示させることで、ゲーム等を実行するユーザ以外の視聴者に対して、ゲーム等の進行に係る情報を提示する場合がある。そして、オブジェクトを用いて行われるゲーム等が進行する様子を表示部に対して表示させる場合、ゲーム等を実行するユーザを撮像して得られた画像に関連付けて、ユーザが用いるオブジェクトに対応するキャラクタ等の画像を付加して表示させることで、ゲーム等の進行を視聴する視聴者に対して、ゲーム等の臨場感を演出することが可能となる。しかし、従来の技術では、オブジェクトに対応する画像が、ユーザの位置を考慮せずに表示されるため、ゲーム等の進行を視聴する視聴者に対して、ゲーム等の臨場感を十分に演出できない場合があった。
本発明は、上述した事情を鑑みてなされたものであり、オブジェクトに対応する画像を、ユーザを撮像して得られた画像に関連付けて表示することを可能とする技術の提供を、解決課題の一つとする。
以上の課題を解決するために、本発明の一態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、現実空間内のユーザを撮像する第１撮像部による撮像結果に基づいて、前記ユーザの位置を特定する第１特定部と、表示部において、前記第１撮像部による撮像結果に基づいて、前記ユーザを表す第１画像を表示させ、前記現実空間内のオブジェクトに対応する第２画像を、前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、として機能させる、ことを特徴とする。
本発明の第１実施形態に係る情報処理システム１の概要の一例を示す説明図である。 合成画像ＧGの一例を示す説明図である。 合成画像ＧGの一例を示す説明図である。 情報処理システム１の構成の一例を示すブロック図である。 情報処理装置１０のハードウェア構成の一例を示すブロック図である。 情報処理装置１０の動作の一例を示すフローチャートである。 表示空間ＳP-Vの概要の一例を示す説明図である。 本発明の第２実施形態に係る情報処理システム１Ａの構成の一例を示すブロック図である。 情報処理装置１０Ａの動作の一例を示すフローチャートである。 表示空間ＳP-Vの概要の一例を示す説明図である。 本発明の第３実施形態に係る情報処理システム１Ｂの構成の一例を示すブロック図である。 情報処理装置１０Ｂの動作の一例を示すフローチャートである。 本発明の第４実施形態に係る情報処理システム１Ｃの構成の一例を示すブロック図である。 情報処理装置１０Ｃの動作の一例を示すフローチャートである。 表示空間ＳP-Vの概要の一例を示す説明図である。 情報処理装置１０Ｃの動作の一例を示すフローチャートである。 表示空間ＳP-Vの概要の一例を示す説明図である。 情報処理装置１０Ｃの動作の一例を示すフローチャートである。 表示空間ＳP-Vの概要の一例を示す説明図である。 本発明の第５実施形態に係る情報処理システム１Ｄの構成の一例を示すブロック図である。 情報処理装置１０Ｄの動作の一例を示すフローチャートである。 本発明の変形例１に係る合成画像ＧGの一例を示す説明図である。 本発明の変形例２に係る合成画像ＧGの一例を示す説明図である。
以下、本発明を実施するための形態について図面を参照して説明する。なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
［１．第１実施形態］
以下、本発明の第１実施形態を説明する。
［１．１．情報処理システムの概要］
図１は、本実施形態に係る情報処理システム１の概要の一例を説明するための説明図である。以下、図１を参照しつつ、情報処理システム１の概要の一例を説明する。
本実施形態に係る情報処理システム１は、ゲームを実行するユーザＵ1及びユーザＵ2が存在する現実空間ＳP-Rを撮像し、当該撮像の結果に基づいて、ユーザＵ1及びユーザＵ2がゲームを実行している様子を表示するシステムである。
以下では、ユーザＵ1及びユーザＵ2を区別しない場合には、ユーザＵ1及びユーザＵ2を、ユーザＵqと総称する。ここで、本実施形態において、符号に添えられた添え字ｑは、「１≦ｑ≦２」を満たす自然数であることとする。
なお、本実施形態では、２人のユーザＵ1及びユーザＵ2がゲームを実行する場合を、一例として想定するが、本発明はこのような態様に限定されるものではない。ゲームは、１人以上のユーザにより実行されるものであってもよい。例えば、ゲームは、３人のユーザにより実行されるものであってもよいし、４人のユーザにより実行されるものであってもよい。この場合、添え字ｑは、ゲームを実行するユーザの人数に応じた範囲の自然数であればよい。すなわち、添え字ｑは、１≦ｑ≦３を満たす自然数であってもよいし、１≦ｑ≦４を満たす自然数であってもよいし、更には、１≦ｑを満たす自然数であってもよい。
また、以下では、ユーザＵqに関連する要素については、当該要素を表す符合に対しても、添え字ｑを付して表現する場合がある。
本実施形態では、一例として、現実空間ＳP-Rにおいて、ユーザＵqが存在する部屋の壁ＷL（「背景」の一例）と、ユーザＵqが有するカードＣDq（「オブジェクト」の一例）が配置されるテーブルＴBと、が設けられている場合を想定する。また、本実施形態では、現実空間ＳP-Rのうち予め定められた位置に、所定の模様を有するマーカＭKが設けられている場合を想定する。
また、本実施形態では、一例として、ユーザＵ1及びユーザＵ2が実行するゲームが、ユーザＵ1がテーブルＴBに配置したカードＣD1と、ユーザＵ2がテーブルＴBに配置したカードＣD2とを、対戦させるカードゲームである場合を想定する。
本実施形態に係るカードゲームには、複数種類のカードが存在する。各カードには、当該カードの種類に対応する種類のキャラクタを表す絵柄が印刷されている。
ユーザＵqは、ユーザＵqの有する複数種類のカードの中から、カードＣDqを選択し、当該選択したカードＣDqをテーブルＴBに配置することができる。以下では、カードＣDqに印刷された絵柄により表されるキャラクタを、キャラクタＶqと称する。
本実施形態に係るカードゲームでは、一例として、ユーザＵqに対して予めヒットポイントが割り当てられており、また、カードＣDqに対して予め攻撃力と防御力とが割り当てられている場合を想定する。そして、本実施形態に係るカードゲームでは、一例として、ユーザＵ1がカードＣD1を用いてカードＣD2を攻撃する場合、カードＣD1の有する攻撃力からカードＣD2の有する防御力を減算した減算値を、ユーザＵ2の有するヒットポイントから減算することとする。同様に、本実施形態に係るカードゲームでは、ユーザＵ2がカードＣD2を用いてカードＣD1を攻撃する場合、カードＣD2の有する攻撃力からカードＣD1の有する防御力を減算した減算値を、ユーザＵ1の有するヒットポイントから減算することとする。そして、本実施形態に係るカードゲームでは、一例として、ユーザＵ1が、ユーザＵ2のヒットポイントを「０」以下に減少させた場合、ユーザＵ1はカードゲームにおいて勝利し、ユーザＵ2は敗北することとする。同様に、本実施形態に係るカードゲームでは、ユーザＵ2が、ユーザＵ1のヒットポイントを「０」以下に減少させた場合、ユーザＵ2はカードゲームにおいて勝利し、ユーザＵ1は敗北することとする。なお、ゲームのルールは上記に限られないことは当然であり、カード同士の直接的な攻撃と防御がなされるゲームに限られないこともまた当然である。すなわち、本発明において、ゲームは、ユーザＵqが、カードＣDq等の「オブジェクト」を用いて実行する任意のゲームであればよい。
図１に示すように、情報処理システム１は、情報処理装置１０と、画像を表示するための表示部２１を具備する表示装置２０と、各種情報を記憶する記憶装置３０（図４参照）と、現実空間ＳP-Rを撮像するカメラＣMA（「第１撮像部」の一例）と、現実空間ＳP-Rにおいて、カードＣDqが配置されている領域Ａrqを撮像するためのカメラＣMT（「第２撮像部」の一例）と、を有する。
カメラＣMAは、現実空間ＳP-Rを撮像し、撮像して得られた画像（以下、「撮像画像」と称する場合がある）を示す撮像データＤAを、周期的に出力する。また、カメラＣMAは、カメラＣMAが被写体を撮像した場合に、カメラＣMAと被写体との間の距離に応じた値を示す深度情報ＤSを、周期的に出力する。すなわち、カメラＣMAは、現実空間ＳP-R内の被写体を撮像することで、被写体の形状、模様、及び、色彩を示す撮像データＤAと、カメラＣMA及び被写体の間の距離に応じた値を示す深度情報ＤSと、を出力する。
本実施形態において、深度情報ＤSは、撮像データＤAの示す撮像画像を構成する複数の画素の各々について、当該画素に対応する被写体の部位とカメラＣMAとの間の距離に応じた値を示す。但し、深度情報ＤSの解像度は、撮像データＤAの解像度より低くてもよい。すなわち、深度情報ＤSは、撮像データＤAの示す撮像画像を構成する複数の画素を、各々が２以上の画素からなる複数の画素ブロックに区分した場合に、撮像データＤAの示す撮像画像を構成する複数の画素ブロックの各々について、当該画素ブロックに対応する被写体の部位とカメラＣMAとの間の距離に応じた値を示してもよい。
なお、本実施形態では、カメラＣMAが、現実空間ＳP-Rにおいて、位置及び向きを変化させることが可能である場合を想定する。
また、本実施形態では、説明の便宜上、現実空間ＳP-Rに固定されたワールド座標系ΣＷと、カメラＣMAに固定されたカメラ座標系ΣＣと、を導入する。
ここで、ワールド座標系ΣＷとは、例えば、現実空間ＳP-Rの所定位置に原点を有し、互いに直交するＸＷ軸、ＹＷ軸、及び、ＺＷ軸を有する３軸の直交座標系である。本実施形態では、図１に示すように、＋ＺＷ方向が、鉛直上向き方向である場合を、一例として想定する。
また、カメラ座標系ΣＣとは、例えば、カメラＣMA上の所定箇所に原点を有し、互いに直交するＸＣ軸、ＹＣ軸、及び、ＺＣ軸を有する３軸の直交座標系である。本実施形態では、図１に示すように、＋ＺＣ方向が、カメラＣMAの有する光学系の光軸方向である場合を、一例として想定する。なお、カメラ座標系ΣＣとしては、カメラＣMAからの距離を表す座標軸と、カメラＣMAの有する光学系の光軸方向からの角度を表す座標軸と、を有する極座標系を採用してもよい。
カメラＣMTは、テーブルＴB上の領域Ａrqに配置されたカードＣDqを撮像し、撮像して得られた画像を示す撮像データＤTを、周期的に出力する。
記憶装置３０は、カードデザイン情報、キャラクタ情報、マーカ情報、及び、相対位置情報、を記憶している。ここで、カードデザイン情報とは、カードＣDqに描かれたキャラクタＶqの絵柄に関する情報である。また、キャラクタ情報とは、キャラクタＶqの３次元形状を示す情報である。また、本実施形態において、マーカ情報とは、ワールド座標系ΣＷにおけるマーカＭKの位置及び向きと、マーカＭKの形状及び大きさと、を表す情報である。但し、マーカ情報は、少なくとも、ワールド座標系ΣＷにおけるマーカＭKの位置及び向きと、マーカＭKの形状のみを表す情報であればよく、マーカＭKの大きさを含まない情報であってもよい。なお、相対位置情報については、後述する。
情報処理装置１０は、表示部２１において表示すべき画像を示す表示データＤoutを生成する処理である、表示データ生成処理を実行する。本実施形態において、表示データ生成処理とは、カメラＣMAから出力される撮像データＤA及び深度情報ＤSと、カメラＣMTから出力される撮像データＤTと、記憶装置３０に記憶されている、カードデザイン情報、キャラクタ情報、マーカ情報、及び、相対位置情報と、に基づいて、表示部２１において表示すべき画像を示す表示データＤoutを生成する処理である。
具体的には、情報処理装置１０は、表示データ生成処理において、撮像データＤT及びカードデザイン情報に基づいて、カードＣDqの種類を特定し、カードＣDqに描かれているキャラクタＶqの種類を特定する。
また、情報処理装置１０は、表示データ生成処理において、撮像データＤA、及び、マーカ情報に基づいて、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定する（図７参照）。なお、位置を示す符号Ｐ、及び、向きを示す符号Ｒの左上の添え字「Ｗ」は、当該位置及び向きが、ワールド座標系ΣＷにおける位置または向きであることを意味することとする。また、マーカ情報がマーカＭKの大きさを含まない情報である場合、情報処理装置１０は、撮像データＤA及びマーカ情報に加え、深度情報ＤSに基づいて、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定すればよい。
また、情報処理装置１０は、表示データ生成処理において、撮像データＤA及び深度情報ＤSと、に基づいて、カメラ座標系ΣＣにおけるユーザＵqの位置ＣＰＵｑ及び向きＣＲＵｑを特定する（図７参照）。なお、位置を示す符号Ｐ、及び、向きを示す符号Ｒの左上の添え字「Ｃ」は、当該位置及び向きが、カメラ座標系ΣＣにおける位置または向きであることを意味することとする。
そして、情報処理装置１０は、表示データ生成処理において、相対位置情報と、ユーザＵqの位置ＣＰＵｑと、に基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを決定する（図７参照）。ここで、相対位置情報とは、現実空間ＳP-RにキャラクタＶqが存在すると仮定した場合に、ワールド座標系ΣＷにおいて、ユーザＵqからキャラクタＶqの位置を示すベクトルＷＰＵＶｑを示す情報である（図７参照）。本実施形態では、ベクトルＷＰＵＶｑが予め定められていることとする。すなわち、本実施形態では、現実空間ＳP-RにキャラクタＶqが存在すると仮定した場合に、現実空間ＳP-Rにおいて、ユーザＵqとキャラクタＶqとが「所定の位置関係」を有するように、キャラクタＶqの位置が定められる場合を想定する。
また、情報処理装置１０は、表示データ生成処理において、カメラ座標系ΣＣにおけるユーザＵqの向きＣＲＵｑに基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの向きＣＲＶｑを決定する（図７参照）。
そして、情報処理装置１０は、表示データ生成処理において、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑ及び向きＣＲＶｑに基づいて、表示部２１においてキャラクタＶqを表すキャラクタ画像ＧVqの形状を決定する。ここで、キャラクタ画像ＧVqの形状とは、キャラクタ情報の示す３次元形状を有するキャラクタＶqが、カメラ座標系ΣＣにおいて、位置ＣＰＶｑに存在し、且つ、向きＣＲＶｑを有している場合に、当該キャラクタＶqを、カメラＣMAから撮像した結果として得られる画像の形状である。
その後、情報処理装置１０は、表示データ生成処理において、撮像データＤAの示す撮像画像と、キャラクタ画像ＧVq等、撮像画像以外の画像である非撮像画像と、を合成した合成画像ＧGを示す表示データＤoutを生成する。なお、本実施形態において、情報処理装置１０は、非撮像画像に対して、キャラクタ画像ＧVqの他に、ユーザＵqのヒットポイントを示すヒットポイント画像ＧHPqを含ませることとする。
図２及び図３は、表示データＤoutに基づく合成画像ＧGが、表示部２１に表示されている様子を例示する図である。
このうち、図２は、現実空間ＳP-Rにおいて、カメラＣMAが、ユーザＵ1及びユーザＵ2の−ＹＷ側から、ユーザＵ1及びユーザＵ2を撮像した場合に、表示部２１に表示される合成画像ＧGを示している。
また、図３は、現実空間ＳP-Rにおいて、カメラＣMAが、ユーザＵ1の＋ＸＷ側から、ユーザＵ1を撮像した場合に、表示部２１に表示される合成画像ＧGを示している。
上述したように、合成画像ＧGは、撮像データＤAの示す撮像画像と、情報処理装置１０において生成された非撮像画像と、を含む。
図２及び図３に例示されるように、撮像画像は、ユーザＵqを撮像して得られるユーザ画像ＧUqと、壁ＷLを撮像して得られる壁画像ＧWLと、テーブルＴBを撮像して得られるテーブル画像ＧTBと、マーカＭKを撮像して得られるマーカ画像ＧMKとの、一部または全部を含む。また、非撮像画像は、上述のとおり、キャラクタ画像ＧVqと、ヒットポイント画像ＧHPとの、一部または全部を含む。
なお、ユーザ画像ＧUqは、「第１画像」の一例であり、キャラクタ画像ＧVqは、「第２画像」の一例であり、壁画像ＧWLは、「第３画像」の一例である。
本実施形態において、撮像画像は、被写体の形状、模様、及び、色彩を示すが、本発明はこのような態様に限定されるものではない。撮像画像のうちの一部分は、被写体についての、形状、輪郭、色彩、及び、模様のうちの一部のみを示すものであってもよい。例えば、撮像画像のうち、ユーザ画像ＧUq以外の部分については、被写体の形状、模様、及び、色彩を示し、ユーザ画像ＧUqについては、ユーザＵqの骨格等の形状、または、ユーザＵqのシルエット等の輪郭のみを示してもよい。また、ユーザＵｑの全部または一部にモザイクなどの加工を施した画像もユーザ画像ＧUqに含みうる。
以下では、合成画像ＧGにより表現される３次元の仮想的な空間を、「表示空間ＳP-V」と称する。表示空間ＳP-Vは、現実空間ＳP-Rに対して、非撮像画像により表されるキャラクタＶq等の仮想的な物体を付加した空間である。すなわち、表示空間ＳP-Vは、非撮像画像により表されるキャラクタＶq等の仮想的な物体が存在する点を除き、現実空間ＳP-Rと同様の空間である。このため、以下では、説明の便宜上、表示空間ＳP-Vにおける位置及び向きを、ワールド座標系ΣＷを利用して表現することとする。
なお、図２及び図３では、相対位置情報の示すベクトルＷＰＵＶ１が、ユーザＵ1から見て−ＸＷ方向で、且つ、＋ＹＷ方向を向くベクトルである場合を例示している。このため、図２及び図３に例示する合成画像ＧGでは、キャラクタ画像ＧV1のうち、ユーザ画像ＧU1と重なる部分を非表示とすることで、カメラＣMAから見てキャラクタＶ1の手前にユーザＵ1が位置する様子を表現している。
また、図２では、相対位置情報の示すベクトルＷＰＵＶ２が、ユーザＵ2から見て＋ＹＷ方向を向くベクトルである場合を例示している。このため、図２に例示する合成画像ＧGでは、キャラクタ画像ＧV2のうち、ユーザ画像ＧU2と重なる部分を非表示とすることで、カメラＣMAから見てキャラクタＶ2の手前にユーザＵ2が位置する様子を表現している。
［１．２．情報処理システムの構成］
以下、図４及び図５を参照しつつ、情報処理システム１の構成の一例を説明する。なお、図４は、情報処理システム１の構成の一例を示す機能ブロック図である。また、図５は、情報処理装置１０のハードウェア構成の一例を示す構成図である。
図４に例示するように、情報処理システム１は、上述のとおり、情報処理装置１０と、表示装置２０と、記憶装置３０と、カメラＣMAと、カメラＣMTと、これら複数の構成要素が互いに通信をする際に用いられるネットワークＮwと、を備える。
情報処理装置１０は、情報処理装置１０の各部を制御する制御部１１と、情報処理装置１０の制御プログラムＰRGを含む各種情報を記憶する記憶部１２と、情報処理装置１０の外部装置との間の通信を実行するための通信部１３と、情報処理装置１０の操作者による操作を受け付けるための操作部１４と、光ディスク等の記録媒体から情報を読み込むための情報読込部１５と、を備える。
制御部１１は、表示制御部１１０と、オブジェクト特定部１１５と、カメラ位置特定部１１６と、被写体位置特定部１１７と、を備える。
なお、本実施形態において、被写体位置特定部１１７は、「第１特定部」の一例であり、オブジェクト特定部１１５は、「第２特定部」の一例である。
オブジェクト特定部１１５は、撮像データＤTに基づいて、カードＣDqに描かれているキャラクタＶqの種類を特定する。すなわち、オブジェクト特定部１１５は、撮像データＤTに基づいて、カードＣDqの種類を特定する。
カメラ位置特定部１１６は、撮像データＤAの示すマーカ画像ＧMKと、マーカ情報と、に基づいて、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定する。これにより、カメラ座標系ΣＣにおける位置ＣＰ及び向きＣＲと、ワールド座標系ΣＷにおける位置ＷＰ及び向きＷＲと、を相互に変換することが可能な、座標変換式を得ることができる。
被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSのうちユーザ画像ＧUqに対応する情報に基づいて、カメラ座標系ΣＣにおけるユーザＵqの位置ＣＰＵｑ及び向きＣＲＵｑを特定する。
表示制御部１１０は、キャラクタ位置決定部１１１と、重なり抽出部１１２と、遠近判定部１１３と、表示情報生成部１１４と、を備える。
キャラクタ位置決定部１１１は、相対位置情報の示すベクトルＷＰＵＶｑと、被写体位置特定部１１７により特定された、カメラ座標系ΣＣにおけるユーザＵqの位置ＣＰＵｑ及び向きＣＲＵｑと、に基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑ及び向きＣＲＶｑを決定する。
重なり抽出部１１２は、合成画像ＧGにおける、ユーザ画像ＧUqとキャラクタ画像ＧVqとの重なりを抽出する。
遠近判定部１１３は、カメラ座標系ΣＣにおけるユーザＵqの位置ＣＰＵｑと、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑと、に基づいて、ユーザＵq及びキャラクタＶqの何れが、カメラＣMAに近いかを判定する。
表示情報生成部１１４は、撮像データＤAの示す撮像画像と、重なり抽出部１１２における抽出結果と、遠近判定部１１３における判定結果と、に基づいて、合成画像ＧGを示す表示データＤoutを生成する。
図５に示すように、情報処理装置１０は、情報処理装置１０の各部を制御するプロセッサ１０００と、各種情報を記憶するメモリ１００１と、情報処理装置１０の外部に存在する外部装置との通信を行うための通信装置１００２と、情報処理装置１０の操作者による操作を受け付けるための入力操作装置１００３と、記録媒体から情報を読み込むためのディスク装置１００４と、を備える。
メモリ１００１は、例えば、プロセッサ１０００の作業領域として機能するＲＡＭ（Random Access Memory）等の揮発性メモリと、情報処理装置１０の制御プログラムＰRG等の各種情報を記憶するＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の不揮発性メモリとを含み、記憶部１２としての機能を提供する。
プロセッサ１０００は、例えば、ＣＰＵ（Central Processing Unit）であり、メモリ１００１に記憶された制御プログラムＰRGを実行し、当該制御プログラムＰRGに従って動作することで、制御部１１として機能する。
通信装置１００２は、ネットワークＮwを介して、情報処理装置１０の外部に存在する外部装置との通信を行うためのハードウェアであり、通信部１３としての機能を提供する。
入力操作装置１００３は、例えば、操作ボタンであり、情報処理装置１０の操作者の操作を受け付ける操作部１４としての機能を提供する。入力操作装置１００３は、例えば、操作ボタン、タッチパネル、キーボード、ジョイスティック、及び、マウス等のポインティングデバイスの一部または全部を含む、１または複数の機器から構成されるものであってもよい。
ディスク装置１００４は、例えば、光ディスク装置であり、光ディスク等の記録媒体に記録された制御プログラムＰRG等の各種情報を読み込む情報読込部１５としての機能を提供する。
なお、プロセッサ１０００は、ＣＰＵに加え、または、ＣＰＵに替えて、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、または、ＦＰＧＡ（Field Programmable Gate Array）、等の、ハードウェアを含んで構成されるものであってもよい。この場合、プロセッサ１０００により実現される制御部１１の一部または全部は、ＤＳＰ等のハードウェアにより実現されてもよい。
［１．３．情報処理装置の動作］
図６及び図７を参照しつつ、情報処理装置１０が表示データ生成処理を実行する場合における、当該情報処理装置１０の動作の一例を説明する。なお、図６は、情報処理装置１０が表示データ生成処理を実行する場合における、当該情報処理装置１０の動作の一例を示すフローチャートである。また、図７は、＋ＺＷ側から表示空間ＳP-Vを見た場合における、ユーザＵq、壁ＷL、キャラクタＶq、及び、カメラＣMA等の、表示空間ＳP-Vに存在する各種物体の位置関係を説明するための説明図である。なお、本実施形態では、一例として、情報処理装置１０の操作者等により、表示データ生成処理を開始させる旨を指示する操作が操作部１４から入力された場合に、情報処理装置１０が、図６に示す表示データ生成処理を開始させる場合を想定する。
図６に示すように、オブジェクト特定部１１５は、表示データ生成処理において、カメラＣMTから出力される撮像データＤTに基づいて、カードＣDqの種類を特定する（Ｓ１００）。
具体的には、オブジェクト特定部１１５は、ステップＳ１００において、撮像データＤTの示すカードＣDqに描かれた絵柄と、カードデザイン情報の示すキャラクタＶqの絵柄と、に基づいて、カードＣDqに描かれているキャラクタＶqの種類を特定することで、カードＣDqの種類を特定する。
なお、オブジェクト特定部１１５は、ステップＳ１００において、撮像データＤT以外の情報に基づいて、カードＣDqの種類を特定してもよい。
例えば、カードＣDqが無線通信機能を有する場合、オブジェクト特定部１１５は、当該カードＣDqから受信した、カードＣDqの種類を識別するための情報に基づいて、カードＣDqの種類を特定してもよい。また、オブジェクト特定部１１５は、例えば、カメラＣMAから出力される撮像データＤAに基づいて、カードＣDqの種類を特定してもよい。この場合、オブジェクト特定部１１５は、撮像データＤAに加えて、深度情報ＤSに基づいて、カードＣDqの種類を特定してもよい。
カメラ位置特定部１１６は、表示データ生成処理において、撮像データＤAに基づいて、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定する（Ｓ１０２）。
具体的には、カメラ位置特定部１１６は、ステップＳ１０２において、まず、撮像データＤAに基づいて、図７に示す、カメラ座標系ΣＣにおけるマーカＭKの位置ＣＰＭ及び向きＣＲＭを特定する。次に、カメラ位置特定部１１６は、カメラ座標系ΣＣにおけるマーカＭKの位置ＣＰＭ及び向きＣＲＭと、マーカ情報の示す、ワールド座標系ΣＷにおけるマーカＭKの位置ＷＰＭ及び向きＷＲＭと、に基づいて、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定する（図７参照）。
なお、カメラ位置特定部１１６は、ステップＳ１０２において、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣのうち、少なくとも一方を特定するものであってもよい。
また、カメラ位置特定部１１６は、ステップＳ１０２において、撮像データＤA以外の情報に基づいて、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定してもよい。
例えば、カメラＣMTがカメラＣMAを撮像する場合、カメラ位置特定部１１６は、カメラＣMTによる撮像結果を示す撮像データＤTに基づいて、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定してもよい。
また、例えば、カメラＣMAは、地磁気センサ、加速度センサ、及び、角速度センサ等の、各種センサを備えていてもよい。この場合、カメラ位置特定部１１６は、各種センサからの出力に基づいて、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣの変化量を特定してもよい。一例として、カメラ位置特定部１１６は、加速度センサの出力、及び、地磁気センサの出力に基づいて、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣの変化を算出し、また、角速度センサの出力に基づいて、ワールド座標系ΣＷにおけるカメラＣMAの向きＷＲＣの変化を算出してもよい。そして、カメラ位置特定部１１６が、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣの変化量を特定可能な場合、ある時刻において、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定できれば、それ以降の時刻においても、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定することができる。このため、カメラ位置特定部１１６が、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣの変化量を特定可能であれば、カメラＣMAがマーカＭKを撮像していない期間が存在する場合、または、カメラＣMTがカメラＣMAを撮像していない期間が存在する場合であっても、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定することができる。
また、例えば、カメラＣMAは、ＧＰＳ（Global Positioning System）衛星等の位置情報衛星から出力される位置情報信号、または、現実空間ＳP-Rに設けられた信号発信機（例えば、屋内ＧＰＳ）から出力される位置情報信号、等を受信する、信号受信部を有していてもよい。この場合、カメラ位置特定部１１６は、信号受信部の受信した位置情報信号に基づいて、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣを特定してもよい。
被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSに基づいて、図７に示す、カメラ座標系ΣＣにおけるユーザＵqの位置ＣＰＵｑを特定する（Ｓ１０４）。また、被写体位置特定部１１７は、ステップＳ１０４において、撮像データＤA及び深度情報ＤSに基づいて、カメラＣMAの被写体のうち、ユーザＵq以外の被写体の位置を特定してもよい。例えば、被写体位置特定部１１７は、ステップＳ１０４において、撮像データＤA及び深度情報ＤSに基づいて、カメラ座標系ΣＣにおける壁ＷLの位置を特定してもよい。
被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSに基づいて、図７に示す、カメラ座標系ΣＣにおけるユーザＵqの向きＣＲＵｑを特定する（Ｓ１０６）。また、被写体位置特定部１１７は、ステップＳ１０６において、撮像データＤA及び深度情報ＤSに基づいて、カメラＣMAの被写体のうち、ユーザＵq以外の被写体の形状を特定してもよい。例えば、被写体位置特定部１１７は、ステップＳ１０６において、撮像データＤA及び深度情報ＤSに基づいて、カメラ座標系ΣＣにおける壁ＷLの形状を特定してもよい。なお、上述のとおり、深度情報ＤSは、カメラＣMAが被写体を撮像した場合に、被写体の撮像結果を示す複数の画素または複数の画素ブロックについて、当該画素または画素ブロックに対応する被写体の部位とカメラＣMAとの距離に応じた値を示す。このため、被写体位置特定部１１７は、カメラＣMAの被写体として、壁ＷL等の物体が含まれる場合には、深度情報ＤSに基づいて、当該物体の形状を特定することができ、また、カメラＣMAの被写体として、ユーザＵq等の人物が含まれる場合には、深度情報ＤSに基づいて、当該人物の姿勢を特定することができる。ここで、人物の姿勢とは、人物の向き、及び、人物の体勢等を含む概念である。
キャラクタ位置決定部１１１は、図７に示す、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを決定する（Ｓ１０８）。
具体的には、キャラクタ位置決定部１１１は、ステップＳ１０８において、ステップＳ１０２で特定された、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣに基づいて、相対位置情報の示すベクトルＷＰＵＶｑを、カメラ座標系ΣＣにおいて表現したベクトルＣＰＵＶｑに変換する。次に、キャラクタ位置決定部１１１は、ベクトルＣＰＵＶｑと、ステップＳ１０４で特定されたユーザＵqの位置ＣＰＵｑと、に基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを決定する。
なお、キャラクタ位置決定部１１１は、ステップＳ１０８において、次のように、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを決定してもよい。すなわち、キャラクタ位置決定部１１１は、ステップＳ１０８において、まず、ステップＳ１０２で特定された、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣに基づいて、ステップＳ１０４で特定されたカメラ座標系ΣＣにおけるユーザＵqの位置ＣＰＵｑを、ワールド座標系ΣＷで表現した位置ＷＰＵｑに変換する。次に、キャラクタ位置決定部１１１は、ワールド座標系ΣＷにおけるユーザＵqの位置ＷＰＵｑと、相対位置情報の示すワールド座標系ΣＷにおけるベクトルＷＰＵＶｑとに基づいて、ワールド座標系ΣＷにおけるキャラクタＶqの位置ＷＰＶｑを決定する。その後、キャラクタ位置決定部１１１は、ワールド座標系ΣＷにおけるキャラクタＶqの位置ＷＰＶｑを、カメラ座標系ΣＣで表現した位置ＣＰＶｑに変換する。
キャラクタ位置決定部１１１は、図７に示す、カメラ座標系ΣＣにおけるキャラクタＶqの向きＣＲＶｑを決定する（Ｓ１１０）。
具体的には、キャラクタ位置決定部１１１は、ステップＳ１１０において、カメラ座標系ΣＣにおけるキャラクタＶqの向きＣＲＶｑと、ステップＳ１０６で特定されたユーザＵqの向きＣＲＵｑとが、同一の向きとなるように、キャラクタＶqの向きＣＲＶｑを決定する。但し、キャラクタ位置決定部１１１は、ステップＳ１１０において、カメラ座標系ΣＣにおけるキャラクタＶqの向きＣＲＶｑと、カメラ座標系ΣＣにおけるユーザＵqの向きＣＲＵｑとが、所定の角度以下となるように、キャラクタＶqの向きＣＲＶｑを決定してもよい。
キャラクタ位置決定部１１１は、表示空間ＳP-Vにおける、キャラクタＶqと壁ＷLとの相対的な位置関係に基づいて、キャラクタＶqの位置ＣＰＶｑを調整する（Ｓ１１２）。
具体的には、キャラクタ位置決定部１１１は、ステップＳ１１２において、ベクトルＣＰＵＶｑの延長線上における、キャラクタＶqと壁ＷLとの間の距離ＬVEが、所定の距離以上であり、且つ、ユーザＵqから見て、キャラクタＶqが壁ＷLよりも手前側に位置しているという条件（以下、「キャラクタ位置条件」が充足されるか否かを判定する。そして、キャラクタ位置決定部１１１は、当該判定の結果が肯定の場合、キャラクタＶqの位置ＣＰＶｑを変更せずに維持する。他方、キャラクタ位置決定部１１１は、当該判定の結果が否定の場合、キャラクタＶqを、キャラクタ位置条件が満たされるまで、ベクトルＣＰＵＶｑとは反対方向に移動させることで、キャラクタＶqの位置ＣＰＶｑを調整する。
重なり抽出部１１２は、ユーザＵqを示すユーザ画像ＧUqと、キャラクタＶqを示すキャラクタ画像ＧVqとの、重なり部分を抽出する（Ｓ１１４）。
具体的には、重なり抽出部１１２は、ステップＳ１１４において、撮像データＤAに基づいて、合成画像ＧGにおいて、ユーザＵqを表すユーザ画像ＧUqを配置する。また、重なり抽出部１１２は、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑ及び向きＣＲＶｑと、キャラクタ情報の示すキャラクタＶqの３次元形状と、に基づいて、合成画像ＧGにおいて、キャラクタＶqを表すキャラクタ画像ＧVqを配置する。そして、重なり抽出部１１２は、合成画像ＧGに配置されたユーザ画像ＧUq及びキャラクタ画像ＧVqの重なり部分を抽出する。
遠近判定部１１３は、カメラ座標系ΣＣにおけるユーザＵqの位置ＣＰＵｑと、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑと、に基づいて、ユーザＵqがキャラクタＶqよりもカメラＣMAに近いか否かを判定する（Ｓ１１６）。
表示情報生成部１１４は、撮像データＤAの示す撮像画像と、キャラクタ画像ＧVq等の非撮像画像とを、ステップＳ１１４及びＳ１１６の結果に応じて合成することで、合成画像ＧGを示す表示データＤoutを生成する（Ｓ１１８）。
具体的には、表示情報生成部１１４は、ステップＳ１１８において、ステップＳ１１６の判定の結果が肯定の場合、キャラクタ画像ＧVqのうち、ステップＳ１１４で抽出された重なり部分を非表示とした上で、撮像画像の上に、キャラクタ画像ＧVqと、ヒットポイント画像ＧHPとを表示させることで、合成画像ＧGを生成する。
他方、表示情報生成部１１４は、ステップＳ１１８において、ステップＳ１１６の判定の結果が否定の場合、撮像画像の上に、キャラクタ画像ＧVqと、ヒットポイント画像ＧHPとを表示させることで、合成画像ＧGを生成する。この場合、ユーザ画像ＧUqは、ユーザ画像ＧUqのうち、ステップＳ１１４で抽出された重なり部分が非表示とされた上で、合成画像ＧGに表示されることになる。
表示情報生成部１１４は、情報処理装置１０の操作者等により、表示データ生成処理を終了させる旨を指示する操作が、操作部１４から入力されたか否かを判定する（Ｓ１２０）。そして、表示情報生成部１１４は、ステップＳ１２０における判定の結果が肯定の場合、図６に示す表示データ生成処理を終了させる。他方、表示情報生成部１１４は、ステップＳ１２０における判定の結果が否定の場合、処理をステップＳ１００に進める。
［１．４．第１実施形態の結論］
以上において説明したように、本実施形態によれば、合成画像ＧGの表す表示空間ＳP-Vにおいて、ユーザＵqから見てキャラクタＶqがベクトルＣＰＵＶｑにより定められる位置に配置される。
このため、本実施形態によれば、ユーザＵqを表すユーザ画像ＧUqと、キャラクタＶqを表すユーザ画像ＧUqとを、関連付けて表示することができる。これにより、本実施形態によれば、情報処理システム１により、ユーザＵ1及びユーザＵ2がカードゲームを実行している様子を表示部２１に表示させる場合に、表示部２１に表示される合成画像ＧGにおいて、カードゲームの臨場感を演出することができる。
また、本実施形態によれば、合成画像ＧGにおける、キャラクタＶqを表すキャラクタ画像ＧVqの表示位置が、カメラ位置特定部１１６による、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣの特定結果と、被写体位置特定部１１７による、カメラ座標系ΣＣにおけるユーザＵqの位置ＣＰＵｑ及び向きＣＲＵｑの特定結果と、に基づいて決定される。すなわち、本実施形態によれば、合成画像ＧGにおける、キャラクタＶqを表すキャラクタ画像ＧVqの表示位置が、カードＣDqの配置位置及び向きとは関係なく定められる。
このため、本実施形態によれば、キャラクタＶqを表すキャラクタ画像ＧVqの表示位置が、カードＣDqの配置位置及び向きの影響を受ける場合と比較して、合成画像ＧGにおける、キャラクタ画像ＧVqの表示位置を容易に調整することが可能となる。
また、本実施形態によれば、合成画像ＧGにおけるキャラクタ画像ＧVqの表示位置及び形状が、カードＣDqの配置位置及び向きとは関係なく定められる。
このため、本実施形態によれば、合成画像ＧGにおけるキャラクタ画像ＧVqの表示位置及び形状が、カードＣDqの配置位置及び向きに基づいて定められる場合と比較して、ユーザＵqによるカードＣDqの配置の手間を低減することができる。
また、本実施形態によれば、カードＣDqに、カードＣDqの向きを特定するためのマーカを印刷する必要が無い。
このため、本実施形態によれば、合成画像ＧGにおけるキャラクタ画像ＧVqの表示位置及び表示形状が、カードＣDqの配置位置及び向きに基づいて定められる場合と比較して、カードＣDqのデザインの自由度を向上させることができる。
［２．第２実施形態］
以下、本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
第２実施形態は、ワールド座標系ΣＷにおけるユーザＵqの位置及び向きが予め定められている点と、ワールド座標系ΣＷにおけるキャラクタＶqの位置及び向きが予め定められている点と、において、第１実施形態と相違する。
図８は、第２実施形態に係る情報処理システム１Ａの構成の一例を示す機能ブロック図である。情報処理システム１Ａは、制御部１１を具備する情報処理装置１０の代わりに、制御部１１Ａを具備する情報処理装置１０Ａを備える点を除き、図４に示す第１実施形態に係る情報処理システム１と同様に構成されている。制御部１１Ａは、キャラクタ位置決定部１１１を具備する表示制御部１１０の代わりに、キャラクタ位置決定部１１１Ａを具備する表示制御部１１０Ａを備える点と、被写体位置特定部１１７を具備しない点と、を除き、図４に示す第１実施形態に係る制御部１１と同様に構成されている。
また、本実施形態において、記憶装置３０は、カードデザイン情報、キャラクタ情報、及び、マーカ情報に加えて、ワールド座標系ΣＷにおけるユーザＵqの位置ＷＰＵｑ及び向きＷＲＵｑを示すユーザ位置情報と、ワールド座標系ΣＷにおけるキャラクタＶqの位置ＷＰＶｑ及び向きＷＲＶｑを示すキャラクタ位置情報と、を記憶していることとする（図１０参照）。ここで、ユーザ位置情報とは、例えば、ユーザＵqが着席する席の位置及び向きを、ワールド座標系ΣＷにおいて表した情報であってもよい。また、キャラクタ位置情報とは、例えば、ユーザＵqが着席する席の後方または上方の位置と当該席の向きを、ワールド座標系ΣＷにおいて表した情報であってもよい。なお、本実施形態において、記憶装置３０は、相対位置情報を記憶していなくてもよい。
また、本実施形態において、カメラＣMAは、少なくとも撮像データＤAを出力すればよく、深度情報ＤSを出力しなくてもよい。
図９及び図１０を参照しつつ、情報処理装置１０Ａが、表示データＤoutを生成する処理である表示データ生成処理を実行する場合における、情報処理装置１０Ａの動作の一例を説明する。なお、図９は、情報処理装置１０Ａが表示データ生成処理を実行する場合における、情報処理装置１０Ａの動作の一例を示すフローチャートである。また、図１０は、＋ＺＷ側から表示空間ＳP-Vを見た場合における、各種物体の位置関係を説明するための説明図である。
図９に示すように、本実施形態に係る表示データ生成処理は、ステップＳ１０４、Ｓ１０６、及び、Ｓ１１２の処理を実行しない点と、ステップＳ１０８及びＳ１１０に代えて、ステップＳ２００及びＳ２０２の処理を実行する点と、を除き、図６に示す第１実施形態に係る表示データ生成処理と同様の処理である。
図９に示すように、表示データ生成処理が開始されると、オブジェクト特定部１１５が、カードＣDqの種類を特定し（Ｓ１００）、カメラ位置特定部１１６が、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定する（Ｓ１０２）。
そして、キャラクタ位置決定部１１１Ａは、図１０に示すように、キャラクタ位置情報の示す、ワールド座標系ΣＷにおけるキャラクタＶqの位置ＷＰＶｑと、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣと、基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを特定する（Ｓ２００）。
また、キャラクタ位置決定部１１１Ａは、図１０に示すように、キャラクタ位置情報の示す、ワールド座標系ΣＷにおけるキャラクタＶqの向きＷＲＶｑと、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣと、基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの向きＣＲＶｑを特定する（Ｓ２０２）。
その後、重なり抽出部１１２が、ユーザ画像ＧUqとキャラクタ画像ＧVqとの重なりを抽出し（Ｓ１１４）、遠近判定部１１３が、カメラＣMAから見たユーザＵq及びキャラクタＶqの遠近を判定し（Ｓ１１６）、表示情報生成部１１４が、合成画像ＧGを示す表示データＤoutを生成し（Ｓ１１８）、表示情報生成部１１４が、表示データ生成処理の終了を判定する（Ｓ１２０）。
以上のように、本実施形態によれば、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣに基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑ及び向きＣＲＶｑを特定する。このため、本実施形態によれば、カメラＣMAの位置または向きに関わらず、キャラクタＶqとユーザＵqとを関連付けて表示することができる。
［３．第３実施形態］
以下、本発明の第３実施形態を説明する。
第３実施形態は、カメラＣMTから出力される撮像データＤTを用いることなく、キャラクタ画像ＧVqにより表されるキャラクタＶqの種類が指定される点において、第２実施形態と相違する。
図１１は、第３実施形態に係る情報処理システム１Ｂの構成の一例を示す機能ブロック図である。情報処理システム１Ｂは、制御部１１Ａを具備する情報処理装置１０Ａの代わりに、制御部１１Ｂを具備する情報処理装置１０Ｂを備える点と、カメラＣMTを備えない点と、を除き、図８に示す第２実施形態に係る情報処理システム１Ａと同様に構成されている。制御部１１Ｂは、キャラクタ位置決定部１１１Ａを具備する表示制御部１１０Ａの代わりに、キャラクタ位置決定部１１１Ｂを具備する表示制御部１１０Ｂを備える点と、オブジェクト特定部１１５を具備しない点と、を除き、図８に示す第２実施形態に係る制御部１１Ａと同様に構成されている。
本実施形態において、記憶装置３０は、キャラクタ情報、マーカ情報、ユーザ位置情報、及び、キャラクタ位置情報、を記憶している。すなわち、本実施形態において、記憶装置３０は、カードデザイン情報と、相対位置情報とを記憶していなくてもよい。
また、本実施形態において、カメラＣMAは、少なくとも撮像データＤAを出力すればよく、深度情報ＤSを出力しなくてもよい。
図１２は、情報処理装置１０Ｂが、表示データＤoutを生成する処理である表示データ生成処理を実行する場合における、情報処理装置１０Ｂの動作の一例を示すフローチャートである。
図１２に示すように、本実施形態に係る表示データ生成処理は、ステップＳ１００の処理を実行しない点と、ステップＳ３００の処理を実行する点と、を除き、図９に示す第２実施形態に係る表示データ生成処理と同様の処理である。
図１２に示すように、表示データ生成処理が開始されると、カメラ位置特定部１１６が、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定し（Ｓ１０２）、キャラクタ位置決定部１１１Ｂが、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを特定し（Ｓ２００）、カメラ座標系ΣＣにおけるキャラクタＶqの向きＣＲＶｑを特定する（Ｓ２０２）。
その後、キャラクタ位置決定部１１１Ｂは、キャラクタＶqの種類を決定し、当該決定した種類のキャラクタＶqに対応するキャラクタ情報に基づいて、キャラクタＶqの３次元形状を決定する（Ｓ３００）。なお、キャラクタ位置決定部１１１Ｂは、ステップＳ３００において、キャラクタＶqの種類を、例えば、情報処理装置１０Ｂの操作者が、操作部１４を用いて入力した情報に基づいて決定してもよい。または、キャラクタ位置決定部１１１Ｂが、ステップＳ３００において決定するキャラクタＶqの種類は、予め記憶装置３０に記憶されていてもよい。
その後、重なり抽出部１１２が、ユーザ画像ＧUqとキャラクタ画像ＧVqとの重なりを抽出し（Ｓ１１４）、遠近判定部１１３が、カメラＣMAから見たユーザＵq及びキャラクタＶqの遠近を判定し（Ｓ１１６）、表示情報生成部１１４が、合成画像ＧGを示す表示データＤoutを生成し（Ｓ１１８）、表示情報生成部１１４が、表示データ生成処理の終了を判定する（Ｓ１２０）。
以上のように、本実施形態によれば、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣに基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑ及び向きＣＲＶｑを特定する。このため、本実施形態によれば、カメラＣMAの位置または向きに関わらず、キャラクタＶqとユーザＵqとを関連付けて表示することができる。
［４．第４実施形態］
以下、本発明の第４実施形態を説明する。
第４実施形態は、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを特定することなく、合成画像ＧGにおける、キャラクタ画像ＧVqの表示位置を決定する点において、第１実施形態と相違する。
図１３は、第４実施形態に係る情報処理システム１Ｃの構成の一例を示す機能ブロック図である。情報処理システム１Ｃは、制御部１１を具備する情報処理装置１０の代わりに、制御部１１Ｃを具備する情報処理装置１０Ｃを備える点を除き、図４に示す第１実施形態に係る情報処理システム１と同様に構成されている。制御部１１Ｃは、キャラクタ位置決定部１１１を具備する表示制御部１１０の代わりに、キャラクタ位置決定部１１１Ｃを具備する表示制御部１１０Ｃを備える点と、カメラ位置特定部１１６を具備しない点と、を除き、図４に示す第１実施形態に係る制御部１１と同様に構成されている。
本実施形態において、記憶装置３０は、カードデザイン情報と、キャラクタ情報と、を記憶している。すなわち、本実施形態において、記憶装置３０は、マーカ情報と、相対位置情報とを記憶していなくてもよい。また、本実施形態において、現実空間ＳP-Rには、マーカＭKを設けなくてもよい。
図１４及び図１５を参照しつつ、情報処理装置１０Ｃが、表示データＤoutを生成する処理である表示データ生成処理を実行する場合における、情報処理装置１０Ｃの動作の一例を説明する。なお、図１４は、情報処理装置１０Ｃが表示データ生成処理を実行する場合における、情報処理装置１０Ｃの動作の一例を示すフローチャートである。また、図１５は、＋ＺＷ側から表示空間ＳP-Vを見た場合における、各種物体の位置関係を説明するための説明図である。
図１４に示すように、本実施形態に係る表示データ生成処理は、ステップＳ１０２の処理を実行しない点と、ステップＳ４００の処理を実行する点と、ステップＳ１０８の処理に代えて、ステップＳ４０２の処理を実行する点と、を除き、図６に示す第１実施形態に係る表示データ生成処理と同様の処理である。
図１４に示すように、表示データ生成処理が開始されると、オブジェクト特定部１１５が、カードＣDqの種類を特定する（Ｓ１００）。
また、被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSに基づいて、図１５に示す、カメラ座標系ΣＣにおけるユーザＵqの位置ＣＰＵｑを特定する（Ｓ１０４）。
また、被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSに基づいて、図１５に示す、カメラ座標系ΣＣにおけるユーザＵqの向きＣＲＵｑを特定する（Ｓ１０６）。
そして、キャラクタ位置決定部１１１Ｃは、カメラ座標系ΣＣにおけるユーザＵqの向きＣＲＵｑに基づいて、ユーザＵqから見たキャラクタＶqの位置を示すベクトルＣＰＵＶｑを決定する（Ｓ４００）。具体的には、キャラクタ位置決定部１１１Ｃは、ステップＳ４００において、図１５に示すように、向きＣＲＵｑとベクトルＣＰＵＶｑとのなす角度が、角度θＡとなるように、ベクトルＣＰＵＶｑを決定する。
更に、キャラクタ位置決定部１１１Ｃは、ステップＳ１０４で特定したカメラ座標系ΣＣにおけるユーザＵqの位置ＣＰＵｑと、ステップＳ４００で決定したベクトルＣＰＵＶｑと、に基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを決定する（Ｓ４０２）。
その後、キャラクタ位置決定部１１１Ｃが、カメラ座標系ΣＣにおけるキャラクタＶqの向きＣＲＶｑを決定し（Ｓ１１０）、キャラクタ位置決定部１１１Ｃが、表示空間ＳP-Vにおける、キャラクタＶqと壁ＷLとの相対的な位置関係に基づいて、キャラクタＶqの位置ＣＰＶｑを調整し（Ｓ１１２）、重なり抽出部１１２が、ユーザ画像ＧUqとキャラクタ画像ＧVqとの重なりを抽出し（Ｓ１１４）、遠近判定部１１３が、カメラＣMAから見たユーザＵq及びキャラクタＶqの遠近を判定し（Ｓ１１６）、表示情報生成部１１４が、合成画像ＧGを示す表示データＤoutを生成し（Ｓ１１８）、表示情報生成部１１４が、表示データ生成処理の終了を判定する（Ｓ１２０）。
以上のように、本実施形態によれば、カメラ座標系ΣＣにおけるユーザＵqの向きＣＲＵｑの特定結果に基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを決定する。このため、本実施形態によれば、カメラＣMAの位置または向き、及び、ユーザＵqの位置または向きに関わらず、キャラクタＶqとユーザＵqとを関連付けて表示することができる。
なお、本実施形態において、キャラクタ位置決定部１１１Ｃは、カメラ座標系ΣＣにおけるユーザＵqの向きＣＲＵｑの特定結果に基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを決定するが、本発明はこのような態様に限定されるものではない。
例えば、図１６及び図１７に示すように、ユーザＵ1及びユーザＵ2の相対的な位置関係に基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを決定してもよい。なお、図１６は、情報処理装置１０Ｃが表示データ生成処理を実行する場合における、情報処理装置１０Ｃの動作の他の例を示すフローチャートである。図１６に示す表示データ生成処理は、ステップＳ４００の代わりに、ステップＳ４０４の処理を実行する点を除き、図１４に示す表示データ生成処理と同様の処理である。また、図１７は、＋ＺＷ側から表示空間ＳP-Vを見た場合における、各種物体の位置関係を説明するための説明図である。
図１６に示すように、表示データ生成処理が開始されると、オブジェクト特定部１１５が、カードＣDqの種類を特定する（Ｓ１００）。
また、被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSに基づいて、図１７に示す、カメラ座標系ΣＣにおけるユーザＵqの位置ＣＰＵｑを特定する（Ｓ１０４）。なお、図１６及び図１７に示す例では、被写体位置特定部１１７は、ステップＳ１０４において、ユーザＵ1の位置ＣＰＵ１と、ユーザＵ2の位置ＣＰＵ２と、の両方を特定することとする。
また、被写体位置特定部１１７は、撮像データＤA及び深度情報ＤSに基づいて、図１７に示す、カメラ座標系ΣＣにおけるユーザＵqの向きＣＲＵｑを特定する（Ｓ１０６）。
そして、キャラクタ位置決定部１１１Ｃは、図１７に示すように、カメラ座標系ΣＣにおいて、ユーザＵ1及びユーザＵ2の相対的な位置関係を示すベクトルＣＰＵＵに基づいて、ユーザＵqから見たキャラクタＶqの位置を示すベクトルＣＰＵＶｑを決定する（Ｓ４０４）。具体的には、キャラクタ位置決定部１１１Ｃは、ステップＳ４０４において、まず、ユーザＵ1の位置ＣＰＵ１と、ユーザＵ2の位置ＣＰＵ２と、に基づいて、カメラ座標系ΣＣにおいて、ユーザＵqから他のユーザＵの位置を示すベクトルＣＰＵＵを算出する。次に、キャラクタ位置決定部１１１Ｃは、ベクトルＣＰＵＵとベクトルＣＰＵＶｑとのなす角度が、角度θＢとなるように、ベクトルＣＰＵＶｑを決定する。
その後、キャラクタ位置決定部１１１Ｃが、ユーザＵqの位置ＣＰＵｑと、ベクトルＣＰＵＶｑと、に基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを決定する（Ｓ４０２）。
また、他の例としては、図１８及び図１９に示すように、ユーザＵqの位置に基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを決定してもよい。なお、図１８は、情報処理装置１０Ｃが表示データ生成処理を実行する場合における、情報処理装置１０Ｃの動作の第３の例を示すフローチャートである。図１８に示す表示データ生成処理は、ステップＳ４００の代わりに、ステップＳ４０６の処理を実行する点を除き、図１４に示す表示データ生成処理と同様の処理である。また、図１９は、＋ＺＷ側から表示空間ＳP-Vを見た場合における、各種物体の位置関係を説明するための説明図である。
図１８及び図１９に示すように、キャラクタ位置決定部１１１Ｃは、カメラ座標系ΣＣにおけるユーザＵqの位置ＣＰＵｑに基づいて、ユーザＵqから見たキャラクタＶqの位置を示すベクトルＣＰＵＶｑを決定する（Ｓ４０６）。具体的には、キャラクタ位置決定部１１１Ｃは、ステップＳ４０６において、位置ＣＰＵｑの示す方向と、ベクトルＣＰＵＶｑとのなす角度が、角度θＣとなるように、ベクトルＣＰＵＶｑを決定する。
その後、キャラクタ位置決定部１１１Ｃは、ユーザＵqの位置ＣＰＵｑと、ベクトルＣＰＵＶｑと、に基づいて、カメラ座標系ΣＣにおけるキャラクタＶqの位置ＣＰＶｑを決定する（Ｓ４０２）。
［５．第５実施形態］
以下、本発明の第５実施形態を説明する。
第５実施形態は、カメラＣMTから出力される撮像データＤTを用いることなく、キャラクタ画像ＧVqにより表されるキャラクタＶqの種類が指定される点において、第４実施形態と相違する。
図２０は、第５実施形態に係る情報処理システム１Ｄの構成の一例を示す機能ブロック図である。情報処理システム１Ｄは、制御部１１Ｃを具備する情報処理装置１０Ｃの代わりに、制御部１１Ｄを具備する情報処理装置１０Ｄを備える点と、カメラＣMTを備えない点と、を除き、図１３に示す第４実施形態に係る情報処理システム１Ｃと同様に構成されている。制御部１１Ｄは、キャラクタ位置決定部１１１Ｃを具備する表示制御部１１０Ｃの代わりに、キャラクタ位置決定部１１１Ｄを具備する表示制御部１１０Ｄを備える点と、オブジェクト特定部１１５を具備しない点と、を除き、図１４に示す第４実施形態に係る制御部１１Ｃと同様に構成されている。
本実施形態において、記憶装置３０は、カードデザイン情報と、キャラクタ情報と、を記憶している。また、本実施形態において、現実空間ＳP-Rには、マーカＭKを設けなくてもよい。
図２１は、情報処理装置１０Ｄが、表示データＤoutを生成する処理である表示データ生成処理を実行する場合における、情報処理装置１０Ｄの動作の一例を示すフローチャートである。
図２１に示すように、本実施形態に係る表示データ生成処理は、ステップＳ１００の処理を実行しない点と、ステップＳ３００の処理を実行する点と、を除き、図１４に示す第４実施形態に係る表示データ生成処理と同様の処理である。すなわち、キャラクタ位置決定部１１１Ｄは、ステップＳ４００、Ｓ４０２、Ｓ１１０、Ｓ１１２、及び、Ｓ３００の処理を実行する。但し、キャラクタ位置決定部１１１Ｄは、ステップＳ４００に代えて、ステップＳ４０４、または、ステップＳ４０６の処理を実行してもよい。
［６．変形例］
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下に例示する変形例において作用や機能が実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
［変形例１］
上述した第１乃至第５実施形態において、表示空間ＳP-VにおけるキャラクタＶqの位置ＷＰＶｑは、一定の位置、または、ユーザＵqの位置ＷＰＵｑ若しくは向きＷＲＵｑに応じた位置となるが、本発明はこのような態様に限定されるものではない。表示空間ＳP-VにおけるキャラクタＶqの位置ＷＰＶｑは、カードゲームの進行に応じて変化してもよいし、または、ユーザＵqの動作に応じて変化してもよい。
例えば、ユーザＵ1がカードＣD1を用いてユーザＵ2のカードＣD2を攻撃する場合、ユーザＵ1のカードＣD1がユーザＵ2のカードＣD2により攻撃を受けている場合、または、ユーザＵ1が所定の動作をした場合に、表示空間ＳP-Vにおいて、キャラクタＶ1を、図２に示すようなユーザＵ1の背後の位置から、図２２に示すようなユーザＵ1の前方の位置へと移動させてもよい。ここで、ユーザＵ1の所定の動作とは、例えば、カードＣD1でカードＣD2を攻撃することを示す動作であってもよい。カードＣD1でカードＣD2を攻撃することを示すユーザＵ1の動作とは、例えば、ユーザＵ1がカードＣD1を指差した後にカードＣD2を指差す動作であってもよいし、ユーザＵ1がカードＣD1をカードＣD2に重ねる動作であってもよいし、その他、ユーザＵ1がカードＣD1を用いて行う動作であってもよい。また、ユーザＵ１とユーザＵ２のカードがそれぞれ１枚ずつ、合計２枚しかテーブルＴＢに配置されていない場合など、カードを指定せずとも攻撃指示であることが明らかな場合は、自陣領域として設定される領域の任意の場所を指差す動作をした後、相手陣領域として設定される領域の任意の場所を指差す動作をするという一連の動作であってもよい。すなわち、ユーザの意図が明らかであれば必ずしもカードを指差す動作でなくともよい。また、ユーザＵ1の所定の動作とは、例えば、ゲームにおける所定の効果を発動するための動作であってもよい。ここで、ゲームにおける所定の効果とは、例えば、カードＣD1の攻撃力を増大させる効果であってもよいし、カードＣD1の防御力を増大させる効果であってもよいし、カードＣD2の攻撃力を削減させる効果であってもよい。すなわち、ゲームにおける所定の効果とは、例えば、ユーザＵ1にとって、ゲームの進行が有利になる効果のような、ゲームの進行に関する効果であってもよい。ゲームにおける所定の効果を発動するためのユーザＵ1の動作とは、例えば、ユーザＵ1が、ユーザＵ1の有するカードＣD1以外の他のカードをカードＣD1に重ねる動作であってもよいし、ユーザＵ1が、カードＣD1を他のカードに重ねる動作であってもよし、その他、ユーザＵ1がカードＣD1を用いて行う動作であってもよい。また、ユーザＵ1の所定の動作とは、例えば、カードＣD1のゲームにおける役割を変更する動作であってもよい。ここで、カードＣD1のゲームにおける役割とは、例えば、カードＣD1がカードＣD2を攻撃するという役割、及び、カードＣD1がカードＣD2による攻撃からカードＣD1またはユーザＵ1を防御するという役割の、一方または両方を含む概念であってもよい。カードＣD1のゲームにおける役割を変更するユーザＵ1の動作とは、例えば、ユーザＵ1が、カードＣD1の向きを変更する動作であってもよいし、その他、ユーザＵ1がカードＣD1を用いて行う動作であってもよい。また、ユーザＵ1の所定の動作とは、例えば、ゲームを一時的に中断させる動作であってもよい。ここで、ゲームを一時的に中断させるユーザＵ1の動作とは、例えば、ユーザＵ1が、カードＣD1を裏返す動作であってもよいし、その他、ユーザＵ1がカードＣD1を用いて行う動作であってもよい。なお、以上の説明においては、ユーザＵ1の所定の動作として、ユーザＵ1がカードＣD1を用いて行う動作を例示したが、ユーザＵ1の所定の動作は、ユーザＵ1がカードＣD1を用いずに行う動作であってもよいし、ユーザＵ1がカードＣD1を用いて行う動作と同時に実行される動作であってもよい。ここで、ユーザＵ1がカードＣD1を用いずに行う動作、及び、ユーザＵ1がカードＣD1を用いて行う動作と同時に実行される動作とは、例えば、ユーザＵ1が、所定の文言を発音する動作であってもよいし、ユーザＵ1が、所定のジェスチャを実行する動作であってもよい。
これらの場合、情報処理装置１０、１０Ａ、１０Ｂ、１０Ｃ、または、１０Ｄ（以下、「情報処理装置１０等」と総称する）の操作者は、操作部１４を用いて、ユーザＵqがカードＣDqを用いて攻撃していることを示す情報を入力し、または、ユーザＵqが所定の動作を実行していることを示す情報を入力してもよい。そして、情報処理装置１０等は、情報処理装置１０等の操作者による情報の入力に基づいて、ユーザＵqがカードＣDqを用いて攻撃していること、または、ユーザＵqが所定の動作を実行していることを、認識してもよい。
また、情報処理装置１０等は、カメラＣMAから出力される撮像データＤA及び深度情報ＤSに基づいて、ユーザＵqが、所定の動作を実行したことを認識してもよい。
なお、情報処理装置１０のキャラクタ位置決定部１１１は、相対位置情報の示すベクトルＷＰＵＶｑの大きさまたは向きを変化させることで、表示空間ＳP-VにおけるキャラクタＶqの位置ＷＰＶｑを変化させてもよい。
また、情報処理装置１０Ａまたは１０Ｂのキャラクタ位置決定部１１１Ａまたは１１１Ｂは、キャラクタ位置情報の示すキャラクタＶqの位置ＷＰＶｑを変化させることで、表示空間ＳP-VにおけるキャラクタＶqの位置ＷＰＶｑを変化させてもよい。
また、情報処理装置１０Ｃまたは１０Ｄのキャラクタ位置決定部１１１Ｃまたは１１１Ｃは、角度θＡ、θＢ、または、θＣの大きさと、ベクトルＣＰＵＶｑの大きさと、の少なくとも一方を変化させることで、表示空間ＳP-VにおけるキャラクタＶqの位置ＷＰＶｑを変化させてもよい。
［変形例２］
上述した第１乃至第５実施形態及び変形例１において、キャラクタＶqは、一定の形状を有するが、本発明はこのような態様に限定されるものではなく、キャラクタＶqの形状は変化してもよい。
具体的には、表示制御部１１０、１１０Ａ、１１０Ｂ、１１０Ｃ、または、１１０Ｄ（以下、「表示制御部１１０等」と総称する）は、キャラクタＶqの形状を、カードゲームの進行に応じて、または、ユーザＵqの動作若しくは姿勢に応じて変化させてもよい。ここで、キャラクタＶqの形状とは、例えば、キャラクタＶqの姿勢である。
例えば、表示制御部１１０等は、ユーザＵ1のカードＣD1がユーザＵ2のカードＣD2により攻撃を受けている場合、または、ユーザＵ1が所定の動作をした場合に、キャラクタＶ1を、図２に示すような、翼を広げていない姿勢から、図２３に示すような、翼を広げてユーザＵ1を庇う姿勢へと、姿勢変化させてもよい。
なお、表示制御部１１０等は、キャラクタＶqが、図２３に示すような、翼を広げてユーザＵqを庇う姿勢をとる場合、キャラクタＶqの胴体部分が、カメラＣMAから見て、ユーザＵqの背後に隠れ、キャラクタＶqの翼の一部が、カメラＣMAから見て、ユーザＵqよりも手前側に位置するように、ユーザ画像ＧUq及びキャラクタ画像ＧVqを表示させてもよい。
また、表示制御部１１０等は、ユーザＵ1が、ゲームを一時的に中断させる動作を実行した場合、キャラクタＶ1の姿勢を、キャラクタＶ1が休憩していることを示す姿勢に変化させてもよい。
［変形例３］
上述した第１乃至第５実施形態、及び、変形例１または２において、カメラＣMAは、現実空間ＳP-Rにおいて、位置ＷＰＣ及び向きＷＲＣを変化させることができるが、本発明はこのような態様に限定されるものではない。カメラＣMAは、現実空間ＳP-Rの所定の場所に配置されていてもよい。この場合、記憶装置３０は、ワールド座標系ΣＷにおけるカメラＣMAの位置ＷＰＣ及び向きＷＲＣを示す情報を記憶していてもよい。
［変形例４］
上述した第１乃至第５実施形態、及び、変形例１乃至３において、情報処理システム１、１Ａ、１Ｂ、１Ｃ、及び、１Ｄ（以下、「情報処理システム１等」と総称する）は、記憶装置３０を備えるが、本発明はこのような態様に限定されるものではない。情報処理システム１等は、記憶装置３０を備えずに構成されていてもよい。この場合、情報処理装置１０等が備える記憶部１２が、カードデザイン情報、キャラクタ情報、マーカ情報、相対位置情報、ユーザ位置情報、及び、キャラクタ位置情報の、一部または全部を記憶していてもよい。
［変形例５］
上述した第１乃至第５実施形態、及び、変形例１乃至４において、情報処理装置１０等は、深度情報ＤSに基づいて、カメラＣMAの被写体の各部位とカメラＣMAとの距離に応じた値（深度）を、カメラＣMAの被写体の全体について並べた「深度マップ」を作成してもよい。この場合、情報処理装置１０等は、深度マップと、カメラＣMAから見たキャラクタＶqの深度とに基づいて、カメラＣMAから見た、キャラクタＶqと、被写体の各部位との遠近を判定してもよい。そして、この場合、情報処理装置１０等は、キャラクタ画像ＧVqの一部、及び、被写体を撮像して得られた撮像画像の一部が、合成画像ＧGにおいて重なる場合には、遠近の判定結果に基づいて、キャラクタ画像ＧVq、及び、撮像画像の一部のうち、カメラＣMAから遠い方に対応する画像を非表示としてもよい。
また、情報処理装置１０等は、撮像データＤA及び深度情報ＤSの一方または双方に基づいて、ユーザＵqの形状、輪郭、または、ユーザＵqの顔位置を特定してもよい。この場合、情報処理装置１０等は、深度マップ、ユーザＵqの輪郭を示す情報及び深度マップ、または、ユーザＵqの顔位置及び深度マップに基づいて、ユーザＵqと、ユーザＵq以外の被写体との相対的な位置関係を特定してもよい。そして、この場合、特定した相対的な位置関係に基づいて、表示空間ＳP-VにおけるキャラクタＶqの位置を決定し、当該決定結果と、深度マップとに基づいて、キャラクタ画像ＧVqを表示してもよい。
［７．付記］
以上の記載から、本発明は例えば以下のように把握される。なお、各態様の理解を容易にするために、以下では、図面の参照符号を便宜的に括弧書きで付記するが、本発明を図示の態様に限定する趣旨ではない。
［付記１］
本発明の一態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、現実空間内のユーザを撮像する第１撮像部による撮像結果に基づいて、前記ユーザの位置を特定する第１特定部と、表示部において、前記第１撮像部による撮像結果に基づいて、前記ユーザを表す第１画像を表示させ、前記現実空間内のオブジェクトに対応する第２画像を、前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、として機能させる、ことを特徴とする。
この態様によれば、表示部において、第１特定部により特定されたユーザの位置に基づく位置に、オブジェクトに対応する第２画像を表示させる。このため、この態様によれば、ユーザを表す第１画像と、オブジェクトに対応する第２画像とを、関連付けて表示させることができる。これにより、この態様によれば、ユーザがオブジェクトを用いて行うゲーム等を撮像する場合に、表示部に表示される画像において、臨場感を演出することが可能となる。
なお、上記態様において、「ユーザの位置の特定」とは、例えば、現実空間においてユーザが位置する座標を特定するという概念、現実空間において第１撮像部とユーザとの距離を特定するという概念、現実空間において第１撮像部から見たユーザまでの奥行きを特定するという概念、現実空間において第１撮像部から見たユーザの方向を特定するという概念、及び、現実空間において、第１撮像部の有する光学系の光軸方向等の第１撮像部の撮像方向と、第１撮像部及びユーザを結ぶ直線との、なす角度を特定するという概念の、少なくとも一部を含む概念であってもよい。
また、上記態様において、「第１画像」とは、例えば、第１撮像部によりユーザを撮像した結果として得られる、ユーザの形状、輪郭、色彩、及び、模様の一部または全部を示す画像であってもよい。具体的には、「第１画像」とは、例えば、ユーザの形状、輪郭、色彩、及び、模様の全てを示す画像であってもよい。また、「第１画像」とは、例えば、ユーザの骨格等のユーザの形状を示す画像であってもよいし、ユーザのシルエット等のユーザの輪郭を示す画像であってもよい。すなわち、「第１画像」は、例えば、ユーザの色彩及び模様のうち少なくとも一方を含まないような画像であってもよい。
また、上記態様において、「オブジェクト」とは、例えば、ユーザがゲーム等の進行のために用いるオブジェクトであってもよい。
［付記２］
本発明の他の態様に係る情報処理装置のプログラムは、付記１に記載の情報処理装置のプログラムであって、前記表示制御部は、前記表示部において、前記第１画像の少なくとも一部と前記第２画像の少なくとも一部とが重なる場合に、前記第１特定部による特定結果に基づいて、前記第１画像の少なくとも一部、または、前記第２画像の少なくとも一部のうち、何れか一方を、非表示とする、ことを特徴とする。
この態様によれば、第１画像の一部と第２画像の一部とが重なる場合に、第１画像の一部及び第２画像の一部の一方を非表示とする。このため、この態様によれば、表示部に表示される画像において、奥行きを表現することができる。
［付記３］
本発明の他の態様に係る情報処理装置のプログラムは、付記１または２に記載の情報処理装置のプログラムであって、前記第２画像は、前記オブジェクトに対応するキャラクタを表す画像であり、前記表示制御部は、前記表示部により表される表示空間において、前記第１画像として表される前記ユーザと、前記第２画像として表される前記キャラクタとが、所定の位置関係を有するように、前記表示部において、前記第２画像を表示させる、ことを特徴とする。
この態様によれば、表示空間において、ユーザ及びキャラクタが所定の位置関係を有するように、第１画像及び第２画像を表示部に表示させる。このため、この態様によれば、表示部に表示される画像において、ユーザ及びキャラクタの一体感を演出することができる。
［付記４］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至３に記載の情報処理装置のプログラムであって、前記第２画像は、前記オブジェクトに対応するキャラクタを表す画像であり、前記第１特定部は、前記第１撮像部による撮像結果に基づいて、前記第１撮像部により撮像された前記ユーザの背景の位置を特定し、前記表示制御部は、前記表示部において、前記第１特定部による特定結果に基づいて、前記背景を表す第３画像と、前記第２画像とを表示させる、ことを特徴とする。
この態様によれば、表示部において、第１特定部により特定された背景の位置に基づいて、オブジェクトに対応する第２画像を表示させる。このため、この態様によれば、表示部に表示される画像において、背景よりも手前側にキャラクタが位置するような演出が可能となる。
［付記５］
本発明の他の態様に係る情報処理装置のプログラムは、付記４に記載の情報処理装置のプログラムであって、前記表示制御部は、前記表示部により表される表示空間において、前記第２画像として表される前記キャラクタが、前記第１画像として表される前記ユーザと、前記第３画像として表される前記背景と、の間に位置するように、前記表示部において、前記第２画像を表示させる、ことを特徴とする。
この態様によれば、表示部において、背景よりも手前側にキャラクタが位置するように、第２画像を表示させる。このため、この態様によれば、表示部に表示される画像において、ユーザ及びキャラクタの一体感を演出することができる。
［付記６］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至５に記載の情報処理装置のプログラムであって、前記プロセッサを、前記オブジェクトを撮像する第２撮像部による撮像結果に基づいて、前記オブジェクトの種類を特定する第２特定部、として更に機能させ、前記第２画像は、前記第２特定部の特定したオブジェクトの種類に応じた画像である、ことを特徴とする。
この態様によれば、表示部において、ユーザがゲーム等において用いるオブジェクトの種類に応じた画像を第２画像として表示させる。このため、この態様によれば、例えば、第２画像として単一の画像が表示される場合と比較して、表示部に表示される画像において、臨場感を演出することが可能となる。
［付記７］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至６に記載の情報処理装置のプログラムであって、前記第１特定部は、前記第１撮像部による前記ユーザの撮像結果に基づいて、前記ユーザの姿勢を特定し、前記第２画像は、前記オブジェクトに対応するキャラクタを表す画像であり、前記表示制御部は、前記第１特定部による特定結果に基づいて、前記表示部により表される表示空間における、前記第２画像として表される前記キャラクタの姿勢を決定する、ことを特徴とする。
この態様によれば、ユーザの姿勢に基づいて、キャラクタの姿勢を決定する。このため、この態様によれば、表示部に表示される画像において、ユーザ及びキャラクタの一体感を演出することができる。
［付記８］
本発明の他の態様に係る情報処理装置のプログラムは、付記７に記載の情報処理装置のプログラムであって、前記表示制御部は、前記表示空間において、前記第１画像として表される前記ユーザの向きと、前記第２画像として表される前記キャラクタの向きとのなす角度が、所定の角度以下となるように、前記表示部において、前記第２画像を表示させる、ことを特徴とする。
この態様によれば、例えば、表示空間において、ユーザの向きと、キャラクタの向きとが、略同じとなるように、第２画像を表示させることができる。このため、この態様によれば、表示部に表示される画像において、ユーザ及びキャラクタの一体感を演出することができる。
［付記９］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至８に記載の情報処理装置のプログラムであって、前記第２画像は、前記オブジェクトに対応するキャラクタを表す画像であり、前記表示制御部は、前記ユーザが所定の動作を実行した場合に、前記表示部により表される表示空間において、前記第１画像として表される前記ユーザと、前記第２画像として表される前記キャラクタとの、相対的な位置関係が変化するように、前記表示部において、前記第２画像を表示させる、ことを特徴とする。
この態様によれば、ユーザの動作に基づいて、表示空間におけるユーザとキャラクタとの相対的な位置関係を変化させる。よって、この態様によれば、ユーザの実行するゲームの進行に応じて、表示空間におけるユーザとキャラクタとの相対的な位置関係を変化させることができる。このため、この態様によれば、表示部に表示される画像において、臨場感を演出することが可能となる。
［付記１０］
本発明の一態様に係る情報処理装置は、現実空間内のユーザを撮像する第１撮像部による撮像結果に基づいて、前記ユーザの位置を特定する第１特定部と、表示部において、前記第１撮像部による撮像結果に基づいて、前記ユーザを表す第１画像を表示させ、前記現実空間内のオブジェクトに対応する第２画像を、前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、を備える、ことを特徴とする。
この態様によれば、表示部において、第１特定部により特定されたユーザの位置に基づく位置に、オブジェクトに対応する第２画像を表示させる。このため、この態様によれば、ユーザを表す第１画像と、オブジェクトに対応する第２画像とを、関連付けて表示させることができる。これにより、この態様によれば、ユーザがオブジェクトを用いて行うゲーム等を撮像する場合に、表示部に表示される画像において、臨場感を演出することが可能となる。
［付記１１］
本発明の一態様に係る情報処理システムは、現実空間内のユーザを撮像する第１撮像部と、表示部と、情報処理装置と、を備える、情報処理システムであって、前記情報処理装置は、前記第１撮像部による撮像結果に基づいて、前記ユーザの位置を特定する第１特定部と、前記表示部において、前記第１撮像部による撮像結果に基づいて、前記ユーザを表す第１画像を表示させ、前記現実空間内のオブジェクトに対応する第２画像を、前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、を備える、ことを特徴とする。
この態様によれば、表示部において、第１特定部により特定されたユーザの位置に基づく位置に、オブジェクトに対応する第２画像を表示させる。このため、この態様によれば、ユーザを表す第１画像と、オブジェクトに対応する第２画像とを、関連付けて表示させることができる。これにより、この態様によれば、ユーザがオブジェクトを用いて行うゲーム等を撮像する場合に、表示部に表示される画像において、臨場感を演出することが可能となる。
［付記１２］
本発明の一態様に係る表示方法は、現実空間内のユーザを撮像する第１撮像部による撮像結果に基づいて、前記ユーザの位置を特定し、表示部において、前記第１撮像部による撮像結果に基づいて、前記ユーザを表す第１画像を表示させ、前記現実空間内のオブジェクトに対応する第２画像を、前記特定の結果に基づく位置に表示させる、ことを特徴とする。
この態様によれば、表示部において、第１特定部により特定されたユーザの位置に基づく位置に、オブジェクトに対応する第２画像を表示させる。このため、この態様によれば、ユーザを表す第１画像と、オブジェクトに対応する第２画像とを、関連付けて表示させることができる。これにより、この態様によれば、ユーザがオブジェクトを用いて行うゲーム等を撮像する場合に、表示部に表示される画像において、臨場感を演出することが可能となる。
１…情報処理システム、１０…情報処理装置、１１…制御部、１２…記憶部、１３…通信部、１４…操作部、１５…情報読込部、２０…表示装置、２１…表示部、３０…記憶装置、１１０…表示制御部、１１１…キャラクタ位置決定部、１１２…重なり抽出部、１１３…遠近判定部、１１４…表示情報生成部、１１５…オブジェクト特定部、１１６…カメラ位置特定部、１１７…被写体位置特定部、１０００…プロセッサ。

Claims (11)

  1. プロセッサを具備する情報処理装置のプログラムであって、
    前記プロセッサを、
    現実空間内のユーザを撮像する第１撮像部による撮像結果に基づいて、
    前記ユーザの位置を特定する第１特定部と、
    表示部において、
    前記第１撮像部による撮像結果に基づいて、
    前記ユーザを表す第１画像を表示させ、
    前記現実空間内のオブジェクトに対応するキャラクタを表す第２画像を、
    前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、
    として機能させ、
    前記第１特定部は、
    前記第１撮像部による前記ユーザの撮像結果に基づいて、
    前記ユーザの姿勢を特定し、
    前記表示制御部は、
    前記第１特定部による特定結果に基づいて、
    前記表示部により表される表示空間における、
    前記第２画像として表される前記キャラクタの姿勢を決定する、
    ことを特徴とする、情報処理装置のプログラム。
  2. 前記表示制御部は、
    前記表示部において、
    前記第１画像の少なくとも一部と前記第２画像の少なくとも一部とが重なる場合に、
    前記第１特定部による特定結果に基づいて、
    前記第１画像の少なくとも一部、または、前記第２画像の少なくとも一部のうち、
    何れか一方を、非表示とする、
    ことを特徴とする、請求項１に記載の情報処理装置のプログラム。
  3. 前記表示制御部は、
    前記表示部により表される表示空間において、
    前記第１画像として表される前記ユーザと、
    前記第２画像として表される前記キャラクタとが、
    所定の位置関係を有するように、
    前記表示部において、前記第２画像を表示させる、
    ことを特徴とする、請求項１または２に記載の情報処理装置のプログラム。
  4. 前記第１特定部は、
    前記第１撮像部による撮像結果に基づいて、
    前記第１撮像部により撮像された前記ユーザの背景の位置を特定し、
    前記表示制御部は、
    前記表示部において、
    前記第１特定部による特定結果に基づいて、
    前記背景を表す第３画像と、前記第２画像とを表示させる、
    ことを特徴とする、請求項１乃至３のうちの何れか１項に記載の情報処理装置のプログラム。
  5. 前記表示制御部は、
    前記表示部により表される表示空間において、
    前記第２画像として表される前記キャラクタが、
    前記第１画像として表される前記ユーザと、
    前記第３画像として表される前記背景と、の間に位置するように、
    前記表示部において、前記第２画像を表示させる、
    ことを特徴とする、請求項４に記載の情報処理装置のプログラム。
  6. 前記プロセッサを、
    前記オブジェクトを撮像する第２撮像部による撮像結果に基づいて、
    前記オブジェクトの種類を特定する第２特定部、
    として更に機能させ、
    前記第２画像は、
    前記第２特定部の特定したオブジェクトの種類に応じた画像である、
    ことを特徴とする、請求項１乃至５のうち何れか１項に記載の情報処理装置のプログラム。
  7. 前記表示制御部は、
    前記表示空間において、
    前記第１画像として表される前記ユーザの向きと、
    前記第２画像として表される前記キャラクタの向きとのなす角度が、
    所定の角度以下となるように、
    前記表示部において、前記第２画像を表示させる、
    ことを特徴とする、請求項１に記載の情報処理装置のプログラム。
  8. 前記表示制御部は、
    前記ユーザが所定の動作を実行した場合に、
    前記表示部により表される表示空間において、
    前記第１画像として表される前記ユーザと、
    前記第２画像として表される前記キャラクタとの、
    相対的な位置関係が変化するように、
    前記表示部において、前記第２画像を表示させる、
    ことを特徴とする、請求項１乃至７のうち何れか１項に記載の情報処理装置のプログラム。
  9. 現実空間内のユーザを撮像する第１撮像部による撮像結果に基づいて、
    前記ユーザの位置を特定する第１特定部と、
    表示部において、
    前記第１撮像部による撮像結果に基づいて、
    前記ユーザを表す第１画像を表示させ、
    前記現実空間内のオブジェクトに対応するキャラクタを表す第２画像を、
    前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、
    を備え、
    前記第１特定部は、
    前記第１撮像部による前記ユーザの撮像結果に基づいて、
    前記ユーザの姿勢を特定し、
    前記表示制御部は、
    前記第１特定部による特定結果に基づいて、
    前記表示部により表される表示空間における、
    前記第２画像として表される前記キャラクタの姿勢を決定する、
    ことを特徴とする情報処理装置。
  10. 現実空間内のユーザを撮像する第１撮像部と、表示部と、情報処理装置と、
    を備える、情報処理システムであって、
    前記情報処理装置は、
    前記第１撮像部による撮像結果に基づいて、
    前記ユーザの位置を特定する第１特定部と、
    前記表示部において、
    前記第１撮像部による撮像結果に基づいて、
    前記ユーザを表す第１画像を表示させ、
    前記現実空間内のオブジェクトに対応するキャラクタを表す第２画像を、
    前記第１特定部による特定結果に基づく位置に表示させる表示制御部と、
    を備え、
    前記第１特定部は、
    前記第１撮像部による前記ユーザの撮像結果に基づいて、
    前記ユーザの姿勢を特定し、
    前記表示制御部は、
    前記第１特定部による特定結果に基づいて、
    前記表示部により表される表示空間における、
    前記第２画像として表される前記キャラクタの姿勢を決定する、
    ことを特徴とする情報処理システム。
  11. 現実空間内のユーザを撮像する第１撮像部による撮像結果に基づいて、
    前記ユーザの位置を特定し、
    表示部において、
    前記第１撮像部による撮像結果に基づいて、
    前記ユーザを表す第１画像を表示させ、
    前記現実空間内のオブジェクトに対応するキャラクタを表す第２画像を、
    前記特定の結果に基づく位置に表示させ、
    前記第１撮像部による前記ユーザの撮像結果に基づいて、
    前記ユーザの姿勢を特定し、
    前記ユーザの前記位置の特定結果に基づいて、
    前記表示部により表される表示空間における、
    前記第２画像として表される前記キャラクタの姿勢を決定する、
    ことを特徴とする表示方法。
JP2017254723A 2017-12-28 2017-12-28 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法 Active JP6590324B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017254723A JP6590324B2 (ja) 2017-12-28 2017-12-28 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
KR1020207021555A KR102443394B1 (ko) 2017-12-28 2018-08-13 정보 처리 장치, 기록 매체, 정보 처리 시스템 및 표시 방법
PCT/JP2018/030204 WO2019130644A1 (ja) 2017-12-28 2018-08-13 情報処理装置、記録媒体、情報処理システム、及び、表示方法
US16/913,669 US11562564B2 (en) 2017-12-28 2020-06-26 Recording medium, information processing system, and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017254723A JP6590324B2 (ja) 2017-12-28 2017-12-28 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019161770A Division JP2020074064A (ja) 2019-09-05 2019-09-05 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法

Publications (2)

Publication Number Publication Date
JP2019121099A JP2019121099A (ja) 2019-07-22
JP6590324B2 true JP6590324B2 (ja) 2019-10-16

Family

ID=67066890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017254723A Active JP6590324B2 (ja) 2017-12-28 2017-12-28 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法

Country Status (4)

Country Link
US (1) US11562564B2 (ja)
JP (1) JP6590324B2 (ja)
KR (1) KR102443394B1 (ja)
WO (1) WO2019130644A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230304091A1 (en) 2020-08-10 2023-09-28 Cutis Biomedical Research Center Minimally invasive kit for diagnosing skin condition, comprising microneedle patch
JP7336553B2 (ja) 2022-02-07 2023-08-31 三菱電機Ｉｔソリューションズ株式会社 処理実行装置、処理実行方法及び処理実行プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3363861B2 (ja) 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US10972680B2 (en) 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
JP5718197B2 (ja) 2011-09-14 2015-05-13 株式会社バンダイナムコゲームス プログラム及びゲーム装置
JP6021592B2 (ja) 2012-11-06 2016-11-09 任天堂株式会社 情報処理用プログラム、情報処理装置、情報処理システム、および情報処理方法
JP6011567B2 (ja) * 2014-03-10 2016-10-19 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
US9761049B2 (en) 2014-03-28 2017-09-12 Intel Corporation Determination of mobile display position and orientation using micropower impulse radar
CN107533416B (zh) * 2015-03-20 2021-03-16 株式会社理光 显示装置、显示控制方法、计算机可读记录介质和显示系统
WO2017068824A1 (ja) * 2015-10-21 2017-04-27 シャープ株式会社 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体
WO2018155233A1 (ja) * 2017-02-23 2018-08-30 ソニー株式会社 画像処理装置、画像処理方法、および画像システム
US10543425B2 (en) * 2017-05-16 2020-01-28 Sony Interactive Entertainment America Llc Systems and methods for detecting and displaying a boundary associated with player movement

Also Published As

Publication number Publication date
US20200327328A1 (en) 2020-10-15
KR102443394B1 (ko) 2022-09-16
KR20200100168A (ko) 2020-08-25
US11562564B2 (en) 2023-01-24
WO2019130644A1 (ja) 2019-07-04
JP2019121099A (ja) 2019-07-22

Similar Documents

Publication Publication Date Title
US8970623B2 (en) Information processing system, information processing method, information processing device and tangible recoding medium recording information processing program
JP5704963B2 (ja) 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
JP6854133B2 (ja) 情報処理プログラム、情報処理方法、情報処理システム、および情報処理装置
US8471850B2 (en) Image generating apparatus, method of generating image, program, and recording medium
EP2023294B1 (en) Image generating apparatus, method of generating image, program, and recording medium
EP2023295A2 (en) Non-photorealistic contour rendering
JP5675260B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法
JP2012212237A (ja) 画像生成システム、サーバシステム、プログラム及び情報記憶媒体
JP5939733B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法
JP6590324B2 (ja) 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP7216493B2 (ja) ゲームシステム及びプログラム
JP2012216073A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP7371901B2 (ja) ゲームプログラム、情報処理装置、および方法
JP6857795B2 (ja) 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP3431522B2 (ja) ゲーム装置及び情報記憶媒体
JP7364218B2 (ja) 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP2020074064A (ja) 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP4469709B2 (ja) 画像処理プログラムおよび画像処理装置
JP3938758B2 (ja) 画像生成装置及び情報記憶媒体
JP4307403B2 (ja) 位置向き推定装置、位置向き推定方法、ならびに、プログラム

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190909

R150 Certificate of patent or registration of utility model

Ref document number: 6590324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250