JPWO2010001756A1 - 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法 - Google Patents

携帯型ゲーム装置及び携帯型ゲーム装置の制御方法 Download PDF

Info

Publication number
JPWO2010001756A1
JPWO2010001756A1 JP2010518999A JP2010518999A JPWO2010001756A1 JP WO2010001756 A1 JPWO2010001756 A1 JP WO2010001756A1 JP 2010518999 A JP2010518999 A JP 2010518999A JP 2010518999 A JP2010518999 A JP 2010518999A JP WO2010001756 A1 JPWO2010001756 A1 JP WO2010001756A1
Authority
JP
Japan
Prior art keywords
image
target object
imaging
portable game
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010518999A
Other languages
English (en)
Other versions
JP5174908B2 (ja
Inventor
智史 川口
智史 川口
彰彦 菅原
彰彦 菅原
聡幸 廣井
聡幸 廣井
浩二 景山
浩二 景山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2010518999A priority Critical patent/JP5174908B2/ja
Publication of JPWO2010001756A1 publication Critical patent/JPWO2010001756A1/ja
Application granted granted Critical
Publication of JP5174908B2 publication Critical patent/JP5174908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92Video game devices specially adapted to be hand-held while playing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6009Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/69Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695Imported photos, e.g. of the player

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing Of Coins (AREA)

Abstract

撮像手段から生成される画像の活用性を向上することができる携帯型ゲーム装置及び携帯型ゲーム装置の制御方法を提供する。撮像対象オブジェクト画像生成部(52)は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する。撮像対象オブジェクト距離測定部(54)は、撮像対象オブジェクトとの距離を測定する。情報処理実行部(56)は、撮像対象オブジェクト画像、及び、撮像対象オブジェクト距離測定部(54)により測定される距離に基づく情報処理を実行する。

Description

本発明は、携帯型ゲーム装置及び携帯型ゲーム装置の制御方法に関する。
携帯型ゲーム装置が普及し、プレイヤはさまざまな場所でゲームを楽しむことができる。このような携帯型ゲーム装置には、カメラなどの撮像手段と接続できるものが存在する。カメラと接続できる携帯型ゲーム装置では、カメラによって撮像される人物などの画像の蓄積や撮像される画像を用いた情報処理を行うことができる。また、例えば、特許文献1に開示されているような、3次元仮想物体をあたかも現実世界に存在するかのように表示させるようにした3次元仮想物体表示装置に関する技術が知られている。
特許第3558104号公報
しかしながら、撮像手段と接続できる従来の携帯型ゲーム装置では、レンズの前に存在する人物などの撮像対象オブジェクトを二次元の投影面に投影した二次元画像しか生成することができなかった。そのため、ゲームによっては、生成される画像から得られるデータが充分ではなく、画像が充分活用されているとはいえなかった。
本発明は、上記課題に鑑みてなされたものであって、その目的の一つは、撮像手段から生成される画像の活用性を向上することができる携帯型ゲーム装置及び携帯型ゲーム装置の制御方法を提供することにある。
上記課題を解決するために、本発明に係る携帯型ゲーム装置は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段と、前記撮像対象オブジェクトとの距離を測定する距離測定手段と、前記撮像対象オブジェクト画像、及び、前記距離測定手段により測定される距離に基づく情報処理を実行する情報処理実行手段と、を備えることを特徴とする。
また、本発明に係る携帯型ゲーム装置の制御方法は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像ステップと、前記撮像対象オブジェクトとの距離を測定する距離測定ステップと、前記撮像対象オブジェクト画像、及び、前記距離測定手段により測定される前記距離に基づく情報処理を実行する情報処理実行ステップと、を含むことを特徴とする。
本発明によると、撮像対象オブジェクト画像と、撮像対象オブジェクトと携帯型ゲーム装置との距離と、を情報処理に活用することができるので、撮像手段から生成される画像の活用性を向上することができる。
本発明の一態様では、前記距離測定手段が、順次、前記距離を測定して、前記情報処理実行手段が、前記距離測定手段により測定される距離の変化に応じて、実行する情報処理の内容を変更することを特徴とする。こうすれば、撮像対象オブジェクトと携帯型ゲーム装置との距離の変化を情報処理に活用することができる。
また、本発明の一態様では、前記情報処理実行手段が、前記距離測定手段により測定される距離に基づく画像を表示手段に表示することを特徴とする。こうすれば、画像の表示処理に、撮像対象オブジェクトと携帯型ゲーム装置との距離を活用することができる。
また、本発明の一態様では、前記距離測定手段が、順次、前記距離を測定して、前記情報処理実行手段が、仮想空間の画像を、当該仮想空間に配置された視点の位置に従って生成して、生成された前記仮想空間の画像を表示手段に表示して、前記距離測定手段により測定される距離の変化に応じて、前記仮想空間における前記視点の位置を変更することを特徴とする。こうすれば、仮想空間に配置された視点の位置に従って生成される仮想空間の画像を表示する処理に、撮像対象オブジェクトと携帯型ゲーム装置との距離の変化を活用することができる。
また、この態様では、前記撮像手段が、順次、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成して、前記情報処理実行手段が、前記撮像手段により撮像される前記撮像対象オブジェクト画像の変化に応じて、前記仮想空間における前記視点の位置又は向きの少なくとも一方を変更するようにしてもよい。こうすれば、仮想空間に配置された視点の位置に従って生成される仮想空間の画像を表示する処理に、順次撮像される撮像対象オブジェクト画像の変化を活用することができる。
また、本発明の一態様では、前記撮像手段と、前記距離測定手段とは、一体的に形成されていることを特徴とする。
また、本発明に係る携帯型ゲーム装置は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段を備え、前記撮像手段が、複数のレンズと、光を反射する反射部材と、前記反射部材により反射される光を受けて前記撮像対象オブジェクト画像を生成する撮像素子と、を有し、前記反射部材が、各前記レンズを透過する光を前記撮像素子へ向けて反射する反射部材位置の間を移動可能に支持されていることを特徴とする。
本発明によれば、異なる方向の撮像対象オブジェクトを撮像して撮像対象オブジェクト画像をまとめて生成することができるので、撮像手段から生成される画像の活用性を向上することができる。
本発明の一態様では、予め定められた規則に従って、各前記反射部材位置の間を移動するよう前記反射部材を駆動する反射部材駆動手段をさらに含むことを特徴とする。こうすれば、異なる方向の撮像対象オブジェクトを撮像した画像を予め定められた規則に従って生成することができる。
本発明に係る携帯型ゲーム装置の制御方法は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段を備え、前記撮像手段が、複数のレンズと、光を反射する反射部材と、前記反射部材により反射される光を受けて前記撮像対象オブジェクト画像を生成する撮像素子と、を有し、前記反射部材が、各前記レンズを透過する光を前記撮像素子へ向けて反射する反射部材位置の間を移動可能に支持されている、携帯型ゲーム装置の制御方法であって、予め定められた規則に従って、各前記反射部材位置の間を移動するよう前記反射部材を駆動する反射部材駆動ステップを含むことを特徴とする。
本発明の一実施形態に係る携帯型ゲーム装置の一例を示す斜視図である。 本発明の一実施形態に係る携帯型ゲーム装置のハードウェア構成の一例を示すハードウェア構成図である。 仮想空間の一例を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 本発明の一実施形態に係る携帯型ゲーム装置の機能ブロック図である。 プレイヤ基礎画像の一例を示す図である。 プレイヤ画像の一例を示す図である。 本発明の一実施形態に係る携帯型ゲーム装置で行われる処理のフローの一例を示す図である。 本発明の一実施形態に係る携帯型ゲーム装置を将棋ゲームに用いている様子の一例を説明する説明図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の一例を示す図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の一例を示す図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の一例を示す図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。 本発明の別の一実施形態に係る携帯型ゲーム装置で行われる処理のフローの一例を示す図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。
以下、本発明の一実施形態について図面に基づき詳細に説明する。
図1は、本実施形態に係る携帯型ゲーム装置1の一例を示す斜視図である。図2は、図1に示す携帯型ゲーム装置1のハードウェア構成の一例を示すハードウェア構成図である。図1及び図2に示すように、本実施形態に係る携帯型ゲーム装置1の筐体10の形状は、箱形である。そして、本実施形態に係る携帯型ゲーム装置1は、制御部12、記憶部14、表示部16、操作部18、撮像部20、距離測定部22、通信部24を備えている。
制御部12はCPU等のプログラム制御デバイスであり、記憶部14に格納されたプログラム(例えば、ゲームプログラム)に従って動作する。
記憶部14は、RAM等の記憶素子やハードディスクなどである。記憶部14には、制御部12によって実行されるプログラムなどが格納される。具体的には、例えば、制御部12で実行されるゲームプログラムが格納される。このゲームプログラムは、例えば、ディスク、CD−ROM、DVD−ROM等の情報伝達媒体を介して、あるいは、インターネット等の通信ネットワークを介して携帯型ゲーム装置1に供給される。また、記憶部14は、制御部12のワークメモリとしても動作する。
表示部16は、例えば液晶ディスプレイ等であり、制御部12からの指示に従って、画像の表示を行う。本実施形態では、表示部16は、携帯型ゲーム装置1の筐体10の正面中央部に設けられている。ここで、制御部12は、表示部16に、表示される画像の解像度やアスペクト比などといった属性を併せて指示してもよい。また、制御部12は、実行するプログラムに含まれる、画像の解像度やアスペクト比などといった属性を示す属性情報の内容に従って表示部16に表示される画像の属性を指示してもよい。
操作部18は、例えば、操作部材(具体的には、例えば、十字キーやボタン)であり、当該操作部材に対する操作に応じた出力データを制御部12に対して出力する。制御部12は、この出力データを取得することで、当該出力データを用いてプレイヤの操作部材に対する操作に応じた処理を実行する。本実施形態では、操作部18は、携帯型ゲーム装置1の表示部16の左右に設けられている。すなわち、操作部18は、携帯型ゲーム装置1の筐体10の正面左側及び正面右側に分かれて配置されている。
撮像部20は、例えば、公知のデジタルカメラを含んで構成され、所定時間(例えば1/60秒)ごとに、白黒、グレイスケール又はカラーの画像(例えば、JPEG形式の画像)を生成する。なお、撮像部20は、標準カメラであっても、望遠カメラであっても、広角カメラであっても構わない。本実施形態では、撮像部20は、表示部16の上側に設けられている。すなわち、撮像部20は、筐体10の正面中央付近上側に設けられている。
距離測定部22は、携帯型ゲーム装置1と、その外部に存在する外部オブジェクトとの距離を測定する。距離測定部22は、例えば、携帯型ゲーム装置1の正面によって形成される平面と、外部オブジェクトとの距離(より具体的には、例えば、外部オブジェクトから、携帯型ゲーム装置1の正面によって形成される平面に下ろした垂線の長さ)を測定する。そして、距離測定部22は、撮像部20によって生成される画像に含まれる各画素に、その画素に対応する、外部オブジェクト上の点と携帯型ゲーム装置1との距離を対応づける。距離測定部22は、具体的には、例えば、複数のレンズから構成されるステレオカメラであり、それぞれのレンズの視差に基づいて、外部オブジェクトと携帯型ゲーム装置1との距離を測定する。距離測定部22は、ステレオカメラにはもちろん限定されず、距離測定部22は、赤外線を出力して、その赤外線が撮像対象オブジェクトに反射して戻ってくるまでの時間を測定して、その測定された時間に基づいて、外部オブジェクトと携帯型ゲーム装置1との距離を測定しても構わない。また、距離測定部22が、焦点距離の異なる複数のレンズから構成され、これらのレンズのうち、外部オブジェクトに対してピントが合ったレンズに基づいて、外部オブジェクトと携帯型ゲーム装置1との距離を測定しても構わない。なお、本実施形態では、距離測定部22は、撮像部20と一体的に形成されており、表示部16の上側に設けられている。すなわち、距離測定部22は、正面中央付近上側に設けられている。
通信部24は、例えば、ネットワークインタフェースなど(具体的には、例えば、無線LANモジュール)であり、制御部12から入力される指示に従って、他の携帯型ゲーム装置1や、インターネット上のサーバ(図示せず)などへ情報を送信する。また、この通信部24は、受信される情報を制御部12に出力する。
本実施形態においては、携帯型ゲーム装置1は、図3に示す仮想空間26(本実施形態では、仮想3次元空間)における各仮想オブジェクト28の位置、視点30の位置、及び、視線方向32に基づいて、図4A〜図4Cや図5A〜図5Cに示すように、携帯型ゲーム装置1の前のプレイヤ34の顔の位置や向きに応じた画像を生成して、生成された画像を表示する仮想空間表示処理を実行する。
具体的には、例えば、プレイヤ34の顔が前進すると(図4A参照)、仮想空間26における視点30が前進し、図4Bに示すような仮想空間26の画像が液晶ディスプレイなどの表示部16に表示される。一方、プレイヤ34の顔が後退すると(図4A参照)、仮想空間26における視点30が後退し、図4Cに示すような仮想空間26の画像が表示部16に表示される。
そして、プレイヤ34の顔が携帯型ゲーム装置1に対して反時計回りに回転すると、(図5A参照)、仮想空間26における視点30や視線方向32が反時計回りに回転し、図5Bに示すような仮想空間26の画像が表示部16に表示される。一方、プレイヤ34の顔が携帯型ゲーム装置1に対して時計回りに回転すると(図5A参照)、仮想空間26における視点30や視線方向32が時計回りに回転し、図5Cに示すような仮想空間26の画像が表示部16に表示される。
図6は、本発明の、この実施形態に係る携帯型ゲーム装置1の機能ブロック図である。図6に示すように、この実施形態に係る携帯型ゲーム装置1は、機能的には、仮想空間データ記憶部40、視点データ記憶部42、基礎画像生成部44、特徴量算出部46、基礎画像記憶部48、基礎画像通信部50、撮像対象オブジェクト画像生成部52、撮像対象オブジェクト距離測定部54、情報処理実行部56(撮像対象オブジェクト配置算出部56a、視点データ変更部56b、及び、仮想空間表示部56c)を含むものとして機能する。
仮想空間データ記憶部40は、記憶部14を主として実現される。仮想空間データ記憶部40は、例えば、図3に示すような、仮想空間26における各仮想オブジェクト28の位置(例えば、座標値)を示す仮想オブジェクト位置データを記憶する。具体的には、例えば、仮想空間データ記憶部40は、図3に示すように、部屋に相当する部屋仮想オブジェクト28aの位置、球形のボール仮想オブジェクト28bの位置、及び、直方体形状のボックス仮想オブジェクト28cの位置、を示す仮想オブジェクト位置データ(例えば、各頂点の3次元座標値や、球の中心の3次元座標値及び半径の長さなど)を記憶している。図3に示すように、この仮想空間26では、部屋に相当する箱型の部屋仮想オブジェクト28aの内部に、球形のボール仮想オブジェクト28bと直方体形状のボックス仮想オブジェクト28cが配置されている。そして、ボール仮想オブジェクト28bは部屋仮想オブジェクト28aの下面上に配置されており、ボックス仮想オブジェクト28cは部屋仮想オブジェクト28aの上面に接触して配置されている。
視点データ記憶部42は、記憶部14を主として実現される。視点データ記憶部42は、例えば、図3に示すような、仮想空間26における視点30の位置(例えば、3次元座標値)を示す視点位置データと、この視点30の視線方向32を示す視線方向データと、を含む視点データを記憶する。
基礎画像生成部44は、撮像部20と制御部12と操作部18を主として実現される。基礎画像生成部44は、例えば、図7に示すような、プレイヤ34を示す画像(プレイヤ基礎画像60)などの基礎画像を生成する。
具体的には、例えば、基礎画像生成部44は、所定時間ごとに、順次、画像を生成して、生成された画像を、枠画像62とともに表示部16に順次表示するよう制御する。このとき、プレイヤ34は、自分の顔の画像(顔画像64)が、枠画像62の中に入るように、携帯型ゲーム装置1を移動させる。このとき、プレイヤ34自身が移動しても、もちろん構わない。ここで、プレイヤ34が、操作部18を操作(例えば、ボタンを押下)すると、基礎画像生成部44が、表示部16の枠画像62内に表示されている画像をプレイヤ基礎画像60として、後述する基礎画像記憶部48に記憶する。
なお、プレイヤ34が、操作部18を操作することによって、図7に示す、表示部16に表示される枠画像62の位置や大きさを変更できるようにしても構わない。
また、基礎画像生成部44が、距離測定部22が撮像部によって撮像される画像に対応する外部オブジェクトと、携帯型ゲーム装置1との距離を測定して、所定の距離より短い測定距離に対応付けられる画素について、その画像を表示するよう表示部16を制御してもよい。また、表示部16が画像を表示する際に、基礎画像生成部44が、距離測定部22によって測定される距離に応じた映像効果を付与するよう表示部16を制御するようにしてもよい。具体的には、例えば、基礎画像生成部44は、表示部16が画像を表示する際に、水に顔をつけるような映像効果や暗闇から顔が浮き出てくるような映像効果を付与するよう表示部16を制御してもよい。
また、携帯型ゲーム装置1が、フラッシュやライトを備えている場合に、基礎画像生成部44は、画像を生成する際に、フラッシュやライトを照らすようにしてもよい。こうすることで、暗い状況下でも、基礎画像生成部44は基礎画像を生成することができる。
特徴量算出部46は、制御部12を主として実現される。特徴量算出部46は、公知のパターン認識技術などの画像処理技術などを用いて、図7に示すプレイヤ基礎画像60に基づいて、プレイヤ34の特徴を示す特徴量を算出する。ここで、特徴量としては、具体的には、例えば、顔画像64、肌の色(RGB値やHSV値)、唇の位置や大きさや色(RGB値やHSV値)、目の位置や大きさや間隔、鼻の位置や大きさや高さ、眉毛の位置や高さや幅や色(RGB値やHSV値)、髪型、髪の色などが挙げられる。
なお、特徴量算出部46は、後述する撮像対象オブジェクト画像からも特徴量を算出する。特徴量算出部46が、撮像対象オブジェクト画像から特徴量を算出する点については後述する。
基礎画像記憶部48は、記憶部14を主として実現される。基礎画像記憶部48は、基礎画像生成部44によって生成された基礎画像(本実施形態においては、プレイヤ基礎画像60)を記憶する。基礎画像記憶部48は、基礎画像と、特徴量算出部46がこの基礎画像から算出した特徴量とを関連付けて記憶してもよい。
また、基礎画像記憶部48は、1枚の画像を記憶するのではなく、複数の画像を関連付けて記憶するようにしてもよい。また、基礎画像記憶部48は、モーションポートレートのような合成画像を基礎画像として記憶するようにしてもよい。また、基礎画像記憶部48は、喜怒哀楽などの複数の表情のプレイヤ基礎画像60を記憶するようにしてもよい。具体的には、例えば、基礎画像記憶部48は、プレイヤ34が携帯型ゲーム装置1に対して正面を向いたときのプレイヤ基礎画像60だけではなく、上下左右を向いたときのプレイヤ基礎画像60を互いに関連付けて記憶するようにしてもよい。
また、基礎画像記憶部48は、複数の種類の外部オブジェクトについて、その外部オブジェクトの基礎画像を、その外部オブジェクトを識別するオブジェクト識別子と関連付けて記憶するようにしても構わない。具体的には、例えば、基礎画像記憶部48は、複数のプレイヤ34について、そのプレイヤ34のプレイヤ基礎画像60を、そのプレイヤ34のIDや名前などと関連付けて記憶するようにしても構わない。
また、基礎画像記憶部48は、距離測定部22によって測定した距離を示すデータを、基礎画像内の各画素と関連付けて記憶するようにしても構わない。
基礎画像通信部50は、制御部12と通信部24とを主として実現される。基礎画像通信部50は、基礎画像記憶部48に記憶された基礎画像を、通信部24を経由してインターネット上のサーバ(図示せず)に送信し、このサーバが備える記憶装置に記憶するようにしても構わない。また、基礎画像通信部50が、サーバに送信される基礎画像を、公開するか否かを示す公開可否情報を、通信部24を経由してサーバに送信するようにしても構わない。
また、サーバが、蓄積された基礎画像のそれぞれに関連付けられた特徴量を平均することなどによって、平均基礎画像(例えば、平均顔画像)を生成するようにしてもよい。また、公開されるよう設定された基礎画像や、平均基礎画像を、携帯型ゲーム装置1のプレイヤ34が、通信部24を介してダウンロードできるようにしても構わない。
撮像対象オブジェクト画像生成部52は、撮像部20を主として実現される。撮像対象オブジェクト画像生成部52は、撮像される対象となる撮像対象オブジェクトを撮像して、撮像対象オブジェクト画像を生成する。本実施形態では、具体的には、例えば、撮像対象オブジェクト画像生成部52は、図8に示すプレイヤ画像66を生成する。なお、プレイヤ画像66には、図8に示すように、複数のプレイヤ34の顔画像64(第1プレイヤ34−1の第1顔画像64−1、及び、第2プレイヤ34−2の第2顔画像64−2)が含まれていても構わない。もちろん、撮像対象オブジェクト画像生成部52が生成する画像は、プレイヤ画像66に限定されない。また、撮像対象オブジェクト画像生成部52は、順次、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成しても構わない。
なお、携帯型ゲーム装置1が、フラッシュやライトを備えている場合に、撮像対象オブジェクト画像生成部52は、画像を生成する際に、フラッシュやライトを照らすようにしてもよい。こうすることで、暗い状況下でも、撮像対象オブジェクト画像生成部52は撮像対象オブジェクト画像を生成することができ、特徴量算出部46は、特徴量を撮像対象オブジェクト画像から算出することができる。
そして、上述の特徴量算出部46が、公知のパターン認識技術などの画像処理技術などを用いて、撮像対象オブジェクト画像生成部52によって生成された撮像対象オブジェクト画像(例えば、プレイヤ画像66)に基づいて、上述のような特徴量を算出する。
特徴量算出部46は、このとき、基礎画像記憶部48に記憶されている基礎画像(例えば、プレイヤ基礎画像60)と撮像対象オブジェクト画像(例えば、プレイヤ画像66)とを照合することによって、特徴量を算出するようにしてもよい。具体的には、例えば、図8に示すように、撮像対象オブジェクト画像生成部52によって生成されたプレイヤ画像66に、複数のプレイヤ34の画像が含まれている場合において、特徴量算出部46が、このプレイヤ画像66と、特定のプレイヤ34(ここでは、第1プレイヤ34−1)のIDなどの識別子と関連付けられているプレイヤ基礎画像60とを照合して、公知のパターン認識技術などを用いて、プレイヤ画像66から、特定のプレイヤ34の顔画像64(ここでは、第1顔画像64−1)を算出するようにしてもよい。
撮像対象オブジェクト距離測定部54は、距離測定部22を主として実現される。撮像対象オブジェクト距離測定部54は、上述の撮像対象オブジェクトと携帯型ゲーム装置1との距離を測定する。本実施形態においては、具体的には、例えば、プレイヤ34(より具体的には、例えば、プレイヤ34の表面)と携帯型ゲーム装置1との距離(プレイヤ距離)を測定する。なお、撮像対象オブジェクト距離測定部54が、撮像対象オブジェクトと携帯型ゲーム装置1との距離を順次測定するようにしても構わない。撮像対象オブジェクト距離測定部54は、撮像対象オブジェクト画像(例えば、プレイヤ画像66)に含まれる各画素に、その画素に対応する、撮像対象オブジェクト(例えば、プレイヤ34)上の点についてのプレイヤ距離を対応付ける。
情報処理実行部56は、制御部12と表示部16を主として実現される。情報処理実行部56は、撮像対象オブジェクト画像(例えば、プレイヤ画像66)、及び、撮像対象オブジェクト距離測定部54により測定される距離に基づく情報処理を実行する。具体的には、例えば、情報処理実行部56は、撮像対象オブジェクト距離測定部54により測定される距離に基づく画像を表示部16に表示する情報処理を実行する。そして、本実施形態においては、情報処理実行部56は、撮像対象オブジェクト配置算出部56a、視点データ変更部56b、及び、仮想空間表示部56cを含んでいる。
撮像対象オブジェクト配置算出部56aは、撮像対象オブジェクト画像(例えば、プレイヤ画像66)と、撮像対象オブジェクト距離測定部54によって測定される距離(例えば、プレイヤ距離)とに基づいて、撮像対象オブジェクト(例えば、プレイヤ34)の実空間における配置を算出する。ここで、撮像対象オブジェクト配置算出部56aは、特徴量算出部46によって撮像対象オブジェクト画像(例えば、プレイヤ画像66)に基づいて算出された特徴量を用いて、撮像対象オブジェクト(例えば、プレイヤ34)の実空間における配置を算出してもよい。なお、撮像対象オブジェクト配置算出部56aは、撮像対象オブジェクトの実空間における配置を順次算出するようにしても構わない。撮像対象オブジェクト配置算出部56aは、具体的には、例えば、プレイヤ34の顔の実空間における、携帯型ゲーム装置1に対する相対的な座標値(例えば、3次元座標値)及び、携帯型ゲーム装置1に対する向き(例えば、x軸方向の回転量、y軸方向の回転量、及び、z軸方向の回転量)を算出する。
視点データ変更部56bは、撮像対象オブジェクト距離測定部54により測定された距離に基づいて、視点データ記憶部42に記憶されている視点データを変更する。撮像対象オブジェクト距離測定部54が、撮像対象オブジェクトと携帯型ゲーム装置1との距離を順次測定している場合に、視点データ変更部が、その距離の変化に応じて仮想空間26における視点30の位置を示す視点データを変更するようにしても構わない。
ここで、視点データ変更部56bは、撮像対象オブジェクト画像(例えば、プレイヤ画像66)の変化に応じて、仮想空間26における視点30の位置又は向き(視線方向32)の少なくとも一方を変更するようにしても構わない。すなわち、視点データ変更部56bは、撮像対象オブジェクト画像(例えば、プレイヤ画像66)の変化に応じて、視点データ記憶部42に記憶されている、視点位置データと視線方向データの少なくとも一方を変更するようにしても構わない。
本実施形態では、視点データ変更部56bは、撮像対象オブジェクト配置算出部56aによって算出された、撮像対象オブジェクト(例えば、プレイヤ34)の実空間における配置に基づいて、視点データ記憶部42に記憶されている視点データを変更する。具体的には、例えば、視点データ変更部56bは、プレイヤ34の顔の実空間における、携帯型ゲーム装置1に対する相対的な座標値(例えば、3次元座標値)や、携帯型ゲーム装置1に対する向き(例えば、x軸方向の回転量、y軸方向の回転量、及び、z軸方向の回転量)に基づいて、視点データ記憶部42に記憶されている視点データを変更する。
また、撮像対象オブジェクト配置算出部56aによって、撮像対象オブジェクトが携帯型ゲーム装置1に対して近く(あるいは、遠く)に配置されていることが算出された際には、視点データ変更部56bは、仮想空間26内の視点30を前側(あるいは、後側)に変更すればよい。また、撮像対象オブジェクト配置算出部56aによって、撮像対象オブジェクトが携帯型ゲーム装置1に対して近づいている(あるいは、遠ざかっている)ことが算出された際には、視点データ変更部56bは、仮想空間26内の視点30を前進(あるいは、後退)させればよい。
また、撮像対象オブジェクト配置算出部56aによって、撮像対象オブジェクトが携帯型ゲーム装置1に対して相対的に右側(あるいは、左側)に配置されていることが算出された際には、視点データ変更部56bは、仮想空間26内の視点30を右側(あるいは、左側)に変更すればよい。
また、撮像対象オブジェクト配置算出部56aによって、撮像対象オブジェクトが携帯型ゲーム装置1に対して相対的に右側(あるいは、左側)に移動していることが算出された際には、視点データ変更部56bは、仮想空間26内の視点30を右側(あるいは、左側)に移動させればよい。
また、撮像対象オブジェクト配置算出部56aによって、撮像対象オブジェクトが携帯型ゲーム装置1に対して相対的に反時計回り(あるいは、時計回り)に回転していることが算出された際には、視点データ変更部56bは、仮想空間26内の視点30の視線方向32を反時計回り(あるいは、時計回り)に回転させればよい。
仮想空間表示部56cは、図3に示す仮想空間26の画像を、仮想空間26に配置された視点30の位置に従って生成して、生成された仮想空間26の画像を表示する。具体的には、例えば、仮想空間26について、視点データ変更部56bにより変更された視点データに含まれる視点位置データが示す視点30の位置から、視点データに含まれる視線方向データが示す視線方向32を見た様子を示す画像を表示する。
なお、情報処理実行部56で実行される情報処理は、撮像対象オブジェクト配置算出部56a、視点データ変更部56b、及び、仮想空間表示部56cによって実行される情報処理に限定されない。情報処理実行部56は、例えば、距離測定部22が撮像対象オブジェクトと携帯型ゲーム装置1の距離を順次測定し、この測定された距離の変化に応じて、制御部12で実行する処理の内容を変更する処理を実行しても構わない。また、情報処理実行部56が実行する情報処理は、表示部16に情報を表示する情報処理にも限定されない。
次に、所定のプレイヤ34のプレイヤ基礎画像60と、そのプレイヤ基礎画像60から抽出されたプレイヤ34の顔画像64とが関連付けられて、基礎画像記憶部48に記憶されている場合において、このプレイヤ34が携帯型ゲーム装置1の前に存在する際に、このプレイヤ34の顔の位置及び向きに応じた仮想空間26の画像を表示する処理の流れの一例を、図9に示すフロー図を参照しながら説明する。なお、このとき、記憶部14には、図3に示す仮想空間26における各仮想オブジェクト28の位置(例えば、座標値)を示す仮想オブジェクト位置データが記憶されている。また、視点データ記憶部42には、仮想空間26における視点30の位置(例えば、座標値)を示す視点位置データと、この視点30の視線方向32を示す視線方向データと、を含む視点データが記憶されている。なお、この処理例においては、撮像部20は、可変フレームレートのハイフレームレートカメラである。
まず、撮像対象オブジェクト画像生成部52が、このプレイヤ34のプレイヤ画像66を生成する(S101)。
そして、特徴量算出部46が、プレイヤ画像66と、このプレイヤ34のプレイヤ基礎画像60とを照合することで、このプレイヤ34の顔、両目、鼻、及び、口の画像を算出する(S102)。
そして、特徴量算出部46が、このプレイヤ34の両目間、目と鼻、鼻と口のうちの少なくとも1つのプレイヤ画像66における長さを算出する(S103)。
そして、撮像対象オブジェクト距離測定部54が、プレイヤ34の両目、鼻、及び、口と携帯型ゲーム装置1との距離(プレイヤ距離)を測定して、プレイヤ画像66に含まれる各画素と対応付ける(S104)。
そして、撮像対象オブジェクト配置算出部56aが、プレイヤ画像66とプレイヤ距離とに基づいて、このプレイヤ34の実空間における配置を算出する(S105)。具体的には、プレイヤ34の顔のx軸方向、y軸方向、z軸方向それぞれについての携帯型ゲーム装置1に対する相対的な回転量、及び、プレイヤ34の顔の携帯型ゲーム装置1に対する相対的な座標値を算出する。
そして、視点データ変更部56bが、S105に示す処理において算出される3次元座標値から定まる、このプレイヤ34の顔の位置及び向きに基づいて、視点データ記憶部42に記憶されている、仮想空間26における視点30の位置を示す視点位置データと、視線方向32を示す視線方向データのうち少なくとも一方を変更する(S106)。
そして、仮想空間表示部56cが、仮想空間26において、S105に示す処理において変更される視点データに含まれる、視点位置データが示す視点30の位置から、視線方向データが示す視線方向32を見た様子を示す画像を表示する(S107)。なお、このとき、表示部16は、制御部12からの指示に基づく解像度やアスペクト比などの属性で画像を表示するようにしてもよい。
このようにして、各フレームについて、仮想空間26を見た様子を示す画像が液晶ディスプレイなどの表示部16に表示される。
上記の処理例の、S102及びS103に示す処理において、特徴量算出部46がプレイヤ34の顔、両目、鼻、及び、口の画像や、目と目、目と鼻、鼻と口のうちの少なくとも1つのプレイヤ画像66における長さといった特徴量を算出できない場合には、仮想空間表示部56cが、直前に液晶ディスプレイなどの表示部16に表示された画像から類推される画像を、液晶ディスプレイなどの表示部16に表示するようにしてもよい。
また、上記の場合に、S101〜S103に示す処理を、撮像部20のフレームレートを上げて再度実行するようにしてもよい。この場合において、S101〜S103に示す処理を、所定の回数だけ実行しても、プレイヤ画像66に基づいて特徴量を算出できない場合には、直前に液晶ディスプレイなどの表示部16に表示された画像を液晶ディスプレイなどの表示部16に表示するようにしてもよい。なお、このとき、記憶部14にエラーカウントデータを記憶するようにしておき、S101〜S103に示す処理を、所定の回数だけ実行しても、プレイヤ34に基づいて特徴量を算出できない場合に、制御部12が、エラーカウントデータの値を1増やすようにしてもよい。そして、プレイヤ画像66に基づいて特徴量を算出できない時間が所定の時間を超えたり、エラーカウントデータの値が所定値を超えたりした際に、制御部12が、エラーメッセージを表示部16に表示するようにしてもよい。なお、携帯型ゲーム装置1が内蔵振動子(バイブレータ)やスピーカやLEDを備えている場合には、プレイヤ画像66に基づいて特徴量を算出できない時間が所定の時間を超えたり、エラーカウントデータの値が所定値を超えたりした際に、制御部12が、バイブレータを振動させたり、携帯型ゲーム装置1が備えるスピーカから警告音を発生させたり、携帯型ゲーム装置1が備えるLEDを点滅させたりするようにしてもよい。
次に、上記実施形態を将棋ゲームに応用した例を以下に説明する。
図10に示すように、携帯型ゲーム装置1に対して、第1プレイヤ34−1と、第2プレイヤ34−2が向かい合って存在している。そして、携帯型ゲーム装置1の表示部16には、将棋盤画像68が表示されている。この将棋盤画像68は、上述の仮想空間26内の仮想オブジェクト28の一例である。
そして、第1プレイヤ34−1の手番の際には、第1プレイヤ34−1の顔の携帯型ゲーム装置1に対する相対的な位置及び向きに従って、制御部12は、将棋盤画像68を表示するよう表示部16を制御する。このようにすると、第2プレイヤ34−2からは、将棋盤画像68が見にくくなる。一方、第2のプレイヤ34−2の手番の際には、第2プレイヤ34−2の顔の携帯型ゲーム装置1に対する相対的な位置及び向きに従って、制御部12は、将棋盤画像68を表示するよう表示部16を制御する。このようにすると、第1プレイヤ34−1からは、将棋盤画像68が見にくくなる。
また、一人称視点シューティングゲーム(FPS)に本実施形態を応用しても構わない。具体的には、例えば、特徴量算出部46によって、プレイヤ34の顔の画像を算出することができない場合に、制御部12が、弾丸や攻撃をよけるようにしたり、弾丸を充填したりするゲーム処理を実行するようにしても構わない。
また、ゲームにおける認証処理において、本実施形態に係る携帯型ゲーム装置1を応用してもよい。具体的には、例えば、ゲームのタイトル画面が表示部16に表示されている際に、プレイヤ34が、携帯型ゲーム装置1の撮像部20に顔を近づけると、制御部12が、撮像対象オブジェクト画像生成部52が生成するプレイヤ画像66から特徴量算出部46が算出した特徴量に基づいて、顔を近づけているプレイヤ34を特定し、そのプレイヤ34の認証をするようにしても構わない。このとき、プレイヤ34の特定ができない場合には、制御部12が、このプレイヤ34を匿名プレイヤとして認証するようにしても構わない。このとき、携帯型ゲーム装置1において、プレイヤ基礎画像60の更新ができるようにしても構わない。携帯型ゲーム装置1の制御部12がさまざまな情報処理を開始する際に、このようなプレイヤ基礎画像60の更新機能を利用できるようにしても構わない。
本実施形態によれば、実世界の感覚に近い3次元の映像表現が可能となり、撮像部20から生成される画像の活用性を向上することができる。
次に、本発明の別の一実施形態について図面に基づき詳細に説明する。
本実施形態に係る携帯型ゲーム装置1のハードウェア構成は、図2に示すものと同様である。
図11Aは、本実施形態に係る携帯型ゲーム装置1の正面図である。図11Bは、本実施形態に係る携帯型ゲーム装置1の上側面図である。図11Cは、本実施形態に係る携帯型ゲーム装置1の背面図である。
図12A、図12B、図13A、及び、図13Bは、本実施形態に係る携帯型ゲーム装置1の撮像部20の構成の概要の一例を示す概要図である。図12A、図12B、図13A、及び、図13Bに示すように、本実施形態に係る携帯型ゲーム装置1の撮像部20は、光学系20a(前方光学系20a−1、後方光学系20a−2、及び、上方光学系20a−3)と、シャッター20b(前方シャッター20b−1、後方シャッター20b−2、及び、上方シャッター20b−3)と、反射部材20c(第1反射部材20c−1、及び、第2反射部材20c−2)と、撮像素子20dとを含んで構成される。
本実施形態においては、前方光学系20a−1は、携帯型ゲーム装置1の正面中央付近上側に設けられており、後方光学系20a−2は、携帯型ゲーム装置1の背面中央付近上側に設けられており、上方光学系20a−3は、携帯型ゲーム装置1の上側面中央より、やや左側に設けられている。それぞれの光学系20aは、1枚のレンズから構成されていても複数のレンズから構成されていても構わない。また、それぞれの光学系20aを構成するレンズの種類は問わず、例えば、標準レンズであっても、広角レンズであっても、望遠レンズであっても構わない。
本実施形態では、前方シャッター20b−1は前方光学系20a−1の内側に、後方シャッター20b−2は後方光学系20a−1の内側に、上方シャッター20b−3は上方光学系20a−3の内側に設けられている。なお、これらのシャッター20bが、光学系20aの外側に設けられていても構わない。
反射部材20cは、光を反射する部材であり、例えば、ミラーである。本実施形態において、反射部材20cは、板状であり、携帯型ゲーム装置1の内部に設けられている。
撮像素子20dは、例えば、CCDイメージセンサや、CMOSイメージセンサなどであり、反射部材20cにより反射される光を受けて画像(画像データ)を生成する。具体的には、撮像素子20dは、光を受けて光電変換により電気信号を生成し、この電気信号に基づいて画像(画像データ)を生成する。
そして、第1反射部材20c−1は、第1反射部材20c−1により形成される平面が鉛直方向となるように携帯型ゲーム装置1の内部の上方中央付近の内部に設けられている。第1反射部材20c−1は、前方光学系20a−1や後方光学系20a−2を透過する光を撮像素子20dへ向けて反射する各反射部材位置の間を移動可能に支持されている。本実施形態においては、第1反射部材20c−1は、鉛直方向の軸を中心として回動可能に支持されている。具体的には、例えば、鉛直方向の支持部材(図示せず)が、第1反射部材20c−1を貫通しており、この支持部材が第1反射部材20c−1を回動可能に支持している。
本実施形態では、第1反射部材20c−1は、前方光学系20a−1を透過する光を撮像素子20dへ向けて反射する前方反射部材位置(図12Aにおいて、第1反射部材20c−1が配置されている位置)と、後方光学系20a−2を透過する光を撮像素子20dへ向けて反射する後方反射部材位置(図12Bにおいて、第1反射部材20c−1が配置されている位置)との間を回動可能に支持されている。
そして、第1反射部材20c−1が、前方反射部材位置に移動されている際に、前方シャッター20b−1が開き、後方反射部材位置に移動されている際に、後方シャッター20b−2が開くようになっている。
また、携帯型ゲーム装置1が、例えば、アクチュエータなどの反射部材駆動部(図示せず)を備えており、この反射部材駆動部が、各反射部材位置の間を移動するよう第1反射部材20c−1を駆動するようにしてもよい。また、制御部12が、反射部材駆動部を駆動するようにしてもよい。このとき、反射部材駆動部は、撮像素子20dが光を受けて画像を生成するタイミングに、第1反射部材20c−1が、いずれかの反射部材位置に移動されているように、第1反射部材20c−1を駆動するようにしてもよい。
本実施形態においては、携帯型ゲーム装置1の制御部12が、反射部材20cとシャッター20bを動作させることで、所定のフレームレートで、撮像部20が撮像対象オブジェクトを撮像して、撮像対象オブジェクト画像を生成するようになっている。
図13Aは、上方シャッター20b−3が開いている状況で、撮像部20を上方から見た構造の概略を示している。また、図13Bは、上方シャッター20b−3が開いている状況で、撮像部20を前方から見た構造の概略を示している。図13A及び図13Bに示すように、第2反射部材20c−2は、上方光学系20a−3を透過する光を撮像素子20dへ向けて反射するよう、第2反射部材20c−2の反射面が、水平方向に対して斜めに設けられており、携帯型ゲーム装置1の上方中央よりやや左側に設けられている。
次に、本実施形態において動画像を生成する処理の流れの一例を、図14に示すフロー図を参照しながら説明する。
まず、反射部材駆動部が第1反射部材20c−1を、前方反射部材位置に移動させる(S201)。
そして、制御部12が前方シャッター20b−1を開閉する(S202)。
すると、第1反射部材20c−1が、前方光学系20a−1及び前方シャッター20b−1を透過する光を撮像素子20dへ向けて反射して、撮像素子20dがこの光を受けて、画像を生成する(S203)(図12A参照)。
そして、反射部材駆動部が第1反射部材20c−1を、後方反射部材位置に移動させる(S204)。
そして、制御部12が後方シャッター20b−2を開閉する(S205)。
すると、第1反射部材20c−1が、後方光学系20a−2及び後方シャッター20b−2を透過する光を撮像素子20dへ向けて反射して、撮像素子20dがこの光を受けて、画像を生成する(S206)(図12B参照)。
そして、反射部材駆動部が第1反射部材20c−1を、第1反射部材20c−1の反射面が携帯型ゲーム装置1の長手方向と略平行となるよう移動させる(S207)。
そして、制御部12が上方シャッター20b−3を開閉する(S208)。
すると、第2反射部材20c−2が、上方光学系20a−3及び上方シャッター20b−3を透過する光を撮像素子20dへ向けて反射して、撮像素子20dがこの光を受けて、画像を生成する(S209)(図13A、及び、図13B参照)。
そして、S201〜S209の処理を繰り返した後で、制御部12が、S203の処理において生成された一連の画像を組み合わせて動画像を生成する。また、制御部12は、S206の処理において生成された一連の画像を組み合わせて別の動画像も生成する。また、制御部12は、S209の処理において生成された一連の画像を組み合わせて、さらに別の動画像も生成する。このようにして、本実施形態に係る携帯型ゲーム装置1は、異なる方向の撮像対象オブジェクトを撮像して撮像対象オブジェクト画像をまとめて生成することができるので、撮像部20から生成される画像の活用性を向上することができる。
そして、例えば、本実施形態に係る携帯型ゲーム装置1が備える撮像部20のフレームレートが240fpsである場合、上記処理例に示す処理により、携帯型ゲーム装置1は、フレームレートが80fpsの3つの動画像(前方動画像、後方動画像、及び、上方動画像)をまとめて生成する。
なお、上記の処理例は、動画像を生成する処理の一例にすぎず、例えば、反射部材駆動部が、上記の規則以外の予め定められた規則に従って、各反射部材位置の間を移動するよう第1反射部材20c−1を駆動するようにすることで、本実施形態に係る携帯型ゲーム装置1は、さまざまな動画像を生成することができる。
具体的には、例えば、上記の処理例でS201〜S206に示す処理を繰り返すことによって、本実施形態に係る携帯型ゲーム装置1が備える撮像部20のフレームレートが240fpsである場合、携帯型ゲーム装置1はフレームレートが120fpsの2つの動画像(前方動画像、及び、後方動画像)をまとめて生成する。
また、S201〜S203に示す処理を2回繰り返し実行して、S204〜S206に示す処理を1回実行することを繰り返すことによって、本実施形態に係る携帯型ゲーム装置1が備える撮像部20のフレームレートが240fpsである場合、携帯型ゲーム装置1は、フレームレートが160fpsの動画像(前方動画像)と、フレームレートが80fpsの動画像(後方動画像)をまとめて生成する。
本発明はさまざまな応用例が考えられる。例えば、上述の実施形態に示した仮想空間表示処理と組み合わせて、拡張現実を表現した画像を表示することが考えられる。具体的には、例えば、まず、撮像部20が、後方光学系20a−2の方向に配置されたオブジェクト(例えば、図形や文字など)を撮像する。そして、制御部12が、撮像されたオブジェクトに基づいて、仮想オブジェクト28の位置を示す仮想オブジェクト位置データを生成する。そして、仮想空間データ記憶部40がその仮想オブジェクト位置データを記憶する。そして、撮像部20が、前方光学系20a−1の方向の撮像対象オブジェクトを撮像する。そして、視点データ変更部56bが、この撮像対象オブジェクトに基づいて、視点データ記憶部42に記憶されている視点データを変更する。そして、仮想空間表示部56cが、変更された視点30の位置に従って生成される仮想空間26の画像を液晶ディスプレイなどの表示部16に表示する。このようにして、拡張現実を表現した画像を表示することが考えられる。
あるいは、公知のパターン認識技術と組み合わせることで、さまざまな方向に移動する撮像対象オブジェクトを追従する動画像を容易に生成することができる。
このように、本実施形態によれば、複数の画像(動画像)をまとめて生成することができ、撮像部20から生成される画像の活用性を向上することができる。
なお、本発明の適用範囲は、上記実施形態に限定されるものではない。
具体的には、例えば、光学系20a、シャッター20b、反射部材20c、撮像素子20dの配置は上記実施形態に限定されず、撮像素子20dが反射部材20cにより反射される光を受けるようになっていればよい。
また、光学系20aやシャッター20bの数は上記実施形態に限定されず、例えば、図15に示すように、携帯型ゲーム装置1が4方向の光学系20a及びシャッター20bを備えていても構わない。こうすれば、携帯型ゲーム装置1は、4つの動画像をまとめて生成することができる。
また、携帯型ゲーム装置1が、物理的なシャッター20bを備えている必要はない。

Claims (10)

  1. 撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段と、
    前記撮像対象オブジェクトとの距離を測定する距離測定手段と、
    前記撮像対象オブジェクト画像、及び、前記距離測定手段により測定される距離に基づく情報処理を実行する情報処理実行手段と、
    を備えることを特徴とする携帯型ゲーム装置。
  2. 前記距離測定手段が、順次、前記距離を測定して、
    前記情報処理実行手段が、前記距離測定手段により測定される距離の変化に応じて、実行する情報処理の内容を変更する、
    ことを特徴とする請求項1に記載の携帯型ゲーム装置。
  3. 前記情報処理実行手段が、前記距離測定手段により測定される距離に基づく画像を表示手段に表示する、
    ことを特徴とする請求項1に記載の携帯型ゲーム装置。
  4. 前記距離測定手段が、順次、前記距離を測定して、
    前記情報処理実行手段が、
    仮想空間の画像を、当該仮想空間に配置された視点の位置に従って生成して、
    生成された前記仮想空間の画像を表示手段に表示して、
    前記距離測定手段により測定される距離の変化に応じて、前記仮想空間における前記視点の位置を変更する、
    ことを特徴とする請求項1に記載の携帯型ゲーム装置。
  5. 前記撮像手段が、順次、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成して、
    前記情報処理実行手段が、前記撮像手段により撮像される前記撮像対象オブジェクト画像の変化に応じて、前記仮想空間における前記視点の位置又は向きの少なくとも一方を変更する、
    ことを特徴とする請求項4に記載の携帯型ゲーム装置。
  6. 前記撮像手段と、前記距離測定手段とは、一体的に形成されている、
    ことを特徴とする請求項1に記載の携帯型ゲーム装置。
  7. 撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段を備え、
    前記撮像手段が、
    複数のレンズと、
    光を反射する反射部材と、
    前記反射部材により反射される光を受けて前記撮像対象オブジェクト画像を生成する撮像素子と、
    を有し、
    前記反射部材が、各前記レンズを透過する光を前記撮像素子へ向けて反射する反射部材位置の間を移動可能に支持されている、
    ことを特徴とする携帯型ゲーム装置。
  8. 予め定められた規則に従って、各前記反射部材位置の間を移動するよう前記反射部材を駆動する反射部材駆動手段、
    をさらに含むことを特徴とする請求項7に記載の携帯型ゲーム装置。
  9. 撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像ステップと、
    前記撮像対象オブジェクトとの距離を測定する距離測定ステップと、
    前記撮像対象オブジェクト画像、及び、前記距離測定手段により測定される前記距離に基づく情報処理を実行する情報処理実行ステップと、
    を含むことを特徴とする携帯型ゲーム装置の制御方法。
  10. 撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段を備え、前記撮像手段が、複数のレンズと、光を反射する反射部材と、前記反射部材により反射される光を受けて前記撮像対象オブジェクト画像を生成する撮像素子と、を有し、前記反射部材が、各前記レンズを透過する光を前記撮像素子へ向けて反射する反射部材位置の間を移動可能に支持されている、携帯型ゲーム装置において、
    予め定められた規則に従って、各前記反射部材位置の間を移動するよう前記反射部材を駆動する反射部材駆動ステップ、
    を含むことを特徴とする携帯型ゲーム装置の制御方法。
JP2010518999A 2008-06-30 2009-06-22 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法 Active JP5174908B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010518999A JP5174908B2 (ja) 2008-06-30 2009-06-22 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008171767 2008-06-30
JP2008171767 2008-06-30
PCT/JP2009/061324 WO2010001756A1 (ja) 2008-06-30 2009-06-22 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法
JP2010518999A JP5174908B2 (ja) 2008-06-30 2009-06-22 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法

Publications (2)

Publication Number Publication Date
JPWO2010001756A1 true JPWO2010001756A1 (ja) 2011-12-15
JP5174908B2 JP5174908B2 (ja) 2013-04-03

Family

ID=41465856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010518999A Active JP5174908B2 (ja) 2008-06-30 2009-06-22 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法

Country Status (5)

Country Link
US (1) US9662583B2 (ja)
EP (2) EP2305358B1 (ja)
JP (1) JP5174908B2 (ja)
CN (2) CN104353241B (ja)
WO (1) WO2010001756A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8315443B2 (en) * 2010-04-22 2012-11-20 Qualcomm Incorporated Viewpoint detector based on skin color area and face area
JP4971483B2 (ja) * 2010-05-14 2012-07-11 任天堂株式会社 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法
EP2395474A3 (en) 2010-06-11 2014-03-26 Nintendo Co., Ltd. Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method
JP5632693B2 (ja) * 2010-09-28 2014-11-26 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
US9507416B2 (en) * 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
JP5261520B2 (ja) * 2011-03-08 2013-08-14 株式会社コナミデジタルエンタテインメント ゲームシステム及び、それに用いる制御方法
JP5829040B2 (ja) 2011-04-11 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP5745340B2 (ja) * 2011-06-02 2015-07-08 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP5839220B2 (ja) 2011-07-28 2016-01-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5586545B2 (ja) * 2011-09-09 2014-09-10 任天堂株式会社 ゲームシステム、携帯型ゲーム装置、情報処理部の制御方法、および情報処理部の制御プログラム
JP6255706B2 (ja) 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
JP6314394B2 (ja) 2013-09-13 2018-04-25 富士通株式会社 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
JP6244954B2 (ja) 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6217437B2 (ja) * 2014-02-14 2017-10-25 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US9804667B2 (en) * 2015-02-10 2017-10-31 Nintendo Co., Ltd. Electronic apparatus
JP6528193B2 (ja) * 2015-02-10 2019-06-12 任天堂株式会社 電子機器
KR20190067738A (ko) * 2016-10-24 2019-06-17 스타아질리스 리미티드 올인원 모바일 게임 제어기
KR102494681B1 (ko) 2018-04-13 2023-02-02 삼성전자주식회사 회전 가능한 반사 부재를 갖는 카메라 어셈블리 및 이를 포함하는 전자 장치
US10902685B2 (en) * 2018-12-13 2021-01-26 John T. Daly Augmented reality remote authoring and social media platform and system

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4681415A (en) * 1985-11-01 1987-07-21 Rafael Beer Multiple image photography system
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 3次元仮想物体表示装置および方法
EP0837418A3 (en) 1996-10-18 2006-03-29 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
GB2326732B (en) * 1997-06-28 2000-06-28 Malcolm Bailey Three dimensional imaging
AU2211799A (en) * 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
US7023479B2 (en) * 2000-05-16 2006-04-04 Canon Kabushiki Kaisha Image input apparatus having addition and subtraction processing
JP2002084552A (ja) 2000-09-07 2002-03-22 Fuji Xerox Co Ltd カラオケ用立体画像表示装置およびカラオケ用立体画像表示方法
JP2002351603A (ja) * 2001-05-25 2002-12-06 Mitsubishi Electric Corp 携帯情報処理装置
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
JP4262017B2 (ja) * 2002-09-26 2009-05-13 キヤノン株式会社 画像生成装置及びその方法
JP2004274637A (ja) * 2003-03-12 2004-09-30 Nec Corp 携帯端末装置及びそれに用いるライト照度変更方法並びにそのプログラム
TWI231050B (en) * 2003-09-29 2005-04-11 Primax Electronics Ltd Moveable mirror module for an image capturing apparatus capable of taking multi angle pictures
JP3700857B2 (ja) * 2004-03-03 2005-09-28 コナミ株式会社 ゲームプログラム及びゲーム装置
US7671916B2 (en) 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
CN2731484Y (zh) * 2004-08-07 2005-10-05 鸿富锦精密工业(深圳)有限公司 数码相机模组
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
JP4559162B2 (ja) * 2004-08-30 2010-10-06 ソフトバンクモバイル株式会社 情報通信端末
JP4664690B2 (ja) * 2005-01-20 2011-04-06 パイオニア株式会社 立体表示装置及び立体表示方法
GB0505362D0 (en) * 2005-03-15 2005-04-20 Intelligent Earth Ltd Interface control
US20060223635A1 (en) * 2005-04-04 2006-10-05 Outland Research method and apparatus for an on-screen/off-screen first person gaming experience
JP2008033521A (ja) * 2006-07-27 2008-02-14 Namco Bandai Games Inc プログラム、情報記憶媒体、及び画像生成システム
US20080211771A1 (en) * 2007-03-02 2008-09-04 Naturalpoint, Inc. Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment
US20090002797A1 (en) * 2007-06-27 2009-01-01 Wah Yiu Kwong Multi-directional camera for a mobile device

Also Published As

Publication number Publication date
CN104353241B (zh) 2017-08-25
EP2457627A2 (en) 2012-05-30
EP2457627B1 (en) 2014-06-25
US20110159957A1 (en) 2011-06-30
JP5174908B2 (ja) 2013-04-03
EP2305358A1 (en) 2011-04-06
EP2305358A4 (en) 2011-08-03
WO2010001756A1 (ja) 2010-01-07
CN102076388A (zh) 2011-05-25
EP2305358B1 (en) 2019-01-02
EP2457627A3 (en) 2012-07-11
CN104353241A (zh) 2015-02-18
US9662583B2 (en) 2017-05-30
CN102076388B (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
JP5174908B2 (ja) 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法
JP6785282B2 (ja) アバタによる生放送方法及び装置
US9049428B2 (en) Image generation system, image generation method, and information storage medium
JP5483761B2 (ja) 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
WO2014002346A1 (ja) 映像処理装置、映像処理方法、および映像処理システム
JP2014238731A (ja) 画像処理装置、画像処理システム、および画像処理方法
JP7371264B2 (ja) 画像処理方法、電子機器及びコンピュータ可読記憶媒体
CN118334188A (zh) 动画合成装置、动画合成方法以及记录介质
JP5347802B2 (ja) 構図制御装置、撮像システム、構図制御方法、プログラム
WO2020110322A1 (ja) 動画合成装置、動画合成方法及び記録媒体
US11961194B2 (en) Non-uniform stereo rendering
JP6530453B2 (ja) ゲームプログラム及びゲームシステム
JP2011113206A (ja) 映像コミュニケーションシステム、及び映像コミュニケーション方法
JP2002300611A (ja) 画像生成装置、プログラム及び情報記憶媒体
JP2020087429A (ja) 動画合成装置、動画合成方法及び動画合成プログラム
CN107426522B (zh) 基于虚拟现实设备的视频方法和系统
Tsuchiya et al. An optical design for avatar-user co-axial viewpoint telepresence
JP6461322B2 (ja) 制御装置および表示装置
JP7241628B2 (ja) 動画合成装置、動画合成方法、および動画合成プログラム
WO2024106035A1 (ja) 撮像装置、撮像システム、及び撮像方法
CN110749993B (zh) 为智能移动设备增添新型图像功能的方法与装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120417

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121228

R150 Certificate of patent or registration of utility model

Ref document number: 5174908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250