WO2010001756A1 - 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法 - Google Patents

携帯型ゲーム装置及び携帯型ゲーム装置の制御方法 Download PDF

Info

Publication number
WO2010001756A1
WO2010001756A1 PCT/JP2009/061324 JP2009061324W WO2010001756A1 WO 2010001756 A1 WO2010001756 A1 WO 2010001756A1 JP 2009061324 W JP2009061324 W JP 2009061324W WO 2010001756 A1 WO2010001756 A1 WO 2010001756A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target object
imaging
unit
portable game
Prior art date
Application number
PCT/JP2009/061324
Other languages
English (en)
French (fr)
Inventor
智史 川口
彰彦 菅原
聡幸 廣井
浩二 景山
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to JP2010518999A priority Critical patent/JP5174908B2/ja
Priority to EP09773334.9A priority patent/EP2305358B1/en
Priority to CN200980125218.7A priority patent/CN102076388B/zh
Priority to US13/001,862 priority patent/US9662583B2/en
Publication of WO2010001756A1 publication Critical patent/WO2010001756A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player

Definitions

  • the present invention relates to a portable game device and a method for controlling the portable game device.
  • Portable game devices have become widespread and players can enjoy games at various places. Some of such portable game devices can be connected to imaging means such as a camera. In a portable game device that can be connected to a camera, it is possible to store an image of a person or the like imaged by the camera and perform information processing using the imaged image. Further, for example, a technique related to a three-dimensional virtual object display device that displays a three-dimensional virtual object as if it exists in the real world as disclosed in Patent Document 1 is known.
  • the conventional portable game device that can be connected to the imaging means, only a two-dimensional image obtained by projecting an imaging target object such as a person existing in front of the lens onto a two-dimensional projection plane can be generated. Therefore, depending on the game, the data obtained from the generated image is not sufficient, and it cannot be said that the image is fully utilized.
  • the present invention has been made in view of the above problems, and one of its purposes is a portable game device capable of improving the usability of an image generated from an imaging means and control of the portable game device. To provide a method.
  • a portable game device includes an imaging unit that captures an imaging target object to generate an imaging target object image, and a distance measurement unit that measures a distance from the imaging target object. And an information processing executing means for executing information processing based on the object image to be imaged and a distance measured by the distance measuring means.
  • control method of the portable game device includes an imaging step of imaging an imaging target object to generate an imaging target object image, a distance measuring step of measuring a distance from the imaging target object, and the imaging An information processing execution step for executing information processing based on the target object image and the distance measured by the distance measuring means.
  • the imaging target object image and the distance between the imaging target object and the portable game device can be used for information processing, it is possible to improve the usability of the image generated from the imaging means. it can.
  • the distance measurement unit sequentially measures the distance
  • the information processing execution unit executes the content of information processing to be executed according to a change in the distance measured by the distance measurement unit. It is characterized by changing. In this way, a change in the distance between the object to be imaged and the portable game device can be used for information processing.
  • the information processing execution unit displays an image based on the distance measured by the distance measurement unit on the display unit. In this way, the distance between the imaging target object and the portable game device can be used for the image display process.
  • the distance measurement unit sequentially measures the distance
  • the information processing execution unit generates an image of the virtual space according to the position of the viewpoint arranged in the virtual space. Then, the generated image of the virtual space is displayed on a display unit, and the position of the viewpoint in the virtual space is changed according to a change in the distance measured by the distance measuring unit. In this way, the change in the distance between the imaging target object and the portable game device can be used in the process of displaying the virtual space image generated according to the position of the viewpoint arranged in the virtual space.
  • the imaging unit sequentially captures an imaging target object to generate an imaging target object image
  • the information processing execution unit changes the imaging target object image captured by the imaging unit.
  • at least one of the position and orientation of the viewpoint in the virtual space may be changed.
  • the imaging unit and the distance measuring unit are integrally formed.
  • the portable game device includes an imaging unit that captures an imaging target object and generates an imaging target object image
  • the imaging unit includes a plurality of lenses, a reflective member that reflects light
  • An imaging element that receives the light reflected by the reflecting member to generate the imaging target object image
  • the reflecting member reflects the light that passes through each lens toward the imaging element. It is characterized by being supported so as to be movable between the two.
  • the present invention it is possible to capture the imaging target object images in different directions and collectively generate the imaging target object images, so that it is possible to improve the usability of the images generated from the imaging means.
  • One aspect of the present invention is characterized in that it further includes a reflecting member driving means for driving the reflecting member to move between the positions of the reflecting members in accordance with a predetermined rule.
  • a method for controlling a portable game device includes an imaging unit that images an imaging target object and generates an imaging target object image, the imaging unit including a plurality of lenses, a reflecting member that reflects light, An imaging element that receives the light reflected by the reflecting member and generates the imaging target object image, and the reflecting member reflects the light transmitted through each lens toward the imaging element.
  • a method for controlling a portable game device that is movably supported between positions, wherein the reflecting member is driven to move between the reflecting member positions in accordance with a predetermined rule. Including steps.
  • It is a hardware block diagram which shows an example of the hardware configuration of the portable game device which concerns on one Embodiment of this invention.
  • FIG. 1 It is a figure which shows a mode that the image of virtual space is displayed on a display part.
  • FIG. 1 is a perspective view showing an example of a portable game apparatus 1 according to the present embodiment.
  • FIG. 2 is a hardware configuration diagram illustrating an example of a hardware configuration of the portable game apparatus 1 illustrated in FIG. 1.
  • casing 10 of the portable game device 1 which concerns on this embodiment is a box shape.
  • the portable game apparatus 1 according to the present embodiment includes a control unit 12, a storage unit 14, a display unit 16, an operation unit 18, an imaging unit 20, a distance measurement unit 22, and a communication unit 24.
  • the control unit 12 is a program control device such as a CPU, and operates according to a program (for example, a game program) stored in the storage unit 14.
  • a program for example, a game program
  • the storage unit 14 is a storage element such as a RAM or a hard disk.
  • the storage unit 14 stores a program executed by the control unit 12. Specifically, for example, a game program executed by the control unit 12 is stored. This game program is supplied to the portable game device 1 via an information transmission medium such as a disc, CD-ROM, DVD-ROM, or via a communication network such as the Internet.
  • the storage unit 14 also operates as a work memory for the control unit 12.
  • the display unit 16 is a liquid crystal display, for example, and displays an image in accordance with an instruction from the control unit 12.
  • the display unit 16 is provided in the front center portion of the housing 10 of the portable game apparatus 1.
  • the control unit 12 may instruct the display unit 16 together with attributes such as the resolution and aspect ratio of the displayed image.
  • the control unit 12 may instruct the attribute of the image displayed on the display unit 16 according to the content of the attribute information indicating the attribute such as the resolution and aspect ratio of the image included in the program to be executed.
  • the operation unit 18 is, for example, an operation member (specifically, for example, a cross key or a button), and outputs output data corresponding to an operation on the operation member to the control unit 12.
  • the control unit 12 acquires the output data, and executes processing corresponding to the operation of the player on the operation member by using the output data.
  • the operation unit 18 is provided on the left and right of the display unit 16 of the portable game apparatus 1. That is, the operation unit 18 is arranged separately on the front left side and the front right side of the housing 10 of the portable game apparatus 1.
  • the imaging unit 20 includes, for example, a known digital camera, and generates a black and white, grayscale, or color image (for example, an image in JPEG format) every predetermined time (for example, 1/60 seconds).
  • the imaging unit 20 may be a standard camera, a telephoto camera, or a wide-angle camera.
  • the imaging unit 20 is provided on the upper side of the display unit 16. That is, the imaging unit 20 is provided on the upper side near the front center of the housing 10.
  • the distance measuring unit 22 measures the distance between the portable game device 1 and an external object existing outside thereof.
  • the distance measuring unit 22 is formed by, for example, the distance between the plane formed by the front of the portable game device 1 and the external object (more specifically, for example, from the external object by the front of the portable game device 1). Measure the length of the perpendicular line down the plane. Then, the distance measurement unit 22 associates each pixel included in the image generated by the imaging unit 20 with the distance between the point on the external object corresponding to the pixel and the portable game device 1.
  • the distance measuring unit 22 is, for example, a stereo camera including a plurality of lenses, and measures the distance between the external object and the portable game apparatus 1 based on the parallax of each lens.
  • the distance measuring unit 22 is not limited to a stereo camera, and the distance measuring unit 22 outputs infrared rays, measures the time until the infrared rays are reflected back to the object to be imaged, and measures the time.
  • the distance between the external object and the portable game apparatus 1 may be measured based on the set time.
  • the distance measuring unit 22 includes a plurality of lenses having different focal lengths, and the distance between the external object and the portable game device 1 is based on a lens that is in focus with respect to the external object. May be measured.
  • the distance measurement unit 22 is formed integrally with the imaging unit 20 and is provided on the upper side of the display unit 16. That is, the distance measuring unit 22 is provided on the upper side near the front center.
  • the communication unit 24 is, for example, a network interface (specifically, for example, a wireless LAN module). In accordance with an instruction input from the control unit 12, another portable game device 1 or a server on the Internet (see FIG. Information is sent to (not shown). The communication unit 24 outputs received information to the control unit 12.
  • the portable game apparatus 1 is positioned in the position of each virtual object 28, the position of the viewpoint 30, and the line-of-sight direction 32 in the virtual space 26 (a virtual three-dimensional space in the present embodiment) shown in FIG. Based on FIG. 4A to FIG. 4C and FIG. 5A to FIG. 5C, an image corresponding to the position and orientation of the face of the player 34 in front of the portable game apparatus 1 is generated, and the generated image is displayed.
  • the virtual space display process to be executed is executed.
  • the viewpoint 30 in the virtual space 26 moves forward, and an image of the virtual space 26 as shown in FIG. 4B is displayed on the display unit 16 such as a liquid crystal display. Is displayed.
  • the viewpoint 30 in the virtual space 26 retreats, and an image of the virtual space 26 as shown in FIG.
  • the viewpoint 30 and the line-of-sight direction 32 in the virtual space 26 rotate counterclockwise, as shown in FIG. 5B.
  • Such an image of the virtual space 26 is displayed on the display unit 16.
  • the viewpoint 30 and the line-of-sight direction 32 in the virtual space 26 rotate clockwise, and the virtual as shown in FIG. 5C.
  • An image of the space 26 is displayed on the display unit 16.
  • FIG. 6 is a functional block diagram of the portable game device 1 according to this embodiment of the present invention.
  • the portable game device 1 functionally includes a virtual space data storage unit 40, a viewpoint data storage unit 42, a basic image generation unit 44, a feature amount calculation unit 46, a basic unit.
  • the virtual space data storage unit 40 is realized mainly by the storage unit 14.
  • the virtual space data storage unit 40 stores virtual object position data indicating the position (for example, coordinate value) of each virtual object 28 in the virtual space 26 as shown in FIG. 3, for example.
  • the virtual space data storage unit 40 includes a position of a room virtual object 28a corresponding to a room, a position of a spherical ball virtual object 28b, and a box virtual object having a rectangular parallelepiped shape.
  • Virtual object position data (for example, the three-dimensional coordinate value of each vertex, the three-dimensional coordinate value of the center of the sphere, and the length of the radius) indicating the position 28c is stored. As shown in FIG.
  • a spherical ball virtual object 28b and a rectangular box virtual object 28c are arranged inside a box-shaped room virtual object 28a corresponding to a room.
  • the ball virtual object 28b is disposed on the lower surface of the room virtual object 28a, and the box virtual object 28c is disposed in contact with the upper surface of the room virtual object 28a.
  • the viewpoint data storage unit 42 is realized mainly by the storage unit 14.
  • the viewpoint data storage unit 42 includes, for example, viewpoint position data indicating the position of the viewpoint 30 (for example, a three-dimensional coordinate value) in the virtual space 26 and a line-of-sight direction indicating the line-of-sight direction 32 of the viewpoint 30 as illustrated in FIG. And viewpoint data including the data.
  • the basic image generation unit 44 is realized mainly by the imaging unit 20, the control unit 12, and the operation unit 18.
  • the basic image generation unit 44 generates a basic image such as an image showing the player 34 (player basic image 60) as shown in FIG.
  • the basic image generation unit 44 controls to sequentially generate images at predetermined time intervals and display the generated images on the display unit 16 together with the frame image 62.
  • the player 34 moves the portable game apparatus 1 so that the image of his / her face (face image 64) enters the frame image 62.
  • face image 64 face image 64
  • the basic image generation unit 44 uses the image displayed in the frame image 62 of the display unit 16 as a player basic image 60 to be described later. To be stored in the basic image storage unit 48.
  • the player 34 may change the position and size of the frame image 62 displayed on the display unit 16 shown in FIG. 7 by operating the operation unit 18.
  • the basic image generation unit 44 measures the distance between the external object corresponding to the image captured by the distance measurement unit 22 by the imaging unit and the portable game device 1 and corresponds to a measurement distance shorter than a predetermined distance.
  • the display unit 16 may be controlled to display the image of the attached pixel. Further, when the display unit 16 displays an image, the basic image generation unit 44 may control the display unit 16 so as to give a video effect according to the distance measured by the distance measurement unit 22. Specifically, for example, when the display unit 16 displays an image, the basic image generation unit 44 gives a video effect such as putting a face on water or a video effect such that a face emerges from darkness.
  • the display unit 16 may be controlled.
  • the basic image generation unit 44 may illuminate the flash or the light when generating the image. By doing so, the basic image generation unit 44 can generate a basic image even in a dark situation.
  • the feature amount calculation unit 46 is realized mainly by the control unit 12.
  • the feature amount calculation unit 46 calculates a feature amount indicating the feature of the player 34 based on the player basic image 60 shown in FIG. 7 using an image processing technique such as a known pattern recognition technique.
  • the feature amount specifically, for example, the face image 64, skin color (RGB value or HSV value), lip position, size or color (RGB value or HSV value), eye position or size, for example. Examples include sheath distance, nose position, size and height, eyebrow position, height, width and color (RGB value and HSV value), hairstyle, hair color, and the like.
  • the feature amount calculation unit 46 also calculates a feature amount from an imaging target object image to be described later. The point that the feature amount calculation unit 46 calculates the feature amount from the imaging target object image will be described later.
  • the basic image storage unit 48 is realized mainly by the storage unit 14.
  • the basic image storage unit 48 stores the basic image generated by the basic image generation unit 44 (player basic image 60 in the present embodiment).
  • the basic image storage unit 48 may store the basic image and the feature amount calculated from the basic image by the feature amount calculation unit 46 in association with each other.
  • the basic image storage unit 48 may store a plurality of images in association with each other instead of storing one image. Further, the basic image storage unit 48 may store a composite image such as a motion portrait as a basic image. The basic image storage unit 48 may store a player basic image 60 having a plurality of facial expressions such as emotions. Specifically, for example, the basic image storage unit 48 is not limited to the player basic image 60 when the player 34 faces the front of the portable game apparatus 1, but also the player basic image 60 when the player 34 faces up, down, left and right. May be stored in association with each other.
  • the basic image storage unit 48 may store the basic image of the external object in association with an object identifier for identifying the external object for a plurality of types of external objects. Specifically, for example, the basic image storage unit 48 may store the player basic image 60 of the player 34 in association with the ID and name of the player 34 for the plurality of players 34.
  • the basic image storage unit 48 may store data indicating the distance measured by the distance measuring unit 22 in association with each pixel in the basic image.
  • the basic image communication unit 50 is realized mainly by the control unit 12 and the communication unit 24.
  • the basic image communication unit 50 transmits the basic image stored in the basic image storage unit 48 to a server (not shown) on the Internet via the communication unit 24 and stores the basic image in a storage device included in the server. It doesn't matter. Further, the basic image communication unit 50 may transmit to the server via the communication unit 24 public availability information indicating whether or not to disclose the basic image transmitted to the server.
  • the server may generate an average basic image (for example, an average face image) by, for example, averaging feature amounts associated with each of the accumulated basic images.
  • the player 34 of the portable game apparatus 1 may be able to download the basic image set to be disclosed or the average basic image via the communication unit 24.
  • the imaging target object image generation unit 52 is realized mainly by the imaging unit 20.
  • the imaging target object image generation unit 52 captures an imaging target object to be imaged and generates an imaging target object image.
  • the imaging target object image generation unit 52 generates a player image 66 shown in FIG.
  • the player image 66 includes face images 64 of a plurality of players 34 (a first face image 64-1 of the first player 34-1 and a second image of the second player 34-2.
  • a face image 64-2) may be included.
  • the image generated by the imaging target object image generation unit 52 is not limited to the player image 66.
  • the imaging target object image generation unit 52 may sequentially generate imaging target object images by imaging the imaging target object.
  • the imaging target object image generation unit 52 may illuminate the flash or the light when generating an image. By doing so, the imaging target object image generation unit 52 can generate the imaging target object image even in a dark situation, and the feature amount calculation unit 46 can calculate the feature amount from the imaging target object image.
  • the feature amount calculation unit 46 described above is based on the imaging target object image (for example, the player image 66) generated by the imaging target object image generation unit 52 using an image processing technique such as a known pattern recognition technique. Thus, the feature amount as described above is calculated.
  • the feature amount calculation unit 46 collates the basic image (for example, the player basic image 60) stored in the basic image storage unit 48 with the imaging target object image (for example, the player image 66), thereby performing the feature.
  • the amount may be calculated.
  • the feature amount calculation unit 46 The player image 66 is checked against a player basic image 60 associated with an identifier such as an ID of a specific player 34 (here, the first player 34-1), and a known pattern recognition technique or the like is used.
  • the face image 64 of the specific player 34 here, the first face image 64-1) may be calculated from the player image 66.
  • the imaging target object distance measuring unit 54 is realized mainly by the distance measuring unit 22.
  • the imaging target object distance measuring unit 54 measures the distance between the above-described imaging target object and the portable game apparatus 1. In the present embodiment, specifically, for example, the distance (player distance) between the player 34 (more specifically, for example, the surface of the player 34) and the portable game apparatus 1 is measured. Note that the imaging target object distance measuring unit 54 may sequentially measure the distance between the imaging target object and the portable game apparatus 1.
  • the imaging target object distance measurement unit 54 sets, for each pixel included in the imaging target object image (for example, the player image 66), the player distance for a point on the imaging target object (for example, the player 34) corresponding to the pixel. Associate.
  • the information processing execution unit 56 is realized mainly by the control unit 12 and the display unit 16.
  • the information processing execution unit 56 executes information processing based on the imaging target object image (for example, the player image 66) and the distance measured by the imaging target object distance measurement unit 54.
  • the information processing execution unit 56 executes information processing for displaying an image based on the distance measured by the imaging target object distance measurement unit 54 on the display unit 16.
  • the information processing execution unit 56 includes an imaging target object arrangement calculation unit 56a, a viewpoint data change unit 56b, and a virtual space display unit 56c.
  • the imaging target object arrangement calculation unit 56a is configured to select an imaging target object (for example, a player distance) based on the imaging target object image (for example, the player image 66) and the distance (for example, the player distance) measured by the imaging target object distance measurement unit 54.
  • the arrangement of the player 34) in the real space is calculated.
  • the imaging target object arrangement calculation unit 56a uses the feature amount calculated by the feature amount calculation unit 46 based on the imaging target object image (for example, the player image 66), and uses the imaging target object (for example, the player 34). May be calculated in real space.
  • the imaging target object arrangement calculating unit 56a may sequentially calculate the arrangement of the imaging target objects in the real space.
  • the imaging target object arrangement calculation unit 56a is, for example, a relative coordinate value (for example, a three-dimensional coordinate value) with respect to the portable game device 1 in the real space of the face of the player 34, and a portable game device.
  • the direction with respect to 1 (for example, the amount of rotation in the x-axis direction, the amount of rotation in the y-axis direction, and the amount of rotation in the z-axis direction) is calculated.
  • the viewpoint data changing unit 56b changes the viewpoint data stored in the viewpoint data storage unit 42 based on the distance measured by the imaging target object distance measuring unit 54.
  • the viewpoint data change unit changes the viewpoint 30 in the virtual space 26 according to the change in the distance. You may make it change the viewpoint data which show a position.
  • the viewpoint data changing unit 56b changes at least one of the position or the direction (the line-of-sight direction 32) of the viewpoint 30 in the virtual space 26 according to the change of the imaging target object image (for example, the player image 66). It doesn't matter. That is, the viewpoint data changing unit 56b changes at least one of the viewpoint position data and the line-of-sight direction data stored in the viewpoint data storage unit 42 in accordance with a change in the imaging target object image (for example, the player image 66). It doesn't matter if you do.
  • the viewpoint data changing unit 56b is stored in the viewpoint data storage unit 42 based on the arrangement in the real space of the imaging target object (for example, the player 34) calculated by the imaging target object arrangement calculation unit 56a. Change the viewpoint data.
  • the viewpoint data changing unit 56b has a relative coordinate value (for example, a three-dimensional coordinate value) with respect to the portable game device 1 in the real space of the face of the player 34, or with respect to the portable game device 1.
  • the viewpoint data stored in the viewpoint data storage unit 42 is changed.
  • the viewpoint data changing unit 56b The viewpoint 30 in the virtual space 26 may be changed to the front side (or rear side).
  • the viewpoint data changing unit 56b The viewpoint 30 in the space 26 may be moved forward (or moved backward).
  • the viewpoint data change unit 56b should just change the viewpoint 30 in the virtual space 26 to the right side (or left side).
  • the viewpoint data change unit 56b should just move the viewpoint 30 in the virtual space 26 to the right side (or left side).
  • the imaging target object arrangement calculation unit 56a calculates that the imaging target object is rotating counterclockwise (or clockwise) relative to the portable game apparatus 1, the viewpoint The data changing unit 56b may rotate the line-of-sight direction 32 of the viewpoint 30 in the virtual space 26 counterclockwise (or clockwise).
  • the virtual space display unit 56c generates the image of the virtual space 26 shown in FIG. 3 according to the position of the viewpoint 30 arranged in the virtual space 26, and displays the generated image of the virtual space 26. Specifically, for example, for the virtual space 26, from the position of the viewpoint 30 indicated by the viewpoint position data included in the viewpoint data changed by the viewpoint data changing unit 56b, the line-of-sight direction 32 indicated by the line-of-sight direction data included in the viewpoint data. An image showing the appearance of viewing is displayed.
  • the information processing executed by the information processing execution unit 56 is not limited to the information processing executed by the imaging target object arrangement calculation unit 56a, the viewpoint data change unit 56b, and the virtual space display unit 56c.
  • the information processing execution unit 56 sequentially measures the distance between the imaging target object and the portable game device 1 by the distance measurement unit 22, and the content of processing executed by the control unit 12 according to the change in the measured distance. You may perform the process which changes.
  • the information processing executed by the information processing execution unit 56 is not limited to information processing for displaying information on the display unit 16.
  • the storage unit 14 stores virtual object position data indicating the position (for example, coordinate value) of each virtual object 28 in the virtual space 26 shown in FIG.
  • the viewpoint data storage unit 42 includes viewpoint data including viewpoint position data indicating the position (for example, coordinate value) of the viewpoint 30 in the virtual space 26 and line-of-sight direction data indicating the line-of-sight direction 32 of the viewpoint 30. It is remembered.
  • the imaging unit 20 is a high frame rate camera with a variable frame rate.
  • the imaging target object image generation unit 52 generates a player image 66 of the player 34 (S101).
  • the feature amount calculation unit 46 collates the player image 66 with the player basic image 60 of the player 34, thereby calculating the face, eyes, nose, and mouth images of the player 34 (S102). .
  • the feature amount calculation unit 46 calculates the length of at least one player image 66 among the eyes of the player 34, the eyes and nose, and the nose and mouth (S103).
  • the imaging target object distance measuring unit 54 measures the distances (player distance) between the player's 34 eyes, nose, and mouth and the portable game apparatus 1 and associates them with each pixel included in the player image 66 ( S104).
  • the imaging target object arrangement calculation unit 56a calculates the arrangement of the player 34 in the real space based on the player image 66 and the player distance (S105). Specifically, the amount of rotation relative to the portable game device 1 in each of the x-axis direction, the y-axis direction, and the z-axis direction of the face of the player 34 and the relative amount of the face of the player 34 to the portable game device 1. A coordinate value is calculated.
  • the viewpoint data changing unit 56b is stored in the viewpoint data storage unit 42 based on the position and orientation of the face of the player 34 determined from the three-dimensional coordinate values calculated in the process shown in S105. 26, at least one of viewpoint position data indicating the position of the viewpoint 30 and line-of-sight direction data indicating the line-of-sight direction 32 is changed (S106).
  • the virtual space display unit 56c views the line-of-sight direction 32 indicated by the line-of-sight direction data from the position of the viewpoint 30 indicated by the viewpoint position data included in the viewpoint data changed in the process shown in S105 in the virtual space 26.
  • An image showing the state is displayed (S107).
  • the display unit 16 may display an image with attributes such as a resolution and an aspect ratio based on an instruction from the control unit 12.
  • an image showing how the virtual space 26 is viewed for each frame is displayed on the display unit 16 such as a liquid crystal display.
  • the feature amount calculation unit 46 includes the images of the face, both eyes, nose, and mouth of the player 34, and the eyes and eyes, eyes and nose, nose and mouth.
  • the virtual space display unit 56c displays an image analogized from the image displayed on the display unit 16 such as the liquid crystal display immediately before, as a liquid crystal display or the like. You may make it display on the display part 16 of.
  • the processing shown in S101 to S103 may be executed again by increasing the frame rate of the imaging unit 20.
  • the image displayed on the display unit 16 such as a liquid crystal display immediately before is displayed. May be displayed on the display unit 16 such as a liquid crystal display.
  • the control unit 12 may increase the value of the error count data by 1.
  • the control unit 12 displays an error message on the display unit 16. You may make it do.
  • the portable game apparatus 1 includes a built-in vibrator (vibrator), a speaker, and an LED, a time during which the feature amount cannot be calculated based on the player image 66 exceeds a predetermined time, or the error count data
  • the control unit 12 vibrates the vibrator, generates a warning sound from a speaker included in the portable game apparatus 1, or blinks an LED included in the portable game apparatus 1. You may make it do.
  • a first player 34-1 and a second player 34-2 are facing each other with respect to the portable game apparatus 1.
  • a shogi board image 68 is displayed on the display unit 16 of the portable game apparatus 1.
  • the shogi board image 68 is an example of the virtual object 28 in the virtual space 26 described above.
  • the control unit 12 displays the shogi board image 68 according to the relative position and orientation of the face of the first player 34-1 with respect to the portable game device 1.
  • the display unit 16 is controlled to do so. This makes it difficult to see the shogi board image 68 from the second player 34-2.
  • the control unit 12 displays the shogi board image 68 according to the relative position and orientation of the face of the second player 34-2 with respect to the portable game device 1.
  • the display unit 16 is controlled to display. This makes it difficult for the first player 34-1 to see the shogi board image 68.
  • the present embodiment may be applied to a first person viewpoint shooting game (FPS).
  • FPS first person viewpoint shooting game
  • the control unit 12 avoids bullets or attacks, or fills bullets. You may make it perform a game process.
  • the portable game device 1 may be applied in the authentication process in the game. Specifically, for example, when the player 34 brings a face close to the imaging unit 20 of the portable game apparatus 1 while the game title screen is displayed on the display unit 16, the control unit 12 causes the imaging target object to be displayed. Based on the feature amount calculated by the feature amount calculation unit 46 from the player image 66 generated by the image generation unit 52, the player 34 whose face is approaching may be specified, and the player 34 may be authenticated. At this time, if the player 34 cannot be specified, the control unit 12 may authenticate the player 34 as an anonymous player. At this time, in the portable game apparatus 1, the player basic image 60 may be updated. Such an update function of the player basic image 60 may be used when the control unit 12 of the portable game apparatus 1 starts various information processing.
  • a three-dimensional video expression that is close to a real-world sensation is possible, and the usability of the image generated from the imaging unit 20 can be improved.
  • the hardware configuration of the portable game apparatus 1 according to the present embodiment is the same as that shown in FIG.
  • FIG. 11A is a front view of the portable game apparatus 1 according to the present embodiment.
  • FIG. 11B is a top side view of the portable game apparatus 1 according to the present embodiment.
  • FIG. 11C is a rear view of the portable game apparatus 1 according to the present embodiment.
  • FIG. 12A, FIG. 12B, FIG. 13A, and FIG. 13B are schematic diagrams illustrating an example of a schematic configuration of the imaging unit 20 of the portable game apparatus 1 according to the present embodiment.
  • the imaging unit 20 of the portable game device 1 according to the present embodiment includes an optical system 20a (a front optical system 20a-1, a rear optical system 20a- 2 and upper optical system 20a-3), shutter 20b (front shutter 20b-1, rear shutter 20b-2 and upper shutter 20b-3), and reflecting member 20c (first reflecting member 20c-1, And a second reflecting member 20c-2) and an image sensor 20d.
  • an optical system 20a a front optical system 20a-1, a rear optical system 20a- 2 and upper optical system 20a-3
  • shutter 20b front shutter 20b-1, rear shutter 20b-2 and upper shutter 20b-3
  • reflecting member 20c first reflecting member 20c-1, And a second reflecting member 20c-2
  • an image sensor 20d an image sensor 20d.
  • the front optical system 20a-1 is provided near the upper front center of the portable game apparatus 1
  • the rear optical system 20a-2 is provided near the upper rear center of the portable game apparatus 1.
  • the upper optical system 20a-3 is provided slightly to the left of the center of the upper surface of the portable game apparatus 1.
  • Each optical system 20a may be composed of one lens or a plurality of lenses.
  • the kind of lens which comprises each optical system 20a is not ask
  • the front shutter 20b-1 is inside the front optical system 20a-1
  • the rear shutter 20b-2 is inside the rear optical system 20a-1
  • the upper shutter 20b-3 is inside the upper optical system 20a-3. It is provided inside. Note that these shutters 20b may be provided outside the optical system 20a.
  • the reflection member 20c is a member that reflects light, for example, a mirror.
  • the reflection member 20 c has a plate shape and is provided inside the portable game apparatus 1.
  • the image sensor 20d is, for example, a CCD image sensor, a CMOS image sensor, or the like, and generates an image (image data) by receiving light reflected by the reflecting member 20c. Specifically, the image sensor 20d receives light, generates an electrical signal by photoelectric conversion, and generates an image (image data) based on the electrical signal.
  • the first reflecting member 20c-1 is provided in the vicinity of the upper center inside the portable game device 1 so that the plane formed by the first reflecting member 20c-1 is in the vertical direction.
  • the first reflecting member 20c-1 is supported so as to be movable between the reflecting member positions that reflect the light transmitted through the front optical system 20a-1 and the rear optical system 20a-2 toward the image sensor 20d.
  • the first reflecting member 20c-1 is supported so as to be rotatable about a vertical axis. Specifically, for example, a vertical support member (not shown) passes through the first reflection member 20c-1, and this support member rotatably supports the first reflection member 20c-1. ing.
  • the first reflecting member 20c-1 reflects the light that passes through the front optical system 20a-1 toward the image pickup device 20d (in FIG. 12A, the first reflecting member 20c-1 And a rear reflecting member position that reflects light transmitted through the rear optical system 20a-2 toward the image pickup device 20d (a position at which the first reflecting member 20c-1 is disposed in FIG. 12B). And is supported so as to be rotatable between the two.
  • the front shutter 20b-1 is opened when the first reflecting member 20c-1 is moved to the front reflecting member position
  • the rear shutter 20b-2 is opened when the first reflecting member 20c-1 is moved to the rear reflecting member position. It is like that.
  • the portable game device 1 includes, for example, a reflecting member driving unit (not shown) such as an actuator, and the first reflecting member 20c is moved so that the reflecting member driving unit moves between the positions of the reflecting members. -1 may be driven. Moreover, you may make it the control part 12 drive a reflection member drive part. At this time, the reflection member driving unit performs the first reflection so that the first reflection member 20c-1 is moved to one of the reflection member positions at the timing when the imaging element 20d receives light and generates an image. The member 20c-1 may be driven.
  • a reflecting member driving unit such as an actuator
  • control unit 12 of the portable game apparatus 1 operates the reflecting member 20c and the shutter 20b, so that the imaging unit 20 images the imaging target object at a predetermined frame rate, and the imaging target object An image is generated.
  • FIG. 13A schematically shows the structure of the imaging unit 20 as viewed from above in a state where the upper shutter 20b-3 is open.
  • FIG. 13B schematically shows the structure of the imaging unit 20 viewed from the front in a state where the upper shutter 20b-3 is open.
  • the second reflecting member 20c-2 reflects the light transmitted through the upper optical system 20a-3 toward the image pickup device 20d, so that the reflecting surface of the second reflecting member 20c-2 is reflected. Is provided obliquely with respect to the horizontal direction, and is provided slightly to the left of the upper center of the portable game apparatus 1.
  • the reflecting member driving unit moves the first reflecting member 20c-1 to the position of the front reflecting member (S201).
  • control unit 12 opens and closes the front shutter 20b-1 (S202).
  • the first reflecting member 20c-1 reflects the light transmitted through the front optical system 20a-1 and the front shutter 20b-1 toward the image sensor 20d, and the image sensor 20d receives this light to display an image.
  • Generate (S203) (see FIG. 12A).
  • the reflecting member driving unit moves the first reflecting member 20c-1 to the position of the rear reflecting member (S204).
  • control unit 12 opens and closes the rear shutter 20b-2 (S205).
  • the first reflecting member 20c-1 reflects the light transmitted through the rear optical system 20a-2 and the rear shutter 20b-2 toward the image sensor 20d, and the image sensor 20d receives this light to display an image.
  • Generate (S206) (see FIG. 12B).
  • the reflecting member driving unit moves the first reflecting member 20c-1 so that the reflecting surface of the first reflecting member 20c-1 is substantially parallel to the longitudinal direction of the portable game device 1 (S207).
  • control unit 12 opens and closes the upper shutter 20b-3 (S208).
  • the second reflecting member 20c-2 reflects the light transmitted through the upper optical system 20a-3 and the upper shutter 20b-3 toward the image pickup device 20d, and the image pickup device 20d receives this light to display an image.
  • Generate S209 (see FIGS. 13A and 13B).
  • the control unit 12 After repeating the processing of S201 to S209, the control unit 12 generates a moving image by combining the series of images generated in the processing of S203. Further, the control unit 12 generates another moving image by combining the series of images generated in the process of S206. In addition, the control unit 12 generates another moving image by combining the series of images generated in the process of S209.
  • the portable game device 1 since the portable game device 1 according to the present embodiment can capture the imaging target object images in different directions and collectively generate the imaging target object images, the image of the image generated from the imaging unit 20 can be generated. Usability can be improved.
  • the portable game device 1 when the frame rate of the imaging unit 20 included in the portable game device 1 according to the present embodiment is 240 fps, the portable game device 1 has three frame rates of 80 fps by the process shown in the above processing example.
  • a moving image (a forward moving image, a backward moving image, and an upward moving image) is generated collectively.
  • the above processing example is merely an example of processing for generating a moving image.
  • the reflecting member driving unit moves between the reflecting member positions in accordance with a predetermined rule other than the above rule.
  • the portable game apparatus 1 By driving the first reflecting member 20c-1, the portable game apparatus 1 according to the present embodiment can generate various moving images.
  • the portable game The apparatus 1 when the frame rate of the imaging unit 20 included in the portable game apparatus 1 according to the present embodiment is 240 fps by repeating the processes shown in S201 to S206 in the above processing example, the portable game The apparatus 1 generates two moving images (forward moving image and backward moving image) having a frame rate of 120 fps collectively.
  • the frame of the imaging unit 20 included in the portable game device 1 is also obtained.
  • the portable game apparatus 1 collectively generates a moving image (forward moving image) with a frame rate of 160 fps and a moving image (rear moving image) with a frame rate of 80 fps.
  • the present invention has various application examples. For example, it is conceivable to display an image representing augmented reality in combination with the virtual space display processing shown in the above-described embodiment. Specifically, for example, first, the imaging unit 20 images an object (for example, a figure or a character) arranged in the direction of the rear optical system 20a-2. Then, the control unit 12 generates virtual object position data indicating the position of the virtual object 28 based on the imaged object. Then, the virtual space data storage unit 40 stores the virtual object position data. Then, the imaging unit 20 images the imaging target object in the direction of the front optical system 20a-1. Then, the viewpoint data changing unit 56b changes the viewpoint data stored in the viewpoint data storage unit 42 based on the imaging target object. Then, the virtual space display unit 56c displays an image of the virtual space 26 generated according to the changed position of the viewpoint 30 on the display unit 16 such as a liquid crystal display. In this way, it is conceivable to display an image representing augmented reality.
  • the imaging unit 20 images an object (for example
  • a plurality of images (moving images) can be generated together, and the usability of the images generated from the imaging unit 20 can be improved.
  • the arrangement of the optical system 20a, the shutter 20b, the reflecting member 20c, and the imaging element 20d is not limited to the above embodiment, and the imaging element 20d receives light reflected by the reflecting member 20c. Just do it.
  • the number of optical systems 20a and shutters 20b is not limited to the above embodiment.
  • the portable game apparatus 1 may include four-direction optical systems 20a and shutters 20b. . In this way, the portable game apparatus 1 can generate four moving images together.
  • the portable game device 1 does not have to include the physical shutter 20b.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing Of Coins (AREA)

Abstract

　撮像手段から生成される画像の活用性を向上することができる携帯型ゲーム装置及び携帯型ゲーム装置の制御方法を提供する。撮像対象オブジェクト画像生成部（５２）は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する。撮像対象オブジェクト距離測定部（５４）は、撮像対象オブジェクトとの距離を測定する。情報処理実行部（５６）は、撮像対象オブジェクト画像、及び、撮像対象オブジェクト距離測定部（５４）により測定される距離に基づく情報処理を実行する。

Description

携帯型ゲーム装置及び携帯型ゲーム装置の制御方法
　本発明は、携帯型ゲーム装置及び携帯型ゲーム装置の制御方法に関する。
　携帯型ゲーム装置が普及し、プレイヤはさまざまな場所でゲームを楽しむことができる。このような携帯型ゲーム装置には、カメラなどの撮像手段と接続できるものが存在する。カメラと接続できる携帯型ゲーム装置では、カメラによって撮像される人物などの画像の蓄積や撮像される画像を用いた情報処理を行うことができる。また、例えば、特許文献１に開示されているような、３次元仮想物体をあたかも現実世界に存在するかのように表示させるようにした３次元仮想物体表示装置に関する技術が知られている。
特許第３５５８１０４号公報
　しかしながら、撮像手段と接続できる従来の携帯型ゲーム装置では、レンズの前に存在する人物などの撮像対象オブジェクトを二次元の投影面に投影した二次元画像しか生成することができなかった。そのため、ゲームによっては、生成される画像から得られるデータが充分ではなく、画像が充分活用されているとはいえなかった。
　本発明は、上記課題に鑑みてなされたものであって、その目的の一つは、撮像手段から生成される画像の活用性を向上することができる携帯型ゲーム装置及び携帯型ゲーム装置の制御方法を提供することにある。
　上記課題を解決するために、本発明に係る携帯型ゲーム装置は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段と、前記撮像対象オブジェクトとの距離を測定する距離測定手段と、前記撮像対象オブジェクト画像、及び、前記距離測定手段により測定される距離に基づく情報処理を実行する情報処理実行手段と、を備えることを特徴とする。
　また、本発明に係る携帯型ゲーム装置の制御方法は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像ステップと、前記撮像対象オブジェクトとの距離を測定する距離測定ステップと、前記撮像対象オブジェクト画像、及び、前記距離測定手段により測定される前記距離に基づく情報処理を実行する情報処理実行ステップと、を含むことを特徴とする。
　本発明によると、撮像対象オブジェクト画像と、撮像対象オブジェクトと携帯型ゲーム装置との距離と、を情報処理に活用することができるので、撮像手段から生成される画像の活用性を向上することができる。
　本発明の一態様では、前記距離測定手段が、順次、前記距離を測定して、前記情報処理実行手段が、前記距離測定手段により測定される距離の変化に応じて、実行する情報処理の内容を変更することを特徴とする。こうすれば、撮像対象オブジェクトと携帯型ゲーム装置との距離の変化を情報処理に活用することができる。
　また、本発明の一態様では、前記情報処理実行手段が、前記距離測定手段により測定される距離に基づく画像を表示手段に表示することを特徴とする。こうすれば、画像の表示処理に、撮像対象オブジェクトと携帯型ゲーム装置との距離を活用することができる。
　また、本発明の一態様では、前記距離測定手段が、順次、前記距離を測定して、前記情報処理実行手段が、仮想空間の画像を、当該仮想空間に配置された視点の位置に従って生成して、生成された前記仮想空間の画像を表示手段に表示して、前記距離測定手段により測定される距離の変化に応じて、前記仮想空間における前記視点の位置を変更することを特徴とする。こうすれば、仮想空間に配置された視点の位置に従って生成される仮想空間の画像を表示する処理に、撮像対象オブジェクトと携帯型ゲーム装置との距離の変化を活用することができる。
　また、この態様では、前記撮像手段が、順次、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成して、前記情報処理実行手段が、前記撮像手段により撮像される前記撮像対象オブジェクト画像の変化に応じて、前記仮想空間における前記視点の位置又は向きの少なくとも一方を変更するようにしてもよい。こうすれば、仮想空間に配置された視点の位置に従って生成される仮想空間の画像を表示する処理に、順次撮像される撮像対象オブジェクト画像の変化を活用することができる。
　また、本発明の一態様では、前記撮像手段と、前記距離測定手段とは、一体的に形成されていることを特徴とする。
　また、本発明に係る携帯型ゲーム装置は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段を備え、前記撮像手段が、複数のレンズと、光を反射する反射部材と、前記反射部材により反射される光を受けて前記撮像対象オブジェクト画像を生成する撮像素子と、を有し、前記反射部材が、各前記レンズを透過する光を前記撮像素子へ向けて反射する反射部材位置の間を移動可能に支持されていることを特徴とする。
　本発明によれば、異なる方向の撮像対象オブジェクトを撮像して撮像対象オブジェクト画像をまとめて生成することができるので、撮像手段から生成される画像の活用性を向上することができる。
　本発明の一態様では、予め定められた規則に従って、各前記反射部材位置の間を移動するよう前記反射部材を駆動する反射部材駆動手段をさらに含むことを特徴とする。こうすれば、異なる方向の撮像対象オブジェクトを撮像した画像を予め定められた規則に従って生成することができる。
　本発明に係る携帯型ゲーム装置の制御方法は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段を備え、前記撮像手段が、複数のレンズと、光を反射する反射部材と、前記反射部材により反射される光を受けて前記撮像対象オブジェクト画像を生成する撮像素子と、を有し、前記反射部材が、各前記レンズを透過する光を前記撮像素子へ向けて反射する反射部材位置の間を移動可能に支持されている、携帯型ゲーム装置の制御方法であって、予め定められた規則に従って、各前記反射部材位置の間を移動するよう前記反射部材を駆動する反射部材駆動ステップを含むことを特徴とする。
本発明の一実施形態に係る携帯型ゲーム装置の一例を示す斜視図である。 本発明の一実施形態に係る携帯型ゲーム装置のハードウェア構成の一例を示すハードウェア構成図である。 仮想空間の一例を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 本発明の一実施形態に係る携帯型ゲーム装置の機能ブロック図である。 プレイヤ基礎画像の一例を示す図である。 プレイヤ画像の一例を示す図である。 本発明の一実施形態に係る携帯型ゲーム装置で行われる処理のフローの一例を示す図である。 本発明の一実施形態に係る携帯型ゲーム装置を将棋ゲームに用いている様子の一例を説明する説明図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の一例を示す図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の一例を示す図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の一例を示す図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。 本発明の別の一実施形態に係る携帯型ゲーム装置で行われる処理のフローの一例を示す図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。
　以下、本発明の一実施形態について図面に基づき詳細に説明する。
　図１は、本実施形態に係る携帯型ゲーム装置１の一例を示す斜視図である。図２は、図１に示す携帯型ゲーム装置１のハードウェア構成の一例を示すハードウェア構成図である。図１及び図２に示すように、本実施形態に係る携帯型ゲーム装置１の筐体１０の形状は、箱形である。そして、本実施形態に係る携帯型ゲーム装置１は、制御部１２、記憶部１４、表示部１６、操作部１８、撮像部２０、距離測定部２２、通信部２４を備えている。
　制御部１２はＣＰＵ等のプログラム制御デバイスであり、記憶部１４に格納されたプログラム（例えば、ゲームプログラム）に従って動作する。
　記憶部１４は、ＲＡＭ等の記憶素子やハードディスクなどである。記憶部１４には、制御部１２によって実行されるプログラムなどが格納される。具体的には、例えば、制御部１２で実行されるゲームプログラムが格納される。このゲームプログラムは、例えば、ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の情報伝達媒体を介して、あるいは、インターネット等の通信ネットワークを介して携帯型ゲーム装置１に供給される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。
　表示部１６は、例えば液晶ディスプレイ等であり、制御部１２からの指示に従って、画像の表示を行う。本実施形態では、表示部１６は、携帯型ゲーム装置１の筐体１０の正面中央部に設けられている。ここで、制御部１２は、表示部１６に、表示される画像の解像度やアスペクト比などといった属性を併せて指示してもよい。また、制御部１２は、実行するプログラムに含まれる、画像の解像度やアスペクト比などといった属性を示す属性情報の内容に従って表示部１６に表示される画像の属性を指示してもよい。
　操作部１８は、例えば、操作部材（具体的には、例えば、十字キーやボタン）であり、当該操作部材に対する操作に応じた出力データを制御部１２に対して出力する。制御部１２は、この出力データを取得することで、当該出力データを用いてプレイヤの操作部材に対する操作に応じた処理を実行する。本実施形態では、操作部１８は、携帯型ゲーム装置１の表示部１６の左右に設けられている。すなわち、操作部１８は、携帯型ゲーム装置１の筐体１０の正面左側及び正面右側に分かれて配置されている。
　撮像部２０は、例えば、公知のデジタルカメラを含んで構成され、所定時間（例えば１／６０秒）ごとに、白黒、グレイスケール又はカラーの画像（例えば、ＪＰＥＧ形式の画像）を生成する。なお、撮像部２０は、標準カメラであっても、望遠カメラであっても、広角カメラであっても構わない。本実施形態では、撮像部２０は、表示部１６の上側に設けられている。すなわち、撮像部２０は、筐体１０の正面中央付近上側に設けられている。
　距離測定部２２は、携帯型ゲーム装置１と、その外部に存在する外部オブジェクトとの距離を測定する。距離測定部２２は、例えば、携帯型ゲーム装置１の正面によって形成される平面と、外部オブジェクトとの距離（より具体的には、例えば、外部オブジェクトから、携帯型ゲーム装置１の正面によって形成される平面に下ろした垂線の長さ）を測定する。そして、距離測定部２２は、撮像部２０によって生成される画像に含まれる各画素に、その画素に対応する、外部オブジェクト上の点と携帯型ゲーム装置１との距離を対応づける。距離測定部２２は、具体的には、例えば、複数のレンズから構成されるステレオカメラであり、それぞれのレンズの視差に基づいて、外部オブジェクトと携帯型ゲーム装置１との距離を測定する。距離測定部２２は、ステレオカメラにはもちろん限定されず、距離測定部２２は、赤外線を出力して、その赤外線が撮像対象オブジェクトに反射して戻ってくるまでの時間を測定して、その測定された時間に基づいて、外部オブジェクトと携帯型ゲーム装置１との距離を測定しても構わない。また、距離測定部２２が、焦点距離の異なる複数のレンズから構成され、これらのレンズのうち、外部オブジェクトに対してピントが合ったレンズに基づいて、外部オブジェクトと携帯型ゲーム装置１との距離を測定しても構わない。なお、本実施形態では、距離測定部２２は、撮像部２０と一体的に形成されており、表示部１６の上側に設けられている。すなわち、距離測定部２２は、正面中央付近上側に設けられている。
　通信部２４は、例えば、ネットワークインタフェースなど（具体的には、例えば、無線ＬＡＮモジュール）であり、制御部１２から入力される指示に従って、他の携帯型ゲーム装置１や、インターネット上のサーバ（図示せず）などへ情報を送信する。また、この通信部２４は、受信される情報を制御部１２に出力する。
　本実施形態においては、携帯型ゲーム装置１は、図３に示す仮想空間２６（本実施形態では、仮想３次元空間）における各仮想オブジェクト２８の位置、視点３０の位置、及び、視線方向３２に基づいて、図４Ａ～図４Ｃや図５Ａ～図５Ｃに示すように、携帯型ゲーム装置１の前のプレイヤ３４の顔の位置や向きに応じた画像を生成して、生成された画像を表示する仮想空間表示処理を実行する。
　具体的には、例えば、プレイヤ３４の顔が前進すると（図４Ａ参照）、仮想空間２６における視点３０が前進し、図４Ｂに示すような仮想空間２６の画像が液晶ディスプレイなどの表示部１６に表示される。一方、プレイヤ３４の顔が後退すると（図４Ａ参照）、仮想空間２６における視点３０が後退し、図４Ｃに示すような仮想空間２６の画像が表示部１６に表示される。
　そして、プレイヤ３４の顔が携帯型ゲーム装置１に対して反時計回りに回転すると、（図５Ａ参照）、仮想空間２６における視点３０や視線方向３２が反時計回りに回転し、図５Ｂに示すような仮想空間２６の画像が表示部１６に表示される。一方、プレイヤ３４の顔が携帯型ゲーム装置１に対して時計回りに回転すると（図５Ａ参照）、仮想空間２６における視点３０や視線方向３２が時計回りに回転し、図５Ｃに示すような仮想空間２６の画像が表示部１６に表示される。
　図６は、本発明の、この実施形態に係る携帯型ゲーム装置１の機能ブロック図である。図６に示すように、この実施形態に係る携帯型ゲーム装置１は、機能的には、仮想空間データ記憶部４０、視点データ記憶部４２、基礎画像生成部４４、特徴量算出部４６、基礎画像記憶部４８、基礎画像通信部５０、撮像対象オブジェクト画像生成部５２、撮像対象オブジェクト距離測定部５４、情報処理実行部５６（撮像対象オブジェクト配置算出部５６ａ、視点データ変更部５６ｂ、及び、仮想空間表示部５６ｃ）を含むものとして機能する。
　仮想空間データ記憶部４０は、記憶部１４を主として実現される。仮想空間データ記憶部４０は、例えば、図３に示すような、仮想空間２６における各仮想オブジェクト２８の位置（例えば、座標値）を示す仮想オブジェクト位置データを記憶する。具体的には、例えば、仮想空間データ記憶部４０は、図３に示すように、部屋に相当する部屋仮想オブジェクト２８ａの位置、球形のボール仮想オブジェクト２８ｂの位置、及び、直方体形状のボックス仮想オブジェクト２８ｃの位置、を示す仮想オブジェクト位置データ（例えば、各頂点の３次元座標値や、球の中心の３次元座標値及び半径の長さなど）を記憶している。図３に示すように、この仮想空間２６では、部屋に相当する箱型の部屋仮想オブジェクト２８ａの内部に、球形のボール仮想オブジェクト２８ｂと直方体形状のボックス仮想オブジェクト２８ｃが配置されている。そして、ボール仮想オブジェクト２８ｂは部屋仮想オブジェクト２８ａの下面上に配置されており、ボックス仮想オブジェクト２８ｃは部屋仮想オブジェクト２８ａの上面に接触して配置されている。
　視点データ記憶部４２は、記憶部１４を主として実現される。視点データ記憶部４２は、例えば、図３に示すような、仮想空間２６における視点３０の位置（例えば、３次元座標値）を示す視点位置データと、この視点３０の視線方向３２を示す視線方向データと、を含む視点データを記憶する。
　基礎画像生成部４４は、撮像部２０と制御部１２と操作部１８を主として実現される。基礎画像生成部４４は、例えば、図７に示すような、プレイヤ３４を示す画像（プレイヤ基礎画像６０）などの基礎画像を生成する。
　具体的には、例えば、基礎画像生成部４４は、所定時間ごとに、順次、画像を生成して、生成された画像を、枠画像６２とともに表示部１６に順次表示するよう制御する。このとき、プレイヤ３４は、自分の顔の画像（顔画像６４）が、枠画像６２の中に入るように、携帯型ゲーム装置１を移動させる。このとき、プレイヤ３４自身が移動しても、もちろん構わない。ここで、プレイヤ３４が、操作部１８を操作（例えば、ボタンを押下）すると、基礎画像生成部４４が、表示部１６の枠画像６２内に表示されている画像をプレイヤ基礎画像６０として、後述する基礎画像記憶部４８に記憶する。
　なお、プレイヤ３４が、操作部１８を操作することによって、図７に示す、表示部１６に表示される枠画像６２の位置や大きさを変更できるようにしても構わない。
　また、基礎画像生成部４４が、距離測定部２２が撮像部によって撮像される画像に対応する外部オブジェクトと、携帯型ゲーム装置１との距離を測定して、所定の距離より短い測定距離に対応付けられる画素について、その画像を表示するよう表示部１６を制御してもよい。また、表示部１６が画像を表示する際に、基礎画像生成部４４が、距離測定部２２によって測定される距離に応じた映像効果を付与するよう表示部１６を制御するようにしてもよい。具体的には、例えば、基礎画像生成部４４は、表示部１６が画像を表示する際に、水に顔をつけるような映像効果や暗闇から顔が浮き出てくるような映像効果を付与するよう表示部１６を制御してもよい。
　また、携帯型ゲーム装置１が、フラッシュやライトを備えている場合に、基礎画像生成部４４は、画像を生成する際に、フラッシュやライトを照らすようにしてもよい。こうすることで、暗い状況下でも、基礎画像生成部４４は基礎画像を生成することができる。
　特徴量算出部４６は、制御部１２を主として実現される。特徴量算出部４６は、公知のパターン認識技術などの画像処理技術などを用いて、図７に示すプレイヤ基礎画像６０に基づいて、プレイヤ３４の特徴を示す特徴量を算出する。ここで、特徴量としては、具体的には、例えば、顔画像６４、肌の色（ＲＧＢ値やＨＳＶ値）、唇の位置や大きさや色（ＲＧＢ値やＨＳＶ値）、目の位置や大きさや間隔、鼻の位置や大きさや高さ、眉毛の位置や高さや幅や色（ＲＧＢ値やＨＳＶ値）、髪型、髪の色などが挙げられる。
　なお、特徴量算出部４６は、後述する撮像対象オブジェクト画像からも特徴量を算出する。特徴量算出部４６が、撮像対象オブジェクト画像から特徴量を算出する点については後述する。
　基礎画像記憶部４８は、記憶部１４を主として実現される。基礎画像記憶部４８は、基礎画像生成部４４によって生成された基礎画像（本実施形態においては、プレイヤ基礎画像６０）を記憶する。基礎画像記憶部４８は、基礎画像と、特徴量算出部４６がこの基礎画像から算出した特徴量とを関連付けて記憶してもよい。
　また、基礎画像記憶部４８は、１枚の画像を記憶するのではなく、複数の画像を関連付けて記憶するようにしてもよい。また、基礎画像記憶部４８は、モーションポートレートのような合成画像を基礎画像として記憶するようにしてもよい。また、基礎画像記憶部４８は、喜怒哀楽などの複数の表情のプレイヤ基礎画像６０を記憶するようにしてもよい。具体的には、例えば、基礎画像記憶部４８は、プレイヤ３４が携帯型ゲーム装置１に対して正面を向いたときのプレイヤ基礎画像６０だけではなく、上下左右を向いたときのプレイヤ基礎画像６０を互いに関連付けて記憶するようにしてもよい。
　また、基礎画像記憶部４８は、複数の種類の外部オブジェクトについて、その外部オブジェクトの基礎画像を、その外部オブジェクトを識別するオブジェクト識別子と関連付けて記憶するようにしても構わない。具体的には、例えば、基礎画像記憶部４８は、複数のプレイヤ３４について、そのプレイヤ３４のプレイヤ基礎画像６０を、そのプレイヤ３４のＩＤや名前などと関連付けて記憶するようにしても構わない。
　また、基礎画像記憶部４８は、距離測定部２２によって測定した距離を示すデータを、基礎画像内の各画素と関連付けて記憶するようにしても構わない。
　基礎画像通信部５０は、制御部１２と通信部２４とを主として実現される。基礎画像通信部５０は、基礎画像記憶部４８に記憶された基礎画像を、通信部２４を経由してインターネット上のサーバ（図示せず）に送信し、このサーバが備える記憶装置に記憶するようにしても構わない。また、基礎画像通信部５０が、サーバに送信される基礎画像を、公開するか否かを示す公開可否情報を、通信部２４を経由してサーバに送信するようにしても構わない。
　また、サーバが、蓄積された基礎画像のそれぞれに関連付けられた特徴量を平均することなどによって、平均基礎画像（例えば、平均顔画像）を生成するようにしてもよい。また、公開されるよう設定された基礎画像や、平均基礎画像を、携帯型ゲーム装置１のプレイヤ３４が、通信部２４を介してダウンロードできるようにしても構わない。
　撮像対象オブジェクト画像生成部５２は、撮像部２０を主として実現される。撮像対象オブジェクト画像生成部５２は、撮像される対象となる撮像対象オブジェクトを撮像して、撮像対象オブジェクト画像を生成する。本実施形態では、具体的には、例えば、撮像対象オブジェクト画像生成部５２は、図８に示すプレイヤ画像６６を生成する。なお、プレイヤ画像６６には、図８に示すように、複数のプレイヤ３４の顔画像６４（第１プレイヤ３４－１の第１顔画像６４－１、及び、第２プレイヤ３４－２の第２顔画像６４－２）が含まれていても構わない。もちろん、撮像対象オブジェクト画像生成部５２が生成する画像は、プレイヤ画像６６に限定されない。また、撮像対象オブジェクト画像生成部５２は、順次、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成しても構わない。
　なお、携帯型ゲーム装置１が、フラッシュやライトを備えている場合に、撮像対象オブジェクト画像生成部５２は、画像を生成する際に、フラッシュやライトを照らすようにしてもよい。こうすることで、暗い状況下でも、撮像対象オブジェクト画像生成部５２は撮像対象オブジェクト画像を生成することができ、特徴量算出部４６は、特徴量を撮像対象オブジェクト画像から算出することができる。
　そして、上述の特徴量算出部４６が、公知のパターン認識技術などの画像処理技術などを用いて、撮像対象オブジェクト画像生成部５２によって生成された撮像対象オブジェクト画像（例えば、プレイヤ画像６６）に基づいて、上述のような特徴量を算出する。
　特徴量算出部４６は、このとき、基礎画像記憶部４８に記憶されている基礎画像（例えば、プレイヤ基礎画像６０）と撮像対象オブジェクト画像（例えば、プレイヤ画像６６）とを照合することによって、特徴量を算出するようにしてもよい。具体的には、例えば、図８に示すように、撮像対象オブジェクト画像生成部５２によって生成されたプレイヤ画像６６に、複数のプレイヤ３４の画像が含まれている場合において、特徴量算出部４６が、このプレイヤ画像６６と、特定のプレイヤ３４（ここでは、第１プレイヤ３４－１）のＩＤなどの識別子と関連付けられているプレイヤ基礎画像６０とを照合して、公知のパターン認識技術などを用いて、プレイヤ画像６６から、特定のプレイヤ３４の顔画像６４（ここでは、第１顔画像６４－１）を算出するようにしてもよい。
　撮像対象オブジェクト距離測定部５４は、距離測定部２２を主として実現される。撮像対象オブジェクト距離測定部５４は、上述の撮像対象オブジェクトと携帯型ゲーム装置１との距離を測定する。本実施形態においては、具体的には、例えば、プレイヤ３４（より具体的には、例えば、プレイヤ３４の表面）と携帯型ゲーム装置１との距離（プレイヤ距離）を測定する。なお、撮像対象オブジェクト距離測定部５４が、撮像対象オブジェクトと携帯型ゲーム装置１との距離を順次測定するようにしても構わない。撮像対象オブジェクト距離測定部５４は、撮像対象オブジェクト画像（例えば、プレイヤ画像６６）に含まれる各画素に、その画素に対応する、撮像対象オブジェクト（例えば、プレイヤ３４）上の点についてのプレイヤ距離を対応付ける。
　情報処理実行部５６は、制御部１２と表示部１６を主として実現される。情報処理実行部５６は、撮像対象オブジェクト画像（例えば、プレイヤ画像６６）、及び、撮像対象オブジェクト距離測定部５４により測定される距離に基づく情報処理を実行する。具体的には、例えば、情報処理実行部５６は、撮像対象オブジェクト距離測定部５４により測定される距離に基づく画像を表示部１６に表示する情報処理を実行する。そして、本実施形態においては、情報処理実行部５６は、撮像対象オブジェクト配置算出部５６ａ、視点データ変更部５６ｂ、及び、仮想空間表示部５６ｃを含んでいる。
　撮像対象オブジェクト配置算出部５６ａは、撮像対象オブジェクト画像（例えば、プレイヤ画像６６）と、撮像対象オブジェクト距離測定部５４によって測定される距離（例えば、プレイヤ距離）とに基づいて、撮像対象オブジェクト（例えば、プレイヤ３４）の実空間における配置を算出する。ここで、撮像対象オブジェクト配置算出部５６ａは、特徴量算出部４６によって撮像対象オブジェクト画像（例えば、プレイヤ画像６６）に基づいて算出された特徴量を用いて、撮像対象オブジェクト（例えば、プレイヤ３４）の実空間における配置を算出してもよい。なお、撮像対象オブジェクト配置算出部５６ａは、撮像対象オブジェクトの実空間における配置を順次算出するようにしても構わない。撮像対象オブジェクト配置算出部５６ａは、具体的には、例えば、プレイヤ３４の顔の実空間における、携帯型ゲーム装置１に対する相対的な座標値（例えば、３次元座標値）及び、携帯型ゲーム装置１に対する向き（例えば、ｘ軸方向の回転量、ｙ軸方向の回転量、及び、ｚ軸方向の回転量）を算出する。
　視点データ変更部５６ｂは、撮像対象オブジェクト距離測定部５４により測定された距離に基づいて、視点データ記憶部４２に記憶されている視点データを変更する。撮像対象オブジェクト距離測定部５４が、撮像対象オブジェクトと携帯型ゲーム装置１との距離を順次測定している場合に、視点データ変更部が、その距離の変化に応じて仮想空間２６における視点３０の位置を示す視点データを変更するようにしても構わない。
　ここで、視点データ変更部５６ｂは、撮像対象オブジェクト画像（例えば、プレイヤ画像６６）の変化に応じて、仮想空間２６における視点３０の位置又は向き（視線方向３２）の少なくとも一方を変更するようにしても構わない。すなわち、視点データ変更部５６ｂは、撮像対象オブジェクト画像（例えば、プレイヤ画像６６）の変化に応じて、視点データ記憶部４２に記憶されている、視点位置データと視線方向データの少なくとも一方を変更するようにしても構わない。
　本実施形態では、視点データ変更部５６ｂは、撮像対象オブジェクト配置算出部５６ａによって算出された、撮像対象オブジェクト（例えば、プレイヤ３４）の実空間における配置に基づいて、視点データ記憶部４２に記憶されている視点データを変更する。具体的には、例えば、視点データ変更部５６ｂは、プレイヤ３４の顔の実空間における、携帯型ゲーム装置１に対する相対的な座標値（例えば、３次元座標値）や、携帯型ゲーム装置１に対する向き（例えば、ｘ軸方向の回転量、ｙ軸方向の回転量、及び、ｚ軸方向の回転量）に基づいて、視点データ記憶部４２に記憶されている視点データを変更する。
　また、撮像対象オブジェクト配置算出部５６ａによって、撮像対象オブジェクトが携帯型ゲーム装置１に対して近く（あるいは、遠く）に配置されていることが算出された際には、視点データ変更部５６ｂは、仮想空間２６内の視点３０を前側（あるいは、後側）に変更すればよい。また、撮像対象オブジェクト配置算出部５６ａによって、撮像対象オブジェクトが携帯型ゲーム装置１に対して近づいている（あるいは、遠ざかっている）ことが算出された際には、視点データ変更部５６ｂは、仮想空間２６内の視点３０を前進（あるいは、後退）させればよい。
　また、撮像対象オブジェクト配置算出部５６ａによって、撮像対象オブジェクトが携帯型ゲーム装置１に対して相対的に右側（あるいは、左側）に配置されていることが算出された際には、視点データ変更部５６ｂは、仮想空間２６内の視点３０を右側（あるいは、左側）に変更すればよい。
　また、撮像対象オブジェクト配置算出部５６ａによって、撮像対象オブジェクトが携帯型ゲーム装置１に対して相対的に右側（あるいは、左側）に移動していることが算出された際には、視点データ変更部５６ｂは、仮想空間２６内の視点３０を右側（あるいは、左側）に移動させればよい。
　また、撮像対象オブジェクト配置算出部５６ａによって、撮像対象オブジェクトが携帯型ゲーム装置１に対して相対的に反時計回り（あるいは、時計回り）に回転していることが算出された際には、視点データ変更部５６ｂは、仮想空間２６内の視点３０の視線方向３２を反時計回り（あるいは、時計回り）に回転させればよい。
　仮想空間表示部５６ｃは、図３に示す仮想空間２６の画像を、仮想空間２６に配置された視点３０の位置に従って生成して、生成された仮想空間２６の画像を表示する。具体的には、例えば、仮想空間２６について、視点データ変更部５６ｂにより変更された視点データに含まれる視点位置データが示す視点３０の位置から、視点データに含まれる視線方向データが示す視線方向３２を見た様子を示す画像を表示する。
　なお、情報処理実行部５６で実行される情報処理は、撮像対象オブジェクト配置算出部５６ａ、視点データ変更部５６ｂ、及び、仮想空間表示部５６ｃによって実行される情報処理に限定されない。情報処理実行部５６は、例えば、距離測定部２２が撮像対象オブジェクトと携帯型ゲーム装置１の距離を順次測定し、この測定された距離の変化に応じて、制御部１２で実行する処理の内容を変更する処理を実行しても構わない。また、情報処理実行部５６が実行する情報処理は、表示部１６に情報を表示する情報処理にも限定されない。
　次に、所定のプレイヤ３４のプレイヤ基礎画像６０と、そのプレイヤ基礎画像６０から抽出されたプレイヤ３４の顔画像６４とが関連付けられて、基礎画像記憶部４８に記憶されている場合において、このプレイヤ３４が携帯型ゲーム装置１の前に存在する際に、このプレイヤ３４の顔の位置及び向きに応じた仮想空間２６の画像を表示する処理の流れの一例を、図９に示すフロー図を参照しながら説明する。なお、このとき、記憶部１４には、図３に示す仮想空間２６における各仮想オブジェクト２８の位置（例えば、座標値）を示す仮想オブジェクト位置データが記憶されている。また、視点データ記憶部４２には、仮想空間２６における視点３０の位置（例えば、座標値）を示す視点位置データと、この視点３０の視線方向３２を示す視線方向データと、を含む視点データが記憶されている。なお、この処理例においては、撮像部２０は、可変フレームレートのハイフレームレートカメラである。
　まず、撮像対象オブジェクト画像生成部５２が、このプレイヤ３４のプレイヤ画像６６を生成する（Ｓ１０１）。
　そして、特徴量算出部４６が、プレイヤ画像６６と、このプレイヤ３４のプレイヤ基礎画像６０とを照合することで、このプレイヤ３４の顔、両目、鼻、及び、口の画像を算出する（Ｓ１０２）。
　そして、特徴量算出部４６が、このプレイヤ３４の両目間、目と鼻、鼻と口のうちの少なくとも１つのプレイヤ画像６６における長さを算出する（Ｓ１０３）。
　そして、撮像対象オブジェクト距離測定部５４が、プレイヤ３４の両目、鼻、及び、口と携帯型ゲーム装置１との距離（プレイヤ距離）を測定して、プレイヤ画像６６に含まれる各画素と対応付ける（Ｓ１０４）。
　そして、撮像対象オブジェクト配置算出部５６ａが、プレイヤ画像６６とプレイヤ距離とに基づいて、このプレイヤ３４の実空間における配置を算出する（Ｓ１０５）。具体的には、プレイヤ３４の顔のｘ軸方向、ｙ軸方向、ｚ軸方向それぞれについての携帯型ゲーム装置１に対する相対的な回転量、及び、プレイヤ３４の顔の携帯型ゲーム装置１に対する相対的な座標値を算出する。
　そして、視点データ変更部５６ｂが、Ｓ１０５に示す処理において算出される３次元座標値から定まる、このプレイヤ３４の顔の位置及び向きに基づいて、視点データ記憶部４２に記憶されている、仮想空間２６における視点３０の位置を示す視点位置データと、視線方向３２を示す視線方向データのうち少なくとも一方を変更する（Ｓ１０６）。
　そして、仮想空間表示部５６ｃが、仮想空間２６において、Ｓ１０５に示す処理において変更される視点データに含まれる、視点位置データが示す視点３０の位置から、視線方向データが示す視線方向３２を見た様子を示す画像を表示する（Ｓ１０７）。なお、このとき、表示部１６は、制御部１２からの指示に基づく解像度やアスペクト比などの属性で画像を表示するようにしてもよい。
　このようにして、各フレームについて、仮想空間２６を見た様子を示す画像が液晶ディスプレイなどの表示部１６に表示される。
　上記の処理例の、Ｓ１０２及びＳ１０３に示す処理において、特徴量算出部４６がプレイヤ３４の顔、両目、鼻、及び、口の画像や、目と目、目と鼻、鼻と口のうちの少なくとも１つのプレイヤ画像６６における長さといった特徴量を算出できない場合には、仮想空間表示部５６ｃが、直前に液晶ディスプレイなどの表示部１６に表示された画像から類推される画像を、液晶ディスプレイなどの表示部１６に表示するようにしてもよい。
　また、上記の場合に、Ｓ１０１～Ｓ１０３に示す処理を、撮像部２０のフレームレートを上げて再度実行するようにしてもよい。この場合において、Ｓ１０１～Ｓ１０３に示す処理を、所定の回数だけ実行しても、プレイヤ画像６６に基づいて特徴量を算出できない場合には、直前に液晶ディスプレイなどの表示部１６に表示された画像を液晶ディスプレイなどの表示部１６に表示するようにしてもよい。なお、このとき、記憶部１４にエラーカウントデータを記憶するようにしておき、Ｓ１０１～Ｓ１０３に示す処理を、所定の回数だけ実行しても、プレイヤ３４に基づいて特徴量を算出できない場合に、制御部１２が、エラーカウントデータの値を１増やすようにしてもよい。そして、プレイヤ画像６６に基づいて特徴量を算出できない時間が所定の時間を超えたり、エラーカウントデータの値が所定値を超えたりした際に、制御部１２が、エラーメッセージを表示部１６に表示するようにしてもよい。なお、携帯型ゲーム装置１が内蔵振動子（バイブレータ）やスピーカやＬＥＤを備えている場合には、プレイヤ画像６６に基づいて特徴量を算出できない時間が所定の時間を超えたり、エラーカウントデータの値が所定値を超えたりした際に、制御部１２が、バイブレータを振動させたり、携帯型ゲーム装置１が備えるスピーカから警告音を発生させたり、携帯型ゲーム装置１が備えるＬＥＤを点滅させたりするようにしてもよい。
　次に、上記実施形態を将棋ゲームに応用した例を以下に説明する。
　図１０に示すように、携帯型ゲーム装置１に対して、第１プレイヤ３４－１と、第２プレイヤ３４－２が向かい合って存在している。そして、携帯型ゲーム装置１の表示部１６には、将棋盤画像６８が表示されている。この将棋盤画像６８は、上述の仮想空間２６内の仮想オブジェクト２８の一例である。
　そして、第１プレイヤ３４－１の手番の際には、第１プレイヤ３４－１の顔の携帯型ゲーム装置１に対する相対的な位置及び向きに従って、制御部１２は、将棋盤画像６８を表示するよう表示部１６を制御する。このようにすると、第２プレイヤ３４－２からは、将棋盤画像６８が見にくくなる。一方、第２のプレイヤ３４－２の手番の際には、第２プレイヤ３４－２の顔の携帯型ゲーム装置１に対する相対的な位置及び向きに従って、制御部１２は、将棋盤画像６８を表示するよう表示部１６を制御する。このようにすると、第１プレイヤ３４－１からは、将棋盤画像６８が見にくくなる。
　また、一人称視点シューティングゲーム（ＦＰＳ）に本実施形態を応用しても構わない。具体的には、例えば、特徴量算出部４６によって、プレイヤ３４の顔の画像を算出することができない場合に、制御部１２が、弾丸や攻撃をよけるようにしたり、弾丸を充填したりするゲーム処理を実行するようにしても構わない。
　また、ゲームにおける認証処理において、本実施形態に係る携帯型ゲーム装置１を応用してもよい。具体的には、例えば、ゲームのタイトル画面が表示部１６に表示されている際に、プレイヤ３４が、携帯型ゲーム装置１の撮像部２０に顔を近づけると、制御部１２が、撮像対象オブジェクト画像生成部５２が生成するプレイヤ画像６６から特徴量算出部４６が算出した特徴量に基づいて、顔を近づけているプレイヤ３４を特定し、そのプレイヤ３４の認証をするようにしても構わない。このとき、プレイヤ３４の特定ができない場合には、制御部１２が、このプレイヤ３４を匿名プレイヤとして認証するようにしても構わない。このとき、携帯型ゲーム装置１において、プレイヤ基礎画像６０の更新ができるようにしても構わない。携帯型ゲーム装置１の制御部１２がさまざまな情報処理を開始する際に、このようなプレイヤ基礎画像６０の更新機能を利用できるようにしても構わない。
　本実施形態によれば、実世界の感覚に近い３次元の映像表現が可能となり、撮像部２０から生成される画像の活用性を向上することができる。
　次に、本発明の別の一実施形態について図面に基づき詳細に説明する。
　本実施形態に係る携帯型ゲーム装置１のハードウェア構成は、図２に示すものと同様である。
　図１１Ａは、本実施形態に係る携帯型ゲーム装置１の正面図である。図１１Ｂは、本実施形態に係る携帯型ゲーム装置１の上側面図である。図１１Ｃは、本実施形態に係る携帯型ゲーム装置１の背面図である。
　図１２Ａ、図１２Ｂ、図１３Ａ、及び、図１３Ｂは、本実施形態に係る携帯型ゲーム装置１の撮像部２０の構成の概要の一例を示す概要図である。図１２Ａ、図１２Ｂ、図１３Ａ、及び、図１３Ｂに示すように、本実施形態に係る携帯型ゲーム装置１の撮像部２０は、光学系２０ａ（前方光学系２０ａ－１、後方光学系２０ａ－２、及び、上方光学系２０ａ－３）と、シャッター２０ｂ（前方シャッター２０ｂ－１、後方シャッター２０ｂ－２、及び、上方シャッター２０ｂ－３）と、反射部材２０ｃ（第１反射部材２０ｃ－１、及び、第２反射部材２０ｃ－２）と、撮像素子２０ｄとを含んで構成される。
　本実施形態においては、前方光学系２０ａ－１は、携帯型ゲーム装置１の正面中央付近上側に設けられており、後方光学系２０ａ－２は、携帯型ゲーム装置１の背面中央付近上側に設けられており、上方光学系２０ａ－３は、携帯型ゲーム装置１の上側面中央より、やや左側に設けられている。それぞれの光学系２０ａは、１枚のレンズから構成されていても複数のレンズから構成されていても構わない。また、それぞれの光学系２０ａを構成するレンズの種類は問わず、例えば、標準レンズであっても、広角レンズであっても、望遠レンズであっても構わない。
　本実施形態では、前方シャッター２０ｂ－１は前方光学系２０ａ－１の内側に、後方シャッター２０ｂ－２は後方光学系２０ａ－１の内側に、上方シャッター２０ｂ－３は上方光学系２０ａ－３の内側に設けられている。なお、これらのシャッター２０ｂが、光学系２０ａの外側に設けられていても構わない。
　反射部材２０ｃは、光を反射する部材であり、例えば、ミラーである。本実施形態において、反射部材２０ｃは、板状であり、携帯型ゲーム装置１の内部に設けられている。
　撮像素子２０ｄは、例えば、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサなどであり、反射部材２０ｃにより反射される光を受けて画像（画像データ）を生成する。具体的には、撮像素子２０ｄは、光を受けて光電変換により電気信号を生成し、この電気信号に基づいて画像（画像データ）を生成する。
　そして、第１反射部材２０ｃ－１は、第１反射部材２０ｃ－１により形成される平面が鉛直方向となるように携帯型ゲーム装置１の内部の上方中央付近の内部に設けられている。第１反射部材２０ｃ－１は、前方光学系２０ａ－１や後方光学系２０ａ－２を透過する光を撮像素子２０ｄへ向けて反射する各反射部材位置の間を移動可能に支持されている。本実施形態においては、第１反射部材２０ｃ－１は、鉛直方向の軸を中心として回動可能に支持されている。具体的には、例えば、鉛直方向の支持部材（図示せず）が、第１反射部材２０ｃ－１を貫通しており、この支持部材が第１反射部材２０ｃ－１を回動可能に支持している。
　本実施形態では、第１反射部材２０ｃ－１は、前方光学系２０ａ－１を透過する光を撮像素子２０ｄへ向けて反射する前方反射部材位置（図１２Ａにおいて、第１反射部材２０ｃ－１が配置されている位置）と、後方光学系２０ａ－２を透過する光を撮像素子２０ｄへ向けて反射する後方反射部材位置（図１２Ｂにおいて、第１反射部材２０ｃ－１が配置されている位置）との間を回動可能に支持されている。
　そして、第１反射部材２０ｃ－１が、前方反射部材位置に移動されている際に、前方シャッター２０ｂ－１が開き、後方反射部材位置に移動されている際に、後方シャッター２０ｂ－２が開くようになっている。
　また、携帯型ゲーム装置１が、例えば、アクチュエータなどの反射部材駆動部（図示せず）を備えており、この反射部材駆動部が、各反射部材位置の間を移動するよう第１反射部材２０ｃ－１を駆動するようにしてもよい。また、制御部１２が、反射部材駆動部を駆動するようにしてもよい。このとき、反射部材駆動部は、撮像素子２０ｄが光を受けて画像を生成するタイミングに、第１反射部材２０ｃ－１が、いずれかの反射部材位置に移動されているように、第１反射部材２０ｃ－１を駆動するようにしてもよい。
　本実施形態においては、携帯型ゲーム装置１の制御部１２が、反射部材２０ｃとシャッター２０ｂを動作させることで、所定のフレームレートで、撮像部２０が撮像対象オブジェクトを撮像して、撮像対象オブジェクト画像を生成するようになっている。
　図１３Ａは、上方シャッター２０ｂ－３が開いている状況で、撮像部２０を上方から見た構造の概略を示している。また、図１３Ｂは、上方シャッター２０ｂ－３が開いている状況で、撮像部２０を前方から見た構造の概略を示している。図１３Ａ及び図１３Ｂに示すように、第２反射部材２０ｃ－２は、上方光学系２０ａ－３を透過する光を撮像素子２０ｄへ向けて反射するよう、第２反射部材２０ｃ－２の反射面が、水平方向に対して斜めに設けられており、携帯型ゲーム装置１の上方中央よりやや左側に設けられている。
　次に、本実施形態において動画像を生成する処理の流れの一例を、図１４に示すフロー図を参照しながら説明する。
　まず、反射部材駆動部が第１反射部材２０ｃ－１を、前方反射部材位置に移動させる（Ｓ２０１）。
　そして、制御部１２が前方シャッター２０ｂ－１を開閉する（Ｓ２０２）。
　すると、第１反射部材２０ｃ－１が、前方光学系２０ａ－１及び前方シャッター２０ｂ－１を透過する光を撮像素子２０ｄへ向けて反射して、撮像素子２０ｄがこの光を受けて、画像を生成する（Ｓ２０３）（図１２Ａ参照）。
　そして、反射部材駆動部が第１反射部材２０ｃ－１を、後方反射部材位置に移動させる（Ｓ２０４）。
　そして、制御部１２が後方シャッター２０ｂ－２を開閉する（Ｓ２０５）。
　すると、第１反射部材２０ｃ－１が、後方光学系２０ａ－２及び後方シャッター２０ｂ－２を透過する光を撮像素子２０ｄへ向けて反射して、撮像素子２０ｄがこの光を受けて、画像を生成する（Ｓ２０６）（図１２Ｂ参照）。
　そして、反射部材駆動部が第１反射部材２０ｃ－１を、第１反射部材２０ｃ－１の反射面が携帯型ゲーム装置１の長手方向と略平行となるよう移動させる（Ｓ２０７）。
　そして、制御部１２が上方シャッター２０ｂ－３を開閉する（Ｓ２０８）。
　すると、第２反射部材２０ｃ－２が、上方光学系２０ａ－３及び上方シャッター２０ｂ－３を透過する光を撮像素子２０ｄへ向けて反射して、撮像素子２０ｄがこの光を受けて、画像を生成する（Ｓ２０９）（図１３Ａ、及び、図１３Ｂ参照）。
　そして、Ｓ２０１～Ｓ２０９の処理を繰り返した後で、制御部１２が、Ｓ２０３の処理において生成された一連の画像を組み合わせて動画像を生成する。また、制御部１２は、Ｓ２０６の処理において生成された一連の画像を組み合わせて別の動画像も生成する。また、制御部１２は、Ｓ２０９の処理において生成された一連の画像を組み合わせて、さらに別の動画像も生成する。このようにして、本実施形態に係る携帯型ゲーム装置１は、異なる方向の撮像対象オブジェクトを撮像して撮像対象オブジェクト画像をまとめて生成することができるので、撮像部２０から生成される画像の活用性を向上することができる。
　そして、例えば、本実施形態に係る携帯型ゲーム装置１が備える撮像部２０のフレームレートが２４０ｆｐｓである場合、上記処理例に示す処理により、携帯型ゲーム装置１は、フレームレートが８０ｆｐｓの３つの動画像（前方動画像、後方動画像、及び、上方動画像）をまとめて生成する。
　なお、上記の処理例は、動画像を生成する処理の一例にすぎず、例えば、反射部材駆動部が、上記の規則以外の予め定められた規則に従って、各反射部材位置の間を移動するよう第１反射部材２０ｃ－１を駆動するようにすることで、本実施形態に係る携帯型ゲーム装置１は、さまざまな動画像を生成することができる。
　具体的には、例えば、上記の処理例でＳ２０１～Ｓ２０６に示す処理を繰り返すことによって、本実施形態に係る携帯型ゲーム装置１が備える撮像部２０のフレームレートが２４０ｆｐｓである場合、携帯型ゲーム装置１はフレームレートが１２０ｆｐｓの２つの動画像（前方動画像、及び、後方動画像）をまとめて生成する。
　また、Ｓ２０１～Ｓ２０３に示す処理を２回繰り返し実行して、Ｓ２０４～Ｓ２０６に示す処理を１回実行することを繰り返すことによって、本実施形態に係る携帯型ゲーム装置１が備える撮像部２０のフレームレートが２４０ｆｐｓである場合、携帯型ゲーム装置１は、フレームレートが１６０ｆｐｓの動画像（前方動画像）と、フレームレートが８０ｆｐｓの動画像（後方動画像）をまとめて生成する。
　本発明はさまざまな応用例が考えられる。例えば、上述の実施形態に示した仮想空間表示処理と組み合わせて、拡張現実を表現した画像を表示することが考えられる。具体的には、例えば、まず、撮像部２０が、後方光学系２０ａ－２の方向に配置されたオブジェクト（例えば、図形や文字など）を撮像する。そして、制御部１２が、撮像されたオブジェクトに基づいて、仮想オブジェクト２８の位置を示す仮想オブジェクト位置データを生成する。そして、仮想空間データ記憶部４０がその仮想オブジェクト位置データを記憶する。そして、撮像部２０が、前方光学系２０ａ－１の方向の撮像対象オブジェクトを撮像する。そして、視点データ変更部５６ｂが、この撮像対象オブジェクトに基づいて、視点データ記憶部４２に記憶されている視点データを変更する。そして、仮想空間表示部５６ｃが、変更された視点３０の位置に従って生成される仮想空間２６の画像を液晶ディスプレイなどの表示部１６に表示する。このようにして、拡張現実を表現した画像を表示することが考えられる。
　あるいは、公知のパターン認識技術と組み合わせることで、さまざまな方向に移動する撮像対象オブジェクトを追従する動画像を容易に生成することができる。
　このように、本実施形態によれば、複数の画像（動画像）をまとめて生成することができ、撮像部２０から生成される画像の活用性を向上することができる。
　なお、本発明の適用範囲は、上記実施形態に限定されるものではない。
　具体的には、例えば、光学系２０ａ、シャッター２０ｂ、反射部材２０ｃ、撮像素子２０ｄの配置は上記実施形態に限定されず、撮像素子２０ｄが反射部材２０ｃにより反射される光を受けるようになっていればよい。
　また、光学系２０ａやシャッター２０ｂの数は上記実施形態に限定されず、例えば、図１５に示すように、携帯型ゲーム装置１が４方向の光学系２０ａ及びシャッター２０ｂを備えていても構わない。こうすれば、携帯型ゲーム装置１は、４つの動画像をまとめて生成することができる。
　また、携帯型ゲーム装置１が、物理的なシャッター２０ｂを備えている必要はない。

Claims (10)

  1. 　撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段と、
    　前記撮像対象オブジェクトとの距離を測定する距離測定手段と、
    　前記撮像対象オブジェクト画像、及び、前記距離測定手段により測定される距離に基づく情報処理を実行する情報処理実行手段と、
    　を備えることを特徴とする携帯型ゲーム装置。
  2. 　前記距離測定手段が、順次、前記距離を測定して、
    　前記情報処理実行手段が、前記距離測定手段により測定される距離の変化に応じて、実行する情報処理の内容を変更する、
    　ことを特徴とする請求項１に記載の携帯型ゲーム装置。
  3. 　前記情報処理実行手段が、前記距離測定手段により測定される距離に基づく画像を表示手段に表示する、
    　ことを特徴とする請求項１に記載の携帯型ゲーム装置。
  4. 　前記距離測定手段が、順次、前記距離を測定して、
    　前記情報処理実行手段が、
    　仮想空間の画像を、当該仮想空間に配置された視点の位置に従って生成して、
    　生成された前記仮想空間の画像を表示手段に表示して、
    　前記距離測定手段により測定される距離の変化に応じて、前記仮想空間における前記視点の位置を変更する、
    　ことを特徴とする請求項１に記載の携帯型ゲーム装置。
  5. 　前記撮像手段が、順次、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成して、
    　前記情報処理実行手段が、前記撮像手段により撮像される前記撮像対象オブジェクト画像の変化に応じて、前記仮想空間における前記視点の位置又は向きの少なくとも一方を変更する、
    　ことを特徴とする請求項４に記載の携帯型ゲーム装置。
  6. 　前記撮像手段と、前記距離測定手段とは、一体的に形成されている、
    　ことを特徴とする請求項１に記載の携帯型ゲーム装置。
  7. 　撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段を備え、
    　前記撮像手段が、
    　複数のレンズと、
    　光を反射する反射部材と、
    　前記反射部材により反射される光を受けて前記撮像対象オブジェクト画像を生成する撮像素子と、
    　を有し、
    　前記反射部材が、各前記レンズを透過する光を前記撮像素子へ向けて反射する反射部材位置の間を移動可能に支持されている、
    　ことを特徴とする携帯型ゲーム装置。
  8. 　予め定められた規則に従って、各前記反射部材位置の間を移動するよう前記反射部材を駆動する反射部材駆動手段、
    　をさらに含むことを特徴とする請求項７に記載の携帯型ゲーム装置。
  9. 　撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像ステップと、
    　前記撮像対象オブジェクトとの距離を測定する距離測定ステップと、
    　前記撮像対象オブジェクト画像、及び、前記距離測定手段により測定される前記距離に基づく情報処理を実行する情報処理実行ステップと、
    　を含むことを特徴とする携帯型ゲーム装置の制御方法。
  10. 　撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段を備え、前記撮像手段が、複数のレンズと、光を反射する反射部材と、前記反射部材により反射される光を受けて前記撮像対象オブジェクト画像を生成する撮像素子と、を有し、前記反射部材が、各前記レンズを透過する光を前記撮像素子へ向けて反射する反射部材位置の間を移動可能に支持されている、携帯型ゲーム装置において、
    　予め定められた規則に従って、各前記反射部材位置の間を移動するよう前記反射部材を駆動する反射部材駆動ステップ、
    　を含むことを特徴とする携帯型ゲーム装置の制御方法。
PCT/JP2009/061324 2008-06-30 2009-06-22 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法 WO2010001756A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010518999A JP5174908B2 (ja) 2008-06-30 2009-06-22 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法
EP09773334.9A EP2305358B1 (en) 2008-06-30 2009-06-22 Portable type game device and method for controlling portable type game device
CN200980125218.7A CN102076388B (zh) 2008-06-30 2009-06-22 便携式游戏装置以及便携式游戏装置的控制方法
US13/001,862 US9662583B2 (en) 2008-06-30 2009-06-22 Portable type game device and method for controlling portable type game device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-171767 2008-06-30
JP2008171767 2008-06-30

Publications (1)

Publication Number Publication Date
WO2010001756A1 true WO2010001756A1 (ja) 2010-01-07

Family

ID=41465856

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/061324 WO2010001756A1 (ja) 2008-06-30 2009-06-22 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法

Country Status (5)

Country Link
US (1) US9662583B2 (ja)
EP (2) EP2305358B1 (ja)
JP (1) JP5174908B2 (ja)
CN (2) CN102076388B (ja)
WO (1) WO2010001756A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073790A (ja) * 2010-09-28 2012-04-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
JP2013525906A (ja) * 2010-04-22 2013-06-20 クゥアルコム・インコーポレイテッド 肌色領域及び顔領域に基づく視点検出器
CN103384865A (zh) * 2011-02-22 2013-11-06 高通股份有限公司 基于用户相对于移动平台的位置来提供经纠正的视图
US9342925B2 (en) 2011-07-28 2016-05-17 Sony Corporation Information processing apparatus, information processing method, and program
JP2016148899A (ja) * 2015-02-10 2016-08-18 嘉泰 小笠原 電子機器
US10078914B2 (en) 2013-09-13 2018-09-18 Fujitsu Limited Setting method and information processing device

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
JP4971483B2 (ja) * 2010-05-14 2012-07-11 任天堂株式会社 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法
EP2395474A3 (en) 2010-06-11 2014-03-26 Nintendo Co., Ltd. Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method
JP5261520B2 (ja) * 2011-03-08 2013-08-14 株式会社コナミデジタルエンタテインメント ゲームシステム及び、それに用いる制御方法
JP5829040B2 (ja) 2011-04-11 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP5745340B2 (ja) * 2011-06-02 2015-07-08 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP5586545B2 (ja) * 2011-09-09 2014-09-10 任天堂株式会社 ゲームシステム、携帯型ゲーム装置、情報処理部の制御方法、および情報処理部の制御プログラム
JP6255706B2 (ja) 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
JP6244954B2 (ja) 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6217437B2 (ja) * 2014-02-14 2017-10-25 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US9804667B2 (en) * 2015-02-10 2017-10-31 Nintendo Co., Ltd. Electronic apparatus
CN108367198A (zh) * 2016-10-24 2018-08-03 星捷力有限公司 一体式移动游戏控制器
KR102494681B1 (ko) 2018-04-13 2023-02-02 삼성전자주식회사 회전 가능한 반사 부재를 갖는 카메라 어셈블리 및 이를 포함하는 전자 장치
US10902685B2 (en) * 2018-12-13 2021-01-26 John T. Daly Augmented reality remote authoring and social media platform and system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084552A (ja) * 2000-09-07 2002-03-22 Fuji Xerox Co Ltd カラオケ用立体画像表示装置およびカラオケ用立体画像表示方法
JP2002351603A (ja) * 2001-05-25 2002-12-06 Mitsubishi Electric Corp 携帯情報処理装置
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
JP2006067469A (ja) * 2004-08-30 2006-03-09 Vodafone Kk 電子機器
JP2006201517A (ja) * 2005-01-20 2006-08-03 Pioneer Electronic Corp 立体表示装置及び立体表示方法
JP2008502206A (ja) * 2004-06-04 2008-01-24 エレクトロニック アーツ インコーポレイテッド デュアル・カメラ入力を用いたセンサ
JP2008033521A (ja) * 2006-07-27 2008-02-14 Namco Bandai Games Inc プログラム、情報記憶媒体、及び画像生成システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4681415A (en) * 1985-11-01 1987-07-21 Rafael Beer Multiple image photography system
US6144366A (en) * 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
GB2326732B (en) * 1997-06-28 2000-06-28 Malcolm Bailey Three dimensional imaging
WO1999035633A2 (en) * 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
US7023479B2 (en) * 2000-05-16 2006-04-04 Canon Kabushiki Kaisha Image input apparatus having addition and subtraction processing
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
JP4262017B2 (ja) * 2002-09-26 2009-05-13 キヤノン株式会社 画像生成装置及びその方法
JP2004274637A (ja) * 2003-03-12 2004-09-30 Nec Corp 携帯端末装置及びそれに用いるライト照度変更方法並びにそのプログラム
TWI231050B (en) * 2003-09-29 2005-04-11 Primax Electronics Ltd Moveable mirror module for an image capturing apparatus capable of taking multi angle pictures
JP3700857B2 (ja) 2004-03-03 2005-09-28 コナミ株式会社 ゲームプログラム及びゲーム装置
CN2731484Y (zh) * 2004-08-07 2005-10-05 鸿富锦精密工业（深圳）有限公司 数码相机模组
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
GB0505362D0 (en) 2005-03-15 2005-04-20 Intelligent Earth Ltd Interface control
US20060223635A1 (en) * 2005-04-04 2006-10-05 Outland Research method and apparatus for an on-screen/off-screen first person gaming experience
US20080211771A1 (en) * 2007-03-02 2008-09-04 Naturalpoint, Inc. Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment
US20090002797A1 (en) * 2007-06-27 2009-01-01 Wah Yiu Kwong Multi-directional camera for a mobile device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
JP2002084552A (ja) * 2000-09-07 2002-03-22 Fuji Xerox Co Ltd カラオケ用立体画像表示装置およびカラオケ用立体画像表示方法
JP2002351603A (ja) * 2001-05-25 2002-12-06 Mitsubishi Electric Corp 携帯情報処理装置
JP2008502206A (ja) * 2004-06-04 2008-01-24 エレクトロニック アーツ インコーポレイテッド デュアル・カメラ入力を用いたセンサ
JP2006067469A (ja) * 2004-08-30 2006-03-09 Vodafone Kk 電子機器
JP2006201517A (ja) * 2005-01-20 2006-08-03 Pioneer Electronic Corp 立体表示装置及び立体表示方法
JP2008033521A (ja) * 2006-07-27 2008-02-14 Namco Bandai Games Inc プログラム、情報記憶媒体、及び画像生成システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2305358A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013525906A (ja) * 2010-04-22 2013-06-20 クゥアルコム・インコーポレイテッド 肌色領域及び顔領域に基づく視点検出器
JP2012073790A (ja) * 2010-09-28 2012-04-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
US9071808B2 (en) 2010-09-28 2015-06-30 Nintendo Co., Ltd. Storage medium having stored information processing program therein, information processing apparatus, information processing method, and information processing system
CN103384865A (zh) * 2011-02-22 2013-11-06 高通股份有限公司 基于用户相对于移动平台的位置来提供经纠正的视图
JP2014506709A (ja) * 2011-02-22 2014-03-17 クアルコム，インコーポレイテッド ユーザのモバイルプラットフォームに対する位置に基づく補正像の提供
KR101554798B1 (ko) * 2011-02-22 2015-09-21 퀄컴 인코포레이티드 모바일 플랫폼에 대한 사용자의 포지션에 기초하여 교정된 뷰를 제공
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
CN103384865B (zh) * 2011-02-22 2016-12-21 高通股份有限公司 移动平台及用移动平台提供显示信息的方法和系统
US9342925B2 (en) 2011-07-28 2016-05-17 Sony Corporation Information processing apparatus, information processing method, and program
US10078914B2 (en) 2013-09-13 2018-09-18 Fujitsu Limited Setting method and information processing device
JP2016148899A (ja) * 2015-02-10 2016-08-18 嘉泰 小笠原 電子機器

Also Published As

Publication number Publication date
EP2457627A2 (en) 2012-05-30
EP2457627A3 (en) 2012-07-11
EP2305358A1 (en) 2011-04-06
CN104353241A (zh) 2015-02-18
EP2305358B1 (en) 2019-01-02
EP2305358A4 (en) 2011-08-03
US20110159957A1 (en) 2011-06-30
CN102076388A (zh) 2011-05-25
EP2457627B1 (en) 2014-06-25
US9662583B2 (en) 2017-05-30
CN104353241B (zh) 2017-08-25
CN102076388B (zh) 2015-04-08
JP5174908B2 (ja) 2013-04-03
JPWO2010001756A1 (ja) 2011-12-15

Similar Documents

Publication Publication Date Title
JP5174908B2 (ja) 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法
JP6785282B2 (ja) アバタによる生放送方法及び装置
JP5627973B2 (ja) ゲーム処理をするためのプログラム、装置、システムおよび方法
JP5483761B2 (ja) 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
US20110304710A1 (en) Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
WO2014002346A1 (ja) 映像処理装置、映像処理方法、および映像処理システム
JP2014238731A (ja) 画像処理装置、画像処理システム、および画像処理方法
US20120081568A1 (en) Storage medium recording information processing program, information processing method, information processing system and information processing device
WO2020110323A1 (ja) 動画合成装置、動画合成方法及び記録媒体
US20110157394A1 (en) Image processing apparatus, image processing method and program
JP7371264B2 (ja) 画像処理方法、電子機器及びコンピュータ可読記憶媒体
JP6771435B2 (ja) 情報処理装置および位置情報取得方法
JP5347802B2 (ja) 構図制御装置、撮像システム、構図制御方法、プログラム
WO2020110322A1 (ja) 動画合成装置、動画合成方法及び記録媒体
US11961194B2 (en) Non-uniform stereo rendering
JP2011113206A (ja) 映像コミュニケーションシステム、及び映像コミュニケーション方法
JP2020087429A (ja) 動画合成装置、動画合成方法及び動画合成プログラム
Tsuchiya et al. An optical design for avatar-user co-axial viewpoint telepresence
EP2827589A1 (en) Display device and device for adapting an information
CN114625468A (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
CN107426522B (zh) 基于虚拟现实设备的视频方法和系统
KR20190112407A (ko) 홀로포테이션 컨텐츠 운용 방법
JP7241628B2 (ja) 動画合成装置、動画合成方法、および動画合成プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980125218.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09773334

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010518999

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009773334

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13001862

Country of ref document: US