WO2017199460A1 - プログラム、コンピュータ装置、プログラム実行方法、及び、コンピュータシステム - Google Patents

プログラム、コンピュータ装置、プログラム実行方法、及び、コンピュータシステム Download PDF

Info

Publication number
WO2017199460A1
WO2017199460A1 PCT/JP2016/088520 JP2016088520W WO2017199460A1 WO 2017199460 A1 WO2017199460 A1 WO 2017199460A1 JP 2016088520 W JP2016088520 W JP 2016088520W WO 2017199460 A1 WO2017199460 A1 WO 2017199460A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
image
specific point
virtual
virtual camera
Prior art date
Application number
PCT/JP2016/088520
Other languages
English (en)
French (fr)
Inventor
一紀 伊藤
佑輔 清水
Original Assignee
株式会社スクウェア・エニックス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社スクウェア・エニックス filed Critical 株式会社スクウェア・エニックス
Priority to EP16902478.3A priority Critical patent/EP3461123A4/en
Priority to US16/302,407 priority patent/US10960310B2/en
Priority to CN201680085784.XA priority patent/CN109155835B/zh
Publication of WO2017199460A1 publication Critical patent/WO2017199460A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/27—Output arrangements for video game devices characterised by a large display in a public venue, e.g. in a movie theatre, stadium or game arena
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Definitions

  • the present invention relates to a program, a computer apparatus, a program execution method, and a computer system.
  • CG projection mapping
  • a building an object, or a space (hereinafter referred to as a building) using a projection device capable of projecting an image onto a projection surface.
  • a technique called video mapping or mapping projection is known.
  • Patent Document 1 when a guide image is projected by a projector onto the surface of sand in a container and a user creates a modeled object according to the guide image, an image changed according to the shape of the modeled model is created. A system for projecting onto a model is described.
  • projection mapping is for passively enjoying a projected image (hereinafter referred to as a projected image), and the user cannot change the image.
  • the technique described in Patent Document 1 merely measures real-world information (for example, the height of sand) and changes the projection image according to the measured information. I could't feel the presence of moving inside.
  • An object of at least one embodiment of the present invention is to provide a more interesting program, computer apparatus, program execution method, and system that allow a user to experience a virtual world full of realism. Objective.
  • the program is executed in a computer device that can communicate with or connect to a projection device that projects a projection image onto a projection surface, and the computer device identifies a projection image to be projected onto the projection surface.
  • This is a program that causes a specific point position changing unit to change the position of a specific point for the purpose and a transmission unit that transmits an image corresponding to the position of the specific point as a projection image to the projection apparatus.
  • the computer apparatus can communicate with or connect to a projection apparatus that projects a projection image onto a projection plane, and changes the position of a specific point for identifying the projection image projected onto the projection plane.
  • the computer device includes specific point position changing means and transmission means for transmitting an image corresponding to the position of the specific point as a projection image to the projection apparatus.
  • a program execution method executed in a computer device capable of communicating with or connecting to a projection device that projects a projection image onto a projection surface, for specifying the projection image to be projected onto the projection surface.
  • a program execution method comprising: changing a position of a specific point; and transmitting an image according to the position of the specific point to a projection apparatus as a projection image.
  • a computer system including a projection device that projects a projection image onto a projection surface, and a computer device that can communicate with or connect to the projection device, the computer device projects onto the projection surface.
  • Specific point position changing means for changing the position of a specific point for specifying a projection image to be transmitted, and transmission means for transmitting an image corresponding to the position of the specific point to the projection apparatus as a projection image
  • the projection apparatus comprising: It is a computer system provided with the projection means which projects the received image on a projection surface.
  • FIG. 1 is a block diagram showing a configuration of a computer apparatus corresponding to at least one of the embodiments of the present invention.
  • the computer device 4 includes at least a specific point position changing unit 201 and a transmitting unit 202.
  • the specific point position changing unit 201 has a function of changing the position of the specific point for specifying the projection image to be projected on the projection plane.
  • the transmission unit 202 has a function of transmitting an image corresponding to the position of the specific point as a projection image to the projection apparatus.
  • FIG. 2 is a flowchart of a program execution process corresponding to at least one of the embodiments of the present invention.
  • the computer apparatus 4 changes the position of the specific point for specifying the projection image that the projection apparatus projects onto the projection plane (step S1). Next, an image corresponding to the position of the specific point changed in step S1 is transmitted as a projection image to the projection apparatus (step S2), and the process ends.
  • the user can have a realistic experience as if he is moving in the virtual world, and the user's preference can be enhanced.
  • projection refers to, for example, projecting the appearance of an object on a flat surface or a curved surface.
  • image is, for example, a figure, a photograph, an image, graphics, etc., and may be a still image or a moving image.
  • projection plane refers to, for example, a plane or curved surface on which an image can be projected.
  • “Projection device” refers to a device capable of projection, such as a projector.
  • “Communication” refers to transmission / reception of data by, for example, wired or wireless communication.
  • Connecting means enabling devices to communicate with each other via a transmission medium such as a cable.
  • “Computer device” means, for example, a device that can process an operation according to execution of a program, and means a device that can be connected to another device by communication.
  • Specific point refers to, for example, a point used to specify a projection image projected on the projection plane, and is a concept including the position of the user character in the virtual space.
  • Changing the position means, for example, changing information related to the position to information different from the current information.
  • Transmission refers to, for example, sending an electrical signal, and is a concept including converting electronic information into an electrical signal and sending it to another device.
  • FIG. 3 is a block diagram showing a configuration of a computer apparatus corresponding to at least one of the embodiments of the present invention.
  • the computer device 4 includes at least a specific point position changing unit 211, a virtual camera position changing unit 212, an image generating unit 213, and a transmitting unit 214.
  • the specific point position changing unit 211 has a function of changing the position of the specific point for specifying the projection image to be projected onto the projection plane.
  • the virtual camera position changing unit 212 has a function of changing the position of the virtual camera in accordance with the change of the position of the specific point.
  • the image generation unit 213 has a function of generating an image by performing perspective transformation on the virtual three-dimensional space from the virtual camera onto the virtual screen.
  • the transmission unit 214 has a function of transmitting the generated image as a projection image to the projection apparatus.
  • FIG. 4 is a flowchart of the program execution process corresponding to at least one of the embodiments of the present invention.
  • the computer apparatus 4 changes the position of the specific point for specifying the projection image projected on the projection plane by the projection apparatus (step S11).
  • the position of the virtual camera is changed to the position of the specific point changed in step S11 (step S12).
  • step S13 the virtual three-dimensional space is perspective-transformed from the virtual camera onto the virtual screen to generate an image. Then, the image generated in step S13 is transmitted as a projection image to the projection apparatus (step S14), and the process ends.
  • the user changes the position of a specific point for specifying a projection image to be projected on the projection plane, and changes the position of the virtual camera according to the position of the specific point.
  • “virtual three-dimensional space” refers to, for example, a virtual space on a computer that is expressed in three dimensions.
  • the “virtual camera” refers to, for example, a camera whose viewpoint or angle of view when drawing CG is compared.
  • the “virtual screen” refers to, for example, a two-dimensional plane for projecting a scene in the virtual world photographed by a virtual camera as a planar image.
  • “perspective transformation” refers to a method of taking a virtual three-dimensional space from an arbitrary viewpoint such as a virtual camera and converting it to a perspective two-dimensional image. “Generate an image” means, for example, drawing an image based on information as a material.
  • FIG. 5 is a block diagram showing a configuration of a computer device corresponding to at least one of the embodiments of the present invention.
  • the computer device 4 includes at least a specific point position changing unit 221, a virtual camera position changing unit 222, an image generating unit 223, a first image generating unit 224, a second image generating unit 225, and a transmitting unit 226.
  • the specific point position changing unit 221 has a function of changing the position of the specific point for specifying the projection image to be projected on the projection plane.
  • the virtual camera position changing unit 222 has a function of changing the position of the virtual camera in accordance with the change of the position of the specific point.
  • the image generation unit 223 has a function of generating an image by performing perspective transformation on the virtual three-dimensional space from the virtual camera onto the virtual screen.
  • the first image generation unit 224 has a function of generating an image by performing perspective transformation on the first virtual screen from the first virtual camera corresponding to one projection plane.
  • the second image generation unit 225 has a function of generating an image by performing perspective transformation on the second virtual screen from the second virtual camera corresponding to another projection plane.
  • the transmission unit 226 has a function of transmitting the generated image as a projection image to the projection apparatus.
  • FIG. 6 is a flowchart of the program execution process corresponding to at least one of the embodiments of the present invention.
  • the computer apparatus 4 changes the position of the specific point for specifying the projection image projected on the projection plane by the projection apparatus (step S21).
  • the position of the virtual camera is changed to the position of the specific point changed in step S21 (step S22).
  • the virtual three-dimensional space is perspective-transformed on the first virtual screen from the first virtual camera corresponding to one projection plane to generate an image (step S23). Further, the second virtual camera corresponding to another projection plane is perspective-transformed on the second virtual screen to generate an image (step S24).
  • step S23 and step S24 are transmitted as a projection image to the projection apparatus (step S25), and the process ends.
  • the relative positional relationship of the first virtual screen with respect to the first virtual camera and the relative positional relationship of the second virtual screen with respect to the second virtual camera are the same, and the first virtual screen And the second virtual screen have the same angle as the predetermined angle.
  • two or more projection planes are installed at a predetermined angle, the relative positional relationship of the first virtual screen with respect to the first virtual camera, and the second virtual camera
  • the relative positional relationship between the second virtual screens is the same, and the virtual screens have the same angle as the angle formed between the projection surfaces, so that the positional relationship between the real-world projection surfaces and the virtual Since the positional relationship between the virtual cameras in the world can be made to correspond, it is possible to project the state of the virtual world onto a plurality of projection surfaces without a sense of incongruity.
  • “installation” means, for example, providing a projection surface.
  • “Angle” refers to, for example, an angle formed by installed projection surfaces.
  • the “relative positional relationship” refers to a relationship determined by, for example, a distance between two objects or a difference in height.
  • the virtual camera position changing unit 212 changes the position of the virtual camera while maintaining the relative positional relationship of the virtual camera with respect to the specific point.
  • the specific point is changed by a user operation instruction or a program command by changing the position of the virtual camera while maintaining the relative positional relationship of the virtual camera with respect to the specific point.
  • the position of the virtual camera can be changed according to the position of the specific point. Since the projected image changes, the user can feel as if he is moving in the virtual world.
  • FIG. 7 is a block diagram showing a system configuration corresponding to at least one of the embodiments of the present invention.
  • the system includes a plurality of light beam irradiation devices 1 (light beam irradiation devices 1a, 1b,... 1z), a projection surface 2 that emits light beams and projects an image from the projection device, and a light beam irradiation device.
  • An imaging device 3 that captures a reflected light beam irradiated from 1 to the projection surface 2
  • a computer device 4 that performs processing based on information about the captured light beam, and an image processed by the computer device 4 is projected onto the projection surface 2.
  • Projecting device 5 5.
  • the light irradiation device 1 can be used independently without being connected to other devices or the like. However, the light irradiation device 1 may be communicable with the computer device 4 and inputs a user instruction provided in the light irradiation device 1. An input signal may be transmitted to the computer apparatus 4 by a mechanism. Moreover, the light irradiation apparatus 1 may irradiate invisible light, may irradiate visible light, or may irradiate both.
  • the projection surface 2 is preferably made of a material that can reflect the light irradiated from the light irradiation device 1.
  • the imaging device 3 is connected to the computer device 4 via a wired or wireless communication line.
  • the computer device 4 is connected to the photographing device 3 and the projection device 5 via a wired or wireless communication line.
  • the projection device 5 is connected to the computer device 4 via a communication line.
  • the imaging device 3, the computer device 4, and the projection device 5 may be devices independent of each other, or may be a single device that is combined.
  • the light beam irradiation device 1 can be a device capable of irradiating two types of visible light and invisible light (for example, infrared light). By irradiating visible light, the user can easily grasp the position irradiated by himself / herself. Further, by irradiating invisible light, the light irradiation device 1 can be identified without being affected by the projected image.
  • invisible light for example, infrared light
  • an infrared ray can be used as the invisible ray of the light irradiation device 1, and an infrared sensor camera can be used for the photographing device 3.
  • a filter can be attached to the camera so that the infrared rays emitted from the player do not interfere with the operation. This is because the wavelength around 9 to 10 ⁇ m corresponding to infrared rays emitted by the human body is cut. It is preferable that the wavelength of the infrared ray emitted from the light irradiation device 1 is set so as not to be included in the above-described range of wavelengths to be cut.
  • FIG. 8 is a block diagram showing a configuration of a computer apparatus corresponding to at least one of the embodiments of the present invention.
  • the computer device 4 includes a control unit 11, a RAM (Random Access Memory) 12, a storage unit 13, a graphics processing unit 14, a video memory 15, a communication interface 16, a peripheral device connection interface 17, and a peripheral device 18. Connected by bus.
  • the control unit 11 includes a CPU (Central Processing Unit) and a ROM (Read Only Memory).
  • the control unit 11 executes a program stored in the storage unit 13 and controls the computer device 4.
  • the RAM 12 is a work area for the control unit 11.
  • the storage unit 13 is a storage area for storing programs and data.
  • the control unit 11 reads the program and data from the RAM 12 and performs processing.
  • the control unit 11 processes the program and data loaded in the RAM 12 to output a drawing command to the graphics processing unit 14.
  • the graphics processing unit 14 performs drawing of one image for each frame.
  • One frame time of an image is, for example, 1/30 second.
  • the graphics processing unit 14 is responsible for a part of arithmetic processing related to drawing and has a role of distributing the load of the entire system.
  • Peripheral device 18 (for example, an SD card, a camera for photographing, etc.) is connected to the peripheral device connection interface 17. Data read from the peripheral device 18 is loaded into the RAM 12 and arithmetic processing is executed by the control unit 11.
  • the communication interface 16 can be connected to the communication line 6 wirelessly or by wire, and can receive data via the communication line 6. Data received via the communication interface 16 is loaded into the RAM 12 in the same manner as data read from the peripheral device 18, and arithmetic processing is performed by the control unit 11.
  • the program execution process in the fifth embodiment of the present invention will be described.
  • a game program that represents a virtual world by hanging a projection device from a ceiling and projecting an image on a wall surface and a floor surface.
  • the user can perform an input operation by irradiating the image projected on the wall surface with a light beam from the light beam irradiation device.
  • An object such as a character that can be operated by the user may exist in the virtual world.
  • FIG. 9 is a block diagram showing a state in which an image is projected from the projection apparatus onto the projection surface, corresponding to at least one of the embodiments of the present invention.
  • FIG. 9A is a plan view of a state in which an image is projected from the projection device 5 onto the projection plane 2 when viewed from the ceiling toward the floor.
  • the projection surfaces 2a to 2d are installed so that the projection surfaces are perpendicular to each other so as to partition a substantially rectangular parallelepiped space.
  • the projection device 5 is hung from the ceiling substantially at the center of the partitioned space, and is installed so as to be able to project images onto projection surfaces 2a to 2d installed in four directions.
  • FIG. 9B is a plan view of a state in which an image is projected from the projection device 5 onto the projection plane 2 when viewed from the projection plane 2c toward the projection plane 2a.
  • the projection device 5 projects an image on the floor surface 7 as well as the projection surfaces 2a to 2d. That is, the projection device 5 projects an image on five surfaces.
  • FIG. 10 is a diagram illustrating the concept of a specific point, a virtual camera, and a virtual screen corresponding to at least one of the embodiments of the invention.
  • FIG. 10A is a conceptual diagram illustrating photographing with a virtual camera in a virtual three-dimensional space.
  • Figure 10 (a) the specific point 52a, the virtual camera 51a 1 and 51a 2 are taken from different directions.
  • An image photographed by the virtual camera 51a 1 is perspective-transformed on the virtual screen 50a 1 .
  • the image photographed by the virtual camera 51a 2 is perspective-transformed on the virtual screen 50a 2 .
  • the relative positional relationship between the virtual camera 51a 1 and the virtual screen 50a 1 is preferably the same as the relative positional relationship between the virtual camera 51a 2 and the virtual screen 50a 2.
  • the projection surface is placed so as to be perpendicular to each other, and the virtual screen 50a 1 and the virtual screen 50a 2, is provided so as to be perpendicular to each other.
  • FIG. 10B is a conceptual diagram illustrating changes in the positions of the virtual camera and the virtual screen when the position of the specific point changes.
  • position of the virtual camera 51a 2 is a front of the virtual camera 51a 2, it is changed to the position of the virtual camera 51b 2.
  • position of the virtual camera 51a 1 is right side of the virtual camera 51a 1, is changed to the position of the virtual camera 51b 1.
  • the position of the virtual screen is also changed with the change of the position of the virtual camera.
  • the position of the virtual camera 51a 1 is changed to the position of the virtual camera 51b 1
  • the position of the virtual screen 50a 1 is changed to the position of the virtual screen 50b 1 in the same plane.
  • the position of the virtual camera 51a 2 is changed to the position of the virtual camera 51b 2
  • the position of the virtual screen 50a 2 is changed to the position of the virtual screen 50b 2 in the same plane.
  • the virtual screen corresponds to the projection plane 2
  • the image that is perspective-transformed on the virtual screen is the same as the image projected from the projection device 5.
  • FIG. 11 is an example of a program execution screen corresponding to at least one of the embodiments of the present invention.
  • an image is projected from a projection device (not shown) to the front projection surface 2a, the right projection surface 2b toward the projection surface 2a, the left projection surface 2d toward the projection surface 2a, and the floor surface 7, respectively. Is projected.
  • a photographing device (not shown) for photographing each projection plane 2 is installed.
  • the front projection surface 2a displays a state in which the passage extends in the depth direction of the front so as to be able to proceed.
  • the left projection surface 2d displays a state in which the passage extends in the direction to be placed on the left side so as to be able to proceed. The user can understand from the front projection surface 2a how he can proceed to the left side.
  • the instruction display image 8 may be displayed in order to facilitate the determination of whether or not the vehicle can pass.
  • the instruction display image 8a displayed on the front projection surface 2a is projected onto the projection surface so as to indicate that the user can further proceed in the front direction.
  • the instruction display image 8d displayed on the left projection surface 2d is displayed on the projection surface so as to indicate that the user can further proceed in the left direction.
  • the user can use the light irradiation device 1 to instruct the traveling direction.
  • the imaging device 3 captures an image of the light beam irradiated from the light irradiation device 1 onto the projection plane 2, and the computer device 4 can recognize the instructed direction based on the captured information.
  • the photographing device 3 may photograph a part of the user's hand or foot so that the direction is indicated.
  • the user proceeds in the front direction.
  • the position of the virtual camera is also moved in the front direction, and an image corresponding to the position of the user is projected on the projection plane.
  • the instruction display image 8d when the instruction display image 8d is displayed, if the left direction is instructed by the light irradiation device, the user proceeds in the left direction. In this case, the position of the virtual camera also moves to the left, and an image corresponding to the position of the user is projected on the projection plane.
  • the program may be designed to end when the user satisfies a predetermined condition. For example, when the search for the virtual world is completed, the program may be terminated. Moreover, if it is a program of a game which performs a virtual battle with an enemy character, you may make it complete
  • FIG. 12 is a flowchart of the program execution process corresponding to at least one of the embodiments of the present invention.
  • step S101 when the program is executed, an image is generated in the graphics processing unit 14 of the computer device 4 (step S101). Until the game is over, the processes from step S102 to step S110 described later are repeated.
  • the communication line may be wired or wireless, and the type of the line is not limited. However, in order to perform the processing in the computer device 4 quickly, a facility capable of high-speed communication with little time lag is preferable.
  • the projection device 5 When the projection device 5 receives the image transmitted from the computer device 4 in step S102 (step S103), the projection device 5 projects the image onto the projection surface 2 (step S104).
  • the image capturing device 3 captures the irradiated light beam (step S105).
  • the imaging device 3 repeatedly executes imaging of the projection surface 2 at predetermined time intervals in order to determine whether or not the projection surface 2 has been irradiated with light rays.
  • the imaging device 3 transmits information regarding the light beam captured in step S105 to the computer device 4 (step S106).
  • the computer device 4 receives the information regarding the light beam transmitted from the imaging device 3 in step S106 (step S107), and proceeds with the program processing using the information regarding the light beam (hereinafter referred to as light beam information) as operation input information.
  • the light ray information is the operation input information, for example, it can be assumed that an input is made in the irradiated direction based on the direction in which the light ray is irradiated. Alternatively, it can be designed so that it is determined that an input operation has been performed when the position irradiated with the light beam is within a predetermined region of the projection surface 2.
  • the user can also use a plurality of light irradiation devices 1.
  • a method for identifying the irradiated light beam there is a method of designing the shape of the emitted light beam, the color of the emitted light beam, or the blinking pattern of the emitted light beam to be different for each light irradiation device.
  • the computer apparatus 4 determines the operation input information from the light beam information received in step S107, and changes the position of the specific point according to the operation input information (step S108).
  • the position of the specific point may correspond to the position of a character operated by the user (hereinafter referred to as a user character).
  • the change of the position of the specific point will be further described.
  • the position of the specific point corresponds to the position of the user character
  • the position of the user character changes according to the user's input operation
  • the position for specifying the projection image changes.
  • the case where the specific position does not correspond to the position of the user character means, for example, a case where the viewpoint of the virtual camera is switched by a user input operation.
  • the computer device 4 changes the position of the virtual camera in accordance with the position of the specific point changed in step S108 (step S109).
  • the position of the virtual camera may be a position corresponding to the viewpoint of the user character, or may be a position where the user character can be objectively viewed.
  • the computer apparatus 4 performs perspective transformation on the virtual screen from the position of the virtual camera changed in step S110 to generate an image to be projected (step S110). At this time, the position of the virtual camera corresponding to each projection plane 2 is changed according to the position of the specific point changed in step S108.
  • the image projected on the left projection plane 2d is projected.
  • the projection is changed and projected in the direction of the front projection plane 2a by the distance of two steps of the character so as to be linked to the forward movement of the projection image on the front projection plane 2a.
  • the projection image on the right projection surface 2b and the projection image on the floor surface 7 are projected while being changed in conjunction with each other.
  • the computer apparatus 4 transmits the generated projection image to the projection apparatus 5 (step S102).
  • a game to which the fifth embodiment can be applied for example, a game that a plurality of players advance in cooperation or a game for one person can be assumed.
  • Examples of the type of game include a role playing game (RPG), an escape game that escapes from a closed space, a racing game, and an action game. It is also possible to use a live video of an artist to create a simulation program like being in a live venue.
  • Flash registered trademark
  • JavaScript registered trademark
  • Unity registered trademark
  • the language may be a language similar to this, and can also be realized by a conventional C language or the like.
  • visible light and invisible light can be irradiated from the light beam irradiation device 1, but only invisible light may be irradiated.
  • the irradiation position of the invisible light is recognized by the computer device 4 based on the photographing data of the photographing device 3 that photographed the invisible light. Then, when the projection image on the projection device 5 is generated, a projection image obtained by synthesizing the aiming image may be generated.
  • the user can experience a realistic experience as if he / she is moving in the virtual world, and can enhance the user's preference.
  • the user changes the position of a specific point for specifying a projection image to be projected on the projection plane, and changes the position of the virtual camera in accordance with the position of the specific point.
  • two or more projection planes are installed at a predetermined angle, the relative positional relationship of the first virtual screen with respect to the first virtual camera, and the second virtual camera
  • the relative positional relationship between the second virtual screens is the same, and the virtual screens have the same angle as the angle formed between the projection surfaces, so that the positional relationship between the real-world projection surfaces and the virtual Since the positional relationship between virtual cameras in the world can be made to correspond, it is possible to project the state of the virtual world onto a plurality of projection surfaces without a sense of incongruity.
  • the virtual point can be changed by changing the specific point according to a user operation instruction.
  • the position of the camera can be changed, it is possible to give the user a sense of moving in the virtual world, the presence of the projected image can be enhanced, and the user's preference can be further enhanced .
  • the user by moving the user character in the virtual three-dimensional space according to the user's operation input, the user can experience a realistic virtual world, and the user's preference The sex can be increased.
  • the user can apply any place as long as the photographing device can photograph the light beam. You can easily experience a virtual world full of realism and enhance your preferences.
  • the user uses the system with an intuitive operation. You can experience a virtual world full of realism more easily.
  • the projection planes are installed in four directions so that one projection plane and another projection plane are perpendicular to each other, that is, so as to surround the user.
  • operation input refers to input performed on a projected image, for example.
  • the “user character” refers to, for example, a character that exists as a substitute for the user or a sub character that follows the character, and includes an object that acts together with the character.
  • the “light irradiation device” refers to, for example, a device that emits light, and includes a portable device and a device that is installed and used.
  • the “photographing device” refers to a device capable of photographing such as a video camera or an infrared sensor camera.
  • the “game program” refers to a program for executing a game, for example, and is executed on a computer device.
  • the system configuration in the sixth embodiment can employ the same configuration as that shown in the block diagram of FIG.
  • the light irradiation device 1 may be provided with at least one of an acceleration sensor and an optical sensor. Further, information measured by the sensor may be transmitted to the computer apparatus 4 by communication.
  • a VR (Virtual Reality) controller including at least either an acceleration sensor or an optical sensor may be used in place of the light irradiation device 1.
  • the configuration of the computer apparatus in the sixth embodiment of the present invention can adopt the same configuration as that shown in the block diagram of FIG. Moreover, the concept which projects an image on a projection surface from a projection apparatus can employ
  • step S105 in place of the light beam irradiation device 1, for example, when a VR controller including an acceleration sensor or a light sensor is used as the input device, the VR is performed without photographing the light beam by the photographing device 3. Information measured by the sensor of the controller may be used as operation input information.
  • step S106 operation input information from the VR controller is transmitted to the computer apparatus 4 by communication.
  • the acceleration sensor detects that the user has moved the controller from the front direction to the right side direction
  • a specific point is advanced in the right direction and the controller is swung down from top to bottom
  • the character may be jumped forward, or a plurality of controllers may be used to determine the operation input information based on the relative positional relationship between the position of one controller and the position of the other controller.
  • a reference position a reference position
  • the relative position relationship between the reference position and the position of the controller in the same plane as the floor surface on which the image is projected is used.
  • the operation input information can be determined.
  • the direction from the reference position to the position of the controller projected on the same plane as the floor surface can be set as the input direction.
  • the movement information can be used as operation input information.
  • the distance between the position of the controller projected on the same plane as the floor and the reference position may be used as the input amount.
  • the relative positional relationship with the reference position is not limited to plane position information.
  • specific operation input information may be determined when the position of the controller is relatively lower than the height of the reference position.
  • the photographing device 3 can specify the position of the user's head as the reference position, and can determine the operation input information based on the positional relationship with the controller held by the user.
  • the user can experience a virtual world full of realism, and the user's preference is more Can be increased.
  • a computer device Virtual camera position changing means for changing the position of the virtual camera in accordance with the change of the position of the specific point;
  • the virtual three-dimensional space is made to function as an image generation means for generating an image by performing perspective transformation from a virtual camera onto a virtual screen,
  • a transmission unit transmits the generated image to the projection apparatus as a projection image;
  • the program according to [1].
  • Image generating means First image generation means for generating a perspective image on the first virtual screen from a first virtual camera corresponding to one projection plane; Including second image generation means for generating a perspective image on the second virtual screen from a second virtual camera corresponding to another projection plane, The relative positional relationship of the first virtual screen with respect to the first virtual camera and the relative positional relationship of the second virtual screen with respect to the second virtual camera are the same, The first virtual screen and the second virtual screen have the same angle as the predetermined angle;
  • the program according to [2].
  • a computer apparatus Operation input accepting means for accepting user operation input,
  • the user character in the virtual three-dimensional space functions as a character moving means that moves,
  • the position of the specific point is corresponding to the position of the user character.
  • a photographing device for photographing a light beam irradiated on the projection surface from the light beam irradiation device The operation input accepting unit accepts a light beam photographed by the photographing device as an operation input.
  • the program according to any one of [1] to [5].
  • the specific point position changing means changes the position of the specific point in a direction perpendicular to the virtual screen corresponding to the projection plane irradiated with the light beam;
  • a computer apparatus capable of communicating with or connecting to a projection apparatus that projects a projection image onto a projection plane, Specific point position changing means for changing the position of a specific point for specifying a projection image to be projected on the projection plane;
  • a computer apparatus comprising: a transmission unit that transmits an image corresponding to the position of a specific point to a projection apparatus as a projection image.
  • a computer system including a projection device that projects a projection image onto a projection surface, and a computer device that can communicate with or connect to the projection device, Computer equipment Specific point position changing means for changing the position of a specific point for specifying a projection image to be projected on the projection plane; A transmission unit that transmits an image according to the position of the specific point to the projection apparatus as a projection image; Projector A computer system comprising projection means for projecting a received image onto a projection plane.

Abstract

ユーザが臨場感あふれる仮想世界を体験することが可能な、より趣向性の高いプログラム、コンピュータ装置、プログラム実行方法、及び、システムを提供することを目的とする。　投影画像を投影面に投影する投影装置と通信又は接続が可能なコンピュータ装置において実行されるプログラムであって、コンピュータ装置を、投影面に投影する投影画像を特定するための特定点の位置を変更する特定点位置変更手段、特定点の位置に応じた画像を、投影画像として投影装置に送信する送信手段として機能させる、プログラム。

Description

プログラム、コンピュータ装置、プログラム実行方法、及び、コンピュータシステム
　本発明は、プログラム、コンピュータ装置、プログラム実行方法、及び、コンピュータシステムに関する。
　従来より、画像を投影面に投影可能な投影装置を用いて、建築物や物体、あるいは空間等（以下、建築物等という）にコンピュータグラフィックス（以下、ＣＧという）を投影する、プロジェクションマッピング（ビデオマッピング、マッピングプロジェクションともいう）という技術が知られている。
　また、投影面に画像を投影するだけではなく、投影された画像を変化させる技術も知られている。例えば、特許文献１には、容器中の砂の表面にプロジェクタによってガイド画像を投影し、ユーザがガイド画像にしたがって造形物を作成すると、作成された造形物の形状にしたがって、変化させた画像を造形物に対して投影するシステムについて記載されている。
米国特許第８３８８１３９号
　通常、プロジェクションマッピングは、投影される画像（以下、投影画像という）を受動的に楽しむものであり、ユーザが画像を変化させることはできなかった。また、特許文献１に記載された技術は、現実世界の情報（例えば、砂の高さ）を測定し、測定された情報にしたがって投影画像を変化させているにすぎず、ユーザが仮想世界の中を移動しているような臨場感を体験できるものではなかった。
　本発明の少なくとも１つの実施の形態の目的は、ユーザが臨場感あふれる仮想世界を体験することが可能な、より趣向性の高いプログラム、コンピュータ装置、プログラム実行方法、及び、システムを提供することを目的とする。
　非限定的な観点によると、投影画像を投影面に投影する投影装置と通信又は接続が可能なコンピュータ装置において実行されるプログラムであって、コンピュータ装置を、投影面に投影する投影画像を特定するための特定点の位置を変更する特定点位置変更手段、特定点の位置に応じた画像を、投影画像として投影装置に送信する送信手段として機能させる、プログラムである。
　非限定的な観点によると、投影画像を投影面に投影する投影装置と通信又は接続が可能なコンピュータ装置であって、投影面に投影する投影画像を特定するための特定点の位置を変更する特定点位置変更手段と、特定点の位置に応じた画像を、投影画像として投影装置に送信する送信手段とを備える、コンピュータ装置である。
　非限定的な観点によると、投影画像を投影面に投影する投影装置と通信又は接続が可能なコンピュータ装置において実行されるプログラム実行方法であって、投影面に投影する投影画像を特定するための特定点の位置を変更するステップと、特定点の位置に応じた画像を、投影画像として投影装置に送信するステップとを有するプログラム実行方法である。
　非限定的な観点によると、投影画像を投影面に投影する投影装置と、該投影装置と通信又は接続が可能なコンピュータ装置とを備えたコンピュータシステムであって、コンピュータ装置が、投影面に投影する投影画像を特定するための特定点の位置を変更する特定点位置変更手段と、特定点の位置に応じた画像を、投影画像として投影装置に送信する送信手段とを備え、投影装置が、受信した画像を投影面に投影する投影手段を備える、コンピュータシステムである。
　本発明の各実施形態により１または２以上の不足が解決される。
本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。 本発明の実施の形態の少なくとも１つに対応する、プログラム実行処理のフローチャートである。 本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。 本発明の実施の形態の少なくとも１つに対応する、プログラム実行処理のフローチャートである。 本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。 本発明の実施の形態の少なくとも１つに対応する、プログラム実行処理のフローチャートである。 本発明の実施の形態の少なくとも１つに対応する、システムの構成を示すブロック図である。 本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。 本発明の実施の形態の少なくとも１つに対応する、投影装置から投影面に画像を投影した様子を表すブロック図である。 本発明の実施の形態の少なくとも１つに対応する、特定点、仮想カメラ、及び、仮想スクリーンの概念を表す図である。 本発明の実施の形態の少なくとも１つに対応する、プログラム実行画面の例である。 本発明の実施の形態の少なくとも１つに対応する、プログラム実行処理のフローチャートである。
　以下、添付図面を参照して、本発明の実施の形態について説明する。以下、効果に関する記載は、本発明の実施の形態の効果の一側面であり、ここに記載するものに限定されない。また、以下で説明するフローチャートを構成する各処理の順序は、処理内容に矛盾や不整合が生じない範囲で順不同である。
［第一の実施の形態］
　次に、本発明の第一の実施の形態の概要について説明をする。図１は、本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。コンピュータ装置４は、特定点位置変更部２０１、及び、送信部２０２を少なくとも備える。
　特定点位置変更部２０１は、投影面に投影する投影画像を特定するための特定点の位置を変更する機能を有する。送信部２０２は、特定点の位置に応じた画像を、投影画像として投影装置に送信する機能を有する。
　本発明の第一の実施の形態におけるプログラム実行処理について説明する。図２は、本発明の実施の形態の少なくとも１つに対応する、プログラム実行処理のフローチャートである。
　コンピュータ装置４は、投影装置が投影面に投影する投影画像を特定するための特定点の位置を変更する（ステップＳ１）。次に、ステップＳ１において変更された特定点の位置に応じた画像を、投影画像として投影装置に送信し（ステップＳ２）、終了する。
　第一の実施の形態の一側面として、ユーザは仮想世界内を移動しているような臨場感あふれる体験をすることができ、ユーザの趣向性を高めることができる。
　第一の実施の形態において、「投影」とは、例えば、物の姿を平面又は曲面に映し出すことをいう。「画像」とは、例えば、図形や写真、イメージ、グラフィックス等であり、静止画、動画のいずれであってもよい。「投影面」とは、例えば、画像を投影可能な平面又は曲面をいう。
　「投影装置」とは、例えば、プロジェクタ等、投影が可能な装置をいう。「通信」とは、例えば、有線又は無線の通信により、データの送受信を行うことをいう。「接続」とは、例えば、ケーブル等の伝送媒体を介して機器同士を通信可能にすることをいう。「コンピュータ装置」とは、例えば、プログラムの実行にしたがって演算を処理することができる装置をいい、他の装置と通信により接続可能な装置をいう。
　「特定点」とは、例えば、投影面に投影する投影画像を特定するために用いられる点をいい、ユーザキャラクタの仮想空間内の位置等を含む概念である。「位置を変更」とは、例えば、位置に関する情報に関して、現在の情報とは異なる情報に変更することをいう。「送信」とは、例えば、電気信号を送ることをいい、電子情報を電気信号に変換して他の機器に送ることも含む概念である。
［第二の実施の形態］
　次に、本発明の第二の実施の形態の概要について説明をする。図３は、本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。コンピュータ装置４は、特定点位置変更部２１１、仮想カメラ位置変更部２１２、画像生成部２１３、及び、送信部２１４を少なくとも備える。
　特定点位置変更部２１１は、投影面に投影する投影画像を特定するための特定点の位置を変更する機能を有する。仮想カメラ位置変更部２１２は、特定点の位置の変更に伴って仮想カメラの位置を変更する機能を有する。
　画像生成部２１３は、仮想３次元空間を、仮想カメラから仮想スクリーン上に透視変換をして画像を生成する機能を有する。送信部２１４は、生成された画像を投影画像として投影装置に送信する機能を有する。
　本発明の第二の実施の形態におけるプログラム実行処理について説明する。図４は、本発明の実施の形態の少なくとも１つに対応する、プログラム実行処理のフローチャートである。
　コンピュータ装置４は、投影装置が投影面に投影する投影画像を特定するための特定点の位置を変更する（ステップＳ１１）。次に、ステップＳ１１において変更された特定点の位置に、仮想カメラの位置を変更する（ステップＳ１２）。
　さらに、仮想３次元空間を、仮想カメラから仮想スクリーン上に透視変換をして画像を生成する（ステップＳ１３）。そして、ステップＳ１３において生成された画像を投影画像として投影装置に送信し（ステップＳ１４）、終了する。
　第二の実施の形態の一側面として、投影面に投影する投影画像を特定するための特定点の位置を変更し、特定点の位置に応じて仮想カメラの位置を変更することで、ユーザが仮想世界内を移動しているような感覚を与えることが可能となり、投影画像の臨場感を高め、かつ、ユーザの趣向性をより高めることができる。
　第二の実施の形態において、「投影」、「画像」、「投影面」、「投影装置」、「通信」、「接続」、「コンピュータ装置」、「特定点」、「位置を変更」、及び、「送信」とは、それぞれ第一の実施の形態において記載した内容と同一である。
　第二の実施の形態において、「仮想３次元空間」とは、例えば、コンピュータ上の仮想的な空間であって、三次元で表現される空間をいう。「仮想カメラ」とは、例えば、ＣＧを描くときの視点又は画角をカメラに例えたものをいう。「仮想スクリーン」とは、例えば、仮想カメラにより撮影された仮想世界内の光景を、平面画像として投影するための２次元の平面をいう。
　第二の実施の形態において、「透視変換」とは、例えば、仮想カメラのような任意の視点から仮想３次元空間を撮影し、遠近感をもった２次元画像に変換する方法をいう。「画像を生成」とは、例えば、素材となる情報をもとに、画像を描写することをいう。
［第三の実施の形態］
　次に、本発明の第三の実施の形態の概要について説明をする。第三の実施の形態において、少なくとも２つ以上の投影面を有しており、一の投影面と、他の投影面とが、所定の角度を有して設置されるものである。
　図５は、本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。コンピュータ装置４は、特定点位置変更部２２１、仮想カメラ位置変更部２２２、画像生成部２２３、第一画像生成部２２４、第二画像生成部２２５、及び、送信部２２６を少なくとも備える。
　特定点位置変更部２２１は、投影面に投影する投影画像を特定するための特定点の位置を変更する機能を有する。仮想カメラ位置変更部２２２は、特定点の位置の変更に伴って仮想カメラの位置を変更する機能を有する。
　画像生成部２２３は、仮想３次元空間を、仮想カメラから仮想スクリーン上に透視変換をして画像を生成する機能を有する。第一画像生成部２２４は、一の投影面に対応する第一仮想カメラから第一仮想スクリーン上に透視変換して画像を生成する機能を有する。第二画像生成部２２５は、他の投影面に対応する第二仮想カメラから第二仮想スクリーン上に透視変換して画像を生成する機能を有する。送信部２２６は、生成された画像を投影画像として投影装置に送信する機能を有する。
　本発明の第三の実施の形態におけるプログラム実行処理について説明する。図６は、本発明の実施の形態の少なくとも１つに対応する、プログラム実行処理のフローチャートである。
　コンピュータ装置４は、投影装置が投影面に投影する投影画像を特定するための特定点の位置を変更する（ステップＳ２１）。次に、ステップＳ２１において変更された特定点の位置に、仮想カメラの位置を変更する（ステップＳ２２）。
　さらに、仮想３次元空間を、一の投影面に対応する第一仮想カメラから第一仮想スクリーン上に透視変換して画像を生成する（ステップＳ２３）。また、他の投影面に対応する第二仮想カメラから第二仮想スクリーン上に透視変換して画像を生成する（ステップＳ２４）。
　そして、ステップＳ２３及びステップＳ２４において生成された画像を投影画像として投影装置に送信し（ステップＳ２５）、終了する。
　第三の実施の形態において、第一仮想カメラに対する第一仮想スクリーンの相対的な位置関係と、第二仮想カメラに対する第二仮想スクリーンの相対的な位置関係とが同一であり、第一仮想スクリーンと、第二仮想スクリーンとが前記所定の角度と同一の角度を有するものである。
　第三の実施の形態の一側面として、２つ以上の投影面が所定の角度を有して設置され、第一仮想カメラに対する第一仮想スクリーンの相対的な位置関係と、第二仮想カメラに対する第二仮想スクリーンの相対的な位置関係とが同一であり、かつ、投影面同士が成す角度と同一の角度を、仮想スクリーン同士が有することにより、現実世界の投影面間の位置関係と、仮想世界の仮想カメラ間の位置関係とを対応させることができるため、複数の投影面に違和感なく仮想世界の様子を投影させることができる。
　第三の実施の形態において、「投影」、「画像」、「投影面」、「投影装置」、「通信」、「接続」、「コンピュータ装置」、「特定点」、「位置を変更」、及び、「送信」とは、それぞれ第一の実施の形態において記載した内容と同一である。
　第三の実施の形態において、「仮想３次元空間」、「仮想カメラ」、「仮想スクリーン」、「透視変換」、及び、「画像を生成」とは、それぞれ第二の実の施形態において記載した内容と同一である。
　第三の実施の形態において、「設置」とは、例えば、投影面を備えつけることをいう。「角度」とは、例えば、設置された投影面同士が成す角度をいう。「相対的な位置関係」とは、例えば、２つの物体間の距離や高さの違い等により定められる関係をいう。
［第四の実施の形態］
　次に、本発明の第四の実施の形態の概要について説明をする。第四の実施の形態におけるコンピュータ装置の構成は、図３のブロック図に示されるものと同じ構成を採用することができる。さらに、第四の実施の形態におけるプログラム実行処理のフローは、図４のフローチャートに示されるものと同じ構成を採用することができる。
　第四の実施の形態において、仮想カメラ位置変更部２１２は、特定点に対する仮想カメラの相対的な位置関係を維持しながら、仮想カメラの位置を変更するものである。
　第四の実施の形態の一側面として、特定点に対する仮想カメラの相対的な位置関係を維持しながら、仮想カメラの位置を変更することにより、ユーザの操作指示やプログラムの指令により特定点が変更した場合に、特定点の位置に応じて、仮想カメラの位置を変更することができる。投影される画像が変化するため、ユーザは仮想世界内を移動しているような感覚を得ることができる。
　第四の実施の形態において、「投影」、「画像」、「投影面」、「投影装置」、「通信」、「接続」、「コンピュータ装置」、「特定点」、「位置を変更」、及び、「送信」とは、それぞれ第一の実施の形態において記載した内容と同一である。
　第四の実施の形態において、「仮想３次元空間」、「仮想カメラ」、「仮想スクリーン」、「透視変換」、及び、「画像を生成」とは、それぞれ第二の実施の形態において記載した内容と同一である。
［第五の実施の形態］
　次に、本発明の第五の実施の形態の概要について説明をする。第五の実施の形態において、少なくとも２つ以上の投影面を有しており、一の投影面と、他の投影面とが、所定の角度を有して設置されるものである。
　次に、本発明の第五の実施の形態の概要について説明する。図７は、本発明の実施の形態の少なくとも１つに対応する、システムの構成を示すブロック図である。図示するように、システムは、複数の光線照射装置１（光線照射装置１ａ、１ｂ・・・１ｚ）と、光線を照射し、かつ、投影装置から画像を投影する投影面２と、光線照射装置１から投影面２へ照射されて反射した光線を撮影する撮影装置３と、撮影した光線に関する情報に基づいて処理を行うコンピュータ装置４と、コンピュータ装置４により処理された画像を投影面２へ投影する投影装置５とから構成される。
　光線照射装置１は、他の装置等と接続されずに独立して使用され得るが、コンピュータ装置４と通信可能であってもよく、光線照射装置１に備えられた、ユーザの指示を入力する機構によりコンピュータ装置４へ入力信号を送信可能としてもよい。また、光線照射装置１は、不可視光を照射するものであってもよいし、可視光を照射できるものであってもよく、両方を照射するものであってもよい。
　投影面２は、光線照射装置１から照射された光線を反射可能な材質であることが好ましい。撮影装置３は、コンピュータ装置４と有線又は無線の通信回線を介して接続されている。コンピュータ装置４は、撮影装置３及び投影装置５と有線又は無線の通信回線を介して接続されている。投影装置５は、通信回線を介してコンピュータ装置４と接続されている。撮影装置３、コンピュータ装置４、及び投影装置５は、互いに独立した機器であってもよいし、複合した単体の機器であってもよい。
　本実施形態の一例として、光線照射装置１は、可視光線と不可視光線（例えば、赤外光線等）の二種類を照射可能な装置とすることができる。可視光線を照射することでユーザは、自身が照射している位置を容易に把握することができる。また、不可視光線を照射することで、投影される映像に影響されることなく、光線照射装置１を識別できる。
　本実施形態の一例として、光線照射装置１の不可視光線として赤外光線を使用し、撮影装置３には赤外線センサカメラを用いることができる。ここで、プレイヤから発せられる赤外線が操作の邪魔をしないように、カメラにフィルタを取り付けることができる。人体が発する赤外線に相当する９～１０μｍ前後の波長をカットするためである。光線照射装置１の発する赤外光線の波長は、前述のカットする波長の範囲に含まれないように設定することが好ましい。
　図８は、本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。コンピュータ装置４は、制御部１１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２、ストレージ部１３、グラフィックス処理部１４、ビデオメモリ１５、通信インタフェース１６、周辺機器接続インタフェース１７、及び周辺機器１８からなり、それぞれ内部バスにより接続されている。
　制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）から構成される。制御部１１は、ストレージ部１３に格納されたプログラムを実行し、コンピュータ装置４の制御を行なう。ＲＡＭ１２は、制御部１１のワークエリアである。ストレージ部１３は、プログラムやデータを保存するための記憶領域である。
　制御部１１は、プログラム及びデータをＲＡＭ１２から読み出して処理を行なう。制御部１１は、ＲＡＭ１２にロードされたプログラム及びデータを処理することで、描画命令をグラフィックス処理部１４に出力する。
　グラフィックス処理部１４は、フレーム単位で１枚の画像の描画を実行する。画像の１フレーム時間は、例えば３０分の１秒である。グラフィックス処理部１４は描画に関する演算処理の一部を受け持ち、システム全体の負荷を分散させる役割を有する。
　周辺機器接続インタフェース１７には周辺機器１８（例えば、ＳＤカード、撮影用カメラ等）が接続される。周辺機器１８から読み込まれたデータはＲＡＭ１２にロードされ、制御部１１により演算処理が実行される。
　通信インタフェース１６は、無線又は有線により通信回線６に接続が可能であり、通信回線６を介してデータを受信することが可能である。通信インタフェース１６を介して受信したデータは、周辺機器１８から読み込まれたデータと同様に、ＲＡＭ１２にロードされ、制御部１１により演算処理が行われる。
　本発明の第五の実施の形態におけるプログラム実行処理について説明する。本発明の第五の実施の形態の一例として、投影装置を天井から吊るし、壁面及び床面に画像を投影することで、仮想世界を表現するゲームプログラムが挙げられる。ユーザは、壁面に投影された画像に対して、光線照射装置から光線を照射することで、入力操作を行うことができる。仮想世界には、ユーザが操作可能なキャラクタ等のオブジェクトが存在してもよい。
　図９は、本発明の実施の形態の少なくとも１つに対応する、投影装置から投影面に画像を投影した様子を表すブロック図である。図９（ａ）は、投影装置５から投影面２へ画像を投影した様子を、天井から床面に向かって正面視した場合の平面図である。
　投影面２ａ～２ｄは、略直方体状の空間を仕切るように、投影面が互いに垂直となるように設置されている。投影装置５は、仕切られた空間の略中央に天井から吊るされ、四方に設置された投影面２ａ～２ｄへ画像を投影可能に設置されている。
　図９（ｂ）は、投影装置５から投影面２へ画像を投影した様子を、投影面２ｃから投影面２ａに向かって正面視した場合の平面図である。投影装置５は、投影面２ａ～２ｄだけでなく、床面７へも画像を投影する。すなわち、投影装置５は、五つの面に対して画像を投影するものである。
　次に、投影装置から投影する画像の内容について説明する。図１０は、本発明の実施の形態の少なくとも１つに対応する、特定点、仮想カメラ、及び、仮想スクリーンの概念を表す図である。
　図１０（ａ）は、仮想３次元空間内の仮想カメラによる撮影を説明した概念図である。図１０（ａ）では、特定点５２ａを、仮想カメラ５１ａ１及び５１ａ２が異なる方向から撮影している。仮想カメラ５１ａ１において撮影された画像は、仮想スクリーン５０ａ１において透視変換される。また、仮想カメラ５１ａ２において撮影された画像は、仮想スクリーン５０ａ２において透視変換される。
　ここで、仮想カメラ５１ａ１と仮想スクリーン５０ａ１との相対的な位置関係は、仮想カメラ５１ａ２と仮想スクリーン５０ａ２との相対的な位置関係と同一であることが好ましい。また、投影面が互いに垂直となるように設置されているのと同様に、仮想スクリーン５０ａ１と仮想スクリーン５０ａ２とは、互いに垂直となるように設けられる。このように設計することで、複数の投影面に違和感なく仮想世界の様子を投影させることができる。
　次に、特定点の位置の変化について説明する。仮想カメラの位置は、特定点に対する相対的な位置関係を維持しながら変化することが好ましい。図１０（ｂ）は、特定点の位置が変化した場合に、仮想カメラ及び仮想スクリーンの位置の変化について説明した概念図である。
　ユーザの入力操作又はプログラムの処理等により、特定点５２ａの位置が特定点５２ｂの位置に変化した場合に、仮想カメラの位置は、特定点に対する相対的な位置関係を維持するものであるため、仮想カメラ５１ａ２の位置は、仮想カメラ５１ａ２の前方である、仮想カメラ５１ｂ２の位置に変更される。同様に、仮想カメラ５１ａ１の位置は、仮想カメラ５１ａ１の右方である、仮想カメラ５１ｂ１の位置に変更される。
　また、仮想カメラの位置の変更に伴って、仮想スクリーンの位置も変更される。仮想カメラ５１ａ１の位置が仮想カメラ５１ｂ１の位置に変更されると、同一平面内で、仮想スクリーン５０ａ１の位置は、仮想スクリーン５０ｂ１の位置に変更される。仮想カメラ５１ａ２の位置が仮想カメラ５１ｂ２の位置に変更されると、同一平面内で、仮想スクリーン５０ａ２の位置は、仮想スクリーン５０ｂ２の位置に変更される。
　なお、仮想スクリーンは、投影面２に対応するものであり、仮想スクリーン上に透視変換された画像は、投影装置５から投影される画像と同一である。
　図１１は、本発明の実施の形態の少なくとも１つに対応する、プログラム実行画面の例である。図中には、正面の投影面２ａ、投影面２ａに向かって右側の投影面２ｂ、投影面２ａに向かって左側の投影面２ｄ、及び、床面７にそれぞれ投影装置（非図示）から画像が投影されている。また、各々の投影面２を撮影する撮影装置（非図示）が設置されている。
　また、ユーザは、一例として、投影装置の直下に立ち、四方の投影面に囲まれているものとする。画像には、図示するように、洞窟の通路の様子が表示されている。
　正面の投影面２ａには、進行可能であるように、正面奥方向に通路が伸びている様子が表示されている。同様に、左側の投影面２ｄには、進行可能であるように、左側置く方向に通路が伸びている様子が表示されている。左側へ進行可能である様子は、正面の投影面２ａの様子からもユーザは理解することができる。
　一方、右側の投影面２ｂには、進行不可能であるように、壁面が連なっている様子が表示されている。ユーザは、壁面を越えて進行できないことを視覚的に理解することができる。
　通行可能か否かの判断を容易にするために、指示表示画像８を表示するようにしてもよい。例えば、図１１において、正面の投影面２ａに表示される指示表示画像８ａは、ユーザが更に正面方向に進行可能であることを表すように、投影面に投影される。
　同様に、左側の投影面２ｄに表示される指示表示画像８ｄは、ユーザが更に左側方向に進行可能であることを表すように、投影面に表示される。
　ユーザは、光線照射装置１を用いて、進行する方向を指示することが可能である。光線照射装置１から投影面２に照射される光線を、撮影装置３が撮影し、撮影された情報に基づいて、コンピュータ装置４は、指示された方向を認識することができる。光線照射装置１を用いずに、ユーザの手や足等体の一部を撮影装置３が撮影することで、方向を指示するようにしてもよい。
　指示表示画像８ａが表示されている場合に、光線照射装置により正面方向が指示されると、ユーザは正面方向に進行する。この場合に、仮想カメラの位置も正面方向に移動し、ユーザの位置に応じた画像が投影面に投影される。
　また、指示表示画像８ｄが表示されている場合に、光線照射装置により左方向が指示されると、ユーザは左方向に進行する。この場合に、仮想カメラの位置も左方向に移動し、ユーザの位置に応じた画像が投影面に投影される。
　ユーザが所定の条件を満たした場合には、プログラムを終了するように設計してもよい。所定の条件とは、例えば、仮想世界を探索完了した場合には、プログラムを終了するようにしてもよい。また、敵キャラクタと仮想戦闘を行うようなゲームのプログラムであれば、敵キャラクタに勝利する、又は、敗北すると、プログラムが終了するようにしてもよい。さらに、時間制限があるゲームのプログラムであれば、所定の時間に到達した場合にプログラムが終了するようにしてもよい。
　続いて、本発明の第五の実施の形態のプログラムの実行処理について説明する。図１２は、本発明の実施の形態の少なくとも１つに対応する、プログラム実行処理のフローチャートである。
　最初に、プログラムが実行されると、コンピュータ装置４のグラフィックス処理部１４において画像を生成する（ステップＳ１０１）。ゲームが終了するまで、後述するステップＳ１０２からステップＳ１１０までの処理を繰り返す。
　次に、通信インタフェース１６を介して投影装置５へ画像を送信する（ステップＳ１０２）。ここで通信回線は有線でも無線でもよく、回線の種別は問わないが、コンピュータ装置４における処理を迅速に行うために、タイムラグの生じにくい高速通信が可能な設備が好ましい。
　投影装置５は、ステップＳ１０２においてコンピュータ装置４から送信された画像を受信すると（ステップＳ１０３）、投影面２に対して画像を投影する（ステップＳ１０４）。
　投影された画像に対して、ユーザが光線照射装置１を用いて光線を照射すると、撮影装置３は、照射された光線を撮影する（ステップＳ１０５）。撮影装置３は、投影面２に光線が照射されたか否か判定するために、所定の時間毎に投影面２の撮影を繰り返し実行する。
　撮影装置３は、ステップＳ１０５において撮影した光線に関する情報をコンピュータ装置４へ送信する（ステップＳ１０６）。コンピュータ装置４は、ステップＳ１０６において撮影装置３から送信された光線に関する情報を受信し（ステップＳ１０７）、光線に関する情報（以下、光線情報という）を操作入力情報としてプログラムの処理を進める。
　光線情報を操作入力情報とするとは、例えば、光線が照射された方向に基づいて、照射された方向に入力がなされたとすることができる。あるいは、光線が照射された位置が、投影面２の所定の領域内である場合に、入力操作がなされたと判定されるように設計することも可能である。
　また、ユーザは複数の光線照射装置１を用いることもできる。照射された光線を識別する方法としては、光線照射装置毎に、発せられる光線の形状、発せられる光線の色、あるいは、発せられる光線の点滅パターンを異なるように設計する等の方法がある。
　コンピュータ装置４は、ステップＳ１０７において受信した光線情報から操作入力情報を判定し、操作入力情報にしたがって、特定点の位置を変更する（ステップＳ１０８）。ここで、特定点の位置は、ユーザの操作するキャラクタ（以下、ユーザキャラクタという）の位置と対応するものであってもよい。
　ここで、特定点の位置の変更について、さらに説明する。特定点の位置がユーザキャラクタの位置と対応する場合は、例えば、ユーザの入力操作にしたがって、ユーザキャラクタの位置が変化し、投影画像を特定するための位置が変化するものである。一方、特定の位置がユーザキャラクタの位置と対応しない場合とは、例えば、ユーザの入力操作により、仮想カメラの視点が切り替わる場合をいう。
　さらに、コンピュータ装置４は、ステップＳ１０８において変更した特定点の位置に伴って、仮想カメラの位置を変更する（ステップＳ１０９）。仮想カメラの位置は、ユーザキャラクタの視点と対応する位置にあってもよいし、ユーザキャラクタを客観的に見ることが可能な位置にあってもよい。仮想カメラの位置と特定点の位置とが連動することにより、ユーザの操作指示にしたがって、仮想世界内を自由に移動することが可能となる。
　コンピュータ装置４は、ステップＳ１１０において変更された仮想カメラの位置から、仮想スクリーン上に透視変換して、投影する画像を生成する（ステップＳ１１０）。このとき、ステップＳ１０８において変更された特定点の位置にしたがって、各々の投影面２に対応する仮想カメラの位置が変更される。
　例えば、図１１において、正面の投影面２ａに対して、キャラクタが２歩進む距離だけ前進するように仮想カメラの位置が変更された場合に、左側の投影面２ｄに投影される画像は、投影されていた位置から、正面の投影面２ａの方向に、キャラクタ２歩分の距離だけ、正面の投影面２ａの投影画像の前進する動きと連動するように変化して投影される。右側の投影面２ｂの投影画像や、床面７の投影画像も同様に、連動するように変化して投影される。
　ステップＳ１１０において投影画像が生成されると、コンピュータ装置４は、生成された投影画像を投影装置５へ送信する（ステップＳ１０２）。
　第五の実施の形態を適用可能なゲームとして、例えば、複数のプレイヤが協力して進めるゲームや、一人用のゲームが想定され得る。ゲームの種類として、ロールプレイングゲーム（ＲＰＧ）や、閉ざされた空間から脱出する脱出ゲーム、レーシングゲーム、アクションゲーム等が挙げられる。また、アーティストのライブ動画を用いて、ライブ会場にいるようなシミュレーションプログラムとすることもできる。
　第五の実施の形態を実現するために用いるプログラムとしては、例えば、Ｆｌａｓｈ（登録商標）のＡｃｔｉｏｎＳｃｒｉｐｔや、ＪａｖａＳｃｒｉｐｔ（登録商標）、あるいは、Ｕｎｉｔｙ等を用いることが好ましい。言語は、これに類する言語であってもよく、また、従来より存在するＣ言語等でも実現することは可能である。
　第五の実施の形態では、光線照射装置１から可視光と不可視光とを照射可能としたが、不可視光だけ照射できるものとしてもよい。この場合は、例えば、不可視光を撮影した撮影装置３の撮影データにより、不可視光の照射位置がコンピュータ装置４に認識される。そして、投影装置５への投影画像を生成する際に、照準画像を合成した投影画像を生成するようにしてもよい。
　第五の実施の形態の一側面として、ユーザは、仮想世界内を移動しているような臨場感あふれる体験することができ、ユーザの趣向性を高めることができる。
　第五の実施の形態の一側面として、投影面に投影する投影画像を特定するための特定点の位置を変更し、特定点の位置に応じて仮想カメラの位置を変更することで、ユーザが仮想世界内を移動しているような感覚を与えることが可能となり、投影画像の臨場感を高め、かつ、ユーザの趣向性をより高めることができる。
　第五の実施の形態の一側面として、２つ以上の投影面が所定の角度を有して設置され、第一仮想カメラに対する第一仮想スクリーンの相対的な位置関係と、第二仮想カメラに対する第二仮想スクリーンの相対的な位置関係とが同一であり、かつ、投影面同士が成す角度と同一の角度を、仮想スクリーン同士が有することにより、現実世界の投影面間の位置関係と、仮想世界の仮想カメラ間の位置関係を対応させることができるため、複数の投影面に違和感なく仮想世界の様子を投影させることができる。
　第五の実施の形態の一側面として、特定点に対する仮想カメラの相対的な位置関係を維持しながら、仮想カメラの位置を変更することにより、ユーザの操作指示により特定点を変更することで仮想カメラの位置を変更することができ、ユーザが仮想世界内を移動しているような感覚を与えることが可能となり、投影画像の臨場感を高め、かつ、ユーザの趣向性をより高めることができる。
　第五の実施の形態の一側面として、ユーザの操作入力に応じて、仮想３次元空間内のユーザキャラクタを移動させることにより、ユーザは臨場感あふれる仮想世界を体験することができ、ユーザの趣向性をより高めることができる。
　第五の実施の形態の一側面として、撮影装置により撮影された光線を操作入力として受け付けることにより、撮影装置が光線を撮影可能な場所であれば、場所を問わず適用できるため、ユーザはより手軽に臨場感あふれる仮想世界を体験することができ、ユーザの趣向性をより高めることができる。
　第五の実施の形態の一側面として、光線が照射された投影面に対応する仮想スクリーンに垂直な方向に、特定点の位置を変更することにより、ユーザは直感的な操作でシステムを利用することができ、より手軽に臨場感あふれる仮想世界を体験することができる。
　第五の実施の形態の一側面として、一の投影面と、他の投影面とが、互いに垂直となるように、すなわち、ユーザを囲むように、四方に投影面が設置され、さらに、床面にも画像が投影されることで、ユーザは臨場感あふれる仮想世界を体験することができ、ユーザの趣向性をより高めることができる。
　第五の実施の形態において、「投影」、「画像」、「投影面」、「投影装置」、「通信」、「接続」、「コンピュータ装置」、「特定点」、「位置を変更」、及び、「送信」とは、それぞれ第一の実施の形態において記載した内容と同一である。
　第五の実施の形態において、「仮想３次元空間」、「仮想カメラ」、「仮想スクリーン」、「透視変換」、及び、「画像を生成」とは、それぞれ第二の実施の形態において記載した内容と同一である。
　第五の実施の形態において、「操作入力」とは、例えば、投影された画像に対して行う入力をいう。「ユーザキャラクタ」とは、例えば、ユーザの代替として存在するキャラクタ、あるいは、キャラクタに従うサブキャラクタをいい、キャラクタと行動を共にするオブジェクトを含むものである。
　第五の実施の形態において、「光線照射装置」とは、例えば、光線を照射する装置をいい、携帯可能なものや設置して使用するものを含む。「撮影装置」とは、例えば、ビデオカメラや赤外線センサカメラ等、撮影が可能な装置をいう。「ゲームプログラム」とは、例えば、ゲームを実行するためのプログラムをいい、コンピュータ装置において実行されるものをいう。
　［第六の実施の形態］
　次に、本発明の第六の実施の形態の概要について説明をする。第六の実施の形態においては、第五の実施の形態と同様に、少なくとも２つ以上の投影面を有しており、一の投影面と、他の投影面とが、所定の角度を有して設置されるものである。
　次に、本発明の第六の実施の形態の概要について説明する。第六の実施の形態におけるシステムの構成は、図７のブロック図に示されるものと同じ構成を採用することができる。
　ここで、光線照射装置１に、少なくとも加速度センサ又は光センサのいずれかを備えてもよい。また、センサにより計測された情報を、通信によりコンピュータ装置４へ送信できるようにしてもよい。
　あるいは、光線照射装置１に代えて、少なくとも加速度センサ又は光センサのいずれかを備える、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ：仮想現実）用のコントローラを用いてもよい。
　本発明の第六の実施の形態におけるコンピュータ装置の構成は、図８のブロック図に示されるものと同じ構成を採用することができる。また、投影装置から投影面に画像を投影する概念は、図９のブロック図に示されるものと同じ概念を採用することができる。さらに、第六の実施の形態における特定点、仮想カメラ、及び、仮想スクリーンの概念は、図１０の概念図に示されるものと同じ構成を採用することができる。
　続いて、本発明の第六の実施の形態のプログラムの実行処理について説明する。第六の実施の形態におけるプログラム実行処理のフローは、図１２のフローチャートに示されるものと同じ構成を採用することができる。
　ところで、ステップＳ１０５において、光線照射装置１に代えて、入力装置として、例えば、加速度センサ又は光センサを備えたＶＲ用コントローラを用いる場合には、撮影装置３による光線の撮影をすることなく、ＶＲ用コントローラのセンサにより計測された情報を操作入力情報として用いるようにしてもよい。この場合、ステップＳ１０６において、ＶＲ用コントローラによる操作入力情報が、通信により、コンピュータ装置４へ送信される。
　例えば、ユーザが、正面方向から右側面方向へコントローラを動かしたことを加速度センサが検知した場合に、特定点を右側方向に進め、コントローラを上から下へ振り下ろしたことを検知した場合に、キャラクタを前方へ跳躍させる、あるいは、複数のコントローラを用いて、一方のコントローラの位置と、もう一方のコントローラの位置の相対的な位置関係に基づいて操作入力情報を決定するものであってもよい。
　また、基準となる位置（以下、基準位置という）に対する、コントローラの相対的な位置関係に基づいて、操作入力情報を定めることも可能である。例えば、床面に投影された画像の中心点を基準位置とした場合に、基準位置と、画像が投影された床面と同一平面内におけるコントローラの位置との相対的な位置関係をもとに、操作入力情報を決定することができる。
　例えば、基準位置から、床面と同一平面に投影したコントローラの位置へと向かう方向を入力方向とすることができる。また、コントローラの位置が所定の速度の範囲内で移動したことを検知した場合に、これらの移動情報を操作入力情報とすることができる。あるいは、例えば、床面と同一平面に投影したコントローラの位置と基準位置との距離を入力量としてもよい。
　基準位置との相対的な位置関係は、平面の位置情報に限られるものではない。例えば、基準位置の高さに対して、コントローラの位置が相対的に低い場合に特定の操作入力情報が定められるようにしてもよい。より具体的には、撮影装置３により、ユーザの頭部の位置を基準位置として特定し、ユーザが手に持つコントローラとの位置関係に基づいて操作入力情報を定めることもできる。
　第六の実施の形態の一側面として、コントローラの位置や動きに応じて操作入力が可能なコントローラを用いることによって、ユーザは臨場感あふれる仮想世界を体験することができ、ユーザの趣向性をより高めることができる。
［付記］
　上で述べた実施の形態の説明は、下記の発明を、発明の属する分野における通常の知識を有する者がその実施をすることができるように記載した。
［１］　投影画像を投影面に投影する投影装置と通信又は接続が可能なコンピュータ装置において実行されるプログラムであって、
コンピュータ装置を、
投影面に投影する投影画像を特定するための特定点の位置を変更する特定点位置変更手段、
特定点の位置に応じた画像を、投影画像として投影装置に送信する送信手段
として機能させる、プログラム。
［２］　コンピュータ装置を、さらに、
特定点の位置の変更に伴って仮想カメラの位置を変更する仮想カメラ位置変更手段、
仮想３次元空間を、仮想カメラから仮想スクリーン上に透視変換をして画像を生成する画像生成手段
として機能させ、
送信手段が、生成された画像を投影画像として投影装置に送信する、
［１］に記載のプログラム。
［３］　少なくとも２つ以上の投影面を有しており、
一の投影面と、他の投影面とが、所定の角度を有して設置されており、
画像生成手段が、
一の投影面に対応する第一仮想カメラから第一仮想スクリーン上に透視変換して画像を生成する第一画像生成手段と、
他の投影面に対応する第二仮想カメラから第二仮想スクリーン上に透視変換して画像を生成する第二画像生成手段とを含むものであり、
第一仮想カメラに対する第一仮想スクリーンの相対的な位置関係と、第二仮想カメラに対する第二仮想スクリーンの相対的な位置関係とが同一であり、
第一仮想スクリーンと、第二仮想スクリーンとが前記所定の角度と同一の角度を有する、
［２］に記載のプログラム。
［４］　仮想カメラ位置変更手段が、特定点に対する仮想カメラの相対的な位置関係を維持しながら、仮想カメラの位置を変更する、［２］に記載のプログラム。
［５］　コンピュータ装置を、さらに、
ユーザの操作入力を受け付ける操作入力受付手段、
受け付けた操作入力に応じて、仮想３次元空間内のユーザキャラクタが移動するキャラクタ移動手段
として機能させ、
特定点の位置がユーザキャラクタの位置と対応関係にある、
［１］～［４］のいずれかに記載のプログラム。
［６］　光線照射装置から投影面に照射された光線を撮影する撮影装置とを備え、
操作入力受付手段が、撮影装置により撮影された光線を操作入力として受け付ける、
［１］～［５］のいずれかに記載のプログラム。
［７］　少なくとも２つ以上の投影面を有しており、
特定点位置変更手段が、光線が照射された投影面に対応する仮想スクリーンに垂直な方向に、特定点の位置を変更する、
［６］に記載のプログラム。
［８］　一の投影面と、他の投影面とが、互いに垂直となるように設置されている、請求［３］～［７］のいずれかに記載のプログラム。
［９］　投影画像を投影面に投影する投影装置と通信又は接続が可能なコンピュータ装置であって、
投影面に投影する投影画像を特定するための特定点の位置を変更する特定点位置変更手段と、
特定点の位置に応じた画像を、投影画像として投影装置に送信する送信手段と
を備える、コンピュータ装置。
［１０］　投影画像を投影面に投影する投影装置と通信又は接続が可能なコンピュータ装置において実行されるプログラム実行方法であって、
投影面に投影する投影画像を特定するための特定点の位置を変更するステップと、
特定点の位置に応じた画像を、投影画像として投影装置に送信するステップと
を有するプログラム実行方法。
［１１］　投影画像を投影面に投影する投影装置と、該投影装置と通信又は接続が可能なコンピュータ装置と
を備えたコンピュータシステムであって、
コンピュータ装置が、
投影面に投影する投影画像を特定するための特定点の位置を変更する特定点位置変更手段と、
特定点の位置に応じた画像を、投影画像として投影装置に送信する送信手段と
を備え、
投影装置が、
受信した画像を投影面に投影する投影手段
を備える、コンピュータシステム。
　１　　　光線照射装置
　１１　　制御部
　１２　　ＲＡＭ
　１３　　ストレージ部
　１４　　グラフィックス処理部
　１５　　ビデオメモリ
　１６　　通信インタフェース
　１７　　周辺機器接続インタフェース
　１８　　周辺機器
　２　　　投影面
　３　　　撮影装置
　４　　　コンピュータ装置
　５　　　投影装置
　６　　　通信回線
　７　　　床面
　８　　　指示表示画像

Claims (8)

  1. 投影画像を投影面に投影する投影装置と通信又は接続が可能なコンピュータ装置において実行されるプログラムであって、
    コンピュータ装置を、
    投影面に投影する投影画像を特定するための特定点の位置を変更する特定点位置変更手段、
    特定点の位置に応じた画像を、投影画像として投影装置に送信する送信手段
    として機能させる、プログラム。
  2. コンピュータ装置を、さらに、
    特定点の位置の変更に伴って仮想カメラの位置を変更する仮想カメラ位置変更手段、
    仮想３次元空間を、仮想カメラから仮想スクリーン上に透視変換をして画像を生成する画像生成手段
    として機能させ、
    送信手段が、生成された画像を投影画像として投影装置に送信する、
    請求項１に記載のプログラム。
  3. 少なくとも２つ以上の投影面を有しており、
    一の投影面と、他の投影面とが、所定の角度を有して設置されており、
    画像生成手段が、
    一の投影面に対応する第一仮想カメラから第一仮想スクリーン上に透視変換して画像を生成する第一画像生成手段と、
    他の投影面に対応する第二仮想カメラから第二仮想スクリーン上に透視変換して画像を生成する第二画像生成手段とを含むものであり、
    第一仮想カメラに対する第一仮想スクリーンの相対的な位置関係と、第二仮想カメラに対する第二仮想スクリーンの相対的な位置関係とが同一であり、
    第一仮想スクリーンと、第二仮想スクリーンとが前記所定の角度と同一の角度を有する、
    請求項２に記載のプログラム。
  4. 仮想カメラ位置変更手段が、特定点に対する仮想カメラの相対的な位置関係を維持しながら、仮想カメラの位置を変更する、請求項２に記載のプログラム。
  5. コンピュータ装置を、さらに、
    ユーザの操作入力を受け付ける操作入力受付手段、
    受け付けた操作入力に応じて、仮想３次元空間内のユーザキャラクタが移動するキャラクタ移動手段
    として機能させ、
    特定点の位置がユーザキャラクタの位置と対応関係にある、
    請求項１～４のいずれかに記載のプログラム。
  6. 投影画像を投影面に投影する投影装置と通信又は接続が可能なコンピュータ装置であって、
    投影面に投影する投影画像を特定するための特定点の位置を変更する特定点位置変更手段と、
    特定点の位置に応じた画像を、投影画像として投影装置に送信する送信手段と
    を備える、コンピュータ装置。
  7. 投影画像を投影面に投影する投影装置と通信又は接続が可能なコンピュータ装置において実行されるプログラム実行方法であって、
    投影面に投影する投影画像を特定するための特定点の位置を変更するステップと、
    特定点の位置に応じた画像を、投影画像として投影装置に送信するステップと
    を有するプログラム実行方法。
  8. 投影画像を投影面に投影する投影装置と、該投影装置と通信又は接続が可能なコンピュータ装置と
    を備えたコンピュータシステムであって、
    コンピュータ装置が、
    投影面に投影する投影画像を特定するための特定点の位置を変更する特定点位置変更手段と、
    特定点の位置に応じた画像を、投影画像として投影装置に送信する送信手段と
    を備え、
    投影装置が、
    受信した画像を投影面に投影する投影手段
    を備える、コンピュータシステム。
PCT/JP2016/088520 2016-05-18 2016-12-22 プログラム、コンピュータ装置、プログラム実行方法、及び、コンピュータシステム WO2017199460A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16902478.3A EP3461123A4 (en) 2016-05-18 2016-12-22 PROGRAM, COMPUTER DEVICE, PROGRAM EXECUTION METHOD, AND COMPUTER SYSTEM
US16/302,407 US10960310B2 (en) 2016-05-18 2016-12-22 Program, computer apparatus, program execution method, and computer system
CN201680085784.XA CN109155835B (zh) 2016-05-18 2016-12-22 记录介质、计算机装置、程序执行方法、及计算机系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016099388A JP2017208688A (ja) 2016-05-18 2016-05-18 プログラム、コンピュータ装置、プログラム実行方法、及び、コンピュータシステム
JP2016-099388 2016-05-18

Publications (1)

Publication Number Publication Date
WO2017199460A1 true WO2017199460A1 (ja) 2017-11-23

Family

ID=60325857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/088520 WO2017199460A1 (ja) 2016-05-18 2016-12-22 プログラム、コンピュータ装置、プログラム実行方法、及び、コンピュータシステム

Country Status (6)

Country Link
US (1) US10960310B2 (ja)
EP (1) EP3461123A4 (ja)
JP (1) JP2017208688A (ja)
CN (1) CN109155835B (ja)
TW (1) TWI733731B (ja)
WO (1) WO2017199460A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4024387A4 (en) * 2019-08-28 2022-11-30 Panasonic Intellectual Property Management Co., Ltd. PROJECTION METHOD, PROJECTION DEVICE AND PROJECTION SYSTEM
CN114020145A (zh) * 2021-09-30 2022-02-08 联想(北京)有限公司 与数字内容进行互动的方法、装置、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04204842A (ja) * 1990-11-30 1992-07-27 Toppan Printing Co Ltd 映像シミュレーション・システム
JPH09138637A (ja) * 1995-11-13 1997-05-27 Mitsubishi Heavy Ind Ltd 模擬視界装置
US8388139B2 (en) 2009-07-17 2013-03-05 Disney Enterprises, Inc. Interactive projected sandbox

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4024124B2 (ja) * 2002-10-15 2007-12-19 株式会社タムラ製作所 位置特定装置、その方法およびそのプログラム
JP3696216B2 (ja) 2003-03-05 2005-09-14 株式会社スクウェア・エニックス ３次元ビデオゲーム装置、３次元ビデオゲームにおける仮想カメラの制御方法、並びにプログラム及び記録媒体
SG115546A1 (en) 2003-06-23 2005-10-28 Affineon Technologies Pte Ltd Computer input device tracking six degrees of freedom
JP4169201B2 (ja) * 2004-04-21 2008-10-22 アルゼ株式会社 ゲーム機
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
JP5436794B2 (ja) 2008-04-04 2014-03-05 株式会社バンダイナムコゲームス ゲーム動画配信システム
US20120044141A1 (en) * 2008-05-23 2012-02-23 Hiromu Ueshima Input system, input method, computer program, and recording medium
US9248376B2 (en) * 2008-09-30 2016-02-02 Nintendo Co., Ltd. Computer-readable storage medium having stored game program therein, and game apparatus
US8747224B2 (en) 2008-11-14 2014-06-10 Sony Corporation Operating device
US20100309391A1 (en) * 2009-06-03 2010-12-09 Honeywood Technologies, Llc Multi-source projection-type display
JP5227910B2 (ja) 2009-07-21 2013-07-03 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ゲーム画像表示方法及びゲーム画像表示プログラム
JP2011152297A (ja) * 2010-01-27 2011-08-11 Namco Bandai Games Inc プログラム、情報記憶媒体、ゲームシステム
JP4951696B2 (ja) 2010-07-15 2012-06-13 株式会社コナミデジタルエンタテインメント ゲームシステム、その制御方法及び、コンピュータプログラム
US20120156652A1 (en) * 2010-12-16 2012-06-21 Lockheed Martin Corporation Virtual shoot wall with 3d space and avatars reactive to user fire, motion, and gaze direction
CN105188866B (zh) 2013-03-11 2018-01-23 喀普康有限公司 游戏装置
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
US9787958B2 (en) * 2014-09-17 2017-10-10 Pointcloud Media, LLC Tri-surface image projection system and method
CN105488839A (zh) 2015-12-07 2016-04-13 上海市政工程设计研究总院（集团）有限公司 三维场景交互式操作系统及其操作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04204842A (ja) * 1990-11-30 1992-07-27 Toppan Printing Co Ltd 映像シミュレーション・システム
JPH09138637A (ja) * 1995-11-13 1997-05-27 Mitsubishi Heavy Ind Ltd 模擬視界装置
US8388139B2 (en) 2009-07-17 2013-03-05 Disney Enterprises, Inc. Interactive projected sandbox

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3461123A4

Also Published As

Publication number Publication date
TW201741876A (zh) 2017-12-01
JP2017208688A (ja) 2017-11-24
US10960310B2 (en) 2021-03-30
CN109155835B (zh) 2022-06-24
EP3461123A1 (en) 2019-03-27
CN109155835A (zh) 2019-01-04
TWI733731B (zh) 2021-07-21
US20190275426A1 (en) 2019-09-12
EP3461123A4 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
US20180373413A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
JP6355978B2 (ja) プログラムおよび画像生成装置
US9236032B2 (en) Apparatus and method for providing content experience service
TW202004421A (zh) 用於在ｈｍｄ環境中利用傳至ｇｐｕ之預測及後期更新的眼睛追蹤進行快速注視點渲染
US10510189B2 (en) Information processing apparatus, information processing system, and information processing method
JP5300777B2 (ja) プログラム及び画像生成システム
JP5800501B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
JP5627973B2 (ja) ゲーム処理をするためのプログラム、装置、システムおよび方法
CN112400150A (zh) 基于预测扫视着陆点的动态图形渲染
JP6761340B2 (ja) シミュレーションシステム及びプログラム
US10525354B2 (en) Game apparatus, game controlling method and storage medium for determining a terrain based on a distribution of collision positions
CN103501869A (zh) 手动和基于相机的游戏控制
JP2021508262A (ja) 双方向ビデオゲームシステム
US20180181367A1 (en) Method for providing virtual space, program and apparatus therefor
KR101608342B1 (ko) 무인 부스 형태의 체감형 모션 라이딩 시스템과 그의 작동방법
WO2016056317A1 (ja) 情報処理装置および情報処理方法
JP6039594B2 (ja) 情報処理装置および情報処理方法
JP6738641B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
WO2017199460A1 (ja) プログラム、コンピュータ装置、プログラム実行方法、及び、コンピュータシステム
JP2017196312A (ja) シミュレーションシステム
JP2014155564A (ja) ゲームシステム及びプログラム
US20130109475A1 (en) Game system, control method therefor, and a storage medium storing a computer program
JP2017086542A (ja) 画像変更システム、方法、及びプログラム
JP2012196286A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP2019175322A (ja) シミュレーションシステム及びプログラム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16902478

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016902478

Country of ref document: EP

Effective date: 20181218