WO2016157247A1 - 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体 - Google Patents

仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体 Download PDF

Info

Publication number
WO2016157247A1
WO2016157247A1 PCT/JP2015/001812 JP2015001812W WO2016157247A1 WO 2016157247 A1 WO2016157247 A1 WO 2016157247A1 JP 2015001812 W JP2015001812 W JP 2015001812W WO 2016157247 A1 WO2016157247 A1 WO 2016157247A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
data
space
dimensional
image
Prior art date
Application number
PCT/JP2015/001812
Other languages
English (en)
French (fr)
Inventor
トマス ハート
実 中井
宏一 山岸
Original Assignee
株式会社カプコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社カプコン filed Critical 株式会社カプコン
Priority to JP2017508793A priority Critical patent/JP6317854B2/ja
Priority to PCT/JP2015/001812 priority patent/WO2016157247A1/ja
Priority to CN201580078470.2A priority patent/CN107430788A/zh
Priority to US15/563,320 priority patent/US10176643B2/en
Publication of WO2016157247A1 publication Critical patent/WO2016157247A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object

Definitions

  • the present invention relates to a virtual three-dimensional space generation method, a video system, a control method thereof, and a recording medium that can be read by a computer apparatus.
  • Non-Patent Document 1 A game in which a character can be operated in a three-dimensional game space generated using an actual video instead of a background image by computer graphics has also been developed (see Non-Patent Document 1, for example).
  • Non-Patent Document 1 is configured such that the character moves planarly on a two-dimensional image displayed as a live-action video. For this reason, movement in the depth direction is restricted.
  • the conventional configuration there is a problem that a sense of incongruity occurs when an attempt is made to move a character in the depth direction using a live-action image having a depth.
  • the present invention provides a virtual three-dimensional space generation method, a video system, a control method thereof, and a recording medium that can be read by a computer device, which can express the depth direction in a virtual three-dimensional space using a live-action image without a sense of discomfort
  • the purpose is to provide.
  • the virtual three-dimensional space generation method includes a virtual screen position that displays the real image from the first data including the real image obtained by photographing the real space from a predetermined camera position at a predetermined angle of view, and the camera.
  • a positional relationship with a virtual camera position corresponding to a position is specified, and data representing a boundary of a predetermined reference object included in the live-action video, and the boundary is based on the positional relationship and the reference object in the live-action video
  • a reference object data generation step for generating associated three-dimensional reference object data; second data representing an object constituting a virtual three-dimensional CG space in which a real space in which the photographed image is photographed is reproduced by computer graphics
  • a third data generation step for generating a virtual three-dimensional space based on the first data and the second data.
  • a third data generation step for generating data wherein the third data generation step matches the boundary of the reference object in the reference object data with the boundary of the object corresponding to the reference object in the second data.
  • the third data defining the virtual camera position in the virtual three-dimensional CG space is generated based on the angle of view of the photographed video.
  • a virtual three-dimensional space generation method, a video system, a control method thereof, and a recording that can be read by a computer device can be performed without a sense of incongruity in the depth direction in a virtual three-dimensional space using live-action images.
  • a medium can be provided.
  • FIG. 1 is a diagram showing an example of a game screen in the present embodiment.
  • FIG. 2 is a top view showing an example of the virtual three-dimensional space in the present embodiment.
  • FIG. 3 is a block diagram showing a schematic configuration of a computer system for creating a virtual three-dimensional space in the present embodiment.
  • FIG. 4 is a diagram illustrating a feature point generation process indicating a boundary of a reference object in the reference object data generation process according to the present embodiment.
  • FIG. 5 is a diagram showing a virtual reference object generation process in the reference object data generation process according to the present embodiment.
  • FIG. 6 is a diagram schematically showing characteristic information included in the reference object data in the reference object data generation process according to the present embodiment.
  • FIG. 1 is a diagram showing an example of a game screen in the present embodiment.
  • FIG. 2 is a top view showing an example of the virtual three-dimensional space in the present embodiment.
  • FIG. 3 is a block diagram showing a schematic configuration of a computer system for creating a virtual
  • FIG. 7 is a diagram showing an example of the second data generation screen in the generation process of the second data in the present embodiment.
  • FIG. 8 is a diagram schematically showing characteristic information included in the second data in the generation process of the second data in the present embodiment.
  • FIG. 9 is a diagram illustrating a state before the virtual reference object and the reference object match in the third data generation process according to the present embodiment.
  • FIG. 10 is a diagram illustrating a state after the virtual reference object and the reference object match in the third data generation process according to the present embodiment.
  • FIG. 11 is a block diagram showing a hardware configuration of the game device according to the present embodiment.
  • FIG. 12 is a block diagram showing a functional configuration of the game apparatus shown in FIG.
  • FIG. 13 shows another example of the game screen in the present embodiment.
  • FIG. 14 is a top view showing another example of the virtual three-dimensional space in the present embodiment.
  • the virtual three-dimensional space generation method includes a virtual screen position that displays the real image from the first data including the real image obtained by photographing the real space from a predetermined camera position at a predetermined angle of view, and the camera.
  • a positional relationship with a virtual camera position corresponding to a position is specified, and data representing a boundary of a predetermined reference object included in the live-action video, and the boundary is based on the positional relationship and the reference object in the live-action video
  • a reference object data generation step for generating associated three-dimensional reference object data; second data representing an object constituting a virtual three-dimensional CG space in which a real space in which the photographed image is photographed is reproduced by computer graphics
  • a third data generation step for generating a virtual three-dimensional space based on the first data and the second data.
  • a third data generation step for generating data wherein the third data generation step matches the boundary of the reference object in the reference object data with the boundary of the object corresponding to the reference object in the second data.
  • the third data defining the virtual camera position in the virtual three-dimensional CG space is generated based on the angle of view of the photographed video.
  • the virtual three-dimensional space generation method may include a character generation step of generating a character that can move in the virtual three-dimensional space.
  • the virtual three-dimensional space generation method includes a two-dimensional image display step of displaying the live-action image reproduced as a two-dimensional image obtained by viewing the virtual three-dimensional space from the virtual camera position, and the character as the two-dimensional image.
  • a two-dimensional image display step of displaying the live-action image reproduced as a two-dimensional image obtained by viewing the virtual three-dimensional space from the virtual camera position, and the character as the two-dimensional image.
  • the reference object data generation means may generate the reference object data by acquiring a feature point group of the live-action image including the reference object.
  • the reference object may be an artificial object installed in the real space.
  • the live-action image is obtained by capturing the artifact including the artifact set as the reference object, and then removing the artifact while continuing the imaging, and when generating the reference object data, When using the portion where the artifact is photographed and generating a virtual three-dimensional space based on the live-action image, use the portion where the artifact is removed from the photographed image. Also good.
  • a video system operable by a user includes: first data including a real image obtained by photographing a real space at a predetermined angle of view from a predetermined camera position; and a real space in which the real image is photographed.
  • Second data representing a boundary of an object constituting a virtual three-dimensional CG space reproduced by graphics, and an object included in the live-action video coincide with a boundary of the object constituting the virtual three-dimensional CG space.
  • a data reading module that reads out a data group including, based on the angle of view of the live-action video, third data that defines a virtual camera position corresponding to the camera position of the live-action video in the virtual three-dimensional CG space; Based on the third data, the first data and the second data are combined to create a virtual three-dimensional space.
  • a virtual three-dimensional space generation module a two-dimensional image display module for displaying the live-action image reproduced as a two-dimensional image when the virtual three-dimensional space is viewed from the virtual camera position, and a predetermined character object,
  • a character control module for controlling the movement in the virtual three-dimensional space displayed as an image.
  • the video system uses the position of the object corresponding to the object in the virtual three-dimensional space as a reference when the character object overlaps a predetermined object in the live-action video displayed as the two-dimensional image.
  • a transparent processing module that performs a transparent process for transparentizing a portion of the character object that overlaps the object may be provided.
  • a control method for a user-operable video system including first data including a real image obtained by photographing a real space from a predetermined camera position at a predetermined angle of view, and the real image obtained by photographing the real image.
  • the second data representing the boundary of the object constituting the virtual three-dimensional CG space in which the space is reproduced by computer graphics, and the object included in the live-action video coincide with the boundary of the object constituting the virtual three-dimensional CG space.
  • the third data defining the virtual camera position corresponding to the camera position of the real-shot video in the virtual three-dimensional CG space, and data reading that reads a data group including the third data
  • a step of combining the first data and the second data based on the third data to generate a virtual three-dimensional space Generating a virtual three-dimensional space, generating a two-dimensional image displaying the live-action image reproduced as a two-dimensional image of the virtual three-dimensional space viewed from the virtual camera position, and a predetermined character object,
  • a character control step for controlling the movement in the virtual three-dimensional space displayed as a two-dimensional image.
  • the character object when the character object overlaps a predetermined object in the live-action image displayed as the two-dimensional image, the character object is based on the position of the object corresponding to the object in the virtual three-dimensional space.
  • a transparent processing step of performing transparent processing for transparentizing a portion of the character object that overlaps the object may be included.
  • a recording medium is a recording medium that stores a command that can be executed by a control unit of a computer device, and that can be read by the computer device.
  • First data including a live-action image captured from a position at a predetermined angle of view, and second data representing a boundary between objects constituting a virtual three-dimensional CG space in which a real space where the actual image is captured is reproduced by computer graphics And in the virtual 3D CG space based on the angle of view of the real video so that the objects included in the live video match the boundaries of the objects constituting the virtual 3D CG space.
  • the command is based on the position of the object corresponding to the object in the virtual three-dimensional space when the character object overlaps a predetermined object in the live-action image displayed as the two-dimensional image.
  • a transparent processing step of performing a transparent process for transparentizing a portion of the character object that overlaps the object may be included.
  • FIG. 1 is a diagram showing an example of a game screen in the present embodiment.
  • FIG. 2 is a top view showing an example of the virtual three-dimensional space in the present embodiment.
  • the game screen G shown in FIG. 1 is expressed as a two-dimensional image when the virtual three-dimensional space F shown in FIG. 2 is viewed from the virtual camera C (solid line).
  • a virtual three-dimensional space F in which the character P acts is represented by a live-action video. That is, a live-action video is displayed on the game screen G as a video taken from the virtual camera C installed at the virtual camera position in the virtual three-dimensional space F.
  • the imaging range of the virtual camera C is determined by the angle of view of the virtual camera C, and is the range of the virtual screen S installed at the virtual screen position corresponding to the virtual camera position in the virtual three-dimensional space F.
  • an object A such as an item that is arranged in the virtual three-dimensional space F within the imaging range of the virtual camera C and can be acquired by the character P is also displayed on the game screen G.
  • boundaries are set for objects included in live-action video.
  • the action (movement, etc.) of the character P is limited by a boundary set on a tree or a wall.
  • the position in the vertical direction (position in the height direction) of the character P located on the boundary is determined by the boundary set on the ground or the like.
  • the video displayed on the game screen G is switched to a video captured from another virtual camera C.
  • the character P reaches the camera switching position H in a state where a video image taken by the virtual camera C indicated by a solid line in FIG. 2 is displayed on the game screen G (a state where the game screen shown in FIG. 1 is displayed). Then, an image captured by the virtual camera C indicated by a broken line in FIG.
  • FIG. 3 is a block diagram showing a schematic configuration of a computer system for creating a virtual three-dimensional space in the present embodiment.
  • the computer system 100 includes a computer 101 that performs various calculations, a storage device 102 such as a hard disk device that stores various data, an input device 103 such as a keyboard or a mouse, and a monitor 104. ing. These components can transmit signals to each other via a bus signal line 105.
  • the storage device 102 stores a virtual three-dimensional space generation program 121.
  • the virtual three-dimensional space generation program 121 is expressed as one program, but may be composed of a plurality of programs as will be described later.
  • the storage device 102 stores first data 122 including a real image obtained by photographing a real space from a predetermined camera position at a predetermined angle of view.
  • the computer 101 includes a CPU, an internal memory, and the like, and based on a virtual three-dimensional space generation program 121 stored in the storage device 102, a reference object data generation unit (reference object data generation means, reference object data generation module) 111, Second data generation unit (second data generation unit, second data generation module) 112, third data generation unit (third data generation unit, third data generation module) 113, character generation unit (character generation unit, character generation) Module) 114 and a light source information reflecting unit (light source information reflecting means, light source information reflecting module) 115.
  • a reference object data generation unit reference object data generation means, reference object data generation module
  • Second data generation unit second data generation unit, second data generation module
  • third data generation unit third data generation unit, third data generation module
  • character generation unit character generation unit, character generation
  • Module 114
  • a light source information reflecting unit light source information reflecting means, light source information reflecting module
  • the reference object data generation unit 111 corresponds to the virtual screen position and the camera position for displaying the live-action image from the first data (real-action image data) 122 including the real-image image obtained by photographing the real space from the predetermined camera position at the predetermined angle of view.
  • Three-dimensional reference object data 123 is generated.
  • FIG. 4 to 6 are diagrams showing a process of generating reference object data in the present embodiment.
  • a real image in the imaging region as shown in FIG. 4 is taken with a digital video camera or the like.
  • an artifact is placed in the real space as a reference object D for determining the scale of the photographed image, and the photograph is taken so that the artifact is included in the photographed image.
  • a rectangular parallelepiped such as a cardboard box which is an artificial object is used as the reference object D.
  • the reference object D has a corner, and a plurality of surfaces constituting the corner are perpendicular to each other.
  • an artificial object or a natural object originally included in the live-action image may be set as the reference object D instead of the artificial object being installed in the live-action image.
  • a three-dimensional camera tracking program such as “SynthEyes” (Andersson Technologies Technologies LLC) can be used.
  • the reference object data generation unit 111 performs tracking processing on the captured live-action video, so that the boundary between the camera position where the live-action video is captured and the object (reference object, ground, wall, tree, etc.) captured on the live-action video Boundary data indicating the positional relationship between and is generated. Based on the boundary data and the angle of view of the camera that captured the captured video, the positional relationship between the virtual screen position that displays the captured video and the virtual camera position corresponding to the camera position is specified. In the example of FIG. 4, the reference object data generation unit 111 generates boundary data by acquiring a feature point group of a live-action image including a reference object.
  • the feature point group is a set of data in which each feature point has three-dimensional position coordinates.
  • each feature point is indicated by a cross on the processing screen E shown in FIG.
  • the live-action image is obtained by panning the digital video camera so that the camera position moves around a certain range around the reference object D. Preferably there is.
  • the user may be configured to be able to place the three-dimensional position coordinates (representing feature points) of the reference object D on the live-action image.
  • the feature point B indicating the boundary of the reference object D is preferably placed at a corner position in the reference object D having a corner.
  • a rectangular parallelepiped having a known size is used as in the example of FIG. 4, at least three feature points B indicating the boundary of the reference object D are installed at the vertices of the plane included in any one plane. Good. Thereby, the position coordinates of the remaining corners can be obtained by calculation.
  • a virtual reference object VD indicating the three-dimensional boundary of the entire reference object D as shown in FIG.
  • the virtual reference object VD is generated by, for example, a polygon.
  • the generation of the virtual reference object VD may be performed by the user operating the input device 103 based on the feature point B indicating the boundary of the reference object D, or automatically generated by the reference object data generation unit 111. May be.
  • the positional relationship among the virtual screen S, the virtual camera C, and the virtual reference object VD is the virtual reference object VD and the live-action image.
  • the reference object data 123 in which the virtual reference object VD (that is, the boundary of the reference object D) is associated with the reference object D in the live-action video is generated so that the reference object D included in Is done.
  • a feature point group indicating a boundary of an object other than the virtual reference object VD is also displayed.
  • the feature point group may not be included in the reference object data 123. May be included.
  • the generated reference object data 123 is stored in the storage device 102.
  • the second data generation unit 112 generates second data 125 representing an object constituting a virtual three-dimensional CG space in which a real space where a photographed image is taken is reproduced by computer graphics (CG).
  • 7 and 8 are diagrams showing a generation process of the second data in the present embodiment.
  • the second data generation unit 112 uses a plurality of still images captured in the real space included in the live-action video to convert the virtual three-dimensional CG space K that is the source of the second data 125 into a three-dimensional image. Generated by performing a scanning process.
  • the still image is taken with a digital still camera or the like and stored in the storage device 102 as still image data 108.
  • the objects constituting the generated virtual three-dimensional CG space K include the object of the reference object D (reference object OD shown in FIG. 9 described later).
  • the upper stage J1 of the second data generation screen J shown in FIG. 7 is used to generate the generated virtual three-dimensional CG space K and a portion of the virtual three-dimensional CG space K.
  • the still image L is shown in association with it.
  • a list of still images used to generate the upper virtual three-dimensional CG space K is shown in association with the upper still image group.
  • a plurality of (for example, several hundreds) still images L are photographed from a plurality of angles so that adjacent still images overlap, and the images in the adjacent still images L are arranged so as to be continuous.
  • a virtual three-dimensional CG space K is generated by performing a three-dimensional scanning process.
  • a three-dimensional scanning program such as “PhotoScan” (Agisoft LLC) can be used as the virtual three-dimensional space generation program 121.
  • the virtual three-dimensional CG space K includes information indicating the boundaries of objects in the virtual three-dimensional CG space K.
  • the boundary of the object performs contact determination (movement restriction) with a character acting in the virtual three-dimensional CG space K, or expresses the difference in height of the ground (such as falling when the character's feet are separated from the ground). Expression).
  • the second data generation unit 112 generates an object in the virtual three-dimensional CG space K as the second data 125.
  • the virtual three-dimensional CG space K made transparent is generated as the second data 125.
  • the second data 125 includes only information of only the polygon mesh M that forms the boundary of the object in the virtual three-dimensional CG space K, as shown in FIG. In FIG. 8, the polygon mesh M is visualized, but when the virtual three-dimensional space generation described later is completed, the polygon mesh M itself is made transparent.
  • the texture (generated by modeling from a plurality of still images) pasted in the virtual 3D CG space K is not necessary in the finally generated virtual 3D space.
  • the virtual three-dimensional CG space K is configured with a high-resolution texture.
  • the virtual three-dimensional CG space K is configured with a high-resolution texture.
  • the texture information of the virtual three-dimensional CG space K is included in the second data 125, and after the generation of the third data is completed, the texture is extracted from the second data 125. Information may be deleted. Further, the texture information may not be deleted from the second data 125.
  • the generated second data 125 is stored in the storage device 102.
  • the third data generation unit 113 generates third data for generating a virtual three-dimensional space based on the first data 122 and the second data 125.
  • 9 and 10 are diagrams showing a generation process of the third data in the present embodiment.
  • the third data generation unit 113 determines the boundary of the reference object D in the reference object data 123 and the boundary of the object corresponding to the reference object in the second data 125 so that the state shown in FIG. By combining these, the third data defining the virtual camera position of the virtual camera C in the virtual three-dimensional CG space K is generated based on the angle of view of the photographed video.
  • a three-dimensional CG integrated environment application such as “Blender” (Blender.org, free software) can be used as the virtual three-dimensional space generation program 121, for example.
  • the drawing data of the virtual three-dimensional CG space K including the second data 125 and the reference object data 123 are read into one virtual three-dimensional space.
  • the position and size of the virtual reference object VD included in the reference object data 123 are adjusted so as to match the reference object OD included in the virtual three-dimensional CG space K (movement and enlargement / reduction processing are performed).
  • the positions of the virtual camera C and the virtual screen S are also changed correspondingly.
  • the angle of view of the virtual camera C (the angle of view of the camera that captured the live-action video) is constant, and accordingly, between the virtual camera C and the virtual screen S.
  • the distance and the size (scale) of the virtual screen S change.
  • Such adjustment may be performed by the user using the input device 103 to move the virtual reference object VD with respect to the virtual three-dimensional CG space K and / or to enlarge or reduce the third data generation.
  • the unit 113 may automatically perform adjustment processing.
  • the texture of the virtual three-dimensional CG space K may not be included in the second data 125 when the third data generation starts.
  • the position of the virtual camera C in the virtual three-dimensional CG space K is determined from the reference object data 123 as shown in FIG. Based on the determined position of the virtual camera C, the position of the virtual screen S is also determined. The determined position coordinates of the virtual camera C in the virtual three-dimensional CG space K are generated as the third data 126 and stored in the storage device 102.
  • the reproduced real-image image and the virtual three-dimensional CG space K viewed from the same virtual camera C are substantially the same.
  • the item object A arranged in the virtual three-dimensional CG space K made transparent through the virtual camera C as the game screen G shown in FIG. 1 (based on the boundary of the object as the second data 125), and
  • an additional object such as the character P acting in the virtual three-dimensional CG space K, it is possible to make the game player feel as if the character P is acting in the live-action video.
  • the first data 122 and the second data 125 are combined to generate a virtual three-dimensional space F (FIG. 2). Therefore, in such a game using the virtual three-dimensional space F, a live-action image is displayed on the game screen G (FIG. 1) as a scene of the virtual three-dimensional space F viewed through the virtual camera C.
  • the behavior of the additional object such as the character P or the item object A displayed in the game screen G is controlled or arranged based on the boundary of the object corresponding to the live-action video. In this way, by applying the information about the object boundary to the live-action video, the concept of the depth direction can be added to the real-shot video that is a two-dimensional image. Therefore, it is possible to express the depth direction in the virtual three-dimensional space F using a real image without a sense of incongruity.
  • the virtual camera C is arranged at a plurality of different virtual camera positions in the virtual three-dimensional space F, and the virtual camera C is switched according to the difference of the character P and displayed on the game screen G.
  • the reference object D for generating the virtual three-dimensional space F is the same as that used for a plurality of live-action videos. That is, when shooting a live-action video at a plurality of virtual camera positions, a common reference object D is included in the imaging range of the virtual camera C at each virtual camera position. Instead, an object of the same type (for example, a bench, a telephone box, a traffic light, etc.) included in the imaging range of the virtual camera C at a plurality of virtual camera positions may be adopted as the reference object D.
  • the live-action video included in the first data 122 will be described again.
  • the photographed image including the artifact set as the reference object is used as the real image.
  • the actual image displayed as a game screen is a video with no sense of incongruity when the reference object D is not reflected.
  • a real image may be used in which the reference object D is removed while the image is captured after including the artificial object set as the reference object D.
  • the reference object D is placed in the real space.
  • a predetermined position predetermined position within the imaging range at the fixed position of the camera
  • shooting by the camera is started.
  • Shooting is started without fixing the camera, and shooting is performed by panning the camera left and right within a predetermined range around the reference object D in order to make it easy to obtain reference point data.
  • the camera is fixed at the fixed position while continuing the photographing.
  • the reference object D is removed from the imaging range while continuing the imaging.
  • a predetermined time is taken as a two-dimensional image (game screen shown in FIG. 1) when the virtual three-dimensional space F is viewed from the virtual camera C, the photographing is finished.
  • the portion of the actual image captured in this way that includes the reference object D in a state where the camera is panned and then stopped is used when generating the reference object data 123.
  • the portion of the real image that is obtained by removing the reference object D when the camera is stationary is used when generating a virtual three-dimensional space F using the real image. That is, the portion is used as a live-action video that is reproduced on the virtual screen S in the virtual three-dimensional space F (displayed on the game screen G as a two-dimensional image).
  • a loop video in which a video of a predetermined period is repeated is used as the live-action video that is reproduced on the virtual screen S in the virtual three-dimensional space F. That is, reproduced video data set so as to loop-reproduce an image during a period in which the reference object D is not included is generated from a series of photographed images.
  • the reproduced video data can be a live-action picture without a sense of incongruity.
  • Such reproduced video data 129 may be adopted as the first data 122 included in game data used in a game program to be described later.
  • the character generation unit 114 generates a character P that can move in the virtual three-dimensional space F.
  • the character P may be composed of a three-dimensional object.
  • the character P may be a three-dimensional object generated by a three-dimensional scanning process from a plurality of still images obtained by photographing an actual object from a plurality of angles.
  • the generated character P data is stored in the storage device 102 as the character data 127.
  • the light source information reflecting unit 115 acquires information on the light source in the real space from the still image 108 captured at a predetermined position in the real space where the real video was captured, and the information on the light source is used as a virtual three-dimensional space F based on the real video. It is reflected in the objects (character P, item object A, etc.) arranged on the screen. For this reason, the storage device 102 separately stores an image photographed so that the periphery of a predetermined position is continuous as still image data 108 for obtaining light source information.
  • Such still image data 108 is an image captured by, for example, a 360-degree imaging camera under substantially the same conditions as the conditions (season, time, weather, etc.) under which a live-action video was captured.
  • the still image data 108 for obtaining the light source information may be a still image that has been subjected to high dynamic range synthesis (HDRi) processing.
  • HDRi high dynamic range synthesis
  • the light source information generated in this way is stored in the storage device 102 as the light source data 128.
  • the same shadow expression as that of the live-action video can be easily displayed on the object other than the live-action video. Can be added.
  • Example of video program using generated virtual 3D space As an example of a video program using the virtual three-dimensional space F generated by the method as described above, a configuration for realizing a game in which the character P can act in the virtual three-dimensional space F will be described.
  • the player operates the character P while looking at the game screen G shown in FIG. While encountering a player character (not shown) and having a conversation, a scenario (main game) in which a predetermined target is set is advanced.
  • FIG. 11 is a block diagram showing a hardware configuration of game device 2 in the present embodiment. As shown in FIG.
  • the game device 2 can communicate with another game device 2 and the server device 3 via a communication network NW such as the Internet or a LAN.
  • the game apparatus 2 includes a CPU 10 that is a computer for controlling the operation thereof, and a disk drive 12, a memory card slot 13, an HDD 14 that constitutes a program storage unit, a ROM 15, and a RAM 16 are connected to the CPU 10 via a bus 11. Yes.
  • the disk drive 12 can be loaded with a disk-type recording medium 30 such as a DVD-ROM.
  • a disk-type recording medium 30 such as a DVD-ROM.
  • game data such as a game program 30a according to the embodiment of the present invention, characters appearing in the game described in the present embodiment, objects and textures necessary to form a game space, and the like. 30b is recorded.
  • a card-type recording medium 31 can be loaded in the memory card slot 13, and save data indicating a play status such as a game progress can be recorded in accordance with an instruction from the CPU 10.
  • the HDD 14 is a large-capacity recording medium built in the game apparatus 2 and records the game program 30a and game data 30b read from the disk-type recording medium 30, save data, and the like.
  • the ROM 15 is a semiconductor memory such as a mask ROM or PROM, and stores a startup program for starting the game apparatus 2 and a program for controlling an operation when the disk type recording medium 30 is loaded.
  • the RAM 16 is composed of DRAM, SRAM, or the like, and reads a game program 30a to be executed by the CPU 10 and game data 30b necessary for the execution from the disk-type recording medium 30 or the HDD 14 in accordance with the game play status. Memorize temporarily.
  • the graphic processing unit 17, the audio synthesis unit 20, the wireless communication control unit 23, and the network interface 25 are connected to the CPU 10 via the bus 11.
  • the graphic processing unit 17 draws a game image including a game space and each character in accordance with an instruction from the CPU 10.
  • An external monitor 19 is connected to the graphic processing unit 17 via a video conversion unit 18, and the game image drawn by the graphic processing unit 17 is converted into a moving image format by the video conversion unit 18, and the monitor 19 Is displayed.
  • the audio synthesizer 20 reproduces and synthesizes digital game sound according to instructions from the CPU 10.
  • An external speaker 22 is connected to the audio synthesis unit 20 via an audio conversion unit 21. Therefore, the game sound reproduced and synthesized by the audio synthesizing unit 20 is decoded into an analog format by the audio converting unit 21 and further outputted from the speaker 22 to the outside.
  • the wireless communication control unit 23 has a 2.4 GHz band wireless communication module, is wirelessly connected to the controller 24 attached to the game apparatus 2, and can transmit and receive data.
  • the user can input a signal to the game apparatus 2 by operating an operator (not shown) such as a button provided in the controller 24, and controls the movement of the player character displayed on the monitor 19. Is possible.
  • the network interface 25 connects the game apparatus 2 to a communication network NW such as the Internet or a LAN, and enables communication with another game apparatus 2 or the server apparatus 3. Then, by connecting the game apparatus 2 to another game apparatus 2 via the communication network NW and transmitting / receiving data to / from each other, a plurality of player characters can be displayed synchronously in the same game space. Therefore, multiplayer in which a plurality of people cooperate to advance the game is possible.
  • FIG. 12 is a block diagram showing a functional configuration of the game apparatus 2 shown in FIG.
  • the game apparatus 2 includes a control unit 4 including a CPU 10, HDD 14, ROM 15, RAM 16, graphic processing unit 17, video conversion unit 18, audio composition unit 20, audio conversion unit 21, network interface 25, and the like.
  • the game data 30b includes, as a data group for generating the virtual three-dimensional space F, first data 122 (or reproduction video data 129 based thereon), second data 125, third data 126, character data 127, and Light source data 128 is included. Then, as shown in FIG.
  • the control unit 4 of the game apparatus 2 executes the game program 30a of the present invention, whereby a data reading unit (data reading unit, data reading module) 41, a virtual three-dimensional space generation unit. (Virtual 3D space generation means, virtual 3D space generation module) 42, 2D image display section (2D image display means, 2D image display module) 43, character control section (character control means, character control module) 44 And the functions of the transmission processing unit (transmission processing means, transmission processing module) 45 and the like.
  • the data reading unit 41 reads a data group included in the game data 30b.
  • the virtual three-dimensional space generation unit 42 generates the virtual three-dimensional space F (FIG. 2) by combining the first data 122 and the second data 125 based on the read third data 126. Furthermore, the virtual three-dimensional space generation unit 42 arranges the item object A or the like at a predetermined position in the virtual three-dimensional space F.
  • the first data 122 and the second data 125 may be stored as the game data 30b in a state where the first data 122 and the second data 125 are combined in advance by the third data 126.
  • the data reading unit 41 reads the data in a state where the first data 122, the second data 125, and the third data 126 are coupled to each other.
  • the reading speed or the drawing speed can be increased by converting the data into a pre-combined state.
  • the first data 122, the second data 125, and the third data 126 may be stored as game data 30b in different states.
  • the virtual three-dimensional space generation unit 42 performs processing for combining the first data 122 and the second data 125 based on the third data 126.
  • a plurality of first data 122 including a plurality of live-action images that differ according to the time zone are stored as game data 30b, and a virtual three-dimensional space is stored. It is also possible for the generation unit 42 to select the first data 122 to be combined with the second data 125 from the plurality of first data 122 according to the in-game time.
  • the two-dimensional image display unit 43 displays a live-action image reproduced at the position of the virtual screen S as a two-dimensional image of the virtual three-dimensional space F viewed from the position of the virtual camera C, that is, the game screen G shown in FIG. .
  • the character control unit 44 controls a predetermined character object (character P) to be movable in the virtual three-dimensional space F displayed as a two-dimensional image.
  • the character P acts in the virtual three-dimensional space F according to the operation of the player's controller 24.
  • FIG. 13 shows another example of the game screen in the present embodiment.
  • FIG. 14 is a top view showing another example of the virtual three-dimensional space in the present embodiment.
  • a game screen G shown in FIG. 13 is expressed as a two-dimensional image when the virtual three-dimensional space F shown in FIG.
  • a shadow area (shadow area) R based on the light source data 128 is set.
  • the two-dimensional image display unit 43 determines whether or not the character P is located in the shadow region R, and performs a shading process for adding a shadow to the character P when the character P is located in the shadow region R. For example, as shown in FIG. 2, when the character P (1) is in the shadow (located in the shadow area R), the character P as shown in FIG.
  • the shading process can be applied not only to the character P but also to all objects existing in the virtual three-dimensional space F.
  • the two-dimensional image display unit 43 may perform the shading process even when it is not located in the shadow region R.
  • the two-dimensional image display unit 43 uses the positional relationship between the light source position (not shown) in the virtual three-dimensional space F (virtual three-dimensional CG space K) and the position of the character P based on the light source data 128. Shading processing is performed so that the surface facing the light source position of the character P becomes brighter and the surface opposite to the light source position becomes darker. As a result, an object such as the character P can be brought close to the method of shading in the real space. Therefore, when an object such as the character P is displayed on the game screen G shown in the live-action video, it is possible to reduce the uncomfortable feeling that there is an object that does not exist in the real-life video.
  • the space in which the character P moves is represented by a live-action video. That is, the character P is always expressed on the live-action video. For this reason, as shown in FIG. 13, if there is a shield V such as a tree on the game screen G in front of an area (passage) where the character P can move, the character P moves as it is on the passage. The character P that should originally be hidden by the shield V is displayed in front of the shield V. Since the reality of the virtual three-dimensional space F is lost in this state, if the composition of the arrangement as shown in FIG. 13 cannot be used as a live-action image, the degree of freedom of the position where the virtual camera C is installed (that is, selection of the real-image image) The degree of freedom) will be low.
  • the transmission processing unit 45 detects that the character P overlaps with a predetermined object in the live-action image displayed as a two-dimensional image, and the character P corresponds to the object (shielding object) V in the virtual three-dimensional space F ( When the object is located on the side opposite to the virtual camera position (that is, the virtual screen position side) with respect to the position of the shield object T, a transparent process is performed to make the portion Q overlapping the object in the character P transparent. . More specifically, when there is a shield V between the position of the virtual camera C and the path where the character P can be located in the virtual three-dimensional space F, an object corresponding to the shield V is previously stored as a shield object T. It is specified.
  • the transmission processing unit 45 determines whether or not at least a part of the character P has entered the shielding area U between the shielding object T and the virtual screen S. When it is determined that at least a part of the character P has entered the shielding area U, the shielding processing unit 45 makes the portion Q of the character P that has entered the shielding area U transparent.
  • the objects other than the character P are similarly subjected to the transparent process.
  • the character P is displayed on the game screen G in front of the live-action image, and the character P appears as if the character P wraps around the predetermined shield V after the shield V. can do.
  • This makes it possible to more effectively represent the depth direction in the virtual three-dimensional space using the live-action video. Further, it is possible to increase the degree of freedom in selecting a live-action video that can be adopted as a two-dimensional image displayed on the game screen G.
  • the case where the positions where the virtual camera C and the virtual screen S are respectively arranged is fixed, but the configuration in which the virtual camera C and the virtual screen S move (shooting while moving the camera) It is also possible to adopt a configuration using a live-action video.
  • the two-dimensional image display unit 43 and the transmission processing unit 45 have been described as functional modules executed by the control unit 4 of the game apparatus 2.
  • the two-dimensional image display unit 43 and the transmission processing unit 45 are The function module executed by the computer 101 for generating the virtual three-dimensional space may be used.
  • the computer 101 may generate a virtual three-dimensional space in which a two-dimensional image display and a transparent process can be performed.
  • the configuration is not limited to this as long as the configuration allows interactive operation between the user and the video program.
  • the present invention can be suitably applied to computers such as portable game apparatuses, mobile phones, and personal computers.
  • the present invention is useful for expressing the depth direction in a virtual three-dimensional space using a live-action image without a sense of incongruity.
  • Game device 4 Control unit 30a Game program 30b Game data 41 Data reading unit 42 Virtual three-dimensional space generation unit 43 Two-dimensional image display unit 44 Character control unit 45 Transmission processing unit 101 Computer 102 Storage device 111 Reference object data generation unit 112 2 data generator 113 third data generator 114 character generator 121 virtual three-dimensional space generation program 122 first data 123 still image data 124 reference object data 125 second data 126 third data B reference object feature point C virtual camera D Reference object F Virtual 3D space G Game screen (2D image) M Polygon mesh (object boundary) OD reference object P character (character object) S virtual screen T shielding object V shielding object VD virtual reference object

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　実写映像を含む第１データから、実写映像を映し出す仮想スクリーン位置とカメラ位置に対応する仮想カメラ位置との位置関係に基づいて、実写映像に含まれる基準物の境界を表す三次元の基準物データを生成し、実写映像が撮影された実在空間を再現した仮想三次元ＣＧ空間を構成するオブジェクトを表す第２データを生成し、第１データと第２データとに基づいて、仮想三次元空間を生成するための第３データを生成する。第３データは、基準物データにおける基準物の境界と第２データにおける基準物に対応するオブジェクトの境界とを合わせることにより、仮想三次元ＣＧ空間における、仮想カメラ位置が定められたデータである。

Description

仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体
　本発明は、仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体に関する。
　従来、アクションゲームやロールプレイングゲーム等、プレイヤの操作に応じてプレイヤキャラクタを仮想の三次元ゲーム空間内で動作させるゲームがある。通常、三次元ゲーム空間はコンピュータグラフィックスによって生成されている。近年ではコンピュータグラフィックスも高精細となり、実際の風景等を高い再現度で表すことができるようになってきている。しかし、ビデオカメラ等で撮影した実際の映像（実写映像）には及ばない。
　コンピュータグラフィックスによる背景画像に代えて、実際の映像を用いて生成された三次元ゲーム空間内でキャラクタを操作できるゲームも開発されている（例えば非特許文献１参照）。
ステイトオブプレイ（State of play）、"ルミノシティ（Lumino City）"、[online]、[平成２７年２月２４日検索]、インターネット<http://www.stateofplaygames.com/work/lumino-city>
　しかし、非特許文献１のゲームでは、実写映像として表示される二次元画像の上を平面的にキャラクタが動くような構成としている。このため、奥行き方向への移動が制限されている。このように、従来の構成では、奥行きのあるような実写映像を用いて、キャラクタを奥行方向に移動させようとすると、違和感が生じる問題があった。
　そこで本発明は、実写映像を用いた仮想三次元空間における奥行き方向の表現を違和感なく行うことができる仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体を提供することを目的とする。
　本発明の一態様に係る仮想三次元空間生成方法は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データから、前記実写映像を映し出す仮想スクリーン位置と前記カメラ位置に対応する仮想カメラ位置との位置関係を特定し、前記実写映像に含まれる所定の基準物の境界を表すデータであって前記位置関係に基づき当該境界が前記実写映像中の前記基準物と対応付けられている三次元の基準物データを生成する基準物データ生成ステップ、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトを表す第２データを生成する第２データ生成ステップ、および前記第１データと前記第２データとに基づいて、仮想三次元空間を生成するための第３データを生成する第３データ生成ステップを含み、前記第３データ生成ステップは、前記基準物データにおける前記基準物の境界と前記第２データにおける前記基準物に対応するオブジェクトの境界とを合わせることにより、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記仮想カメラ位置を定めた前記第３データを生成する。
　本発明によれば、実写映像を用いた仮想三次元空間における奥行き方向の表現を違和感なく行うことができる仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体を提供することができる。
図１は本実施の形態におけるゲーム画面の例を示す図である。 図２は本実施の形態における仮想三次元空間の例を示す上面図である。 図３は本実施の形態における仮想三次元空間を作成するためのコンピュータシステムの概略構成を示すブロック図である。 図４は本実施の形態における基準物データの生成過程において、基準物の境界を示す特徴点の生成過程を示す図である。 図５は本実施の形態における基準物データの生成過程において、仮想基準物の生成過程を示す図である。 図６は本実施の形態における基準物データの生成過程において、基準物データに含まれる特徴的な情報を模式的に示す図である。 図７は本実施の形態における第２データの生成過程において、第２データ生成画面の例を示す図である。 図８は本実施の形態における第２データの生成過程において、第２データに含まれる特徴的な情報を模式的に示す図である。 図９は本実施の形態における第３データの生成過程において、仮想基準物と基準物オブジェクトとが一致する前の状態を示す図である。 図１０は本実施の形態における第３データの生成過程において、仮想基準物と基準物オブジェクトとが一致した後の状態を示す図である。 図１１は本実施の形態におけるゲーム装置のハードウェア構成を示すブロック図である。 図１２は図１１に示すゲーム装置の機能的な構成を示すブロック図である。 図１３は本実施の形態におけるゲーム画面の他の例を示す図である。 図１４は本実施の形態における仮想三次元空間の他の例を示す上面図である。
　本発明の一態様に係る仮想三次元空間生成方法は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データから、前記実写映像を映し出す仮想スクリーン位置と前記カメラ位置に対応する仮想カメラ位置との位置関係を特定し、前記実写映像に含まれる所定の基準物の境界を表すデータであって前記位置関係に基づき当該境界が前記実写映像中の前記基準物と対応付けられている三次元の基準物データを生成する基準物データ生成ステップ、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトを表す第２データを生成する第２データ生成ステップ、および前記第１データと前記第２データとに基づいて、仮想三次元空間を生成するための第３データを生成する第３データ生成ステップを含み、前記第３データ生成ステップは、前記基準物データにおける前記基準物の境界と前記第２データにおける前記基準物に対応するオブジェクトの境界とを合わせることにより、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記仮想カメラ位置を定めた前記第３データを生成する。
　前記仮想三次元空間生成方法は、前記仮想三次元空間内で移動可能なキャラクタを生成するキャラクタ生成ステップを含んでもよい。
　前記仮想三次元空間生成方法は、前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および前記キャラクタが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップを含んでもよい。
　前記基準物データ生成手段は、前記基準物データを、前記基準物を含む前記実写映像の特徴点群を取得することにより生成してもよい。
　前記基準物は、前記実在空間に設置した人工物であってもよい。
　前記実写映像は、前記基準物として設定した人工物を含めて撮影した後、当該撮影を継続しながら前記人工物を取り除いたものであり、前記基準物データを生成する際には前記実写映像のうちの前記人工物が撮影されている部分を利用し、前記実写映像による仮想三次元空間を生成する際には前記実写映像のうちの前記人工物を取り除いて撮影されている部分を利用してもよい。
　本発明の一態様に係るユーザ操作可能な映像システムは、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データと、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトの境界を表す第２データと、前記実写映像に含まれるオブジェクトが前記仮想三次元ＣＧ空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第３データと、を含むデータ群を読み出すデータ読み出しモジュール、前記第３データに基づいて前記第１データと前記第２データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成モジュール、前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示モジュール、および所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御モジュール、を備えている。
　前記映像システムは、前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理モジュールを備えてもよい。
　本発明の一態様に係るユーザ操作可能な映像システムの制御方法は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データと、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトの境界を表す第２データと、前記実写映像に含まれるオブジェクトが前記仮想三次元ＣＧ空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第３データと、含むデータ群を読み出すデータ読み出しステップ、前記第３データに基づいて前記第１データと前記第２データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成ステップ、前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御ステップ、を含んでいる。
　前記制御方法は、前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップを含んでもよい。
　本発明の一態様に係る記録媒体は、コンピュータ装置の制御部により実行可能な指令を記憶した、該コンピュータ装置での読み取りが可能な記録媒体であって、前記指令は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データと、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトの境界を表す第２データと、前記実写映像に含まれるオブジェクトが前記仮想三次元ＣＧ空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第３データと、を含むデータ群を読み出すデータ読み出しステップ、前記第３データに基づいて前記第１データと前記第２データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成ステップ、前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御ステップ、を含んでいる。
　前記指令は、前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップを含んでもよい。
　以下、本発明の実施の形態に係る仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体について、図面を参照しつつ説明する。本実施の形態においては、生成された仮想三次元空間内を行動可能なキャラクタを操作するゲームを例として説明する。
　［本実施の形態において生成される仮想三次元空間の概要］
　本実施の形態における仮想三次元空間は、まるで実在空間を撮影した実写映像内をキャラクタが行動しているように見せることのできるゲーム画面を表示するために生成される。図１は本実施の形態におけるゲーム画面の例を示す図である。また、図２は本実施の形態における仮想三次元空間の例を示す上面図である。図１に示すゲーム画面Ｇは、図２に示す仮想三次元空間Ｆを仮想カメラＣ（実線）から見た二次元画像として表現される。
　図１および図２に示すように、ゲーム画面Ｇ上において、キャラクタＰが行動する仮想三次元空間Ｆは実写映像により表現されている。すなわち、仮想三次元空間Ｆを仮想三次元空間Ｆ内の仮想カメラ位置に設置された仮想カメラＣから撮像した映像として実写映像がゲーム画面Ｇに表示される。仮想カメラＣの撮像範囲は、仮想カメラＣの画角により定められ、仮想三次元空間Ｆの仮想カメラ位置に対応する仮想スクリーン位置に設置された仮想スクリーンＳの範囲となる。さらに、ゲーム画面Ｇには、仮想カメラＣの撮像範囲内における仮想三次元空間Ｆに配置され、キャラクタＰが取得可能なアイテム等のオブジェクトＡも表示される。
　また、実写映像に含まれているオブジェクトには、境界が設定されている。例えば、木または壁等に設定される境界により、キャラクタＰの行動（移動等）が制限される。また、地面等に設定される境界により、当該境界上に位置するキャラクタＰの上下方向の位置（高さ方向の位置）が決定される。
　キャラクタＰが所定のカメラ切り替え位置Ｈに位置するとゲーム画面Ｇに表示される映像が別の仮想カメラＣから撮像した映像に切り替わる。例えば、図２において実線で示される仮想カメラＣで撮像した映像がゲーム画面Ｇに表示されている状態（図１に示すゲーム画面が表示されている状態）でキャラクタＰがカメラ切り替え位置Ｈに到達すると、図２において破線で示す仮想カメラＣで撮像した映像がゲーム画面Ｇに表示される。
　［仮想三次元空間作成方法］
　図３は本実施の形態における仮想三次元空間を作成するためのコンピュータシステムの概略構成を示すブロック図である。図３に示すように、コンピュータシステム１００は、各種演算を行うコンピュータ１０１と、各種データを記憶するハードディスク装置等の記憶装置１０２と、キーボードまたはマウス等の入力装置１０３と、モニタ１０４と、を備えている。これらの各構成は、バス信号線１０５により相互に信号の伝送が可能となっている。
　記憶装置１０２には、仮想三次元空間生成プログラム１２１が記憶されている。図３において、仮想三次元空間生成プログラム１２１は、１つのプログラムとして表現されているが、後述するように、複数のプログラムから構成されていてもよい。さらに、記憶装置１０２には、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データ１２２が記憶されている。
　コンピュータ１０１は、ＣＰＵ、内部メモリ等を備え、記憶装置１０２に記憶された仮想三次元空間生成プログラム１２１に基づいて、基準物データ生成部（基準物データ生成手段、基準物データ生成モジュール）１１１、第２データ生成部（第２データ生成手段、第２データ生成モジュール）１１２、第３データ生成部（第３データ生成手段、第３データ生成モジュール）１１３、キャラクタ生成部（キャラクタ生成手段、キャラクタ生成モジュール）１１４、および光源情報反映部（光源情報反映手段、光源情報反映モジュール）１１５の各機能を発揮する。
　［基準物データの生成］
　以下、順に説明する。基準物データ生成部１１１は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データ（実写映像データ）１２２から、実写映像を映し出す仮想スクリーン位置とカメラ位置に対応する仮想カメラ位置との位置関係を特定し、実写映像に含まれる所定の基準物の境界を表すデータであって当該位置関係に基づき当該境界が実写映像中の前記基準物と対応付けられている三次元の基準物データ１２３を生成する。
　図４から図６は本実施の形態における基準物データの生成過程を示す図である。まず、図４に示すような撮像領域の実写映像がデジタルビデオカメラ等で撮影される。この際、実写映像の縮尺を判定するための基準物Ｄとして人工物が実在空間に設置され、当該人工物が実写映像に含まれるように撮影される。図４の例においては、基準物Ｄとして人工物である段ボール箱等の直方体が用いられている。基準物Ｄは、角があり、当該角を構成する複数の面が互いに直角になっていることが好ましい。なお、人工物が実写映像内に設置される代わりに、元々実写映像内に含まれている人工物または自然物が基準物Ｄとして設定されてもよい。基準物データ生成過程では、仮想三次元空間生成プログラム１２１として、例えば、“SynthEyes”（Andersson Technologies LLC）等の三次元カメラトラッキングプログラムが利用できる。
　基準物データ生成部１１１は、撮像された実写映像をトラッキング処理することにより、当該実写映像を撮影したカメラ位置と当該実写映像に撮像された物（基準物、地面、壁、木等）の境界との位置関係を示す境界データを生成する。境界データおよび実写映像を撮影したカメラの画角により、実写映像を映し出す仮想スクリーン位置とカメラ位置に対応する仮想カメラ位置との位置関係が特定される。図４の例において、基準物データ生成部１１１は、境界データを、基準物を含む実写映像の特徴点群を取得することにより生成する。特徴点群は、各特徴点が三次元の位置座標を有するデータの集合である。図４に示す処理画面Ｅ上において各特徴点が×印で示される。特に、基準物Ｄについての正確な境界データを取得するために、実写映像は、カメラ位置が基準物Ｄの周囲のある程度の範囲を回るように、デジタルビデオカメラをパンさせて撮影されたものであることが好ましい。
　トラッキング処理だけでは基準物Ｄの境界データが十分に生成されない場合、ユーザが実写映像上に基準物Ｄの三次元の位置座標（を示す特徴点）を配置可能に構成されてもよい。なお、基準物Ｄの境界を示す特徴点Ｂは、角のある基準物Ｄにおいては角における位置に設置されることが好ましい。図４の例のように大きさが既知の直方体を用いた場合、基準物Ｄの境界を示す特徴点Ｂは、何れか一の平面に含まれる当該平面の頂点に少なくとも３点設置されればよい。これにより残りの角の位置座標は演算によっても取得することができる。
　基準物Ｄの境界を示す特徴点Ｂを特定した後、当該特徴点Ｂに基づいて、図５に示すような、基準物Ｄ全体の三次元の境界を示す仮想基準物ＶＤが生成される。仮想基準物ＶＤは例えばポリゴン等により生成される。仮想基準物ＶＤの生成は、基準物Ｄの境界を示す特徴点Ｂに基づいて、ユーザが入力装置１０３を操作して描画することとしてもよいし、基準物データ生成部１１１が自動的に生成してもよい。この結果、図６に示すように、仮想カメラＣの位置から仮想スクリーンＳを見たときに、仮想スクリーンＳと仮想カメラＣと仮想基準物ＶＤとの位置関係が、仮想基準物ＶＤと実写映像に含まれる基準物Ｄとが一致するような位置関係となるように、仮想基準物ＶＤ（すなわち基準物Ｄの境界）が実写映像中の基準物Ｄと対応付けられた基準物データ１２３が生成される。なお、図６の処理画面Ｅにおいては、仮想基準物ＶＤ以外の物の境界を示す特徴点群も表示されているが、当該特徴点群は基準物データ１２３に含まれなくてもよいし、含まれてもよい。生成された基準物データ１２３は、記憶装置１０２に記憶される。
　［第２データの生成］
　第２データ生成部１１２は、実写映像が撮影された実在空間をコンピュータグラフィックス（ＣＧ）で再現した仮想三次元ＣＧ空間を構成するオブジェクトを表す第２データ１２５を生成する。図７および図８は本実施の形態における第２データの生成過程を示す図である。図７の例において、第２データ生成部１１２は、第２データ１２５の元となる仮想三次元ＣＧ空間Ｋを、実写映像に含まれる実在空間において撮影された複数の静止画を用いて三次元スキャニング処理を行うことにより生成する。静止画は、デジタルスチルカメラ等で撮影され、静止画データ１０８として記憶装置１０２に記憶される。この際、実写映像の撮影時において基準物Ｄを設置した状態で静止画も撮影される。すなわち、実写映像における基準物Ｄの設置位置と、静止画における基準物Ｄの設置位置とは同じ位置である。この結果、生成される仮想三次元ＣＧ空間Ｋを構成するオブジェクトには、基準物Ｄのオブジェクト（後述する図９に示される基準物オブジェクトＯＤ）が含まれる。
　図７に示すように、図７に示す第２データ生成画面Ｊの上段Ｊ１には、生成された仮想三次元ＣＧ空間Ｋと、当該仮想三次元ＣＧ空間Ｋの部分を生成するために用いられた静止画Ｌとが対応付けられて示されている。第２データ生成画面Ｊの下段Ｊ２には、上段の仮想三次元ＣＧ空間Ｋを生成するために用いられた静止画の一覧が上段の静止画群と対応付けられて示されている。このように複数（例えば数百枚程度）の静止画Ｌが隣り合う静止画が重なり合うように複数の角度から撮影され、隣り合う静止画Ｌ内の画像が連続するように配置される。その後、三次元スキャニング処理が行われることにより、仮想三次元ＣＧ空間Ｋが生成される。第２データ生成過程では、仮想三次元空間生成プログラム１２１として、例えば、“PhotoScan”（Agisoft LLC）等の三次元スキャニングプログラムが利用できる。
　仮想三次元ＣＧ空間Ｋには、当該仮想三次元ＣＧ空間Ｋ内のオブジェクトの境界を示す情報が含まれる。当該オブジェクトの境界は、仮想三次元ＣＧ空間Ｋ内を行動するキャラクタとの接触判定（移動制限）を行う、または、地面の高低差の表現（キャラクタの足と地面とが離れたら落下する等の表現）を行うために用いられる。第２データ生成部１１２は、仮想三次元ＣＧ空間Ｋ内のオブジェクトを第２データ１２５として生成する。具体的には、仮想三次元ＣＧ空間Ｋを透明化したものが第２データ１２５として生成される。例えば第２データ１２５は、図８に示すように、仮想三次元ＣＧ空間Ｋにおけるオブジェクトの境界を形成するポリゴンメッシュＭのみの情報のみを有している。なお、図８においては、ポリゴンメッシュＭが可視化されているが、後述する仮想三次元空間生成完了時にはポリゴンメッシュＭ自体が透明化されている。
　このように、最終的に生成される仮想三次元空間には仮想三次元ＣＧ空間Ｋに貼られたテクスチャ（複数の静止画からのモデリングにより生成されたテクスチャ）は必要ない。しかし、後述する第３データを生成するために、仮想三次元ＣＧ空間Ｋが高解像度のテクスチャにより構成されることが好ましい。特に、後述する仮想基準物ＶＤと基準物オブジェクトＯＤとの位置および大きさの調整をユーザが行う場合、仮想三次元ＣＧ空間Ｋが高解像度のテクスチャにより構成されることが好ましい。これにより、上記調整における微調整をユーザが行い易くすることができる。なお、第３データが生成されるまでは、第２データ１２５に、仮想三次元ＣＧ空間Ｋのテクスチャ情報が含まれるようにしておき、第３データの生成完了後、第２データ１２５から当該テクスチャ情報が削除されてもよい。また、第２データ１２５においてテクスチャ情報が削除されなくてもよい。生成された第２データ１２５は、記憶装置１０２に記憶される。
　［第３データの生成］
　第３データ生成部１１３は、第１データ１２２と第２データ１２５とに基づいて、仮想三次元空間を生成するための第３データを生成する。図９および図１０は本実施の形態における第３データの生成過程を示す図である。第３データ生成部１１３は、図９に示す状態から図１０に示す状態となるように、基準物データ１２３における基準物Ｄの境界と第２データ１２５における基準物に対応するオブジェクトの境界とを合わせることにより、実写映像の画角に基づいて、仮想三次元ＣＧ空間Ｋにおける、仮想カメラＣの仮想カメラ位置を定めた第３データを生成する。第３データ生成過程では、仮想三次元空間生成プログラム１２１として、例えば、“Blender”（Blender.org、フリーソフトウェア）等の三次元ＣＧ統合環境アプリケーションが利用できる。
　図９に示すように、第３データ生成画面Ｎには、第２データ１２５を含む仮想三次元ＣＧ空間Ｋの描画データおよび基準物データ１２３がそれぞれ１つの仮想三次元空間内に読み出される。基準物データ１２３に含まれる仮想基準物ＶＤの位置および大きさが仮想三次元ＣＧ空間Ｋに含まれる基準物オブジェクトＯＤに一致するように、調整される（移動および拡大縮小処理が行われる）。このような調整により、仮想基準物ＶＤの位置が変化すると、それに対応して仮想カメラＣおよび仮想スクリーンＳの位置も変化する。仮想基準物ＶＤの大きさが変化すると、仮想カメラＣの画角（実写映像を撮影したカメラの画角）が一定であることから、それに対応して仮想カメラＣと仮想スクリーンＳとの間の距離および仮想スクリーンＳの大きさ（縮尺）が変化する。
　このような調整は、仮想三次元ＣＧ空間Ｋに対して仮想基準物ＶＤを移動する操作および／または拡大縮小する操作を、入力装置１０３を用いてユーザが行ってもよいし、第３データ生成部１１３が自動的に調整処理を行ってもよい。第３データ生成部１１３が自動的に調整する場合には、仮想三次元ＣＧ空間Ｋのテクスチャは第３データ生成開始時点で第２データ１２５に含まれていなくてもよい。
　このような調整の結果、図１０に示すように、基準物データ１２３から、仮想三次元ＣＧ空間Ｋにおける仮想カメラＣの位置が決定される。決定された仮想カメラＣの位置に基づいて仮想スクリーンＳの位置も定められる。決定された仮想カメラＣの仮想三次元ＣＧ空間Ｋ上の位置座標が第３データ１２６として生成され、記憶装置１０２に記憶される。
　第３データ１２６により、仮想カメラＣから見た映像として仮想スクリーンＳに実写映像を再生した場合に、当該再生された実写映像と同じ仮想カメラＣから見た仮想三次元ＣＧ空間Ｋとが実質的に同じ情景となる。したがって、図１に示すようなゲーム画面Ｇとして仮想カメラＣを通して透明化された仮想三次元ＣＧ空間Ｋに（第２データ１２５であるオブジェクトの境界に基づいて）配置されたアイテムオブジェクトＡ、および、仮想三次元ＣＧ空間Ｋ内を行動するキャラクタＰ等の追加オブジェクトを見せることにより、あたかも実写映像内をキャラクタＰが行動しているかのようにゲームのプレイヤに感じさせることができる。
　以上のように生成された第３データ１２６に基づいて第１データ１２２と第２データ１２５とが結合されることによって、仮想三次元空間Ｆ（図２）が生成される。したがって、このような仮想三次元空間Ｆを用いたゲームにおいては、仮想カメラＣを通じて仮想三次元空間Ｆを見た情景として実写映像がゲーム画面Ｇ（図１）に表示される。一方、当該ゲーム画面Ｇ内に表示されるキャラクタＰまたはアイテムオブジェクトＡ等の追加オブジェクトは、実写映像に対応するオブジェクトの境界に基づいて行動が制御され、または配置される。このように、実写映像にオブジェクトの境界についての情報を適用することにより、二次元画像である実写映像に奥行き方向の概念を追加することができる。したがって、実写映像を用いた仮想三次元空間Ｆにおける奥行き方向の表現を違和感なく行うことができる。
　なお、図２に示すように、仮想三次元空間Ｆに複数の異なる仮想カメラ位置に仮想カメラＣが配置され、キャラクタＰの異同に応じて仮想カメラＣを切り替えてゲーム画面Ｇに表示される実写映像が切り替えられる場合、当該仮想三次元空間Ｆを生成するための基準物Ｄは、複数の実写映像に共通するものが用いられる。すなわち、複数の仮想カメラ位置で実写映像を撮影する際に、各仮想カメラ位置における仮想カメラＣの撮像範囲内に、共通する基準物Ｄが含まれるようにする。これに代えて、複数の仮想カメラ位置における仮想カメラＣの撮像範囲内に含まれる同型の物（例えば、ベンチ、電話ボックス、信号機等）を基準物Ｄとして採用してもよい。
　［実写映像］
　ここで、改めて第１データ１２２に含まれる実写映像について説明する。実写映像は、基準物データ１２３を作成するために、基準物として設定した人工物を含めて撮影されたものが用いられる。一方で、ゲーム画面として表示する実写映像には基準物Ｄが映り込んでいない方が違和感のない映像となる場合がある。この場合、実写映像は、基準物Ｄとして設定した人工物を含めて撮影した後、当該撮影を継続しながら基準物Ｄを取り除いたものが用いられてもよい。
　例えば、最終的に生成される仮想三次元空間Ｆにおいて仮想スクリーンＳの位置が固定されている場合（固定位置の映像がゲーム画面Ｇ内に表示される場合）、まず、基準物Ｄを実在空間の所定位置（カメラの固定位置における撮像範囲内の所定位置）に設置し、カメラによる撮影が開始される。カメラを固定せずに撮影が開始され、基準点データを取り易くするために、カメラを基準物Ｄを中心に左右に所定範囲でパンさせて撮影が行われる。その後、撮影を継続しながら、カメラが固定位置に固定される。さらに、カメラが固定位置に完全に静止している状態で基準物Ｄを撮像範囲内に含む撮影を所定の期間行った後、撮影を継続しながら、基準物Ｄが撮像範囲外に取り除かれる。その上で、仮想三次元空間Ｆを仮想カメラＣからみた二次元画像（図１に示すゲーム画面）として必要な所定時間撮影が行われた後、撮影が終了される。
　このようにして撮影された実写映像のうち、カメラをパンさせた後、静止させた状態で基準物Ｄが含まれている部分を基準物データ１２３を生成する際に利用する。また、上記実写映像のうち、カメラの静止状態において基準物Ｄを取り除いた部分を実写映像による仮想三次元空間Ｆを生成する際に利用する。すなわち、当該部分を仮想三次元空間Ｆにおいて仮想スクリーンＳに再生する（二次元画像としてゲーム画面Ｇに表示する）実写映像として利用する。これにより、基準物Ｄとして実写映像中の情景と全く関係のない人工物を採用しても、生成された仮想三次元空間Ｆにおいて基準物Ｄの存在を消去することができる。
　また、仮想スクリーンＳの位置が固定の場合、仮想三次元空間Ｆにおいて仮想スクリーンＳに再生する実写映像は、所定期間の映像が繰り返されるループ映像が用いられる。すなわち、撮影された一連の実写映像から基準物Ｄが含まれていない期間の映像をループ再生するように設定した再生映像データが生成される。再生映像データは、ループ期間およびループ期間の初期と終期との繋がりとを調整することにより、違和感のない実写映像とすることができる。後述するゲームプログラムに用いられるゲームデータに含まれる第１データ１２２として、このような再生映像データ１２９を採用してもよい。
　［キャラクタの生成］
　キャラクタ生成部１１４は、仮想三次元空間Ｆ内で移動可能なキャラクタＰを生成する。キャラクタＰは、三次元オブジェクトで構成されてもよい。さらに、キャラクタＰは、実在の物体を複数の角度から撮影した複数の静止画から三次元スキャニング処理により生成された、三次元オブジェクトでもよい。生成されたキャラクタＰのデータは、キャラクタデータ１２７として記憶装置１０２に記憶される。
　［光源情報の生成］
　光源情報反映部１１５は、実写映像が撮影された実在空間の所定位置において撮影された静止画１０８から実在空間における光源の情報を取得し、当該光源の情報を、実写映像による仮想三次元空間Ｆに配置されるオブジェクト（キャラクタＰ、アイテムオブジェクトＡ等）に反映させる。このため、記憶装置１０２には、光源の情報を得るための静止画データ１０８として、所定位置の周囲が連続するように撮影された画像が別途記憶される。このような静止画データ１０８は、実写映像が撮影された条件（季節、時刻、天候等）と略同じ条件において例えば３６０度撮影カメラにより撮像された画像である。光源の情報を得るための静止画データ１０８は、ハイダイナミックレンジ合成（ＨＤＲｉ）処理が行われた静止画が用いられてもよい。幅広いダイナミックレンジ（明暗の比）を有する静止画を用いることにより、より細かい光源の情報を得ることができる。このようにして生成された光源の情報は、光源データ１２８として記憶装置１０２に記憶される。
　これによれば、ゲーム画面Ｇ内において実写映像以外のオブジェクト（キャラクタＰおよびアイテムオブジェクトＡ等）が表示された場合に、当該実写映像以外のオブジェクトにも、実写映像と同様の陰影表現を容易に付加することができる。
　［生成された仮想三次元空間を用いた映像プログラムの例］
　以下に、上記のような方法で生成された仮想三次元空間Ｆを用いた映像プログラムの一例として、当該仮想三次元空間Ｆ内をキャラクタＰが行動可能なゲームを実現するための構成について説明する。本実施の形態におけるゲームにおいて、プレイヤは図１に示すゲーム画面Ｇを見ながらキャラクタＰを操作してアイテムオブジェクトＡを取得したり、仮想三次元空間Ｆ内を行動している他のキャラクタ（ノンプレイヤキャラクタ。図示せず）に出会って会話をしたりしながら、所定の目標が設定されたシナリオ（ゲーム本編）を進行させる。
　［ハードウェア構成］
　上述したゲームを実現するゲーム装置の構成について説明する。上述したゲームを実現するゲームシステムの構成について説明する。本実施形態におけるゲームシステムは、下記ゲーム装置２と、当該ゲーム装置２に接続されるモニタ１９、スピーカ２２およびコントローラ２４などの外部装置とで構成され、下記ディスク型記録媒体３０から読み込んだゲームプログラム３０ａおよびゲームデータ３０ｂに基づいてゲームを行い得る。ただし、以下では、説明を簡単にするため、単にゲーム装置２と称する場合がある。図１１は本実施の形態におけるゲーム装置２のハードウェア構成を示すブロック図である。図１１に示すように、ゲーム装置２は、他のゲーム装置２およびサーバ装置３との間で、インターネットまたはＬＡＮなどの通信ネットワークＮＷを介して互いに通信可能である。このゲーム装置２は、その動作を制御するコンピュータであるＣＰＵ１０を備え、このＣＰＵ１０にはバス１１を介してディスクドライブ１２、メモリカードスロット１３、プログラム記憶部を成すＨＤＤ１４、ＲＯＭ１５およびＲＡＭ１６が接続されている。
　ディスクドライブ１２には、ＤＶＤ－ＲＯＭ等のディスク型記録媒体３０が装填可能である。該ディスク型記録媒体３０には、本発明の実施の形態に係るゲームプログラム３０ａおよび本実施の形態で説明するゲームに登場するキャラクタならびにゲーム空間を形成するのに必要なオブジェクトおよびテクスチャ等のゲームデータ３０ｂが記録されている。また、メモリカードスロット１３にはカード型記録媒体３１が装填でき、ゲームの途中経過等のプレイ状況を示すセーブデータを、ＣＰＵ１０からの指示に応じて記録可能である。
　ＨＤＤ１４はゲーム装置２に内蔵される大容量記録媒体であって、ディスク型記録媒体３０から読み込んだゲームプログラム３０ａおよびゲームデータ３０ｂならびにセーブデータなどを記録する。ＲＯＭ１５は、マスクＲＯＭまたはＰＲＯＭなどの半導体メモリであり、ゲーム装置２を起動する起動プログラム、および、ディスク型記録媒体３０が装填されたときの動作を制御するプログラムなどを記録している。ＲＡＭ１６は、ＤＲＡＭまたはＳＲＡＭなどからなり、ＣＰＵ１０が実行すべきゲームプログラム３０ａ、およびその実行の際に必要になるゲームデータ３０ｂ等を、ゲームのプレイ状況に応じてディスク型記録媒体３０またはＨＤＤ１４から読み込んで一時的に記憶する。
　また、ＣＰＵ１０には、バス１１を介してグラフィック処理部１７、オーディオ合成部２０、無線通信制御部２３およびネットワークインタフェース２５が接続されている。
　このうちグラフィック処理部１７は、ＣＰＵ１０の指示に従ってゲーム空間や各キャラクタなどを含むゲーム画像を描画する。また、グラフィック処理部１７にはビデオ変換部１８を介して外部のモニタ１９が接続されており、グラフィック処理部１７にて描画されたゲーム画像はビデオ変換部１８において動画形式に変換され、モニタ１９にて表示される。
　オーディオ合成部２０は、ＣＰＵ１０の指示に従ってデジタルのゲーム音声を再生および合成する。また、オーディオ合成部２０にはオーディオ変換部２１を介して外部のスピーカ２２が接続されている。従って、オーディオ合成部２０にて再生および合成されたゲーム音声は、オーディオ変換部２１にてアナログ形式にデコードされ、更にスピーカ２２から外部へ出力される。
　無線通信制御部２３は、２．４ＧＨｚ帯の無線通信モジュールを有し、ゲーム装置２に付属するコントローラ２４との間で無線により接続され、データの送受信が可能である。ユーザは、このコントローラ２４に設けられたボタン等の操作子（図示せず）を操作することにより、ゲーム装置２へ信号を入力することができ、モニタ１９に表示されるプレイヤキャラクタの動作を制御可能である。また、ネットワークインタフェース２５は、インターネットまたはＬＡＮなどの通信ネットワークＮＷに対してゲーム装置２を接続し、他のゲーム装置２またはサーバ装置３との間の通信を可能とする。そして、ゲーム装置２を、通信ネットワークＮＷを介して他のゲーム装置２と接続し、互いにデータを送受信することにより、同一のゲーム空間内で同期して複数のプレイヤキャラクタを表示させることができる。したがって、複数人が協力してゲームを進行させるマルチプレイが可能になっている。
　［ゲーム装置の機能的構成］
　図１２は図１１に示すゲーム装置２の機能的な構成を示すブロック図である。図１１に示すようにゲーム装置２は、ＣＰＵ１０、ＨＤＤ１４、ＲＯＭ１５、ＲＡＭ１６、グラフィック処理部１７、ビデオ変換部１８、オーディオ合成部２０、オーディオ変換部２１、ネットワークインタフェース２５などを含む制御部４を備えたコンピュータとして動作する。ゲームデータ３０ｂには、仮想三次元空間Ｆを生成するためのデータ群として、第１データ１２２（またはこれに基づく再生映像データ１２９）、第２データ１２５、第３データ１２６、キャラクタデータ１２７、および光源データ１２８が含まれている。そして、図１２に示すように、ゲーム装置２の制御部４は、本発明のゲームプログラム３０ａを実行することで、データ読み出し部（データ読み出し手段、データ読み出しモジュール）４１、仮想三次元空間生成部（仮想三次元空間生成手段、仮想三次元空間生成モジュール）４２、二次元画像表示部（二次元画像表示手段、二次元画像表示モジュール）４３、キャラクタ制御部（キャラクタ制御手段、キャラクタ制御モジュール）４４、および透過処理部（透過処理手段、透過処理モジュール）４５などの機能を発揮する。
　このうち、データ読み出し部４１は、ゲームデータ３０ｂに含まれるデータ群を読み出す。仮想三次元空間生成部４２は、読み出された第３データ１２６に基づいて第１データ１２２と第２データ１２５とが結合されることによって、仮想三次元空間Ｆ（図２）を生成する。さらに、仮想三次元空間生成部４２は、仮想三次元空間Ｆの所定位置にアイテムオブジェクトＡ等を配置する。
　なお、第１データ１２２と第２データ１２５とは第３データ１２６によって予め結合された状態でゲームデータ３０ｂとして保存されていてもよい。この場合、データ読み出し部４１は、第１データ１２２、第２データ１２５および第３データ１２６が互いに結合された状態で、これらのデータを読み出す。第１データ１２２と第２データ１２５とが１対１で対応している場合等には予め結合した状態でデータ化しておくことにより読み出し速度または描画速度を速くすることができる。
　これに代えて、第１データ１２２、第２データ１２５および第３データ１２６は、それぞれ別々の状態でゲームデータ３０ｂとして保存されていてもよい。この場合、仮想三次元空間生成部４２は、第３データ１２６に基づいて第１データ１２２と第２データ１２５とを結合する処理を行う。例えば、ゲーム内時間に応じて昼と夜とが切り替わるようなゲームにおいては、時間帯に応じて異なる複数の実写映像を含む複数の第１データ１２２がゲームデータ３０ｂとして保存され、仮想三次元空間生成部４２が、複数の第１データ１２２からゲーム内時間に応じて第２データ１２５と結合する第１データ１２２を選択することも可能である。
　二次元画像表示部４３は、仮想カメラＣの位置から仮想三次元空間Ｆを見た二次元画像、すなわち図１に示すゲーム画面Ｇとして、仮想スクリーンＳの位置において再生される実写映像を表示する。キャラクタ制御部４４は、所定のキャラクタオブジェクト（キャラクタＰ）を、二次元画像として表示される仮想三次元空間Ｆ内で移動可能に制御する。キャラクタＰはプレイヤのコントローラ２４の操作に応じて仮想三次元空間Ｆ内を行動する。
　図１３は本実施の形態におけるゲーム画面の他の例を示す図である。また、図１４は本実施の形態における仮想三次元空間の他の例を示す上面図である。図１３に示すゲーム画面Ｇは、図１４に示す仮想三次元空間Ｆを仮想カメラＣから見た二次元画像として表現される。図１４に示すように、仮想三次元空間Ｆには、光源データ１２８に基づいた陰を示す領域（陰領域）Ｒが設定される。二次元画像表示部４３は、キャラクタＰが陰領域Ｒ内に位置したか否かを判定し、キャラクタＰが陰領域Ｒ内に位置した場合に当該キャラクタＰに陰影をつける陰付け処理を行う。例えば、図２に示すように、キャラクタＰ（１）が陰に入っている（陰領域Ｒ内に位置する）場合、図１に示すようなキャラクタＰが陰に入っていない（陰領域Ｒ内に位置していない）場合に比べて、キャラクタ全体に陰影を付加したり、キャラクタ全体の明度を下げる処理を行ったりする。陰付け処理は、キャラクタＰだけでなく仮想三次元空間Ｆ内に存在するすべてのオブジェクトに適用され得る。
　さらに、二次元画像表示部４３は、陰付け処理を、陰領域Ｒ内に位置していない場合にも行ってもよい。この場合、二次元画像表示部４３は、光源データ１２８に基づいて仮想三次元空間Ｆ（仮想三次元ＣＧ空間Ｋ）における光源位置（図示せず）と、キャラクタＰの位置との位置関係から、キャラクタＰのうち光源位置と対向する面ほど明るくなり、光源位置とは反対側となる面ほど暗くなるように陰付け処理を行う。これにより、キャラクタＰ等のオブジェクトを実在空間における陰影の付き方に近付けることができる。したがって、キャラクタＰ等のオブジェクトを実写映像で示されるゲーム画面Ｇ上に表示した際に、実写映像内に実在しないオブジェクトが存在することの違和感を低減させることができる。
　ここで、前述の通り、本実施の形態におけるゲーム画面Ｇにおいて、キャラクタＰが移動する空間は、実写映像によって表現される。すなわち、キャラクタＰは、常に実写映像上に表現される。このため、図１３に示すように、ゲーム画面Ｇ上において、キャラクタＰが移動し得る領域（通路）より手前に木等の遮蔽物Ｖが存在する場合、そのままキャラクタＰが通路上を移動すれば、本来遮蔽物Ｖにより隠れるべきキャラクタＰが遮蔽物Ｖの手前に表示されてしまう。このままでは仮想三次元空間Ｆの現実性が失われてしまうため、実写映像として図１３のような配置の構図が使えないとすると、仮想カメラＣを設置する位置の自由度（すなわち実写映像の選択の自由度）が低くなってしまう。
　そこで、透過処理部４５は、キャラクタＰが二次元画像として表示される実写映像における所定の物体に重なったときに、キャラクタＰが仮想三次元空間Ｆにおいて物体（遮蔽物）Ｖに対応するオブジェクト（遮蔽物オブジェクト）Ｔの位置を基準として仮想カメラ位置とは反対側（すなわち、仮想スクリーン位置側）に位置している場合、キャラクタＰにおける物体に重なっている部分Ｑを透明化する透過処理を行う。より詳しくは、仮想三次元空間Ｆにおいて仮想カメラＣの位置とキャラクタＰが位置し得る通路等の間に遮蔽物Ｖが存在する場合、当該遮蔽物Ｖに対応するオブジェクトが遮蔽物オブジェクトＴとして予め指定される。透過処理部４５は、当該遮蔽物オブジェクトＴと仮想スクリーンＳとの間の遮蔽領域Ｕ内にキャラクタＰの少なくとも一部が入ったか否かを判定する。遮蔽領域Ｕは、キャラクタＰの少なくとも一部が遮蔽領域Ｕ内に入ったと判定された場合、透過処理部４５は、当該遮蔽領域Ｕ内に入ったキャラクタＰの部分Ｑを透明化する。キャラクタＰ以外のオブジェクトについても同様に透過処理される。
　これにより、ゲーム画面ＧにおいてキャラクタＰが実写映像より常に手前に表示されているにもかかわらず、所定の遮蔽物Ｖに対してあたかも遮蔽物Ｖの後にキャラクタＰが回り込んだかのような表現とすることができる。これにより、実写映像を用いた仮想三次元空間における奥行き方向の表現をより効果的に行うことができる。また、ゲーム画面Ｇに表示される二次元画像として採用可能な実写映像の選択の自由度を高くすることができる。
　以上、本発明の実施形態について説明したが、本発明は上記実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲内で種々の改良、変更、修正が可能である。
　例えば、上記実施の形態では、仮想カメラＣおよび仮想スクリーンＳがそれぞれ配置される位置が固定されている場合について説明したが、仮想カメラＣおよび仮想スクリーンＳが移動する構成（カメラを移動させながら撮影した実写映像を用いた構成）も採用可能である。
　また、上記実施の形態では、二次元画像表示部４３および透過処理部４５を、ゲーム装置２の制御部４が実行する機能モジュールとして説明したが、二次元画像表示部４３および透過処理部４５が、仮想三次元空間を生成するためのコンピュータ１０１が実行する機能モジュールとして構成されてもよい。言い換えると、コンピュータ１０１において、二次元画像の表示と、透過処理とが実行可能な仮想三次元空間が生成されてもよい。
　また、上記実施の形態では、生成された仮想三次元空間Ｆを、プレイヤが当該仮想三次元空間内で行動するキャラクタＰを操作してシナリオを進行させるゲームプログラムに適用した例に基づいて説明したが、ユーザと映像プログラムとの間でインタラクティブに動作する構成である限り、これに限られない。
　また、上記実施の形態では据え置き型のゲーム装置について説明したが、携帯型のゲーム装置、携帯電話機、およびパーソナルコンピュータなどのコンピュータについても、本発明を好適に適用することができる。
　本発明は、実写映像を用いた仮想三次元空間における奥行き方向の表現を違和感なく行うために有用である。
２　ゲーム装置
４　制御部
３０ａ　ゲームプログラム
３０ｂ　ゲームデータ
４１　データ読み出し部
４２　仮想三次元空間生成部
４３　二次元画像表示部
４４　キャラクタ制御部
４５　透過処理部
１０１　コンピュータ
１０２　記憶装置
１１１　基準物データ生成部
１１２　第２データ生成部
１１３　第３データ生成部
１１４　キャラクタ生成部
１２１　仮想三次元空間生成プログラム
１２２　第１データ
１２３　静止画データ
１２４　基準物データ
１２５　第２データ
１２６　第３データ
Ｂ　基準物の特徴点
Ｃ　仮想カメラ
Ｄ　基準物
Ｆ　仮想三次元空間
Ｇ　ゲーム画面（二次元画像）
Ｍ　ポリゴンメッシュ（オブジェクトの境界）
ＯＤ　基準物オブジェクト
Ｐ　キャラクタ（キャラクタオブジェクト）
Ｓ　仮想スクリーン
Ｔ　遮蔽物オブジェクト
Ｖ　遮蔽物
ＶＤ　仮想基準物

Claims (12)

  1. 　実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データから、前記実写映像を映し出す仮想スクリーン位置と前記カメラ位置に対応する仮想カメラ位置との位置関係を特定し、前記実写映像に含まれる所定の基準物の境界を表すデータであって前記位置関係に基づき当該境界が前記実写映像中の前記基準物と対応付けられている三次元の基準物データを生成する基準物データ生成ステップ、
    　前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトを表す第２データを生成する第２データ生成ステップ、および
    　前記第１データと前記第２データとに基づいて、仮想三次元空間を生成するための第３データを生成する第３データ生成ステップを含み、
    　前記第３データ生成ステップは、前記基準物データにおける前記基準物の境界と前記第２データにおける前記基準物に対応するオブジェクトの境界とを合わせることにより、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記仮想カメラ位置を定めた前記第３データを生成する、仮想三次元空間生成方法。
  2. 　前記仮想三次元空間内で移動可能なキャラクタを生成するキャラクタ生成ステップを含む、請求項１に記載の仮想三次元空間生成方法。
  3. 　前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および
    　前記キャラクタが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップを含む、請求項２に記載の仮想三次元空間生成方法。
  4. 　前記基準物データ生成ステップは、前記基準物データを、前記基準物を含む前記実写映像の特徴点群を取得することにより生成する、請求項１に記載の仮想三次元空間生成方法。
  5. 　前記基準物は、前記実在空間に設置した人工物である、請求項１に記載の仮想三次元空間生成方法。
  6. 　前記実写映像は、前記基準物として設定した人工物を含めて撮影した後、当該撮影を継続しながら前記人工物を取り除いたものであり、前記基準物データを生成する際には前記実写映像のうちの前記人工物が撮影されている部分を利用し、前記実写映像による仮想三次元空間を生成する際には前記実写映像のうちの前記人工物を取り除いて撮影されている部分を利用する、請求項５に記載の仮想三次元空間生成方法。
  7. 　実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データと、
    　前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトの境界を表す第２データと、
    　前記実写映像に含まれるオブジェクトが前記仮想三次元ＣＧ空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第３データと、
    を含むデータ群を読み出すデータ読み出しモジュール、
    　前記第３データに基づいて前記第１データと前記第２データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成モジュール、
    　前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示モジュール、および
    　所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御モジュール、
    を備えた、ユーザ操作可能な映像システム。
  8. 　前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理モジュール
    を備えた、請求項７に記載の映像システム。
  9. 　実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データと、
    　前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトの境界を表す第２データと、
    　前記実写映像に含まれるオブジェクトが前記仮想三次元ＣＧ空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第３データと、
    を含むデータ群を読み出すデータ読み出しステップ、
    　前記第３データに基づいて前記第１データと前記第２データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成ステップ、
    　前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および
    　所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御ステップ、
    を含む、ユーザ操作可能な映像システムの制御方法。
  10. 　前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップ
    を含む、請求項９に記載の映像システムの制御方法。
  11. コンピュータ装置の制御部により実行可能な指令を記憶した、該コンピュータ装置での読み取りが可能な記録媒体であって、
    　前記指令は、
    　実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データと、
    　前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトの境界を表す第２データと、
    　前記実写映像に含まれるオブジェクトが前記仮想三次元ＣＧ空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第３データと、
    を含むデータ群を読み出すデータ読み出しステップ、
    　前記第３データに基づいて前記第１データと前記第２データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成ステップ、
    　前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および
    　所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御ステップ、
    を含む、記録媒体。
  12. 　前記指令は、
    　前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップ
    を含む、請求項１１に記載の記録媒体。
     
PCT/JP2015/001812 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体 WO2016157247A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017508793A JP6317854B2 (ja) 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体
PCT/JP2015/001812 WO2016157247A1 (ja) 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体
CN201580078470.2A CN107430788A (zh) 2015-03-30 2015-03-30 虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质
US15/563,320 US10176643B2 (en) 2015-03-30 2015-03-30 Method of generating virtual three-dimensional space, video system, method of controlling video system, and non-transitory computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/001812 WO2016157247A1 (ja) 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2016157247A1 true WO2016157247A1 (ja) 2016-10-06

Family

ID=57006747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/001812 WO2016157247A1 (ja) 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体

Country Status (4)

Country Link
US (1) US10176643B2 (ja)
JP (1) JP6317854B2 (ja)
CN (1) CN107430788A (ja)
WO (1) WO2016157247A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021078943A (ja) * 2019-11-21 2021-05-27 株式会社コーエーテクモゲームス ゲームプログラム、ゲーム処理方法及び情報処理装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
CN106056663B (zh) * 2016-05-19 2019-05-24 京东方科技集团股份有限公司 增强现实场景中的渲染方法、处理模块和增强现实眼镜
US10831333B2 (en) * 2017-07-26 2020-11-10 Adobe Inc. Manipulating a camera perspective within a three-dimensional space
CN108257215A (zh) * 2017-12-06 2018-07-06 石化盈科信息技术有限责任公司 信息展板展示方法和装置
WO2019130374A1 (ja) * 2017-12-25 2019-07-04 ガンホー・オンライン・エンターテイメント株式会社 端末装置、システム、プログラム及び方法
JP2020042503A (ja) * 2018-09-10 2020-03-19 株式会社ＭｉｎＤ ｉｎ ａ Ｄｅｖｉｃｅ 三次元表象生成システム
CN109829977A (zh) * 2018-12-30 2019-05-31 贝壳技术有限公司 在虚拟三维空间中看房的方法、装置、电子设备及介质
CN110264568B (zh) * 2019-06-21 2023-07-25 网易（杭州）网络有限公司 一种三维虚拟模型交互方法和装置
WO2021132013A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11410387B1 (en) 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US11210860B2 (en) * 2020-01-27 2021-12-28 Facebook Technologies, Llc. Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
US11113891B2 (en) 2020-01-27 2021-09-07 Facebook Technologies, Llc Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality
US11200745B2 (en) 2020-01-27 2021-12-14 Facebook Technologies, Llc. Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality
US11451758B1 (en) 2020-02-12 2022-09-20 Meta Platforms Technologies, Llc Systems, methods, and media for colorizing grayscale images
CN113516761B (zh) * 2021-08-05 2024-02-27 四开花园网络科技(广州)有限公司 视错觉类裸眼3d内容制作方法及装置
US11684848B2 (en) * 2021-09-28 2023-06-27 Sony Group Corporation Method to improve user understanding of XR spaces based in part on mesh analysis of physical surfaces
US11948257B2 (en) * 2022-05-09 2024-04-02 Rovi Guides, Inc. Systems and methods for augmented reality video generation
CN115761141B (zh) * 2022-11-30 2023-07-07 灵瞳智能科技(北京)有限公司 一种虚拟数字人三维模型采集装置
CN117132507B (zh) * 2023-10-23 2023-12-22 光轮智能(北京)科技有限公司 图像增强方法、图像处理方法、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013092964A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
RU2498408C2 (ru) * 2007-12-10 2013-11-10 Абб Рисерч Лтд Реализуемые компьютером способ и система для дистанционного контроля производственного процесса
SG11201402114PA (en) * 2011-11-09 2014-06-27 Abyssal S A System and method of operation for remotely operated vehicles with superimposed 3d imagery
US9058693B2 (en) * 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US10013506B2 (en) * 2015-11-20 2018-07-03 Dassault Systems Solidworks Corporation Annotating real-world objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013092964A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021078943A (ja) * 2019-11-21 2021-05-27 株式会社コーエーテクモゲームス ゲームプログラム、ゲーム処理方法及び情報処理装置
US11298617B2 (en) 2019-11-21 2022-04-12 Koei Tecmo Games Co., Ltd. Game program, game processing method, and information processing device

Also Published As

Publication number Publication date
JP6317854B2 (ja) 2018-04-25
US20180068488A1 (en) 2018-03-08
CN107430788A (zh) 2017-12-01
US10176643B2 (en) 2019-01-08
JPWO2016157247A1 (ja) 2018-02-08

Similar Documents

Publication Publication Date Title
JP6317854B2 (ja) 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体
KR101623288B1 (ko) 렌더링 시스템, 렌더링 서버, 그 제어 방법, 및 기록 매체
CN103544441B (zh) 移动图像生成装置
US10859852B2 (en) Real-time video processing for pyramid holographic projections
WO2018135343A1 (ja) 情報処理装置、情報処理方法及びプログラム
US7277571B2 (en) Effective image processing, apparatus and method in virtual three-dimensional space
JP6669783B2 (ja) 端末装置、システム、プログラム及び方法
KR20160096019A (ko) 게임 플레이 동영상에 광고 컨텐츠를 추가 적용하여 제공하는 서비스 방법
WO2019123509A1 (ja) 端末装置、システム、プログラム及び方法
WO2016145048A1 (en) Three-dimensional image source for enhanced pepper&#39;s ghost illusion
JP2007108876A (ja) ゲームプログラムおよびゲーム装置
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
JP2017111719A (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
KR102337020B1 (ko) 3d스캔데이터를 이용한 증강현실 동영상제작시스템 및 그 방법
JP2020107251A (ja) 画像生成システム及びプログラム
JP2021051537A (ja) 画像表示システム、方法、およびプログラム
US11287658B2 (en) Picture processing device, picture distribution system, and picture processing method
WO2023090038A1 (ja) 情報処理装置、映像処理方法、プログラム
JP2010125040A (ja) 画像処理装置
JP2006198136A (ja) ゲーム装置
JP2024014517A (ja) 情報処理システム、情報処理方法及びコンピュータプログラム
US20210400255A1 (en) Image processing apparatus, image processing method, and program
KR20230078171A (ko) 게임 제공 장치 및 게임 제공 방법
JP2024080412A (ja) 表示制御プログラム、表示制御装置および表示制御方法
CN117043823A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15887404

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017508793

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15563320

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15887404

Country of ref document: EP

Kind code of ref document: A1