WO2020026419A1 - 画像生成装置および画像生成方法 - Google Patents

画像生成装置および画像生成方法 Download PDF

Info

Publication number
WO2020026419A1
WO2020026419A1 PCT/JP2018/029104 JP2018029104W WO2020026419A1 WO 2020026419 A1 WO2020026419 A1 WO 2020026419A1 JP 2018029104 W JP2018029104 W JP 2018029104W WO 2020026419 A1 WO2020026419 A1 WO 2020026419A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
image
area
moving object
user
Prior art date
Application number
PCT/JP2018/029104
Other languages
English (en)
French (fr)
Inventor
良徳 大橋
正臣 西舘
永井　規浩
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2018/029104 priority Critical patent/WO2020026419A1/ja
Priority to US17/261,999 priority patent/US11335071B2/en
Priority to JP2020534002A priority patent/JPWO2020026419A1/ja
Publication of WO2020026419A1 publication Critical patent/WO2020026419A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the present invention relates to an apparatus and a method for generating an image.
  • Head-mounted displays connected to game machines are worn on the head, and a player plays a game by operating a controller or the like while watching the screen displayed on the head-mounted display.
  • the head-mounted display When the head-mounted display is mounted, the user does not see anything other than the image displayed on the head-mounted display, so that the immersion in the image world is enhanced, and the effect of further enhancing the entertainment of the game is provided.
  • a virtual reality (VR) image is displayed on the head-mounted display, and when the user wearing the head-mounted display rotates his / her head, a virtual space around 360 degrees can be displayed. Then, the feeling of immersion in the video is further increased, and the operability of an application such as a game is also improved.
  • VR virtual reality
  • a user wearing a non-transmissive head-mounted display cannot directly view the outside world, but a video transmission (a video camera capable of shooting an image of the outside world with a camera mounted on the head-mounted display and displaying it on a display panel).
  • a video transmission a video camera capable of shooting an image of the outside world with a camera mounted on the head-mounted display and displaying it on a display panel.
  • a video see-through type head mounted display.
  • augmented reality Augmented Reality
  • CG computer graphics
  • Images can also be generated and displayed.
  • augmented reality video is an augmented version of the real world with virtual objects, and users can experience the virtual world while being aware of the connection with the real world. Can be.
  • a virtual world object generated by CG is superimposed on an external image captured by a camera mounted on the head mounted display. Since the virtual worlds are discontinuously connected, the user may feel uncomfortable.
  • the present invention has been made in view of such a problem, and an object of the present invention is to provide an image generating apparatus and an image generating method capable of reducing a sense of discomfort in an augmented reality video.
  • an image generation device determines an area when a moving object moved by a user occupies a subspace occupied in the real world from the viewpoint of the user as an augmented reality area A determination unit; and an augmented reality generation unit configured to generate an augmented reality image in the augmented reality region among the captured images of the real world.
  • the method includes: determining, as an augmented reality area, an area when a moving object moved by a user occupies a subspace occupied in the real world from the viewpoint of the user; Generating an augmented reality image in the real region.
  • any combination of the above-described components, and any conversion of the expression of the present invention between a method, an apparatus, a system, a computer program, a data structure, a recording medium, and the like, are also effective as embodiments of the present invention.
  • FIG. 1 is a configuration diagram of an image generation system according to the present embodiment.
  • FIG. 3 is a functional configuration diagram of a head mounted display.
  • FIG. 2 is a functional configuration diagram of the image generation device according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 9 is a diagram illustrating another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 9 is a diagram illustrating another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 10 is a diagram illustrating still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 10 is a diagram illustrating still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 10 is a diagram illustrating still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 10 is a diagram illustrating still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 10 is a diagram illustrating still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 10 is a diagram illustrating still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 10 is a diagram illustrating still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 10 is a diagram illustrating still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 10 is a diagram illustrating still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 10 is a diagram illustrating still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 1 is an external view of the head mounted display 100.
  • the head-mounted display 100 is a display device that is worn on the user's head to view a still image or a moving image displayed on the display, and to listen to sound or music output from headphones.
  • a gyro sensor or an acceleration sensor built in or external to the head mounted display 100 measures the position information of the head of the user wearing the head mounted display 100 and orientation information such as the rotation angle and inclination of the head. be able to.
  • a camera unit is mounted on the head-mounted display 100, and an external world can be photographed while the user is wearing the head-mounted display 100.
  • the head mounted display 100 is an example of a “wearable display”.
  • a method for generating an image displayed on the head-mounted display 100 will be described.
  • the image generation method according to the present embodiment is not limited to the head-mounted display 100 in a narrow sense, but includes glasses, a glasses-type display, a glasses-type camera,
  • the present invention can be applied to a case where a headphone, a headset (headphone with a microphone), an earphone, an earring, a camera for an ear, a hat, a hat with a camera, a hair band, and the like are worn.
  • FIG. 2 is a configuration diagram of the image generation system according to the present embodiment.
  • the head mounted display 100 is connected to the image generating apparatus 200 via an interface 300 such as HDMI (registered trademark) (High-Definition Multimedia Interface) which is a standard for a communication interface for transmitting video and audio as digital signals. .
  • HDMI registered trademark
  • High-Definition Multimedia Interface High-Definition Multimedia Interface
  • the image generation device 200 predicts the position / posture information of the head-mounted display 100 from the current position / posture information of the head-mounted display 100 in consideration of a delay from generation to display of an image, and predicts the head-mounted display 100.
  • An image to be displayed on the head-mounted display 100 is drawn based on the position / posture information, and transmitted to the head-mounted display 100.
  • An example of the image generation device 200 is a game machine.
  • the image generation device 200 may be further connected to a server via a network.
  • the server may provide the image generation device 200 with an online application such as a game in which a plurality of users can participate via a network.
  • the head mounted display 100 may be connected to a computer or a mobile terminal instead of the image generating device 200.
  • the moving object 502 is an object that the user moves in the real world.
  • a wheel (hoop) that is moved by hand will be described as an example, but the moving object 502 is not limited to this.
  • the moving object 502 occupies a predetermined partial space in the real world.
  • An augmented reality image is generated and displayed in an area when the subspace occupied by the moving object 502 is viewed from the viewpoint of the user.
  • the area where the augmented reality image is displayed is called an “AR area”. If the moving object 502 is a hoop, an area that is visible when the user looks into the hoop from the viewpoint of the user is the AR area.
  • an augmented reality image may be generated and displayed by superimposing a predetermined effect or an image of a virtual object on the image captured by the camera, or a different CG may be used instead of the image captured by the camera.
  • An image may be generated and displayed.
  • the moving object 502 is provided with a tracker 500.
  • the tracker 500 includes sensors such as an inertial sensor, a geomagnetic sensor, an acceleration sensor, and a motion sensor, and can detect the position and orientation of the moving object 502.
  • the partial space occupied by the moving object 502 in the real world is determined by the position and the posture of the moving object 502.
  • the tracker 500 transmits the detected position and orientation of the moving object 502 to the image generation device 200.
  • the moving object 502 is marked with a marker.
  • the image generation device 200 detects the position and orientation of the moving object 502 by recognizing the marker in the camera image, and determines the partial space occupied by the moving object 502 in the real world. For example, by recognizing three markers, the position and orientation of the moving object 502 can be detected from the position and shape of the triangle formed by the markers. The position and orientation of the moving object 502 may be detected by recognizing the pattern of the moving object 502 by image recognition. If the moving object 502 is a hoop, the position or orientation of the moving object 502 may be detected by extracting a circular or elliptical shape from the camera image.
  • FIG. 3 is a functional configuration diagram of the head mounted display 100.
  • the control unit 10 is a main processor that processes and outputs signals such as image signals and sensor signals, commands and data.
  • the input interface 20 receives an operation signal and a setting signal from a user, and supplies the operation signal and the setting signal to the control unit 10.
  • the output interface 30 receives an image signal from the control unit 10 and displays the image signal on the display panel 32.
  • the communication control unit 40 transmits the data input from the control unit 10 to the outside through wired or wireless communication via the network adapter 42 or the antenna 44.
  • the communication control unit 40 also receives data from the outside through wired or wireless communication via the network adapter 42 or the antenna 44 and outputs the data to the control unit 10.
  • the storage unit 50 temporarily stores data, parameters, operation signals, and the like to be processed by the control unit 10.
  • the attitude sensor 64 detects position information of the head mounted display 100 and attitude information such as a rotation angle and an inclination of the head mounted display 100.
  • the posture sensor 64 is realized by appropriately combining a gyro sensor, an acceleration sensor, an angular acceleration sensor, and the like.
  • a motion sensor combining at least one of a three-axis geomagnetic sensor, a three-axis acceleration sensor, and a three-axis gyro (angular velocity) sensor may be used to detect the forward, backward, left, right, and up and down movements of the user's head.
  • the external input / output terminal interface 70 is an interface for connecting peripheral devices such as a USB (Universal Serial Bus) controller.
  • the external memory 72 is an external memory such as a flash memory.
  • the camera unit 80 includes components necessary for shooting, such as a lens, an image sensor, and a distance measurement sensor, and supplies the shot image of the outside world and depth information to the control unit 10.
  • the control unit 10 controls the focus, zoom, and the like of the camera unit 80.
  • the HDMI transmission / reception unit 90 transmits / receives a video / audio digital signal to / from the image generation device 200 according to HDMI.
  • the HDMI transmission / reception unit 90 receives the external video and depth information captured by the camera unit 80 from the control unit 10, and transmits the video and the depth information to the image generation device 200 via the HDMI transmission path.
  • the HDMI transmission / reception unit 90 receives the image generated by the image generation device 200 from the image generation device 200 via the HDMI transmission path, and supplies the image to the control unit 10.
  • the control unit 10 can supply an image or text data to the output interface 30 to be displayed on the display panel 32, or can supply the communication control unit 40 with the image or text data to be transmitted to the outside.
  • the current position / posture information of the head-mounted display 100 detected by the posture sensor 64 is notified to the image generation device 200 via the communication control unit 40 or the external input / output terminal interface 70.
  • the HDMI transmitting / receiving unit 90 may transmit the current position / posture information of the head mounted display 100 to the image generating device 200.
  • FIG. 4 is a functional configuration diagram of the image generation device 200 according to the present embodiment.
  • FIG. 1 is a block diagram focusing on functions, and these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • At least a part of the functions of the image generation device 200 may be mounted on the head mounted display 100.
  • at least a part of the functions of the image generation device 200 may be implemented in a server connected to the image generation device 200 via a network.
  • the HMD position / posture acquisition unit 210 acquires the current position / posture information of the head mounted display 100 from the head mounted display 100.
  • the HMD position / posture acquisition unit 210 acquires IMU data indicating current posture information of the head mounted display 100 from an inertial measurement unit (IMU (Inertial Measurement Unit)) such as the posture sensor 64 of the head mounted display 100, and Using the image and the IMU data, a SLAM (Simultaneous Localization and Mapping) process for simultaneously performing self-position estimation and environmental map creation may be executed to estimate the posture of the user wearing the head mounted display 100.
  • IMU Inertial Measurement Unit
  • SLAM Simultaneous Localization and Mapping
  • the viewpoint / sight line setting unit 220 uses the position / posture information of the head mounted display 100 acquired by the HMD position / posture acquisition unit 210 to set the user's viewpoint position and viewpoint direction.
  • the moving object position / posture acquisition unit 244 acquires the position / posture of the moving object 502 and supplies the acquired position / posture to the time warp unit 246 and the AR area determination unit 248. In one embodiment, the moving object position / posture acquisition unit 244 acquires the position / posture of the moving object 502 detected by the tracker 500. In another embodiment, the moving object position / posture acquisition unit 244 acquires the position / posture of the moving object 502 by recognizing the marker, shape, pattern, or the like of the moving object 502 in the captured image.
  • the time warp unit 246 determines the position / posture of the moving object 502 based on the difference between the time stamp of the position / posture acquisition time of the tracker 500 and the time stamp of the position / posture estimation time of the head mounted display 100. The conversion is performed so as to match the time stamp at the time of position / posture estimation of 100.
  • the HDMI transmission / reception unit 280 receives a real space video image captured by the camera unit 80 from the head mounted display 100 and supplies the video signal to the image signal processing unit 250.
  • the image signal processing unit 250 performs image signal processing (ISP (Image Signal Processing) such as RGB conversion (demosaic processing), white balance, color correction, and noise reduction on the Raw image captured by the camera unit 80 of the head mounted display 100. )), And a distortion correction process for removing distortion and the like due to the optical system of the camera unit 80 is performed.
  • ISP Image Signal Processing
  • the image signal processing unit 250 supplies the RGB image subjected to the image signal processing and the distortion correction processing to the image generation unit 230.
  • the image generation unit 230 reads data necessary for generation of computer graphics from the image storage unit 260, renders an object in the virtual space to generate a CG image, and provides a real space camera provided from the image signal processing unit 250.
  • An augmented reality image is generated by being superimposed on the image or drawn instead of the camera image, and is output to the image storage unit 260.
  • the image generation unit 230 includes an AR area determination unit 248, a rendering unit 232, an AR generation unit 234, a post-processing unit 236, a time warping unit 238, a reprojection unit 240, and a distortion processing unit 242.
  • the AR area determination unit 248 obtains the user's viewpoint position and line-of-sight direction from the viewpoint / line-of-sight setting unit 220, and the position / posture of the moving object 502 acquired by the moving object position / posture acquisition unit 244 or the time warp unit 246. Based on the converted position / posture of the moving object 502, an area when the moving object 502 occupies a partial space in the real world as viewed from the user's viewpoint position and line of sight is determined as an AR area, and information indicating the AR area is determined. Is supplied to the AR generation unit 234 and the post-processing unit 236.
  • the AR area determination unit 248 determines an area when the partial space determined by the inside of the hoop is viewed from the user's viewpoint position and the line of sight as the AR area.
  • the shape of the hoop inside the screen displayed on the display panel 32 of the head mounted display 100 changes to a circle or an ellipse depending on the position / posture of the moving object 502 and the user's viewpoint position and gaze direction, and the area inside the hoop also changes. Change.
  • the rendering unit 232 renders an object in a virtual space that can be seen in the line of sight from the viewpoint position of the user wearing the head-mounted display 100 in accordance with the user's viewpoint position and line of sight set by the viewpoint and line of sight setting unit 220. This is provided to the generation unit 234.
  • the rendering unit 232 may apply an effect to a body part such as a user's hand reflected in a camera image, or may replace the body part with a virtual model.
  • the position / posture of the body part of the user may be estimated from the position / posture of the tracker 500, or the user may attach another tracker to the body part to facilitate the estimation of the position / posture of the body part. Is also good.
  • the AR generation unit 234 superimposes the CG image generated by the rendering unit 232 on the camera image in the AR area specified by the AR area determination unit 248 among the camera images supplied from the image signal processing unit 250, or Then, an augmented reality image is generated by drawing instead of, and is provided to the post-processing unit 236.
  • the post-processing unit 236 performs post-processing such as depth of field adjustment, tone mapping, and anti-aliasing on the augmented reality image, so that the augmented reality image in which the virtual object is superimposed on the image in the real space is natural and smooth. Post-process to be visible. Also, the post-processing unit 236 may apply various effects to the AR area specified by the AR area determination unit 248. The post-processing unit 236 may simply apply an effect to the camera image in the AR area without the AR generation unit 234 superimposing or replacing the CG image in the AR area.
  • the reprojection unit 240 receives the latest position / posture information of the head-mounted display 100 from the HMD position / posture acquisition unit 210, performs reprojection processing on the post-processed augmented reality image, and Is converted to an image that can be viewed from the latest viewpoint position and line-of-sight direction.
  • a head-mounted display 100 is provided with a head tracking function to generate a virtual reality image by changing the viewpoint and the line of sight in conjunction with the movement of the user's head, a delay is generated between the generation and display of the virtual reality image. For this reason, a difference occurs between the orientation of the user's head assumed at the time of generating the video and the orientation of the user's head at the time when the video is displayed on the head-mounted display 100, and the user feels drunk. It may fall into a sensation (called “VR sickness (Virtual Reality Sickness)” or the like).
  • the movement of the head-mounted display 100 is detected, the CPU issues a drawing command, the GPU (Graphics Processing Unit) executes rendering, and the drawn image is output to the head-mounted display 100.
  • drawing is performed at a frame rate of, for example, 60 fps (frames / second), and that a delay of one frame occurs between the time when the movement of the head mounted display 100 is detected and the time when an image is output. This is about 16.67 milliseconds at a frame rate of 60 fps, which is enough time for a human to detect a shift.
  • time warp or “reprojection” is performed, and the rendered image is corrected in accordance with the latest position and orientation of the head-mounted display 100, so that humans are less likely to perceive the displacement.
  • the distortion processing unit 242 performs a process of deforming and distorting the augmented reality image on which the reprojection process has been performed, in accordance with the distortion generated in the optical system of the head mounted display 100, and performs image distortion processing. To memorize.
  • the HDMI transmission / reception unit 280 reads out the frame data of the augmented reality image generated by the image generation unit 230 from the image storage unit 260 and transmits the frame data to the head mounted display 100 according to HDMI.
  • the time warping unit 238 converts the camera image supplied from the image signal processing unit 250 based on the difference between the time stamp at the time of shooting by the camera and the time stamp at the time of acquiring the position and orientation of the head mounted display 100. Is converted so as to match the time stamp at the time of acquisition of the position / posture, and is given to the AR generation unit 234. This time warping process is particularly effective when detecting the position and orientation of the moving object 502 by image recognition.
  • the AR generation unit 234 generates an augmented reality image by superimposing or replacing and drawing the CG image generated by the rendering unit 232 on the camera image subjected to the time warping process, and supplies the generated augmented reality image to the post-processing unit 236.
  • FIGS. 5A to 5E are diagrams illustrating an example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 5A is a diagram illustrating a screen displayed on the display panel 32 of the head mounted display 100.
  • the head mounted display 100 is a video transmission type, and displays an image of the outside world captured by a camera mounted on the head mounted display 100.
  • ⁇ ⁇ ⁇ As can be seen from the image of the outside world, the user is in the room, there is a table 530 and a chair in front of himself, and a coffee cup 510 is placed on the table 530.
  • a moving object 502 with a tracker 500 is hung on a clothes stand placed near a wall.
  • a poster 520 is stuck on the front wall. The user can specify the AR area by picking up the moving object 502 hung on the clothes stand and moving it freely to view a partial space (in this case, inside the hoop) created by the moving object 502 from the viewpoint of the user.
  • FIG. 5B is a screen displayed on the display panel 32 when the user holds the moving object 502 held by the user in front of the user and views the poster 520 of FIG. 5A stuck on the wall from inside the hoop.
  • Inside the hoop is an AR area, and inside the hoop, a CG image is superimposed on or replaced by a camera image, and an augmented reality image is generated.
  • the poster 520 in FIG. 5A has an AR effect added in the hoop, and changes to an AR poster 522 as shown in FIG. 5B.
  • the character “Coming @ soon” is superimposed as a CG image on a blank portion of the original poster 520, and an effect is added to the picture portion of the original poster 520.
  • a normal camera image is visible outside the hoop.
  • FIG. 5C is a screen displayed on the display panel 32 when the user moves the moving object 502 in his hand closer to himself and looks at the table 530 in FIG. 5A from the inside of the hoop.
  • the area of the AR region in the hoop is larger than in FIG. 5B.
  • An augmented reality image is generated in the AR area in the hoop, a CG texture is pasted on the surface of the table 530 in FIG. 5A, and the table changes to an AR table 532 as shown in FIG. 5C.
  • the coffee cup 510 placed on the original table 530 is replaced with a virtual object 512 generated by CG.
  • the outside of the hoop remains the camera image.
  • FIG. 5D is a screen displayed on the display panel 32 when the user moves the moving object 502 closer to himself / herself.
  • the area of the AR region in the hoop is larger than that in FIG. 5C.
  • the poster 520, table 530, chair, clothes stand, and the like in FIG. 5A can be seen. These have an AR effect, and the AR poster 522 described in FIG. 5B and the AR table 532 described in FIG. 5C.
  • a CG texture is pasted on the surface of the chair, and an effect is added to the clothes stand.
  • FIG. 5E is a screen displayed on the display panel 32 when the user further wears the hoop of the moving object 502 from his / her head and passes through the body.
  • the hoop disappears on the screen, and the AR area extends over the entire screen, so that the AR effect is added to the entire screen.
  • the shape and the area of the AR area corresponding to the moving object 502 such as the hoop change depending on the positional relationship and the distance between the user and the moving object 502, and the generated AR area Generates an augmented reality image.
  • the AR area expands, and the augmented reality image displayed on the display panel 32 of the head mounted display 100 expands. Since the user can freely move the moving object 502 to control the position and area of the region where the augmented reality image is displayed, it is possible to reduce a discontinuity and a sense of incongruity when shifting from the camera image to the augmented reality image. Can be.
  • the AR area When the distance between the user and the moving object 502 exceeds a predetermined threshold, the AR area is left as a camera image, and after the distance between the user and the moving object 502 becomes equal to or less than the predetermined threshold, the augmented reality image is stored in the AR area. May be generated. Accordingly, when the user brings the moving object 502 closer to the user, the function of a switch for switching to the augmented reality image is achieved.
  • Augmented reality (AR effect) in the AR area may be enhanced as the distance between the user and the moving object 502 is reduced. For example, as the user moves closer to the moving object 502, the number and amount of effects applied to the camera image may be increased, or more real objects may be replaced with virtual objects.
  • the user determines whether to generate an augmented reality image in the AR area and how much the AR effect is to be provided. Is also good.
  • the AR effect may be weakened or eliminated when the moving object 502 is tilted, and the AR effect may be enhanced when the moving object 502 is turned to the front.
  • the presence / absence of the AR effect in the AR area and the degree to which the AR effect is provided can be changed according to the positional relationship and the distance between the user and the moving object 502.
  • rendering is performed differently inside and outside the hoop.
  • the depth information of the object behind the hoop is ignored, and the depth information of the object behind the hoop is used, and the depth information of the object before the hoop is used. This makes it possible to realize an expression in which a space is opened by the hoop. For example, holding a hoop over a wall can make the wall look like a hole.
  • a predetermined area determined according to the position / posture of the tracker 500 worn by the user on the wrist or finger without using the moving object 502 such as a hoop may be used as the AR area.
  • a plane having a predetermined shape at a predetermined distance from the position of the tracker 500 may be set as an AR area, and the orientation of the plane having the predetermined shape may be changed depending on the attitude of the tracker 500.
  • the AR effect is provided by making a part of the AR area a CG image.
  • a video see-through image to which a visual effect filter is applied may be displayed in the AR area.
  • a complete VR image or a VR image utilizing the structure of the real world may be displayed in the AR area.
  • the position and orientation of the user's body are estimated using body tracking technology, and the user's body reflected in the camera image is replaced with another virtual model. You may add an effect that appears.
  • Moving objects are not limited to real objects.
  • a virtual object such as a gun, sword, wand, or shield used as a moving object in a game
  • a virtual hoop may be formed in the air while pressing a button of a device such as a controller in the space of the real world, and the virtual hoop may be moved to specify a partial space of the real world.
  • the AR area may be generated according to the shape of various light sources such as a real or virtual lantern obtained by the user.
  • an AR effect can be added to the AR region illuminated by the lantern.
  • an effect such as emitting light or flame from a lantern may be applied to the video see-through image.
  • AR effect as if the real world is illuminated by the lantern, such as by partially brightening the video see-through image in the area corresponding to the lantern or by giving the effect that the shadow of the lantern hangs on the real wall etc. Can also be given.
  • FIGS. 6A and 6B are diagrams illustrating another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 6A shows a state in which the user reaches for the virtual object 512 on the AR table 532 through the hoop, which is the moving object 502, and tries to take the virtual object 512. Since the virtual object 512 is the coffee cup 510 in the real world, the user actually grasps the coffee cup 510 but appears to be holding the virtual object 512 on the displayed image.
  • FIG. 6B shows a state in which the user takes out the virtual object 512 grasped by putting his / her hand in the hoop and out of the hoop.
  • an effect is applied to the virtual object 512, and in this example, something like a flame protrudes from the virtual object.
  • the inside of the hoop was classified as an augmented reality image in which a CG image was superimposed or replaced with a camera image, and the outside of the hoop was classified as a real camera image. In this case, the virtual object 512 does not return to the original coffee cup 510, and a specific effect can be applied.
  • interaction between the augmented reality image and the camera image can be provided, and the function of an interface for connecting the augmented reality image to the camera image can be given to the moving object 502 such as a hoop. That is, augmented reality can be given to the virtual object 512 taken out of the AR area from the augmented reality image in the AR area.
  • an augmented reality image may be generated inside the hoop, and effects may be applied to the real object by interaction such as the user entering the hoop.
  • the AR effect may be obtained, for example, by adding a real object to a virtual object.
  • the presence or absence of the AR effect in the AR area is changed by the interaction between the user and the moving object 502, thereby reducing the user's sense of discontinuity or discomfort when transitioning from the camera image to the augmented reality image. can do.
  • FIGS. 7A to 7C are diagrams illustrating still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 7A a virtual space as shown in FIG. 7A exists outside the room.
  • a dinosaur stands by two trees in a virtual space.
  • the user turns the hoop, which is the moving object 502, toward the front wall of the room on which the poster 520 is pasted, and looks inside the hoop.
  • the dinosaur in the virtual space of FIG. 7A can be seen inside the hoop.
  • FIG. 7C when the user moves the moving object 502 in front of the wall and looks inside the hoop, a hole is opened in another part of the wall, from which the virtual space can be peeped.
  • a part of the tree in the virtual space of FIG. 7A is visible inside the hoop.
  • FIG. 8 is a diagram for explaining still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • ⁇ As shown in FIG. 8, when the user looks at the wall of the room through the moving object 502, a virtual block wall generated according to the shape of the wall in the real world is drawn and displayed in CG inside the hoop. It is also possible to add a virtual effect in which a virtual block wall falls on the other side of the wall of the room and a virtual world on the other side of the wall is displayed.
  • shape information and depth information of a real world object can be obtained by 3D scanning a real world space.
  • depth information of the real space can be acquired using a depth sensor of a system such as an infrared pattern, Structured Light, and TOF (Time Of Flight), or depth information of the real space can be acquired from disparity information of a stereo camera.
  • FIG. 9 is a view for explaining still another example of augmented reality image generation by the image generation device 200 of the present embodiment.
  • FIG. 9 shows an augmented reality image generated in the hoop when the user looks at the clothes stand placed on the wall from the hoop as the moving object 502.
  • a virtual houseplant object is generated instead of the clothes stand, drawn and displayed in the hoop.
  • the shape of the hoop is elliptical.
  • FIGS. 10A to 10C are diagrams illustrating still another example of augmented reality image generation by the image generation device 200 according to the present embodiment.
  • FIG. 10A shows a state where the user is trying to turn the hoop which is the moving object 502 over.
  • the inside of the hoop is an elliptical AR area, and the virtual object 512 is visible as in FIG. 5C.
  • FIG. 10B shows a state in which the user completely flips the hoop.
  • a part of another live-action video is visible inside the hoop.
  • the flip operation of the hoop has the function of a switch that switches the video inside the hoop.
  • the user passes the flipped hoop around his neck the actual image inside the hoop spreads over the entire screen as shown in FIG. 10C.
  • the user can move around and observe the switched live-action video world.
  • an example of a real shot video has been described as the video after switching, but a virtual world by another CG may be provided.
  • the object 502 can have a channel switching function.
  • the user can specify a predetermined area in the real space as an AR area where an augmented reality image is generated.
  • the user can freely specify the position and size of the predetermined area using the moving object 502 such as a hoop.
  • the AR effect is not suddenly added to the camera image, but the AR effect is added to the position and range intended by the user, so that a sense of discomfort when shifting from the real video to the augmented reality video is reduced.
  • the moving object 502 can function as an interface connecting the real world and the virtual world.
  • control unit ⁇ 20 ⁇ input interface, ⁇ 30 ⁇ output interface, ⁇ 32 ⁇ display panel, ⁇ 40 ⁇ communication control unit, ⁇ 42 ⁇ network adapter, ⁇ 44 ⁇ antenna, ⁇ 50 ⁇ storage unit, ⁇ 64 ⁇ attitude sensor, ⁇ 70 ⁇ external input / output terminal interface, ⁇ 72 ⁇ external memory, ⁇ 80 ⁇ camera unit , ⁇ 100 ⁇ head mounted display, ⁇ 200 ⁇ image generation device, ⁇ 210 ⁇ HMD position / posture acquisition unit, ⁇ 220 ⁇ viewpoint / gaze setting unit, ⁇ 230 ⁇ image generation unit, ⁇ 232 ⁇ rendering unit, ⁇ 234 ⁇ AR generation unit, ⁇ 236 ⁇ post-processing unit, ⁇ 238 ⁇ time warp unit, 240 reprojection unit, ⁇ 242 ⁇ distortion processing unit, ⁇ 244 ⁇ moving object position / posture acquisition unit, ⁇ 246 ⁇ time warp unit, $ 248 AR area determination unit, 250 an image signal processing unit, 260 image storage unit, 280 HDMI reception unit, 300 interface, 500 tracker 502 moves the object.
  • This invention can be used for image generation technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

移動オブジェクト位置・姿勢取得部２４４は、ユーザが移動させる移動オブジェクトに設けられたトラッカによって検出される移動オブジェクトの位置および姿勢を取得する。ＡＲ領域判定部２４８は、ユーザが移動させる移動オブジェクトが現実世界において占める部分空間をユーザの視点から見た場合の領域を拡張現実領域として判定する。ＡＲ生成部２３４は現実世界の撮影画像の内、拡張現実領域に拡張現実画像を生成する。

Description

画像生成装置および画像生成方法
　この発明は、画像を生成する装置および方法に関する。
　ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（ＶＲ(Virtual Reality)）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。
　また、非透過型ヘッドマウントディスプレイを装着したユーザは外界を直接見ることができなくなるが、ヘッドマウントディスプレイに搭載されたカメラによって外界の映像を撮影してディスプレイパネルに表示することのできるビデオ透過（ビデオシースルー）型ヘッドマウントディスプレイもある。ビデオ透過型ヘッドマウントディスプレイでは、カメラで撮影される外界の映像にコンピュータグラフィックス（ＣＧ(Computer Graphics)）によって生成された仮想世界のオブジェクトを重畳させることで拡張現実（ＡＲ(Augmented Reality)）の映像を生成して表示することもできる。拡張現実の映像は、現実世界から切り離された仮想現実とは違って、現実世界が仮想オブジェクトで拡張されたものであり、ユーザは現実世界とのつながりを意識しつつ、仮想世界を体験することができる。
　拡張現実の映像をヘッドマウントディスプレイに表示する際、ヘッドマウントディスプレイに搭載されたカメラで撮影される外界の映像に対して、ＣＧによって生成された仮想世界のオブジェクトをいきなり重畳させると、実世界と仮想世界が非連続に結合するため、ユーザは違和感を感じることがある。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、拡張現実の映像の違和感を軽減することのできる画像生成装置および画像生成方法を提供することにある。
　上記課題を解決するために、本発明のある態様の画像生成装置は、ユーザが移動させる移動オブジェクトが現実世界において占める部分空間を前記ユーザの視点から見た場合の領域を拡張現実領域として判定する判定部と、前記現実世界の撮影画像の内、前記拡張現実領域に拡張現実画像を生成する拡張現実生成部とを含む。
　本発明の別の態様は、画像生成方法である。この方法は、ユーザが移動させる移動オブジェクトが現実世界において占める部分空間を前記ユーザの視点から見た場合の領域を拡張現実領域として判定する判定ステップと、前記現実世界の撮影画像の内、前記拡張現実領域に拡張現実画像を生成する拡張現実生成ステップとを含む。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、拡張現実の映像の違和感を軽減することができる。
ヘッドマウントディスプレイの外観図である。 本実施の形態に係る画像生成システムの構成図である。 ヘッドマウントディスプレイの機能構成図である。 本実施の形態に係る画像生成装置の機能構成図である。 本実施の形態の画像生成装置２００による拡張現実画像生成の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成の別の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成の別の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。 本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
　図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。
　ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。
　ヘッドマウントディスプレイ１００にはカメラユニットが搭載されており、ユーザがヘッドマウントディスプレイ１００を装着している間、外界を撮影することができる。
　ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
　図２は、本実施の形態に係る画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのインタフェース３００で画像生成装置２００に接続される。
　画像生成装置２００は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報から、映像の生成から表示までの遅延を考慮してヘッドマウントディスプレイ１００の位置・姿勢情報を予測し、ヘッドマウントディスプレイ１００の予測位置・姿勢情報を前提としてヘッドマウントディスプレイ１００に表示されるべき画像を描画し、ヘッドマウントディスプレイ１００に伝送する。
　画像生成装置２００の一例はゲーム機である。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、画像生成装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。
　移動オブジェクト５０２はユーザが現実世界で移動させるオブジェクトであり、ここでは手にもって移動させる輪（フープ）を例に説明するが、これに限定されない。移動オブジェクト５０２は現実世界において所定の部分空間を占める。移動オブジェクト５０２が占めるこの部分空間をユーザの視点から見た場合の領域に拡張現実画像が生成されて表示される。この拡張現実画像が表示される領域を「ＡＲ領域」と呼ぶ。移動オブジェクト５０２がフープであれば、ユーザの視点からフープを覗いたときに見える領域がＡＲ領域である。ＡＲ領域には、カメラによる撮影画像に所定のエフェクトや仮想オブジェクトの画像を重畳することで拡張現実画像を生成して表示してもよく、あるいは、カメラによる撮影画像の代わりにそれとは別のＣＧ画像を生成して表示してもよい。
　ある実施例では、移動オブジェクト５０２にはトラッカ５００が付けられる。トラッカ５００は、慣性センサ、地磁気センサ、加速度センサ、モーションセンサなどのセンサを備え、移動オブジェクト５０２の位置や姿勢を検出することができる。移動オブジェクト５０２の位置および姿勢によって、移動オブジェクト５０２が現実世界において占める部分空間が決定される。トラッカ５００は、検出した移動オブジェクト５０２の位置および姿勢を画像生成装置２００に送信する。
　別の実施例では、移動オブジェクト５０２にはマーカーが付けられる。画像生成装置２００は、カメラ画像においてマーカーを画像認識することによって移動オブジェクト５０２の位置や姿勢を検出し、移動オブジェクト５０２が現実世界において占める部分空間を決定する。たとえば、３つのマーカーを認識することでマーカーの作る三角形の位置と形状から移動オブジェクト５０２の位置と姿勢を検出することができる。移動オブジェクト５０２の柄や模様を画像認識することで移動オブジェクト５０２の位置や姿勢を検出してもよい。移動オブジェクト５０２がフープであれば、カメラ画像から円形または楕円形の形状を抽出することで移動オブジェクト５０２の位置や姿勢を検出してもよい。
　図３は、ヘッドマウントディスプレイ１００の機能構成図である。
　制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイパネル３２に表示する。
　通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。
　記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
　姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置情報と、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。
　外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。
　カメラユニット８０は、レンズ、イメージセンサ、測距センサなど撮影に必要な構成を含み、撮影された外界の映像と奥行き情報を制御部１０に供給する。制御部１０は、カメラユニット８０のフォーカスやズームなどを制御する。
　ＨＤＭＩ送受信部９０は、ＨＤＭＩにしたがって映像・音声のデジタル信号を画像生成装置２００との間で送受信する。ＨＤＭＩ送受信部９０は、カメラユニット８０により撮影された外界の映像と奥行き情報を制御部１０から受け取り、ＨＤＭＩ伝送路で画像生成装置２００に送信する。ＨＤＭＩ送受信部９０は、画像生成装置２００により生成された画像をＨＤＭＩ伝送路で画像生成装置２００から受信し、制御部１０に供給する。
　制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイパネル３２に表示させたり、通信制御部４０に供給して外部に送信させることができる。
　姿勢センサ６４が検出したヘッドマウントディスプレイ１００の現在の位置・姿勢情報は、通信制御部４０または外部入出力端子インタフェース７０を介して画像生成装置２００に通知される。あるいは、ＨＤＭＩ送受信部９０がヘッドマウントディスプレイ１００の現在の位置・姿勢情報を画像生成装置２００に送信してもよい。
　図４は、本実施の形態に係る画像生成装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
　画像生成装置２００の少なくとも一部の機能をヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。
　ＨＭＤ位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報をヘッドマウントディスプレイ１００から取得する。ＨＭＤ位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００の姿勢センサ６４などの慣性計測ユニット（ＩＭＵ(Inertial Measurement Unit)）から、ヘッドマウントディスプレイ１００の現在の姿勢情報を示すＩＭＵデータを取得し、カメラ画像およびＩＭＵデータを用いて、自己位置推定と環境地図作成を同時に行うＳＬＡＭ（Simultaneous Localization and Mapping）処理を実行し、ヘッドマウントディスプレイ１００を装着したユーザの姿勢を推定してもよい。
　視点・視線設定部２２０は、ＨＭＤ位置・姿勢取得部２１０により取得されたヘッドマウントディスプレイ１００の位置・姿勢情報を用いて、ユーザの視点位置および視線方向を設定する。
　移動オブジェクト位置・姿勢取得部２４４は、移動オブジェクト５０２の位置・姿勢を取得し、タイムワープ部２４６とＡＲ領域判定部２４８に供給する。ある実施例では、移動オブジェクト位置・姿勢取得部２４４は、トラッカ５００が検出する移動オブジェクト５０２の位置・姿勢を取得する。別の実施例では、移動オブジェクト位置・姿勢取得部２４４は、撮影画像において移動オブジェクト５０２のマーカーや形状、模様などを画像認識することによって、移動オブジェクト５０２の位置・姿勢を取得する。
　タイムワープ部２４６は、トラッカ５００の位置・姿勢取得時点のタイムスタンプと、ヘッドマウントディスプレイ１００の位置・姿勢推定時点のタイムスタンプの差分にもとづいて、移動オブジェクト５０２の位置・姿勢を、ヘッドマウントディスプレイ１００の位置・姿勢推定時点のタイムスタンプに合うように変換する。
　ＨＤＭＩ送受信部２８０は、ヘッドマウントディスプレイ１００からカメラユニット８０により撮影された現実空間の映像を受信し、画像信号処理部２５０に供給する。
　画像信号処理部２５０は、ヘッドマウントディスプレイ１００のカメラユニット８０により撮影されたＲａｗ画像に対してＲＧＢ変換（デモザイク処理）、ホワイトバランス、色補正、ノイズリダクションなどの画像信号処理（ＩＳＰ(Image Signal Processing)）を施し、さらにカメラユニット８０の光学系による歪みなどを取り除く歪み補正処理を施す。画像信号処理部２５０は画像信号処理および歪み補正処理が施されたＲＧＢ画像を画像生成部２３０に供給する。
　画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックスの生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、画像信号処理部２５０から提供される現実空間のカメラ画像に重畳するまたはカメラ画像に代えて描画することで拡張現実画像を生成し、画像記憶部２６０に出力する。
　画像生成部２３０は、ＡＲ領域判定部２４８と、レンダリング部２３２と、ＡＲ生成部２３４と、ポストプロセス部２３６と、タイムワープ部２３８と、リプロジェクション部２４０と、歪み処理部２４２とを含む。
　ＡＲ領域判定部２４８は、視点・視線設定部２２０からユーザの視点位置および視線方向を取得し、移動オブジェクト位置・姿勢取得部２４４により取得された移動オブジェクト５０２の位置・姿勢またはタイムワープ部２４６により変換された移動オブジェクト５０２の位置・姿勢にもとづいて、移動オブジェクト５０２が現実世界において占める部分空間をユーザの視点位置および視線方向から見た場合の領域をＡＲ領域として判定し、ＡＲ領域を示す情報をＡＲ生成部２３４とポストプロセス部２３６に供給する。
　移動オブジェクト５０２が図２のようなフープである場合、ＡＲ領域判定部２４８はフープ内部によって決まる部分空間をユーザの視点位置および視線方向から見た場合の領域をＡＲ領域として判定する。移動オブジェクト５０２の位置・姿勢およびユーザの視点位置および視線方向によって、ヘッドマウントディスプレイ１００のディスプレイパネル３２に表示される画面内のフープ内部の形状は円または楕円に変化し、またフープ内部の面積も変化する。
　レンダリング部２３２は、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングし、ＡＲ生成部２３４に与える。
　また、レンダリング部２３２は、カメラ映像に写り込んだユーザの手などの身体部位にエフェクトを施したり、当該身体部位を仮想モデルに置き換えてもよい。ユーザの身体部位の位置・姿勢は、トラッカ５００の位置・姿勢から推定してもよく、あるいは、身体部位の位置・姿勢推定を容易にするためにユーザが身体部位に別のトラッカを装着してもよい。
　ＡＲ生成部２３４は、画像信号処理部２５０から供給されるカメラ画像の内、ＡＲ領域判定部２４８によって指定されたＡＲ領域にレンダリング部２３２により生成されたＣＧ画像をカメラ画像に重畳するまたはカメラ画像に代えて描画することで拡張現実画像を生成し、ポストプロセス部２３６に与える。
　ポストプロセス部２３６は、拡張現実画像に対して、被写界深度調整、トーンマッピング、アンチエイリアシングなどのポストプロセスを施し、現実空間の画像に仮想オブジェクトが重畳された拡張現実画像が自然で滑らかに見えるように後処理する。また、ポストプロセス部２３６は、ＡＲ領域判定部２４８によって指定されたＡＲ領域に各種のエフェクトを施してもよい。ＡＲ生成部２３４がＡＲ領域内にＣＧ画像を重畳または置き換え描画することなく、ポストプロセス部２３６がＡＲ領域内のカメラ画像に単にエフェクトを施すだけでもよい。
　リプロジェクション部２４０は、ＨＭＤ位置・姿勢取得部２１０からヘッドマウントディスプレイ１００の最新の位置・姿勢情報を受け取り、ポストプロセスが施された拡張現実画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。
　ここで、リプロジェクションについて説明する。ヘッドマウントディスプレイ１００にヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイ１００に表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。
　このように、ヘッドマウントディスプレイ１００の動きを検知し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がヘッドマウントディスプレイ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われており、ヘッドマウントディスプレイ１００の動きを検知してから画像を出力するまでに１フレーム分の遅れが生じるとする。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。
　そこで、「タイムワープ」または「リプロジェクション」と呼ばれる処理を行い、レンダリングした画像をヘッドマウントディスプレイ１００の最新の位置と姿勢に合わせて補正することで人間がずれを感知しにくいようにする。
　歪み処理部２４２は、リプロジェクション処理が施された拡張現実画像に対してヘッドマウントディスプレイ１００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を施し、画像記憶部２６０に記憶する。
　ＨＤＭＩ送受信部２８０は、画像記憶部２６０から画像生成部２３０により生成された拡張現実画像のフレームデータを読み出し、ＨＤＭＩにしたがってヘッドマウントディスプレイ１００に伝送する。
　タイムワープ部２３８は、カメラの撮影時点のタイムスタンプと、ヘッドマウントディスプレイ１００の位置・姿勢取得時点のタイムスタンプの差分にもとづいて、画像信号処理部２５０から供給されるカメラ画像をヘッドマウントディスプレイ１００の位置・姿勢取得時点のタイムスタンプに合うように変換し、ＡＲ生成部２３４に与える。このタイムワープ処理は画像認識によって移動オブジェクト５０２の位置および姿勢を検出する場合に特に有効である。ＡＲ生成部２３４は、タイムワープ処理されたカメラ画像にレンダリング部２３２により生成されたＣＧ画像を重畳または置き換え描画することで拡張現実画像を生成し、ポストプロセス部２３６に与える。
　図５Ａ～図５Ｅは、本実施の形態の画像生成装置２００による拡張現実画像生成の例を説明する図である。
　図５Ａは、ヘッドマウントディスプレイ１００のディスプレイパネル３２に表示される画面を説明する図である。ここでヘッドマウントディスプレイ１００はビデオ透過型であり、ヘッドマウントディスプレイ１００に搭載されたカメラにより撮影された外界の映像が表示されている。
　外界の映像からわかるように、ユーザは部屋の中におり、自分の前にテーブル５３０と椅子があり、テーブル５３０の上にはコーヒーカップ５１０が置かれている。壁際に置いてある洋服スタンドにトラッカ５００付きの移動オブジェクト５０２が掛けられている。また正面の壁にポスター５２０が貼られている。ユーザは洋服スタンドに掛けられた移動オブジェクト５０２を手に取り、自由に動かして移動オブジェクト５０２が作る部分空間（ここではフープ内部）をユーザの視点から見ることでＡＲ領域を指定することができる。
　図５Ｂは、ユーザが手に取った移動オブジェクト５０２を自分の前方にかざし、壁に貼ってある図５Ａのポスター５２０をフープ内から見た場合にディスプレイパネル３２に表示される画面である。フープ内はＡＲ領域であり、フープ内部ではＣＧ画像がカメラ画像に重畳または置き換え描画され、拡張現実画像が生成される。図５Ａのポスター５２０がフープ内ではＡＲ効果が付加され、図５Ｂに示すようなＡＲポスター５２２に変化する。ＡＲポスター５２２では、元のポスター５２０の空白部分にＣＧ画像として「Coming soon」という文字が重畳され、元のポスター５２０の絵柄部分にエフェクトが加わっている。フープの外側では通常のカメラ画像が見えている。
　図５Ｃは、ユーザが手に持った移動オブジェクト５０２を自分の方に近づけ、図５Ａのテーブル５３０をフープ内から見た場合にディスプレイパネル３２に表示される画面である。フープ内のＡＲ領域の面積は図５Ｂに比べて大きくなる。フープ内のＡＲ領域には拡張現実画像が生成され、図５Ａのテーブル５３０の表面にはＣＧのテクスチャが貼り付けられ、図５Ｃに示すようなＡＲテーブル５３２に変化する。また、元のテーブル５３０の上に置いてあったコーヒーカップ５１０は、ＣＧにより生成される仮想オブジェクト５１２に置き換えられる。フープの外側はカメラ画像のままである。
　図５Ｄは、ユーザが移動オブジェクト５０２をさらに自分に近づけた場合にディスプレイパネル３２に表示される画面である。フープ内のＡＲ領域の面積は図５Ｃに比べてさらに大きくなる。フープ内には図５Ａのポスター５２０、テーブル５３０、椅子、洋服スタンドなどが見えるようになるが、これらにはＡＲ効果が加わり、図５Ｂで説明したＡＲポスター５２２、図５Ｃで説明したＡＲテーブル５３２、仮想オブジェクト５１２の他、椅子の表面にもＣＧによるテクスチャが貼り付けられ、洋服スタンドにもエフェクトが加えられる。
　図５Ｅは、さらにユーザが移動オブジェクト５０２のフープを自分の頭からかぶって体に通した場合にディスプレイパネル３２に表示される画面である。フープは画面には見えなくなり、画面全体にＡＲ領域が広がるため、画面全体にＡＲ効果が加わる。
　図５Ａ～図５Ｅで説明したように、フープなどの移動オブジェクト５０２に対応するＡＲ領域の形状や面積は、ユーザと移動オブジェクト５０２の間の位置関係や距離によって変化し、生成されるＡＲ領域内には拡張現実画像が生成される。ユーザが移動オブジェクト５０２を自分に近づけるほど、ＡＲ領域は広がり、ヘッドマウントディスプレイ１００のディスプレイパネル３２に表示される拡張現実画像が広がるようになる。ユーザが移動オブジェクト５０２を自由に移動させることにより、拡張現実画像が表示される領域の位置や面積をコントロールできることから、カメラ画像から拡張現実画像へ移行する際の非連続感や違和感を軽減することができる。
　ユーザと移動オブジェクト５０２の距離が所定の閾値を超える場合は、ＡＲ領域はカメラ画像のままにしておき、ユーザと移動オブジェクト５０２の距離が所定の閾値以下になってから、ＡＲ領域に拡張現実画像を生成するようにしてもよい。これにより、ユーザが移動オブジェクト５０２を自分に近づけることが拡張現実画像に切り替えるスイッチの機能を果たすようになる。ユーザと移動オブジェクト５０２の距離が縮まるほど、ＡＲ領域における拡張現実感（ＡＲ効果）が強まるようにしてもよい。たとえば、ユーザが移動オブジェクト５０２に顔を近づけるほど、カメラ画像に加えられるエフェクトの数や量が大きくなるようにしたり、より多くの現実オブジェクトが仮想オブジェクトに置換されるようにしてもよい。
　また、ユーザが移動オブジェクト５０２を傾けたり、正面に向けるなど移動オブジェクト５０２の姿勢を変えることによって、ＡＲ領域に拡張現実画像を生成するかどうか、またＡＲ効果をどの程度もたせるかが決まるようにしてもよい。たとえば、移動オブジェクト５０２を傾けるとＡＲ効果が弱まるか消滅し、移動オブジェクト５０２を正面に向けるとＡＲ効果が強まるようにしてもよい。
　このように、ユーザと移動オブジェクト５０２の位置関係や距離に応じて、ＡＲ領域内のＡＲ効果の有無、ＡＲ効果をもたせる程度を変えることができる。
　また、フープの中と外で異なるレンダリングを行い、フープの中ではフープの外のレンダリングのデプス情報の内、フープの後方にあるオブジェクトのデプス情報は無視し、フープの手前にあるものは利用することでフープによって空間に穴が空いたような表現を実現することができる。たとえば壁にフープをかざすことで壁に穴を空けたように見せることができる。
　フープのような移動オブジェクト５０２を用いずに、ユーザが手首や指などに装着するトラッカ５００の位置・姿勢に応じて決まる所定の領域をＡＲ領域としてもよい。たとえばトラッカ５００の位置から所定の距離にある所定形状の平面をＡＲ領域として、トラッカ５００の姿勢によって所定形状の平面の向きを変えてもよい。
　上記の例では、ＡＲ領域の一部をＣＧ画像にすることでＡＲ効果を与えたが、ＡＲ領域内は、視覚エフェクトのフィルタを適用したビデオシースルー画像を表示してもよい。あるいは、ＡＲ領域内は、完全なＶＲ画像または実世界の構造を活かしたＶＲ画像を表示してもよい。
　エフェクトについてもいろいろなバリエーションが考えられる。パーティクルの生成、視覚効果フィルタの適用、輝度や色の変更、レンズ効果、拡大・縮小表示、効果音の生成、バックグラウンドミュージックや効果音の音量の変化などがある。たとえば、ユーザが移動オブジェクト５０２に顔を近づけるとバックグラウンドミュージックや効果音の音量が大きくなるようにしてもよい。
　また、ボディトラッキングの技術を用いてユーザの身体の位置・姿勢を推定し、カメラ画像に写り込んだユーザの身体を別の仮想モデルに置き換えたり、カメラ画像に写り込んだユーザの身体からたとえば光が出ているようなエフェクトを加えてもよい。
　移動オブジェクトは現実のオブジェクトに限られない。ゲームで利用する銃、剣、杖、盾などの仮想オブジェクトをユーザが移動オブジェクトとして手にして、仮想オブジェクトの形状、位置、姿勢によって現実世界の部分空間を定め、部分空間を視点から見た場合のＡＲ領域を決定してもよい。また、現実世界の空間においてコントローラなどのデバイスのボタンを押しながら仮想的なフープを空中に形成し、その仮想的なフープを動かすことで現実世界の部分空間を指定してもよい。
　ユーザが手にした現実または仮想のランタンなどの各種の光源の形状に合わせてＡＲ領域を生成してもよい。これによりランタンによって照らされるＡＲ領域にＡＲ効果を加えることができる。たとえば、ランタンから光や炎を発しているような演出をビデオシースルー画像に施してもよい。ランタンに対応する領域においてビデオシースルー画像を部分的に明るくしたり、ランタンの光による影が現実の壁などにかかるような演出を施すことであたかもランタンで現実世界が照らされているようなＡＲ効果を与えることもできる。
　図６Ａおよび図６Ｂは、本実施の形態の画像生成装置２００による拡張現実画像生成の別の例を説明する図である。
　図６Ａは、移動オブジェクト５０２であるフープを通してＡＲテーブル５３２上の仮想オブジェクト５１２にユーザが手を伸ばして仮想オブジェクト５１２を取ろうとしている様子を示す。仮想オブジェクト５１２は現実世界ではコーヒーカップ５１０であるから、ユーザは現実にはコーヒーカップ５１０をつかむが、表示される画像上は仮想オブジェクト５１２をつかんでいるように見える。
　図６Ｂは、ユーザがフープの中に手を入れてつかんだ仮想オブジェクト５１２をフープの外に取り出したときの様子を示す。フープから取り出すと仮想オブジェクト５１２にエフェクトが加わり、この例では仮想オブジェクトから炎のようなものが飛び出している。フープ内部はカメラ画像にＣＧ画像が重畳または置き換え描画された拡張現実画像、フープの外は現実のカメラ画像という区分けがあったが、フープ内部に手を入れて仮想オブジェクト５１２をフープの外に取り出した場合でも、仮想オブジェクト５１２は元のコーヒーカップ５１０には戻らず、さらに特定のエフェクトをかけることもできる。このように拡張現実画像とカメラ画像との間で相互作用をもたらしたり、拡張現実画像をカメラ画像につなげるインタフェースの働きをフープなどの移動オブジェクト５０２にもたせることができる。すなわち、ＡＲ領域内の拡張現実画像からＡＲ領域外に取り出された仮想オブジェクト５１２に対しても拡張現実感を与えることができる。
　ユーザがフープの中に手を入れた場合に、フープ内部に拡張現実画像を生成するようにしてもよく、また、ユーザがフープの中に手を入れるなどの相互作用によって、現実オブジェクトにエフェクトが加わったり、現実オブジェクトが仮想オブジェクトに置き換わるなどＡＲ効果が表れるようにしてもよい。このようにユーザと移動オブジェクト５０２の間の相互作用によってＡＲ領域におけるＡＲ効果の有無と程度が変わるようにすることでカメラ画像から拡張現実画像に移行する際のユーザの非連続感や違和感を軽減することができる。
　図７Ａ～図７Ｃは、本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
　ユーザは図５Ａで説明した部屋の中にいるが、部屋の外には図７Ａに示すような仮想空間が存在する。ここでは仮想空間において一匹の恐竜が二本の木に側に立っている。
　図７Ｂに示すように、ユーザが移動オブジェクト５０２であるフープをポスター５２０が貼られている部屋の正面の壁に向け、フープの中を見ると、正面の壁に穴が空いており、部屋の外の仮想空間の様子を見ることができる。ここでは、フープ内部に図７Ａの仮想空間の恐竜の姿が見えている。
　図７Ｃに示すように、ユーザが壁の前で移動オブジェクト５０２を動かし、フープの中を見ると、壁の別の部分に穴が空き、そこから仮想空間を覗き見ることができる。ここでは、フープ内部に図７Ａの仮想空間の木の一部が見えている。
　このように、移動オブジェクト５０２であるフープの中をユーザの視点から見ると、フープ外部では現実空間のシースルー映像が見えているが、フープ内部では現実世界の向こう側にある外部の仮想世界が見える。
　図８は、本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
　図８に示すように、ユーザが移動オブジェクト５０２を通して部屋の壁を見ると、フープ内部には現実世界の壁の形状に合わせて生成された仮想的なブロック塀がＣＧで描画され表示される。仮想的なブロック塀が部屋の壁の向こう側に倒れて、壁の向こう側にある仮想世界が表示されるような仮想的な演出を加えることもできる。
　なお、現実世界の物体の形状情報や奥行き情報は、現実世界の空間を３Ｄスキャンすることで得られる。たとえば、赤外線パターン、Ｓｔｒｕｃｔｕｒｅｄ　Ｌｉｇｈｔ、ＴＯＦ（Time Of Flight）などの方式のデプスセンサを用いて現実空間の奥行き情報を取得したり、ステレオカメラの視差情報から現実空間の奥行き情報を取得することができる。
　図９は、本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
　図９は、ユーザが移動オブジェクト５０２であるフープから壁際に置いてある洋服スタンドを見たときにフープ内に生成される拡張現実画像を示す。洋服スタンドの形状情報や奥行き情報を参照して、洋服スタンドの代わりに仮想的な観葉植物のオブジェクトが生成され、フープ内に描画され表示されている。ここではユーザがフープを傾けてフープの内部を見ているので、フープの形状は楕円形になっている。
　図１０Ａ～図１０Ｃは、本実施の形態の画像生成装置２００による拡張現実画像生成のさらに別の例を説明する図である。
　図１０Ａは、ユーザが移動オブジェクト５０２であるフープを裏返そうとしている様子を示す。この場合、フープ内部は楕円形のＡＲ領域であり、図５Ｃと同様に仮想オブジェクト５１２が見えている。
　図１０Ｂは、ユーザがフープを完全に裏返したときの様子を示す。フープ内部には別の実写映像の一部が見えている。このようにフープを裏返すと、フープ内部の見え方を切り替えることができる。フープの裏返し操作には、フープ内部の映像を切り替えるスイッチの機能がある。この裏返した状態のフープをユーザが首に通すと、図１０Ｃに示すようにフープ内部の実写映像が全画面に広がる。ユーザは切り替え後の実写映像世界を動き回って観察することができる。ここでは切り替え後の映像として、実写映像の例を説明したが、別のＣＧによる仮想世界が提供されてもよい。
　このように、フープを裏返すなど移動オブジェクト５０２の姿勢を反転させたり、ユーザと移動オブジェクト５０２の位置関係を反転させると、ＡＲ領域内に表示される画像の種類が切り替わるようにすることで、移動オブジェクト５０２にチャネル切替の機能をもたせることができる。
　以上述べたように、本実施の形態の画像生成装置２００によれば、ユーザは現実空間の所定の領域を拡張現実画像が生成されるＡＲ領域として指定することができる。ユーザはフープなどの移動オブジェクト５０２などを用いて所定の領域の位置や大きさを自由に指定することができる。これにより、カメラ画像に突如としてＡＲ効果が加わるのではなく、ユーザが意図した位置と範囲にＡＲ効果が加わるので、現実映像から拡張現実映像へ移行する際の違和感が軽減する。
　また、ＡＲ領域内でＡＲ効果が加わったオブジェクトをＡＲ領域外に取り出してもＡＲ効果を継続させたり、さらにＡＲ効果を増し加えることにより、拡張現実世界を現実世界につなげる効果をもたせることができる。これによって、移動オブジェクト５０２に現実世界と仮想世界をつなぐインタフェースのような働きをさせることができる。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　１０　制御部、　２０　入力インタフェース、　３０　出力インタフェース、　３２　ディスプレイパネル、　４０　通信制御部、　４２　ネットワークアダプタ、　４４　アンテナ、　５０　記憶部、　６４　姿勢センサ、　７０　外部入出力端子インタフェース、　７２　外部メモリ、　８０　カメラユニット、　１００　ヘッドマウントディスプレイ、　２００　画像生成装置、　２１０　ＨＭＤ位置・姿勢取得部、　２２０　視点・視線設定部、　２３０　画像生成部、　２３２　レンダリング部、　２３４　ＡＲ生成部、　２３６　ポストプロセス部、　２３８　タイムワープ部、　２４０　リプロジェクション部、　２４２　歪み処理部、　２４４　移動オブジェクト位置・姿勢取得部、　２４６　タイムワープ部、　２４８　ＡＲ領域判定部、　２５０　画像信号処理部、　２６０　画像記憶部、　２８０　ＨＤＭＩ送受信部、　３００　インタフェース、　５００　トラッカ、　５０２　移動オブジェクト。
　この発明は、画像生成技術に利用できる。

Claims (13)

  1. 　ユーザが移動させる移動オブジェクトが現実世界において占める部分空間を前記ユーザの視点から見た場合の領域を拡張現実領域として判定する判定部と、
    　前記現実世界の撮影画像の内、前記拡張現実領域に拡張現実画像を生成する拡張現実生成部とを含むことを特徴とする画像生成装置。
  2. 　前記移動オブジェクトの位置および姿勢を取得する取得部をさらに含み、
    　前記判定部は、前記移動オブジェクトの位置および姿勢によって決まる前記部分空間を前記ユーザの視点から見た場合の領域を前記拡張現実領域として判定することを特徴とする請求項１に記載の画像生成装置。
  3. 　前記取得部は、前記移動オブジェクトに設けられたトラッカによって検出された前記移動オブジェクトの位置および姿勢を取得することを特徴とする請求項２に記載の画像生成装置。
  4. 　前記トラッカによって検出された前記移動オブジェクトの位置および姿勢を前記ユーザの位置および姿勢の取得時点に合うように変換するタイムワープ部をさらに含むことを特徴とする請求項３に記載の画像生成装置。
  5. 　前記取得部は、前記撮影画像から画像認識によって検出された前記移動オブジェクトの位置および姿勢を取得することを特徴とする請求項２に記載の画像生成装置。
  6. 　前記撮影画像を前記ユーザの位置および姿勢の取得時点に合うように変換するタイムワープ部をさらに含むことを特徴とする請求項５に記載の画像生成装置。
  7. 　前記拡張現実生成部は、前記現実世界の形状に応じて前記拡張現実画像を生成することを特徴とする請求項１から６のいずれかに記載の画像生成装置。
  8. 　前記拡張現実生成部は、前記ユーザと前記移動オブジェクトの間の位置関係または距離に応じて前記拡張現実領域内に前記拡張現実画像を生成するか否か、または、前記拡張現実領域内に生成される前記拡張現実画像の拡張現実感の程度を決定することを特徴とする請求項１から７のいずれかに記載の画像生成装置。
  9. 　前記拡張現実生成部は、前記移動オブジェクトの姿勢に応じて前記拡張現実領域内に表示される画像の種類を切り替えることを特徴とする請求項１から７のいずれかに記載の画像生成装置。
  10. 　前記拡張現実生成部は、前記拡張現実領域内の拡張現実画像から前記拡張現実領域外に取り出された仮想オブジェクトに対しても拡張現実感を与える請求項１から７のいずれかに記載の画像生成装置。
  11. 　前記拡張現実生成部は、前記拡張現実領域にコンピュータグラフィックス画像を重畳するとともに、あるいは、前記拡張現実領域にコンピュータグラフィックス画像を重畳することに代えて、前記拡張現実領域内の撮影画像にエフェクトを施すことを特徴とする請求項１から１０のいずれかに記載の画像生成装置。
  12. 　ユーザが移動させる移動オブジェクトが現実世界において占める部分空間を前記ユーザの視点から見た場合の領域を拡張現実領域として判定する判定ステップと、
    　前記現実世界の撮影画像の内、前記拡張現実領域に拡張現実画像を生成する拡張現実生成ステップとを含むことを特徴とする画像生成方法。
  13. 　ユーザが移動させる移動オブジェクトが現実世界において占める部分空間を前記ユーザの視点から見た場合の領域を拡張現実領域として判定する判定機能と、
    　前記現実世界の撮影画像の内、前記拡張現実領域に拡張現実画像を生成する拡張現実生成機能とをコンピュータに実現させることを特徴とするプログラム。
PCT/JP2018/029104 2018-08-02 2018-08-02 画像生成装置および画像生成方法 WO2020026419A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2018/029104 WO2020026419A1 (ja) 2018-08-02 2018-08-02 画像生成装置および画像生成方法
US17/261,999 US11335071B2 (en) 2018-08-02 2018-08-02 Image generation apparatus and image generation method for augmented reality images based on object interaction
JP2020534002A JPWO2020026419A1 (ja) 2018-08-02 2018-08-02 画像生成装置および画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/029104 WO2020026419A1 (ja) 2018-08-02 2018-08-02 画像生成装置および画像生成方法

Publications (1)

Publication Number Publication Date
WO2020026419A1 true WO2020026419A1 (ja) 2020-02-06

Family

ID=69231488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029104 WO2020026419A1 (ja) 2018-08-02 2018-08-02 画像生成装置および画像生成方法

Country Status (3)

Country Link
US (1) US11335071B2 (ja)
JP (1) JPWO2020026419A1 (ja)
WO (1) WO2020026419A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4083753A1 (en) * 2021-04-30 2022-11-02 Varjo Technologies Oy Display apparatus and method employing reprojection based on marker pose
JP7467810B2 (ja) 2021-05-07 2024-04-16 Ｋｙｏｔｏ’Ｓ ３Ｄ Ｓｔｕｄｉｏ株式会社 複合現実感提供システムおよび複合現実感提供方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220375110A1 (en) * 2021-05-18 2022-11-24 Snap Inc. Augmented reality guided depth estimation
CN113596569B (zh) * 2021-07-22 2023-03-24 歌尔科技有限公司 图像处理方法、装置和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025918A (ja) * 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
JP2009104249A (ja) * 2007-10-19 2009-05-14 Canon Inc 画像処理装置、画像処理方法
JP2017215875A (ja) * 2016-06-01 2017-12-07 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成システム、および画像生成方法
JP2018109835A (ja) * 2016-12-28 2018-07-12 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017147178A1 (en) * 2016-02-22 2017-08-31 Google Inc. Separate time-warping for a scene and an object for display of virtual reality content
US10134192B2 (en) * 2016-10-17 2018-11-20 Microsoft Technology Licensing, Llc Generating and displaying a computer generated image on a future pose of a real world object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025918A (ja) * 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
JP2009104249A (ja) * 2007-10-19 2009-05-14 Canon Inc 画像処理装置、画像処理方法
JP2017215875A (ja) * 2016-06-01 2017-12-07 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成システム、および画像生成方法
JP2018109835A (ja) * 2016-12-28 2018-07-12 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4083753A1 (en) * 2021-04-30 2022-11-02 Varjo Technologies Oy Display apparatus and method employing reprojection based on marker pose
JP7467810B2 (ja) 2021-05-07 2024-04-16 Ｋｙｏｔｏ’Ｓ ３Ｄ Ｓｔｕｄｉｏ株式会社 複合現実感提供システムおよび複合現実感提供方法

Also Published As

Publication number Publication date
US11335071B2 (en) 2022-05-17
JPWO2020026419A1 (ja) 2021-08-12
US20210390782A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
JP7496460B2 (ja) 画像生成装置および画像生成方法
US10559110B2 (en) Virtual reality
US10303244B2 (en) Information processing apparatus, information processing method, and computer program
WO2020026419A1 (ja) 画像生成装置および画像生成方法
JP6732716B2 (ja) 画像生成装置、画像生成システム、画像生成方法、およびプログラム
US20170301137A1 (en) Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality
GB2534580A (en) Image processing
JP2011258160A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2011258159A (ja) プログラム、情報記憶媒体及び画像生成システム
US10515481B2 (en) Method for assisting movement in virtual space and system executing the method
JP6978289B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
JP6616023B2 (ja) 音声出力装置、ヘッドマウントディスプレイ、音声出力方法及びプログラム
JP2020064592A (ja) 画像生成装置、画像生成システム、画像生成方法、およびプログラム
JP6711803B2 (ja) 画像生成装置および画像生成方法
JP2021507365A (ja) データ処理
WO2020213363A1 (ja) 複数のマーカを備えたデバイス

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18928500

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020534002

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18928500

Country of ref document: EP

Kind code of ref document: A1