WO2017221784A1 - 画像生成装置、画像生成システム、および画像生成方法 - Google Patents

画像生成装置、画像生成システム、および画像生成方法 Download PDF

Info

Publication number
WO2017221784A1
WO2017221784A1 PCT/JP2017/021954 JP2017021954W WO2017221784A1 WO 2017221784 A1 WO2017221784 A1 WO 2017221784A1 JP 2017021954 W JP2017021954 W JP 2017021954W WO 2017221784 A1 WO2017221784 A1 WO 2017221784A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
line
viewpoint position
unit
sight direction
Prior art date
Application number
PCT/JP2017/021954
Other languages
English (en)
French (fr)
Inventor
大輔 中田
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to US16/309,587 priority Critical patent/US10871822B2/en
Publication of WO2017221784A1 publication Critical patent/WO2017221784A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking

Definitions

  • the present invention relates to an apparatus, system, and method for generating an image.
  • a game is played by operating a controller or the like while wearing a head-mounted display (HMD) connected to a game machine on the head and watching the screen displayed on the head-mounted display.
  • HMD head-mounted display
  • the user sees only the video displayed on the head mounted display, so that the sense of immersion in the video world is enhanced and the entertainment of the game is further enhanced.
  • a virtual reality image is displayed on the head mounted display, and the user wearing the head mounted display rotates the head, a virtual space around 360 degrees can be displayed.
  • the feeling of immersion in the video is enhanced and the operability of applications such as games is improved.
  • a head-mounted display is provided with a head tracking function and a virtual reality image is generated by changing the viewpoint and the line of sight in conjunction with the movement of the user's head
  • the virtual reality image is generated and displayed. Due to the latency, the user's head orientation assumed at the time of video generation and the user's head orientation at the time when the video is displayed on the head-mounted display, the user seems drunk May fall into a sense.
  • the virtual reality video generated by the server is received via the network and displayed on the client, the delay between the video generation and the display time increases because of a further network delay.
  • the present invention has been made in view of these problems, and an object thereof is to provide an image generation apparatus and an image generation method capable of displaying an image in consideration of latency from image generation to display. .
  • an image generation apparatus includes an image generation unit that draws an image that is visible in a line-of-sight direction from a viewpoint position at a certain time, and an image drawn by the image generation unit as a past frame.
  • an image generation unit that draws an image that is visible in a line-of-sight direction from a viewpoint position at a certain time, and an image drawn by the image generation unit as a past frame.
  • a selection unit that selects a substitute image that should be seen in the line-of-sight direction from the current viewpoint position, and a current viewpoint drawn by the image generation unit from among the past frames held in the storage unit
  • an image providing unit that outputs the substitute image before providing an image that is visible in the line-of-sight direction from the position.
  • This image generation system is an image generation system in which a server and a client are connected via a network, and the server generates an image that is visible in a line-of-sight direction from a viewpoint position at a certain time, and the image generation unit
  • a storage unit that holds an image drawn by the past as a past frame, a selection unit that selects an alternative image that should be viewed in the line-of-sight direction from the current viewpoint position, and the image generation from the past frames held in the storage unit
  • An image providing unit that transmits the substitute image to the client before providing an image that is visible in the line-of-sight direction from the current viewpoint position drawn by the unit.
  • the client includes a reprojection unit that performs a process of shifting the substitute image received from the server according to a movement amount of at least one of a viewpoint position and a line-of-sight direction.
  • Still another aspect of the present invention is an image generation method.
  • This method includes an image generation step of drawing an image that is viewed in the line-of-sight direction from a viewpoint position at a certain time, a storage step of holding the image drawn in the image generation step as a past frame, A selection step of selecting an alternative image that should be visible in the line-of-sight direction from the current viewpoint position, and outputting the alternative image before providing an image that appears in the line-of-sight direction from the current viewpoint position drawn in the image generation step Providing an image.
  • an image can be displayed in consideration of latency from image generation to display.
  • FIG. 7A and FIG. 7B are diagrams for explaining reprojection. It is a figure explaining a mode that the past frame is preserve
  • FIG. 5 is a diagram for explaining past frame discard processing by a past frame discard unit in FIG. 4.
  • 6 is a flowchart illustrating a procedure of a drawing process using a past frame by the image generation apparatus in FIG. 4 in the case of a stand-alone system. It is a flowchart which shows the procedure of the past frame selection process of FIG. It is a flowchart which shows the procedure of the discard process of the past frame of FIG. 6 is a flowchart illustrating a procedure of a drawing process using a past frame by the image generation apparatus in FIG. 4 in the case of a server client system.
  • FIG. 1 is an external view of the head mounted display 100.
  • the head mounted display 100 is a display device that is worn on the user's head and enjoys still images and moving images displayed on the display, and listens to sound and music output from the headphones.
  • the position information of the head of the user wearing the head mounted display 100 and the posture information such as the rotation angle and inclination of the head can be measured by a gyro sensor or an acceleration sensor built in or externally attached to the head mounted display 100. .
  • the head mounted display 100 may further be provided with a camera for photographing the user's eyes.
  • the camera mounted on the head mounted display 100 can detect the user's gaze direction, pupil movement, blinking, and the like.
  • the head mounted display 100 is an example of a “wearable display”.
  • a method for generating an image displayed on the head mounted display 100 will be described.
  • the image generating method according to the present embodiment is not limited to the head mounted display 100 in a narrow sense, but a glasses, a glasses type display, a glasses type camera,
  • the present invention can also be applied when headphones, headsets (headphones with microphones), earphones, earrings, ear-mounted cameras, hats, hats with cameras, hair bands, and the like are attached.
  • FIG. 2 is a functional configuration diagram of the head mounted display 100.
  • the control unit 10 is a main processor that processes and outputs signals such as image signals and sensor signals, commands and data.
  • the input interface 20 receives operation signals and setting signals from the user and supplies them to the control unit 10.
  • the output interface 30 receives the image signal from the control unit 10 and displays it on the display.
  • the backlight 32 supplies a backlight to the liquid crystal display.
  • the communication control unit 40 transmits data input from the control unit 10 to the outside by wired or wireless communication via the network adapter 42 or the antenna 44.
  • the communication control unit 40 also receives data from the outside via wired or wireless communication via the network adapter 42 or the antenna 44 and outputs the data to the control unit 10.
  • the storage unit 50 temporarily stores data, parameters, operation signals, and the like processed by the control unit 10.
  • the attitude sensor 64 detects attitude information such as the position, rotation angle, and tilt of the head mounted display 100.
  • the posture sensor 64 is realized by appropriately combining a gyro sensor, an acceleration sensor, an angular acceleration sensor, and the like. You may detect a back-and-forth, right-and-left and up-and-down movement of the user's head using a motion sensor that combines at least one of a three-axis geomagnetic sensor, a three-axis acceleration sensor, and a three-axis gyro (angular velocity) sensor.
  • the external input / output terminal interface 70 is an interface for connecting peripheral devices such as a USB (Universal Serial Bus) controller.
  • the external memory 72 is an external memory such as a flash memory.
  • the clock unit 80 sets time information according to a setting signal from the control unit 10 and supplies time data to the control unit 10.
  • the control unit 10 can supply images and text data to the output interface 30 to be displayed on the display, or can be supplied to the communication control unit 40 and transmitted to the outside.
  • FIG. 3 is a configuration diagram of the image generation system according to the present embodiment.
  • the head mounted display 100 is connected to a client 200 such as a game machine, a personal computer, or a portable terminal through an interface 300 for connecting peripheral devices such as wireless communication or USB.
  • Client 200 is further connected to server 400 via network 600.
  • the server 400 can provide a cloud service.
  • the number of servers 400 is not limited to one, and there may be a plurality of servers, and a plurality of servers 400 may execute one task by distributed processing.
  • the server 400 can transmit virtual reality video to a plurality of clients 200 via the network 600.
  • a plurality of users wear head mounted displays 100 connected to their respective clients 200 and browse virtual reality images from their respective viewpoints.
  • FIG. 4 is a functional configuration diagram of the image generation apparatus 700 according to the present embodiment. This figure depicts a block diagram focusing on functions, and these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the image generation apparatus 700 is mounted on the server 400.
  • the image generation apparatus 700 is mounted on the client 200.
  • a part of the functional configuration of the image generation apparatus 700 may be mounted on the server 400 and the remaining functional configuration may be mounted on the client 200.
  • at least a part of the functions of the image generation apparatus 700 may be implemented in the control unit 10 of the head mounted display 100.
  • the zoom instruction acquisition unit 710 acquires the zoom magnification indicated by the user via the input interface 20 of the head mounted display 100.
  • the zoom magnification acquired by the zoom instruction acquisition unit 710 is supplied to the sensitivity adjustment unit 720 and the image processing unit 750.
  • the position / rotation information acquisition unit 730 acquires information related to the position and rotation of the head of the user wearing the head mounted display 100 based on the attitude information detected by the attitude sensor 64 of the head mounted display 100.
  • the position / rotation information acquisition unit 730 acquires the position and rotation of the user's head based on the sensitivity instructed from the sensitivity adjustment unit 720. For example, when the user turns his / her neck, the posture sensor 64 detects a change in the angle of the user's head, but the sensitivity adjustment unit 720 changes the detected angle until the change in angle exceeds a predetermined value. Is instructed to the position / rotation information acquisition unit 730 to ignore.
  • the sensitivity adjustment unit 720 adjusts the sensitivity of head angle detection based on the zoom magnification acquired from the zoom instruction acquisition unit 710. As the zoom magnification increases, the sensitivity of head angle detection decreases. When the zoom is performed, the angle of view becomes small. Therefore, the vibration of the display image due to the shaking of the head can be suppressed by reducing the sensitivity of the head angle detection.
  • the coordinate conversion unit 740 uses the position and rotation of the head mounted display 100 acquired by the position / rotation information acquisition unit 730 to perform coordinate conversion for generating an image to be displayed on the head mounted display 100 with a tracking function. Do.
  • the image processing unit 750 reads the image data from the image storage unit 760, and in accordance with the coordinate conversion by the coordinate conversion unit 740, a zoom instruction acquisition unit 710 displays an image that is seen in the line-of-sight direction from the viewpoint position of the user wearing the head mounted display 100. Are generated at the zoom magnification designated from the above and provided to the image providing unit 770.
  • the image data may be a moving image or a still image content created in advance, or may be rendered computer graphics.
  • the image providing unit 770 supplies the image data generated by the image processing unit 750 to the head mounted display 100.
  • the image processing unit 750 stores the generated image in the image storage unit 760 as “past frame” together with the viewpoint information and the frame number.
  • the viewpoint information includes a viewpoint position and a line-of-sight direction when the frame is drawn.
  • the viewpoint calculation unit 780 calculates the viewpoint position and the line-of-sight direction after moving the head based on the position and rotation change amount of the head mounted display 100 acquired from the position / rotation information acquisition unit 730.
  • the past frame selection unit 790 compares the new viewpoint position and / or line-of-sight direction calculated by the viewpoint calculation unit 780 with the viewpoint position and / or line-of-sight direction of the past frame stored in the image storage unit 760, and the viewpoint position And / or the angle difference in the line-of-sight direction is within a predetermined threshold, the past frame is selected from the image storage unit 760 according to the selection rule.
  • the past frame selection unit 790 gives the selected past frame to the image providing unit 770.
  • the image providing unit 770 provides the head mounted display 100 with the past frame selected by the past frame selecting unit 790 as a substitute image before the image processing unit 750 generates a drawing result in a new viewpoint position and line-of-sight direction. .
  • the past frame discard unit 800 deletes the past frame from the image storage unit 760 according to the discard rule.
  • the past frame discarding unit 800 compares the new viewpoint position and / or line-of-sight direction calculated by the viewpoint calculation unit 780 with the viewpoint position and / or line-of-sight direction of the past frame stored in the image storage unit 760, and the viewpoint position And / or the angle difference in the line-of-sight direction may exceed the predetermined threshold, the past frame may be deleted from the image storage unit 760 according to the discard rule.
  • FIG. 5 is a diagram for explaining an all-around image 500 displayed on the head mounted display 100.
  • an image 510a in the range of the angle of view 150a in the direction of the head mounted display 100a is displayed, and the user turns his neck and faces right front.
  • an image 510b in the range of the angle of view 150b in the direction of the head mounted display 100b is displayed.
  • the viewpoint position and the line-of-sight direction for viewing the all-around image displayed on the head-mounted display 100 change according to the movement of the head, it is possible to enhance the feeling of immersion in the all-around image.
  • FIG. 6 is a diagram for explaining the reason why the entire surrounding image displayed on the head mounted display 100 is delayed.
  • an image 510b in the range of the angle of view 150b in the direction of the head mounted display 100b is generated and displayed on the head mounted display 100.
  • the position and rotation of the head mounted display 100b have already changed as indicated by reference numeral 150c.
  • the image is visible in the range of 150b. Due to this time lag, an image slightly deviated from the direction in which the user is looking is displayed on the head mounted display 100, and the user may feel some kind of “drunk”.
  • the rotation of the head mounted display 100 is detected, the next drawing range is determined, the CPU issues a drawing command, the GPU (Graphics Processing Unit) executes the rendering, and the drawn image is the head mounted display. It takes time to output to 100. If drawing is performed at a frame rate of, for example, 60 fps (frames / second), even if the CPU is sufficiently high speed, one frame is required until the image is output after the rotation of the head mounted display 100 is detected. Delay occurs. This is about 16.67 milliseconds under a frame rate of 60 fps, which is a sufficient time for humans to detect a shift.
  • FIG. 7A and FIG. 7B are diagrams for explaining reprojection.
  • FIG. 7A shows the viewing frustum 910 when viewing the virtual space from the viewpoint 900.
  • an image 920 is displayed in the display range defined by the viewing frustum 910.
  • the generated image 920 is drawn as it is in the display range defined by the viewing frustum 910 as described in FIG. The user perceives the deviation.
  • the generated image 920 is displayed at a position shifted to the lower left from the position where it is originally displayed, and then the original display range defined by the viewing frustum 910 is correct.
  • reprojection it is possible to suppress a sense of incongruity that humans feel because the image does not instantaneously follow the movement of the head.
  • FIG. 8 is a diagram for explaining how past frames are stored in the image storage unit 760.
  • Images 920a and 920b are drawn in the display range defined by the view frustums 910a and 910b when the virtual space is viewed while moving the viewpoints 900a and 900b.
  • Images for the past N frames (N is an arbitrary natural number) are stored in the image storage unit 760.
  • FIG. 9 is a diagram for explaining a state in which the past frame selected from the image storage unit 760 is used for the drawing process.
  • the viewpoint 900c is moving leftward. It takes time to obtain a drawing result from a new viewpoint. Therefore, the frame 920a drawn in the past from the viewpoint closest to the viewpoint 900c is selected from the frames of the image stored in the image storage unit 760.
  • an image 920d to be originally drawn is generated and displayed in the display range of the viewing frustum 910c when the virtual space is viewed from the viewpoint 900d of the movement destination. Since the past frame 920a is displayed as the substitute image 920c until the image 920d which is the final drawing result at the viewpoint 900d is displayed, the delay experienced by the user is reduced. An image 920d that is a final drawing result at the viewpoint 900d is stored in the image storage unit 760 as a new past frame.
  • FIG. 10 is a diagram for explaining past frame selection processing by the past frame selection unit 790.
  • a rule of “select a past frame drawn from a viewpoint closest to the current viewpoint” is adopted as a selection rule.
  • the image storage unit 760 stores a frame FrA drawn at the first viewpoint VpA and a frame FrB drawn at the second viewpoint VpB as past frames.
  • the past frame selection unit 790 selects a substitute image when viewed from the current viewpoint VpC from the past frames stored in the image storage unit 760.
  • the past frame selection unit 790 selects the frame FrB drawn at the second viewpoint VpB closest to the current viewpoint VpC as an alternative image at the current viewpoint VpC.
  • FIG. 11 is a diagram for explaining past frame discard processing by the past frame discard unit 800.
  • a case will be described in which a rule of “discard the past frame drawn from the viewpoint farthest from the current viewpoint” is adopted as the discard rule.
  • the image storage unit 760 stores a frame FrA drawn at the first viewpoint VpA and a frame FrB drawn at the second viewpoint VpB as past frames.
  • the current viewpoint VpC is compared with the first viewpoint VpA and the second viewpoint VpB, the first viewpoint VpA is farther from the current viewpoint VpC. Therefore, the past frame discarding unit 800 deletes the frame FrA drawn at the first viewpoint VpA farthest from the current viewpoint VpC from the image storage unit 760.
  • FIG. 12 is a flowchart showing a drawing process procedure using a past frame by the image generation apparatus 700 in the case of a stand-alone system.
  • the image generation apparatus 700 acquires parameters determined at the time of initial setting such as the display resolution of the head mounted display 100 and the camera angle of view, and stores them in the storage unit as viewpoint determination parameters (S10).
  • the position / rotation information acquisition unit 730 of the image generation apparatus 700 acquires real-time measurement values such as the movement of the head of the user wearing the head mounted display 100, and saves it in the storage unit as a viewpoint determination parameter (S12).
  • the viewpoint calculation unit 780 of the image generation apparatus 700 calculates the viewpoint position and the line-of-sight direction for drawing from the stored viewpoint determination parameters (S14).
  • the past frame selection unit 790 compares the viewpoint position and viewpoint direction of the past frame stored in the image storage unit 760 with the viewpoint position and viewpoint direction calculated by the viewpoint calculation unit 780, and compares the viewpoint position difference and the line of sight. It is determined whether or not the direction angle difference is within a predetermined threshold (S16).
  • the past frame selection unit 790 executes past frame selection processing (S18). Details of the past frame selection process will be described later. After executing the past frame selection process, the process proceeds to step S20.
  • step S16 If the difference in viewpoint position and the angle difference in the line-of-sight direction exceed a predetermined threshold (N in S16), the process proceeds to step S20 without executing the past frame selection process in step S18.
  • the image processing unit 750 draws an image that looks in the line-of-sight direction from the current viewpoint position, and provides the drawn image to the image providing unit 770 (S20).
  • the past frame discarding unit 800 determines whether the data amount of the past frame stored in the image storage unit 760 has exceeded a predetermined threshold (S22). This predetermined threshold is set based on the amount of data that can be held in the image generation apparatus 700 in consideration of the storage capacity of the image generation apparatus 700.
  • the past frame discarding unit 800 executes past frame discarding processing (S24). Details of the past frame discarding process will be described later. After executing the past frame discarding process, the process proceeds to step S26.
  • step S26 If the data amount of the past frame stored in the image storage unit 760 is within a predetermined threshold (N in S22), the process proceeds to step S26 without executing the past frame discarding process in step S24.
  • the image processing unit 750 stores the drawing result of the image seen in the line-of-sight direction from the current viewpoint position as a past frame in the image storage unit 760 together with the viewpoint and the frame number (S26).
  • the image providing unit 770 outputs a drawing result of an image that looks in the line-of-sight direction from the current viewpoint position to the head mounted display 100, and performs reprojection processing as necessary (S28).
  • step S30 If there is movement on the user's head (Y in S30), the process returns to step S12 and the subsequent processing is repeated. If there is no movement of the user's head (N in S30), the drawing process using the past frame is terminated and the normal drawing process is resumed.
  • FIG. 13 is a flowchart showing the procedure of the past frame selection process in step S18 of FIG.
  • the past frame selection unit 790 selects a past frame from the image storage unit 760 based on the selection rule (S40).
  • selection rules include the following. ⁇ Select the newest frame from the saved past frames ⁇ Select the previous frame drawn from the viewpoint closest to the current viewpoint based on the difference in viewpoint position and the angle difference in the line of sight ⁇ Frame drawn immediately before And the past frame are matched, and the past frame that is most similar to the frame drawn immediately before is selected and the past frame with the highest number of selections is selected.
  • the past frame selection unit 790 outputs the selected past frame as a substitute image to the head mounted display 100, and performs reprojection processing as necessary (S42).
  • FIG. 14 is a flowchart showing the procedure of the past frame discarding process in step S24 of FIG.
  • the past frame discarding unit 800 selects a past frame to be discarded from the image storage unit 760 based on the discard rule (S50).
  • Examples of the discard rule include the following. ⁇ Discard the oldest frame saved in the past ⁇ Discard the past frame drawn from the viewpoint farthest from the current viewpoint based on the difference in viewpoint position and the angle difference in the line of sight ⁇ Draw immediately before Matches the frame with the past frame, discards the past frame that is not closest to the frame drawn immediately before, discards the past frame with the least number of selected times
  • the past frame discarding unit 800 deletes the selected past frame from the image storage unit 760 (S52).
  • FIG. 15 is a flowchart showing a drawing process procedure using a past frame by the image generation apparatus 700 in the case of a server client system.
  • the client 200 acquires parameters determined at the time of initial setting, such as the display resolution of the head mounted display 100 and the camera angle of view, and transmits them to the server 400.
  • the server 400 stores the received parameters in the storage unit as viewpoint determination parameters (S60).
  • the client 200 acquires real-time measurement values such as the movement of the head of the user wearing the head-mounted display 100 and transmits it to the server 400, and the position / rotation information acquisition unit 730 of the server 400 uses the received real-time measurement values.
  • the viewpoint determination parameter is saved in the storage unit (S62).
  • the viewpoint calculation unit 780 of the server 400 calculates the viewpoint position and the line-of-sight direction for drawing from the stored viewpoint determination parameters (S64).
  • the past frame selection unit 790 of the server 400 compares the viewpoint position and viewpoint direction of the past frame stored in the image storage unit 760 with the viewpoint position and viewpoint direction calculated by the viewpoint calculation unit 780, and determines the viewpoint position. It is determined whether the difference and the angle difference in the line-of-sight direction are within a predetermined threshold (S66).
  • the past frame selection unit 790 executes past frame selection processing (S68). Details of the past frame selection process will be described later. After executing the past frame selection process, the process proceeds to step S70.
  • step S66 If the difference in viewpoint position and the angle difference in the line-of-sight direction exceed a predetermined threshold (N in S66), the process proceeds to step S70 without executing the past frame selection process in step S68.
  • the image processing unit 750 of the server 400 draws an image that looks in the line-of-sight direction from the current viewpoint position, and provides the drawn image to the image providing unit 770 (S70).
  • the past frame discarding unit 800 of the server 400 determines whether or not the data amount of the past frame stored in the image storage unit 760 has exceeded a predetermined threshold (S72).
  • This predetermined threshold is set based on the amount of data that can be held in the server 400 in consideration of the large-capacity storage device of the server 400. In the case of a cloud service, since the storage capacity is sufficiently large, a large number of past frames transmitted to a plurality of clients can be held.
  • the past frame discarding unit 800 executes past frame discarding processing (S74). Details of the past frame discarding process will be described later. After executing the past frame discarding process, the process proceeds to step S76.
  • step S76 When the data amount of the past frame stored in the image storage unit 760 is within a predetermined threshold (N in S72), the process proceeds to step S76 without executing the past frame discarding process in step S74.
  • the image processing unit 750 of the server 400 stores, in the image storage unit 760, the drawing result of the image seen in the line-of-sight direction from the current viewpoint position together with the viewpoint and the frame number as a past frame (S76).
  • the image providing unit 770 of the server 400 transmits to the client 200 a drawing result of an image that is visible in the line-of-sight direction from the current viewpoint position.
  • the client 200 outputs the received drawing result to the head mounted display 100, and performs reprojection processing as necessary (S78).
  • step S80 If there is a movement on the user's head (Y in S80), the process returns to step S62, and the subsequent processing is repeated. If there is no movement of the user's head (N in S80), the drawing process using the past frame is terminated and the normal drawing process is resumed.
  • the past frame selection unit 790 of the server 400 selects a past frame from the image storage unit 760 based on the selection rule, and transmits it to the client 200.
  • the client 200 outputs the received past frame as a substitute image to the head mounted display 100, and performs a reprojection process as necessary.
  • the past frame discard unit 800 of the server 400 selects a past frame to be discarded from the image storage unit 760 based on the discard rule.
  • the past frame discarding unit 800 deletes the selected past frame from the image storage unit 760.
  • the server 400 may transmit the drawing result to a plurality of clients 200.
  • the server 400 stores a frame of an image drawn for a certain client 200, and reuses the past frame as a substitute image when another client 200 views from the same viewpoint. May be.
  • the image generation apparatus 700 of the present embodiment when the viewpoint position and the line-of-sight direction change due to the movement of the head of the user wearing the head mounted display 100, the image drawn in the past is displayed.
  • the past frame that matches the new viewpoint position and line-of-sight direction is reused from the frame and rendered as a substitute image.
  • the substitute image is displayed, so that it becomes difficult for the user to perceive the delay, and sickness can be prevented.
  • the first use case is a form in which a device at hand of a user performs drawing using a past frame without being connected to a network. If the device at hand of the user has sufficient storage capacity, it is possible to perform rendering output concealing the delay in rendering processing by storing and reusing past rendering results.
  • the second use case is a form in which drawing is executed on the cloud server and the drawing result is transmitted to the client. Since the cloud server has a storage device with a larger capacity than the device at hand of the user, more past drawing results can be held and reused than the device at hand of the user. In the cloud service, when a plurality of clients are viewing the same virtual space, the drawing result of a certain client can be used by another client.
  • the third use case is a form in which video content around 360 degrees is reproduced by a cloud server, and only an area that is visible in the user's line of sight is cut out and transmitted to the client.
  • playback of high-resolution content such as 4K resolution and 8K resolution requires high-performance hardware, and an environment that provides higher-performance hardware than a terminal at hand such as a cloud service is required.
  • a cloud service is required.
  • control units 20 input interfaces, 30 output interfaces, 32 backlights, 40 communication control units, 42 network adapters, 44 antennas, 50 storage units, 64 attitude sensors, 70 external input / output terminal interfaces, 72 external memory, 80 clock units , 100 head-mounted display, 200 client, 300 interface, 400 server, 500 all-around image, 600 network, 700 image generation device, 710 zoom instruction acquisition unit, 720 sensitivity adjustment unit, 730 position / rotation information acquisition unit, 740 coordinate conversion Section, 750 image processing section, 760 image storage section, 770 image providing section, 780 viewpoint calculation section, 790 past frame selection , 800 past frame discard unit.

Abstract

画像処理部７５０は、ある時刻における視点位置から視線方向に見える画像を描画する。画像記憶部７６０は、画像処理部７５０により描画された画像を過去フレームとして保持する。過去フレーム選択部７９０は、画像記憶部７６０に保持された過去フレームの中から、現在の視点位置から視線方向に見えるべき代替画像を選択する。画像提供部７７０は、画像処理部７５０により描画される現在の視点位置から視線方向に見える画像を提供する前に、代替画像を出力する。

Description

画像生成装置、画像生成システム、および画像生成方法
　この発明は、画像を生成する装置、システムおよび方法に関する。
　ゲーム機に接続されたヘッドマウントディスプレイ（ＨＭＤ）を頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（Virtual Reality）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。
　このようにヘッドマウントディスプレイにヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までにレイテンシがあるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイに表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚に陥ることがある。また、サーバが生成した仮想現実の映像をネットワーク経由で受信してクライアントで表示する場合は、さらにネットワークの遅延が加わるため、映像の生成時と表示時の間のずれが大きくなる。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、画像の生成から表示までのレイテンシを考慮して画像を表示することのできる画像生成装置および画像生成方法を提供することにある。
　上記課題を解決するために、本発明のある態様の画像生成装置は、ある時刻における視点位置から視線方向に見える画像を描画する画像生成部と、前記画像生成部により描画された画像を過去フレームとして保持する記憶部と、前記記憶部に保持された過去フレームの中から、現在の視点位置から視線方向に見えるべき代替画像を選択する選択部と、前記画像生成部により描画される現在の視点位置から視線方向に見える画像を提供する前に、前記代替画像を出力する画像提供部とを含む。
　本発明の別の態様は、画像生成システムである。この画像生成システムは、サーバとクライアントとがネットワークで接続された画像生成システムであって、前記サーバは、ある時刻における視点位置から視線方向に見える画像を描画する画像生成部と、前記画像生成部により描画された画像を過去フレームとして保持する記憶部と、前記記憶部に保持された過去フレームの中から、現在の視点位置から視線方向に見えるべき代替画像を選択する選択部と、前記画像生成部により描画される現在の視点位置から視線方向に見える画像を提供する前に、前記代替画像をクライアントに送信する画像提供部とを含む。前記クライアントは、前記サーバから受信した前記代替画像を視点位置および視線方向の少なくとも一方の動き量に応じてずらす処理を行うリプロジェクション部を含むを特徴とする。
　本発明のさらに別の態様は、画像生成方法である。この方法は、ある時刻における視点位置から視線方向に見える画像を描画する画像生成ステップと、前記画像生成ステップにおいて描画された画像を過去フレームとして保持する記憶ステップと、前記保持された過去フレームの中から、現在の視点位置から視線方向に見えるべき代替画像を選択する選択ステップと、前記画像生成ステップにおいて描画される現在の視点位置から視線方向に見える画像を提供する前に、前記代替画像を出力する画像提供ステップとを含む。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、画像の生成から表示までのレイテンシを考慮して画像を表示することができる。
ヘッドマウントディスプレイの外観図である。 ヘッドマウントディスプレイの機能構成図である。 本実施の形態に係る画像生成システムの構成図である。 本実施の形態に係る画像生成装置の機能構成図である。 ヘッドマウントディスプレイに表示される全周囲画像を説明する図である。 ヘッドマウントディスプレイに表示される全周囲画像に遅れが生じる理由を説明する図である。 図７（ａ）および図７（ｂ）は、リプロジェクションを説明する図である。 過去フレームが図４の画像記憶部に保存される様子を説明する図である。 図４の画像記憶部から選択された過去フレームが描画処理に利用される様子を説明する図である。 図４の過去フレーム選択部による過去フレームの選択処理を説明する図である。 図４の過去フレーム破棄部による過去フレームの破棄処理を説明する図である。 スタンドアロンシステムの場合の図４の画像生成装置による過去フレームを利用した描画処理の手順を示すフローチャートである。 図１２の過去フレーム選択処理の手順を示すフローチャートである。 図１２の過去フレーム破棄処理の手順を示すフローチャートである。 サーバクライアントシステムの場合の図４の画像生成装置による過去フレームを利用した描画処理の手順を示すフローチャートである。
　図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。
　ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢情報を計測することができる。
　ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの凝視方向、瞳孔の動き、瞬きなどを検出することができる。
　ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
　図２は、ヘッドマウントディスプレイ１００の機能構成図である。
　制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイに表示させる。バックライト３２は、液晶ディスプレイにバックライトを供給する。
　通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。
　記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
　姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置、回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。
　外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。
　時計部８０は、制御部１０からの設定信号によって時間情報を設定し、時間データを制御部１０に供給する。
　制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイに表示させたり、通信制御部４０に供給して外部に送信させることができる。
　図３は、本実施の形態に係る画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース３００でゲーム機やパーソナルコンピュータ、携帯端末などのクライアント２００に接続される。クライアント２００は、さらにネットワーク６００を介してサーバ４００に接続される。サーバ４００はクラウドサービスを提供することができる。サーバ４００は一台に限らず、複数台あってもよく、複数台のサーバ４００が分散処理により一つのタスクを実行してもよい。
　サーバ４００は、ネットワーク６００を介して複数のクライアント２００に仮想現実の映像を送信することができる。複数のユーザは、それぞれのクライアント２００に接続されたヘッドマウントディスプレイ１００を装着してそれぞれの視点から仮想現実の映像を閲覧する。
　図４は、本実施の形態に係る画像生成装置７００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
　クライアント２００をサーバ４００に接続するサーバクライアントシステムの場合、画像生成装置７００はサーバ４００に実装される。クライアント２００をサーバ４００に接続せずに単体で利用するスタンドアロンシステムの場合は、画像生成装置７００はクライアント２００に実装される。サーバクライアントシステムの場合、画像生成装置７００の一部の機能構成をサーバ４００に実装し、残りの機能構成をクライアント２００に実装してもよい。サーバクライアントシステム、スタンドアロンシステムのいずれの場合にも、画像生成装置７００の少なくとも一部の機能をヘッドマウントディスプレイ１００の制御部１０に実装してもよい。
　ズーム指示取得部７１０は、ヘッドマウントディスプレイ１００の入力インタフェース２０を介してユーザが指示するズームの倍率を取得する。ズーム指示取得部７１０が取得したズーム倍率は感度調整部７２０と画像処理部７５０に供給される。
　位置・回転情報取得部７３０は、ヘッドマウントディスプレイ１００の姿勢センサ６４により検知される姿勢情報にもとづいて、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置と回転に関する情報を取得する。
　位置・回転情報取得部７３０は、感度調整部７２０から指示された感度にもとづいて、ユーザの頭部の位置と回転を取得する。たとえば、ユーザが首を回すと、姿勢センサ６４によりユーザの頭部の角度の変化が検出されるが、感度調整部７２０は、角度の変化が所定の値を超えるまでは検出された角度の変化を無視するように位置・回転情報取得部７３０に指示する。
　また、感度調整部７２０は、ズーム指示取得部７１０から取得されたズーム倍率にもとづいて頭部の角度検出の感度を調整する。ズーム倍率が大きくなるほど、頭部の角度検出の感度を下げる。ズームすると、画角が小さくなるため、頭部の角度検出感度を下げることで頭部の揺れによる表示画像の振動を抑えることができる。
　座標変換部７４０は、位置・回転情報取得部７３０により取得されたヘッドマウントディスプレイ１００の位置および回転を用いて、トラッキング機能付きのヘッドマウントディスプレイ１００に表示すべき画像を生成するための座標変換を行う。
　画像処理部７５０は、画像記憶部７６０から画像データを読み出し、座標変換部７４０による座標変換にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える画像を、ズーム指示取得部７１０から指定されたズーム倍率で生成し、画像提供部７７０に与える。ここで、画像データは、事前に作成された動画または静止画コンテンツであってもよく、レンダリングされたコンピュータグラフィックスであってもよい。
　画像提供部７７０は、画像処理部７５０により生成された画像データをヘッドマウントディスプレイ１００に供給する。
　画像処理部７５０は、生成された画像を視点情報とフレーム番号とともに「過去フレーム」として画像記憶部７６０に保存する。視点情報には当該フレームを描画したときの視点位置および視線方向が含まれる。
　視点計算部７８０は、位置・回転情報取得部７３０から取得されるヘッドマウントディスプレイ１００の位置および回転の変化量にもとづいて、頭部を動かした後の視点位置と視線方向を計算する。
　過去フレーム選択部７９０は、視点計算部７８０により計算された新しい視点位置および／または視線方向と、画像記憶部７６０に保存された過去フレームの視点位置および／または視線方向とを比較し、視点位置の差および／または視線方向の角度差が所定の閾値以内であれば、選択ルールにしたがって画像記憶部７６０から過去フレームを選択する。過去フレーム選択部７９０は、選択された過去フレームを画像提供部７７０に与える。
　画像提供部７７０は、画像処理部７５０により新しい視点位置および視線方向での描画結果が生成される前に、過去フレーム選択部７９０により選択された過去フレームを代替画像としてヘッドマウントディスプレイ１００に提供する。
　過去フレーム破棄部８００は、画像記憶部７６０に保存された過去フレームのデータ量が所定の閾値を超えた場合、破棄ルールにしたがって画像記憶部７６０から過去フレームを削除する。過去フレーム破棄部８００は、視点計算部７８０により計算された新しい視点位置および／または視線方向と、画像記憶部７６０に保存された過去フレームの視点位置および／または視線方向とを比較し、視点位置の差および／または視線方向の角度差が所定の閾値を超えた場合に、破棄ルールにしたがって画像記憶部７６０から過去フレームを削除してもよい。
　図５は、ヘッドマウントディスプレイ１００に表示される全周囲画像５００を説明する図である。全周囲画像５００に対して、ユーザが左前方を向いている場合、ヘッドマウントディスプレイ１００ａの方向で画角１５０ａの範囲にある画像５１０ａが表示され、ユーザが首を回して右前方を向いている場合、ヘッドマウントディスプレイ１００ｂの方向で画角１５０ｂの範囲にある画像５１０ｂが表示される。
　このように頭部の動きに応じてヘッドマウントディスプレイ１００に表示される全周囲画像を見る視点位置と視線方向も変わるため、全周囲画像に対する没入感を高めることができる。
　図６は、ヘッドマウントディスプレイ１００に表示される全周囲画像に遅れが生じる理由を説明する図である。ユーザが首を回して右前方を向いた場合、ヘッドマウントディスプレイ１００ｂの方向で画角１５０ｂの範囲にある画像５１０ｂを生成し、ヘッドマウントディスプレイ１００に表示するが、画像５１０ｂの表示の時点では、既にヘッドマウントディスプレイ１００ｂの位置と回転が符号１５０ｃで示すように変化している。そのため、本来は画角１５０ｃの範囲で見える画像をヘッドマウントディスプレイ１００ｃに表示する必要があるが、実際に生成されて表示される画像は、少し前の時点のヘッドマウントディスプレイ１００ｂの方向で画角１５０ｂの範囲で見える画像となってしまう。この時間差によるずれのため、ユーザが見ている方向とは少しずれた画像がヘッドマウントディスプレイ１００に表示され、ユーザはある種の「酔い」を感じることがある。
　このように、ヘッドマウントディスプレイ１００の回転を検知し、次の描画範囲を確定し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がヘッドマウントディスプレイ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われているとすると、ＣＰＵが十分高速であったとしても、ヘッドマウントディスプレイ１００の回転を検知してから画像を出力するまでに１フレーム分の遅れが生じる。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。
　そこで、従来は、「タイムワープ」または「リプロジェクション」と呼ばれる処理を行うことで人間がずれを感知しにくいようにしている。以下、「リプロジェクション」について説明した後、本実施の形態の過去フレーム利用による描画遅延体感低減方法を説明する。
　図７（ａ）および図７（ｂ）は、リプロジェクションを説明する図である。図７（ａ）は、視点９００から仮想空間を見るときの視錐台９１０を示す。図７（ａ）では視錐台９１０で規定される表示範囲に画像９２０が表示されている。しかしながらユーザが頭部を右に回転させ、視点９００が右に移動していた場合、生成された画像９２０を視錐台９１０で規定される表示範囲にそのまま描画すると、図６で説明したようにユーザはずれを感知してしまう。
　頭部を右に移動させると、目の前の画像は右から左に、より正確に言えば左下に流れていくはずである。そこで、図７（ｂ）に示すように、生成された画像９２０を本来表示される位置よりも左下にずらした位置に表示し、その後、視錐台９１０で規定される本来の表示範囲に正しい画像を遅れて描画する。この処理をリプロジェクションと呼んでいる。リプロジェクションにより、画像が頭部の動きに瞬時に追従しないために人間が感じる違和感を抑えることができる。
　しかし、特にサーバクライアントシステムでヘッドマウントディスプレイ１００に描画する場合、描画処理にかかる時間に通信時間がさらに加わり、遅延が大きくなるため、リプロジェクションによる遅延対策だけでは違和感を十分に低減することができなくなる。生成された画像９２０を本来表示される位置からずらした位置に表示した後、視錐台９１０で規定される本来の表示範囲に正しい画像を描画するが、この正しい画像の描画が通信トラフィックの影響でさらに遅延するからである。そこで、本実施の形態では、過去フレームを利用することによって、ユーザが体感する遅延を低減する。
　図８および図９を参照して、過去フレームを利用した描画処理の概略を説明する。図８は、過去フレームが画像記憶部７６０に保存される様子を説明する図である。視点９００ａ、９００ｂを動かしながら仮想空間を見たときの視錐台９１０ａ、９１０ｂで規定される表示範囲に画像９２０ａ、９２０ｂが描画される。過去のＮフレーム分（Ｎは任意の自然数）の画像が画像記憶部７６０に保存される。
　図９は、画像記憶部７６０から選択された過去フレームが描画処理に利用される様子を説明する図である。視点９００ｃが左方向に移動しているとする。新しい視点での描画結果を得るまでには時間がかかる。そこで、画像記憶部７６０に保存された画像のフレームの内、視点９００ｃに最も近い視点で過去に描画されたフレーム９２０ａを選択する。選択されたフレーム９２０ａをそのまま利用するか、必要に応じてリプロジェクション処理を施した上で、選択されたフレーム９２０ａを、視点９００ｃから仮想空間を見るときの視錐台９１０ｃで規定される表示範囲に代替画像９２０ｃとして表示する。
　その後、移動先の視点９００ｄから仮想空間を見たときの視錐台９１０ｃの表示範囲に本来描画されるべき画像９２０ｄが生成されて表示される。視点９００ｄでの最終的な描画結果である画像９２０ｄが表示されるまでの間、過去フレーム９２０ａが代替画像９２０ｃとして表示されるため、ユーザが体感する遅延が低減される。視点９００ｄでの最終的な描画結果である画像９２０ｄは画像記憶部７６０に新たな過去フレームとして保存される。
　図１０は、過去フレーム選択部７９０による過去フレームの選択処理を説明する図である。ここでは、選択ルールとして「現在の視点に最も近い視点で描画された過去フレームを選択する」というルールを採用した場合を説明する。
　簡単のため、画像記憶部７６０には、過去フレームとして、第１の視点ＶｐＡで描画されたフレームＦｒＡと、第２の視点ＶｐＢで描画されたフレームＦｒＢが格納されているとする。過去フレーム選択部７９０は、現在の視点ＶｐＣから見た場合の代替画像を画像記憶部７６０に格納された過去フレームの中から選択する。現在の視点ＶｐＣを、第１の視点ＶｐＡおよび第２の視点ＶｐＢと比較すると、第２の視点ＶｐＢの方が現在の視点ＶｐＣに近い。そこで、過去フレーム選択部７９０は、現在の視点ＶｐＣに最も近い第２の視点ＶｐＢで描画されたフレームＦｒＢを現在の視点ＶｐＣにおける代替画像として選択する。
　図１１は、過去フレーム破棄部８００による過去フレームの破棄処理を説明する図である。ここでは、破棄ルールとして「現在の視点から最も離れた視点で描画された過去フレームを破棄する」というルールを採用した場合を説明する。
　簡単のため、画像記憶部７６０には、過去フレームとして、第１の視点ＶｐＡで描画されたフレームＦｒＡと、第２の視点ＶｐＢで描画されたフレームＦｒＢが格納されているとする。現在の視点ＶｐＣを、第１の視点ＶｐＡおよび第２の視点ＶｐＢと比較すると、第１の視点ＶｐＡの方が現在の視点ＶｐＣから離れている。そこで、過去フレーム破棄部８００は、現在の視点ＶｐＣから最も離れた第１の視点ＶｐＡで描画されたフレームＦｒＡを画像記憶部７６０から削除する。
　図１２は、スタンドアロンシステムの場合の画像生成装置７００による過去フレームを利用した描画処理の手順を示すフローチャートである。
　画像生成装置７００は、ヘッドマウントディスプレイ１００の表示解像度、カメラ画角などの初期設定時に決まるパラメータを取得し、視点決定用パラメータとして記憶部に保存する（Ｓ１０）。
　画像生成装置７００の位置・回転情報取得部７３０は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の動きなどのリアルタイム測定値を取得し、視点決定用パラメータとして記憶部に保存する（Ｓ１２）。
　画像生成装置７００の視点計算部７８０は、保存されている視点決定用パラメータから描画を行うための視点位置と視線方向を計算する（Ｓ１４）。
　過去フレーム選択部７９０は、画像記憶部７６０に保存されている過去フレームの視点位置および視点方向と、視点計算部７８０により計算された視点位置および視点方向とを比較し、視点位置の差および視線方向の角度差が所定の閾値以内であるかどうかを判定する（Ｓ１６）。
　視点位置の差および視線方向の角度差が所定の閾値以内である場合（Ｓ１６のＹ）、過去フレーム選択部７９０は、過去フレーム選択処理を実行する（Ｓ１８）。過去フレーム選択処理の詳細は後述する。過去フレーム選択処理の実行後、ステップＳ２０に進む。
　視点位置の差および視線方向の角度差が所定の閾値を超える場合（Ｓ１６のＮ）、ステップＳ１８の過去フレーム選択処理を実行せずに、ステップＳ２０に進む。
　画像処理部７５０は、現在の視点位置から視線方向に見える画像を描画し、描画された画像を画像提供部７７０に提供する（Ｓ２０）。
　過去フレーム破棄部８００は、画像記憶部７６０に保存された過去フレームのデータ量が所定の閾値を超えたかどうかを判定する（Ｓ２２）。この所定の閾値は、画像生成装置７００の記憶容量を考慮して、画像生成装置７００に保持可能なデータ量をもとに設定される。
　画像記憶部７６０に保存された過去フレームのデータ量が所定の閾値を超えた場合（Ｓ２２のＹ）、過去フレーム破棄部８００は、過去フレーム破棄処理を実行する（Ｓ２４）。過去フレーム破棄処理の詳細は後述する。過去フレーム破棄処理の実行後、ステップＳ２６に進む。
　画像記憶部７６０に保存された過去フレームのデータ量が所定の閾値以内である場合（Ｓ２２のＮ）、ステップＳ２４の過去フレーム破棄処理を実行せずに、ステップＳ２６に進む。
　画像処理部７５０は、現在の視点位置から視線方向に見える画像の描画結果を過去フレームとして、視点とフレーム番号とともに画像記憶部７６０に保存する（Ｓ２６）。
　画像提供部７７０は、現在の視点位置から視線方向に見える画像の描画結果をヘッドマウントディスプレイ１００に出力し、必要に応じてリプロジェクション処理を行う（Ｓ２８）。
　ユーザの頭部に動きがあれば（Ｓ３０のＹ）、ステップＳ１２に戻り、それ以降の処理を繰り返す。ユーザの頭部に動きがなければ（Ｓ３０のＮ）、過去フレームを利用した描画処理を終了し、通常の描画処理に戻る。
　図１３は、図１２のステップＳ１８の過去フレーム選択処理の手順を示すフローチャートである。
　過去フレーム選択部７９０は、選択ルールにもとづいて、画像記憶部７６０から過去フレームを選択する（Ｓ４０）。
　選択ルールとして、たとえば、以下のものがある。
・保存された過去フレームの内、最も新しいフレームを選択
・視点位置の差や視線方向の角度差にもとづいて現在の視点に最も近い視点で描画された過去フレームを選択
・直前に描画されたフレームと過去フレームのマッチングを行い、直前に描画されたフレームと最も近似している過去フレームを選択
・選択された回数が最も多い過去フレームを選択
　過去フレーム選択部７９０は、選択された過去フレームを代替画像としてヘッドマウントディスプレイ１００に出力し、必要に応じてリプロジェクション処理を行う（Ｓ４２）。
　図１４は、図１２のステップＳ２４の過去フレーム破棄処理の手順を示すフローチャートである。
　過去フレーム破棄部８００は、破棄ルールにもとづいて、画像記憶部７６０から破棄すべき過去フレームを選択する（Ｓ５０）。
　破棄ルールとして、たとえば、以下のものがある。
・保存された過去フレームの内、最も古いフレームを破棄
・視点位置の差や視線方向の角度差にもとづいて現在の視点から最も離れた視点で描画された過去フレームを破棄
・直前に描画されたフレームと過去フレームのマッチングを行い、直前に描画されたフレームと最も近似していない過去フレームを破棄
・選択された回数が最も少ない過去フレームを破棄
　過去フレーム破棄部８００は、選択された過去フレームを画像記憶部７６０から削除する（Ｓ５２）。
　上記のフローチャートでは、クライアント２００をサーバ４００に接続せずに単体で利用するスタンドアロンシステムの場合を説明した。次にクライアント２００をサーバ４００に接続したサーバクライアントシステムの場合を説明する。
　図１５は、サーバクライアントシステムの場合の画像生成装置７００による過去フレームを利用した描画処理の手順を示すフローチャートである。
　クライアント２００は、ヘッドマウントディスプレイ１００の表示解像度、カメラ画角などの初期設定時に決まるパラメータを取得し、サーバ４００に送信する。サーバ４００は、受信したパラメータを視点決定用パラメータとして記憶部に保存する（Ｓ６０）。
　クライアント２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の動きなどのリアルタイム測定値を取得し、サーバ４００に送信し、サーバ４００の位置・回転情報取得部７３０は、受信したリアルタイム測定値を視点決定用パラメータとして記憶部に保存する（Ｓ６２）。
　サーバ４００の視点計算部７８０は、保存されている視点決定用パラメータから描画を行うための視点位置と視線方向を計算する（Ｓ６４）。
　サーバ４００の過去フレーム選択部７９０は、画像記憶部７６０に保存されている過去フレームの視点位置および視点方向と、視点計算部７８０により計算された視点位置および視点方向とを比較し、視点位置の差および視線方向の角度差が所定の閾値以内であるかどうかを判定する（Ｓ６６）。
　視点位置の差および視線方向の角度差が所定の閾値以内である場合（Ｓ６６のＹ）、過去フレーム選択部７９０は、過去フレーム選択処理を実行する（Ｓ６８）。過去フレーム選択処理の詳細は後述する。過去フレーム選択処理の実行後、ステップＳ７０に進む。
　視点位置の差および視線方向の角度差が所定の閾値を超える場合（Ｓ６６のＮ）、ステップＳ６８の過去フレーム選択処理を実行せずに、ステップＳ７０に進む。
　サーバ４００の画像処理部７５０は、現在の視点位置から視線方向に見える画像を描画し、描画された画像を画像提供部７７０に提供する（Ｓ７０）。
　サーバ４００の過去フレーム破棄部８００は、画像記憶部７６０に保存された過去フレームのデータ量が所定の閾値を超えたかどうかを判定する（Ｓ７２）。この所定の閾値は、サーバ４００の大容量の記憶装置を考慮して、サーバ４００に保持可能なデータ量をもとに設定される。クラウドサービスの場合、記憶容量は十分に大きいため、複数のクライアントに送信した多数の過去フレームを保持することができる。
　画像記憶部７６０に保存された過去フレームのデータ量が所定の閾値を超えた場合（Ｓ７２のＹ）、過去フレーム破棄部８００は、過去フレーム破棄処理を実行する（Ｓ７４）。過去フレーム破棄処理の詳細は後述する。過去フレーム破棄処理の実行後、ステップＳ７６に進む。
　画像記憶部７６０に保存された過去フレームのデータ量が所定の閾値以内である場合（Ｓ７２のＮ）、ステップＳ７４の過去フレーム破棄処理を実行せずに、ステップＳ７６に進む。
　サーバ４００の画像処理部７５０は、現在の視点位置から視線方向に見える画像の描画結果を過去フレームとして、視点とフレーム番号とともに画像記憶部７６０に保存する（Ｓ７６）。
　サーバ４００の画像提供部７７０は、現在の視点位置から視線方向に見える画像の描画結果をクライアント２００に送信する。クライアント２００は受信した描画結果をヘッドマウントディスプレイ１００に出力し、必要に応じてリプロジェクション処理を行う（Ｓ７８）。
　ユーザの頭部に動きがあれば（Ｓ８０のＹ）、ステップＳ６２に戻り、それ以降の処理を繰り返す。ユーザの頭部に動きがなければ（Ｓ８０のＮ）、過去フレームを利用した描画処理を終了し、通常の描画処理に戻る。
　ステップＳ６８の過去フレーム選択処理は、図１３で説明したスタンドアロンの場合と大差はないので、図は省略して手順のみを説明する。サーバ４００の過去フレーム選択部７９０は、選択ルールにもとづいて、画像記憶部７６０から過去フレームを選択し、クライアント２００に送信する。クライアント２００は、受信した過去フレームを代替画像としてヘッドマウントディスプレイ１００に出力し、必要に応じてリプロジェクション処理を行う。
　ステップＳ７４の過去フレーム選択処理は、図１４で説明したスタンドアロンの場合と大差はないので、図は省略して手順のみを説明する。サーバ４００の過去フレーム破棄部８００は、破棄ルールにもとづいて、画像記憶部７６０から破棄すべき過去フレームを選択する。過去フレーム破棄部８００は、選択された過去フレームを画像記憶部７６０から削除する。
　上記の説明では、サーバ４００が一つのクライアント２００に描画結果を送信する場合を説明したが、サーバ４００が複数のクライアント２００に描画結果を送信してもよい。たとえば、ゲームアプリケーションを複数のクライアント２００において実行する場合、複数のユーザがヘッドマウントディスプレイ１００を装着しながら、異なる視点から同一の仮想空間を見ることになる。このような場合、あるクライアント２００のために描画された画像のフレームをサーバ４００が保存しておき、その過去フレームを別のクライアント２００が同じような視点から見た場合の代替画像として再利用してもよい。
　以上述べたように、本実施の形態の画像生成装置７００によれば、ヘッドマウントディスプレイ１００を装着したユーザの頭部の移動によって視点位置や視線方向が変化した場合、過去に描画された画像のフレームの中から新しい視点位置や視線方向に合った過去フレームを再利用して代替画像として描画する。その結果、描画処理や通信による遅延があっても、代替画像が表示されるため、ユーザは遅延を知覚しにくくなり、酔いを防止することができる。
　以下、いくつかのユースケースを説明する。第１のユースケースは、ネットワークに接続せずにユーザの手元にあるデバイスが過去フレームを利用して描画を行う形態である。ユーザの手元のデバイスに十分な記憶容量があれば、過去の描画結果を保存し、再利用することにより、描画処理にかかる遅延を隠蔽した描画出力が可能である。
　第２のユースケースは、クラウドサーバ上で描画を実行し、クライアントに描画結果を送信する形態である。クラウドサーバはユーザの手元にあるデバイスよりも大容量の記憶装置を有するため、ユーザの手元のデバイスと比べてより多くの過去の描画結果を保持し、再利用することができる。また、クラウドサービスでは、複数のクライアントが同じ仮想空間を見ている場合、あるクライアントの描画結果を他のクライアントで利用することもできる。
　第３のユースケースは、３６０度全周囲の動画コンテンツの再生をクラウドサーバで実行し、ユーザーの視線方向に見える領域のみを切り出して、クライアントに送信する形態である。例えば、４Ｋ解像度、８Ｋ解像度などの高解像度のコンテンツの再生には高性能ハードウェアが必要となり、クラウドサービスのようなユーザの手元にある端末よりも高性能のハードウェアを提供する環境が必要になる。
　４Ｋ解像度、８Ｋ解像度などの高解像度のコンテンツをすべてクライアントに送信するには、非常に高帯域なネットワーク通信が必要となる。そこで、ユーザの視線方向に見える領域のみを切り出してクライアントに送信することでクラウドサービスの能力を利用しつつ、必要となるネットワーク帯域を低減することができる。しかし、再生される動画の一部の領域しか、クライアントには送信されないため、視点が移動するとリプロジェクション処理が必要となる。そこで、３６０度動画から切り出された画像のフレームをクラウドサーバに保存しておき、クライアントが３６０度動画コンテンツを再生する際の視点に合った過去フレームを選択して代替画像として再利用することで遅延を隠蔽することができる。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
　１０　制御部、　２０　入力インタフェース、　３０　出力インタフェース、　３２　バックライト、　４０　通信制御部、　４２　ネットワークアダプタ、　４４　アンテナ、　５０　記憶部、　６４　姿勢センサ、　７０　外部入出力端子インタフェース、　７２　外部メモリ、　８０　時計部、　１００　ヘッドマウントディスプレイ、　２００　クライアント、　３００　インタフェース、　４００　サーバ、　５００　全周囲画像、　６００　ネットワーク、　７００　画像生成装置、　７１０　ズーム指示取得部、　７２０　感度調整部、　７３０　位置・回転情報取得部、　７４０　座標変換部、　７５０　画像処理部、　７６０　画像記憶部、　７７０　画像提供部、　７８０　視点計算部、　７９０　過去フレーム選択部、　８００　過去フレーム破棄部。
　画像を生成する技術に利用できる。

Claims (7)

  1. 　ある時刻における視点位置から視線方向に見える画像を描画する画像生成部と、
    　前記画像生成部により描画された画像を過去フレームとして保持する記憶部と、
    　前記記憶部に保持された過去フレームの中から、現在の視点位置から視線方向に見えるべき代替画像を選択する選択部と、
    　前記画像生成部により描画される現在の視点位置から視線方向に見える画像を提供する前に、前記代替画像を出力する画像提供部とを含むことを特徴とする画像生成装置。
  2. 　前記選択部は、前記記憶部に保持された過去フレームの視点位置および視線方向の少なくとも一方と、現在の視点位置および視線方向の少なくとも一方とを比較し、視点位置の差および視線方向の角度差の少なくとも一方が最も小さい過去フレームを前記代替画像として選択することを特徴とする請求項１に記載の画像生成装置。
  3. 　前記視点位置の差および前記視線方向の角度差の少なくとも一方が所定の閾値以内である場合、前記選択部は、前記記憶部に保持された過去フレームの中から前記代替画像を選択し、前記視点位置の差および前記視線方向の角度差の少なくとも一方が所定の閾値を超えた場合、前記選択部は、前記代替画像を選択せず、前記画像提供部は、前記代替画像を出力することなく、前記画像生成部により描画される現在の視点位置から視線方向に見える画像を提供することを特徴とする請求項２に記載の画像生成装置。
  4. 　前記記憶部に保持された過去フレームの中から、前記記憶部に保持された過去フレームの視点位置および視線方向の少なくとも一方と、現在の視点位置および視線方向の少なくとも一方とを比較し、視点位置の差および視線方向の角度差の少なくとも一方が最も大きい過去フレームを前記記憶部から削除する破棄部をさらに含むことを特徴とする請求項１から３のいずれかに記載の画像生成装置。
  5. 　サーバとクライアントとがネットワークで接続された画像生成システムであって、
    　前記サーバは、
    　ある時刻における視点位置から視線方向に見える画像を描画する画像生成部と、
    　前記画像生成部により描画された画像を過去フレームとして保持する記憶部と、
    　前記記憶部に保持された過去フレームの中から、現在の視点位置から視線方向に見えるべき代替画像を選択する選択部と、
    　前記画像生成部により描画される現在の視点位置から視線方向に見える画像を提供する前に、前記代替画像をクライアントに送信する画像提供部とを含み、
    　前記クライアントは、
    　前記サーバから受信した前記代替画像を視点位置および視線方向の少なくとも一方の動き量に応じてずらす処理を行うリプロジェクション部を含むを特徴とする画像生成システム。
  6. 　ある時刻における視点位置から視線方向に見える画像を描画する画像生成ステップと、
    　前記画像生成ステップにおいて描画された画像を過去フレームとして保持する記憶ステップと、
    　前記保持された過去フレームの中から、現在の視点位置から視線方向に見えるべき代替画像を選択する選択ステップと、
    　前記画像生成ステップにおいて描画される現在の視点位置から視線方向に見える画像を提供する前に、前記代替画像を出力する画像提供ステップとを含むことを特徴とする画像生成方法。
  7. 　ある時刻における視点位置から視線方向に見える画像を描画する画像生成機能と、
    　前記画像生成機能により描画された画像を過去フレームとして保持する記憶機能と、
    　前記保持された過去フレームの中から、現在の視点位置から視線方向に見えるべき代替画像を選択する選択機能と、
    　前記画像生成機能により描画される現在の視点位置から視線方向に見える画像を提供する前に、前記代替画像を出力する画像提供機能とをコンピュータに実現させることを特徴とするプログラム。
PCT/JP2017/021954 2016-06-21 2017-06-14 画像生成装置、画像生成システム、および画像生成方法 WO2017221784A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/309,587 US10871822B2 (en) 2016-06-21 2017-06-14 Image generation apparatus, image generation system, and image generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016122976A JP2017228044A (ja) 2016-06-21 2016-06-21 画像生成装置、画像生成システム、および画像生成方法
JP2016-122976 2016-06-21

Publications (1)

Publication Number Publication Date
WO2017221784A1 true WO2017221784A1 (ja) 2017-12-28

Family

ID=60784760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021954 WO2017221784A1 (ja) 2016-06-21 2017-06-14 画像生成装置、画像生成システム、および画像生成方法

Country Status (3)

Country Link
US (1) US10871822B2 (ja)
JP (1) JP2017228044A (ja)
WO (1) WO2017221784A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199184A1 (ja) * 2020-03-30 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像処理装置、画像表示方法、およびコンピュータプログラム
WO2021199128A1 (ja) * 2020-03-30 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像生成方法およびコンピュータプログラム
US11521580B2 (en) * 2019-07-30 2022-12-06 Samsung Display Co., Ltd. Display apparatus and virtual reality display system for generating a temporary image based on head tracking information

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6836060B2 (ja) * 2017-01-31 2021-02-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US10969861B2 (en) * 2017-02-23 2021-04-06 Sony Corporation Image processing device, image processing method, and image system
CN107398070B (zh) * 2017-07-19 2018-06-12 腾讯科技（深圳）有限公司 一种游戏画面的显示控制方法及装置、电子设备
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
JP7429512B2 (ja) * 2019-09-30 2024-02-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像データ転送装置、画像処理方法、および画像データ転送方法
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188332A (ja) * 2006-01-13 2007-07-26 Canon Inc 画像処理方法、画像処理装置
JP2008204145A (ja) * 2007-02-20 2008-09-04 Sega Corp 画像処理装置、プログラム及びコンピュータ読み取り可能な記録媒体
JP2012033038A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 模擬映像生成装置、方法、プログラム
WO2015068656A1 (ja) * 2013-11-11 2015-05-14 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
KR102004265B1 (ko) * 2012-12-28 2019-07-26 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법
US9990035B2 (en) * 2016-03-14 2018-06-05 Robert L. Richmond Image changes based on viewer's gaze

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188332A (ja) * 2006-01-13 2007-07-26 Canon Inc 画像処理方法、画像処理装置
JP2008204145A (ja) * 2007-02-20 2008-09-04 Sega Corp 画像処理装置、プログラム及びコンピュータ読み取り可能な記録媒体
JP2012033038A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 模擬映像生成装置、方法、プログラム
WO2015068656A1 (ja) * 2013-11-11 2015-05-14 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521580B2 (en) * 2019-07-30 2022-12-06 Samsung Display Co., Ltd. Display apparatus and virtual reality display system for generating a temporary image based on head tracking information
WO2021199184A1 (ja) * 2020-03-30 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像処理装置、画像表示方法、およびコンピュータプログラム
WO2021199128A1 (ja) * 2020-03-30 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像生成方法およびコンピュータプログラム
JP7441936B2 (ja) 2020-03-30 2024-03-01 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像生成方法およびコンピュータプログラム

Also Published As

Publication number Publication date
US10871822B2 (en) 2020-12-22
JP2017228044A (ja) 2017-12-28
US20190317595A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
WO2017221784A1 (ja) 画像生成装置、画像生成システム、および画像生成方法
WO2017208957A1 (ja) 画像生成装置、画像生成システム、および画像生成方法
US11119319B2 (en) Rendering device, head-mounted display, image transmission method, and image correction method
WO2017086263A1 (ja) 情報処理装置および画像生成方法
JP6620063B2 (ja) 画像処理装置および画像処理方法
US11003408B2 (en) Image generating apparatus and image generating method
WO2015122052A1 (ja) 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体
WO2019098198A1 (ja) 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
US20220239888A1 (en) Video distribution system, video distribution method, and display terminal
US10863161B2 (en) HMD delivery system and method
US11187895B2 (en) Content generation apparatus and method
JP6711803B2 (ja) 画像生成装置および画像生成方法
JP7047085B2 (ja) 画像生成装置、画像生成方法、およびプログラム
JP2018042244A (ja) ヘッドマウントディスプレイおよび画像生成方法
JP7377014B2 (ja) 画像表示装置、画像表示システムおよび画像表示方法
KR102569715B1 (ko) 헤드 마운티드 디스플레이에서의 vr 멀미 저감 방법 및 장치와 그를 이용한 헤드 마운티드 디스플레이
US20240137482A1 (en) Image generation device, program, image generation method, and image displaying system
JP7429761B2 (ja) 画像表示装置、画像表示システムおよび画像表示方法
US20210266510A1 (en) Image processing apparatus, image processing method, and image processing program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17815253

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17815253

Country of ref document: EP

Kind code of ref document: A1