WO2022158221A1 - 画像表示システム、表示装置、および画像表示方法 - Google Patents

画像表示システム、表示装置、および画像表示方法 Download PDF

Info

Publication number
WO2022158221A1
WO2022158221A1 PCT/JP2021/047241 JP2021047241W WO2022158221A1 WO 2022158221 A1 WO2022158221 A1 WO 2022158221A1 JP 2021047241 W JP2021047241 W JP 2021047241W WO 2022158221 A1 WO2022158221 A1 WO 2022158221A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
display
unit
distortion correction
Prior art date
Application number
PCT/JP2021/047241
Other languages
English (en)
French (fr)
Inventor
渉一 池上
健一郎 横田
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to US18/261,193 priority Critical patent/US20240087101A1/en
Publication of WO2022158221A1 publication Critical patent/WO2022158221A1/ja

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present invention relates to an image display system including an image generation device and a display device, the display device, and an image display method.
  • An image display system that allows you to appreciate the target space from any point of view has become widespread.
  • electronic content that realizes VR (virtual reality) by using a virtual three-dimensional space as a display target and displaying an image according to the line-of-sight direction of a user wearing a head-mounted display.
  • VR virtual reality
  • a head-mounted display By using a head-mounted display, it is possible to increase the sense of immersion in images and improve the operability of applications such as games.
  • a walk-through system has also been developed in which a user wearing a head-mounted display physically moves to virtually walk around in a space displayed as an image.
  • the display device is a head-mounted display
  • wireless transmission increases the risk of data loss or delay occurring in the middle of the transmission, which impairs the stability of the display.
  • the present invention has been made in view of these problems, and its object is to provide a technique for stably displaying high-quality images in a system consisting of an image generation device and a display device, regardless of the communication environment between them. to do.
  • This image display system is an image display system for displaying a distorted image obtained by giving an image to be displayed a change opposite to the change due to the aberration of the eyepiece for viewing through the eyepiece.
  • an image generation device that down-samples and transmits the data
  • a display device that up-samples the transmitted data and performs distortion correction that gives a reverse change for each primary color based on chromatic aberration and displays the data.
  • This display device is a display device for viewing an image through an eyepiece, and is an image data acquisition unit that acquires image data transmitted from an external device, part of which is down-sampled.
  • an upsampling unit that upsamples the partial data;
  • a distortion correction unit that performs distortion correction that gives a change opposite to the change due to the aberration of the eyepiece for each primary color of the upsampled image; and
  • a display section for displaying the corrected image.
  • Yet another aspect of the present invention relates to an image display method.
  • This image display method comprises the steps of obtaining, by a display device for viewing an image through an eyepiece, image data transmitted from an external device and formed by down-sampling a portion of the data; subjecting the upsampled image to a distortion correction that gives a change opposite to the change due to the aberration of the eyepiece for each primary color; and displaying the distortion-corrected image. and a step.
  • FIG. 1 is a diagram illustrating a configuration example of an image display system according to an embodiment
  • FIG. FIG. 2 is a diagram for explaining an example of an image world displayed on a head-mounted display by the image generation device according to the embodiment
  • FIG. 4 is a diagram showing an example of a processing procedure up to generation of an image to be displayed on the head mounted display in the present embodiment
  • FIG. 4 is a diagram for explaining color shift in a distorted image according to the embodiment
  • FIG. 2 is a diagram showing the internal circuit configuration of the image generation device of this embodiment
  • FIG. 3 is a diagram showing an internal circuit configuration of the head mounted display of the embodiment
  • FIG. 1 is a diagram showing the configuration of functional blocks of an image generation device and a head mounted display according to this embodiment
  • FIG. FIG. 4 is a diagram showing a processing procedure for displaying an image through cooperation between the image generation device and the head mounted display in the present embodiment
  • FIG. 5 is a diagram for explaining a difference in loss of color information depending on the timing of performing distortion correction corresponding to chromatic aberration
  • FIG. 11 is a diagram for explaining the influence of downsampling in the procedure of FIG. 10(a);
  • FIG. 1 shows an example of the appearance of a head mounted display 100.
  • the head mounted display 100 is composed of an output mechanism section 102 and a mounting mechanism section 104 .
  • the mounting mechanism section 104 includes a mounting band 106 that is worn by the user so as to go around the head and fix the device.
  • the output mechanism unit 102 includes a housing 108 shaped to cover the left and right eyes when the user wears the head-mounted display 100, and has a display panel inside so as to face the eyes when the head-mounted display 100 is worn.
  • the housing 108 further includes an eyepiece lens that is positioned between the display panel and the user's eyes when the head-mounted display 100 is worn, and that expands the user's viewing angle.
  • the head-mounted display 100 may further include speakers or earphones at positions corresponding to the ears of the user when worn.
  • the head-mounted display 100 also incorporates a motion sensor to detect the translational motion and rotational motion of the head of the user wearing the head-mounted display 100, as well as the position and posture at each time.
  • the head-mounted display 100 has a stereo camera 110 on the front surface of the housing 108, and captures moving images of the surrounding real space in a field of view corresponding to the line of sight of the user.
  • a stereo camera 110 on the front surface of the housing 108, and captures moving images of the surrounding real space in a field of view corresponding to the line of sight of the user.
  • video see-through By displaying a photographed image immediately, it is possible to realize so-called video see-through, in which the real space in the direction the user faces can be seen as it is.
  • augmented reality can be realized by drawing a virtual object on the image of the real object in the captured image.
  • FIG. 2 shows a configuration example of an image display system according to this embodiment.
  • the head mounted display 100 is connected to the image generation device 200 by wireless communication.
  • the image generation device 200 may also be connected to a server via a network.
  • the server may provide the image generating device 200 with an online application such as a game in which multiple users can participate via a network.
  • the image generation device 200 identifies the position of the viewpoint and the direction of the line of sight based on the position and posture of the head of the user wearing the head-mounted display 100, generates a display image so as to provide a field of view corresponding thereto, and displays the image on the head-mounted display. Output to the display 100 .
  • the purpose of displaying the image may be varied.
  • the image generation device 200 may generate a display image of the virtual world, which is the stage of the game, while progressing the electronic game, or generate a moving image for viewing or providing information regardless of whether the virtual world is the real world. may be displayed. If a panoramic image is displayed with a wide angle of view centering on the user's viewpoint, it is possible to give a sense of being immersed in the displayed world.
  • FIG. 3 is a diagram for explaining an example of an image world displayed on the head-mounted display 100 by the image generation device 200 in this embodiment.
  • This example creates a state in which the user 12 is in a room that is a virtual space.
  • Objects such as walls, floors, windows, tables, and objects on the table are arranged in the world coordinate system that defines the virtual space.
  • the image generation device 200 defines the view screen 14 in the world coordinate system according to the position of the viewpoint and the direction of the line of sight of the user 12, and draws the display image by representing the image of the object there.
  • the viewpoint position and line-of-sight direction of the user 12 (hereinafter collectively referred to as "viewpoint" in some cases) are acquired at a predetermined rate, and the position and direction of the view screen 14 are changed accordingly.
  • viewpoint For example, an image can be displayed in a field of view corresponding to the viewpoint of the user.
  • the virtual space can be stereoscopically viewed. This allows the user 12 to experience virtual reality as if they were inside a room in the displayed world.
  • FIG. 4 shows an example of a processing procedure up to generation of an image to be displayed on the head-mounted display in the form shown in FIG.
  • an image 16 corresponding to the user's field of view is generated by projecting an object existing in the virtual world onto a view screen corresponding to the user's viewpoint.
  • This process is actually a process of converting the vertex coordinates of the object in the world coordinate system that defines the virtual world into the coordinate system of the view screen, and then mapping the texture onto the surfaces that make up the object.
  • the image represents an image that the user should originally visually recognize.
  • the images in the image 16 are laterally shifted by a parallax corresponding to the distance between the left and right eyes, or the image 16 is generated for each eye, thereby obtaining a left-eye image 18a and a right-eye image 18b.
  • a final display image 22 is generated by performing distortion correction on each of the left-eye image 18a and the right-eye image 18b in accordance with the distortion and chromatic aberration caused by the eyepiece.
  • distortion correction is a process that distorts an image in advance or shifts pixels for each primary color (RGB) by giving a change opposite to the change due to lens aberration.
  • RGB primary color
  • the image is curved in a barrel shape as shown in the figure.
  • the original image 16 is recognized without distortion or color shift.
  • an image to which distortion and color shift corresponding to the eyepiece are applied will be referred to as a "distorted image”.
  • FIG. 5 is a diagram for explaining color shift in a distorted image.
  • distorted image 24 represents a room with a black and white checkerboard floor.
  • the distorted image 24 is distorted to a greater extent toward the periphery due to the characteristics of the eyepiece lens. Due to the chromatic aberration of the eyepiece lens, the way in which distortion is applied differs depending on the primary colors R (red), G (green), and B (blue).
  • R red
  • G green
  • B blue
  • a larger color shift occurs toward the periphery.
  • the color gradually changes at a location 28 that originally represents the boundary between white and black.
  • Distorted image 24 can be generated, for example, by generating an undistorted image once and then distorting the image by different degrees depending on the aberrations for each primary color.
  • the image generation and display procedure shown in FIG. 4 is the simplest, and can be satisfactorily implemented when completed within the head-mounted display 100, for example.
  • the image display system shown in FIG. 2 when the image generation function is separated from the head-mounted display 100 and data transmission between them is realized by wireless communication, the data to be transmitted is not required for stable image display. The issue is how to reduce the size of
  • High-quality, realistic video experiences require enhanced resolution and dynamic range.
  • By creating such an image with a large data size on the side of the image generation device 200 that has abundant processing resources it is possible to output with low delay, and the processing cost of the head mounted display 100 can be suppressed, making it lightweight. It is also easier to convert However, wireless communication becomes a bottleneck, and the risk of unstable display increases as the data size increases.
  • the image generating apparatus 200 reduces the size of the generated image by downsampling some data, and then transmits the image to the head mounted display 100 .
  • Various downsampling methods are conceivable, and for example, thinning out data only for color difference components of an image is conceivable. That is, the image generating apparatus 200 converts the RGB image data once generated into three components of Y (luminance), U (color difference of B), and V (color difference of red), and furthermore, converts the color difference components of U and V into data. thin out.
  • This method is known as chroma sampling, a data compression method that takes advantage of the human visual characteristic of being less sensitive to changes in color compared to luminance.
  • the image generation device 200 may appropriately encode the image data down-sampled in this way and transmit it to the head mounted display 100 .
  • the head-mounted display 100 appropriately decodes the transmitted data, interpolates the thinned-out data, and performs component conversion to generate and display an RGB image of the original size. As a result, an image having a large data size can be stably displayed even by wireless communication.
  • FIG. 6 shows the internal circuit configuration of the image generation device 200.
  • the image generation device 200 includes a CPU (Central Processing Unit) 222 , a GPU (Graphics Processing Unit) 224 and a main memory 226 . These units are interconnected via a bus 230 . An input/output interface 228 is also connected to the bus 230 .
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the input/output interface 228 includes a peripheral device interface such as USB and IEEE1394, a communication unit 232 including a wired or wireless LAN network interface, a storage unit 234 such as a hard disk drive and a nonvolatile memory, and data to the head mounted display 100.
  • An output unit 236 for output, an input unit 238 for inputting data from the head mounted display 100, and a recording medium drive unit 240 for driving a removable recording medium such as a magnetic disk, optical disk or semiconductor memory are connected.
  • the CPU 222 controls the entire image generation device 200 by executing the operating system stored in the storage unit 234 .
  • the CPU 222 also executes various programs read from a removable recording medium and loaded into the main memory 226 or downloaded via the communication section 232 .
  • the GPU 224 has a function of a geometry engine and a function of a rendering processor, performs drawing processing according to a drawing command from the CPU 222 , and outputs the result to the output unit 236 .
  • the main memory 226 is composed of a RAM (Random Access Memory) and stores programs and data necessary for processing.
  • FIG. Head mounted display 100 includes CPU 120 , main memory 122 , display section 124 and audio output section 126 . These units are interconnected via a bus 128 . An input/output interface 130 is also connected to the bus 128 . The input/output interface 130 is connected to a communication unit 132 including a wireless communication interface, a motion sensor 134 and a stereo camera 110 .
  • the CPU 120 processes information acquired from each unit of the head-mounted display 100 via the bus 128 , and also supplies display image and audio data acquired from the image generation device 200 to the display unit 124 and the audio output unit 126 .
  • the main memory 122 stores programs and data necessary for processing in the CPU 120 .
  • the display unit 124 is composed of a display panel such as a liquid crystal panel or an organic EL panel, and displays an image in front of the user wearing the head mounted display 100 . As described above, stereoscopic vision may be achieved by displaying a pair of stereo images in regions corresponding to the left and right eyes.
  • the display unit 124 further includes a pair of lenses positioned between the display panel and the user's eyes when the head-mounted display 100 is worn, and which expands the user's viewing angle.
  • the audio output unit 126 is composed of speakers and earphones provided at positions corresponding to the ears of the user when the head mounted display 100 is worn, and allows the user to hear the audio.
  • the communication unit 132 is an interface for transmitting and receiving data to and from the image generation device 200, and realizes communication using a known wireless communication technology such as Bluetooth (registered trademark).
  • Motion sensor 134 includes a gyro sensor and an acceleration sensor, and acquires angular velocity and acceleration of head mounted display 100 .
  • the stereo camera 110 is a pair of video cameras that shoot the surrounding real space from left and right viewpoints with a field of view corresponding to the user's viewpoint.
  • the measured value by the motion sensor 134 and the data of the captured image by the stereo camera 110 are transmitted to the image generation device 200 via the communication unit 132 as necessary.
  • FIG. 8 shows the configuration of functional blocks of the image generation device 200 and the head mounted display 100 according to this embodiment.
  • the image generation device 200 may perform general information processing such as progressing an electronic game or communicating with a server. ing. At least part of the functions of the image generation device 200 shown in FIG. 8 may be implemented in a server connected to the image generation device 200 via a network.
  • the functional blocks shown in FIG. 8 can be realized by the configuration of the CPU, GPU, various memories, etc. shown in FIGS. It is realized by a program that exhibits various functions such as an input function, a data holding function, an image processing function, a communication function, and a display function. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and are not limited to either one.
  • the image generation device 200 includes a state information acquisition unit 260 that acquires information related to the state of the head mounted display 100 in real time, an image generation unit 262 that generates a display image, and an image data storage unit that stores data used for image generation. 264 , a downsampling unit 266 that downsamples the generated image data, and a transmission unit 270 that transmits the image data to the head mounted display 100 .
  • the state information acquisition unit 260 is composed of the input unit 238, CPU 222, etc. of FIG. Alternatively, the state information acquisition unit 260 acquires data such as the measurement values of the motion sensor 134 and the images captured by the stereo camera 110 from the head-mounted display 100 at a predetermined rate, and based on at least one of them, the state information acquisition unit 260 itself determines the position of the user's head. The position and orientation may be calculated. Existing technologies such as V-SLAM (Visual Simultaneous Localization and Mapping) can be used as a method of acquiring the position and orientation from the captured image.
  • V-SLAM Visual Simultaneous Localization and Mapping
  • the image generation unit 262 is composed of the CPU 222, GPU 224, etc. of FIG. 6, and generates display images at a predetermined rate according to the procedure shown in FIG. For example, the image generation unit 262 sets a view screen corresponding to the viewpoint based on the information on the position and posture of the user's head, and projects an object existing in a three-dimensional virtual space to generate left-eye and right-eye images. to generate However, the image generator 262 does not perform distortion correction according to the eyepiece lens of the head mounted display 100 .
  • data downsampling is performed in order to stably transmit an image with a large data size even through wireless communication. If this downsampling is irreversible, even if the data is interpolated in the head mounted display 100, the image generated by the image generator 262 will not be faithfully reproduced. Even if it is difficult for the user to notice by thinning out only the color difference data, the effect of information loss due to downsampling is visible because the color shift due to chromatic aberration explained in FIG. 5 is information at the resolution of one pixel level. It may get lost.
  • the image generation unit 262 in the present embodiment ends the image generation processing before the distortion correction, and sequentially supplies the data of the image to the downsampling unit 266 .
  • the image generation unit 262 may perform correction to give common distortion to the three planes of RGB. For example, the image generator 262 generates a distorted image in which all planes are distorted to be given to the G plane among RGB. Even in this case, color shift due to chromatic aberration is not generated, so information about color shift is not lost in downsampling. Note that the image generation unit 262 may generate an image by arranging images for the left eye and the right eye without distortion or images to which common distortion is applied regardless of the primary colors on the left and right sides of the image plane.
  • the image data storage unit 264 is composed of the main memory 226 of FIG. 6, etc., and stores model data of objects to be displayed, data related to the configuration of the virtual space, and information related to the distortion when common distortion correction is performed in RGB. Store.
  • the display image generated by the image generation device 200 is not limited to a three-dimensional object, and may be a panorama image or the like captured separately, a real-time image captured by the stereo camera 110 of the head-mounted display 100, or the image. A processed image or the like may also be used.
  • the image generation device 200 may acquire images of various contents such as cloud gaming and movies transmitted from a server (not shown) via a network, and immediately decode and decompress them.
  • the down-sampling unit 266 is composed of the CPU 222, GPU 224, etc. of FIG.
  • the downsampling unit 266 may generate YUV420 data by halving the U and V planes both vertically and horizontally.
  • the downsampling unit 266 may generate YUV422 data by reducing the U and V planes by 1/2 only in the horizontal direction.
  • the downsampling technique performed by the downsampling unit 266 is not limited to these.
  • the transmission unit 270 is composed of the CPU 222, the GPU 224, the main memory 226, the output unit 236, etc. of FIG. At this time, the transmission unit 270 may transmit the downsampled image to the head mounted display 100 after compression-encoding it using a predetermined method.
  • the transmission unit 270 uses MPEG (Moving Picture Experts Group)-4, H.264, which are international standards for video signal coding.
  • H. 265/MPEG-H HEVC can be used to efficiently transmit and display high-quality images. However, it is not intended to limit the encoding method to these.
  • the head mounted display 100 includes a state information transmission unit 276 that transmits information related to the state of the head mounted display 100 in real time, an image data acquisition unit 278 that acquires image data transmitted from the image generation device 200, and an acquired It includes an upsampling unit 280 that upsamples image data, a distortion correction unit 282 that performs distortion correction on the image after upsampling, and a display unit 284 that displays the image after distortion correction.
  • a state information transmission unit 276 that transmits information related to the state of the head mounted display 100 in real time
  • an image data acquisition unit 278 that acquires image data transmitted from the image generation device 200
  • an acquired It includes an upsampling unit 280 that upsamples image data, a distortion correction unit 282 that performs distortion correction on the image after upsampling, and a display unit 284 that displays the image after distortion correction.
  • the state information transmission unit 276 includes the CPU 120, the motion sensor 134, the stereo camera 110, the communication unit 132, etc. shown in FIG. data is transmitted to the image generation device 200 at a predetermined rate.
  • the image data acquisition unit 278 is composed of the CPU 120, the communication unit 132, the main memory 122, etc. of FIG.
  • the image data acquisition unit 278 decodes and decompresses the data.
  • the up-sampling unit 280 is composed of the CPU 120, the main memory 122, etc. of FIG. 7, and performs up-sampling for complementing the thinned-out pixel values for each properly decoded image frame. For example, if a YUV image is to be transmitted and the U and V planes are reduced, the upsampling unit 280 enlarges those planes and returns them to their original sizes.
  • the upsampling unit 280 converts the YUV plane image with the uniform size into an RGB image.
  • the converted RGB image is equivalent to the image generated by the image generator 262 in the image generator 200, but with some loss of color difference information. Even in this way, deterioration in image quality perceived by the user can be suppressed as much as possible.
  • the processing performed by the upsampling unit 280 may basically be the reverse of the processing performed by the downsampling unit 266 in the image generation device 200 , and the specific procedure depends on the processing performed by the downsampling unit 266 .
  • the distortion correction unit 282 is composed of the CPU 120, the main memory 122, and the like in FIG. 7, and performs correction that distorts each of the RGB planes to different degrees according to the chromatic aberration for each upsampled image frame. For example, the distortion correction unit 282 determines the pixel value of the position coordinates (x, y) of the distorted image by sampling from the undistorted image according to the following correction formula.
  • the distortion correction unit 282 internally holds a set of lens distortion coefficients k 1 , k 2 , k 3 , . are sampled from different positions.
  • each pixel of the distorted image is determined by each RGB value sampled from different positions in the RGB image after upsampling.
  • the relationship between the pixel position coordinates (x, y) in the distorted image and the displacement amount ( ⁇ x, ⁇ y) to the sampling destination is defined by the lens distortion coefficient k 1 , which is a fixed value for each RGB, determined by k 2 , k 3 , . . . Therefore, in the distortion correction unit 282, sampling may be made efficient by preparing data mapping the position coordinates or the displacement amount ( ⁇ x, ⁇ y) of the sampling destination for each primary color plane.
  • Equation 1 is a representative formula for correcting distortion due to the eyepiece lens, it is not intended to limit the calculation of distortion correction performed in the present embodiment.
  • the distortion corrector 282 when an image is generated in which common distortion is applied to RGB, the distortion corrector 282 should correct only the remaining distortion.
  • the displacement amount ⁇ R(x , y), ⁇ G(x, y), and ⁇ B(x, y) are as follows.
  • ⁇ B (x, y) DB (x, y) - DG (x, y)
  • DR (x, y), DG (x, y), and DB (x, y) are the original displacement amounts of each RGB component from the position coordinates (x, y) to the sampling destination, and R , G, and B are values obtained by substituting the respective lens distortion coefficients into Equation (1).
  • the display unit 284 is composed of the CPU 120, the main memory 122, the display unit 124, etc. shown in FIG. 7, and drives the display panel so that the images distorted for each color by the distortion correction unit 282 are sequentially displayed. Note that the display unit 284 may acquire the position and orientation of the user's head at that time, perform reprojection for correcting the visual field of the image based on the acquired position, and then output the image to the display panel.
  • FIG. 9 shows a processing procedure for displaying an image through cooperation between the image generation device 200 and the head mounted display 100 in this embodiment.
  • This figure shows the processing for displaying one frame of a moving image, and in practice, by executing each processing step in parallel, image frame generation, transmission, and display may be performed in a pipeline. Further, the specific method of processing is an example, and does not limit the present embodiment.
  • the image generation unit 262 of the image generation device 200 sets a view screen based on the position and orientation of the user's head acquired by the state information acquisition unit 260, projects a three-dimensional object, and generates an image without distortion.
  • Generate (S30) This image corresponds to the image 16 in FIG. 4 or a stereo image consisting of a left-eye image 18a and a right-eye image 18b, and is a general image in which each pixel has RGB pixel values without deviation.
  • the image generator 262 may also distort all of the RGB planes to a common degree.
  • the downsampling unit 266 converts the RGB image data generated by the image generating unit 262 into a YUV image, and then downsamples it to a format such as YUV420 (S32).
  • the transmission unit 270 for example, uses H.264. 265/MPEG-H HEVC (S 34 ), and then transmits the data to the head mounted display 100 .
  • the image data acquisition unit 278 of the head mounted display 100 receives and decodes the data (S36). This data has a YUV420 format, for example. Then, the upsampling unit 280 enlarges the reduced U and V planes to restore the original size, and converts the obtained YUV image into an RGB image (S38). For example, the up-sampling unit 280 determines YUV values for each pixel of the display image by converting YUV420 data to YUV444, and uses these values to calculate RGB values.
  • the distortion correction unit 282 generates an image with color shift by applying distortion to each of the RGB planes at different degrees as described above (S40).
  • the display unit 284 outputs the generated image with color shift to the display panel (S42).
  • FIG. 10 is a diagram for explaining the difference in color information loss depending on the timing of performing distortion correction corresponding to chromatic aberration.
  • the minimum unit rectangle corresponds to one pixel, and changes in data of a pixel block consisting of 4 pixels in the horizontal direction and 2 pixels in the vertical direction are shown to the right.
  • (a) is a case in which distortion correction corresponding to chromatic aberration is performed before downsampling in the image generation device 200
  • (b) is a case in which distortion corresponding to chromatic aberration is performed after upsampling in the head mounted display 100 as in the present embodiment. This is the case of correction.
  • the image generation device 200 generates an RGB image 30 as a display source.
  • an RGB image 30 As a display source.
  • two pixels in the second column from the left of the pixel block are white, and the other six pixels are black.
  • each pixel value is composed of three components of RGB, but for the sake of clarity, the colors are shown by blending them in the drawing.
  • the boundary positions of the different expression colors shift in RGB, as described with reference to FIG.
  • the two pixels in the leftmost column are R (red)
  • the two pixels in the second column are G (green)
  • the two pixels in the third column are B (blue)
  • the pixels in the fourth column are An image 32 in which two pixels are black is generated.
  • the size of the Y image 34a remains the same, and the size of the UV image 34b is reduced to 1/4 by, for example, averaging the data for every 2 ⁇ 2 pixels. If the image generation device 200 side generates and transmits such a distorted image, the head mounted display 100 only needs to upsample and display it. However, the upsampled image 36 is lossy in color difference information.
  • the image generation unit 262 of the image generation device 200 generates the RGB image 30 to be displayed as in (a). Then, the downsampling section 266 performs downsampling in the state before distortion is applied. Assuming YUV420 in this example as well, a Y image 42a with the original size and a UV image 42b reduced by 1/4 are obtained.
  • the upsampling unit 290 enlarges the UV image 42 b and converts it into an RGB image 44 .
  • the image 44 is not exactly the original image 30 because the transmitted color difference information has been averaged over 2 ⁇ 2 pixels.
  • the chromatic aberration is not corrected like the image 32 of (a), naturally the corrected result is not damaged.
  • the distortion correction unit 282 distorts the RGB image 44 to a different degree for each primary color. As a result, the boundary positions of the different expression colors are shifted in RGB, and an image 46 is obtained in which the clear brightness of R, G, and B appears in each pixel, which is almost the same as the image 32 . In this way, when downsampling data for transmission, correction for chromatic aberration is performed on the head-mounted display 100 side after upsampling, thereby making it possible to express color shift information for each pixel without loss.
  • FIG. 11 is a diagram for explaining the influence of downsampling in the procedure of FIG. 10(a). Since the distortion correction for each color is based on the spectral characteristics of the lens, the image after correction is shown in Fig. 5, where a specific primary color protrudes from the other primary colors with a minute width of about one pixel at the boundary of the expression color. It appears as The figure illustrates the change in luminance with respect to pixel position for that particular primary color. As indicated by the dotted line, the post-correction luminance change 50 abruptly changes between adjacent pixels A and B.
  • FIG. 5 is a diagram for explaining the influence of downsampling in the procedure of FIG. 10(a). Since the distortion correction for each color is based on the spectral characteristics of the lens, the image after correction is shown in Fig. 5, where a specific primary color protrudes from the other primary colors with a minute width of about one pixel at the boundary of the expression color. It appears as The figure illustrates the change in luminance with respect to pixel position for that particular primary
  • the head-mounted display acquires down-sampled image data from the image generation device, up-samples it, corrects distortion for color difference, and displays it.
  • the head-mounted display acquires down-sampled image data from the image generation device, up-samples it, corrects distortion for color difference, and displays it.
  • it is possible to achieve both a reduction in the size of data to be transmitted and the quality of an image viewed through a lens.
  • a high-quality image can be stably displayed even if the head-mounted display is wireless, and the weight of the head-mounted display can be reduced, and the user's difficulty in movement due to cable routing can be eliminated.
  • the image generation device 200 on the premise that the image generation device 200 performs downsampling to reduce the data size, upsampling and distortion correction for chromatic aberration are performed as a set on the head mounted display 100 side.
  • the image generation device 200 may allow the case where the downsampling is not performed, and the image generation device 200 side may also perform distortion correction for chromatic aberration.
  • the image generation unit 262 of the image generation device 200 determines whether or not to downsample the image data according to the characteristics and settings of the image to be generated. When downsampling is not performed, the image generator 262 applies distortion correction for chromatic aberration to the generated image and then supplies the data to the transmitter 270 .
  • the transmission unit 270 transmits information on whether or not downsampling has been performed to the head mounted display 100 together with the image data.
  • the image data acquisition unit 278 of the head mounted display 100 switches the image data supply destination based on the information. That is, if downsampling has been performed, the image data acquiring section 278 supplies the image data to the upsampling section 290 . This realizes the operation of the embodiment described above. On the other hand, if downsampling is not performed, the image data acquisition section 278 supplies the image data to the display section 284 . As a result, processing on the head-mounted display 100 side can be minimized, and display can be performed with low delay.
  • the present invention can be used for various information processing devices such as image display systems, image generation devices, head-mounted displays, game devices, and image display devices, and image processing systems including any of them.

Abstract

画像生成装置２００の状態情報取得部２６０は、ユーザ頭部の状態情報を取得する。画像生成部２６２は視野に対応する表示画像を生成する。ダウンサンプリング部２６６は画像データをダウンサンプリングして送信部２７０から送信する。ヘッドマウントディスプレイ１００の歪み補正部２８２は、アップサンプリング部２８０がデータをアップサンプリングしたあと、接眼レンズの収差に応じた補正を原色ごとに行い、表示部２８４により表示させる。

Description

画像表示システム、表示装置、および画像表示方法
　本発明は、画像生成装置と表示装置を含む画像表示システム、その表示装置、および画像表示方法に関する。
　対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにすることでＶＲ（仮想現実）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
　表示装置の種類や視点の自由度によらず、視野が変化したり表示世界が動いていたりする場合、画像表示には高い応答性が求められる。一方でよりリアルな画像表現を実現するには、解像度を高めたり複雑な計算が必要になったりして画像処理やデータ伝送のコストが増大する。そのため視野や表示世界の動きに対し表示が追いつかず、却って臨場感が損なわれたり映像酔いを引き起こしたりすることがあり得る。
　また表示装置をヘッドマウントディスプレイとした場合、ユーザの動きやすさの観点から、画像を描画するシステムをヘッドマウントディスプレイから切り離したり、その間の通信を無線化したりすることが望まれる。しかしながら上述のとおり伝送すべきデータ量が増大すると、無線による伝送ではデータが途中で損失したり遅延が生じたりして表示の安定性が損なわれるリスクが高まる。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、画像生成装置と表示装置からなるシステムにおいて、両者間の通信環境によらず高品質な画像を安定して表示できる技術を提供することにある。
　上記課題を解決するために、本発明のある態様は画像表示システムに関する。この画像表示システムは、接眼レンズを介して鑑賞するために、表示対象の画像に接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示する画像表示システムであって、画像のデータを、ダウンサンプリングして送信する画像生成装置と、送信されたデータをアップサンプリングしたうえで、色収差に基づき原色ごとに逆の変化を与える歪み補正を施し表示する表示装置と、を備えたことを特徴とする。
　本発明の別の態様は表示装置に関する。この表示装置は、接眼レンズを介して画像を鑑賞するための表示装置であって、外部の装置から送信された、一部のデータがダウンサンプリングされてなる画像のデータを取得する画像データ取得部と、当該一部のデータをアップサンプリングするアップサンプリング部と、アップサンプリングされた画像に対し、原色ごとに、接眼レンズの収差による変化と逆の変化を与える歪み補正を施す歪み補正部と、歪み補正がなされた画像を表示する表示部と、を備えたことを特徴とする。
　本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は、接眼レンズを介して画像を鑑賞するための表示装置が、外部の装置から送信された、一部のデータがダウンサンプリングされてなる画像のデータを取得するステップと、当該一部のデータをアップサンプリングするステップと、アップサンプリングされた画像に対し、原色ごとに、接眼レンズの収差による変化と逆の変化を与える歪み補正を施すステップと、歪み補正がなされた画像を表示するステップと、を含むことを特徴とする。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、画像生成装置と表示装置からなるシステムにおいて、両者間の通信環境によらず高品質な画像を安定して表示できる。
本実施の形態のヘッドマウントディスプレイの外観例を示す図である。 本実施の形態の画像表示システムの構成例を示す図である。 本実施の形態の画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。 本実施の形態においてヘッドマウントディスプレイに表示させる画像を生成するまでの処理手順の一例を示す図である。 本実施の形態の歪み画像における色ずれを説明するための図である。 本実施の形態の画像生成装置の内部回路構成を示す図である。 本実施の形態のヘッドマウントディスプレイの内部回路構成を示す図である。 本実施の形態における画像生成装置およびヘッドマウントディスプレイの機能ブロックの構成を示す図である。 本実施の形態において画像生成装置とヘッドマウントディスプレイの協働により画像を表示させる処理手順を示す図である。 色収差に対応する歪み補正を行うタイミングに依存した、色情報の損失の差を説明するための図である。 図１０の（ａ）の手順における、ダウンサンプリングによる影響を説明するための図である。
　本実施の形態は、レンズを介して表示画像を鑑賞する形式の画像表示システムに関する。この限りにおいて表示装置の種類は特に限定されないが、ここではヘッドマウントディスプレイを例に説明する。図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。
　出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備える。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。
　この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば拡張現実を実現できる。
　図２は、本実施の形態における画像表示システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信により画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。
　画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する。この限りにおいて画像を表示する目的は様々であってよい。例えば画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界が実世界かに関わらず観賞や情報提供のために動画像を表示させてもよい。ユーザの視点を中心に広い画角でパノラマ画像を表示すれば、表示世界に没入した感覚を与えることができる。
　図３は、本実施の形態で画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例ではユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。
　ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートで取得し、これに応じてビュースクリーン１４の位置や方向を変化させれば、ユーザの視点に対応する視野で画像を表示させることができる。視差を有するステレオ画像を生成し、表示パネルの左右の領域にそれぞれ表示させれば、仮想空間を立体視させることもできる。これによりユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。
　図４は、図３で示した形態において、ヘッドマウントディスプレイに表示させる画像を生成するまでの処理手順の一例を示している。まずユーザの視点に対応するビュースクリーンに、仮想世界に存在するオブジェクトを射影することにより、ユーザの視野に対応する画像１６を生成する。この処理は実際には、仮想世界を定義するワールド座標系におけるオブジェクトの頂点座標をビュースクリーンの座標系に変換したうえ、オブジェクトを構成する面にテクスチャをマッピングする処理となる。当該画像はユーザが本来視認すべき像を表す。
　立体視させる場合は、左右の目の間隔に応じた視差分だけ画像１６中の像を横方向にずらすか、画像１６を各目に対し生成することにより、左目用画像１８ａ、右目用画像１８ｂからなるステレオ画像を生成する。そして左目用画像１８ａ、右目用画像１８ｂのそれぞれについて、接眼レンズによる歪曲収差や色収差に合わせて歪み補正をすることで、最終的な表示画像２２が生成される。
　ここで歪み補正とは、レンズの収差による変化と逆の変化を与えることにより、画像をあらかじめ歪ませたり原色（ＲＧＢ）ごとに画素をずらしたりしておく処理である。例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、図示するように画像を樽型に湾曲させておく。これにより、ユーザが接眼レンズを介して表示画像２２を見たとき、本来の画像１６が歪みや色ずれなく認識される。以後、接眼レンズに対応する歪みや色ずれが与えられた画像を「歪み画像」と呼ぶ。
　図５は、歪み画像における色ずれを説明するための図である。この例で歪み画像２４は、白黒の市松模様の床を有する室内を表している。図示するように、歪み画像２４には、接眼レンズの特性上、周辺部に向かうほど大きい度合いで歪みが与えられる。接眼レンズの色収差により、歪みの与えられ方はＲ（赤）、Ｇ（緑）、Ｂ（青）の原色によって異なる。結果として、歪み画像２４においては周辺部に向かうほど大きな色ずれが生じる。例えば歪み画像２４の右下の領域を拡大した画像２６に示すように、本来は白と黒の境界を表す箇所２８において、色が徐々に変化する。
　すなわち図の上段に表すように、白から黒へ切り替わる境界がＲＧＢで異なることにより、例えば本来、黒の領域であるべき部分に赤が最大輝度で残るなどして、白や黒以外の色が生じる結果となる。このように色がずれた歪み画像２４を、接眼レンズを介して見ることにより、色収差によって色の変化が正しい位置に修正され、色ずれのない画像が視認される。歪み画像２４は、例えば歪みのない画像を一旦生成し、原色ごとに収差に応じた異なる度合いで画像を歪ませることによって生成できる。
　図４で示した画像の生成、表示手順は最もシンプルなものであり、例えばヘッドマウントディスプレイ１００内部で完結させる場合は良好に実現できる。一方、図２で示した画像表示システムのように、画像生成の機能をヘッドマウントディスプレイ１００と切り離し、無線通信で両者間のデータ伝送を実現させる場合、安定的な画像表示には伝送すべきデータのサイズをいかに抑えるかが課題となる。
　高品質でリアルな映像体験には、解像度やダイナミックレンジの拡張が要求される。そのようなデータサイズの大きい画像を、潤沢な処理リソースを有する画像生成装置２００側で作成することにより、低遅延での出力が可能になるとともに、ヘッドマウントディスプレイ１００での処理コストが抑えられ軽量化も容易になる。しかしながら無線通信がボトルネックとなり、データサイズが大きくなるほど表示が不安定になるリスクが高まる。
　そのため本実施の形態における画像生成装置２００は、一旦生成した画像から一部データを間引くダウンサンプリングによりサイズを小さくしたうえでヘッドマウントディスプレイ１００に送信する。ダウンサンプリングの手法としては様々に考えられるが、例えば画像の色差成分のみデータを間引くことが考えられる。すなわち画像生成装置２００は、一旦生成したＲＧＢの画像データを、Ｙ（輝度）、Ｕ（Ｂの色差）、Ｖ（赤の色差）の３成分に変換し、そのうえＵとＶの色差成分からデータを間引く。
　この手法は、輝度と比較し色の変化に対する感度が低いという人の視覚特性を利用したデータ圧縮方法であり、クロマサンプリングとして知られている。画像生成装置２００はそのようにしてダウンサンプリングした画像データを適宜符号化してヘッドマウントディスプレイ１００に送信してよい。ヘッドマウントディスプレイ１００では、送信されたデータを適宜復号したうえ、間引いたデータを補完して成分変換することにより元のサイズのＲＧＢ画像を生成し表示する。これにより、無線通信によってもデータサイズの大きい画像を安定的に表示できる。
　図６は、画像生成装置２００の内部回路構成を示している。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インターフェース２２８が接続されている。
　入出力インターフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００へのデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からのデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。
　ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
　図７はヘッドマウントディスプレイ１００の内部回路構成を示している。ヘッドマウントディスプレイ１００は、ＣＰＵ１２０、メインメモリ１２２、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、無線通信のインターフェースからなる通信部１３２、モーションセンサ１３４、およびステレオカメラ１１０が接続される。
　ＣＰＵ１２０は、バス１２８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理するとともに、画像生成装置２００から取得した表示画像や音声のデータを表示部１２４や音声出力部１２６に供給する。メインメモリ１２２はＣＰＵ１２０における処理に必要なプログラムやデータを格納する。
　表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルで構成され、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。上述のとおり、左右の目に対応する領域に一対のステレオ画像を表示することにより立体視を実現してもよい。表示部１２４はさらに、ヘッドマウントディスプレイ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含む。
　音声出力部１２６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。通信部１３２は、画像生成装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）などの既知の無線通信技術により通信を実現する。モーションセンサ１３４はジャイロセンサおよび加速度センサを含み、ヘッドマウントディスプレイ１００の角速度や加速度を取得する。
　ステレオカメラ１１０は図１で示したとおり、ユーザの視点に対応する視野で周囲の実空間を左右の視点から撮影するビデオカメラの対である。モーションセンサ１３４による計測値やステレオカメラ１１０による撮影画像のデータは必要に応じて、通信部１３２を介して画像生成装置２００に送信される。
　図８は、本実施の形態における画像生成装置２００およびヘッドマウントディスプレイ１００の機能ブロックの構成を示している。画像生成装置２００は上述のとおり、電子ゲームを進捗させたりサーバと通信したりする一般的な情報処理を行ってよいが、図８では特に、表示画像を生成し送信する機能に着目して示している。なお図８で示される画像生成装置２００の機能のうち少なくとも一部を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。
　また図８に示す機能ブロックは、ハードウェア的には、図６、７に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能、表示機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
　画像生成装置２００は、ヘッドマウントディスプレイ１００のリアルタイムでの状態に係る情報を取得する状態情報取得部２６０、表示画像を生成する画像生成部２６２、画像の生成に用いるデータを格納する画像データ記憶部２６４、生成された画像データをダウンサンプリングするダウンサンプリング部２６６、および、画像データをヘッドマウントディスプレイ１００に送信する送信部２７０を備える。
　状態情報取得部２６０は図６の入力部２３８、ＣＰＵ２２２などで構成され、ヘッドマウントディスプレイ１００から送信される、ユーザ頭部の位置や姿勢などの情報を所定のレートで取得する。あるいは状態情報取得部２６０はヘッドマウントディスプレイ１００から、モーションセンサ１３４の計測値やステレオカメラ１１０が撮影した画像などのデータを所定のレートで取得し、少なくともそのいずれかに基づき自らがユーザ頭部の位置や姿勢を算出してもよい。撮影画像から位置や姿勢を取得する手法として、Ｖ－ＳＬＡＭ（Visual Simultaneous Localization and Mapping）など既存の技術を利用できる。
　画像生成部２６２は図６のＣＰＵ２２２、ＧＰＵ２２４などで構成され、図４で示した手順などにより表示画像を所定のレートで生成する。例えば画像生成部２６２は、ユーザ頭部の位置や姿勢の情報に基づき、視点に対応するビュースクリーンを設定し、３次元の仮想空間に存在するオブジェクトを射影することにより左目用、右目用の画像を生成する。ただし画像生成部２６２は、ヘッドマウントディスプレイ１００の接眼レンズに応じた歪み補正を行わない。
　上述のとおり本実施の形態では、データサイズの大きい画像を無線通信であっても安定して伝送させるため、データのダウンサンプリングを行う。このダウンサンプリングが不可逆性を有する場合、ヘッドマウントディスプレイ１００においてデータを補完しても、画像生成部２６２が生成した画像が忠実に再現されるわけではない。色差のデータのみを間引くなどしてユーザに気づかれにくくしても、図５で説明した色収差による色ずれは１画素レベルの分解能での情報のため、ダウンサンプリングによる情報損失の影響が視認されてしまう可能性がある。
　例えば原色ごとに異なる歪みを与え像の輪郭などに色ずれを発生させても、ダウンサンプリングにより当該色ずれの分布が鮮明でなくなると、接眼レンズを介して見た際、輪郭に偽色が表れてしまい補正の効果が十分得られないことが考えられる。そこで本実施の形態における画像生成部２６２は、歪み補正前の段階で画像生成処理を終わらせ、当該画像のデータを順次、ダウンサンプリング部２６６に供給する。
　あるいは画像生成部２６２は、ＲＧＢの３つのプレーンに対し共通の歪みを与える補正を行ってもよい。例えば画像生成部２６２は、ＲＧＢのうちＧのプレーンに与えるべき歪みを全てのプレーンに与えた歪み画像を生成する。このようにしても、色収差のための色ずれは発生させていないため、ダウンサンプリングにおいて色ずれの情報が失われることがない。なお画像生成部２６２は左目用、右目用の、歪みのない画像または原色によらず共通の歪みを与えた画像を、画像平面の左右に配置した構成で画像を生成してよい。
　画像データ記憶部２６４は図６のメインメモリ２２６などで構成され、表示対象のオブジェクトのモデルデータや仮想空間の構成に係るデータ、ＲＧＢで共通の歪み補正をする場合は当該歪みに係る情報などを格納する。なお画像生成装置２００が生成する表示画像は３次元オブジェクトに限らず、別途撮影されたパノラマ画像などでもよいし、ヘッドマウントディスプレイ１００のステレオカメラ１１０が撮影しているリアルタイムの画像、または当該画像に加工を施した画像などでもよい。
　あるいは画像生成装置２００は、図示しないサーバからネットワークを介して送信された、クラウドゲーミングや映画などの各種コンテンツの画像を取得し、即時復号伸張してもよい。ダウンサンプリング部２６６は図６のＣＰＵ２２２、ＧＰＵ２２４などで構成され、画像生成部２６２が生成した画像フレームごとに、一部のデータを間引くダウンサンプリングを行う。ダウンサンプリング部２６６は例えば、元のＲＧＢ画像をＹＵＶ画像に変換し、そのうちＵ、Ｖのプレーンを縮小することによりデータを削減する。
　ここでダウンサンプリング部２６６は、Ｕ、Ｖのプレーンについて縦横双方向に１／２縮小することによりＹＵＶ４２０のデータを生成してよい。あるいはダウンサンプリング部２６６は、Ｕ、Ｖのプレーンについて横方向のみに１／２縮小することによりＹＵＶ４２２のデータを生成してもよい。ただしダウンサンプリング部２６６が行うダウンサンプリングの手法はこれらに限らない。
　送信部２７０は、図６のＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６、出力部２３６などで構成され、ダウンサンプリングされた画像のデータを順次、ヘッドマウントディスプレイ１００に送出する。この際、送信部２７０は、ダウンサンプリングされた画像を所定の方式で圧縮符号化してからヘッドマウントディスプレイ１００に送信してよい。例えば送信部２７０は、映像信号符号化方式の国際標準規格であるＭＰＥＧ（Moving Picture Experts Group）－４、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＭＰＥＧ－Ｈ　ＨＥＶＣ（High Efficiency Video Coding）のいずれかにより圧縮符号化を行う。
　ダウンサンプリング部２６６において、上述のとおりＹＵＶ４２０やＹＵＶ４２２などのフォーマットでダウンサンプリングを行うと、Ｈ．２６５／ＭＰＥＧ－Ｈ　ＨＥＶＣを用いて高品質な画像を効率的に送信、表示できる。ただし符号化方式をこれらに限定する主旨ではない。
　ヘッドマウントディスプレイ１００は、ヘッドマウントディスプレイ１００のリアルタイムでの状態に係る情報を送信する状態情報送信部２７６、画像生成装置２００から送信された画像のデータを取得する画像データ取得部２７８、取得された画像データをアップサンプリングするアップサンプリング部２８０、アップサンプリング後の画像に歪み補正を施す歪み補正部２８２、および、歪み補正後の画像を表示する表示部２８４を備える。
　状態情報送信部２７６は図７のＣＰＵ１２０、モーションセンサ１３４、ステレオカメラ１１０、通信部１３２などで構成され、ユーザ頭部の位置や姿勢に係る情報、あるいはそれを導出するための計測値や撮影画像のデータを、所定のレートで画像生成装置２００に送信する。画像データ取得部２７８は、図７のＣＰＵ１２０、通信部１３２、メインメモリ１２２などで構成され、画像生成装置２００から送信された画像のデータを取得する。
　送信された画像データが圧縮符号化されている場合、画像データ取得部２７８は、当該データを復号伸張する。アップサンプリング部２８０は図７のＣＰＵ１２０、メインメモリ１２２などで構成され、適宜復号された画像フレームごとに、間引かれた画素値を補完するアップサンプリングを行う。例えばＹＵＶ画像を送信対象とし、Ｕ、Ｖのプレーンが縮小されている場合、アップサンプリング部２８０はそれらのプレーンを拡大して元のサイズに戻す。
　そしてアップサンプリング部２８０は、サイズが統一されたＹＵＶプレーンからなる画像をＲＧＢ画像に変換する。変換後のＲＧＢ画像は、画像生成装置２００において画像生成部２６２が生成した画像と同等であるが、色差情報がいくらか損失したものである。このようにしても、ユーザの認識上での画質の劣化は極力抑えられる。なおアップサンプリング部２８０が行う処理は基本的に、画像生成装置２００においてダウンサンプリング部２６６が行う処理の逆であればよく、具体的な手順はダウンサンプリング部２６６における処理に依存する。
　歪み補正部２８２は図７のＣＰＵ１２０、メインメモリ１２２などで構成され、アップサンプリングされた画像フレームごとに、ＲＧＢプレーンのそれぞれに対し色収差に応じた異なる度合いで歪みを与える補正を行う。例えば歪み補正部２８２は次の補正式により、歪み画像の位置座標（ｘ，ｙ）の画素値を、歪みのない画像からサンプリングして決定する。
Figure JPOXMLDOC01-appb-M000001
　ここで（Δｘ，Δｙ）は、歪みのない画像におけるサンプリング点の、位置座標（ｘ，ｙ）からの変位量、ｒはレンズの光軸から対象画素までの距離、（Ｃｘ，Ｃｙ）はレンズの光軸の位置である。またｋ１、ｋ２、ｋ３、・・・はレンズ歪み係数であり、レンズの設計や光の波長帯、すなわちＲ、Ｇ、Ｂに依存する。補正の次数は特に限定されない。歪み補正部２８２は、Ｒ、Ｇ、Ｂのそれぞれについてレンズ歪み係数ｋ１、ｋ２、ｋ３、・・・のセットを内部で保持し、（Δｘ，Δｙ）を算出することにより、色ごとに異なる位置からサンプリングを行う。
　これにより、アップサンプリング後のＲＧＢ画像のうち異なる位置からサンプリングされたＲＧＢの各値によって、歪み画像の各画素の値が決定される。なお式１によれば、歪み画像における画素の位置座標（ｘ，ｙ）と、サンプリング先までの変位量（Δｘ，Δｙ）との関係は、ＲＧＢごとの固定値であるレンズ歪み係数ｋ１、ｋ２、ｋ３、・・・によって定まる。したがって歪み補正部２８２において、原色プレーンごとに、サンプリング先の位置座標または変位量（Δｘ，Δｙ）をマッピングしたデータを準備しておくことで、サンプリングを効率化してもよい。
　なお式１は、接眼レンズによる歪みを補正するための代表的な数式であるが、本実施の形態で実施する歪み補正の演算をこれに限定する主旨ではない。一方、画像生成装置２００において、ＲＧＢに共通の歪みを与えた画像が生成されている場合、歪み補正部２８２は、残りの歪み分だけ補正すればよいことになる。
　例えば画像生成装置２００において、Ｇに対応する歪みを全てのプレーンに与えている場合、歪み画像における位置座標（ｘ，ｙ）の画素の、ＲＧＢの各成分のサンプリング先までの変位量ΔＲ（ｘ，ｙ）、ΔＧ（ｘ，ｙ）、ΔＢ（ｘ，ｙ）は次のようになる。
　ΔＲ（ｘ，ｙ）＝ＤＲ（ｘ，ｙ）－ＤＧ（ｘ，ｙ）
　ΔＧ（ｘ，ｙ）＝０
　ΔＢ（ｘ，ｙ）＝ＤＢ（ｘ，ｙ）－ＤＧ（ｘ，ｙ）
　ここでＤＲ（ｘ，ｙ）、ＤＧ（ｘ，ｙ）、ＤＢ（ｘ，ｙ）は、位置座標（ｘ，ｙ）からサンプリング先までの、ＲＧＢの各成分の本来の変位量であり、Ｒ、Ｇ、Ｂそれぞれのレンズ歪み係数を式１に代入することで得られる値である。表示部２８４は図７のＣＰＵ１２０、メインメモリ１２２、表示部１２４などで構成され、歪み補正部２８２により色ごとに歪みが与えられた画像が順次表示されるように表示パネルを駆動する。なお表示部２８４は、その時点でのユーザ頭部の位置姿勢を取得し、それに基づき画像の視野を補正するリプロジェクションを実施したうえで表示パネルに出力してもよい。
　次に、以上の構成によって実現できる画像表示システムの動作について説明する。図９は、本実施の形態において画像生成装置２００とヘッドマウントディスプレイ１００の協働により画像を表示させる処理手順を示している。同図は、動画像の１フレーム分を表示する処理を示しており、実際には各処理ステップを並列に実行することで、画像フレームの生成、送信、表示をパイプラインで実施してよい。また処理の具体的な方式は例示であり、本実施の形態を限定するものではない。
　まず画像生成装置２００の画像生成部２６２は、状態情報取得部２６０が取得した、ユーザ頭部の位置姿勢に基づきビュースクリーンを設定し、３次元オブジェクトを射影するなどして、歪みのない画像を生成する（Ｓ３０）。この画像は図４の画像１６、または左目用画像１８ａと右目用画像１８ｂからなるステレオ画像に対応し、各画素がずれなくＲＧＢの画素値を有する一般的な画像である。画像生成部２６２はさらに、ＲＧＢプレーンの全てに共通の度合いで歪みを与えもよい。
　次にダウンサンプリング部２６６は、画像生成部２６２が生成したＲＧＢの画像データをＹＵＶ画像に変換したうえ、ＹＵＶ４２０などのフォーマットにダウンサンプリングする（Ｓ３２）。そして送信部２７０は、例えばＨ．２６５／ＭＰＥＧ－Ｈ　ＨＥＶＣなど所定の方式により符号化したうえ（Ｓ３４）、そのデータをヘッドマウントディスプレイ１００に送信する。
　ヘッドマウントディスプレイ１００の画像データ取得部２７８は、当該データを受信すし復号する（Ｓ３６）。このデータは例えばＹＵＶ４２０のフォーマットを有する。そしてアップサンプリング部２８０は、縮小されているＵ、Ｖのプレーンを拡大して元のサイズに戻したうえ、得られたＹＵＶ画像をＲＧＢ画像に変換する（Ｓ３８）。例えばアップサンプリング部２８０は、ＹＵＶ４２０のデータをＹＵＶ４４４とすることで表示画像の画素ごとにＹＵＶの値を決定し、それらの数値を用いてＲＧＢの値を算出する。
　次に歪み補正部２８２は、ＲＧＢの各プレーンに対し上述のとおり異なる度合いで歪みを与えることにより、色ずれのある画像を生成する（Ｓ４０）。表示部２８４は、そのようにして生成された色ずれのある画像を表示パネルに出力する（Ｓ４２）。このように表示された画像を、接眼レンズを介して鑑賞することにより、歪みや色ずれのない画像が視認されることになる。
　図１０は、色収差に対応する歪み補正を行うタイミングに依存した、色情報の損失の差を説明するための図である。同図において最小単位の矩形は１つの画素に対応し、横方向４画素、縦方向２画素からなる画素ブロックのデータの変遷を右方向に示している。（ａ）は、画像生成装置２００においてダウンサンプリング前に色収差に対応する歪み補正を行うケース、（ｂ）は本実施の形態のとおり、ヘッドマウントディスプレイ１００においてアップサンプリングされた後に色収差に対応する歪み補正を行うケースである。
　（ａ）の場合、まず画像生成装置２００において、表示の元となるＲＧＢの画像３０が生成される。この例では画素ブロックのうち、左から２番目の列の２画素を白色、その他の６画素を黒色としている。なお実際には、各画素値はＲＧＢの３成分によって構成されるが、図ではわかりやすさのためそれらをブレンドした、表現される色で示している。
　画像３０に対し原色ごとに異なる度合いで歪みを与えると、図５で説明したように、異なる表現色の境界位置がＲＧＢでずれる。結果として、図示する例では、左端列の２画素がＲ（赤）、２番目の列の２画素がＧ（緑）、３番目の列の２画素がＢ（青）、４番目の列の２画素が黒色の画像３２が生成される。そのようなＲＧＢ成分からなる画像３２をＹＵＶ成分に変換してＵ、Ｖプレーンをダウンサンプリングすると、Ｙ画像３４ａとＵＶ画像３４ｂが得られる。
　ＹＵＶ４２０であれば図示するように、Ｙ画像３４ａのサイズは元のままであり、ＵＶ画像３４ｂは２×２画素ごとにデータが平均化されるなどして１／４サイズに縮小される。画像生成装置２００側でこのような歪みのある画像を生成し送信すれば、ヘッドマウントディスプレイ１００ではそれをアップサンプリングして表示するのみでよくなる。しかしながらそのアップサンプリングされた画像３６は、色差の情報に損失がある。
　すなわち図示する例では２×２画素の色差が１画素に平均化されているため、画像３２で横方向の１画素ごとに分散していたＲ、Ｇ、Ｂの明確な輝度が、隣接画素とのブレンドにより鈍ってしまう。上述のとおり人の視覚特性に鑑みれば、通常の画像においてこのような差は認識されにくいが、色収差の補正のように光の屈折を考慮した画素単位での調整の場合、補正結果が変わることで偽色が目立って見えてしまうことが考えられる。
　本実施の形態である（ｂ）の手順では、まず画像生成装置２００の画像生成部２６２が（ａ）と同様、表示の元となるＲＧＢの画像３０を生成する。するとダウンサンプリング部２６６は、歪みを与える前の状態のままダウンサンプリングを行う。この例でもＹＵＶ４２０を想定すると、元のサイズのままのＹ画像４２ａと、１／４縮小されたＵＶ画像４２ｂが得られる。
　ヘッドマウントディスプレイ１００では、アップサンプリング部２９０がＵＶ画像４２ｂを拡大したうえ、ＲＧＢの画像４４に変換する。この場合も、送信される色差の情報は２×２画素ごとに平均化されているため、画像４４は元の画像３０とは厳密には異なる。しかしながら（ａ）の画像３２のように色収差に係る補正がなされていないため、当然、補正結果が損失を被ることはない。
　その後、歪み補正部２８２は、ＲＧＢの画像４４に対し原色ごとに異なる度合いで歪みを与える。これにより異なる表現色の境界位置がＲＧＢでずれ、画像３２とほぼ同様の、画素ごとにＲ、Ｇ、Ｂの明確な輝度が表れる画像４６が得られる。このように、送信のためにデータのダウンサンプリングを行う場合、色収差のための補正をアップサンプリング後にヘッドマウントディスプレイ１００側で実施することにより、画素単位の色ずれの情報を損失なく表現できる。
　図１１は、図１０の（ａ）の手順における、ダウンサンプリングによる影響を説明するための図である。色ごとの歪み補正はレンズの分光特性に基づくため、補正後の画像は図５で示したように、表現色の境界などにおいて特定の原色が１画素程度の微小な幅で他の原色よりはみ出すように表れる。図では当該特定の原色の、画素位置に対する輝度の変化を例示している。点線で示すように、補正後の輝度変化５０は、隣り合う画素Ａ、Ｂ間で急激に変化する。
　ダウンサンプリングによりそれらの輝度値が平均化されると、定性的には実線で示す輝度変化５２のように、本来高輝度であった画素Ａの輝度が下がるとともに、本来低輝度であった隣の画素Ｂの輝度が上がる。結果として、特定の原色がはみ出す幅が拡張されたり他の原色とのブレンドにより表現色が変化したりして、レンズを介して見た時に不自然な印象を与えてしまう。このような影響は、ダイナミックレンジや画素値の階調が大きいほど顕著となる。したがって、ＨＤＲ（High Dynamic Range）などにより豊かな画像表現を実現する態様においては特に、本実施の形態による効果が大きくなる。
　以上述べた本実施の形態によれば、ヘッドマウントディスプレイは画像生成装置から、ダウンサンプリングされた画像データを取得し、それをアップサンプリングしたうえで色差のための歪み補正を行い表示する。これにより伝送すべきデータサイズの軽減と、レンズを介して鑑賞したときの画像の質とを両立させることができる。結果として、ヘッドマウントディスプレイを無線化しても高品質な画像を安定して表示でき、ヘッドマウントディスプレイを軽量化できるとともにケーブルの引き回し等によるユーザの動きづらさを解消できる。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　例えば本実施の形態では、画像生成装置２００がデータサイズ軽減のためにダウンサンプリングを行うことを前提として、ヘッドマウントディスプレイ１００側でのアップサンプリングと色収差のための歪み補正をセットで実施した。一方、画像生成装置２００がダウンサンプリングを行わない場合を許容し、色収差のための歪み補正を画像生成装置２００側でも実施できるようにしてもよい。
　この場合、画像生成装置２００の画像生成部２６２は、生成する画像の特性や設定などに応じて、画像データのダウンサンプリングを行うか否かを決定する。ダウンサンプリングを行わない場合、画像生成部２６２は、生成した画像に色収差のための歪み補正を施したうえ、そのデータを送信部２７０に供給する。送信部２７０は、ダウンサンプリングがなされたか否かの情報を、画像データとともにヘッドマウントディスプレイ１００に送信する。
　ヘッドマウントディスプレイ１００の画像データ取得部２７８は当該情報に基づき、画像データの供給先を切り替える。すなわちダウンサンプリングがなされていれば、画像データ取得部２７８は画像データをアップサンプリング部２９０に供給する。これにより上述した実施形態の動作が実現する。一方、ダウンサンプリングがなされていなければ、画像データ取得部２７８は画像データを表示部２８４に供給する。これにより、ヘッドマウントディスプレイ１００側での処理を最小限に、低遅延での表示が可能となる。
　以上のように本発明は、画像表示システム、画像生成装置、ヘッドマウントディスプレイ、ゲーム装置、画像表示装置など各種情報処理装置や、それらのいずれかを含む画像処理システムなどに利用可能である。
　１００　ヘッドマウントディスプレイ、　１１０　ステレオカメラ、　１２０　ＣＰＵ、　１２２　メインメモリ、　１２４　表示部、　１３２　通信部、　１３４　モーションセンサ、　２００　画像生成装置、　２２２　ＣＰＵ、　２２４　ＧＰＵ、　２２６　メインメモリ、　２６０　状態情報取得部、　２６２　画像生成部、　２６４　画像データ記憶部、　２６６　ダウンサンプリング部、　２７０　送信部、　２７６　状態情報送信部、　２７８　画像データ取得部、　２８０　アップサンプリング部、　２８２　歪み補正部、　２８４　表示部。

Claims (8)

  1. 　接眼レンズを介して鑑賞するために、表示対象の画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示する画像表示システムであって、
    　前記画像のデータを、ダウンサンプリングして送信する画像生成装置と、
    　送信されたデータをアップサンプリングしたうえで、色収差に基づき原色ごとに前記逆の変化を与える歪み補正を施し表示する表示装置と、
    　を備えたことを特徴とする画像表示システム。
  2. 　前記画像生成装置は、
    　前記画像の３原色のデータを、輝度および色差のデータに変換し、当該色差のデータをダウンサンプリングし、
    　前記表示装置は、
    　前記色差のデータをアップサンプリングしたうえで、前記３原色のデータに変換し、当該３原色の各プレーンに前記歪み補正を施すことを特徴とする請求項１に記載の画像表示システム。
  3. 　前記画像生成装置は、
    　ダウンサンプリングされた画像のデータを圧縮符号化したうえ、前記表示装置に無線通信により送信することを特徴とする請求項１または２に記載の画像表示システム。
  4. 　前記画像生成装置は、
    　全ての原色に共通の歪みを与えた画像のデータをダウンサンプリングして送信し、
    　前記表示装置は、
    　アップサンプリングした画像に対し、前記逆の変化のうち残りの変化を与える歪み補正を原色ごとに施すことを特徴とする請求項１から３のいずれかに記載の画像表示システム。
  5. 　前記画像生成装置は、
    　ダウンサンプリングしない画像について前記歪み補正を施した画像のデータを送信し、
    　前記表示装置は、
    　送信された画像のデータがダウンサンプリングされているか否かに応じて、前記歪み補正を行うか否かを切り替えることを特徴とする請求項１から４のいずれかに記載の画像表示システム。
  6. 　接眼レンズを介して画像を鑑賞するための表示装置であって、
    　外部の装置から送信された、一部のデータがダウンサンプリングされてなる画像のデータを取得する画像データ取得部と、
    　前記一部のデータをアップサンプリングするアップサンプリング部と、
    　前記アップサンプリングされた画像に対し、原色ごとに、前記接眼レンズの収差による変化と逆の変化を与える歪み補正を施す歪み補正部と、
    　前記歪み補正がなされた画像を表示する表示部と、
    　を備えたことを特徴とする表示装置。
  7. 　接眼レンズを介して画像を鑑賞するための表示装置が、
    　外部の装置から送信された、一部のデータがダウンサンプリングされてなる画像のデータを取得するステップと、
    　前記一部のデータをアップサンプリングするステップと、
    　前記アップサンプリングされた画像に対し、原色ごとに、前記接眼レンズの収差による変化と逆の変化を与える歪み補正を施すステップと、
    　前記歪み補正がなされた画像を表示するステップと、
    　を含むことを特徴とする画像表示方法。
  8. 　接眼レンズを介して画像を鑑賞するための表示装置に内蔵されたコンピュータに、
    　外部の装置から送信された、一部のデータがダウンサンプリングされてなる画像のデータを取得する機能と、
    　前記一部のデータをアップサンプリングする機能と、
    　前記アップサンプリングされた画像に対し、原色ごとに、前記接眼レンズの収差による変化と逆の変化を与える歪み補正を施す機能と、
    　前記歪み補正がなされた画像を表示する機能と、
    　を実現させることを特徴とするコンピュータプログラム。
PCT/JP2021/047241 2021-01-25 2021-12-21 画像表示システム、表示装置、および画像表示方法 WO2022158221A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/261,193 US20240087101A1 (en) 2021-01-25 2021-12-21 Image displaying system, display apparatus, and image displaying method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021009864A JP2022113551A (ja) 2021-01-25 2021-01-25 画像表示システム、表示装置、および画像表示方法
JP2021-009864 2021-01-25

Publications (1)

Publication Number Publication Date
WO2022158221A1 true WO2022158221A1 (ja) 2022-07-28

Family

ID=82548176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047241 WO2022158221A1 (ja) 2021-01-25 2021-12-21 画像表示システム、表示装置、および画像表示方法

Country Status (3)

Country Link
US (1) US20240087101A1 (ja)
JP (1) JP2022113551A (ja)
WO (1) WO2022158221A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233869A (ja) * 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
JP2010004176A (ja) * 2008-06-18 2010-01-07 Canon Inc 画像表示装置およびその制御方法
JP2016140017A (ja) * 2015-01-29 2016-08-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、表示装置、および情報処理方法
US20170330349A1 (en) * 2016-05-16 2017-11-16 Canon Kabushiki Kaisha Method, Apparatus and System for Determining a Luma Value
US20180190236A1 (en) * 2017-01-03 2018-07-05 Screenovate Technologies Ltd. Compression of distorted images for head-mounted display
WO2019092463A1 (en) * 2017-11-08 2019-05-16 Displaylink (Uk) Limited Video image processing
US20200269133A1 (en) * 2020-05-11 2020-08-27 Intel Corporation Game and screen media content streaming architecture

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233869A (ja) * 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
JP2010004176A (ja) * 2008-06-18 2010-01-07 Canon Inc 画像表示装置およびその制御方法
JP2016140017A (ja) * 2015-01-29 2016-08-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、表示装置、および情報処理方法
US20170330349A1 (en) * 2016-05-16 2017-11-16 Canon Kabushiki Kaisha Method, Apparatus and System for Determining a Luma Value
US20180190236A1 (en) * 2017-01-03 2018-07-05 Screenovate Technologies Ltd. Compression of distorted images for head-mounted display
WO2019092463A1 (en) * 2017-11-08 2019-05-16 Displaylink (Uk) Limited Video image processing
US20200269133A1 (en) * 2020-05-11 2020-08-27 Intel Corporation Game and screen media content streaming architecture

Also Published As

Publication number Publication date
US20240087101A1 (en) 2024-03-14
JP2022113551A (ja) 2022-08-04

Similar Documents

Publication Publication Date Title
TWI806854B (zh) 用於近眼顯示器之系統
US7689031B2 (en) Video filtering for stereo images
CN106165415B (zh) 立体观看
JP5654138B2 (ja) ３ｄヒューマンマシンインターフェースのためのハイブリッドリアリティ
JP7358448B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法
US11892637B2 (en) Image generation apparatus, head-mounted display, content processing system, and image display method
EP3437319A1 (en) Multi-camera image coding
WO2020170455A1 (ja) ヘッドマウントディスプレイおよび画像表示方法
WO2022158221A1 (ja) 画像表示システム、表示装置、および画像表示方法
WO2022054118A1 (ja) 画像表示システム、ヘッドマウントディスプレイ、および画像表示方法
JP7365185B2 (ja) 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム
JP7365184B2 (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
US11659153B2 (en) Image data transmission method, content processing apparatus, head-mounted display, relay apparatus and content processing system
JP7429515B2 (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
Ruijters et al. IGLANCE: transmission to medical high definition autostereoscopic displays
WO2021199184A1 (ja) 画像表示システム、画像処理装置、画像表示方法、およびコンピュータプログラム
WO2020066008A1 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
WO2022158220A1 (ja) 画像表示システムおよび画像表示方法
JP7365183B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法
WO2022244131A1 (ja) 画像データ生成装置、表示装置、画像表示システム、画像データ生成方法、画像表示方法、および、画像データのデータ構造
WO2023140033A1 (ja) 表示制御装置、ヘッドマウントディスプレイ、および表示制御方法
US11688124B2 (en) Methods and apparatus rendering images using point clouds representing one or more objects
Ludé New Standards for Immersive Storytelling through Light Field Displays
Ludé Light-Field Displays and Their Potential Impact on Immersive Storytelling
CN115272440A (zh) 一种图像处理方法、设备及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21921322

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18261193

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21921322

Country of ref document: EP

Kind code of ref document: A1