WO2017043126A1 - 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体 - Google Patents

情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体 Download PDF

Info

Publication number
WO2017043126A1
WO2017043126A1 PCT/JP2016/064870 JP2016064870W WO2017043126A1 WO 2017043126 A1 WO2017043126 A1 WO 2017043126A1 JP 2016064870 W JP2016064870 W JP 2016064870W WO 2017043126 A1 WO2017043126 A1 WO 2017043126A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
display unit
output device
information
pixel
Prior art date
Application number
PCT/JP2016/064870
Other languages
English (en)
French (fr)
Inventor
篤史 滝沢
孝昌 荒木
礼 宮崎
正太郎 只
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to EP16843992.5A priority Critical patent/EP3330961A4/en
Priority to US15/753,118 priority patent/US10672110B2/en
Priority to JP2017538886A priority patent/JP6545270B2/ja
Priority to CN201680050437.3A priority patent/CN108292493A/zh
Publication of WO2017043126A1 publication Critical patent/WO2017043126A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present invention relates to an information processing system, an information processing device, an output device, a program, and a recording medium.
  • Such an output device includes a pair of displays disposed in front of each of the left and right eyes of the user, and presents the image displayed on the display to the user.
  • Such an output device is used in virtual reality technology and the like because it allows a user to visually recognize a realistic image.
  • the image displayed on the display is intentionally imaged in front of the user's eye through a lens with strong distortion.
  • the image displayed on the display is not the image itself presented to the user, but in consideration of distortion of the lens, distortion opposite to the distortion of the lens with respect to the original image (source image) is made in advance. Is generated, and the corrected image is displayed. Thereby, the image visually recognized by the user through the lens corresponds to the source image.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an information processing system, an information processing apparatus, an output device, a program, and a recording medium capable of presenting a user with an intended sense of distance. .
  • the present invention for solving the problems of the prior art is an information processing system, comprising an output device and an information processing device, wherein the output device includes a plurality of sub-pixels for each pixel.
  • a display unit a lens disposed on the display surface side of the display unit, and means for outputting information on an assembly error representing a positional shift between the optical axis of the lens and the center of the display unit;
  • the information processing apparatus acquires the information of the assembly error from the output device, performs predetermined correction based on the source image data to be displayed, and generates the corrected image data, and further acquires the information of the acquired assembly error
  • Correction image data generation means for generating second correction image data translated based on the above, and the second correction image data generated by the correction image data generation means.
  • the intended sense of distance can be presented to the user.
  • FIG. 1 is a configuration block diagram illustrating an example of an information processing system according to an embodiment of the present invention. It is a configuration block diagram showing an example of an output device concerning an embodiment of the invention. It is an explanatory view showing an example of a method of measuring an attachment error of a lens in an output device concerning an embodiment of the invention. It is explanatory drawing showing the example of the arrangement position of the sub pixel of the display part of the output device which concerns on embodiment of this invention. It is a functional block diagram showing the example of the information processor concerning an embodiment of the invention. It is a flowchart figure showing the example of processing of the information processor concerning an embodiment of the invention.
  • An information processing system 10 is configured to include an information processing device 11 and an output device 12 as illustrated in FIG. 1.
  • the information processing apparatus 11 is a computer utilizing device such as a home game machine, and specifically, as shown in FIG. 1, the control unit 21, the storage unit 22, and the interface unit And 23, and is comprised.
  • the output device 12 is, for example, a head mount display, and as schematically illustrated in FIG. 2, the control unit 31, the storage unit 32, the input / output interface unit 33, and a pair of display units 34L and 34R It is comprised including a pair of lenses 35L and 35R.
  • the output device 12 includes the pair of display units 34L and 34R (hereinafter collectively referred to as the display unit 34 when it is not necessary to distinguish them) at the time of factory shipment, and the lens 35 (lens 35L on the left eye side). And the right-eye lens 35R) are measured.
  • This measurement can be performed in a widely known manner. Specifically, this measurement is performed as follows. First, after assembling the display units 34L and 34R for displaying the left-eye and right-eye images and the lens 35, a pair of lines intersecting at the center position c with the centers of the display units 34L and 34R. Display the minute image (marker).
  • the displacement d ( ⁇ x, ⁇ y) (represented by the coordinates of the display unit 34) between the image displayed on the corresponding display units 34L, 34R and the viewpoint visually recognized through the lenses 35L, 35R is measured.
  • Ru the row direction of the pixels is the X axis
  • the direction orthogonal to the X axis is the Y axis.
  • the control unit 21 of the information processing apparatus 11 is a program control device such as a CPU that operates according to a program stored in the storage unit 22 or a GPU that is an image processing module.
  • the control unit 21 receives source image data to be displayed on the output device 12, and the distortion of the lens 35 provided in the output device 12 according to a predetermined conversion formula based on the received source image data. Generate corrected corrected image data. Further, the control unit 21 outputs the generated corrected image data to the output device 12. The operation of the control unit 21 will be described in detail later.
  • the storage unit 22 is a memory device, a disk device, or the like, and stores a program executed by the control unit 21.
  • the program may be provided stored in a computer readable non-transitory recording medium such as a DVD-ROM, and may be stored in the storage unit 22.
  • the storage unit 22 also operates as a work memory of the control unit 21. For example, a frame buffer area for storing image data to be processed may be set.
  • the interface unit 23 is, for example, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, a USB port, or the like, and is connected to the output device 12. Further, the interface unit 23 outputs data (image data and the like) to the output device 12 in accordance with an instruction input from the control unit 21. Further, the interface unit 23 outputs the information input from the output device 12 to the control unit 21.
  • HDMI registered trademark
  • the control unit 31 of the output device 12 is a program control device such as a CPU that operates in accordance with a program stored in the storage unit 32.
  • the control unit 31 performs a process of outputting the corrected image data input from the information processing apparatus 11 via the input / output interface unit 33 to the display unit 34.
  • the control unit 31 receives an information request of the assembly error stored in the storage unit 32 from the outside (the information processing apparatus 11 or the like), reads the information of the requested assembly error from the storage unit 32, and makes a request source A process of sending to the information processing apparatus 11 or the like may be performed. The operation of the control unit 31 will be described later.
  • the storage unit 32 is a memory device or the like, and stores a program executed by the control unit 31.
  • This program may be provided stored in a computer readable non-transitory recording medium such as a DVD-ROM, and may be stored in the storage unit 32.
  • the storage unit 32 also operates as a work memory of the control unit 31. For example, an area for storing the correction image data to be displayed may be set. Furthermore, as already described in the present embodiment, the storage unit 32 stores information of the assembly error measured at the time of factory shipment.
  • the input / output interface unit 33 is, for example, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, a USB port or the like, and is connected to the information processing apparatus 11 or the like.
  • HDMI registered trademark
  • USB port or the like
  • the pair of display units 34L and 34R is, for example, a liquid crystal display or the like, and provided corresponding to each of the left and right eyes of the user as illustrated in FIG. 34 and collectively).
  • Each display unit 34 is configured to include a plurality of pixels 341, and each pixel 341 further includes a sub-pixel 342 that emits light of each color of R, G, and B.
  • the sub-pixels 342 are arranged at positions as illustrated in FIG. 4A or FIG. 4B for each pixel 341.
  • the center of the R sub-pixel 342r is located at a position (Cx + Rx) apart from the center coordinates (Cx, Cy) of the pixel 342 by (Rx, Ry) in both FIG. 4 (a) and FIG.
  • the center of the G sub-pixel 342g is also a position (Cx + Gx, Cy + Gy) that is separated from the center coordinate (Cx, Cy) of the pixel 342 by (Gx, Gy) in both FIG. 4 (a) and FIG. 4 (b). It is located in On the other hand, the center of the B sub-pixel 342b is located at a position (Cx + Bx1, Cy + By1) away from the center coordinates (Cx, Cy) of the pixel 342 by (Bx1, By1) in FIG.
  • the central coordinates are determined in advance as points in the pixel 341 or the sub pixel 342, such as a point where the diagonals of circumscribed rectangles of the pixel 341 or the sub pixel 342 intersect.
  • the pair of lenses 35L and 35R is disposed between the corresponding display units 34L and 34R and the eyes of the user who views the images displayed on the display units 34L and 34R (that is, on the display surface side of the display unit 34) (Hereinafter, when it is not necessary to distinguish, it is collectively described as the lens 35).
  • the lens 35 has a predetermined distortion (for example, a pincushion distortion that shrinks toward a central portion when a grid surface is displayed) on an image (an image corresponding to corrected image data) displayed on the corresponding display unit 34. To be recognized by the user's eyes.
  • the control unit 21 functionally includes a source image receiving unit 41, a correction image generating unit 42, and an output unit 43, as illustrated in FIG.
  • the source image receiving unit 41 receives an input of a pair of source image data for the left eye and the right eye.
  • the control unit 21 executes processes (other processes) different from image correction, such as processing for a game, in parallel (time-divisionally), and this source image
  • the receiving unit 41 may receive source image data from the other process.
  • the correction image generation unit 42 performs a conversion defined by a predetermined conversion formula (for example, a calculation formula for conversion giving barrel distortion) for canceling the distortion of the lens 35 to each of the pair of source image data to correct Generate image data.
  • a predetermined conversion formula for example, a calculation formula for conversion giving barrel distortion
  • the corrected image generation unit 42 sequentially selects each pixel constituting the corrected image data for each of the pair of corrected image data for the left eye and the right eye, and information on the position of the selected pixel and the conversion equation And the pixel on the source image data corresponding to the pixel on the correction image data (the pixel appearing at the position of the pixel on the correction image data selected by the conversion formula) is calculated by calculation, and the corresponding pixel
  • the corrected image data is generated by determining the luminance of the selected pixel on the corrected image data based on the pixel value of.
  • correction image generation unit 42 sends a request for information on assembly error to the output device 12, receives information on the assembly error output from the output device 12 in response to the request, and stores the information in the storage unit 22. deep.
  • the timing of obtaining the information of the assembly error may be any time before the next process is performed.
  • the corrected image generation unit 42 reads out the information of the assembly error for the lens 35L on the left eye side and the display unit 34L from the storage unit 22, and the correction image data for the left eye is paralleled by an amount corresponding to the read error information. Moving. That is, the correction image generation unit 42 detects the position of the pixel of the display unit 34L on the optical axis of the user's line of sight, in which the pixel to be displayed at the center of the display unit 34L among the correction image data is viewed through the lens 35L. The entire corrected image data for the left eye is translated in such a way that the second corrected image data for the left eye is obtained.
  • the correction image generation unit 42 reads out the information of the assembly error for the lens 35R on the right eye side and the display unit 34R from the storage unit 22, and the correction image data for the right eye is an amount equivalent to the read information Move in parallel. That is, the correction image generation unit 42 detects the position of the pixel of the display unit 34R on the optical axis of the user's line of sight, in which the pixel to be displayed at the center of the display unit 34R in the correction image data is viewed through the lens 35R. The entire corrected image data for the right eye is translated in such a way that the second corrected image data for the right eye is obtained.
  • the output unit 43 outputs the second corrected image data generated by the corrected image generation unit 42.
  • the information processing system has the above configuration, and operates as follows.
  • the control unit 21 of the information processing apparatus 11 sends a request for information on assembly error to the output device 12, receives information on the assembly error output by the output device 12 in response to the request, and stores the information in the storage unit 22. Do.
  • control unit 21 secures in the storage unit 22 an area for storing corrected image data corresponding to each of the pair of source image data for left eye and right eye generated in the processing for the game.
  • the control unit 21 performs the following process on each of the pair of corrected image data. That is, the control unit 21 sequentially selects each of the pixels included in the corrected image data. The control unit 21 calculates center coordinates of the selected pixel.
  • the control unit 21 calculates coordinates on the source image data to be converted into the center coordinates of the pixel according to a conversion equation that cancels distortion of the lens 35 as corresponding coordinates. Then, on the source image data, the control unit 21 sets pixel values (components of pixel values corresponding to the color of the selected sub-pixel) in the pixel (or a plurality of pixels) within a predetermined range centered on the corresponding coordinates. Based on the determined luminance of the sub-pixel. The control unit 21 obtains the pixel value of each pixel included in the corrected image data by performing this process for each pixel. Further, the control unit 21 performs these processes for the left eye and the right eye to generate a pair of corrected image data for the left eye and the right eye.
  • control unit 21 reads out the information on the assembling error for the lens 35L on the left eye side and the display unit 34L from the storage unit 22, and the correction image data for the left eye is paralleled by an amount corresponding to the information on the read error. It moves to obtain second corrected image data for the left eye. Further, the control unit 21 reads out the information of the assembling error for the lens 35R on the right eye side and the display unit 34R from the storage unit 22, and translates the correction image data for the right eye by an amount corresponding to the read information To obtain second corrected image data for the right eye.
  • control unit 21 outputs the pair of generated second correction image data to the output device 12 through the interface unit 23.
  • the output device 12 displays the input second corrected image data for the left eye on the display unit 34L for the left eye, and displays the second corrected image data for the right eye on the display unit 34R for the right eye.
  • the displayed second corrected image data is corrected so as to cancel the distortion of the lens 35, and any of them receives the distortion of the lens 35 through the corresponding lenses 35L and R.
  • the deformation due to the correction and the deformation due to the distortion are offset, and the image corresponding to the source image data will be visible to the user.
  • the display 34 and the lens 35 are dislocated when assembled, the display 34 is displayed such that the center of the original source image data is positioned on the optical axis of the user's line of sight through the lens 35. Since the image to be corrected is corrected, it is possible to give the user the intended perspective.
  • the image (the image represented by the corrected image data) displayed on the display unit 34 of the output device 12 may differ in position in units of pixels for each output device 12 (error during assembly is The output devices 12 that are even coincident with each other are the same).
  • the correction image generation unit 42 takes into consideration the processing that takes into consideration that the central position of the sub-pixel and the central position of the pixel You may go.
  • the process of generating corrected image data by the corrected image generation unit 42 is as follows. That is, the correction image generation unit 42 generates the next correction image data for each of the pair of source image data.
  • the storage unit 22 secures an area for storing the correction image data as illustrated in FIG. 6 (S1). This area is secured in accordance with the number of pixels of the display unit 34 of the output device 12.
  • the corrected image generation unit 42 selects one of the pixels 341 of the corrected image data (S2). This selection may be performed, for example, in the order of scan line from the pixel at the upper left corner. That is, in the top row of pixels, select the pixels in order from left to right, then move to the next row (row one down) and select the pixels in order from left to right ... You may choose. However, the selection of pixels is not limited to this order, and may be selected in any order. Alternatively, a plurality of pixels may be selected in parallel to perform the next process using a GPU (Graphics Processing Unit).
  • GPU Graphics Processing Unit
  • the correction image generation unit 42 sequentially selects each of the sub-pixels 342 included in the selected pixel (S3). Specifically, it may be selected in a predetermined order such as the order of R, G and B.
  • the corrected image generation unit 42 calculates the position of the center coordinates of the sub-pixel 342 selected in the process S3 using the coordinates (Cx, Cy) of the center of the pixel 341 selected in the process S2 (S4).
  • the center coordinates of this sub-pixel 342 are, in advance, information indicating how far the center coordinates of each sub-pixel 342 are from the center coordinates of the pixel 341 if the arrangement of the sub-pixels 342 is the same in all the pixels 341. It can be stored in the storage unit 22 and can be calculated by referring to the information.
  • the storage unit 22 stores information indicating how far the central coordinates of each sub-pixel 342 are apart from the central coordinates of the pixel 341, and identifies the information for identifying the pixel 341 for each pixel 341 and the information
  • the storage unit 22 stores information associated with the type of arrangement of the sub pixels 342 in the pixel 341 to be stored.
  • the correction image generation unit 42 specifies the type of arrangement in the pixel 341 selected in the processing S2 based on the information, and information (center position of the subpixel 342 related to the center coordinates of each sub-pixel 342 in the specified type arrangement).
  • the position of the center coordinates of each sub-pixel 342 is calculated with reference to information on the position of the sub-pixel 342, which indicates how far the center coordinates are from the center coordinates of the pixel 341.
  • the correction image generation unit 42 reads out information (average information) indicating how far from the center coordinates of the pixel 341 selected in the processing S 2 from the storage unit 22 and refers to the information of each sub-pixel 342. Calculate the position of center coordinates.
  • the corrected image generation unit 42 calculates corresponding coordinates on the source image data, which correspond to the center coordinates of the sub-pixel 342 calculated in the process S4 (S5). This calculation is performed according to the predetermined conversion equation by the predetermined conversion equation that cancels the distortion of the lens 35 for obtaining the corrected image data from the source image data, and the center coordinates of the sub-pixel 342 calculated in step S4.
  • the coordinates on the source image data to be converted to the center coordinates of the selected sub-pixel 342 are obtained by calculation as corresponding coordinates. Since the specific calculation method is widely known, the detailed description here is omitted.
  • the corrected image generation unit 42 sets the pixel value (the sub-selected in step S3) in the pixel (or a plurality of pixels) in the predetermined range on the source image data with the corresponding coordinates on the determined source image data as the center. Based on the component of the pixel value corresponding to the color of the pixel 342, the luminance of the sub-pixel 342 selected in the processing S3 is determined (S6).
  • the red component of the pixel value of the pixel within a predetermined range on the source image data with the corresponding coordinates on the source image data as the center The luminance of the sub-pixel 342 selected in step S3 is determined based on (the value of R among the RGB values).
  • the determination of the luminance here is in a predetermined range centered on the corresponding coordinate on the determined source image data. It is determined by interpolating the pixel value in the pixel.
  • this interpolation method widely known methods such as nearest neighbor interpolation, bilinear interpolation, bicubic interpolation can be used.
  • the calculations according to the processes S5 and S6 can be performed using a lens distortion correction process similar to that used in software such as OpenCV.
  • the corrected image generation unit 42 repeats the processes S3 to S6 for each sub-pixel 342. Thereby, the luminance of each sub-pixel 342 included in the pixel 341 selected in the processing S2 is determined, and the pixel value of the pixel 341 is determined. That is, one of the distinctive things in this example of the present embodiment is that the corresponding pixel in the source image data is specified based on the position in the pixel not for each pixel but for each sub-pixel, and the specification The corrected image data is obtained by specifying the luminance of the sub-pixel by using the color component of the sub-pixel among the pixel values of the pixels.
  • the corrected image generation unit 42 repeatedly performs the processing from the processing S2 to the processing S6 for each pixel 341. Thereby, the corrected image generation unit 42 obtains the pixel value of each pixel 341 included in the corrected image data. Further, the correction image generation unit 42 generates the pair of correction image data for the left eye and the right eye by performing the above processing for the left eye and the right eye, respectively.
  • the arrangement of the sub-pixels is, for example, R, when shown in FIG. 4 (a) or 4 (b). Since the G sub-pixels are arranged in the vertical direction, they are asymmetrical with respect to the horizontal line, and accordingly, a pair of images symmetrical with respect to the horizontal line are respectively source image data.
  • the corrected image data obtained from B.sub.x are different from each other.
  • the correction processing due to the assembly error of the display and the lens and the correction processing corresponding to the deviation between the pixel center and the sub-pixel center are separately performed, these are performed by one correction processing. It does not matter.
  • the information on the position of the sub-pixel in each pixel in the display unit 34 of the output device 12 is stored in the storage unit 22.
  • This information on the position of the sub-pixel is, for example, It may be stored when the driver of the output device 12 is installed.
  • the information processing device 11 may acquire information on the position of the sub-pixel from the output device 12 and store the information in the storage unit 22.
  • the storage unit 32 of the output device 12 information representing the position of the sub-pixel in each pixel in the display unit 34 (how far away from the center coordinate of each pixel 341 the center coordinates of each sub-pixel 342 are Information to be represented, or information indicating how far apart the central coordinates of each sub-pixel 342 are on average from the central coordinates of the pixel 341 is stored. This information is written to the storage unit 32, for example, at the time of factory shipment.
  • control unit 31 of the output device 12 When the control unit 31 of the output device 12 receives a request for information on the position of the sub-pixel from the outside (the information processing device 11 or the like), the control unit 31 is stored in the storage unit 32 in response to the request. The information on the position of the pixel is output to the information processing apparatus 11 or the like that is the request source.
  • the information processing apparatus 11 acquires the information on the position of the sub-pixel from the output device 12 at a stage prior to the generation process of the corrected image data, such as the timing when the output device 12 is connected. It is stored in the unit 22 and used for generation processing of corrected image data.
  • the information on the assembly error of the lens 35 written at the time of factory shipment is output to the information processing apparatus 11 according to the request.
  • this embodiment is not limited to this.
  • the output device 12 may include a device for measuring the positional deviation between the optical axis of the lens 35 and the center of the display unit 34 corresponding to the optical axis.
  • this apparatus may use a widely known autocollimator.
  • the measurement of the assembly error may be to measure the positional deviation with respect to the ideal optical axis, and the relative positional deviation between the lens optical axis and the center of the display unit 34 may be used. It may be measured.
  • control unit 31 of the output device 12 receives a request for information on assembly error from the outside (the information processing device 11 or the like), and instead of reading out the information on the assembly error stored in the storage unit 32, The positional deviation between the optical axes of the lenses 35L and 35R and the centers of the corresponding display units 34L and 34R is measured, and the information of the measured assembly error is output to the information processing apparatus 11 as the request source. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Geometry (AREA)

Abstract

レンズを取り付ける際の取り付け位置に誤差があり、レンズの光軸とディスプレイの中心とがずれてしまうと、ユーザの左右の目に見えるそれぞれの画像の中心がずれてしまうこととなり、意図した距離感がユーザに提示できないという問題を解決する。　出力装置（１２）が、ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、ディスプレイ部の表示面側に配されるレンズとを有し、レンズの光軸とディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する。情報処理装置（１１）では、この出力装置が出力する組み付け誤差の情報に基づいて表示の対象となる画像データを補正した補正画像データを生成する。

Description

情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体
　本発明は、情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体に関する。
　近年、例えばヘッドマウントディスプレイやスマートグラスなどのように、ユーザが頭部に装着して使用する出力装置がある。このような出力装置は、ユーザの左右の目のそれぞれの前に配される一対のディスプレイを備え、当該ディスプレイに表示した画像をユーザに提示する。このような出力装置は、臨場感のある映像をユーザに視認させることができるため、バーチャルリアリティ技術などに利用されている。
　こうした出力装置では、その視野角を広くするために、ディスプレイに表示した画像を、敢えて歪みの強いレンズを介してユーザの目の前に結像させている。このようなレンズを用いる場合、ディスプレイに表示する画像はユーザに提示する画像そのものではなく、レンズの歪みを考慮して、予め元の画像（ソース画像）に対してレンズの歪みとは逆の歪みを与えた補正画像を生成し、当該補正画像を表示する。これによりレンズを介してユーザに視認される画像がソース画像に対応したものとなる。
　しかしながら製造時にこのレンズを取り付ける際の取り付け位置に誤差があり、レンズの光軸とディスプレイの中心とがずれてしまうと、ユーザの左右の目に見えるそれぞれの画像の中心がずれてしまうこととなり、左右の視線方向が交差しない（外向きになる）場合や、視線が内向きとなってしまう場合があった。このため、従来は、意図した距離感がユーザに提示できないという問題点があった。
　本発明は上記実情に鑑みて為されたもので、意図した距離感をユーザに提示できる情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体を提供することを、その目的の一つとする。
　上記従来例の問題点を解決する本発明は、情報処理システムであって、出力装置と、情報処理装置とを有し、前記出力装置が、ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、前記ディスプレイ部の表示面側に配されるレンズと、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する手段と、を含み、前記情報処理装置が、前記出力装置から前記組み付け誤差の情報を取得し、表示の対象となるソース画像データに基づいて所定の補正を行って生成した補正画像データを、さらに前記取得した組み付け誤差の情報に基づいて平行移動した第２の補正画像データを生成する補正画像データ生成手段と、前記補正画像データ生成手段が生成した第２の補正画像データを前記出力装置に出力する手段と、を含み、前記出力装置が、前記情報処理装置が出力する第２の補正画像データを、前記ディスプレイ部に表示することとしたものである。
　本発明によると、意図した距離感をユーザに提示できる。
本発明の実施の形態に係る情報処理システムの例を表す構成ブロック図である。 本発明の実施の形態に係る出力装置の例を表す構成ブロック図である。 本発明の実施の形態に係る出力装置においてレンズの組み付け誤差を測定する方法の例を表す説明図である。 本発明の実施の形態に係る出力装置のディスプレイ部のサブピクセルの配置位置の例を表す説明図である。 本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理装置の処理例を表すフローチャート図である。
　本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理システム１０は、図１に例示するように、情報処理装置１１と、出力装置１２とを含んで構成される。
　本実施形態の一例では、情報処理装置１１は、例えば家庭用ゲーム機等のコンピュータ利用機器であり、具体的には図１に示したように、制御部２１と、記憶部２２と、インタフェース部２３と、を含んで構成されている。また出力装置１２は、例えばヘッドマウントディスプレイであり、図２に模式的に例示するように、制御部３１と、記憶部３２と、入出力インタフェース部３３と、一対のディスプレイ部３４Ｌ，３４Ｒと、一対のレンズ３５Ｌ，３５Ｒとを含んで構成されている。
　また本実施の形態では、出力装置１２は、その工場出荷時に一対のディスプレイ部３４Ｌ，３４Ｒ（以下、区別の必要がないときにはディスプレイ部３４とまとめて記す）、及びレンズ３５（左目側のレンズ３５Ｌと右目側のレンズ３５Ｒとのそれぞれ）の組み付け誤差が測定される。この測定は広く知られた方法で行うことができる。具体的には、この測定は次のように行われる。まず、左目用、右目用のそれぞれの画像を表示するディスプレイ部３４Ｌ，３４Ｒと、レンズ３５とを組み付けた後、各ディスプレイ部３４Ｌ，３４Ｒの中心に、当該中心の位置ｃで交差する一対の線分（十字）の画像（マーカー）を表示する。
　次にディスプレイ部３４Ｌとレンズ３５Ｌ、及びディスプレイ部３４Ｒとレンズ３５Ｒのそれぞれの理想的な組み付け位置の中心軸Ａに対し、その光軸とを一致させた状態に設置した測定用カメラでそれぞれのディスプレイ部３４Ｌ，３４Ｒに表示されたマーカーを撮影する。
　そしてこうして撮影されたマーカーの画像で表される交差点ｃが、測定用カメラの光軸に相当する位置からどれだけずれているかを測定する。
　これにより、レンズ３５Ｌ，３５Ｒを通じて視認される、対応するディスプレイ部３４Ｌ，３４Ｒに表示された画像と、視点とのずれｄ（Δｘ，Δｙ）（ディスプレイ部３４の座標で表される）が測定される。なおここではピクセルの行方向をＸ軸、当該Ｘ軸に直交する方向をＹ軸としている。そして当該測定した結果（左目側のレンズ３５Ｌ及びディスプレイ部３４Ｌと、右目側のレンズ３５Ｒ及びディスプレイ部３４Ｒとのそれぞれの組についての測定結果）を組み付け誤差の情報として記憶部３２に格納する。
　情報処理装置１１の制御部２１は、記憶部２２に格納されたプログラムに従って動作するＣＰＵや画像処理モジュールであるＧＰＵ等のプログラム制御デバイスである。本実施の形態の制御部２１は、出力装置１２における表示の対象となるソース画像データを受け入れ、当該受け入れたソース画像データに基づいて、所定の変換式により出力装置１２が備えるレンズ３５の歪みを補正した補正画像データを生成する。またこの制御部２１は、当該生成した補正画像データを、出力装置１２に対して出力する。この制御部２１の動作については、後に詳しく述べる。
　記憶部２２は、メモリデバイスやディスクデバイス等であり、制御部２１によって実行されるプログラムが格納される。このプログラムは、ＤＶＤ－ＲＯＭ等の、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部２２に格納されたものであってもよい。また、この記憶部２２は、制御部２１のワークメモリとしても動作し、例えば処理の対象となる画像データを格納するフレームバッファ領域が設定されていてもよい。
　インタフェース部２３は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートや、ＵＳＢポート等であり、出力装置１２に接続される。またこのインタフェース部２３は、制御部２１から入力される指示に従い、データ（画像データ等）を出力装置１２へ出力する。またインタフェース部２３は、出力装置１２から入力される情報を制御部２１に出力する。
　出力装置１２の制御部３１は、記憶部３２に格納されたプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施の形態においてこの制御部３１は、情報処理装置１１から入出力インタフェース部３３を介して入力される補正画像データをディスプレイ部３４に出力する処理を行う。またこの制御部３１は、記憶部３２に格納されている組み付け誤差の情報要求を外部（情報処理装置１１等）から受けて、当該要求された組み付け誤差の情報を記憶部３２から読み出して要求元である情報処理装置１１等へ送出する処理を行ってもよい。この制御部３１の動作については、後に述べる。
　記憶部３２は、メモリデバイス等であり、制御部３１によって実行されるプログラムが格納される。このプログラムは、ＤＶＤ－ＲＯＭ等の、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部３２に格納されたものであってもよい。また、この記憶部３２は、制御部３１のワークメモリとしても動作し、例えば表示する補正画像データを格納する領域が設定されていてもよい。さらに本実施の形態では既に述べたように、この記憶部３２には、工場出荷時に測定された組み付け誤差の情報が格納されている。
　入出力インタフェース部３３は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートや、ＵＳＢポート等であり、情報処理装置１１等に接続されている。
　一対のディスプレイ部３４Ｌ，３４Ｒは、例えば液晶ディスプレイ等であり、図２に例示するように、ユーザの左右の目のそれぞれに対応して設けられる（以下、区別の必要がない場合は、ディスプレイ部３４とまとめて表記する）。各ディスプレイ部３４はそれぞれ複数のピクセル３４１を含んで構成され、各ピクセル３４１はさらに、Ｒ，Ｇ，Ｂの各色で発光するサブピクセル３４２を備えている。このサブピクセル３４２は、ピクセル３４１ごとに図４（ａ）または図４（ｂ）に例示するような位置に配置されている。ここでの例では、Ｒのサブピクセル３４２ｒの中心は、図４（ａ），図４（ｂ）ともに、ピクセル３４２の中心座標（Ｃx，Ｃy）から（Ｒx，Ｒy）だけ離れた位置（Ｃx＋Ｒx，Ｃy＋Ｒy）に位置している。また、Ｇのサブピクセル３４２ｇの中心もまた、図４（ａ），図４（ｂ）ともに、ピクセル３４２の中心座標（Ｃx，Ｃy）から（Ｇx，Ｇy）だけ離れた位置（Ｃx＋Ｇx，Ｃy＋Ｇy）に位置している。一方、Ｂのサブピクセル３４２ｂの中心は、図４（ａ）ではピクセル３４２の中心座標（Ｃx，Ｃy）から（Ｂx1，Ｂy1）だけ離れた位置（Ｃx＋Ｂx1，Ｃy＋Ｂy1）に位置し、図４（ｂ）ではピクセル３４２の中心座標（Ｃx，Ｃy）から（Ｂx2，Ｂy2）（図４（ａ），（ｂ）の例ではＢx1＝Ｂx2、Ｂy1≠Ｂy2）だけ離れた位置（Ｃx＋Ｂx2，Ｃy＋Ｂy2）に位置する。なお、ここで中心座標は、ピクセル３４１またはサブピクセル３４２の外接矩形の対角線が交わる点などというように、ピクセル３４１またはサブピクセル３４２内の点として予め定めておく。
　一対のレンズ３５Ｌ，３５Ｒは、対応するディスプレイ部３４Ｌ，３４Ｒと、当該ディスプレイ部３４Ｌ，３４Ｒに表示される画像を見るユーザの目との間に（つまり、ディスプレイ部３４の表示面側に）配される（以下、区別の必要がない場合は、レンズ３５としてまとめて表記する）。このレンズ３５は、対応するディスプレイ部３４に表示された画像（補正画像データに相当する画像）に所定の歪（例えば方眼面を表示したときに中心部に向って糸巻きの形状に縮む糸巻き歪）を生じさせて、ユーザの目に認識させる。
　ここで情報処理装置１１の制御部２１の動作について説明する。制御部２１は、機能的には図５に例示するように、ソース画像受入部４１と、補正画像生成部４２と、出力部４３とを含んで構成されている。ここでソース画像受入部４１は、左目用と右目用の一対のソース画像データの入力を受け入れる。本実施の形態の一例では、制御部２１は、ゲームのための処理等、画像の補正とは異なる処理（他の処理）も並列して（時分割的に）実行しており、このソース画像受入部４１は、当該他の処理からソース画像データを受け入れることとしてもよい。
　補正画像生成部４２は、一対のソース画像データのそれぞれに対してレンズ３５の歪を打ち消すための所定の変換式（例えば樽型歪を与える変換の演算式）により定められる変換を施して、補正画像データを生成する。
　具体的にこの補正画像生成部４２は、左目用と右目用の一対の補正画像データのそれぞれについて、補正画像データを構成する各ピクセルを順次選択し、選択したピクセルの位置の情報と上記変換式とにより、当該補正画像データ上のピクセルに対応するソース画像データ上のピクセル（変換式により選択した補正画像データ上のピクセルの位置に写るピクセル）を演算により求め、当該ソース画像上の対応するピクセルの画素値に基づいて、補正画像データ上の選択したピクセルの輝度を決定することで補正画像データを生成する。
　また補正画像生成部４２は、出力装置１２に対して組み付け誤差の情報の要求を送出し、当該要求に応答して出力装置１２が出力する組み付け誤差の情報を受け入れて記憶部２２に格納しておく。この組み付け誤差の情報を得るタイミングは、次の処理を行う前までであれば、いつでも構わない。
　補正画像生成部４２は、左目側のレンズ３５Ｌ及びディスプレイ部３４Ｌについての組み付け誤差の情報を記憶部２２から読み出して、左目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動する。すなわち補正用画像生成部４２は、補正画像データのうちディスプレイ部３４Ｌの中心に表示されるべきピクセルが、レンズ３５Ｌを通じて視認される、ユーザの視線の光軸上にあるディスプレイ部３４Ｌのピクセルの位置になるよう左目用の補正画像データ全体を平行移動し、左目用の第２補正画像データを得る。また補正画像生成部４２は、右目側のレンズ３５Ｒ及びディスプレイ部３４Ｒについての組み付け誤差の情報を記憶部２２から読み出して、右目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動する。つまり補正用画像生成部４２は、補正画像データのうちディスプレイ部３４Ｒの中心に表示されるべきピクセルが、レンズ３５Ｒを通じて視認される、ユーザの視線の光軸上にあるディスプレイ部３４Ｒのピクセルの位置になるよう右目用の補正画像データ全体を平行移動し、右目用の第２補正画像データを得る。
　出力部４３は、補正画像生成部４２にて生成した第２の補正画像データを出力する。
［動作］
　本実施の形態の情報処理システムは以上の構成を備えており、次のように動作する。
　情報処理装置１１の制御部２１は、出力装置１２に対して組み付け誤差の情報の要求を送出し、当該要求に応答して出力装置１２が出力する組み付け誤差の情報を受け入れて記憶部２２に格納する。
　そして制御部２１は、ゲームのための処理において生成された、左目用と右目用の一対のソース画像データのそれぞれに対応する補正画像データを格納する領域を記憶部２２に確保する。
　制御部２１は、一対の補正画像データのそれぞれについて次の処理を行う。すなわち制御部２１は、補正画像データに含まれるピクセルのそれぞれを順次選択する。制御部２１は選択したピクセルの中心座標を演算する。
　制御部２１は、レンズ３５の歪みを打ち消す変換式により当該ピクセルの中心座標に変換されるソース画像データ上の座標を、対応座標として演算により求める。そして制御部２１は、ソース画像データ上で、当該対応座標を中心として所定の範囲にあるピクセル（複数あってもよい）における画素値（選択したサブピクセルの色に対応する画素値の成分）に基づいて、選択されたサブピクセルの輝度を決定する。制御部２１は、この処理をピクセルごとに行うことで、補正画像データに含まれる各ピクセルの画素値を得ていく。また制御部２１はこれらの処理を左目用と右目用とについてそれぞれ行うことで、左目用と右目用の一対の補正画像データを生成する。
　また、制御部２１は、左目側のレンズ３５Ｌ及びディスプレイ部３４Ｌについての組み付け誤差の情報を記憶部２２から読み出して、左目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動して左目用の第２補正画像データを得る。また制御部２１は、右目側のレンズ３５Ｒ及びディスプレイ部３４Ｒについての組み付け誤差の情報を記憶部２２から読み出して、右目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動して、右目用の第２補正画像データを得る。
　そして制御部２１は、当該生成した一対の第２の補正画像データを、インタフェース部２３を介して出力装置１２へ出力する。出力装置１２では、入力された左目用の第２の補正画像データを左目用のディスプレイ部３４Ｌに表示し、右目用の第２の補正画像データを右目用のディスプレイ部３４Ｒに表示する。
　これら表示された第２の補正画像データは上述のようにレンズ３５の歪みを打ち消すように補正されたものであり、いずれも、対応するレンズ３５Ｌ，Ｒを介することでレンズ３５の歪を受けて補正による変形と歪による変形とが相殺されて、ソース画像データに相当する画像が、ユーザの目に入ることとなる。また、この例では、ディスプレイ３４やレンズ３５が組み付け時にずれて配されたとしても、レンズ３５を通じたユーザの視線の光軸上に、本来のソース画像データの中心が位置するようディスプレイ３４に表示する画像が補正されているので、ユーザに対して、意図した遠近感を与えることが可能となる。
　本実施の形態の例では、出力装置１２のディスプレイ部３４に表示される画像（補正画像データの表す画像）は、出力装置１２ごとにピクセル単位で位置が異なることがある（組み付け時の誤差が偶々一致している出力装置１２同士では同じになる）。
［サブピクセルの中心位置とピクセルの中心位置とがずれていることを考慮した処理］
　さらに本実施の形態のある例では、補正画像生成部４２は、レンズ３５の歪みを打ち消す補正を行う際に、サブピクセルの中心位置とピクセルの中心位置とがずれていることを考慮した処理を行ってもよい。
　この場合、補正画像生成部４２による補正画像データの生成処理は次のようになる。すなわち補正画像生成部４２は、一対のソース画像データのそれぞれについて次の補正画像データの生成処理を行う。補正画像生成部４２はいずれかのソース画像データについての補正画像データの生成処理を開始すると、図６に例示するように補正画像データを格納する領域を記憶部２２に確保する（Ｓ１）。この領域は、出力装置１２のディスプレイ部３４のピクセル数に合わせて確保される。
　補正画像生成部４２は、補正画像データのピクセル３４１の一つを選択する（Ｓ２）。この選択は例えば左上隅のピクセルからスキャンライン順に行えばよい。つまり最も上側にあるピクセルの行において、左から右へとピクセルを順に選択し、次いで次の行（一つ下の行）へ移ってまた左から右へとピクセルを順に選択する…というように選択していけばよい。もっとも、ピクセルの選択はこの順序に限られるものではなく、任意の順に選択してよい。また、ＧＰＵ（Graphics Processing Unit）を利用して、複数のピクセルを並列的に選択して次の処理を行うこととしてもよい。
　補正画像データのピクセル３４１の一つを選択すると、補正画像生成部４２は、当該選択したピクセルに含まれるサブピクセル３４２のそれぞれを順次選択する（Ｓ３）。具体的には、Ｒ，Ｇ，Ｂの順など、予め定めた順に選択すればよい。補正画像生成部４２は、処理Ｓ２で選択したピクセル３４１の中心の座標（Ｃx，Ｃy）を用いて、処理Ｓ３で選択したサブピクセル３４２の中心座標の位置を演算する（Ｓ４）。
　このサブピクセル３４２の中心座標は、サブピクセル３４２の配置がすべてのピクセル３４１において同じであれば、各サブピクセル３４２の中心座標が、ピクセル３４１の中心座標からどれだけ離れているかを表す情報を予め記憶部２２に格納しておき、当該情報を参照することで演算できる。
　またピクセル３４１によって、少なくとも一つのサブピクセル３４２の中心座標が異なる場合（例えば図４（ａ），（ｂ）に例示したように二種類の配置がある場合など）は、配置の種類ごとに、ピクセル３４１の中心座標から各サブピクセル３４２の中心座標がどれだけ離れているかを表す情報を記憶部２２に格納しておくとともに、ピクセル３４１ごとに、ピクセル３４１を特定する情報と、当該情報で特定されるピクセル３４１においてサブピクセル３４２がどの種類の配置となっているかを表す情報とを関連付けて記憶部２２に格納しておく。補正画像生成部４２は、処理Ｓ２にて選択したピクセル３４１における配置の種類を当該情報に基づいて特定し、当該特定した種類の配置における各サブピクセル３４２の中心座標に係る情報（サブピクセル３４２の中心座標がピクセル３４１の中心座標からどれだけ離れているかを表す、サブピクセル３４２の位置の情報）を参照して各サブピクセル３４２の中心座標の位置を演算する。
　さらにピクセル３４１によって、少なくとも一つのサブピクセル３４２の中心座標が異なる場合（例えば図４（ａ），（ｂ）に例示したように二種類の配置がある場合など）、ピクセル３４１の各々についての、ピクセル３４１の中心座標から各サブピクセル３４２の中心座標がどれだけ離れているかを表す情報を平均し、各サブピクセル３４２の平均の中心座標を求めて、予め記憶部２２に格納しておいてもよい。この場合、補正画像生成部４２は、処理Ｓ２にて選択したピクセル３４１の中心座標からどれだけ離れているかを表す情報（平均の情報）を記憶部２２から読み出して参照し、各サブピクセル３４２の中心座標の位置を演算する。
　補正画像生成部４２は、処理Ｓ４にて演算したサブピクセル３４２の中心座標に対応する、ソース画像データ上の対応座標を演算により求める（Ｓ５）。この演算は、ソース画像データから補正画像データを得るためのレンズ３５の歪みを打ち消す所定の変換式と、処理Ｓ４にて演算されたサブピクセル３４２の中心座標とにより、上記所定の変換式により当該選択したサブピクセル３４２の中心座標に変換されるソース画像データ上の座標を、対応座標として演算により求めるものである。その具体的な演算方法は広く知られているので、ここでの詳しい説明は省略する。
　補正画像生成部４２は、求められたソース画像データ上の対応座標を中心として、ソース画像データ上で所定の範囲にあるピクセル（複数あってもよい）における画素値（処理Ｓ３で選択されたサブピクセル３４２の色に対応する画素値の成分）に基づいて、処理Ｓ３で選択されたサブピクセル３４２の輝度を決定する（Ｓ６）。例えば処理Ｓ３で選択されたサブピクセル３４２の色がＲ（赤）であれば、ここではソース画像データ上の対応座標を中心としてソース画像データ上で所定の範囲にあるピクセルの画素値の赤色成分（ＲＧＢ値のうちＲの値）に基づいて、処理Ｓ３で選択されたサブピクセル３４２の輝度を決定する。
　一般に、処理Ｓ５により求められる対応座標の値はいずれかのピクセルの中心には位置しないので、ここでの輝度の決定は、求められたソース画像データ上の対応座標を中心として所定の範囲にあるピクセルにおける画素値を補間して求めることになる。この補間法には最近傍（ニアレストネイバー）補間、双一次（バイリニア）補間、双三次（バイキュビック）補間等の広く知られたものを用いることができる。一例としてこの処理Ｓ５，Ｓ６に係る演算はOpenCV等のソフトウエアにおいて用いられているものと同様のレンズ歪み補正処理を利用して行うことができる。
　補正画像生成部４２は、処理Ｓ３からＳ６を各サブピクセル３４２について繰り返し行う。これにより、処理Ｓ２にて選択したピクセル３４１に含まれる各サブピクセル３４２のそれぞれの輝度が決定され、当該ピクセル３４１の画素値が決定される。すなわち本実施の形態のこの例において特徴的なことの一つは、ピクセルごとではなく、サブピクセルごとにそのピクセル内での位置に基づいてソース画像データ内の対応するピクセルを特定し、当該特定したピクセルの画素値のうちサブピクセルの色の成分を用いて、サブピクセルの輝度を特定することで補正画像データを得ていることである。
　補正画像生成部４２は、処理Ｓ２から処理Ｓ６までの処理を、各ピクセル３４１について繰り返し行う。これにより補正画像生成部４２は、補正画像データに含まれる各ピクセル３４１の画素値を得ていく。また補正画像生成部４２は以上の処理を左目用と右目用とについてそれぞれ行うことで、左目用と右目用の一対の補正画像データを生成する。
　本実施の形態のこの例による情報処理装置１１により生成された補正画像データでは、サブピクセルの配置が、例えば図４（ａ）または図４（ｂ）に示されたものである場合、Ｒ，Ｇのサブピクセルが縦方向に配されていることから、水平な線に対して非対称となっており、従って水平な線に対して対称な一対の画像をそれぞれソース画像データとした場合に、それぞれから得られる補正画像データは、互いに異なった結果となる。また、ここではディスプレイ及びレンズの組み付け誤差による補正処理と、ピクセル中心とサブピクセル中心とがずれていることに対応する補正処理とを個別に行っているが、これらを一度の補正処理にて行うこととしても構わない。
［変形例］
　本実施の形態では、出力装置１２のディスプレイ部３４における各ピクセル内のサブピクセルの位置の情報については記憶部２２に格納されているものとしたが、この、サブピクセルの位置の情報は、例えば出力装置１２のドライバのインストール時に格納されてもよい。
　また本実施の形態の別の例では、出力装置１２が接続されたときに、情報処理装置１１が出力装置１２からサブピクセルの位置の情報を取得して、記憶部２２に格納してもよい。この例では、出力装置１２の記憶部３２に、ディスプレイ部３４における各ピクセル内のサブピクセルの位置を表す情報（各ピクセル３４１の中心座標から各サブピクセル３４２の中心座標がどれだけ離れているかを表す情報、またはピクセル３４１の中心座標から各サブピクセル３４２の中心座標が平均してどれだけ離れているかを表す情報）が格納される。この情報は、例えば工場出荷時等に、記憶部３２に書き込まれる。
　そして出力装置１２の制御部３１は、外部（情報処理装置１１等）から、サブピクセルの位置の情報の要求を受けると、当該要求に応答して、記憶部３２に格納されている、上記サブピクセルの位置の情報を要求元となった情報処理装置１１等に出力する。
　この例においては、情報処理装置１１は、出力装置１２が接続されたタイミングなど、補正画像データの生成処理を行うよりも前の段階でサブピクセルの位置の情報を出力装置１２から取得して記憶部２２に格納し、補正画像データの生成処理に用いる。
　なお、この例において出力装置１２に対して要求を出力しても、サブピクセルの位置の情報が取得できない場合は、ソース画像データの各ピクセルの中心にすべてのサブピクセルの中心座標があるものとして、補正画像データの生成処理を行ってもよい。この場合、具体的には、従来一般的な画像変形の処理を用いることができるので、ここでの詳しい説明は省略する。
　また、ここまでの説明では、ディスプレイやレンズの組み付け誤差を考慮した処理を行う場合、出力装置１２が要求に応じて、工場出荷時に書き込まれたレンズ３５の組み付け誤差の情報を情報処理装置１１に送出するものとしていたが、本実施の形態はこれに限られない。
　すなわち、本実施の形態では、出力装置１２がレンズ３５の光軸と対応するディスプレイ部３４の中心との位置のずれを測定する装置を備えていてもよい。この装置は具体的には、広く知られたオートコリメータを用いるもので構わない。なお、本実施の形態では、組み付け誤差の測定は、理想的な光軸に対する位置ずれを測定するものであっても構わないし、レンズ光軸とディスプレイ部３４の中心との相対的な位置ずれを測定するものであってもよい。
　この例では、出力装置１２の制御部３１は、外部（情報処理装置１１等）から組み付け誤差の情報の要求を受けて、記憶部３２に格納されている組み付け誤差の情報を読み出す代わりに、各レンズ３５Ｌ，３５Ｒの光軸と、対応するディスプレイ部３４Ｌ，３４Ｒの中心との位置のずれを測定し、当該測定した組み付け誤差の情報を、要求元である情報処理装置１１等に対して出力する。
　このようにすると、工場出荷後、例えばユーザが出力装置１２を落とすなどして衝撃を与えたときにディスプレイ３４や、レンズ３５の位置がずれたとしても、当該位置ずれを考慮した処理を行うことが可能となる。
　１０　情報処理システム、１１　情報処理装置、１２　出力装置、２１，３１　制御部、２２，３２　記憶部、２３　インタフェース部、３３　入出力インタフェース部、３４　ディスプレイ部、３５　レンズ、４１　ソース画像受入部、４２　補正画像生成部、４３　出力部、３４１　ピクセル、３４２　サブピクセル。
 

Claims (7)

  1. 　出力装置と、情報処理装置とを有し、
    　前記出力装置が、
    　ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、
    　前記ディスプレイ部の表示面側に配されるレンズと、
    　前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する手段と、を含み、
    　前記情報処理装置が、
    　前記出力装置から前記組み付け誤差の情報を取得し、
    　表示の対象となるソース画像データに基づいて所定の補正を行って生成した補正画像データを、さらに前記取得した組み付け誤差の情報に基づいて平行移動した第２の補正画像データを生成する補正画像データ生成手段と、
    　前記補正画像データ生成手段が生成した第２の補正画像データを前記出力装置に出力する手段と、を含み、
    　前記出力装置が、前記情報処理装置が出力する第２の補正画像データを、前記ディスプレイ部に表示する情報処理システム。
  2. 　ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、前記ディスプレイ部の表示面側に配されるレンズとを有し、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する出力装置に接続され、前記ディスプレイ部に表示される画像を生成する情報処理装置であって、
    　表示の対象となるソース画像データに基づいて所定の補正を行って生成した補正画像データを、さらに前記取得した組み付け誤差の情報に基づいて平行移動した第２の補正画像データを生成する補正画像データ生成手段と、
    　前記補正画像データ生成手段が生成した第２の補正画像データを前記出力装置に出力する手段と、
    　を含む情報処理装置。
  3. 　ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、
    　前記ディスプレイ部の表示面側に配されるレンズと、
    　前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する手段と、を有する出力装置。
  4. 　請求項３に記載の出力装置であって、
    　測定により得られた、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を記憶する記憶手段をさらに備え、
    　前記組み付け誤差の情報を出力する手段は、前記記憶手段に格納された組み付け誤差の情報を出力する出力装置。
  5. 　請求項３に記載の出力装置であって、
    　前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差を測定する測定手段をさらに有し、
    　前記組み付け誤差の情報を出力する手段は、当該測定手段により測定された組み付け誤差の情報を出力する出力装置。
  6. 　ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、前記ディスプレイ部の表示面側に配されるレンズとを有し、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する出力装置に接続され、前記ディスプレイ部に表示される画像を生成する情報処理装置を、
    　表示の対象となるソース画像データに基づいて所定の補正を行って生成した補正画像データを、さらに前記取得した組み付け誤差の情報に基づいて平行移動した第２の補正画像データを生成する補正画像データ生成手段と、
    　前記補正画像データ生成手段が生成した第２の補正画像データを前記出力装置に出力する手段と、
    　として機能させるプログラム。
  7. 　ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、前記ディスプレイ部の表示面側に配されるレンズとを有し、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する出力装置に接続され、前記ディスプレイ部に表示される画像を生成する情報処理装置を、
    　表示の対象となるソース画像データに基づいて所定の補正を行って生成した補正画像データを、さらに前記取得した組み付け誤差の情報に基づいて平行移動した第２の補正画像データを生成する補正画像データ生成手段と、
    　前記補正画像データ生成手段が生成した第２の補正画像データを前記出力装置に出力する手段と、
    　として機能させるプログラムを格納した、コンピュータ可読な記録媒体。
PCT/JP2016/064870 2015-09-07 2016-05-19 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体 WO2017043126A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16843992.5A EP3330961A4 (en) 2015-09-07 2016-05-19 INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, OUTPUT DEVICE, PROGRAM, AND RECORDING MEDIUM
US15/753,118 US10672110B2 (en) 2015-09-07 2016-05-19 Information processing system, information processing apparatus, output apparatus, program, and recording medium
JP2017538886A JP6545270B2 (ja) 2015-09-07 2016-05-19 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体
CN201680050437.3A CN108292493A (zh) 2015-09-07 2016-05-19 信息处理系统、信息处理装置、输出装置、程序和记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015175862 2015-09-07
JP2015-175862 2015-09-07

Publications (1)

Publication Number Publication Date
WO2017043126A1 true WO2017043126A1 (ja) 2017-03-16

Family

ID=58239492

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064870 WO2017043126A1 (ja) 2015-09-07 2016-05-19 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体

Country Status (5)

Country Link
US (1) US10672110B2 (ja)
EP (1) EP3330961A4 (ja)
JP (1) JP6545270B2 (ja)
CN (1) CN108292493A (ja)
WO (1) WO2017043126A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021346A (zh) * 2017-12-26 2018-05-11 歌尔科技有限公司 Vr头戴设备显示图像的方法、vr头戴设备和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535319B2 (en) * 2018-02-23 2020-01-14 Facebook Technologies, Llc Apparatus, systems, and methods for displaying images in rotated display regions of display screens
CN112703441B (zh) * 2018-09-20 2023-06-13 索尼互动娱乐股份有限公司 显示系统，程序，显示方法和头戴式设备
JP2020182127A (ja) * 2019-04-25 2020-11-05 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、および表示装置のキャリブレーション方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001147486A (ja) * 1999-11-19 2001-05-29 Olympus Optical Co Ltd 映像表示装置
JP2010019987A (ja) * 2008-07-09 2010-01-28 Toshiba Corp 三次元画像表示装置の検査装置及び三次元画像表示装置の製造方法
JP2013225042A (ja) * 2012-04-23 2013-10-31 Seiko Epson Corp 虚像表示装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3120767B2 (ja) 1998-01-16 2000-12-25 日本電気株式会社 外観検査装置、外観検査方法及び外観検査プログラムを記録した記録媒体
JPH11298924A (ja) * 1998-04-14 1999-10-29 Sharp Corp 頭部装着型ディスプレイ
KR100341149B1 (ko) * 1999-11-24 2002-06-20 이준욱 헤드 마운트 디스플레이용 광학 시스템
JP2004233869A (ja) 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
KR100711199B1 (ko) * 2005-04-29 2007-04-24 한국과학기술원 렌즈 방식의 3차원 모니터에서 잘못된 정렬에러 검출방법및 영상왜곡 보상방법
US8159495B2 (en) 2006-06-06 2012-04-17 Microsoft Corporation Remoting sub-pixel resolved characters
WO2008139577A1 (ja) 2007-05-09 2008-11-20 Fujitsu Microelectronics Limited 画像処理装置、撮像装置、および画像歪み補正方法
JP5251036B2 (ja) 2007-08-22 2013-07-31 船井電機株式会社 表示出力装置
EP2308197A4 (en) * 2008-07-31 2014-04-16 Inovus Solar Inc WIRELESS, AUTONOMOUS, SOLAR-DRIVEN EXTERNAL LIGHTING AND ELECTRICITY AND INFORMATION NETWORK FOR THIS
JP5341462B2 (ja) 2008-10-14 2013-11-13 キヤノン株式会社 収差補正方法、画像処理装置および画像処理システム
JP2010103886A (ja) 2008-10-27 2010-05-06 Seiko Epson Corp 画像処理装置、画像表示装置及び画像処理方法
JP5353361B2 (ja) 2009-03-26 2013-11-27 ブラザー工業株式会社 カラー画像表示装置
JP5241698B2 (ja) 2009-12-25 2013-07-17 キヤノン株式会社 画像処理装置および画像処理方法
CN102053367B (zh) * 2010-09-28 2012-07-04 中航华东光电有限公司 双目头盔显示器图像校准方法
US8810600B2 (en) * 2012-01-23 2014-08-19 Microsoft Corporation Wearable display device calibration
JP6128113B2 (ja) 2012-02-22 2017-05-24 ソニー株式会社 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JP2013192193A (ja) 2012-03-15 2013-09-26 Sony Corp 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US9740007B2 (en) 2012-03-22 2017-08-22 Sony Corporation Display device, image processing device and image processing method, and computer program
KR102247831B1 (ko) * 2014-02-06 2021-05-04 삼성전자 주식회사 변형 가능한 디스플레이를 포함하는 전자 장치 및 그의 운용 방법
TWI511086B (zh) 2014-04-18 2015-12-01 Altek Semiconductor Corp 鏡頭失真校正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001147486A (ja) * 1999-11-19 2001-05-29 Olympus Optical Co Ltd 映像表示装置
JP2010019987A (ja) * 2008-07-09 2010-01-28 Toshiba Corp 三次元画像表示装置の検査装置及び三次元画像表示装置の製造方法
JP2013225042A (ja) * 2012-04-23 2013-10-31 Seiko Epson Corp 虚像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3330961A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021346A (zh) * 2017-12-26 2018-05-11 歌尔科技有限公司 Vr头戴设备显示图像的方法、vr头戴设备和系统

Also Published As

Publication number Publication date
EP3330961A4 (en) 2019-04-03
JP6545270B2 (ja) 2019-07-17
EP3330961A1 (en) 2018-06-06
US10672110B2 (en) 2020-06-02
CN108292493A (zh) 2018-07-17
JPWO2017043126A1 (ja) 2018-02-22
US20180247392A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
US20190019341A1 (en) Head-mounted display device and computer program
JP5388534B2 (ja) 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体
JP6545270B2 (ja) 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体
US11200646B2 (en) Compensation for deformation in head mounted display systems
CN107155104B (zh) 一种裸眼立体显示设备的显示校正方法及装置
US11960086B2 (en) Image generation device, head-mounted display, and image generation method
JP2009080578A (ja) 多視点データ生成装置、方法及びプログラム
CN110662012A (zh) 一种裸眼3d显示效果优化的排图方法、系统及电子设备
JPWO2013073028A1 (ja) 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
WO2021110031A1 (zh) 多视点3d显示装置、显示方法、显示屏校正方法
US20220113543A1 (en) Head-mounted display and image display method
CN108153417B (zh) 画面补偿方法及采用该方法的头戴式显示装置
US12099649B2 (en) Display device and image display method
JP6424277B2 (ja) 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体
WO2014119555A1 (ja) 画像処理装置、表示装置及びプログラム
US10924725B2 (en) Method of reducing alignment error between user device and lenticular lenses to view glass-free stereoscopic image and user device performing the same
JP5711104B2 (ja) 画像表示装置、方法、プログラム、及び画像処理装置
US11327319B2 (en) Head mounted display, image display method, and computer program
CN116309854A (zh) 标定增强现实设备的方法、装置、设备、系统及存储介质
JP2018157276A (ja) 画像表示装置、画像表示方法及びプログラム
TWI503788B (zh) 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
US20240340403A1 (en) Head mount display, information processing apparatus, and information processing method
US20230306676A1 (en) Image generation device and image generation method
JP2016224656A (ja) 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム
JP6216851B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16843992

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017538886

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15753118

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE