WO2023100956A1 - 3次元表示装置、3次元表示システム、および移動体 - Google Patents

3次元表示装置、3次元表示システム、および移動体 Download PDF

Info

Publication number
WO2023100956A1
WO2023100956A1 PCT/JP2022/044283 JP2022044283W WO2023100956A1 WO 2023100956 A1 WO2023100956 A1 WO 2023100956A1 JP 2022044283 W JP2022044283 W JP 2022044283W WO 2023100956 A1 WO2023100956 A1 WO 2023100956A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display device
sub
dimensional
dimensional display
Prior art date
Application number
PCT/JP2022/044283
Other languages
English (en)
French (fr)
Inventor
薫 草深
昭典 佐藤
歩樹 林下
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2023100956A1 publication Critical patent/WO2023100956A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking

Definitions

  • the present disclosure relates to a 3D display device, a 3D display system, and a mobile object.
  • Patent Document 1 An example of conventional technology is described in Patent Document 1.
  • a three-dimensional display device of the present disclosure includes a plurality of sub-pixel groups, and can display a composite image including a first image and a second image having parallax with respect to the first image on the plurality of sub-pixel groups.
  • a display panel having an active area; an optical element having a plurality of light-transmitting regions that define light beam directions of image light emitted from each of the plurality of sub-pixels constituting the sub-pixel group; and a first eye of an observer.
  • the controller comprises the plurality of determining in what arrangement the first image and the second image are to be displayed in each of the sub-pixel groups based on the two-dimensional position and the three-dimensional position of each sub-pixel group, and based on the determination
  • the first image and the second image are synthesized to generate the synthesized image, and the synthesized image is displayed on the plurality of sub-pixel groups.
  • the 3D display system of the present disclosure includes the 3D display device.
  • the mobile object of the present disclosure includes the three-dimensional display device.
  • FIG. 1 is a diagram showing an example of a three-dimensional display system viewed vertically from above according to an embodiment of the present disclosure
  • FIG. It is a figure which shows the example which looked at the display panel shown in FIG. 1 from the depth direction.
  • 2 is a diagram showing an example of the parallax barrier shown in FIG. 1 viewed from the depth direction;
  • FIG. 2 is a diagram for explaining a left visible area in the display panel shown in FIG. 1;
  • FIG. 2 is a diagram for explaining a right visible area in the display panel shown in FIG. 1;
  • FIG. 2 is a diagram for explaining a binocular visible region in the three-dimensional display system shown in FIG. 1;
  • FIG. 10 is a diagram showing phases when the first eye moves;
  • FIG. 10 is a diagram showing phases when assuming that ideal parallax barriers are arranged for sub-pixels of a display panel;
  • FIG. 4 is a diagram showing the phase of deviation from an ideal parallax barrier;
  • FIG. 10 is a diagram showing phases when the position of the eye moves;
  • FIG. 4 is a diagram showing an example of phase values reproduced by function approximation according to the present embodiment;
  • 5 is a diagram for explaining a display state of a right-eye image on the display panel 5;
  • FIG. 10 is a diagram showing phases when the first eye moves
  • FIG. 10 is a diagram showing phases when assuming that ideal parallax barriers are arranged for sub-pixels of a display panel
  • FIG. 4 is a diagram showing the phase of deviation from an ideal parallax barrier
  • FIG. 10 is a diagram showing phases when the position of the eye moves
  • FIG. 4 is a diagram showing an example of phase values reproduced
  • FIG. 5 is a diagram for explaining a display state of a composite image on the display panel 5;
  • FIG. FIG. 10 is a diagram showing phase changes when the pupil position is Z0;
  • FIG. 10 is a diagram showing the phase when the pupil position moves from Z0 to Ez by ⁇ ;
  • FIG. 10 is a diagram showing phase values when the measured values are directly approximated by polynomials;
  • FIG. 10 is a diagram showing a phase value shift between a phase value and a measured value by polynomial approximation;
  • FIG. 10 is a diagram showing phase values when a difference between a measured value and an analytical solution is approximated by a polynomial; It is a figure which shows the shift
  • FIG. 10 is a diagram showing the phase when the pupil position is away from the suitable viewing distance in the Z direction;
  • FIG. 4 is a diagram for explaining calculation of phase distribution;
  • FIG. 10 is a diagram showing phase changes when the pupil position is away from the suitable viewing distance;
  • FIG. 4 is a diagram for explaining calculation of phase distribution;
  • 1 is a diagram showing the overall configuration of a 3D display system according to this embodiment;
  • FIG. It is a figure which shows the example of HUD which mounts the three-dimensional display system which concerns on this embodiment.
  • FIG. 25 is a diagram showing an example of a moving body equipped with the HUD shown in FIG. 24;
  • the three-dimensional display device of the present disclosure in order to perform three-dimensional display without using glasses, part of the light emitted from the display panel is caused to reach the right eye, and the light emitted from the display panel Arrangements are known that include an optical element that allows another portion of the light to reach the left eye.
  • FIG. 1 is a schematic diagram of a three-dimensional display system 100 according to an embodiment of the present disclosure viewed from above.
  • a 3D display system 100 according to an embodiment of the present disclosure includes a detection device 1 and a 3D display device 2 .
  • the detection device 1 detects the positions of the observer's left eye (first eye) and right eye (second eye), and outputs information representing the detected positions of the left eye and right eye to the three-dimensional display device 2. .
  • the detection device 1 may, for example, comprise a camera.
  • the detection device 1 may take an image of the observer's face with a camera.
  • the detection device 1 may detect the positions of the left eye and the right eye from an image captured by a camera including the image of the observer's face.
  • the detection device 1 may detect the positions of the left eye and the right eye as coordinates in a three-dimensional space from an image captured by one camera.
  • the detection device 1 may detect the positions of the left eye and the position of the right eye as coordinates in a three-dimensional space from images captured by two or more cameras.
  • the detection device 1 may be connected to a camera outside the device without being equipped with a camera.
  • the detection device 1 may include an input terminal for inputting a signal from an external camera.
  • a camera outside the device may be directly connected to the input terminal.
  • a camera outside the device may be indirectly connected to the input terminal via a shared information communication network.
  • the detection device 1 without a camera may have an input terminal for inputting a video signal from an external camera.
  • the detection device 1 without a camera may detect the positions of the left eye and the right eye from the video signal input to the input terminal.
  • the detection device 1 may be equipped with a sensor, for example.
  • the sensor may be an ultrasonic sensor, an optical sensor, or the like.
  • the detection device 1 may detect the position of the observer's head with a sensor, and detect the positions of the left and right eyes based on the position of the head.
  • the detection device 1 may detect the positions of the left eye and right eye as coordinates in a three-dimensional space using one or more sensors.
  • the three-dimensional display system 100 does not have to include the detection device 1.
  • the three-dimensional display device 2 may include an input terminal for inputting a signal from the detection device outside the device.
  • a sensing device external to the device may be connected to the input terminal.
  • a detection device external to the device may use electrical and optical signals as transmission signals to the input terminals.
  • a sensing device external to the device may be indirectly connected to the input terminal via a shared network.
  • the three-dimensional display device 2 may receive position coordinates representing the positions of the left and right eyes obtained from a detection device outside the device.
  • the three-dimensional display device 2 includes an acquisition unit 3, an illuminator 4, a display panel 5, a parallax barrier 6 as an optical element, a controller 7, and a memory 8.
  • the parallax barrier 6 is configured to be able to reflect the composite image toward the assumed space and to transmit external light toward the assumed space.
  • the acquisition unit 3 acquires the three-dimensional position of the left eye and the three-dimensional position of the right eye detected by the detection device 1 .
  • the illuminator 4 can planarly irradiate the display panel 5 with light.
  • the illuminator 4 may include a light source, a light guide plate, a diffusion plate, a diffusion sheet, and the like.
  • the irradiator 4 emits irradiation light from a light source, and uniformizes the irradiation light in the plane direction of the display panel 5 by a light guide plate, a diffusion plate, a diffusion sheet, and the like.
  • the illuminator 4 can then emit the homogenized light toward the display panel 5 .
  • the display panel 5 has a plurality of partitioned areas on a planar active area 51 .
  • the active area 51 is an area for displaying a mixed image.
  • the mixed image includes a left eye image (first image) and a right eye image (second image) having parallax with respect to the left eye image (described later).
  • the mixed image includes a third image, which will be described later.
  • the partitioned area is an area partitioned in a first direction and a second direction perpendicular to the first direction by the grid-like black matrix 52 . A direction orthogonal to the first direction and the second direction is referred to as the third direction.
  • the first direction may be referred to as the horizontal direction.
  • the second direction may be referred to as the vertical direction.
  • the third direction may be referred to as the depth direction.
  • the first direction, the second direction, and the third direction are not limited to these.
  • the first direction is represented as the x-axis direction
  • the second direction is represented as the y-axis direction
  • the third direction is represented as the z-axis direction.
  • the active area 51 comprises a plurality of sub-pixels arranged in a grid pattern along the horizontal and vertical directions.
  • Each sub-pixel corresponds to one of the colors R (Red), G (Green), and B (Blue), and a set of three sub-pixels R, G, and B can constitute one pixel. .
  • One pixel may be referred to as one pixel.
  • the horizontal direction is, for example, the direction in which a plurality of sub-pixels forming one pixel are arranged.
  • the vertical direction is, for example, the direction in which sub-pixels of the same color are arranged.
  • the display panel 5 is not limited to a transmissive liquid crystal panel, and other display panels such as organic EL can be used. When a self-luminous display panel is used as the display panel 5 , the three-dimensional display device 2 does not need to include the illuminator 4 .
  • a plurality of sub-pixels arranged in the active area 51 as described above form a sub-pixel group Pg.
  • the sub-pixel groups Pg are repeatedly arranged in the horizontal direction.
  • the sub-pixel groups Pg are repeatedly arranged adjacent to each other at positions shifted by one sub-pixel in the horizontal direction for each row in the vertical direction.
  • some sub-pixel groups Pg are labeled.
  • the sub-pixel group Pg is the minimum unit in which the controller 7, which will be described later, performs control for displaying an image.
  • Sub-pixels P1 to P(2 ⁇ n ⁇ b) having the same identification information of all sub-pixel groups Pg are controlled simultaneously by controller 7 .
  • the controller 7 switches the image displayed on the sub-pixels P1 from the left-eye image to the right-eye image
  • the images displayed on the sub-pixels P1 in all the sub-pixel groups Pg are changed simultaneously from the left-eye image to the right-eye image. can be switched to
  • the parallax barrier 6, as shown in FIG. 1, is formed by a plane along the active area 51 and is spaced apart from the active area 51 by a predetermined distance (gap) g.
  • a parallax barrier 6 may be located on the opposite side of the illuminator 4 with respect to the display panel 5 .
  • the parallax barrier 6 may be positioned on the side of the display panel 5 facing the illuminator 4 .
  • the parallax barrier 6 defines a light beam direction, which is the propagation direction of image light emitted from the sub-pixels, for each light-transmitting region 62, which is a plurality of band-shaped regions extending in a predetermined direction within the plane. do.
  • the predetermined direction is a direction forming a predetermined non-zero angle with the vertical direction.
  • the parallax barrier 6 defines the image light emitted from the sub-pixels arranged in the active area 51, thereby defining the area on the active area 51 visible to the observer's eyes. .
  • the area within the active area 51 that emits image light that propagates to the position of the observer's eye is referred to as a visible area 51a.
  • a region within the active area 51 that emits image light propagating to the viewer's left eye position is referred to as a left visible region 51aL (first visible region).
  • a region within the active area 51 that emits image light propagating to the position of the right eye of the observer is referred to as a right visible region 51aR (second visible region).
  • the parallax barrier 6 has a plurality of light blocking surfaces 61 that block image light.
  • the plurality of light shielding surfaces 61 define light transmitting regions 62 between adjacent light shielding surfaces 61 .
  • the translucent area 62 has a higher light transmittance than the light shielding surface 61 .
  • the light-shielding surface 61 has a lower light transmittance than the light-transmitting region 62 .
  • the light-transmitting region 62 is a portion that transmits light incident on the parallax barrier 6 .
  • the translucent region 62 may transmit light with a transmissivity equal to or higher than the first predetermined value.
  • the first predetermined value may be, for example, approximately 100% or a value less than 100%. As long as the image light emitted from the active area 51 is within a range in which the image light can be visually recognized, the first predetermined value can be a value of 100% or less, such as 80% or 50%.
  • the light-shielding region 61 is a portion that blocks light incident on the parallax barrier 6 and hardly transmits the light. In other words, the light shielding region 61 blocks the image displayed in the active area 51 of the display panel 5 from reaching the viewer's eyes.
  • the light blocking region 61 may block light with a transmittance equal to or lower than the second predetermined value.
  • the second predetermined value may be, for example, approximately 0%, or may be a value greater than 0% and close to 0%, such as 0.5%, 1% or 3%.
  • the first predetermined value may be several times or more, for example, ten times or more larger than the second predetermined value.
  • the light-transmitting regions 62 and the light-shielding surfaces 61 extend in a predetermined direction along the active area 51 and are repeatedly and alternately arranged in a direction orthogonal to the predetermined direction.
  • the translucent area 62 defines the ray direction of the image light emitted from the sub-pixels.
  • the barrier pitch Bp which is the horizontal arrangement interval of the light-transmitting regions 62, and the gap g between the active area 51 and the parallax barrier 6 use the proper viewing distance d and the standard distance E0. is defined such that the following equations (1) and (2) hold.
  • the parallax barrier 6 may be composed of a film or plate-shaped member having a transmittance of less than the second predetermined value.
  • the light shielding surface 61 is composed of the film or plate member.
  • the translucent region 62 is composed of an opening provided in a film or a plate-like member.
  • the film may be made of resin, or may be made of other materials.
  • the plate-shaped member may be made of resin, metal, or the like, or may be made of another material.
  • the parallax barrier 6 is not limited to a film or plate-like member, and may be composed of other types of members.
  • the parallax barrier 6 may have a light-shielding base material, or may contain a light-shielding additive in the base material.
  • the parallax barrier 6 may be composed of a liquid crystal shutter.
  • the liquid crystal shutter can control the transmittance of light according to the voltage applied.
  • the liquid crystal shutter may be composed of a plurality of pixels and control the light transmittance of each pixel.
  • the liquid crystal shutter can form a region of high light transmittance or a region of low light transmittance in any shape.
  • the translucent area 62 may be an area having a transmittance equal to or higher than the first predetermined value.
  • the light shielding surface 61 may be an area having a transmittance equal to or lower than the second predetermined value.
  • the parallax barrier 6 allows image light emitted from some sub-pixels of the active area 51 to pass through the translucent area 62 and propagate to the viewer's right eye.
  • the parallax barrier 6 allows the image light emitted from some other sub-pixels to pass through the translucent area 62 and propagate to the viewer's left eye.
  • An image viewed by the observer's eyes by propagating the image light to the observer's left eye and right eye will be described in detail with reference to FIGS. 4 and 5.
  • the left visible region 51aL shown in FIG. 4 is an active region viewed by the observer's left eye when the image light transmitted through the translucent region 62 of the parallax barrier 6 reaches the observer's left eye. It is a region on area 51 .
  • the left invisible area 51bL is an area that cannot be seen by the left eye of the observer because the image light is blocked by the light shielding surface 61 of the parallax barrier 6 .
  • Left visible region 51aL includes half of subpixel P1, all of subpixels P2-P6, and half of subpixel P7.
  • a right visible area 51aR shown in FIG. is an area on the active area 51 to be visually recognized.
  • the right invisible area 51bR is an area that cannot be seen by the right eye of the observer because the image light is blocked by the light shielding surface 61 of the parallax barrier 6 .
  • Right visible region 51aR includes half of subpixel P7, all of subpixels P8-P12, and half of subpixel P1.
  • the left and right eyes view the images respectively.
  • the right-eye image and the left-eye image are parallax images having parallax with each other. Specifically, for the left eye, half of the left eye image displayed in subpixel P1, the entire left eye image displayed in subpixels P2 to P6, and the right eye image displayed in subpixel P7. See half and half. The right eye sees half of the right eye image displayed in subpixel P7, the entire right eye image displayed in subpixels P8-P12, and half of the left eye image displayed in subpixel P1. .
  • the sub-pixels displaying the left-eye image are labeled "L" and the sub-pixels displaying the right-eye image are labeled "R".
  • the phase is the distance from the center of the translucent region 62 viewed with the first eye (for example, the left eye) from the suitable viewing distance d, and the unit is the sub-pixel width. , as shown in the figure, the phase is determined as "5, 6, 7, 0, . . . " for each sub-pixel. In the case of such an ideal parallax barrier 6, the entire display panel 5 has a unique periodicity phase.
  • the observer views the three-dimensional image with the crosstalk being minimized.
  • the inter-ocular An observer whose distance E is the standard distance E0 can properly view the three-dimensional image.
  • the left-eye image is displayed on the sub-pixels half or more of which are visible with the left eye
  • the right-eye image is displayed on the sub-pixels half or more of which are visible with the right eye.
  • the sub-pixels for displaying the left-eye image and the right-eye image are divided into left visible area 51aL and right visible area 51aL and right visible area 51aL, respectively, according to the design of the active area 51, the parallax barrier 6, etc. so as to minimize crosstalk.
  • 51aR may be appropriately determined.
  • the left-eye image is displayed on the sub-pixels of which the left eye sees a predetermined ratio or more
  • the right-eye image is displayed on the sub-pixels of which the right eye sees a predetermined ratio or more. can be displayed.
  • the controller 7 is connected to each component of the three-dimensional display system 100 and can control each component. Components controlled by the controller 7 include the detection device 1 and the display panel 5 .
  • the controller 7 is configured, for example, as a processor. Controller 7 may include one or more processors.
  • the processor may include a general-purpose processor that loads a specific program to execute a specific function, and a dedicated processor that specializes in specific processing.
  • a dedicated processor may include an Application Specific Integrated Circuit (ASIC).
  • the processor may include a programmable logic device (PLD).
  • a PLD may include an FPGA (Field-Programmable Gate Array).
  • the controller 7 may be either a SoC (System-on-a-Chip) with which one or more processors cooperate, or a SiP (System In a Package).
  • the controller 7 has a storage unit, and may store various information or programs for operating each component of the three-dimensional display system 100 in the storage unit.
  • the storage unit may be configured by a semiconductor memory or the like, for example.
  • the storage section may function as a work memory for the controller 7 .
  • the memory 8 is composed of arbitrary storage devices such as RAM (Random Access Memory) and ROM (Read Only Memory).
  • the left sub-pixel determined to display the left-eye image based on the left visible region 51aL
  • the right-eye image determined to display based on the right visible region 51aR.
  • the left sub-pixel is, for example, a sub-pixel that is included in the left visible region 51aL at a predetermined ratio (for example, half) or more.
  • a right sub-pixel is, for example, a sub-pixel whose right visible region 51aR includes a predetermined ratio or more.
  • the controller 7 performs control to reduce crosstalk that occurs when an observer having the interocular distance E1 views the three-dimensional display device 2 configured based on the standard distance E0.
  • the controller 7 will be described in detail.
  • the controller 7 increases or decreases the shift amount from the initial phase by the remainder obtained by dividing the number obtained by dividing the eye movement distance of the observer by the switching cycle T by the number of variations of the index value, and converts the first image into the sub-pixels. and control to display the second image.
  • the controller 7 sets I as the amount of shift, which is the phase representing the shift of the light-transmitting region 62 with respect to each of the plurality of sub-pixels, L as the movement distance in the parallax direction of the first eye and the second eye, the first image and the second image. Assuming that the switching period between the images is T, and the number of variations of the index value representing the switching position between the first image and the second image in the active area 51 is V, the phase is adjusted so that the following equation (3) holds. may be determined.
  • the controller 7 sets I as the amount of shift, which is the phase representing the shift of the light-transmitting region 62 with respect to each of the plurality of sub-pixels, L as the movement distance in the parallax direction of the first eye and the second eye, the first image and the second image.
  • Each of the plurality of sub-pixels may be configured to assign which of the first image and the second image to display based on.
  • the memory 8 stores a table indicating the correspondence between the position of the first eye and the position of the second eye at the standard distance E0 from the position of the first eye and the image to be displayed on the sub-pixels arranged in the active area 51.
  • the controller 7 may be configured to determine the first sub-pixel using the table based on the position of the first eye and determine the second sub-pixel using the table based on the position of the second eye. .
  • the controller 7 may display the first image or the second image as the third image based on the observer's characteristics.
  • the controller 7 may display, for example, a black image as the third image on the third sub-pixels.
  • a black image is, for example, an image having a predetermined luminance, such as black.
  • the predetermined luminance can be a value corresponding to the luminance of the lowest gradation among the displayable gradation levels of the sub-pixels or the luminance of a gradation based thereon.
  • Controller 7 may display a black image on the third sub-pixel.
  • the controller 7 may display either the left-eye image or the right-eye image as the third image on the third sub-pixel, for example, based on the characteristics of the observer. Observer characteristics are, for example, characteristics related to the observer's dominant eye. Specifically, the controller 7 selects either a left-eye image or a right-eye image corresponding to the dominant eye based on preset or externally input information indicating the observer's dominant eye. can be displayed. The controller 7 displays the left-eye image as the third image when the observer's dominant eye is the left eye, and displays the right-eye image as the third image when the observer's dominant eye is the right eye. good.
  • the controller 7 may display, as the third image, an average image having a luminance value that is the average of the luminance values of the left-eye image and the right-eye image in the third sub-pixels.
  • the controller 7 may display an average image having a brightness value that is the average of the brightness values of the first image and the second image as the third image.
  • the controller 7 sets the first projection position projected onto a plane parallel to the active area 51 and at an appropriate viewing distance d from the parallax barrier 6 as the position of the first eye, and the position of the second eye as the position of the second eye projected onto the plane.
  • the first image and the second image may be displayed with the second projection position as the position of the second eye.
  • the controller 7 controls the central portion of the active area 51, the first outer edge portion furthest from the central portion toward the first eye along the parallax direction, and the controller 7 furthest from the central portion toward the second eye along the parallax direction. At least three displacement amounts I with respect to the second outer edge may be used to assign each of the plurality of sub-pixels to display either the first image or the second image.
  • the three-dimensional display device 2 uses the distance from the center of the light-transmitting region 62 seen with the first eye (for example, the left eye) from the proper viewing distance d as the phase, and the unit is the sub-pixel width. and For example, as shown in FIG. 7, the phase is determined like "5, 6, 7, 0, . . . " for each sub-pixel. In this way, in the case of the ideal parallax barrier 6, the unique periodicity phase is determined for the entire display panel 5.
  • FIG. The three-dimensional display device 2 is positioned between the display panel 5 and an assumed space where the observer's eyes are assumed to exist. An optical member 41 is included.
  • the phase changes like "5.2, 6.2, 7.2, 0.2, ! as shown in FIG.
  • the actual parallax barrier 6 shifts the phase toward the edge of the display panel 5 .
  • the synthesized image is locally updated at each time.
  • FIG. 9 is a diagram showing the phase when it is assumed that an ideal parallax barrier 6 is arranged for the sub-pixels of the display panel 5.
  • FIG. It is a figure which shows the phase of a shift
  • FIG. 11 is a diagram showing phases when the position of the eye moves.
  • the phase In an ideal state in which all of the light-transmitting regions 62 of the parallax barrier 6 are positioned corresponding to all of the sub-pixels of the display panel 5, that is, in the arrangement relationship as designed, the phase is as shown in FIG. , represented by periodic values.
  • the assembled state in which the parallax barrier 6 is layered on the display panel 5, mechanical dimensional errors may actually occur.
  • each sub-pixel will have a different phase change for each transparent region 62 .
  • the amount of deviation of the parallax barrier 6 from the ideal as designed with respect to each light-transmitting region 62 is calculated by an approximation function, and the calculated values are shown in FIG. It may be stored as a per sub-pixel value in the above table corresponding to the pupil position as shown. In this case, the values stored in the table are stored as real numbers. This real number is not limited to integers and can be decimals.
  • the controller 7 of the three-dimensional display device 2 described above determines the array pattern of the plurality of sub-pixel groups Pg based on the five-dimensional function f(x, y, z, Px, Py).
  • the two-dimensional position of the three-dimensional display device 2 is the Px direction corresponding to the observer's parallax direction and the Py direction crossing the Px direction on the display panel 5 .
  • the three-dimensional position of the three-dimensional display device 2 described above is the Ex direction corresponding to the observer's parallax direction, the Ey direction corresponding to the Py direction, and the Ez direction intersecting the Ex direction and the Ey direction.
  • phase measurement is performed at a plurality of positions in which the position of the observer's pupil is changed in the X, Y, and Z directions within the eyebox.
  • the phase is data of the coordinates (Px, Py) of the display panel 5, and is obtained for each pupil position coordinate (Ex, Ey, Ez).
  • the phase is expressed as a function of the pupil position and the panel coordinates (Ex, Ey, Ez, Px, Py) of the display panel 5, and once obtained, it can be used to synthesize a three-dimensional image.
  • Phase measurement is performed at several points (Pi) on the display panel 5 and several points (Ej) at the pupil position.
  • Pi is (Pxi, Pyi) and Ej is (Exj, Eyj, Ezj). Since the phase function Phase is a function of (Ex, Ey, Ez, Px, Py), it can be obtained by the method of least squares assuming a quadratic function, for example.
  • Phase (Px, Py) can be obtained for the pupil position during operation of the three-dimensional HUD, which is used for synthesis.
  • the phase of all pixels may be obtained by Phase (Px, Py), or the 20 ⁇ 10 points on the display panel 5 may be expanded to all pixels by interpolating the phases.
  • the phase may be obtained as a smooth function, and the deviation from the theoretical calculation may be obtained as a smooth function. Correction of the position and orientation of the pupil position detection camera may also be included in this deviation. In other words, it is possible to process not only the distortion of the optical system but also the deviation caused by the position and orientation of the camera. In that case, the coordinates obtained by the pupil position detection camera are used as the pupil position coordinates.
  • the initial phase distribution is stored in the storage area, and the phase shift amount Phase (Px, Py) due to the movement of the pupil in the XY directions is calculated with pixel position coordinates (Px, Py) and pupil position coordinates ( Ex, Ey, Ez), Z0 is a suitable viewing distance, and the active area 51 of the display panel 4 is updated at 15.75 in consideration of crosstalk reduction.
  • Phase (Px, Py) (Ex + Ey/3)/15.75 x Ez/Z0 ...(4)
  • phase shift amount PhaseZ(Px, Py) due to the movement of the pupil in the Z direction is
  • PhaseZ (Px, Py) (Px + Py/3) x B + C... (5)
  • phase shift amount Phase(Px, Py) due to the movement of the pupil in the XY directions can be expressed by the equation (4 ) and equation (5) as constants, it is represented by the following equation (6).
  • Phase (Px, Py) A + (Px + Py/3) x B... (6)
  • the approximation function has 21 terms, but once the pupil position is determined, the pupil position can be omitted as a constant. As a result, it is reduced to a quadratic function of 6 terms. i.e.
  • Phase(Px, Py) A1 ⁇ Px 2 +A2 ⁇ Py 2 +A3 ⁇ Px ⁇ Py+A4 ⁇ Px+A5 ⁇ Py+A6 (8)
  • Phase(Py) A ⁇ Py 2 +B ⁇ Py+C (9)
  • the approximation function is a 21-term polynomial, but at the time of synthesis, many parts are constant due to the determination of the position of the pupil. term becomes a quadratic expression, and the practical calculation load is small.
  • This approximation function has fewer variables than Equations 4 and 5, and the controller 7 can perform processing faster than when calculating the approximation number based on the initial phase.
  • the three-dimensional display device 2 of this embodiment includes a plurality of sub-pixel groups Pg, and displays a composite image including a first image and a second image having parallax with respect to the first image by the plurality of sub-pixel groups Pg.
  • a display panel 5 having an active area 51 that can be displayed in the image, a parallax barrier 6 that is an optical element having a plurality of light-transmitting regions that define the light beam direction of image light emitted from each of a plurality of sub-pixels, and an observation
  • the three-dimensional display device includes an acquisition unit that acquires the three-dimensional position of the first eye of a person, and a controller that synthesizes a composite image based on the three-dimensional position and displays it in an active area.
  • the controller 7 determines in which arrangement the first image and the second image are to be displayed in each of the plurality of sub-pixel groups Pg based on the two-dimensional position and the three-dimensional position of each sub-pixel group Pg, Based on the determination, the first image and the second image are synthesized to generate a synthesized image, and the synthesized image is displayed on the plurality of sub-pixel groups Pg.
  • Each of the plurality of sub-pixel groups Pg of the three-dimensional display device 2 described above includes a first number of sub-pixels of 2 or more, and each sub-pixel indicates which of the first image and the second image is to be displayed. It has a first number of array patterns. In this embodiment, the first number may be determined as a numerical value, such as 8 or 12, stored in advance in the memory 8 and configured to be read out by the controller 7 .
  • the three-dimensional display device 2 described above includes a camera C configured to capture an image of an assumed space in which the observer's eyes are assumed to exist, a second camera C1, a display panel 5, and an observer. and an optical member 410 that is an optical system that is positioned between assumed spaces where eyes are assumed to exist and is configured to be able to magnify the synthesized image.
  • Optical member 410 may be, for example, a reflector.
  • Phase (Px, Py) is obtained from the pupil phase Phase (Ex, Ey, Ez, Px, Py) for the pupil position (Ex, Ey, Ez) during operation of the three-dimensional HUD.
  • the phase of all pixels may be obtained by phase (Px, Py), or the phases of 20 ⁇ 10 points on the panel may be interpolated and expanded to all pixels.
  • the phase may be obtained as a smooth function, or the deviation from the theoretical calculation may be obtained as a smooth function. Correction of the position and orientation of the pupil position detection camera can also be included in this deviation. In other words, it is possible to process not only the distortion of the optical system but also the deviation caused by the position and orientation of the camera. In that case, the coordinates obtained by the pupil position detection camera are used as the pupil position coordinates.
  • the speed of calculation can be increased by using either a shader or a simple method of obtaining the phase at a position of about 20 pixels ⁇ 10 pixels and expanding it to the entire panel.
  • a shader is a device used for drawing. When processing is performed by a shader, multiple processors of the GPU can divide drawing processing and perform parallel processing, so the controller 7 can speed up processing.
  • the pupil position coordinates are Ex, Ey and Ez
  • the pixel coordinates of the display panel 5 are Px and Py.
  • the phase is a function of Ex, Ey, Ez, Px, and Py, and can be approximated by a quadratic function, for example.
  • phase distribution at the pupil positions of Ex1, Ey1, Ez1 can be calculated by f(Ex1, Ey1, Ez1, Px, Py).
  • a simpler method is to find the phase at a position of about 20 ⁇ 10 and expand it to the entire panel. Since this approximates the phase value as a function of pupil position from actual measurements, it is accurate as long as the behavior of the phase is not complex.
  • the controller 7 determines in which arrangement the first image and the second image are to be displayed in each sub-pixel group Pg of the plurality of sub-pixel groups Pg based on the two-dimensional position and the three-dimensional position of each sub-pixel group Pg. , based on the determination, the first image and the second image are synthesized to generate a synthesized image, and the synthesized image is displayed on the plurality of sub-pixel groups Pg.
  • the three-dimensional display device 2 uses a first camera C for capturing both eyes of the observer shown in FIG. and a second camera C1 for measuring position.
  • the second camera C1 may be implemented by, for example, a stereo camera.
  • the position of the observer's pupil is changed by the first camera C, for example, at 27 positions, and the image is captured. Measured.
  • a phase only correlation method PoC Phase Only Correlation
  • the correlation indicating the similarity of each photographed image by the first camera is calculated, and the photographed image is subjected to Fourier transform to obtain the grayscale data as the amplitude and the contour of the image as the phase.
  • the camera C performs phase measurement for each pupil position at several points in the eyebox space where the pupil position is assumed, and the phase data is obtained as a smooth function of the pupil position and the coordinates of the display panel 5.
  • the approximation function represented by the above equation (9) is obtained.
  • the phase distribution can be obtained from the pupil position using an approximation function and used for three-dimensional image synthesis. In this case, since approximation is performed by a simple function, the phase distribution calculation can be processed at high speed.
  • the amount of phase shift due to the movement of the pupil position was calculated from the design, but the deviation from the ideal cannot be eliminated due to the influence of variations. According to this embodiment, since the phase value for each pupil position is estimated from the measured value, deviation from the design can be corrected.
  • the approximation function may be divided into different parts and common parts for each display panel 5 .
  • an approximation function can be obtained by measuring only different portions for each display panel 5 and adding the common portions.
  • FIG. 12 is a diagram showing an example of data obtained from approximation functions at 35 positions on the display panel 5 for 27 pupil positions.
  • FIG. 12 is a table showing phase values when the horizontal axis is the pupil position (Ex, Ey, Ez) and the vertical axis is the 35 positions (Px, Py) on the display panel 5 .
  • the coefficients a[0] to a[20] of the approximation function are determined, the phase value at the measurement point is obtained by the approximation function, and the difference from the measured value is confirmed. It turns out.
  • the three-dimensional display device 2 of the present embodiment expresses the difference value between the measured value and the analytical solution as a polynomial, so the portion that cannot be reproduced due to the polynomial is reduced, and the reproducibility of the measured value can be improved.
  • the same reference numerals are given to the parts corresponding to the above-described embodiments, and redundant explanations are omitted.
  • the three-dimensional display device 2 includes an acquisition unit 3, an illuminator 4, a display panel 5, a parallax barrier 6 as an optical element, a controller 7, and a memory 8 .
  • the controller 7 provides an analytical solution obtained by calculation when the three-dimensional display device 2 operates under ideal conditions free from variations in manufacturing and optical distortion of parts, and an actual manufacturing solution of the three-dimensional display device 2. and the deviation from the analytical solution caused by the optical distortion of the parts are approximated by the sum of the polynomials of the five-dimensional functions.
  • FIG. 13 is an enlarged view of the three-dimensional display device 2 as viewed with the right eye. Each sub-pixel is numbered as shown in FIG.
  • the parallax barrier is drawn semi-transparent, but it actually blocks light. Subpixels 7 and 0 are visible through the opening of the parallax barrier 6 .
  • the phase is the sub-pixel number pointed to by the center of the barrier aperture as viewed from the right eye. In the example of FIG. 13, the center of the parallax barrier aperture points to the middle point between 7 and 0, so the phase is 7.5.
  • the controller 7 uses the phase to execute the 3D image synthesis process.
  • a three-dimensional image is synthesized by using the sub-pixels numbered ⁇ 2 of the phase value for the right-eye image and the remaining sub-pixels for the left-eye image.
  • the right eye image is assigned to the 6th, 7th, 0th and 1st subpixels
  • the left eye image is assigned to the 2nd, 3rd, 4th and 5th subpixels.
  • “assigning" means that an image for the right eye and an image for the left eye are prepared as side-by-side images, and the assignment is from which image the color is to be brought to the display panel 5 to be displayed. Become.
  • the phase is measured as a function of the pupil position coordinates (Ex, Ey, Ez) and the coordinates (Lx, Ly) of the display panel 5 and approximated by a polynomial. That is, the phase polynomial approximation function is obtained as P(Ex, Ey, Ez, Lx, Ly). Substituting (Ex, Ey, Ez) and (Lx, LY) into P(Ex, Ey, Ez, Lx, Ly) yields the phase value, the image of the entire display panel 5 at (Lx, Ly) can be synthesized.
  • a function expressing the phase of the ideal three-dimensional display device 2 is called an analytical solution. What is desired is the phase with the pupil position coordinates and the coordinates of the display panel 5 as variables.
  • the analytical solution be AP(Ex, Ey, Ez, Lx, Ly).
  • the center is (0, 0)
  • the distance from the display panel 5 at the proper viewing distance to the pupil position is Z0.
  • the pupil position coordinates are set in a coordinate system with the position of the display panel 5 as a reference. That is, the position (0, 0, Z0) away from the front of the display panel 5 by Z0 is the center position of the eyebox at the proper viewing distance.
  • the active area 51 of the display panel 5 is updated as an update cycle in consideration of crosstalk reduction. , 15.75, the analytical solution is:
  • the amount of phase change can be expressed as follows.
  • the slope indicates the rate of linear change, that is, the rate of vertical change to horizontal change.
  • the straight line has a negative slope, but the slope here indicates an absolute value.
  • slopes are absolute values.
  • the angle at which the Lx position is viewed is the same as when moving in the X direction by ⁇ from the Z0 position. From this, the phase at the Ez position of the Lx position can be calculated.
  • the analytical solution is represented by a second order polynomial.
  • the deviation between the analytical solution and the second-order polynomial becomes 0.2 at maximum when the range of the pupil position is ⁇ 100 mm for Ex, ⁇ 50 mm for Ey, and -200 mm to +100 mm for the appropriate viewing distance for Ex.
  • the analytical solution has a phase of 0.2 that cannot be expressed by a second-order polynomial.
  • the polynomial part becomes 0 when the phase is reproduced with the analytical solution + the polynomial, so the difference between the expressed phase and the analytical solution becomes 0.
  • FIGS. 18A and 18B in the case of an ideal three-dimensional display device 2, it is clearly better to express the difference from the analytical solution by a polynomial. Even in the case of a three-dimensional display device with large distortion such as a three-dimensional HUD, it is possible to reduce the difference from the measured value by expressing the difference from the analytical solution with a polynomial.
  • the analytical solution of the phase shift is used to obtain the phase of 27 pupil positions ⁇ 35 coordinates of the display panel 5 .
  • the display panel 5 has a size of 4.1 inches, 1280 mm x 640 mm, and a suitable viewing distance of 800 mm.
  • the range of the pupil position is 600 to 900 mm and 700 to 900 mm in the Z direction.
  • the intersection in the XY directions is ⁇ 100 mm.
  • a quadratic polynomial is used for the pupil position and a cubic polynomial for the pixel coordinates of the display panel 5 .
  • phase shift occurs due to misalignment of bonding even when viewed directly, so the amount of shift can be minimized by using a method that expresses the amount of shift from the analytical solution using a polynomial. Also, if the analytical solution is used, the degree of the polynomial can be lowered, and the number of camera positions during measurement can be reduced to about eight.
  • the phase changes as you move away from the optimal viewing distance.
  • a (mm/pixel) be the actual distance per pixel.
  • Z0 (mm) be the distance to the optimal viewing distance.
  • Ez (mm) be the Z-direction distance from the proper viewing distance to the pupil.
  • phase distribution can be calculated by A ⁇ ⁇ /15.75.
  • the phase changes as you move away from the optimal viewing distance.
  • a (mm/pixel) be the actual distance per pixel.
  • Z0 (mm) be the distance to the optimal viewing distance.
  • Ez (mm) be the Z-direction distance from the proper viewing distance to the pupil.
  • phase distribution can be calculated by A ⁇ ⁇ /15.75.
  • the phase is expressed as a five-dimensional function with the positional coordinates (Ex, Ey, Ez) of the pupil and the positional coordinates (Px, Py) within the panel as variables.
  • the phase is measured at 27 pupil positions and 35 positional coordinates within the display panel 5, a function that reproduces the measured values is represented by a polynomial, and the coefficients of the polynomial are determined by the method of least squares.
  • the higher the degree of the polynomial the more faithfully the measured values can be expressed.
  • the polynomial part expresses only the component of the difference from the analytic solution caused by the non-ideal device, A function with a small difference from the measured value can be constructed with a low-order polynomial. In other words, it is possible to reduce the difference from the measured value and also to reduce the number of measurements.
  • the amount of phase change can be expressed as follows.
  • the phase at the Ez position of the Lx position can be calculated from the display panel 5 .
  • a (mm/pixel) be the actual distance per pixel.
  • Z0 (mm) be the distance to the optimal viewing distance.
  • Ez (mm) be the Z-direction distance from the proper viewing distance to the pupil.
  • a (mm/pixel) be the actual distance per pixel.
  • Z0 (mm) be the distance to the optimal viewing distance.
  • Ez (mm) be the Z-direction distance from the proper viewing distance to the pupil.
  • the phase is expressed as a five-dimensional function whose variables are the pupil position coordinates (Ex, Ey, Ez) and the position coordinates (Px, Py) within the panel.
  • the phase is measured at 27 pupil positions and 35 positional coordinates within the display panel 5
  • a function that reproduces the measured values is represented by a polynomial, and the coefficients of the polynomial are determined by the method of least squares.
  • second, third, and fourth orders of polynomial are used.
  • the function can express the measured value more faithfully, but it is necessary to increase the number of measurements to avoid overfitting, and it is necessary to consider the balance between the labor and accuracy of measurement.
  • the polynomial part expresses only the component of the difference from the analytic solution caused by the non-ideal device. , and a function with a small difference from the measured value can be constructed with a low-order polynomial. In other words, the difference from the measured value can be reduced, and the number of measurements can be reduced.
  • the three-dimensional display system 100 can be mounted on a head-up display system 400.
  • the head-up display system 400 is also called HUD (Head Up Display) 400 .
  • HUD 400 includes three-dimensional display system 100, optical member 410, and projection target member 420 having projection target surface 430, as shown in FIG.
  • the HUD 400 causes the image light emitted from the three-dimensional display system 100 to reach the projection target member 420 via the optical member 410 .
  • the HUD 400 allows the image light reflected by the projection target member 420 to reach the viewer's left and right eyes. That is, HUD 400 directs image light from three-dimensional display system 100 to the viewer's left and right eyes along optical path 440 indicated by dashed lines. An observer can visually recognize the image light arriving along the optical path 440 as a virtual image 450 .
  • the HUD 400 including the 3D display system 200 may be mounted on the mobile object 10 .
  • a part of the configuration of the HUD 400 may be shared with other devices and components included in the moving body 10 .
  • the moving body 10 may also use the windshield as the projection target member 420 .
  • the other configuration can be called a HUD module or a three-dimensional display component.
  • the HUD 400 and the 3D display system 100 may be mounted on the mobile object 10 .
  • a “moving object” in the present disclosure includes vehicles, ships, and aircraft.
  • Vehicle in the present disclosure includes, but is not limited to, automobiles and industrial vehicles, and may include railroad and utility vehicles, and fixed-wing aircraft that travel on runways.
  • Automobiles include, but are not limited to, passenger cars, trucks, buses, motorcycles, trolleybuses, etc., and may include other vehicles that run on roads.
  • Industrial vehicles include industrial vehicles for agriculture and construction.
  • Industrial vehicles include, but are not limited to, forklifts and golf carts.
  • Industrial vehicles for agriculture include, but are not limited to, tractors, cultivators, transplanters, binders, combines, and lawn mowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, mobile cranes, tippers, and road rollers. Vehicles include those driven by human power. Note that the classification of vehicles is not limited to the above.
  • automobiles may include road-driving industrial vehicles, and the same vehicle may be included in multiple classes.
  • Vessels in this disclosure include marine jets, boats, and tankers.
  • Aircraft in this disclosure includes fixed-wing and rotary-wing aircraft.
  • phase function configured by a five-dimensional quadratic function was described. It may be configured to calculate the phase.
  • the present disclosure can be implemented in the following configurations (1) to (11).
  • a display panel including a plurality of sub-pixel groups and having an active area capable of displaying a synthesized image including a first image and a second image having parallax with respect to the first image in the plurality of sub-pixel groups. and, an optical element having a plurality of light-transmitting regions that define light beam directions of image light emitted from each of the plurality of sub-pixels constituting the sub-pixel group; an acquisition unit that acquires the three-dimensional position of the observer's first eye;
  • a three-dimensional display device comprising: a controller for synthesizing the synthetic image based on the three-dimensional position and displaying it in the active area, The controller determines in what arrangement the first image and the second image are to be displayed in each of the plurality of sub-pixel groups based on the two-dimensional position and the three-dimensional position of each sub-pixel group. death, Combining the first image and the second image to generate the composite image based on the determination;
  • a three-dimensional display device configured to display the composite image on the pluralit
  • each of the plurality of sub-pixel groups comprising a first number of sub-pixels greater than or equal to 2;
  • a three-dimensional display device having an arrangement pattern of the first number of sub-pixels indicating which of the first image and the second image each sub-pixel displays.
  • the three-dimensional display device according to any one of the above configurations (1) to (3), The three-dimensional display device, wherein the two-dimensional position is a Px coordinate corresponding to the parallax direction of the observer and a Py coordinate intersecting the Px coordinate on the display panel.
  • the three-dimensional display device is an Ex coordinate corresponding to the parallax direction of the observer, an Ey coordinate corresponding to the Py coordinate intersecting the Ex coordinate, and an Ez coordinate intersecting the Ex coordinate and the Ey coordinate.
  • the three-dimensional position is an Ex coordinate corresponding to the parallax direction of the observer, an Ey coordinate corresponding to the Py coordinate intersecting the Ex coordinate, and an Ez coordinate intersecting the Ex coordinate and the Ey coordinate. Device.
  • a three-dimensional display device comprising a camera configured to image an assumed space in which the observer's eyes are assumed to be.
  • a three-dimensional display device including an optical system positioned between the display panel and an assumed space where both eyes of the observer are assumed, and capable of enlarging the synthesized image.
  • a three-dimensional display system comprising the three-dimensional display device according to any one of the above configurations (1) to (9).
  • a moving object comprising the three-dimensional display device according to any one of the above configurations (1) to (9).
  • a 3D display device includes a display panel, an optical element, an acquisition unit, and a controller.
  • the display panel includes a plurality of sub-pixel groups and has an active area capable of displaying a composite image including a first image and a second image having parallax with respect to the first image on the plurality of sub-pixel groups.
  • the optical element has a plurality of light-transmitting regions that define light beam directions of image light emitted from each of the plurality of sub-pixels forming the sub-pixel group.
  • the acquisition unit is configured to acquire the three-dimensional position of the observer's first eye.
  • the controller synthesizes the composite image based on the three-dimensional position and displays it in the active area, and in what arrangement the first image and the second image are displayed in each of the plurality of sub-pixel groups. is determined based on the two-dimensional position and the three-dimensional position of each sub-pixel group, and based on the determination, the first image and the second image are synthesized to generate the synthesized image, and the synthesized An image is configured to be displayed on the plurality of sub-pixel groups.
  • a three-dimensional display device synthesizes the first image and the second image based on the positions of the sub-pixel groups and the positions of the eyes of the observer.
  • the image can be visually recognized appropriately.
  • a 3D display device it is possible to provide a 3D display device, a 3D display system, and a moving object that allow an observer to appropriately view a 3D image.

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明の3次元表示装置は、第1画像及び第1画像に対して視差を有する第2画像を含む合成画像を当該複数のサブピクセル群に表示可能なアクティブエリアを有する表示パネル(5)と、複数のサブピクセルのそれぞれから射出される画像光の光線方向を規定する複数の透光領域を有するパララックスバリア(6)と、観察者の第1眼の3次元位置を取得する取得部(3)と、3次元位置に基づいて合成画像を合成して前記アクティブエリアに表示させるコントローラ(7)と、を備える。コントローラ(7)は、複数のサブピクセル群の各サブピクセル群に第1画像及び第2画像をいずれの配列で表示させるかを、当該各サブピクセル群の2次元位置および前記第1眼3次元位置に基づいて決定し、当該決定に基づいて、第1画像及び第2画像を合成して合成画像を生成し、当該合成画像を複数のサブピクセル群に表示させる。

Description

3次元表示装置、3次元表示システム、および移動体
 本開示は、3次元表示装置、3次元表示システム、および移動体に関する。
 従来技術の一例は、特許文献1に記載されている。
特開2019-15823号公報
 本開示の3次元表示装置は、複数のサブピクセル群を含み、第1画像及び前記第1画像に対して視差を有する第2画像を含む合成画像を、当該複数のサブピクセル群に表示可能なアクティブエリアを有する表示パネルと、前記サブピクセル群を構成する複数のサブピクセルのそれぞれから射出される画像光の光線方向を規定する複数の透光領域を有する光学素子と、観察者の第1眼の3次元位置を取得する取得部と、前記3次元位置に基づいて前記合成画像を合成して前記アクティブエリアに表示させるコントローラと、を備える3次元表示装置であって、前記コントローラは、前記複数のサブピクセル群のそれぞれに、前記第1画像及び前記第2画像をいかなる配列で表示させるかを、当該各サブピクセル群の2次元位置および前記3次元位置に基づいて決定し、当該決定に基づいて、前記第1画像及び前記第2画像を合成して前記合成画像を生成し、当該合成画像を前記複数のサブピクセル群に表示させるように構成される。
 本開示の3次元表示システムは、前記3次元表示装置を備える。
 本開示の移動体は、前記3次元表示装置を備える。
 本開示の目的、特色、および利点は、下記の詳細な説明と図面とからより明確になるであろう。
本開示の実施形態における3次元表示システムを鉛直上方から見た例を示す図である。 図1に示す表示パネルを奥行方向から見た例を示す図である。 図1に示すパララックスバリアを奥行方向から見た例を示す図である。 図1に示す表示パネルにおける左可視領域を説明するための図である。 図1に示す表示パネルにおける右可視領域を説明するための図である。 図1に示す3次元表示システムにおける両眼可視領域を説明するための図である。 適視距離から第1眼で見た透光領域の中央からの位相を示す図である。 第1眼が移動したときの位相を示す図である。 表示パネルのサブピクセルに対して理想のパララックスバリアが配設されているものと仮定したときの位相を示す図である。 理想のパララックスバリアからのずれの位相を示す図である。 眼の位置が移動したときの位相を示す図である。 本実施形態の関数近似によって再現した位相値の一例を示す図である 表示パネル5の右眼画像の表示状態を説明するための図である。 表示パネル5の合成画像の表示状態を説明するための図である。 瞳位置がZ0であるときの位相変化を示す図である。 瞳位置がZ0からΔだけEzへ移動したときの位相を示す図である。 測定値をそのまま多項式で近似したときの位相値を示す図である。 多項式近似による位相値と測定値との位相値のずれを示す図である。 測定値と解析解との差分を多項式で近似したときの位相値を示す図である。 多項式近似と測定値との位相値のずれを示す図である。 瞳位置が適視距離からZ方向に離れたとき位相を示す図である。 位相分布の計算を説明するための図である。 瞳位置が適視距離からはなれたときの位相変化を示す図である。 位相分布の計算を説明するための図である。 本実施形態に係る3次元表示システムの全体構成を示す図である。 本実施形態に係る3次元表示システムを搭載したHUDの例を示す図である。 図24に示すHUDを搭載した移動体の例を示す図である。
 本開示の3次元表示装置の基礎となる構成として、眼鏡を用いずに3次元表示を行うために、表示パネルから出射された光の一部を右眼に到達させ、表示パネルから出射された光の他の一部を左眼に到達させる光学素子を備える構成が知られている。
 以下、本開示の実施形態について、図面を参照しながら詳細に説明がされる。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。
 図1は、本開示の実施形態の3次元表示システム100を鉛直上方から見た模式図である。本開示の実施形態の3次元表示システム100は、検出装置1と、3次元表示装置2とを含んで構成される。
 検出装置1は、観察者の左眼(第1眼)および右眼(第2眼)の位置を検出し、検出した左眼および右眼の位置を表す情報を3次元表示装置2に出力する。検出装置1は、例えば、カメラを備えてよい。検出装置1は、カメラによって観察者の顔を撮影してよい。検出装置1は、観察者の顔の像を含むカメラの撮影画像から左眼および右眼の位置を検出してよい。検出装置1は、1つのカメラの撮影画像から、左眼および右眼の位置を3次元空間の座標として検出してよい。検出装置1は、2個以上のカメラの撮影画像から、左眼の位置および右眼の位置を3次元空間の座標として検出してよい。
 検出装置1は、カメラを備えず、装置外のカメラに接続されていてよい。検出装置1は、装置外のカメラからの信号を入力する入力端子を備えてよい。装置外のカメラは、入力端子に直接的に接続されてよい。装置外のカメラは、共有の情報通信ネットワークを介して入力端子に間接的に接続されてよい。カメラを備えない検出装置1は、装置外のカメラからの映像信号を入力する入力端子を備えてよい。カメラを備えない検出装置1は、入力端子に入力された映像信号から左眼および右眼の位置を検出してよい。
 検出装置1は、例えば、センサを備えてよい。センサは、超音波センサまたは光センサ等であってよい。検出装置1は、センサによって観察者の頭部の位置を検出し、頭部の位置に基づいて左眼および右眼の位置を検出してよい。検出装置1は、1個または2個以上のセンサによって、左眼および右眼の位置を3次元空間の座標として検出してよい。
 3次元表示システム100は、検出装置1を備えなくてよい。3次元表示システム100が検出装置1を備えない場合、3次元表示装置2は、装置外の検出装置からの信号を入力する入力端子を備えてよい。装置外の検出装置は、入力端子に接続されてよい。装置外の検出装置は、入力端子に対する伝送信号として、電気信号および光信号を用いてよい。装置外の検出装置は、共有のネットワークを介して入力端子に間接的に接続されてよい。3次元表示装置2には、装置外の検出装置から取得した左眼および右眼の位置を示す位置座標が入力されてよい。
 3次元表示装置2は、取得部3と、照射器4と、表示パネル5と、光学素子としてのパララックスバリア6と、コントローラ7と、メモリ8とを含んで構成される。
 パララックスバリア6は、合成画像を想定空間に向かって反射可能に構成されるとともに、想定空間に向かう外光を透過可能に構成される。取得部3は、検出装置1によって検出された左眼の3次元位置および右眼の3次元位置を取得する。
 照射器4は、表示パネル5に面的に光を照射し得る。照射器4は、光源、導光板、拡散板、拡散シート等を含んで構成されてよい。照射器4は、光源により照射光を射出し、導光板、拡散板、拡散シート等により照射光を表示パネル5の面方向に均一化する。そして、照射器4は均一化された光を表示パネル5に向けて射出し得る。
 表示パネル5は、例えば透過型の液晶表示素子などのパネル状表示装置を採用し得る。図2に示すように、表示パネル5は、面状に形成されたアクティブエリア51上に複数の区画領域を有する。アクティブエリア51は、混合画像を表示する領域である。混合画像は、後述する左眼画像(第1画像)と左眼画像に対して視差を有する右眼画像(第2画像)とを含む。混合画像は、後述する、第3画像を含む。区画領域は、格子状のブラックマトリックス52により第1方向および第1方向に直交する第2方向に区画された領域である。第1方向および第2方向に直交する方向は第3方向と称される。第1方向は水平方向と称されてよい。第2方向は鉛直方向と称されてよい。第3方向は奥行方向と称されてよい。しかし、第1方向、第2方向、および第3方向はそれぞれこれらに限られない。図面において、第1方向はx軸方向として表され、第2方向はy軸方向として表され、第3方向はz軸方向として表される。
 区画領域の各々には、1つのサブピクセルが対応する。したがって、アクティブエリア51は、水平方向および鉛直方向に沿って格子状に配列された複数のサブピクセルを備える。
 各サブピクセルは、R(Red),G(Green),B(Blue)のいずれかの色に対応し、R,G,Bの3つのサブピクセルを一組として1ピクセルを構成することができる。1ピクセルは、1画素と称され得る。水平方向は、例えば、1ピクセルを構成する複数のサブピクセルが並ぶ方向である。鉛直方向は、例えば、同じ色のサブピクセルが並ぶ方向である。表示パネル5としては、透過型の液晶パネルに限られず、有機EL等他の表示パネルを使用し得る。表示パネル5として、自発光型の表示パネルを使用した場合、3次元表示装置2は照射器4を備えなくてよい。
 上述のようにアクティブエリア51に配列された複数のサブピクセルは、サブピクセル群Pgを構成する。サブピクセル群Pgは、水平方向に繰り返して配列される。サブピクセル群Pgは、鉛直方向においては、1行毎に水平方向に1サブピクセル分ずれた位置に隣接して繰り返して配列される。サブピクセル群Pgは、所定の行および列のサブピクセルを含む。具体的には、サブピクセル群Pgは、鉛直方向にb個(b行)、水平方向に2×n個(n列)、連続して配列された(2×n×b)個のサブピクセルP1~P(2×n×b)を含む。図2に示す例では、n=6、b=1である。アクティブエリア51には、鉛直方向に1個、水平方向に12個が、連続して配列された12個のサブピクセルP1~P12を含むサブピクセル群Pgが配置される。図2に示す例では、一部のサブピクセル群Pgに符号を付している。
 サブピクセル群Pgは、後述するコントローラ7が画像を表示するための制御を行う最小単位である。全てのサブピクセル群Pgの同じ識別情報を有するサブピクセルP1~P(2×n×b)は、コントローラ7によって同時に制御される。例えば、コントローラ7は、サブピクセルP1に表示させる画像を左眼画像から右眼画像に切り換える場合、全てのサブピクセル群PgにおけるサブピクセルP1に表示させる画像が左眼画像から右眼画像に同時的に切り換えられる。
 パララックスバリア6は、図1に示したように、アクティブエリア51に沿う平面により形成され、アクティブエリア51から所定距離(ギャップ)g、離れて配置される。パララックスバリア6は、表示パネル5に対して照射器4の反対側に位置してよい。パララックスバリア6は、表示パネル5の照射器4側に位置してよい。
 パララックスバリア6は、図3に示すように、面内の所定方向に延びる複数の帯状領域である透光領域62ごとに、サブピクセルから射出される画像光の伝播方向である光線方向を規定する。所定方向は、鉛直方向と0度でない所定角度をなす方向である。図1に示されるように、パララックスバリア6がアクティブエリア51に配列されたサブピクセルから射出された画像光を規定することによって、観察者の眼が視認可能なアクティブエリア51上の領域が定まる。以降において、観察者の眼の位置に伝播する画像光を射出するアクティブエリア51内の領域は可視領域51aと称される。観察者の左眼の位置に伝播する画像光を射出するアクティブエリア51内の領域は左可視領域51aL(第1可視領域)と称される。観察者の右眼の位置に伝播する画像光を射出するアクティブエリア51内の領域は右可視領域51aR(第2可視領域)と称される。
 具体的には、図3に示されるように、パララックスバリア6は、複数の、画像光を遮光する遮光面61を有する。複数の遮光面61は、互いに隣接する該遮光面61の間の透光領域62を画定する。透光領域62は、遮光面61に比べて光透過率が高い。遮光面61は、透光領域62に比べて光透過率が低い。
 透光領域62は、パララックスバリア6に入射する光を透過させる部分である。透光領域62は、第1所定値以上の透過率で光を透過させてよい。第1所定値は、例えば略100%であってよいし、100%未満の値であってよい。アクティブエリア51から射出される画像光が良好に視認できる範囲であれば、第1所定値は、100%以下の値、例えば、80%または50%などとし得る。遮光領域61は、パララックスバリア6に入射する光を遮って殆ど透過させない部分である。言い換えれば、遮光領域61は、表示パネル5のアクティブエリア51に表示される画像が、観察者の眼に到達することを遮る。遮光領域61は、第2所定値以下の透過率で光を遮ってよい。第2所定値は、例えば略0%であってよく、0%より大きく、0.5%、1%または3%等、0%に近い値であってよい。第1所定値は、第2所定値よりも数倍以上、例えば、10倍以上大きい値とし得る。
 透光領域62と遮光面61とは、アクティブエリア51に沿う所定方向に延び、所定方向と直交する方向に繰り返し交互に配列される。透光領域62は、サブピクセルから射出される画像光の光線方向を規定する。
 図1に示されるように、透光領域62の水平方向における配置間隔であるバリアピッチBp、アクティブエリア51とパララックスバリア6との間のギャップgは、適視距離dおよび標準距離E0を用いた次の式(1)および式(2)が成り立つように規定される。
    E0:d=(n×Hp):g             …(1)
    d:Bp=(d+g):(2×n×Hp)       …(2)
 パララックスバリア6は、第2所定値未満の透過率を有するフィルムまたは板状部材で構成されてよい。この場合、遮光面61は、当該フィルムまたは板状部材で構成される。透光領域62は、フィルムまたは板状部材に設けられた開口で構成される。フィルムは、樹脂で構成されてよいし、他の材料で構成されてよい。板状部材は、樹脂または金属等で構成されてよいし、他の材料で構成されてよい。パララックスバリア6は、フィルムまたは板状部材に限られず、他の種類の部材で構成されてよい。パララックスバリア6は、基材が遮光性を有してよいし、基材に遮光性を有する添加物が含有されてよい。
 パララックスバリア6は、液晶シャッターで構成されてよい。液晶シャッターは、印加する電圧に応じて光の透過率を制御し得る。液晶シャッターは、複数の画素で構成され、各画素における光の透過率を制御してよい。液晶シャッターは、光の透過率が高い領域または光の透過率が低い領域を任意の形状に形成し得る。パララックスバリア6が液晶シャッターで構成される場合、透光領域62は、第1所定値以上の透過率を有する領域としてよい。パララックスバリア6が液晶シャッターで構成される場合、遮光面61は、第2所定値以下の透過率を有する領域としてよい。
 このように構成されることによって、パララックスバリア6は、アクティブエリア51の一部のサブピクセルから射出した画像光を、透光領域62を通過させ観察者の右眼に伝搬させる。パララックスバリア6は、他の一部のサブピクセルから射出した画像光を、透光領域62を通過させ観察者の左眼に伝搬させる。画像光が観察者の左眼および右眼のそれぞれに伝播されることによって、観察者の眼に視認される画像について、図4および図5を参照して詳細に説明する。
 図4に示す左可視領域51aLは、上述のように、パララックスバリア6の透光領域62を透過した画像光が観察者の左眼に到達することによって、観察者の左眼が視認するアクティブエリア51上の領域である。左不可視領域51bLは、パララックスバリア6の遮光面61によって画像光が遮られることによって、観察者の左眼が視認することのできない領域である。左可視領域51aLには、サブピクセルP1の半分と、サブピクセルP2~P6の全体と、サブピクセルP7の半分とが含まれる。
 図5に示す右可視領域51aRは、パララックスバリア6の透光領域62を透過した他の一部のサブピクセルからの画像光が観察者の右眼に到達することによって、観察者の右眼が視認するアクティブエリア51上の領域である。右不可視領域51bRは、パララックスバリア6の遮光面61によって画像光が遮られることによって、観察者の右眼が視認することのできない領域である。右可視領域51aRには、サブピクセルP7の半分と、サブピクセルP8~P12の全体と、サブピクセルP1の半分とが含まれる。
 サブピクセルP1~P6に左眼画像が表示され、サブピクセルP7~P12に右眼画像が表示されると、左眼および右眼はそれぞれ画像を視認する。右眼画像および左眼画像は互いに視差を有する視差画像である。具体的には、左眼は、サブピクセルP1に表示された左眼画像の半分と、サブピクセルP2~P6に表示された左眼画像の全体と、サブピクセルP7に表示された右眼画像の半分とを視認する。右眼は、サブピクセルP7に表示された右眼画像の半分と、サブピクセルP8~P12に表示された右眼画像の全体と、サブピクセルP1に表示された左眼画像の半分とを視認する。図4及び図5において、左眼画像を表示するサブピクセルには符号「L」が付され、右眼画像を表示するサブピクセルには符号「R」が付されている。
 本開示に係る3次元表示装置において、適視距離dから第1眼(例えば、左眼)で見た透光領域62の中央部からの距離を位相とし、単位をサブピクセル幅とする、例えば、図に示されるように、サブピクセル毎に位相が「5,6,7,0,…」にように決まる。このような理想的なパララックスバリア6の場合は、表示パネル5全体で固有の周期性の位相が決まる。
 この状態において、観察者の左眼が視認する左眼画像の領域は最大となり、右眼画像の面積は最小となる。観察者の右眼が視認する右眼画像の領域は最大となり、左眼画像の面積は最小となる。したがって、観察者は、クロストークが最も低減された状態で3次元画像を視認する。
 上述のように構成された3次元表示装置2で、互いに視差を有する左眼画像と右眼画像とが左可視領域51aLおよび右可視領域51aRそれぞれに含まれるサブピクセルに表示されると、眼間距離Eが標準距離E0である観察者は3次元画像を適切に視認し得る。上述した構成では、左眼によって半分以上が視認されるサブピクセルに左眼画像が表示され、右眼によって半分以上が視認されるサブピクセルに右眼画像が表示された。これに限られず、左眼画像および右眼画像を表示させるサブピクセルは、アクティブエリア51、パララックスバリア6等の設計に応じて、クロストークが最小になるように左可視領域51aLおよび右可視領域51aRに基づいて適宜判定されてよい。例えば、パララックスバリア6の開口率等に応じて、左眼によって所定割合以上が視認されるサブピクセルに左眼画像を表示させ、右眼によって所定割合以上が視認されるサブピクセルに右眼画像を表示させてよい。
 コントローラ7は、3次元表示システム100の各構成要素に接続され、各構成要素を制御し得る。コントローラ7によって制御される構成要素は、検出装置1および表示パネル5を含む。コントローラ7は、例えばプロセッサとして構成される。コントローラ7は、1以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けIC(ASIC:Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD:Programmable Logic Device)を含んでよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。コントローラ7は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってよい。コントローラ7は、記憶部を備え、記憶部に各種情報、または3次元表示システム100の各構成要素を動作させるためのプログラム等を格納してよい。記憶部は、例えば半導体メモリ等で構成されてよい。記憶部は、コントローラ7のワークメモリとして機能してよい。
 メモリ8は、例えばRAM(Random Access Memory)およびROM(Read Only Memory)など、任意の記憶デバイスによって構成される。
 観察者の眼間距離Eが標準距離E0とは異なる眼間距離E1である場合、図6に示すように左可視領域51aLの一部が右可視領域51aRの一部と重なった両眼可視領域51aLRが存在することがある。したがって、左可視領域51aLに基づいて左眼画像を表示させるべきと判定された左サブピクセル(第1サブピクセル)であって、右可視領域51aRに基づいて右眼画像を表示させるべきと判定された右サブピクセル(第2サブピクセル)であるサブピクセルが存在することがある。左サブピクセルは、例えば、左可視領域51aLに所定割合(例えば、半分)以上が含まれるサブピクセルである。右サブピクセルは、例えば、右可視領域51aRに所定割合以上が含まれるサブピクセルである。
 このような構成において、左サブピクセルであって右サブピクセルでもあるサブピクセルに右眼画像が表示されると、左眼が視認する右眼画像が増加する。左サブピクセルであって右ピクセルであるサブピクセルに左眼画像が表示されると、右眼が視認する左眼画像が増加する。そのため、重なったサブピクセルに左画像および右眼画像のいずれを表示させても、クロストークが増加することがある。そこで、コントローラ7は、眼間距離E1を有する観察者が、標準距離E0に基づいて構成された3次元表示装置2を視認したときに発生するクロストークを低減すべく制御を行う。以降において、コントローラ7について詳細に説明する。
 コントローラ7は、観察者の眼の移動距離を切換え周期Tで割った数を、インデックス値のバリエーション数で割った余りの値分だけ、ずれ量として初期位相から増減してサブピクセルに第1画像および第2画像を表示させる制御を実行するように構成されてよい。
 コントローラ7が実行する位相制御の一例である初期位相方式の一例について説明する。コントローラ7は、複数のサブピクセルのそれぞれに対する透光領域62のずれを表す位相であるずれ量をI、第1眼および第2眼の視差方向の移動距離をL、第1画像と、第2画像との切換え周期をT、およびアクティブエリア51の、第1画像と第2画像との切換え位置を表すインデックス値のバリエーション数をVとしたとき、次式(3)が成立するように、位相が決定されてよい。コントローラ7は、
    I+{L/(T×V)}               …(3)
に基づいて、複数のサブピクセルのそれぞれが第1画像および第2画像のいずれを表示するかを割り当てる構成とされてよい。
 メモリ8は、第1眼の位置および第1眼の位置から標準距離E0にある第2眼の位置と、アクティブエリア51に配列されたサブピクセルに表示させる画像との対応を示すテーブルを記憶する。コントローラ7は、第1眼の位置に基づいて、テーブルを用いて第1サブピクセルを判定し、第2眼の位置に基づいて、テーブルを用いて第2サブピクセルを判定する構成であってよい。
 コントローラ7は、観察者の特性に基づいて、第1画像または第2画像を第3画像として表示してよい。コントローラ7は、第3サブピクセルに、例えば、黒画像を第3画像として表示してよい。黒画像は、例えば、黒色のような、所定輝度を有する画像である。所定輝度は、サブピクセルの表示可能な階調レベルのうち、最も低い階調の輝度またはこれに準じる階調の輝度に対応する値とすることができる。コントローラ7は、第3サブピクセルに黒画像を表示してよい。
 コントローラ7は、第3サブピクセルに、例えば、観察者の特性に基づいて、左眼画像および右眼画像のいずれかの画像を第3画像として表示してよい。観察者の特性は、例えば、観察者の利き目に関する特性である。具体的には、コントローラ7は、予め設定された、あるいは外部から入力された観察者の利き目を示す情報に基づいて、利き目に対応する、左眼画像および右眼画像のいずれかの画像を表示してよい。コントローラ7は、観察者の利き目が左眼である場合、第3画像として左眼画像を表示し、観察者の利き目が右眼である場合、第3画像として右眼画像を表示してよい。
 コントローラ7は、第3サブピクセルに、左眼画像および右眼画像の輝度値の平均値となる輝度値を有する平均画像を第3画像として表示してよい。
 コントローラ7は、第1画像および第2画像の輝度値の平均値となる輝度値を有する平均画像を、第3画像として表示してよい。
 コントローラ7は、アクティブエリア51に平行で、パララックスバリア6から適視距離dにある面に投影した第1投影位置を第1眼の位置とし、第2眼の位置を前記面に投影した第2投影位置を第2眼の位置として、第1画像および第2画像を表示させてよい。
 コントローラ7は、アクティブエリア51の中心部と、中心部から視差方向に沿って第1眼側に最も離れた第1外縁部と、中心部から視差方向に沿って第2眼側に最も離れた第2外縁部との少なくとも3箇所のずれ量Iを用いて、複数のサブピクセルのそれぞれが第1画像および第2画像のいずれを表示するかを割り当てるように構成されてよい。
 初期位相方式の一例として、3次元表示装置2は、適視距離dから第1眼(例えば、左眼)で見た透光領域62の中央部からの距離を位相とし、単位をサブピクセル幅とする。例えば、図7に示されるように、サブピクセル毎に位相が「5,6,7,0,…」のように決まる。このように理想的なパララックスバリア6の場合は、表示パネル5全体で固有の周期性の位相が決まる。3次元表示装置2は、表示パネル5および観察者の両眼があると想定される想定空間の間に位置し、合成画像を拡大可能に構成される光学系として、図24に示す後述の複数光学部材41を含む。
 第1眼(例えば、左眼)が動くと、図8に示されるように、位相が「5.2,6.2,7.2,0.2,…」のように変化する。また、第1眼(または第2眼)の位置が動かなくても、実際のパララックスバリア6では表示パネル5の端になるほど位相はずれる。これを解消するため、例えば、第1眼(または第2眼)用の第1画像(または第2画像)を、位相6.5~1.5のサブピクセルに割り当てることによって、瞳の位置毎に局所的に合成画像が更新されることになる。
 図9は、表示パネル5のサブピクセルに対して理想のパララックスバリア6が配設されているものと仮定したときの位相を示す図である、図10は、理想のパララックスバリア6からのずれの位相を示す図である。図11は、眼の位置が移動したときの位相を示す図である。表示パネル5のサブピクセルのすべてにパララックスバリア6の透光領域62のすべてが対応して位置する理想的な状態、すなわち設計どおりの配置関係にある場合、位相は図10に示されるように、周期的な値によって表される。表示パネル5にパララックスバリア6が積層された組立状態では、現実は機械的な寸法誤差が生じうる。
 適視距離dで眼がx方向、y方向に移動すると、図11に示されるように、パララックスバリア6と画素とは同じ値をとるように制御されるが、例えば光学系の歪み等のよって設計から期待される位相シフトからずれが不可避的に発生する。この場合には、各サブピクセルは、各透光領域62に対して、異なる位相変化となる。
 従って、表示パネル5にパララックスバリア6を実装するとき、設計どおりの理想からのパララックスバリア6の各透光領域62に対するずれ量を近似関数によって算出し、その算出値を後述の図11に示されるように瞳位置に対応させて前述のテーブルにサブピクセル毎の値として格納してよい。この場合、テーブルに格納する値は、実数で格納される。この実数は整数に限定されず、小数としうる。
 次に、本開示に係る近似関数方式の一例を実行する3次元表示装置の本実施形態について述べる。本実施形態では、瞳位置による位相シフト量の計算では、虚像ディスプレイまでの距離、1サブピクセルシフトのための瞳移動量は必要としない、任意位置から見た位相値が測定値から導かれた近似関数で算出される。
 前述の3次元表示装置2のコントローラ7は、5次元の関数f(x,y,z,Px,Py)に基づいて複数のサブピクセル群Pgの配列パターンを決定する。
 3次元表示装置2の2次元位置は、表示パネル5において、観察者の視差方向に対応するPx方向、及び、Px方向に交わるPy方向である。また、前述の3次元表示装置2の3次元位置は、観察者の視差方向に対応するEx方向、Py方向に対応するEy方向、及び、Ex方向及びEy方向に交わるEz方向である。
 本開示の実施形態の3次元表示装置2では、アイボックス内で観察者の瞳の位置をX,Y,Z方向に変化させた複数の位置で位相測定を行う。位相は、表示パネル5の座標(Px,Py)のデータであるが、それが、瞳の位置座標(Ex,Ey,Ez)毎に得られる。結局、位相は、瞳位置と表示パネル5のパネル座標(Ex,Ey,Ez,Px,Py)の関数で表現され、それが求まれば、3次元画像の合成に使用することができる。
 位相測定は、表示パネル5上の数か所(Pi)、瞳位置の数か所(Ej)で行われる。ここで、Piは(Pxi,Pyi)で、Ejは(Exj,Eyj、Ezj)を表す。位相の関数Phaseは(Ex,Ey,Ez,Px,Py)の関数であるので、例えば2次関数を仮定して最小二乗法で求めることができる。
 Phase(Ex,Ey,Ez,Px,Py)から、3次元HUDの動作時は、瞳位置に対して、Phase(Px,Py)が得られるので、それを合成に使用する。
 全ピクセルの位相をPhase(Px,Py)で求めてもよいし、表示パネル5の20×10の点を、位相を内挿して全ピクセルに展開してもよい。
 また位相を滑らかな関数として求めてもよいし、理論計算とのずれ分を滑らかな関数としてもとめてもよい。瞳位置検出カメラの位置、向きの補正もこのずれに入れ込んでしまうこともある。つまり、光学系の歪みだけでなく、カメラの位置、向きが起因のずれも合わせて処理することができる。その場合、瞳位置座標は、瞳位置検出カメラによる座標を使用することになる。
 初期位相方式および近似関数方式における処理量について考察する。
 初期位相方式では、初期位相分布は記憶領域にあり、瞳のXY方向の移動による位相シフト量Phase(Px,Py)の計算は、ピクセル位置座標を(Px,Py)とし、瞳位置座標を(Ex,Ey,Ez)とし、Z0を適視距離とし、表示パネル4のアクティブエリア51をクロストークの低減を考慮した更新周期として、15.75を想定すると、
 Phase(Px,Py)=(Ex+Ey/3)/15.75×Ez/Z0                             …(4)
で求まり、瞳のZ方向移動による位相シフト量PhaseZ(Px,Py)は、
 PhaseZ(Px,Py)=(Px+Py/3)×B+C  …(5)
によって算出される。位相は瞳位置が決まれば変化しない部分である初期位相分布と位相シフト量とを定数とすることができるので、瞳のXY方向の移動による位相シフト量Phase(Px,Py)は、式(4)および式(5)を定数とすると、次式(6)によって表される。
 Phase(Px,Py)=A+(Px+Py/3)×B   …(6)
 Px,Pyの2重ループの計算を考慮すると、式(6)は、
 Phase(Py)=A+Py×B             …(7)
 と簡素化することができる。
 次に近似関数方式(2次関数での近似の場合)について説明する。近似関数は21項あるが、瞳位置が決まると、瞳位置は定数として省略することができる。その結果、6項の2次関数まで小さくなる。すなわち、
 Phase(Px,Py)=A1×Px+A2×Py+A3×Px×Py+A4×Px+A5×Py+A6              …(8)
によって表される。Px,Pyの2重ループの計算を考慮すると、
 Phase(Py)=A×Py+B×Py+C       …(9)
 によって表される。このように近似関数は、21項の多項式であるが、合成時は瞳の位置が決まることによって定数化される部分が多く、最終的には上記の式(9)で示されるように、3項の2次式になり、実用上の計算負荷が少ない。この近似関数は、式4,5に比べて変数が少なく、コントローラ7は、当該近似間数を初期位相に基づいて算出する場合に比べて高速に処理することが可能となる。
 本実施形態の3次元表示装置2は、複数のサブピクセル群Pgを含み、第1画像及び前記第1画像に対して視差を有する第2画像を含む合成画像を、当該複数のサブピクセル群Pgに表示可能なアクティブエリア51を有する表示パネル5と、複数のサブピクセルのそれぞれから射出される画像光の光線方向を規定する複数の透光領域を有する光学素子であるパララックスバリア6と、観察者の第1眼の3次元位置を取得する取得部と、前記3次元位置に基づいて合成画像を合成してアクティブエリア51に表示させるコントローラ7と、を備える3次元表示装置である。コントローラ7は、複数のサブピクセル群Pgのそれぞれに、第1画像及び第2画像をいずれの配列で表示させるかを、各サブピクセル群Pgの2次元位置および3次元位置に基づいて決定し、当該決定に基づいて、第1画像及び第2画像を合成して合成画像を生成し、当該合成画像を複数のサブピクセル群Pgに表示させるように構成されている。
 また前述の3次元表示装置2の複数のサブピクセル群Pgのそれぞれは、2以上の第1数のサブピクセルを含み、各サブピクセルが第1画像及び第2画像のいずれを表示するかを示す第1数の配列パターンを有する。本実施形態において、第1数は例えば8または12のような数値として決定され、予めメモリ8に記憶され、コントローラ7によって読み出すように構成されてよい。
 また、前述の3次元表示装置2は、観察者の両眼があると想定される想定空間を撮像するように構成されるカメラCと、第2カメラC1と、表示パネル5および観察者の両眼があると想定される想定空間の間に位置し、合成画像を拡大可能に構成される光学系である光学部材410とを含んでよい。光学部材410は、例えば反射鏡であってよい。
 実装方法としては、瞳の位相Phase(Ex,Ey,Ez,Px,Py)から、3次元HUDの動作時は瞳位置(Ex,Ey,Ez)に対して、Phase(Px,Py)が得られるので、それを合成に使用する。全ピクセルの位相をphase(Px,Py)で求めてもよいし、パネルの20×10の点の位相を内挿して全ピクセルに展開してよい。
 位相を滑らかな関数として求めても良いし、理論計算とのずれ分を滑らかな関数として求めてもよい。瞳位置検出カメラの位置・向きの補整もこのずれに入れ込んでしまうこともできる。つまり、光学系の歪みだけでなくカメラの位置・向きに起因のずれも合わせて処理することができる。その場合、瞳位置座標は、瞳位置検出カメラによる座標を使用することになる。
 次にコントローラ7による演算処理が高速化される理由について述べる。本実施形態では、シェーダーおよび20画素×10画素程度の位置で位相を求めて、それをパネル全体に拡大する簡易法のいずれかを用いて計算を高速化することができる。シェーダーは描画に用いられる装置である。シェーダーに処理をさせるとGPUの複数のプロセッサが描画処理を分割して並列処理ができるため、コントローラ7は、処理の高速化が可能となる。シェーダー法の場合、瞳位置座標をEx,Ey,Ezとし、表示パネル5のピクセル座標をPx,Pyとする。位相はEx,Ey,Ez,Px、Pyの関数で、例えば2次関数で近似できる。つまりEx1,Ey1,Ez1の瞳位置に位相分布は、f(Ex1,Ey1,Ez1,Px,Py)で計算できる。またより簡便な方法としては、20×10程度の位置で位相を求めて、それをパネル全体に拡大することである。これは、実測値から瞳位置の関数として位相値を近似するので、位相の挙動が複雑でない限り、正確である。
 コントローラ7は、複数のサブピクセル群Pgの各サブピクセル群Pgに第1画像及び第2画像をいずれの配列で表示させるかを、当該各サブピクセル群Pgの2次元位置および3次元位置に基づいて決定し、当該決定に基づいて、第1画像及び第2画像を合成して合成画像を生成し、当該合成画像を複数のサブピクセル群Pgに表示させるように構成されている。
 3次元表示装置2は、観察者の両眼があると想定される想定空間を撮像するために、図13に示される観察者の両眼を撮影する第1カメラCと、第1カメラCの位置を計測するための第2カメラC1とを含んでよい。第2カメラC1は、例えばステレオカメラによって実現されてもよい。第1カメラCによって観察者の瞳位置を例えば27箇所で位置を変えて撮像し、第1カメラCの変位を第2カメラC1の撮像画像に基づいて相殺し、位置の異なる27箇所の位相が計測される。この瞳位置の計測には、位相限定相関法PoC(Phase Only Correlation)が用いられてよい。この手法によれば、第1カメラによる各撮影画像の類似性を示す相関が算出され、撮影画像をフーリエ変換することによって、濃淡データが振幅となり、像の輪郭が位相として得られる。
 コントローラ7が稼動する事前準備として、瞳位置が想定されるアイボックス空間の数か所で、カメラCによって瞳位置毎の位相測定行い、位相データを瞳位置と表示パネル5の座標の滑らかな関数として、前述の式(9)で示される近似関数を求める。動作時においては、瞳位置から近似関数を使って位相分布を求め、3次元画像合成に使用することができる。この場合、簡単な関数で近似されるので、位相分布計算を高速で処理することができる。
 近似関数には、さまざまな情報が取り込まれており、ばらつきの補正をここでする必要がない。例えば、カメラCの画像から出す瞳位置の実際のずれの影響、カメラの位置、向きの影響、パララックスバリアの位置ずれ(すなわち、x,y,θに加えて厚さ方向のずれ)凹面鏡、ウインドシールドの影響などである。
 従来技術では、設計から瞳位置移動による位相シフト量が計算されていたが、ばらつきの影響で理想とのずれは解消できていない。本実施形態によれば、瞳位置毎の位相値が測定値から推測されるため、設計からのずれを補正することができる。
 近似関数は、表示パネル5毎に異なる部分と共通の部分とに分けられる場合がある。その場合は、表示パネル5毎に異なる部分だけの測定を行い、それに共通する部分を加えることで、近似関数とすることができる。要するに、滑らかな近似関数を求めるための多数箇所での測定は一度だけでよく、個別の表示パネル5は1箇所の測定だけで済ませてもよい。
 図12は、27箇所の瞳位置に対する表示パネル5上の35箇所の近似関数から求めたデータの一例を示す図である。図12は、横軸が瞳位置(Ex,Ey,Ez)とし、縦軸が表示パネル5の35箇所の位置(Px,Py)としたときの位相値を示す表である。近似関数の係数a[0]~a[20]を決定し、近似関数によって測定点での位相値を求め、測定値との差を確認すると、ほぼ±0.1位相の間に収まっていることが判る。
 次に、測定値と解析解との差異分を多項式で算出する3次元表示装置2の他の実施形態について述べる。本実施形態の3次元表示装置2は、測定値と解析解との差分値を多項式で表現するので、多項式ゆえに再現できない部分は小さくなり、測定値の再現性を向上させることができる。なお、前述の実施形態に対応する部分には、同一の参照符を付し、重複する説明は省略する。3次元表示装置2は、前述の実施形態の3次元表示装置2と同様に、取得部3と、照射器4と、表示パネル5と、光学素子としてもパララックスバリア6と、コントローラ7と、メモリ8とを含んで構成される。
 コントローラ7は、3次元表示装置2が製作上のばらつきおよび部品の光学的歪のない理想的な状況で動作するとした場合に計算で求められる解析解と、3次元表示装置2の実際の製作上のばらつきおよび部品の光学的な歪によって生じる前記解析解からのずれとを、5次元関数の多項式の和によって近似値を算出するように構成される。
 まず「位相」について説明する。
 図13は、右眼で見たときの3次元表示装置2の拡大図である。サブピクセル毎に図13のように番号が振られている。パララックスバリアは半透明で描かれているが、実際には遮光している。パララックスバリア6の開口を通して、7と0のサブピクセルが見えている。位相は右眼から見たバリア開口の中心が指すサブピクセルの番号である。図13の例では、パララックスバリア開口の中心が指すのは7と0の中間なので、位相は7.5となる。
 コントローラ7は、位相を使って3次元画像合成処理を実行する。位相値の±2の番号のサブピクセルは右眼の画像用とし、残りのサブピクセルは左眼の画像用とすることで3次元画像合成となる。図14の例では、6,7,0,1番のサブピクセルに右眼の画像、2,3,4,5番のサブピクセルに左眼の画像を割り当てる。ここで「割り当てる」とは、サイドバイサイド画像として右眼用の画像と左眼用の画像とが用意されており、表示する表示パネル5にどちらの画像から色を持ってくるかというのが割り当てになる。
 位相というのは、瞳位置座標(Ex,Ey,Ez)と表示パネル5の座標(Lx,Ly)との関数として測定され、多項式近似される。つまり、位相の多項式近似関数をP(Ex,Ey,Ez,Lx,Ly)として求められる。P(Ex,Ey,Ez,Lx,Ly)に(Ex,Ey,Ez)と(Lx,LY)とを代入すると、位相値が得られ、表示パネル5全体の(Lx,Ly)での画像合成ができる。
(解析解)
 理想の3次元表示装置2の位相を表現する関数を解析解と呼ぶ。求めたいのは瞳位置座標、表示パネル5の座標を変数とした位相である。解析解をAP(Ex,Ey,Ez,Lx,Ly)とする。
(解析解の挙動)
 表示パネル5の座標は、中心を(0,0)とし、適視距離の表示パネル5から瞳位置までの距離をZ0とする。瞳位置座標は、表示パネル5の位置を基準として座標系にする。つまり、表示パネル5の正面でZ0離れた位置(0,0,Z0)が適視距離のアイボックスの中心位置になる。この位置での表示パネル5全体の位相は0になるように設計される。つまり、AP(0,0,Z0,Lx,Ly)=0であり、Lx、Lyは表示パネルにおける全ての位置に対応している。この瞳位置から、Z方向に移動した後、X方向およびY方向に移動して(Ex,Ey,Ez)の位置に至るとして、位相を計算する。
 次のX、Y方向に移動したときの位相値の計算およびZ方向に移動したときの位相値の計算についての記述から、表示パネル5のアクティブエリア51をクロストークの低減を考慮した更新周期として、15.75を想定したとき、解析解は以下のようになる。
 AP(Ex,Ey,Ez,Lx,Ly)=(A×(Lx+Ly/3))/Ez×(Ez-Z0)/15.75+(Ex/15.75)×(Ez/Z0)+(Ey/15.75/3)×(Ez/Z0)                  …(10)
(位相値の計算)X、Y方向に移動したときの計算
 図15に示されるように、瞳位置がZ0離れた位置で、X方向に15.75mm移動すると位相は1変化する。瞳位置がZの位置では、X方向に15.75mm×(Ez/Z0)移動すると位相は1変化する。
 位相の変化量として、次のように表される。
 P(Ex,0,Ez,Lx,Ly)-P(0,0,Ez,Lx,Ly)=(Ex/15.75)×(Ez/Z0)                    …(11)
 Y方向の移動に対してはその1/3が変化する。パララックスバリアが傾き3で作られている場合である。位相の変化量として、次のように表すことができる。なお、ここで傾きとは、直線の変化の割合を示すものであり、すなわち横の変化量に対する縦の変化量の割合である。図13の例で説明すると、直線がマイナスの傾きになっているが、ここでの傾きは絶対値を示している。以下、傾きは絶対値を示すこととする。
 P(0,Ey,Ez,Lx,Ly)-P(0,0,Ez,Lx,Ly)=(Ey/15.75/3)×(Ez/Z0)                  …(12)
(位相値の計算)Z方向に移動したときの計算
 図16に示されるように、Z0の位置で15.75mm、X方向に移動すると位相が1変化する。次に、Z方向の移動がZ0での位置でのX方向のどれくらいの移動になるかを計算する。表示パネル5の座標は中心を0としているので、X方向の位置座標としては、Lxに係数Aを掛けてミリメートル単位に変換できる。1画素の幅がAmmのとき、Ez位置は、Z0でのX方向移動相当距離は、(A×Lx)/Ez×(Ez-Z0)となる。
 P(0,0,Ez,Lx,Ly)-P(0,0,Z0,Lx,Ly)=(A×Lx)/Ez×(Ez-Z0)/15.75              …(13)
 P(0,0,Ez,Lx,Ly)=(A×Lx)/Ez×(Ez-Z0)/15.75                           …(14)
 P(0,0,Z0,Lx,Ly)=0              …(15)
なので、Y方向の移動の効果も入れると、
 P(0,0,Ez,Lx,Ly)=(A×(Lx-Ly/3))/Ez×(Ez-Z0)/15.75                      …(16)
である。
 Z0の位置からEzへ移動したとき、Lxの位置を見る角度は、Z0の位置でΔだけX方向に移動したときに等しい。これからLxの位置のEz位置での位相が計算できる。
(効果の説明)
 図17Aおよび図17Bに示されるように、解析解を2次多項式で表現する。その結果、瞳位置の範囲をExが±100mm、Eyが±50mm、Exが適視距離-200mm~+100mmとして、最大で解析解と2次の多項式とのずれが0.2となる。つまり、解析解は2次の多項式では表現しきれない部分が位相で0.2発生してしまう。ここで、解析解を差し引いた分を多項式で表現する場合、解析解+多項式で位相を再現すると多項式の部分は0になるので、表現された位相と解析解の差は0になる。
 また、図18Aおよび図18Bに示されるように、理想的な3次元表示装置2の場合は、明らかに解析解からの差分を多項式で表現したほうが良いことになる。3次元HUDのような歪の大きい3次元表示装置の場合でも、解析解との差分を多項式で表現するほうが測定値との差異が小さくすることができる。
 理論的な位相変化を多項式がどの程度表現できるかを調べる。方法としては、相シフトの解析解を使用して、瞳位置27カ所×表示パネル5の座標35カ所の位相を求める。この位相を使用して多項式で位相の挙動を表現し、解析解との差異を調べる。
 表示パネル5は、4.1インチ、1280mm×640mm、適視距離:800mmとする。瞳位置の範囲は、Z方向の距離を600~900mmと700~900mmとする。XY方向の交差は、±100mmである。多項式としては、瞳位置に関して2次、表示パネル5のピクセル座標に関して3次式を用いる。
(結果)
 解析解で3D表示ができることは確認できた。Z方向の距離が600~900mmのとき、解析解と多項式の差異は最大0.2であり、Z方向の距離が700~900mmのとき、解析解と多項式の差異は最大0.09である。
 特徴としては、直視でも貼り合わせずれ等による位相ずれが発生するので、解析解とのずれ分を多項式で表現する方式にすることで、ずれ量を最小限にすることができる。また解析解を使うと多項式の次数を下げることができて、測定時のカメラ位置を8箇所程度に削減できる。
(位相シフトの解析解)
 適視距離のアイボックスセンターの瞳位置をEx,Ey,Ez=0,0,0とする。
 Ex,Ey=0でZ方向に移動したときの位相を求め、さらにEx,Ey移動したとして位相を計算する。
 適視距離でEx,Ey=0のときの位相を0とする。
 P(0,0,Z0,Lx,Ly)=0              …(17)
 Ex,Ey=0のまま、Z移動するとパララックスバリアの傾き3を考慮して、パララックスバリアの中心線からの距離をLとして、仮想的な瞳の移動量Δが計算される。
 Δ=(L×Ez)/(Z0+Ez)              …(18)
 L=(3×Lx+Ly)×1/sqrt(3×3+1×1)   …(19)
 ΔはZ0での移動量なので、A×Δ/15.75で位相分布を計算できる。
 さらにEx,Eyの移動分を加算する。
 Ex×(Z0/(Z0+Ez))/15.75          …(20)
 Ey×(Z0/(Z0+Ez))/15.75/3        …(21)
 図19を参照して、ラインLY=LX/3からの距離に比例して位相が変化する。適視距離から離れると位相が変化する。ラインLY=LX/3からの距離をL(pixel)とする。ピクセル辺りの実距離をA(mm/pixel)とする。適視距離までの距離をZ0(mm)とする。適視距離から瞳までのZ方向距離をEz(mm)とする。
 図20に示されるように、Δ=(L×Ez)/(Z0+Ez)によって表される。
 L=(3×Lx+Ly)×1/sqrt(3×3+1×1)   …(22)
 ΔはZ0での移動量なので、A×Δ/15.75で位相分布を計算できる。
 図21に示されるように、
 L=Lx+Ly/3/sqrt(3×3+1×1)×3    …(23)
 ラインLY=LX/3からの距離に比例して位相が変化する。適視距離から離れると位相が変化する。
 ラインLY=LX/3からの距離をL(pixel)とする。ピクセル辺りの実距離をA(mm/pixel)とする。適視距離までの距離をZ0(mm)とする。適視距離から瞳までのZ方向距離をEz(mm)とする。
 図22に示されるように、
 Δ=(L×Ez)/(Z0+Ez)              …(24)
 L=(3×Lx+Ly)×1/sqrt(3×3+1×1)   …(25)
 ΔはZ0での移動量なので、A×Δ/15.75で位相分布を計算できる。
 以上のように、位相は瞳の位置座標(Ex,Ey,Ez)、パネル内の位置座標(Px,Py)を変数とする5次元の関数で表現される。例えば、瞳の位置を27カ所、表示パネル5内の位置座標35カ所の位相の測定を行い、測定値を再現する関数を多項式で表現し最小二乗法で多項式の係数を決定する。多項式の次数は、次数を高くすることでより測定値を忠実に表現できる関数となるが、オーバーフィッティングを避けるために測定数を増やすことが必要となり、測定の手間と精度のバランスを考慮する必要があり、例えば2次、3次、4次が使われる。
 5次元の関数を理想的な装置として動作する場合の解析解と多項式の和とすると、多項式の部分は装置が理想的でないことにより生じる解析解との差異の成分のみを表現することになり、低い次数の多項式で測定値との差が小さい関数を構成することができる。つまり、測定値との差を小さくできるうえ、測定数の削減の効果がある。
 表示パネル5のY方向の移動に対しては、その移動量の1/3が変化する。パララックスバリアが傾き3で作られている場合である。位相の変化量として、次のように表すことができる。表示パネル5からLxの位置のEz位置での位相が計算できる。
 3次元HUDのような歪の大きい3次元表示装置2の場合でも、解析解との差分を多項式で表現するほうが測定値との差異が小さくすることができる。測定値をそのまま多項式で近似した場合および測定値と解析解との差分を多項式で近似した場合、測定値と解析解の差異分を多項式で表現するので、多項式ゆえに再現できない部分は小さくなり、測定値の再現性は向上することができる。
(多項式)
 瞳位置に関して2次式、LCDピクセル座標に関して3次式を用いる。その結果、解析解で3次元表示ができることが確認できた。Z方向の距離が600~900mmのとき、解析解と多項式の差異は最大0.2。Z方向の距離が700~900mmのとき、解析解と多項式の差異は最大0.09である。特徴としては、直視でも貼り合わせずれ等による位相ずれが発生するので、解析解とのずれ分を多項式で表現する方式にすることで、ずれ量を最小限にすることができる。適視距離に位置するアイボックスの瞳位置をEx、Ey,Ez=0,0,0とする。Ex,Ey=0でZ方向に移動したときの位相を求め、さらにEx,Ey移動したとして位相を計算する。適視距離でEx,Ey=0の時の位相を0とする。測定値と解析解の差異分を多項式で表現するので、多項式ゆえに再現できない部分は小さくなり、測定値の再現性を向上することができる。また測定値と解析解の差異分を多項式で表現するので、多項式ゆえに再現できない部分は小さくなり、測定値の再現性を向上することができる。
 さらにEx,Eyの移動分を以下の式26、式27のとおり加算する。
 Ex×(Z0/(Z0+Ez))/15.75       …(26)
 Ey×(Z0/(Z0+Ez))/15.75/3      …(27)
 ラインLY=LX/3からの距離に比例して位相が変化し、適視距離から離れると位相が変化する。ラインLY=LX/3からの距離をL(pixel)とする。ピクセル辺りの実距離をA(mm/pixel)とする。適視距離までの距離をZ0(mm)とする。適視距離から瞳までのZ方向距離をEz(mm)とする。ラインLY=LX/3からの距離をL(pixel)とする。ピクセル辺りの実距離をA(mm/pixel)とする。適視距離までの距離をZ0(mm)とする。適視距離から瞳までのZ方向距離をEz(mm)とする。
 位相は瞳の位置座標(Ex,Ey,Ez)、パネル内の位置座標(Px,Py)を変数とする5次元の関数で表現される。例えば、瞳の位置を27カ所、表示パネル5内の位置座標35カ所の位相の測定を行い、測定値を再現する関数を多項式で表現し最小二乗法で多項式の係数を決定する。多項式の次数は例えば2次、3次、4次が使われる。次数を高くすることでより測定値を忠実に表現できる関数となるが、オーバーフィッティングを避けるために測定数を増やすことが必要となり、測定の手間と精度のバランスを考慮する必要がある。
 5次元の関数を理想的な3次元表示装置として動作する場合の解析解と多項式の和とすると、多項式の部分は装置が理想的でないことにより生じる解析解との差異の成分のみを表現することになり、低い次数の多項式で測定値との差が小さい関数を構成することができる。つまり、測定値との差を小さくできるうえ、測定数を削減できる効果がある。
 図23に示すように、3次元表示システム100は、ヘッドアップディスプレイシステム400に搭載され得る。ヘッドアップディスプレイシステム400は、HUD(Head Up Display)400ともいう。HUD400は、図24に示されるように、3次元表示システム100と、光学部材410と、被投影面430を有する被投影部材420とを備える。HUD400は、3次元表示システム100から射出される画像光を、光学部材410を介して被投影部材420に到達させる。HUD400は、被投影部材420で反射させた画像光を、観察者の左眼および右眼に到達させる。つまり、HUD400は、破線で示される光路440に沿って、3次元表示システム100から観察者の左眼および右眼まで画像光を進行させる。観察者は、光路440に沿って到達した画像光を、虚像450として視認し得る。
 図25に示すように、3次元表示システム200を含むHUD400は、移動体10に搭載されてよい。HUD400は、構成の一部を、当該移動体10が備える他の装置、部品と兼用してよい。例えば、移動体10は、ウインドシールドを被投影部材420として兼用してよい。構成の一部を当該移動体10が備える他の装置、部品と兼用する場合、他の構成をHUDモジュールまたは3次元表示コンポーネントと呼び得る。HUD400、3次元表示システム100は、移動体10に搭載されてよい。本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。
 自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
 前述の実施形態では、5次元の2次関数によって位相関数を構成する例について述べたが、本開示の他の実施形態では、位相関数は2次元に限らず、3次元以上の高次元関数によって位相を算出するように構成されてよい。
 本開示は、次の構成(1)~(11)の態様で実施可能である。
(1)複数のサブピクセル群を含み、第1画像及び前記第1画像に対して視差を有する第2画像を含む合成画像を、当該複数のサブピクセル群に表示可能なアクティブエリアを有する表示パネルと、
 前記サブピクセル群を構成する複数のサブピクセルのそれぞれから射出される画像光の光線方向を規定する複数の透光領域を有する光学素子と、
 観察者の第1眼の3次元位置を取得する取得部と、
 前記3次元位置に基づいて前記合成画像を合成して前記アクティブエリアに表示させるコントローラと、を備える3次元表示装置であって、
 前記コントローラは、前記複数のサブピクセル群のそれぞれに、前記第1画像及び前記第2画像をいかなる配列で表示させるかを、当該各サブピクセル群の2次元位置および前記3次元位置に基づいて決定し、
  当該決定に基づいて、前記第1画像及び前記第2画像を合成して前記合成画像を生成し、
  当該合成画像を前記複数のサブピクセル群に表示させるように構成されている、3次元表示装置。
(2)上記構成(1)に記載の3次元表示装置であって、
 前記複数のサブピクセル群のそれぞれは、
  2以上の第1数のサブピクセルを含み、
  前記各サブピクセルが前記第1画像及び前記第2画像のいずれを表示するかを示す前記第1数のサブピクセルの配列パターンを有する、3次元表示装置。
(3)上記構成(2)に記載の3次元表示装置であって、
 前記コントローラは、前記2次元位置及び前記3次元位置を変数とする5次元の関数に基づいて前記複数のサブピクセル群の前記配列パターンを決定する、3次元表示装置。
(4)上記構成(3)に記載の3次元表示装置であって、
 前記コントローラは、計算で求められる解析解と、前記3次元表示装置における前記解析解からのずれとを前記5次元の関数の多項式の和によって近似値を算出する、3次元表示装置。
(5)上記構成(1)~(3)のいずれか1つに記載の3次元表示装置であって、
 前記2次元位置は、前記表示パネルにおいて、前記観察者の視差方向に対応するPx座標、及び、前記Px座標に交わるPy座標である、3次元表示装置。
(6)上記(1)~(3)のいずれか1つに記載の3次元表示装置であって、
 前記3次元位置は、前記観察者の視差方向に対応するEx座標、前記Ex座標に交わるPy座標に対応するEy座標、及び、前記Ex座標及び前記Ey座標に交わるEz座標である、3次元表示装置。
(7)上記構成(1)~(3)のいずれか1つに記載の3次元表示装置であって、
 前記観察者の両眼があると想定される想定空間を撮像するように構成されるカメラを含む、3次元表示装置。
(8)上記構成(1)~(3)のいずれか1つに記載の3次元表示装置であって、
 前記表示パネルおよび前記観察者の両眼があると想定される想定空間の間に位置し、前記合成画像を拡大可能に構成される光学系を含む、3次元表示装置。
(9)上記構成(8)に記載の3次元表示装置であって、
 前記光学系は、前記合成画像を前記想定空間に向かって反射可能に構成されるとともに、前記想定空間に向かう外光を透過可能に構成される、3次元表示装置。
(10)上記構成(1)~(9)のいずれか1つに記載の3次元表示装置を備える、3次元表示システム。
(11)上記構成(1)~(9)のいずれか1つに記載の3次元表示装置を備える、移動体。
 本開示の一実施形態に係る3次元表示装置は、表示パネルと、光学素子と、取得部とコントローラとを含む。表示パネルは、複数のサブピクセル群を含み、第1画像及び前記第1画像に対して視差を有する第2画像を含む合成画像を、当該複数のサブピクセル群に表示可能なアクティブエリアを有する。光学素子は、前記サブピクセル群を構成する複数のサブピクセルのそれぞれから射出される画像光の光線方向を規定する複数の透光領域を有する。取得部は、観察者の第1眼の3次元位置を取得するように構成されている。コントローラは、前記3次元位置に基づいて前記合成画像を合成して前記アクティブエリアに表示させ、前記複数のサブピクセル群のそれぞれに、前記第1画像及び前記第2画像をいかなる配列で表示させるかを、当該各サブピクセル群の2次元位置および前記3次元位置に基づいて決定し、当該決定に基づいて、前記第1画像及び前記第2画像を合成して前記合成画像を生成し、当該合成画像を前記複数のサブピクセル群に表示させるように構成されている。
 本開示の一実施形態に係る3次元表示装置は、第1画像及び第2画像の合成を、サブピクセル群の位置と観察者の眼の位置に基づいて行っているので、観察者に3次元画像を適切に視認させることができる。
 本開示によれば、観察者に3次元画像を適切に視認させることができる3次元表示装置、3次元表示システム、および移動体を提供することができる。
 以上、本開示の実施形態について詳細に説明したが、また、本開示は上述の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲内において、種々の変更、改良等が可能である。上記各実施形態をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
 1 検出装置
 2 3次元表示装置
 3 取得部
 4 照射器
 5 表示パネル
 6 パララックスバリア
 7 コントローラ
 8 メモリ
 10 移動体
 51 アクティブエリア
 51aL 左可視領域
 51aR 右可視領域
 51bL 左不可視領域
 51bR 右不可視領域
 51aLR 両眼可視領域
 51bLR 両眼不可視領域
 52 ブラックマトリックス
 61 遮光面
 62 透光領域
 100 3次元表示システム
 400 ヘッドアップディスプレイシステム
 410 光学部材
 420 被投影部材
 430 被投影面
 440 光路
 450 虚像

Claims (11)

  1.  複数のサブピクセル群を含み、第1画像及び前記第1画像に対して視差を有する第2画像を含む合成画像を、当該複数のサブピクセル群に表示可能なアクティブエリアを有する表示パネルと、
     前記サブピクセル群を構成する複数のサブピクセルのそれぞれから射出される画像光の光線方向を規定する複数の透光領域を有する光学素子と、
     観察者の第1眼の3次元位置を取得する取得部と、
     前記3次元位置に基づいて前記合成画像を合成して前記アクティブエリアに表示させるコントローラと、を備える3次元表示装置であって、
     前記コントローラは、
      前記複数のサブピクセル群のそれぞれに、前記第1画像及び前記第2画像をいかなる配列で表示させるかを、当該各サブピクセル群の2次元位置および前記3次元位置に基づいて決定し、
      当該決定に基づいて、前記第1画像及び前記第2画像を合成して前記合成画像を生成し、
      当該合成画像を前記複数のサブピクセル群に表示させるように構成されている、3次元表示装置。
  2.  請求項1に記載の3次元表示装置であって、
     前記複数のサブピクセル群のそれぞれは、
      2以上の第1数のサブピクセルを含み、
      前記各サブピクセルが前記第1画像及び前記第2画像のいずれを表示するかを示す前記第1数のサブピクセルの配列パターンを有する、3次元表示装置。
  3.  請求項2に記載の3次元表示装置であって、
     前記コントローラは、前記2次元位置及び前記3次元位置を変数とする5次元の関数に基づいて前記複数のサブピクセル群の前記配列パターンを決定する、3次元表示装置。
  4.  請求項3に記載の3次元表示装置であって、
     前記コントローラは、計算で求められる解析解と、前記3次元表示装置における前記解析解からのずれとを前記5次元の関数の多項式の和によって近似値を算出する、3次元表示装置。
  5.  請求項1~3のいずれか1項に記載の3次元表示装置であって、
     前記2次元位置は、前記表示パネルにおいて、前記観察者の視差方向に対応するPx座標、及び、前記Px座標に交わるPy座標である、3次元表示装置。
  6.  請求項1~3のいずれか1項に記載の3次元表示装置であって、
     前記3次元位置は、前記観察者の視差方向に対応するEx座標、前記Ex座標に交わるPy座標に対応するEy座標、及び、前記Ex座標及び前記Ey座標に交わるEz座標である、3次元表示装置。
  7.  請求項1~3のいずれか1項に記載の3次元表示装置であって、
     前記観察者の両眼があると想定される想定空間を撮像するように構成されるカメラを含む、3次元表示装置。
  8.  請求項1~3のいずれか1項に記載の3次元表示装置であって、
     前記表示パネルおよび前記観察者の両眼があると想定される想定空間の間に位置し、前記合成画像を拡大可能に構成される光学系を含む、3次元表示装置。
  9.  請求項8に記載の3次元表示装置であって、
     前記光学系は、前記合成画像を前記想定空間に向かって反射可能に構成されるとともに、前記想定空間に向かう外光を透過可能に構成される、3次元表示装置。
  10.  請求項1~9のいずれか1項に記載の3次元表示装置を備える、3次元表示システム。
  11.  請求項1~9のいずれか1項に記載の3次元表示装置を備える、移動体。
PCT/JP2022/044283 2021-11-30 2022-11-30 3次元表示装置、3次元表示システム、および移動体 WO2023100956A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021194220 2021-11-30
JP2021-194220 2021-11-30

Publications (1)

Publication Number Publication Date
WO2023100956A1 true WO2023100956A1 (ja) 2023-06-08

Family

ID=86612251

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/044283 WO2023100956A1 (ja) 2021-11-30 2022-11-30 3次元表示装置、3次元表示システム、および移動体

Country Status (1)

Country Link
WO (1) WO2023100956A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018185437A (ja) * 2017-04-26 2018-11-22 京セラ株式会社 3次元表示装置、3次元表示システム、ヘッドアップディスプレイシステム、および移動体
US20190361524A1 (en) * 2018-05-24 2019-11-28 Innolux Corporation Display device
WO2020004276A1 (ja) * 2018-06-26 2020-01-02 京セラ株式会社 画像表示装置、画像表示システム、ヘッドアップディスプレイ、移動体および画像表示方法
JP2021056480A (ja) * 2019-10-01 2021-04-08 京セラ株式会社 3次元表示装置、コントローラ、3次元表示方法、3次元表示システム、及び、移動体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018185437A (ja) * 2017-04-26 2018-11-22 京セラ株式会社 3次元表示装置、3次元表示システム、ヘッドアップディスプレイシステム、および移動体
US20190361524A1 (en) * 2018-05-24 2019-11-28 Innolux Corporation Display device
WO2020004276A1 (ja) * 2018-06-26 2020-01-02 京セラ株式会社 画像表示装置、画像表示システム、ヘッドアップディスプレイ、移動体および画像表示方法
JP2021056480A (ja) * 2019-10-01 2021-04-08 京セラ株式会社 3次元表示装置、コントローラ、3次元表示方法、3次元表示システム、及び、移動体

Similar Documents

Publication Publication Date Title
JP6924637B2 (ja) 3次元表示装置、3次元表示システム、移動体、および3次元表示方法
JP7129789B2 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、および移動体
US20200053352A1 (en) Three-dimensional display apparatus, three-dimensional display system, head-up display system, and mobile body
WO2021066110A1 (ja) 3次元表示装置、コントローラ、3次元表示方法、3次元表示システム、及び、移動体
JP7145214B2 (ja) 3次元表示装置、制御コントローラ、3次元表示方法、3次元表示システム、および移動体
WO2023100956A1 (ja) 3次元表示装置、3次元表示システム、および移動体
JP7188888B2 (ja) 画像表示装置、ヘッドアップディスプレイシステム、および移動体
US11874464B2 (en) Head-up display, head-up display system, moving object, and method of designing head-up display
JP7336782B2 (ja) 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、及び移動体
JP7332448B2 (ja) ヘッドアップディスプレイシステム及び移動体
WO2023074703A1 (ja) 3次元表示装置、3次元表示システム、及び移動体
WO2022065355A1 (ja) 3次元表示装置、3次元表示方法、3次元表示システム、および移動体
JP7475231B2 (ja) 3次元表示装置
JP7475191B2 (ja) 眼間距離測定方法および較正方法
WO2023228887A1 (ja) 3次元表示装置、ヘッドアップディスプレイシステム、及び移動体
JP7346587B2 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム及び移動体
JP7344308B2 (ja) ヘッドアップディスプレイおよび移動体
US20240089422A1 (en) Three-dimensional display device
WO2021060011A1 (ja) パララックスバリア、3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体
US20230005399A1 (en) Head-up display, head-up display system, and movable body
JP7332449B2 (ja) ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
JP2021056255A (ja) パララックスバリア、3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体
JP2021056254A (ja) パララックスバリア、3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体
JP2022022078A (ja) 3次元表示装置、ヘッドアップディスプレイおよび移動体
JP2021057844A (ja) 3次元表示装置、3次元表示システム及び移動体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22901387

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023565069

Country of ref document: JP

Kind code of ref document: A