WO2013121468A1 - 立体画像表示装置及び立体画像表示方法 - Google Patents

立体画像表示装置及び立体画像表示方法 Download PDF

Info

Publication number
WO2013121468A1
WO2013121468A1 PCT/JP2012/003479 JP2012003479W WO2013121468A1 WO 2013121468 A1 WO2013121468 A1 WO 2013121468A1 JP 2012003479 W JP2012003479 W JP 2012003479W WO 2013121468 A1 WO2013121468 A1 WO 2013121468A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
parallax
unit
eye
Prior art date
Application number
PCT/JP2012/003479
Other languages
English (en)
French (fr)
Inventor
愼一郎 近江
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2012546661A priority Critical patent/JP5167439B1/ja
Priority to US13/744,070 priority patent/US9066089B2/en
Publication of WO2013121468A1 publication Critical patent/WO2013121468A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/31—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers involving active parallax barriers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/32—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers characterised by the geometry of the parallax barriers, e.g. staggered barriers, slanted parallax arrays or parallax arrays of varying shape or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Definitions

  • the present invention relates to a stereoscopic image display device that stereoscopically displays an object.
  • Patent Document 1 discloses a technology related to a 3D display that can operate as a multi-view directional display in a first direction and that can operate as a multi-view directional display in a second direction different from the first direction. ing.
  • the present invention has been made in view of such problems, and an object of the present invention is to provide a stereoscopic image display device capable of stereoscopic viewing even when the viewing direction changes.
  • a stereoscopic image display device includes a display unit that displays a stereoscopic image including a right-eye image and a left-eye image with parallax, the right-eye image is shown to a user's right eye, and the left-eye image is displayed.
  • a stripe-shaped parallax barrier superimposed on the display unit, an acquisition unit that acquires the orientation of the user with respect to the display unit, and a direction of the stripe of the parallax barrier in the acquisition unit
  • a control unit that is substantially parallel to the acquired user orientation, and the stereoscopic image including the right-eye image and the left-eye image with parallax in a direction substantially orthogonal to the user orientation acquired by the acquisition unit is generated.
  • a generating unit to be displayed on the display unit.
  • a stereoscopic image display device that can always stably display stereoscopic images even when the relative position between the 3D display and both eyes changes is provided. Obtainable.
  • FIG. 1 is a functional block diagram of the 3D tablet terminal according to the present embodiment.
  • FIG. 2 is an external view of the 3D tablet terminal according to the present embodiment.
  • FIG. 3A is a diagram illustrating an example of a relationship among a user orientation, a parallax barrier direction, and a parallax direction of a stereoscopic image in the 3D tablet terminal according to the present embodiment.
  • FIG. 3B is a diagram illustrating another example of the relationship among the user orientation, the parallax barrier direction, and the parallax direction of the stereoscopic image in the 3D tablet terminal according to the present embodiment.
  • FIG. 4 is a diagram illustrating the principle of stereoscopic vision using the parallax barrier method.
  • FIG. 5 is a principle diagram in the parallax barrier design.
  • FIG. 6 is a layout diagram of pixels and parallax barriers.
  • FIG. 7A is a diagram illustrating an example of a pixel set of a display.
  • FIG. 7B is a diagram in which a parallax barrier is superimposed on the display of FIG. 7A.
  • FIG. 8A is a diagram illustrating another example of a pixel set of a display.
  • FIG. 8B is a diagram in which a parallax barrier is superimposed on the display of FIG. 8A.
  • FIG. 9A is a diagram illustrating an example of an arrangement of a plurality of pixels constituting a pixel.
  • FIG. 9A is a diagram illustrating an example of an arrangement of a plurality of pixels constituting a pixel.
  • FIG. 9B is a diagram illustrating another example of the arrangement of a plurality of pixels that constitute a pixel.
  • FIG. 10A is a diagram illustrating an example of a relationship between a pixel in which sub-pixels are arranged obliquely and a parallax barrier.
  • FIG. 10B is a diagram illustrating another example of the relationship between a pixel in which sub-pixels are diagonally arranged and a parallax barrier.
  • FIG. 11 is a diagram illustrating a method for detecting a user's eyes using a stereo camera.
  • FIG. 12A is a diagram illustrating an image captured by one of the stereo cameras.
  • FIG. 12B is a diagram illustrating an image captured by the other stereo camera.
  • FIG. 13 is a diagram illustrating a vertical angle and a horizontal angle in an image captured by a camera.
  • FIG. 14 is an explanatory diagram of the cosine theorem.
  • FIG. 15 is an orientation diagram of the user viewpoint.
  • FIG. 16 is a conceptual diagram of the amount of parallax in pop-out stereoscopic vision.
  • FIG. 17 is a conceptual diagram of the parallax amount in the retracted stereoscopic view.
  • FIG. 18 is a diagram illustrating an example in which the display is divided into a plurality of display areas.
  • FIG. 19 is a diagram illustrating the relationship between the pixels of the image sensor and the angle of view of the camera.
  • a stereoscopic image display device includes a display unit that displays a stereoscopic image including a right-eye image and a left-eye image with parallax, the right-eye image is shown to a user's right eye, and the left-eye image is displayed.
  • a stripe-shaped parallax barrier superimposed on the display unit, an acquisition unit that acquires the orientation of the user with respect to the display unit, and a direction of the stripe of the parallax barrier in the acquisition unit
  • a control unit that is substantially parallel to the acquired user orientation, and the stereoscopic image including the right-eye image and the left-eye image with parallax in a direction substantially orthogonal to the user orientation acquired by the acquisition unit is generated.
  • a generating unit to be displayed on the display unit.
  • a stereoscopic image display device includes a display unit that displays a stereoscopic image including a right-eye image and a left-eye image with parallax, and shows the right-eye image to a user's right eye, and the left-eye image
  • a stripe-shaped parallax barrier superimposed on the display unit an acquisition unit that acquires the orientation of the user with respect to the display unit, and a stripe direction of the parallax barrier so that an image can be seen by the user's left eye
  • a generating unit that generates the stereoscopic image including the left-eye image and displays the generated stereoscopic image on the display unit.
  • the stereoscopic image display device since the direction of the stripe of the parallax barrier is always optimally controlled, the stereoscopic image display device that can always stably stereoscopically display even if the relative position between the display unit and both eyes is changed. Obtainable.
  • the acquisition unit may acquire a direction on a plane including the display unit and parallel to a direction orthogonal to a direction of a virtual line connecting the eyes of the user as the user's direction.
  • the acquisition unit may acquire a user's interpupillary distance.
  • the generation unit may adjust the amount of parallax between the right-eye image and the left-eye image according to the interpupillary distance acquired by the acquisition unit.
  • the acquisition unit may include an imaging unit that captures an image of the user, and acquire the orientation of the user from an image captured by the imaging unit.
  • the acquisition unit may include an input unit that receives input of information specifying a user's position, and may acquire a user's direction based on information input to the input unit.
  • each pixel constituting the display unit may be composed of a plurality of sub-pixels.
  • the boundary lines of the plurality of sub-pixels may be inclined with respect to the boundary lines of adjacent pixels.
  • the display unit may include a plurality of display areas.
  • the acquisition unit may acquire a user orientation with respect to each of the plurality of display areas.
  • the control unit may make the parallax barrier of each of the plurality of display areas substantially parallel to the orientation of the user corresponding to the stripe direction.
  • the generation unit generates a stereoscopic image including the right-eye image and the left-eye image with parallax in a direction substantially orthogonal to the corresponding user orientation acquired by the acquisition unit for each of the plurality of display areas. It may be generated and displayed.
  • the acquisition unit may acquire the elevation angle of the user with respect to the display surface of the display unit.
  • generation part may produce
  • a stereoscopic image display method includes a display unit that displays a stereoscopic image including a right-eye image and a left-eye image with parallax, the right-eye image is shown to a user's right eye, and the left-eye image is displayed.
  • the stereoscopic image is displayed on a stereoscopic image display device including a stripe-shaped parallax barrier superimposed on the display unit so that the user can see the left eye of the user.
  • a stereoscopic image display device includes a display unit that displays a stereoscopic image including a right-eye image and a left-eye image with parallax, and shows the right-eye image to a user's right eye, and the left-eye image
  • the stereoscopic image is displayed on a stereoscopic image display device including a striped parallax barrier superimposed on the display unit so that the image can be seen by the user's left eye.
  • FIG. 1 is a functional block diagram of 3D tablet terminal 100 according to the present embodiment.
  • FIG. 2 is an external view of the 3D tablet terminal 200 according to the present embodiment.
  • the 3D tablet terminal 100 includes a user position detection unit 101, a control direction calculation unit 103, a parallax barrier display unit 105, a parallax image generation unit 107, and a parallax image display unit 109. .
  • the user position detection unit (detection unit) 101 calculates the spatial position coordinates of the left and right eyes of the user from the image acquired from the imaging unit (cameras 201 and 202 in FIG. 2). Then, the user position detection unit 101 outputs the calculated spatial position coordinates of the left and right eyes to the control direction calculation unit 103 as the eye position information 102.
  • the control direction calculation unit (control unit) 103 acquires the eye position information 102 from the user position detection unit 101, and determines the user's orientation with respect to the parallax image display unit 109 of the 3D tablet terminal 100 from the eye position information 102 as described above. calculate. Then, the control direction calculation unit 103 outputs the calculated user orientation to the parallax barrier display unit 105 and the parallax image generation unit 107 as direction information 104 (corresponding to a target angle 1503 described later).
  • the orientation of the user with respect to the display of the 3D tablet terminal 100 is information for specifying the position of the user with respect to the 3D tablet terminal 100.
  • the 3D tablet terminal 100 is a direction of a virtual line connecting the user and typically a direction parallel to a direction perpendicular to the direction of the virtual line connecting the eyes of the user viewing the 3D tablet terminal 100 (target angle 1503 described later). .
  • the orientation of the user and the direction of the imaginary line connecting the eyes of the user are in the twisted position.
  • the parallax barrier display unit (parallax barrier) 105 is superimposed on the parallax image display unit 109 and displays a striped parallax barrier.
  • the parallax barrier is configured to turn on (light-shield) a plurality of liquid crystal elements arranged in a matrix so that the right eye image displayed on the parallax image display unit 109 can be seen by the user's right eye and the left eye image can be seen by the user's left eye. ) And OFF (transmission).
  • the parallax barrier display unit 105 acquires the orientation information 104 from the control direction calculation unit 103, and the parallax barrier liquid crystal so that the stripe direction is in a direction substantially parallel to the orientation of the user obtained by the orientation information 104.
  • the element is displayed by ON / OFF control in a stripe shape.
  • the parallax image generation unit (generation unit) 107 acquires the orientation information 104 from the control direction calculation unit 103 and acquires the original image data 106 from the outside. Then, the parallax image generation unit 107, as described above, the parallax data 110 including the parallax image 108 with the parallax in the direction substantially orthogonal to the user's azimuth obtained by the azimuth information 104, the parallax amount, and the arrangement of the parallax image 108. Are output to the parallax image display unit 109.
  • the parallax image 108 is a stereoscopic image configured by combining a right-eye image and a left-eye image with parallax.
  • the parallax barrier display unit 105 determines the stripe direction of the parallax barrier using the azimuth information 104 acquired from the control direction calculation unit 103.
  • the parallax image generation unit 107 uses the azimuth information 104 acquired from the control direction calculation unit 103 to determine the parallax direction.
  • the direction of the user and the direction of the stripe of the parallax barrier are substantially parallel, and the direction of the user and the direction of the parallax are substantially orthogonal (that is, the direction of the stripe and the direction of the parallax
  • the information used by each functional block to execute processing is not particularly limited.
  • the parallax barrier display unit 105 may determine the direction of the stripe of the parallax barrier using the orientation information 104 in the same manner as described above, and notify the parallax image generation unit 107 of the determined direction of the stripe. Good. Then, the parallax image generation unit 107 uses the direction of the stripe acquired from the parallax barrier display unit 105 and uses a parallax image 108 with a parallax in a direction substantially orthogonal to the direction of the stripe (that is, substantially orthogonal to the user's direction) and The parallax data 110 may be calculated.
  • the parallax image generation unit 107 may determine the direction of parallax using the orientation information 104 in the same manner as described above, and notify the parallax barrier display unit 105 of the determined direction of parallax. Then, the parallax barrier display unit 105 uses the parallax direction acquired from the parallax image generation unit 107 so that the stripe direction is substantially orthogonal to the parallax direction (that is, substantially parallel to the user's direction). A barrier may be displayed.
  • the user's interpupillary distance used when calculating the parallax data 110 may be calculated from, for example, the eye position information 102, or an input such as the interpupillary distance from the user may be received by an input unit (not shown).
  • the average adult interpupillary distance (usually 6 cm) may be used.
  • the parallax image display unit 109 acquires the parallax image 108 and the parallax data 110 from the parallax image generation unit 107, and according to the arrangement and the parallax amount of the parallax image 108 indicated by the parallax data 110, as described above, the parallax image (stereoscopic image) ) 108.
  • the specific configuration of the parallax image display unit 109 is not particularly limited. For example, a liquid crystal display (LCD), a plasma display, an organic EL (ElectroLuminescence) display, or the like can be employed.
  • the parallax barrier display unit 105 indicates that the direction of the stripe is an arrow.
  • the parallax barrier 304 is displayed so as to be parallel to the direction of 301 (that is, the stripe extends in the vertical direction).
  • the parallax image generation unit 107 generates the left-eye image 302 and the right-eye image 303 so that the parallax direction is orthogonal to the arrow 301 (that is, the left-right parallax is generated), and the parallax image generation unit 107 displays the parallax image generation unit 107 on the parallax image display unit 109. To do.
  • the parallax barrier display unit 105 displays the stripe direction. Is displayed in parallel with the direction of the arrow 305 (that is, the stripe extends from the upper left to the lower right). Further, the parallax image generation unit 107 generates the left-eye image 306 and the right-eye image 307 so that the parallax direction is orthogonal to the arrow 305 (that is, the parallax in the lower left-upper right direction occurs), and the parallax image display unit 109.
  • an arrow 301 in FIG. 3A is a direction parallel to a direction orthogonal to a virtual line connecting both eyes of the user. That is, the control direction calculation unit 103 may calculate the direction of the virtual line connecting the eyes of the user based on the eye position information 102 detected by the user position detection unit 101. And the parallax barrier display part 105 may display the parallax barrier 304 so that the direction of a stripe may become parallel to the direction orthogonal to the direction of a virtual line. Similarly, the parallax image generation unit 107 may generate the left-eye image 302 and the right-eye image 303 so that the parallax direction is parallel to the direction of the virtual line, and display the generated image on the parallax image display unit 109. The same applies to the example of FIG. 3B.
  • control direction calculation unit 103 may further calculate the distance between the pupils of the user. Then, the parallax image generation unit 107 may adjust the amount of parallax between the left-eye image 302 and the right-eye image 303 according to the interpupillary distance calculated by the control direction calculation unit 103. The same applies to the example of FIG. 3B.
  • the direction of the stripe of the parallax barrier 304 does not have to be strictly parallel to the direction of the arrow 301, and some errors are allowed. That is, it is only necessary that the parallax barrier 304 stripe extends in a direction substantially parallel to the direction of the arrow 301. The same applies to FIG. 3B.
  • the parallax barrier 304 is realized by controlling ON / OFF of a plurality of liquid crystal elements (liquid crystal matrix) arranged in a matrix as shown in FIGS. 7B and 8B described later. Therefore, the parallax barrier display unit 105 may select, for example, a stripe in a direction closest to the user's orientation from among the stripes that can be realized by the above method. The relationship between the stripe direction and the user orientation realized by the above processing is included in the range of “substantially parallel”.
  • the parallax directions of the left-eye image 302 and the right-eye image 303 do not have to be strictly orthogonal to the direction of the arrow 301, and some errors are allowed. That is, a left-eye image 302 and a right-eye image 303 with parallax in a direction substantially orthogonal to the direction of the arrow 301 may be generated and displayed. The same applies to FIG. 3B.
  • the direction of parallax (that is, the orientation of a pixel set described later) is realized by a combination of a plurality of pixels arranged in a matrix as shown in FIGS. 7A and 8A described later. Therefore, the parallax image generation unit 107 may select, for example, a combination in a direction closest to the user's azimuth among combinations of pixel sets that can be realized by the above method. Then, it is assumed that the relationship between the parallax direction and the user orientation realized by the above processing is included in the range of “substantially orthogonal”.
  • This series of operations makes it possible to perform parallax barrier control and parallax image control according to the user's viewpoint position. As a result, the user who views the image displayed on the parallax image display unit 109 can stereoscopically view the stereoscopic object without being limited to the viewing direction.
  • the 3D tablet terminal 200 shown in FIG. 2 includes, for example, a 10.1 inch (1366 ⁇ 768 pixel) naked-eye 3D display 203 and a pair of cameras 201 and 202 constituting a stereo camera. Note that the inter-camera distance 204 of the pair of cameras 201 and 202 shown in FIG. 2 is 130 mm.
  • the specific configuration of the 3D tablet terminal 200 is not limited to FIG. That is, the positional relationship between the pair of cameras 201 and 202, the inter-camera distance 204, the size of the naked-eye 3D display 203, and the like are not limited to the above example. Further, the number of cameras may be one, and an image captured by the camera and information received by an input unit (not shown) (for example, information indicating whether the user is an adult or a child, or the user's The user's azimuth and the interpupillary distance may be calculated based on the (interpupillary distance).
  • the 3D tablet terminal 100 in FIG. 1 corresponds to the 3D tablet terminal 200 in FIG. 2.
  • the parallax image display unit 109 in FIG. 1 corresponds to the naked-eye 3D display 203 in FIG.
  • the user position detection unit 101 in FIG. 1 and the cameras 201 and 202 in FIG. 2 function as an acquisition unit that acquires the orientation of the user with respect to the parallax image display unit 109 (the naked-eye 3D display 203).
  • the display panel 404 corresponding to the parallax image display unit 109 includes a plurality of pixels that can display RGB colors.
  • the plurality of pixels are a right-eye pixel (“R” in FIG. 4; hereinafter referred to as “R pixel”) and a left-eye pixel (“L” in FIG. 4; hereinafter referred to as “L pixel”). Is a set of pixel sets 405, 406,.
  • the image (stereoscopic image) displayed on the display panel 404 includes a right-eye image composed of a plurality of right-eye pixels and a left-eye image composed of a plurality of left-eye pixels.
  • the right-eye image and the left-eye image are images having parallax with each other.
  • the parallax barrier 403 corresponding to the parallax barrier display unit 105 includes a plurality of barriers 407, 408,.
  • the barrier 407 corresponds to the pixel set 405, and the barrier 408 corresponds to the pixel set 406. That is, the pixel sets 405, 406,... Correspond to the barriers 407, 408,.
  • the user's right eye 401 can block the L pixels of the pixel sets 405 and 406 by the barriers 407 and 408, and can visually recognize only the R pixel.
  • the R pixels of the pixel sets 405 and 406 are blocked by the barriers 407 and 408, and only the L pixels can be visually recognized.
  • the configuration of the parallax barrier is important in the present invention, and will be described in detail with reference to FIG.
  • the interpupillary distance between the user's right eye position 506 and left eye position 507 is 2D
  • the viewing distance between the user and the display panel is L
  • the pixel pitch is P
  • the display panel and the parallax barrier are Is defined as H. Then, the positions of the parallax barriers 503 and 504 and the distance H between the display panel and the parallax barrier can be calculated.
  • a straight line group connecting the coordinates (D, L) of the left eye position 507 and the points given by the discrete coordinates (nP, 0) ( ⁇ 683 ⁇ n ⁇ 683) on the x axis in the pixel pitch P unit is Let it be a straight line group 502.
  • a group of straight lines connecting the coordinates ( ⁇ D, L) of the right eye position 506 and the points given by the discrete coordinates (nP, 0) ( ⁇ 683 ⁇ n ⁇ 683) on the x axis in pixel pitch P units. Is defined as a right direction straight line group 501.
  • each straight line included in the left direction straight line group 502 is represented by Expression 1
  • the left direction straight line group 502 is represented by Expression 2 because it passes through coordinates (D, L), and is represented by Expression 3 because it passes through coordinates (nP, 0).
  • Expression 4 is derived from Expression 2 and Expression 3
  • Expression 5 is obtained by applying Expression 3 and Expression 4 to Expression 1.
  • the right direction straight line group 501 is expressed as Expression 7 because it passes through the coordinates ( ⁇ D, L), and also passes through the coordinates (nP, 0). Equation 8 is obtained.
  • Expression 9 is derived from Expression 7 and Expression 8
  • Expression 10 is obtained by applying Expression 8 and Expression 9 to Expression 6.
  • the intersection 505 between the left straight line group 502 and the right straight line group 501 indicates the position of the parallax barrier. That is, in order to obtain the intersection point 505 of the parallax barrier, a straight line passing through the coordinates (nP, 0) in the left direction straight line group 502 and a straight line passing through the coordinates ((n + 1) P, 0) in the right direction straight line group 501. Find the intersection with Therefore, Equation 11 is derived from Equation 5 and Equation 10. In addition, Expression 12 is derived from Expression 11.
  • Equation 13 the distance H between the display panel and the parallax barrier is determined by parameters of a half D of the inter-pupil distance 2D, a pixel pitch P, and a viewing distance L.
  • the viewing distance L is determined by Equation 15.
  • parallax barrier Various parameters of the parallax barrier can be calculated by setting the parameters as described above.
  • the parallax barrier in the present embodiment is configured by a liquid crystal matrix 602 as shown in FIG. 6, for example, and can be turned on / off for each liquid crystal dot 604.
  • the display panel uses a 10.1 inch LCD panel 601 with 1366 ⁇ 768 pixels as parameters, the assumed viewing distance of the user is 50 cm, and the assumed interpupillary distance of the user is 6 cm.
  • the pixel pitch P of the LCD pixel 603 is 0.1637 mm
  • the parallax barrier width is 0.16347 mm
  • the distance H between the display panel and the parallax barrier is 0.681 mm.
  • the center of the liquid crystal matrix 602 is disposed so as to coincide with the center of the LCD panel 601.
  • the parallax barrier is formed by turning on / off the liquid crystal matrix 702 of the parallax barrier corresponding to the LCD panel 701.
  • a pixel set is formed by R pixels (hatched hatched pixels) and L pixels (dot hatched) adjacent in the vertical direction.
  • the liquid crystal matrix 702 shown in FIG. 7B moves to the position including the boundary of the pixel set by 3 pixels in the horizontal direction and 1 row down, and by 2 pixels in the horizontal direction and further down by 1 row.
  • the parallax barrier is formed by turning on (shielding) three pixels in the horizontal direction (repeated below). That is, FIG. 7B shows an example of a parallax barrier whose stripes extend from the upper left to the lower right.
  • a pixel set is formed by L pixels (dot hatched pixels) and R pixels (hatched hatching) adjacent in the left-right direction.
  • the liquid crystal matrix 802 shown in FIG. 8B moves to the position including the boundary of the pixel set by 3 pixels in the vertical direction, 1 column left, and 2 pixels in the vertical direction, and further moved 1 column left.
  • the parallax barrier is formed by turning ON (light-shielding) ... (hereinafter, repeated) for three pixels in the vertical direction. That is, FIG. 8B shows an example of a parallax barrier whose stripes extend from the upper right to the lower left.
  • a general LCD pixel often has an RGB arrangement like the pixel 901 in FIG. 9A. That is, the boundary lines of a plurality of sub-pixels (three R sub-pixels, G sub-pixels, and B sub-pixels in this example) constituting the pixel 901 are adjacent in the left-right direction.
  • a parallax barrier is formed on such an RGB arrangement, moire is generated, and a phenomenon in which colors are separated easily occurs.
  • RGB may be diagonally arranged to reduce moire. That is, in the pixel 902 of FIG. 9B, the boundary lines of the sub-pixels (R, G, B) are inclined (that is, intersect at an acute angle) with respect to the pixel boundary lines. Furthermore, the sub-pixels in FIG. 9B are distributed and arranged at a plurality of locations (two locations in this example) within the pixel 902.
  • FIG. 10A and FIG. 10B are diagrams showing a relationship between a pixel in which sub-pixels are diagonally arranged and a parallax barrier. As shown in FIGS. 10A and 10B, the LCD pixels 1000 and 1003 can see all the sub-pixels (R, G, and B) even when the liquid crystal dots 1001 and 1002 of the parallax barrier are superimposed. Moire can be prevented.
  • the 3D tablet terminal 1100 includes a pair of cameras 1101 and 1102 and captures a user 1104 who views a stereoscopic image displayed on the 3D tablet terminal 1100.
  • the left and right eyes of the user are extracted by performing image processing on each of the images 1200 and 1210.
  • the method of image processing is not limited, but for example, a portion that seems to be an eye is extracted using a shape recognition algorithm.
  • pixel distances (1201, 1202) and (1211, 1212) from the pixel positions 1204 and 1214 at the center of each image to the left eyes 1203 and 1213 in each image are calculated.
  • the pixel distance from the center pixel position of each image to the right eye in each image is also calculated.
  • the calculated pixel distance is corrected, and as shown in FIG. 13, the camera position 1300 (the position of the cameras 1101 and 1102) and the target 1301 ( Find the direction to the left or right eye).
  • the vertical direction of each image in FIGS. 12A and 12B corresponds to the vertical angle 1303 that is an angle with respect to the Y axis in FIG. 13, and the horizontal direction corresponds to the horizontal angle 1302 that is an angle with respect to the X axis in FIG. To do.
  • the vertical direction of each image in FIG. 12A and FIG. 12B (the direction from the back to the front of the paper) corresponds to the Z axis in FIG.
  • a desired direction (angle) of the target 1301 left eye or right eye
  • the target vertical angle 1304 can be obtained from the pixel distance 1201
  • the target horizontal angle 1305 can be obtained from the pixel distance 1202.
  • the target vertical angle 1304 is an angle between the Z axis and a line connecting the intersection 1306 and the camera position 1300 where the perpendicular to the YZ plane from the target 1301 intersects the YZ plane.
  • the target horizontal angle 1305 is an angle formed by the Z axis and a line connecting the intersection 1307 where the perpendicular to the ZX plane from the target 1301 intersects the ZX plane and the camera position 1300.
  • the angle C is the distance between the cameras 1101 and 1102. It corresponds to.
  • the angle a and the angle b can be calculated from the target vertical angle 1304 described above.
  • the angle c is also obtained from the angle a and the angle b. Therefore, the lengths of the sides A and B, that is, the distances from the cameras 1101 and 1102 to the intersection of the perpendicular from the target 1301 and the YZ plane can be calculated by the equations 17 and 18.
  • the y-coordinate and the z-coordinate of the target 1301 can be calculated by equations 19 and 20. Further, when the above-described target horizontal angle 1305 is set to d, the x coordinate of the target 1301 can be calculated from Equation 21.
  • the spatial position coordinates of the target 1301 can be obtained from the above, the spatial position coordinates of the left and right eyes are obtained in the same manner.
  • the target angle is the angle between the Y axis and the line connecting the intersection of the perpendicular to the XY plane from the midpoint of the line segment connecting the right eye and the left eye and the origin of the spatial position coordinate and the origin of the spatial position coordinate. is there. Specifically, as shown in FIG. 15, a segment connecting the right eye and the left eye from the acquired spatial position coordinates 1502 (xr, yr, zr) of the right eye and the spatial position coordinates 1501 (xl, yl, zl) of the left eye.
  • the spatial position coordinates 1506 ((xr + xl) / 2, (yr + yl) / 2, (zr + zl) / 2) of the middle point are calculated. Then, a target angle 1503 (an angle formed by a line segment 1505 connecting the intersection 1504 between the perpendicular to the XY plane from the spatial position coordinate 1506 and the XY plane and the origin 1500 of the spatial position coordinate, and the Y axis. R) is determined by Equation 22.
  • the direction of the parallax barrier and the direction of the parallax of the stereoscopic image are changed as shown in FIGS. 3A and 3B.
  • direction shown by the arrow 301,305 is given by the target angle 1503, and it controls so that this and the parallax barrier 304,308 may face the same direction.
  • the set of the left-eye image 302 and the right-eye image 303 and the set of the left-eye image 306 and the right-eye image 307 are controlled so as to generate parallax in a direction perpendicular to the target angle 1503.
  • angle 1507 (T) formed by the line segment 1505 and the line segment connecting the space position coordinates 1506 of the midpoint of the line segment connecting the right eye and the left eye and the origin 1500 of the space position coordinates may be obtained by Expression 23. Good.
  • the display content on the naked-eye 3D display 203 may be changed according to the angle 1507. For example. Depending on the direction of the target vertical angle, the reality can be enhanced by changing the display content on the naked-eye 3D display 203 to an image viewed from that direction. Furthermore, it is possible to provide a UI (User Interface) that varies depending on the viewing angle, such as changing the menu in accordance with the direction of the target vertical angle.
  • UI User Interface
  • An object corresponding to the elevation angle is stereoscopically displayed on the naked-eye 3D display 203. That is, on the naked eye 3D display 203, a stereoscopic image is displayed in which the object is viewed from the direction indicated by the elevation angle.
  • the elevation angle is 90 ° (the user views from the Z-axis)
  • a stereoscopic image of the object viewed from the front is displayed on the naked-eye 3D display 203.
  • the elevation angle is 45 °
  • a stereoscopic image of the object viewed obliquely from 45 ° is displayed on the naked-eye 3D display 203.
  • left and right parallax images are generated from the pop-out amount (H) or retract amount (H ′) of the stereoscopic object to be displayed, the inter-pupil distance (D), and the viewing distance (L).
  • a specific method for generating a parallax image includes a parallax image P and a parallax image Q for representing the stereoscopic object C viewed from the viewpoint position A and the viewpoint position B, as OpenGL ( Draw using a graphic library such as registered trademark. Then, the parallax amount S is obtained from Expression 24 when popping out and Expression 25 when retracting.
  • the parallax image P and the parallax image Q are drawn to the left and right as the offset on the screen from the intersection of the screen and the straight line drawn perpendicularly to the screen from the midpoint of the viewpoint position A and the viewpoint position B. .
  • the parallax amount S takes a continuous value, whereas the pixel pitch of the naked-eye 3D display 203 is fixed. Therefore, the drawing positions on the screen of the parallax image P and the parallax image Q are determined in consideration of the pixel pitch of the naked-eye 3D display 203.
  • the parallax amount S is set in a direction orthogonal to the direction given by the target angle.
  • the display of the 3D tablet terminal 1800 is displayed in a display area 1810 corresponding to each user A, B, C, and D. , 1820, 1830, and 1840, and a stereoscopic image may be displayed on each of them.
  • the user position detection unit 101 and the control direction calculation unit 103 illustrated in FIG. 1 acquire the orientations (arrows in FIG. 18) of the users A to D with respect to the plurality of display areas 1810 to 1840.
  • the parallax barrier display unit 105 displays the parallax barriers of the plurality of display areas 1810 to 1840 so that the stripe direction is substantially parallel to the corresponding user orientation.
  • the parallax image generation unit 107 generates a stereoscopic image with parallax in a direction substantially orthogonal to the corresponding user's azimuth for each of the plurality of display areas 1810 to 1840 and displays the stereoscopic image on the parallax image display unit 109.
  • a parallax barrier 1811 whose stripe extends from the upper left to the lower right is superimposed, and a right eye image 1812 and a left eye image 1813 which are shifted to the lower left and upper right are displayed.
  • a parallax barrier 1821 whose stripes extend from the upper right to the lower left are superimposed, and a right eye image 1822 and a left eye image 1823 that are shifted to the upper left and lower right are displayed.
  • a parallax barrier 1831 with stripes extending in the left-right direction is superimposed, and a right-eye image 1832 and a left-eye image 1833 that are shifted in the vertical direction are displayed.
  • a parallax barrier 1841 with stripes extending in the vertical direction is superimposed, and a right eye image 1842 and a left eye image 1843 that are shifted in the horizontal direction are displayed.
  • a lens is disposed in front of the image sensor, and the angle of view of the pair of cameras is determined by the relationship between the image sensor and the lens.
  • the number of pixels of the image sensor is 1344 from b0 to b1343 in the horizontal direction and a fisheye lens or the like is used as the lens
  • an angle of view of 180 degrees from angle a0 to angle a1343 can be imaged.
  • each image can be acquired with a resolution of (180 ⁇ 1344) degrees per pixel in the lateral direction of the image sensor.
  • the user may input his / her position to the 3D tablet terminal without providing a means for actively detecting the user's viewpoint position like a camera.
  • the LCD of the 3D tablet terminal includes a touch panel
  • the user's position can be input to the 3D tablet terminal by tapping a position close to the user of the LCD. If the LCD of the 3D tablet terminal does not include a touch panel, the user's position is indicated by indicating the position close to the user of the LCD using existing pointing means, for example, a cursor key, a mouse, or a trackball. Can be entered into the terminal.
  • the stereoscopic image display device of the present invention When the stereoscopic image display device of the present invention is applied to a large terminal, it has the effect of being placed flat on a table and allowing stereoscopic viewing from a free angle, which is useful for large 3D tablet terminals and the like.

Abstract

　３Ｄタブレット端末（１００）は、視差を伴う右目用画像及び左目用画像を含む立体画像を表示する視差画像表示部（１０９）と、右目用画像をユーザの右目に見せ、且つ左目用画像をユーザの左目に見せるように、視差画像表示部（１０９）上にストライプ状の視差バリアを表示する視差バリア表示部（１０５）と、視差画像表示部（１０９）に対するユーザの方位を取得するユーザ位置検出部（１０１）と、視差バリア表示部（１０５）が表示する視差バリアのストライプの方向を、ユーザの方位に略平行にする制御方向算出部（１０３）と、ユーザの方位と略直交する方向の視差を伴う立体画像を生成し、視差画像表示部（１０９）に表示させる視差画像生成部（１０７）とを備える。

Description

立体画像表示装置及び立体画像表示方法
　本発明は、オブジェクトの立体表示する立体画像表示装置に関する。
　近年、モバイル分野における３Ｄ市場は急速に伸びており、全体に占める裸眼３Ｄ対応の割合は約１２％になると予測されている。裸眼３Ｄ対応モバイル端末は、２０１１年から２０１５年にかけて１３０００万台増が予測されており、将来性が見込まれるタブレットでも裸眼３Ｄの採用が進むと考えられる。
　今後、タブレットが大型化すると、手に持って用いるスタイルのみならず、平置きにして用いるスタイルも考えられる。そうすると、平置きにしたタブレットに対し、いろいろな方向から裸眼３Ｄディスプレイを見るケースが起こりえる。
　特許文献１には、第１の方向にマルチビュー指向性ディスプレイとして動作可能であり、且つ第１の方向と異なる第２の方向にマルチビュー指向性ディスプレイとして動作可能な３Ｄディスプレイに関する技術が開示されている。
特開２００６－０１８２８２号公報
　視差バリア方式の裸眼３Ｄディスプレイを平置きして使用する場合、ディスプレイを平置きのまま回転させて斜め方向から見ると、視差画像が二重に見えて立体視できないという課題がある。
　本発明は、このような課題に鑑みてなされたものであり、見る方向が変わっても立体視できる立体画像表示装置を提供することを目的とする。
　本発明の一形態に係る立体画像表示装置は、視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアと、前記表示部に対するユーザの方位を取得する取得部と、前記視差バリアのストライプの方向を、前記取得部で取得されたユーザの方位に略平行にする制御部と、前記取得部で取得されたユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成部とを備える。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本発明によれば、視差バリアのストライプの方向が常に最適に制御されるため、３Ｄディスプレイと両目との相対的な位置が変わっても常に安定して立体視させることができる立体画像表示装置を得ることができる。
図１は、本実施の形態に係る３Ｄタブレット端末の機能ブロック図である。 図２は、本実施の形態に係る３Ｄタブレット端末の外観図である。 図３Ａは、本実施の形態に係る３Ｄタブレット端末において、ユーザの方位と、視差バリアの方向と、立体画像の視差の方向との関係の一例を示す図である。 図３Ｂは、本実施の形態に係る３Ｄタブレット端末において、ユーザの方位と、視差バリアの方向と、立体画像の視差の方向との関係の他の例を示す図である。 図４は、視差バリア方式による立体視の原理図である。 図５は、視差バリア設計における原理図である。 図６は、画素と視差バリアとの配置図である。 図７Ａは、ディスプレイの画素セットの一例を示す図である。 図７Ｂは、図７Ａのディスプレイに視差バリアを重畳させた図である。 図８Ａは、ディスプレイの画素セットの他の例を示す図である。 図８Ｂは、図８Ａのディスプレイに視差バリアを重畳させた図である。 図９Ａは、画素を構成する複数の画素の配置の一例を示す図である。 図９Ｂは、画素を構成する複数の画素の配置の他の例を示す図である。 図１０Ａは、サブ画素が斜め配置された画素と視差バリアとの関係の一例を示す図である。 図１０Ｂは、サブ画素が斜め配置された画素と視差バリアとの関係の他の例を示す図である。 図１１は、ステレオカメラでユーザの目の検出方法を説明する図である。 図１２Ａは、ステレオカメラの一方で撮像された画像を示す図である。 図１２Ｂは、ステレオカメラの他方で撮像された画像を示す図である。 図１３は、カメラで撮像された画像中の垂直角及び水平角を示す図である。 図１４は、余弦定理の説明図である。 図１５は、ユーザ視点の方位図である。 図１６は、飛び出し立体視における視差量の概念図である。 図１７は、引っ込み立体視における視差量の概念図である。 図１８は、表示を複数の表示領域に分割した例を示す図である。 図１９は、撮像素子のピクセルとカメラの画角との関係を説明する図である。
　本発明の一形態に係る立体画像表示装置は、視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアと、前記表示部に対するユーザの方位を取得する取得部と、前記視差バリアのストライプの方向を、前記取得部で取得されたユーザの方位に略平行にする制御部と、前記取得部で取得されたユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成部とを備える。
　本発明の他の形態に係る立体画像表示装置は、視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアと、前記表示部に対するユーザの方位を取得する取得部と、前記視差バリアのストライプの方向を、前記取得部で取得されたユーザの方位に略平行にする制御部と、前記制御部で前記ユーザの方位に略平行にされた前記視差バリアのストライプの方向と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成部とを備える。
　上記構成によれば、視差バリアのストライプの方向が常に最適に制御されるため、表示部と両目との相対的な位置が変わっても常に安定して立体視させることができる立体画像表示装置を得ることができる。
　また、前記取得部は、前記表示部を含む平面上における方向であって、ユーザの両目を結ぶ仮想線の方向に直交する方向に平行な方向を、ユーザの方位として取得してもよい。
　さらに、前記取得部は、ユーザの瞳孔間距離を取得してもよい。そして、前記生成部は、前記取得部で取得された瞳孔間距離に応じて、前記右目用画像及び前記左目用画像の視差量を調整してもよい。
　例えば、前記取得部は、ユーザを撮像する撮像部を含み、前記撮像部で撮像された画像からユーザの方位を取得してもよい。
　さらに、前記取得部は、ユーザの位置を特定する情報の入力を受け付ける入力部を含み、前記入力部に入力された情報に基づいて、ユーザの方位を取得してもよい。
　例えば、前記表示部を構成する各画素は、複数のサブ画素で構成されてもよい。そして、前記複数のサブ画素の境界線は、隣接する画素の境界線に対して傾斜していてもよい。
　例えば、前記表示部は、複数の表示領域を含んでもよい。前記取得部は、前記複数の表示領域それぞれに対するユーザの方位を取得してもよい。前記制御部は、前記複数の表示領域それぞれの視差バリアを、ストライプの方向が対応するユーザの方位に略平行にしてもよい。前記生成部は、前記複数の表示領域それぞれに対して、前記取得部で取得された対応するユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む立体画像を生成し、表示させてもよい。
　さらに、前記取得部は、前記表示部の表示面に対するユーザの仰角を取得してもよい。そして、前記生成部は、前記取得部で取得されたユーザの仰角の方向からオブジェクトを見た前記立体画像を生成して、前記表示部に表示させてもよい。
　本発明の一形態に係る立体画像表示方法は、視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアとを備える立体画像表示装置に、前記立体画像を表示させる。具体的には、立体画像表示方法は、前記表示部に対するユーザの方位を取得する取得ステップと、前記視差バリアのストライプの方向を、前記取得ステップで取得されたユーザの方位に略平行にする制御ステップと、前記取得ステップで取得されたユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成ステップとを含む。
　本発明の他の形態に係る立体画像表示装置は、視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアとを備える立体画像表示装置に、前記立体画像を表示させる方法である。具体的には、立体画像表示方法は、前記表示部に対するユーザの方位を取得する取得ステップと、前記視差バリアのストライプの方向を、前記取得ステップで取得されたユーザの方位に略平行にする制御ステップと、前記制御ステップで前記ユーザの方位に略平行にされた前記視差バリアのストライプの方向と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成ステップとを含む。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　以下に、本発明の一実施の形態に係る立体画像表示装置の一例である３Ｄタブレット端末について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態）
　図１は、本実施の形態に係る３Ｄタブレット端末１００の機能ブロック図である。図２は、本実施の形態に係る３Ｄタブレット端末２００の外観図である。
　３Ｄタブレット端末１００は、図１に示されるように、ユーザ位置検出部１０１と、制御方向算出部１０３と、視差バリア表示部１０５と、視差画像生成部１０７と、視差画像表示部１０９とを備える。
　まず、ユーザ位置検出部（検出部）１０１は、撮像部（図２のカメラ２０１、２０２）から取得した画像より、ユーザの左右の目の空間位置座標を算出する。そして、ユーザ位置検出部１０１は、算出した左右の目の空間位置座標を、目位置情報１０２として制御方向算出部１０３に出力する。
　制御方向算出部（制御部）１０３は、目位置情報１０２をユーザ位置検出部１０１から取得し、前述したように目位置情報１０２から、３Ｄタブレット端末１００の視差画像表示部１０９に対するユーザの方位を算出する。そして、制御方向算出部１０３は、算出したユーザの方位を、方位情報１０４（後述するターゲット角度１５０３に相当）として視差バリア表示部１０５と視差画像生成部１０７とに出力する。
　なお、３Ｄタブレット端末１００のディスプレイに対するユーザの方位とは、３Ｄタブレット端末１００に対するユーザの位置を特定する情報であって、例えば、視差画像表示部１０９の表示面を含む平面上において、３Ｄタブレット端末１００とユーザとを結ぶ仮想線の方向であり、典型的には、３Ｄタブレット端末１００を見るユーザの両目を結ぶ仮想線の方向に直交する方向に平行な方向（後述するターゲット角度１５０３）である。すなわち、ユーザの方位とユーザの両目を結ぶ仮想線の方向とは、ねじれの位置にある。
　視差バリア表示部（視差バリア）１０５は、視差画像表示部１０９に重畳され、ストライプ状の視差バリアを表示する。この視差バリアは、視差画像表示部１０９に表示される右目用画像をユーザの右目に見せ、左目用画像をユーザの左目に見せるために、マトリクス状に配置された複数の液晶素子のＯＮ（遮光）とＯＦＦ（透過）とを制御することによって実現される。
　そして、視差バリア表示部１０５は、方位情報１０４を制御方向算出部１０３から取得し、方位情報１０４によって得られたユーザの方位に略平行な方向にストライプの方向が向くように、視差バリアの液晶素子をストライプ状にＯＮ／ＯＦＦ制御して表示させる。
　同時に、視差画像生成部（生成部）１０７は、方位情報１０４を制御方向算出部１０３から取得し、元画像データ１０６を外部から取得する。そして、視差画像生成部１０７は、前述したように方位情報１０４によって得られたユーザの方位に略直交する方向の視差を伴う視差画像１０８と、視差量や視差画像１０８の配置を含む視差データ１１０とを算出し、視差画像表示部１０９に出力する。視差画像１０８は、視差を伴う右目用画像及び左目用画像を組み合わせて構成される立体画像である。
　なお、図１の例において、視差バリア表示部１０５は、制御方向算出部１０３から取得した方位情報１０４を用いて、視差バリアのストライプの方向を決定している。同様に、視差画像生成部１０７は、制御方向算出部１０３から取得した方位情報１０４を用いて、視差の方向を決定している。しかしながら、各機能ブロックの動作の結果として、ユーザの方位と視差バリアのストライプの方向とが略平行になり、且つユーザの方位と視差の方向とが略直交（すなわち、ストライプの方向と視差の方向とが略直交）すれば、各機能ブロックがどのような情報を用いて処理を実行するかは、特に限定されない。
　上記の他の例として、視差バリア表示部１０５は、上記と同様に方位情報１０４を用いて視差バリアのストライプの方向を決定し、決定したストライプの方向を視差画像生成部１０７に通知してもよい。そして、視差画像生成部１０７は、視差バリア表示部１０５から取得したストライプの方向を用いて、ストライプの方向に略直交（すなわち、ユーザの方位に略直交）する方向の視差を伴う視差画像１０８及び視差データ１１０を算出してもよい。
　さらに他の例として、視差画像生成部１０７は、上記と同様に方位情報１０４を用いて視差の方向を決定し、決定した視差の方向を視差バリア表示部１０５に通知してもよい。そして、視差バリア表示部１０５は、視差画像生成部１０７から取得した視差の方向を用いて、ストライプの方向が視差の方向に略直交する（すなわち、ユーザの方位に略平行になる）ように視差バリアを表示してもよい。
　なお、視差データ１１０の計算時に用いるユーザの瞳孔間距離は、例えば、目位置情報１０２から算出してもよいし、図示しない入力部でユーザからの瞳孔間距離等の入力を受け付けてもよいし、一般的な成人の平均瞳孔間距離（通常６ｃｍ）を利用してもよい。
　視差画像表示部１０９は、視差画像１０８及び視差データ１１０を視差画像生成部１０７から取得し、視差データ１１０で示される視差画像１０８の配置と視差量とに従って、前述したように視差画像（立体画像）１０８を表示するディスプレイである。視差画像表示部１０９の具体的な構成は特に限定されないが、例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、又は有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を採用することができる。
　次に、図３Ａ及び図３Ｂを参照して、本実施の形態に係る３Ｄタブレット端末において、ユーザの方位と、視差バリアの方向と、立体画像の視差の方向との関係について説明する。
　まず、図３Ａの矢印３０１に示される方位（図３Ａの紙面上において、３Ｄタブレット端末の下側）が制御方向算出部１０３で算出された場合、視差バリア表示部１０５は、ストライプの方向が矢印３０１の向きに平行になる（すなわち、ストライプが上下方向に延びる）ように、視差バリア３０４を表示する。また、視差画像生成部１０７は、視差の方向が矢印３０１と直交する（すなわち、左右方向の視差を生じる）ように左目用画像３０２及び右目用画像３０３を生成し、視差画像表示部１０９に表示する。
　同様に、図３Ｂの矢印３０５に示される方位（図３Ｂの紙面上において、３Ｄタブレット端末の右下側）が制御方向算出部１０３で算出された場合、視差バリア表示部１０５は、ストライプの方向が矢印３０５の向きに平行になる（すなわち、ストライプが左上から右下の方向に延びる）ように、視差バリア３０８を表示する。また、視差画像生成部１０７は、視差の方向が矢印３０５と直交する（すなわち、左下－右上の方向の視差を生じる）ように左目用画像３０６及び右目用画像３０７を生成し、視差画像表示部１０９に表示する。
　なお、図３Ａの矢印３０１は、ユーザの両目を結ぶ仮想線に直交する方向に平行な方向である。すなわち、制御方向算出部１０３は、ユーザ位置検出部１０１で検出された目位置情報１０２に基づいてユーザの両目を結ぶ仮想線の方向を算出してもよい。そして、視差バリア表示部１０５は、ストライプの方向が仮想線の方向に直交する方向に平行になるように、視差バリア３０４を表示してもよい。同様に、視差画像生成部１０７は、視差の方向が仮想線の方向と平行になるような左目用画像３０２及び右目用画像３０３を生成し、視差画像表示部１０９に表示してもよい。図３Ｂの例も同様である。
　また、制御方向算出部１０３は、さらに、ユーザの瞳孔間距離を算出してもよい。そして、視差画像生成部１０７は、制御方向算出部１０３で算出された瞳孔間距離に応じて、左目用画像３０２及び右目用画像３０３の視差量を調整してもよい。図３Ｂの例も同様である。
　さらに、図３Ａにおいて、視差バリア３０４のストライプの方向は、矢印３０１の方向と厳密に平行である必要はなく、多少の誤差は許容される。すなわち、視差バリア３０４ストライプが矢印３０１の方向に略平行な方向に延びていればよい。図３Ｂについても同様である。
　一例として、視差バリア３０４は、後述する図７Ｂ及び図８Ｂに示されるように、マトリクス状に配置された複数の液晶素子（液晶マトリクス）のＯＮ／ＯＦＦを制御することによって実現される。そこで、視差バリア表示部１０５は、例えば、上記の方法で実現できるストライプのうち、ユーザの方位と最も平行に近い方向のストライプを選択すればよい。そして、上記の処理によって実現されるストライプの方向とユーザの方位との関係は、「略平行」の範囲内に含まれるものとする。
　同様に、左目用画像３０２及び右目用画像３０３の視差の方向は、矢印３０１の方向に厳密に直交している必要はなく、多少の誤差は許容される。すなわち、矢印３０１の方向に略直交する方向の視差を伴う左目用画像３０２及び右目用画像３０３を生成し、表示すればよい。図３Ｂについても同様である。
　一例として、視差の方向（すなわち、後述する画素セットの向き）は、後述する図７Ａ及び図８Ａに示されるように、マトリクス状に配置された複数の画素の組み合わせによって実現される。そこで、視差画像生成部１０７は、例えば、上記の方法で実現できる画素セットの組み合わせのうち、ユーザの方位と最も垂直に近い方向の組み合わせを選択すればよい。そして、上記の処理によって実現される視差の方向とユーザの方位との関係は、「略直交」の範囲内に含まれるものとする。
　この一連の動作により、ユーザの視点位置に応じた視差バリア制御と視差画像制御とを行うことができる。その結果、視差画像表示部１０９に表示される画像を見るユーザは、見る方向に制限されずに立体オブジェクトを立体視することが可能となる。
　なお、図２に示される３Ｄタブレット端末２００は、例えば、１０．１インチ（１３６６×７６８ピクセル）の裸眼３Ｄディスプレイ２０３と、ステレオカメラを構成する一対のカメラ２０１、２０２とを備える。なお、図２に示される一対のカメラ２０１、２０２のカメラ間距離２０４は、１３０ｍｍである。
　但し、３Ｄタブレット端末２００の具体的な構成は図２に限定されない。すなわち、一対のカメラ２０１、２０２の位置関係やカメラ間距離２０４、裸眼３Ｄディスプレイ２０３の大きさ等は、上記の例に限定されない。また、カメラは１つであってもよく、カメラで撮像された画像と、図示しない入力部で受け付けられた情報（例えば、ユーザが大人であるか、子供であるかを示す情報、或いはユーザの瞳孔間距離）とに基づいて、ユーザの方位や瞳孔間距離を算出してもよい。
　なお、図１の３Ｄタブレット端末１００は、図２の３Ｄタブレット端末２００に対応する。また、図１の視差画像表示部１０９は、図２の裸眼３Ｄディスプレイ２０３に対応する。さらに、図１のユーザ位置検出部１０１及び図２のカメラ２０１、２０２は、視差画像表示部１０９（裸眼３Ｄディスプレイ２０３）に対するユーザの方位を取得する取得部として機能する。
　以下、図４～図１９を参照して、各構成要素の具体的な構成及び動作を説明する。
　まず、視差バリア方式による裸眼立体視の原理（視差バリア表示部１０５及び視差画像表示部１０９）について、図４を参照しながら簡単に説明する。視差画像表示部１０９に相当する表示パネル４０４は、ＲＧＢの各色を表示できる複数の画素で構成される。また、複数の画素は、右目用画素（図４の“Ｒ”。以下「Ｒ画素」と表記する。）と左目画素（図４の“Ｌ”。以下「Ｌ画素」と表記する。）とを一組とした画素セット４０５、４０６、・・・の集合である。
　すなわち、表示パネル４０４に表示される画像（立体画像）は、複数の右目用画素で構成される右目用画像と、複数の左目用画素で構成される左目用画像とで構成される。また、右目用画像と左目用画像とは、互いに視差を有する画像である。
　また、視差バリア表示部１０５に相当する視差バリア４０３は、複数のバリア４０７、４０８、・・・で構成される。図４の例では、バリア４０７は画素セット４０５に対応し、バリア４０８は画素セット４０６に対応する。すなわち、画素セット４０５、４０６、・・・とバリア４０７、４０８、・・・とは、一対一で対応する。
　これにより、ユーザの右目４０１は、バリア４０７、４０８により画素セット４０５、４０６それぞれのＬ画素が遮られ、Ｒ画素のみを視認できる。同様にユーザの左目４０２は、バリア４０７、４０８により画素セット４０５、４０６のＲ画素が遮られ、Ｌ画素のみを視認できる。
　このように、視差バリア方式では、ユーザの左右の目にＲ画素又はＬ画素で構成される別々の画像を与えることができるため、ユーザは表示パネル４０４に表示される画像を立体視できることになる。
　本発明において視差バリアの構成は重要であり、図５を参照しながら詳細に説明する。
　図５に示されるように、ユーザの右目位置５０６及び左目位置５０７の間の瞳孔間距離を２Ｄ、ユーザと表示パネルとの間の視距離をＬ、ピクセルピッチをＰ、表示パネルと視差バリアとの間隔をＨと定義する。そうすると、視差バリア５０３、５０４の位置、表示パネルと視差バリアとの間隔Ｈは、計算により算出することができる。
　左目位置５０７の座標（Ｄ，Ｌ）と、ピクセルピッチＰ単位でｘ軸上の離散的座標（ｎＰ，０）（－６８３≦ｎ≦６８３）で与えられる点とを結ぶ直線群を、左方向直線群５０２とする。同様に、右目位置５０６の座標（－Ｄ，Ｌ）と、ピクセルピッチＰ単位でｘ軸上の離散的座標（ｎＰ，０）（－６８３≦ｎ≦６８３）で与えられる点とを結ぶ直線群を、右方向直線群５０１とする。
　左方向直線群５０２に含まれる各直線を式１とすると、左方向直線群５０２は、座標（Ｄ，Ｌ）を通るので式２となり、また座標（ｎＰ，０）を通るので式３となる。式２、式３から式４が導かれ、式１に式３、式４を当てはめると式５が求まる。同様に、右方向直線群５０１に含まれる各直線を式６とすると、右方向直線群５０１は、座標（－Ｄ，Ｌ）を通るので式７となり、また座標（ｎＰ，０）を通るので式８となる。式７、式８から式９が導かれ、式６に式８、式９を当てはめると式１０が求まる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　ここで左方向直線群５０２と右方向直線群５０１との交点５０５が視差バリアの位置を示すことになる。すなわち、視差バリアの交点５０５を求めるためには、左方向直線群５０２のうち座標（ｎＰ，０）を通る直線と、右方向直線群５０１のうち座標（（ｎ＋１）Ｐ，０）を通る直線との交点を求めればよい。そこで式５と式１０とにより式１１が導かれる。また、式１１から式１２が導かれる。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　式１２を式５に代入すると式１３となる。そして、ｎ＝０のときについて求めると、式１４が算出される。すなわち、表示パネルと視差バリアとの間隔Ｈは、瞳孔間距離２Ｄの半分Ｄ、ピクセルピッチＰ、及び視距離Ｌの各パラメータによって決定されることが示される。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　逆に製造上の理由などにより、表示パネルと視差バリアとの間隔Ｈが決まっている場合は、式１５により視距離Ｌが定まる。
Figure JPOXMLDOC01-appb-M000015
　以上のようにパラメータを設定することにより、視差バリアの各種パラメータを算出できる。なお、本実施の形態での視差バリアは、例えば図６に示すように、液晶マトリクス６０２で構成され、液晶ドット６０４毎にＯＮ／ＯＦＦを制御することを可能とする。
　また、表示パネルは、例えば図６に示されるように、パラメータとして１３６６×７６８画素で１０．１インチのＬＣＤパネル６０１を用い、利用者の想定視距離を５０ｃｍ、利用者の想定瞳孔間距離を６ｃｍとする。
　これより、ＬＣＤピクセル６０３のピクセルピッチＰは０．１６３７ｍｍとなり、視差バリア幅は０．１６３４７ｍｍとなり、表示パネルと視差バリアとの間隔Ｈは０．６８１ｍｍとなる。また、ＬＣＤピクセル６０３と液晶ドット６０４とは一対一に対応するので、液晶マトリクス６０２の中心をＬＣＤパネル６０１の中心と一致させるように配置する。
　図７Ａ及び図７Ｂに示すように、ＬＣＤパネル７０１に対応する視差バリアの液晶マトリクス７０２のＯＮ／ＯＦＦを行うことで、視差バリアを形成することになる。
　図７Ａに示されるＬＣＤパネル７０１には、上下方向に隣接するＲ画素（斜線ハッチングの画素）とＬ画素（ドットハッチング）とで画素セットが形成される。また、図７Ｂに示される液晶マトリクス７０２は、画素セットの境界を含む位置に、水平方向に３画素分、１行下に移動して水平方向に２画素分、さらに１行下に移動して水平方向に３画素分、・・・（以下、繰り返し）をＯＮ（遮光）することによって、視差バリアを形成している。すなわち、図７Ｂは、ストライプが左上から右下方向に延びる視差バリアの例を示している。
　図８Ａに示されるＬＣＤパネル８０１には、左右方向に隣接するＬ画素（ドットハッチングの画素）とＲ画素（斜線ハッチング）とで画素セットが形成される。また、図８Ｂに示される液晶マトリクス８０２は、画素セットの境界を含む位置に、垂直方向に３画素分、１列左に移動して垂直方向に２画素分、さらに１列左に移動して垂直方向に３画素分、・・・（以下、繰り返し）をＯＮ（遮光）することによって、視差バリアを形成している。すなわち、図８Ｂは、ストライプが右上から左下方向に延びる視差バリアの例を示している。
　ここで一般的なＬＣＤピクセルは、図９Ａの画素９０１のようなＲＧＢ配置となっていることが多い。すなわち、画素９０１を構成する複数のサブ画素（この例では、Ｒサブ画素、Ｇサブ画素、Ｂサブ画素の３つ）の境界線は、左右方向に隣接している。このようなＲＧＢ配置の上に視差バリアを形成するとモアレが発生し、色が分離してしまう現象が生じやすい。
　そこで図９Ｂの画素９０２のように、ＲＧＢを斜め配置としてモアレを軽減しても良い。すなわち、図９Ｂの画素９０２は、各サブ画素（Ｒ、Ｇ、Ｂ）の境界線は、画素の境界線に対して傾斜（すなわち、鋭角に交わる）している。さらに、図９Ｂの各サブ画素は、画素９０２内の複数箇所（この例では２箇所）に分散配置されている。
　図１０Ａ及び図１０Ｂは、サブ画素を斜め配置した画素と視差バリアとの関係を示す図である。図１０Ａ及び図１０Ｂに示されるように、ＬＣＤピクセル１０００、１００３は、視差バリアの液晶ドット１００１、１００２を重畳させても、全てのサブ画素（Ｒ、Ｇ、Ｂ）全てが見えることになり、モアレを防ぐことができる。
　次に、ユーザ位置の検出方法（ユーザ位置検出部１０１及び制御方向算出部１０３の動作）について、図１１～１３を用いて説明する。３Ｄタブレット端末１１００は、一対のカメラ１１０１、１１０２を備え、３Ｄタブレット端末１１００に表示される立体画像を視聴するユーザ１１０４を撮像する。
　図１２Ａに示される画像１２００はカメラ１１０１で撮像され、図１２Ｂに示される画像１２１０はカメラ１１０２で撮像されたものとする。各画像１２００、１２１０に対して画像処理を行うことによって、ユーザの左右の目を抽出する。画像処理の方法は問わないが、例えば、形状認識アルゴリズムを用いて目と思われる部分を抽出する。抽出した結果、各画像の中央の画素位置１２０４、１２１４から各画像における左目１２０３、１２１３までのピクセル距離（１２０１、１２０２）、（１２１１、１２１２）を算出する。同様にして、各画像の中央の画素位置から各画像における右目までのピクセル距離も算出する。
　予めキャリブレーションにより一対のカメラ１１０１、１１０２それぞれの特性を取得しておくことで、算出したピクセル距離を補正して図１３に示すようにカメラ位置１３００（カメラ１１０１、１１０２の位置）からターゲット１３０１（左目あるいは右目）への方向を求める。
　このように、図１２Ａ及び図１２Ｂにおける各画像の上下方向は、図１３のＹ軸に対する角度である垂直角１３０３に対応し、左右方向は図１３のＸ軸に対する角度である水平角１３０２に対応する。また、図１２Ａ及び図１２Ｂにおける各画像の垂直方向（紙面奥から手前に向かう方向）は、図１３のＺ軸に対応する。このような対応によって、ピクセル距離に応じてカメラ位置１３００（カメラ１１０１、１１０２の位置）からターゲット１３０１（左目あるいは右目）を望む方向（角度）を求めることができる。すなわち、ピクセル距離１２０１からターゲット垂直角１３０４、ピクセル距離１２０２からターゲット水平角１３０５を求めることができる。
　なお、ターゲット垂直角１３０４は、ターゲット１３０１からのＹ－Ｚ平面に対する垂線がＹ－Ｚ平面と交わる交点１３０６及びカメラ位置１３００を結ぶ線と、Ｚ軸とのなす角度である。同様に、ターゲット水平角１３０５は、ターゲット１３０１からのＺ－Ｘ平面に対する垂線がＺ－Ｘ平面と交わる交点１３０７及びカメラ位置１３００を結ぶ線と、Ｚ軸とのなす角度である。
　ここでターゲット１３０１の空間位置座標の算出には、例えば三角測量法を用いる。図１４において、辺Ａ～Ｃと角ａ～ｃとの間には、式１６に示す余弦定理が成り立つ。
Figure JPOXMLDOC01-appb-M000016
　頂点１４０１をカメラ１１０１の位置、頂点１４０２をカメラ１１０２の位置、頂点１４００をターゲット１３０１からのＹ－Ｚ平面に対する垂線とＹ－Ｚ平面との交点とすると、角Ｃはカメラ１１０１、１１０２間の距離に相当する。なお、角ａ及び角ｂは前述したターゲット垂直角１３０４から算出することができる。そして、角ａ及び角ｂより、角ｃも求まる。このため、式１７、１８により、辺Ａ及び辺Ｂの長さ、つまりカメラ１１０１、１１０２から、ターゲット１３０１からの垂線とＹ－Ｚ平面との交点までの距離を算出することができる。これらから式１９、２０により、ターゲット１３０１のｙ座標及びｚ座標を算出することができる。また、前述したターゲット水平角１３０５をｄとおくと式２１よりターゲット１３０１のｘ座標を算出することができる。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
　以上からターゲット１３０１の空間位置座標を求めることができるので、同様にして、左右の目の空間位置座標を得る。
　次に、ターゲット角度の算出について説明する。ターゲット角度とは、右目と左目とを結ぶ線分の中点からのＸ－Ｙ平面に対する垂線とＸ－Ｙ平面との交点及び空間位置座標の原点を結ぶ線と、Ｙ軸とのなす角度である。具体的には、図１５に示すように、取得した右目の空間位置座標１５０２（ｘｒ，ｙｒ，ｚｒ）と左目の空間位置座標１５０１（ｘｌ，ｙｌ，ｚｌ）とから右目及び左目を結ぶ線分の中点の空間位置座標１５０６（（ｘｒ＋ｘｌ）／２，（ｙｒ＋ｙｌ）／２，（ｚｒ＋ｚｌ）／２）を算出する。そして、空間位置座標１５０６からのＸ－Ｙ平面への垂線とＸ－Ｙ平面との交点１５０４及び空間位置座標の原点１５００を結ぶ線分１５０５と、Ｙ軸とのなす角度であるターゲット角度１５０３（Ｒ）を、式２２により求める。
Figure JPOXMLDOC01-appb-M000022
　このターゲット角度１５０３を用いて、視差バリアの向きと、立体画像の視差の方向とを、図３Ａ及び図３Ｂに示すように変更する。図３Ａ及び図３Ｂにおいて、矢印３０１、３０５によって示されるユーザの方位がターゲット角度１５０３で与えられ、これと視差バリア３０４、３０８が同一の方向を向くように制御する。また、左目用画像３０２及び右目用画像３０３の組と、左目用画像３０６及び右目用画像３０７の組とは、ターゲット角度１５０３に対して垂直な方向に視差を生じるように制御する。
　なお、右目と左目とを結ぶ線分の中点の空間位置座標１５０６及び空間位置座標の原点１５００を結ぶ線分と、線分１５０５とのなす角度１５０７（Ｔ）を、式２３により求めてもよい。
Figure JPOXMLDOC01-appb-M000023
　この角度１５０７に応じて裸眼３Ｄディスプレイ２０３への表示内容を変更してもよい。例えば。ターゲット垂直角の方向に応じて、裸眼３Ｄディスプレイ２０３への表示内容をその方向から見た画像に変更するとよりリアリティを強調することができる。さらに、ターゲット垂直角の方向に応じて、メニューを変更するなど見る角度で異なるＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を提供することも可能となる。
　図１５の角度１５０７は、裸眼３Ｄディスプレイ２０３（視差画像表示部１０９）を含む平面（Ｘ－Ｙ平面）とユーザの視線方向とのなす角（仰角）である。そして、裸眼３Ｄディスプレイ２０３には、仰角に応じたオブジェクトが立体表示される。すなわち、裸眼３Ｄディスプレイ２０３には、オブジェクトを仰角で示される方向から見た立体画像が表示される。
　より具体的には、例えば、仰角が９０°（ユーザがＺ軸上から見る）の場合、裸眼３Ｄディスプレイ２０３にはオブジェクトを正面から見た立体画像が表示される。一方、仰角が４５°の場合、裸眼３Ｄディスプレイ２０３にはオブジェクトを斜め４５°から見た立体画像が表示される。
　次に、表示する立体視オブジェクトの飛び出し量（Ｈ）あるいは引っ込み量（Ｈ’）と瞳孔間距離（Ｄ）と、視距離（Ｌ）とから左右の視差画像を生成する。具体的な視差画像の生成方法は、図１６及び図１７に示すように、視点位置Ａ及び視点位置Ｂから見た立体視オブジェクトＣを表現するための視差画像Ｐ及び視差画像Ｑを、ＯｐｅｎＧＬ（登録商標）などのグラフィックライブラリを利用して描画する。そして、飛び出し時には式２４、引っ込み時には式２５により視差量Ｓを求める。
Figure JPOXMLDOC01-appb-M000024
Figure JPOXMLDOC01-appb-M000025
　得られた視差量Ｓを視点位置Ａ及び視点位置Ｂの中点から画面に垂直に引いた直線と画面との交点からの画面上のオフセットとして、左右に視差画像Ｐ及び視差画像Ｑを描画する。なお、視差量Ｓは連続的な値をとるのに対して、裸眼３Ｄディスプレイ２０３のピクセルピッチは固定である。そのため、裸眼３Ｄディスプレイ２０３のピクセルピッチを勘案して視差画像Ｐ及び視差画像Ｑの画面上の描画位置を決定する。このとき、図３Ａ及び図３Ｂに示すように、ターゲット角度によって与えられる方向と直交する方向に、視差量Ｓを設定する。
　なお、ユーザ位置検出部１０１において複数人を検知し、制御方向算出部１０３で各人に対応した方位情報１０４を算出してもよい。視差バリア表示部１０５、視差画像生成部１０７、及び視差画像表示部１０９において、図１８に示すように、３Ｄタブレット端末１８００のディスプレイを、各ユーザＡ、Ｂ、Ｃ、Ｄに対応する表示領域１８１０、１８２０、１８３０、１８４０に分けて、それぞれに立体画像を表示させてもよい。
　具体的には、図１に示されるユーザ位置検出部１０１及び制御方向算出部１０３は、複数の表示領域１８１０～１８４０に対するユーザＡ～Ｄの方位（図１８の矢印）を取得する。次に、視差バリア表示部１０５は、複数の表示領域１８１０～１８４０それぞれの視差バリアを、ストライプの方向が対応するユーザの方位に略平行になるように表示する。また、視差画像生成部１０７は、複数の表示領域１８１０～１８４０それぞれに対して、対応するユーザの方位と略直交する方向の視差を伴う立体画像を生成し、視差画像表示部１０９に表示させる。
　その結果、ユーザＡに対応する表示領域１８１０には、ストライプが左上から右下に延びる視差バリア１８１１が重畳され、且つ左下及び右上にずれた右目用画像１８１２及び左目用画像１８１３が表示されている。
　また、ユーザＢに対応する表示領域１８２０には、ストライプが右上から左下に延びる視差バリア１８２１が重畳され、且つ左上及び右下にずれた右目用画像１８２２及び左目用画像１８２３が表示されている。
　また、ユーザＣに対応する表示領域１８３０には、ストライプが左右方向に延びる視差バリア１８３１が重畳され、且つ上下方向にずれた右目用画像１８３２及び左目用画像１８３３が表示されている。
　さらに、ユーザＤに対応する表示領域１８４０には、ストライプが上下方向に延びる視差バリア１８４１が重畳され、且つ左右方向にずれた右目用画像１８４２及び左目用画像１８４３が表示されている。
　ここで、図１９を用いて一対のカメラに組み込まれ各画像を取得する撮像素子のピクセルと、一対のカメラの画角との関係について説明する。一対のカメラは、撮像素子の前にレンズが配置され、撮像素子とレンズとの関係によって一対のカメラの画角が決められる。例えば、撮像素子のピクセル数が横方向にｂ０からｂ１３４３までの１３４４個あり、レンズに魚眼レンズなどを用いた場合、角度ａ０から角度ａ１３４３までの１８０度の画角を撮像できる。そうすると、撮像素子の横方向に１ピクセルあたり（１８０÷１３４４）度の分解能で各画像を取得することができることになる。
　なお、カメラのようにユーザの視点位置を能動的に検出する手段を備えなくとも、例えば、３Ｄタブレット端末に対してユーザが自らの位置を入力するようにしてもよい。３Ｄタブレット端末のＬＣＤがタッチパネルを備えている場合には、ＬＣＤのユーザに近い位置をタップすることによってユーザの位置を３Ｄタブレット端末に入力することができる。また、３Ｄタブレット端末のＬＣＤがタッチパネルを備えていない場合には、既存のポインティング手段、例えば、カーソルキーやマウスやトラックボールなどによってＬＣＤのユーザに近い位置を指示することによってユーザの位置を３Ｄタブレット端末に入力することができる。
　本発明の立体画像表示装置を大型端末に適用すると、テーブル上に平置きし、自由な角度から立体視することができる効果を有するので、大型の３Ｄタブレット端末などに有用である。
　１００，２００，１１００，１８００　３Ｄタブレット端末
　１０１　ユーザ位置検出部
　１０２　目位置情報
　１０３　制御方向算出部
　１０４　方位情報
　１０５　視差バリア表示部
　１０６　元画像データ
　１０７　視差画像生成部
　１０８　視差画像
　１０９　視差画像表示部
　１１０　視差データ
　２０１，２０２，１１０１，１１０２　カメラ
　２０３　裸眼３Ｄディスプレイ
　２０４　カメラ間距離
　３０１，３０５　矢印
　３０２，３０６，１８１３，１８２３，１８３３，１８４３　左目用画像
　３０３，３０７，１８１２，１８２２，１８３２，１８４２　右目用画像
　３０４，３０８，４０３，５０３，５０４，１８１１，１８２１，１８３１，１８４１　視差バリア
　４０１　右目
　４０２，１２０３，１２１３　左目
　４０４　表示パネル
　４０５，４０６　画素セット
　４０７，４０８　バリア
　５０１　右方向直線群
　５０２　左方向直線群
　５０５，１３０６，１３０７，１５０４　交点
　５０６　右目位置
　５０７　左目位置
　６０１，７０１，８０１　ＬＣＤパネル
　６０２，７０２，８０２　液晶マトリクス
　６０３，１０００，１００３　ＬＣＤピクセル
　６０４，１００１，１００２　液晶ドット
　９０１，９０２　画素
　１１０４　ユーザ
　１２００，１２１０　画像
　１２０１，１２０２，１２１１，１２１２　ピクセル距離
　１２０４，１２１４　画素位置
　１３００　カメラ位置
　１３０１　ターゲット
　１３０２　水平角
　１３０３　垂直角
　１３０４　ターゲット垂直角
　１３０５　ターゲット水平角
　１４００，１４０１，１４０２　頂点
　１５００　原点
　１５０１，１５０２，１５０６　空間位置座標
　１５０３，１５０７　角度
　１５０５　線分
　１８１０，１８２０，１８３０，１８４０　表示領域

Claims (11)

  1. 　視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、
    　前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアと、
    　前記表示部に対するユーザの方位を取得する取得部と、
    　前記視差バリアのストライプの方向を、前記取得部で取得されたユーザの方位に略平行にする制御部と、
    　前記取得部で取得されたユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成部とを備える
    　立体画像表示装置。
  2. 　視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、
    　前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアと、
    　前記表示部に対するユーザの方位を取得する取得部と、
    　前記視差バリアのストライプの方向を、前記取得部で取得されたユーザの方位に略平行にする制御部と、
    　前記制御部で前記ユーザの方位に略平行にされた前記視差バリアのストライプの方向と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成部とを備える
    　立体画像表示装置。
  3. 　前記取得部は、前記表示部を含む平面上における方向であって、ユーザの両目を結ぶ仮想線の方向に直交する方向に平行な方向を、ユーザの方位として取得する
    　請求項１又は２に記載の立体画像表示装置。
  4. 　前記取得部は、さらに、ユーザの瞳孔間距離を取得し、
    　前記生成部は、前記取得部で取得された瞳孔間距離に応じて、前記右目用画像及び前記左目用画像の視差量を調整する
    　請求項１～３のいずれか１項に記載の立体画像表示装置。
  5. 　前記取得部は、ユーザを撮像する撮像部を含み、前記撮像部で撮像された画像からユーザの方位を取得する
    　請求項１～４のいずれか１項に記載の立体画像表示装置。
  6. 　前記取得部は、さらに、ユーザの位置を特定する情報の入力を受け付ける入力部を含み、前記入力部に入力された情報に基づいて、ユーザの方位を取得する
    　請求項１～５のいずれか１項に記載の立体画像表示装置。
  7. 　前記表示部を構成する各画素は、複数のサブ画素で構成され、
    　前記複数のサブ画素の境界線は、隣接する画素の境界線に対して傾斜している
    　請求項１～６のいずれか１項に記載の立体画像表示装置。
  8. 　前記表示部は、複数の表示領域を含み、
    　前記取得部は、前記複数の表示領域それぞれに対するユーザの方位を取得し、
    　前記制御部は、前記複数の表示領域それぞれの視差バリアを、ストライプの方向が対応するユーザの方位に略平行にし、
    　前記生成部は、前記複数の表示領域それぞれに対して、前記取得部で取得された対応するユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む立体画像を生成し、表示させる
    　請求項１～７のいずれか１項に記載の立体画像表示装置。
  9. 　前記取得部は、さらに、前記表示部の表示面に対するユーザの仰角を取得し、
    　前記生成部は、前記取得部で取得されたユーザの仰角の方向からオブジェクトを見た前記立体画像を生成して、前記表示部に表示させる
    　請求項１～８のいずれか１項に記載の立体画像表示装置。
  10. 　視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアとを備える立体画像表示装置に、前記立体画像を表示させる立体画像表示方法であって、
    　前記表示部に対するユーザの方位を取得する取得ステップと、
    　前記視差バリアのストライプの方向を、前記取得ステップで取得されたユーザの方位に略平行にする制御ステップと、
    　前記取得ステップで取得されたユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成ステップとを含む
    　立体画像表示方法。
  11. 　視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアとを備える立体画像表示装置に、前記立体画像を表示させる立体画像表示方法であって、
    　前記表示部に対するユーザの方位を取得する取得ステップと、
    　前記視差バリアのストライプの方向を、前記取得ステップで取得されたユーザの方位に略平行にする制御ステップと、
    　前記制御ステップで前記ユーザの方位に略平行にされた前記視差バリアのストライプの方向と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成ステップとを含む
    　立体画像表示方法。
     
     
PCT/JP2012/003479 2012-02-15 2012-05-28 立体画像表示装置及び立体画像表示方法 WO2013121468A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012546661A JP5167439B1 (ja) 2012-02-15 2012-05-28 立体画像表示装置及び立体画像表示方法
US13/744,070 US9066089B2 (en) 2012-02-15 2013-01-17 Stereoscopic image display device and stereoscopic image display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012030279 2012-02-15
JP2012-030279 2012-02-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/744,070 Continuation US9066089B2 (en) 2012-02-15 2013-01-17 Stereoscopic image display device and stereoscopic image display method

Publications (1)

Publication Number Publication Date
WO2013121468A1 true WO2013121468A1 (ja) 2013-08-22

Family

ID=48983639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003479 WO2013121468A1 (ja) 2012-02-15 2012-05-28 立体画像表示装置及び立体画像表示方法

Country Status (1)

Country Link
WO (1) WO2013121468A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015528234A (ja) * 2013-03-22 2015-09-24 深▲せん▼市云立方信息科技有限公司 ホログラフィーの３ｄシーンを模倣した表示装置及び視覚表示方法
CN109785749A (zh) * 2019-03-22 2019-05-21 南京洛普科技有限公司 一种具有裸眼3d效果的室内显示屏
JP2021067837A (ja) * 2019-10-24 2021-04-30 株式会社デンソー ウィンドシールド表示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122020A (ja) * 2003-10-20 2005-05-12 Sharp Corp 画像表示装置
JP2009520232A (ja) * 2005-12-20 2009-05-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動立体表示装置
JP2011101366A (ja) * 2009-11-04 2011-05-19 Samsung Electronics Co Ltd アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法
JP2011205195A (ja) * 2010-03-24 2011-10-13 Nikon Corp 画像処理装置、プログラム、画像処理方法、椅子および観賞システム
JP2012023557A (ja) * 2010-07-14 2012-02-02 Sharp Corp 画像撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122020A (ja) * 2003-10-20 2005-05-12 Sharp Corp 画像表示装置
JP2009520232A (ja) * 2005-12-20 2009-05-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動立体表示装置
JP2011101366A (ja) * 2009-11-04 2011-05-19 Samsung Electronics Co Ltd アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法
JP2011205195A (ja) * 2010-03-24 2011-10-13 Nikon Corp 画像処理装置、プログラム、画像処理方法、椅子および観賞システム
JP2012023557A (ja) * 2010-07-14 2012-02-02 Sharp Corp 画像撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015528234A (ja) * 2013-03-22 2015-09-24 深▲せん▼市云立方信息科技有限公司 ホログラフィーの３ｄシーンを模倣した表示装置及び視覚表示方法
CN109785749A (zh) * 2019-03-22 2019-05-21 南京洛普科技有限公司 一种具有裸眼3d效果的室内显示屏
JP2021067837A (ja) * 2019-10-24 2021-04-30 株式会社デンソー ウィンドシールド表示装置
JP7188354B2 (ja) 2019-10-24 2022-12-13 株式会社デンソー ウィンドシールド表示装置

Similar Documents

Publication Publication Date Title
JP5167439B1 (ja) 立体画像表示装置及び立体画像表示方法
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
US20190215505A1 (en) Information processing device, image generation method, and head-mounted display
JP5501474B2 (ja) 立体画像生成装置および立体画像生成方法
CN107193372A (zh) 从多个任意位置矩形平面到可变投影中心的投影方法
JP2017142569A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
CN106454311A (zh) 一种led三维成像系统及方法
US20170078570A1 (en) Image processing device, image processing method, and image processing program
US9760263B2 (en) Image processing device, image processing method, and stereoscopic image display device
JP2014131266A (ja) 深さ情報を取得する方法及びディスプレイ装置
CN108076208B (zh) 一种显示处理方法及装置、终端
TW201624058A (zh) 廣視角裸眼立體圖像顯示方法、裸眼立體顯示設備以及其操作方法
KR20140073584A (ko) 화상 처리 장치, 입체 화상 표시 장치, 화상 처리 방법 및 화상 처리 프로그램
KR101810170B1 (ko) 사용자 위치 기반 이미지 표시 방법 및 장치
TW201837893A (zh) 動態顯示系統
WO2013121468A1 (ja) 立体画像表示装置及び立体画像表示方法
JP2022058753A (ja) 情報処理装置、情報処理方法及びプログラム
US9767580B2 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
TWI500314B (zh) A portrait processing device, a three-dimensional portrait display device, and a portrait processing method
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
US20130215106A1 (en) Cursor merging device and cursor merging method
JP2012105172A (ja) 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体
TWI411760B (zh) Calculation of the distance between eyes
TWI507014B (zh) 三維透視影像校正方法及其系統
TWI526045B (zh) 立體影像的調整方法與影像處理裝置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2012546661

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12868628

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12868628

Country of ref document: EP

Kind code of ref document: A1