WO2010061689A1 - 表示装置、端末装置および表示方法 - Google Patents

表示装置、端末装置および表示方法 Download PDF

Info

Publication number
WO2010061689A1
WO2010061689A1 PCT/JP2009/067469 JP2009067469W WO2010061689A1 WO 2010061689 A1 WO2010061689 A1 WO 2010061689A1 JP 2009067469 W JP2009067469 W JP 2009067469W WO 2010061689 A1 WO2010061689 A1 WO 2010061689A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
display
image
image data
unit
Prior art date
Application number
PCT/JP2009/067469
Other languages
English (en)
French (fr)
Inventor
哲史 佐藤
幸治 重村
昌宏 芹沢
Original Assignee
日本電気株式会社
Nec液晶テクノロジー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, Nec液晶テクノロジー株式会社 filed Critical 日本電気株式会社
Priority to EP09828938A priority Critical patent/EP2365701A1/en
Priority to JP2010540421A priority patent/JP5170254B2/ja
Priority to US13/129,753 priority patent/US9122064B2/en
Priority to CN200980155402.6A priority patent/CN102292998B/zh
Publication of WO2010061689A1 publication Critical patent/WO2010061689A1/ja
Priority to US14/816,178 priority patent/US9880395B2/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/28Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays involving active lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/31Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers involving active parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/315Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes

Definitions

  • the present invention relates to a display device and a display method for displaying an image, and particularly to a display device, a terminal device and a display method for displaying a stereoscopic image.
  • stereoscopic display devices have attracted attention as a new added value for portable devices.
  • a means for displaying a stereoscopic image a method of projecting images having binocular parallax to the left and right eyes is generally used, and a stereoscopic display of a method in which a display panel is provided with a lenticular lens and a parallax barrier as image distribution means.
  • a device There is a device.
  • time-division type stereoscopic display device that includes two light sources that collect light on the right eye and the left eye and alternately projects left and right parallax images on the right eye and the left eye (see, for example, Patent Document 1). .)
  • 3D display devices are suitable for mounting on portable devices because they do not need to wear special glasses and do not have the trouble of wearing glasses.
  • Mobile phones equipped with a parallax barrier type stereoscopic display device have been commercialized (for example, see Non-Patent Document 1).
  • the parallax images are spatially separated and projected, the place where the observer can see as a regular three-dimensional object is limited.
  • the area that the observer sees as a stereoscopic image is called a stereoscopic viewing area, and the stereoscopic viewing area is determined when the stereoscopic display device is designed.
  • the left-eye image and the right-eye image appear to overlap (so-called double image), or an image with a sense of depth reversed (so-called inverse) Problem).
  • FIG. 1 shows an example of an optical model for projecting parallax images to the left and right eyes of an observer in a parallax barrier type stereoscopic display device.
  • FIG. 1 is a cross-sectional view as viewed from above the observer's head, and the observer's eyes (right eye 55R and left eye 55L) are located on an observation surface 30 that is an optimum observation distance OD away from the display surface of the display device.
  • the positional relationship is such that the center of the display panel coincides with the center of both eyes of the observer.
  • the display panel (not shown) is composed of light modulation element groups (for example, a liquid crystal panel) that are pixels arranged in a matrix.
  • FIG. 1 shows alternately right-eye pixels 4R and left-eye pixels. Only the pixels at both ends and the center of the panel of 4L are shown.
  • the parallax barrier 6 that functions as image distribution means is disposed in the back of the display panel as viewed from the observer.
  • the parallax barrier 6 is a barrier (light-shielding plate) in which a large number of thin vertical stripe-shaped slits 6a are formed.
  • the parallax barrier 6 has a barrier against the direction in which the left-eye pixels 4L and the right-eye pixels 4R are arranged on the display panel.
  • a light source (not shown: so-called backlight) is installed further behind the parallax barrier, and the light emitted from the light source passes through the slit 6a, and the intensity is modulated at the pixels in the display panel and projected toward the observer.
  • the projection direction of the right-eye pixel 4R and the left-eye pixel 4L is limited by the presence of the slit 6a.
  • the locus of the light passing through the nearest pixel among the light emitted from each slit 6a is illustrated as the light ray 20, the right eye region 70R where the projected images of all the right eye pixels 4R overlap and all the left eyes.
  • a left eye region 70L in which the projected images of the pixel for use 4L overlap is obtained. Only the projected image from the right eye pixel 4R can be observed in the right eye region 70R, and only the projected image from the left eye pixel 4L can be observed in the left eye region 70L. Therefore, when the right eye 55R of the observer is located in the right eye area 70R and the left eye 55L is located in the left eye area 70L, the observer visually recognizes a stereoscopic image when the parallax images are projected to the left and right eyes. To do. In other words, the observer can observe a desired stereoscopic image when the right eye 55R is located in the right eye region 70R and the left eye 55L is located in the left eye region 70L.
  • the projection images (width P ′) are all designed to overlap.
  • the width P ′ of the projected image can be determined mainly by the distance h between the slit 6 a and the pixel, the pixel pitch P, and the optimum observation distance OD.
  • P ′ is designed to be equal to the binocular distance e, where b is the distance between the eyes.
  • P ′ is designed to be equal to the binocular distance e, where b is the distance between the eyes.
  • P ′ is smaller than the binocular interval e
  • the region where stereoscopic vision can be performed is limited to P ′.
  • P ′ is larger than the binocular interval e, only the area where both eyes are located in the right eye area 70R or the left eye area 70L is increased.
  • the shortest distance ND and the longest distance FD with respect to the panel that allows the observer to perform stereoscopic viewing are also determined by the restriction of the binocular interval e and the right eye region 70R and the left eye region 70L.
  • the region in which the observer visually recognizes the stereoscopic image by the projection of the parallax image is not only the right eye region 70R and the left eye region 70L optically determined by the image distribution unit, but also the distance between the eyes of the observer. determined from e.
  • the stereoscopic viewing area may be expressed by the area of the midpoint M between the right eye 55R and the left eye 55L of the observer.
  • the stereoscopic viewing area 71 in this case is a diamond-like square.
  • the stereoscopic viewing area 71 of FIG. 2 is effective only when the parallel relationship between the plane including the eyes of the observer and the display panel surface is maintained.
  • FIG. 3 shows an optical model in the case where the parallax barrier 6 functioning as image distribution means is arranged in front of the display panel as viewed from the observer. Similar to the example arranged in the back of the observer's display panel, the observer is positioned at the optimum observation position OD, and the projected images (width P ′) of the left and right pixels (width P) overlap on the observation surface 30. Designed to be The locus of the light passing through the closest slit 6a out of the light emitted from each pixel is illustrated as a light ray 20, so that the right eye region 70R where the projected images of all the right eye pixels 4R overlap and the left eye for all the eyes. A left eye region 70L where the projected images of the pixels 4L overlap is obtained.
  • FIG. 4 shows a stereoscopic viewing area when a lenticular lens is used as the image distribution means.
  • FIG. 4 is the same as FIG. 3 except for the image distribution means.
  • the observer is out of the stereoscopic viewing zone using a lenticular lens optical model.
  • FIG. 5 is a cross-sectional view seen from above the observer when the observer moves to the right and deviates from the stereoscopic viewing area 71 expressed using the midpoint M between the right eye 55R and the left eye 55L.
  • the observer's right eye 55R is located outside the right eye region 70R, and the left eye 55L is located within the right eye region 70R.
  • the light beam 20 passing through the principal point (vertex) of the cylindrical lens 3a closest to the left eye pixel 4L and the right eye pixel 4R at the position of the right eye 55R of the observer is Not reach.
  • the second left-eye region 72 is obtained when illustrated as the light beam 21. . That is, in FIG. 5, the observer observes the projection image from the left-eye pixel 4L with the right eye 55R, and observes the projection image from the right-eye pixel 4R with the left eye 55L. When observed, the pop-out and the depth are opposite (so-called reverse viewing), and a desired stereoscopic image cannot be observed.
  • JP 2001-66547 A (pages 3 to 4, FIG. 6) JP-A-9-152668 JP 2000-152285 A Japanese Patent Laid-Open No. 11-72697
  • an observer can adjust the display device to an optimal position for stereoscopic viewing using his / her body, but the display device itself may be tilted due to external factors such as device operation and vehicle shake. Or move.
  • the observer's binocular position may deviate from the stereoscopic viewing area.
  • Observers are not only uncomfortable to see double images and reverse vision, but in some cases, repeated regular images and double images and reverse vision can cause fatigue, resulting in dizziness and motion sickness. There may be such symptoms.
  • a general viewpoint tracking method must be equipped with a camera, an image processing function for detecting the position of the viewpoint, and an infrared irradiation device. Due to the increase in the size of the device and the demand for advanced image processing capabilities, There is a problem that it is not suitable for a stereoscopic display device.
  • An object of the present invention is to provide a display device, a terminal device, and a display method that solve the above-described problems.
  • the display device of the present invention includes: A display device for displaying an image, The movement of the display device is detected, and the image is displayed in one of three-dimensional display and flat display according to the detected movement.
  • the display method of the present invention includes: A display method for displaying an image on a display device, Detecting the movement of the display device; In accordance with the detected movement, there is a process of displaying the image in one of three-dimensional display and flat display.
  • the movement of the display device is detected, and the image is displayed in either one of the stereoscopic display and the flat display according to the detected movement, which is contrary to the intention of the observer. Even if the viewer moves out of the stereoscopic viewing zone due to the movement of the display device, it is possible to prevent the viewer from easily observing a reverse-viewed image or a double image and to give the viewer a feeling of discomfort or fatigue. Can be avoided.
  • FIG. 1 It is a figure which shows the optical model explaining the case where an observer remove
  • FIG. 1 It is a front view of the display apparatus which concerns on this invention. It is sectional drawing of the display apparatus which concerns on this invention. It is a functional block diagram of the display controller in the 1st Embodiment of this invention. It is an image of the image data in the first and second embodiments of the present invention. It is an image of the image data in the first and second embodiments of the present invention. It is an optical model when an observer observes a parallax image with the display apparatus of this invention in the optimal position.
  • this is an optical model when the width of the projected image of the pixel is not equal to the distance between the eyes of the observer.
  • the optical model is a case where the distance between the center slit and the end slit of the image distribution means is not equal to the binocular interval.
  • the optical model is a case where the distance between the center slit and the end slit of the image distribution means is not equal to the binocular interval. It is an optical model when the display apparatus of this invention moves along the X-axis. It is an optical model when the display apparatus of this invention moves along the X-axis.
  • FIG. 6 is a front view of an example of a display device to which the present invention is applied.
  • FIG. 7 is a cross-sectional view of the cross section of the housing at line b in FIG. 6 as viewed from above the observer's head.
  • the display panel 11, the image distribution means 13, the display controller 12, and the operation switch 14 are accommodated in the housing 10.
  • the display panel 11 is a transmissive liquid crystal panel in which a plurality of unit pixels are formed in a matrix.
  • the display panel 11 is a unit aligned in the horizontal direction, which is a direction parallel to the direction in which the eyes of the observer are aligned.
  • the pixels are alternately used as the left eye pixel 4L and the right eye pixel 4R. In FIG. 7, the left-eye pixel 4L and the right-eye pixel 4R other than both ends and the center of the display panel 11 are not shown.
  • the image distribution means 13 is an electro-optical element that displays a parallax barrier pattern, and for example, a transmissive liquid crystal panel is applicable.
  • the transmissive portion serving as a slit is perpendicular to the display panel 11 and is positioned between the right-eye pixel 4R and the left-eye pixel 4L. Placed in.
  • the distance to the display panel 11 and the slit pitch determine the observer's optimum observation position, the projection image from all the right-eye pixels 4R of the display panel 11 is projected to the right eye 55R of the observer 50 for display.
  • the projection images from all the left-eye pixels 4L on the panel 11 are designed to be projected onto the left eye 55L of the observer 50.
  • the parallax barrier pattern is not displayed, it does not function as a barrier, so that the projected images from both the right-eye and left-eye pixels are projected onto the viewer's eyes, as in the normal panel display. Is done.
  • the image distribution means 13 controls the projection of the image displayed on the display panel 11 from the display panel 11 to the outside.
  • the display controller 12 has a function of driving the display panel 11, a function of controlling a barrier, and a function of detecting the movement of the housing 10 and determining stereoscopic vision.
  • the display controller 12 will be described with reference to FIG.
  • FIG. 8 is a functional block diagram of the display controller 12 in the first embodiment of the present invention.
  • the display controller 12 includes an image generation unit 100, a detection unit 80, a determination unit 90, a display panel drive circuit 110, and an image distribution control circuit 111.
  • the detection unit 80 includes a sensor for detecting a displacement that occurs as a result of the movement of the housing 10.
  • the displacement of the housing 10 is a change in the tilt angle or the amount of movement. For example, if a sensor such as an acceleration sensor or a geomagnetic sensor is used, it can be calculated based on gravitational acceleration or geomagnetism.
  • the determination unit 90 includes a memory 91 that holds information about the tilt angle and the amount of movement obtained from the sensor of the detection unit 80, information about the stereoscopic viewing area of the display panel 11, and the like, and obtains it appropriately from the sensor of the detection unit 80. And an arithmetic unit 92 for determining whether or not both eyes of the observer are within the stereoscopic viewing area from the stored information and the information stored in the memory 91.
  • the image generation unit 100 has a function of generating image data to be sent to the display panel 11 and includes an arithmetic unit 101, a data storage unit 102, a memory 103, and an external IF (Interface) 104. Further, the image generation unit 100 has a function of generating image data having parallax (3D data) or generating image data having no parallax (2D data) in accordance with a signal from the determination unit 90.
  • Image data is generated by reading display target data in the data storage unit 102 by the arithmetic unit 101 and performing image processing.
  • the display target data is three-dimensional data including depth information, and the arithmetic unit 101 performs rendering processing.
  • a method of generating two-dimensional image data by applying is preferable.
  • 3D data used for stereoscopic display that is, two-dimensional image data for left and right eyes having parallax, is generated by setting two virtual viewpoints corresponding to the left and right eyes of the observer and performing rendering processing on each.
  • 2D data used for flat display that is, image data having no parallax, is generated by setting one viewpoint corresponding to the center of both eyes of the observer and performing a rendering process.
  • each two-dimensional image data generated for stereoscopic display is half that of the display panel 11. That is, when the image of the generated image data is illustrated, the 3D data is as shown in FIG. 9A, and the 2D data is as shown in FIG. 9B.
  • image data is preferably generated from three-dimensional data including depth information.
  • display target data that has been subjected to rendering processing in advance is stored in the data storage unit 102 and selectively read out. May be. That is, a method of accumulating in the form of two-dimensional data corresponding to FIGS. 9A and 9B that does not include depth information, and selecting and reading out the three-dimensional display according to the planar display may be used. Since this method does not require rendering processing, the processing capability and calculation speed of the computing unit 101 may be lower than those that require rendering. For this reason, there exists an advantage which can comprise the image generation part 100 at low cost.
  • the image generation unit 100 generates 2D / 3D data according to the signal from the determination unit 90 and outputs the 2D / 3D data to the display panel drive circuit 110.
  • the image generation unit 100 has a function of sending a signal for enabling the barrier to the image distribution control circuit 111 during stereoscopic display and a signal for disabling the barrier during planar display.
  • the display panel drive circuit 110 has a function of generating a signal (synchronization signal or the like) necessary for driving the display panel 11, and the image distribution control circuit 111 generates a signal for displaying the parallax barrier pattern. It has a function to do.
  • the image distribution means 13 is, for example, an electro-optic that can be turned on / off by an electric signal in which a lenticular lens is formed using a plurality of liquid crystal lenses instead of an electro-optic element that turns on / off the parallax barrier pattern.
  • An element may be used.
  • the computing units 92 and 101 exist independently in the determination unit 90 and the image generation unit 100, but the same computing unit may be used. Further, a processing function may be provided in an arithmetic unit that processes other functions (for example, communication control) of the portable display device to be applied, or in another processor.
  • the image distribution means uses an electro-optical element that displays a parallax barrier pattern, but may be a means that constitutes a lenticular lens as described above.
  • the parallax barrier may be replaced with the lenticular lens, and the slit may be replaced with the principal point of the lens.
  • FIG. 10 is an example of an optical model when the observer 50 performs a stereoscopic view on the display device of the present invention, that is, when a parallax image is observed.
  • the XYZ rectangular coordinate system is defined as follows.
  • the direction in which the eyes of the observer 50 are lined up and the horizontal direction of the display panel 11 is defined as the X axis.
  • a direction perpendicular to the X-axis and the projection plane of the display device (or the plane in which pixels in parallel relation are formed in a matrix) is defined as the Y-axis.
  • An axis that intersects the projection plane of the display device at a right angle is taken as a Z axis.
  • the positive and negative directions of the XYZ axes are as shown in FIG.
  • the observer 50 and the display device are in the most suitable positional relationship for stereoscopic viewing, and the distance between the image distribution means 13 and the observer's eyes 55R and 55L is the optimum observation distance OD.
  • the XY plane separated by a distance OD is set as the optimum observation surface.
  • the image distribution means 13 is functioning as a parallax barrier, and the distance between the center slit and the end slit is WS.
  • the display panel 11 includes a plurality of unit pixels and is alternately used as the left-eye pixel 4L and the right-eye pixel 4R in the X-axis direction, but the left-eye pixel 4L and the right-eye pixel in the center portion. Only 4R is shown.
  • the pitch (width) of unit pixels is P
  • the width of the projected image projected from the slit located closest to each pixel is P ′.
  • the light rays forming the projection image P ′ from the left-eye pixel and the right-eye pixel at both ends and the center of the display panel 11 are 22R, 23R, 24R, 25R, 22L, 23L, 24L, and 25L, respectively.
  • the display panel 11 and the image distribution means 13 have the projection images P ′ of all the right eye pixels overlapped on the optimum observation plane, and the projection images P ′ of all the left eye pixels are overlapped. It is preferable that they are designed to overlap. Furthermore, it is preferable that P ′ is set equal to the observer's binocular interval e.
  • the optimum observation distance OD is a design value.
  • FIG. 11 shows an optical model when the width P ′ of the projected image of the pixel is not equal to the observer's binocular distance e.
  • the stereoscopic viewing area is narrowed.
  • the right eye region 70R and the left eye region 70L can be expanded, but it is impossible to place the eyes of the observer at an arbitrary position. This does not expand the stereoscopic viewing area.
  • the distance between the pixel and the parallax barrier may be long, and there is an advantage that choices of components increase in designing the display device.
  • FIG. 10 shows an optical model in which WS and the width P ′ of the projected image are designed to be equal, that is, WS and the binocular interval e of the observer are equal.
  • FIG. 12A shows a case where WS> e
  • FIG. 12B shows a case where WS ⁇ e.
  • the right eye region 70R where the right eye projection image overlaps and the left eye region 70L where the left eye projection image overlaps are determined by the design conditions.
  • the right eye region 70R and the left eye region 70L derived from the design conditions, or the right eye region 70R and the left eye region 70L obtained by measurement from the completed display device are stored as stereoscopic viewing area data, and the observer If the data of the binocular positions are acquired and compared using an arithmetic unit, it can be determined whether or not both eyes of the observer are located within the stereoscopic viewing area.
  • the stereoscopic viewing area and the observer's binocular position are in a relative relationship. Therefore, if the observer's eyes do not move from the optimum observation position, whether or not stereoscopic viewing is possible is determined according to the movement of the display device housing 10.
  • the display device of the present invention stores the data of the stereoscopic viewing area, and determines whether or not the observer's eyes are located in the stereoscopic viewing area by detecting the movement of the display device housing 10.
  • the rhombus boundary information shown in FIGS. 10 to 12A and 12B is determined by the light rays 22R, 23R, 24R, 22L, 23L, and 24L shown in FIG.
  • the boundary information may be a polygon other than the diamond.
  • the determination can be made without the polygon boundary information which is the right eye and left eye region information. An example will be described below.
  • the positional relationship between the case 10 and the observer 50 shown in FIG. 10 is set as the optimum observation position, and the stereoscopic view when the case 10 is moved without moving the observer 50 is described with reference to the drawing. explain.
  • FIG. 13 is a diagram showing the limit of stereoscopic vision when the casing 10 moves in parallel along the X axis.
  • Fig. 13 (a) is a diagram when moving in the positive (+) direction of the X-axis
  • Fig. 13 (b) is a diagram when moving in the negative (-) direction of the X-axis.
  • the observer 50 can appropriately perform stereoscopic viewing when the right eye 55R is in the right eye region 70R and the left eye 55L is in the left eye region 70L. Therefore, the limit of the amount of movement in the positive (+) direction of the X axis is when both eyes overlap with the light rays 22R and 23R emitted from the display device.
  • the limit of the amount of movement in the negative ( ⁇ ) direction of the X-axis is when both eyes overlap with the light rays 22L and 23L emitted from the display device.
  • FIG. 14 is a diagram showing the limit of stereoscopic vision when the casing 10 moves in parallel along the Z axis.
  • FIG. 14A is a view when the housing 10 moves in the positive (+) direction of the Z axis.
  • FIG. 14B is a diagram when the housing 10 is moved in the negative ( ⁇ ) direction of the Z-axis.
  • the limit of the amount of movement in the positive (+) direction of the Z-axis is when both eyes overlap with the light beams 23R and 23L emitted from the display device.
  • the limit of the amount of movement in the negative ( ⁇ ) direction of the Z-axis is when both eyes overlap with the light rays 22L and 22L emitted from the display device.
  • FIG. 15 shows the limit of stereoscopic vision when the housing 10 moves in the X-axis direction and the Z-axis direction while maintaining the parallel relationship between the display panel 11 surface and the observation surface including both eyes of the observer 50.
  • FIG. 15A shows the case in which the housing 10 moves in the positive (+) direction of the X axis and the positive (+) direction of the Z axis. This is when 23R and the right eye 55R overlap.
  • FIG. 15B shows the case in which the housing 10 moves in the negative ( ⁇ ) direction of the X axis and the negative ( ⁇ ) direction of the Z axis. , When the light ray 22R and the right eye 55R overlap.
  • the inclinations of the light rays 22R, 23R, 24R, the light rays 22L, 23L, 24L, and the display surface are determined when the stereoscopic display device is designed. For this reason, if the amount of movement of the housing 10 from the optimum observation position is obtained, the possibility of stereoscopic viewing can be calculated.
  • the above condition is when the housing 10 is not tilted, that is, when the surface of the display panel 11 and the surface where the observer's eyes are located maintain a parallel relationship.
  • the limit of stereoscopic vision when the housing 10 is tilted needs to be calculated in consideration of the tilt angle.
  • FIG. 16 is a diagram illustrating the limit of stereoscopic vision when the housing 10 is tilted about the surface of the display panel 11 and having the Y axis as the rotation axis.
  • FIG. 16A is a view when the image is rotated counterclockwise when viewed in the positive (+) direction of the Y axis.
  • the limit at which the observer 50 can appropriately perform stereoscopic viewing is that the light beam 23L and the left eye 55L overlap. Is the time.
  • FIG. 16B is a diagram when the Y axis rotates in the clockwise direction when viewed in the positive (+) direction, and the limits that the observer 50 can appropriately stereoscopically view are the ray 23R and the right eye 55R. Is when they overlap. Since the inclinations of the light beams 23R and 23L are determined by the design of the display device, if the inclination angle from the optimum observation position of the housing 10 is obtained, the possibility of stereoscopic viewing can be calculated.
  • the stereoscopic vision is determined based on the amount of movement and the tilt angle of the housing 10 from the optimum observation position and the angles of the light rays 22R, 22L, 23R, and 23L determined by design with the panel surface. be able to.
  • a case where a triaxial acceleration sensor is used will be described as an example of detection of an inclination angle and a movement amount.
  • Accelerator sensor output includes various signals in addition to the tilt angle and amount of movement we want to know.
  • the main ones are an acceleration component toward the earth axis due to gravitational acceleration and a noise component of a use environment factor such as vibration that the human body having the housing and the housing receive simultaneously. It is effective to remove noise components such as vibration caused by the use environment by a filter.
  • a filter As the filter, a digital filter is optimal. However, depending on the environment and the characteristics of the user, a filter that uses frequency domain characteristics by Fourier transform or wavelet transform is often effective. Below, the detection method of the signal after these filtering processes are performed is described.
  • FIG. 17 shows a state in which the acceleration sensor is installed in the housing 10.
  • the coordinate system of the lenticular lens 3 on the panel and the coordinate system of the acceleration sensor are defined as shown in FIG. That is, the observer is observing a panel that is located in the positive direction of the Z axis (the direction with the arrow in the figure) and exists in the negative direction of the Z axis. Further, the upward direction of the panel viewed from the observer is the positive direction of the Y axis, and the downward direction of the panel is the negative direction of the Y axis.
  • the panel is often used tilted from the vertical direction of the earth axis, and this state is shown in FIG.
  • FIG. 18 is a view seen from a plane including the Y axis and the Z axis in FIG. 17, and the vertical inclination angle of the panel and the ground axis is indicated by ⁇ , and the gravitational acceleration vector is indicated by G.
  • the amount of movement can be calculated by calculating the speed by time integration of the acceleration sensor output and time integration of the calculated speed.
  • the first point is noise accumulation due to integration.
  • the second point is the influence of gravitational acceleration.
  • the following two methods are effective for this noise.
  • the first method is to use a filter for smoothing noise.
  • the second method is to set the integration time short. That is, if the integration time is short, ⁇ t also becomes small, so that fluctuations in the movement amount due to noise become small. By adding the short movement amount obtained in a short integration time, the movement amount at a desired time can be calculated.
  • tilt angle there are several possible tilts.
  • the pitch is rotation around the X axis. That is, it is a rotation of whether the upper end (+ Y side) of the panel approaches or the lower end ( ⁇ Y side) of the panel approaches as viewed from the observer.
  • the roll is rotated around the Y axis. That is, the rotation is whether the right end (+ X side) of the panel approaches or the left end ( ⁇ X side) of the panel approaches from the viewpoint of the observer.
  • Yaw is rotation around the Z axis. That is, the rotation is such that the panel rotates around the direction of the line of sight of the observer within the plane observed from the front by the observer.
  • the pitch can be obtained as follows.
  • FIG. 18 shows a plane including the Y axis and the Z axis, and the gravitational acceleration G in the plane.
  • the displacement is only rotation around the X axis.
  • the method for obtaining the roll which greatly affects the visibility of stereoscopic vision, is the same as the method for obtaining the pitch.
  • the mutation is only rotation around the Y axis.
  • the gravitational acceleration component in the Y-axis direction is the same as in FIG. 18, and does not change as ⁇ G ⁇ cos ( ⁇ ).
  • the gravitational acceleration component in the Z-axis direction is ⁇ G ⁇ sin ( ⁇ ) in the state of FIG. 18 where there is no rotation around the Y-axis, but when rotation around the Y-axis occurs, It is divided into components in the X-axis direction. This situation is shown in FIG.
  • the X-axis and Z-axis indicated by broken lines are the axial directions before the rotation around the Y-axis occurs.
  • the component of the gravitational acceleration perpendicular to the Y axis is in the negative direction of the Z axis and is ⁇ G ⁇ sin ( ⁇ ).
  • the X axis and the Z axis move to positions X ′ and Z ′ in FIG. 19, respectively.
  • the gravitational acceleration component on the Z ′ axis is ⁇ G ⁇ sin ( ⁇ ) ⁇ cos ( ⁇ ).
  • a three-axis acceleration sensor is shown as an example, but it is obvious that a pitch / roll can be detected by a two-axis acceleration sensor.
  • a geomagnetic sensor may be used for detecting the tilt angle
  • an acceleration sensor may be used for detecting the movement amount.
  • the method of detecting the tilt angle by the triaxial geomagnetic sensor can be explained by replacing the gravitational acceleration with the geomagnetism in the description of the tilt angle by the acceleration sensor described above.
  • An angular velocity sensor or a gyro sensor can be used for detecting the tilt angle, and a small camera or an ultrasonic transmission source and an ultrasonic sensor can be used for detecting the movement amount.
  • a sensor for detecting the movement of the housing 10 is also activated.
  • stereoscopic display means that the function of the image distribution means is turned on (for example, parallax / barrier pattern display), and the display panel 11 has a parallax as shown in FIG.
  • the image data is sent and each image is projected onto the left and right eyes of the observer.
  • step 1 the observer adjusts the position and tilt of the housing 10 so that the display of the reference screen can be satisfactorily viewed as a solid.
  • step 2 the output of the detection unit 80 in a state where the observer adjusts the position and inclination of the housing 10 is recorded as an initial value, and the desired stereoscopic display content is reproduced.
  • step 3 the movement amount and the inclination angle for a predetermined period ⁇ T are calculated from the output from the detection unit 80 and the recording of the initial value.
  • the stereoscopic vision is determined in step 4 based on the calculated movement amount and inclination angle. This is determined based on whether or not the calculated movement amount and inclination angle are larger than respective preset threshold values. For example, when the calculated movement amount is smaller than a preset movement amount threshold, it is determined that stereoscopic viewing is possible. If the calculated tilt angle is smaller than a preset tilt angle threshold, it is determined that stereoscopic viewing is possible. If it is determined that stereoscopic viewing is possible, the stereoscopic display is performed in step 5 and the process proceeds to step 7.
  • step 6 If it is determined that stereoscopic viewing is impossible, switch to flat display in step 6.
  • the planar display means that the function of the image distribution means is turned off (for example, the parallax / barrier pattern is not displayed), and the display panel 11 has a parallax as shown in FIG. Sending no image data and projecting an image without parallax to the viewer.
  • the process After switching to the flat display, the process returns to step 3 to calculate again the movement amount and the inclination angle during the predetermined period ⁇ T.
  • step 7 it is determined whether or not the initial value used as a reference when calculating the movement of the housing 10 is updated. If the determination result in step 7 is No, the process returns to step 3. If the determination result in step 7 is Yes, the process returns to step 2, and the output of the detection unit 80 at this time is recorded by replacing the initial value recorded in step 1. That is, the initial value is updated.
  • the predetermined period ⁇ T is preferably set between about the frame period of the display panel 11 and about 0.2 seconds.
  • ⁇ T is long, switching from stereoscopic display to flat display is delayed with respect to the movement of the housing 10. As a result, the observer switches to flat display after viewing the back view or double image.
  • ⁇ T is short, but there is no time to switch the image data to the entire display screen even if switching between the three-dimensional display and the flat display multiple times within one frame period of the display panel 11. That is, even if ⁇ T is shorter than the frame period, there is not much effect on the tracking follow-up to the movement of the housing 10.
  • step 7 is a function for responding to changes in the position and tilt of the case that occur when changing the posture of the observer or changing the way the display device is held. Therefore, the determination in step 7 does not need to be performed for each passage.
  • the number of passages is counted, and when an appropriate count value is reached, the observer may input a determination from an operation switch or the like of the display device, or when the predetermined count value is automatically set to Yes Good.
  • the acceleration sensor is used for detecting the movement amount, it is preferable to update the initial value appropriately because it has a function of clearing the integration error.
  • the determination condition for stereoscopic vision in step 4 is the right determined by the design of the display device, as described above with reference to FIGS. 13A, 13B to 16A, 16B.
  • the eye region 70R and the left eye region 70L are the stereoscopic vision limit conditions derived from the optimal positions of the observer's eyes set in the same manner at the time of design.
  • the stereoscopic vision determination condition derived from the design conditions described above is applied to the initial setting, and the stereoscopic motion is performed by moving or tilting the housing 10 while the viewer performs the stereoscopic vision in Step 1.
  • a function for storing the limit condition of stereoscopic vision (a function of recording a movement amount and an inclination amount at the limit of stereoscopic vision or a related sensor output) may be provided.
  • the work is burdened on the observer, but not the binocular distance and the observation distance, which are the design parameters of the display device, but the binocular distance and the preferred observation distance are reflected, and it is suitable for each observer. Switching between display and flat display becomes possible.
  • the limit condition of the stereoscopic view that has been recorded is stored even if the display device power is turned off, there is no need to record the limit condition of the stereoscopic view every time the observer uses the display device. It will end.
  • the second embodiment has the same configuration as that of the first embodiment described above, and the method for determining whether or not both eyes of the observer are in the stereoscopic viewing area is the same. However, the operations from when the observer's eyes are determined to be out of stereoscopic view and switched to flat display until the stereoscopic display is performed again are different. More specifically, once the display is switched to the flat display, the stereoscopic display is resumed after returning to the vicinity of the initial value where the position and inclination of the housing 10 are recorded.
  • a value in the vicinity of the initial value at which stereoscopic display is resumed (hereinafter referred to as 2D ⁇ 3D return value) indicates, for example, a large / medium / small option on the display screen (for example, “large” is ⁇ 10% of the initial value, “ “Medium” is ⁇ 5% of the initial value, and “Small” is ⁇ 2% of the initial value. That is, in the second embodiment, compared to the first embodiment, a function for setting a 2D ⁇ 3D return value is added, and the operation is different.
  • FIG. 21 is a functional block diagram according to the second embodiment of the present invention.
  • the display panel 11, the image distribution unit 13, and the display controller 12 are configured.
  • the display controller 12 includes the image generation unit 100, the detection unit 80, the determination unit 90, and the display panel drive circuit 110.
  • the image distribution control circuit 111 is configured.
  • the configuration of the second embodiment is the same as that of the first embodiment except that a 2D ⁇ 3D return value setting 93 function is added to the determination unit 90 as described above.
  • the method for determining whether the observer's eyes are in the stereoscopic viewing zone is also as described in the first embodiment.
  • a determination region for the return value is calculated by reducing the right eye region 70R and the left eye region 70L shown in FIG. Just use it.
  • a sensor for detecting the movement of the housing 10 is also activated.
  • the reference screen is displayed to guide the observer to the optimum observation position.
  • the stereoscopic display means that the function of the image distribution means is turned on for example, parallax / barrier pattern display
  • the display panel has FIG.
  • the image data having parallax as shown in FIG. 3 is sent and each image is projected onto the left and right eyes of the observer.
  • step 11 the observer adjusts the position and inclination of the housing 10 so that the display of the reference screen can be satisfactorily viewed as a solid.
  • 2D ⁇ 3D return value setting 93 when switching from flat display to stereoscopic display is performed.
  • step 12 the output of the detection unit 80 in a state where the observer adjusts the position and inclination of the housing 10 is recorded as an initial value, and a desired stereoscopic display content is reproduced.
  • step 13 the movement amount and the inclination angle for a predetermined period ⁇ T are calculated from the output from the detection unit 80 and the recording of the initial value.
  • the stereoscopic vision is determined in step 14 based on the calculated movement amount and inclination angle. Similar to the first embodiment, this is determined based on whether or not the calculated movement amount and inclination angle are larger than respective threshold values set in advance. For example, when the calculated movement amount is smaller than a preset movement amount threshold, it is determined that stereoscopic viewing is possible. If the calculated tilt angle is smaller than a preset tilt angle threshold, it is determined that stereoscopic viewing is possible. If it is determined that stereoscopic viewing is possible, the stereoscopic display is performed in step 15 and the process proceeds to step 17.
  • the display is switched to flat display in step 16.
  • the planar display means that the function of the image distribution means is turned off for example, the parallax / barrier pattern is not displayed
  • the display panel is shown in FIG. )
  • step 18 After switching to the flat display, the process proceeds to step 18 to calculate the movement amount and the inclination angle during the predetermined period ⁇ T.
  • step 19 it is determined whether or not the calculated movement amount and inclination angle are 2D ⁇ 3D return values.
  • the display is switched to 3D display at step 15. If it is not within the 2D ⁇ 3D return value, the process returns to step 18 with the flat display. That is, unless the 2D ⁇ 3D return value is reached, step 18 and step 19 are not repeated to restore the stereoscopic display.
  • step 17 After the output of the detection unit 80 falls within the 2D ⁇ 3D return value and switched to the stereoscopic display, the process proceeds to step 17.
  • step 17 it is determined whether or not the initial value used as a reference when calculating the movement of the housing 10 is updated. If the determination result in step 17 is No, the process returns to step 13. If the determination result in step 17 is Yes, the process returns to step 12, and the output of the detection unit at this time is recorded by replacing the initial value recorded in step 11. That is, the initial value is updated.
  • the predetermined period ⁇ T is set between about the frame period of the display panel 11 and about 0.2 seconds as described in the operation of the first embodiment. Is preferred.
  • the determination in step 17 does not need to be performed for each passage as described in the operation of the first embodiment. The number of passages is counted, and when an appropriate count value is reached, the observer may input a determination from an operation switch or the like of the display device, or when the predetermined count value is automatically set to Yes Good.
  • the determination condition for stereoscopic vision may be provided in step 14 so that the observer determines and stores the limit condition for stereoscopic vision.
  • the second embodiment is more complicated in processing and added with functions than the first embodiment.
  • an electro-optical element for example, a transmission type that displays a parallax barrier pattern
  • an electric signal used in the first and second embodiments described above as image distribution means instead of a liquid crystal panel, an ordinary optical element (such as a parallax barrier or a lenticular lens) is used.
  • the configuration other than the image distribution unit is the same as that of the first embodiment.
  • FIG. 23 shows a functional block diagram of the third embodiment.
  • 3rd Embodiment is comprised from the display panel 11, the image distribution means 13, and the display controller 12 similarly to 1st Embodiment.
  • the display controller 12 since the image distribution unit is a normal optical element as described above, the display controller 12 has a configuration in which the image distribution control circuit 111 is omitted from the first embodiment (FIG. 8).
  • the display controller 12 of the third embodiment includes an image generation unit 100, a detection unit 80, a determination unit 90, and a display panel drive circuit 110, and the role of each component is the first. Since it is the same as that of embodiment, description is abbreviate
  • 2D data used for planar display generated by the image generation unit 100 is different from that of the first embodiment.
  • the image distribution function cannot be turned off. Therefore, when performing flat display, the unit pixel of the display panel is alternately used as the right eye pixel and the left eye pixel in the horizontal direction as in the stereoscopic display. Therefore, the horizontal resolution of each two-dimensional image data generated for flat display is also half that of the display panel.
  • the image data is preferably generated by rendering a 3D data including depth information.
  • the 3D data for stereoscopic display is a virtual 2D image corresponding to the eyes of the observer.
  • FIG. 24A shows 3D data
  • FIG. 24B shows 2D data.
  • image data is preferably generated from three-dimensional data including depth information, but FIGS. 24A and 24B in which rendering processing is performed on the data storage unit 102 in advance.
  • the display target data as shown in FIG. Since the rendering process is not necessary, the processing capability and calculation speed of the calculator 101 may be lower than a method that requires rendering. For this reason, there exists an advantage which can comprise the image generation part 100 at low cost.
  • the image distribution means when switching to flat display in step 6, the image distribution means is not controlled.
  • the planar display in the third embodiment is such that the right eye image shown in FIG. 24A is sent to both left and right pixels, the left eye image is sent to both left and right pixels, or FIG. It is to project an image without parallax to the observer by sending the image data shown. That is, the image data sent to both the left and right pixels is the same data.
  • the planar display in step 16 is performed by moving the housing 10 at the time of determination using the coordinate system at the time of description in FIGS. 10 and 13A, 13B to 16A, 16B.
  • the direction is the negative direction of the X axis or when the inclination is counterclockwise
  • the left eye data may be sent to both the left and right pixels.
  • the movement direction of the housing 10 at the time of determination is a positive direction of the X axis or when the inclination is a right rotation
  • the data for the left eye may be sent to both the left and right pixels.
  • the second embodiment can be applied.
  • the functional block diagram is obtained by adding a 2D ⁇ 3D return value setting 93 function to the determination unit 90 as shown in FIG.
  • the configuration of the third embodiment is different from the configuration of the second embodiment in that the image distribution control circuit 111 is not present and the image data generated in the image generation unit 100 is different. With a point. In the operation, the flowchart shown in FIG. 22 can be applied. As described above, except for the point where there is no control of the image distribution means in the switching to the flat display (step 16) and the image data applied to the flat display, The operation is the same as that of the second embodiment. Further, as described above, the image data to be applied to the flat display may be selected according to the movement and tilt direction of the housing 10 or may be selected according to the dominant eye of the observer.
  • the configuration according to the fourth embodiment can project different images to the right and left eyes of the observer from a portion corresponding to one pixel which is the minimum display unit constituting an image of a standard flat display panel.
  • a display panel is used.
  • the above-mentioned display panel is, for example, a time-division method stereoscopic display panel described in Patent Document 1. For example, it is a display panel having twice the number of pixels in the horizontal direction, which is the direction in which the viewer's eyes are aligned, with respect to a standard flat display panel.
  • FIG. 6 An example of a display device to which the fourth embodiment is applied is the front view shown in FIG. 6 as described in the first embodiment.
  • FIG. 7 which is a cross-sectional view of the housing 10 taken along line b in FIG. 6, the display device of the fourth embodiment includes a display panel 11, an image distribution unit 13, a display controller 12, The operation switch 14 is housed in the housing 10.
  • the display panel 11 is a transmissive liquid crystal panel formed in a plurality of unit pixels, but has the following characteristics as compared with a standard flat display panel.
  • FIG. 26 (a) is a schematic diagram of a pixel structure of a standard flat display panel, which is composed of pixels 4 arranged in a matrix of six in the horizontal direction and three in the vertical direction. Any gradation expression can be expressed, and a 6 ⁇ 3 image can be expressed according to the input data.
  • the pixels 4 are represented by squares, but for convenience of explanation, any shape may be used as long as the aspect ratios when image representation is performed from 6 ⁇ 3 pixels are equal.
  • FIG. 26B is a schematic diagram when the pixel structure of an example display panel used in the fourth embodiment is compared with FIG.
  • the pixels 41 having a shape obtained by vertically dividing the pixels 4 of the standard flat display panel are arranged in a matrix of 12 in the horizontal direction and 3 in the vertical direction.
  • Each pixel 41 can express an arbitrary gradation and can express a 12 ⁇ 3 image.
  • the display screen size is as shown in FIG. It is the same as the standard flat display panel shown in a).
  • the pixel 41 is expressed by a rectangle, for convenience of explanation, any shape may be used as long as the aspect ratio is 2: 1.
  • the lenticular lens as the image distribution means 13 is arranged as shown in FIG. 27 so that the pixels 41 alternately function as the left eye pixel 4L and the right eye pixel 4R in the horizontal direction. To do.
  • the functional block diagram of the fourth embodiment is the same as FIG. 23 of the third embodiment.
  • the fourth embodiment is different from the third embodiment in image data generated by the image generation unit 100.
  • the display target data of the data storage unit 102 is three-dimensional data including depth information as in the above-described embodiment, and two-dimensional image data is generated by rendering processing by the computing unit 101.
  • 3D data used for stereoscopic display that is, two-dimensional image data for left and right eyes having parallax, is generated by setting two virtual viewpoints corresponding to the left and right eyes of the observer and performing rendering processing on each.
  • 2D data used for flat display may be generated by setting one viewpoint corresponding to the center of both eyes of the observer and performing rendering processing. Since the display panel of the fourth embodiment has double the resolution in the horizontal direction, right-eye data that has been subjected to rendering processing for stereoscopic display is used as 2D data used for planar display. Alternatively, left-eye data that has been subjected to rendering processing for stereoscopic display may be used as data for left and right eyes.
  • the images of the 3D data to be generated and the image data of 2D data are shown in FIG. 28 (a) to FIG. 28 (d).
  • display target data that has been subjected to rendering processing in the data storage unit 102 that is, is stored in the form of two-dimensional data corresponding to FIG. 28A that does not include depth information. Also good. This format is often used for live-action content shot using two cameras. Further, two-dimensional data corresponding to FIGS. 28A and 28D may be accumulated. As described above, in these cases, since the rendering process is not necessary, there is an advantage that the arithmetic unit 101 and the memory 103 can be configured at low cost.
  • a lenticular lens is used for the image distribution means 13, but a parallax barrier can also be used.
  • a parallax barrier By using a parallax barrier, although the brightness is inferior to that of a lenticular lens, there is an effect that a display device can be manufactured at a lower cost.
  • the method for determining whether or not both eyes of the observer are located within the stereoscopic viewing area is as described in the first embodiment.
  • the operation of the fourth embodiment can be described in the same manner as in the third embodiment.
  • the difference between the operation of the fourth embodiment and the third embodiment is only the flat display data applied in step 6 with reference to the flowchart of FIG.
  • the flat display means that the image data sent to the right-eye pixel 4R and the left-eye pixel 4L are the same data as in the third embodiment.
  • the horizontal resolution of the applied image data is different from that of the third embodiment, and the image of the image data may be any of FIGS. 28B to 28D.
  • the image data to be applied to the flat display is selected according to the movement and tilt direction of the housing 10 or selected according to the observer's dominant eye. May be.
  • the stereoscopic display device of the fourth embodiment since the display panel 11 whose schematic diagram is shown in FIG. 26B is used, the resolution does not change between planar display and stereoscopic display. For this reason, for example, when the plane display is switched from step 4 to step 6 in FIG. 20, in the first embodiment and the second embodiment, the sense of incongruity is caused by the change in the horizontal resolution. There is an effect that a sense of incongruity does not occur.
  • a right-eye pixel and a left-eye pixel are provided in the unit pixel in the horizontal direction, but the present invention is not limited to this.
  • the functional block diagram in the fifth embodiment is the same as FIG.
  • the difference between the fifth embodiment and the fourth embodiment is that the fifth embodiment has a 2D ⁇ 3D return value setting 93 function described in the second embodiment in the determination unit 90. There is only a point, and explanation is omitted.
  • the operation is almost the same as in the second embodiment.
  • the difference between the fifth embodiment and the second embodiment is that there is no on / off control of the image distribution means and the image data applied in step 16.
  • the image data applied to the flat display may be any one of FIG. 28B to FIG. 28D as described in the fourth embodiment.
  • the image data to be applied may be selected according to the movement and tilt direction of the housing 10 or may be selected according to the dominant eye of the observer.
  • the sixth embodiment is characterized in that a display panel in which at least three or more viewpoint pixels are provided in the horizontal direction is used.
  • each unit pixel can be used as each viewpoint pixel.
  • one unit pixel which is a minimum display unit constituting an image of a standard flat display panel is used.
  • a display panel in which at least three or more viewpoint pixels are provided in the horizontal direction in the corresponding portions. That is, when the number of viewpoints is N, a display panel characterized by using N pixels in a portion corresponding to one pixel which is a minimum display unit constituting an image of a standard flat display panel is used. That is.
  • N 4 as an example.
  • the display panel 11 In the display device to which the sixth embodiment is applied, as shown in FIG. 6, the display panel 11, the image sorting means 13, the display controller 12, and the operation switch 14 are housed in the housing 10. As described above, the display panel 11 has four pixels in a portion corresponding to one pixel which is a minimum display unit constituting an image of a standard flat display panel.
  • FIG. 29 is a schematic diagram of a pixel structure of a display panel used in the sixth embodiment.
  • each pixel in FIG. 29 can express an arbitrary gradation (for example, a liquid crystal panel) and can express a 24 ⁇ 3 image, but the horizontal is 1/4 with respect to the vertical. Therefore, the display screen size is the same as that of a standard flat display panel composed of 6 ⁇ 3 pixels shown in FIG. In FIG. 29, pixels are represented by rectangles, but for convenience of explanation, any shape may be used as long as the ratio of the number of pixels is 4: 1 in the vertical and horizontal directions.
  • the display panel is composed of 24 ⁇ 3 pixels, for convenience of explanation, the total number of pixels may be determined according to the purpose.
  • these pixels function as a first viewpoint pixel 4D, a second viewpoint pixel 4C, a third viewpoint pixel 4B, and a fourth viewpoint pixel 4A in the horizontal direction.
  • a lenticular lens as the image distribution means 13 is arranged.
  • FIG. 30 is a cross-sectional view of an optical model that projects an image toward an observation surface 30 that is parallel to the display panel surface and is separated from the optimal observation distance OD.
  • the display panel (not shown) is composed of a light modulation element group (for example, a liquid crystal panel) that becomes pixels arranged in a matrix as described above.
  • FIG. 30 shows the first viewpoint pixel 4D, Only the state in which the second viewpoint pixel 4C, the third viewpoint pixel 4B, and the fourth viewpoint pixel 4A are arranged in order is illustrated.
  • the lenticular lens 3 that functions as image distribution means is disposed on the front surface (observation surface 30 side) of the display panel, and a light source (not shown: so-called backlight) is disposed on the back surface (opposite side of the lenticular lens 3) of the display panel. Is installed.
  • the lenticular lens 3 is a lens array in which a large number of cylindrical lenses 3a are arranged one-dimensionally.
  • the cylindrical lens 3a is a one-dimensional lens having a semi-cylindrical convex portion, has no lens effect in the longitudinal direction, and has a lens effect only in the arrangement direction which is an orthogonal direction thereof.
  • the lenticular lens 3 is formed by the cylindrical lens 3a with respect to the direction in which the first viewpoint pixel 4D, the second viewpoint pixel 4C, the third viewpoint pixel 4B, and the fourth viewpoint pixel 4A are aligned. It arrange
  • One cylindrical lens 3a is provided for each set of four pixels, with the pixels 4D, 4C, 4B, and 4A as one set.
  • each pixel The light emitted from each pixel is deflected and projected by the lenticular lens 3.
  • attention is paid to the light passing through the principal point (vertex) of the closest cylindrical lens 3a, and it is illustrated as a light beam.
  • the region 74D where the projection images from all the first viewpoint pixels 4D overlap the region 74C where the projection images from all the second viewpoint pixels 4C overlap, and similarly, the region 74B from the third viewpoint pixel 4B.
  • a region 74A is obtained from the fourth viewpoint pixel 4A.
  • FIG. 30 is a model diagram when the right eye 55R of the observer 50 is positioned in the region 74B and the left eye 55L is positioned in the region 74C.
  • the observer recognizes it as a stereoscopic image. Further, the observer's right eye may be positioned in the region 74A and the left eye may be positioned in the region 74B. As shown in FIG. 31, in the sixth embodiment, the observer is between the region 74A and the region 74D. It is possible to enjoy various combinations of parallax images.
  • the image projected from the region 74A to the region 74D is an image obtained by rendering the display target from four viewpoints, the observer can enjoy a stereoscopic image from different angles by changing the observation position. At the same time, since motion parallax is also given, there is an effect of giving a more stereoscopic effect.
  • the image data is generated in the same manner as in the above-described embodiment.
  • the display target data in the data storage unit 102 is three-dimensional data including depth information.
  • the arithmetic unit 101 performs rendering processing to generate two-dimensional image data. Is preferred. 3D data used for stereoscopic display, that is, four two-dimensional image data having parallax, are generated by setting four virtual viewpoints and performing rendering processing.
  • 2D data used for flat display that is, image data having no parallax
  • 2D data used for planar display may be generated by setting one viewpoint corresponding to the center of both eyes of the observer and performing rendering processing. Since the display panel of the sixth embodiment has four times the resolution in the horizontal direction, one of the data (four images) subjected to rendering processing for stereoscopic display is used as 2D data used for planar display. May be.
  • Fig. 32 (a) and Fig. 32 (b) show images of 3D data to be generated and 2D data.
  • display target data that has been subjected to rendering processing in advance in the data storage unit may be stored in the form of two-dimensional data corresponding to FIG. 32A that does not include depth information. For example, it can deal with live-action content shot using four cameras. Further, two-dimensional data corresponding to FIGS. 32A and 32B may be accumulated. In these cases, since rendering processing is not required, there is an advantage that the arithmetic unit and the memory can be configured at low cost.
  • the image generation unit 100 generates 2D / 3D data from the 2D / 3D data according to the signal from the determination unit 90, and outputs the 2D / 3D data to the display panel drive circuit 110.
  • a lenticular lens is used for the image distribution means 13, but a parallax barrier can also be used.
  • a parallax barrier By using a parallax barrier, although the brightness is inferior to that of a lenticular lens, there is an effect that a display device can be manufactured at a lower cost.
  • the condition for determining whether or not the observer's eyes are located in the stereoscopic viewing area may be the boundary information of the rhombic areas 74A to 74D shown in FIG.
  • the combination of the areas 74A to 74D shown in FIG. 31 is allowed.
  • a position where both can be seen as shown in FIG. 33 is allowed. Therefore, in the present embodiment, it is preferable to determine the stereoscopic viewing condition so that the observer can suit his / her preference.
  • planar display means that all image data sent from the first viewpoint pixel to the fourth viewpoint pixel is the same.
  • An image of the image data is illustrated in FIG. 32 (a) or FIG. 32 (b).
  • the stereoscopic vision determination in Step 4 of FIG. 20 applies the stereoscopic vision determination conditions derived from the design conditions to the initial settings. While performing stereoscopic viewing, the housing 10 may be moved or tilted to search for the limit of stereoscopic viewing and the stereoscopic viewing limit condition may be stored. As described in the description of the condition to be determined earlier, this method is particularly effective in the sixth embodiment.
  • the first viewpoint data is sent to the four types of pixels.
  • the moving direction of the casing at the time of determination is the positive direction of the X axis, or when the inclination is clockwise
  • the fourth viewpoint data may be sent to the four types of pixels.
  • the first and second viewpoint data or the third and third viewpoint data is used regardless of the moving direction or the tilting direction of the housing 10.
  • switching to 4-viewpoint data feels more natural.
  • the data that the observer naturally feels was the display data that matched the dominant eye of the observer.
  • the sixth embodiment has been described as a panel having pixels for four viewpoints, the number of viewpoints may be N viewpoints. In that case, the image data generated by the image generation unit 100 is also prepared for N viewpoints.
  • the operation of the second embodiment is applied to the configuration of the above-described sixth embodiment, and the operation from switching to flat display until performing stereoscopic display again. Is different.
  • the configuration is the same as that of the sixth embodiment except that the determination unit 90 has a 2D ⁇ 3D return value setting 93 function, and the description thereof will be omitted.
  • the display panel used in the seventh embodiment is described as a panel having pixels for four viewpoints as in the sixth embodiment. However, the number of viewpoints is N and the number of image data is N viewpoints. Good.
  • the operation of the seventh embodiment can be explained by the flowchart shown in FIG. 22 in the same manner as the operations of the third and fifth embodiments.
  • the flat display data applied in step 16 is either FIG. 32A or FIG. 32B as in the sixth embodiment.
  • the application data when performing the planar display in step 16 is selected according to the movement and tilt direction of the housing 10 or in accordance with the dominant eye of the observer. You may provide the function to choose.
  • an observer can enjoy a stereoscopic image from a different angle, and at the same time, motion parallax is also given, thereby providing a more stereoscopic effect. There is.
  • the present invention can be applied to portable information terminals (terminal devices) such as mobile phones, portable personal computers, portable game machines, and portable media players.
  • the stereoscopic display device of the present invention detects the movement of the casing including the display device, and in a situation where the stereoscopic display is not appropriate, projects an image without parallax to give the viewer an unpleasant feeling. It does not cause symptoms such as dizziness or motion sickness.
  • the stereoscopic viewing area from the detection and calculation of the movement of the housing, it is simple and inexpensive compared to the conventional line-of-sight tracking type that requires an image processing function for camera and viewpoint position detection and an infrared irradiation device.
  • a display device can be provided.

Abstract

 表示装置の動きを検出し、検出した動きに応じて、立体表示と平面表示とのどちらか一方で画像を表示する。

Description

表示装置、端末装置および表示方法
 本発明は、画像を表示する表示装置および表示方法に関し、特に立体画像を表示する表示装置、端末装置および表示方法に関する。
 近年、携帯電話やPDA(Personal Digital Assistant)の発展にともない、表示装置の小型化、高精細化が進んでいる。一方で、携帯機器の新たな付加価値として立体表示装置が注目されている。立体画像を表示する手段としては、両眼視差を有する画像をそれぞれ左右の眼に投影する方式が一般的であり、画像振分手段としてレンチキュラレンズやパララックスバリアを表示パネルに備える方式の立体表示装置がある。また、右眼と左眼とに集光する2つの光源を備え、左右の視差像を右眼と左眼とに交互に投影する時分割方式の立体表示装置がある(例えば、特許文献1参照。)。
 これらの方式の立体表示装置は、特殊な眼鏡を装着する必要がなく、眼鏡を装着する煩わしさがない点で携帯機器への搭載に適している。実際にパララックスバリア方式の立体表示装置を搭載した携帯電話が製品化されている(例えば、非特許文献1参照。)。
 ただし、これらの方式では視差画像は空間的に分離して投影されるため、観察者が正規に立体として見える場所は限定される。観察者が立体として見える領域は立体視域と呼ばれ、立体視域は立体表示装置の設計時に決定される。観察者の両眼の位置が立体視域から外れると、左眼用画像と右眼用画像が重なって見えたり(いわゆる二重画像)、奥行き感が逆になった映像が見えたり(いわゆる逆視)するという問題がある。
 ここで、立体視域について図を参照し説明する。
 はじめに、画像振分手段にパララックスバリアを用いたときの立体視域について説明する。
 図1にパララックスバリア方式の立体表示装置において、観察者の左右両眼に視差画像を投影する光学モデルの一例を示す。図1は、観察者の頭上から見た断面図であり、観察者の両眼(右眼55Rと左眼55L)が表示装置の表示面より最適観察距離OD離れた観察面30に位置し、かつ観察者の両眼中心との表示パネルの中心とが一致する位置関係となっている。
 表示パネル(図示なし)は、マトリックス状に配列された画素となる光変調素子群から構成されており(例えば液晶パネル)、図1には、交互に並ぶ右眼用画素4Rと左眼用画素4Lとのうちパネル両端と中心との各画素のみ図示している。画像振分手段として機能するパララックスバリア6は、観察者から見て表示パネルの奥に配置されている。パララックスバリア6は、細い縦縞状の多数のスリット6aが形成されたバリア(遮光板)であり、表示パネルの左眼用画素4Lと右眼用画素4Rとが並ぶ方向に対して、バリアの長手方向が直交するように配置されている。パララックスバリアのさらに奥には光源(図示なし:いわゆるバックライト)が設置され、光源から出た光はスリット6aを通過し、表示パネル内の画素において強度が変調され観察者に向けて投影される。右眼用画素4R及び、左眼用画素4Lの投影方向は、スリット6aの存在により制限される。ここで、各々のスリット6aから出た光のうち最も近い画素を通る光の軌跡を光線20として図示すると、全ての右眼用画素4Rの投影像が重なる右眼領域70Rと、全ての左眼用画素4Lの投影像が重なる左眼領域70Lとが得られる。右眼領域70Rでは右眼用画素4Rからの投影像しか観察できず、また左眼領域70Lでは左眼用画素4Lからの投影像しか観察できない。そのため、観察者の右眼55Rが右眼領域70R内に位置し、左眼55Lが左眼領域70L内に位置しているとき、左右の眼に視差画像を投影すると観察者は立体画像として視認する。逆にいえば、観察者は、右眼55Rが右眼領域70R内に位置し、かつ左眼55Lが左眼領域70L内に位置しているときに所望の立体画像を観察できる。
 図1の表示装置は、観察面30において、右眼領域70R、左眼領域70Lの幅が最大になるように、各右眼用画素4Rと左眼用画素4L(幅P)の距離ODにおける投影像(幅P’)が全て重なるように設計されている。この投影像の幅P’は、主にスリット6aと画素との距離h、画素ピッチP、最適観察距離ODにより決定できる。P’を広げれば、右眼領域70R、左眼領域70Lの幅は広がるが、観察者の両眼は各々を任意の位置に置くことは不可能なので、立体画像を視認できる立体視域は必ずとも広がるわけではない。両眼の間隔をeとすると、P’は両眼間隔eと等しくなるように設計することが好ましい。P’が両眼間隔eよりも小さな場合には、立体視が行える領域はP’に制限される。また、P’が両眼間隔eよりも大きな場合においては、両方の眼が右眼領域70R、あるいは、左眼領域70Lに位置する領域が増えるだけである。また、観察者が立体視を行えるパネルとの最短距離NDや最長距離FDも、両眼間隔eの制約と右眼領域70R、左眼領域70Lとから決まる。
 以上のように、視差画像の投影によって観察者が立体を視認する領域は、画像振分手段により光学的に決定される右眼領域70R、左眼領域70Lだけではなく、観察者の両眼間隔eから決まる。そのため、立体視域を観察者の右眼55Rと左眼55Lとの中点Mの領域で表現することもある。
 図2に示すように、この場合の立体視域71はダイヤモンド状の四角形となる。ただし、図2の立体視域71は、観察者の両眼を含む平面と表示パネル面との平行関係が保たれるときのみ有効である。
 また、図3に、画像振分手段として機能するパララックスバリア6が、観察者から見て表示パネルの手前に配置されている場合の光学モデルを示す。観察者の表示パネルの奥に配置されている例と同様に、観察者は最適観察位置ODに位置し、観察面30において、左右各画素(幅P)の投影像(幅P’)は重なるように設計されている。各々の画素から出た光のうち最も近いスリット6aを通る光の軌跡を光線20として図示することで、全ての右眼用画素4Rの投影像が重なる右眼領域70Rと、全ての左眼用画素4Lの投影像が重なる左眼領域70Lとが得られる。
 次に、画像振分手段にレンチキュラレンズを用いたときの立体視域を図4に示す。
 図4は図3において、画像振分手段がかわっただけである。
 レンチキュラレンズ方式の光学モデルを用いて、観察者が立体視域から外れた場合について考察する。
 図5は、観察者が右に移動し、右眼55Rと左眼55Lとの中点Mを用いて表現した立体視域71を外れたときの観察者の頭上から見た断面図である。観察者の右眼55Rは右眼領域70R外に位置し、左眼55Lが右眼領域70R内に位置する。このとき、観察者の右眼55Rの位置には、左眼用画素4L及び、右眼用画素4Rから出た光の中で、最も近いシリンドリカルレンズ3aの主点(頂点)を通る光線20は届かない。しかしながら、左眼用画素4Lから出た光の中で2番目に近いシリンドリカルレンズ3aの主点(頂点)を通る光に着目し、光線21として図示すると、第2の左眼領域72が得られる。つまり、図5においては、観察者は右眼55Rで左眼用画素4Lからの投影像を観察し、左眼55Lで右眼用画素4Rからの投影像を観察することになり、視差画像を観察すると飛び出しと奥行きとが反対となり(いわゆる逆視)所望の立体像を観察できない。
 上記の問題を解決するために、観察者の位置を常時検出し、検出された位置に応じて右眼用画素と左眼用画素の表示を入れ換える方法が提案されている(例えば、特許文献2参照。)。
 また、カメラを用いて観察者を撮影し、得られる顔画像から視点位置を検出し、視差画像を調整する方法が提案されている(例えば、特許文献3参照。)。
 また、視点位置検出方法においては、赤外光照射装置とカメラを用い、瞳孔部分を検出する方法が提案されている(例えば、特許文献4参照。)。
特開2001-66547号公報(3~4頁、図6) 特開平9-152668号公報 特開2000-152285号公報 特開平11-72697号公報
日経エレクトロニクス,2003年1月6日,No.838号,p.26-27
 携帯型の立体表示装置においては、観察者は自らの体を使い立体視に最適な位置に表示装置を調整できる反面、装置の操作や乗り物の揺れなどの外的要因により表示装置自体が傾いたり移動したりすることがある。
 表示装置が動いた結果、観察者の両眼位置が立体視域から外れることがある。観察者は二重画像や逆視を見る不快感が伴うばかりでなく、場合によっては、繰り返して正規の立体と二重画像や逆視を見ることにより疲労感が発生し、めまいや乗り物酔いのような症状に陥る場合もある。
 しかしながら、一般的な視点追従方式では、カメラや視点位置検出の画像処理機能、赤外線照射装置を搭載しなくてはならず、装置の大型化や高度な画像処理能力の要求などにより、携帯型の立体表示装置に適さないという問題点がある。
 本発明は、上述した課題を解決する表示装置、端末装置および表示方法を提供することを目的とする。
 本発明の表示装置は、
 画像を表示する表示装置であって、
 当該表示装置の動きを検出し、該検出した動きに応じて、立体表示と平面表示とのどちらか一方で前記画像を表示する。
 また、本発明の表示方法は、
 画像を表示装置に表示する表示方法であって、
 前記表示装置の動きを検出する処理と、
 前記検出した動きに応じて、立体表示と平面表示とのどちらか一方で前記画像を表示する処理とを有する。
 以上説明したように本発明においては、表示装置の動きを検出し、検出した動きに応じて、立体表示と平面表示とのどちらか一方で画像を表示する構成としたため、観察者の意図に反して表示装置が動くことにより観察者が立体視域から外れた場合であっても、容易に逆視画像や二重画像を観察することを防ぎ、観察者に不快感や疲労感を与えることを避けることができる。
パララックスバリアが表示パネルの奥に設置されば場合のパララックスバリア方式の立体表示装置の光学モデルを示す図である。 観察者の右眼と左眼との中点Mを用いて、立体視が行える領域をMの領域として表現した図である。 パララックスバリアが表示パネルの手前に設置されば場合のパララックスバリア方式の立体表示装置の光学モデルを示す図である。 レンチキュラレンズ方式の立体表示装置の光学モデルを示す図である。 観察者が立体視域から外れた場合を説明する光学モデルを示す図である。 本発明に係る表示装置の正面図である。 本発明に係る表示装置の断面図である。 本発明の第1の実施の形態における表示コントローラの機能ブロック図である。 本発明の第1、第2の実施形態における画像データのイメージである。 本発明の第1、第2の実施形態における画像データのイメージである。 観察者が本発明の表示装置を最適位置で、視差画像を観察するときの光学モデルである。 本発明の表示装置において、画素の投影像の幅が観察者の両眼間隔と等しくない場合の光学モデルである。 本発明の表示装置において、画像振分手段の中心スリットと端のスリットとの距離が両眼間隔と等しくない場合の光学モデルである。 本発明の表示装置において、画像振分手段の中心スリットと端のスリットとの距離が両眼間隔と等しくない場合の光学モデルである。 本発明の表示装置がX軸に沿って移動したときの光学モデルである。 本発明の表示装置がX軸に沿って移動したときの光学モデルである。 本発明の表示装置がZ軸に沿って移動したときの光学モデルである。 本発明の表示装置がZ軸に沿って移動したときの光学モデルである。 本発明の表示装置がX軸およびZ軸に沿って移動したときの光学モデルである。 本発明の表示装置がX軸およびZ軸に沿って移動したときの光学モデルである。 本発明の表示装置がY軸を回転軸として傾いたときの光学モデルである。 本発明の表示装置がY軸を回転軸として傾いたときの光学モデルである。 本発明の表示装置に加速度センサを設置したときの一例を示す図である。 加速度センサを設置した本発明の表示装置において、X軸回りの回転をした場合の重力加速度を基準に傾き角を算出する説明図である。 加速度センサを設置した本発明の表示装置において、Y軸回りの回転をした場合の重力加速度を基準に傾き角を算出する説明図である。 本発明の第1、第3、第4、第6の実施形態における動作を説明するためのフローチャートである。 本発明の第2の実施形態における機能ブロック図である。 本発明の第2、第3、第5、第7の実施形態における動作を説明するためのフローチャートである。 本発明の第3、第4の実施形態における機能ブロック図である。 本発明の第3の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第3の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第3、第4の実施形態における機能ブロック図である。 本発明の第4の実施形態において用いる表示パネルの画素構造を説明する模式図である。 本発明の第4の実施形態において用いる表示パネルの画素構造を説明する模式図である。 本発明の第4の実施形態において用いる表示パネルとレンチキュラレンズの位置関係を示す模式図である。 本発明の第4、第5の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第4、第5の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第4、第5の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第4、第5の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第6の実施形態において用いる表示パネルの画素構造を説明する模式図である。 本発明の第6の実施形態において最適観察距離離れた平面に向けて画像を投影する光学モデルを示す図である。 本発明の第6の実施形態において、観察者の右眼が領域74B、左眼が領域74Cに位置するときの光学モデルを示す図である。 発明の第6、第7の実施形態における画像生成部で生成される画像データのイメージ図である。 発明の第6、第7の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第6の実施形態において、観察者が様々な組み合わせで視差画像を観察するときの光学モデルを示す図である。
 次に、本発明の実施の形態について図面を参照して詳細に説明する。
(第1の実施の形態)
[構成の説明]
 図6は、本発明を適用した表示装置の一例を正面から見た図である。
 図7は、図6中の線bにおける筐体断面を観察者の頭上から見た断面図である。
 本発明の表示装置は、表示パネル11、画像振分手段13、表示コントローラ12、操作スイッチ14が筐体10内に収まっている。
 表示パネル11は、複数の単位画素がマトリックス状に形成された透過型液晶パネルであり、立体表示を行うときは、観察者の両眼が並ぶ方向と平行となる方向である水平方向に並ぶ単位画素を、交互に左眼用画素4L、右眼用画素4Rとして使用する。なお、図7において、表示パネル11の両端および中央以外の左眼用画素4L、右眼用画素4Rは図示を省略している。
 画像振分手段13は、パララックス・バリアパターンを表示する電気光学素子であり、たとえば、透過型液晶パネルが適用可能である。パララックス・バリアパターンが表示されたとき、スリットとして働く透過部が表示パネル11に対して垂直となり、右眼用画素4Rと左眼用画素4Lとの間に位置するように表示パネル11の上に配置される。表示パネル11との距離、スリットのピッチは、観察者の最適観察位置を定めたとき、表示パネル11の全て右眼用画素4Rからの投影画像は観察者50の右眼55Rに投影され、表示パネル11の全ての左眼用画素4Lからの投影画像は観察者50の左眼55Lに投影されるように設計するのが好ましい。なお、パララックス・バリアパターンを表示しないときは、バリアとして機能しないため、観察者の両眼には、通常のパネル表示と同様に、右眼用左眼用両方の画素からの投影画像が投影される。この画像振分手段13により、表示パネル11に表示された画像の、表示パネル11から外部への投影が制御される。
 表示コントローラ12は、表示パネル11を駆動する機能、バリアを制御する機能、筐体10の動きを検出し、立体視の判別を行う機能を有する。
 図8を用いて、表示コントローラ12について説明する。
 図8は、本発明の第1の実施の形態における表示コントローラ12の機能ブロック図である。
 表示コントローラ12は、画像生成部100、検出部80、判定部90、表示パネル駆動回路110、画像振分制御回路111から構成される。
 検出部80は、筐体10が動いた結果生じる変位を検出するためのセンサで構成される。筐体10の変位とは、傾き角の変化や移動量であり、例えば、加速度センサや地磁気センサ等のセンサを用いると、重力加速度や地磁気を基準として算出できる。
 判定部90は、検出部80のセンサから得られる傾き角、移動量に関する情報と、表示パネル11の立体視域に関する情報等を保持するメモリ91を備え、また、検出部80のセンサから適宜得られる情報とメモリ91に蓄えられた情報とから観察者の両眼が立体視域内であるかを判定するための演算器92を備える。
 画像生成部100は、表示パネル11に送る画像データを生成する機能を備え、演算器101、データ蓄積部102、メモリ103、外部IF(Interface:インターフェイス)104から構成される。また、画像生成部100は判定部90からの信号に応じて、視差を有する画像データ(3Dデータ)生成、あるいは、視差の無い画像データ(2Dデータ)生成する機能を備えている。
 画像データの生成は、データ蓄積部102の表示対象データを演算器101で読み出して画像処理を施して行うが、表示対象データが奥行き情報を含む3次元データであり、演算器101でレンダリング処理を施すことによって2次元画像データを生成する方法が好ましい。立体表示に用いる3Dデータ、すなわち、視差を有する左右両眼用の2次元画像データは、観察者の左右両眼に相当する仮想の2視点を設定し、各々レンダリング処理を施して生成する。一方、平面表示に用いる2Dデータ、すなわち、視差の無い画像データは、観察者の両眼の中央に相当する1視点を設定し、レンダリング処理を施し生成する。ただし、視差画像を用いて立体表示を行うときは、表示パネル11の単位画素を水平方向に、右眼用画素、左眼用画素として交互に用いる。このため、立体表示用に生成する各2次元画像データの水平方向の解像度は、表示パネル11の半分となる。つまり、生成する画像データのイメージを図示すると、3Dデータは図9(a)、2Dデータは図9(b)のようになる。
 前述のように、画像データの生成は、奥行き情報を含む3次元データより生成する方法が好ましいが、データ蓄積部102に予めレンダリング処理を施した表示対象データを蓄積しておき、選択的に読み出してもよい。すなわち、奥行き情報を含まない図9(a)および図9(b)に相当する2次元データの形式で蓄積し、立体表示が平面表示に応じて選択し、読み出す方法でもよい。この方法では、レンダリング処理が不要となるため、レンダリングを要する方法よりも演算器101の処理能力や演算速度が低くてよい。このため、画像生成部100を安価に構成できる利点がある。
 上記のようにして、画像生成部100は、判定部90からの信号に応じて、2D/3Dデータを生成し、表示パネル駆動回路110へ出力する。これと同時に、画像生成部100は、立体表示時はバリアを有効にする信号を、また平面表示時のときはバリアを無効にする信号を画像振分制御回路111に送る機能を備える。
 表示パネル駆動回路110は、表示パネル11を駆動するために必要な信号(同期信号等)生成する機能を備え、画像振分制御回路111では、パララックス・バリアパターンを表示するための信号を生成する機能を備える。
 なお、画像振分手段13は、パララックス・バリアパターンをオン/オフする電気光学素子のかわりに、例えば、複数の液晶レンズを用いてレンチキュラレンズを構成した、電気信号によりオン/オフできる電気光学素子を使用してもよい。
 さらに、図8において説明の便宜上、判定部90と画像生成部100とに演算器92,101が独立して存在するが、同一の演算器であってもよい。また、適用する携帯型表示装置の他の機能(例えば通信制御)を処理する演算器や、他のプロセッサ内に処理機能を設けてもよい。
 次に、立体視域内に観察者の両眼が位置するかどうかを判定する方法について図を参照し説明する。なお、以降の説明において、画像振分手段はパララックス・バリアパターンを表示する電気光学素子を用いるが、前述の通りレンチキュラレンズを構成する手段でもよい。レンチキュラレンズの場合は、以下の説明において、パララックスバリアをレンチキュラレンズに、スリットをレンズの主点に置き換えればよい。
 図10は、観察者50が本発明の表示装置において立体視を行うとき、すなわち、視差画像を観察するときの光学モデルの一例である。
 説明のため、XYZ直交座標系を以下のように定義する。観察者50の両眼が並ぶ方向であり、表示パネル11の水平方向である方向をX軸と定める。また、表示装置の投影面(あるいは平行関係にある画素がマトリックス状に形成される面)とX軸と直交する方向をY軸と定める。また、表示装置の投影面と直角に交わる軸をZ軸とする。XYZ軸の正負の方向は、図10に示す通りとする。
 図10において、観察者50と表示装置とは立体視を行う際に最も適した位置関係にあり、画像振分手段13と観察者の両眼55R及び55Lとまでの距離を最適観察距離ODとし、距離OD離れたXY平面を最適観察面とする。
 また、画像振分手段13は、パララックスバリアとして機能している状態であり、中心のスリットと端のスリットとの間の距離をWSとする。
 表示パネル11は、複数の単位画素を含み、X軸方向に交互に左眼用画素4L、右眼用画素4Rとして使用しているが、中心の部分の左眼用画素4L、右眼用画素4Rのみを図示している。単位画素のピッチ(幅)をPとしたとき、各画素から最短に位置するスリットから投影される投影像の最適観察面における幅をP’とする。また、表示パネル11の両端と中心との左眼用画素および右眼用画素から投影像P’を形成する光線をそれぞれ22R、23R、24R、25R、22L、23L、24L、25Lとする。
 図10のように、表示パネル11と画像振分手段13とは、最適観察面で全ての右眼用画素の投影像P’が重なり、また、全ての左眼用画素の投影像P’が重なるように設計されることが好ましい。さらに、P’は観察者の両眼間隔eと等しく設定することが好ましい。
 なお、最適観察距離ODは設計値である。上記の設計条件では、観察者が適切に立体視を行える右眼領域70Rおよび左眼領域70Lは、図10に示すように、画像振分手段の両端のスリットから出る光線22R、23R、24R、22L、23L、24Lから決まる。
 図11に画素の投影像の幅P’が観察者の両眼間隔eと等しくない場合の光学モデルを示す。
 背景技術で前述したように、P’<eのときは立体視域が狭くなる。また、P’>eのときは右眼領域70Rおよび左眼領域70Lを広げることが可能となるが、観察者の両眼を任意の位置に置くことは不可能であるため、両眼間隔制限により立体視域が広がるわけではない。しかしながら、P’<eの場合においては、例えば、画素とパララックスバリアとの距離が長くてもよく、表示装置を設計する上で構成要素の選択肢が増えるという利点がある。また、P’>eの場合においては、観察者50が最適な観察位置からずれたときに、左右の眼に反対の視差画像が投影され、飛び出しと奥行きとが反対となって見える(いわゆる逆視)領域を抑制する効果がある。以後の説明では、P’=eと設定された表示パネル11を光学モデルに用いるが、P’<eあるいはP’>eの表示パネルも本発明に適用することは可能である。
 また、図10は、WSと投影像の幅P’とが等しく設計された場合、すなわちWSと観察者の両眼間隔eとが等しい光学モデルである。
 図12にWS>e(=P’)、WS<e(=P’)としたときの光学モデル示す。図12(a)は、WS>eの場合であり、図12(b)は、WS<eの場合である。
 観察者50が立体視を行える右眼領域70Rおよび左眼領域70Lは、同じ最適観察距離ODで設計したとき、WS>eの場合、前後方向に狭くなり、WS<eの場合は前後方向に広がる。eは、成人の両眼間隔の平均値から、62mmから65mmとして設計することが適当である。e=63mmを採用すると、図10の立体表示装置の横方向はWS×2=126mm程度となる。そこで、携帯型の表示装置としてのサイズを考慮すると、WS>e、WS=e、WS<eのいずれも適用範囲である。以後の説明においては、便宜上WS=eの光学モデルを用いる。
 図10~図12(a)、(b)に示したように、右眼用の投影像が重なる右眼領域70R、左眼用の投影像が重なる左眼領域70Lは、設計条件によって決定される。設計条件により領域の大きさは変化するが、出来上がった表示装置においては、立体表示を行うときに変化するものでなく表示装置固有の領域である。したがって、設計条件から導き出した右眼領域70R、左眼領域70L、あるいは出来上がった表示装置から測定によって求めた右眼領域70R、左眼領域70Lを立体視域のデータとして記憶しておき、観察者の両眼位置のデータを取得し、演算器を用いてそれらを比較すれば、立体視域内に観察者の両眼が位置するかどうかを判定できる。ここで、立体視域と観察者の両眼位置とは相対的な関係である。そのため、観察者の両眼が最適観察位置から動かなければ、表示装置筐体10の動きに応じて立体視の可否は決定される。本発明の表示装置は、立体視域のデータを記憶し、表示装置筐体10の動きを検出することによって、観察者の両眼が立体視域内に位置するかどうかを判定する。
 立体視の判定においては、右眼領域70R、左眼領域70Lを形成する菱形の境界情報を記憶しておくことが好ましい。図10~図12(a)、(b)に示した菱形の境界情報は、図10で示した光線22R、23R、24R、22L、23L、24Lで決定されている。
 しかしながら、例えば、左右用の各画素の投影像P’が全て重ならない場合、図10で示した光線25R、25Lもそれぞれ領域70R、70Lの境界となり、さらに、左右の投影像が重なり合い二重画像が観える領域(3Dクロストーク領域)の大きさによっては、これを考慮した光線で決めることも可能である。そのため、結果として境界情報が菱形以外の多角形でも構わない。しかし、表示装置の設計条件にもよるが、前記した右眼及び左眼領域情報である多角形の境界情報がなくとも判定は可能である。以下に、一例を説明する。
 図10に示す筐体10と観察者50との位置関係を最適観察位置とし、図を参照して、観察者50が移動せずに筐体10が動いたときの立体視が可能な範囲について説明する。
 図13は、筐体10がX軸に沿って平行に移動したときの立体視の限界を示す図である。
 図13(a)はX軸の正(+)の方向へ、図13(b)はX軸の負(-)の方向に移動したときの図である。観察者50が適切に立体視を行えるのは、右眼55Rが右眼領域70Rにあり、かつ左眼55Lが左眼領域70Lにあるときである。そのため、X軸の正(+)の方向へ移動量の限界は表示装置から出る光線22R、23Rと両眼が重なるときとなる。また、X軸の負(-)の方向へ移動量の限界は表示装置から出る光線22L、23Lと両眼が重なるときである。
 図14は、筐体10がZ軸に沿って平行に移動したときの立体視の限界を示す図である。
 図14(a)は筐体10がZ軸の正(+)の方向に移動したときの図である。また、図14(b)は筐体10がZ軸の負(-)の方向に移動したときの図である。Z軸の正(+)の方向へ移動量の限界は表示装置から出る光線23R、23Lと両眼が重なるときとなる。また、Z軸の負(-)の方向へ移動量の限界は表示装置から出る光線22L、22Lと両眼が重なるときである。
 図15は、筐体10が表示パネル11面と観察者50の両眼を含む観察面との平行関係を維持したまま、X軸方向、Z軸方向に移動したときの立体視の限界を示す図である。
 図15(a)は筐体10がX軸の正(+)の方向ならびにZ軸の正(+)の方向に移動したときであり、観察者50が適切に立体視を行える限界は、光線23Rと右眼55Rとが重なるときである。また、図15(b)は筐体10がX軸の負(-)の方向ならびにZ軸の負(-)の方向に移動したときであり、観察者50が適切に立体視を行える限界は、光線22Rと右眼55Rとが重なるときである。
 以上、WS=eとした図13(a)、(b)~図15(a)、(b)用いて立体視の限界条件を説明した。WS<e、WS>eの場合も、XZ平面において、Z軸と光線24Rあるいは光線24Lとのなす角が、Z軸と光線22Rあるいは光線22Lとのなす角よりも大きくならない限り、光線24R、光線24Lは、立体視の限界を決定する条件に寄与しない。したがって、立体視の限界を決定する条件は、表1となる。
Figure JPOXMLDOC01-appb-T000001
 光線22R、23R、24R、及び光線22L、23L、24Lと、表示面との傾きは、立体表示装置を設計したときに決定される。このため、最適観察位置からの筐体10の移動量が得られれば、立体視の可否を算出できる。
 上記の条件は筐体10が傾くことなく、すなわち、表示パネル11面と観察者両眼の位置する面とが平行関係を維持しているときである。筐体10が傾いたときの立体視の限界は、傾き角を加味した算出が必要となる。
 図16は、筐体10が表示パネル11表面を中心として、Y軸を回転軸として傾いた場合の立体視の限界を示す図である。図16(a)はY軸の正(+)の方向をみて左回りに回転したときの図であり、観察者50が適切に立体視を行える限界は、光線23Lと左眼55Lとが重なるときである。また、図16(b)はY軸の正(+)の方向をみて右回りに回転したときの図であり、観察者50が適切に立体視を行える限界は、光線23Rと右眼55Rとが重なるときである。光線23R、23Lの傾きは表示装置の設計で決定されているため、筐体10の最適観察位置からの傾き角が得られれば、立体視の可否を算出できる。
 以上のように、最適観察位置からの筐体10の移動量と傾き角、ならびに、設計で決まる光線22R、光線22L、光線23R、光線23Lのパネル表面との角度によって、立体視の判定を行うことができる。
 次に、検出部80の傾き角検出81、移動量検出82の具体的な検出手段について説明する。
 傾き角と移動量の検出の一例として、3軸加速度センサを用いる場合を挙げて説明する。
 加速度センサの出力には、我々が知りたい傾き角と移動量以外にさまざまな信号が含まれている。その主なものは、重力加速度による地軸に向かう加速度成分および筐体を持つ人体と筐体とが同時に受ける振動等の使用環境要因のノイズ成分である。使用環境が原因の振動等のノイズ成分は、フィルタにより除去する事が有効である。フィルタとしては、デジタルフィルタが最適である。しかし、環境と使用者の特性によっては、フーリエ変換もしくはウェーブレット変換により周波数領域の特性を利用するフィルタが有効な場合も多い。以下では、これらのフィルタリング処理が施された後の信号の検出方法について述べる。
 加速度センサを筐体10に設置した様子を図17に示す。
 パネルのレンチキュラレンズ3の座標系と、加速度センサの座標系とを図17のように定義する。すなわち、Z軸の正方向(図で矢印のある方向)に観察者が位置し、Z軸の負方向に存在するパネルを観察している。また、観察者から見たパネルの上方向はY軸の正方向、パネルの下方向はY軸の負方向である。パネルは地軸の鉛直方向から傾いて使用される事が多く、この状態を図18に示す。
 図18は、図17のY軸、Z軸を含む平面から見た図であり、パネルと地軸の鉛直方向の傾き角度をφ、重力加速度ベクトルをGで示す。
 移動量は、加速度センサ出力の時間積分により速度を算出し、算出された速度を時間積分する事により算出できる。ただし、2つの点に注意する必要がある。第1点は、積分によるノイズの蓄積である。第2点は、重力加速度の影響である。
 まず、第1点のノイズの蓄積について説明する。検出された加速度にノイズが混入すると、それが単発のノイズであっても、積分の効果により、速度や移動量が大きく変化することである。すなわち、単発のノイズαが混入した信号を積分すると、そのノイズ以降の速度がα・Δtだけ変化する(ここで、Δtは、ノイズ混入から積分終了までの時間を示す)。移動量の計算においては、ノイズ混入以降、α・(Δt)2だけ変化する。このように、積分により、特に移動量に大きな変化が生じる。
 このノイズに対しては、次の2つの方法が有効である。第1の方法は、ノイズを平滑化するフィルタを利用することである。第2の方法は、積分時間を短く設定することである。すなわち、積分時間が短いとΔtも小さくなるため、ノイズにより移動量の変動が小さくなる。短い積分時間で得られた短い移動量を加算することにより、所望の時間での移動量を計算できる。
 次の第2点の重力加速度に関し、述べる。重力加速度は常に存在するため、全ての加速度センサ出力に混入している。このため、重力加速度の影響を排除するには、例えば、初期状態における加速度センサの出力ax0,ay0,az0を記録しておき、それ以降の加速度出力センサの出力と初期状態の加速度センサの出力との差分のみを積分において利用する。
 このような方法により、重力加速度の影響を受けずに、移動量を算出することが出来る。尚、Z軸回りの回転が生じていない条件では、axへの重力加速度の影響はない。このため、Z軸回りの回転が観測されない場合は、初期状態のay0およびaz0のみを記録し差分を取る事により、算出をより簡単にすることが可能である。
 傾き角に関しては、いくつかの傾きが考えられる。まず、飛行機や車の挙動に習い、ピッチ・ロール・ヨーの傾き、すなわち、各座標軸回りの回転を考える。すべての傾きは、これらピッチ・ロール・ヨーの組み合わせで表現できるため、基本的なピッチ・ロール・ヨーが解析できると全ての傾きを容易に解析できる。
 ここで、座標系とピッチ・ロール・ヨーの関係を次のように定義する。ピッチは、X軸回りの回転とする。すなわち、観察者から見て、パネルの上端部(+Y側)が近づくか、パネルの下端部(-Y側)が近づくかという回転である。また、ロールは、Y軸回りの回転とする。すなわち、観察者から見て、パネルの右端部(+X側)が近づくか、パネルの左端部(-X側)が近づくかという回転である。また、ヨーは、Z軸回りの回転である。すなわち、観察者から正面から観察した平面内で、パネルが観察者の視線の方向を中心に回転するような回転である。
 ここで、ピッチは次のようにして求めることが可能である。
 図18にY軸、Z軸を含む平面、並びにその面内の重力加速度Gを示す。
 変位は、X軸回りの回転のみとする。Y軸方向の加速度センサは、重力加速度のうちY軸に沿った成分を検出する。すなわち、GのY軸への射影である、-G・cos(φ)を検出する。観察者に静止状態で、立体視を行いやすい姿勢で筐体10を保持してもらい、その時の加速度センサの出力を初期値としてメモリすると、このGのY軸への射影成分が検出できる。この観察容易な初期状態でのY軸方向の加速度センサの出力をay0とすると、ay0=-G・cos(φ)である。重力加速度は、地上でほぼ一定の値を取るため、観察容易な初期状態でのピッチ角度Φ0は、Φ0=arccos(-ay0/G)で求めることが出来る。
 同様にして、傾き角が変化した時のピッチ角度Φは、その時々の加速度センサの出力ayを用いて、Φ=arccos(-ay/G)で与えられる。このピッチ角度Φにより、初期状態のピッチ角度Φ0との変化や、時々刻々でのピッチ角度の変化を得ることが出来る。
 さて、立体視の視認性に大きく影響を与える、ロールを求める方法も、ピッチを求める方法と同様である。この場合、変異は、Y軸回りの回転のみとする。Y軸方向の重力加速度成分は、図18と同様であり、-G・cos(Φ)のまま変化しない。一方、Z軸方向の重力加速度成分は、Y軸回りの回転がない図18の状態では、-G・sin(Φ)であるが、Y軸回りの回転が発生すると、Z軸方向の成分とX軸方向の成分とに分かれる。この様子を、図19に示す。
 図19で、破線で示したX軸、Z軸は、Y軸回りの回転が発生する前の軸方向である。この時、重力加速度のY軸と垂直な成分は、Z軸の負方向にあり、-G・sin(Φ)である。さて、Y軸回りの角度βの回転を考える。この時、X軸およびZ軸は、図19のX’とZ’の位置にそれぞれ移動する。Z’軸上の重力加速度成分は、-G・sin(Φ)・cos(β)となる。ピッチの時の初期状態と同様に、Z軸方向の初期状態を求めておくと、β=0でのZ軸上の重力加速度成分である-G・sin(Φ)がZ軸の加速度センサの出力az0として検出される。傾き角度が変化した時のロール角度βは、その時々の加速度センサの出力azを用いて、β=arccos{-az/[G・sin(Φ)]}で与えられる。このロール角度βにより、時々刻々でのロール角度の変化を得ることが出来る。
 この例では、3軸加速度センサを例として示したが、ピッチ・ロール等は2軸の加速度センサでも検出できることは自明である。
 以上、傾き角および移動量の検出の一例を説明したが、傾き角の検出に地磁気センサを用い、移動量の検出に加速度センサを用いてもよい。3軸地磁気センサによる傾き角の検出方法は、前述の加速度センサによる傾き角の説明において、重力加速度を地磁気に置き換えることで説明できる。また、傾き角の検出には、角速度センサあるいはジャイロセンサ、移動量の検出には、小型カメラあるいは超音波発信源と超音波センサを適用すること可能である。
[動作の説明]
 次に、本発明の実施の形態の動作について図20のフローチャートを参照して説明する。
 はじめに、立体表示が開始されると同時に、筐体10の動きを検出するセンサも起動する。
 次に、観察者を最適観察位置に導くために基準画面を表示する。なお、第1の実施の形態において立体表示とは、画像振分手段の機能をオンとし(例えば、パララックス・バリアパターン表示)、表示パネル11には図9(a)に示すような視差を有する画像データを送り、各々の画像を観察者の左右の眼に投影することである。
 ステップ1にて観察者は基準画面の表示が立体として良好に見られるよう筐体10の位置、傾きを調整する。
 次に、ステップ2にて観察者が筐体10の位置、傾きを調整した状態における検出部80の出力を初期値として記録し、所望の立体表示のコンテンツを再生する。
 ステップ3にて検出部80からの出力と初期値の記録とから所定期間ΔTの移動量、傾き角を算出する。
 算出された移動量、傾き角をもとにステップ4にて立体視の判定を行う。これは、算出された移動量、傾き角が、あらかじめ設定されたそれぞれの閾値よりも大きいかどうかに基づいて判定される。例えば、算出された移動量があらかじめ設定された移動量閾値よりも小さな場合、立体視が可能と判定される。また、算出された傾き角があらかじめ設定された傾き角閾値よりも小さな場合、立体視が可能と判定される。立体視が可能と判定された場合、続けてステップ5にて立体表示を行い、ステップ7に進む。
 立体視が不可能と判定された場合、ステップ6にて平面表示に切り換える。第1の実施の形態において平面表示とは、画像振分手段の機能をオフにし(例えば、パララックス・バリアパターン非表示)、表示パネル11には、図9(b)に示すような視差のない画像データを送り、視差のない画像を観察者に投影することである。平面表示に切り換えた後は、ステップ3に戻り、再び所定期間ΔTの移動量、傾き角を算出する。
 ステップ7では、筐体10の動きを算出する際に基準とする初期値を更新するか判定する。ステップ7の判定結果がNoの場合はステップ3に戻る。また、ステップ7の判定結果がYesの場合はステップ2に戻り、このときの検出部80の出力をステップ1で記録した初期値と置き換えて記録する。すなわち、初期値を更新する。
 以後、上記のステップが繰り返される。
 前述の動作フローにおいて、所定期間ΔTは、表示パネル11のフレーム周期程度から0.2秒程度の間に設定するのが好ましい。図20のフローチャートよりわかるように、ΔTが長いと筐体10の動きに対して、立体表示から平面表示への切り換えが遅れる。その結果として観察者が逆視や二重画像を観たのちに平面表示へ切換わることになる。
 このため、ΔTは短い方がよいが、表示パネル11の1フレーム周期内で複数回の立体表示と平面表示を切換えようとしても表示画面全体へ画像データを切り換える時間がない。つまり、ΔTをフレーム周期よりも短くしても筐体10の動きへの切り換え追従に関しては、あまり効果がない。
 なお、ステップ7は、観察者の姿勢の変化や、表示装置の持ち方を変えたりするときに起こる筐体位置および傾きの変化に対応するための機能である。したがって、ステップ7の判定は、通過毎に行う必要はない。通過回数をカウントし、適当なカウント値になったときに観察者に表示装置の操作スイッチ等から判定を入力させてもよいし、所定のカウント値のとき自動的にYesとなるようにしてもよい。ただし、移動量の検出に加速度センサを用いるときには、積算誤差をクリアする働きがあるため初期値の更新は適当に行うことが好ましい。
 また、ステップ4における立体視の判定条件は、先に図13(a)、(b)~図16(a)、(b)を用いて説明したように、表示装置の設計で決定される右眼領域70R、左眼領域70Lと、同様に設計時に設定された観察者両眼の最適位置から導かれる立体視の限界条件である。しかしながら、上記の設計条件から導かれた立体視の判定条件は、初期設定に適用し、ステップ1において観察者が立体視を行いながら、筐体10を移動させたり、傾けたりして、立体視の限界を探り、立体視の限界条件を記憶させる機能(立体視の限界時の移動量や傾き量あるいは、関連するセンサ出力を記録させる機能)を備えてもよい。この場合、観察者に作業負担がかかるが、表示装置の設計パラメータである両眼間隔、観察距離ではなく、自身の両眼間隔と好みの観察距離が反映され、個々の観察者に適した立体表示と平面表示との切り換えが可能になる。さらに、一度、記録させた立体視の限界条件を表示装置電源が切断されても保存する機能を備えれば、観察者が表示装置を使用する度に立体視の限界条件を記録させる作業せずに済む。
(第2の実施の形態)
 第2の実施の形態は、前述の第1の実施の形態と同じ構成であり、観察者の両眼が立体視域にあるか判定する方法も同じである。しかし、観察者の両眼が立体視外と判定され平面表示に切り換えてから、再び立体表示を行うまでの動作が異なる。より具体的には、一旦、平面表示に切り換えたのちは、筐体10の位置および傾きが記録された初期値近傍に、戻ってから、立体表示を再開することを特徴とする。立体表示再開する初期値近傍の値(以降、2D→3D戻り値と呼ぶ)は、例えば、表示画面に大/中/小と選択肢を示し(例えば「大」は初期値の±10%、「中」は初期値の±5%、「小」は初期値の±2%とする)、観察者が好みに合わせて設定をすることが好ましい。すなわち、第2の実施の形態においては、第1の実施の形態に比べ、2D→3D戻り値を設定する機能が加わり、動作が異なる。
 図21は本発明の第2の実施の形態における機能ブロック図である。第1の実施の形態と同様に、表示パネル11、画像振分手段13、表示コントローラ12から構成され、表示コントローラ12は、画像生成部100、検出部80、判定部90、表示パネル駆動回路110、画像振分制御回路111から構成される。図21に示すように、第2の実施の形態の構成は、前述のように、判定部90のなかに2D→3D戻り値設定93機能が追加された以外は、第1の実施の形態において説明したとおりである。また、観察者の両眼が立体視域にあるか判定する方法も第1の実施の形態において説明したとおりである。
 2D→3D戻り値については、例えば、図10に示した右眼領域70R、左眼領域70Lを最適な観察者の右目位置、左目位置を中心として縮小した戻り値の判定用領域を算出し判定にもちいればよい。
 第2の実施の形態の動作について図22のフローチャートを参照して説明する。
 はじめに、立体表示が開始されると同時に、筐体10の動きを検出するセンサも起動する。
 次に、観察者を最適観察位置に導くために基準画面を表示する。なお、第2の実施の形態において立体表示とは、第1の実施の形態と同じく画像振分手段の機能をオンにし(例えば、パララックス・バリアパターン表示)、表示パネルには図9(a)に示すような視差を有する画像データを送り、各々の画像を観察者の左右の眼に投影することである。
 ステップ11にて観察者は基準画面の表示が立体として良好に見られるよう筐体10の位置、傾きを調整する。また、平面表示から立体表示に切り換えるときの2D→3D戻り値設定93を行う。
 次に、ステップ12にて観察者が筐体10の位置、傾きを調整した状態における検出部80の出力を初期値として記録し、所望の立体表示のコンテンツを再生する。
 ステップ13にて検出部80からの出力と初期値の記録から所定期間ΔTの移動量、傾き角を算出する。
 算出された移動量、傾き角をもとにステップ14にて立体視の判定を行う。これは、第1の実施の形態と同様に、算出された移動量、傾き角が、あらかじめ設定されたそれぞれの閾値よりも大きいかどうかに基づいて判定される。例えば、算出された移動量があらかじめ設定された移動量閾値よりも小さな場合、立体視が可能と判定される。また、算出された傾き角があらかじめ設定された傾き角閾値よりも小さな場合、立体視が可能と判定される。立体視が可能と判定された場合、続けてステップ15にて立体表示を行い、ステップ17に進む。
 立体視が不可能と判定された場合、ステップ16にて平面表示に切り換える。第2の実施の形態において平面表示とは、第1の実施の形態と同じく画像振分手段の機能をオフにし(例えば、パララックス・バリアパターン非表示)、表示パネルには、図9(b)に示すような視差のない画像データを送り、視差のない画像を観察者に投影することである。
 平面表示に切り換えた後は、ステップ18に進み、所定期間ΔTの移動量、傾き角を算出する。次に、ステップ19にて、算出された移動量、傾き角が設定された2D→3D戻り値であるか判定を行う。ここで、2D→3D戻り値内であれば、ステップ15にて立体表示に切り換える。2D→3D戻り値内でなければ、平面表示のままステップ18に戻る。つまり、2D→3D戻り値内にならない限り、ステップ18とステップ19を繰り返し立体表示に復旧しない。
 検出部80の出力が2D→3D戻り値内になり、立体表示に切換わった後は、ステップ17に進む。
 ステップ17では、筐体10の動きを算出する際に基準とする初期値を更新するか判定する。ステップ17の判定結果がNoの場合はステップ13に戻る。また、ステップ17の判定結果がYesの場合はステップ12に戻り、このときの検出部の出力をステップ11で記録した初期値と置き換えて記録する。すなわち、初期値を更新する。
 以後、上記のステップが繰り返される。
 図22を用いて説明した前述の動作フローにおいて、第1の実施の形態の動作で説明したとおり、所定期間ΔTは、表示パネル11のフレーム周期程度から0.2秒程度の間に設定するのが好ましい。また、ステップ17の判定は、第1の実施の形態の動作で説明したとおり、通過毎に行う必要はない。通過回数をカウントし、適当なカウント値になったときに観察者に表示装置の操作スイッチ等から判定を入力させてもよいし、所定のカウント値のとき自動的にYesとなるようにしてもよい。さらに、ステップ14に立体視の判定条件を第1の実施の形態の動作で説明したとおり、観察者が立体視の限界条件を決定し記憶させる機能を備えてもよい。
 以上の説明のように、第2の実施の形態は第1の実施の形態に比べ、処理が複雑となり機能も追加されているが、立体表示に戻すポイントを観察者が自ら設定するため、立体表示に戻るときの違和感を抑える効果や、立体表示と平面表示が頻繁に切換わることによって生じる不快感を抑制する効果が生じる。
(第3の実施の形態)
 第3の実施の形態は、画像振分手段として、前述の第1および2の実施の形態において用いた電気信号によりオン/オフできる電気光学素子(例えば、パララックス・バリアパターンを表示する透過型液晶パネル)ではなく、通常の光学素子(パララックスバリア、レンチキュラレンズ等)を用いること特徴とする。画像振分手段以外の他の構成については、第1の実施の形態と同じである。
 図23に第3の実施の形態の機能ブロック図を示す。
 第3の実施の形態は第1の実施の形態と同様に、表示パネル11、画像振分手段13、表示コントローラ12から構成される。しかし、前述のように画像振分手段が通常の光学素子であるため、表示コントローラ12は、第1の実施の形態(図8)のから画像振分制御回路111を省いた構成となる。
 図23に示すように、第3の実施の形態の表示コントローラ12は、画像生成部100、検出部80、判定部90、表示パネル駆動回路110から構成され、各々構成要素の役割については第1の実施の形態と同様であるため説明省略する。
 ただし、画像生成部100で生成する平面表示に用いる2Dデータが第1の実施の形態と異なる。第3の実施の形態においては、画像振分機能をオフできない。そのため、平面表示を行うときも立体表示と同様に、表示パネルの単位画素を水平方向に、右眼用画素、左眼用画素として交互に用いることになる。このため、平面表示用に生成する各2次元画像データの水平方向の解像度も表示パネルの半分となる。画像データの生成は、第1の実施の形態と同様に、奥行き情報を含む3次元データにレンダリング処理を施す方法が好ましく、立体表示用3Dデータは、観察者の両眼に相当する仮想の2視点を設定し、一方、平面表示用の2Dデータは、観察者の両眼の中央に相当する1視点を設定しレンダリング処理を施し生成する。前述のように生成する画像データのイメージを図示すると、3Dデータは図24(a)、2Dデータは図24(b)のようになる。
 第1の実施の形態と同様に、画像データの生成は、奥行き情報を含む3次元データより生成する方法が好ましいが、データ蓄積部102に予めレンダリング処理を施した図24(a)、(b)に示すような表示対象データを蓄積しておき、選択的に読み出してもよい。レンダリング処理が不要となるため、レンダリングを要する方法より演算器101の処理能力や演算速度が低くてよい。このため、画像生成部100を安価に構成できる利点がある。
 第3の実施の形態の動作は、第1の実施の形態と共通点が多いため、第1の実施の形態の動作を説明した図20のフローチャートを用いて差異のみを説明する。
 第3の実施の形態においては、ステップ6で平面表示に切換えるとき、画像振分手段の制御を行わない。また、第3の実施の形態における平面表示は、図24(a)に示す右眼画像を左右両画素へ送る、あるいは、左眼画像を左右両画素へ送る、または、図24(b)に示す画像データを送ることにより視差のない画像を観察者に投影することである。つまり、左右両画素へ送る画像データを互いに同一のデータとすることである。
 ここで、ステップ16の平面表示は、図10及び図13(a)、(b)~図16(a)、(b)の説明時の座標系を用いて、判定時の筐体10の移動方向がX軸の負の方向、あるいは、傾きが左回転のときは、左眼用データを左右両画素に送るとよい。また、判定時の筐体10の移動方向がX軸の正の方向、あるいは、傾きが右回転のときは、左眼用データを左右両画素に送るとよい。
 前述のようにデータを切り換えることで、立体表示から平面表示の切り換わるときの違和感を減少させる効果が生まれる。ただし、我々の調査によると、観察者によっては、立体表示から平面表示に切り換るとき、筐体10の移動方向や傾き方向に関わらず、右目用データあるいは左目用データに切り換る方が自然に感じるというケースも見られた。本ケースで観察者が自然に感じるデータは、観察者の利き目と合った表示データであった。このため、ステップ6の平面表示において、左右両画素に送るデータは、観察者自らが設定できる機能を設けることがより好ましい。
 また、第3の実施の形態の構成において、第2の実施の形態の適用も可能である。
 この場合、機能ブロック図は図25に示すように、判定部90に2D→3D戻り値設定93機能が加わったものとなる。前述のように、第3の実施の形態の構成が第2の実施の形態の構成と異なる点は、画像振分制御回路111がない点と、画像生成部100において生成される画像データが異なる点とである。動作においては、図22に示すフローチャートが適用でき、先に説明したように、平面表示への切換え(ステップ16)における画像振分手段の制御がない点と平面表示に適用する画像データ以外は、第2の実施の形態と同じ動作である。さらに、平面表示に適用する画像データを上記のように、筐体10の移動、傾き方向に応じて選択したり、観察者の利き目と合わせて選択したりする機能を備えてもよい。
 以上、本発明の第1および第2の実施の形態と第3の実施の形態との違いについて説明した。第3の実施の形態は、第1および第2の実施の形態のように電気光学素子を使用しない。そのため、平面表示時の水平方向の解像度が劣るが、低コストと装置を製作でき、さらに装置筐体も若干小さくすることが可能であり、信頼性も高まるといった効果がある。
(第4の実施の形態)
 第4の実施の形態における構成は、標準的な平面表示パネルの画像を構成する最小表示単位である1つの画素に相当する部分から、観察者の右眼と左眼とに異なる画像を投影できる表示パネルを用いることを特徴とする。前述の表示パネルとは、たとえば、特許文献1記載の時分割法式の立体表示パネルである。たとえば、標準的な平面表示パネルに対して、観察者の両眼の並ぶ方向である横方向に2倍の画素数を有する表示パネルである。
 第4の実施の形態を適用した表示装置の一例は、第1の実施の形態で説明したものと同様に図6に示す正面図となる。同様に、図6中の線bにおける筐体10の断面図である図7に示すように、第4の実施の形態の表示装置は、表示パネル11、画像振分手段13、表示コントローラ12、操作スイッチ14が筐体10内に収まっている。表示パネル11は、複数の単位画素に形成された透過型液晶パネルであるが、標準的な平面表示パネルと比較し以下の特徴をもつ。
 図26(a)は、標準的な平面表示パネルの画素構造の模式図であり、横方向に6個、縦方向に3個のマトリクス状に配列された画素4から構成され、画素4は各々の任意の階調表現が可能であり、入力されたデータに応じて6×3の画像を表現できる。ここで、画素4を正方形で表現しているが、説明の便宜上であり、6×3の画素から画像表現を行った際の縦横比率が等しければ、どのような形状でもよい。
 一方、図26(b)に、第4の実施の形態に用いる一例の表示パネルの画素構造を図26(a)と比較したときの模式図を示す。標準的な平面表示パネルの画素4を縦に分割した形状の画素41が、横方向に12個、縦方向に3個のマトリクス状に配列する。画素41は各々任意の階調表現が可能であり、12×3の画像を表現することが可能であるが、縦に対して横が半分となっているため、表示画面サイズは、図26(a)に示す標準的な平面表示パネルと同じである。ここで、画素41を長方形で表現しているが、説明の便宜上であり、縦横の比率が2:1であれば、どのような形状でもよい。そして、立体表示を行うとき、画素41は水平方向に交互に左眼用画素4L、右眼用画素4Rとして機能するように、図27に示すように画像振分手段13であるレンチキュラレンズを配置する。
 第4の実施の形態の機能ブロック図は、第3の実施の形態と同じ図23となる。
 第4の実施の形態が第3の実施の形態と異なる点は、画像生成部100において生成される画像データである。画像データの生成は、前述の実施の形態と同じく、データ蓄積部102の表示対象のデータが奥行き情報を含む3次元データであり、演算器101でレンダリング処理を施すことによって2次元画像データを生成する方法が好ましい。立体表示に用いる3Dデータ、すなわち、視差を有する左右両眼用の2次元画像データは、観察者の左右両眼に相当する仮想の2視点を設定し、各々レンダリング処理を施して生成する。
 一方、平面表示に用いる2Dデータ、すなわち、視差の無い画像データは、観察者の両眼の中央に相当する1視点を設定し、レンダリング処理を施し生成してもよい。第4の実施の形態の表示パネルは、水平方向に2倍の解像度を有するため、平面表示に用いる2Dデータとして、立体表示用にレンダリング処理を施した右眼用データを左右両眼用のデータとし、または、立体表示用にレンダリング処理を施した左眼用データを左右両眼用のデータとしてもよい。生成する3Dデータ、2Dデータの画像データのイメージを図示すると、図28(a)から図28(d)のようになる。
 第4の実施の形態においても、データ蓄積部102に予めレンダリング処理を施した表示対象データ、すなわち、奥行き情報を含まない図28(a)に相当する2次元データの形式で蓄積しておいてもよい。この形式は、2台のカメラを用いて撮影した実写コンテンツに多く用いられている。また、図28(a)と図28(d)とに相当する2次元データを蓄積しておいてもよい。前述の通り、これらの場合、レンダリング処理が不要となるため、演算器101やメモリ103を安価に構成できる利点がある。
 なお、図27において、画像振分手段13にレンチキュラレンズ用いているが、パララックスバリアを用いることも可能である。パララックスバリアを用いることにより、レンチキュラレンズに比べて明るさが劣るものの、より低コストで表示装置を製作できる効果がある。
 立体視域内に観察者の両眼が位置するかを判定する方法については、第1の実施の形態で説明したとおりである。
 第4実施の形態の動作は、第3の実施の形態と同様に説明できる。第4実施の形態の動作と第3の実施の形態とが違う点は、図20のフローチャートを参照し、ステップ6において適用する平面表示のデータのみである。
 第4の実施の形態においても、平面表示とは、第3の実施の形態と同様に、右眼用画素4Rと左眼用画素4Lとに送る画像データを互いに同一のデータとすることである。ただし、第3の実施の形態とは適用する画像データの水平方向の解像度が異なり、画像データのイメージを図示すると、図28(b)から図28(d)のいずれでもよい。
 そして、第3の実施no形態と同様に、平面表示に適用する画像データを筐体10の移動、傾き方向に応じて選択したり、観察者の利き目と合わせて選択したりする機能を備えてもよい。
[効果]
 第4の実施の形態の立体表示装置においては、図26の(b)に模式図を示す表示パネル11を使用するため平面表示と立体表示とで解像度が変わらない。このため、例えば、図20のステップ4からステップ6の平面表示切り換え時に、第1の実施の形態および第2の実施の形態では、水平方向の解像度が変化することによって違和感が生じるのに対して、違和感が発生しないという効果がある。
 なお、本実施の形態では、1つの単位画素からなる立体画素ユニットを用いた構成として、単位画素に右眼用画素と左眼用画素とを水平方向に設けているが、これに限定されない。
 他の例として、バックライト制御等による光学振り分け手段を用いて、単位画素から時分割に出射された光線を観察者の左右の眼に視差画像を投影する方式でも同様に適用可能で、上記と同じ効果が得られる。
(第5の実施の形態)
 第5の実施の形態は、前述の第4の実施の形態の構成において、第2の実施の形態の動作を適用したものである。
 第5の実施の形態における機能ブロック図は図27と同じである。第5の実施の形態と第4の実施の形態との違いは、第5の実施の形態には、判定部90のなかに第2の実施の形態で説明した2D→3D戻り値設定93機能がある点のみであり、説明を略す。
 動作については、第2の実施の形態とほぼ同様である。図22のフローチャートを参照し、第5の実施の形態と第2の実施の形態との違いは、画像振分手段のオン/オフ制御がない点と、ステップ16において適用する画像データとである。第5の実施の形態において、平面表示に適用する画像データは、第4の実施の形態で説明とおり、図28(b)から図28(d)のいずれでもよい。また、適用する画像データを筐体10の移動、傾き方向に応じて選択したり、観察者の利き目と合わせて選択したりする機能を備えてもよい。
[効果]
 第5の実施の形態の立体表示装置においては、第4の実施の形態と同じく、平面表示と立体表示との解像度が同じであるため、解像度の変化による違和感が発生しないという効果、ならびに第2の実施の形態と同じく立体表示と平面表示とが頻繁に切換わることによって生じる不快感を抑制する効果がある。
(第6の実施の形態)
 第6の実施の形態は、少なくとも3つ以上の各視点用画素を水平方向に設けた表示パネルを用いることを特徴とする。ここで、各視点用画素として各単位画素を用いることも可能であるが、本実施の形態の説明においては、標準的な平面表示パネルの画像を構成する最小表示単位である一つの単位画素に相当する部分に、少なくとも3つ以上の各視点用画素を水平方向に設けた表示パネルを用いて説明を行う。すなわち視点数をNとすると、標準的な平面表示パネルの画像を構成する最小表示単位である一つの画素に相当する部分に、N個の画素を設けたことを特徴とする表示パネルを用いるということである。
 以下、N=4の場合を例に第6の実施の形態について説明する。
 第6の実施の形態を適用した表示装置は、図6に示すように、表示パネル11、画像振分手段13、表示コントローラ12、操作スイッチ14が筐体10内に収まっている。表示パネル11は、前述のように、標準的な平面表示パネルの画像を構成する最小表示単位である1つの画素に相当する部分に4個の画素を有する。
 図29は、第6の実施の形態に用いる表示パネルの画素構造の模式図である。
 図26(a)に示す標準的な平面表示パネルの画素4に対して、第6の実施の形態では図29に示すように、縦に4分割した形状の画素が、横方向に24個、縦方向に3個のマトリクス状に配列する。図29の各々の画素は、任意の階調表現が可能であり(例えば、液晶パネル)、24×3の画像を表現することが可能であるが、縦に対して横が1/4となっているため、表示画面サイズは、図26(a)に示す6×3の画素から構成される標準的な平面表示パネルを同じである。図29において、画素を長方形で表現しているが、説明の便宜上であり、縦横で画素数の比率が4:1であれば、どのような形状でもよい。また、表示パネルを24×3の画素から構成しているが、説明の便宜上であり、目的に応じて総画素数を定めればよい。これらの画素は、立体表示を行うとき、水平方向に第1の視点用画素4D、第2の視点用画素4C、第3の視点用画素4B、第4の視点用画素4Aとして機能し、図29に示すように画像振分手段13であるレンチキュラレンズが配置される。
 第6の実施の形態に用いる表示パネルの立体表示について図を参照して説明する。
 図30は、表示パネル面と平行関係にあり、最適観察距離OD離れた観察面30に向けて画像を投影する光学モデルの断面図である。
 表示パネル(図示なし)は、前述のようにマトリックス状に配列された画素となる光変調素子群から構成されており(例えば液晶パネル)、図30には、第1の視点用画素4D、第2の視点用画素4C、第3の視点用画素4B、第4の視点用画素4Aが順番に並ぶ様子のみ図示している。
 画像振分手段として機能するレンチキュラレンズ3は、表示パネルの前面(観察面30側)に配置され、表示パネルの背面(レンチキュラレンズ3と反対側)には、光源(図示なし:いわゆるバックライト)が設置される。レンチキュラレンズ3は、多数のシリンドリカルレンズ3aが一次元配列されたレンズアレイである。シリンドリカルレンズ3aは、かまぼこ状の凸部を有する一次元レンズであり、長手方向にレンズ効果は持たず、その直交方向である配列方向にのみレンズ効果を有する。レンチキュラレンズ3は、表示パネルの第1の視点用画素4D、第2の視点用画素4C、第3の視点用画素4B、第4の視点用画素4Aが並ぶ方向に対して、シリンドリカルレンズ3aの長手方向が直交するように配置されている。シリンドリカルレンズ3aは、前記画素4D、4C、4B、4Aを1組として、4画素1組に対して1個設けられる。
 各画素から出た光は、レンチキュラレンズ3により偏向され投影される。各々の画素から出た光の中で、最も近いシリンドリカルレンズ3aの主点(頂点)を通る光に着目し、光線として図示する。すると、全ての第1の視点用画素4Dからの投影像が重なる領域74Dと、全ての第2の視点用画素4Cからの投影像が重なる74C、同様に第3の視点用画素4Bから領域74B、第4の視点用画素4Aから領域74Aが得られる。なお、各画素のピッチをPとしたとき、最適観察距離OD離れた観察面30における投影像の幅をP’とする。
 図30は、観察者50の右眼55Rを領域74B、左眼55Lを領域74Cに位置させたときのモデル図である。
 ここで、第2の視点用画素4Cと第3の視点用画素4Bに送られる画像データ間に視差があれば、観察者は立体画像として認識する。また、観察者の右眼を領域74A、左眼を領域74Bに位置させてもよく、図31に示すように、第6の実施の形態においては、観察者は領域74A~領域74Dの間で様々な組み合わせの視差画像を楽しむことが可能である。ここで、領域74Aから領域74Dに投影する画像を、表示対象を4視点からレンダリング処理した画像とすれば、観察者は観察位置を変化させることにより、異なる角度からの立体画像を楽しむことができると同時に運動視差も付与されるため、より立体感を与える効果がある。
 第6の実施の形態の機能ブロックは、第4の実施の形態と同じであるため、図23を参照とする。機能ブロック図は同じであるが、用いる表示パネルが異なるため、画像生成部100において生成するデータは異なる。
 画像データの生成は、前述の実施の形態を同じく、データ蓄積部102の表示対象のデータが奥行き情報を含む3次元データであり、演算器101でレンダリング処理を施すことによって2次元画像データを生成する方法が好ましい。立体表示に用いる3Dデータ、すなわち、視差を有する4つの2次元画像データは、仮想の4視点を設定し、各々レンダリング処理を施して生成する。
 一方、平面表示に用いる2Dデータ、すなわち、視差の無い画像データは、観察者の両眼の中央に相当する1視点を設定し、レンダリング処理を施し生成してもよい。第6の実施形態の表示パネルは、水平方向に4倍の解像度を有するため、平面表示に用いる2Dデータとして、立体表示用にレンダリング処理を施したデータ(4画像)のうちの1つを利用してもよい。
 生成する3Dデータ、2Dデータの画像データのイメージを図32(a)、図32(b)に示す。
 ここで、データ蓄積部に予めレンダリング処理を施した表示対象データ、すなわち、奥行き情報を含まない図32(a)に相当する2次元データの形式で蓄積しておいてもよい。例えば4台分のカメラを用いて撮影した実写コンテンツにも対応できる。また、図32(a)と図32(b)とに相当する2次元データを蓄積しておいてもよい。これらの場合、レンダリング処理が不要となるため、演算器やメモリを安価に構成できる利点がある。
 上記のようにして、画像生成部100は、2D/3Dデータを判定部90からの信号に応じて、2D/3Dデータを生成し、表示パネル駆動回路110へ出力する。
 なお、第6の実施の形態の構成において、画像振分手段13にレンチキュラレンズ用いているが、パララックスバリアを用いることも可能である。パララックスバリアを用いることにより、レンチキュラレンズに比べて明るさが劣るものの、より低コストで表示装置を製作できる効果がある。
 第6の実施の形態において、立体視域内に観察者の両眼が位置するかを判定する条件は、図30に示した菱形の領域74A~74Dの境界線情報を利用すればよい。ただし、図31に示す領域74A~領域74Dの組み合わせが許容される。さらに、例えば、領域74Aと領域74Bとに投影される画像にあまり視差がなく、二重画像が気にならなければ、図33に示す両方みえる位置も許容される。したがって、本実施の形態においては、観察者が好みに合わせてように立体視の条件を決定することが好ましい。
[動作の説明]
 第6の実施の形態の動作は、第3および第4実施形態の動作と同様に図20に示すフローチャートで説明できる。動作において違う点は、ステップ6において適用する平面表示のデータが異なる点である。第6の実施の形態において平面表示とは、第1の視点用画素から第4の視点用画素に送る画像データを全て同じすることである。画像データのイメージを図示すると、図32(a)のいずれか、あるいは、図32(b)となる。
 また、図20のステップ4における立体視の判定は、他の実施の形態においても説明したように、設計条件から導かれた立体視の判定条件は初期設定に適用し、ステップ1において観察者が立体視を行いながら、筐体10を移動させたり、傾けたりして、立体視の限界を探り、立体視の限界条件を記憶させてもよい。先の判定する条件の説明で述べたように、第6の実施の形態においては、特にこの方法が有効である。
 さらに、ステップ6の平面表示は、判定時の筐体10の移動方向がX軸の負の方向、あるいは、傾きが左回転のときは、第1の視点用データを4種の画素に送るとよい。また、判定時の筐体の移動方向がX軸の正の方向、あるいは、傾きが右回転のときは、第4の視点用データを4種の画素に送るとよい。前述のようにデータを切り換えることで、立体表示から平面表示の切り換わるときの違和感を減少させる効果が生まれる。
 ただし、我々の調査によると、観察者によっては、立体表示から平面表示に切り換るとき、筐体10の移動方向や傾き方向に関わらず、第1・第2視点用データあるいは第3・第4視点用データに切り換る方が自然に感じるというケースも見られた。本ケースで観察者が自然に感じるデータは、観察者の利き目と合った表示データであった。このため、ステップ6の平面表示において、4種の画素に送るデータは、観察者自らが設定できる機能を設けることが好ましい。
 以上、第6の実施の形態の説明を4視点分の画素を設けるパネルとして行ったが、視点数はN視点としてよい。その場合は、画像生成部100で生成する画像データもN視点分用意する。
(第7の実施の形態)
 第7の実施の形態は、前述の第6の実施の形態の構成において、第2の実施の形態の動作を適用したものであり、平面表示に切り換えてから、再び立体表示を行うまでの動作が異なる。
 構成については、判定部90のなかに2D→3D戻り値設定93機能がある点以外は第6の実施の形態と同じであるため説明を略す。また、第7の実施の形態に用いる表示パネルは、第6の実施の形態と同様に、4視点分の画素を有するパネルとして説明するが、視点数はN、画像データ数もN視点分としてよい。
 第7の実施の形態の動作は、第3および第5実施形態の動作と同様に図22に示すフローチャートで説明できる。ステップ16において適用する平面表示のデータは、第6の実施形態と同様に、図32(a)のいずれか、あるいは、図32(b)となる。
 また、ステップ16の平面表示を行うときの適用データは、第6の実施の形態で説明したように、筐体10の移動、傾き方向に応じて選択したり、観察者の利き目と合わせて選択したりする機能を備えてもよい。
 第7の実施の形態の立体表示装置においては、第6の実施の形態と同じく、観察者が違う角度からの立体画像を楽しむことができると同時に運動視差も付与され、より立体感を与える効果がある。
 本発明は、携帯電話、携帯型パソコン、携帯型ゲーム機、携帯メディアプレーヤー等の携帯型情報端末(端末装置)に適用できる。
 以上説明したように本発明の立体表示装置は、表示装置を含む筐体の動きを検出し、立体表示が適当でない状況では、視差の無い画像を投影することにより、観察者に不快感を与えず、めまいや乗り物酔いのような症状を起こさない効果がある。立体視域の判定を筐体の動きの検出と演算から行うことにより、カメラや視点位置検出の画像処理機能、および赤外線照射装置を必要とした従来の視線追従型と比較し、簡易に安価な表示装置を提供できる。
 以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2008年11月26日に出願された日本出願特願2008-300965を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (25)

  1.  画像を表示する表示装置であって、
     当該表示装置の動きを検出し、該検出した動きに応じて、立体表示と平面表示とのどちらか一方で前記画像を表示する表示装置。
  2.  請求項1に記載の表示装置において、
     当該表示装置の動きを検出する検出部と、
     該検出部が検出した当該表示装置の動きとあらかじめ設定された閾値との大小関係に基づいて、少なくとも2つの視差を有する画像データと視差の無い画像データとのどちらか一方を生成して出力する画像生成部と、
     複数の単位画素から構成され、前記画像生成部が出力した画像データを表示する表示パネルと、
     前記表示パネルに表示された画像データの、該表示パネルから外部への投影を制御する画像振分手段とを有する表示装置。
  3.  請求項2に記載の表示装置において、
     前記検出部が検出した当該表示装置の動きを示す値とあらかじめ設定された閾値とを比較する判定部を有し、
     前記画像生成部は、前記判定部が、前記表示装置の動きを示す値が前記閾値よりも小さいと判定した場合、前記視差を有する画像データを生成し、またそれ以外である場合は、前記視差の無い画像データを生成することを特徴とする表示装置。
  4.  請求項3に記載の表示装置において、
     前記画像振分手段は、電気光学素子からなることを特徴とする表示装置。
  5.  請求項4に記載に表示装置において、
     前記画像振分手段は、前記判定部が、前記表示装置の動きを示す値が前記閾値よりも小さいと判定した場合、オンとし、またそれ以外である場合は、オフとすることを特徴とする表示装置。
  6.  請求項3に記載の表示装置において、
     前記画像生成部は、前記判定部の判定結果にかかわらず、前記視差を有する画像データを生成し、
     前記表示パネルは、前記判定部が、前記表示装置の動きを示す値が前記閾値よりも小さいと判定した場合、前記単位画素を用いて少なくとも2つの視差を有する前記画像データを表示し、それ以外の場合である場合は、前記単位画素を用いて前記視差を有する画像データのうち1つの画像データを表示することを特徴とする表示装置。
  7.  請求項3に記載の表示装置において、
     前記表示パネルは、各単位画素を右眼用画素と左眼用画素とし、少なくとも2つの単位画素から構成される立体画素ユニットを用いて前記画像データを表示することを特徴とする表示装置。
  8.  請求項3に記載の表示装置において、
     前記表示パネルは、前記単位画素に右眼用画素と左眼用画素とを水平方向に設け、1つの単位画素から構成される立体画素ユニットを用いて前記画像データを表示することを特徴とする表示装置。
  9.  請求項3に記載の表示装置において、
     前記表示パネルは、少なくとも3つ以上の単位画素から構成される各視点用画素を立体画素ユニットとして水平方向に設け、該立体画素ユニットを用いて前記画像データを表示することを特徴とする表示装置。
  10.  請求項3に記載の表示装置において、
     前記表示パネルは、少なくとも3つ以上の各視点用画素を1つの単位画素内に立体画素ユニットとして水平方向に設け、1つの単位画素から構成される立体画素ユニットを用いて前記画像データを表示することを特徴とする表示装置。
  11.  請求項3に記載の表示装置において、
     前記検出部は、当該表示装置の移動量を検出し、
     前記判定部は、前記検出部が検出した移動量とあらかじめ設定された移動量閾値とを比較し、
     前記画像生成部は、前記判定部が、前記移動量が前記移動量閾値よりも小さいと判定した場合、前記視差を有する画像データを生成し、またそれ以外である場合は、前記視差の無い画像データを生成することを特徴とする表示装置。
  12.  請求項11に記載の表示装置において、
     前記検出部は、加速度センサまたは超音波センサまたは小型カメラであることを特徴とする表示装置。
  13.  請求項3に記載の表示装置において、
     前記検出部は、当該表示装置の傾き角を検出し、
     前記判定部は、前記検出部が検出した傾き角とあらかじめ設定された傾き角閾値とを比較し、
     前記画像生成部は、前記判定部が、前記傾き角が前記傾き角閾値よりも小さいと判定した場合、前記視差を有する画像データを生成し、またそれ以外である場合は、前記視差の無い画像データを生成することを特徴とする表示装置。
  14.  請求項13に記載の表示装置において、
     前記検出部は、加速度センサまたは地磁気センサまたはジャイロセンサの角速度センサであることを特徴とする表示装置。
  15.  請求項5乃至10のいずれか1項に記載の表示装置において、
     前記画像生成部は、奥行き情報を持つ表示対象データに対して、該奥行き情報に応じた視差量を展開することを特徴とする表示装置。
  16.  請求項5乃至8のいずれか1項に記載の表示装置において、
     前記画像生成部は、左眼用と中央用と右眼用との3つの画像を有する表示対象データに対して、前記少なくとも2つの視差を有する画像データを該左眼用の画像データおよび右眼用の画像データとし、前記視差の無い画像データを該中央用の画像データとすることを特徴とする表示装置。
  17.  請求項1に記載の表示装置において、
     前記立体表示と前記平面表示とが互いに同じ解像度であることを特徴とする表示装置。
  18.  請求項1に記載の表示装置において、
     前記立体表示が、少なくとも3つの視点からの表示を行うことを特徴とする表示装置。
  19.  請求項3に記載の表示装置において、
     前記画像生成部は、前記視差の無い画像データを生成する場合、前記検出部が検出した当該表示装置の動きの方向に応じて任意の視点用画像を選択して出力することを特徴とする表示装置。
  20.  請求項3に記載の表示装置において、
     前記画像生成部は、前記視差の無い画像データを生成する場合、外部から設定された観察者の利き目に応じて任意の視点用画像を選択して出力することを特徴とする表示装置。
  21.  請求項1乃至20のいずれか1項に記載の表示装置を用いた端末装置。
  22.  画像を表示装置に表示する表示方法であって、
     前記表示装置の動きを検出する処理と、
     前記検出した動きに応じて、立体表示と平面表示とのどちらか一方で前記画像を表示する処理とを有する表示方法。
  23.  請求項22に記載の表示方法において、
     前記検出した当該表示装置の動きとあらかじめ設定された閾値とを比較する処理と、
     前記比較の結果に基づいて、少なくとも2つの視差を有する画像データと視差の無い画像データとのどちらか一方を生成する処理と、
     前記生成した画像データを表示する処理とを有する表示方法。
  24.  請求項23に記載の表示方法において、
     前記表示装置の移動量を検出する処理と、
     前記検出した移動量とあらかじめ設定された移動量閾値とを比較する処理と、
     前記比較の結果、前記移動量が前記移動量閾値よりも小さい場合、前記視差を有する画像データを生成する処理と、
     前記比較の結果、前記移動量が前記移動量閾値よりも小さくない場合は、前記視差の無い画像データを生成する処理とを有することを特徴とする表示方法。
  25.  請求項23に記載の表示方法において、
     前記表示装置の傾き角を検出する処理と、
     前記検出した傾き角とあらかじめ設定された傾き角閾値とを比較する処理と、
     前記比較の結果、前記傾き角が前記傾き角閾値よりも小さい場合、前記視差を有する画像データを生成する処理と、
     前記比較の結果、前記傾き角が前記傾き角閾値よりも小さくない場合は、前記視差の無い画像データを生成する処理とを有することを特徴とする表示方法。
PCT/JP2009/067469 2008-11-26 2009-10-07 表示装置、端末装置および表示方法 WO2010061689A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP09828938A EP2365701A1 (en) 2008-11-26 2009-10-07 Display device, terminal device, and display method
JP2010540421A JP5170254B2 (ja) 2008-11-26 2009-10-07 表示装置、端末装置および表示方法
US13/129,753 US9122064B2 (en) 2008-11-26 2009-10-07 Display device, terminal device, and display method
CN200980155402.6A CN102292998B (zh) 2008-11-26 2009-10-07 显示设备、终端设备和显示方法
US14/816,178 US9880395B2 (en) 2008-11-26 2015-08-03 Display device, terminal device, and display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008300965 2008-11-26
JP2008-300965 2008-11-26

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/129,753 A-371-Of-International US9122064B2 (en) 2008-11-26 2009-10-07 Display device, terminal device, and display method
US14/816,178 Continuation US9880395B2 (en) 2008-11-26 2015-08-03 Display device, terminal device, and display method

Publications (1)

Publication Number Publication Date
WO2010061689A1 true WO2010061689A1 (ja) 2010-06-03

Family

ID=42225569

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/067469 WO2010061689A1 (ja) 2008-11-26 2009-10-07 表示装置、端末装置および表示方法

Country Status (5)

Country Link
US (2) US9122064B2 (ja)
EP (1) EP2365701A1 (ja)
JP (2) JP5170254B2 (ja)
CN (3) CN102292998B (ja)
WO (1) WO2010061689A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011108256A (ja) * 2011-01-07 2011-06-02 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
CN102447919A (zh) * 2010-10-08 2012-05-09 宏碁股份有限公司 三维视频图像调整方法及装置
JP2012090256A (ja) * 2010-09-22 2012-05-10 Nikon Corp 画像表示装置及び撮像装置
CN102790898A (zh) * 2011-05-18 2012-11-21 索尼公司 显示控制设备,显示控制方法,程序和及记录介质
EP2549720A1 (en) * 2011-07-22 2013-01-23 ST-Ericsson SA Method for a mobile electronic device and such a mobile electronic device
JP2013069301A (ja) * 2012-10-24 2013-04-18 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
EP2395762A3 (en) * 2010-06-10 2013-10-30 LG Electronics Inc. Mobile terminal and controlling method thereof
EP2693758A2 (en) 2012-07-31 2014-02-05 NLT Technologies, Ltd. Stereoscopic image display device, image processing device, and stereoscopic image processing method
US9259645B2 (en) 2011-06-03 2016-02-16 Nintendo Co., Ltd. Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system
CN106454326A (zh) * 2016-10-13 2017-02-22 张家港康得新光电材料有限公司 串扰值的测试装置
JP2018182745A (ja) * 2013-09-26 2018-11-15 Tianma Japan株式会社 立体画像表示装置及び端末装置
WO2019150880A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020004275A1 (ja) * 2018-06-26 2020-01-02 京セラ株式会社 3次元表示装置、制御コントローラ、3次元表示方法、3次元表示システム、および移動体
US10567741B2 (en) 2013-09-26 2020-02-18 Tianma Microelectronics Co., Ltd. Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof
JP2020072455A (ja) * 2018-11-02 2020-05-07 京セラ株式会社 3次元表示装置、ヘッドアップディスプレイ、移動体、およびプログラム
JP7433902B2 (ja) 2019-04-26 2024-02-20 Tianma Japan株式会社 表示装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2355526A3 (en) 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP5898842B2 (ja) 2010-01-14 2016-04-06 任天堂株式会社 携帯型情報処理装置、携帯型ゲーム装置
JP5800501B2 (ja) 2010-03-12 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP6021296B2 (ja) 2010-12-16 2016-11-09 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
JP2015038650A (ja) * 2010-12-24 2015-02-26 株式会社東芝 情報処理装置及び情報処理方法
JP5770018B2 (ja) * 2011-06-03 2015-08-26 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法及び表示制御システム
TWI509289B (zh) * 2012-08-27 2015-11-21 Innocom Tech Shenzhen Co Ltd 立體顯示裝置及其影像顯示方法
CN102798982B (zh) * 2012-08-31 2015-11-25 深圳超多维光电子有限公司 一种立体显示设备及立体显示控制方法
TWI463181B (zh) * 2012-09-25 2014-12-01 Au Optronics Corp 三維顯示器系統及其控制方法
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US9118911B2 (en) * 2013-02-07 2015-08-25 Delphi Technologies, Inc. Variable disparity three-dimensional (3D) display system and method of operating the same
KR102094124B1 (ko) * 2013-03-25 2020-03-27 조세프 제거 진동하는 격자 기반의 3차원 공간 시각화 장치
KR20150093014A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
FR3019553B1 (fr) 2014-04-02 2020-07-31 Arkema France Nouvelle composition thermoplastique modifiee choc presentant une plus grande fluidite a l'etat fondu
US10156723B2 (en) * 2016-05-12 2018-12-18 Google Llc Display pre-distortion methods and apparatus for head-mounted displays
EP3425907B1 (en) * 2017-07-03 2022-01-05 Vestel Elektronik Sanayi ve Ticaret A.S. Display device and method for rendering a three-dimensional image
JP2019066753A (ja) * 2017-10-04 2019-04-25 三菱電機株式会社 立体画像表示装置
US10795176B2 (en) * 2018-08-24 2020-10-06 3D Media Ltd Three-dimensional display adapted for viewers with a dominant eye
JP2021131490A (ja) * 2020-02-20 2021-09-09 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US11538214B2 (en) * 2020-11-09 2022-12-27 Meta Platforms Technologies, Llc Systems and methods for displaying stereoscopic rendered image data captured from multiple perspectives

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09152668A (ja) 1995-02-22 1997-06-10 Sanyo Electric Co Ltd 立体映像表示装置
JPH1172697A (ja) 1997-08-28 1999-03-16 Nec Corp 視点位置検出方法及び検出装置
JP2000152285A (ja) 1998-11-12 2000-05-30 Mr System Kenkyusho:Kk 立体画像表示装置
JP2001066547A (ja) 1999-08-31 2001-03-16 Toshiba Corp 立体表示装置
JP2004356997A (ja) * 2003-05-29 2004-12-16 Fuji Photo Film Co Ltd 立体視画像管理装置および方法並びにプログラム
JP2005006114A (ja) * 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2005151080A (ja) * 2003-11-14 2005-06-09 Sanyo Electric Co Ltd 立体映像表示装置
JP2005266293A (ja) * 2004-03-18 2005-09-29 Mitsubishi Electric Corp 液晶表示装置及び画像表示システム
JP2007047294A (ja) * 2005-08-08 2007-02-22 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP2007318184A (ja) * 2004-08-18 2007-12-06 Sharp Corp 立体画像生成装置及びその立体画像生成方法
JP2008300965A (ja) 2007-05-29 2008-12-11 Funai Electric Co Ltd 電話機

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3387624B2 (ja) * 1994-05-20 2003-03-17 キヤノン株式会社 立体ディスプレイ装置
EP0830034B1 (en) * 1996-09-11 2005-05-11 Canon Kabushiki Kaisha Image processing for three dimensional display of image data on the display of an image sensing apparatus
JP3397602B2 (ja) 1996-11-11 2003-04-21 富士通株式会社 画像表示装置及び方法
JPH11234703A (ja) 1998-02-09 1999-08-27 Toshiba Corp 立体表示装置
JP3646969B2 (ja) * 1998-05-25 2005-05-11 富士通株式会社 3次元画像表示装置
JP4149037B2 (ja) 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
JP3969252B2 (ja) * 2002-08-27 2007-09-05 日本電気株式会社 立体画像平面画像切換表示装置及び携帯端末装置
WO2004029701A1 (ja) * 2002-09-26 2004-04-08 Sharp Kabushiki Kaisha 2d/3d切替型液晶表示パネル、および2d/3d切替型液晶表示装置
KR101017231B1 (ko) * 2002-10-30 2011-02-25 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 및 전자 기기
JP2004294861A (ja) 2003-03-27 2004-10-21 Sanyo Electric Co Ltd 立体映像表示装置
KR100768837B1 (ko) * 2003-04-17 2007-10-19 샤프 가부시키가이샤 3차원 화상 작성 장치, 3차원 화상 재생 장치, 3차원 화상 처리 장치, 3차원 화상 처리 프로그램을 기록한 기록 매체
WO2004107763A1 (ja) * 2003-05-28 2004-12-09 Sanyo Electric Co., Ltd. 立体映像表示装置及びプログラム
JP2005167310A (ja) 2003-11-28 2005-06-23 Sharp Corp 撮影装置
JP2006023599A (ja) 2004-07-09 2006-01-26 Ts Photon:Kk 2d/3d切換式ディスプレイシステム
JP2006047507A (ja) 2004-08-02 2006-02-16 Sharp Corp 表示装置及び表示方法
JP4619216B2 (ja) 2005-07-05 2011-01-26 株式会社エヌ・ティ・ティ・ドコモ 立体画像表示装置及び立体画像表示方法
JP4977995B2 (ja) 2005-10-26 2012-07-18 日本電気株式会社 携帯表示装置
JP5006587B2 (ja) * 2006-07-05 2012-08-22 株式会社エヌ・ティ・ティ・ドコモ 画像提示装置および画像提示方法
KR100823197B1 (ko) * 2007-03-02 2008-04-18 삼성에스디아이 주식회사 전자 영상 기기 및 그 구동방법
KR20080093637A (ko) * 2007-04-17 2008-10-22 삼성전자주식회사 입체 영상 표시 장치 및 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09152668A (ja) 1995-02-22 1997-06-10 Sanyo Electric Co Ltd 立体映像表示装置
JPH1172697A (ja) 1997-08-28 1999-03-16 Nec Corp 視点位置検出方法及び検出装置
JP2000152285A (ja) 1998-11-12 2000-05-30 Mr System Kenkyusho:Kk 立体画像表示装置
JP2001066547A (ja) 1999-08-31 2001-03-16 Toshiba Corp 立体表示装置
JP2004356997A (ja) * 2003-05-29 2004-12-16 Fuji Photo Film Co Ltd 立体視画像管理装置および方法並びにプログラム
JP2005006114A (ja) * 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2005151080A (ja) * 2003-11-14 2005-06-09 Sanyo Electric Co Ltd 立体映像表示装置
JP2005266293A (ja) * 2004-03-18 2005-09-29 Mitsubishi Electric Corp 液晶表示装置及び画像表示システム
JP2007318184A (ja) * 2004-08-18 2007-12-06 Sharp Corp 立体画像生成装置及びその立体画像生成方法
JP2007047294A (ja) * 2005-08-08 2007-02-22 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP2008300965A (ja) 2007-05-29 2008-12-11 Funai Electric Co Ltd 電話機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NIKKEI ELECTRONICS, no. 838, 6 January 2003 (2003-01-06), pages 26 - 27

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2395762A3 (en) * 2010-06-10 2013-10-30 LG Electronics Inc. Mobile terminal and controlling method thereof
JP2012090256A (ja) * 2010-09-22 2012-05-10 Nikon Corp 画像表示装置及び撮像装置
US9076245B2 (en) 2010-09-22 2015-07-07 Nikon Corporation Image display apparatus and imaging apparatus
CN102447919A (zh) * 2010-10-08 2012-05-09 宏碁股份有限公司 三维视频图像调整方法及装置
US20120176369A1 (en) * 2011-01-07 2012-07-12 Nintendo Co., Ltd. Computer-readable storage medium having information processing program stored therein, information processing method, information processing apparatus, and information processing system
JP2011108256A (ja) * 2011-01-07 2011-06-02 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
US9325961B2 (en) 2011-01-07 2016-04-26 Nintendo Co., Ltd. Computer-readable storage medium having information processing program stored therein, information processing method, information processing apparatus, and information processing system
CN102591487A (zh) * 2011-01-07 2012-07-18 任天堂株式会社 信息处理方法、信息处理装置及信息处理系统
EP2475178A3 (en) * 2011-01-07 2013-12-11 Nintendo Co., Ltd. Computer-readable storage medium having information processing program stored therein, information processing method, information processing apparatus, and information processing system
CN102591487B (zh) * 2011-01-07 2016-04-06 任天堂株式会社 信息处理方法、信息处理装置及信息处理系统
CN102790898A (zh) * 2011-05-18 2012-11-21 索尼公司 显示控制设备,显示控制方法,程序和及记录介质
US9914056B2 (en) 2011-06-03 2018-03-13 Nintendo Co., Ltd. Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system
US9259645B2 (en) 2011-06-03 2016-02-16 Nintendo Co., Ltd. Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system
WO2013014024A1 (en) * 2011-07-22 2013-01-31 St-Ericsson Sa Method for a mobile electronic device and such a mobile electronic device
EP2549720A1 (en) * 2011-07-22 2013-01-23 ST-Ericsson SA Method for a mobile electronic device and such a mobile electronic device
US9398290B2 (en) 2012-07-31 2016-07-19 Nlt Technologies, Ltd. Stereoscopic image display device, image processing device, and stereoscopic image processing method
EP2693758A2 (en) 2012-07-31 2014-02-05 NLT Technologies, Ltd. Stereoscopic image display device, image processing device, and stereoscopic image processing method
JP2013069301A (ja) * 2012-10-24 2013-04-18 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
US10567741B2 (en) 2013-09-26 2020-02-18 Tianma Microelectronics Co., Ltd. Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof
JP2018182745A (ja) * 2013-09-26 2018-11-15 Tianma Japan株式会社 立体画像表示装置及び端末装置
CN106454326A (zh) * 2016-10-13 2017-02-22 张家港康得新光电材料有限公司 串扰值的测试装置
WO2019150880A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11327317B2 (en) 2018-01-30 2022-05-10 Sony Corporation Information processing apparatus and information processing method
WO2020004275A1 (ja) * 2018-06-26 2020-01-02 京セラ株式会社 3次元表示装置、制御コントローラ、3次元表示方法、3次元表示システム、および移動体
JPWO2020004275A1 (ja) * 2018-06-26 2021-07-08 京セラ株式会社 3次元表示装置、制御コントローラ、3次元表示方法、3次元表示システム、および移動体
JP7145214B2 (ja) 2018-06-26 2022-09-30 京セラ株式会社 3次元表示装置、制御コントローラ、3次元表示方法、3次元表示システム、および移動体
US11924400B2 (en) 2018-06-26 2024-03-05 Kyocera Corporation Three-dimensional display device, control controller, three-dimensional display method, three-dimensional display system, and moving body
JP2020072455A (ja) * 2018-11-02 2020-05-07 京セラ株式会社 3次元表示装置、ヘッドアップディスプレイ、移動体、およびプログラム
WO2020090712A1 (ja) * 2018-11-02 2020-05-07 京セラ株式会社 3次元表示装置、ヘッドアップディスプレイ、移動体、およびプログラム
JP7105173B2 (ja) 2018-11-02 2022-07-22 京セラ株式会社 3次元表示装置、ヘッドアップディスプレイ、移動体、およびプログラム
JP7433902B2 (ja) 2019-04-26 2024-02-20 Tianma Japan株式会社 表示装置

Also Published As

Publication number Publication date
US20110221750A1 (en) 2011-09-15
US9880395B2 (en) 2018-01-30
CN104409032B (zh) 2017-05-10
CN102292998A (zh) 2011-12-21
CN104409032A (zh) 2015-03-11
JP5170254B2 (ja) 2013-03-27
CN104914587A (zh) 2015-09-16
CN102292998B (zh) 2015-05-06
EP2365701A1 (en) 2011-09-14
JP2013128285A (ja) 2013-06-27
US9122064B2 (en) 2015-09-01
JPWO2010061689A1 (ja) 2012-04-26
JP5497882B2 (ja) 2014-05-21
CN104914587B (zh) 2017-12-01
US20150338669A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
JP5497882B2 (ja) 表示装置、端末装置および表示方法
JP5006587B2 (ja) 画像提示装置および画像提示方法
US9280951B2 (en) Stereoscopic image display device, image processing device, and stereoscopic image processing method
JP4857732B2 (ja) 仮想現実感生成システム
CN103595987A (zh) 立体图像显示装置、图像处理装置及图像处理方法
JP2015210297A (ja) 立体画像表示装置,立体画像表示方法,及び立体画像表示プログラム
JP2008146221A (ja) 画像表示システム
US20120120065A1 (en) Image providing apparatus and image providing method based on user&#39;s location
SG181708A1 (en) A system and method for producing stereoscopic images
JP6238532B2 (ja) 画像表示装置及び画像表示方法
US11012682B2 (en) Linearly actuated display
JP4853241B2 (ja) 車両用表示装置
JP4929768B2 (ja) 視覚情報呈示装置及び視覚情報呈示方法
US20190141314A1 (en) Stereoscopic image display system and method for displaying stereoscopic images
JP2008541165A (ja) フラットパネルディスプレイを利用した3次元映像表示装置
JPWO2005088386A1 (ja) 立体表示装置及び立体表示方法
JP2015037282A (ja) 画像処理装置、画像処理方法及びプログラム
JP6677387B2 (ja) 立体画像表示装置及び立体画像表示方法
KR101093929B1 (ko) 깊이 지도를 이용하여 3차원 영상을 표시하는 방법 및 시스템
WO2013031864A1 (ja) 表示装置
US20170052684A1 (en) Display control apparatus, display control method, and program
JP5780224B2 (ja) 立体表示装置および立体表示システム
JP2005099425A (ja) 三次元表示装置
JPH11355805A (ja) 3次元画像の表示制御装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980155402.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09828938

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13129753

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2010540421

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2009828938

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009828938

Country of ref document: EP