WO2012165132A1 - 裸眼立体ディスプレイ装置、視点調整方法、裸眼立体視用映像データ生成方法 - Google Patents

裸眼立体ディスプレイ装置、視点調整方法、裸眼立体視用映像データ生成方法 Download PDF

Info

Publication number
WO2012165132A1
WO2012165132A1 PCT/JP2012/062341 JP2012062341W WO2012165132A1 WO 2012165132 A1 WO2012165132 A1 WO 2012165132A1 JP 2012062341 W JP2012062341 W JP 2012062341W WO 2012165132 A1 WO2012165132 A1 WO 2012165132A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
display device
parallax
images
autostereoscopic
Prior art date
Application number
PCT/JP2012/062341
Other languages
English (en)
French (fr)
Inventor
齋藤　敦
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012068772A external-priority patent/JP5849811B2/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2012165132A1 publication Critical patent/WO2012165132A1/ja
Priority to US13/928,451 priority Critical patent/US9432657B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Definitions

  • the present invention relates to an autostereoscopic display device having parallax in a one-dimensional direction, a viewpoint adjustment method used when displaying video data including a plurality of viewpoint images on the autostereoscopic display device, and an autostereoscopic display device having parallax in a one-dimensional direction.
  • the present invention relates to a method for generating autostereoscopic video data for generating autostereoscopic video data to be displayed on the screen.
  • the image displayed on the display device such as a printing surface or a liquid crystal panel is divided and presented in a plurality of viewpoint directions, and the display device is visually recognized.
  • a technique for changing a display image according to a position to be moved As one of the techniques, a technique for stereoscopically displaying a display image by inputting different display images (parallax images) that are the same object and have a specific parallax to the right eye and the left eye of a person viewing the display device There is. According to this stereoscopic viewing technique, it is possible to realize an autostereoscopic display device capable of stereoscopic viewing without wearing special glasses for stereoscopic viewing.
  • the display image When viewing an image stereoscopically on an autostereoscopic display device, the display image should be displayed as much as possible in order to expand the viewing range for stereoscopic viewing and to obtain a natural stereoscopic effect and smooth motion parallax that can withstand long-term viewing.
  • the viewpoint is divided into as much as possible, rather than dividing the viewpoint based on the position of the eyes of the observer observing the display device in the space.
  • a multi-view type in which the display device is viewed from the viewpoint is effective.
  • it is effective to increase the lens pitch of an optical member attached to the display device with respect to the pixel pitch of the display device, for example, in the case of a lenticular lens.
  • the color pixel looks larger in proportion to the lens pitch due to the lens enlargement effect, the resolution of the parallax image in the lens pitch direction is significantly reduced.
  • a barrier is used for the optical member.
  • the periodic direction of the cylindrical lens (optical element) constituting the lenticular lens (optical member) is tilted with respect to the horizontal direction of the pixel array of the display device. It is described.
  • the technique described in Patent Document 1 by configuring one three-dimensional pixel using not only a pixel in the horizontal direction but also a pixel in the vertical direction, a reduction in the resolution in the horizontal direction in stereoscopic display is suppressed, The balance of resolution in the horizontal and vertical directions can be improved.
  • Patent Document 1 when the technique described in Patent Document 1 is adopted, if an attempt is made to express a large depth or protrusion on the surface of the display device, the parallax between adjacent viewpoint images becomes large and the resolution is deteriorated. was there.
  • the present invention can suppress deterioration in resolution even when expressing a large depth or protrusion on the surface of a display device, and can display a stereoscopic image with high resolution.
  • An object of the present invention is to provide an autostereoscopic display device, a viewpoint adjustment method, and an autostereoscopic video data generation method.
  • a plurality of pixels are arranged in a horizontal direction and a vertical direction, and each pixel of video data including a plurality of viewpoint images.
  • a display device (50) for assigning and displaying data to the plurality of pixels and a plurality of optical elements are periodically arranged, and the periodic direction of the optical elements is inclined with respect to the horizontal direction of the pixels in the display device
  • the first angle that has a relatively high possibility that an eye is present when the observer observes the display device, out of the viewing range of a predetermined angle formed by the presentation directions of the two viewpoint images with the most disparity in the image Region and a second angle region that is relatively unlikely to have eyes, and among the plurality of viewpoint images, between adjacent viewpoint images in the viewpoint images presented in the first angle region
  • a naked-eye three-dimensional object comprising a viewpoint adjustment unit (32, 42) that adjusts the viewpoint so that the parallax is smaller than the parallax between adjacent viewpoint images in the viewpoint image presented in the second
  • the parallax between adjacent viewpoint images in the viewpoint image presented in the first angle area is more than the parallax between adjacent viewpoint images in the viewpoint image presented in the second angle area.
  • a viewpoint adjustment method characterized by adjusting the viewpoint so as to reduce the size.
  • an observer within a viewing range of a predetermined angle formed by a presentation direction when two viewpoint images with the most disparity in a plurality of viewpoint images are presented on the autostereoscopic display device.
  • the parallax between adjacent viewpoint images in the viewpoint image presented in the first angle area is more than the parallax between adjacent viewpoint images in the viewpoint image presented in the second angle area.
  • the first to third aspects it is possible to suppress deterioration in resolution even when expressing a large depth or protrusion on the surface of the display device, and to display a stereoscopic image with high resolution. it can.
  • FIG. 1 is a diagram for explaining that images are displayed in an overlapped state in a multi-eye autostereoscopic display device.
  • FIG. 2 is a diagram for explaining the presentation direction of the viewpoint image.
  • FIG. 3 is a diagram for explaining the relationship between the autostereoscopic display device and the position of the observer's eyes.
  • FIG. 4 is a diagram for explaining a normal presentation direction of a viewpoint image.
  • FIG. 5 is a diagram for explaining a normal photographing method when a plurality of viewpoint images are photographed by a plurality of imaging devices.
  • FIG. 6 is a diagram for explaining a photographing method used in an embodiment of the autostereoscopic video data generation method of the present invention.
  • FIG. 1 is a diagram for explaining that images are displayed in an overlapped state in a multi-eye autostereoscopic display device.
  • FIG. 2 is a diagram for explaining the presentation direction of the viewpoint image.
  • FIG. 3 is a diagram for explaining the relationship between the autostereoscopic display device and the position of the observe
  • FIG. 7 is a flowchart showing a first example in one embodiment of the autostereoscopic video data generation method of the present invention.
  • FIG. 8 is a flowchart showing a second example in one embodiment of the autostereoscopic video data generation method of the present invention.
  • FIG. 9 is a flowchart showing a third example in one embodiment of the autostereoscopic video data generation method of the present invention.
  • FIG. 10 is a flowchart showing a fourth example in one embodiment of the autostereoscopic video data generation method of the present invention.
  • FIG. 11 is a block diagram showing a first embodiment of the autostereoscopic display device of the present invention.
  • FIG. 12 is a diagram for explaining a normal presentation direction when nine viewpoint images are presented.
  • FIG. 13 is a diagram for explaining the calculation of the parallax level by the parallax level calculation unit 31 in FIG. 11.
  • FIG. 14 is a diagram illustrating an example of a parallax image presentation direction setting table held by the table holding unit 33 in FIG. 11.
  • FIG. 15 is a characteristic diagram for explaining operational effects of the first embodiment of the autostereoscopic display device of the present invention.
  • FIG. 16 is a block diagram showing a second embodiment of the autostereoscopic display device of the present invention.
  • FIG. 17 is a diagram illustrating an example of a presentation parallax image setting table held by the table holding unit 43 in FIG. 16.
  • FIG. 18 is a diagram illustrating a state in which the observer's eyes are offset from a direction perpendicular to the screen surface of the autostereoscopic display device.
  • FIG. 19 is a diagram illustrating a presentation direction of a viewpoint image that allows a stereoscopic image to be comfortably visually recognized in the state of FIG.
  • FIG. 20 is a block diagram showing a third embodiment of the autostereoscopic display device of the present invention.
  • FIG. 21 is a diagram illustrating an example of a parallax image presentation direction setting table held by the table holding unit 53 in FIG.
  • FIG. 22 is a diagram illustrating an example of a method for detecting the position of the observer's face.
  • FIG. 23 is a diagram illustrating an example of shifting the viewpoint image in accordance with the offset of the position of the observer's face in the third embodiment.
  • FIG. 24 is a block diagram showing a fourth embodiment of the autostereoscopic display device of the present invention.
  • FIG. 25 is a diagram illustrating an example of a parallax image presentation direction setting table held by the table holding unit 53 in FIG. 24 and a parallax image presentation direction replacement table generated by the replacement unit 58.
  • FIG. 26 is a block diagram showing a fifth embodiment of the autostereoscopic display device of the present invention.
  • FIG. 27 is a diagram illustrating an example of a parallax image presentation direction setting table held by the table holding unit 63 in FIG. 26 and a parallax image presentation direction replacement table generated by the replacement unit 68.
  • the display device 50 has a plurality of pixels Pxl arranged in the horizontal (H) and vertical (V) directions.
  • the numbers attached to the pixels Pxl indicate which viewpoint image each pixel Pxl displays.
  • the lenticular lens LLs is arranged on the plurality of arranged pixels Pxl in a state where the periodic direction of the cylindrical lenses is inclined with respect to the horizontal direction of the arrangement of the pixels Pxl. ing.
  • the periodic direction of the cylindrical lens (lenticular lens LLs) is a direction orthogonal to the boundary line Lbr of the cylindrical lens.
  • the pixel pitch in the horizontal direction of the pixel Pxl is px
  • the pixel pitch in the vertical direction is py.
  • the lens pitch in the horizontal direction of the lenticular lens LLs is 4.5 px
  • the inclination angle is tan ⁇ 1 (px / 2py).
  • the autostereoscopic display device (display device 50) of FIG. 1A When the autostereoscopic display device (display device 50) of FIG. 1A is viewed from a certain position, only the pixels Pxl existing on the straight line Led indicated by the dashed line equidistant from the boundary line Lbr of the cylindrical lens are visible. The pixels Pxl that appear on the straight line Led are white, and the other pixels Pxl are given a satin pattern. As can be seen from FIG. 1A, an image of viewpoint 0 and an image of viewpoint 1 are visible. For this reason, as shown in FIG. 1B, the viewpoint image Im1 and the viewpoint image Im2 are overlapped and visually recognized. There is a parallax Pax between the viewpoint image Im1 and the viewpoint image Im2. When the parallax Pax is large, the image is greatly blurred from side to side, and the resolution in the horizontal direction is deteriorated.
  • the viewing range can be widened as the lens pitch is increased and the focal length is shortened.
  • the viewing range is generally set to ⁇ 10 to 15 ° in the horizontal direction with respect to a straight line perpendicular to the screen surface of the autostereoscopic display device.
  • the arrow line extending from the autostereoscopic display device 100 is the presentation direction of the viewpoint image.
  • subjected to each presentation direction is a number which shows each viewpoint image.
  • the viewing range ⁇ vi includes the direction in which the viewpoint image 0 is presented and the viewpoint image n ⁇ 1. It is defined by the angle formed with the direction of presenting.
  • the autostereoscopic display device 100 includes the display device 50 and the lenticular lens LLs shown in FIG.
  • the position of the observer's eyes is expected to be approximately at the position shown in FIG. Since the distance (interocular distance) Dlr between the right eye ER and the left eye EL of the observer is not so different from the visible width Dvi, the left eye exists on the left side in the visible range ⁇ vi as shown in FIG. There is an angle region ⁇ lp that has a relatively high possibility of being displayed, and an angle region ⁇ rp that has a relatively high possibility that the right eye is present on the right side in the viewing range ⁇ vi. In the center of the viewing range ⁇ vi, there is an angle region ⁇ np that has a relatively low possibility that both the left eye and the right eye exist.
  • a normal presentation direction when the autostereoscopic display device 100 divides n viewpoint images into n directions and presents them will be described with reference to FIG.
  • the angle ⁇ i is proportional to the viewpoint image number i.
  • the direction in which the n viewpoint images are presented is usually a direction shifted by equal angles.
  • the parallax between adjacent viewpoint images is reduced in the angle region ⁇ lp where the left eye is likely to exist and the angle region ⁇ rp where the right eye is likely to exist. In the angle region ⁇ np where the possibility that both the left eye and the right eye are present is low, the parallax between adjacent viewpoint images is increased.
  • the visible width Dvi becomes larger than the interocular distance Dlr, and there is a possibility that the left eye exists within the visible width Dvi. And the possibility of the right eye existing is small.
  • the resolution becomes insensitive to degradation, and the above-described method of changing the parallax between adjacent viewpoint images is effective regardless of the viewing distance.
  • the motion parallax is different from the actual by changing the parallax between the adjacent viewpoint images, the perception of the depth cue of the stereoscopic image is not particularly problematic because the binocular parallax is dominant.
  • the method for differentiating the parallax between adjacent viewpoint images is realized by devising the method of shooting when shooting n viewpoint images, and the method of shooting for shooting n viewpoint images is normal shooting.
  • a method there is a method of generating video data in which parallax between adjacent viewpoint images is changed by video signal processing.
  • CG computer graphics
  • n imaging devices Cm0 to Cmn-1 are arranged in an arc shape centered on the clipping point C at equal angular intervals.
  • the imaging device Cm0 is an imaging device that captures an image at viewpoint 0
  • the imaging device Cmi is an imaging device that captures an image at viewpoint i
  • the imaging device Cmn-1 is an imaging device that captures an image at viewpoint n-1. is there.
  • the angle ⁇ i is proportional to the angle ⁇ i described in FIG.
  • FIG. 5B shows a method of capturing n viewpoint images when infinity is used as a clipping point. If the distance between the imaging device Cm0 that captures the image of the viewpoint 0 and the imaging device Cmi that captures the image of the viewpoint i is ⁇ di, the distance ⁇ di is proportional to i.
  • 6A and 6B description will be given of a shooting method for changing the parallax between adjacent viewpoint images.
  • 6A and 6B show a photographing method when the imaging devices Cm0 to Cmn-1 are arranged in an arc shape centering on the clipping point C, as in FIG. 5A. Yes.
  • (b) of FIG. 5 it is possible to set the clipping point at infinity, but here, only the case where the imaging devices Cm0 to Cmn-1 are arranged in an arc shape will be described.
  • the imaging devices Cmi1 and Cmi2 are imaging devices located in the angular region ⁇ lp, which is likely to have the left eye described in FIG. 3 (b).
  • the imaging devices Cmi3 and Cmi4 are imaging devices located in the angular region ⁇ rp where the right eye described with reference to FIG. As shown in FIG. 6A, the interval between the imaging devices Cmi1 and Cmi2 located in the angle region ⁇ lp in which the left eye is likely to exist, and the angle region ⁇ rp in which the right eye is likely to exist.
  • the interval between the imaging devices Cmi3 and Cmi4 that are positioned is made narrower than when n imaging devices Cm0 to Cmn-1 are arranged at equal angular intervals as shown in FIG.
  • the interval between the two image pickup devices is narrowed in each of the angle regions ⁇ lp and ⁇ rp.
  • the interval between the two image pickup devices can be reduced. Good.
  • the imaging devices Cmi5 and Cmi6 are imaging devices located in the angle region ⁇ np described with reference to FIG. 3B where the left eye and the right eye are unlikely to exist.
  • the interval between the imaging devices Cmi5 and Cmi6 located in the angle region ⁇ np where there is a low possibility that both the left eye and the right eye are present is n as shown in FIG.
  • the image pickup devices Cm0 to Cmn-1 are made wider than the case where they are arranged at equal angular intervals.
  • the interval between the two image pickup devices in the angle region ⁇ np is narrowed. However, if there are more image pickup devices in the angle region ⁇ np, the intervals may be increased.
  • an angle region ⁇ lp in which the left eye is likely to exist and an angle region ⁇ rp in which the right eye is likely to be present The parallax between adjacent viewpoint images is reduced as compared with the case where the present invention is not applied, and the parallax between adjacent viewpoint images in the angle region ⁇ np where the possibility that both the left eye and the right eye are present is not applied. Increase compared to the case.
  • FIG. 7 shows a video data generation method when n viewpoint images are photographed as shown in FIGS. 6 (a) and 6 (b).
  • step S1 the interval between the n imaging devices Cm0 to Cmn-1 is adjusted to reduce the parallax between adjacent viewpoint images in the region where the left and right eyes are highly likely to exist,
  • the parallax images of n viewpoints are photographed by increasing the parallax between adjacent viewpoint images in a region where there is a low possibility that the eyes are present.
  • the video data for autostereoscopic viewing is generated by formatting into a predetermined format based on the captured image signal of the n-viewpoint parallax images.
  • the format of the autostereoscopic video data may be any of a line-by-line format, a side-by-side format, a frame-sequential format, or a multi-view format corresponding to the format.
  • step S2 If the autostereoscopic video data generated in step S2 is input and displayed on the autostereoscopic display device 100 having the display device 50 and the lenticular lens LLs described with reference to FIG. A stereoscopic image with a high image feeling can be obtained.
  • FIG. 8 shows an example of generating video data in which the parallax between adjacent viewpoint images is changed by video signal processing using a normal shooting method for shooting n viewpoint images.
  • step S11 parallax images of n viewpoints are taken with the intervals of the n imaging devices Cm0 to Cmn-1 being equal.
  • step S12 the parallax between adjacent viewpoint images in an area where left and right eyes are likely to exist is determined based on the imaging signal of the n viewpoint parallax images captured using the video signal processing device.
  • An n-viewpoint parallax image is generated by reducing the parallax between adjacent viewpoint images in an area that is small and has a low possibility of the presence of left and right eyes.
  • step S13 based on the generated video data of the n-viewpoint parallax image, it is formatted into a predetermined format to generate autostereoscopic video data. Since a known apparatus using a parallax map or the like can be used as the video signal processing apparatus used in step S12, detailed description thereof is omitted. If the autostereoscopic video data generated in step S13 is input and displayed on the autostereoscopic display device 100, the same effect as in FIG. 7 can be obtained.
  • FIG. 9 is an example of capturing two viewpoint images and generating video data of n viewpoint images in which the parallax between adjacent viewpoint images is different based on the data of the two viewpoint images by video signal processing. is there.
  • step S21 a parallax image of two viewpoints is shot using two imaging devices.
  • step S22 the parallax between the adjacent viewpoint images in the region where the left and right eyes are highly likely to be present is determined based on the imaging signal of the two viewpoint parallax images captured using the video signal processing device.
  • An n-viewpoint parallax image is generated by reducing the parallax between adjacent viewpoint images in an area that is small and has a low possibility of the presence of left and right eyes.
  • step S23 based on the generated video data of the n-viewpoint parallax image, it is formatted into a predetermined format to generate autostereoscopic video data.
  • the video signal processing apparatus used in step S22 a known apparatus that generates an intermediate viewpoint image using a parallax map or the like can be used. If the autostereoscopic video data generated in step S23 is input and displayed on the autostereoscopic display device 100, the same effect as in FIG. 7 can be obtained.
  • FIG. 10 shows an example in which 3D object data is rendered by CG, rather than being actually captured by the imaging device.
  • the 3D object data includes necessary data such as vertex coordinate set data that can restore the three-dimensional shape of the object to be drawn.
  • step S31 rendering of 3D object data by CG reduces the parallax between adjacent viewpoint images in a region where left and right eyes are likely to exist, and there is a possibility that left and right eyes exist.
  • An n-viewpoint parallax image in which the parallax between adjacent viewpoint images in a low region is increased is generated.
  • autostereoscopic video data in a predetermined format is generated based on the generated video data of the n viewpoint parallax images. If the autostereoscopic video data generated in step S32 is input to the autostereoscopic display device 100 and displayed, the same effect as in FIG. 7 can be obtained.
  • the autostereoscopic display device of the present embodiment inputs 3D object data that can be rendered by CG.
  • the autostereoscopic display device of the present embodiment is configured to render and display 3D object data so that the parallax between adjacent viewpoint images is different.
  • 3D object data is input to the parallax level calculation unit 31 and the viewpoint image creation unit 34.
  • the specific configuration of the display device 50 is as described with reference to FIG. Lenticular lenses LLs are arranged on the display device 50.
  • the viewpoint images 0 to 8 shown in FIG. 1A are viewed from different directions by the lenticular lens LLs.
  • the presentation direction of viewpoint images when 3D object data is rendered without performing processing according to the present embodiment described later and nine viewpoint images are displayed on the display device 50 will be described with reference to FIG.
  • a viewpoint image (viewpoint image 0) having a viewpoint i of 0 is presented from the autostereoscopic display device 100 in the direction of 0 ° as ⁇ 0.
  • the autostereoscopic display device 100 includes the display device 50 and the lenticular lens LLs in FIG.
  • a viewpoint image (viewpoint image 8) whose viewpoint i is 8 is presented from the autostereoscopic display device 100 as ⁇ 8 in a direction of 24 °.
  • the viewpoint images between the viewpoint image 0 and the viewpoint image 8 are presented at intervals of 3 °.
  • a viewpoint image whose viewpoint i is 1 is presented from the autostereoscopic display device 100 in the direction of 3 ° as ⁇ 1.
  • the parallax level calculation unit 31 calculates the parallax level Lpa from the distance between the clipping point C and the 3D object. As shown in FIG. 13, when the 3D object data is input, the parallax level calculation unit 31 arranges the object OB on the world coordinate system. The parallax level calculation unit 31 calculates the distance between the clipping point C and the barycentric coordinates of the object OB to calculate the parallax level Lpa.
  • the parallax level Lpa is, for example, three levels from 0 to 2.
  • the parallax level Lpa is input to the viewpoint adjustment unit 32. Note that the method for calculating the parallax level is not limited to this, and other methods such as attaching the header information to the input 3D object data are also conceivable.
  • the table holding unit 33 holds a parallax image presentation direction setting table shown in FIG.
  • a set of angles corresponding to the parallax levels Lpa0 to Lpa2 is set as the angle ⁇ i indicating the direction of the imaging device that renders the 3D object.
  • the parallax level Lpa is set to three stages and the set of angles ⁇ i is set to three sets, but the present invention is not limited to this.
  • an imaging device does not actually exist, but an image equivalent to that captured by the imaging device is created, and hence the angle ⁇ i of the imaging device is referred to.
  • the normal presentation direction ⁇ i described in FIG. 12 is also shown.
  • the viewpoint adjustment unit 32 reads information indicating the angle ⁇ i corresponding to the parallax level Lpa input from the parallax level calculation unit 31 from the table holding unit 33.
  • the viewpoint adjustment unit 32 inputs information indicating the read angle ⁇ i to the viewpoint image creation unit 34.
  • the viewpoint image creation unit 34 reduces the parallax between adjacent viewpoint images in an angle region where left and right eyes are highly likely to exist, A nine-view parallax image in which the parallax between adjacent viewpoint images in an angle region where there is a low possibility of the presence of eyes is increased by rendering.
  • the video data of the nine viewpoint parallax images generated by the viewpoint image creation unit 34 is input to the drive unit 35.
  • the drive unit 35 allocates each pixel data of each data portion constituting the parallax image of nine viewpoints in the input video data to each pixel of the display device 50 of nine viewpoints as shown in FIG.
  • the display device 50 is driven so as to display.
  • the horizontal axis indicates the viewpoint number i
  • the vertical axis indicates the angle ⁇ i.
  • the angle ⁇ i corresponds to the angle in the presentation direction of the parallax image.
  • Regions with viewpoint numbers i of 0 to 2 and 6 to 8 are regions where left and right eyes are highly likely to exist, and are portions corresponding to the angle regions ⁇ lp and ⁇ rp.
  • the region with the viewpoint number i of 3 to 5 is a region that is unlikely to have left and right eyes, and is a portion corresponding to the angle region ⁇ np.
  • the change amount of ⁇ i with respect to the change of i is small in the portions corresponding to the angle regions ⁇ lp and ⁇ rp.
  • the larger the parallax level Lpa the smaller the amount of change and the gentler the slope. That is, the larger the parallax level Lpa, the smaller the parallax between adjacent viewpoint images in the angle region where the left and right eyes are more likely to exist, and the adjacent viewpoint in the angle region where the possibility that the left and right eyes are less likely to exist
  • the parallax between images is increased. Thereby, the improvement effect of the resolution according to the grade of the parallax level Lpa can be acquired. Note that although the amount of change is large in the portion corresponding to the angle region ⁇ np, it is unlikely to be a problem because the region is unlikely to have left and right eyes.
  • Data input to the autostereoscopic display device of the present embodiment may not be 3D object data for rendering with CG, but may be data captured by the imaging device as described with reference to FIG. Generates video data of the viewpoint image by the processing method shown in FIG. In addition, two viewpoint images, so-called stereo contents, may be used. In that case, as shown in FIG. 9, video data of the viewpoint image is generated by a video signal processing apparatus using a parallax map or the like.
  • FIGS. 16 and 17 A second embodiment of the autostereoscopic display device and the viewpoint adjustment method will be described with reference to FIGS. 16 and 17.
  • the same parts as those in FIG. 11 are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
  • 9 viewpoint 3D object data is input to the viewpoint adjustment unit 42 as an example.
  • the table holding unit 43 holds a presentation parallax image setting table shown in FIG. As illustrated in FIG. 17, the presentation parallax image setting table holds the number of the viewpoint image to be presented in association with the viewpoint number i.
  • the viewpoint adjustment unit 42 refers to the number of the viewpoint image presented by the table holding unit 43 and outputs a parallax image having a parallax number to be presented for each viewpoint number i.
  • the viewpoint number i is 0, 1, 4, 7, 8
  • the parallax images of the viewpoint numbers 0, 1, 4, 7, 8 are output.
  • the parallax number i is 2, instead of outputting the parallax image with the parallax number 2, the parallax image with the parallax number 1 is output.
  • the parallax number i is 3, instead of outputting the parallax image with the parallax number 3, the parallax image with the parallax number 2 is output.
  • the parallax number i is 5 or 6
  • the parallax images with the parallax numbers 6 and 7 are output. In this case, the parallax images 3 and 5 are not used.
  • the driving unit 45 drives the display device 50 so that each pixel data of each data portion constituting the parallax image in the input video data is assigned to each pixel of the display device 50 and displayed.
  • the viewpoint adjustment unit 42 in FIG. 16 is substantially adjacent to the viewpoint image presented in an angle region where the possibility that an eye exists is relatively high among a plurality of viewpoint images.
  • the parallax between the viewpoint images to be performed is set to be smaller than the parallax between the adjacent viewpoint images in the viewpoint image presented in the angle region where the possibility that the eyes are present is relatively low.
  • the parallax Pax as described in FIG. Deterioration of image feeling can be suppressed.
  • the parallax Pax is large in a region where the left and right eyes are unlikely to exist, it is unlikely to be a problem because the region is unlikely to have the left and right eyes.
  • FIGS. 3A and 3B A third embodiment of the autostereoscopic display device and the viewpoint adjustment method will be described with reference to FIGS.
  • the observer views a stereoscopic image from a direction perpendicular to the screen surface of the autostereoscopic display device 100. It is assumed. However, an observer does not always see a stereoscopic image from a direction perpendicular to the screen surface.
  • the position of the observer's face is shifted from the center of the screen in the horizontal direction, and when viewing the vicinity of the center of the screen in the horizontal direction, the observer can view the 3D image from the direction shifted from the direction perpendicular to the screen surface. Will see.
  • viewpoint images of viewpoints 0 to 8 are presented symmetrically as viewed from the autostereoscopic display device 100. If the observer's right eye ER and left eye EL are at positions indicated by broken lines, the stereoscopic image can be comfortably visually recognized. Assume that the position of the face of the observer is shifted to the left in FIG. 18, and the positions of the right eye ER and the left eye EL are offset in the direction of the arrows. In this state, the left eye EL recognizes the viewpoint image of the portion indicated by the broken-line arrow, and thus reverse viewing, and the stereoscopic image cannot be viewed correctly. The same applies when the position of the face of the observer is shifted to the right in FIG.
  • the third embodiment responds to such a demand.
  • n is defined as a remainder obtained by dividing m by n. If the horizontal offset amount of the observer's face is ⁇ x, the example shown in FIG. 18 has nine viewpoints. Therefore, if a viewpoint image of (i + ⁇ x)% 9 is presented at the position of the viewpoint i, FIG. Thus, the position of the viewpoint i can be corrected.
  • FIG. 20 shows a third embodiment configured to correct the position of the viewpoint i based on the position of the face of the observer.
  • 9 viewpoint 3D object data is input to the viewpoint adjustment unit 52 and the viewpoint image creation unit 54.
  • the table holding unit 53 holds a parallax image presentation direction setting table shown in FIG.
  • the parallax image presentation direction setting table includes a normal presentation direction ⁇ i when rendering a 3D object and a parallax between adjacent viewpoint images in an angle region where left and right eyes are likely to exist.
  • an angle ⁇ i is set to increase the parallax between adjacent viewpoint images in an angle region where the possibility of the presence of left and right eyes is low.
  • FIG. 21 also shows an angular region where the eye is likely to exist and an angular region where the possibility is low, in order to facilitate understanding.
  • the viewpoint adjustment unit 52 refers to the parallax image presentation direction setting table set in the table holding unit 53 and inputs information indicating the angle ⁇ i corresponding to each viewpoint i of the 3D object data to the viewpoint image creation unit 54. To do. Based on the input 3D object data and information indicating the angle ⁇ i, the viewpoint image creation unit 54 reduces the parallax between adjacent viewpoint images in an angle region where left and right eyes are highly likely to exist, and A nine-view parallax image in which the parallax between adjacent viewpoint images in an angle region where there is a low possibility of the presence of eyes is increased by rendering. The video data of the nine viewpoint parallax images generated by the viewpoint image creation unit 54 is input to the drive unit 55.
  • the face position detection unit 56 detects the position of the face of the observer who is viewing the stereoscopic image displayed on the display device 50.
  • the face position detection unit 56 detects the position of the face FC as shown in FIG. 22, for example.
  • a camera 57 is provided at the center in the horizontal direction of the display device 50.
  • the camera 57 may be embedded in a frame portion around the screen in the housing of the display device 50, or the camera 57 as a separate member may be installed on the top of the housing. In FIG. 20, the camera 57 is not shown. Instead of the camera 57, the position of the face FC may be detected by an infrared sensor.
  • the face position detection unit 56 detects an offset amount ⁇ x indicating how much the face FC is offset in the horizontal direction from the horizontal center position based on the video imaged by the camera 57.
  • the center of the face FC is offset to the viewpoint 0 where the center should be the viewpoint 4, and the offset amount ⁇ x is 4.
  • the offset amount ⁇ x detected by the face position detection unit 56 is input to the drive unit 55. If the offset amount ⁇ x is 0, the drive unit 55 converts each pixel data of each data portion constituting the parallax image of 9 viewpoints in the input video data as described in FIG. The display device 50 is driven so as to be assigned to each pixel of the nine-viewpoint display device 50 for display. If the offset amount ⁇ x is not 0, the driving unit 55 displays the pixel data of the nine viewpoint parallax images in a shifted state in accordance with the value of the offset amount ⁇ x. The apparatus 50 is driven.
  • FIG. 23 shows how to change the viewpoint number i in the parallax image presentation direction setting table of FIG. 21 when the offset amount ⁇ x is 4.
  • the viewpoint number i ′ indicates a viewpoint number in which the position to which each pixel data is assigned is shifted in correspondence with the offset amount ⁇ x of 4.
  • the driving unit 55 sets the pixel data of the viewpoint 0 to the position of the pixel of the viewpoint 4 in FIG.
  • the display device 50 is driven so that the pixel data of the viewpoint 1 is displayed at the position of the pixel of the viewpoint 5 in FIG.
  • the stereoscopic image can be viewed comfortably. Can do. Furthermore, since the parallax between the viewpoint images is adjusted in each of the angle region where the left and right eyes are likely to exist and the angle region where the possibility is low, a large depth and protrusion are expressed with respect to the surface of the display device 50. Even in such a case, it is possible to suppress deterioration in resolution and display a stereoscopic image with high resolution.
  • the fourth embodiment shown in FIG. 24 is configured differently from the third embodiment of FIG. 20 so as to achieve the same operational effects as the third embodiment. 24, the same parts as those in FIG. 20 are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
  • the table holding unit 53 holds a parallax image presentation direction setting table shown in FIG.
  • the offset amount ⁇ x detected by the face position detection unit 56 is input to the replacement unit 58.
  • the replacement unit 58 reads the parallax image presentation direction setting table of FIG.
  • the replacement unit 58 replaces the viewpoint number i with the viewpoint number i ′ in the same manner as in FIG. 23 according to the offset amount ⁇ x input from the face position detection unit 56.
  • FIG. 25B shows a parallax image presentation direction in which the viewpoint number i in the parallax image presentation direction setting table of FIG. 25A is replaced with the viewpoint number i ′, and the viewpoint numbers i ′ are arranged in the order of 0 to 8.
  • a replacement table is shown.
  • the case where the offset amount ⁇ x is set to 4 is shown.
  • the parallax image presentation direction replacement table newly created by the replacement unit 58 indicates the correspondence between the viewpoint number i and the viewpoint number i ′, and the correspondence between the viewpoint number i ′ and the angle ⁇ i.
  • the viewpoint adjustment unit 52 refers to the parallax image presentation direction replacement table created by the replacement unit 58, changes each viewpoint i of the 3D object data to the viewpoint i ′, and sets the angle ⁇ i corresponding to the viewpoint i ′.
  • the information shown is input to the viewpoint image creation unit 54.
  • the viewpoint image creation unit 54 Based on the input 3D object data and information indicating the angle ⁇ i, the viewpoint image creation unit 54 reduces the parallax between adjacent viewpoint images in an angle region where left and right eyes are highly likely to exist, and A nine-view parallax image in which the parallax between adjacent viewpoint images in an angle region where there is a low possibility of the presence of eyes is increased by rendering.
  • the driving unit 55 converts each pixel data of each data portion constituting the parallax image of nine viewpoints in the input video data into nine viewpoints as described in FIG.
  • the display device 50 is driven so as to be assigned to each pixel of the display device 50 for display. That is, the drive unit 55 may drive the display device 50 as usual regardless of the offset amount ⁇ x.
  • the stereoscopic image can be comfortably viewed. it can. Furthermore, since the parallax between the viewpoint images is adjusted in each of the angle region where the left and right eyes are likely to exist and the angle region where the possibility is low, a large depth and protrusion are expressed with respect to the surface of the display device 50. Even in such a case, it is possible to suppress deterioration in resolution and display a stereoscopic image with high resolution.
  • the fifth embodiment illustrated in FIG. 26 is configured to adjust the angle ⁇ i according to the distance from the display device 50 when the observer is observing a stereoscopic image. It is a thing.
  • FIG. 26 the same portions as those in FIG. 24 are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
  • the blur of the image due to parallax is strongly felt, and the angle region where the left and right eyes are likely to exist is compared with the less likely angle region. Distinct.
  • the face distance estimation unit 59 estimates the distance Fd from the display device 50 to the face FC based on the size of the face FC, as shown in FIG. If the size of the face FC is determined, it can be estimated to some extent whether the face FC is close to or away from the display device 50. Since it is not necessary to accurately measure the distance Fd, in the fifth embodiment, the size of the face FC is classified into a plurality of sizes based on the image captured by the camera 57, and the distance Fd from the display device 50 to the face FC is classified. Is estimated. For example, the face distance estimation unit 59 sets the distance Fd between “large” where the face FC is away from the display device 50, “small” where the face FC is close to the display device 50, and between “large” and “small”. Classify into three stages of “medium”.
  • Distance estimation data indicating any one of “large”, “medium”, and “small” of the distance Fd classified by the face distance estimation unit 59 is input to the replacement unit 658.
  • a plurality of cameras 57 may be provided to accurately measure the distance Fd and classify the distance Fd.
  • the table holding unit 63 holds a parallax image presentation direction setting table shown in FIG. As shown in (a) of FIG. 27, when the distance Fd is “large”, the angle ⁇ i reduces the parallax between adjacent viewpoint images in an angle region where left and right eyes are likely to exist, The effect of increasing the parallax between adjacent viewpoint images in an angle region where there is a low possibility that the eye is present is set to a relatively small value. If the distance Fd is “small”, the effect is set to a relatively large value. If the distance Fd is “medium”, the effect is intermediate between “large” and “small”. Set to value.
  • the replacement unit 68 reads the parallax image presentation direction setting table in FIG. 27A, and according to the offset amount ⁇ x input from the face position detection unit 56, as in FIG. Replace viewpoint number i with viewpoint number i ′.
  • FIG. 27B shows a parallax image presentation direction in which the viewpoint number i ′ in the parallax image presentation direction setting table in FIG. 27A is replaced with the viewpoint number i ′, and the viewpoint numbers i ′ are arranged in the order of 0 to 8.
  • a replacement table is shown.
  • the parallax image presentation direction replacement table newly created by the replacement unit 68 indicates the correspondence between the viewpoint number i and the viewpoint number i ′, and the viewpoint number i ′ and the distance Fd are “large”, “medium”, and “small”. “The relationship with the angle ⁇ i in each case is shown.
  • the viewpoint adjustment unit 52 refers to the parallax image presentation direction replacement table created by the replacement unit 68, changes each viewpoint i of the 3D object data to the viewpoint i ′, and sets the angle ⁇ i corresponding to the viewpoint i ′.
  • the information shown is input to the viewpoint image creation unit 54.
  • the replacement unit 68 adjusts the viewpoint of information indicating the angle ⁇ i of any one of the “large”, “medium”, and “small” distances Fd according to the distance estimation data input from the face distance estimation unit 59.
  • Information indicating the angle ⁇ i corresponding to the distance Fd is input to the viewpoint image creation unit 54.
  • the operations of the viewpoint image creation unit 54 and the drive unit 55 are the same as those in the fourth embodiment.
  • the fifth embodiment in addition to the effects exhibited by the fourth embodiment, there is a possibility that left and right eyes exist depending on the distance from the display device 50 when the observer is observing a stereoscopic image.
  • the effect of reducing the parallax between adjacent viewpoint images in a high angle region and increasing the parallax between adjacent viewpoint images in an angle region where the possibility of the presence of left and right eyes is low can be set to an optimum state. There is an effect.
  • the number of classifications of offset amount ⁇ x and distance Fd described above is merely an example.
  • the number of classification may be two, or four or more.
  • the number of viewpoints may not be nine viewpoints.
  • the parallax between adjacent viewpoint images in a region where left and right eyes are highly likely to be reduced, and adjacent viewpoints in regions where left and right eyes are unlikely to exist Third to fifth implementations of an autostereoscopic display device and a viewpoint adjustment method when generating parallax images of n viewpoints with large parallax between images, formatting them into a predetermined format, and generating autostereoscopic video data Similarly to the form, it is also possible to detect the position of the observer's face in real time and generate autostereoscopic video data corresponding to the observer's face.
  • autostereoscopic video data corresponding to the face of the observer can be generated in real time in correspondence with the face of the observer.
  • the position of the observer's face in the horizontal direction of the autostereoscopic display device is detected, and a plurality of viewpoint images are shifted in accordance with the detected face positions.
  • the viewpoint image whose viewpoint has been adjusted in advance may be formatted into a predetermined format to generate autostereoscopic video data.
  • the autostereoscopic display device may have an existing configuration, and may simply display autostereoscopic video data in a predetermined format.
  • the present invention is not limited to the embodiment described above, and various modifications can be made without departing from the scope of the present invention.
  • the optical member is not limited to the lenticular lens.
  • the optical member is preferably a lenticular lens.
  • the angle region where the eye is likely to exist is set as two regions, the viewing range ⁇ vi can be further divided into three or more regions that can be set as the angle region where the eye is highly likely to exist. It is.
  • functions are held in place of holding the tables in the table holding units 33, 43, and 53, and functions equivalent to the tables in FIGS. 14, 17, 21, 25, and 27 are calculated by using the functions. May be realized.
  • the present invention provides a display device in which a plurality of pixels are arranged in a horizontal direction and a vertical direction, and each pixel data of video data composed of a plurality of viewpoint images is assigned to a plurality of pixels for display, and a plurality of optical elements are periodically arranged. Arranged on the display device in a state where the periodic direction of the optical elements is inclined with respect to the horizontal direction of the pixels in the display device, and divides a plurality of viewpoint images displayed on the display device into a plurality of different viewpoint directions.
  • the present invention can be applied to any autostereoscopic display device including an optical member configured to be presented.

Abstract

　表示装置（５０）上には周期方向を水平方向に対して傾斜させた状態でレンチキュラーレンズ（ＬＬｓ）が配置されている。視点調整部（３２）は、複数の視点画像における視差が最も離れた２つの視点画像の提示方向がなす所定角度の視認範囲のうち、観察者が表示装置（５０）を観察したときに目が存在する可能性が相対的に高い第１の角度領域と目が存在する可能性が相対的に低い第２の角度領域とを設定している。視点調整部（３２）は、第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整する。

Description

裸眼立体ディスプレイ装置、視点調整方法、裸眼立体視用映像データ生成方法
　本発明は、１次元方向に視差を有する裸眼立体ディスプレイ装置、裸眼立体ディスプレイ装置に複数の視点画像からなる映像データを表示する際に用いる視点調整方法、１次元方向に視差を有する裸眼立体ディスプレイ装置に表示する裸眼立体視用映像データを生成するための裸眼立体視用映像データ生成方法に関する。
　レンチキュラーレンズ，スリット型のバリア，レンズアレイ等の特殊な光学部材を用いて、印刷面や液晶パネル等の表示装置に表示された画像を複数の視点方向に分割して提示させ、表示装置を視認する位置によって表示画像を変化させる技術が知られている。この技術の１つとして、表示装置を見る人の右目と左目に、同一のオブジェクトであって特定の視差を有する互いに異なる表示画像（視差画像）を入力させることにより、表示画像を立体視させる技術がある。この立体視の技術によれば、立体視させるための特殊な眼鏡をかけずに立体視が可能な裸眼立体ディスプレイ装置を実現することができる。
　裸眼立体ディスプレイ装置で画像を立体視させる場合、立体視可能な視認範囲を拡大するため、また、長時間の観賞に耐え得る自然な立体感や滑らかな運動視差を得るために、表示画像を極力細かく分割して視点数を増やしたいという要求がある。最近になって、デジタルサイネージやカーナビゲーション装置等の比較的低解像度の表示装置において、アイキャッチや立体的な情報に関する視認性向上等を目的として、視差画像による立体視を行わせるようになってきた。視点数を増やせば増やすほど、解像感が低下する。なお、表示装置自体が物理的に有するものを解像度、人が感じる解像度の程度を解像感とする。低解像度の表示装置において表示画像を立体視させる場合でも、解像感の低下を極力抑え、自然な立体視を実現したいという要求がある。
　これらの要求を満たすためには、空間上に表示装置を観察する観察者の目の位置を想定し視点を分割するのではなく、極力細かく視点を分割し、観察者は細かく分割したいずれかの視点で表示装置を見る多眼式が有効である。視差画像の分割数を増やすには、表示装置の画素ピッチに対して表示装置に装着する光学部材において、例えばレンチキュラーレンズの場合は、そのレンズピッチを大きくすることが有効である。しかしながら、レンズの拡大効果でレンズピッチに比例して色画素が大きく見えるため、レンズのピッチ方向の視差画像の解像感が著しく低下してしまう。すると、水平方向と垂直方向とで視差画像の解像感が異なってしまうという不具合が発生する。なお、光学部材にバリアを用いた場合も同様である。
　この不具合を解消する技術として、特許文献１に記載されているように、レンチキュラーレンズ（光学部材）を構成するシリンドリカルレンズ（光学要素）の周期方向を表示装置の画素配列の水平方向に対して傾けることが記載されている。特許文献１に記載の技術によれば、水平方向の画素のみではなく垂直方向の画素も用いて１つの３次元画素を構成することにより、立体表示における水平方向の解像感の低下を抑え、水平及び垂直方向の解像感のバランスを向上させることができる。
特許第３９４０４５６号公報
　しかしながら、特許文献１に記載の技術を採用した場合、表示装置の表面に対して大きな奥行きや飛び出しを表現しようとすると、隣接する視点画像の視差が大きくなって解像感が劣化するという問題点があった。
　本発明はこのような問題点に鑑み、表示装置の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像を表示することができる裸眼立体ディスプレイ装置、視点調整方法、裸眼立体視用映像データ生成方法を提供することを目的とする。
　上述した従来の技術の課題を解決するため、本発明の第１の態様によれば、複数の画素（Ｐxl）が水平方向及び垂直方向に配列され、複数の視点画像からなる映像データの各画素データを前記複数の画素に割り当てて表示する表示装置（５０）と、複数の光学要素が周期的に配列され、前記光学要素の周期方向が前記表示装置における画素の水平方向に対して傾斜させた状態で前記表示装置上に配置され、前記表示装置に表示された前記複数の視点画像を前記複数の異なる視点方向に分割して提示させるよう構成された光学部材（ＬＬｓ）と、前記複数の視点画像における視差が最も離れた２つの視点画像の提示方向がなす所定角度の視認範囲のうち、観察者が前記表示装置を観察したときに目が存在する可能性が相対的に高い第１の角度領域と目が存在する可能性が相対的に低い第２の角度領域とを設定し、前記複数の視点画像のうち、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整する視点調整部（３２，４２）とを備えることを特徴とする裸眼立体ディスプレイ装置が提供される。
　本発明の第２の態様によれば、複数の視点画像における視差が最も離れた２つの視点画像を裸眼立体ディスプレイ装置で提示させたときの提示方向がなす所定角度の視認範囲のうち、観察者が前記裸眼立体ディスプレイ装置を観察したときに目が存在する可能性が相対的に高い第１の角度領域と目が存在する可能性が相対的に低い第２の角度領域とを設定し、前記複数の視点画像のうち、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整することを特徴とする視点調整方法が提供される。
　本発明の第３の態様によれば、複数の視点画像における視差が最も離れた２つの視点画像を裸眼立体ディスプレイ装置で提示させたときの提示方向がなす所定角度の視認範囲のうち、観察者が前記裸眼立体ディスプレイ装置を観察したときに目が存在する可能性が相対的に高い第１の角度領域と目が存在する可能性が相対的に低い第２の角度領域とを設定し、前記複数の視点画像のうち、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう予め視点を調整した視点画像を生成し、前記予め視点を調整した視点画像を所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成することを特徴とする裸眼立体視用映像データ生成方法が提供される。
　第１～第３の態様によれば、表示装置の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像を表示することができる。
図１は、多眼式の裸眼立体ディスプレイ装置において、画像がずれた状態で重なって表示されることを説明するための図である。 図２は、視点画像の提示方向を説明するための図である。 図３は、裸眼立体ディスプレイ装置と観察者の目の位置との関係を説明するための図である。 図４は、視点画像の通常の提示方向を説明するための図である。 図５は、複数の撮像装置で複数の視点画像を撮影する場合の通常の撮影方法を説明するための図である。 図６は、本発明の裸眼立体視用映像データ生成方法の一実施形態で用いる撮影方法を説明するための図である。 図７は、本発明の裸眼立体視用映像データ生成方法の一実施形態における第１の例を示すフローチャートである。 図８は、本発明の裸眼立体視用映像データ生成方法の一実施形態における第２の例を示すフローチャートである。 図９は、本発明の裸眼立体視用映像データ生成方法の一実施形態における第３の例を示すフローチャートである。 図１０は、本発明の裸眼立体視用映像データ生成方法の一実施形態における第４の例を示すフローチャートである。 図１１は、本発明の裸眼立体ディスプレイ装置の第１実施形態を示すブロック図である。 図１２は、９視点の視点画像を提示する場合の通常の提示方向を説明するための図である。 図１３は、図１１の視差レベル算出部３１による視差レベルの算出を説明するための図である。 図１４は、図１１のテーブル保持部３３が保持する視差画像提示方向設定テーブルの一例を示す図である。 図１５は、本発明の裸眼立体ディスプレイ装置の第１実施形態による作用効果を説明するための特性図である。 図１６は、本発明の裸眼立体ディスプレイ装置の第２実施形態を示すブロック図である。 図１７は、図１６のテーブル保持部４３が保持する提示視差画像設定テーブルの一例を示す図である。 図１８は、観察者の目が裸眼立体ディスプレイ装置の画面表面に垂直な方向からオフセットした状態を示す図である。 図１９は、図１８の状態で立体画像を快適に視認することができる視点画像の提示方向を示す図である。 図２０は、本発明の裸眼立体ディスプレイ装置の第３実施形態を示すブロック図である。 図２１は、図２０のテーブル保持部５３が保持する視差画像提示方向設定テーブルの一例を示す図である。 図２２は、観察者の顔の位置を検出する方法の一例を示す図である。 図２３は、第３実施形態において、観察者の顔の位置のオフセットに対応させて視点画像をずらす例を示す図である。 図２４は、本発明の裸眼立体ディスプレイ装置の第４実施形態を示すブロック図である。 図２５は、図２４のテーブル保持部５３が保持する視差画像提示方向設定テーブル及び置換部５８によって生成した視差画像提示方向置換テーブルの一例を示す図である。 図２６は、本発明の裸眼立体ディスプレイ装置の第５実施形態を示すブロック図である。 図２７は、図２６のテーブル保持部６３が保持する視差画像提示方向設定テーブル及び置換部６８によって生成した視差画像提示方向置換テーブルの一例を示す図である。
　以下、本発明の裸眼立体ディスプレイ装置、視点調整方法、裸眼立体視用映像データ生成方法の一実施形態について、添付図面を参照して説明する。まず、図１を用いて、多眼式の裸眼立体ディスプレイ装置において、画像がずれて視認される理由について説明する。
　図１において（ａ）は、視点０～８の９視点の映像を表示可能な裸眼立体ディスプレイ装置の構成例である。図１の（ａ）において、表示装置５０には、複数の画素Ｐxlが水平（Ｈ）及び垂直（Ｖ）方向に配列されている。画素Ｐxlに付している数字はそれぞれの画素Ｐxlがどの視点画像を表示するかを示している。ここでは１つのシリンドリカルレンズしか示していないが、配列された複数の画素Ｐxl上には、レンチキュラーレンズＬＬｓが、シリンドリカルレンズの周期方向が画素Ｐxlの配列の水平方向に対して傾けた状態で配置されている。シリンドリカルレンズ（レンチキュラーレンズＬＬｓ）の周期方向とは、シリンドリカルレンズの境界線Ｌbrと直交する方向である。
　ブラックストライプがないと仮定した場合の画素Ｐxlの水平方向の画素ピッチはpx、垂直方向の画素ピッチはpyである。レンチキュラーレンズＬＬｓの水平方向のレンズピッチは4.5px、傾斜角度はtan-1(px/2py)となっている。
　図１の（ａ）の裸眼立体ディスプレイ装置（表示装置５０）をある位置から見た場合、シリンドリカルレンズの境界線Ｌbrから等距離の破線にて示す直線Ｌed上に存在する画素Ｐxlのみが見える。直線Ｌed上に見える画素Ｐxlを白で、他の画素Ｐxlには梨地模様を付している。図１の（ａ）より分かるように、視点０の画像と視点１の画像とが見える。このため、図１の（ｂ）に示すように、視点画像Ｉm1と視点画像Ｉm2とがずれた状態で重なって視認される。視点画像Ｉm1と視点画像Ｉm2との間には視差Ｐaxが存在している。視差Ｐaxが大きい場合には左右に大きくぶれた画像となり、水平方向の解像感が劣化することとなる。
　レンチキュラーレンズＬＬｓを用いた多眼式の裸眼立体ディスプレイ装置においては、レンズピッチを大きくし、焦点距離を短くするほど視認範囲を広くすることができる。しなしながらその一方で、解像度が劣化する。そこで、視認範囲と解像度との兼ね合いを考慮し、視認範囲を裸眼立体ディスプレイ装置の画面表面に垂直な直線に対して水平方向に±１０～１５°とするのが一般的である。
　図２において、裸眼立体ディスプレイ装置１００から伸びている矢印線は視点画像の提示方向である。それぞれの提示方向に付している符号はそれぞれの視点画像を示す番号である。図２に示すように、ｎ個の互いに異なる視点画像を互いに異なるｎ方向に分割させて提示する裸眼立体ディスプレイ装置１００において、視認範囲θviは、視点画像０を提示する方向と視点画像ｎ－１を提示する方向とのなす角度で定義される。裸眼立体ディスプレイ装置１００は、図１の表示装置５０及びレンチキュラーレンズＬＬｓを有する。
　観察者が裸眼立体ディスプレイ装置１００の近くから立体画像を見ようとする場合、観察者の目の位置はおおよそ図３の（ａ）に示す位置にあると予想される。観察者の右目ＥＲと左目ＥＬとの間隔（眼間距離）Ｄlrは視認可能幅Ｄviとさほど差がないため、図３の（ｂ）に示すように、視認範囲θvi内の左側に左目が存在する可能性が相対的に高い角度領域θlpと、視認範囲θvi内の右側に右目が存在する可能性が相対的に高い角度領域θrpとが存在する。視認範囲θvi内の中央には左目も右目も存在する可能性が相対的に低い角度領域θnpが存在する。
　図４を用いて、裸眼立体ディスプレイ装置１００がｎ個の視点画像をｎ方向に分割させて提示する際の通常の提示方向について説明する。視点画像０を提示する方向を基準として視点画像ｉを提示する方向までの角度をθｉとする。角度θｉは視点画像の番号ｉに比例する。このように、ｎ個の視点画像を提示する方向は等角度ずつずらした方向とするのが通常である。本実施形態においては、上述した従来の技術を解決するため、左目が存在する可能性が高い角度領域θlp及び右目が存在する可能性が高い角度領域θrpにおいては隣接する視点画像間の視差を小さくし、左目も右目も存在する可能性が低い角度領域θnpにおいては隣接する視点画像間の視差を大きくする。
　なお、図３の（ａ）において、観察者が裸眼立体ディスプレイ装置１００から離れて観察すると、視認可能幅Ｄviが眼間距離Ｄlrよりも大きくなり、視認可能幅Ｄvi内で左目が存在する可能性と右目が存在する可能性との差は小さくなる。観察距離が離れるほど解像感の劣化に対して鈍感になるため、上記の隣接する視点画像間の視差を異ならせる方法は観察距離に関わらず有効である。また、隣接する視点画像間の視差を異ならせることにより運動視差は実際とは異なるが、立体画像の奥行き手がかりの知覚は両眼視差が支配的であるため、特に問題になることはない。
　隣接する視点画像間の視差を異ならせる方法は、ｎ個の視点画像を撮影する際の撮影の仕方を工夫して実現する方法と、ｎ個の視点画像を撮影する撮影の仕方は通常の撮影方法とし、映像信号処理によって隣接する視点画像間の視差を異ならせた映像データを生成する方法とがある。また、２つの視点画像を撮影して、映像信号処理によって２つの視点画像のデータに基づいて隣接する視点画像間の視差を異ならせたｎ個の視点画像の映像データを生成する方法もある。さらには、撮像装置で実際に撮像するのではなく、コンピュータグラフィックス（ＣＧ）によるレンダリングによって実現する方法もある。
＜裸眼立体視用映像データ生成方法の一実施形態＞
　ここで、裸眼立体視用映像データ生成方法の一実施形態として、ｎ個の視点画像を撮影する際の撮影の仕方を工夫することによって隣接する視点画像間の視差を異ならせる方法について説明する。まず、比較のため図５の（ａ），（ｂ）を用いて通常の撮影の仕方について説明する。図５の（ａ）に示すように、ｎ個の撮像装置Ｃm0～Ｃmn-1がクリッピングポイントＣを中心にした円弧状に等距離で等しい角度間隔で並べられている。撮像装置Ｃm0は視点０の画像を撮影する撮像装置であり、撮像装置Ｃmiは視点ｉの画像を撮影する撮像装置であり、撮像装置Ｃmn-1は視点ｎ－１の画像を撮影する撮像装置である。撮像装置Ｃm0による視点０の撮影方向から撮像装置Ｃmiによる視点ｉの撮影方向までの角度φｉとすると、角度φｉは図４で説明した角度θｉと比例する。
　図５の（ｂ）は、無限遠をクリッピングポイントとした場合のｎ個の視点画像の撮影方法を示している。視点０の画像を撮影する撮像装置Ｃm0と視点ｉの画像を撮影する撮像装置Ｃmiとの間の距離をΔｄｉとすると、距離Δｄｉはｉに比例する。
　図６の（ａ），（ｂ）を用いて、隣接する視点画像間の視差を異ならせる撮影方法について説明する。図６の（ａ），（ｂ）は、図５の（ａ）と同様に、撮像装置Ｃm0～Ｃmn-1を、クリッピングポイントＣを中心にした円弧状に並べた場合の撮影方法を示している。図５の（ｂ）と同様、無限遠をクリッピングポイントとすることも可能であるが、ここでは撮像装置Ｃm0～Ｃmn-1を円弧状に並べた場合のみについて説明する。
　図６の（ａ）において、撮像装置Ｃmi1，Ｃmi2は図３の（ｂ）で説明した左目が存在する可能性が高い角度領域θlp内に位置している撮像装置である。撮像装置Ｃmi3，Ｃmi4は図３の（ｂ）で説明した右目が存在する可能性が高い角度領域θrpに位置している撮像装置である。図６の（ａ）に示すように、左目が存在する可能性が高い角度領域θlp内に位置している撮像装置Ｃmi1，Ｃmi2の間隔、及び、右目が存在する可能性が高い角度領域θrpに位置している撮像装置Ｃmi3，Ｃmi4の間隔を、図５の（ａ）のようにｎ個の撮像装置Ｃm0～Ｃmn-1を等しい角度間隔で配置させた場合と比較して狭くする。ここでは、角度領域θlp，θrpそれぞれで２つの撮像装置の間隔を狭くしているが、角度領域θlp，θrp内それぞれにさらに多くの撮像装置が存在する場合には、それぞれの間隔を狭くすればよい。
　一方、図６の（ｂ）において、撮像装置Ｃmi5，Ｃmi6は図３の（ｂ）で説明した左目も右目も存在する可能性が低い角度領域θnp内に位置している撮像装置である。図６の（ｂ）に示すように、左目も右目も存在する可能性が低い角度領域θnp内に位置している撮像装置Ｃmi5，Ｃmi6の間隔を、図５の（ａ）のようにｎ個の撮像装置Ｃm0～Ｃmn-1を等しい角度間隔で配置させた場合と比較して広くする。ここでは、角度領域θnp内の２つの撮像装置の間隔を狭くしているが、角度領域θnp内にさらに多くの撮像装置が存在する場合には、それぞれの間隔を広くすればよい。
　本実施形態においては、一例として図６の（ａ），（ｂ）のように撮影することにより、左目が存在する可能性が高い角度領域θlp及び右目が存在する可能性が高い角度領域θrpにおける隣接する視点画像間の視差を、本発明を適用しない場合と比較して小さくし、左目も右目も存在する可能性が低い角度領域θnpにおける隣接する視点画像間の視差を、本発明を適用しない場合と比較して大きくする。
　図７～図１０を用いて、本実施形態の裸眼立体視用映像データ生成方法の各例について説明する。図７は、図６の（ａ），（ｂ）のようにしてｎ個の視点画像を撮影した場合の映像データ生成方法を示している。図７において、ステップＳ１にて、ｎ個の撮像装置Ｃm0～Ｃmn-1の間隔を調節して、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域における隣接する視点画像間の視差を大きくして、ｎ視点の視差画像を撮影する。次に、ステップＳ２にて、撮影したｎ視点の視差画像の撮像信号に基づいて、所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する。裸眼立体視用映像データのフォーマットとしては、ライン・バイ・ライン方式、サイド・バイ・サイド方式、フレームシーケンシャル方式、もしくはそれに順じた多視点用のフォーマット等のいずれでもよい。
　ステップＳ２で生成した裸眼立体視用映像データを図１で説明した表示装置５０及びレンチキュラーレンズＬＬｓを有する裸眼立体ディスプレイ装置１００に入力して表示させれば、大きな奥行きや飛び出しを表現する場合でも解像感の高い立体画像とすることができる。
　図８は、ｎ個の視点画像を撮影する撮影の仕方は通常の撮影方法とし、映像信号処理によって隣接する視点画像間の視差を異ならせた映像データを生成する例である。図８において、ステップＳ１１にて、ｎ個の撮像装置Ｃm0～Ｃmn-1の間隔を等間隔にして、ｎ視点の視差画像を撮影する。次に、ステップＳ１２にて、映像信号処理装置を用いて、撮影したｎ視点の視差画像の撮像信号に基づいて、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域おける隣接する視点画像間の視差を大きくしたｎ視点の視差画像を生成する。
　そして、ステップＳ１３にて、生成したｎ視点の視差画像の映像データに基づいて、所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する。ステップＳ１２で用いる映像信号処理装置としては視差マップ等を用いた公知の装置を用いることができるので、詳細な説明を省略する。ステップＳ１３で生成した裸眼立体視用映像データを裸眼立体ディスプレイ装置１００に入力して表示させれば、図７の場合と同様の効果を得ることができる。
　図９は、２つの視点画像を撮影して、映像信号処理によって２つの視点画像のデータに基づいて隣接する視点画像間の視差を異ならせたｎ個の視点画像の映像データを生成する例である。図９において、ステップＳ２１にて、２つの撮像装置を用いて２視点の視差画像を撮影する。次に、ステップＳ２２にて、映像信号処理装置を用いて、撮影した２視点の視差画像の撮像信号に基づいて、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域おける隣接する視点画像間の視差を大きくしたｎ視点の視差画像を生成する。
　そして、ステップＳ２３にて、生成したｎ視点の視差画像の映像データに基づいて、所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する。ステップＳ２２で用いる映像信号処理装置も、視差マップ等を用いて中間の視点画像を生成する公知の装置を用いることができる。ステップＳ２３で生成した裸眼立体視用映像データを裸眼立体ディスプレイ装置１００に入力して表示させれば、図７の場合と同様の効果を得ることができる。
　図１０は、撮像装置で実際に撮像するのではなく、ＣＧによる３Ｄオブジェクトデータのレンダリングによって実現する例である。なお、３Ｄオブジェクトデータは、頂点座標の集合データ等、描画するオブジェクトの３次元形状が復元できる必要なデータを有するものである。図１０において、ステップＳ３１にて、ＣＧによる３Ｄオブジェクトデータのレンダリングによって、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域おける隣接する視点画像間の視差を大きくしたｎ視点の視差画像を生成する。次に、ステップＳ３２にて、生成したｎ視点の視差画像の映像データに基づいて、所定のフォーマットの裸眼立体視用映像データを生成する。ステップＳ３２で生成した裸眼立体視用映像データを裸眼立体ディスプレイ装置１００に入力して表示させれば、図７の場合と同様の効果を得ることができる。
＜裸眼立体ディスプレイ装置及び視点調整方法の第１実施形態＞
　次に、図１１を用いて裸眼立体ディスプレイ装置及び視点調整方法の第１実施形態について説明する。本実施形態の裸眼立体ディスプレイ装置は、一例として、ＣＧによってレンダリング可能な３Ｄオブジェクトデータを入力する。本実施形態の裸眼立体ディスプレイ装置は、隣接する視点画像間の視差を異ならせるように３Ｄオブジェクトデータをレンダリングし、表示させるように構成したものである。
　図１１において、視差レベル算出部３１及び視点画像作成部３４には、３Ｄオブジェクトデータが入力される。表示装置５０の具体的構成は図１の（ａ）で説明した通りである。表示装置５０上にはレンチキュラーレンズＬＬｓが配置されている。図１の（ａ）に示す０～８の視点画像は、レンチキュラーレンズＬＬｓによってそれぞれ異なる方向から視認されることになる。まず、図１２を用いて、後述する本実施形態による処理を施さずに３Ｄオブジェクトデータをレンダリングし、９視点の視点画像を表示装置５０に表示させた場合の視点画像の提示方向について説明する。
　図１２に示すように、視点ｉが０の視点画像（視点画像０）は裸眼立体ディスプレイ装置１００からθ０として０°の方向に提示される。裸眼立体ディスプレイ装置１００は、図１１における表示装置５０及びレンチキュラーレンズＬＬｓを含む。ここでは視認範囲θviを２４°とすると、視点ｉが８の視点画像（視点画像８）は裸眼立体ディスプレイ装置１００からθ８として２４°の方向に提示される。視点画像０と視点画像８との間の視点画像は３°ずつの間隔で提示されることになる。例えば、視点ｉが１の視点画像は裸眼立体ディスプレイ装置１００からθ１として３°の方向に提示される。
　図１１に戻り、本実施形態の裸眼立体ディスプレイ装置の動作について説明する。視差レベル算出部３１は、クリッピングポイントＣと３Ｄオブジェクトとの距離から視差レベルＬpaを算出する。図１３に示すように、視差レベル算出部３１は、３Ｄオブジェクトデータが入力されると、世界座標系上にオブジェクトＯＢを配置する。視差レベル算出部３１は、クリッピングポイントＣとオブジェクトＯＢの重心座標との距離を計算して視差レベルＬpaを算出する。視差レベルＬpaは例えば０～２の３段階とする。視差レベルＬpaは視点調整部３２に入力される。なお、視差レベルの算出方法は、これに限ったものではなく、入力する３Ｄオブジェクトデータにヘッダ情報として添付するなど、別の方法も考えられる。
　テーブル保持部３３には、図１４に示す視差画像提示方向設定テーブルが保持されている。図１４に示すように、視差画像提示方向設定テーブルには、３Ｄオブジェクトをレンダリングする撮像装置の方向を示す角度φｉとして、視差レベルＬpa０～２に応じた角度の組が設定されている。ここでは視差レベルＬpaを３段階とし、角度φｉの組を３組としたが、これに限定されない。なお、ＣＧによるレンダリングでは実際には撮像装置は存在しないが、撮像装置で撮像したものと同等の画像を作成することから、撮像装置の角度φｉと称している。図１４においては、図１２で説明した通常の提示方向θｉも示している。裸眼立体ディスプレイ装置が通常の提示方向θｉでの視差画像の提示を行う必要がない場合には省略可能である。また、図１４においては、理解を容易にするため目が存在する可能性高い角度領域と可能性が低い角度領域を示している。
　視点調整部３２は、テーブル保持部３３より、視差レベル算出部３１より入力された視差レベルＬpaに応じた角度φｉを示す情報を読み出す。視点調整部３２は、読み出した角度φｉを示す情報を視点画像作成部３４に入力する。視点画像作成部３４は、入力された３Ｄオブジェクトデータと角度φｉを示す情報とに基づいて、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくした９視点の視差画像をレンダリングによって生成する。
　視点画像作成部３４が生成した９視点の視差画像の映像データは駆動部３５に入力される。駆動部３５は、入力された映像データにおける９視点の視差画像を構成するそれぞれのデータ部分の各画素データを、図１の（ａ）に示すように９視点の表示装置５０の各画素に割り当てて表示するよう表示装置５０を駆動する。これにより、本実施形態の裸眼立体ディスプレイ装置によれば、表示装置５０の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像を表示することが可能となる。
　ここで、図１５を用いて本実施形態による作用効果についてさらに説明する。図１５において、横軸は視点番号ｉを示しており、縦軸は角度φｉを示している。角度φｉは視差画像の提示方向の角度に相当する。視点番号ｉが０～２，６～８の領域は左右の目が存在する可能性が高い領域であり、角度領域θlp，θrpに対応する部分である。視点番号ｉが３～５の領域は左右の目が存在する可能性が低い領域であり、角度領域θnpに対応する部分である。
　図１５より分かるように、角度領域θlp，θrpに対応する部分でｉの変化に対するφｉの変化量が小さくなっている。視差レベルＬpaが大きいほど変化量がより小さくなっており、傾きは緩やかになっている。即ち、視差レベルＬpaが大きいほど、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差をより小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差をより大きくしている。これにより、視差レベルＬpaの程度に応じた解像感の改善効果を得ることができる。なお、角度領域θnpに対応する部分では変化量が大きくなるが、左右の目が存在する可能性が低い領域であるので問題になりにくい。
　本実施形態の裸眼立体ディスプレイ装置に入力するデータは、ＣＧでレンダリングするための３Ｄオブジェクトデータでなくてもよく、図５で説明したように撮像装置で撮像したデータであってもよく、その場合は図８に示した処理方法で視点画像の映像データを生成する。また、２つの視点画像、いわゆるステレオコンテンツであってもよく、その場合は、図９に示したように、視差マップ等を用いた映像信号処理装置によって視点画像の映像データを生成する。
＜裸眼立体ディスプレイ装置及び視点調整方法の第２実施形態＞
　図１６及び図１７を用いて、裸眼立体ディスプレイ装置及び視点調整方法の第２実施形態について説明する。図１６において、図１１と同一の部分には同一の符号を付し、その説明を適宜省略する。図１６において、視点調整部４２には一例として９視点の３Ｄオブジェクトデータが入力される。テーブル保持部４３には、図１７に示す提示視差画像設定テーブルが保持されている。図１７に示すように、提示視差画像設定テーブルには、視点番号ｉに対応させて提示する視点画像の番号が保持されている。
　視点調整部４２は、テーブル保持部４３の提示する視点画像の番号を参照して、視点番号ｉごとに提示する視差番号の視差画像を出力する。図１７より分かるように、視点番号ｉが０，１，４，７，８であれば、視点番号０，１，４，７，８の視差画像を出力する。視差番号ｉが２であれば、視差番号２の視差画像を出力するのではなく、視差番号１の視差画像を出力する。視差番号ｉが３であれば、視差番号３の視差画像を出力するのではなく、視差番号２の視差画像を出力する。視差番号ｉが５，６であれば、視差番号５，６の視差画像を出力するのではなく、視差番号６，７の視差画像を出力する。この場合、視差画像３，５は使用しない。
　駆動部４５は、入力された映像データにおける視差画像を構成するそれぞれのデータ部分の各画素データを、表示装置５０の各画素に割り当てて表示するよう表示装置５０を駆動する。
　図１６の視点調整部４２も図１１における視点調整部３２と同様、実質的に、複数の視点画像のうち、目が存在する可能性が相対的に高い角度領域に提示される視点画像における隣接する視点画像間の視差を、目が存在する可能性が相対的に低い角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくしている。
　第２実施形態によれば、左右の目が存在する可能性が高い領域で同一の視差画像が表示されることになるので、図１の（ｂ）で説明したような視差Ｐaxがなくなり、解像感の劣化を抑えることができる。左右の目が存在する可能性が低い領域では視差Ｐaxが大きくなるが、左右の目が存在する可能性が低い領域であるので問題になりにくい。第２実施形態においても、表示装置５０の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感が劣化を抑えることができ、解像感の高い立体画像を表示することが可能となる。
＜裸眼立体ディスプレイ装置及び視点調整方法の第３実施形態＞
　図１８～図２２を用いて、裸眼立体ディスプレイ装置及び視点調整方法の第３実施形態について説明する。上述した第１及び第２実施形態においては、図３の（ａ），（ｂ）に示すように、観察者が裸眼立体ディスプレイ装置１００の画面表面に垂直な方向から立体画像を見るということを前提としている。ところが、観察者は、必ずしも画面表面に垂直な方向から立体画像を見るとは限らない。観察者の顔の位置が、画面の水平方向の中央からずれた位置にあり、画面の水平方向の中央部付近を見ると、観察者は画面表面に垂直な方向からずれた方向から立体画像を見ることになる。
　図１８に示すように、裸眼立体ディスプレイ装置１００から見て左右対称に視点０～８の視点画像が提示されている。観察者の右目ＥＲと左目ＥＬが破線で示す位置にあれば、立体画像を快適に視認することが可能である。観察者の顔の位置が図１８の左方向にずれ、右目ＥＲと左目ＥＬの位置が矢印の方向にオフセットしたとする。この状態では、左目ＥＬは、破線矢印で示している部分の視点画像を認識することになるので逆視となり、立体画像を正しく視認することはできない。観察者の顔の位置が図１８の右方向にずれた場合も同様である。そこで、観察者の顔の位置が水平方向にずれて視線の方向が画面表面に垂直な方向からずれても、解像感の高い立体画像を視認できることが望まれる。第３実施形態は、このような要望に対応するものである。
　右目ＥＲと左目ＥＬが図１８に示すようにオフセットしている場合には、視点０～８の視点画像を図１９に示すように提示すれば、立体画像を快適に視認することができることになる。m%nは、mをnで割った剰余であると定義する。観察者の顔の水平方向のオフセット量をΔｘとすると、図１８に示す例は９視点であるので、視点iの位置に、(i+Δｘ)%9の視点画像を提示すれば、図１９のように視点iの位置を補正することができる。
　図２０は、観察者の顔の位置に基づいて、視点iの位置を補正するように構成した第３実施形態を示している。図２０において、視点調整部５２及び視点画像作成部５４には一例として９視点の３Ｄオブジェクトデータが入力される。テーブル保持部５３には、図２１に示す視差画像提示方向設定テーブルが保持されている。図２１に示すように、視差画像提示方向設定テーブルには、３Ｄオブジェクトをレンダリングする際の通常の提示方向θｉと、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくするための角度φｉが設定されている。
　裸眼立体ディスプレイ装置が通常の提示方向θｉでの視差画像の提示を行う必要がない場合には提示方向θｉは省略可能である。図２１においても、理解を容易にするため目が存在する可能性高い角度領域と可能性が低い角度領域を示している。
　視点調整部５２は、テーブル保持部５３に設定された視差画像提示方向設定テーブルを参照して、３Ｄオブジェクトデータのそれぞれの視点ｉに対応させて角度φｉを示す情報を視点画像作成部５４に入力する。視点画像作成部５４は、入力された３Ｄオブジェクトデータと角度φｉを示す情報とに基づいて、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくした９視点の視差画像をレンダリングによって生成する。視点画像作成部５４が生成した９視点の視差画像の映像データは駆動部５５に入力される。
　顔位置検出部５６は、表示装置５０に表示されている立体画像を見ている観察者の顔の位置を検出する。顔位置検出部５６は、例えば図２２に示すように顔ＦＣの位置を検出する。表示装置５０の水平方向中央部には、カメラ５７が設けられている。カメラ５７は表示装置５０の筐体における画面周囲の枠部分に埋め込んでもよいし、別部材としてのカメラ５７を筐体上部に設置してもよい。なお、図２０では、カメラ５７の図示を省略している。カメラ５７の代わりに赤外線センサによって顔ＦＣの位置を検出してもよい。
　顔位置検出部５６は、カメラ５７で撮像した映像に基づいて、顔ＦＣが水平方向中央位置から水平方向にどの程度オフセットしているかを示すオフセット量Δｘを検出する。図２２の例では、本来であれば顔ＦＣの中央が視点４であるべきところ視点０にオフセットしており、オフセット量Δｘは４である。
　顔位置検出部５６によって検出されたオフセット量Δｘは、駆動部５５に入力される。駆動部５５は、オフセット量Δｘが０であれば、図１の（ａ）で説明したように、入力された映像データにおける９視点の視差画像を構成するそれぞれのデータ部分の各画素データを、９視点の表示装置５０の各画素に割り当てて表示するよう表示装置５０を駆動する。駆動部５５は、オフセット量Δｘが０でなければ、オフセット量Δｘの値に応じて、９視点の視差画像の各画素データを表示装置５０の各画素に割り当てる際の位置をずらした状態で表示装置５０を駆動する。
　図２３は、オフセット量Δｘが４の場合に、図２１の視差画像提示方向設定テーブルにおける視点番号ｉをどのようにずらせばよいかを示している。視点番号ｉ’はオフセット量Δｘの４に対応させて、各画素データを割り当てる位置をずらした視点番号を示している。図２３に示すように、顔ＦＣが図２２のようにオフセットしている場合には、駆動部５５は、例えば、視点０の画素データを図１の（ａ）における視点４の画素の位置に、視点１の画素データを図１の（ａ）における視点５の画素の位置に表示させるよう表示装置５０を駆動する。
　第３実施形態によれば、観察者の顔の位置が表示装置５０の水平方向中央位置からずれて、画面表面に垂直な方向から立体画像を見ない場合でも、立体画像を快適に視認することができる。さらに、左右の目が存在する可能性が高い角度領域と可能性が低い角度領域それぞれで視点画像間の視差を調整しているので、表示装置５０の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像を表示することが可能となる。
＜裸眼立体ディスプレイ装置及び視点調整方法の第４実施形態＞
　図２４に示す第４実施形態は、図２０の第３実施形態とは異なる構成で第３実施形態と同様の作用効果を奏するよう構成したものである。図２４において、図２０と同一の部分には同一の符号を付し、その説明を適宜省略する。図２４において、テーブル保持部５３には、図２５の（ａ）に示す視差画像提示方向設定テーブルが保持されている。顔位置検出部５６によって検出されたオフセット量Δｘは、置換部５８に入力される。置換部５８は、図２５の（ａ）の視差画像提示方向設定テーブルを読み出す。そして、置換部５８は、顔位置検出部５６から入力されたオフセット量Δｘに応じて、図２３と同様に、視点番号ｉを視点番号ｉ’に置換する。
　図２５の（ｂ）は、図２５の（ａ）の視差画像提示方向設定テーブルにおける視点番号ｉを視点番号ｉ’に置換し、視点番号ｉ’を０～８の順に並べた視差画像提示方向置換テーブルを示している。ここでも、オフセット量Δｘを４とした場合を示している。置換部５８が新たに作成する視差画像提示方向置換テーブルは、視点番号ｉと視点番号ｉ’との対応関係を示すと共に、視点番号ｉ’と角度φｉとの対応関係を示している。
　視点調整部５２は、置換部５８で作成された視差画像提示方向置換テーブルを参照して、３Ｄオブジェクトデータのそれぞれの視点ｉを視点ｉ’に変更し、視点ｉ’に対応させて角度φｉを示す情報を視点画像作成部５４に入力する。視点画像作成部５４は、入力された３Ｄオブジェクトデータと角度φｉを示す情報とに基づいて、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくした９視点の視差画像をレンダリングによって生成する。
　駆動部５５は、第１実施形態と同様、図１の（ａ）で説明したように、入力された映像データにおける９視点の視差画像を構成するそれぞれのデータ部分の各画素データを、９視点の表示装置５０の各画素に割り当てて表示するよう表示装置５０を駆動する。即ち、駆動部５５は、オフセット量Δｘとは関係なく、通常のように表示装置５０を駆動すればよい。
　第４実施形態においても、観察者の顔の位置が表示装置５０の水平方向中央位置からずれて、画面表面に垂直な方向から立体画像を見ない場合でも、立体画像を快適に視認することができる。さらに、左右の目が存在する可能性が高い角度領域と可能性が低い角度領域それぞれで視点画像間の視差を調整しているので、表示装置５０の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像を表示することが可能となる。
＜裸眼立体ディスプレイ装置及び視点調整方法の第５実施形態＞
　図２６に示す第５実施形態は、第４実施形態の構成に加えて、観察者が立体画像を観察しているときの表示装置５０からの距離に応じて、角度φｉを調整するように構成したものである。図２６において、図２４と同一の部分には同一の符号を付し、その説明を適宜省略する。観察者が表示装置５０に近付いて立体画像を観察する場合には、視差による画像のぶれが強く感じられ、左右の目が存在する可能性が高い角度領域と可能性が低い角度領域とが比較的はっきりと区別される。一方、観察者が表示装置５０から離れて立体画像を観察する場合には、視差による画像のぶれはさほど強く感じられず、左右の目が存在する可能性が高い角度領域と可能性が低い角度領域との区別が曖昧となる。
　図２６において、顔距離推定部５９は、図２２に示すように、顔ＦＣの大きさに基づいて表示装置５０から顔ＦＣまでの距離Ｆｄを推定する。顔ＦＣの大きさを判断すれば、顔ＦＣが表示装置５０に近付いているか離れているかをある程度推定することができる。距離Ｆｄを正確に測定する必要はないため、第５実施形態においては、カメラ５７で撮像した映像に基づいて顔ＦＣの大きさを複数にクラス分けし、表示装置５０から顔ＦＣまでの距離Ｆｄを推定する。顔距離推定部５９は、例えば、距離Ｆｄを、顔ＦＣが表示装置５０から離れている“大”、顔ＦＣが表示装置５０に近付いている“小”、“大”と“小”の中間の“中”の３段階にクラス分けする。
　顔距離推定部５９によってクラス分けされた距離Ｆｄの“大”，“中”，“小”のいずれかを示す距離推定データは、置換部６５８に入力される。カメラ５７を複数設けて、距離Ｆｄを正確に測定し、距離Ｆｄをクラス分けしてもよい。
　第５実施形態においては、テーブル保持部６３には、図２７の（ａ）に示す視差画像提示方向設定テーブルが保持されている。図２７の（ａ）に示すように、角度φｉは、距離Ｆｄが“大”であれば、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくする効果を比較的小さくした値に設定している。距離Ｆｄが“小”であれば、その効果を比較的大きくした値に設定し、距離Ｆｄが“中”であれば、その効果を“大”と“小”との中間である中程度の値に設定している。
　第４実施形態と同様、置換部６８は、図２７の（ａ）の視差画像提示方向設定テーブルを読み出し、顔位置検出部５６から入力されたオフセット量Δｘに応じて、図２３と同様に、視点番号ｉを視点番号ｉ’に置換する。図２７の（ｂ）は、図２７の（ａ）の視差画像提示方向設定テーブルにおける視点番号ｉを視点番号ｉ’に置換し、視点番号ｉ’を０～８の順に並べた視差画像提示方向置換テーブルを示している。置換部６８が新たに作成する視差画像提示方向置換テーブルは、視点番号ｉと視点番号ｉ’との対応関係を示すと共に、視点番号ｉ’と距離Ｆｄが“大”，“中”，“小”それぞれの場合の角度φｉとの対応関係を示している。
　視点調整部５２は、置換部６８で作成された視差画像提示方向置換テーブルを参照して、３Ｄオブジェクトデータのそれぞれの視点ｉを視点ｉ’に変更し、視点ｉ’に対応させて角度φｉを示す情報を視点画像作成部５４に入力する。この際、置換部６８は、顔距離推定部５９より入力された距離推定データに応じて、距離Ｆｄが“大”，“中”，“小”のいずれかの角度φｉを示す情報を視点調整部５２に供給する。距離Ｆｄに応じた角度φｉを示す情報は、視点画像作成部５４へと入力される。視点画像作成部５４及び駆動部５５の動作は第４実施形態と同じである。
　第５実施形態によれば、第４実施形態が奏する効果に加えて、観察者が立体画像を観察しているときの表示装置５０からの距離に応じて、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくする効果を最適な状態に設定することができるという効果を奏する。
　以上説明したオフセット量Δｘや距離Ｆｄのクラス分けの数は単なる例である。クラス分けの数は２つでもよいし、４つ以上でもよい。また、視点数は９視点でなくてもよい。
　上述した裸眼立体視用映像データ生成方法によって、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域おける隣接する視点画像間の視差を大きくしたｎ視点の視差画像を生成し、所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する際に、裸眼立体ディスプレイ装置及び視点調整方法の第３～第５実施形態と同様に、観察者の顔の位置をリアルタイムに検出して、観察者の顔に対応させた裸眼立体視用映像データを生成することも可能である。
　図８～図１０の裸眼立体視用映像データ生成方法の各例では、観察者の顔に対応させて、リアルタイムに観察者の顔に対応させた裸眼立体視用映像データを生成することができる。裸眼立体視用映像データを裸眼立体ディスプレイ装置に表示させる際に、裸眼立体ディスプレイ装置の水平方向における観察者の顔の位置を検出し、検出した顔の位置に対応させて複数の視点画像をずらした上で、予め視点を調整した視点画像を所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成すればよい。この場合には、
裸眼立体ディスプレイ装置は既存の構成でよく、所定のフォーマットの裸眼立体視用映像データを単に表示すればよい。
　本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態においては、光学部材としてレンチキュラーレンズＬＬｓを用いた場合を中心として説明したが、光学部材はレンチキュラーレンズに限定されるものではない。但し、光学部材としはレンチキュラーレンズが好ましい。また、目が存在する可能性が高い角度領域を２つの領域としたが、視認範囲θviをさらに細かく分けて３つ以上の領域を目が存在する可能性が高い角度領域と設定することも可能である。さらに、テーブル保持部３３，４３，５３にテーブルを保持させる代わりに関数を保持させておき、関数を用いた計算によって図１４，図１７，図２１，図２５，図２７のテーブルと同等の機能の実現させてもよい。
　本発明は、複数の画素が水平方向及び垂直方向に配列され、複数の視点画像からなる映像データの各画素データを複数の画素に割り当てて表示する表示装置と、複数の光学要素が周期的に配列され、光学要素の周期方向が表示装置における画素の水平方向に対して傾斜させた状態で表示装置上に配置され、表示装置に表示された複数の視点画像を複数の異なる視点方向に分割して提示させるよう構成された光学部材とを備える任意の裸眼立体ディスプレイ装置に適用できる。

Claims (26)

  1. 　複数の画素が水平方向及び垂直方向に配列され、複数の視点画像からなる映像データの各画素データを前記複数の画素に割り当てて表示する表示装置と、
    　複数の光学要素が周期的に配列され、前記光学要素の周期方向が前記表示装置における画素の水平方向に対して傾斜させた状態で前記表示装置上に配置され、前記表示装置に表示された前記複数の視点画像を前記複数の異なる視点方向に分割して提示させるよう構成された光学部材と、
    　前記複数の視点画像における視差が最も離れた２つの視点画像の提示方向がなす所定角度の視認範囲のうち、観察者が前記表示装置を観察したときに目が存在する可能性が相対的に高い第１の角度領域と目が存在する可能性が相対的に低い第２の角度領域とを設定し、前記複数の視点画像のうち、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整する視点調整部と、
    　を備えることを特徴とする裸眼立体ディスプレイ装置。
  2. 　前記第１及び第２の角度領域に提示される視点画像それぞれの提示方向を設定したテーブル、または、前記第１及び第２の角度領域に提示される視点画像それぞれの提示方向を計算する関数を保持する保持部をさらに備え、
    　前記視点調整部は、前記保持部に保持されたテーブルまたは関数によって得られた提示方向に基づいて視点を調整する
    　ことを特徴とする請求項１記載の裸眼立体ディスプレイ装置。
  3. 　前記映像データの視差レベルを算出する視差レベル算出部をさらに備え、
    　前記視点調整部は、前記視差レベル算出部が算出した視差レベルが大きいほど、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を小さくするように視点を調整する
    　ことを特徴とする請求項２記載の裸眼立体ディスプレイ装置。
  4. 　前記視点調整部は、前記視差レベル算出部が算出した視差レベルが大きいほど、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差を大きくするように視点を調整する
    　ことを特徴とする請求項３記載の裸眼立体ディスプレイ装置。
  5. 　前記保持部は、前記視差レベル算出部が算出する視差レベルに対応させて、提示方向の組を複数設定したテーブルを保持しており、
    　前記視点調整部は、前記視差レベル算出部が算出した視差レベルに応じて、前記テーブルに設定された提示方向の複数の組からいずれかの組を選択し、選択した組の提示方向に基づいて視点を調整する
    　ことを特徴とする請求項３または４に記載の裸眼立体ディスプレイ装置。
  6. 　観察者が前記表示装置に表示された前記映像データを観察しているときの前記表示装置の水平方向における顔の位置を検出する顔位置検出部をさらに備え、
    　前記各画素データを前記複数の画素に割り当てる際に、前記顔位置検出部が検出した顔の位置に対応させて、前記各画素データを割り当てる画素の位置をずらす
    　ことを特徴とする請求項２～５のいずれか１項に記載の裸眼立体ディスプレイ装置。
  7. 　前記視点調整部によって視点が調整された視点画像を前記表示装置に表示させるよう駆動する駆動部をさらに備え、
    　視点が調整された視点画像を前記駆動部によって前記表示装置に表示させる際に、前記駆動部が前記各画素データを割り当てる画素の位置をずらす
    　ことを特徴とする請求項６記載の裸眼立体ディスプレイ装置。
  8. 　前記視点調整部によって視点が調整された視点画像を前記表示装置に表示させるよう駆動する駆動部と、
    　視点が調整された視点画像を前記駆動部によって前記表示装置に表示させる際に、前記保持部から得た前記第１及び第２の角度領域に提示される視点画像とそれぞれの提示方向との対応関係を、前記各画素データを割り当てる画素の位置がずれるように予め置換する置換部と、
    　をさらに備えることを特徴とする請求項６記載の裸眼立体ディスプレイ装置。
  9. 　前記表示装置と観察者の顔との距離に応じて、前記視点調整部によって、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整する程度を異ならせることを特徴とする請求項８記載の裸眼立体ディスプレイ装置。
  10. 　前記表示装置と観察者の顔との距離が小さいほど、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を小さくすることを特徴とする請求項９記載の裸眼立体ディスプレイ装置。
  11. 　複数の視点画像における視差が最も離れた２つの視点画像を裸眼立体ディスプレイ装置で提示させたときの提示方向がなす所定角度の視認範囲のうち、観察者が前記裸眼立体ディスプレイ装置を観察したときに目が存在する可能性が相対的に高い第１の角度領域と目が存在する可能性が相対的に低い第２の角度領域とを設定し、
    　前記複数の視点画像のうち、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整する
    　ことを特徴とする視点調整方法。
  12. 　前記第１及び第２の角度領域に提示される視点画像それぞれの提示方向を設定したテーブル、または、前記第１及び第２の角度領域に提示される視点画像それぞれの提示方向を計算する関数によって得られた提示方向に基づいて視点を調整することを特徴とする請求項１１記載の視点調整方法。
  13. 　前記映像データの視差レベルを算出し、
    　算出した視差レベルが大きいほど、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を小さくするように視点を調整する
    　ことを特徴とする請求項１２記載の視点調整方法。
  14. 　算出した視差レベルが大きいほど、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差を大きくするように視点を調整する
    　ことを特徴とする請求項１３記載の視点調整方法。
  15. 　複数の視差レベルに対応させて、提示方向の組を設定したテーブルを参照し、
    　算出した視差レベルに応じて、前記テーブルに設定された提示方向の複数の組からいずれかの組を選択し、選択した組の提示方向に基づいて視点を調整する
    　ことを特徴とする請求項１３または１４に記載の視点調整方法。
  16. 　前記裸眼立体ディスプレイ装置は、複数の画素が水平方向及び垂直方向に配列され、前記複数の視点画像からなる映像データの各画素データを前記複数の画素に割り当てて表示する表示装置を備え、
    　観察者が前記裸眼立体ディスプレイ装置に表示された前記映像データを観察しているときの前記裸眼立体ディスプレイ装置の水平方向における顔の位置を検出し、
    　前記表示装置によって前記各画素データを前記複数の画素に割り当てて表示する際に、検出した顔の位置に対応させて、前記各画素データを割り当てる画素の位置をずらす
    　ことを特徴とする請求項１２～１５のいずれか１項に記載の視点調整方法。
  17. 　視点が調整された視点画像を、前記表示装置を駆動する駆動部によって前記表示装置に表示させる際に、前記駆動部が前記各画素データを割り当てる画素の位置をずらす
    　ことを特徴とする請求項１６記載の視点調整方法。
  18. 　視点が調整された視点画像を、前記表示装置を駆動する駆動部によって前記表示装置に表示させる際に、前記第１及び第２の角度領域に提示される視点画像とそれぞれの提示方向との対応関係を、前記各画素データを割り当てる画素の位置がずれるように予め置換することを特徴とする請求項１６記載の視点調整方法。
  19. 　前記表示装置と観察者の顔との距離に応じて、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整する程度を異ならせることを特徴とする請求項１８記載の視点調整方法。
  20. 　前記表示装置と観察者の顔との距離が小さいほど、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を小さくすることを特徴とする請求項１９記載の視点調整方法。
  21. 　複数の視点画像における視差が最も離れた２つの視点画像を裸眼立体ディスプレイ装置で提示させたときの提示方向がなす所定角度の視認範囲のうち、観察者が前記裸眼立体ディスプレイ装置を観察したときに目が存在する可能性が相対的に高い第１の角度領域と目が存在する可能性が相対的に低い第２の角度領域とを設定し、前記複数の視点画像のうち、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう予め視点を調整した視点画像を生成し、
    　前記予め視点を調整した視点画像を所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する
    　ことを特徴とする裸眼立体視用映像データ生成方法。
  22. 　前記複数の視点画像を撮影する複数の撮像装置の互いの間隔を調節して、前記第１及び第２の角度領域それぞれの隣接する視点画像間の視差を調整することによって、視点を調整した視点画像を生成することを特徴とする請求項２１記載の裸眼立体視用映像データ生成方法。
  23. 　複数の撮像装置の互いの間隔を等間隔にして前記複数の視点画像を撮影し、
    　前記複数の視点画像の撮像信号に基づいて、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した視点画像を生成する
    　ことを特徴とする請求項２１記載の裸眼立体視用映像データ生成方法。
  24. 　２つの撮像装置を用いて２視点の視差画像を撮影し、
    　撮影した２視点の視差画像の撮像信号に基づいて、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した複数の視点画像を生成する
    　ことを特徴とする請求項２１記載の裸眼立体視用映像データ生成方法。
  25. 　コンピュータグラフィックスによるレンダリングによって、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した複数の視点画像を生成する
    　ことを特徴とする請求項２１記載の裸眼立体視用映像データ生成方法。
  26. 　前記裸眼立体視用映像データを前記裸眼立体ディスプレイ装置に表示させる際に、前記裸眼立体ディスプレイ装置の水平方向における前記観察者の顔の位置を検出し、
    　検出した顔の位置に対応させて前記複数の視点画像をずらした上で、前記裸眼立体視用映像データを生成する
    　ことを特徴とする請求項２３～２５のいずれか１項に記載の裸眼立体視用映像データ生成方法。
PCT/JP2012/062341 2011-05-27 2012-05-15 裸眼立体ディスプレイ装置、視点調整方法、裸眼立体視用映像データ生成方法 WO2012165132A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/928,451 US9432657B2 (en) 2011-05-27 2013-06-27 Naked-eye stereoscopic display apparatus, viewpoint adjustment method, and naked-eye stereoscopic vision-ready video data generation method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011118922 2011-05-27
JP2011-118922 2011-05-27
JP2012068772A JP5849811B2 (ja) 2011-05-27 2012-03-26 裸眼立体視用映像データ生成方法
JP2012-068771 2012-03-26
JP2012068771A JP5978695B2 (ja) 2011-05-27 2012-03-26 裸眼立体ディスプレイ装置及び視点調整方法
JP2012-068772 2012-03-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/928,451 Continuation US9432657B2 (en) 2011-05-27 2013-06-27 Naked-eye stereoscopic display apparatus, viewpoint adjustment method, and naked-eye stereoscopic vision-ready video data generation method

Publications (1)

Publication Number Publication Date
WO2012165132A1 true WO2012165132A1 (ja) 2012-12-06

Family

ID=47258995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/062341 WO2012165132A1 (ja) 2011-05-27 2012-05-15 裸眼立体ディスプレイ装置、視点調整方法、裸眼立体視用映像データ生成方法

Country Status (1)

Country Link
WO (1) WO2012165132A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103234514A (zh) * 2013-04-03 2013-08-07 广州市佳思信息科技有限公司 单摄像头测距和测偏移以及实现裸眼3d光栅调节的方法
CN114327343A (zh) * 2021-12-31 2022-04-12 珠海豹趣科技有限公司 一种裸眼3d效果显示优化方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148763A (ja) * 1992-11-12 1994-05-27 Hitachi Ltd 多人数観測用レンチキュラ立体表示方式
JP2005078076A (ja) * 2003-08-30 2005-03-24 Sharp Corp マルチプルビュー方向ディスプレイ
JP2007336002A (ja) * 2006-06-12 2007-12-27 Victor Co Of Japan Ltd 多視点映像表示装置
JP2009237112A (ja) * 2008-03-26 2009-10-15 Toshiba Corp 立体画像表示装置
JP2010078883A (ja) * 2008-09-25 2010-04-08 Toshiba Corp 立体映像表示装置及び立体映像表示方法
JP2010171608A (ja) * 2009-01-21 2010-08-05 Nikon Corp 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JP2011004388A (ja) * 2009-06-16 2011-01-06 Samsung Electronics Co Ltd 多視点映像表示装置および方法
JP2011101366A (ja) * 2009-11-04 2011-05-19 Samsung Electronics Co Ltd アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148763A (ja) * 1992-11-12 1994-05-27 Hitachi Ltd 多人数観測用レンチキュラ立体表示方式
JP2005078076A (ja) * 2003-08-30 2005-03-24 Sharp Corp マルチプルビュー方向ディスプレイ
JP2007336002A (ja) * 2006-06-12 2007-12-27 Victor Co Of Japan Ltd 多視点映像表示装置
JP2009237112A (ja) * 2008-03-26 2009-10-15 Toshiba Corp 立体画像表示装置
JP2010078883A (ja) * 2008-09-25 2010-04-08 Toshiba Corp 立体映像表示装置及び立体映像表示方法
JP2010171608A (ja) * 2009-01-21 2010-08-05 Nikon Corp 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JP2011004388A (ja) * 2009-06-16 2011-01-06 Samsung Electronics Co Ltd 多視点映像表示装置および方法
JP2011101366A (ja) * 2009-11-04 2011-05-19 Samsung Electronics Co Ltd アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103234514A (zh) * 2013-04-03 2013-08-07 广州市佳思信息科技有限公司 单摄像头测距和测偏移以及实现裸眼3d光栅调节的方法
CN103234514B (zh) * 2013-04-03 2015-05-13 广州市佳思信息科技有限公司 单摄像头测距和测偏移以及实现裸眼3d光栅调节的方法
CN114327343A (zh) * 2021-12-31 2022-04-12 珠海豹趣科技有限公司 一种裸眼3d效果显示优化方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP5978695B2 (ja) 裸眼立体ディスプレイ装置及び視点調整方法
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
KR102185130B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
JP5704893B2 (ja) アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法
KR102130123B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
JP2008015188A (ja) 画像提示装置および画像提示方法
TW201322733A (zh) 影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式
US20120206444A1 (en) Display and displaying method
WO2015132828A1 (ja) 映像表示方法、及び、映像表示装置
KR20160058327A (ko) 입체 영상 표시 장치
KR20120025261A (ko) 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
US9495795B2 (en) Image recording device, three-dimensional image reproducing device, image recording method, and three-dimensional image reproducing method
JP5439686B2 (ja) 立体画像表示装置及び立体画像表示方法
US20140071237A1 (en) Image processing device and method thereof, and program
US20130162630A1 (en) Method and apparatus for displaying stereoscopic image contents using pixel mapping
US10939092B2 (en) Multiview image display apparatus and multiview image display method thereof
KR102221773B1 (ko) 입체 영상 표시 장치
JP2019154008A (ja) 立体画像表示装置、液晶ディスプレイの表示方法、および液晶ディスプレイのプログラム
TWI500314B (zh) A portrait processing device, a three-dimensional portrait display device, and a portrait processing method
WO2012165132A1 (ja) 裸眼立体ディスプレイ装置、視点調整方法、裸眼立体視用映像データ生成方法
KR20050076946A (ko) 입체영상 표시장치 및 방법
JP2014241015A (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP5663854B2 (ja) 表示装置、表示方法、および、プログラム
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
KR102142480B1 (ko) 3차원영상 표시장치 및 그 구동방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12793055

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12793055

Country of ref document: EP

Kind code of ref document: A1