WO2011043022A1 - 画像表示装置および画像表示方法 - Google Patents

画像表示装置および画像表示方法 Download PDF

Info

Publication number
WO2011043022A1
WO2011043022A1 PCT/JP2010/005701 JP2010005701W WO2011043022A1 WO 2011043022 A1 WO2011043022 A1 WO 2011043022A1 JP 2010005701 W JP2010005701 W JP 2010005701W WO 2011043022 A1 WO2011043022 A1 WO 2011043022A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eye
generation unit
viewpoints
viewpoint
Prior art date
Application number
PCT/JP2010/005701
Other languages
English (en)
French (fr)
Inventor
嘉次郎 潮
裕 市原
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to KR1020127010124A priority Critical patent/KR101427491B1/ko
Priority to CN201080045445.1A priority patent/CN102714030B/zh
Publication of WO2011043022A1 publication Critical patent/WO2011043022A1/ja
Priority to US13/441,921 priority patent/US20120194905A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G09G2340/0478—Horizontal positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers

Definitions

  • the present invention relates to an image display device and an image display method.
  • Patent Document 1 Japanese Patent Laid-Open No. 5-210181
  • an object of one aspect of the present invention is to provide an image display device and an image display method that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims.
  • the dependent claims define further advantageous specific examples of the present invention.
  • an image display device that displays a plurality of sets of images for the right eye and images for the left eye toward the corresponding viewpoints, and the right corresponding to the two predetermined viewpoints.
  • a multi-viewpoint image generation unit that generates a right-eye image and a left-eye image for a plurality of viewpoints by receiving the image and the left image, and shifting the entire received right image and left image, respectively, and multi-viewpoint image generation
  • An image display device including a display unit that displays a right-eye image and a left-eye image generated by the unit toward a corresponding viewpoint, and an image display method using the image display device are provided.
  • FIG. 2 is a diagram illustrating a configuration example of an image processing unit 10.
  • FIG. It is a figure which shows an example of the left image and right image which the image acquisition part 12 acquired.
  • 6 is a diagram illustrating an operation example of a multi-viewpoint image generation unit 14.
  • FIG. 6 is a diagram illustrating an operation example of the display unit 50.
  • FIG. 3 is a diagram illustrating a configuration example of a display unit 50.
  • FIG. 3 is a diagram illustrating another configuration example of the image processing unit 10.
  • 3 is a diagram illustrating a configuration example of a multi-viewpoint image generation unit 14.
  • FIG. 11 is a diagram illustrating another configuration example of the display unit 50.
  • 3 is a diagram illustrating another configuration example of the image processing unit 10.
  • FIG. 3 is a diagram illustrating another configuration example of the image processing unit 10.
  • FIG. 3 is a diagram illustrating another configuration example of the
  • FIG. 1 is a diagram illustrating a configuration example of an image display device 100 according to one embodiment.
  • the image display apparatus 100 displays a plurality of sets of right images and left images from the corresponding viewpoint 1 to viewpoint n.
  • One viewpoint corresponds to the position of the user's right eye or left eye, for example. That is, the image display apparatus 100 displays a set of right image and left image with respect to two adjacent viewpoints. Further, the image display device 100 generates a right image or a left image corresponding to each viewpoint from a given two-dimensional image.
  • the image display device 100 of this example includes an image processing unit 10 and a display unit 50.
  • the image processing unit 10 acquires a two-dimensional image.
  • the image processing unit 10 may acquire one two-dimensional image corresponding to one viewpoint, or may acquire two two-dimensional images corresponding to two viewpoints. In the latter case, the two two-dimensional images may be stereo images obtained by capturing the subject from two positions corresponding to the positions of both eyes of a human.
  • the image processing unit 10 generates n images corresponding to n (for example, an even number of 4 or more) viewpoints from the acquired two-dimensional image.
  • n for example, an even number of 4 or more
  • the image processing unit 10 generates n / 2 right-eye images and n / 2 left-eye images.
  • the right-eye image is an image to be displayed on the user's right eye
  • the left-eye image may be an image to be displayed on the user's left eye.
  • the display unit 50 displays n images generated by the image processing unit 10 toward n viewpoints.
  • the display unit 50 displays n images toward n viewpoints by a lenticular method or a parallax barrier method.
  • the display unit 50 of this example displays a stereoscopic image for multiple viewpoints by displaying the corresponding right-eye image and left-eye image toward the adjacent viewpoints.
  • FIG. 2 is a diagram illustrating a configuration example of the image processing unit 10.
  • the image processing unit 10 in this example acquires a right image and a left image for two predetermined viewpoints.
  • the two predetermined viewpoints may be viewpoints corresponding to the right eye and the left eye of the user. That is, the right image and the left image may be the above-described stereo image.
  • the image processing unit 10 of this example includes an image acquisition unit 12 and a multi-viewpoint image generation unit 14.
  • the image acquisition unit 12 acquires a right image and a left image for two predetermined viewpoints.
  • the image acquisition unit 12 may acquire the right image and the left image from an external device, and may acquire the right image and the left image by imaging the subject from two different positions.
  • the multi-viewpoint image generation unit 14 receives a right image and a left image for two predetermined viewpoints from the image acquisition unit 12, and shifts the received right image and the entire left image, respectively, so that a predetermined two viewpoints are obtained. Generates an image for the right eye and an image for the left eye for different viewpoints. That is, the display unit 50 displays a stereoscopic image in which the position of the subject is shifted for each viewpoint. Thereby, a stereoscopic image corresponding to each viewpoint can be displayed.
  • the multi-viewpoint image generation unit 14 of this example supplies the right-eye image and the left-eye image for the n viewpoints to the display unit 50 together with the right image and the left image received from the image acquisition unit 12. More specifically, the multi-viewpoint image generation unit 14 supplies the display unit 50 with right-eye images for n / 2 viewpoints and left-eye images for n / 2 viewpoints.
  • the display unit 50 receives the right image and the left image received by the image acquisition unit 12 and the image generated by the multi-viewpoint image generation unit 14 and displays them for the corresponding viewpoints.
  • the display unit 50 may display each image in parallel.
  • FIG. 3 is a diagram illustrating an example of the left image and the right image acquired by the image acquisition unit 12.
  • the left image and the right image in this example are stereo images obtained by capturing the same subject from two different positions corresponding to both human eyes. Note that the subject in the left image and the right image has a parallax corresponding to the distance from the imaging device to the subject.
  • the subject 62 has a parallax d1 between the left and right images
  • the subject 64 has a parallax d2 between the left and right images.
  • FIG. 4 is a diagram illustrating an operation example of the multi-viewpoint image generation unit 14.
  • n / 2 left-eye images are generated based on the left image received from the image acquisition unit 12 will be described.
  • n / The same applies when two right-eye images are generated.
  • the multi-viewpoint image generation unit 14 generates n / 2 left-eye images by sequentially shifting the entire received left image by a predetermined shift amount.
  • the multi-viewpoint image generation unit 14 includes a plurality of right-shifted left-eye images that are sequentially shifted rightward by shift amounts da and a plurality of left images that are sequentially shifted leftward by shift amounts da. A shifted left-eye image is generated.
  • the multi-viewpoint image generation unit 14 generates three right-shifted left eye images and three left-shifted left eye images in addition to the original left image. It's okay.
  • the multi-viewpoint image generation unit 14 may generate six right-shifted left eye images, or may generate six left-shifted left eye images.
  • FIG. 5 is a diagram illustrating an operation example of the display unit 50.
  • the display unit 50 of this example displays a plurality of right-eye images and a plurality of left-eye images generated by the multi-viewpoint image generation unit 14 in parallel in the same frame.
  • the display unit 50 includes a plurality of left-eye images in which the entire original left image is sequentially shifted in the x-axis direction. L (3)) is extracted from (-3).
  • the display unit 50 displays the pixel columns at the same position on the x-axis (in this example, R ( ⁇ 3) to R ( 3)) is extracted.
  • the pixel column may have a width in the x-axis direction of one pixel or a plurality of pixels.
  • the display unit 50 displays a region at the same position on the x-axis in the plurality of left-eye images and right-eye images in a predetermined arrangement in a region corresponding to the position on the x-axis on the display surface. .
  • the display unit 50 alternately displays each pixel column in the plurality of left-eye images and right-eye images by a predetermined number of columns.
  • the display unit 50 alternately displays the pixel columns of the left eye image and the right eye image one by one.
  • corresponding regions in the plurality of right-eye images and left-eye images are displayed in a predetermined arrangement.
  • FIG. 6 is a diagram illustrating a configuration example of the display unit 50.
  • the display unit 50 of this example includes a lens array 54 and a display element 52. As described with reference to FIG. 5, the display element 52 displays each pixel column of the plurality of left-eye images and right-eye images in a predetermined arrangement.
  • the lens array 54 has a plurality of lenses arranged in a predetermined pattern.
  • the lens array 54 may be a lenticular lens array having a plurality of semi-cylindrical lenses arranged at a predetermined pitch along the x-axis direction.
  • a multi-viewpoint left-eye image and right-eye image can be easily generated from a given set of right and left images. Further, the generated left-eye image and right-eye image for multiple viewpoints can be displayed at the corresponding viewpoints.
  • the display unit 50 of this example is a lenticular method has been described, the display unit 50 may be a parallax barrier method.
  • the multi-viewpoint image generation unit 14 has a maximum shift amount between images generated from the right image and the left image acquired by the image acquisition unit 12 smaller than the maximum parallax amount between the right image and the left image. It is preferable to generate a shift image for each viewpoint. For example, referring to the examples of FIGS. 3 and 4, the multi-viewpoint image generation unit 14 determines that the shift amount 6da between the left-eye image at the left end and the left-eye image at the right end is the maximum parallax amount d1.
  • the unit shift amount da is set so as to be sufficiently smaller than that.
  • the multi-viewpoint image generation unit 14 sets the unit shift amount da so that the maximum shift amount 6da in the right-eye image is sufficiently smaller than the maximum parallax amount d1.
  • the unit shift amount da is the same in the right-eye image and the left-eye image.
  • the multi-viewpoint image generation unit 14 generates the left-eye image and the right-eye image obtained by sequentially shifting the original left image and the right image by the uniform shift amount da.
  • the multi-viewpoint image generation unit 14 may generate a left-eye image and a right-eye image obtained by sequentially shifting the original image with a non-uniform shift amount.
  • the shift amount with respect to the adjacent left-eye image and right-eye image is relatively small, and the end portion
  • the shift amount with respect to the adjacent left-eye image and right-eye image is relatively large.
  • the difference in displayed images is small, so that the images can be switched smoothly.
  • the shift amount with respect to the adjacent left-eye image and right-eye image is relatively increased, and the end portion For the left-eye image and the right-eye image corresponding to the nearby viewpoint, the shift amount with respect to the adjacent left-eye image and right-eye image may be relatively small.
  • the images can be switched smoothly.
  • FIG. 7 is a diagram illustrating another configuration example of the image processing unit 10.
  • the image processing unit 10 of this example includes an image acquisition unit 12, a left / right image generation unit 16, and a multi-viewpoint image generation unit 14.
  • the image acquisition unit 12 acquires one two-dimensional image.
  • the image acquisition unit 12 may acquire a two-dimensional image from an external device, or may acquire a two-dimensional image by imaging a subject.
  • the left and right image generation unit 16 generates a right image and a left image for two adjacent viewpoints among a plurality of viewpoints by shifting the entire two-dimensional image acquired by the image acquisition unit 12, and a multi-viewpoint image generation unit 14
  • the left and right image generation unit 16 may shift the entire two-dimensional image by an eye width shift amount corresponding to the distance between human eyes.
  • the left and right image generation unit 16 shifts the entire two-dimensional image so that the shift amount between the generated right image and the left image becomes an eye width shift amount of about 6.5 cm, thereby shifting the right image and the left image. Is generated.
  • the multi-viewpoint image generation unit 14 generates n / 2 right eye images and left eye images based on the right image and the left image received from the left and right image generation unit 16.
  • the process in which the multi-view image generation unit 14 generates a plurality of right-eye images and left-eye images may be the same as that of the multi-view image generation unit 14 described with reference to FIG. With such a configuration, a multi-viewpoint left-eye image and a right-eye image can be easily generated from one two-dimensional image.
  • FIG. 8 is a diagram illustrating a processing example in the left and right image generation unit 16.
  • the left and right image generation unit 16 generates a left image and a right image in which the entire image is relatively shifted in the x-axis direction by a predetermined eye width shift amount d based on the received two-dimensional image.
  • a stereoscopic image in which each subject exists at infinity can be provided.
  • the multi-viewpoint image generation unit 14 has a maximum shift amount of each of the left-eye image and the right-eye image generated from the right image and the left image that is larger than the eye width shift amount d in the left-right image generation unit 16. It is preferable to generate a right image and a left image for each viewpoint so as to be smaller. Similarly to the multi-viewpoint image generation unit 14 described with reference to FIG. 2, the multi-viewpoint image generation unit 14 outputs the left-eye image and the right-eye image obtained by sequentially shifting the left and right images with a non-uniform shift amount. It may be generated.
  • FIG. 9 is a diagram illustrating a configuration example of the multi-viewpoint image generation unit 14.
  • the multi-viewpoint image generation unit 14 of this example includes a memory 30, a plurality of delay units 32, an output unit 34, and a control unit 36. 9 illustrates a configuration for processing either the left image or the right image in the configuration of the multi-viewpoint image generation unit 14, but the multi-viewpoint image generation unit 14 has the same configuration as that of FIG. Or further to process the other of the right images.
  • the memory 30 stores the right image or the left image, and outputs data in units of pixel columns in order from the end pixel column.
  • the pixel column refers to a pixel column along a direction perpendicular to the above-described x-axis direction.
  • a number of delay units 32 (n / 2 in this example) corresponding to the number of viewpoints are provided in cascade connection. That is, the plurality of delay units 32 correspond to n / 2 left-eye images or right-eye images output from the multi-viewpoint image generation unit 14 with respect to the left image or the right image.
  • the control unit 36 sets the delay amount in each delay unit 32 according to the shift amount in the corresponding left-eye image and right-eye image. For example, with respect to the delay unit 32 corresponding to the left-eye image or the right-eye image whose shift amount with respect to the immediately previous left-eye image or right-eye image is a 10-pixel array, the control unit 36 uses the memories 30 to 10. The time for reading out the pixel column is set as the delay time. As described above, the control unit 36 may set a uniform delay amount corresponding to the uniform shift amount, or may set a non-uniform delay amount corresponding to the non-uniform shift amount.
  • the output unit 34 receives the data of the pixel columns output from the plurality of delay units 32 in parallel. As described above, since each delay unit 32 delays data from the memory 30 by a delay amount corresponding to the shift amount, the output unit 34 outputs the pixel columns L (3) and L (2) shown in FIG. ..,... Are received in parallel such that the positions in the image are shifted in the x-axis direction.
  • the output unit 34 supplies the display unit 50 with composite data in which pixel columns received in parallel are arranged in a predetermined order.
  • the display unit 50 displays a large number of viewpoint images on one screen, a pixel row is thinned out for an image for one viewpoint compared to the original image.
  • the output unit 34 generates one composite data and supplies it to the display unit 50 for each period in which the number of pixel columns corresponding to the number of viewpoints is read from the memory 30, so that the pixel columns correspond to the number of viewpoints. Data obtained by thinning out may be generated.
  • FIG. 10 is a diagram illustrating another configuration example of the display unit 50.
  • the display unit 50 of this example includes a display element 52 and a barrier unit 56.
  • a transmission unit that transmits light and a shielding unit that blocks light are arranged in a predetermined arrangement pattern.
  • shutter elements for controlling whether or not to transmit light are formed in a matrix, and the arrangement pattern can be changed by controlling whether or not each shutter element transmits light.
  • the barrier unit 56 may include a liquid crystal panel.
  • the display element 52 may be the same as the display element 52 described with reference to FIG.
  • the display element 52 displays an area corresponding to the arrangement pattern of the transmission part and the shielding part in the barrier unit 56 of each shift image toward the barrier unit 56.
  • strip-shaped transmission portions and shielding portions having a predetermined width from the upper end to the lower end of the display element 52 may be alternately arranged in a region facing the display element 52.
  • the display element 52 extracts a strip-like pixel column having a width obtained by dividing the width of the transmission part of the barrier unit 56 by the number of viewpoints from each shift image, and the pixel column of each shift image is previously stored. Display in a defined sequence.
  • the display element 52 may change the pattern of the region extracted from the left-eye image and the right-eye image in accordance with the change in the arrangement pattern of the transmission part and the shielding part in the barrier part 56. For example, when the width of the strip-shaped transmission part in the barrier unit 56 is changed, the width of the pixel column extracted from each of the left-eye image and the right-eye image is adjusted according to the changed width of the transmission part To do.
  • the arrangement pattern of the transmission part and the shielding part of the barrier part 56 can have various patterns.
  • the transmission part and the shielding part of the barrier part 56 may be provided obliquely from the upper end to the lower end of the display element 52, or may be provided from the right end to the left end of the display element 52.
  • the transmission part and the shielding part of the barrier part 56 may be arranged in a staggered manner. That is, the transmission part and the shielding part of the barrier part 56 may be alternately arranged in both the vertical direction and the horizontal direction of the display element 52.
  • the display element 52 may determine the shape of the region to be extracted from the left-eye image and the right-eye image in accordance with the arrangement pattern of the transmission part and the shielding part of the barrier part 56.
  • FIG. 11 is a diagram illustrating another configuration example of the image processing unit 10.
  • the image processing unit 10 of this example further includes a viewpoint setting unit 20 in addition to the configuration of any one of the image processing units 10 described with reference to FIGS.
  • a configuration in which the viewpoint setting unit 20 is added to the configuration of the image processing unit 10 described with reference to FIG. 2 will be described.
  • the viewpoint setting unit 20 sets the number of viewpoints n for the multi-viewpoint image generation unit 14.
  • the viewpoint setting unit 20 may set the number of viewpoints n in the multi-viewpoint image generation unit 14 according to the number of viewpoints set by the user or the like.
  • the multi-viewpoint image generation unit 14 generates a shift image corresponding to each viewpoint according to the set number of viewpoints n. Further, the multi-viewpoint image generation unit 14 may change the shift amount in the left-eye image and the right-eye image according to the set number of viewpoints n. For example, the multi-viewpoint image generation unit 14 calculates the shift amounts of the left-eye image and the right-eye image by dividing a preset total shift amount by a number corresponding to the set number of viewpoints. To do.
  • the viewpoint setting unit 20 may include a subject determination unit 22 that sets the number of viewpoints in the multi-viewpoint image generation unit 14 based on subjects included in the image acquired by the image acquisition unit 12.
  • the subject determination unit 22 may relatively reduce the number of viewpoints in the multi-viewpoint image generation unit 14 when a subject that preferably displays an image with higher resolution is included in the image. More specifically, the subject determination unit 22 may reduce the number of viewpoints in the multi-viewpoint image generation unit 14 when the spatial frequency of the subject included in the image acquired by the image acquisition unit 12 is higher.
  • the viewpoint setting unit 20 acquires distance information of the subject included in the image acquired by the image acquisition unit 12, and sets the number of viewpoints in the multi-viewpoint image generation unit 14 according to the acquired distance information.
  • a portion 24 may be included.
  • the distance acquisition unit 24 may acquire shooting condition data attached to the image.
  • the distance acquisition unit 24 may acquire subject distance information based on the amount of parallax of the subject included in the right image and the left image. .
  • the distance acquisition unit 24 may increase the number of viewpoints in the multi-viewpoint image generation unit 14 when the distance to the subject is closer.
  • the viewpoint setting unit 20 may set the number of viewpoints in the multi-viewpoint image generation unit 14 by combining the subject determination unit 22 and the distance acquisition unit 24.
  • the multi-viewpoint image generation unit 14 may change the shift amount of the left-eye image and the right-eye image with respect to the adjacent left-eye image and right-eye image based on the position of the user. For example, for the left-eye image and the right-eye image corresponding to the viewpoint closer to the user's position, the shift amount is made smaller. Thereby, the motion of the image can be smoothed from the viewpoint near the user's position.
  • the image processing unit 10 may further include a position detection unit that detects the position of the user and notifies the multi-viewpoint image generation unit 14.
  • the position detection unit includes an imaging device such as a CCD element.
  • FIG. 12 is a diagram illustrating another configuration example of the image processing unit 10.
  • the image processing unit 10 of this example further includes an image evaluation unit 40 and an interpolated image generation unit 38 in addition to the configuration of any one of the image processing units 10 described with reference to FIGS.
  • FIG. 12 shows a configuration in which an image evaluation unit 40 and an interpolated image generation unit 38 are added to the configuration of the image processing unit 10 described with reference to FIG.
  • Other configurations may be the same as any one of the image processing units 10 described with reference to FIGS. 1 to 11.
  • the interpolated image generation unit 38 separates the right-eye image and the left image for a plurality of viewpoints separately from the multi-view image generation unit 14 based on the relationship between corresponding points in the right image and the left image given to the multi-view image generation unit 14. An ophthalmic image is generated.
  • the interpolated image generation unit 38 may calculate a motion vector between corresponding points in the right image and the left image, and may calculate parallax.
  • the interpolated image generation unit 38 calculates a motion vector or parallax that each viewpoint image should have with respect to the right image or the left image based on the position of each viewpoint.
  • the interpolation includes a process of interpolating values at the viewpoints inside the two viewpoints based on the values of the two viewpoints, and a process of extrapolating values at the viewpoints outside the two viewpoints based on the values of the two viewpoints. .
  • the interpolation image generation unit 38 calculates the ratio between the difference between the viewpoint positions of the right image and the left image and the difference between the viewpoints of the right image and the other viewpoints between the right image and the left image.
  • An interpolation vector or interpolation parallax obtained by multiplying the motion vector or parallax is calculated.
  • the interpolation image generation unit 38 generates an image having an interpolation vector or interpolation parallax for the right image as an image for the other viewpoint.
  • the interpolation image generation unit 38 can generate images for a plurality of viewpoints from the given right image and left image.
  • the image evaluation unit 40 evaluates the right-eye image and the left-eye image generated by the interpolation image generation unit 38.
  • evaluation refers to evaluation of whether or not an appropriate stereoscopic image can be provided by the right-eye image and the left-eye image.
  • the image evaluation unit 40 may perform the evaluation based on the right image and the left image given to the interpolation image generation unit 38, and based on the right eye image and the left eye image generated by the interpolation image generation unit 38. Evaluation may be performed, and the evaluation may be performed based on parameters detected in the course of image processing in the interpolated image generation unit 38.
  • the interpolated image generation unit 38 detects a plurality of corresponding points where the same subject is imaged in the given right image and left image, and calculates the motion vector of the entire image from the motion vector or parallax between the corresponding points. Alternatively, the parallax is estimated. For this reason, the larger the number of corresponding points detected by the interpolated image generation unit 38, the more accurately the motion vector or parallax of the entire image can be estimated.
  • the interpolation image generation unit 38 may detect corresponding points by comparing edge components and the like of the right image and the left image. For this reason, it is not always possible to detect a sufficient number of corresponding points.
  • the image evaluation unit 40 determines that the right eye image and the left eye image generated by the interpolation image generation unit 38 are appropriate. It may be determined that a simple stereoscopic image cannot be provided.
  • the image evaluation unit 40 may evaluate the right eye image and the left eye image generated by the interpolation image generation unit 38 based on the distribution of corresponding points detected by the interpolation image generation unit 38. For example, the image evaluation unit 40 determines that the right eye image and the left eye image generated by the interpolation image generation unit 38 when the maximum value of the distance between the corresponding points is equal to or greater than a predetermined value, Assess that an appropriate stereoscopic image cannot be provided.
  • the display unit 50 displays the right-eye image and the left-eye image generated by the multi-viewpoint image generation unit 14 when the evaluation result in the image evaluation unit 40 is equal to or lower than a predetermined level. Moreover, the display part 50 displays the image for right eyes and the image for left eyes which the interpolation image generation part 38 produced
  • the multi-viewpoint image generation unit 14 and the interpolation image generation unit 38 may generate images in parallel.
  • the multi-viewpoint image generation unit 14 may generate a right-eye image and a left-eye image when the evaluation result in the image evaluation unit 40 is equal to or lower than the level. That is, when it is evaluated that the right-eye image and the left-eye image generated by the interpolation image generation unit 38 can provide an appropriate stereoscopic image, the multi-viewpoint image generation unit 14 selects the right-eye image. And the image for the left eye may not be generated.
  • the interpolation image generation unit 38 does not generate the right eye image and the left eye image when the evaluation based on the number or distribution of corresponding points in the right image and the left image is equal to or lower than a predetermined level. Good.
  • the multi-viewpoint image generation unit 14 provides the display unit 50 with the right-eye image and the left-eye image for multiple viewpoints.
  • the image evaluation unit 40 may control whether the multi-viewpoint image generation unit 14 and the interpolation image generation unit 38 generate the right-eye image and the left-eye image.
  • the image evaluation unit 40 compares the maximum value of the parallax between the plurality of sets of right-eye images and left-eye images generated by the interpolation image generation unit 38 with a predetermined value, and determines the right You may evaluate the image for eyes, and the image for left eyes.
  • the maximum value of the parallax is calculated by calculating the parallax of each corresponding point in the corresponding image for the right eye and the image for the left eye for each combination of the image for the right eye and the image for the left eye. Refers to the maximum value.
  • the image evaluation unit 40 may evaluate that the right-eye image and the left-eye image cannot provide an appropriate stereoscopic image when the parallax maximum value is equal to or greater than a predetermined value. Further, the image evaluation unit 40 may receive information on the evaluation result by the user.
  • the image acquisition unit 12 described with reference to FIGS. 1 to 12 may acquire a moving image including a plurality of images.
  • the image processing unit 10 generates a plurality of left-eye images and right-eye images by performing the processing described in relation to FIGS. 1 to 12 for each frame image of the moving image. Since the image processing unit 10 can generate a plurality of left-eye images and right-eye images by a simple process, a plurality of images in each frame of the moving image can be obtained even when the moving image is distributed by streaming. The left-eye image and the right-eye image can be sequentially generated.
  • the multi-viewpoint image generation unit 14 described with reference to FIGS. 1 to 12 uses the same shift amount between the left image and the right image, respectively, and the left-eye image and the right-eye image. Was generated.
  • the multi-viewpoint image generation unit 14 may generate the left-eye image and the right-eye image using different shift amounts between the left image and the right image. That is, in the left-eye image and the right-eye image, the shift amount between the images corresponding to the left and right may be varied depending on the viewpoint position. Thereby, it is possible to display an image in which a sense of depth changes according to the viewpoint position.

Abstract

　本発明は、ｎ／２組の右眼用画像及び左眼用画像を、それぞれ対応する視点に向けて表示する画像表示装置であって、予め定められた２視点に対応する右画像及び左画像を画像取得部（１２）により受け取り、受け取った右画像及び左画像の全体をそれぞれシフトすることで、ｎ／２個の視点に対する右眼用画像及びｎ／２個の視点に対する左眼用画像を生成する多視点画像生成部（１４）と、前記多視点画像生成部（１４）が生成した右眼用画像及び左眼用画像を、それぞれ対応する視点に向けて表示する表示部（５０）とを備える画像表示装置を提供する。

Description

画像表示装置および画像表示方法
　本発明は、画像表示装置および画像表示方法に関する。
　従来、レンチキュラシートを用いて、複数の方向に対して立体的画像を表示する装置がある。また、異なる角度から撮像した現実イメージを操作することによって追加イメージを補間する技術が知られている（例えば、特許文献１参照）。
　特許文献１　特開平５－２１０１８１号公報
　しかし、現実イメージから補間することで、複数視点に対する追加イメージを生成する場合、所定の画素領域毎に動きベクトルを算出する等の煩雑な処理を実行する。このため、多視点用の画像を生成するのに時間がかかってしまう。特に、動画等のように複数の多視点画像をストリーミングする場合に、各フレームの画像処理が間に合わなくなる。
　そこで本発明の１つの側面においては、上記の課題を解決することのできる画像表示装置および画像表示方法を提供することを目的とする。この目的は請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
　本発明の第１の態様によると、複数組の右眼用画像および左眼用画像を、それぞれ対応する視点に向けて表示する画像表示装置であって、予め定められた２視点に対応する右画像および左画像を受け取り、受け取った右画像および左画像の全体をそれぞれシフトすることで、複数の視点に対する右眼用画像および左眼用画像を生成する多視点画像生成部と、多視点画像生成部が生成した右眼用画像および左眼用画像を、それぞれ対応する視点に向けて表示する表示部とを備える画像表示装置および当該画像表示装置を用いた画像表示方法を提供する。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
１つの実施形態に係る画像表示装置１００の構成例を示す図である。 画像処理部１０の構成例を示す図である。 画像取得部１２が取得した左画像および右画像の一例を示す図である。 多視点画像生成部１４の動作例を示す図である。 表示部５０の動作例を示す図である。 表示部５０の構成例を示す図である。 画像処理部１０の他の構成例を示す図である。 左右画像生成部１６における処理例を示す図である。 多視点画像生成部１４の構成例を示す図である。 表示部５０の他の構成例を示す図である。 画像処理部１０の他の構成例を示す図である。 画像処理部１０の他の構成例を示す図である。
　以下、発明の実施の形態を通じて本発明の（一）側面を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、１つの実施形態に係る画像表示装置１００の構成例を示す図である。画像表示装置１００は、複数組の右画像および左画像を、それぞれ対応する視点１から視点ｎに向けて表示する。１つの視点は、例えば利用者の右眼または左眼の位置に対応する。つまり、画像表示装置１００は、一組の右画像および左画像を、隣接する２つの視点に対して表示する。また、画像表示装置１００は、与えられる２次元画像から、各視点に対応する右画像または左画像を生成する。
　本例の画像表示装置１００は、画像処理部１０および表示部５０を備える。画像処理部１０は、２次元画像を取得する。画像処理部１０は、１つの視点に対応する１つの２次元画像を取得してよく、また、２つの視点に対応する２つの２次元画像を取得してもよい。後者の場合、２つの２次元画像は、人間の両眼の位置に応じた２つの位置から被写体を撮像したステレオ画像であってよい。
　画像処理部１０は、取得した２次元画像から、ｎ個（例えば４以上の偶数）の視点に対応するｎ個の画像を生成する。例えば画像処理部１０は、ｎ／２個の右眼用画像と、ｎ／２個の左眼用画像とを生成する。ここで右眼用画像とは、利用者の右眼に表示すべき画像であり、左眼用画像とは、利用者の左眼に表示すべき画像であってよい。
　表示部５０は、画像処理部１０が生成したｎ個の画像を、ｎ個の視点に向けて表示する。例えば表示部５０は、レンチキュラー方式またはパララックスバリア方式により、ｎ個の画像を、ｎ個の視点に向けて表示する。本例の表示部５０は、対応する右眼用画像および左眼用画像を、隣接する視点に向けて表示することで、多視点に対して立体的画像を表示する。
　図２は、画像処理部１０の構成例を示す図である。本例の画像処理部１０は、予め定められた２視点に対する右画像および左画像を取得する。予め定められた２視点とは、利用者の右眼および左眼に対応する視点であってよい。つまり、当該右画像および左画像は、上述したステレオ画像であってよい。
　本例の画像処理部１０は、画像取得部１２および多視点画像生成部１４を有する。画像取得部１２は、予め定められた２視点に対する右画像および左画像を取得する。画像取得部１２は、外部の装置から右画像および左画像を取得してよく、異なる２つの位置から被写体を撮像することで、右画像および左画像を取得してもよい。
　多視点画像生成部１４は、画像取得部１２から、予め定められた２視点に対する右画像および左画像を受け取り、受け取った右画像および左画像の全体をそれぞれシフトすることで、所定の２視点とは異なる視点に対する右眼用画像および左眼用画像を生成する。つまり、表示部５０は、視点毎に被写体の位置がずれた立体的画像を表示する。これにより、各視点に応じた立体的画像を表示することができる。
　本例の多視点画像生成部１４は、画像取得部１２から受け取った右画像および左画像と合わせて、ｎ視点に対する右眼用画像および左眼用画像を表示部５０に供給する。より具体的には、多視点画像生成部１４は、ｎ／２個の視点に対する右眼用画像およびｎ／２個の視点に対する左眼用画像を表示部５０に供給する。表示部５０は、画像取得部１２が受け取った右画像および左画像、ならびに、多視点画像生成部１４において生成された画像を受け取り、それぞれ対応する視点に向けて表示する。表示部５０は、それぞれの画像を並行して表示してよい。
　図３は、画像取得部１２が取得した左画像および右画像の一例を示す図である。本例の左画像および右画像は、人間の両眼に対応する異なる２つの位置から同一の被写体を撮像したステレオ画像である。なお、左画像および右画像における被写体は、撮像装置から被写体までの距離に応じた視差を有する。図３においては、被写体６２は、左右画像間で視差ｄ１を有し、被写体６４は、左右画像間で視差ｄ２を有する。
　図４は、多視点画像生成部１４の動作例を示す図である。図４では、画像取得部１２から受け取った左画像に基づいて、ｎ／２個の左眼用画像を生成する場合を説明するが、画像取得部１２から受け取った右画像に基づいて、ｎ／２個の右眼用画像を生成する場合も同様である。
　多視点画像生成部１４は、受け取った左画像の全体を、所定のシフト量で順次シフトすることで、ｎ／２個の左眼用画像を生成する。例えば多視点画像生成部１４は、受け取った左画像の全体を、シフト量ｄａずつ右方向に順次シフトした複数の右シフト左眼用画像と、シフト量ｄａずつ左方向に順次シフトした複数の左シフト左眼用画像とを生成する。
　図４では、視点数ｎ＝１４として、７個の左眼用画像を生成する例を示す。この場合、図４に示すように、多視点画像生成部１４は、元の左画像に加えて、３個の右シフト左眼用画像と、３個の左シフト左眼用画像とを生成してよい。また、多視点画像生成部１４は、元の左画像に加えて、６個の右シフト左眼用画像を生成してよく、６個の左シフト左眼用画像を生成してもよい。
　図５は、表示部５０の動作例を示す図である。本例の表示部５０は、多視点画像生成部１４が生成した複数の右眼用画像および複数の左眼用画像を同一のフレームで並行して表示する。例えば表示部５０は、図４に示したように、元の左画像全体がｘ軸方向に順次シフトした複数の左眼用画像において、ｘ軸上の同一位置の画素列（本例では、Ｌ（－３）からＬ（３））を抽出する。同様に表示部５０は、元の右画像全体がｘ軸方向に順次シフトした複数の右眼用画像において、ｘ軸上の同一位置の画素列（本例では、Ｒ（－３）からＲ（３））を抽出する。なお、画素列は、ｘ軸方向の幅が１画素であってよく、複数画素であってもよい。
　表示部５０は、複数の左眼用画像および右眼用画像におけるｘ軸上の同一位置の領域を、表示面において当該ｘ軸上の位置に対応する領域に、予め定められた配列で表示する。例えば表示部５０は、複数の左眼用画像および右眼用画像における各画素列を、予め定められた列数ずつ交互に表示する。図５の例では、表示部５０は、左眼用画像および右眼用画像の各画素列を１個ずつ交互に表示する。同様に、表示面の他の領域についても、複数の右眼用画像および左眼用画像において対応する領域を、予め定められた配列で表示する。
　図６は、表示部５０の構成例を示す図である。本例の表示部５０は、レンズアレイ５４および表示素子５２を有する。表示素子５２は、図５に関連して説明したように、複数の左眼用画像および右眼用画像の各画素列を、予め定められた配列で表示する。レンズアレイ５４は、予め定められたパターンで配列された複数のレンズを有する。レンズアレイ５４は、ｘ軸方向に沿って予め定められたピッチで配列された半円柱状の複数のレンズを有するレンチキュラーレンズアレイであってよい。
　レンズアレイ５４において各レンズは、視点数に応じた所定数の画素列毎に設けられる。例えば、図４および図５のように視点数ｎ＝１４の場合、各レンズは、表示素子５２にの表示面における１４個の画素列毎に設けられる。各レンズは、各画素列を、対応する視点（本例では視点１、２、・・・ｋ－２、ｋ－１、ｋ、ｋ＋１、ｋ＋２、・・・、１３、１４）に向けて表示する。
　以上の構成により、与えられる１組の右画像および左画像から、多視点用の左眼用画像および右眼用画像を容易に生成することができる。また、生成した多視点用の左眼用画像および右眼用画像を、対応する視点に表示することができる。なお、本例の表示部５０は、レンチキュラー方式の場合を説明したが、表示部５０は、パララックスバリア方式であってもよい。
　また、多視点画像生成部１４は、画像取得部１２が取得した右画像および左画像からそれぞれ生成する画像間のシフト量の最大値が、当該右画像および左画像の間の最大視差量より小さくなるように、各視点に対するシフト画像を生成することが好ましい。例えば、図３および図４の例を用いて説明すると、多視点画像生成部１４は、左端の左眼用画像と、右端の左眼用画像との間のシフト量６ｄａが、最大視差量ｄ１よりも十分小さくなるように、単位シフト量ｄａを設定する。同様に多視点画像生成部１４は、右眼用画像におけるシフト量の最大値６ｄａが、最大視差量ｄ１よりも十分小さくなるように、単位シフト量ｄａを設定する。なお本例では、右眼用画像および左眼用画像において、それぞれの単位シフト量ｄａは同一である。
　なお、上述した例では、多視点画像生成部１４は、均一なシフト量ｄａで元の左画像および右画像を順次シフトした左眼用画像および右眼用画像を生成したが、他の例では、多視点画像生成部１４は、非均一なシフト量で元の画像を順次シフトした左眼用画像および右眼用画像を生成してもよい。例えば、複数の視点のうち、中央付近の視点に対応する左眼用画像および右眼用画像については、隣接する左眼用画像および右眼用画像に対するシフト量を比較的に小さくし、端部付近の視点に対応する左眼用画像および右眼用画像については、隣接する左眼用画像および右眼用画像に対するシフト量を比較的に大きくする。この場合、複数の視点のうちの中央付近において、利用者の視点が切り替わった場合に、表示される画像の差が小さいので、画像を滑らかに切り替えることができる。
　また、複数の視点のうち、中央付近の視点に対応する左眼用画像および右眼用画像については、隣接する左眼用画像および右眼用画像に対するシフト量を比較的に大きくし、端部付近の視点に対応する左眼用画像および右眼用画像については、隣接する左眼用画像および右眼用画像に対するシフト量を比較的に小さくしてもよい。この場合、複数の視点のうちの端部付近において、利用者の視点が切り替わった場合に、画像を滑らかに切り替えることができる。
　図７は、画像処理部１０の他の構成例を示す図である。本例の画像処理部１０は、画像取得部１２、左右画像生成部１６、および、多視点画像生成部１４を有する。画像取得部１２は、１つの２次元画像を取得する。画像取得部１２は、外部の装置から２次元画像を取得してよく、被写体を撮像することで２次元画像を取得してもよい。
　左右画像生成部１６は、画像取得部１２が取得した２次元画像の全体をシフトすることで、複数の視点のうちの隣接する２視点に対する右画像および左画像を生成し、多視点画像生成部１４に入力する。左右画像生成部１６は、人間の両眼の間隔に応じた眼幅シフト量で、２次元画像の全体をシフトしてよい。例えば左右画像生成部１６は、生成される右画像および左画像の間のシフト量が６．５ｃｍ程度の眼幅シフト量となるように、２次元画像の全体をシフトして右画像および左画像を生成する。
　多視点画像生成部１４は、左右画像生成部１６から受け取った右画像および左画像に基づいて、右眼用画像および左眼用画像をｎ／２個ずつ生成する。多視点画像生成部１４が複数の右眼用画像および左眼用画像を生成する処理は、図２に関連して説明した多視点画像生成部１４と同一であってよい。このような構成により、１つの２次元画像から、多視点用の左眼用画像および右眼用画像を容易に生成することができる。
　図８は、左右画像生成部１６における処理例を示す図である。左右画像生成部１６は、受け取った２次元画像に基づいて、予め定められた眼幅シフト量ｄだけ、画像全体がｘ軸方向に相対的にシフトした左画像および右画像を生成する。当該左画像および右画像を利用者の左眼および右眼に選択的に表示することで、各被写体が無限遠に存在するような立体的画像を提供することができる。
　なお、多視点画像生成部１４は、右画像および左画像から生成する左眼用画像および右眼用画像のそれぞれのシフト量の最大値が、左右画像生成部１６における眼幅シフト量ｄより十分小さくなるように、各視点に対する右画像および左画像を生成することが好ましい。また、多視点画像生成部１４は、図２に関連して説明した多視点画像生成部１４と同様に、非均一なシフト量で左右画像を順次シフトした左眼用画像および右眼用画像を生成してもよい。
　図９は、多視点画像生成部１４の構成例を示す図である。本例の多視点画像生成部１４は、メモリ３０、複数の遅延部３２、出力部３４、および、制御部３６を有する。なお図９では、多視点画像生成部１４の構成のうち、左画像または右画像の一方を処理する構成を説明するが、多視点画像生成部１４は、図９と同様の構成を、左画像または右画像の他方を処理するために更に有する。
　メモリ３０は、右画像または左画像を格納し、端の画素列から順番に、画素列単位でデータを出力する。当該画素列は、上述したｘ軸方向と垂直な方向に沿った画素列を指す。遅延部３２は、視点数に応じた個数（本例ではｎ／２個）が、縦続接続されて設けられる。つまり、複数の遅延部３２は、左画像または右画像に対して多視点画像生成部１４が出力するｎ／２個の左眼用画像または右眼用画像に対応する。
　制御部３６は、それぞれの遅延部３２における遅延量を、対応する左眼用画像および右眼用画像におけるシフト量に応じて設定する。例えば、直前の左眼用画像または右眼用画像に対するシフト量が１０画素列である左眼用画像または右眼用画像に対応する遅延部３２に対して、制御部３６は、メモリ３０から１０画素列を読み出す時間を遅延時間として設定する。制御部３６は、上述したように、均一なシフト量に対応して均一な遅延量を設定してよく、非均一なシフト量に対応して不均一な遅延量を設定してもよい。
　出力部３４は、複数の遅延部３２が出力する画素列のデータを並列に受け取る。上述したように、それぞれの遅延部３２がシフト量に応じた遅延量でメモリ３０からのデータを遅延させるので、出力部３４は、図４に示した画素列Ｌ（３）、Ｌ（２）、・・・のような、画像における位置がｘ軸方向にシフトした画素列のデータを並列に受け取る。
　出力部３４は、並列に受け取った画素列を予め定められた順番で配列した合成データを、表示部５０に供給する。また、表示部５０は、１つの画面に多数の視点用の画像を表示するので、１つの視点に対する画像は、元の画像に比べて画素列が間引かれる。出力部３４は、視点の数に応じた列数の画素列がメモリ３０から読み出される期間毎に、１つの合成データを生成して表示部５０に供給することで、視点数に応じて画素列を間引いたデータを生成してよい。
　このような構成により、視点数に応じて画素列を間引いた複数の左眼用画像および右眼用画像を、表示部５０に容易に表示させることができる。また、左眼用画像および右眼用画像におけるシフト量を、容易に調整することができる。
　図１０は、表示部５０の他の構成例を示す図である。本例の表示部５０は、表示素子５２およびバリア部５６を有する。バリア部５６は、光を透過する透過部および光を遮蔽する遮蔽部が予め定められた配列パターンで配列される。バリア部５６は、光を透過するか否かを制御するシャッタ素子がマトリクス状に形成され、それぞれのシャッタ素子に、光を透過させるか否かを制御することで配列パターンが変更できることが好ましい。バリア部５６は、液晶パネルを有してよい。
　表示素子５２は、図６に関連して説明した表示素子５２と同一であってよい。表示素子５２は、それぞれのシフト画像の、バリア部５６における透過部および遮蔽部の配列パターンに応じた領域を、バリア部５６に向けて表示する。バリア部５６は、表示素子５２に対向する領域に、表示素子５２の上端から下端に渡って予め定められた幅を有する短冊状の透過部および遮蔽部が交互に配置されてよい。この場合、表示素子５２は、それぞれのシフト画像から、バリア部５６の透過部の幅を視点数で除算した幅を有する短冊状の画素列を抽出して、それぞれのシフト画像の画素列を予め定められた配列順序で表示する。
　また、表示素子５２は、バリア部５６における透過部および遮蔽部の配列パターンの変更に応じて、それぞれの左眼用画像および右眼用画像から抽出する領域のパターンを変更してよい。例えば、バリア部５６における短冊状の透過部の幅が変更された場合、それぞれの左眼用画像および右眼用画像から抽出する画素列の幅を、変更後の透過部の幅に応じて調整する。
　また、バリア部５６の透過部および遮蔽部の配列パターンは、多様なパターンを有することができる。バリア部５６の透過部および遮蔽部は、表示素子５２の上端から下端に渡って斜めに設けられてよく、表示素子５２の右端から左端に渡って設けられてもよい。また、バリア部５６の透過部および遮蔽部は、千鳥状に配列されてもよい。つまり、バリア部５６の透過部および遮蔽部は、表示素子５２の上下方向および左右方向のいずれにおいても交互に配置されてよい。表示素子５２は、これらのバリア部５６の透過部および遮蔽部の配列パターンに応じて、それぞれの左眼用画像および右眼用画像から抽出する領域の形状を定めてよい。
　図１１は、画像処理部１０の他の構成例を示す図である。本例の画像処理部１０は、図１から図１０に関連して説明したいずれかの画像処理部１０の構成に加え、視点設定部２０を更に有する。図１１では、図２に関連して説明した画像処理部１０の構成に、視点設定部２０を追加した構成を説明する。
　視点設定部２０は、多視点画像生成部１４に対して視点数ｎを設定する。視点設定部２０は、使用者等から設定される視点数により、多視点画像生成部１４に視点数ｎを設定してよい。多視点画像生成部１４は、設定される視点数ｎに応じて、それぞれの視点に対応するシフト画像を生成する。また、多視点画像生成部１４は、設定される視点数ｎに応じて、左眼用画像および右眼用画像におけるシフト量を変更してもよい。例えば、多視点画像生成部１４は、予め設定されるトータルシフト量を、設定される視点数に応じた数で除算することで、左眼用画像および右眼用画像のそれぞれのシフト量を算出する。
　また、視点設定部２０は、画像取得部１２が取得する画像に含まれる被写体に基づいて、多視点画像生成部１４に視点数を設定する被写体判定部２２を有してよい。被写体判定部２２は、より高い分解能で画像を表示することが好ましい被写体が画像に含まれている場合に、多視点画像生成部１４における視点数を比較的に少なくしてよい。より具体的には、被写体判定部２２は、画像取得部１２が取得する画像に含まれる被写体の空間周波数がより高い場合に、多視点画像生成部１４における視点数をより少なくしてよい。
　また、視点設定部２０は、画像取得部１２が取得する画像に含まれる被写体の距離情報を取得して、取得した距離情報に応じて、多視点画像生成部１４に視点数を設定する距離取得部２４を有してよい。距離取得部２４は、当該画像に添付される撮影条件のデータを取得してよい。また、画像取得部１２がステレオの右画像および左画像を取得する場合、距離取得部２４は、右画像および左画像に含まれる被写体の視差量に基づいて、被写体の距離情報を取得してよい。
　距離取得部２４は、被写体までの距離がより近い場合に、多視点画像生成部１４における視点数をより多くしてよい。また、視点設定部２０は、被写体判定部２２および距離取得部２４を組み合わせて、多視点画像生成部１４における視点数を設定してもよい。
　また、多視点画像生成部１４は、利用者の位置に基づいて、左眼用画像および右眼用画像の、隣接する左眼用画像および右眼用画像に対するシフト量を変化させてよい。例えば、利用者の位置により近い視点に対応する左眼用画像および右眼用画像については、シフト量をより小さくする。これにより、利用者の位置の近傍の視点では、画像の動きを滑らかにすることができる。画像処理部１０は、利用者の位置を検出し、多視点画像生成部１４に通知する位置検出部を更に備えてよい。位置検出部は、例えばＣＣＤ素子等の撮像装置を有する。
　図１２は、画像処理部１０の他の構成例を示す図である。本例の画像処理部１０は、図１から図１１に関連して説明したいずれかの画像処理部１０の構成に加え、画像評価部４０および補間画像生成部３８を更に有する。図１２では、図２に関連して説明した画像処理部１０の構成に、画像評価部４０および補間画像生成部３８を追加した構成を示す。他の構成は、図１から図１１に関連して説明したいずれかの画像処理部１０と同一であってよい。
　補間画像生成部３８は、多視点画像生成部１４に与えられる右画像および左画像における対応点の関係に基づいて、多視点画像生成部１４とは別に、複数の視点に対する右眼用画像および左眼用画像を生成する。補間画像生成部３８は、右画像および左画像における対応点の間の動きベクトルを算出してよく、視差を算出してもよい。補間画像生成部３８は、当該右画像または当該左画像に対して各視点の画像が有するべき動きベクトルまたは視差を、各視点の位置に基づいて補間して算出する。当該補間は、２視点の内側の視点における値を、２視点の値に基づいて補間する処理と、２視点の外側の視点における値を、２視点の値に基づいて外挿する処理とを含む。
　例えば補間画像生成部３８は、当該右画像および当該左画像の視点の位置の差と、当該右画像の視点および他の視点の位置の差との比を、当該右画像および当該左画像の間の動きベクトルまたは視差に乗じた補間ベクトルまたは補間視差を算出する。そして補間画像生成部３８は、当該右画像に対して、補間ベクトルまたは補間視差を有する画像を、当該他の視点に対する画像として生成する。同様に、各視点における補間ベクトルまたは補間視差を生成することで、補間画像生成部３８は、与えられる右画像および左画像から、複数の視点に対する画像を生成することができる。
　画像評価部４０は、補間画像生成部３８により生成される右眼用画像および左眼用画像を評価する。ここで評価とは、当該右眼用画像および左眼用画像により、適切な立体的画像を提供できるか否かの評価を指す。画像評価部４０は、補間画像生成部３８に与えられる右画像および左画像に基づいて当該評価を行ってよく、補間画像生成部３８が生成した右眼用画像および左眼用画像に基づいて当該評価を行ってよく、補間画像生成部３８における画像処理の過程で検出されるパラメータに基づいて当該評価を行ってもよい。
　一例として、補間画像生成部３８は、与えられる右画像および左画像において同一の被写体が撮像された対応点を複数検出して、それぞれの対応点間の動きベクトルまたは視差から、画像全体の動きベクトルまたは視差を推定する。このため、補間画像生成部３８が検出する対応点の数が多いほど、画像全体の動きベクトルまたは視差を精度よく推定することができる。
　なお、補間画像生成部３８は、右画像および左画像のエッジ成分等を比較することで、対応点を検出してよい。このため、必ずしも十分な数の対応点を検出できるとは限らない。画像評価部４０は、補間画像生成部３８が検出した対応点の数が予め定められた値以下の場合に、補間画像生成部３８により生成される右眼用画像および左眼用画像が、適切な立体的画像を提供できないと判定してよい。
　また、補間画像生成部３８が検出する対応点が、画像全体にまんべんなく分布しているほど、画像全体の動きベクトルまたは視差を精度よく推定することができる。画像評価部４０は、補間画像生成部３８が検出した対応点の分布に基づいて、補間画像生成部３８により生成される右眼用画像および左眼用画像を評価してもよい。例えば画像評価部４０は、それぞれの対応点の間の距離の最大値が、予め定められた値以上の場合に、補間画像生成部３８により生成される右眼用画像および左眼用画像が、適切な立体的画像を提供できないと評価する。
　表示部５０は、画像評価部４０における評価結果が予め定められたレベル以下の場合に、多視点画像生成部１４が生成した右眼用画像および左眼用画像を表示する。また、表示部５０は、画像評価部４０における評価結果が当該レベルより高い場合に、補間画像生成部３８が生成した右眼用画像および左眼用画像を表示する。例えば表示部５０は、補間画像生成部３８により生成される右眼用画像および左眼用画像が、適切な立体的画像を提供できないと評価された場合に、多視点画像生成部１４が生成した右眼用画像および左眼用画像を表示する。
　多視点画像生成部１４および補間画像生成部３８は、並行して画像を生成してよい。また他の動作例では、多視点画像生成部１４は、画像評価部４０における評価結果が当該レベル以下の場合に、右眼用画像および左眼用画像を生成してよい。つまり、補間画像生成部３８により生成される右眼用画像および左眼用画像が、適切な立体的画像を提供できると評価された場合には、多視点画像生成部１４は、右眼用画像および左眼用画像を生成しなくともよい。
　また、補間画像生成部３８は、右画像および左画像における対応点の数または分布による評価が、予め定められたレベル以下の場合には、右眼用画像および左眼用画像を生成しなくともよい。この場合、上述したように多視点画像生成部１４から表示部５０に、複数視点用の右眼用画像および左眼用画像が提供される。多視点画像生成部１４および補間画像生成部３８に右眼用画像および左眼用画像を生成させるかは、画像評価部４０が制御してよい。
　また、画像評価部４０は、補間画像生成部３８が生成した複数組の右眼用画像および左眼用画像の間の視差の最大値と、予め定められた値とを比較して、当該右眼用画像および左眼用画像を評価してもよい。当該視差の最大値は、対応する右眼用画像および左眼用画像における各対応点の視差を、右眼用画像および左眼用画像の組み合わせ毎に算出し、算出した全ての視差のうちの最大値を指す。画像評価部４０は、当該視差の最大値が所定値以上の場合に、右眼用画像および左眼用画像が、適切な立体的画像を提供できないと評価してよい。また、画像評価部４０は、利用者による評価結果の情報を受け取ってもよい。
　また、図１から図１２に関連して説明した画像取得部１２は、複数の画像を含む動画像を取得してもよい。この場合、画像処理部１０は、動画像の各フレームの画像について、図１から図１２に関連して説明した処理により、複数の左眼用画像および右眼用画像を生成する。画像処理部１０は、簡易な処理により複数の左眼用画像および右眼用画像を生成することができるので、動画像がストリーミングで配信される場合であっても、動画像の各フレームにおいて複数の左眼用画像および右眼用画像を逐次生成することができる。
　また、図１から図１２に関連して説明した多視点画像生成部１４は、左画像および右画像の間で、それぞれ同一のシフト量を用いて、それぞれの左眼用画像および右眼用画像を生成した。他の例では、多視点画像生成部１４は、左画像および右画像の間で、異なるシフト量を用いて、それぞれの左眼用画像および右眼用画像を生成してもよい。つまり、左眼用画像および右眼用画像において、左右間で対応する画像間のシフト量を、視点位置により異ならせてよい。これにより、視点位置に応じて奥行き感が変化する画像を表示することができる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０・・・画像処理部、１２・・・画像取得部、１４・・・多視点画像生成部、１６・・・左右画像生成部、２０・・・視点設定部、２２・・・被写体判定部、２４・・・距離取得部、３０・・・メモリ、３２・・・遅延部、３４・・・出力部、３６・・・制御部、３８・・・補間画像生成部、４０・・・画像評価部、５０・・・表示部、５２・・・表示素子、５４・・・レンズアレイ、５６・・・バリア部、６２、６４・・・被写体、１００・・・画像表示装置

Claims (19)

  1. 　複数組の右眼用画像および左眼用画像を、それぞれ対応する視点に向けて表示する画像表示装置であって、
    　予め定められた２視点に対応する右画像および左画像を受け取り、受け取った前記右画像および前記左画像の全体をそれぞれシフトすることで、複数の視点に対する前記右眼用画像および前記左眼用画像を生成する多視点画像生成部と、
    　前記多視点画像生成部が生成した前記右眼用画像および前記左眼用画像を、それぞれ対応する視点に向けて表示する表示部と
    　を備える画像表示装置。
  2. 　前記多視点画像生成部は、異なる位置から撮像された２次元画像を、前記予め定められた２視点に対する前記右画像および前記左画像として取得する
    　請求項１に記載の画像表示装置。
  3. 　前記多視点画像生成部は、前記左眼用画像および前記右眼用画像のシフト量の最大値が、前記予め定められた２視点に対する前記右画像および前記左画像の間の最大視差量より小さくなるように、前記左眼用画像および前記右眼用画像を生成する
    　請求項２に記載の画像表示装置。
  4. 　与えられる２次元画像の全体をシフトすることで、前記予め定められた２視点に対する前記右画像および前記左画像を生成し、前記多視点画像生成部に入力する左右画像生成部を更に備える
    　請求項１に記載の画像表示装置。
  5. 　前記左右画像生成部は、前記２次元画像の全体を予め定められた眼幅シフト量でシフトすることで、複数の視点のうちの隣接する２視点に対する前記右画像および前記左画像を生成し、
    　前記多視点画像生成部は、前記左眼用画像および前記右眼用画像のシフト量の最大値が、前記眼幅シフト量より小さくなるように、前記左眼用画像および前記右眼用画像を生成する
    　請求項４に記載の画像表示装置。
  6. 　前記多視点画像生成部は、前記予め定められた２視点に対する前記右画像および前記左画像の全体を、非均一なシフト量で順次シフトした前記左眼用画像および前記右眼用画像を生成する
    　請求項１から５のいずれか１項に記載の画像表示装置。
  7. 　前記多視点画像生成部は、利用者の位置に基づいて、それぞれの前記左眼用画像および前記右眼用画像のシフト量を変化させる
    　請求項６に記載の画像表示装置。
  8. 　前記表示部は、
    　光を透過する透過部および光を遮蔽する遮蔽部が予め定められた配列パターンで配列されたバリア部と、
    　それぞれの前記左眼用画像および前記右眼用画像の、前記配列パターンに応じた領域を、前記バリア部に向けて表示する表示素子と
    　を有する請求項１から７のいずれか１項に記載の画像表示装置。
  9. 　前記バリア部は、光を透過するか否かを制御するシャッタ素子がマトリクス状に形成され、それぞれの前記シャッタ素子に、光を透過させるか否かを制御することで前記配列パターンが変更でき、
    　前記表示素子は、それぞれの前記左眼用画像および前記右眼用画像について表示する領域の形状を、前記配列パターンの変更に応じて変更する
    　請求項８に記載の画像表示装置。
  10. 　前記多視点画像生成部は、設定される視点数に応じて、それぞれの視点に対応する前記左眼用画像および前記右眼用画像を生成する
    　請求項１から９のいずれか１項に記載の画像表示装置。
  11. 　画像に含まれる被写体に基づいて、前記多視点画像生成部に前記視点数を設定する被写体判定部を更に備える
    　請求項１０に記載の画像表示装置。
  12. 　画像に含まれる被写体の距離情報を取得して、取得した前記被写体の距離情報に応じて、前記多視点画像生成部に前記視点数を設定する距離取得部を更に備える
    　請求項１０に記載の画像表示装置。
  13. 　前記右画像および前記左画像における対応点の関係に基づいて、前記多視点画像生成部とは別に、前記複数の視点に対する前記右眼用画像および前記左眼用画像を生成する補間画像生成部と、
    　前記補間画像生成部により生成される前記右眼用画像および前記左眼用画像を評価する画像評価部と
    　を更に備え、
    　前記表示部は、前記画像評価部における評価結果が予め定められたレベル以下の場合に、前記多視点画像生成部が生成した前記右眼用画像および前記左眼用画像を表示する
    　請求項１から１２のいずれかに記載の画像表示装置。
  14. 　前記多視点画像生成部は、前記画像評価部における評価結果が前記予め定められたレベル以下の場合に、前記右眼用画像および前記左眼用画像を生成する
    　請求項１３に記載の画像表示装置。
  15. 　前記補間画像生成部は、前記右画像および前記左画像において同一の被写体が撮像された前記対応点を複数検出し、それぞれの前記対応点に基づいて、前記複数の視点に対する前記右眼用画像および前記左眼用画像を生成し、
    　前記画像評価部は、前記補間画像生成部が検出した前記対応点の数に基づいて、前記補間画像生成部により生成される前記右眼用画像および前記左眼用画像を評価する
    　請求項１３または１４に記載の画像表示装置。
  16. 　前記補間画像生成部は、前記右画像および前記左画像において同一の被写体が撮像された前記対応点を複数検出し、それぞれの前記対応点に基づいて、前記複数の視点に対する前記右眼用画像および前記左眼用画像を生成し、
    　前記画像評価部は、前記補間画像生成部が検出した前記対応点の分布に基づいて、前記補間画像生成部により生成される前記右眼用画像および前記左眼用画像を評価する
    　請求項１３または１４に記載の画像表示装置。
  17. 　前記補間画像生成部は、前記画像評価部における評価結果が前記予め定められたレベル以下の場合には、前記右眼用画像および前記左眼用画像を生成しない
    　請求項１５または１６に記載の画像表示装置。
  18. 　前記画像評価部は、前記補間画像生成部が生成した複数組の前記右眼用画像および前記左眼用画像の間の視差の最大値と、予め定められた値とを比較して、前記補間画像生成部が生成した前記右眼用画像および前記左眼用画像を評価する
    　請求項１３または１４に記載の画像表示装置。
  19. 　複数組の右眼用画像および左眼用画像を、それぞれ対応する視点に向けて表示する画像表示方法であって、
    　予め定められた２視点に対する右画像および左画像を受け取り、受け取った前記右画像および前記左画像の全体をそれぞれシフトすることで、複数の視点に対する前記左眼用画像および前記右眼用画像を生成する多視点画像生成段階と、
    　前記多視点画像生成段階で生成した前記左眼用画像および前記右眼用画像を、それぞれ対応する視点に向けて表示する表示段階と
    　を備える画像表示方法。
PCT/JP2010/005701 2009-10-08 2010-09-17 画像表示装置および画像表示方法 WO2011043022A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020127010124A KR101427491B1 (ko) 2009-10-08 2010-09-17 화상 표시 장치 및 화상 표시 방법
CN201080045445.1A CN102714030B (zh) 2009-10-08 2010-09-17 图像显示装置及图像显示方法
US13/441,921 US20120194905A1 (en) 2009-10-08 2012-04-09 Image display apparatus and image display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009234646A JP5663857B2 (ja) 2009-10-08 2009-10-08 画像表示装置および画像表示方法
JP2009-234646 2009-10-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/441,921 Continuation US20120194905A1 (en) 2009-10-08 2012-04-09 Image display apparatus and image display method

Publications (1)

Publication Number Publication Date
WO2011043022A1 true WO2011043022A1 (ja) 2011-04-14

Family

ID=43856507

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/005701 WO2011043022A1 (ja) 2009-10-08 2010-09-17 画像表示装置および画像表示方法

Country Status (6)

Country Link
US (1) US20120194905A1 (ja)
JP (1) JP5663857B2 (ja)
KR (1) KR101427491B1 (ja)
CN (1) CN102714030B (ja)
TW (1) TWI517136B (ja)
WO (1) WO2011043022A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066025A (ja) * 2011-09-16 2013-04-11 Jvc Kenwood Corp 映像表示装置及び映像表示方法
EP2645724A1 (en) * 2011-11-11 2013-10-02 Sony Corporation Transmitting apparatus, transmitting method, receiving apparatus and receiving method
US8896879B2 (en) 2011-02-08 2014-11-25 Fujifilm Corporation Device and method for stereoscopic image printing
US20150054915A1 (en) * 2012-04-02 2015-02-26 Samsung Electronics Co., Ltd. Multiple-view image displaying apparatus for improving picture quality and a method thereof
EP2807827A4 (en) * 2012-01-25 2015-03-04 Lumenco Llc CONVERTING A DIGITAL STEREO IMAGE IN SEVERAL VIEWS WITH PARALLAX FOR 3D VISUALIZATION WITHOUT GLASSES

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012108405A1 (ja) * 2011-02-08 2012-08-16 富士フイルム株式会社 立体画像印画装置及び立体画像印画方法
TWI485654B (zh) * 2012-06-28 2015-05-21 Imec Taiwan Co 成像系統及方法
KR101983369B1 (ko) * 2013-01-11 2019-05-28 엘지디스플레이 주식회사 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101980352B1 (ko) * 2013-01-16 2019-05-20 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
JP2014230251A (ja) * 2013-05-27 2014-12-08 ソニー株式会社 画像処理装置、および画像処理方法
EP3158536B1 (en) * 2014-06-19 2019-01-02 Koninklijke Philips N.V. Method and apparatus for generating a three dimensional image

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205201A (ja) * 1995-01-31 1996-08-09 Sony Corp 疑似立体視方法
JPH0927969A (ja) * 1995-05-08 1997-01-28 Matsushita Electric Ind Co Ltd 複数画像の中間像生成方法及び視差推定方法および装置
JPH1032840A (ja) * 1996-04-05 1998-02-03 Matsushita Electric Ind Co Ltd 多視点画像伝送方法および多視点画像表示方法
JP2000020707A (ja) * 1998-07-07 2000-01-21 Dainippon Screen Mfg Co Ltd 画像生成方法および画像生成プログラムを記録した記録媒体
JP2000057350A (ja) * 1998-08-10 2000-02-25 Toshiba Corp 画像処理装置と方法及び画像送信装置と方法
JP2002159022A (ja) * 2000-11-17 2002-05-31 Fuji Xerox Co Ltd 視差画像生成装置および視差画像生成方法
JP2006154809A (ja) * 2004-11-30 2006-06-15 Samsung Sdi Co Ltd バリア装置，立体映像表示装置及びその駆動方法
WO2010084724A1 (ja) * 2009-01-21 2010-07-29 株式会社ニコン 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
WO2010084716A1 (ja) * 2009-01-21 2010-07-29 株式会社ニコン 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JP2010259017A (ja) * 2009-04-28 2010-11-11 Nikon Corp 表示装置、表示方法、および表示プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3311832B2 (ja) * 1992-10-14 2002-08-05 テルモ株式会社 立体画像表示装置
DE69434685T2 (de) * 1993-08-04 2006-09-14 Canon K.K. Bildverarbeitungsverfahren und -gerät
JP3516774B2 (ja) * 1995-06-14 2004-04-05 三菱電機株式会社 立体映像表示装置
JP2005091447A (ja) * 2003-09-12 2005-04-07 Canon Inc 立体表示装置
KR100560464B1 (ko) * 2005-03-30 2006-03-13 (주)디노스 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
CN101390131B (zh) * 2006-02-27 2013-03-13 皇家飞利浦电子股份有限公司 呈现输出图像
JP5396877B2 (ja) * 2009-01-21 2014-01-22 株式会社ニコン 画像処理装置、プログラム、画像処理方法、および記録方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205201A (ja) * 1995-01-31 1996-08-09 Sony Corp 疑似立体視方法
JPH0927969A (ja) * 1995-05-08 1997-01-28 Matsushita Electric Ind Co Ltd 複数画像の中間像生成方法及び視差推定方法および装置
JPH1032840A (ja) * 1996-04-05 1998-02-03 Matsushita Electric Ind Co Ltd 多視点画像伝送方法および多視点画像表示方法
JP2000020707A (ja) * 1998-07-07 2000-01-21 Dainippon Screen Mfg Co Ltd 画像生成方法および画像生成プログラムを記録した記録媒体
JP2000057350A (ja) * 1998-08-10 2000-02-25 Toshiba Corp 画像処理装置と方法及び画像送信装置と方法
JP2002159022A (ja) * 2000-11-17 2002-05-31 Fuji Xerox Co Ltd 視差画像生成装置および視差画像生成方法
JP2006154809A (ja) * 2004-11-30 2006-06-15 Samsung Sdi Co Ltd バリア装置，立体映像表示装置及びその駆動方法
WO2010084724A1 (ja) * 2009-01-21 2010-07-29 株式会社ニコン 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
WO2010084716A1 (ja) * 2009-01-21 2010-07-29 株式会社ニコン 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JP2010259017A (ja) * 2009-04-28 2010-11-11 Nikon Corp 表示装置、表示方法、および表示プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896879B2 (en) 2011-02-08 2014-11-25 Fujifilm Corporation Device and method for stereoscopic image printing
US9097964B2 (en) 2011-02-08 2015-08-04 Fujifilm Corporation Device and method for stereoscopic image printing
JP2013066025A (ja) * 2011-09-16 2013-04-11 Jvc Kenwood Corp 映像表示装置及び映像表示方法
EP2645724A1 (en) * 2011-11-11 2013-10-02 Sony Corporation Transmitting apparatus, transmitting method, receiving apparatus and receiving method
EP2645724A4 (en) * 2011-11-11 2014-08-06 Sony Corp SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE
US9693033B2 (en) 2011-11-11 2017-06-27 Saturn Licensing Llc Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
EP2807827A4 (en) * 2012-01-25 2015-03-04 Lumenco Llc CONVERTING A DIGITAL STEREO IMAGE IN SEVERAL VIEWS WITH PARALLAX FOR 3D VISUALIZATION WITHOUT GLASSES
US9786253B2 (en) 2012-01-25 2017-10-10 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3D viewing without glasses
US20150054915A1 (en) * 2012-04-02 2015-02-26 Samsung Electronics Co., Ltd. Multiple-view image displaying apparatus for improving picture quality and a method thereof

Also Published As

Publication number Publication date
US20120194905A1 (en) 2012-08-02
KR101427491B1 (ko) 2014-08-07
CN102714030A (zh) 2012-10-03
CN102714030B (zh) 2015-07-15
JP5663857B2 (ja) 2015-02-04
KR20120053536A (ko) 2012-05-25
TW201137854A (en) 2011-11-01
JP2011081272A (ja) 2011-04-21
TWI517136B (zh) 2016-01-11

Similar Documents

Publication Publication Date Title
JP5663857B2 (ja) 画像表示装置および画像表示方法
JP4657313B2 (ja) 立体画像表示装置および方法並びにプログラム
CN103493484B (zh) 成像装置和成像方法
JP4925354B2 (ja) 画像処理装置、画像表示装置、撮像装置及び画像処理方法
KR20110049039A (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
US9154765B2 (en) Image processing device and method, and stereoscopic image display device
JP2013038503A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2013021481A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5533529B2 (ja) 画像処理装置及び画像処理システム
US20140022359A1 (en) Stereoscopic imaging apparatus and stereoscopic imaging method
US20140300703A1 (en) Image processing apparatus, image processing method, and program
JP3990271B2 (ja) 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
JP2013005135A (ja) 画像処理装置および方法、並びにプログラム
JPWO2011070774A1 (ja) ３ｄ映像処理装置および３ｄ映像処理方法
KR102128336B1 (ko) 3차원 영상 왜곡 보정 장치 및 방법
JP2013090129A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
JP2014017543A (ja) 画像処理装置およびその制御方法、並びにプログラム
JP6045280B2 (ja) 撮像装置
JP2013197770A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
US20150358603A1 (en) Stereoscopic focus point adjustment
JP2011102993A (ja) 立体画像表示装置および方法並びにプログラム
KR20140000723A (ko) 3ｄ 카메라 모듈

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080045445.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10821700

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20127010124

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 10821700

Country of ref document: EP

Kind code of ref document: A1