WO2015132828A1 - 映像表示方法、及び、映像表示装置 - Google Patents

映像表示方法、及び、映像表示装置 Download PDF

Info

Publication number
WO2015132828A1
WO2015132828A1 PCT/JP2014/005289 JP2014005289W WO2015132828A1 WO 2015132828 A1 WO2015132828 A1 WO 2015132828A1 JP 2014005289 W JP2014005289 W JP 2014005289W WO 2015132828 A1 WO2015132828 A1 WO 2015132828A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
sub
video
viewer
distance
Prior art date
Application number
PCT/JP2014/005289
Other languages
English (en)
French (fr)
Inventor
渡辺 辰巳
増谷 健
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to US14/786,739 priority Critical patent/US9986226B2/en
Priority to JP2015534708A priority patent/JPWO2015132828A1/ja
Publication of WO2015132828A1 publication Critical patent/WO2015132828A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • G03B35/24Stereoscopic photography by simultaneous viewing using apertured or refractive resolving means on screens or between screen and eye
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Definitions

  • the present disclosure relates to a video display method and a video display device for displaying a naked-eye 3D video.
  • Non-Patent Document 1 a parallax barrier (parallax barrier) or a lenticular lens are disposed on the viewer side of a display panel such as a liquid crystal panel, a PDP (plasma display panel), and an organic EL panel.
  • a parallax barrier parallax barrier
  • a lenticular lens disposed on the viewer side of a display panel such as a liquid crystal panel, a PDP (plasma display panel), and an organic EL panel.
  • JP 9-233500 A International Publication No. 2012/131877 JP 2002-303821 A
  • This disclosure provides a video display method and the like that can display a naked-eye 3D video smoothly (smoothly) following a change in the visual recognition position of the viewer.
  • the video display method of the present disclosure is a video display method using a display device that displays naked-eye 3D video, and the display device includes a display unit in which sub-pixels constituting pixels are arranged in a matrix,
  • the left-eye video and the right-eye video are alternately arranged for each display unit including n (n is an integer of 2 or more) sub-pixels in the sub-pixel row of the display unit.
  • the video display method of the present disclosure is a video display method using a display device that displays naked-eye 3D video, and the display device includes a display unit in which sub-pixels constituting pixels are arranged in a matrix,
  • a detecting step for detecting a distance from the display unit to the viewer and a horizontal position of the viewer.
  • the detected display unit to the viewer is detected. Based on the distance and the detected horizontal position of the viewer, the display positions of the left-eye video and the right-eye video in the sub-pixel row are shifted by a predetermined number of sub-pixels.
  • the video display method according to the present disclosure can smoothly display a naked-eye 3D video following a change in the viewing position of the viewer.
  • FIG. 1 is a diagram for explaining a general pixel arrangement.
  • FIG. 2 is a block diagram illustrating a configuration of the video display apparatus according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of the control unit.
  • FIG. 4 is a diagram for explaining the structure of the video display unit and the video separation unit.
  • FIG. 5 is a block diagram illustrating a configuration of the position detection unit.
  • FIG. 6 is a diagram showing an outline of the position detection process.
  • FIG. 7 is a block diagram illustrating a configuration of the head detection unit.
  • FIG. 8 is a schematic diagram for explaining an example of pattern matching.
  • FIG. 9 is a diagram for explaining the parallax image arrangement control when the observer moves in the horizontal direction at the appropriate viewing distance Lc.
  • FIG. 9 is a diagram for explaining the parallax image arrangement control when the observer moves in the horizontal direction at the appropriate viewing distance Lc.
  • FIG. 10 is a first diagram for explaining the arrangement control when the observer moves in the horizontal direction at a position of a distance Ld different from the appropriate viewing distance Lc.
  • FIG. 11 is a second diagram for explaining the arrangement control when the observer moves in the horizontal direction at a position of a distance Ld different from the appropriate viewing distance Lc.
  • FIG. 12 is a flowchart of the operation of the video display apparatus according to the first embodiment.
  • FIG. 13 is a block diagram illustrating a configuration of the distance detection unit.
  • FIG. 14 is a diagram for explaining the operation of the distance detection unit.
  • FIG. 15 is a block diagram illustrating a configuration of the video display apparatus according to the second embodiment.
  • FIG. 16 is a block diagram illustrating a configuration of a control unit according to the second embodiment.
  • FIG. 17 is a diagram for explaining the operation of the video display apparatus according to the second embodiment.
  • FIG. 18 is a block diagram showing the configuration of the video display apparatus according to Embodiment 3.
  • FIG. 19 is a block diagram illustrating a configuration of a control unit according to the third embodiment.
  • FIG. 20 is a diagram for explaining the operation of the video display device according to the third embodiment.
  • FIG. 21 is a schematic diagram for explaining the panel distortion of the video display unit.
  • FIG. 22 is a flowchart of the operation of the video display apparatus according to the third embodiment.
  • FIG. 23 is a block diagram showing a configuration of the video display apparatus according to Embodiment 4.
  • FIG. 24 is a block diagram illustrating a configuration of a control unit according to the fourth embodiment.
  • FIG. 25 is a diagram for explaining the operation of the video display apparatus according to the fourth embodiment.
  • FIG. 26 is a diagram illustrating an example of a video display device in which a video separation unit is disposed between the liquid crystal panel and the backlight.
  • FIG. 27 is a diagram illustrating an example of a video display device in which a stripe-shaped light emitting unit is used as a backlight.
  • a so-called naked-eye 3D image display device that displays a stereoscopic image without using special glasses is known.
  • a parallax barrier, a lenticular lens, or the like is disposed on the viewer side of a display panel such as a liquid crystal panel, a PDP, and an organic EL display.
  • a display panel such as a liquid crystal panel, a PDP, and an organic EL display.
  • Non-Patent Document 1 a method without glasses using a parallax barrier is known.
  • the video display device described in Non-Patent Document 1 includes a video display panel and a parallax barrier.
  • the video display panel has columns of left-eye pixels arranged in a vertical direction and right-eye pixels arranged in a vertical direction. The rows are formed alternately.
  • the parallax barrier has a large number of slit-like openings extending in the vertical direction, and a light-shielding portion extending in the vertical direction is formed between the openings.
  • a left-eye image (hereinafter also referred to as a left-eye image) is incident on the left eye of an observer whose head is located at a predetermined position (normal viewing position) through the opening, and the right eye has the right eye.
  • a video for use (hereinafter also referred to as an image for the right eye) enters through the opening. Thereby, the observer can recognize a stereoscopic image.
  • the image for the right eye does not enter the left eye by being blocked by the light shielding unit, and the image for the left eye does not enter the right eye by being blocked by the light shielding unit.
  • parallax images left-eye images and right-eye images
  • a separation unit such as a parallax barrier
  • a left-eye picture element group that displays a left-eye picture and a right-eye picture element group that displays a right-eye picture are arranged along the horizontal direction. Are alternately displayed, and light from the left-eye pixel group and the right-eye pixel group is separated into the left and right eyes of the observer and incident.
  • the left and right picture element groups are each composed of a red picture element, a green picture element, and a blue picture element arranged in the horizontal direction.
  • control is performed to switch whether the image displayed on each picture element is a left-eye image or a right-eye image according to the position of the observer's head. .
  • the interocular distance corresponds to one pixel, that is, one set of three sub-pixels (R, G, B), it is possible to move the head in the horizontal direction with an accuracy of 1/3 of the interocular distance. It will be possible to follow.
  • a sub-pixel region (having sub-pixels of a set m of parallax pixels) assigned to the optical aperture is determined according to the position of the observer, The disparity information specified by the disparity number is given to the pixels in the pixel area.
  • the set of parallax images included in the sub-pixel region assigned to the optical aperture is not fixed depending on the screen position.
  • Two sub-parallax information given to the sub-pixels in the adjacent sub-pixel region are mixed and displayed in the sub-pixel belonging to the boundary between the adjacent sub-pixel regions. That is, a parallax image corresponding to a transition state between two pieces of parallax information is generated by interpolation.
  • the gaze position on the display screen of the observer is detected, and the left and right images are moved in the horizontal direction so that the target images at the gaze position coincide on the screen. In this way, the orientation of the display panel is controlled. Further, in the stereoscopic video display method disclosed in Patent Literature 3, control is also performed to shift the entire image in the left-right direction in accordance with the movement of the gaze position in the horizontal direction.
  • Non-Patent Document 1 a place where a stereoscopic image can be appropriately visually recognized at the position of the appropriate viewing distance Lc is the interval of the interocular distance E in the horizontal direction. It will be arranged discretely. Therefore, when at least one of the left and right eyes is located at a position deviating from the above place, the observer visually recognizes a mixed image in which the left-eye image and the right-eye image are not well separated. That is, the problem is that crosstalk occurs.
  • FIG. 1A is a diagram for explaining pixel arrangement in the video display method described in Patent Document 1.
  • FIG. 1A is a diagram for explaining pixel arrangement in the video display method described in Patent Document 1.
  • the parallax number m is partially changed to control to reduce or increase the parallax in a direction that is difficult to see at a position deviated from the appropriate viewing position (1).
  • a sub-pixel constitutes one parallax (the number of parallax m is variable).
  • the video display method disclosed in Patent Document 3 is a technique that supports only the horizontal movement of the head, which mechanically changes the orientation of the entire display panel by a variable angle actuator.
  • the video display method disclosed in Patent Document 3 since the same pixel is inserted into a pixel portion that is missing by changing the orientation of the display panel, a portion that is partially 2D is likely to occur.
  • the inventors have provided a new video display device (video display method) that can smoothly display a naked-eye 3D video following a change in the viewing position of the observer. Disclose.
  • a video in which the left-eye video and the right-eye video are alternately arranged for each display unit composed of four sub-pixels is displayed.
  • the video display device to be described will be described.
  • the video display device of Embodiment 1 is characterized in that the number of sub-pixels is changed for some display units according to the observation distance between the observer and the video display device.
  • FIG. 2 is a block diagram illustrating a configuration of the video display apparatus according to the first embodiment.
  • the video display apparatus 100 according to the first embodiment includes an initial adjustment unit 103, a video display unit 102, a display circuit 105, a video separation unit 101, a video separation unit adjustment circuit 104, a control unit 110, and a signal switching.
  • the initial adjustment unit 103 adjusts the video separation unit adjustment circuit 104, the position detection unit 107, and the signal switching unit 109. That is, the initial adjustment unit 103 performs adjustments related to the video display unit 102, the video separation unit 101, and the like.
  • the video display unit 102 displays a two-dimensional parallax image based on the output from the display circuit 105.
  • the video display unit 102 is an example of a display unit, and the video display unit 102 is a display panel such as a liquid crystal panel, a PDP, and an organic EL panel, for example.
  • the display circuit 105 may be included in the video display unit 102.
  • the video separation unit 101 is, for example, a parallax barrier, and presents an image from the video display unit 102 as a parallax image at a predetermined position.
  • the structure of the image separation unit 101 is exemplified by a step barrier structure having a rectangular opening. In the first embodiment, the structure is a slant barrier structure, and details of such a structure will be described later.
  • the video separation unit 101 is an example of a separation unit that is provided to face the video display unit 102 and separates the left-eye video and the right-eye video and presents them to the observer.
  • the image separation unit 101 includes an opening part and a shielding part.
  • Device Such a device is, for example, a TFT liquid crystal panel.
  • the image separation unit 101 may be a fixed barrier generated with a thin film film or a highly transparent substance (glass or the like).
  • the video separation unit 101 may be a lenticular lens or the like.
  • the video separation unit adjustment circuit 104 is a circuit that adjusts the distance between the video separation unit 101 and the video display unit 102, the position of the video separation unit, and the like.
  • the multiple parallax images 106 are a left-eye image and a right-eye image displayed on the video display unit 102 via the display circuit 105.
  • FIG. 3 is a block diagram illustrating a configuration of the control unit 110.
  • the control unit 110 includes a signal switching unit 120, a horizontal direction arrangement control unit 121, and a depth direction arrangement control unit 122 in more detail.
  • FIG. 4 is a diagram for explaining the structures of the video display unit 102 and the video separation unit 101.
  • the video display unit 102 includes three sub-pixels 10R that emit red light, sub-pixels 10G that emit green light, and sub-pixels 10B that emit blue light. Has types of sub-pixels. These sub-pixels are arranged in a matrix.
  • the image separation unit 101 has a slant barrier structure having a 3: 1 inclination. That is, as shown in FIG. 4B, one pixel 20 for displaying two multi-parallax images (left-eye image and right-eye image) is composed of three sub-pixels arranged obliquely. Become.
  • the video display unit 102 displays a video in which left-eye images and right-eye images are alternately arranged in units of four sub-pixels in the horizontal direction.
  • the right-eye image 20R for one display unit is arranged adjacent to the left-eye image 20L for one display unit, and such an arrangement is repeated. .
  • the number of sub-pixels in the horizontal direction (hereinafter also simply referred to as n) in one display unit is not limited to four, and may be two or more. However, as will be described later, as the number of sub-pixels in the horizontal direction in one display unit increases, a parallax image shift process with higher accuracy with respect to the movement of the observer in the horizontal direction at the appropriate viewing distance Lc is realized.
  • the ratio at which the extra sub-pixel can be seen through the video separation unit 101 is reduced.
  • the ratio at which the adjacent right-eye image can be seen from the position where the left-eye image should be seen is reduced.
  • the initial adjustment unit 103 starts the video display of the video display device 100, or when the video display device 100 is first installed in a room such as a living room, the video display unit 102 (display device) and the video Adjustment of the separation unit 101 (parallax barrier) or the like is performed.
  • the barrier pitch width bh and the barrier position are adjusted at a predetermined appropriate viewing distance. Specifically, control of the positions of the opening portion and the shielding portion is performed on a pixel or sub-pixel basis.
  • the video separation unit 101 is a fixed barrier, adjustment of the distance between the video separation unit 101 and the video display unit 102 and the inclination of the barrier is performed using a predetermined adjustment image.
  • a stereoscopic video viewing evaluation using a test image from the appropriate viewing distance Lc is performed.
  • the gradation characteristics in the display circuit 105 are tuned based on the visibility and the degree of blur and fusion.
  • parallax amount control in the parallax image may be performed depending on the situation.
  • the video display unit 102 displays video based on the multiple parallax images 106 acquired through the display circuit 105, and the displayed video is separated by the video separation unit 101 so that it can be appropriately observed at a predetermined position.
  • the observer can observe the left eye image with the left eye and the right eye image with the right eye. That is, the observer can observe a stereoscopic image.
  • the multiple parallax images 106 are obtained by various acquisition routes such as broadcasting and communication, and the acquisition route is not particularly limited.
  • the video separation unit 101 has a slant barrier structure as described in FIG.
  • the inter-barrier pitch bh (horizontal width of the opening) is determined based on the sub-pixel pitch sh, the appropriate viewing distance Lc, the distance d between the video display unit 102 and the video separation unit 101, and the number of parallaxes m. And is as shown in Equation (1).
  • the appropriate viewing distance Lc is expressed by Expression (1).
  • a stereoscopic image can be appropriately viewed at a predetermined interval (interocular distance E) at an appropriate viewing distance Lc.
  • This position is called an appropriate viewing position.
  • the appropriate viewing distance Lc means the direction perpendicular to the display screen of the video display unit 102, that is, the distance from the video display unit 102 to the observer, and the optimal viewing position is the position in the left-right direction (horizontal direction). means.
  • the left eye image and the right eye image are placed in the left eye and right eye of the observer in consideration of the left and right order, so that the observer can observe a stereoscopic image.
  • the position detection unit 107 detects the position of the head or eyes of an observer (hereinafter also referred to as a viewer or a viewer), and the viewer position obtained by the position detection unit 107 is detected. Accordingly, the viewing area is enlarged by changing the display positions of the left-eye image and the right-eye image. Such control of the display positions of the left-eye image and the right-eye image is also referred to as parallax image arrangement control below.
  • FIG. 5 is a block diagram illustrating a configuration of the position detection unit 107.
  • FIG. 6 is a diagram showing an outline of the position detection process.
  • the position detection unit 107 includes a head detection unit 200, a reference point setting unit 201, a viewer position detection unit 202, a horizontal movement determination unit 203, a distance movement determination unit 204, And an adjustment information output unit 205.
  • the position detection unit 107 may include a camera 108.
  • the camera 108 In detecting the position of the viewer, first, the camera 108 captures an image of an area where the viewer is supposed to be. At this time, the region to be imaged (for example, in the case of a living room, the viewing angle is 100 degrees from the TV, and the viewing distance is within 1.5 m to 6.7 m) must satisfy the conditions of the angle of view that can be captured by the camera 108. .
  • the head detection unit 200 extracts the position of the human head in the image detected by the camera 108 (input image data, FIG. 6A). From the input image data, contour extraction image data and skin color analysis data are obtained as feature amounts (FIG. 6B), and the position of the head is extracted based on these.
  • the reference point setting unit 201 sets a reference point for detecting a relative size in the image ((c) in FIG. 6). This reference point may be set at the center of the image, or may be set at the face center position when the right eye is at the appropriate viewing position.
  • the viewer position detection unit 202 performs head detection, and a distance sLenH between the viewer's interocular center point and the reference point, Then, the interocular distance LenEye of the viewer is obtained.
  • the observation distance Ld is calculated as in Expression (2).
  • the horizontal distance LenH is calculated as in Expression (2) from the number of interocular pixels spixEyec and sLenH in the camera image at the appropriate viewing distance Lc.
  • the horizontal movement determination unit 203 uses a reference face image prepared in advance and whose size is known, determines a correction coefficient by comparison with the extracted face size, and multiplies the correction coefficient by slenH. You may obtain
  • the distance movement determination unit 204 may obtain a distance in the depth direction (observation distance Ld) based on a ratio between the extracted face size slenFace and the face size of the reference face image.
  • the distance movement determination unit 204 measures the field angle distance in the camera in advance and obtains the relationship between the pixel in the camera and the field angle distance, so that the center point and the interocular center point in the camera image are obtained.
  • the position LenH of the face in the horizontal direction may be obtained from the pixel number spixH between and the observation distance Ld from the interocular pixel number spixEye.
  • the calculation of the horizontal face position LenH is performed by the horizontal movement determination unit 203, and the observation distance Ld is calculated by the distance movement determination unit 204. Finally, the adjustment information output unit 205 outputs a signal instructing execution of disparity image arrangement control.
  • FIG. 7 is a block diagram illustrating a configuration of the head detection unit.
  • FIG. 8 is a schematic diagram for explaining an example of pattern matching processing.
  • the head detection unit 200 includes a color degree detection unit 300, a contour detection unit 301, a feature amount extraction unit 302, a pattern matching unit 303, and a template storage memory 304.
  • the template storage memory 304 may be provided outside the head detection unit 200 or may be provided in the head detection unit 200.
  • the template storage memory 304 is a recording medium such as a hard disk or a semiconductor memory.
  • the contour detection unit 301 acquires contour information from the input image data (color image signal, FIG. 8A). The processing of the contour detection unit 301 will be described in detail below.
  • the contour detection unit 301 uses the two-dimensional filter processing by the two-dimensional filter having the size of 3 ⁇ 3 shown by the equation (3), and uses the equation (4) to calculate each pixel (i, j) in the image.
  • a differential vector vd (i, j) (xd (i, j), yd (i, j)) is obtained.
  • the contour detection unit 301 performs contour pixel extraction by comparing stv (i, j) in each pixel (i, j) as shown in Expression (5) using a predetermined threshold value TH2.
  • contour information E (i, j) obtained in this way by the contour detection unit 301 (hereinafter sometimes simply referred to as “contour information Eij”) is output to the feature amount extraction unit 302.
  • the color degree detection unit 300 performs cluster classification based on the color distribution and calculates the skin color degree of the pixels in each cluster. Then, the color degree detection unit 300 obtains a skin color degree that is information converted so that the output of the cluster region including more pixels having a high skin color degree is 1.0.
  • the feature amount extraction unit 302 obtains the subjectss degree FH (i, j) based on the two feature amounts of the contour information and the skin color degree.
  • the calculation of the person-likeness degree FH (i, j) may be a linear combination of two feature quantities or a non-linear transformation of the two feature quantities.
  • the feature amount extraction unit 302 outputs E (i, j) as the dealts degree FH (i, j) as it is in the skin information with high skin chromaticity in the contour information E (i, j).
  • the contour information E (i, j) may be multiplied by a coefficient that weakens and output as a suitss degree FH (i, j).
  • the feature amount extraction unit 302 may obtain the noirs degree FH (i, j) based only on the contour information E (i, j) without using the skin color degree.
  • the pattern matching unit 303 performs a pattern matching process between the humanity degree FH (i, j) obtained by the feature amount extraction unit 302 and the shape data of the target area in the template storage memory 304 prepared in advance. Perform region extraction.
  • the target area where the target area is extracted include a face area, a person area (upper body, whole body), and a face part area such as an eye / nose / mouth.
  • the template storage memory 304 holds (stores) standard shape data (may be plural or may be shape data in a plurality of directions) of the face region. Is done.
  • the template storage memory 304 stores the standard shape data (a plurality of person areas. The shape data in a plurality of directions may be used. The upper body or the whole body may be used. .) Is retained.
  • the template storage memory 304 holds the standard shape data of each part area (FIG. 8B).
  • a corresponding region (target region information) is extracted by performing a pattern matching process between Hp-1) and the person-likeness degree FH (i, j) of each pixel (i, j).
  • Pnum is the number of templates
  • Wp and Hp are the number of horizontal pixels and the number of vertical pixels of the rectangular template, respectively.
  • a rectangular area candidate SR [i, j, Wp, Hp] centered on the pixel (i, j) and having a horizontal width Wp and a vertical width Hp is set for the template p.
  • the pattern matching unit 303 obtains MR which is the maximum evaluation function R (i, j, p) for the template p and the pixel (i, j).
  • max indicates that the maximum value of R (i, j, p) is obtained for the pixel (i, j) and the template p. If the maximum value MR is equal to or greater than a predetermined threshold value THMR, the rectangular region candidate SR [i, j, Wp, Hp] corresponding to the maximum value MR is converted into the target region information BestSR [i, j, W, H].
  • the pattern matching unit 303 compares the maximum value MR with the predetermined threshold value THMR, so that matching with noise or the like can be suppressed.
  • the maximum value MR is smaller than the threshold value THMR, it is assumed that there is no target area, and the target area information BestSR [i, j, W, H] is used as input image data information [width / 2, height / 2. , Width, height] is output.
  • width indicates the number of horizontal pixels of the input image data
  • height indicates the number of vertical pixels of the input image data.
  • the target area information BestSR [i, j, W, H] acquired by the pattern matching unit 303 is output from the head detection unit 200.
  • FIG. 9 is a diagram for explaining the parallax image arrangement control when the observer moves in the horizontal direction at the appropriate viewing distance Lc.
  • 10 and 11 are diagrams for explaining the arrangement control when the observer moves in the horizontal direction at a position of a distance Ld different from the appropriate viewing distance Lc.
  • n 4 constituting the parallax images when the parallax images are alternately arranged.
  • the integer n changes to a real number n ′ according to the observation distance.
  • n ′ corresponds to the average number of sub-pixels.
  • FIG. 9A schematically shows a state in which the observer 30 is positioned at an appropriate viewing position with an appropriate viewing distance Lc by the position detection unit 107.
  • the appropriate viewing position is a position where the parallax image is separated and looks clean as described above, and is a position that exists at an interocular distance E.
  • the horizontal arrangement control unit 121 of the control unit 110 moves ⁇ hn shown in Expression (8).
  • the display position of the video is shifted with respect to the amount.
  • the horizontal direction arrangement control unit 121 shifts the video (the left-eye image 20L and the right-eye image 20R) in units of one subpixel in the direction opposite to the direction in which the observer 30's head moves. To expand the viewing area in the horizontal direction. For example, when viewed from the viewer 30, when the head moves to the right by E / n from the appropriate viewing position, the horizontal arrangement control unit 121 shifts the video for one subpixel to the left.
  • the head of the observer 30 moves from the appropriate viewing position toward the screen to E / 4, E ⁇ 2 / 4.
  • E ⁇ 3/4 the horizontal arrangement control unit 121 shifts the video to the left by one subpixel, two subpixels, and three subpixels.
  • the black circle mark of each figure of FIG. 9 is the center of the parallax image in the suitable viewing position of (a) of FIG.
  • the video display device 100 can follow the head movement of the viewer 30 with an accuracy of E / 4 (switching unit accuracy), and the viewer 30 views a stereoscopic video with reduced crosstalk. be able to.
  • the processing in the depth direction arrangement control unit 122 is not performed.
  • FIG. 10 schematically shows a state in which the observer 30 is located at an appropriate viewing position at a distance Ld different from the appropriate viewing distance Lc.
  • FIG. 10A shows a case where the observer 30 observes an image at a front position (appropriate viewing position) with an appropriate viewing distance Lc.
  • FIG. 10B shows a case where the observer 30 observes the image at the observation distance Ld before the appropriate viewing distance Lc, although the horizontal position is the same front position.
  • a depth direction control unit 122 in addition to the image shift of the horizontal direction control unit 121, a depth direction control unit 122 further includes The number n of sub-pixels in the display unit is partially changed.
  • the depth direction arrangement control unit 122 changes the average value n ′ of the number of subpixels constituting the display unit. Specifically, in FIG. 10C, n is changed from 4 to 5 in the display unit surrounded by an ellipse.
  • control is performed to reduce the number of subpixels in some display units. .
  • the number of subpixels may be changed in any way as long as the average pitch n ′ can be realized.
  • the basic unit may be repeated toward the screen edge around the sub-pixel corresponding to the current interocular center position.
  • the display unit located in the region close to the head position of the viewer 30 may not change n, but may increase or decrease n as the display unit is located farther away from the display unit.
  • FIG. 12 is a flowchart of the operation of the video display device 100.
  • the video display method shown in FIG. 12 is a video display method using the video display device 100 that displays naked-eye 3D video.
  • the video display device 100 is a video in which sub-pixels constituting pixels are arranged in a matrix.
  • a display unit 102 is provided.
  • the control unit 110 of the video display device 100 includes n (n is an integer of 2 or more) sub-pixels for the left-eye video and the right-eye video in the sub-pixel row of the video display unit 102. Images alternately arranged for each display unit are displayed (S11).
  • the position detection unit 107 detects an observation distance Ld, which is a distance from the video display unit 102 to the viewer (observer) (S12).
  • the observation distance Ld is a distance from the video display device 100 to the viewer (observer) in a direction perpendicular to the display screen of the video display unit 102.
  • the control unit 110 selects some of the plurality of display units included in the sub-pixel row according to the detected distance.
  • the number of subpixels in the display unit is changed (S13).
  • control unit 110 increases the number of sub-pixels of some display units when the detected observation distance Ld is shorter than the appropriate viewing distance Lc, and the detected observation distance Ld is greater than the appropriate viewing distance Lc. When it is long, the number of sub-pixels of some display units is reduced.
  • the number of subpixels n is preferably an integer of 4 or more. Since the display position of the image of one sub-pixel is shifted with respect to the movement of the viewer in the horizontal direction (horizontal direction), the image more smoothly follows the movement of the viewer in the horizontal direction. This is because it is possible to display.
  • the control unit 110 may perform control so that the number of subpixels increases as the display unit is located closer to the edge of the screen. That is, when increasing the number of sub-pixels of a part of the display units, the control unit 110 increases the number of sub-pixels of the display unit located at the end among the plurality of display units included in the sub-pixel row, When the number of sub-pixels in the display unit is reduced, the number of sub-pixels in the display unit located in the central portion among the plurality of display units included in the sub-pixel row may be reduced.
  • the appropriate viewing distance Lc may be a distance having a range. In this case, when the detected observation distance Ld does not belong to the range, the number of subpixels is increased or decreased. .
  • FIGS. 13 and 14 are block diagram showing the configuration of the distance detection unit
  • FIG. 14 is a diagram for explaining the operation of the distance detection unit.
  • the distance detector 318 shown in FIGS. 13 and 14 corresponds to a distance measuring device.
  • a TOF method that measures distance by irradiating a target object with illumination light and measuring TOF (Time Of Flight), which is the time until the illuminated illumination light returns, is performed. Used.
  • the distance detection unit 318 receives the light source 320 that irradiates the target space (the target object 330) with the illumination light 310 and the reflected light 311 from the target space through the lens 324, and determines the received light amount. And a light detection element 319 that outputs an electric signal having a reflected output value.
  • the distance detection unit 318 includes a control circuit unit 321 that controls the light source 320 and the light detection element 319 and an image generation unit 323 that performs image generation processing on the output from the light detection element 319.
  • the distance detection unit 318 includes a light detection element 319.
  • the light detection element 319 includes a plurality of photosensitive units 325, a plurality of sensitivity control units 326, a plurality of charge accumulation units 327, and a charge extraction unit 328.
  • the light emission source 320 irradiates the target space with light modulated by a modulation signal having a predetermined period, and the light detection element 319 images the target space.
  • the image generation unit 323 reaches the object OBJ according to the phase difference of the modulation signal between the light emitted from the light source 320 to the object space and the reflected light reflected by the object OBJ in the object space and received by the light detection element 319. Find the distance.
  • each photosensitive unit 325 provided in the light detecting element 319 receives light from the target space is controlled by the control circuit unit 321.
  • Each photosensitive unit 325 receives light during a light receiving period controlled to synchronize with a phase different from the phase of the modulation signal.
  • the image generation unit 323 is supplied with charges accumulated in each detection period, which is a period of one or more periods of the modulation signal, from the light detection element 319.
  • the image generation unit 323 obtains a distance image by converting the charge amount obtained by integrating the charge amounts of a plurality of detection periods for each light receiving period.
  • a gray scale grayscale image is obtained from the distance detector 318.
  • this gray scale image for example, as shown in FIG. 14B, a portion located far away is dark and a portion located nearby is brightly displayed.
  • the position can also be detected by extracting a person based on the object shape estimation in the image and obtaining the position and the distance to the person.
  • a video display device further having a function of detecting the observer's line-of-sight direction
  • the number of subpixels n of some display units is changed using the viewing direction of the observer. This enlarges the viewing zone when the observer moves in the depth direction (front-rear direction). Note that, in the following second embodiment, the description will focus on the parts that are different from the first embodiment, and the description overlapping with the first embodiment may be omitted.
  • FIG. 15 is a block diagram illustrating a configuration of the video display apparatus according to the second embodiment.
  • FIG. 16 is a block diagram illustrating a configuration of a control unit according to the second embodiment.
  • the video display device 290 is different from the video display device 100 in that it includes a control unit 401 and a line-of-sight direction detection unit 400.
  • the gaze direction detection unit 400 detects the gaze direction of the observer.
  • the control unit 401 controls the shift of the display position of the video and the arrangement control of the parallax image based on the detected (head) position information of the observer and the viewing direction of the observer.
  • control unit 401 includes a horizontal direction arrangement control unit 121, a depth direction arrangement control unit 122, and a depth direction arrangement correction unit 410 in more detail.
  • the horizontal arrangement control unit 121 performs control to shift the display position of the video in the horizontal direction in units of sub-pixels according to the observation position (the position of the observer in the horizontal direction (horizontal direction)). Do.
  • the depth direction arrangement control unit 122 changes the number of sub-pixels n of some display units according to the observation distance Ld and the observation position when the observation distance Ld changes to a distance different from the appropriate viewing distance Lc. Control (arrangement control of parallax images) is performed.
  • the depth direction arrangement correction unit 410 changes the display unit in which the number n of subpixels is changed by the depth direction arrangement control unit 122 based on the detected gaze direction (gaze direction information) (corrects the position of the discontinuous point). To do).
  • FIG. 17 is a diagram for explaining the operation of the video display device 390.
  • the control unit 121 performs shift control of the video display position. Specifically, the horizontal arrangement control unit 121 shifts the display position in units of one subpixel in the direction opposite to the direction in which the head moves with respect to the movement of the observer 30 by ⁇ hn.
  • the horizontal direction arrangement control unit 121 is opposite to the head movement direction with respect to the movement of the observer 30 by ⁇ hnd.
  • the display position is shifted in units of one subpixel.
  • the depth direction arrangement control unit 122 displays some display units (in FIG. 17 (FIG. 17 ( The number of subpixels n in the display unit surrounded by an ellipse in a) is changed.
  • the change of the number of sub-pixels may be performed in any manner as long as the average pitch n ′ can be realized as in the first embodiment.
  • the basic unit may be repeated toward the screen edge centering on the subpixel corresponding to the current interocular center position, and the display unit located in the region near the head position of the viewer 30 is n. You may increase / decrease n so much as the display unit located away from it, without changing.
  • the control unit 401 extracts the face region and the eye region of the observer 30 based on the image captured by the camera 108. More specifically, the control unit 401 detects the direction in which the pupil (black) is facing in the eye and the position of the pupil in the eye.
  • the depth direction arrangement correction unit 410 changes the display unit in which the number of subpixels n is changed based on the detected viewpoint position.
  • the number of subpixels n is changed when the pupil is at the center.
  • the number n of sub-pixels of the display unit positioned further to the left as viewed from the observer 30 than the display unit that has been changed is changed.
  • the display unit in which the number of subpixels n is changed when the pupil is at the center is The number of sub-pixels n of the display unit located on the left as viewed from the observer 30 is changed.
  • the number of sub-pixels n is changed in a display unit that is as close as possible to the display unit in which the number of sub-pixels n was originally changed in accordance with the change in the viewing direction. It is preferable.
  • the amount of deviation from the center position of the pupil (the amount of deviation when the pupil is shifted to the left or right with respect to the case where the pupil is in the center of the eye) ⁇ e is the distance LenH shown in the above equation (2). Addition and subtraction may be performed. That is, the viewpoint position may be added to the distance LenH. In this case, the depth direction arrangement control unit 122 does not change the display unit in which the number of subpixels n is changed, which has been described with reference to FIGS.
  • the gaze direction detection unit 400 of the video display device 290 detects the gaze direction of the viewer (observer), and the control unit 401 changes the number of sub-pixels according to the detected gaze direction. Change the displayed unit.
  • the control unit 401 displays the display unit in which the number of sub-pixels is changed as viewed from the viewer. Change to units.
  • the control unit 401 changes the display unit in which the number of sub-pixels is changed to a display unit located on the right side when viewed from the viewer when the detected line-of-sight direction moves from left to right when viewed from the viewer. To do.
  • This can further relax the viewing area restriction in the front-rear direction of the viewer. That is, the range in which the viewer can appropriately view the 3D video can be further expanded, and the naked-eye 3D video can be smoothly displayed following the change in the visual recognition position of the viewer.
  • the method for detecting the line-of-sight direction is not particularly limited.
  • the line-of-sight direction may be detected by estimating the line-of-sight direction from the viewpoint position.
  • the video display apparatus according to Embodiment 3 changes the timing for shifting n sub-pixels according to the observation distance Ld between the observer and the display apparatus. Thereby, the viewing zone when the observer moves in the depth direction is enlarged. Note that, in the following third embodiment, the description will focus on the parts that are different from the first embodiment, and the description overlapping with the first embodiment may be omitted.
  • FIG. 18 is a block diagram showing the configuration of the video display apparatus according to Embodiment 3.
  • FIG. 19 is a block diagram illustrating a configuration of a control unit according to the third embodiment.
  • control unit 500 In the video display device 390, the operation of the control unit 500 is different from that of the video display device 100.
  • the control unit 500 changes the timing for performing shift control of the parallax image according to the observation distance Ld from the video display device 390 to the observer.
  • control unit 500 includes a switching time adjustment unit 510 and a horizontal arrangement control unit 121 in more detail.
  • the switching time adjustment unit 510 determines the timing for shifting the display position of the video displayed on the video display unit 102 according to the observation distance Ld to the observer.
  • the horizontal direction arrangement control unit 121 performs shift processing (shift control) of the display position of the video at the timing determined by the switching time adjustment unit 510.
  • FIG. 20 is a diagram for explaining the operation of the video display device 390.
  • the horizontal arrangement is performed.
  • the control unit 121 performs shift control of the video display position. Specifically, when there is no panel distortion in the video display unit 102, the horizontal direction arrangement control unit 121 performs one sub-direction in the direction opposite to the direction in which the head moves with respect to the movement of the observer 30 by ⁇ hn. Shift the display position in pixel units. Thereby, the viewing area in the horizontal direction is enlarged.
  • the horizontal direction control unit 121 is opposite to the head movement direction with respect to the movement of the observer 30 by ⁇ hnd.
  • the display position is shifted in units of one subpixel.
  • ⁇ hnd is set to the position in the left-right direction (horizontal direction) when the observer 30 moves at a distance Ld (Ld ⁇ Lc) (on a straight line extending in the left-right direction in FIG. 20) (FIG. 20B). Regardless, it depends on the observation distance Ld.
  • FIG. 21 is a schematic diagram for explaining the panel distortion of the video display unit 102.
  • the suitable viewing distance Lcd of the pixel located at the screen end of the video display unit 102 is shorter than the suitable viewing distance Lc of the pixel located at the center of the screen. Therefore, at the position of the appropriate viewing distance Lc, the interocular distance Ed for appropriately viewing the parallax image at the screen end is wider than the designed interocular distance E.
  • the video separation unit 101 is initialized with reference to the center of the screen. That is, the positions of the opening and the light shielding unit are adjusted so that the image for the left eye and the image for the right eye are separated at a predetermined position with an appropriate viewing distance Lc. Therefore, ⁇ hnd is generally set assuming a gap at the center of the screen.
  • the switching unit ⁇ hndw at the screen edge is larger than ⁇ hnd set assuming the screen center. For this reason, it is necessary to make the timing for shifting the image at the screen edge more gradual (shorter) than the timing for shifting the image at the center of the screen.
  • This ⁇ hndw can be determined by the following equation (11).
  • the switching unit ⁇ hndw at the screen edge is larger than ⁇ hndd at the screen center, and the timing for shifting the video at the screen edge is slower than the timing for shifting the video at the screen center. It is necessary to.
  • the above-described correction for changing the timing for shifting the image between the screen center and the screen edge is performed by the switching time adjustment unit 510.
  • the horizontal arrangement control unit 121 performs shift control according to the correction of the switching time adjustment unit 510.
  • FIG. 22 is a flowchart of the operation of the video display device 390.
  • the video display method shown in FIG. 22 is a video display method using a video display device 390 that displays naked-eye 3D video.
  • the video display device 390 is a video in which sub-pixels constituting pixels are arranged in a matrix.
  • a display unit 102 is provided.
  • control unit 500 of the video display device 390 is configured with n (n is an integer of 2 or more) sub-pixels for the left-eye video and the right-eye video in the sub-pixel row of the video display unit 102.
  • the images alternately arranged for each display unit are displayed (S21).
  • the sub pixel row means an array of sub pixels in the row direction of the video display unit 102.
  • n 4.
  • the position detection unit 107 detects the distance from the video display unit 102 to the viewer and the horizontal position of the viewer (S22).
  • the horizontal direction means a direction corresponding to the horizontal direction of pixels of the video display unit 102 (longitudinal direction of the video display unit 102), in other words, the horizontal direction (horizontal direction) of the viewer.
  • control unit 500 based on the detected distance from the video display unit 102 to the viewer and the detected horizontal position of the viewer, for the left-eye video and the right-eye in the sub-pixel row.
  • the video display position is shifted by a predetermined number of sub-pixels (S23).
  • the predetermined number is 1, but it may be 2 or more.
  • the control unit 500 sets ⁇ hnd (first movement amount) of the horizontal position of the viewer. On the other hand, a predetermined number of sub-pixels are shifted. In addition, when the distance from the image display unit 102 to the viewer is an appropriate viewing distance Lc (second distance) that is larger than the observation distance Ld, the control unit 500 is more than ⁇ hnd of the horizontal position of the viewer. A predetermined number of sub-pixels are shifted with respect to a large ⁇ hn (second movement amount).
  • the number of subpixels n is preferably an integer of 4 or more. Since the display position of the image of one sub-pixel is shifted with respect to the movement of E / n in the horizontal direction (lateral direction) of the viewer, the image more smoothly follows the movement of the viewer in the horizontal direction. This is because it is possible to display.
  • Such a shift process of the display position of the video has an advantage that it can be realized more easily than the arrangement control of the parallax image.
  • control unit 500 acquires panel distortion information (information regarding distortion) of the video display unit 102, and further shifts the predetermined number of sub-pixels using the acquired panel distortion information.
  • the control unit 500 when the panel distortion information indicates that the interval between the video display unit 102 and the video separation unit 101 is larger at the center of the video display unit 102 than the end of the video display unit 102, the control unit 500 As the position of the viewer in the horizontal direction is closer to the end than the center, a larger amount of movement in the horizontal direction is shifted by a predetermined number of sub-pixels. Further, as will be described later, the control unit 500 indicates that the interval between the video display unit 102 and the video separation unit 101 is smaller than the edge of the video display unit 102 at the center of the video display unit 102 by the panel distortion information. In this case, as the position of the viewer in the horizontal direction is closer to the end than the center, the shift by a predetermined number of sub-pixels is performed with respect to a smaller amount of movement in the horizontal direction.
  • the appropriate viewing distance Lcd2 of the pixel located at the screen edge is larger than the suitable viewing distance Lc of the pixel located at the screen center. become longer. Therefore, at the position of the appropriate viewing distance Lc, the interocular distance Ed2 for appropriately viewing the parallax image at the screen end is shorter than the designed interocular distance E.
  • the switching unit ⁇ hndw2 at the screen edge is smaller than ⁇ hnd set assuming the screen center. In other words, for this reason, the timing for shifting the video at the screen edge needs to be earlier than the timing for shifting the video at the center of the screen. This tendency is the same at the position of the observation distance Ldd (Ldd> Lc) behind the appropriate viewing distance Lc.
  • FIG. 23 is a block diagram showing a configuration of the video display apparatus according to Embodiment 4.
  • FIG. 24 is a block diagram illustrating a configuration of a control unit according to the fourth embodiment.
  • the video display device 490 is different from the video display device 390 in that it includes a control unit 600 and a line-of-sight direction detection unit 400.
  • the line-of-sight direction detection unit 400 detects the line-of-sight direction of the observer from the image data captured by the camera 108.
  • the control unit 600 shifts the display position of the video based on the detected (head) position information of the observer and the viewing direction of the observer.
  • control unit 600 includes a switching time adjustment unit 510, a switching time adjustment correction unit 610, and a horizontal direction control unit 121 in more detail.
  • the switching time adjustment unit 510 determines the timing for shifting the video display position according to the observation distance Ld to the observer.
  • the switching time adjustment correction unit 610 corrects the switching time determined by the switching time adjustment unit 510 based on the detected gaze direction (gaze direction information) and information indicating the presence or absence of panel distortion.
  • the horizontal arrangement control unit 121 performs a shift process of the video display position at the timing corrected by the switching time adjustment correction unit 610.
  • FIG. 25 is a diagram for explaining the operation of the video display device 490.
  • the horizontal arrangement is performed.
  • the control unit 121 performs shift control of the video display position. Specifically, when there is no panel distortion in the video display unit 102, the horizontal direction arrangement control unit 121 sets 1 in the direction opposite to the direction in which the head moves with respect to the movement of the observer 30 by ⁇ hn. The display position is shifted in units of subpixels. Thereby, the viewing area in the horizontal direction is enlarged.
  • the horizontal direction control unit 121 is opposite to the head movement direction with respect to the movement of the observer 30 by ⁇ hnd.
  • the display position is shifted in units of one subpixel.
  • This ⁇ hnd value does not change regardless of the position when there is no panel distortion, and depends on the observation distance Ld.
  • the video separation unit 101 and the video display unit 102 are used. A difference in the gap.
  • the suitable viewing distance Lcd of the pixel located at the screen end of the video display unit 102 is shorter than the suitable viewing distance Lc of the pixel located at the center of the screen. Therefore, at the position of the appropriate viewing distance Lc, the interocular distance Ed for appropriately viewing the parallax image at the screen end is wider than the designed interocular distance E.
  • the video separation unit 101 is initialized with reference to the center of the screen. That is, the positions of the opening and the light shielding unit are adjusted so that the image for the left eye and the image for the right eye are separated at a predetermined position with an appropriate viewing distance Lc. Therefore, ⁇ hnd is generally set assuming a gap at the center of the screen.
  • the switching unit ⁇ hndw at the screen edge is larger than ⁇ hnd set assuming the center of the screen. For this reason, it is necessary to make the timing of shifting the video at the screen edge slower than the timing of shifting the video at the center of the screen. ⁇ hndw is determined by the above equation (11).
  • the switching time adjustment correction unit 610 corrects the switching unit ⁇ hnd or ⁇ hndw in consideration of the viewing direction of the observer.
  • the shift amount ⁇ e from the center position of the pupil is added to or subtracted from the head movement amount, depending on whether or not the total movement amount as the calculation result has reached ⁇ hnd. It is determined whether or not the display position is shifted. Note that when the head movement direction and the line-of-sight direction shift are the same direction, addition is performed, and in the opposite case, subtraction is performed.
  • the switching unit ⁇ hndw2 becomes smaller than ⁇ hndw, and the observer 30 moves to the right end.
  • the display position of the video is shifted at a timing earlier than when the pupil is at the center.
  • the switching unit ⁇ hndw2 is larger than ⁇ hndw, and the observer 30
  • the video display position is shifted at a gentler (slower) timing than when the pupil is at the center at the right end.
  • the gaze direction detection unit 400 of the video display device 490 detects the gaze direction of the viewer (observer), and the control unit 600 uses the detected gaze direction of the viewer to detect the left eye.
  • the display positions of the video for the right eye and the video for the right eye are shifted by a predetermined number of sub-pixels.
  • This can further relax the viewing area restriction in the front-rear direction of the viewer. That is, the range in which the viewer can appropriately view the 3D video can be further expanded, and the naked-eye 3D video can be smoothly displayed following the change in the visual recognition position of the viewer.
  • Such a shift process of the display position of the video has an advantage that it can be realized more easily than the arrangement control of the parallax image.
  • Embodiments 1 to 4 have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed. Also, it is possible to combine the components described in the above-described Embodiments 1 to N into a new embodiment.
  • the video display unit 102 is an example of a display unit.
  • the video display unit 102 may be anything as long as it can display a parallax image.
  • Examples of the video display unit 102 include a liquid crystal panel using a backlight source, a PDP that emits light, or an organic EL panel.
  • the head position detection is performed using one image taken by the camera 108, but the head detection is performed in each of two or more images, and the detection results are combined. Good. It is also possible to combine a face estimation result with a distance estimation result (for example, distance estimation with a stereo camera) by a multi-viewpoint method using images from two or more different positions.
  • head position detection is an example of an observer position detection method, and other methods such as the TOF method described in the first embodiment may be used for position detection.
  • a method for detecting the position of the observer it is also possible to use a method using a wired connection in which three-dimensional position measurement is performed using electromagnetic force or the like.
  • a method for detecting the position of the observer a method is used in which a predetermined test pattern is always displayed in the image, and a geometrical survey is performed based on the size of the displayed test pattern part, the moire change of the pixel value, etc. Is also possible.
  • the observer's position may be detected by detecting the whole person image, detecting the pupil, and extracting the eye region.
  • the description is made on the assumption that there is one observer, but it is also assumed that there are a plurality of observers. In such a case, it is conceivable that the position detection of the observer targets the person who is closest to the video display device or the person who occupies the largest area in the image.
  • the mass may be a target for position detection, or a high-profile person may be a target for position detection.
  • control is performed mainly on the main person.
  • the main person is set as a position detection target, or a group including the main person is set as a position detection target, and the observer is located some distance from the main person or the group including the main person. May be provided with video from another video display device that is linked to what the main person is watching.
  • the arrangement control of the parallax image and the shift of the display position of the video in the above embodiment may be performed in real time using a CPU, a GPU, or the like, or may be performed using a LUT table prepared in advance. May be.
  • the video separation unit 101 has been described as having a slant barrier structure, but even when a video separation unit having a vertical stripe barrier structure or an image separation unit having a step barrier structure is used, The present disclosure is applicable.
  • the step barrier structure is a structure in which openings corresponding to the rectangular shapes of the sub-pixels are arranged in an oblique direction.
  • a lenticular lens may be used as the image separation unit 101.
  • a barrier may be further combined, or the refractive index of the lenticular lens may be controlled using liquid crystal or the like.
  • the example in which the video separation unit 101 is disposed on the front surface of the video display unit 102 has been described.
  • the liquid crystal panel in the video display unit 102 liquid crystal display
  • the video separation unit 101 may be disposed between the 102a and the backlight 102b.
  • a stripe-shaped light emitting unit 111 (light source) may be used as a backlight of a liquid crystal display.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • each component may be a circuit.
  • These circuits may constitute one circuit as a whole, or may be separate circuits.
  • Each of these circuits may be a general-purpose circuit or a dedicated circuit.
  • the comprehensive or specific aspect of the present disclosure may be realized by a system, a method, an integrated circuit, a computer program, or a recording medium such as a computer-readable CD-ROM.
  • the comprehensive or specific aspect of the present disclosure may be realized by any combination of a system, a method, an integrated circuit, a computer program, and a recording medium.
  • another processing unit may execute a process executed by a specific processing unit.
  • the order of the plurality of processes may be changed, and the plurality of processes may be executed in parallel.
  • the video display device of the present disclosure can smoothly display a naked-eye 3D video following a change in the position of an observer, and can be applied to, for example, a naked-eye 3D display device for signage use and medical use. .
  • Video display device 101 Video separation unit 102 Video display unit 102a Liquid crystal panel 102b Backlight 103 Initial adjustment unit 104 Video separation unit adjustment circuit 105 Display circuit 106 Multiple parallax images 107 Position detection unit 108 Camera 109 Signal switching unit 110, 401, 500, 600 Control unit 111 Light emitting unit 120 Signal switching unit 121 Horizontal direction arrangement control unit 122 Depth direction arrangement control unit 200 Head detection unit 201 Reference point setting unit 202 Viewer position detection unit 203 Horizontal movement determination unit 204 Distance movement determination unit 205 Adjustment information output unit 300 Color degree detection unit 301 Contour detection Part 302 Adjustment amount extraction unit 303 Pattern matching unit 304 Template storage memory 310 Illumination light 311 Reflected light 318 Distance detection unit 319 Photodetection element 320 Light source 321 Control circuit unit 323 Image generation unit 324

Abstract

 映像表示方法は、裸眼3D映像を表示する表示装置を用いた映像表示方法であって、表示装置は、画素を構成するサブ画素がマトリクス状に配置された表示部を備え、表示部のサブ画素行において、左眼用映像と右眼用映像とが、n個(nは2以上の整数)のサブ画素から構成される表示単位ずつ交互に配置された映像を表示する表示ステップ(S11)と、表示部から視認者までの距離を検出する距離検出ステップ(S12)とを含み、表示ステップ(S13)においては、検出された距離が所定の距離と異なる場合、検出された距離に応じて、サブ画素行に含まれる複数の表示単位のうち一部の表示単位のサブ画素数を変更する。

Description

映像表示方法、及び、映像表示装置
 本開示は、裸眼3D映像を表示する映像表示方法、及び、映像表示装置に関する。
 特殊なメガネを使用しないで立体映像を表示するための技術が知られている(例えば、特許文献1~3、及び、非特許文献1参照)。これらの技術では、液晶パネルやPDP(プラズマディスプレイパネル)、及び有機ELパネル等の表示パネルの観察者側にパララックスバリア(視差バリア)またはレンチキュラーレンズ等の部材が配置される。
特開平9-233500号公報 国際公開第2012/131887号 特開2002-303821号公報
濱岸他、「イメージスプリッタ方式メガネなし3Dディスプレイ」、映像情報メディア学会誌Vol.51、 No.7、 pp.1070-1078(1997)
 このような、いわゆる裸眼3D映像を表示する映像表示装置では、観察者(視認者)が適切な3D映像を視認できる位置は限られる。したがって、上記特許文献1~3に開示された技術のように、視認者の視認位置に応じて映像の表示制御が行われる。
 本開示は、視認者の視認位置の変化に追従してスムーズに(滑らかに)裸眼3D映像を表示することができる映像表示方法等を提供する。
 本開示の映像表示方法は、裸眼3D映像を表示する表示装置を用いた映像表示方法であって、前記表示装置は、画素を構成するサブ画素がマトリクス状に配置された表示部を備え、前記映像表示方法は、前記表示部のサブ画素行において、左眼用映像と右眼用映像とが、n個(nは2以上の整数)のサブ画素から構成される表示単位ずつ交互に配置された映像を表示する表示ステップと、前記表示部から視認者までの距離を検出する距離検出ステップとを含み、前記表示ステップにおいては、検出された距離が所定の距離と異なる場合、検出された距離に応じて、前記サブ画素行に含まれる複数の表示単位のうち一部の表示単位のサブ画素数を変更する。
 本開示の映像表示方法は、裸眼3D映像を表示する表示装置を用いた映像表示方法であって、前記表示装置は、画素を構成するサブ画素がマトリクス状に配置された表示部を備え、前記映像表示方法は、前記表示部のサブ画素行において、左眼用映像と右眼用映像とが、n個(nは2以上の整数)のサブ画素ずつ交互に配置された映像を表示する表示ステップと、前記表示部から視認者までの距離、及び、前記視認者の水平方向の位置を検出する検出ステップとを含み、前記表示ステップにおいては、検出された前記表示部から前記視認者までの距離、及び、検出された前記視認者の水平方向の位置に基づいて、前記サブ画素行における、前記左眼用映像及び前記右眼用映像の表示位置を所定数のサブ画素分シフトする。
 本開示の映像表示方法は、視認者の視認位置の変化に追従してスムーズに裸眼3D映像を表示することができる。
図1は、一般的な画素の配置を説明するための図である。 図2は、実施の形態1に係る映像表示装置の構成を示すブロック図である。 図3は、制御部の構成を示すブロック図である。 図4は、映像表示部及び映像分離部の構造を説明するための図である。 図5は、位置検出部の構成を示すブロック図である。 図6は、位置検出処理の概要を示す図である。 図7は、頭部検出部の構成を示すブロック図である。 図8は、パターンマッチングの一例を説明するための模式図である。 図9は、適視距離Lcの位置において、水平方向に観察者が移動する場合の視差画像の配置制御を説明するための図である。 図10は、適視距離Lcと異なる距離Ldの位置において観察者が水平方向に移動する場合の配置制御を説明するための第1の図である。 図11は、適視距離Lcと異なる距離Ldの位置において観察者が水平方向に移動する場合の配置制御を説明するための第2の図である。 図12は、実施の形態1に係る映像表示装置の動作のフローチャートである。 図13は、距離検出部の構成を示すブロック図である。 図14は、距離検出部の動作を説明するための図である。 図15は、実施の形態2に係る映像表示装置の構成を示すブロック図である。 図16は、実施の形態2に係る制御部の構成を示すブロック図である。 図17は、実施の形態2に係る映像表示装置の動作を説明するための図である。 図18は、実施の形態3に係る映像表示装置の構成を示すブロック図である。 図19は、実施の形態3に係る制御部の構成を示すブロック図である。 図20は、実施の形態3に係る映像表示装置の動作を説明するための図である。 図21は、映像表示部のパネル歪を説明するための模式図である。 図22は、実施の形態3に係る映像表示装置の動作のフローチャートである。 図23は、実施の形態4に係る映像表示装置の構成を示すブロック図である。 図24は、実施の形態4に係る制御部の構成を示すブロック図である。 図25は、実施の形態4に係る映像表示装置の動作を説明するための図である。 図26は、液晶パネルとバックライトとの間に映像分離部が配置された映像表示装置の一例を示す図である。 図27は、バックライトとしてストライプ形状の発光部が用いられた映像表示装置の一例を示す図である。
 (本開示の基礎となった知見)
 特殊なメガネを使用しないで立体映像を表示する、いわゆる裸眼3D方式の映像表示装置が知られている。このような映像表示装置においては、液晶パネル、PDP、及び、有機ELディスプレイ等の表示パネルの観察者側にパララックスバリアやレンチキュラーレンズ等(分離手段)が配置される。これにより、表示パネルに表示された左眼用の映像と右眼用の映像とが分離して観察者に提示され、観察者は立体映像を視認することができる。
 このような映像表示装置として、例えば、非特許文献1に記載されているように、パララックスバリアを用いたメガネなし方式が知られている。非特許文献1に記載された映像表示装置は、映像表示パネルと、パララックスバリアとを備え、映像表示パネルには左眼用画素が垂直方向に並ぶ列と右眼用画素が垂直方向に並ぶ列が交互に形成されている。
 また、パララックスバリアには垂直方向に延びるスリット状の開口部が多数形成されており、各開口部の間には垂直方向に延びる遮光部が形成されている。
 なお、左眼用画素により構成される左眼用映像と右眼用画素により構成される右眼用映像との間には、人間が立体映像として知覚できるような両眼視差がある。頭部が所定の位置(正視位置)に位置する観察者の左眼には、左眼用映像(以下、左眼用画像とも記載する)が開口部を通じて入射し、右眼には、右眼用映像(以下、右眼用画像とも記載する)が開口部を通じて入射する。これにより、観察者は、立体映像を認識することができる。
 なお、このとき、右眼用映像は、遮光部で遮断されることにより左眼には入射せず、左眼用映像は、遮光部で遮断されることにより右眼には入射しない。
 このように、裸眼3D方式では、通常、視差画像(左眼用画像及び右眼用画像)が1画像列ごとに交互に配置され、視差画像は、パララックスバリア等の分離手段により分離されて観察者に提示される。
 また、特許文献1に開示された立体映像表示方法では、左眼用の映像を表示する左眼用絵素群と右眼用の映像を表示する右眼用絵素群とを水平方向に沿って交互に表示し、左眼用絵素群及び右眼用絵素群からの光を観察者の左右の眼に分離して入光させる。なお、左右の絵素群は、それぞれ、水平方向に並ぶ赤色絵素、緑色絵素、及び青色絵素により構成される。
 特許文献1の立体映像表示方法では、観察者の頭部の位置に応じて各絵素に表示される映像が左眼用の映像であるか右眼用の映像であるかを切り換える制御を行う。特許文献1の方式では、眼間距離が1画素つまり、3サブ画素(R、G、B)の1組に相当するため、眼間距離の1/3の精度で水平方向の頭部移動に追従できることとなる。
 また、特許文献2に開示された立体映像表示方法では、観察者の位置に応じて、光学的開口部に割り当てられるサブ画素領域(視差画素の組mのサブ画素を持つ)が定められ、サブ画素領域の画素に視差番号により特定される視差情報が与えられる。
 その際、光学的開口部に割り当てられるサブ画素領域に含まれる視差画像の組は、画面位置に応じて固定でない。互いに隣接するサブ画素領域の境界に属するサブ画素には、隣接するサブ画素領域のサブ画素に与えられる2つの視差情報が混合されて表示される。つまり、2つの視差情報の遷移状態に相当する視差画像が補間生成される。
 さらに、特許文献3に開示された立体映像表示方法では、観察者のディスプレイ画面上の視線位置を検出し、その視線位置の対象の像が画面上で一致するように左右画像を水平方向に移動させるように表示パネルの向きの制御を行うものである。また、特許文献3に開示された立体映像表示方法では、水平方向の視線位置移動に応じて画像全体を左右方向にずらす制御も行われる。
 しかしながら、これらの技術には、以下のような課題がある。
 非特許文献1のように、視差画像が1画像列ごとに交互に配置される場合、適視距離Lcの位置において立体映像を適切に視認できる場所は、水平方向において眼間距離Eの間隔で離散的に配置されることとなる。したがって、上記場所から外れた位置に左右の眼の少なくとも一方が位置する場合、観察者は、左眼用画像と右眼用画像とがうまく分離されていない混合画像を視認してしまう。つまり、クロストークが発生してしまうことが課題である。
 また、特許文献1に開示された映像表示方法では、図1の(a)に示されるように、視差画像(左眼用画像40Lまたは右眼用画像40R)を構成する1つの画素40は、水平方向に並んだ3つのサブ画素から構成される。図1は、特許文献1に記載の映像表示方法における画素の配置を説明するための図である。
 特許文献1に開示された映像表示方法では、適視距離Lcの位置において、頭部の水平方向のE/3の距離の移動に対して、水平方向において視差画像の表示位置のサブ画素単位の切り替え(シフト)が行われる。このとき、図1の(b)に示されるように、観察者の位置の変化に応じて、縦方向に長いストライプ状の開口部と、表示パネルとの位置関係が変化するため、視差画像の切り替えが行われる直前の位置の近辺に観察者がいる場合に色モアレが発生する可能性が高い。具体的には、例えば、開口部により開口される領域が、領域50aから領域50bにずれると、色モアレが発生してしまう。
 また、観察者が、適視距離Lcと異なる観察距離Ldに位置する場合、視差画像の表示位置のサブ画素単位のシフトではうまく対応できない場合がある。
 特許文献2に開示された映像表示方法では、視差数mを部分的に変えることで、適視位置からずれた位置において、見えにくい向きの視差を減らしたり、増やしたりする制御が行われる(1サブ画素で1視差を構成。視差数mは可変)。しかしながら、隣接する視差画像から生成される補間画素を用いた遷移状態を作る必要があり、遷移状態の影響によるクロストークが発生してしまう課題がある。
 また、特許文献3に開示された映像表示方法は、角度可変アクチュエータにより機構的に表示パネル全体の向きを変える、頭部の水平方向の移動のみに対応する技術である。特許文献3に開示された映像表示方法では、表示パネルの向きを変えることによって抜けた画素部分には同じ画素が挿入されるため、部分的に2Dとなる箇所が発生しやすい。
 以上のような技術に対し、本願においては、発明者らは、観察者の視認位置の変化に追従してスムーズに裸眼3D映像を表示することができる新たな映像表示装置(映像表示方法)を開示する。
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
 以下、実施の形態1~4について説明する。
 (実施の形態1)
 以下、図2~図12を用いて、実施の形態1を説明する。
 実施の形態1では、表示パネル内の水平方向のサブ画素列において、左眼用映像と右眼用映像とが、4個のサブ画素から構成される表示単位ずつ交互に配置された映像を表示する映像表示装置について説明する。実施の形態1の映像表示装置は、観察者と映像表示装置との観察距離に応じて一部の表示単位についてサブ画素数が変更される点が特徴である。
 [構成]
 図2は、実施の形態1に係る映像表示装置の構成を示すブロック図である。実施の形態1に係る映像表示装置100は、初期調整部103と、映像表示部102と、表示回路105と、映像分離部101と、映像分離部調整回路104と、制御部110と、信号切替部109と、位置検出部107と、カメラ108とを備える。
 初期調整部103は、映像分離部調整回路104、位置検出部107、及び、信号切替部109の調整を行う。つまり、初期調整部103は、映像表示部102及び映像分離部101等に関連する調整を行う。
 映像表示部102は、2次元の視差画像を表示回路105からの出力に基づいて表示する。映像表示部102は、表示部の一例であり、映像表示部102は、例えば、液晶パネルやPDP、及び有機ELパネル等の表示パネルである。なお、表示回路105は、映像表示部102に含まれてもよい。
 映像分離部101は、例えば、視差バリア(パララックスバリア)であり、映像表示部102からの画像を所定の位置に視差画像として提示する。映像分離部101の構造としては、矩形開口を有するステップバリア構造などが例示されるが、実施の形態1では、スラントバリア構造であり、このような構造の詳細については後述する。なお、映像分離部101は、映像表示部102に対向して設けられる、左眼用映像及び右眼用映像を分離して観察者に提示するための分離部の一例である。
 映像分離部101は、開口部分と遮蔽部分とからなり、実施の形態1では、電圧等をかけることで遮蔽部と開口部とを変更することができるデバイス(光の透過率を変化することができるデバイス)が用いられる。このようなデバイスは、例えば、TFT液晶パネルなどである。しかしながら、映像分離部101は、薄いフィルム膜または透明度の高い物質(ガラス等)で生成される固定バリアであってもよい。また、映像分離部101は、レンチキュラーレンズ等であってもよい。
 映像分離部調整回路104は、映像分離部101と映像表示部102との間の距離や映像分離部の位置等を調整する回路である。
 複数視差画像106は、表示回路105を介して映像表示部102に表示される左眼用画像及び右眼用画像である。
 次に、制御部110の構成について説明する。図3は、制御部110の構成を示すブロック図である。図3に示されるように、制御部110は、より詳細には、信号切替部120と、水平方向配置制御部121と、奥行き方向配置制御部122とを有する。
 ここで、映像表示部102と、映像分離部101との構造について説明する。図4は、映像表示部102及び映像分離部101の構造を説明するための図である。
 図4の(a)に示されるように、実施の形態1の映像表示部102は、赤色光を発するサブ画素10R、緑色光を発するサブ画素10G、及び、青色光を発するサブ画素10Bの3種類のサブ画素を有する。これらのサブ画素は、マトリクス状に配置されている。
 また、映像分離部101は、3:1の傾きを持つスラントバリア構造である。つまり、図4の(b)に示されるように、2つの複数視差画像(左眼用画像及び右眼用画像)を表示するための1つの画素20は、斜めに並んだ3つのサブ画素からなる。
 また、映像表示部102では、左眼用画像及び右眼用画像が、水平方向において4つのサブ画素からなる表示単位ずつ交互に配置された映像が表示される。例えば、図4の(b)に示されるように、1表示単位分の左眼用画像20Lに隣接して、1表示単位分の右眼用画像20Rが配置され、このような配置が繰り返される。
 映像分離部101がスラントバリア構造である場合、観察者が少し左右に移動したときに、隣の視点ピクセルのB+G+Rが同時に見えてくる。このため、色モアレが発生する可能性が低く、また1視点ピクセルにおけるカラーバランスが崩れる恐れが少ない効果が得られる。
 さらに、画素形状の水平方向と垂直方向のサイズの比が1:3である構造の場合に、視差画像が1サブ画素列ずつ交互に配置された場合には、視差数mの1画素グループ単位の縦横比は、9:mとなる。これに対して、視差画像がnサブ画素列ずつ交互に配置された場合には、視差数mの1画素グループ単位の縦横比は、9:(n×m)になり、n=4、m=2の場合、縦横の画素配列のバランスが良くなるメリットがある。
 なお、1つの表示単位における水平方向のサブ画素数(以下、単にnとも記載する)は、4つに限定されるものではなく、2つ以上であればよい。しかしながら、後述するように、1つの表示単位における水平方向のサブ画素数が多いほど、適視距離Lcの位置における観察者の水平方向の移動に対して精度の高い視差画像のシフト処理が実現される。
 また、映像表示装置100においては、映像分離部101を通して余分なサブ画素が見える割合(例えば、左眼用画像が見えるはずの位置から、隣の右眼用画像が見えてしまう割合)を減らすことがクロストーク低減に必要となる。このような、クロストーク低減の観点からも、nは、多いほうがよい。以上のことと上記縦横の画素配列のバランスの観点から、m=2(視差が2種類)の場合、n=4、5が好ましい。
 [立体映像の表示]
 次に、映像表示装置100、制御部110、及び位置検出部107の動作について説明する。
 まず、初期調整部103は、映像表示装置100の映像表示を開始する場合、または、居間等の部屋に映像表示装置100が初めて設置された場合において、映像表示部102(表示デバイス)、及び映像分離部101(視差バリア)等の調整を実施する。
 例えば、映像分離部101として、TFT液晶パネル等によるアクティブ視差バリアが用いられる場合は、所定の適視距離におけるバリアのピッチ幅bhやバリア位置の調整を実施する。具体的には、開口部分と遮蔽部分との位置の制御が画素もしくはサブ画素単位で実施される。なお、映像分離部101が固定バリアの場合、映像分離部101と映像表示部102との間の距離やバリアの傾きの調整は、所定の調整画像を用いて行われる。
 なお、初期調整部103の初期調整と合わせて、適視距離Lcからのテスト画像を用いた立体映像視認評価が行われる。具体的には、見易さ、並びに、ぼけ及び融像の程度に基づいて表示回路105における階調特性のチューニングが実施される。
 このとき、状況に応じて視差画像内の視差量制御(線形係数を用いた強弱制御、または、水平方向シフト量調整など)が実施されてもよい。
 映像表示部102は、表示回路105を通じて取得した複数視差画像106に基づいて映像を表示し、表示された映像は、映像分離部101により所定位置において適切に観察できるように分離される。これにより、観察者は、左眼で左眼画像を観察し、右眼で右眼画像を観察することができる。つまり、観察者は、立体映像を観察することができる。なお、複数視差画像106は、放送や通信など様々な取得経路で得られるものであり、取得経路は特に限定されない。
 映像分離部101は、図4で説明したようなスラントバリア構造である。バリア間ピッチbh(開口部の水平方向の幅)は、サブ画素ピッチsh、適視距離Lc、映像表示部102と映像分離部101との間の距離d、視差数mに基づいて幾何学的に決定され、式(1)のようになる。同様に、眼間距離Eに対して、視差数がmであり、表示単位の水平方向の画素数がnである場合、適視距離Lcは、式(1)のようになる。
Figure JPOXMLDOC01-appb-M000001
 上述の初期調整部103の調整によれば、適視距離Lcにおいて、所定の間隔(眼間距離E)で適切に立体映像が見えるようになる。この位置を適視位置と呼ぶ。なお、適視距離Lcは、映像表示部102の表示画面に垂直な方向、つまり、映像表示部102から観察者までの距離を意味し、適視位置は、左右方向(水平方向)の位置を意味する。
 適視位置においては、左眼用画像及び右眼用画像を左右の順番を考慮して観察者の左眼と右眼とに入れることで、観察者は、立体映像を観察することができる。
 しかしながら、例えば、観察者の片眼が適視位置からずれた位置にある場合、この片眼には、視差画像が混合した画像(クロストークが発生)が見えてしまう。つまり、物体形状が2重に見えたり、ぼけて見えたりしてしまい、観察者が映像を立体的に観察できない現象が発生する。
 そこで、実施の形態1では、位置検出部107は、観察者(以下、視聴者または視認者とも記載する)の頭部または眼の位置を検出し、位置検出部107により得られた視聴者位置に応じて左眼用画像及び右眼用画像の表示位置が変更されることによって視域を拡大する。このような左眼用画像及び右眼用画像の表示位置の制御を、以下では視差画像の配置制御とも記載する。
 [視聴者の位置検出]
 視聴者の位置検出は、視聴者が存在する領域の画像を撮影するカメラ108と、カメラ108が撮影した画像に基づいて視聴者の位置変動を検出する位置検出部107によって行われる。以下、視聴者の位置検出について図5及び図6を用いて説明する。図5は、位置検出部107の構成を示すブロック図である。図6は、位置検出処理の概要を示す図である。
 図5に示されるように、位置検出部107は、頭部検出部200と、基準点設定部201と、視聴者位置検出部202と、水平移動判断部203と、距離移動判断部204と、調整情報出力部205とを備える。なお、位置検出部107には、カメラ108が含まれてもよい。
 視聴者の位置検出においては、まず、カメラ108は、視聴者がいると思われる領域の画像を撮影する。なお、このとき撮影対象の領域(例えば、居間の場合はTVから視野角100度、視聴距離は1.5mから6.7m以内)は、カメラ108によって撮影できる画角の条件を満たす必要がある。
 頭部検出部200は、カメラ108が検出した画像(入力画像データ、図6の(a))内の人物頭部の位置を抽出する。入力画像データからは、輪郭抽出画像データと肌色分析データとが特徴量として得られ(図6の(b))、これらに基づいて頭部の位置が抽出される。
 次に、基準点設定部201は、画像内で相対的な大きさを検出する際の基準点を設定する(図6の(c))。この基準点は、画像の中心に設定されてもよいし、適視位置に右眼がある場合の顔中心位置に設定されてもよい。
 次に、図6の(d)及び(e)に示されるように、視聴者位置検出部202は、頭部検出を行い、視聴者の眼間中心点と基準点との間の距離sLenH、及び、視聴者の眼間距離LenEyeを求める。適視距離Lcにおける眼間距離Eとの比較により、観察距離Ldは、式(2)のように算出される。また、適視距離Lcにおけるカメラ画像内の眼間画素数spixEyecとsLenHとから、水平方向の距離LenHは、式(2)のように算出される。
Figure JPOXMLDOC01-appb-M000002
 なお、水平移動判断部203は、予め用意され、大きさが判明している基準顔画像を用いて、抽出された顔の大きさとの比較で補正係数を決め、補正係数をslenHに乗算することによって水平方向の位置を求めてもよい。また、距離移動判断部204は、抽出された顔の大きさslenFaceと基準顔画像の顔の大きさとの比で奥行き方向の距離(観察距離Ld)を求めてもよい。
 また、距離移動判断部204は、カメラ内の画角距離を予め測定しておき、カメラ内画素と画角距離との関係を求めておくことで、カメラ画像内の中心点と眼間中心点との間の画素数spixHから水平方向の顔の位置LenHを求め、眼間画素数spixEyeから観察距離Ldを求めてもよい。
 上記の水平方向の顔の位置LenHの算出は、水平移動判断部203によって行われ、観察距離Ldの算出は、距離移動判断部204によって行われる。最後に、調整情報出力部205は、視差画像の配置制御の実施を指示する信号を出力する。
 次に、頭部検出の詳細について図7及び図8を用いて説明する。図7は、頭部検出部の構成を示すブロック図である。図8は、パターンマッチング処理の一例を説明するための模式図である。
 図7に示されるように、頭部検出部200は、色度合い検出部300と、輪郭検出部301と、特徴量抽出部302と、パターンマッチング部303と、テンプレート記憶メモリ304とを有する。
 なお、テンプレート記憶メモリ304は、頭部検出部200の外部に設けられてもよいし、頭部検出部200内に設けられてもよい。テンプレート記憶メモリ304は、具体的には、ハードディスクまたは半導体メモリなどの記録媒体である。
 輪郭検出部301は、入力画像データ(カラー画像信号、図8の(a))から、輪郭情報を取得する。輪郭検出部301の処理について、以下詳細に説明する。
 輪郭検出部301は、式(3)で示される3×3の大きさを持つ2次元フィルタによる2次元フィルタ処理を用いて、式(4)により、画像内の各画素(i,j)の微分ベクトルvd(i,j)(xd(i,j)、yd(i,j))を求める。
 また、輪郭検出部301は、微分ベクトルvd(i,j)の大きさstv(i,j)を、stv(i,j)=(xd(i,j)×xd(i,j)+yd(i,j)×yd(i,j))^0.5により求める。ここで、x^0.5は、xの平方根に相当する。なお、stv(i,j)=|xd(i,j)|+|yd(i,j)|であってもよい。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 輪郭検出部301は、各画素(i,j)におけるstv(i,j)を、所定のしきい値TH2を使って、式(5)のように比較することで、輪郭画素抽出を行う。なお、式(5)は、カラー画像信号により形成される画像上の画素が、輪郭に含まれる画素であるか否かを示すための2値化を行う式であり、E(i,j)=1は、画素(i,j)が輪郭に含まれる画素であることを表している。
Figure JPOXMLDOC01-appb-M000005
 輪郭検出部301よってこのように求められた輪郭情報E(i,j)(以下では、単に「輪郭情報Eij」と表記することもある。)は、特徴量抽出部302へ出力される。
 一方、色度合い検出部300は、色分布でクラスタ分類を行い、各クラスタ内画素の肌色度合いを計算する。そして、色度合い検出部300は、この肌色度合いの高い画素が多く含まれるクラスタ領域ほど、出力が1.0となるように変換した情報である肌色度合いを求める。
 特徴量抽出部302は、輪郭情報及び肌色度合いの2つの特徴量に基づいて、人物らしさ度合いFH(i,j)を求める。人物らしさ度合いFH(i,j)の算出は、2つの特徴量の線形結合であってもよいし、2つの特徴量の非線形変換であってもよい。また、特徴量抽出部302は、輪郭情報E(i,j)のうち、肌色度の高いところはそのままE(i,j)を人物らしさ度合いFH(i,j)として出力し、肌色度の低いところは輪郭情報E(i,j)を弱める係数を乗算して人物らしさ度合いFH(i,j)として出力してもよい。また、特徴量抽出部302は、肌色度合いを用いずに、輪郭情報E(i,j)のみに基づいて人物らしさ度合いFH(i,j)を求めてもよい。
 パターンマッチング部303は、特徴量抽出部302により得られた人物らしさ度合いFH(i,j)と、予め用意されたテンプレート記憶メモリ304内の対象領域の形状データとのパターンマッチング処理を行い、対象領域抽出を行う。対象領域抽出が行われる対象領域としては、例えば、顔領域、人物領域(上半身、全身)、及び、目・鼻・口のような顔パーツ領域等が挙げられる。
 対象領域が顔領域である場合、テンプレート記憶メモリ304には、顔領域の標準形状データ(複数であってもよい。また、複数の方向の形状データであってもよい。)が保持(記憶)される。対象領域が人物領域である場合、テンプレート記憶メモリ304には、人物領域の標準形状データ(複数であってもよい。また、複数の方向の形状データであってもよい。また上半身でも全身でもよい。)が保持される。対象領域が目・鼻・口のパーツ領域である場合、テンプレート記憶メモリ304には、各パーツ領域の標準形状データが保持される(図8の(b))。
 パターンマッチング処理は、Tp[k、s]の中心を点(i,j)として、点(i,j)を走査することで行われる(図8の(c))。このように、テンプレート記憶メモリ304が保持する形状データTp[k,s](p=1,…,Pnum)(k=0,1,…,Wp-1)(s=0,1,…,Hp-1)と、各画素(i,j)の人物らしさ度合いFH(i,j)とのパターンマッチング処理が行われることで、該当領域(対象領域情報)が抽出される。なお、Pnumは、テンプレート数であり、Wp及びHpは、それぞれ矩形テンプレートの水平画素数及び垂直画素数である。
 パターンマッチング部303が実行するパターンマッチング処理の手法としては、多くの方法があるが、簡易な方法としては、以下に示すような方法がある。
 まず、テンプレートpに対して、画素(i,j)を中心とした、水平幅がWp、垂直幅がHpである矩形領域候補SR[i,j,Wp,Hp]が設定される。
 そして、パターンマッチング部303は、矩形領域候補SR[i,j,Wp,Hp]内の輪郭情報E(i,j)とテンプレート記憶メモリ304に保持されている形状データTp[k,s]((k=0,…,Wp-1)(s=0,1,…,Hp-1))をもとに、式(6)のような評価関数R(i,j,p)を求める。
Figure JPOXMLDOC01-appb-M000006
 次に、式(7)に示されるように、パターンマッチング部303は、テンプレートp及び画素(i,j)に対する最大の評価関数R(i,j,p)であるMRを求める。式(7)において、maxは、画素(i,j)及びテンプレートpに対して、R(i,j,p)の最大値を求めることを示す。そして、その最大値MRが所定のしきい値THMR以上であれば、最大値MRに該当する矩形領域候補SR[i,j,Wp,Hp]を、対象領域情報BestSR[i,j,W,H]として抽出する。
Figure JPOXMLDOC01-appb-M000007
 このように、パターンマッチング部303が最大値MRと所定のしきい値THMRとを比較することで、ノイズ等とのマッチングが行われることを抑制することができる。なお、しきい値THMRより最大値MRが小さい場合は、対象領域がないものとして、対象領域情報BestSR[i,j,W,H]として、入力画像データの情報[width/2,height/2、width,height]が出力される。ここで、widthは入力画像データの水平画素数を示し、heightは入力画像データの垂直画素数を示す。
 以上のようにして、パターンマッチング部303によって取得された対象領域情報BestSR[i,j,W,H]は、頭部検出部200から出力される。
 [視差画像の配置制御]
 以上説明したように、位置検出部107から水平方向(左右方向)、及び、距離方向(映像表示装置100から視聴者までの距離)を示す信号が出力された場合、制御部110は、映像表示部102に表示される視差画像の配置制御を行う。このような配置制御は、映像表示装置100の特徴構成である。以下、視差画像の配置制御について図9~図11を用いて説明する。図9は、適視距離Lcの位置において、水平方向に観察者が移動する場合の視差画像の配置制御を説明するための図である。図10及び図11は、適視距離Lcと異なる距離Ldの位置において観察者が水平方向に移動する場合の配置制御を説明するための図である。なお、図9~図11では、視差数m=2、各視差画像を交互に配置した場合に視差画像を構成するサブ画素数(表示単位)n=4の場合について説明する。なお、図11の説明では、観察距離に応じて整数nが実数n’に変化するが、この場合のn’は平均サブ画素数に相当する。
 図9の(a)は、観察者30が位置検出部107によって、観察者30が適視距離Lcの適視位置に位置している状態を模式的に示している。ここで、適視位置とは、上述のように、視差画像が分離してきれいに見える位置であって、眼間距離Eの間隔で存在する位置である。
 図9の(a)の状態から観察者30の位置が水平方向に移動したことが検出された場合に、制御部110の水平方向配置制御部121は、式(8)に示されるΔhnの移動量に対して、映像の表示位置をシフトする。
Figure JPOXMLDOC01-appb-M000008
 具体的には、水平方向配置制御部121は、観察者30の頭部が動いた方向とは逆方向に1サブ画素単位で映像(左眼用画像20L及び右眼用画像20R)をシフトして表示させることで水平方向の視域を拡大する。例えば、観察者30から見て、頭部が適視位置からE/nだけ右に動いた場合には、水平方向配置制御部121は、1サブ画素分映像を左へシフトさせる。
 具体的には、図9の(b)、(c)、及び(d)にそれぞれ示されるように、観察者30の頭部が画面に向かって適視位置からE/4、E×2/4、E×3/4だけ右に動いた場合には、水平方向配置制御部121は、1サブ画素分、2サブ画素分、3サブ画素分、映像を左へシフトさせる。なお、図9の各図の黒丸印は、図9の(a)の適視位置における視差画像の中心である。
 このようにn=4の場合には、E/n=E/4の距離の観察者30の移動に対して、頭部の移動方向とは逆方向に、1サブ画素分の映像の表示位置のシフトが行われる。言い換えれば、映像表示装置100は、E/4の精度(切替単位精度)で観察者30の頭部移動に追従することができ、観察者30は、クロストークが低減された立体映像を視聴することができる。なお、図9の例のように、適視距離Lcの変化がなく、観察者30が水平方向の移動のみを行う場合には、奥行き方向配置制御部122の処理は行われない。
 これに対して、図10は、観察者30が適視距離Lcと異なる距離Ldの適視位置に位置している状態を模式的に示している。図10の(a)は、観察者30が適視距離Lcの正面位置(適視位置)で映像を観察する場合を示す。また、図10の(b)は、水平位置は同じ正面位置であるが、適視距離Lcより前の観察距離Ldの位置で観察者30が映像を観察する場合を示している。
 図10の(b)では、図10の(a)よりも画面右端及び左端へ向かって光線が広がってしまう。このため、観察者30が適視距離Lcとは異なる観察距離Ldから映像を観察する場合には、水平方向配置制御部121は、Δhndの観察者30の移動に対して、頭部の移動方向と逆方向に1サブ画素分の映像の表示位置のシフトを行う。なお、Δhndは、LcとLdとの関係に基づき式(9)のように算出される、補正したΔhnである。
Figure JPOXMLDOC01-appb-M000009
 しかしながら、このような制御を水平方向配置制御部121が行ったとしても、図10の(c)に示されるように、観察者30が画面に向かって右側に移動した場合には、画面端(図10の(c)の例では、観察者30から見て右端)で正視でなくなる場合が生じる。つまり、左眼に右眼用画像が見えてしまう場合が生じる。なお、このような弊害は、観察者30が映像表示装置100の正面位置に位置する場合であっても、観察者30が適視距離Lcよりも前方に位置する場合、または、観察者30が適視距離Lcよりも後方に位置する場合に生じる。
 そこで、実施の形態1では、この弊害を緩和するために、図10の(d)に示されるように、水平方向配置制御部121の映像のシフトに加えて、さらに奥行き方向配置制御部122が表示単位のサブ画素数nを部分的に変化させる。言い換えれば、奥行き方向配置制御部122は、表示単位を構成するサブ画素数の平均値n’を変化させる。具体的には、図10の(c)では、楕円で囲まれた表示単位においてnが4から5に変更される。
 このような配置制御(nの不連続点の入れ方)の詳細について図11を用いて説明する。観察者30が適視距離Lcに対して観察距離Ldに移動した場合、式(10)に示されるように、適切な表示単位間のピッチはphからph’になる。Ld<Lcの場合、距離の変動量dL<0となり、式(10)からサブ画素数の変動量dn>0となる。つまり、観察者30が前(映像表示装置100)に向かって移動すると表示単位間のピッチを広げる制御が必要となる。
Figure JPOXMLDOC01-appb-M000010
 サブ画素数n’は実数となり、表示単位間のピッチは、固定ではなく平均値となる。よって、奥行き方向配置制御部122は、表示単位間のピッチが平均n’になるように部分的にnを変化させる。例えば、適視距離Lcの位置においてn=4であったものが、観察距離Ldの位置ではn’=4.2となる場合、(絶対的な映像表示部102の)中心位置から端に向かって、n=4の表示単位4つ分と、n=5の表示単位1つ分で構成される基本単位が繰り返されれば、平均ピッチn’を実現することができる。
 なお、観察者30が適視距離よりも遠くに位置する場合には、表示単位間のピッチを狭める制御が必要となり、この場合は、一部の表示単位のサブ画素数を減らす制御が行われる。
 サブ画素数の変更は、平均ピッチn’を実現できるのであれば、どのように行われてもよい。例えば、現在の眼間中心位置に相当するサブ画素を中心に画面端に向かって基本単位が繰り返されてもよい。また、観察者30の頭部位置に近い領域に位置する表示単位は、nを変更せず、そこから離れて位置する表示単位ほど、nを多く増減させてもよい。
 [まとめ]
 以上説明した映像表示装置100の動作(映像表示方法)について、フローチャートを参照しながら簡潔にまとめて説明する。図12は、映像表示装置100の動作のフローチャートである。
 図12に示される映像表示方法は、裸眼3D映像を表示する映像表示装置100を用いた映像表示方法であって、映像表示装置100は、画素を構成するサブ画素がマトリクス状に配置された映像表示部102を備える。
 まず、映像表示装置100の制御部110は、映像表示部102のサブ画素行において、左眼用映像と右眼用映像とが、n個(nは2以上の整数)のサブ画素から構成される表示単位ずつ交互に配置された映像を表示する(S11)。サブ画素行とは、映像表示部102の行方向のサブ画素の配列を意味する。また、上記実施の形態1では、n=4である。
 次に、位置検出部107は、映像表示部102から視認者(観察者)までの距離である、観察距離Ldを検出する(S12)。ここで、観察距離Ldは、より詳細には、映像表示部102の表示画面に垂直な方向における、映像表示装置100から視認者(観察者)までの距離である。
 そして、制御部110は、検出された観察距離Ldが所定の距離である適視距離Lcと異なる場合、検出された距離に応じて、サブ画素行に含まれる複数の表示単位のうち一部の表示単位のサブ画素数を変更する(S13)。
 具体的には、制御部110は、検出された観察距離Ldが適視距離Lcよりも短いときには一部の表示単位のサブ画素数を増やし、検出された観察距離Ldが適視距離Lcよりも長いときには一部の表示単位のサブ画素数を減らす。
 これにより、視認者の前後方向の移動に対する視域制約を緩和することができる。つまり、視認者が適切に3D映像を視認できる範囲を広げることができ、視認者の視認位置の変化に追従してスムーズに裸眼3D映像を表示することができる。また、このような映像表示方法では、補間画像を生成及び表示しないので、補間によるぼけやクロストークを抑えることができる。
 また、サブ画素数nは、4以上の整数であることが好ましい。視聴者の水平方向(横方向)におけるE/nの移動に対して、1サブ画素の映像の表示位置のシフトが行われるため、視聴者の水平方向における移動に対してより滑らかに追従した映像の表示が可能となるからである。
 なお、視聴者が映像表示部102の正面にいる状態で、観察距離Ldが適視距離Lcと異なる場合、画面の端のほうの視差画像ほど、クロストークが生じやすくなる。このため、制御部110は、画面の端のほうに位置する表示単位ほど、サブ画素数が多くなるように制御を行ってもよい。つまり、制御部110は、一部の表示単位のサブ画素数を増やす場合、サブ画素行に含まれる複数の表示単位のうち、端部に位置する表示単位のサブ画素数を増やし、前記一部の表示単位のサブ画素数を減らす場合、サブ画素行に含まれる複数の表示単位のうち、中央部に位置する表示単位のサブ画素数を減らしてもよい。
 なお、上記適視距離Lc(所定の距離)は、範囲を持った距離であってもよく、この場合、検出した観察距離Ldが上記範囲に属さない場合に、サブ画素数の増減が行われる。
 [変形例]
 実施の形態1では、位置検出部107及びカメラ108を用いた位置検出の一例について説明したが、位置検出は、どのように行われてもよい。例えば、位置検出部107として、図13及び図14に示される距離検出部が用いられてもよい。図13は、距離検出部の構成を示すブロック図であり、図14は、距離検出部の動作を説明するための図である。
 図13及び図14に示される距離検出部318は、距離測定装置に相当するものである。距離検出部318の距離検出には、照明光を対象物体に照射し、照射した照明光が戻ってくるまでの時間であるTOF(Time Of Flight)を計測することで距離を測定するTOF法が用いられる。
 図13に示されるように、距離検出部318は、対象空間(対象物330)に照明光310を照射する発光源320と、対象空間からの反射光311をレンズ324を通して受光し、受光光量を反映した出力値の電気信号を出力する光検出素子319とを備える。また、距離検出部318は、発光源320及び光検出素子319を制御する制御回路部321と、光検出素子319からの出力に対して画像生成処理を行う画像生成部323とを備える。
 また、距離検出部318は、光検出素子319を備える。光検出素子319は、複数の感光部325、複数の感度制御部326、複数の電荷集積部327、及び電荷取出部328を有している。
 発光源320は、対象空間に所定周期の変調信号で変調された光を照射し、光検出素子319は、対象空間を撮像する。
 画像生成部323は、発光源320から対象空間に照射された光と対象空間内の対象物OBJで反射され光検出素子319で受光される反射光との変調信号の位相差によって対象物OBJまでの距離を求める。
 光検出素子319に設けられた各感光部325が対象空間からの光を受光する受光期間は、制御回路部321によって制御される。各感光部325は、変調信号の位相とは異なる位相に同期するように制御された受光期間に受光する。
 画像生成部323には、変調信号の1周期以上の期間である検出期間ごとに集積した電荷が光検出素子319から与えられる。画像生成部323は、複数の検出期間の電荷量を受光期間別に積算した電荷量を変換して距離画像を求める。
 この結果、図14の(a)に示されるように、距離検出部318からは、濃淡のグレースケール画像が得られる。なお、このグレースケール画像(距離画像)では、例えば、図14の(b)に示されるように、遠くに位置する部分が暗く、近くに位置する部分が明るく表示される。この画像内の物体形状推定に基づいて人物を抽出し、その位置と人物までの距離を求めることでも位置検出が可能である。
 (実施の形態2)
 実施の形態2では、観察者の視線方向を検出する機能をさらに有する映像表示装置について説明する。このような映像表示装置は、測定された観察者と表示装置との観察距離に加えて、観察者の視線方向を用いて一部の表示単位のサブ画素数nを変更する。これにより、観察者が奥行き方向(前後方向)に移動した場合の視域が拡大される。なお、以下の実施の形態2では、実施の形態1と異なる部分を中心に説明し、実施の形態1と重複する内容については説明が省略される場合がある。
 [構成]
 図15は、実施の形態2に係る映像表示装置の構成を示すブロック図である。図16は、実施の形態2に係る制御部の構成を示すブロック図である。
 図15に示されるように、映像表示装置290は、制御部401と視線方向検出部400とを備える点が映像表示装置100と異なる。
 視線方向検出部400は、観察者の視線方向を検出する。
 制御部401は、検出された観察者の(頭部)位置情報と観察者の視線方向とに基づいて、映像の表示位置のシフト、及び、視差画像の配置制御を行う。
 図16に示されるように、制御部401は、より詳細には、水平方向配置制御部121と、奥行き方向配置制御部122と、奥行き方向配置補正部410とを備える。
 水平方向配置制御部121は、実施の形態1と同様に、観察位置(観察者の左右方向(水平方向)の位置)に応じて映像の表示位置をサブ画素単位で水平方向にシフトさせる制御を行う。
 奥行き方向配置制御部122は、観察距離Ldが適視距離Lcとは異なる距離に変動した場合に、観察距離Ldと観察位置とに応じて一部の表示単位のサブ画素数nを変更する。制御(視差画像の配置制御)を行う。
 奥行き方向配置補正部410は、検出された視線方向(視線方向情報)に基づいて、奥行き方向配置制御部122によってサブ画素数nが変更される表示単位を変更する(不連続点の位置を補正する)。
 [動作]
 以下、映像表示装置290の動作について説明する。図17は、映像表示装置390の動作を説明するための図である。
 適視距離Lcの適視位置(視差画像が分離してきれいに見える位置であって、眼間距離Eの間隔で存在する位置)から観察者30の位置が水平方向に移動した場合、水平方向配置制御部121は、映像の表示位置のシフト制御を行う。具体的には、水平方向配置制御部121は、観察者30のΔhnの移動に対して、頭部が動いた方向とは逆方向に1サブ画素単位の表示位置のシフトを行う。
 観察者30が適視距離Lcとは異なる観察距離Ldから映像を観察する場合には、水平方向配置制御部121は、観察者30のΔhndの移動に対して、頭部の移動方向と逆方向に1サブ画素単位の表示位置のシフトを行う。そして、さらに、奥行き方向配置制御部122は、図17の(a)に示されるように、表示単位のサブ画素数の平均値がn’になるように一部の表示単位(図17の(a)で楕円で囲まれた表示単位)のサブ画素数nを変更する。
 サブ画素数の変更は、実施の形態1と同様に、平均ピッチn’を実現できるのであれば、どのように行われてもよい。例えば、現在の眼間中心位置に相当するサブ画素を中心に画面端に向かって基本単位が繰り返されてもよいし、観察者30の頭部位置に近い領域に位置する表示単位は、nを変更せず、そこから離れて位置する表示単位ほど、nを多く増減させてもよい。
 ここで、映像表示装置290では、制御部401が、カメラ108が撮影した画像に基づいて観察者30の顔領域及び目の領域を抽出する。制御部401は、より具体的には、目の中で瞳(黒)の向いている方向、及び、目の中における瞳の位置を検出する。
 奥行き方向配置補正部410は、検出された視点位置に基づいてサブ画素数nが変更される表示単位を変更する。
 例えば、図17の(b)に示されるように、観察者30の視線が(観察者30から見て)中央から左に向いた場合、瞳が中心にあった場合にサブ画素数nが変更されていた表示単位よりも、観察者30から見てより左に位置する表示単位のサブ画素数nが変更される。
 同様に、図17の(c)に示されるように、観察者の視線が中央から右に向いた場合、瞳が中心にあった場合にサブ画素数nが変更されていた表示単位よりも、観察者30から見て左に位置する表示単位のサブ画素数nが変更される。
 これにより、観察者30が視差画像をきれいに見ることができる視域を拡大させることができる。なお、サブ画素数nが変更される表示単位の変更においては、視線向きの変化に合わせて、元々サブ画素数nが変更されていた表示単位となるべく近い表示単位においてサブ画素数nが変更されることが好ましい。
 なお、瞳の中心位置からのズレ量(瞳が目の中心にある場合に対して左右のどちらかにずれている場合のズレ量)Δeは、上述の式(2)に示される距離LenHに加減算されてもよい。つまり、距離LenHに視点位置が加味されてもよい。この場合、奥行き方向配置制御部122は、図17の(b)及び(c)で説明した、サブ画素数nが変更される表示単位の変更を行わない。
 [まとめ]
 以上説明したように、映像表示装置290の視線方向検出部400は、視認者(観察者)の視線方向を検出し、制御部401は、検出された視線方向に応じて、サブ画素数が変更される表示単位を変更する。
 具体的には、制御部401は、検出された視線方向が視認者から見て右から左に動いた場合、サブ画素数が変更される表示単位を視認者から見てより左側に位置する表示単位に変更する。また、制御部401は、検出された視線方向が視認者から見て左から右に動いた場合、サブ画素数が変更される表示単位を視認者から見てより右側に位置する表示単位に変更する。
 これにより、視認者の前後方向への視域制約をさらに緩和することができる。つまり、視認者が適切に3D映像を視認できる範囲をさらに広げることができ、視認者の視認位置の変化に追従してスムーズに裸眼3D映像を表示することができる。
 なお、視線方向を検出する方法は、特に限定されるものではなく、例えば、視点位置から視線方向を推定することにより視線方向が検出されてもよい。
 (実施の形態3)
 以下、実施の形態3に係る映像表示装置について説明する。実施の形態3に係る映像表示装置は、観察者と表示装置との観察距離Ldに応じてn個のサブ画素をシフトするタイミングを変更する。これにより、観察者が奥行方向に移動した場合の視域が拡大される。なお、以下の実施の形態3では、実施の形態1と異なる部分を中心に説明し、実施の形態1と重複する内容については説明が省略される場合がある。
 [構成]
 図18は、実施の形態3に係る映像表示装置の構成を示すブロック図である。また、図19は、実施の形態3に係る制御部の構成を示すブロック図である。
 映像表示装置390においては、制御部500の動作が、映像表示装置100と異なる。制御部500は、映像表示装置390から観察者までの観察距離Ldに応じて、視差画像のシフト制御を行うタイミングを変更する。
 図19に示されるように、制御部500は、より詳細には、切替時間調整部510と、水平方向配置制御部121とを備える。
 切替時間調整部510は、観察者までの観察距離Ldに応じて映像表示部102に表示される映像の表示位置をシフトさせるタイミングを決定する。
 水平方向配置制御部121は、切替時間調整部510によって決定されたタイミングで、映像の表示位置のシフト処理(シフト制御)を実施する。
 [動作]
 以下、映像表示装置390の動作について説明する。図20は、映像表示装置390の動作を説明するための図である。
 まず、映像表示部102にパネル歪がない場合について説明する。
 適視距離Lcの適視位置(視差画像が分離してきれいに見える位置であって、眼間距離Eの間隔で存在する位置)から観察者30の位置が水平方向に移動した場合、水平方向配置制御部121は、映像の表示位置のシフト制御を行う。具体的には、水平方向配置制御部121は、映像表示部102にパネル歪がない場合には、観察者30のΔhnの移動に対して、頭部が動いた方向とは逆方向に1サブ画素単位の表示位置のシフトを行う。これにより、水平方向の視域が拡大される。
 これに対し、観察者30が適視距離Lcとは異なる観察距離Ldに位置する場合、水平方向配置制御部121は、観察者30のΔhndの移動に対して、頭部の移動方向と逆方向に1サブ画素単位の表示位置のシフトを行う。
 例えば、Ld<Lcの場合に、観察者30が画面中心から右に移動した場合、Δhndは、Δhnより小さくなる。このため、観察者30が等速で移動しているとすれば、観察距離Ldに位置する場合のほうが、水平方向配置制御部121が映像を1サブ画素分左へシフトさせるタイミングは早くなる(図20の(a))。
 一方、観察者30が適視距離Lcより後ろの観察距離Ldd(Ldd>Lc)に位置する場合、画面中心から観察者が右に移動した場合には、ΔhnddはΔhnより大きくなる。このため、観察者30が等速で移動しているとすれば、観察距離Lddに位置する場合のほうが、水平方向配置制御部121が映像を1サブ画素分左へシフトさせるタイミングは遅くなる。
 Δhndは、距離Ld(Ld<Lc)の位置(図20において左右方向に伸びる直線上)を観察者30が移動する場合(図20の(b))は、左右方向(水平方向)の位置によらず、観察距離Ldに依存する。
 しかしながら、映像表示部102にパネル歪があり、映像分離部101が映像表示部102と一体成型されていない場合には、映像分離部101と映像表示部102との間のギャップに差が生じる。図21は、映像表示部102のパネル歪を説明するための模式図である。
 特に、図21に示されるように、映像分離部101と映像表示部102とが端部同士で固定された場合には、画面端でギャップ(間隙)が小さくなるように変形することが多い。この場合、映像表示部102の画面端に位置する画素の適視距離Lcdは、画面中央に位置する画素の適視距離Lcよりも短くなる。よって、適視距離Lcの位置では、画面端において視差画像を適切に視認するための眼間距離Edは、設計上の眼間距離Eよりも広くなる。
 ここで、映像分離部101は、画面中央を基準に初期化されている。つまり、左眼用画像と右眼用画像とが適視距離Lcの所定位置で分離するように、開口部及び遮光部の位置が調整されている。したがって、画面中央のギャップを想定してΔhndが設定されることが一般的である。
 図21のようなパネル歪がある場合、画面端における切替単位Δhndwは、画面中央を想定して設定されたΔhndより大きくなる。このため、画面端において映像をシフトさせるタイミングは、画面中央において映像をシフトさせるタイミングよりも緩やかに(短く)する必要がある。なお、このΔhndwは、以下の式(11)により決定することができる。
Figure JPOXMLDOC01-appb-M000011
 適視距離Lcよりも後ろの観察距離Ldd(Ldd>Lc)の位置においても同様である。図21のようなパネル歪がある場合には、画面端における切替単位Δhnddwは、画面中央のΔhnddより大きくなり、画面端において映像をシフトさせるタイミングは、画面中央において映像をシフトさせるタイミングよりも緩やかにする必要がある。
 以上のような、画面中央部と画面端部とで映像をシフトさせるタイミングを変更する補正は、切替時間調整部510により実施される。水平方向配置制御部121は、切替時間調整部510の補正にしたがって、シフト制御を実行する。
 [まとめ]
 以上説明した映像表示装置390の動作(映像表示方法)について、フローチャートを参照しながら簡潔にまとめて説明する。図22は、映像表示装置390の動作のフローチャートである。
 図22に示される映像表示方法は、裸眼3D映像を表示する映像表示装置390を用いた映像表示方法であって、映像表示装置390は、画素を構成するサブ画素がマトリクス状に配置された映像表示部102を備える。
 まず、映像表示装置390の制御部500は、映像表示部102のサブ画素行において、左眼用映像と右眼用映像とが、n個(nは2以上の整数)のサブ画素から構成される表示単位ずつ交互に配置された映像を表示する(S21)。サブ画素行とは、映像表示部102の行方向のサブ画素の配列を意味する。また、上記実施の形態3では、n=4である。
 次に、位置検出部107は、映像表示部102から視認者までの距離、及び、前記視認者の水平方向の位置を検出する(S22)。なお、水平方向とは、映像表示部102の画素の水平方向(映像表示部102の長手方向)に対応する方向を意味し、言い換えれば、視認者の左右方向(横方向)である。
 そして、制御部500は、検出された映像表示部102から視認者までの距離、及び、検出された視認者の水平方向の位置に基づいて、サブ画素行における、左眼用映像及び右眼用映像の表示位置を所定数のサブ画素分シフトする(S23)。上記実施の形態3では、所定数は1であるが、2以上であってもよい。
 具体的には、制御部500は、映像表示部102から視認者までの距離が観察距離Ld(第1の距離)である場合、視認者の水平方向の位置のΔhnd(第1移動量)に対して所定数のサブ画素分のシフトを行う。また、制御部500は、映像表示部102から視認者までの距離が観察距離Ldよりも大きい適視距離Lc(第2の距離)である場合、視認者の水平方向の位置の、Δhndよりも大きいΔhn(第2移動量)に対して所定数のサブ画素分のシフトを行う。
 これにより、視認者の前後方向の移動に対する視域制約を緩和することができる。つまり、視認者が適切に3D映像を視認できる範囲を広げることができ、視認者の視認位置の変化に追従してスムーズに裸眼3D映像を表示することができる。また、このような映像表示方法では、補間画像を生成及び表示しないので、補間によるぼけやクロストークを抑えることができる。
 また、サブ画素数nは、4以上の整数であることが好ましい。視認者の水平方向(横方向)におけるE/nの移動に対して、1サブ画素の映像の表示位置のシフトが行われるため、視認者の水平方向における移動に対してより滑らかに追従した映像の表示が可能となるからである。
 さらに、このような映像の表示位置のシフト処理は、視差画像の配置制御よりも間単に実現できる利点がある。
 また、制御部500は、映像表示部102のパネル歪み情報(歪みに関する情報)を取得し、取得したパネル歪み情報をさらに用いて所定数のサブ画素分のシフトを行う。
 具体的には、制御部500は、映像表示部102と映像分離部101との間隔が映像表示部102の中央部において映像表示部102の端部よりも大きいことをパネル歪み情報が示す場合、視認者の水平方向の位置が中央部よりも端部寄りであるほど、大きな水平方向の移動量に対して所定数のサブ画素分のシフトを行う。また、後述するように、制御部500は、映像表示部102と映像分離部101との間隔が映像表示部102の中央部において映像表示部102の端部よりも小さいことをパネル歪み情報が示す場合、視認者の水平方向の位置が中央部よりも端部寄りであるほど、小さな水平方向の移動量に対して所定数のサブ画素分のシフトを行う。
 これにより、映像表示部102(表示パネル)の歪みを考慮して、視認者が適切に3D映像を視認できる範囲を広げることができる。
 なお、図21とは異なり、画面中央で映像表示部102と映像分離部101とが接着された場合、映像表示部102の歪みによる、映像表示部102と映像分離部101との間のギャップは、画面端で大きくなることが多い。
 この場合、映像表示部102の画面端においては、バリアとパネル間のギャップが大きくなることから、画面端に位置する画素の適視距離Lcd2は、画面中心に位置する画素の適視距離Lcより長くなる。よって、適視距離Lcの位置では、画面端において視差画像を適切に視認するための眼間距離Ed2は、設計上の眼間距離Eよりも短くなる。
 このため、このようなパネル歪がある場合、画面端における切替単位Δhndw2は、画面中央を想定して設定されたΔhndより小さくなる。言い換えれば、このため、画面端において映像をシフトさせるタイミングは、画面中央において映像をシフトさせるタイミングよりも早くする必要がある。なお、この傾向は、適視距離Lcよりも後ろの観察距離Ldd(Ldd>Lc)の位置においても同様である。
 (実施の形態4)
 実施の形態4では、映像表示装置390の構成に、観察者の視線方向(視点位置)を検出する機能をさらに加えた映像表示装置について説明する。
 なお、以下の実施の形態4では、実施の形態3と異なる部分を中心に説明し、実施の形態3と重複する内容については説明が省略される場合がある。
 [構成]
 図23は、実施の形態4に係る映像表示装置の構成を示すブロック図である。図24は、実施の形態4に係る制御部の構成を示すブロック図である。
 図23に示されるように、映像表示装置490は、制御部600と、視線方向検出部400とを備える点が映像表示装置390と異なる。
 視線方向検出部400は、カメラ108により撮影された画像データから観察者の視線方向を検出する。
 制御部600は、検出された観察者の(頭部)位置情報と観察者の視線方向とに基づいて、映像の表示位置のシフトを行う。
 図24に示されるように、制御部600は、より詳細には、切替時間調整部510と、切替時間調整補正部610と、水平方向配置制御部121とを備える。
 切替時間調整部510は、観察者までの観察距離Ldに応じて映像の表示位置をシフトさせるタイミングを決定する。
 切替時間調整補正部610は、検出された視線方向(視線方向情報)と、パネル歪の有無を示す情報に基づいて、切替時間調整部510によって決定された切替時間を補正する。
 水平方向配置制御部121は、切替時間調整補正部610が補正したタイミングで映像の表示位置のシフト処理を実施する。
 [動作]
 以下、映像表示装置490の動作について説明する。図25は、映像表示装置490の動作を説明するための図である。
 まず、映像表示部102にパネル歪がない場合について説明する。
 適視距離Lcの適視位置(視差画像が分離してきれいに見える位置であって、眼間距離Eの間隔で存在する位置)から観察者30の位置が水平方向に移動した場合、水平方向配置制御部121は、映像の表示位置のシフト制御を行う。具体的には、水平方向配置制御部121は、映像表示部102にパネル歪がない場合には、観察者30のΔhnの移動に対し、て、頭部が動いた方向とは逆方向に1サブ画素単位の表示位置のシフトを行う。これにより、水平方向の視域が拡大される。
 これに対し、観察者30が適視距離Lcとは異なる観察距離Ldに位置する場合、水平方向配置制御部121は、観察者30のΔhndの移動に対して、頭部の移動方向と逆方向に1サブ画素単位の表示位置のシフトを行う。
 例えば、Ld<Lcの場合には、ΔhndはΔhnより小さくなる。このため、観察者30が等速で移動しているとすれば、観察距離Ldに位置する場合のほうが、水平方向配置制御部121が映像を1サブ画素分左へシフトさせるタイミングは早くなる(図25の(a))。
 このΔhnd値は、パネル歪がない場合は、どの位置に移動しても変化せず、観察距離Ldに依存する。
 しかしながら、実施の形態3でも説明したように、映像表示部102にパネル歪があり、映像分離部101が映像表示部102と一体成型されていない場合には、映像分離部101と映像表示部102との間のギャップに差が生じる。
 特に、図21に示されるように、映像分離部101と映像表示部102とが端部同士で固定された場合には、画面端でギャップ(間隙)が小さくなるように変形することが多い。この場合、映像表示部102の画面端に位置する画素の適視距離Lcdは、画面中央に位置する画素の適視距離Lcよりも短くなる。よって、適視距離Lcの位置では、画面端において視差画像を適切に視認するための眼間距離Edは、設計上の眼間距離Eよりも広くなる。
 ここで、映像分離部101は、画面中央を基準に初期化されている。つまり、左眼用画像と右眼用画像とが適視距離Lcの所定位置で分離するように、開口部及び遮光部の位置が調整されている。したがって、画面中央のギャップを想定してΔhndが設定されることが一般的である。
 このような場合、画面端における切替単位Δhndwは、画面中央を想定して設定されたΔhndより大きくなる。このため、画面端において映像をシフトさせるタイミングは、画面中央において映像をシフトさせるタイミングよりも緩やかにする必要がある。なお、Δhndwは、上記式(11)により決定される。
 実施の形態4では、切替時間調整補正部610が切替単位ΔhndまたはΔhndwに、観察者の視線方向を考慮した補正を行う。
 映像表示部102にパネル歪がない場合には、瞳の中心位置からのずれ量Δeを頭部移動量に加算または減算し、演算結果であるトータルの移動量がΔhndに達しているか否かによって表示位置のシフトが行われるかどうかが判断される。なお、頭部の移動方向と視線方向ずれが同じ方向である場合は、加算が行われ、逆の場合は減算が行われる。
 一方、パネルに歪がある場合(図21に示されるように中央が凹になった場合)には、図25の(b)に模式的に示されるように、観察者30の頭部位置に加えて、観察者の視線方向を考慮して補正された切替単位Δhndw2が用いられる。
 例えば、画面に対して観察者30が右端に位置し、かつ、右を向いている(視線方向が右である)場合には、切替単位Δhndw2は、Δhndwよりも小さくなり、観察者30が右端に位置し、かつ、瞳が中心にあるときよりも早いタイミングで映像の表示位置のシフトが実施される。
 逆に、図25の(b)に示されるように観察者が画面右端に位置し、かつ、視線方向が左である場合には、切替単位Δhndw2は、Δhndwよりも大きくなり、観察者30が右端に位置し、かつ、瞳が中心にあるときよりも緩やかな(遅い)タイミングで映像の表示位置のシフトが実施される。
 [まとめ]
 以上説明したように、映像表示装置490の視線方向検出部400は、視認者(観察者)の視線方向を検出し、制御部600は、検出された視認者の視線方向を用いて、左眼用映像及び右眼用映像の表示位置を所定数のサブ画素分シフトする。
 これにより、視認者の前後方向への視域制約をさらに緩和することができる。つまり、視認者が適切に3D映像を視認できる範囲をさらに広げることができ、視認者の視認位置の変化に追従してスムーズに裸眼3D映像を表示することができる。
 さらに、このような映像の表示位置のシフト処理は、視差画像の配置制御よりも間単に実現できる利点がある。
 (その他の実施の形態)
 以上のように、本出願において開示する技術の例示として、実施の形態1~4を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1~Nで説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
 そこで、以下、他の実施の形態をまとめて説明する。
 上記実施の形態において、映像表示部102は、表示部の一例である。映像表示部102は、視差画像を表示できるのであれば、どのようなものであってもよい。映像表示部102としては、バックライト光源を用いた液晶パネル、自発光するPDPまたは有機ELパネルなどが例示される。
 また、上記実施の形態では、カメラ108が撮影した画像1枚を用いて頭部位置検出が行われたが、2つ以上の画像のそれぞれにおいて頭部検出を行い、検出結果が組合わされてもよい。また、2つ以上の異なる位置からの画像を使った多視点方式による距離推定結果(例:ステレオカメラによる距離推定)と顔検出結果を組み合わせることも可能である。
 また、頭部位置検出は、観察者の位置検出方法の一例であり、位置検出には、実施の形態1で説明したTOF法などその他の手法が用いられてもよい。例えば、観察者の位置検出方法として、電磁力等を用いて3次元位置測定を行う、有線接続を用いた手法を用いることも可能である。また、観察者の位置検出には、画像内に常に所定のテストパターンを表示し、表示されたテストパターン部分の大きさや画素値のモアレ変化等をもとに幾何学測量をする手法を用いることも可能である。また、観察者の位置検出は、頭部の検出以外に、人物全体像の検出、瞳孔の検出、及び眼領域抽出などによって行われてもよい。
 また、上記実施の形態では、観察者が1人であることを前提に説明が行われたが、複数人の観察者がいる場合も想定される。このような場合、観察者の位置検出は、もっとも映像表示装置の近くに位置する人、または、画像内で最も大きい面積を占める人を対象とすることが考えられる。
 また、このような場合にある程度の人数の人物が並んでいた場合には、その塊が位置検出の対象とされてもよいし、注目の高い人物が位置検出の対象とされてもよい。より高い精度が必要とされる分野への適用(例えば、内視鏡を用いた医療手術分野等)を考えた場合は、メインとなる人物を中心に制御が行われることが考えられる。
 このような場合、メイン人物を位置検出の対象とするか、メイン人物を含む集団が位置検出の対象とされ、メイン人物またはメイン人物を含む集団からある程度離れた所に位置している観察者には、メインの人物が見ているものと連動している別の映像表示装置による映像が提供されてもよい。
 また、上記実施の形態の視差画像の配置制御、及び、映像の表示位置のシフトは、CPUやGPU等を用いてリアルタイムで行われてもよいし、予め用意されたLUTテーブルを用いて行われてもよい。
 また、上記実施の形態では、映像分離部101は、スラントバリア構造であるとして説明されたが、縦ストライプバリア構造の映像分離部、または、ステップバリア構造の映像分離部を用いた場合にも、本開示は適用可能である。なお、ステップバリア構造は、サブ画素の矩形形状に対応した開口を斜め方向に配置した構造である。
 また、映像分離部101として、レンチキュラーレンズが用いられてもよい。また、この場合、レンチキュラーレンズのレンズ境界からの光漏れを抑えるために、さらにバリアが組み合わされてもよいし、レンチキュラーレンズの屈折率が液晶等を用いて制御されてもよい。
 また、上記実施の形態では、映像分離部101が映像表示部102の前面に配置される例について説明されたが、図26に示されるように、映像表示部102(液晶ディスプレイ)内の液晶パネル102aとバックライト102bとの間に映像分離部101が配置されてもよい。また、映像分離部101に代えて、図27に示されるように、液晶ディスプレイのバックライトとしてストライプ形状の発光部111(光源)が用いられてもよい。
 また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 例えば、各構成要素は、回路でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
 なお、本開示の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよい。また、本開示の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
 以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
 したがって、添付図面及び詳細な説明に記載された構成要素及びは、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
 また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
 例えば、上記各実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
 本開示の映像表示装置は、観察者の位置の変化に追従してスムーズに裸眼3D映像を表示することができ、例えば、サイネージ用途、及び、医療用途の裸眼3Dディスプレイ機器などに適用可能である。
 10B、10G、10R サブ画素
 20 画素
 20L、40L 左眼用画像
 20R、40R 右眼用画像
 30 観察者
 40 画素
 50a、50b 領域
 100、290、390、490 映像表示装置
 101 映像分離部
 102 映像表示部
 102a 液晶パネル
 102b バックライト
 103 初期調整部
 104 映像分離部調整回路
 105 表示回路
 106 複数視差画像
 107 位置検出部
 108 カメラ
 109 信号切替部
 110、401、500、600 制御部
 111 発光部
 120 信号切替部
 121 水平方向配置制御部
 122 奥行き方向配置制御部
 200 頭部検出部
 201 基準点設定部
 202 視聴者位置検出部
 203 水平移動判断部
 204 距離移動判断部
 205 調整情報出力部
 300 色度合い検出部
 301 輪郭検出部
 302 特徴量抽出部
 303 パターンマッチング部
 304 テンプレート記憶メモリ
 310 照明光
 311 反射光
 318 距離検出部
 319 光検出素子
 320 発光源
 321 制御回路部
 323 画像生成部
 324 レンズ
 325 感光部
 326 感度制御部
 327 電荷集積部
 328 電荷取出部
 330 対象物
 400 視線方向検出部
 410 奥行き方向配置補正部
 510 切替時間調整部
 610 切替時間調整補正部

Claims (16)

  1.  裸眼3D映像を表示する表示装置を用いた映像表示方法であって、
     前記表示装置は、画素を構成するサブ画素がマトリクス状に配置された表示部を備え、
     前記映像表示方法は、
     前記表示部のサブ画素行において、左眼用映像と右眼用映像とが、n個(nは2以上の整数)のサブ画素から構成される表示単位ずつ交互に配置された映像を表示する表示ステップと、
     前記表示部から視認者までの距離を検出する距離検出ステップとを含み、
     前記表示ステップにおいては、検出された距離が所定の距離と異なる場合、検出された距離に応じて、前記サブ画素行に含まれる複数の表示単位のうち一部の表示単位のサブ画素数を変更する
     映像表示方法。
  2.  前記表示ステップにおいては、
     検出された距離が前記所定の距離よりも短いときには前記一部の表示単位のサブ画素数を増やし、
     検出された距離が前記所定の距離よりも長いときには前記一部の表示単位のサブ画素数を減らす
     請求項1に記載の映像表示方法。
  3.  前記表示ステップにおいては、
     前記一部の表示単位のサブ画素数を増やす場合、前記サブ画素行に含まれる複数の表示単位のうち、端部に位置する表示単位のサブ画素数を増やし、
     前記一部の表示単位のサブ画素数を減らす場合、前記サブ画素行に含まれる複数の表示単位のうち、中央部に位置する表示単位のサブ画素数を減らす
     請求項2に記載の映像表示方法。
  4.  前記距離検出ステップにおいては、さらに、前記視認者の水平方向の位置を検出し、
     前記表示ステップにおいては、検出された前記表示部から前記視認者までの距離、及び、検出された前記視認者の水平方向の位置に基づいて、前記サブ画素行における、前記左眼用映像及び前記右眼用映像の表示位置を所定数のサブ画素分シフトする
     請求項1~3のいずれか1項に記載の映像表示方法。
  5.  さらに、前記視認者の視線方向を検出する視線方向検出ステップを含み、
     前記表示ステップにおいては、さらに、検出された視線方向に応じて、サブ画素数が変更される表示単位を変更する
     請求項1~4のいずれか1項に記載の映像表示方法。
  6.  前記表示ステップにおいては、
     検出された視線方向が前記視認者から見て右から左に動いた場合、サブ画素数が変更される表示単位を前記視認者から見てより左側に位置する表示単位に変更し、
     検出された視線方向が前記視認者から見て左から右に動いた場合、サブ画素数が変更される表示単位を前記視認者から見てより右側に位置する表示単位に変更する
     請求項5に記載の映像表示方法。
  7.  前記nは、4以上の整数である
     請求項1~6のいずれか1項に記載の映像表示方法。
  8.  裸眼3D映像を表示する表示装置を用いた映像表示方法であって、
     前記表示装置は、画素を構成するサブ画素がマトリクス状に配置された表示部を備え、
     前記映像表示方法は、
     前記表示部のサブ画素行において、左眼用映像と右眼用映像とが、n個(nは2以上の整数)のサブ画素ずつ交互に配置された映像を表示する表示ステップと、
     前記表示部から視認者までの距離、及び、前記視認者の水平方向の位置を検出する検出ステップとを含み、
     前記表示ステップにおいては、検出された前記表示部から前記視認者までの距離、及び、検出された前記視認者の水平方向の位置に基づいて、前記サブ画素行における、前記左眼用映像及び前記右眼用映像の表示位置を所定数のサブ画素分シフトする
     映像表示方法。
  9.  前記表示ステップにおいては、
     前記表示部から前記視認者までの距離が第1の距離である場合、前記視認者の水平方向の位置の第1移動量に対して前記シフトを行い、
     前記表示部から前記視認者までの距離が第1の距離よりも大きい第2の距離である場合、前記視認者の水平方向の位置の、前記第1移動量よりも大きい第2移動量に対して前記シフトを行う
     請求項8に記載の映像表示方法。
  10.  前記検出ステップにおいては、さらに、前記視認者の視線方向を検出し、
     前記表示ステップにおいては、検出された前記表示部から前記視認者までの距離、検出された前記視認者の水平方向の位置、及び、検出された前記視認者の視線方向に基づいて、前記シフトを行う
     請求項8または9に記載の映像表示方法。
  11.  さらに、前記表示部の歪みに関する情報を取得する取得ステップを含み、
     前記表示ステップにおいては、取得された前記歪みに関する情報をさらに用いて前記シフトを行う
     請求項8~10のいずれか1項に記載の映像表示方法。
  12.  前記nは、4以上の整数である
     請求項8~11のいずれか1項に記載の映像表示方法。
  13.  裸眼3D映像を表示する映像表示装置であって、
     画素を構成するサブ画素がマトリクス状に配置された表示部と、
     前記表示部のサブ画素行において、左眼用映像と右眼用映像とが、n個(nは2以上の整数)のサブ画素から構成される表示単位ずつ交互に配置された映像を表示する制御部と、
     前記表示部から視認者までの距離を検出する距離検出部とを備え、
     前記制御部は、検出された距離が所定の距離と異なる場合、検出された距離に応じて、前記サブ画素行に含まれる複数の表示単位のうち一部の表示単位のサブ画素数を変更する
     映像表示装置。
  14.  さらに、前記視認者の視線方向を検出する視線方向検出部を備え、
     前記制御部は、さらに、検出された視線方向に応じて、サブ画素数が変更される表示単位を変更する
     請求項13に記載の映像表示装置。
  15.  裸眼3D映像を表示する映像表示装置であって、
     画素を構成するサブ画素がマトリクス状に配置された表示部と、
     前記表示部のサブ画素行において、左眼用映像と右眼用映像とが、n個(nは2以上の整数)のサブ画素ずつ交互に配置された映像を表示する制御部と、
     前記表示部から視認者までの距離、及び、前記視認者の水平方向の位置を検出する検出部とを備え、
     前記制御部は、検出された前記表示部から前記視認者までの距離、及び、検出された前記視認者の水平方向の位置に基づいて、前記サブ画素行における、前記左眼用映像及び前記右眼用映像の表示位置を所定数のサブ画素分シフトする
     映像表示装置。
  16.  前記検出部は、前記視認者の視線方向を検出し、
     前記制御部は、検出された前記表示部から前記視認者までの距離、検出された前記視認者の水平方向の位置、及び、検出された前記視認者の視線方向に基づいて、前記シフトを行う
     請求項15に記載の映像表示装置。
PCT/JP2014/005289 2014-03-06 2014-10-17 映像表示方法、及び、映像表示装置 WO2015132828A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/786,739 US9986226B2 (en) 2014-03-06 2014-10-17 Video display method and video display apparatus
JP2015534708A JPWO2015132828A1 (ja) 2014-03-06 2014-10-17 映像表示方法、及び、映像表示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-043539 2014-03-06
JP2014043539 2014-03-06

Publications (1)

Publication Number Publication Date
WO2015132828A1 true WO2015132828A1 (ja) 2015-09-11

Family

ID=54054673

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005289 WO2015132828A1 (ja) 2014-03-06 2014-10-17 映像表示方法、及び、映像表示装置

Country Status (3)

Country Link
US (1) US9986226B2 (ja)
JP (1) JPWO2015132828A1 (ja)
WO (1) WO2015132828A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130049A1 (ja) * 2018-12-21 2020-06-25 京セラ株式会社 3次元表示装置、ヘッドアップディスプレイシステム、及び移動体
WO2023199765A1 (ja) * 2022-04-12 2023-10-19 公立大学法人大阪 立体表示装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015190093A1 (ja) * 2014-06-10 2015-12-17 株式会社ソシオネクスト 半導体集積回路およびそれを備えた表示装置並びに制御方法
CN106605172B (zh) * 2014-09-08 2019-11-08 索尼公司 显示装置、用于驱动显示装置的方法以及电子设备
CN106028022A (zh) * 2016-05-27 2016-10-12 京东方科技集团股份有限公司 一种立体图像制作方法和设备
KR102606673B1 (ko) * 2016-10-21 2023-11-28 삼성디스플레이 주식회사 표시 패널, 입체 영상 표시 패널 및 표시 장치
US11114057B2 (en) * 2018-08-28 2021-09-07 Samsung Display Co., Ltd. Smart gate display logic
CN109199585B (zh) * 2018-09-26 2022-01-04 深圳市新致维科技有限公司 一种微创手术的裸眼3d显示系统、显示装置和显示方法
JP2020119284A (ja) * 2019-01-24 2020-08-06 日本電気株式会社 情報処理装置、情報処理方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001506435A (ja) * 1996-12-18 2001-05-15 テヒニッシェ ウニヴェルジテート ドレスデン 情報の3次元表示方法及び装置
JP2011101366A (ja) * 2009-11-04 2011-05-19 Samsung Electronics Co Ltd アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法
JP2012190017A (ja) * 2011-02-25 2012-10-04 Semiconductor Energy Lab Co Ltd 表示装置
WO2012131887A1 (ja) * 2011-03-29 2012-10-04 株式会社 東芝 三次元映像表示装置
WO2012176445A1 (ja) * 2011-06-20 2012-12-27 パナソニック株式会社 映像表示装置
JP2014016477A (ja) * 2012-07-09 2014-01-30 Panasonic Corp 映像表示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3634486B2 (ja) 1996-02-28 2005-03-30 三洋電機株式会社 立体映像の表示方法
JP3577042B2 (ja) 2002-01-15 2004-10-13 キヤノン株式会社 立体ディスプレイ装置及び立体ディスプレイ装置における画面制御方法
JP2004282217A (ja) 2003-03-13 2004-10-07 Sanyo Electric Co Ltd 多眼式立体映像表示装置
DE102006031799B3 (de) * 2006-07-06 2008-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autostereoskopischen Darstellung von Bildinformationen mit einer Anpassung an Änderungen der Kopfposition des Betrachters
JP2010020178A (ja) 2008-07-11 2010-01-28 Epson Imaging Devices Corp 画像表示装置、画像表示方法及び画像表示プログラム
WO2011007757A1 (ja) * 2009-07-13 2011-01-20 Yoshida Kenji 裸眼立体ディスプレイ用パララックスバリア、裸眼立体ディスプレイおよび裸眼立体ディスプレイ用パララックスバリアの設計方法
JP5874197B2 (ja) 2011-05-26 2016-03-02 ソニー株式会社 表示装置および方法、並びにプログラム
JP5978695B2 (ja) * 2011-05-27 2016-08-24 株式会社Jvcケンウッド 裸眼立体ディスプレイ装置及び視点調整方法
US9414049B2 (en) * 2011-09-19 2016-08-09 Écrans Polaires Inc./Polar Screens Inc. Method and display for showing a stereoscopic image
JP5544344B2 (ja) 2011-09-26 2014-07-09 株式会社日立ハイテクノロジーズ 欠陥観察方法及び欠陥観察装置
WO2013073028A1 (ja) 2011-11-16 2013-05-23 株式会社 東芝 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001506435A (ja) * 1996-12-18 2001-05-15 テヒニッシェ ウニヴェルジテート ドレスデン 情報の3次元表示方法及び装置
JP2011101366A (ja) * 2009-11-04 2011-05-19 Samsung Electronics Co Ltd アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法
JP2012190017A (ja) * 2011-02-25 2012-10-04 Semiconductor Energy Lab Co Ltd 表示装置
WO2012131887A1 (ja) * 2011-03-29 2012-10-04 株式会社 東芝 三次元映像表示装置
WO2012176445A1 (ja) * 2011-06-20 2012-12-27 パナソニック株式会社 映像表示装置
JP2014016477A (ja) * 2012-07-09 2014-01-30 Panasonic Corp 映像表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130049A1 (ja) * 2018-12-21 2020-06-25 京セラ株式会社 3次元表示装置、ヘッドアップディスプレイシステム、及び移動体
WO2023199765A1 (ja) * 2022-04-12 2023-10-19 公立大学法人大阪 立体表示装置

Also Published As

Publication number Publication date
JPWO2015132828A1 (ja) 2017-03-30
US9986226B2 (en) 2018-05-29
US20160080729A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
WO2015132828A1 (ja) 映像表示方法、及び、映像表示装置
JP6061852B2 (ja) 映像表示装置および映像表示方法
JP6099892B2 (ja) 映像表示装置
JP6050373B2 (ja) サブピクセルをレンダリングする映像処理装置及び方法
WO2011132422A1 (ja) 立体映像表示装置、立体映像表示方法
KR102185130B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
JP5978695B2 (ja) 裸眼立体ディスプレイ装置及び視点調整方法
JP6154323B2 (ja) 映像表示装置
US20090237494A1 (en) Apparatus, method, and program for displaying stereoscopic images
TW201322733A (zh) 影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式
JP5439686B2 (ja) 立体画像表示装置及び立体画像表示方法
US10992927B2 (en) Stereoscopic image display apparatus, display method of liquid crystal display, and non-transitory computer-readable recording medium storing program of liquid crystal display
US10939092B2 (en) Multiview image display apparatus and multiview image display method thereof
US20170257614A1 (en) Three-dimensional auto-focusing display method and system thereof
US20140198104A1 (en) Stereoscopic image generating method, stereoscopic image generating device, and display device having same
TWI500314B (zh) A portrait processing device, a three-dimensional portrait display device, and a portrait processing method
KR102128336B1 (ko) 3차원 영상 왜곡 보정 장치 및 방법
JP5323222B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR102142480B1 (ko) 3차원영상 표시장치 및 그 구동방법
WO2012165132A1 (ja) 裸眼立体ディスプレイ装置、視点調整方法、裸眼立体視用映像データ生成方法
KR102293837B1 (ko) 입체영상표시장치 및 이의 동작방법
JP6179282B2 (ja) 3次元画像表示装置及び3次元画像表示方法
KR102267601B1 (ko) 최적의 3d을 제공할 수 있는 입체영상표시장치 및 입체영상 표시방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015534708

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14884325

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14786739

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14884325

Country of ref document: EP

Kind code of ref document: A1