WO2019017290A1 - 立体画像表示装置 - Google Patents

立体画像表示装置 Download PDF

Info

Publication number
WO2019017290A1
WO2019017290A1 PCT/JP2018/026488 JP2018026488W WO2019017290A1 WO 2019017290 A1 WO2019017290 A1 WO 2019017290A1 JP 2018026488 W JP2018026488 W JP 2018026488W WO 2019017290 A1 WO2019017290 A1 WO 2019017290A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixels
image display
frame
stereoscopic
Prior art date
Application number
PCT/JP2018/026488
Other languages
English (en)
French (fr)
Inventor
茂 寺田
Original Assignee
エフ・エーシステムエンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エフ・エーシステムエンジニアリング株式会社 filed Critical エフ・エーシステムエンジニアリング株式会社
Priority to JP2019531009A priority Critical patent/JPWO2019017290A1/ja
Publication of WO2019017290A1 publication Critical patent/WO2019017290A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously

Definitions

  • the present invention relates to a stereoscopic image display device, and more particularly to a naked-eye type stereoscopic image display device using a light beam reproduction method.
  • These three-dimensional image display devices input two images slightly shifted to the right eye and the left eye, respectively, and recognize the magnitude of the depth amount based on the magnitude of parallax in the left and right eyes (binary type ).
  • Depth perception used in conventional stereoscopic image display devices artificially creates a situation that does not occur naturally and makes extraordinarily stereoscopic recognition possible. Congestion of the eye produces a sense of depth, and its frequency and amount cause physiological fatigue. For this reason, the safety
  • a two-dimensional integral method using a wrench-killer lens that utilizes the principle of integral photography
  • a three-dimensional integral method using a lens array a ray reproduction method
  • wavefront reproduction There are three-dimensional image display devices such as a method.
  • the integral system found in the market is to provide two parallax images having parallax at least in the horizontal direction to the left and right eyes by controlling the direction of the light beam with a wrench killer lens or a lens array. After all, it is virtually the same as that based on the two-lens system.
  • FIG. 14 is a view for explaining the principle of a conventional three-dimensional integral method using a lens array.
  • a refractive index distribution lens array is disposed between a subject and a high definition camera.
  • a depth control lens disposed in front of the gradient index lens array causes light rays emitted from the subject to be incident on the surface of the gradient index lens array.
  • a condenser lens disposed behind the gradient index lens array condenses the light beam passing through the gradient index lens array onto a high definition camera, and the high definition camera is formed on the back of the gradient index lens array Take an elemental image.
  • An image signal representing an element image acquired by the high definition camera is sent to a display device.
  • the element image displayed on the flat display of the display device based on the image signal is displayed by the lens array disposed in front of the flat display as a part of the ray replacing the ray emitted in each direction from the object. Reach the eyes. Thereby, the observer can recognize a stereoscopic image.
  • the three-dimensional integral method is intended to realize not only the horizontal direction but also the vertical sense, but since the human eyes are arranged along the horizontal direction, the vertical depth is recognized Although it is difficult and leaves the possibility of recognition due to the natural posture, the perception of depth is substantially based on horizontal parallax. Note that depth perception by perspective is based on a priori knowledge. After all, this three-dimensional integral method also has a defect not found in natural vision as in the case of binocular stereoscopic recognition.
  • Patent Document 1 describes an autostereoscopic 3D image display apparatus using an integral photography method or a light beam reproduction method.
  • a plurality of pinholes corresponding to small regions are displayed on the front surface of a liquid crystal display device that displays a plurality of patterns corresponding to three-dimensional images in small regions divided in a plane.
  • an array plate in which microlenses are arranged in a plane is provided.
  • the invention of Patent Document 1 performs discrete cosine transformation or inverse transformation when a plurality of patterns corresponding to a solid image to be displayed are discrete cosine transformed and compressed, and compressed image data is expanded by inverse discrete cosine transformation for display. It is characterized in that block noise is suppressed and a high-definition three-dimensional image can be displayed by matching a block unit to which discrete cosine transformation is performed and a unit of an element image.
  • the problem to be solved by the present invention is that it is possible to observe a stereoscopic image from a wide range, and no reverse vision occurs when observing a stereoscopic image from any position It is an object of the present invention to provide a naked-eye type stereoscopic image display device capable of displaying a more natural and eye-friendly stereoscopic image to improve the eye hygiene of the observer.
  • a stereoscopic image display apparatus includes a plurality of stereoscopic pixels each including m (m is an integer of 3 or more) pixels in the horizontal direction and Depth information for each pixel is determined from an image display panel configured in vertical alignment, an image frame for the right eye and an image frame for the left eye of the image signal, and the pixel image is expanded in the horizontal direction based on the depth information.
  • An image processing apparatus for generating m viewpoint image frames to be displayed, and m viewpoint images represented by the m viewpoint image frames in the plurality of three-dimensional pixels of the image display panel
  • a display control device for displaying each pixel.
  • the stereoscopic image display apparatus can sample a light flux poured from a viewing angle in natural vision, create an arrangement of light resembling natural light, and create a situation similar to natural vision. Focusing on the fact that the positional deviation between the right eye image and the left eye image corresponds to the depth of the image, the stereoscopic image display apparatus uses one of the right eye image and the left eye image as a reference image. Alternatively, an amount by which pixels in the reference image are shifted in the other image may be obtained and converted to the position of the viewpoint, and m viewpoint image frames corresponding to the m viewpoints set based on it may be generated. . In addition, it is desirable that the positions of those viewpoints be determined on the basis of minute viewpoint movement due to the involuntary eye movement (usually about 0.05 degree) related to stereoscopic perception that occurs in natural vision.
  • One cycle of normal eye movement is said to be about 5 ms, and when there are m viewpoint images, it takes about 5 ms (about 0.33 m to about 0.56 ms per sub-pixel) in a stereoscopic pixel M viewpoint images are recognized in a short period of time to generate motion parallax, and based on it, a relative stereoscopic feeling and a sense of depth are perceived.
  • the m viewpoint images generated in this way are displayed at positions corresponding to the m pixels in the plurality of three-dimensional pixels, as an image captured from the positions of the m cameras in virtual. Therefore, light rays emitted from m viewpoint images simultaneously enter the eye of the observer, and the state in which the observer perceives a three-dimensional feeling and a sense of depth from an object observed in nature is reproduced by the light ray reproduction method be able to.
  • an autostereoscopic image display device capable of displaying an eye-friendly stereoscopic image to improve the eye hygiene of the observer.
  • a stereoscopic image display apparatus is a more natural and eye-friendly naked eye based on the principle of stereoscopic perception with respect to a conventional apparatus that provides depth perception by giving left and right eyes an image having parallax. While realizing stereoscopic image display of the equation to eliminate eyestrain of the observer, the restriction of the observation position is alleviated.
  • embodiments of the present invention will be described in detail with reference to the drawings.
  • FIG. 1 is a block diagram showing a configuration example of a stereoscopic image display apparatus according to an embodiment of the present invention
  • FIG. 2 is an image signal input in the stereoscopic image display apparatus according to an embodiment of the present invention It is process drawing which shows the process until it displays a three-dimensional image.
  • the stereoscopic image display apparatus shown in FIG. 1 images an image with m rays obtained by sampling (convoluting) light emitted in all directions from an object from m (m is an integer of 3 or more) viewpoints.
  • a light beam reproduction method to be displayed is used, and includes an image display panel 100, an image processing apparatus 200, and a display control apparatus 300. It is preferable that the image processing apparatus 200 and the display control apparatus 300 be configured by respective signal processing processors or an integrated signal processing processor to enable a series of processing for each frame of an image signal.
  • the image display panel 100 is configured by arranging a plurality of three-dimensional pixels (polygons) each including m pixels in the horizontal direction and the vertical direction.
  • the three-dimensional pixels are used to display m viewpoint images (multi-viewpoint images) superimposed on one screen.
  • Each of the m pixels may include a plurality of sub-pixels displaying the three primary colors of light.
  • a sub-pixel is a minimum pixel element that emits light of each color modulated by an image signal.
  • a 2D display panel such as a transmissive or reflective liquid crystal or organic light emitting diode (OLED) can be used, in particular, a display panel for high definition television.
  • a video projector including a lamp, an image display panel 100, and a projection lens unit and emitting light of the lamp toward the screen through the image display panel 100 and the projection lens unit is provided in the stereoscopic image display device May be
  • the image displayed by the image display panel 100 is a composite of viewpoint images of the number (m) of viewpoints, and each three-dimensional pixel includes m pixels, so 2K, 4K, or 8K television etc. It is preferred to use the high definition display panel used.
  • sub-pixels of respective colors for displaying the three primary colors RGB of light are arranged over the entire surface of the display area.
  • the image processing apparatus 200 obtains a parallax matrix (R-L matrix) as depth information for each pixel from the image frame for the right eye and the image frame for the left eye of the image signal, and based on the depth information, the pixel image in the horizontal direction Generate m viewpoint image frames to be expanded and displayed.
  • the image processing apparatus 200 can be configured by an analog circuit, a digital circuit, or a CPU and software.
  • the image processing apparatus 200 includes, as functional blocks, a distribution unit 1, frame memories 2 and 3, column sum calculation units 4 and 5, a column sum comparison unit 6, and a parallax matrix generation unit 7. , A viewpoint image generator 8 and a weighting function generator 10, and may further include an image signal converter 11 and a frame selector 12.
  • the image processing apparatus 200 stores an image frame for the right eye and an image frame for the left eye, vertically integrates pixel values of each frame in each column to obtain a column sum, and adds a column sum between both frames.
  • the overlapping area in the images of both frames is identified by comparison, and the positional relationship between the images of both frames is adjusted.
  • the image processing apparatus 200 obtains depth information for each pixel based on the positional deviation of the corresponding pixel image in both frames, and moves the pixel image in one frame in the horizontal direction based on the weighted depth information. By doing this, m viewpoint image frames including one frame are generated.
  • the display control apparatus 300 causes m pixels to display m viewpoint images represented by m viewpoint image frames in a plurality of stereoscopic pixels of the image display panel 100.
  • the display control device 300 includes an image memory 9 for storing m viewpoint image frames, and is configured by a digital circuit or the like.
  • FIG. 3 is a view for explaining a situation in which a person receives light emitted from an object with his eyes.
  • light comes from all directions 360 degrees.
  • a person gazes at an object only a region (gazing point) within a viewing angle of about 1 to 2 degrees can be seen.
  • the depth information seen in the fixation point visual field causes stereoscopic perception due to the visual line converged on the fixation point, and the image outside this visual field does not contribute to the stereoscopic perception. Therefore, by convolving (sampling) a plurality of light rays falling within a viewing angle of about 1 to 2 degrees within the display accuracy of the image display panel 100 (FIG. 1), the light rays emitted from the image display panel 100 become natural. It can resemble a ray. As the number of sample lights increases, it is possible to reproduce an image with less discomfort.
  • the depth information is obtained from the contraction / extension information of the internal and external straight muscles that rotate the eye horizontally among the six muscles disposed in the eye.
  • the contraction and extension of the internal and external rectus muscles occur as convergence and divergence movements of both eyes, persuasive eye movement (Pachute), and impulse eye movement (Saccade). What attracts attention here is fixation eye movement.
  • the eyeballs are constantly shaken by pupil rocking with different cycles, fine adjustment movement, and involuntary eye movement. Micro-saccades, drifts, and tremors are known as fixation micromotion. When the eyeball is upset, the depth of sight changes, and multiple viewpoint images can be acquired.
  • the involuntarily generated weak motion microsaccade which causes the eyeball to rock at a frequency of about 1 to 3 Hz.
  • the rotational angle of the eyeball due to involuntary eye movement is usually measured to be about 0.05 degrees.
  • the speed is measured to be about 10 degrees / second.
  • the line of sight of the observer with respect to the object also changes.
  • the line of sight L (i) from the observation point A (i) in the observer to the gaze point B in the object is noted from another observation point A (i + 1) at a distance D from the observation point A (i). It changes to the line of sight L (i + 1) heading to the viewpoint B.
  • the angle between the line of sight L (i) and the line of sight L (i + 1) is larger.
  • the body's sensory sensors are designed to fire when the stimulation exceeds a threshold.
  • a threshold By detecting the change of light from the fixation area by the fixation movement and transmitting it to the brain, stereoscopic perception is generated.
  • the minimum delay time for discriminating relative depth is about 160 microseconds, and it is about 2 seconds when converted to binocular disparity.
  • FIG. 4 is a view for explaining the relationship between sub-pixels, pixels and three-dimensional pixels in the image display panel shown in FIG.
  • a plurality of sub-pixels displaying the same color are arranged in the vertical direction (vertical direction).
  • FIG. 4 shows a stripe type arrangement in which subpixels R for displaying red, subpixels G for displaying green, and subpixels B for displaying blue are repeatedly arranged side by side in the horizontal direction (horizontal direction). It is done.
  • Each pixel is configured of one sub-pixel R, one sub-pixel G, and one sub-pixel B.
  • each three-dimensional pixel is composed of (m) pixels of the number of viewpoints.
  • FIG. 4 exemplifies the case where the number of viewpoints is six, and one pixel includes six pixels, that is, eighteen sub-pixels.
  • the pixels in the display panel of a general television receiver are made up of RGB sub-pixels aligned in the horizontal direction, but the pixels used in the image display panel shown in FIG. It includes a plurality of sub-pixels arranged in a plurality of adjacent lines (rows) in the image display panel. For example, as shown by connecting line segments in the figure, sub-pixels close to each other in adjacent rows and adjacent columns are selected to be arranged diagonally.
  • each of the image display panels In a solid pixel, it is preferable that the m pixels be arranged such that the light centers of gravity of the pixels are adjacently and horizontally aligned.
  • the sub-pixels are selected such that the pixels are inclined upward to the right, but the sub-pixels may be selected such that the pixels are inclined in the opposite direction.
  • the three-dimensional pixels are repeatedly arranged in the horizontal direction and the vertical direction over the entire display area of the image display panel to form a matrix.
  • a matrix For example, in the case of a display panel for 2K television, since 1920 pixels in the horizontal direction and 1080 pixels in the vertical direction are formed of RGB subpixels arranged horizontally, three-dimensional pixels are 960 in the horizontal direction. Form a matrix of 360 in the vertical direction.
  • the observer can distinguish the pixels in the solid pixels by setting the size of the solid pixels so that the viewing angle of the line of sight is about 1 minute or less for the viewer who views the image display panel with a visual acuity of 1.0. Instead, three-dimensional pixels are recognized as points.
  • the visual angle of the line of sight with respect to the solid pixels can be appropriately adjusted by selecting the observation distance in accordance with the size of the solid pixels. For example, when the horizontal pixel count of the image display panel is 1920, the observer is positioned away from the image display panel by a distance 2H to 3H (H is the vertical width of the image display panel), and this is caused by the eye movement The movement of the point of view corresponds to three to five three-dimensional pixels of the image display panel.
  • the panel As the definition of the panel increases, it is possible to display more viewpoint images. As the number of viewpoints increases, a more natural three-dimensional effect can be obtained. In addition, as the number of three-dimensional pixels in the screen increases, a finer image can be obtained. For example, in a display panel for 4K television, since 3840 pixels in the horizontal direction and 2160 pixels in the vertical direction are arranged, nine viewpoint images are displayed using nine pixels arranged in the horizontal direction. Even with this configuration, a sufficiently fine stereoscopic image display panel in which 1280 solid pixels are arranged in the horizontal direction and 720 in the vertical direction can be obtained.
  • FIG. 5 is a drawing showing another example of arrangement of sub-pixels in a solid pixel in the image display panel shown in FIG.
  • the pixels used in the image display panel shown in FIG. 5 include a plurality of sub-pixels arranged in a plurality of lines every other line in the image display panel in order to halve the horizontal width of a solid pixel. That is, a pixel composed of the first stage, the third stage and the fifth stage subpixels, and a pixel composed of the second stage, the fourth stage and the sixth stage subpixels
  • the three-dimensional pixels are arranged alternately in the horizontal direction.
  • each stereoscopic pixel includes 24 pixels and can display 24 viewpoint images, but the spread of the stereoscopic pixel in the horizontal direction is suppressed to 12 subpixels. There is.
  • the light center of gravity of the pixel is not aligned in the horizontal direction, but has a width alternately at the position of the middle two sub-pixels, but the light center of gravity of the pixel is in the horizontal direction It is acceptable because it is connected.
  • FIG. 6 and 7 are diagrams showing still another example of arrangement of sub-pixels in a solid pixel in the image display panel shown in FIG.
  • a plurality of sub-pixels displaying the same color are arranged in the lateral direction (horizontal direction). That is, the sub-pixels R, G, B are arranged horizontally for each color to form rows, and the rows of sub-pixels R, G, B are repeatedly arranged adjacent to each other in the vertical direction. It is also good.
  • each pixel is composed of three vertically arranged sub-pixels, and m pixels with light centers of gravity aligned in the horizontal direction. Three-dimensional pixels are configured.
  • the sub-pixels of the image display panel may be in a mosaic arrangement.
  • the m pixels in which the light centers of gravity are arranged in the horizontal direction constitute a narrow three-dimensional pixel. Ru.
  • Step 1 When the right-eye and left-eye image signals RL representing the right-eye image and the left-eye image are input to the stereoscopic image display device shown in FIG.
  • the image frame for eye (R frame) and the image frame for left eye (L frame) are extracted, and they are stored in a frame matrix storage unit (frame memory 2 for R frame and frame memory 3 for L frame) according to the frame rate Store in order.
  • pixel values representing the color intensity with an appropriate resolution are stored as the R frame and the L frame for each sub-pixel of three primary colors (RGB). For example, a pixel value representing the color intensity of each color by 256 values of (0 to FF), three values of (-1, 0, +1), or two values of (0, 1) is stored.
  • the distribution unit 1 When a component image signal using a luminance signal (Y signal) and two color difference signals (Pr signal and Pb signal) is input, the distribution unit 1 outputs pixel values of the Y signal, Pr signal, and Pb signal. RGB pixel values may be used by converting them into RGB pixel values.
  • an image signal for broadcasting such as side-by-side format (SbyS), top-and-bottom format (Top & Bottom), or frame packing format (FP) is input
  • the image signal conversion unit 11 receives the input image. By separating the right-eye image and the left-eye image in the signal, the input image signal is converted into the left and right eye image signal RL and supplied to the distribution unit 1.
  • the three-dimensional image display apparatus shown in FIG. 1 can also be used to process a two-dimensional image in conventional television broadcasting to form a three-dimensional image and then display it.
  • the frame selection unit 12 selects a reference frame and a reference frame having a predetermined number of frame differences with respect to the reference frame from the frame sequence of the two-dimensional image signal (2D). Based on the frames, left and right eye image signals RL having right eye image frames and left eye image frames are generated and supplied to the distribution unit 1.
  • the frame selection unit 12 may set the image of the selected reference frame as the image for the right eye and the image of the reference frame selected with a predetermined number of frame differences with respect to this as the image for the left eye.
  • a television image carried by a normal television broadcast wave is a two-dimensional image and does not have depth information of a subject.
  • the position of the subject in different frames in the two-dimensional image changes, causing a temporal shift in the image of the subject.
  • the convergence angle when the subject in the two images is viewed with both eyes is when the subject in the image of the reference frame is viewed with both eyes Therefore, the image of the subject appears to be displaced in the depth direction with respect to the display screen, and a stereoscopic effect is given to the image.
  • the left and right eye image signal RL can be generated based on the two-dimensional image signal.
  • Step 2 The image processing apparatus 200 calculates the shift amount in the horizontal direction with respect to the imaging regions of the R frame and the L frame, and identifies an overlapping region where the left and right images overlap.
  • the stereoscopic image display apparatus detects, for example, an overlapping area where the left and right images captured by the two left and right cameras overlap and detects a stereoscopic effect in the image based on the parallax of the left and right images in the overlapping area. Make it happen.
  • the field of view of the camera does not match.
  • the left-eye image and the right-eye image display the same target object, and therefore, it is expected that the pixel values in the left and right images will be substantially the same.
  • the row total sum comparing portion 6 combines the R frame row and the L frame row.
  • the difference in the column total sum is close to zero in the area where the left and right images overlap (overlapping area). Therefore, the column total comparison unit 6 identifies the pair of columns in which the difference in column sum is the smallest, and / or specifies the region in which the difference in column sum is smaller than a predetermined value. It is possible to distinguish between the overlapping region and the non-overlapping region.
  • the column total comparison unit 6 calculates the difference between the horizontal coordinates of the overlapping area in the R frame and the L frame as the amount of deviation of the left and right images.
  • the sub-pixels used to obtain the column sum may be sub-pixels of all the three primary colors, but may be sub-pixels of any one of the three primary colors.
  • a component image signal using a luminance signal (Y signal) and two color difference signals (Pr signal and Pb signal) as an image signal is input to the stereoscopic image display apparatus, the column sum is obtained for the luminance signal and overlapping is performed. An area may be identified. Further, the left and right eye image signals input to the stereoscopic image display device can be obtained by photographing the object by the parallel method or by the cross method.
  • FIG. 8 is a drawing for explaining the deviation of the image when the object is photographed by the parallel method.
  • the parallel method arranges the two cameras L and R so that the optical axes are parallel, and provides the left and right images captured by the left and right cameras to the left and right eyes, respectively.
  • the depth is sensed from the convergence angle when the left and right eyes are aligned with the point of interest. If the actual camera spacing is wider than the eye spacing, the viewer will feel a large amount of depth and the stereoscopic effect will be exaggerated.
  • an overlapping area appears in the left part in the image of the right camera R and in the right part in the image of the left camera L. For example, if the right camera R is shifted to the position of the left camera L, the same image is obtained, so the shift ⁇ between the left and right images corresponds to the camera interval.
  • the deviation amount of the left and right images is calculated at high speed regardless of the camera interval. can do.
  • FIG. 9 is a drawing for explaining the deviation of the image when the object is photographed by the cross method.
  • the optical axes of the two cameras L and R are arranged in convergence, and the left and right images captured by the left and right cameras are provided to the left and right eyes, respectively.
  • the observer gets a sense of depth based on the convergence angle required to match the images of both eyes.
  • an image of the right camera R appears in the right portion
  • an image of the left camera L appears in the left portion.
  • the point (convergence point) at which the optical axes of the left and right cameras intersect is farther, the overlapping area in the image becomes larger.
  • the amount of deviation between the left and right images can be calculated at high speed.
  • the same procedure may be used to process at high speed regardless of what means is used to obtain the input image signal using the above procedure. it can.
  • the parallax matrix generation unit 7 shown in FIG. 1 generates a parallax matrix (RL matrix) which is depth information for each pixel, based on the parallax of the object in the R frame and the L frame compensated for the displacement amount.
  • RL matrix parallax matrix
  • the parallax matrix generation unit 7 changes the position of the object represented by each pixel between the left and right images in the image signal acquired in the same area among the images captured by the two cameras. Calculate the amount of displacement of The amount of displacement of the area in which only one camera has captured an image may be 0 (zero).
  • the parallax matrix generation unit 7 calculates the element value (parallax value) of the parallax matrix based on the displacement amount of each pixel between the left and right images.
  • the objects in the left and right images may not only be displaced in the horizontal direction in the image but also have displacement components in the vertical direction. In that case, since the displacement is obtained as a vector, the length of the displacement vector may be used as an element value of the disparity matrix.
  • the human eye recognizes the depth because of horizontal parallax.
  • the parallax matrix indicates the parallax for each object in both the left and right images, and the parallax is larger as the object exists closer and smaller as the object farther away, and defines the depth of the object in the image. It becomes a thing.
  • the element values of the parallax matrix can be either positive or negative, and for pixels that display a certain object, a positive value is shown when the object is shown forward with reference to the convergence point, and when it is shown behind It suffices to give negative values to element values.
  • the weighting function generation unit 10 adjusts the photographing condition or the depth visual of the object by appropriately weighting the element values of the parallax matrix when the parallax matrix generation unit 7 generates the parallax matrix. Can be adjusted. For example, if an appropriate value is added to the element value, the convergence point moves to the front and the image of the object approaches, and if an appropriate value is subtracted from the element value, the convergence point moves away and the image of the object recedes. Further, in the region where the element value is multiplied by an appropriate value larger than 1, the three-dimensional effect is emphasized, and when the element value is multiplied by a smaller value than 1, the three-dimensional effect is relaxed. Furthermore, upper and lower limits may be provided for the element values of the parallax matrix, or an appropriate function such as a gamma function may be used to select an appropriate value according to the size of the element value.
  • the viewpoint image generation unit 8 Based on the parallax matrix, the viewpoint image generation unit 8 develops m viewpoint image frames for expanding and displaying pixel images in the horizontal direction for each frame (one screen) of an image displayed on the image display panel 100 Generate to For example, the viewpoint image generation unit 8 sets a pixel image in a reference image frame with any one of R frame and L frame stored in the frame matrix storage unit (R frame in FIG. 1) as a reference image frame. Is generated horizontally by the element value (disparity value) of the disparity matrix to generate a reference image frame.
  • the viewpoint image generation unit 8 interpolates between the reference image frame and the reference image frame based on the reference image frame and the element value (disparity value) of the disparity matrix (m ⁇ 2) interpolated image frames Generate For example, the viewpoint image generation unit 8 sequentially moves the pixel image in the reference image frame in the horizontal direction by using the value obtained by dividing the element value of the parallax matrix by (m-1) as the horizontal movement amount for each viewpoint image. Alternatively, (m-2) interpolated image frames may be generated in order from the reference image frame.
  • the viewpoint image generation unit 8 may generate (m-1) interpolated image frames in order from the reference image frame without generating a reference image frame.
  • m viewpoint images are generated with reference to either the left or right image.
  • the other image is used only to obtain depth information for each pixel in the reference image. Therefore, the viewpoint image farthest from the reference image is not the same as the left-eye image even when the right-eye image is used as the reference image, and is generated based on the depth information from the reference image.
  • the viewpoint image generation unit 8 stores m viewpoint image frames representing m viewpoint images in the image memory 9 of the display control device 300.
  • the display control apparatus 300 causes the m pixels to display m viewpoint images represented by the m viewpoint image frames in the plurality of three-dimensional pixels of the image display panel 100.
  • the image memory 9 can store, for all the sub-pixels of the display screen, pixel values specifying the intensity of the color development.
  • the display control device 300 causes the sub-pixels of the image display panel 100 to emit light in accordance with the pixel values stored in the image memory 9.
  • m viewpoint image frames are stored in a storage area for one screen.
  • Each three-dimensional pixel of the image display panel 100 displays pixel images at the same position in the m viewpoint images almost simultaneously. However, when three-dimensional pixels are arranged across three to six lines of the image display panel 100, a time difference for scanning the three to six lines occurs.
  • the display control device 300 assigns m viewpoint images to m pixels in a plurality of three-dimensional pixels of the image display panel 100 and causes them to be displayed.
  • the plurality of sub-pixels in each pixel are colored in the primary colors of the designated intensity in multiple stages, and the three primary colors appear to be mixed at the light gravity center position, so that the designated color can be displayed.
  • an image of one screen displayed on the image display panel 100 is formed of m viewpoint images, and the m viewpoint images are displayed on the image display panel 100.
  • Each of the pixels is displayed by m types of pixels constituting a solid pixel.
  • Each pixel in the three-dimensional pixel is, for example, composed of three sub-pixels aligned in a diagonal vertical direction, and the m pixels are, for example, horizontally aligned.
  • a plurality of three-dimensional pixels each including m pixels expand and display m viewpoint images in the horizontal direction, thereby causing the observer to perceive a sense of three-dimensionality and a sense of depth by the involuntary eye movement.
  • FIG. 10 is a conceptual diagram for explaining the relationship between viewpoint images and pixels in the case of six viewpoints.
  • FIG. 10 shows the positional relationship between the cross section of the object cut along a horizontal plane and the pixels of the viewpoint image. The images of the objects taken by the two cameras shift depending on the depth. The magnitude of this deviation is taken in the horizontal direction to be parallax P, and six viewpoint images of A, B, C, D, E, and F arranged in the horizontal direction are shown therebetween.
  • viewpoint images Since six viewpoint images are displayed on one screen, in a storage area for one screen in the image memory 9, pixel information of the six viewpoint images to be projected to the corresponding position is stored.
  • Six pixels arranged in the horizontal direction in each three-dimensional pixel correspond to viewpoint images A, B, C, D, E, F of the object, and viewpoint images a, b, c, d, on the screen. Display e and f.
  • These viewpoint images correspond to a plurality of viewpoints generated by the involuntary eye movement.
  • the image display panel 100 displays an image of the object reconstructed by sampling the appropriate m of rays emitted from the object in all directions in the natural world.
  • sampling means compressing light rays emitted from all directions according to the definition of the display panel using a convolution principle. Since a plurality of light rays related to m viewpoint images simultaneously enter the eye of the observer, a natural three-dimensional effect equivalent to that sensed in the natural world is formed.
  • the viewing angle to the point at which the human eye gazes is about 1 to 2 degrees, and even an image can not be perceived in a range that spreads larger than this (Troxler effect), so the spread of the viewpoint image is about 1 to 2 degrees It is preferable to fall within the range of That is, it is preferable to keep the parallax P in FIG. 10 within the range of about 1 to 2 degrees of the viewing angle from the position of the observer. If the parallax P is too large in the actual image, the parallax values can be adjusted by weighting the element values of the parallax matrix using an appropriate weighting function.
  • the weighting function generation unit 10 adjusts the convergence angle of the two cameras by performing addition / subtraction, multiplication / division, or the action of an appropriate function on the element values of the parallax matrix, or
  • the parallax can be adjusted, and the sense of depth of the subject can be adjusted. For example, when a positive number is added to the element value, the parallax is increased and the stereoscopic effect can be emphasized. This has the same effect as adjusting the shooting conditions, tilting the optical axis of the camera, and bringing the convergence position closer. Also, by multiplying or dividing the element value by an appropriate value, the sense of depth of the entire image can be expanded or compressed.
  • a filter or the like that utilizes gamma characteristics or S-shaped tone curves is provided so that the presence of large and small parallaxes does not excessively suppress the stereoscopic effect in parallax having a high output frequency intermediate value. It can also be used to adjust the convergence angle corresponding to the depth of the image.
  • the weighting function generation unit 10 can be provided with a function of emphasizing the three-dimensional effect of the portion of interest while suppressing the three-dimensional effect of the near portion and the far portion.
  • FIG. 11 is a conceptual diagram for explaining the operation of the stereoscopic image display apparatus according to the embodiment of the present invention.
  • FIG. 11 shows an imaging optical system and an imaging surface of an imaging device for imaging an external object (subject), and a light beam reproduction display screen of a display device for displaying an image obtained by the imaging device.
  • a viewpoint image obtained by sampling m set viewpoints is displayed on the light beam reproduction display screen, and light beams are emitted forward from three-dimensional pixels of the light beam reproduction display screen.
  • the light ray reproduction method by sampling is combined with the image change recognition due to the involuntary eye movement Can sense a more natural three-dimensional effect and a sense of depth. Those rays can also be captured by eyes of different angles.
  • FIG. 12 and FIG. 13 are conceptual diagrams for explaining a generation mechanism of stereoscopic perception due to fixation involuntary movement.
  • FIGS. 12 and 13 show a situation in which an image is sampled and displayed on the image display panel according to the light beam reproduction method. This situation simulates the perceptual mechanism of natural light.
  • FIG. 12 exemplifies a case where six pixels are provided in a three-dimensional pixel.
  • Six pixels (viewpoint pixels) corresponding to images from the viewpoint A to the viewpoint F are arranged in one solid pixel, and six viewpoint images are displayed by a set of solid pixels.
  • the pixels in the three-dimensional pixels are drawn vertically shifted in order to make it easier to see the connection of each image, the pixels may be arranged substantially horizontally in the display surface.
  • the retinal image is moved by, for example, ⁇ 0.05 degrees with respect to the image receiving pixels (a1, b1, c1, d1, e1, f1) of stage 1 as a reference,
  • the left eye image receiving pixels (b1, c1, d1, e1, f1, a2) and the right eye image receiving pixels (f0, a1, b1, c1, d1, e1) of the stage 2 change.
  • the shift direction of the image is opposite between the left eye and the right eye.
  • FIG. 13 is a conceptual diagram for explaining a mechanism in which depth perception corresponding to a slight movement is generated from a shift between images of the left eye and the right eye.
  • the human optic nerve is half-crossed in the brain, and the nerve on the nasal side of the retina of the right eye crosses to lead to the primary visual area of the left brain, and the nerve on the ear side of the retina of the left eye does not cross the left brain Connected to the primary visual area of the right eye retina without crossing it and to the primary visual area of the right eye retina while crossing it and leading to the primary visual area of the right brain .
  • the image in the right half of the field of view is processed in the left brain and the image in the left half of the field of view is processed in the right brain.
  • a shift between the image of the left eye and the image of the right eye on stage 2 is detected, and depth perception is generated based on the amount of shift.
  • stereoscopic perception is obtained by the image shift of b1 perceived by the right brain and the image shift of e1 perceived by the left brain.
  • This shift is convergence micromotion caused by the fixation micromotion generated in the gaze point visual field, which is a small displacement when the object is far, and a motion parallax which is largely deviated when the object is near, in the small gaze point visual field Stereoscopic perception is obtained.
  • the viewpoint movement distance by fixation movement is 1.78 cm, and the depth movement distance is about It will be 3m.
  • the range of diameter 8.4 cm can be seen at the same viewing angle, the viewpoint movement distance by fixation micromotion is 0.52 cm, and the depth movement distance is about It will be 26 cm. If this is converted into pixels and converted into movement speed, motion parallax is obtained.
  • the speed of the involuntary eye movement is about 10 degrees / second.
  • the human brain ignores the information input when there is no change, and starts information processing triggered by the change in the information, so changes in the components of each viewpoint image input and output in response to the involuntary eye movement Capture and perceive a three-dimensional effect and a sense of depth.
  • the stereoscopic image display device embodies the movement of a gaze target object generated due to the involuntary eye movement in natural vision on an image display panel, and a plurality of (at least three) viewpoint images in the horizontal direction Is realized by arranging at regular intervals. It should be noted that simply assigning the left and right eye images to the viewpoint images at both ends does not provide a simulation of natural vision.
  • the twin-lens system such as the wrench killer system or the parallax barrier system (light emission control)
  • stereoscopic vision is realized by the convergence angle obtained by distributing the left and right eye images to the left and right eyes.
  • the autostereoscopic image display device known from the prior art has a disadvantage that the stereoscopic perception by the light beam reproduction can not be performed well because the power point is placed in the direction of light.
  • the stereoscopic image display device realizes a stereoscopic effect and a sense of depth using a method different from the two-lens type, and although it has a three-dimensional effect weaker than the two-lens type, natural vision It has the feature of being close.
  • the ray reproduction in the present embodiment sufficiently simulates natural vision, and for example, the change in the viewpoint generated by the involuntary eye movement is three to five three-dimensional pixels, and this change corresponds to the viewpoint in the object. It corresponds to about 0.52 to 1.78 cm in terms of movement distance, and light is folded in this change.
  • the stereoscopic image display apparatus determines viewpoints in either the left or right image frame, and generates a plurality of viewpoint images.
  • the light beam reproduction method works by putting a large number of light beams emitted from each point in the image within the range of 1 to 2 degrees of view angle, so the restriction by the observation position is relaxed and the observer's face position Even in the case where there is a change, or when a plurality of observers observe a stereoscopic image simultaneously, natural stereoscopic vision is possible.
  • the present invention can be used in a stereoscopic image display device, in particular, an autostereoscopic image display device using a light beam reproduction method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】広い範囲から立体画像を観察することが可能であり、どの位置から立体画像を観察しても逆視が発生することがなく、より自然で眼にも優しい立体画像を表示して、観察者の眼の衛生状態を向上させることが可能な裸眼式の立体画像表示装置を提供する。 【解決手段】この立体画像表示装置は、ｍ個（ｍは３以上の整数）のピクセルを各々が含む複数の立体画素を水平方向及び垂直方向に並べて構成される画像表示パネルと、画像信号の右眼用画像フレーム及び左眼用画像フレームから画素ごとの奥行き情報を求め、奥行き情報に基づいて、画素画像を水平方向に展開して表示するためのｍ個の視点画像フレームを生成する画像処理装置と、前記画像表示パネルの複数の立体画素において、前記ｍ個の視点画像フレームによって表されるｍ個の視点画像を前記ｍ個のピクセルにそれぞれ表示させる表示制御装置とを備える。

Description

立体画像表示装置
　本発明は、立体画像表示装置に関し、特に、光線再生方式を用いた裸眼式の立体画像表示装置に関する。
　従来から、立体画像表示技術は、エンターテインメントの道具として利用されることが多かった。しかし、近年においては、その有用性から医療分野などにおける利用が注目されるようになっている。
　現在普及している立体画像表示装置として、アナグリフ方式、偏光方式、又は、シャッター方式などの眼鏡を使用する立体画像表示装置と、眼鏡を使用することなくパララックスバリヤー又はレンチキラーレンズによって裸眼で立体画像を認識させる立体画像表示装置とがある。これらの立体画像表示装置は、右眼と左眼とに少しずれた２つの画像をそれぞれ投入して、左右眼における視差の大小に基づいて奥行き量の大小を認識させるものである（２眼式）。
　人の視覚システムにおいて、立体は、奥行き知覚と立体知覚とにより認識されるが、これまで開発されてきた立体画像制作技術や３Ｄ技術の多くは、奥行き知覚を利用するものである。しかし、人は、通常、視野中の注視点に左右眼を不随意に輻輳させて奥行き感や立体感を得る。この場合に、注視点に視差が生じなくても、人は立体知覚により立体感を伴って対象物を見ることができる。このように、日常生活の中で立体認識に頻繁に利用されるのは立体知覚であり、眼精疲労などは遥かに小さく、長時間の観察が可能である。
　従来の立体画像表示装置において利用されている奥行き知覚は、自然には発生しない状況を人為的に作って非日常的な立体認識をさせるもので、左右眼における視差の大小に基づき注視点に左右眼を輻輳させることによって奥行き感が生じ、その頻度と量が生理的に疲れを発生させることとなる。このため、長時間の視聴が前提となる利用において、眼精疲労の抑制などの安全性が問題となり、従来技術では活用の幅が制限される。
　また、眼鏡を使用しない立体画像表示装置として、インテグラルフォトグラフィーの原理を活用したレンチキラーレンズを用いる２次元インテグラル方式、レンズアレーを用いる３次元インテグラル方式、光線再生方式、及び、波面再生方式などの立体画像表示装置があげられる。ここで、市場でみられるインテグラル方式は、レンチキラーレンズ又はレンズアレーによって光線の方向を制御することにより、少なくとも水平方向に視差を有する２つの視差画像を左右両眼に提供するものであって、結局、実質的には２眼式に基づくものと変わらない。
　図１４は、レンズアレーを使用する従来の３次元インテグラル方式の原理を説明するための図面である。撮影装置においては、被写体と高精細カメラとの間に屈折率分布レンズアレーが配置されている。屈折率分布レンズアレーの前方に配置された奥行き制御レンズは、被写体から発せられる光線を屈折率分布レンズアレーの表面に入射させる。屈折率分布レンズアレーの後方に配置された集光レンズは、屈折率分布レンズアレーを通過した光線を高精細カメラに集光し、高精細カメラは、屈折率分布レンズアレーの裏面に形成される要素画像を撮影する。
　高精細カメラで取得された要素画像を表す画像信号は、表示装置に送られる。画像信号に基づいて表示装置の平面ディスプレーに表示される要素画像は、平面ディスプレーの前方に配置されたレンズアレーにより、被写体から各方向に放射される光線を代替する光線の一部として観察者の目に到達する。それにより、観察者は、立体像を認識することができる。
　３次元インテグラル方式は、水平方向のみならず垂直方向の立体感をも実現しようとするものであるが、人の両眼は水平方向に沿って配置されているので垂直方向の奥行きを認知することは難しく、自然姿勢による認知可能性は残すものの、実質的には水平方向の視差に基づいて奥行きを知覚するものである。なお、パースによる奥行き知覚は、先験的知識に基づくものである。結局、この３次元インテグラル方式も、２眼式の立体認識と同様に、自然視にはない不具合を有する。
　特許文献１には、インテグラルフォトグラフィー法あるいは光線再生法を用いた裸眼式の立体像表示装置が記載されている。特許文献１に記載された立体像表示装置においては、立体像に対応した複数のパターンを平面的に分割された小領域に表示する液晶表示装置の前面に、小領域に対応した複数のピンホールあるいはマイクロレンズが平面的に配置されたアレイ板が設けられている。特許文献１の発明は、表示されるべき立体像に対応した複数のパターンを離散コサイン変換して圧縮し、表示のために圧縮画像データを逆離散コサイン変換により伸張するに際し、離散コサイン変換あるいは逆離散コサイン変換を施すブロック単位と要素画像の単位とを一致させることにより、ブロックノイズを抑制して、高精細な立体像を表示できるようにすることを特徴とする。
　しかし、特許文献１に係る立体像表示装置では、ピンホールあるいはマイクロレンズの密度に制約があるため、立体ディスプレーとしての画素数及び光線数に限度が生じて、十分な精細度を達成することが困難である。また、観察者の眼が想定観察位置から外れると立体画像にならない問題や、観察者の左右眼に左右の画像が逆に入射して奥行き感が逆転するいわゆる逆視が発生する問題があって、観察位置に制約がある。
特開２００６－１４８８８５号公報
　そこで、上記の点に鑑み、本発明の解決しようとする課題は、広い範囲から立体画像を観察することが可能であり、どの位置から立体画像を観察しても逆視が発生することがなく、より自然で眼にも優しい立体画像を表示して、観察者の眼の衛生状態を向上させることが可能な裸眼式の立体画像表示装置を提供することである。
　以上の課題の少なくとも一部を解決するため、本発明の１つの観点に係る立体画像表示装置は、ｍ個（ｍは３以上の整数）のピクセルを各々が含む複数の立体画素を水平方向及び垂直方向に並べて構成される画像表示パネルと、画像信号の右眼用画像フレーム及び左眼用画像フレームから画素ごとの奥行き情報を求め、奥行き情報に基づいて、画素画像を水平方向に展開して表示するためのｍ個の視点画像フレームを生成する画像処理装置と、前記画像表示パネルの複数の立体画素において、前記ｍ個の視点画像フレームによって表されるｍ個の視点画像を前記ｍ個のピクセルにそれぞれ表示させる表示制御装置とを備える。
　本発明の１つの観点に係る立体画像表示装置は、自然視における視野角から注がれる光束をサンプリングし、自然光に似せた光の配列を作り、自然視と近似する状況を作り出すことができる。右眼画像と左眼画像との位置的なずれが像の奥行きに対応することに注目して、立体画像表示装置は、右眼画像と左眼画像との内の一方の画像を基準画像として、基準画像中の画素が他方の画像においてずれている量を求めて視点の位置に換算し、それに基づいて設定されたｍ個の視点に対応するｍ個の視点画像フレームを生成してもよい。なお、それらの視点の位置は、自然視で発生する立体知覚に係る固視微動（通常約０．０５度）による微小な視点移動に基づいて定められることが望ましい。
　両眼球の輻輳・開散運動、随従眼球運動、及び、衝動的眼球運動は、Ｈｅｒｉｎｇの法則に従っており、注視点を両眼視する際に発生する固視微動は、注視点における輻輳運動の微動となって現れる。例えば、画像表示パネルの水平方向画素数が１９２０の場合に、画像表示パネルから距離２Ｈ～３Ｈ（Ｈは画像表示パネルの縦幅）だけ離れて観察者が位置すると、固視微動によって発生する視点の移動は、画像表示パネルの立体画素の３～５個分に相当する。通常の固視微動の１周期は約５ｍ秒といわれており、ｍ個の視点画像があるときに、立体画素において、約５ｍ秒間で（１サブピクセル当たり約０．３３ｍ～約０．５６ｍ秒の短い時間で）ｍ個の視点画像が認知されて運動視差を生じ、それに基づいて相対的な立体感や奥行き感が知覚される。
　こうして生成されたｍ個の視点画像が、仮想上のｍ個のカメラの位置から撮影された画像として、複数の立体画素においてｍ個のピクセルの対応位置に表示される。従って、ｍ個の視点画像から放射される光線が同時に観察者の眼に入ることになり、観察者が自然界で観察する対象物から立体感や奥行き感を知覚する状態を光線再生法により再現することができる。
　このように、本発明の１つの観点によれば、広い範囲から立体画像を観察することが可能であり、どの位置から立体画像を観察しても逆視が発生することがなく、より自然で眼にも優しい立体画像を表示して、観察者の眼の衛生状態を向上させることが可能な裸眼式の立体画像表示装置を提供することができる。
本発明の一実施形態に係る立体画像表示装置の構成例を示すブロック図である。 本発明の一実施形態に係る立体画像表示装置における立体画像表示の手順を示す工程図である。 人が対象物から放射される光を眼で受ける状況を説明するための図面である。 図１に示す画像表示パネルにおけるサブピクセルとピクセルと立体画素との関係を説明するための図面である。 図１に示す画像表示パネルにおける立体画素中のサブピクセルの別の配置例を示す図面である。 図１に示す画像表示パネルにおける立体画素中のサブピクセルのさらに別の配置例を示す図面である。 図１に示す画像表示パネルにおける立体画素中のサブピクセルのさらに別の配置例を示す図面である。 平行法で対象物を撮影したときの画像のずれを説明するための図面である。 交差法で対象物を撮影したときの画像のずれを説明するための図面である。 視点が６個の場合における視点画像とピクセルとの関係を説明するための概念図である。 本発明の一実施形態に係る立体画像表示装置の作用を説明するための概念図である。 固視微動による立体知覚の発生メカニズムを説明するための概念図である。 固視微動による立体知覚の発生メカニズムを説明するための概念図である。 レンズアレーを使用する従来の３次元インテグラル方式の原理を説明するための図面である。
　本発明の一実施形態に係る立体画像表示装置は、左右眼に視差を有する画像を与えることで奥行き知覚をもたらす従来装置に対して、立体知覚の原理に基づき、より自然で眼にも優しい裸眼式の立体画像表示を実現して、観察者の眼精疲労を解消するとともに、観察位置の制約を緩和するものである。以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
　図１は、本発明の一実施形態に係る立体画像表示装置の構成例を示すブロック図であり、図２は、本発明の一実施形態に係る立体画像表示装置において画像信号を入力してから立体画像を表示するまでの工程を示す工程図である。
　図１に示す立体画像表示装置は、対象物から全方向に放射される光をｍ個（ｍは３以上の整数）の視点においてサンプリング（畳み込み）して得られたｍ個の光線で画像を表示する光線再生法を用いたもので、画像表示パネル１００と、画像処理装置２００と、表示制御装置３００とを含んでいる。画像処理装置２００及び表示制御装置３００は、それぞれの信号処理プロセッサー又は一体の信号処理プロセッサーで構成して、画像信号の１フレームごとに一連の処理を可能にすることが好ましい。
　画像表示パネル１００は、ｍ個のピクセルを各々が含む複数の立体画素（ポリゴン）を水平方向及び垂直方向に並べて構成される。立体画素は、ｍ個の視点画像（多視点画像）を１つの画面に重畳して表示するために用いられる。ｍ個のピクセルの各々は、光の３原色を表示する複数のサブピクセルを含んでもよい。サブピクセルは、画像信号で変調される各色の光を放射する最小画素要素である。
　例えば、画像表示パネル１００として、透過型又は反射型の液晶や有機ＥＬ（ＯＬＥＤ：Organic Light Emitting Diode）などの２Ｄ用表示パネル、特に、高精細テレビ用の表示パネルを利用することができる。あるいは、ランプと、画像表示パネル１００と、投射レンズ部とを含み、ランプの光を画像表示パネル１００及び投射レンズ部を介してスクリーンに向けて射出するビデオプロジェクターが、立体画像表示装置に設けられてもよい。
　画像表示パネル１００が表示する画像は、視点数（ｍ個）の視点画像を複合したものであり、各々の立体画素がｍ個のピクセルを含むので、２Ｋ、４Ｋ、又は、８Ｋテレビなどにも使用される高精細表示パネルを使うことが好ましい。画像表示パネル１００においては、光の３原色ＲＧＢを表示する各色のサブピクセルが、表示領域の全面に亘って配置されている。
　画像処理装置２００は、画像信号の右眼用画像フレーム及び左眼用画像フレームから、画素ごとの奥行き情報として視差マトリックス（Ｒ－Ｌマトリックス）を求め、奥行き情報に基づいて、画素画像を水平方向に展開して表示するためのｍ個の視点画像フレームを生成する。画像処理装置２００は、アナログ回路、デジタル回路、又は、ＣＰＵとソフトウェアで構成することができる。
　図１に示すように、画像処理装置２００は、機能ブロックとして、分配部１と、フレームメモリー２及び３と、列総和算定部４及び５と、列総和比較部６と、視差マトリックス生成部７と、視点画像生成部８と、重み付け関数発生部１０とを含み、画像信号変換部１１及びフレーム選択部１２をさらに含んでも良い。
　例えば、画像処理装置２００は、右眼用画像フレーム及び左眼用画像フレームを格納し、各フレームの画素値を列ごとに垂直方向に積算して列総和を求め、列総和を両フレーム間で比較することによって両フレームの画像中の重複領域を特定し、両フレームの画像の位置関係を調整する。
　その後、画像処理装置２００は、両フレームにおいて対応する画素画像の位置のずれに基づいて画素ごとの奥行き情報を求め、重み付けされた奥行き情報に基づいて一方のフレーム中の画素画像を水平方向に移動させることにより、一方のフレームを含めてｍ個の視点画像フレームを生成する。
　表示制御装置３００は、画像表示パネル１００の複数の立体画素において、ｍ個の視点画像フレームによって表されるｍ個の視点画像をｍ個のピクセルにそれぞれ表示させる。そのために、表示制御装置３００は、ｍ個の視点画像フレームを格納する画像メモリー９を含み、デジタル回路等で構成される。
　図３は、人が対象物から放射される光を眼で受ける状況を説明するための図面である。自然界では、３６０度あらゆる方向から光が来る。しかし、人が対象物を注視するときには、１～２度程度の視野角内の領域（注視点）しか見えない。注視点に輻輳される視線によって注視点視野内で見える奥行き情報により立体知覚がもたらされ、この視野外の画像は立体知覚に寄与しない。従って、１～２度程度の視野角内に収まる複数の光線を画像表示パネル１００（図１）の表示精度内で畳み込む（サンプリングする）ことにより、画像表示パネル１００から放射される光線を自然の光線に似せることができる。なお、サンプル光の数が多いほど、違和感の少ない画像再現が可能になる。
　奥行き情報は、眼球に配置された６本の筋肉の内で、眼球を水平方向に回転させる内直筋及び外直筋の収縮・伸張情報からもたらされる。内直筋及び外直筋の収縮・伸張は、両眼球の輻輳・開散運動、随従眼球運動（パシュート）、及び、衝動的眼球運動（サッカード）で起こる。ここで注目されるものが、固視微動である。眼球は、それぞれ異なる周期を持った瞳孔揺動、微動調節運動、及び、固視微動などで常に動揺している。固視微動としては、マイクロサッカード、ドリフト、及び、トレモアなどが知られている。眼球が動揺すると、視線の奥行きが変化し、複数の視点画像を取得することができる。
　立体知覚に特に関係が深いのは、不随意に発生する微弱な動揺であるマイクロサッカードであり、１～３Ｈｚ程度の周期で眼球が動揺する。眼球の固視微動による回転角は、通常０．０５度程度と計測されている。また、その速度は、１０度／秒程度と計測されている。固視微動によって眼球が回転すると、対象物に対する観察者の視線も変化する。例えば、観察者における観察点Ａ（ｉ）から対象物における注視点Ｂに向かう視線Ｌ（ｉ）が、観察点Ａ（ｉ）から距離Ｄだけ離れたもう１つの観察点Ａ（ｉ＋１）から注視点Ｂに向かう視線Ｌ（ｉ＋１）に変化する。ここで、対象物が観察者に近いほど、視線Ｌ（ｉ）と視線Ｌ（ｉ＋１）とがなす角が大きくなる。
　視線が変化することによって観察者が認識する注視点Ｂの位置が変化すると仮定して、視線Ｌ（ｉ）及びＬ（ｉ＋１）を平行移動することにより、観察点Ａ（ｉ）の位置と観察点Ａ（ｉ＋１）の位置とが一致する状態を考える。そのような状態においては、注視点Ｂが、距離Ｄだけ離れた２つの注視点Ｂ（ｉ）及びＢ（ｉ＋１）として見えることになる。固視微動は所定の周期で繰り返されるので、ｍ個の注視点Ｂ（ｉ）、Ｂ（ｉ＋１）、Ｂ（ｉ＋２）、・・・に対応するｍ個の視点画像を１つの画面に表示することにより、自然視における固視微動によって発生する注視点の移動を表示画面上に具現化することができる。ここで、対象物が観察者に近いほど、視点画像間の距離が大きくなる。
　基本的に、身体の知覚センサーは、刺激が閾値を超えるときに着火するようにできている。固視微動により注視領域からの光の変化を検知し、脳に伝達することにより立体知覚が生まれる。なお、相対的な奥行きを弁別するための最小遅延時間は約１６０μ秒であり、両眼視差に換算して約２秒とされている。
　次に、図４～図７を参照しながら、対象物から放射される光を画像表示パネルの複数の立体画素に表示させる手法を説明する。
　図４は、図１に示す画像表示パネルにおけるサブピクセルとピクセルと立体画素との関係を説明するための図面である。図４に示す画像表示パネルにおいては、同じ色を表示する複数のサブピクセルが、縦方向（垂直方向）に並ぶように配置されている。
　図４には、赤を表示するサブピクセルＲと、緑を表示するサブピクセルＧと、青を表示するサブピクセルＢとが、横方向（水平方向）に隣り合わせて繰り返し並んだストライプ型配置が示されている。各々のピクセルは、１個のサブピクセルＲと、１個のサブピクセルＧと、１個のサブピクセルＢとで構成される。また、各々の立体画素は、視点数（ｍ個）のピクセルで構成される。図４は、視点数が６の場合を例示するもので、１個の立体画素中に６個のピクセル、すなわち、１８個のサブピクセルが含まれている。
　一般的なテレビ受像機の表示パネルにおけるピクセルは、水平方向に並んだＲＧＢサブピクセルで構成されるが、図４に示す画像表示パネルで利用されるピクセルは、立体画素の横幅を抑えるために、画像表示パネルにおいて隣り合う複数のライン（行）に配置された複数のサブピクセルを含んでいる。例えば、図中に線分でつないで示すように、隣の行かつ隣の列の互いに近い位置にあるサブピクセルが斜めに並ぶように選択される。
　各々のピクセルに含まれている複数のサブピクセルがすべて点灯したときにピクセルの発光の中心として観察される位置を光重心と呼ぶと、図中に白丸で示すように、画像表示パネルの各々の立体画素において、ｍ個のピクセルは、ピクセルの光重心が順次隣接して水平方向に並ぶように配置されていることが好ましい。なお、図４に示す例においては、ピクセルが右上がりに傾くようにサブピクセルを選択しているが、ピクセルが反対方向に傾くようにサブピクセルを選択してもよい。
　立体画素は、画像表示パネルの表示領域の全面に亘り水平方向及び垂直方向に繰り返し並んで、行列を形成している。例えば、２Ｋテレビ用の表示パネルの場合には、ＲＧＢサブピクセルが横に並んで構成されるピクセルが水平方向に１９２０個、垂直方向に１０８０個並んでいるので、立体画素は、水平方向に９６０個、垂直方向に３６０個配置された行列を形成する。立体画素の大きさを、視力１．０で画像表示パネルを見る観察者にとって視線の見込み角が１分程度以下になるようにすると、観察者は、立体画素内のピクセルを区別することができず、立体画素を点として認識することになる。
　立体画素に対する視線の見込み角は、立体画素のサイズに応じて観察距離を選択することにより、適切に調整することができる。例えば、画像表示パネルの水平方向画素数が１９２０の場合に、画像表示パネルから距離２Ｈ～３Ｈ（Ｈは画像表示パネルの縦幅）だけ離れて観察者が位置することにより、固視微動によって発生する視点の移動は、画像表示パネルの立体画素の３～５個分に相当する。
　パネルの精細度が上がれば、より多くの視点画像を表示することが可能になる。視点数が大きくなるほど、より自然な立体感が得られる。また、スクリーン中の立体画素の数が大きくなるほど、精細な画像を得ることができる。例えば、４Ｋテレビ用の表示パネルにおいては、水平方向に３８４０個、垂直方向に２１６０個のピクセルが並んでいるので、水平方向に並んだ９個のピクセルを用いて９個の視点画像を表示するようにしたものでも、立体画素が水平方向に１２８０個、垂直方向に７２０個配置された十分精細な立体画像表示パネルとなる。
　また、８Ｋテレビ用の表示パネルにおいては、水平方向に７６８０個、垂直方向に４３２０個のピクセルが並んでいるので、水平方向に並んだ１２個のピクセルを用いて１２個の視点画像を表示するようにしたものでも、立体画素が水平方向に１９２０個、垂直方向に１４４０個配置された高精細な立体画像表示パネルとなる。なお、視点数が多くなったときに立体画素の広がりを抑えたい場合には、各々の立体画素を構成する複数のサブピクセルを画像表示パネルにおいて隣り合う６ラインに配置することで、立体画素の横幅を半分にすることができる。
　図５は、図１に示す画像表示パネルにおける立体画素中のサブピクセルの別の配置例を示す図面である。図５に示す画像表示パネルで利用されるピクセルは、立体画素の横幅を半分にするために、画像表示パネルにおいて１ラインおきに複数のラインに配置された複数のサブピクセルを含んでいる。すなわち、第１段目と第３段目と第５段目のサブピクセルで構成されるピクセルと、第２段目と第４段目と第６段目のサブピクセルで構成されるピクセルとが、水平方向に交互に並んで立体画素を構成している。
　図５に示す例においては、各々の立体画素が２４個のピクセルを含み、２４個の視点画像を表示することができるが、水平方向における立体画素の広がりはサブピクセル１２個分に抑えられている。ピクセルの光重心は、水平方向に一直線に並ぶのではなく、中央２段のサブピクセルの位置に交互に並んで幅を有するが、大きく見れば小さな幅の中でピクセルの光重心が水平方向に連なっているので許容できる。
　図６及び図７は、図１に示す画像表示パネルにおける立体画素中のサブピクセルのさらに別の配置例を示す図面である。
　図６に示す画像表示パネルにおいては、同じ色を表示する複数のサブピクセルが、横方向（水平方向）に並ぶように配置されている。すなわち、サブピクセルＲ、Ｇ、Ｂが、それぞれ色ごとに水平方向に配置されて行を形成し、サブピクセルＲ、Ｇ、Ｂの行が、垂直方向に隣り合わせに繰り返して配置されるようにしてもよい。この場合には、図中に垂直方向の線分で示すように、各々のピクセルは、垂直方向に並んだ３色のサブピクセルで構成され、光重心が水平方向に並んだｍ個のピクセルで立体画素が構成される。
　あるいは、図７に示すように、画像表示パネルのサブピクセルは、モザイク型配置であってもよい。この場合においても、各々のピクセルを構成する複数のサブピクセルを、垂直方向に隣り合う３ラインから選択すれば、光重心が水平方向に並んだｍ個のピクセルで横幅の狭い立体画素が構成される。
　次に、図１及び図２を参照しながら、上記の画像表示パネルに多視点画像を表示する工程を説明する。
（ステップ１）
　図１に示す立体画像表示装置に、右眼用画像及び左眼用画像を表す左右眼用画像信号ＲＬが入力される場合に、分配部１は、入力される左右眼用画像信号ＲＬから右眼用画像フレーム（Ｒフレーム）及び左眼用画像フレーム（Ｌフレーム）を抽出して、フレームレートに従って、それらをフレームマトリックス記憶部（Ｒフレーム用のフレームメモリー２及びＬフレーム用のフレームメモリー３）に順次格納する。
　それにより、フレームマトリックス記憶部において、Ｒフレーム及びＬフレームとして、３原色（ＲＧＢ）のサブピクセルごとに色彩強度を適宜の分解能で表す画素値が記憶される。例えば、各色の色彩強度を（０～ＦＦ）の２５６値、（－１，０，＋１）の３値、又は、（０，１）の２値などで表す画素値が記憶される。
　また、輝度信号（Ｙ信号）及び２つの色差信号（Ｐｒ信号、Ｐｂ信号）を用いるコンポーネント画像信号が入力される場合には、分配部１が、Ｙ信号、Ｐｒ信号、Ｐｂ信号の画素値をＲＧＢの画素値に変換することにより、ＲＧＢの画素値を用いてもよい。一方、サイドバイサイド形式（ＳｂｙＳ）、トップアンドボトム形式（Ｔｏｐ＆Ｂｏｔｔｏｍ）、又は、フレームパッキング方式（ＦＰ）などの放送用の画像信号が入力される場合には、画像信号変換部１１が、入力される画像信号における右眼用画像と左眼用画像とを分離することにより、入力される画像信号を左右眼用画像信号ＲＬに変換して分配部１に供給する。
　さらに、図１に示す立体画像表示装置は、従来型テレビ放送における２次元画像を加工して３次元画像化してから表示するために使用することもできる。この場合には、フレーム選択部１２が、２次元画像信号（２Ｄ）のフレーム列から、基準フレームと該基準フレームに対して所定数のフレーム差を有する参照フレームとを選択し、基準フレーム及び参照フレームに基づいて、右眼用画像フレーム及び左眼用画像フレームを有する左右眼用画像信号ＲＬを生成して分配部１に供給する。例えば、フレーム選択部１２は、選択された基準フレームの画像を右眼用画像とし、これに対して所定数のフレーム差をおいて選択された参照フレームの画像を左眼用画像としてもよい。
　通常のテレビ放送波が搬送するテレビ画像は２次元画像であり、被写体の奥行き情報を有していない。しかし、被写体がカメラに対して移動したり被写体に対してカメラが移動したりすると、２次元画像中の異なるフレームにおける被写体の位置が変化して、被写体の像に時間的ずれが生じる。被写体の像が水平方向にずれた２つの画像を左右の眼に振り分けて供給すると、２つの画像における被写体を両眼で見るときの輻輳角が、基準フレームの画像における被写体を両眼で見るときの輻輳角と異なるので、被写体の像が表示画面に対して奥行き方向に変位して見えるようになり、画像に立体感が付与される。このような原理に基づいて、２次元画像信号に基づいて左右眼用画像信号ＲＬを生成することができる。
（ステップ２）
　画像処理装置２００が、Ｒフレーム及びＬフレームの撮影領域について水平方向のずれ量を算定し、左右の画像が重なる重複領域を特定する。本実施形態に係る立体画像表示装置は、例えば、左右の２台のカメラがそれぞれ撮影した左右の画像が重なる重複領域を検出し、重複領域における左右の画像の視差に基づいて画像に立体感を生じさせる。左右の画像においては、カメラの視野が一致するわけではない。しかし、視野中の重複領域では、左眼用画像と右眼用画像とが同じ対象物を表示するので、左右の画像において画素値がほぼ同じになることが期待される。
　そこで、列総和算定部４及び５が、フレームマトリックスの画素値を列ごとに縦方向に積算して求めた列総和について、列総和比較部６が、Ｒフレームの列とＬフレームの列とを水平方向にずらしながら比較していくと、左右の画像が重なっている領域（重複領域）においては列総和の差がゼロに近くなる。従って、列総和比較部６は、列総和の差が最も小さくなる列のペアを特定し、及び／又は、列総和の差が所定の値よりも小さくなる領域を特定することにより、左右の画像が重なっている領域と重なっていない領域とを判別することができる。列総和比較部６は、Ｒフレーム及びＬフレームにおける重複領域の水平座標の差を左右の画像のずれ量として算定する。
　ここで、列総和を求めるために用いられるサブピクセルは、３原色全てのサブピクセルであってもよいが、３原色の内のいずれか１色のサブピクセルであってもよい。また、画像信号として輝度信号（Ｙ信号）及び２つの色差信号（Ｐｒ信号、Ｐｂ信号）を用いるコンポーネント画像信号が立体画像表示装置に入力される場合には、輝度信号について列総和を求めて重複領域を特定してもよい。また、立体画像表示装置に入力する左右眼用画像信号は、対象物を平行法で撮影しても、交差法で撮影しても得ることができる。
　図８は、平行法で対象物を撮影したときの画像のずれを説明するための図面である。平行法は、２台のカメラＬ及びＲを光軸が平行になるように配置して、左右のカメラが撮影した左右の画像をそれぞれ左右の眼に提供し、観察者が左右の画像中の注目点に左右の視線を合わせたときの輻輳角から奥行きを感知するようにしたものである。実際のカメラ間隔が眼の間隔より広ければ、観察者には奥行き量が大きく感じられて、立体感が誇張されることになる。
　平行法では、右のカメラＲの画像においては左の部分に、左のカメラＬの画像においては右の部分に重複領域が現れる。例えば、右のカメラＲを左のカメラＬの位置までずらせば同じ画像を取得することになるので、左右の画像のずれΔはカメラ間隔に相当する。左右の画像がどれだけのカメラ間隔を伴って撮影されたものかは、画像信号からは分からないが、上記手順によれば、カメラ間隔によらずに、左右の画像のずれ量を高速で算定することができる。
　図９は、交差法で対象物を撮影したときの画像のずれを説明するための図面である。交差法は、２台のカメラＬ及びＲの光軸を輻輳させて配置して、左右のカメラが撮影した左右の画像をそれぞれ左右の眼に提供する。観察者は両眼の像を一致させる為に必要な輻輳角に基づいて奥行き感を得る。交差法による画像では、左右のカメラの光軸が交差するので、右のカメラＲの画像は右の部分に、左のカメラＬの画像は左の部分に重複領域が現れる。また、左右のカメラの光軸が交差する点（輻輳点）が遠くなるほど、画像中の重複領域が大きくなる。この場合においても、左右の画像がどれだけの輻輳角を伴って撮影されたものかは、画像信号からは分からないが、上記手順によれば、２台のカメラの輻輳角によらずに、左右の画像のずれ量を高速で算定することができる。
　このように、本実施形態に係る立体画像表示装置では、上記手順を用いて、入力された画像信号がどのような手段で取得されたものかによらず、同じ手順で高速に処理することができる。
（ステップ３）
　図１に示す視差マトリックス生成部７が、ずれ量を補償したＲフレーム及びＬフレームにおける対象物の視差に基づき、画素ごとの奥行き情報である視差マトリックス（Ｒ－Ｌマトリックス）を生成する。Ｒフレーム及びＬフレームについて、先に算定されたずれ量だけ位置を修正して画像を重ねると、左右の画像が重なった領域が中央部に位置し、左右の画像が重ならない領域が両端部に位置する画像マップが形成される。その上で、視差マトリックス生成部７は、２つのカメラが撮影した画像の内で同じ領域において取得した画像信号について、左右の画像の間で個々の画素が表す対象物の位置に変化がある部分の変位量を算定する。一方のカメラが撮影した画像しか存在しない領域の変位量は、０（ゼロ）とすればよい。
　視差マトリックス生成部７は、左右の画像の間における個々の画素の変位量に基づいて、視差マトリックスの要素値（視差値）を算定する。なお、左右の画像における対象物は、画像中で水平方向に変位するばかりでなく、垂直方向にも変位成分を有する場合がある。その場合に、変位はベクトルとして得られるので、変位ベクトルの長さを視差マトリックスの要素値としてもよい。人の眼が奥行きを認識するのは、水平方向の視差によるからである。
　視差マトリックスは、左右両画像中の対象物ごとの視差を示すもので、視差は、近くに存在する対象物ほど大きく、遠くに存在する対象物ほど小さく、画像中の対象物の奥行きを規定するものとなる。なお、視差マトリックスの要素値は、正負いずれの値も取ることができ、ある対象物を表示する画素について、輻輳点を基準として対象物を前方に見せるときはプラスの値、後方に見せるときはマイナスの値を要素値に持たせればよい。
　また、重み付け関数発生部１０は、視差マトリックス生成部７が視差マトリックスを生成する際に、視差マトリックスの要素値に対して適宜な重み付けを行うことにより、撮影条件を調整したり対象物に関する奥行き視覚を調整したりすることができる。例えば、要素値に適宜な値を加算すれば輻輳点が手前に移動して対象物の像が近づき、要素値に適宜な値を減算すれば輻輳点が遠ざかって対象物の像が後退する。また、要素値に１より大きな適宜な値を乗じた領域は立体感が強調され、要素値に１より小さな値を乗じた場合は立体感が緩和される。さらに、視差マトリックスの要素値に上限や下限を設けたり、ガンマ関数などの適宜な関数を使用して要素値の大きさに応じて適宜な値を選択するようにしてもよい。
（ステップ４）
　視点画像生成部８が、視差マトリックスに基づいて、画素画像を水平方向に展開して表示するためのｍ個の視点画像フレームを、画像表示パネル１００に表示する画像の１コマ（１画面）ごとに生成する。例えば、視点画像生成部８は、フレームマトリックス記憶部に格納されているＲフレーム及びＬフレームの内のいずれか一方（図１においてはＲフレーム）を基準画像フレームとして、基準画像フレーム中の画素画像を視差マトリックスの要素値（視差値）だけ水平方向に移動させた参照画像フレームを生成する。
　さらに、視点画像生成部８は、基準画像フレームと視差マトリックスの要素値（視差値）とに基づいて、基準画像フレームと参照画像フレームとの間を補間する（ｍ－２）個の補間画像フレームを生成する。例えば、視点画像生成部８は、視差マトリックスの要素値を（ｍ－１）で割った値を視点画像ごとの水平移動量として、基準画像フレーム中の画素画像を水平方向に順次移動させることにより、基準画像フレームから順に（ｍ－２）個の補間画像フレームを生成してもよい。
　あるいは、視点画像生成部８は、参照画像フレームを生成することなく、基準画像フレームから順に（ｍ－１）個の補間画像フレームを生成してもよい。ここで、ｍ個の視点画像は、左右どちらか一方の画像を基準として生成される。他方の画像は、基準画像中の各画素に関する奥行き情報を取得するためだけに使用される。従って、基準画像から最も遠い視点画像は、右眼用画像を基準画像とした場合においても左眼用画像と同じものにはならず、基準画像から奥行き情報に基づいて生成される。
（ステップ５）
　視点画像生成部８が、ｍ個の視点画像を表すｍ個の視点画像フレームを、表示制御装置３００の画像メモリー９に格納する。それにより、表示制御装置３００が、画像表示パネル１００の複数の立体画素において、ｍ個の視点画像フレームによって表されるｍ個の視点画像をｍ個のピクセルにそれぞれ表示させる。画像メモリー９は、表示画面の全部のサブピクセルについて、その発色の強度を指定する画素値を記憶することができる。表示制御装置３００は、画像メモリー９に格納されている画素値に従って、画像表示パネル１００のサブピクセルを発色させる。
　画像メモリー９において、ｍ個の視点画像フレームは、１画面分の記憶領域に格納される。画像表示パネル１００の各々の立体画素は、ｍ個の視点画像中で同じ位置にある画素画像をほぼ同時に表示する。ただし、立体画素が画像表示パネル１００の３～６ラインに亘って配置される場合に、３～６ラインを走査するための時間差は生じる。表示制御装置３００は、画像表示パネル１００の複数の立体画素において、ｍ個の視点画像をｍ個のピクセルに割り当てて表示させる。各々のピクセル中の複数のサブピクセルは、それぞれ多段階で指定された強度の原色で発色し、３原色が光重心位置において混色して見えるので、指定された色を表示することができる。
　このように、本実施形態に係る立体画像表示装置においては、画像表示パネル１００に表示される１画面の画像がｍ個の視点画像で構成され、ｍ個の視点画像は、画像表示パネル１００の立体画素を構成するｍ種類のピクセルによってそれぞれ表示される。立体画素中の各々のピクセルは、例えば、斜め垂直方向に並んだ３個のサブピクセルからなり、ｍ個のピクセルは、例えば、水平方向に整列している。ｍ個のピクセルを各々が含む複数の立体画素がｍ個の視点画像を水平方向に展開して表示することにより、固視微動によって観察者に立体感や奥行き感を知覚させる。
　図１０は、視点が６個の場合における視点画像とピクセルとの関係を説明するための概念図である。図１０には、ある水平面で切った対象物の断面と視点画像の画素との位置関係が示されている。２つのカメラで撮影された対象物の画像は、奥行きに応じてずれを生じる。このずれの大きさを水平方向に取って視差Ｐとし、この間に水平方向に並んだＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの６個の視点画像が示されている。
　６個の視点画像は１画面に表示されるので、画像メモリー９における１画面分の記憶領域には、対応する位置に投影されるべき６個の視点画像の画素情報が格納される。各々の立体画素中に水平方向に並んだ６個のピクセルは、対象物の視点画像Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに対応して画面上の視点画像ａ、ｂ、ｃ、ｄ、ｅ、ｆを表示する。これらの視点画像は、固視微動によって生成される複数の視点に対応するものである。
　それにより、画像表示パネル１００は、自然界で対象物から全方位に放射される光線の内から適切なｍ個をサンプリングして光線再生した対象物の像を表示する。ここで、サンプリングとは、全方向から放出される光線を畳み込み（コンボルージョン）原理を用いて表示パネルの精細度に合わせて圧縮することをいう。観察者の眼には、ｍ個の視点画像に係る複数の光線が同時に入射するので、自然界で感知するものと同等の自然な立体感が形成される。
　なお、人の眼が注視する点に対する視野角は１～２度程度とされており、これより大きく広がる範囲においては画像すら知覚できないので（トロクスラー効果）、視点画像の広がりを１～２度程度の範囲内に収めることが好ましい。すなわち、図１０における視差Ｐを、観察者の位置からの視野角１～２度程度の範囲内に収めることが好ましい。実際の画像において視差Ｐが大きすぎる場合には、適当な重み付け関数を用いて視差マトリックスの要素値を重み付けすることにより視差の値を調整することができる。
　そのために、重み付け関数発生部１０は、視差マトリックスの要素値に対して加減算、乗除算、又は、適宜な関数の作用などを施して、２台のカメラの輻輳角を調整したり、視点画像の視差を調整したり、被写体の奥行き感を調整したりすることができる。例えば、要素値に正数を加算すると、視差が大きくなって立体感を強調することができる。これは、撮影条件を調整して、カメラの光軸をより傾け、輻輳位置を近づけたことと同じ効果を奏する。また、要素値に適宜な値を乗除することにより、画像全体の奥行き感を伸張したり圧縮したりすることができる。
　さらに、飛びぬけて大きい視差や小さい視差の存在が、出力頻度の高い中間値を持つ視差における立体感を過度に抑制することがないように、ガンマ特性やＳ字トーンカーブを活用したフィルターなどを用いて、画像の奥行きに対応して輻輳角を調整することもできる。また、注目部分の立体感を強調する一方、近い部分と遠い部分との立体感を抑制するなどの機能を重み付け関数発生部１０に持たせることができる。また、周囲の状況と相容れない極大値や極小値を検出した場合に、これらを異常値として除去することも可能である。変位量の偏差値σ、２σ、又は、３σから外れる変位を非線形的に圧縮したり、視差量を０とおいて無視したりすることもできる。
　図１１は、本発明の一実施形態に係る立体画像表示装置の作用を説明するための概念図である。図１１には、外界の対象物（被写体）を撮像する撮像装置の撮像光学系及び撮像面と、撮像装置によって得られた画像を表示する表示装置の光線再生表示スクリーンとが示されている。
　光線再生表示スクリーンには、設定された視点数ｍ個だけサンプリングして得られた視点画像が表示され、光線再生表示スクリーンの立体画素からは、前方に光線が放射される。このとき、観察者の眼には１か所から放射されるｍ個の視点画像に係る複数の光線が同時に入射するので、固視微動による画像変化認識と相俟って、サンプリングによる光線再生法に基づく、より自然な立体感や奥行き感を感知することができる。それらの光線は、別アングルの視線によっても捉えることができる。
　図１２及び図１３は、固視微動による立体知覚の発生メカニズムを説明するための概念図である。図１２及び図１３には、光線再生方式で画像がサンプリングされて画像表示パネルに表示された状況が示されているが、この状況は、自然光における知覚メカニズムを模擬するものとなっている。
　図１２は、立体画素中に６個のピクセルを設けた場合を例示している。１個の立体画素には視点Ａから視点Ｆまでの画像に対応する６個のピクセル（視点ピクセル）が並んでおり、立体画素の集合によって６個の視点画像を表示する。図１２においては、各画像のつながりを見やすく示すために、立体画素中のピクセルを垂直方向にずらして描いているが、表示面においてはピクセルがほぼ水平方向に並んでいてもよい。
　このような状況において、固視微動により、網膜上に映り込む画像が、視線が微動した分だけ左右に幾何学的に移動する。図１２の下側に示すように、網膜像は、基準とするステージ１の受像ピクセル（ａ１、ｂ１、ｃ１、ｄ１、ｅ１、ｆ１）に対して、例えば、±０．０５度微動して、ステージ２の左眼受像ピクセル（ｂ１、ｃ１、ｄ１、ｅ１、ｆ１、ａ２）、及び、右眼受像ピクセル（ｆ０、ａ１、ｂ１、ｃ１、ｄ１、ｅ１）のように変化する。なお、左眼と右眼とでは、画像のずれる方向が反対になる。
　図１３は、左眼と右眼の画像のずれから微動分に相当する奥行き知覚が発生する機構を説明するための概念図である。
　ヒトの視神経は、脳の中で半交叉しており、右眼の網膜の鼻側の神経は交叉して左脳の一次視覚野につながり、左眼の網膜の耳側の神経は交叉しないで左脳の一次視覚野につながり、右眼の網膜の耳側の神経は交叉しないで右脳の一次視覚野につながり、左眼の網膜の鼻側の神経は交叉して右脳の一次視覚野につながっている。従って、視野の右半分の像は左脳で、視野の左半分の像は右脳で処理される。
　それにより、ステージ２における左眼の画像と右眼の画像とのずれが検出され、そのずれ量に基づいて奥行き知覚が生じる。図１３では、例えば、右脳で知覚されるｂ１の画像のずれと、左脳で知覚されるｅ１の画像のずれとによって、立体知覚を得ることになる。このずれは、注視点視野内で発生する固視微動で引き起こされる輻輳微動であり、対象物が遠い場合には小さくずれ、対象物が近い場合には大きくずれる運動視差となり、小さい注視点視野における立体知覚が得られる。
　例えば、１０ｍ先の対象物を自然視する場合に、視野角１．６度で直径２８ｃｍの範囲を見ることができ、固視微動による視点移動距離は１．７８ｃｍであり、奥行き移動距離は約３ｍとなる。また、３ｍ先の対象物を自然視する場合には、同じ視野角で直径８．４ｃｍの範囲を見ることができ、固視微動による視点移動距離は０．５２ｃｍであり、奥行き移動距離は約２６ｃｍとなる。これをピクセルに換算して移動速度に変換すると、運動視差が求められる。なお、固視微動の速度は約１０度／秒とされている。ヒトの脳は、入力する情報に変化がないときは無視して、情報が変化したことをトリガーとして情報処理を開始するので、固視微動に伴って出入りする各視点画像の構成要素の変化を捉えて立体感や奥行き感を知覚する。
　本実施形態に係る立体画像表示装置は、自然視における固視微動により発生する注視対象物の移動を画像表示パネル上に具現化するものであり、水平方向に複数（少なくとも３個）の視点画像を等間隔で並べることによって実現される。なお、左右眼用画像を両端の視点画像に振り分けただけでは、自然視のシミュレーションにはならない。
　レンチキラー方式やパララックスバリヤー方式（光線の放出制御）などの二眼式では、左右眼用画像を左右の眼に振り分けて表示することにより得られる輻輳角によって立体視を実現する。しかし、従来から知られている裸眼式の立体画像表示装置は、光の方向に力点が置かれているので、光線再生による立体知覚がうまくできないという欠点を有している。
　一方、本実施形態に係る立体画像表示装置は、二眼式とは異なる手法を用いて立体感や奥行き感を実現するものであり、二眼式に比べて立体感が弱いものの、自然視に近いという特徴を有している。本実施形態における光線再生は、自然視を十分に模擬できており、例えば、固視微動によって発生する視点の変化は立体画素の３～５個分であって、この変化は、対象物における視点移動距離に換算して０．５２～１．７８ｃｍ程度に相当し、この変化内に光を畳み込んでいる。
　本実施形態に係る立体画像表示装置は、左右どちらかの画像フレームにおいて視点を定め、複数の視点画像を生成する。その際に、画像中の各点から放射される多数の光線を視野角１～２度の範囲内に収めることによって光線再生法が作用するので、観察位置による制約が緩く、観察者の顔位置が変化した場合でも、また、複数の観察者が同時に立体画像を観察する場合でも、自然な立体視が可能である。
　本発明は、立体画像表示装置、特に、光線再生方式を用いた裸眼式の立体画像表示装置において利用することが可能である。
　１…分配部、２、３…フレームメモリー、４、５…列総和算定部、６…列総和比較部、７…視差マトリックス生成部、８…視点画像生成部、９…画像メモリー、１０…重み付け関数発生部、１１…画像信号変換部、１２…フレーム選択部、１００…画像表示パネル、２００…画像処理装置、３００…表示制御装置

Claims (10)

  1. 　ｍ個（ｍは３以上の整数）のピクセルを各々が含む複数の立体画素を水平方向及び垂直方向に並べて構成される画像表示パネルと、
    　画像信号の右眼用画像フレーム及び左眼用画像フレームから画素ごとの奥行き情報を求め、奥行き情報に基づいて、画素画像を水平方向に展開して表示するためのｍ個の視点画像フレームを生成する画像処理装置と、
    　前記画像表示パネルの複数の立体画素において、前記ｍ個の視点画像フレームによって表されるｍ個の視点画像を前記ｍ個のピクセルにそれぞれ表示させる表示制御装置と、
    を備える立体画像表示装置。
  2. 　前記画像表示パネルの各々の立体画素において、前記ｍ個のピクセルは、光重心が水平方向に並ぶように配置されている、請求項１に記載の立体画像表示装置。
  3. 　前記ｍ個のピクセルの各々は、光の３原色を表示する複数のサブピクセルを含む、請求項１に記載の立体画像表示装置。
  4. 　前記複数のサブピクセルは、前記画像表示パネルにおいて隣り合う複数のラインに配置されている、請求項３に記載の立体画像表示装置。
  5. 　前記複数のサブピクセルは、前記画像表示パネルにおいて１ラインおきに複数のラインに配置されている、請求項３に記載の立体画像表示装置。
  6. 　前記画像表示パネルにおいて、同じ色を表示する複数のサブピクセルが垂直方向に並ぶように配置されている、請求項３に記載の立体画像表示装置。
  7. 　前記画像表示パネルにおいて、同じ色を表示する複数のサブピクセルが水平方向に並ぶように配置されている、請求項３に記載の立体画像表示装置。
  8. 　前記画像処理装置は、前記右眼用画像フレーム及び前記左眼用画像フレームを格納し、各フレームの画素値を列ごとに垂直方向に積算して列総和を求め、列総和を両フレーム間で比較することによって両フレームの画像中の重複領域を特定し、両フレームの画像の位置関係を調整した後に、両フレームにおいて対応する画素画像の位置のずれに基づいて画素ごとの奥行き情報を求め、重み付けされた奥行き情報に基づいて一方のフレーム中の画素画像を水平方向に移動させることにより、前記一方のフレームを含めてｍ個の視点画像フレームを生成する、請求項１～７のいずれか１項に記載の立体画像表示装置。
  9. 　前記画像処理装置は、２次元画像信号のフレーム列から、基準フレームと該基準フレームに対して所定数のフレーム差を有する参照フレームとを選択し、前記基準フレーム及び前記参照フレームに基づいて、前記右眼用画像フレーム及び前記左眼用画像フレームを有する画像信号を生成する、請求項１～７のいずれか１項に記載の立体画像表示装置。
  10. 　前記表示制御装置は、前記画像表示パネルの複数の立体画素において、前記ｍ個の視点画像を前記ｍ個のピクセルに割り当てて表示させる、請求項１～７のいずれか１項に記載の立体画像表示装置。
PCT/JP2018/026488 2017-07-20 2018-07-13 立体画像表示装置 WO2019017290A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019531009A JPWO2019017290A1 (ja) 2017-07-20 2018-07-13 立体画像表示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017140480 2017-07-20
JP2017-140480 2017-07-20

Publications (1)

Publication Number Publication Date
WO2019017290A1 true WO2019017290A1 (ja) 2019-01-24

Family

ID=65015181

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026488 WO2019017290A1 (ja) 2017-07-20 2018-07-13 立体画像表示装置

Country Status (2)

Country Link
JP (1) JPWO2019017290A1 (ja)
WO (1) WO2019017290A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918052A (zh) * 2020-08-14 2020-11-10 广东申义实业投资有限公司 竖直旋转式控制装置及平面图片转3d图像处理方法
WO2022039208A1 (ja) * 2020-08-20 2022-02-24 凸版印刷株式会社 回折シートおよび製造方法、並びに３次元表示装置、光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム
CN117097879A (zh) * 2023-08-28 2023-11-21 山东天竞电子科技有限公司 一种像素化的裸眼3d显示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005093494A1 (ja) * 2004-03-26 2005-10-06 Japan Science And Technology Agency 三次元ディスプレイ
WO2011052389A1 (ja) * 2009-10-30 2011-05-05 富士フイルム株式会社 画像処理装置及び画像処理方法
JP2012134655A (ja) * 2010-12-20 2012-07-12 Toshiba Corp 画像処理装置、画像処理方法および画像表示装置
JP2013045087A (ja) * 2011-08-26 2013-03-04 Toshiba Corp ３次元映像表示装置
JP2013141234A (ja) * 2012-01-05 2013-07-18 Samsung Display Co Ltd ３次元画像表示装置
JP2015122669A (ja) * 2013-12-24 2015-07-02 キヤノン株式会社 画像処理装置、その制御方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005093494A1 (ja) * 2004-03-26 2005-10-06 Japan Science And Technology Agency 三次元ディスプレイ
WO2011052389A1 (ja) * 2009-10-30 2011-05-05 富士フイルム株式会社 画像処理装置及び画像処理方法
JP2012134655A (ja) * 2010-12-20 2012-07-12 Toshiba Corp 画像処理装置、画像処理方法および画像表示装置
JP2013045087A (ja) * 2011-08-26 2013-03-04 Toshiba Corp ３次元映像表示装置
JP2013141234A (ja) * 2012-01-05 2013-07-18 Samsung Display Co Ltd ３次元画像表示装置
JP2015122669A (ja) * 2013-12-24 2015-07-02 キヤノン株式会社 画像処理装置、その制御方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918052A (zh) * 2020-08-14 2020-11-10 广东申义实业投资有限公司 竖直旋转式控制装置及平面图片转3d图像处理方法
WO2022039208A1 (ja) * 2020-08-20 2022-02-24 凸版印刷株式会社 回折シートおよび製造方法、並びに３次元表示装置、光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム
CN117097879A (zh) * 2023-08-28 2023-11-21 山东天竞电子科技有限公司 一种像素化的裸眼3d显示方法
CN117097879B (zh) * 2023-08-28 2024-03-12 山东天竞电子科技有限公司 一种像素化的裸眼3d显示方法

Also Published As

Publication number Publication date
JPWO2019017290A1 (ja) 2020-08-27

Similar Documents

Publication Publication Date Title
Banks et al. 3D Displays
US11785197B2 (en) Viewer-adjusted stereoscopic image display
WO2019017290A1 (ja) 立体画像表示装置
JPH11508058A (ja) 自動実体鏡像を得る方法及びシステム
JP2002223458A (ja) 立体映像作成装置
IJsselsteijn et al. Human factors of 3D displays
KR102070800B1 (ko) 입체 디스플레이 장치 및 그 디스플레이 방법
Honda et al. Three-dimensional display technologies satisfying" super multiview condition"
JP7335233B2 (ja) ２つのビューポイントのオートステレオスコピックイメージをｎビューポイントのオートステレオスコピックディスプレイスクリーンに表示するためのシステム及び方法並びにそのようなディスプレイスクリーン上の表示を制御する方法
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
Pastoor 3D Displays
JP6207640B2 (ja) ２次元映像の立体映像化表示装置
JPH11155154A (ja) 立体映像処理装置
US20140268324A1 (en) Method of displaying 3d images from 2d source images using a barrier grid
JP2005175539A (ja) 立体映像表示装置及び映像表示方法
KR100906784B1 (ko) 입체영상 제작 프로그램용 플러그인 모듈 및 입체영상 제작방법
Watanabe et al. 68‐3: A Super‐Multiview Display with Horizontal and Vertical Parallax by Time Division and Color Multiplexing
Emoto et al. Analysis of retinal images for retinal projection type super multi-view 3D head-mounted display
Kovacs et al. 3D display technologies and effects on the human vision system
KR101093929B1 (ko) 깊이 지도를 이용하여 3차원 영상을 표시하는 방법 및 시스템
Takatsuka et al. Retinal projection type 3D head-mounted display using an HOE lens array
JP2021064834A (ja) 立体画像表示システム
Watt et al. 3D media and the human visual system
KR101239316B1 (ko) 인터렉티브한 3차원 디스플레이 시스템
Sawahata et al. Depth-compressed expression for providing natural, visual experiences with integral 3D displays

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18834669

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019531009

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18834669

Country of ref document: EP

Kind code of ref document: A1