WO2013105562A1 - 画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置 Download PDF

Info

Publication number
WO2013105562A1
WO2013105562A1 PCT/JP2013/050146 JP2013050146W WO2013105562A1 WO 2013105562 A1 WO2013105562 A1 WO 2013105562A1 JP 2013050146 W JP2013050146 W JP 2013050146W WO 2013105562 A1 WO2013105562 A1 WO 2013105562A1
Authority
WO
WIPO (PCT)
Prior art keywords
interpolation
image
pixel
depth
value
Prior art date
Application number
PCT/JP2013/050146
Other languages
English (en)
French (fr)
Inventor
圭祐 大森
徳井　圭
奈保 澁久
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US14/371,011 priority Critical patent/US10506177B2/en
Publication of WO2013105562A1 publication Critical patent/WO2013105562A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an image processing device, an image processing method, an image processing program, an imaging device, and an image display device.
  • the enlargement process is to increase the interval between pixels (hereinafter referred to as original pixels) included in the original image and generate new pixels between the original pixels.
  • a signal value related to a new pixel may be obtained by interpolating (also referred to as interpolation or interpolation) the signal value related to the surrounding original pixel.
  • interpolation or interpolation the signal value related to the surrounding original pixel.
  • Non-Patent Document 1 as an example of enlargement processing, nearest neighbor interpolation (also called nearest neighbor method, nearest neighbor method), bilinear interpolation (bi-linear interpolation, bilinear method, linear interpolation) And bicubic interpolation (bi-cubic interpolation, bicubic interpolation, cubic convolution interpolation).
  • the closest interpolation method is a process of determining a signal value related to an original pixel closest to a newly generated pixel (hereinafter referred to as an interpolation pixel) as a signal value related to the interpolation pixel.
  • the bilinear interpolation method is a process for determining a weighted average value of signal values related to four original pixels around an interpolation pixel as a signal value related to the interpolation pixel.
  • the bicubic interpolation method is a process for determining a signal value related to an interpolation pixel using a cubic equation applied to signal values related to 16 original pixels around the interpolation pixel.
  • a position error corresponding to the pixel pitch (inter-pixel spacing) of the original image is generated, so that the image quality may be deteriorated.
  • the direction of the boundary (edge) where the signal value changes abruptly in the original image is an oblique direction away from the horizontal direction or the vertical direction, an image (jaggy) where the edge appears in a staircase pattern (jaggy) May be generated.
  • the image quality may deteriorate. For example, an image with unclear edges (blurring) may be generated.
  • bicubic interpolation method an image having a lower degree of image quality degradation than the closest interpolation method or bilinear interpolation method may be generated.
  • the bicubic interpolation method there is a problem that the reference range of the original pixel for calculating the signal value related to one interpolation pixel is wide and the calculation amount is large.
  • the present invention has been made in view of the above points, and an image processing apparatus, an image processing method, an image processing program, and an imaging method that alleviate deterioration in image quality while suppressing an increase in calculation amount when performing image enlargement processing.
  • An apparatus and an image display device are provided.
  • a first technical means of the present invention includes a planar image signal including a signal value of a pixel arranged on a plane, and the pixel.
  • An image input unit that inputs depth information including a corresponding depth value and a signal value of interpolation coordinates between pixels on the plane are calculated by interpolating signal values of neighboring pixels within a predetermined range from the interpolation coordinates.
  • An image processing unit comprising: an interpolation unit configured to perform interpolation; a depth value of a reference pixel closest to the interpolation coordinates; and a weight determination unit that determines a weighting factor used for the interpolation based on a depth value of the neighboring pixel.
  • a second technical means of the present invention is the image processing device according to the first technical means, wherein the weight determining unit includes a distance in a depth direction represented by a depth value of the reference pixel and the neighboring pixels.
  • the weighting factor is determined based on a difference from a distance in the depth direction represented by the depth value.
  • a third technical means of the present invention is the image processing apparatus according to the first technical means,
  • the weight determination unit is based on a difference in distance between the position of the reference pixel on the planar image and the three-dimensional position represented by the depth value and the position of the neighboring pixel on the planar image and the three-dimensional position represented by the depth value.
  • the weight coefficient is determined.
  • a fourth technical means of the present invention is the image processing device according to the second technical means, wherein the weight determining unit is based on a distance on the plane from the reference pixel to the interpolation coordinates. The weight coefficient is determined.
  • a fifth technical means of the present invention is the image processing apparatus according to the first technical means, wherein the depth value of the interpolation coordinates is calculated by interpolating the depth value of the neighboring pixels.
  • a weight determining unit that determines a weighting coefficient used for the interpolation based on a difference between a depth value of the interpolation coordinates and a depth value of the neighboring pixels. .
  • a sixth technical means of the present invention is the image processing apparatus according to the fifth technical means, wherein the weight determining unit includes other values included in the depth value of the interpolated coordinates and the region of the neighboring pixels.
  • a weighting factor used for the interpolation is determined based on a difference in depth value of the interpolation coordinates.
  • a seventh technical means of the present invention is an image processing method in an image processing apparatus, wherein the image processing apparatus includes a planar image signal including signal values of pixels arranged on a plane, and the pixels A process of inputting depth information including a corresponding depth value, and a process of calculating a signal value of an interpolated coordinate between pixels on the plane by interpolating a signal value of a neighboring pixel within a predetermined range from the interpolated coordinate And a step of determining a weighting factor used for the interpolation based on the depth value of the reference pixel closest to the interpolation coordinates and the depth value of the neighboring pixels.
  • a plane image signal including a signal value of a pixel arranged on a plane and depth information including a depth value corresponding to the pixel are input to the computer of the image processing apparatus.
  • An image processing program for executing a procedure for determining a weighting coefficient used for the interpolation based on a depth value and a depth value of the neighboring pixels.
  • a ninth technical means of the present invention includes a plurality of imaging units that capture images from different viewpoints, and pixels that are included in images captured by the plurality of imaging units, and are arranged on a plane.
  • a depth information generation unit that generates depth information including a depth value corresponding to a pixel based on the signal value of the pixel, and a signal value of an interpolation coordinate between the pixels on the plane within a predetermined range from the interpolation coordinate
  • An interpolation unit that interpolates and calculates signal values of neighboring pixels, a depth value of a reference pixel closest to the interpolated coordinates, and a weight determination that determines a weighting factor used for the interpolation based on a depth value of the neighboring pixel And an imaging device.
  • the tenth technical means of the present invention includes a plane image signal including a signal value of a pixel arranged on a plane, an image input unit for inputting depth information including a depth value corresponding to the pixel, An interpolation unit that calculates a signal value of an interpolated coordinate between pixels on a plane by interpolating a signal value of a neighboring pixel within a predetermined range from the interpolated coordinate, and a depth value of a reference pixel closest to the interpolated coordinate A weight determining unit that determines a weighting coefficient used for the interpolation based on a depth value of the neighboring pixels, and a display unit that displays an image represented by the interpolation plane image signal including the signal value of the interpolation coordinate.
  • the image display device is characterized.
  • FIG. 1 is a schematic diagram illustrating a configuration of an image processing apparatus according to a first embodiment of the present invention. It is a figure which shows an example of a plane image. It is a figure which shows an example of a depth image. It is a flowchart showing the image processing which concerns on this embodiment. It is a figure showing an example of an image block. It is another figure showing an example of an image block. It is an enlarged view showing an example of a depth block. It is a figure showing an example of a depth block and an interpolation coordinate. It is a conceptual diagram showing an example of the relationship between a depth value and a depth coordinate. It is a figure showing an example of an interpolation picture block. It is a figure showing the other example of an interpolation image block.
  • FIG. 1 is a schematic diagram illustrating a configuration of an image processing apparatus 10 according to the present embodiment.
  • the image processing apparatus 10 includes a plane image input unit 101, a depth information input unit 102, an input plane image storage unit 103, an input depth information storage unit 104, a weight determination unit 105, a parameter storage unit 106, a plane image interpolation unit 107, and depth information.
  • An interpolation unit 108, an interpolation plane image storage unit 109, an interpolation depth information storage unit 110, a plane image output unit 111, and a depth information output unit 112 are configured.
  • a planar image signal is input to the planar image input unit 101 for each frame from the outside of the image processing apparatus 10.
  • the planar image signal is a signal value representing the color and lightness and darkness of the subject included in the subject space, and is an image signal composed of signal values for each pixel arranged on the two-dimensional plane.
  • the planar image signal is an image signal having a signal value representing a color space for each pixel, for example, an RGB signal.
  • the RGB signal includes an R signal representing a red component value, a G signal representing a green component value, and a B signal representing a blue component value as signal values.
  • the planar image input unit 101 stores the input planar image signal in the input planar image storage unit 103.
  • FIG. 2 is a diagram illustrating an example of a planar image.
  • the planar image I21 is an image representing the sun I-S1, the mountains I-M1, and the person I-P1 as subjects.
  • a square area shown on the left side of the person I-P1 is an image block I22.
  • the image block I22 is a partial area of the planar image I21 and is an image composed of a plurality of pixels.
  • the depth information input unit 102 receives depth information for each frame from the outside of the image processing apparatus 10.
  • the depth information is a depth value (may be referred to as “depth value”, “depth value”, or “depth”) that represents the distance from the viewpoint (for example, the installation position of the imaging device) to the subject surface included in the subject space. It is information including.
  • the depth value corresponds to each pixel of a plurality of pixels arranged on a two-dimensional plane in the planar image, and corresponds to a signal value included in the planar image signal.
  • the depth value is not limited to the distance itself, but may be a variable representing the distance, for example, a parallax value.
  • the depth information is, for example, a depth map (sometimes referred to as “depth image”).
  • the depth information input unit 102 stores the input depth information in the input depth information storage unit 104.
  • the depth image is an image representing the luminance corresponding to the depth value for each pixel.
  • FIG. 3 is a diagram illustrating an example I31 of the depth image.
  • the depth image I31 is an image representing the distance to the subject represented by the planar image I21.
  • an area representing the person IP2 is shown in a brighter color than the other areas. That is, the depth image I31 indicates that the person IP2 has a shorter distance from the viewpoint than other subjects.
  • a square area shown on the left side of the person I-P2 is a depth block I32.
  • the area occupied by the depth block I32 is the same as the area occupied by the image block I22 of FIG.
  • the weight determination unit 105 reads a plane image signal from the input plane image storage unit 103 and reads depth information from the input depth information storage unit 104.
  • the weight determination unit 105 reads out a parameter (hereinafter referred to as “interpolation parameter”) used for interpolation processing described later from the parameter storage unit 106.
  • the weight determination unit 105 determines a weighting coefficient used for interpolating a signal value included in the read planar image signal using the read interpolation parameter.
  • the weight determination unit 105 performs weighting based on a depth value corresponding to each pixel (hereinafter referred to as a neighboring pixel) within a predetermined range from the interpolation pixel and a distance between the interpolation pixel and each neighboring pixel. Determine the coefficient.
  • An interpolation pixel is a pixel newly generated between a plurality of pixels. The process for determining the weighting coefficient will be described later.
  • the weight determination unit 105 outputs the determined weight coefficient to the planar image interpolation unit 107.
  • the parameter storage unit 106 stores interpolation parameters in advance.
  • the interpolation parameters include, for example, interpolation magnification, interpolation coordinates, frame size (the number of pixels in the horizontal direction and the number of pixels in the vertical direction included in one frame of the plane image signal or depth information), and the like.
  • the interpolation magnification is a ratio of the size of the interpolated plane image signal (interpolated plane image signal) related to a certain display area to the size of the input plane image signal (input plane image signal) related to the display area.
  • the size is the number of pixels in the horizontal direction (width) or the number of pixels in the vertical direction (width) in the display area. That is, the interpolation magnification is the ratio of the resolution of the interpolation plane image to the resolution of the input plane image.
  • Interpolated coordinates are coordinates that represent the position of the center point of the area occupied by the interpolated pixels.
  • the planar image interpolation unit 107 reads a planar image signal from the input planar image storage unit 103 and reads an interpolation parameter from the parameter storage unit 106. Further, the planar image interpolation unit 107 reads the weight coefficient from the weight determination unit 105. The planar image interpolation unit 107 receives the signal values of each neighboring pixel included in the read planar image signal, interpolates using a weighting factor, and calculates a signal value for the interpolation coordinates. The process for calculating the signal value for the interpolated coordinates will be described later. The plane image interpolation unit 107 stores the calculated signal value in the interpolation plane image storage unit 109 in association with the interpolation coordinates. Accordingly, the interpolation plane image storage unit 109 stores an interpolation plane image signal including a signal value for each interpolation coordinate.
  • the depth information interpolation unit 108 reads depth information from the input depth information storage unit 104 and reads interpolation parameters from the parameter storage unit 106.
  • the depth information interpolation unit 108 interpolates the depth value of each neighboring pixel included in the read depth information using the read interpolation parameter, and calculates a depth value with respect to the interpolation coordinates.
  • the depth information interpolation unit 108 can use a method such as nearest neighbor interpolation, bilinear interpolation, bicubic interpolation, or the like.
  • the depth information interpolation unit 108 stores the calculated depth value in the interpolation depth information storage unit 110 in association with the interpolation coordinates. Thereby, the interpolation depth information storage unit 110 stores the interpolation depth information including the depth value for each interpolation coordinate.
  • the plane image output unit 111 reads out the interpolation plane image signal from the interpolation plane image storage unit 109 and outputs the read out interpolation plane image signal to the outside of the image processing apparatus 10 for each frame.
  • the depth information output unit 112 reads the interpolation depth information from the interpolation depth information storage unit 110 and outputs the read interpolation depth information to the outside of the image processing apparatus 10 for each frame.
  • FIG. 4 is a flowchart showing image processing according to the present embodiment.
  • the image processing apparatus 10 initializes coefficients required for processing.
  • the weight determination unit 105, the planar image interpolation unit 107, and the depth information interpolation unit 108 read out interpolation parameters from the parameter storage unit 106.
  • the image processing apparatus 10 determines the initial interpolation coordinates in each frame as, for example, the interpolation coordinates that are closest to the origin of each frame.
  • the origin of the frame is the uppermost row and the leftmost coordinate of the frame. Thereafter, the process proceeds to step S102.
  • Step S ⁇ b> 102 A planar image signal is input to the planar image input unit 101 for each frame from the outside of the image processing apparatus 10.
  • the planar image input unit 101 stores the input planar image signal in the input planar image storage unit 103. Thereafter, the process proceeds to step S103.
  • Step S103 Depth information is input to the depth information input unit 102 for each frame from the outside of the image processing apparatus 10.
  • the depth information input unit 102 stores the input depth information in the input depth information storage unit 104. Thereafter, the process proceeds to step S104.
  • Step S ⁇ b> 1044 The weight determination unit 105 reads a plane image signal from the input plane image storage unit 103 and reads depth information from the input depth information storage unit 104. The weight determination unit 105 determines a weight coefficient for interpolating the signal value included in the read planar image signal using the interpolation parameter. The weight determination unit 105 outputs the determined weight coefficient to the planar image interpolation unit 107. Thereafter, the process proceeds to step S105.
  • Step S ⁇ b> 105) The planar image interpolation unit 107 reads a planar image signal from the input planar image storage unit 103.
  • the weight coefficient is input from the weight determination unit 105 to the planar image interpolation unit 107.
  • the planar image interpolation unit 107 interpolates the signal values of the neighboring pixels included in the read planar image signal using the input weighting coefficient, and calculates the signal value at the interpolation coordinates.
  • the plane image interpolation unit 107 stores the calculated signal value in the interpolation plane image storage unit 109 in association with the interpolation coordinates. Thereafter, the process proceeds to step S106.
  • Step S106 The depth information interpolation unit 108 reads the depth information from the input depth information storage unit 104.
  • the depth information interpolation unit 108 interpolates the depth value of each neighboring pixel included in the read depth information using the interpolation parameter, and calculates the depth value at the interpolation coordinates.
  • the depth information interpolation unit 108 stores the calculated depth value in the interpolation depth information storage unit 110 in association with the interpolation coordinates. Thereafter, the process proceeds to step S107.
  • Step S107 The image processing apparatus 10 determines whether or not the processing has been completed for all interpolated coordinates included in each frame. If it is determined that the process has been completed (Y in step S107), the process proceeds to step S109. If it is determined that the process has not been completed (NO in step S107), the process proceeds to step S108. (Step S108) The image processing apparatus 10 changes the interpolation coordinates to be processed. The order in which the image processing apparatus 10 changes the interpolation coordinates is, for example, raster order.
  • the interpolation coordinates are changed to the coordinates of the adjacent columns sequentially from the left end to the right side for each row, and after the interpolation coordinates reach the right end, the interpolation coordinates are changed to the left end of the next row. Thereafter, the process proceeds to step S104.
  • Step S109 The plane image output unit 111 reads an interpolation plane image signal from the interpolation plane image storage unit 109, and outputs the read interpolation plane image signal to the outside of the image processing apparatus 10 for each frame. Then, it progresses to step S110.
  • Step S110 The depth information output unit 112 reads the interpolation depth information from the interpolation depth information storage unit 110, and outputs the read interpolation depth information to the outside of the image processing apparatus 10 for each frame. Thereafter, the process ends.
  • Neighboring pixels are pixels to be interpolated among pixels in the input image signal.
  • a pixel that occupies a region including the interpolation coordinates is particularly referred to as a reference pixel.
  • Interpolated coordinates p i (xy ) on the plane (xy plane) are expressed by, for example, Expression (1).
  • i X is an index in the horizontal direction (x direction) of the reference pixel.
  • k is an index in the horizontal direction of the interpolation coordinates. k is independently determined for each reference pixel, and is 0 at a point representing a reference pixel adjacent in the horizontal direction from the reference pixel. k is an integer larger than -N or -N and smaller than N.
  • N is an integer value representing a predetermined interpolation magnification, that is, the number of interpolated pixels between reference pixels.
  • i Y is an index in the vertical direction (y direction) of the reference pixel.
  • l is the horizontal index of the interpolation coordinates.
  • l is independently determined for each reference pixel and becomes 0 at a point representing a reference pixel adjacent in the horizontal direction from the reference pixel.
  • k is an integer larger than -N or -N and smaller than N.
  • the interpolation coordinates p i (xy) are normalized so that the inter-pixel distance (pixel pitch) between the reference pixels is 1.
  • FIG. 5 is a diagram illustrating an example I22 of an image block.
  • FIG. 5 represents an image block I22 (see FIG. 2).
  • rectangles whose four sides, upper, lower, left, and right are indicated by solid lines represent areas occupied by pixels corresponding to signal values included in the input image signal.
  • this pixel is particularly called an original pixel.
  • the image block I22 includes 25 original pixels (5 in the horizontal direction ⁇ 5 in the vertical direction).
  • a rectangle in which one of the four sides of the top, bottom, left, and right is indicated by a solid line and the remaining side is indicated by a broken line represents an interpolation pixel.
  • An interpolation pixel is a pixel having interpolation coordinates as center coordinates.
  • one original pixel includes four interpolation pixels (2 in the horizontal direction ⁇ 2 in the vertical direction).
  • a region filled with diagonal lines from the lower left to the upper right represents the interpolation pixel I55.
  • the symbol x shown at the center of the interpolation pixel I55 is the interpolation coordinate of the interpolation pixel I55.
  • a region obtained by combining the interpolation pixel I55 and a region filled with diagonal lines from the upper left to the lower right represents the reference pixel I51.
  • the symbol + shown at the center of the reference pixel I51 is the center coordinate of the reference pixel I51.
  • FIG. 6 shows an example of interpolation coordinates and neighboring pixels.
  • FIG. 6 is a diagram illustrating an example I22 of an image block.
  • FIG. 6 represents the image block I22 (see FIG. 2).
  • 25 squares (5 in the horizontal direction ⁇ 5 in the vertical direction) included in the image block I22 each represent an area occupied by the original pixel.
  • the numbers 200 and 100 included in each square indicate a signal value (for example, a signal value of the R signal) corresponding to the pixel.
  • Each rectangle is filled with a brighter color as the signal value increases.
  • the symbol + included in each rectangle represents the center coordinates.
  • the x mark included in the pixel I61 in the second row from the top and the second row from the left represents the interpolation coordinate I65.
  • the pixel I61 is a reference pixel and is one of neighboring pixels.
  • a pixel on the right side of the reference pixel I61 is a neighboring pixel I62.
  • the pixel below the reference pixel I61 is a neighboring pixel I63.
  • the pixel on the lower right side of the reference pixel I64 is a neighboring pixel I64. That is, the pixels whose distance from the interpolation coordinate I65 to the center of the original pixel is shorter than a predetermined distance are determined as the neighboring pixels I61 to I64.
  • a pixel in which the maximum value of the horizontal distance and the vertical distance from the interpolation coordinate I65 to the center of the original pixel is smaller than the pixel pitch of the original image is determined as a neighboring pixel.
  • FIG. 7 shows an example of interpolation coordinates and neighboring pixels in the depth information corresponding to the above-described planar image.
  • FIG. 7 is a diagram illustrating an example I32 of the depth block.
  • FIG. 7 shows the depth block I32 (see FIG. 3).
  • the depth block is information in which a depth value is given for each of a plurality of pixels included in a partial region of the depth image.
  • 25 rectangles (5 horizontal directions ⁇ 5 vertical directions) included in the depth block I32 each represent an area occupied by the original pixel in the depth information.
  • a number such as 0 included in each rectangle indicates a depth value corresponding to the pixel.
  • Each rectangle is filled with a brighter color as the signal value increases.
  • the symbol + included in each rectangle represents the center coordinates.
  • the interpolation coordinate I75 represents the coordinate in the depth information at the same position as the interpolation coordinate I65 (see FIG. 6).
  • the neighboring pixels I71 to I74 represent the same pixels as the neighboring pixels I61
  • the weight determination unit 105 determines a pixel whose center point is at a distance shorter than a predetermined distance (threshold) from the interpolation coordinates as a neighboring pixel. Weight determining unit 105, based on the depth values p i (z) corresponding to the depth value p j (z) and the reference pixel i corresponding to neighboring pixels j, defining the weighting coefficient w j for each neighboring pixel j. The distance threshold and the number of neighboring pixels are included in the interpolation parameter. For example, the weight determination unit 105 can determine the weight coefficient w j using any of the methods described below, but is not limited thereto.
  • the weight determination unit 105 calculates the absolute value ⁇ p j (z ) of the difference between the depth value p j (z) corresponding to the neighboring pixel j and the depth value p i (z) corresponding to the reference pixel i. ) Is larger than a predetermined threshold value (for example, 1), the weight coefficient w j is set to 0.
  • the subscript (z) is a subscript indicating that it relates to a depth value indicating a distance from the viewpoint (coordinate value in the z direction).
  • the absolute difference value ⁇ p j (z) is expressed as
  • the weight determination unit 105 determines the weight coefficient w j as 1 when the difference absolute value ⁇ p j (z) is smaller than or equal to the threshold value.
  • the threshold of the depth value difference is included in the interpolation parameter.
  • the weighting factors for the reference pixel I71 and the neighboring pixels I72, I73, and I74 are defined as 1, 0, 1, and 0, respectively. Thereby, the neighboring pixel j having a small difference in depth value from the reference pixel i is emphasized. On the other hand, a neighboring pixel j having a significant difference in depth value from the reference pixel i is ignored.
  • the weight determination unit 105 calculates the absolute value ⁇ p j (z ) of the difference between the depth value p j (z) corresponding to the neighboring pixel j and the depth value p i (z) corresponding to the reference pixel i. ) Is determined such that the weighting factor w j for each neighboring pixel j is determined so as to decrease continuously as the value increases. For example, the weight determination unit 105 uses Equation (2) to determine the weighting coefficient w j .
  • ⁇ p (z) max is the maximum value of the absolute difference value ⁇ p j (z) related to the interpolation pixel. Therefore, according to the equation (2), the weighting factor w j is 0 for the neighboring pixel j having the maximum value ⁇ p (z) max, and the weighting factor w j is 1 for the reference pixel.
  • the weight determination unit 105 performs interpolation coordinates p i (xy) and neighboring pixels (j X , j Y ) with respect to the weight coefficient determined by the second weight determination method based on the depth value.
  • the weight coefficient w j is determined by performing an operation taking into account the distance ⁇ p j (xy) on the plane between the two.
  • the subscript (xy) indicates that it relates to the distance between pixels on the horizontal (x direction) and vertical (y direction) planes. For example, the weight determination unit 105 uses Equation (3) to determine the weighting coefficient w j .
  • ⁇ p (xy) max is the maximum value of the distance ⁇ p j (xy) on the plane. Therefore, according to Expression (3), the weighting factor w j is 0 for the neighboring pixel j having the maximum value ⁇ p (xy) max, and the weighting factor w j is the maximum for the reference pixel j. In this way, the weighting factor w j is determined so as to be linearly smaller as the distance ⁇ p j (xy) increases.
  • the weight determination unit 105 determines the depth coordinate Z j in the three-dimensional space of the depth value p j (z) corresponding to the neighboring pixel j and the depth value p i (z corresponding to the reference pixel i. determining the weighting coefficient w j based on the distance [Delta] d j (z) between the depth coordinate Z i in the three-dimensional space).
  • the weight determination unit 105 refers to the depth value included in the depth information, and converts the center coordinate j of the neighboring pixel into the depth coordinate Z j using, for example, Equation (4).
  • the depth coordinate Z i is a coordinate with the installation position of the photographing apparatus as the origin and the direction of the optical axis as the depth direction.
  • B represents the base line length, that is, the distance between the two photographing apparatuses.
  • q represents the pixel pitch of the image sensor provided in the photographing apparatus.
  • f represents the focal length of the photographing apparatus. That is, the coordinate value Z j in the depth direction obtained by using the equation (4) is a value obtained by dividing the value obtained by multiplying the focal length by the base line length by the depth value.
  • the weight determination unit 105 uses Equation (5) to determine the weighting coefficient w j .
  • ⁇ d (z) max is the maximum value of the distance ⁇ d j (z) . Therefore, according to the equation (5), the weight coefficient w j is 0 for the neighboring pixel j having the maximum value ⁇ d (z) max, and the weight coefficient w j is 1 for the reference pixel. According to this weight determination method, the pixel pitch q, the focal length f, and the baseline length B are included in the interpolation parameters. As in the third weight determination method, taking into account the distance ⁇ p j (xy) on the plane, the weight coefficient w j is further multiplied by (1 ⁇ p j (xy) / ⁇ p (xy) max ). You may decide.
  • the weight determination unit 105 calculates the three-dimensional position p j (xyz) corresponding to the center coordinate of the reference pixel i and the three-dimensional position p i (xyz) corresponding to the center coordinate of the neighboring coordinate j.
  • the weighting factor w j is determined in consideration of the distance ⁇ d j (xyz) between them.
  • the subscript (xyz) indicates that it relates to a three-dimensional coordinate.
  • the weight determination unit 105 refers to the depth value included in the depth information, and converts the center coordinate j of the neighboring pixel into a three-dimensional position p j (xyz) using, for example, Equation (6).
  • (X j , Y j , Z j ) represents a three-dimensional position p j (xyz) in the subject space with reference to the installation position of the photographing apparatus (the focal point of the optical system, that is, the viewpoint).
  • X j , Y j , and Z j represent a coordinate value in the horizontal direction, a coordinate value in the vertical direction, and a coordinate value in the depth direction, respectively. That is, the horizontal coordinate value and the vertical coordinate value obtained by using Expression (6) are values obtained by dividing the pixel coordinate value in the photographing apparatus by the base line length and the depth value.
  • the weight determination unit 105 uses Equation (7) to determine the weighting coefficient w j .
  • ⁇ d (xyz) max is the maximum value of the distance ⁇ d j (xyz) .
  • the pixel pitch q, the focal length f, and the baseline length B are included in the interpolation parameters. Therefore, according to the equation (7), the weighting factor w j is 0 for the neighboring pixel j having the maximum value ⁇ d (xyz) max, and the weighting factor w j is the maximum for the reference pixel j.
  • the weighting factor w j is determined so as to decrease linearly with an increase in the distance ⁇ d j (xyz) in the three-dimensional space.
  • FIG. 8 is a diagram illustrating an example of a depth block and interpolation coordinates.
  • FIG. 8 shows the depth block I81.
  • the depth block I81 includes 9 pixels in total, 3 pixels in the horizontal direction and 3 pixels in the vertical direction.
  • the pixel in the second row from the left and the top row represents the neighboring pixel I82.
  • the pixel on the third row from the left and in the uppermost row represents the neighboring pixel I83. Pixels in the second row from the left and the second row from the top represent the neighboring pixels I84.
  • Pixels in the third row from the left and in the third row from the top represent neighboring pixels I85.
  • the x mark included in the neighboring pixel I85 represents the interpolation pixel I86. Therefore, the neighboring pixel I85 is a reference pixel.
  • the depth values of the neighboring pixels I82, I83, I84, and I85 are 1, 1, 3, and 5.
  • the difference absolute value ⁇ p j (z) calculated when using the second weight determination method is 2, 2, 0, 2 for each of the neighboring pixels I82, I83, I84, I85.
  • Expression (2) the weighting factor w j is maximized for the neighboring pixel I84 where the difference absolute value ⁇ p j (z) is minimized.
  • the neighboring pixels I82, I83, and I85 having the same absolute difference ⁇ p j (z) are equal to each other.
  • the depth value p j (z) is converted into the depth coordinate Z j using Equation (4).
  • Equation (4) an example of the relationship between the depth value and the depth coordinate represented by Expression (4) is shown.
  • FIG. 9 is a conceptual diagram illustrating an example of the relationship between the depth value p j (z) and the depth coordinate Z j .
  • the depth value p j (z) monotonously decreases as the depth coordinate Z j increases.
  • the decrease rate of the depth value p j (z) also decreases monotonously.
  • the distance depth value is the difference between the depth coordinate in the case of 5 and 3 [Delta] d j (z), is greater towards the depth coordinate of the distance [Delta] d j (z) when the depth value decreases from 3 to 1 Become. Accordingly, the distance pixel distance ⁇ d j (z) is shorter in the neighborhood pixel I85 than in the neighborhood pixels I82 and I83. For this reason, the weighting factor w j is larger for the neighboring pixel I85 having a shorter distance in the subject space than the neighboring pixels I82 and I83.
  • the weight coefficient w j for each neighboring pixel can be determined in consideration of the distance in the subject space.
  • the planar image interpolation unit 107 calculates the signal value v i for the interpolation coordinate i by weighted addition of the signal value v j of the neighboring pixel j using the weight coefficient w j input from the weight determination unit 105.
  • the planar image interpolation unit 107 uses, for example, Expression (8) in weighted addition.
  • Equation (8) represents normalizing the weighting factor w j using W.
  • FIG. 10 is a diagram illustrating an example I101 of the interpolation image block.
  • FIG. 10 shows the interpolated image block I101.
  • 100 rectangles (10 in the horizontal direction ⁇ 10 in the vertical direction) included in the interpolation image block I101 each represent an area occupied by the interpolation pixel.
  • a number such as 200 included in each rectangle indicates a signal value corresponding to the pixel.
  • Each rectangle is filled with a brighter color as the signal value increases.
  • the display area of the interpolated image block I101 is the same as the display area of the image block I22 (see FIG. 6).
  • the interpolated image block I101 includes a signal value for each interpolated pixel calculated using the weight coefficient w j determined using the second weight determination method described above.
  • the signal values from the third stage to the sixth stage from the left are 200, 200, 100, and 100, respectively. This is the same as the signal values 200 and 100 in the same display area of the image block I22 (see FIG. 6).
  • FIG. 11 is an enlarged view showing another example I111 of the interpolated image block.
  • FIG. 11 shows the interpolated image block I111.
  • the arrangement of interpolation pixels included in the interpolation image block I111 is the same as the arrangement of interpolation pixels included in the interpolation image block I101 (see FIG. 10).
  • the display area of the interpolated image block I111 is also the same as the display area of the interpolated image block I101.
  • the interpolated image block I101 includes a signal value for each interpolated pixel calculated using a weighting factor w j determined using a bilinear interpolation method as an example of the prior art.
  • the signal values from the third stage to the sixth stage from the left are 200, 175, 125, and 100, respectively. These signal values are gentler than the signal values 200, 200, 100, 100 in the same display area of the image block I101. Therefore, according to the present embodiment, an edge where the signal value changes rapidly is maintained, and a phenomenon (blurring) in which the edge becomes unclear is avoided.
  • the signal value v i of the interpolation pixel i is calculated using, for example, the equation (9).
  • (i x , i y ) is the center coordinate closest to the origin among the center coordinates of the four original pixels.
  • the signal values v ix, iy , v ix, iy + 1 , v ix + 1, iy , v ix + 1, iy + 1 represent signal values of four original pixels (surrounding pixels) adjacent to the periphery of the interpolation pixel i.
  • Expression (9) is an expression used when k and l are both positive values (see Expression (1)).
  • the signal value v ix, the denominator (2N-k) ⁇ (2N -l) of the weight factor for iy, the interpolation pixel i the center coordinates from the (i x, i y) and the center coordinates of the opposite side (i x +1, i y +1) is the product of the horizontal length 2N ⁇ k and the vertical length 2N ⁇ 1.
  • the weighting factor is a value proportional to the area of the horizontal length and the vertical length from the interpolated pixel i to the central coordinate on the opposite side of each central coordinate.
  • k or l is a negative value, the surrounding pixels to be used are different, but weighting addition can be performed using a weighting factor determined from the same viewpoint.
  • the signal value related to the interpolated coordinate between pixels is interpolated to the signal value corresponding to each neighborhood within a predetermined range from the interpolated coordinate.
  • a weighting factor is determined based on the depth value of the reference image closest to the interpolation coordinates and the depth value of each neighboring pixel within a predetermined range from the interpolation pixel, and using the determined weighting factor. Interpolate the signal value of each neighboring pixel. As a result, a signal value corresponding to the change in the distance in the depth direction of the subject is given as the interpolation pixel.
  • a phenomenon in which an edge becomes indistinct is avoided, and image quality deterioration of an interpolated image can be reduced.
  • FIG. 12 is a schematic diagram illustrating the configuration of the image processing apparatus 20 according to the present embodiment.
  • the image processing apparatus 20 includes a plane image input unit 101, a depth information input unit 102, an input plane image storage unit 103, an input depth information storage unit 104, a weight determination unit 205, a parameter storage unit 106, a plane image interpolation unit 107, and depth information.
  • An interpolation unit 108, an interpolation plane image storage unit 109, an interpolation depth information storage unit 110, a plane image output unit 111, and a depth information output unit 112 are configured.
  • the image processing apparatus 20 includes a weight determination unit 205 instead of the weight determination unit 105 (see FIG. 1).
  • the other components of the image processing device 20 are the same as those of the image processing device 10 (see FIG. 1). Hereinafter, differences from the image processing apparatus 10 will be mainly described.
  • the weight determination unit 205 reads a planar image signal from the input planar image storage unit 103 and reads depth information from the input depth information storage unit 104.
  • the weight determination unit 105 reads the interpolation parameter from the parameter storage unit 106.
  • the weight determination unit 205 reads the interpolation depth information from the interpolation depth information storage unit 110.
  • the weight determination unit 205 determines the weighting factor w j for each neighboring pixel based on the absolute difference between the depth value corresponding to the interpolation pixel and the depth value corresponding to the other interpolation pixel included in the region occupied by each neighboring pixel. Determine.
  • the weight determination unit 205 sets the weighting factor w j to 1 for the neighboring pixel j including other interpolation pixels whose absolute difference from the depth value corresponding to the interpolation pixel is smaller than a predetermined value (for example, 2). Determine.
  • the weight determination unit 205 determines the weight coefficient w j to be 0 for a neighboring pixel j that does not include other interpolation pixels whose absolute difference from the depth value corresponding to the interpolation pixel is smaller than a predetermined value (for example, 2). .
  • FIG. 13 is a diagram illustrating another example I131 of the depth block.
  • FIG. 13 shows the depth block I131.
  • the 25 rectangles (5 in the horizontal direction ⁇ 5 in the vertical direction) included in the depth block I131 each represent an area occupied by the original pixel.
  • a number such as 0 included in each rectangle indicates a depth value corresponding to the pixel.
  • Each square is filled with a brighter color as the depth value increases.
  • the crosses included in the pixels in the third row from the left and the third row from the top represent the interpolation coordinates I136.
  • FIG. 14 is a diagram illustrating an example I141 of the interpolation depth block.
  • FIG. 14 shows the interpolation depth block I141.
  • the interpolated depth block is information given depth values interpolated for each of a plurality of interpolated coordinates included in a partial region of the depth image.
  • 100 squares (10 in the horizontal direction ⁇ 10 in the vertical direction) included in the interpolation depth block I141 represent an area occupied by the interpolation pixels.
  • a number such as 0 included in each rectangle indicates a depth value corresponding to the interpolation pixel.
  • the interpolation depth block I141 is a part of the interpolation depth information generated by the depth information interpolation unit 108 using the bilinear interpolation method, and is the same as the display area of the depth block I131.
  • the crosses included in the interpolation pixels in the sixth row from the left of the interpolation depth block I141 and the sixth row from the top represent the interpolation image I136, and are the center coordinates of the interpolation pixel.
  • the neighboring pixel I142 occupying an area including four interpolation pixels in the fifth to sixth rows from the left and the fifth to sixth rows from the top of the interpolation depth block I141, the seventh to eighth rows from the left, and the fifth to sixth rows from the top
  • Neighboring pixel I143 occupying a region including four interpolation pixels, 5 to 6th row from the left
  • neighboring pixel I144 occupying a region including four interpolation pixels in the seventh to eighth rows from the left, and 7 to 8 from the left
  • the neighborhood pixel I145 occupying an area including four interpolation pixels on the 7th to 8th rows from the top.
  • the depth values of the four interpolation pixels included in the neighboring pixel I142 are 0, 1, 1, 4 and include the depth value 4 of the interpolation pixel of interest.
  • the depth values of the four interpolation pixels included in the neighboring pixel I 143 are 5, 8, 8, and 10, and includes a depth value 5 in which the difference absolute value from the depth value 4 of the target interpolation pixel is smaller than 2.
  • the depth values of the four interpolation pixels included in the neighboring pixel I144 are 5, 8, 8, and 10, and the difference absolute value from the depth value 4 of the interpolation pixel of interest includes 5 that is smaller than 2.
  • the depth values of the four interpolation pixels included in the neighboring pixel I145 are 9, 10, 10, 10, and do not include a depth value in which the absolute difference from the depth value 4 of the interpolation pixel of interest is smaller than 2. Therefore, the weight determination unit 205 determines the weighting factors w j of the neighboring pixels I142, I143, and I144 to be 1, respectively. The weight determination unit 205 determines that the weight coefficient w j corresponding to the neighboring pixel I145 is zero.
  • FIG. 15 is a diagram illustrating another example I151 of an image block.
  • FIG. 15 shows an image block I151.
  • the image block I151 is an image block corresponding to the depth block I131.
  • 25 rectangles (5 in the horizontal direction ⁇ 5 in the vertical direction) included in the image block I151 each represent an area occupied by the original pixel.
  • a number such as 100 included in each rectangle indicates a signal value corresponding to the pixel.
  • the signal value of the pixel on the diagonal line from the upper right end to the lower left end of the image block I151 is 50.
  • the signal value of the upper left pixel from this diagonal line is 100.
  • the signal value of the pixel on the lower right of this diagonal line is zero.
  • the image block I151 has an edge portion facing in a direction away from the horizontal direction or the vertical direction.
  • the crosses included in the pixels in the third row from the left and the third row from the top represent the interpolation coordinates I136.
  • a pixel occupying a region including the interpolation coordinate I136 is a neighboring pixel I142.
  • the pixel on the right side of the neighboring pixel I142 is the neighboring pixel I143.
  • the pixel below the neighboring pixel I142 is the neighboring pixel I144.
  • the pixel on the right side of the neighboring pixel I144 is the neighboring pixel I145.
  • FIG. 16 is another diagram showing an example I21 of a planar image.
  • FIG. 16 shows a planar image I21.
  • the image block I151 represents an image of a portion occupied by a rectangle represented in the upper left part of the head of the person I-PI represented by the planar image I21.
  • FIG. 17 is an enlarged view showing another example I171 of the interpolated image block.
  • FIG. 17 shows the interpolated image block I171.
  • 100 rectangles (10 in the horizontal direction ⁇ 10 in the vertical direction) included in the interpolation image block I171 each represent an area occupied by the interpolation pixel.
  • a number such as 100 included in each rectangle indicates a signal value corresponding to the pixel.
  • the display area of the interpolated image block I171 is the same as the display area of the image block I151 (see FIG. 15).
  • the interpolated image block I171 includes a signal value for each interpolated pixel calculated by the planar image interpolating unit 107 using the weighting coefficient w j determined by the weight determining unit 205.
  • the signal values from the left of the third row from the top to the fifth to tenth rows are 100, 87, 87, 66, 33, and 0, respectively.
  • FIG. 18 is a diagram illustrating another example I181 of the interpolation image block.
  • FIG. 18 shows the interpolated image block I181.
  • the arrangement of interpolation pixels included in the interpolation image block I181 is the same as the arrangement of interpolation pixels included in the interpolation image block I171 (see FIG. 17).
  • the display area of the interpolated image block I181 is also the same as the display area of the interpolated image block I171.
  • the interpolated image block I181 includes a signal value for each interpolated pixel calculated using the closest interpolation method as an example of the conventional technique.
  • the signal values from the left of the third row from the top to the fifth to tenth rows are 100, 100, 50, 50, 0, and 0, respectively. These signal values are the same as the signal values 100, 50, 0 in the same display area of the image block I151 of the original image, and indicate that the edges appear in a staircase pattern. Therefore, according to the present embodiment, a phenomenon (jaggy) in which an edge appears in a staircase shape is mitigated.
  • FIG. 19 is a diagram illustrating another example I191 of the interpolation image block.
  • FIG. 19 shows an interpolated image block I191.
  • the arrangement of the interpolation pixels included in the interpolation image block I191 is the same as the arrangement of the interpolation pixels included in the interpolation image block I171 (see FIG. 17).
  • the display area of the interpolated image block I191 is also the same as the display area of the interpolated image block I171.
  • the interpolated image block I191 includes a signal value for each interpolated pixel calculated using a bilinear interpolation method as an example of the prior art.
  • the signal values from the left of the third row from the top to the fifth to tenth rows are 100, 90, 71, 50, 25, and 9, respectively. These signal values change more slowly than the signal values in the same display area of the interpolated image block I171. Therefore, according to the present embodiment, the phenomenon (blurring) in which the edge signal value changes gently is alleviated.
  • the weight determination unit 205 uses the depth value corresponding to the interpolation pixel instead of the depth value pi (z) corresponding to the reference pixel i. Also good.
  • an error in coordinates on the plane corresponding to the depth value can occur by half of the pixel pitch. However, this error can be reduced by using the depth value corresponding to the interpolation pixel. Thereby, the improvement of the image quality accompanying high resolution can be exhibited.
  • the weighting factor is determined based on the depth value for each interpolation coordinate included in each neighboring pixel within a predetermined range from the interpolation pixel, and each neighboring pixel is determined using the determined weighting factor. Interpolate the signal value of. Thereby, the signal value with respect to the distance in the depth direction of the subject becomes more accurate.
  • a phenomenon in which an edge directed in a direction away from the horizontal direction or the vertical direction appears in a staircase shape or a phenomenon in which the edge becomes gentle (blurring) is alleviated. As a result, the image quality degradation of the interpolated image can be reduced.
  • FIG. 20 is a schematic diagram illustrating a configuration of the imaging device 30 according to the present embodiment.
  • the imaging device 30 includes two imaging units 31 and 32, a depth information generation unit 33, and an image processing unit 34.
  • the imaging units 31 and 32 capture images of a subject included in the same field of view at different positions (viewpoints) at predetermined frame time intervals.
  • the imaging units 31 and 32 may be, for example, a stereo camera in which both are integrated.
  • An image signal indicating an image captured by the imaging units 31 and 32 is an image signal composed of a signal value for each pixel arranged on a two-dimensional plane.
  • the imaging units 31 and 32 output image signals indicating captured images to the depth information generation unit 33 for each frame.
  • the depth information generation unit 33 determines an image signal input from one of the imaging units 31 and 32, for example, the imaging unit 31, as a reference image signal (planar image signal).
  • the depth information generation unit 33 calculates the parallax between the image represented by the planar image signal and the image represented by the image signal input from the other imaging unit 32 for each pixel, and includes the calculated parallax value as the depth value. Is generated.
  • the depth information generation unit 33 uses, for example, a block matching method in order to calculate the parallax value.
  • the image preprocessing unit 21 outputs the planar image signal and the generated depth information to the image processing unit 34.
  • the image processing unit 34 generates an interpolation plane image signal and interpolation depth information based on the plane image signal and depth information input from the image preprocessing unit 21.
  • the image processing unit 34 has the same configuration as the image processing apparatus 10 (see FIG. 1) or the image processing apparatus 20 (see FIG. 12).
  • the image processing unit 34 outputs the generated interpolation plane image signal and interpolation depth information to the outside of the imaging device 30. Therefore, according to the present embodiment, an interpolation plane image signal having a higher resolution than the image signals captured by the imaging units 31 and 32 can be acquired, and image quality degradation of the image represented by the interpolation plane image signal can be reduced. Can do.
  • FIG. 21 is a schematic diagram illustrating the configuration of the image display device 40 according to the present embodiment.
  • the image display device 40 includes an image processing unit 41 and an image display unit 42.
  • a plane image signal and depth information are input to the image processing unit 41 from the outside of the image display device 40.
  • the image processing unit 41 is based on the left and right plane image signals and depth information, respectively.
  • the left and right interpolation plane image signals and interpolation depth information are generated.
  • the input plane image signal is determined as a left image signal, and an interpolation plane image signal and interpolation depth information of the left image are generated. Then, a right image signal is generated based on the generated interpolation plane image signal of the left image and the interpolation depth information.
  • the image processing unit 41 separates the signal value for each pixel included in the interpolation plane image signal of the left image by the amount of parallax represented by the depth value of the corresponding pixel and the depth value included in the interpolation depth information.
  • An interpolation plane image signal of the right image is generated by being arranged at the pixel at the position.
  • the image processing unit 41 has the same configuration as that of the image processing apparatus 10 (see FIG. 1) or the image processing apparatus 20 (see FIG. 12).
  • the image display unit 42 displays a stereoscopic image represented by the interpolation plane image signal and the interpolation depth information input from the image processing unit 41.
  • the image display unit 42 is, for example, a two-view stereoscopic display (stereo display) or a projector (stereo projector) that displays a left image displayed on the viewer's left eye and a right image displayed on the right eye.
  • a two-view stereoscopic display stereo display
  • a projector stereo projector
  • the image display unit 42 is, for example, a projector that alternately displays the image represented by the left image signal and the image represented by the right display image signal on the screen at a time interval that is half the frame time interval (for example, 1/60 seconds).
  • a viewer uses a stereoscopic image provided with a shutter (for example, a liquid crystal shutter) that can control whether or not light is transmitted to the left and right eyes of the viewer in synchronization with the time interval.
  • the image display unit 42 may be a projector that displays the image represented by the left image signal and the image represented by the right image signal on the screen with mutually different polarization characteristics.
  • the viewer uses a stereoscopic eyeglass equipped with a polarization filter corresponding to the polarization characteristic for the left image signal in the left eye lens and a polarization filter corresponding to the polarization characteristic for the right image signal in the right eye lens.
  • the image display unit 42 includes a display surface that alternately displays a long image band in the vertical direction of the image represented by the left image signal and the image represented by the right image signal, and a slit whose front surface is extended in the vertical direction. It may be a parallax barrier display.
  • the image display unit 42 may be a lenticular display including a display surface and a convex lens (lenticular lens) whose front surface is extended in the vertical direction.
  • FIG. 22 is a schematic diagram illustrating a configuration of an image display device 50 according to a modification of the fourth embodiment of the present invention.
  • the image display device 50 includes an image display unit 52 instead of the image display unit 42 of the image display device 40.
  • the image display unit 42 displays a plane image represented by the interpolation plane image signal input from the image processing unit 41.
  • an interpolation plane image signal having a higher resolution than the input plane image signal for example, an interpolation plane image signal that matches the resolution of the image display unit. According to the present embodiment, it is possible to reduce image quality degradation of the image represented by the interpolation plane image signal.
  • the interpolation magnification may be a magnification larger than 1, for example, 3.
  • the planar image interpolation unit 107 calculates the sum W of the weighting coefficients w j input from the weight determination units 105 and 205, and divides the value obtained by weighting and adding the signal value v j with the calculated sum W.
  • the case of normalization is explained as an example. This embodiment is not limited to this.
  • the weight determination units 105 and 205 determine the weighting factor w j normalized so that the total sum W becomes 1, and the plane image interpolation unit 107 uses the normalized weighting factor w j to generate a signal.
  • the value v j may be weighted and added. In that case, the plane image interpolation unit 107 may omit the process of dividing by the total sum W.
  • the present embodiment is not limited thereto.
  • a multi-view stereoscopic image having a larger number of viewpoints than two viewpoints may be captured.
  • the imaging device 30 may include a storage unit that stores the generated interpolation plane image signal and the interpolation depth information in association with each other.
  • the imaging device 30 may include a display unit that displays a stereoscopic image based on the generated interpolation plane image signal and interpolation depth information.
  • the present embodiment is not limited to this.
  • a multi-view stereoscopic image having a larger number of viewpoints than two viewpoints may be displayed.
  • a multi-viewpoint image signal can be generated using at least one viewpoint image signal and depth information representing the relationship between the one viewpoint and another viewpoint.
  • the image display device 40 described above may include a storage unit that stores the generated interpolation plane image signal and the interpolation depth information in association with each other.
  • the image processing apparatuses 10 and 20, the imaging apparatus 30, and the image display apparatus 40 in the above-described embodiment for example, the weight determination units 105 and 206, the planar image interpolation unit 107, the depth information interpolation unit 109, and depth information generation.
  • the unit 33 and the image processing units 34 and 41 may be realized by a computer.
  • the program for realizing the control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by a computer system and executed.
  • the “computer system” is a computer system built in the image processing apparatuses 10 and 20, the imaging apparatus 30, or the image display apparatus 40, and includes hardware such as an OS and peripheral devices.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line, In such a case, a volatile memory inside a computer system serving as a server or a client may be included and a program that holds a program for a certain period of time.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • LSI Large Scale Integration
  • Each functional block of the image processing apparatuses 10 and 20, the imaging apparatus 30, and the image display apparatus 40 may be individually made into a processor, or a part or all of them may be integrated into a processor.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, in the case where an integrated circuit technology that replaces LSI appears due to progress in semiconductor technology, an integrated circuit based on the technology may be used.
  • Image processing device 101 ... planar image input unit, 102 ... Depth information input section, 103 ... input plane image storage unit, 104 ... input depth information storage unit, 105, 205 ... weight determining unit, 106: Parameter storage unit, 107 ... plane image interpolation unit, 108 ... depth information interpolation unit, 109 ... Interpolation plane image storage unit, 110: Interpolation depth information storage unit, 111 ... planar image output unit, 112 ... Depth information output unit 30 ... Imaging device, 31, 32 ... imaging unit, 33 ... Depth information generation unit, 34.
  • Image processing unit, 40, 50 ... image display device, 41. Image processing unit, 42, 52 ... Image display section

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

画像の拡大処理において演算量の増加を抑制しつつ画質の劣化を緩和する画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置を提供する。画像入力部は、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力し、補間部は、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出し、重み決定部は、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める。

Description

画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置
本発明は、画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置に関する。
　従来から、同一の画像を様々な表示サイズや解像度の媒体に表示するために、ディジタル画像の拡大処理が提案されている。拡大処理とは、原画像に含まれる画素（以下、原画素と呼ぶ）の間隔を広げ、原画素間に新たな画素を生成することである。新たな画素に係る信号値は、その周辺の原画素に係る信号値を補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ、内挿とも呼ぶ）して求めることがある。これにより、表示サイズがより大きい表示媒体、や解像度がより高い表示媒体に原画像と同一の画像を表示することができる。近年、高解像度の画像表示装置（コンピュータ、テレビなどの映像表示装置）の普及が進み、表示媒体における画像の拡大処理の重要性が高まっている。
　非特許文献１には、拡大処理の例として最近接内挿法（ｎｅａｒｅｓｔ　ｎｅｉｇｈｂｏｒ　ｉｎｔｅｒｐｏｌａｔｉｏｎ、ニアレストネイバー法、最近傍法ともいう）、共一次内挿法（ｂｉ－ｌｉｎｅａｒ　ｉｎｔｅｒｐｏｌａｔｉｏｎ、バイリニア法、線形補間法ともいう）、共三次内挿法（ｂｉ－ｃｕｂｉｃ　ｉｎｔｅｒｐｏｌａｔｉｏｎ、バイキュービック法、３次畳み込み内挿法[ｃｕｂｉｃ　ｃｏｎｖｏｌｕｔｉｏｎ　ｉｎｔｅｒｐｏｌａｔｉｏｎ]ともいう）が記載されている。
　最近接内挿法とは、新たに生成する画素（以下、補間画素と呼ぶ）に最も近い原画素に係る信号値を、補間画素に係る信号値と定める処理である。
　共一次内挿法とは、補間画素の周囲にある４個の原画素に係る信号値の加重平均値を、補間画素に係る信号値と定める処理である。
　共三次内挿法とは、補間画素の周囲にある１６個の原画素に係る信号値に当てはめられた３次式を用いて補間画素に係る信号値を定める処理である。
高木　幹雄、下田　陽久　監修、６．３．２　画像データの内挿、「画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１３６０－１３７３頁
　しかしながら、最近接内挿法では、原画像の画素ピッチ（画素間間隔）に相当する位置誤差を生じるため、画質が劣化することがある。例えば、原画像において信号値が急激に変化する境界（エッジ）の方向が、水平方向又は垂直方向から離れた斜め方向である場合　、エッジが階段状（ギザギザ）に現れる画像（ジャギー；Ｊａｇｇｙ）が生成されることがある。
　共一次内挿法では、画素間で信号値が滑らかに変化するため、画質が劣化することがある。例えば、エッジが不明瞭な画像（ぼやけ）が生成されることがある。
　共三次内挿法では、最近接内挿法や共一次内挿法よりも画質の劣化度合いが少ない画像を生成することがある。その反面、共三次内挿法では、１個の補間画素に係る信号値を算出するための原画素の参照範囲が広く、演算量が大きいという問題がある。
　本発明は上記の点に鑑みてなされたものであり、画像の拡大処理をする際に演算量の増加を抑制しつつ画質の劣化を緩和する画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置を提供する。
（１）本発明は上記の課題を解決するためになされたものであり、本発明の第一の技術手段は、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める重み決定部とを備えることを特徴とする画像処理装置である。
（２）本発明の第二の技術手段は、前記第一の技術手段における画像処理装置であって、前記重み決定部は、前記基準画素の奥行値が表す奥行方向の距離と、前記近傍画素の奥行値が表す奥行方向の距離との差に基づいて、前記重み係数を定めることを特徴とする。
（３）本発明の第三の技術手段は、前記第一の技術手段における画像処理装置であって、
前記重み決定部は、前記基準画素の平面画像上の位置と奥行値が表す３次元位置と、前記近傍画素の平面画像上の位置と奥行値が表す３次元位置との距離の差に基づいて、前記重み係数を定めることを特徴とする。
（４）本発明の第四の技術手段は、前記第二の技術手段における画像処理装置であって、前記重み決定部は、前記基準画素から前記補間座標までの前記平面上の距離に基づいて、前記重み係数を定めることを特徴とする。
（５）本発明の第五の技術手段は、前記第一の技術手段における画像処理装置であって、前記補間座標の奥行値を、前記近傍画素の奥行値を補間して算出する奥行情報補間部を備え、前記重み決定部は、前記補間座標の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、を備えることを特徴とする。
（６）本発明の第六の技術手段は、前記第五の技術手段における画像処理装置であって、前記重み決定部は、前記補間座標の奥行値と前記近傍画素の領域に含まれる他の補間座標の奥行値の差に基づいて、前記補間に用いる重み係数を定めることを特徴とする。
（７）本発明の第七の技術手段は、画像処理装置における画像処理方法であって、前記画像処理装置が、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する過程と、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する過程と、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める過程とを有することを特徴とする画像処理方法である。
（８）本発明の第八の技術手段は、画像処理装置のコンピュータに、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する手順、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する手順、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める手順を実行させるための画像処理プログラムである。
（９）本発明の第九の技術手段は、各々異なる視点から画像を撮像する複数の撮像部と、前記複数の撮像部が各々撮像した画像に含まれる画素であって、平面上に配置された画素の信号値に基づいて画素に対応する奥行値を含む奥行情報を生成する奥行情報生成部と、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める重み決定部とを備えることを特徴とする撮像装置である。
（１０）本発明の第十の技術手段は、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める重み決定部と、前記補間座標の信号値を含む補間平面画像信号が表す画像を表示する表示部とを備えることを特徴とする画像表示装置である。
　本発明によれば、画像の拡大処理において、演算量の増加を抑制しつつ画質の劣化を緩和する。
本発明の第１の実施形態に係る画像処理装置の構成を表す概略図である。 平面画像の一例を示す図である。 奥行画像の一例を示す図である。 本実施形態に係る画像処理を表すフローチャートである。 画像ブロックの一例を表す図である。 画像ブロックの一例を表すその他の図である。 奥行ブロックの一例を表す拡大図である。 奥行ブロックと補間座標の一例を表す図である。 奥行値と奥行座標の関係の一例を表す概念図である。 補間画像ブロックの一例を表す図である。 補間画像ブロックのその他の例を表す図である。 本発明の第２の実施形態に係る画像処理装置の構成を表す概略図である。 奥行ブロックのその他の例を表す図である。 補間奥行ブロックの一例を表す図である。 画像ブロックのその他の例を表す図である。 平面画像の一例を示すその他の図である。 補間画像ブロックのその他の例を表す図である。 補間画像ブロックのその他の例を表す図である。 補間画像ブロックのその他の例を表す図である。 本発明の第３の実施形態に係る撮像装置の構成を表す概略図である。 本発明の第４の実施形態に係る画像表示装置の構成を表す概略図である。 本発明の第４の実施形態の一変形例に係る画像表示装置の構成を表す概略図である。
（第１の実施形態）
　以下、図面を参照しながら本発明の第１の実施形態について説明する。
　図１は、本実施形態に係る画像処理装置１０の構成を表す概略図である。
　画像処理装置１０は、平面画像入力部１０１、奥行情報入力部１０２、入力平面画像記憶部１０３、入力奥行情報記憶部１０４、重み決定部１０５、パラメータ記憶部１０６、平面画像補間部１０７、奥行情報補間部１０８、補間平面画像記憶部１０９、補間奥行情報記憶部１１０、平面画像出力部１１１及び奥行情報出力部１１２を含んで構成される。
平面画像入力部１０１には、画像処理装置１０の外部からフレーム毎に平面画像信号が入力される。平面画像信号は、被写空間に含まれる被写体の色彩や濃淡を表す信号値であって、二次元平面に配置された画素毎の信号値からなる画像信号である。平面画像信号は、画素毎に色空間を表す信号値を有する画像信号、例えばＲＧＢ信号である。ＲＧＢ信号は、赤色成分の値を表すＲ信号、緑色成分の値を示すＧ信号、青色成分の値を示すＢ信号を信号値として含む。
平面画像入力部１０１は、入力された平面画像信号を入力平面画像記憶部１０３に記憶させる。
図２は、平面画像の一例を示す図である。
平面画像Ｉ２１は、被写体として太陽Ｉ－Ｓ１、山岳Ｉ－Ｍ１及び人物Ｉ－Ｐ１を表す画像である。人物Ｉ－Ｐ１の左側面に示される正方形の領域は、画像ブロックＩ２２である。画像ブロックＩ２２は、平面画像Ｉ２１の一部の領域であって、複数の画素から構成される画像である。
図１に戻り、奥行情報入力部１０２は、画像処理装置１０の外部からフレーム毎に奥行情報が入力される。奥行情報は、視点（例えば、撮影装置の設置位置）から被写空間に含まれる被写体表面までの距離を表す奥行値（「デプス値」、「深度値」、「デプス」ということがある。）を含む情報である。奥行値は、平面画像における二次元平面に配置された複数の画素の各画素に対応し、且つ、平面画像信号に含まれる信号値と対応する。奥行値は、距離そのものに限らず、距離を表す変数、例えば視差値であってもよい。奥行情報は、例えばデプスマップ（「奥行画像」ということがある。）である。
　奥行情報入力部１０２は、入力された奥行情報を入力奥行情報記憶部１０４に記憶させる。
奥行画像は、画素毎の奥行値に対応する輝度を表す画像である。次に示す奥行画像の例では、視点からの距離が短いほど輝度が高いことを表す。
図３は、奥行画像の一例Ｉ３１を示す図である。
奥行画像Ｉ３１は、平面画像Ｉ２１が表す被写体までの距離を表す画像である。奥行画像Ｉ３１において、人物Ｉ－Ｐ２を表す領域が、その他の領域よりも明るい色で示されている。即ち、奥行画像Ｉ３１は、人物Ｉ－Ｐ２が、その他の被写体よりも視点からの距離が短いことを表す。
人物Ｉ－Ｐ２の左側面に示される正方形の領域は、奥行ブロックＩ３２である。奥行ブロックＩ３２が占める領域は、図２の画像ブロックＩ２２が占める領域と同一である。
　図１に戻り、重み決定部１０５は、入力平面画像記憶部１０３から平面画像信号を読み出し、入力奥行情報記憶部１０４から奥行情報を読み出す。重み決定部１０５は、パラメータ記憶部１０６から後述する補間処理に用いるパラメータ（以下で、「補間パラメータ」という。）を読み出す。
　重み決定部１０５は、読み出した補間パラメータを用いて、読み出した平面画像信号に含まれる信号値を補間するために用いる重み係数を定める。ここで、重み決定部１０５は、補間画素から予め定めた範囲内の各画素（以下、近傍画素と呼ぶ）に対応する奥行値と、補間画素と各近傍画素との間の距離に基づいて重み係数を定める。補間画素とは、複数の画素の間に新たに生成する画素である。重み係数を定める処理については、後述する。
　重み決定部１０５は、定めた重み係数を平面画像補間部１０７に出力する。
　パラメータ記憶部１０６は、補間パラメータを予め記憶している。補間パラメータは、例えば、補間倍率、補間座標、フレームサイズ（１フレームの平面画像信号もしくは奥行情報に含まれる水平方向の画素数、垂直方向の画素数）、等がある。補間倍率は、ある表示領域に係る補間後の平面画像信号（補間平面画像信号）のサイズの、その表示領域に係る入力された平面画像信号（入力平面画像信号）のサイズに対する比である。ここで、サイズとは、その表示領域における水平方向の画素数（幅）、又は垂直方向の画素数（幅）である。即ち、補間倍率は、補間平面画像の解像度の入力平面画像の解像度に対する比である。補間座標とは、補間画素が占める領域の中心点の位置を表す座標である。
　平面画像補間部１０７は、入力平面画像記憶部１０３から平面画像信号を読み出し、パラメータ記憶部１０６から補間パラメータを読み出す。また、平面画像補間部１０７は、重み決定部１０５から重み係数を読み出す。
　平面画像補間部１０７は、読み出した平面画像信号に含まれる各近傍画素の信号値を入力して、重み係数を用いて補間して、補間座標に対する信号値を算出する。補間座標に対する信号値を算出する処理については後述する。
　平面画像補間部１０７は、算出した信号値を補間座標と対応付けて補間平面画像記憶部１０９に記憶させる。これにより、補間平面画像記憶部１０９には、補間座標毎の信号値を含む補間平面画像信号が記憶される。
　奥行情報補間部１０８は、入力奥行情報記憶部１０４から奥行情報を読み出し、パラメータ記憶部１０６から補間パラメータを読み出す。
　奥行情報補間部１０８は、読み出した補間パラメータを用いて、読み出した奥行情報に含まれる各近傍画素の奥行値を補間して、補間座標に対する奥行値を算出する。
　奥行情報補間部１０８は、補間を行うために、例えば、最近接内挿法、共一次内挿法、共三次内挿法、等の方法を用いることができる。
　奥行情報補間部１０８は、算出した奥行値を補間座標と対応付けて補間奥行情報記憶部１１０に記憶させる。これにより、補間奥行情報記憶部１１０は、補間座標毎の奥行値を含む補間奥行情報が記憶される。
　平面画像出力部１１１は、補間平面画像記憶部１０９から補間平面画像信号を読み出し、読み出した補間平面画像信号をフレーム毎に画像処理装置１０の外部に出力する。
　奥行情報出力部１１２は、補間奥行情報記憶部１１０から補間奥行情報を読み出し、読み出した補間奥行情報をフレーム毎に画像処理装置１０の外部に出力する。
　次に、画像処理装置１０が行う画像処理について説明する。
図４は、本実施形態に係る画像処理を表すフローチャートである。
（ステップＳ１０１）画像処理装置１０は、処理に要する係数等を初期設定する。ここで、重み決定部１０５、平面画像補間部１０７、奥行情報補間部１０８は、パラメータ記憶部１０６から補間パラメータを読み出す。画像処理装置１０は、各フレームにおける初期の補間座標を、例えば、各フレームの原点に最も近い座標にある補間座標と定める。フレームの原点は、フレームの最上列、最左段の座標である。その後、ステップＳ１０２に進む。
（ステップＳ１０２）平面画像入力部１０１には、画像処理装置１０の外部からフレーム毎に平面画像信号が入力される。平面画像入力部１０１は、入力された平面画像信号を入力平面画像記憶部１０３に記憶させる。その後、ステップＳ１０３に進む。
（ステップＳ１０３）奥行情報入力部１０２には、画像処理装置１０の外部からフレーム毎に奥行情報が入力される。奥行情報入力部１０２には、入力された奥行情報を入力奥行情報記憶部１０４に記憶させる。その後、ステップＳ１０４に進む。
（ステップＳ１０４）重み決定部１０５は、入力平面画像記憶部１０３から平面画像信号を読み出し、入力奥行情報記憶部１０４から奥行情報を読み出す。
　重み決定部１０５は、補間パラメータを用いて、読み出した平面画像信号に含まれる信号値を補間するための重み係数を定める。重み決定部１０５は、定めた重み係数を平面画像補間部１０７に出力する。その後、ステップＳ１０５に進む。
（ステップＳ１０５）平面画像補間部１０７は、入力平面画像記憶部１０３から平面画像信号を読み出す。平面画像補間部１０７には、重み決定部１０５から重み係数が入力される。
　平面画像補間部１０７は、読み出した平面画像信号に含まれる各近傍画素の信号値を入力した重み係数を用いて補間して、補間座標における信号値を算出する。平面画像補間部１０７には、算出した信号値を、補間座標と対応付けて補間平面画像記憶部１０９に記憶させる。その後、ステップＳ１０６に進む。
（ステップＳ１０６）奥行情報補間部１０８は、入力奥行情報記憶部１０４から奥行情報を読み出す。
　奥行情報補間部１０８は、補間パラメータを用いて、読み出した奥行情報に含まれる各近傍画素の奥行値を補間して、補間座標における奥行値を算出する。
　奥行情報補間部１０８は、算出した奥行値を補間座標と対応付けて補間奥行情報記憶部１１０に記憶させる。その後、ステップＳ１０７に進む。
（ステップＳ１０７）画像処理装置１０は、各フレームに含まれる全ての補間座標について処理が終了したか否か判断する。処理が終了したと判断された場合（ステップＳ１０７　Ｙ）、ステップＳ１０９に進む。処理が終了していないと判断された場合（ステップＳ１０７　Ｎ）、ステップＳ１０８に進む。
（ステップＳ１０８）画像処理装置１０は、処理の対象となる補間座標を変更する。画像処理装置１０が補間座標を変更する順序は、例えば、ラスター順である。ラスター順においては、行毎に左端から右側に向かって順次隣接する列の座標に補間座標を変更し、補間座標が右端に達した後、補間座標を次の行の左端に変更する。その後、ステップＳ１０４に進む。
（ステップＳ１０９）平面画像出力部１１１は、補間平面画像記憶部１０９から補間平面画像信号を読み出し、読み出した補間平面画像信号をフレーム毎に画像処理装置１０の外部に出力する。その後、ステップＳ１１０に進む。
（ステップＳ１１０）奥行情報出力部１１２は、補間奥行情報記憶部１１０から補間奥行情報を読み出し、読み出した補間奥行情報をフレーム毎に画像処理装置１０の外部に出力する。その後、処理を終了する。
　次に、近傍画素と補間座標の一例について説明する。
近傍画素は、入力画像信号における画素のうち補間の対象となる画素である。近傍画素のうち、補間座標を含む領域を占める画素を、特に基準画素と呼ぶ。
平面（ｘｙ平面）上の補間座標ｐｉ（ｘｙ）は、例えば式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、ｉＸは、基準画素の水平方向（ｘ方向）のインデックスである。ｋは、補間座標の水平方向のインデックスである。ｋは、基準画素毎に独立に定められ、基準画素から水平方向に隣接する基準画素を表す点において０となる。ｋは、－Ｎ又は－Ｎよりも大きく、Ｎより小さい整数である。Ｎは、予め定めた補間倍率、即ち基準画素間の補間画素数を表す整数値である。ｉＹは、基準画素の垂直方向（ｙ方向）のインデックスである。ｌは、補間座標の水平方向のインデックスである。ｌは、基準画素毎に独立に定められ、基準画素から水平方向に隣接する基準画素を表す点において０となる。ｋは、－Ｎ又は－Ｎよりも大きく、Ｎより小さい整数である。式（１）において、補間座標ｐｉ（ｘｙ）は、基準画素間の画素間距離（画素ピッチ）が１となるように正規化されている。
　ここで、補間座標とその基準画素との一例を図５に示す。
　図５は、画像ブロックの一例Ｉ２２を表す図である。
　図５は、画像ブロックＩ２２（図２参照）を表す。画像ブロックＩ２２において、上下左右の４辺が実線で示された矩形は、入力画像信号に含まれる各信号値に対応した画素が占める領域を表す。ここでは、この画素を、特に原画素と呼ぶ。画像ブロックＩ２２には、２５個（水平方向５個×垂直方向５個）の原画素が含まれる。上下左右の４辺の何れかの辺が実線、その残りの辺が破線で示された矩形は、補間画素を表す。補間画素とは、補間座標を中心座標とする画素である。図５では、１個の原画素が４個（水平方向２個×垂直方向２個）の補間画素を含む。
　例えば、図５において、左下から右上に向かう斜線で塗りつぶされた領域は、補間画素Ｉ５５を表す。補間画素Ｉ５５の中心に表される記号×は、補間画素Ｉ５５の補間座標である。補間画素Ｉ５５と、左上から右下に向かう斜線で塗りつぶされた領域を併せた領域は、基準画素Ｉ５１を表す。基準画素Ｉ５１の中心に表される記号＋は、基準画素Ｉ５１の中心座標である。
　次に、補間座標とその近傍画素の一例を図６に示す。
　図６は、画像ブロックの一例Ｉ２２を表す図である。
　図６は、画像ブロックＩ２２（図２参照）を表す。画像ブロックＩ２２に含まれる２５個（水平方向５個×垂直方向５個）の四角形は、それぞれ原画素が占める領域を表す。各四角形に含まれる２００や、１００という数字は、その画素に対応する信号値（例えば、Ｒ信号の信号値）を示す。各矩形は、信号値が大きくなるほど明るい色で塗りつぶされている。各矩形に含まれる記号＋は、中心座標を表す。
　上から２行目、左から２段目の画素Ｉ６１に含まれる×印は、補間座標Ｉ６５を表す。即ち、画素Ｉ６１は、基準画素であり、近傍画素のうちの１つである。基準画素Ｉ６１の右隣の画素は、近傍画素Ｉ６２である。基準画素Ｉ６１の下隣の画素は、近傍画素Ｉ６３である。基準画素Ｉ６４の右下隣の画素は、近傍画素Ｉ６４である。即ち、補間座標Ｉ６５から原画素の中心までの距離が予め定めた距離よりも短くなる画素を近傍画素Ｉ６１～Ｉ６４と定めていることを示す。図６の例では、補間座標Ｉ６５から原画素の中心までの水平方向の距離と垂直方向の距離の最大値が原画像の画素ピッチより小さな画素を近傍画素と定めている。
　上述の平面画像に対応する奥行情報における補間座標とその近傍画素の例を図７に示す。
　図７は、奥行ブロックの一例Ｉ３２を表す図である。
　図７は、奥行ブロックＩ３２（図３参照）を表す。奥行ブロックは、奥行画像の一部の領域に含まれる複数の画素の各々について奥行値が与えられた情報である。奥行ブロックＩ３２に含まれる２５個（水平方向５個×垂直方向５個）の矩形は、それぞれ奥行情報における原画素が占める領域を表す。各矩形に含まれる０等の数字は、その画素に対応する奥行値を示す。各矩形は、信号値が大きくなるほど明るい色で塗りつぶされている。各矩形に含まれる記号＋は、中心座標を表す。
　補間座標Ｉ７５は、補間座標Ｉ６５（図６参照）と同一の位置の奥行情報における座標を表す。近傍画素Ｉ７１～Ｉ７４は、近傍画素Ｉ６１～Ｉ６４と同一の画素を表す。
　次に、重み決定部１０５が重み係数を決定する処理について説明する。
　重み決定部１０５は、中心点が補間座標から予め定めた距離（閾値）よりも短い距離にある画素を近傍画素と定める。重み決定部１０５は、近傍画素ｊに対応する奥行値ｐｊ（ｚ）と基準画素ｉに対応する奥行値ｐｉ（ｚ）に基づいて、近傍画素ｊ毎の重み係数ｗｊを定める。この距離の閾値と近傍画素の個数は、補間パラメータに含まれる。
　重み決定部１０５は、例えば、以下に説明する方法のいずれかを用いて重み係数ｗｊを定めることができるが、これらには限られない。
＜第１の重み決定法＞重み決定部１０５は、近傍画素ｊに対応する奥行値ｐｊ（ｚ）と基準画素ｉに対応する奥行値ｐｉ（ｚ）の差分の絶対値Δｐｊ（ｚ）が予め定めた閾値（例えば１）よりも大きい場合、重み係数ｗｊを０と定める。ここで、添字（ｚ）は、視点からの距離（ｚ方向の座標値）を表す奥行値に係ることを表す添字である。差分絶対値Δｐｊ（ｚ）は｜ｐｊ（ｚ）－ｐｉ（ｚ）｜と表される。また、重み決定部１０５が、差分絶対値Δｐｊ（ｚ）が、その閾値より小さい、又は等しい値である場合、重み係数ｗｊを１と定める。この重み決定法では、奥行値の差分の閾値は、補間パラメータに含まれている。図７に示す例では、基準画素Ｉ７１、近傍画素Ｉ７２、Ｉ７３、Ｉ７４に対する重み係数は、それぞれ１、０、１、０と定められる。これにより、基準画素ｉとの奥行値の差が少ない近傍画素ｊが重視される。他方、基準画素ｉとの奥行値の差が著しい近傍画素ｊが無視される。
＜第２の重み決定法＞重み決定部１０５は、近傍画素ｊに対応する奥行値ｐｊ（ｚ）と基準画素ｉに対応する奥行値ｐｉ（ｚ）の差分の絶対値Δｐｊ（ｚ）が大きいほど連続的に小さくなるように、近傍画素ｊ毎の重み係数ｗｊを定める。重み決定部１０５は、重み係数ｗｊを定めるために、例えば、式（２）を用いる。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、Δｐ（ｚ）ｍａｘは、当該補間画素に係る差分絶対値Δｐｊ（ｚ）の最大値である。従って、式（２）によれば、最大値Δｐ（ｚ）ｍａｘとなる近傍画素ｊについて重み係数ｗｊが０となり、基準画素について重み係数ｗｊが１となる。
＜第３の重み決定法＞重み決定部１０５は、奥行値に基づいて第２の重み決定法で決定した重み係数に対して、補間座標ｐｉ（ｘｙ）と近傍画素（ｊＸ，ｊＹ）の間の平面上の距離Δｐｊ（ｘｙ）を考慮した演算を行って重み係数ｗｊを決定する。添字（ｘｙ）は、水平方向（ｘ方向）及び垂直方向（ｙ方向）平面上の画素間の距離に係ることを表す。重み決定部１０５は、重み係数ｗｊを定めるために、例えば、式（３）を用いる。
Figure JPOXMLDOC01-appb-M000003
　式（３）において、Δｐ（ｘｙ）ｍａｘは、平面上の距離Δｐｊ（ｘｙ）の最大値である。従って、式（３）によれば、最大値Δｐ（ｘｙ）ｍａｘとなる近傍画素ｊについて重み係数ｗｊが０となり、基準画素ｊについて重み係数ｗｊが最大になる。このように、重み係数ｗｊは、更に距離Δｐｊ（ｘｙ）の増加に対して線形に小さくなるように決定される。
＜第４の重み決定法＞重み決定部１０５は、近傍画素ｊに対応する奥行値ｐｊ（ｚ）の３次元空間における奥行座標Ｚｊと、基準画素ｉに対応する奥行値ｐｉ（ｚ）の３次元空間における奥行座標Ｚｉの間の距離Δｄｊ（ｚ）に基づいて重み係数ｗｊを決定する。
ここで、重み決定部１０５は、奥行情報に含まれる奥行値を参照して近傍画素の中心座標ｊを、例えば式（４）を用いて奥行座標Ｚｊに変換する。
Figure JPOXMLDOC01-appb-M000004
　式（４）において、奥行座標Ｚｉは、撮影装置の設置位置を原点として光学軸の方向を奥行方向とする座標である。Ｂは、基線長、即ち２台の撮影装置間の距離を表す。ｑは、撮影装置が備える撮像素子の画素ピッチを表す。ｆは、撮影装置の焦点距離を表す。即ち、式（４）を用いて求められた奥行方向の座標値Ｚｊは、焦点距離に基線長を乗じた値を奥行値で除した値である。
重み決定部１０５は、重み係数ｗｊを定めるために、例えば、式（５）を用いる。
Figure JPOXMLDOC01-appb-M000005
　式（５）において、Δｄ（ｚ）ｍａｘは、距離Δｄｊ（ｚ）の最大値である。従って、式（５）によれば、最大値Δｄ（ｚ）ｍａｘとなる近傍画素ｊについて重み係数ｗｊが０となり、基準画素について重み係数ｗｊが１となる。この重み決定法によれば、画素ピッチｑ、焦点距離ｆ、基線長Ｂが補間パラメータに含まれる。
　なお、第３の重み決定法と同様に、平面上の距離Δｐｊ（ｘｙ）を考慮して、更に（１－Δｐｊ（ｘｙ）／Δｐ（ｘｙ）ｍａｘ）を乗じて重み係数ｗｊを決定してもよい。
＜第５の重み決定法＞重み決定部１０５は、基準画素ｉの中心座標に対応する３次元位置ｐｊ（ｘｙｚ）と近傍座標ｊの中心座標に対応する３次元位置ｐｉ（ｘｙｚ）の間の距離Δｄｊ（ｘｙｚ）を考慮して重み係数ｗｊを決定する。ここで、添字（ｘｙｚ）は、３次元座標に係ることを表す。
　ここで、重み決定部１０５は、奥行情報に含まれる奥行値を参照して近傍画素の中心座標ｊを、例えば式（６）を用いて３次元位置ｐｊ（ｘｙｚ）に変換する。
Figure JPOXMLDOC01-appb-M000006
　式（６）において、（Ｘｊ，Ｙｊ，Ｚｊ）は、撮影装置の設置位置（光学系の焦点、即ち視点）を基準とした被写体空間内の３次元位置ｐｊ（ｘｙｚ）を表す。Ｘｊ、Ｙｊ、Ｚｊは、それぞれ水平方向の座標値、垂直方向の座標値、奥行方向の座標値を表す。即ち、式（６）を用いて求められた水平方向の座標値、垂直方向の座標値は、それぞれ撮影装置における画素の座標値に、基線長を乗じた値に奥行値で除した値である。
重み決定部１０５は、重み係数ｗｊを定めるために、例えば、式（７）を用いる。
Figure JPOXMLDOC01-appb-M000007
　式（７）において、Δｄ（ｘｙｚ）ｍａｘは、距離Δｄｊ（ｘｙｚ）の最大値である。
　この重み決定法によれば、画素ピッチｑ、焦点距離ｆ、基線長Ｂが補間パラメータに含まれる。従って、式（７）によれば、最大値Δｄ（ｘｙｚ）ｍａｘとなる近傍画素ｊについて重み係数ｗｊが０となり、基準画素ｊについて重み係数ｗｊが最大になる。このように、重み係数ｗｊは、３次元空間内の距離Δｄｊ（ｘｙｚ）の増加に対して線形に小さくなるように決定される。
　次に、ある奥行ブロックに対し重み係数ｗｊを定める場合について、第２の重み決定法を用いる場合と、第４の重み決定法を用いる場合を例にとって比較する。
　図８は、奥行ブロックと補間座標の一例を表す図である。
　図８は、奥行ブロックＩ８１を表す。奥行ブロックＩ８１は、水平方向３画素、垂直方向３画素、計９画素を含む。左から２段目、最上行の画素は、近傍画素Ｉ８２を表す。左から３段目、最上行の画素は、近傍画素Ｉ８３を表す。左から２段目、上から２行目の画素が近傍画素Ｉ８４を表す。左から３段目、上から３行目の画素は、近傍画素Ｉ８５を表す。近傍画素Ｉ８５に含まれる×印は、補間画素Ｉ８６を表す。従って、近傍画素Ｉ８５が基準画素である。近傍画素Ｉ８２、Ｉ８３、Ｉ８４、Ｉ８５の奥行値は、１、１、３、５となる。
　第２の重み決定法を用いる際に算出される差分絶対値Δｐｊ（ｚ）は、近傍画素Ｉ８２、Ｉ８３、Ｉ８４、Ｉ８５各々について、２、２、０、２となる。式（２）を用いた場合、重み係数ｗｊは、差分絶対値Δｐｊ（ｚ）が最小となる近傍画素Ｉ８４について最大となる。これに対し、差分絶対値Δｐｊ（ｚ）が互いに等しい、近傍画素Ｉ８２、Ｉ８３及びＩ８５については互いに等しくなる。
　これに対し、第４の重み決定法では、例えば、式（４）を用いて奥行値ｐｊ（ｚ）を奥行座標Ｚｊに変換する。ここで、式（４）で表される奥行値と奥行座標の関係の一例を示す。
　図９は、奥行値ｐｊ（ｚ）と奥行座標Ｚｊの関係の一例を表す概念図である。
　図９によれば、奥行座標Ｚｊが増加するに従って、奥行値ｐｊ（ｚ）は単調に減少する。また、奥行座標Ｚｊが増加するに従って、奥行値ｐｊ（ｚ）の減少率も単調に減少する。例えば、奥行値が５と３の場合の奥行座標の差である距離Δｄｊ（ｚ）よりも、奥行値が３から１に減少するときの奥行座標の距離Δｄｊ（ｚ）の方が大きくなる。
　従って、近傍画素Ｉ８２及びＩ８３よりも近傍画素Ｉ８５の方が、奥行座標の距離Δｄｊ（ｚ）が短くなる。そのため、近傍画素Ｉ８２及びＩ８３よりも被写体空間上の距離が短い近傍画素Ｉ８５の方が、重み係数ｗｊが大きくなる。このように、第４の重み決定法によれば、被写体空間上の距離を考慮して近傍画素毎の重み係数ｗｊを決定することができる。
　次に、平面画像補間部１０７が補間座標に対する信号値を算出する処理について説明する。
　平面画像補間部１０７は、重み決定部１０５から入力された重み係数ｗｊを用いて近傍画素ｊの信号値ｖｊを重み付け加算して補間座標ｉに対する信号値ｖｉを算出する。平面画像補間部１０７は、重み付け加算において、例えば式（８）を用いる。
Figure JPOXMLDOC01-appb-M000008
　式（８）において、総和記号Σｊは、補間座標ｉ毎の全ての近傍画素ｊにわたる総和を表す。Ｗは、全ての近傍画素ｊにわたる重み係数ｗｊの総和を表す。即ち、式（８）は、Ｗを用いて重み係数ｗｊを正規化することを表す。
　次に、本実施形態によって生成された補間画像信号について説明する。
　図１０は、補間画像ブロックの一例Ｉ１０１を表す図である。
　図１０は、補間画像ブロックＩ１０１を表す。補間画像ブロックＩ１０１に含まれる１００個（水平方向１０個×垂直方向１０個）の矩形は、それぞれ補間画素が占める領域を表す。各矩形に含まれる２００等の数字は、その画素に対応する信号値を示す。各矩形は、信号値が大きくなるほど明るい色で塗りつぶされている。補間画像ブロックＩ１０１の表示領域は、画像ブロックＩ２２（図６参照）の表示領域と同一である。
　補間画像ブロックＩ１０１は、上述の第２の重み決定法を用いて定めた重み係数ｗｊを用いて算出した補間画素毎の信号値を含む。ここで、左から第３段目から第６段目までの信号値は、それぞれ２００、２００、１００、１００である。画像ブロックＩ２２（図６参照）の同一の表示領域における信号値２００、１００と同様である。
　これに対し、従来技術を用いて生成した補間画像信号について説明する。
　図１１は、補間画像ブロックのその他の例Ｉ１１１を表す拡大図である。
　図１１は、補間画像ブロックＩ１１１を表す。補間画像ブロックＩ１１１に含まれる補間画素の配置は、補間画像ブロックＩ１０１（図１０参照）に含まれる補間画素の配置と同一である。補間画像ブロックＩ１１１の表示領域も、補間画像ブロックＩ１０１の表示領域と同一である。補間画像ブロックＩ１０１は、従来技術の一例として共一次内挿法を用いて定めた重み係数ｗｊを用いて算出した補間画素毎の信号値を含む。
左から第３段目から第６段目までの信号値は、それぞれ２００、１７５、１２５、１００である。これらの信号値は、画像ブロックＩ１０１の同一の表示領域における信号値２００、２００、１００、１００よりもなだらかである。
従って、本実施形態によれば、信号値の変化が急激なエッジが維持され、エッジが不明瞭になる現象（ぼやけ）が回避される。
　なお、上述の共一次内挿法では、補間画素ｉの信号値ｖｉは、例えば、式（９）を用いて算出される。
Figure JPOXMLDOC01-appb-M000009
　式（９）において、（ｉｘ，ｉｙ）は、４つの原画素の中心座標のうち、最も原点に近接する中心座標である。信号値ｖｉｘ，ｉｙ、ｖｉｘ，ｉｙ＋１、ｖｉｘ＋１，ｉｙ、ｖｉｘ＋１，ｉｙ＋１は、補間画素ｉ周囲に隣接する４つの原画素（周囲画素）の信号値を表す。なお、式（９）は、ｋ、ｌがともに正の値である場合（式（１）参照）に用いる数式である。
ここで、信号値ｖｉｘ，ｉｙに対する重み係数の分母（２Ｎ－ｋ）・（２Ｎ－ｌ）は、補間画素ｉから中心座標（ｉｘ，ｉｙ）とは反対側の中心座標（ｉｘ＋１，ｉｙ＋１）への水平方向の長さ２Ｎ－ｋと垂直方向の長さ２Ｎ－ｌの積である。他の信号値についても、重み係数は、補間画素ｉから各中心座標とは反対側の中心座標までの水平方向の長さと垂直方向の長さによる面積に比例する値である。
なお、ｋ又はｌのいずれかが負の値である場合、用いられる周囲画素が異なるが、同様な観点で定められた重み係数を用いて重み付け加算を行うことができる。
このように、本実施形態によれば、画素間の補間座標に係る信号値を、前記補間座標から予め定めた範囲内の各近傍に対応する信号値を補間する。ここで、本実施形態では、補間座標に最も近接する基準画像の奥行値と補間画素から予め定めた範囲内の各近傍画素の奥行値に基づいて重み係数を定め、定めた重み係数を用いて各近傍画素の信号値を補間する。これにより、補間画素として被写体の奥行方向の距離の変化に応じた信号値が与えられる。本実施形態によれば、特に、エッジが不明瞭になる現象が回避され、補間画像の画質劣化を低減できる。
（第２の実施形態）
　以下、図面を参照しながら本発明の第２の実施形態について説明する。
　図１２は、本実施形態に係る画像処理装置２０の構成を表す概略図である。
　画像処理装置２０は、平面画像入力部１０１、奥行情報入力部１０２、入力平面画像記憶部１０３、入力奥行情報記憶部１０４、重み決定部２０５、パラメータ記憶部１０６、平面画像補間部１０７、奥行情報補間部１０８、補間平面画像記憶部１０９、補間奥行情報記憶部１１０、平面画像出力部１１１及び奥行情報出力部１１２を含んで構成される。
　即ち、画像処理装置２０は、重み決定部１０５（図１参照）の代わりに重み決定部２０５を備える。画像処理装置２０は、その他の構成部については画像処理装置１０（図１参照）と同様である。以下、画像処理装置１０との差異を主に説明する。
　重み決定部２０５は、入力平面画像記憶部１０３から平面画像信号を読み出し、入力奥行情報記憶部１０４から奥行情報を読み出す。重み決定部１０５は、パラメータ記憶部１０６から補間パラメータを読み出す。重み決定部２０５は、補間奥行情報記憶部１１０から補間奥行情報を読み出す。
　重み決定部２０５は、補間画素に対応する奥行値と、各近傍画素が占める領域に含まれる他の補間画素に対応する奥行値との差分絶対値に基づいて、各近傍画素に対する重み係数ｗｊを定める。
　重み決定部２０５は、例えば、補間画素に対応する奥行値との差分絶対値が予め定めた値（例えば２）よりも小さくなる他の補間画素を含む近傍画素ｊについて重み係数ｗｊを１と定める。重み決定部２０５は、補間画素に対応する奥行値との差分絶対値が予め定めた値（例えば２）よりも小さくなる他の補間画素を含まない近傍画素ｊについて重み係数ｗｊを０と定める。
　かかる処理について、奥行ブロックが与えられている場合を例にとって説明する。
　図１３は、奥行ブロックのその他の例Ｉ１３１を表す図である。
　図１３は、奥行ブロックＩ１３１を表す。奥行ブロックＩ１３１に含まれる２５個（水平方向５個×垂直方向５個）の矩形は、それぞれ原画素が占める領域を表す。各矩形に含まれる０等の数字は、その画素に対応する奥行値を示す。各四角形は、奥行値が大きくなるほど明るい色で塗りつぶされている。左から３段目、上から３行目の画素に含まれる×印は、補間座標Ｉ１３６を表す。
　図１４は、補間奥行ブロックの一例Ｉ１４１を表す図である。
　図１４は、補間奥行ブロックＩ１４１を表す。補間奥行ブロックは、奥行画像の一部の領域に含まれる複数の補間座標の各々について補間された奥行値が与えられた情報である。補間奥行ブロックＩ１４１に含まれる１００個（水平方向１０個×垂直方向１０個）の四角形は、補間画素が占める領域を表す。各矩形に含まれる０等の数字は、その補間画素に対応する奥行値を示す。
補間奥行ブロックＩ１４１は、奥行情報補間部１０８が共一次内挿法を用いて生成した補間奥行情報の一部であって、奥行ブロックＩ１３１の表示領域と同一である部分である。
補間奥行ブロックＩ１４１の左から６段目、上から６行目の補間画素に含まれる×印は、補間画像Ｉ１３６を表し、その補間画素の中心座標である。
補間奥行ブロックＩ１４１の左から５～６段目、上から５～６行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４２、左から７～８段目、上から５～６行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４３、左から５～６段目、上から７～８行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４４、左から７～８段目、上から７～８行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４５を表す。
近傍画素Ｉ１４２に含まれる４つの補間画素の奥行値は、０、１、１、４であり、注目する補間画素の奥行値４を含む。近傍画素Ｉ１４３に含まれる４つの補間画素の奥行値は、５、８、８、１０であり、注目する補間画素の奥行値４との差分絶対値が２よりも小さい奥行値５を含む。近傍画素Ｉ１４４に含まれる４つの補間画素の奥行値は、５、８、８、１０であり、注目する補間画素の奥行値４との差分絶対値が２よりも小さい５を含む。近傍画素Ｉ１４５に含まれる４つの補間画素の奥行値は、９、１０、１０、１０であり、注目する補間画素の奥行値４との差分絶対値が２よりも小さい奥行値を含まない。
従って、重み決定部２０５は、近傍画素Ｉ１４２、Ｉ１４３、Ｉ１４４の重み係数ｗｊをそれぞれ１と決定する。重み決定部２０５は、近傍画素Ｉ１４５に対応する重み係数ｗｊを０と決定する。
図１５は、画像ブロックのその他の例Ｉ１５１を表す図である。
図１５は、画像ブロックＩ１５１を表す。画像ブロックＩ１５１は、奥行ブロックＩ１３１に対応する画像ブロックである。
画像ブロックＩ１５１に含まれる２５個（水平方向５個×垂直方向５個）の矩形は、それぞれ原画素が占める領域を表す。各矩形に含まれる１００等の数字は、その画素に対応する信号値を示す。画像ブロックＩ１５１の右上端から左下端への対角線上の画素の信号値は５０である。この対角線よりも左上の画素の信号値は１００である。この対角線よりも右下の画素の信号値は０である。このように画像ブロックＩ１５１は、水平方向又は垂直方向から離れた方向に向いているエッジ部分を有する。
左から３段目、上から３行目の画素に含まれる×印は、補間座標Ｉ１３６を表す。
補間座標Ｉ１３６を含む領域を占める画素が近傍画素Ｉ１４２である。近傍画素Ｉ１４２の右隣の画素が近傍画素Ｉ１４３である。近傍画素Ｉ１４２の下隣の画素が近傍画素Ｉ１４４である。近傍画素Ｉ１４４の右隣の画素が近傍画素Ｉ１４５である。
図１６は、平面画像の一例Ｉ２１を示すその他の図である。
図１６は、平面画像Ｉ２１を表す。画像ブロックＩ１５１は、平面画像Ｉ２１が表す人物Ｉ－ＰＩの頭部の左上部に表された矩形が占める部分の画像を表す。
　次に、本実施形態によって生成された補間画像信号について説明する。
　図１７は、補間画像ブロックのその他の例Ｉ１７１を表す拡大図である。
　図１７は、補間画像ブロックＩ１７１を表す。補間画像ブロックＩ１７１に含まれる１００個（水平方向１０個×垂直方向１０個）の矩形は、それぞれ補間画素が占める領域を表す。各矩形に含まれる１００等の数字は、その画素に対応する信号値を示す。補間画像ブロックＩ１７１の表示領域は、画像ブロックＩ１５１（図１５参照）の表示領域と同一である。
　補間画像ブロックＩ１７１は、平面画像補間部１０７が、重み決定部２０５が定めた重み係数ｗｊを用いて算出した補間画素毎の信号値を含む。例えば、上から第３行目の左から第５段目から第１０段目までの信号値は、それぞれ１００、８７、８７、６６、３３、０である。
　これに対し、従来技術を用いて生成した補間画像信号の２つの例について説明する。
　図１８は、補間画像ブロックのその他の例Ｉ１８１を表す図である。
　図１８は、補間画像ブロックＩ１８１を表す。補間画像ブロックＩ１８１に含まれる補間画素の配置は、補間画像ブロックＩ１７１（図１７参照）に含まれる補間画素の配置と同一である。補間画像ブロックＩ１８１の表示領域も、補間画像ブロックＩ１７１の表示領域と同一である。補間画像ブロックＩ１８１は、従来技術の一例として最近接内挿法を用いて算出した補間画素毎の信号値を含む。
例えば、上から第３行目の左から第５段目から第１０段目までの信号値は、それぞれ１００、１００、５０、５０、０、０である。
これらの信号値は、原画像の画像ブロックＩ１５１の同一の表示領域における信号値１００、５０、０と同一であり、エッジが階段状に表れることを示す。
従って、本実施形態によれば、エッジが階段状に現れる現象（ジャギー）が緩和される。
図１９は、補間画像ブロックのその他の例Ｉ１９１を表す図である。
　図１９は、補間画像ブロックＩ１９１を表す。補間画像ブロックＩ１９１に含まれる補間画素の配置は、補間画像ブロックＩ１７１（図１７参照）に含まれる補間画素の配置と同一である。補間画像ブロックＩ１９１の表示領域も、補間画像ブロックＩ１７１の表示領域と同一である。補間画像ブロックＩ１９１は、従来技術の一例として共一次内挿法を用いて算出した補間画素毎の信号値を含む。
例えば、上から第３行目の左から第５段目から第１０段目までの信号値は、それぞれ１００、９０、７１、５０、２５、９である。
これらの信号値は、補間画像ブロックＩ１７１の同一の表示領域における信号値よりも緩やかに変化している。
従って、本実施形態によれば、エッジの信号値が緩やかに変化する現象（ぼやけ）が緩和される。
重み決定部２０５は、上述の第２の重み決定法又は第４の重み決定法において、基準画素ｉに対応する奥行値ｐｉ（ｚ）の代わりに、補間画素に対応する奥行値を用いてもよい。上述の第２の重み決定法や第４の重み決定法では、奥行値に対応する平面上の座標の誤差が、画素ピッチの半分だけ生じうる。しかし、補間画素に対応する奥行値を用いることで、かかる誤差を低減することができる。これにより、高解像度化に伴う画質の向上を発揮することができる。
このように、本実施形態によれば、補間画素から予め定めた範囲内の各近傍画素に含まれる補間座標毎の奥行値に基づいて重み係数を定め、定めた重み係数を用いて各近傍画素の信号値を補間する。これにより、被写体の奥行方向の距離に対する信号値がより高精度になる。本実施形態によれば、特に、水平方向又は垂直方向から離れた方向に向いたエッジが階段状に表れる現象（ジャギー）や、エッジがなだらかになる現象（ぼやけ）が緩和される。これにより補間画像の画質劣化を低減できる。
（第３の実施形態）
　以下、図面を参照しながら本発明の第３の実施形態について説明する。
　図２０は、本実施形態に係る撮像装置３０の構成を表す概略図である。
　撮像装置３０は、２個の撮像部３１、３２、奥行情報生成部３３及び画像処理部３４を含んで構成される。
　撮像部３１、３２は、互いに異なる位置（視点）に設置され同一の視野に含まれる被写体の画像を予め定めたフレーム時間間隔で撮影する。撮像部３１、３２は、例えば、この両者が一体化されたステレオカメラであってもよい。撮像部３１、３２が撮影した画像を示す画像信号は、各々二次元平面に配置された画素毎の信号値からなる画像信号である。　撮像部３１、３２は、撮影した画像を示す画像信号を、それぞれ奥行情報生成部３３にフレーム毎に出力する。
奥行情報生成部３３は、撮像部３１、３２のいずれか一方、例えば撮像部３１から入力された画像信号を、基準とする画像信号（平面画像信号）と定める。
奥行情報生成部３３は、平面画像信号が表す画像と、他方の撮像部３２から入力された画像信号が表す画像との視差を画素毎に算出し、算出した視差値を奥行値として含む奥行情報を生成する。奥行情報生成部３３は、視差値を算出するために、例えば、ブロックマッチング法を用いる。
画像前置処理部２１は、平面画像信号と生成した奥行情報を画像処理部３４に出力する。
　画像処理部３４は、画像前置処理部２１から入力された平面画像信号と奥行情報に基づいて、補間平面画像信号及び補間奥行情報を生成する。画像処理部３４は、画像処理装置１０（図１参照）又は画像処理装置２０（図１２参照）と同様な構成を備える。画像処理部３４は、生成した補間平面画像信号及び補間奥行情報を撮像装置３０の外部に出力する。
従って、本実施形態によれば、撮像部３１、３２が撮像した画像信号よりも解像度が高い補間平面画像信号を取得することができ、この補間平面画像信号が表す画像の画質劣化を低減することができる。
（第４の実施形態）
　以下、図面を参照しながら本発明の第４の実施形態について説明する。
　図２１は、本実施形態に係る画像表示装置４０の構成を表す概略図である。
　画像表示装置４０は、画像処理部４１及び画像表示部４２を含んで構成される。
画像処理部４１には、画像表示装置４０の外部から平面画像信号と奥行情報が入力される。画像処理部４１に左画像の平面画像信号と右画像の平面画像信号とそれぞれに対応する奥行情報が入力された場合は、画像処理部４１は、左右それぞれの平面画像信号と奥行情報に基づいて、左右それぞれの補間平面画像信号及び補間奥行情報を生成する。画像処理部４１に平面画像信号と奥行情報が入力される場合は、入力された平面画像信号を左画像信号と定め、左画像の補間平面画像信号と補間奥行情報を生成する。そして、生成した左画像の補間平面画像信号と補間奥行情報に基づいて右画像信号を生成する。ここで、画像処理部４１は、左画像の補間平面画像信号に含まれる画素毎の信号値を、対応する画素の奥行値であって補間奥行情報に含まれる奥行値が表す視差量だけ離れた位置の画素に配置して右画像の補間平面画像信号を生成する。
画像処理部４１は、画像処理装置１０（図１参照）又は画像処理装置２０（図１２参照）と同様な構成を備える。
画像表示部４２は、画像処理部４１から入力された補間平面画像信号及び補間奥行情報が表す立体画像を表示する。
画像表示部４２は、例えば、視聴者の左眼に表示する左画像と右眼に表示する右画像を表示する２視点の立体ディスプレイ（ステレオディスプレイ）又はプロジェクタ（ステレオプロジェクタ）である。
画像表示部４２は、例えば、左画像信号が表す画像と右表示画像信号が表す画像をフレーム時間間隔の半分の時間間隔で（例えば、１／６０秒）交互にスクリーンに表示するプロジェクタである。視聴者は、この時間間隔に同期させて視聴者の左右各眼に光線を透過するか否かを制御することができるシャッター（例えば、液晶シャッター）を備えた立体視用眼鏡を用いて立体画像を視聴する。
画像表示部４２は、その他、左画像信号が表す画像と右画像信号が表す画像を互いに異なる偏光特性でスクリーンに表示するプロジェクタであってもよい。視聴者は、左画像信号に対する偏光特性に対応した偏光フィルタを左眼レンズに備え、右画像信号に対する偏光特性に対応した偏光フィルタを右眼レンズに備えた立体視用眼鏡を用いて立体画像を視聴する。
画像表示部４２は、その他、左画像信号が表す画像と右画像信号が表す画像の上下方向に長い画像帯を交互に表示する表示面と、その前面を上下方向に延伸されたスリットを備えた視差バリア方式のディスプレイであってもよい。また、画像表示部４２は、その表示面と、その前面を上下方向に延伸された凸レンズ（レンティキュラレンズ）を備えたレンティキュラ方式のディスプレイであってもよい。
なお、本実施形態に係る画像表示装置は、上述の画像表示装置４０のように立体画像表示装置に限らず、例えば、平面画像表示装置であってもよい。図２２は、本発明の第４の実施形態の一変形例に係る画像表示装置５０の構成を表す概略図である。画像表示装置５０は、画像表示装置４０の画像表示部４２の代わりに画像表示部５２を備える。画像表示部４２は、画像処理部４１から入力された補間平面画像信号が表す平面画像を表示する。
従って、本実施形態によれば、入力された平面画像信号よりも解像度が高い補間平面画像信号、例えば画像表示部の解像度に合わせた補間平面画像信号を得ることができる。本実施形態によれば、この補間平面画像信号が表す画像の画質劣化を低減することができる。
上述した実施形態では、補間倍率が２である場合を例にとって説明したが、本実施形態ではこれには限られない。本実施形態では、補間倍率は、１より大きな倍率、例えば３であってもよい。
上述した実施形態では、平面画像補間部１０７が、重み決定部１０５、２０５から入力された重み係数ｗｊの総和Ｗを算出し、算出した総和Ｗで信号値ｖｊを重み付け加算した値を除算して正規化する場合を例にとって説明した。本実施形態では、これには限られない。本実施形態では、重み決定部１０５、２０５は、総和Ｗが１になるように正規化した重み係数ｗｊを定め、平面画像補間部１０７が、その正規化した重み係数ｗｊを用いて信号値ｖｊを重み付け加算してもよい。その場合、平面画像補間部１０７は、総和Ｗで除算する処理を省略してもよい。
　上述の撮像装置３０は、２つの視点の各々に設置された撮像部を用いて２視点の立体画像を撮像する場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、２視点よりも視点数が多い多視点の立体画像を撮像してもよい。ここで、撮像した多視点の画像信号から、1つの視点の画像信号と、その1つの視点と他の視点との関係を表す奥行情報を生成することができればよい。
　上述の撮像装置３０は、補間平面画像信号と補間奥行情報を外部に出力する場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、撮像装置３０は、生成した補間平面画像信号と補間奥行情報を対応付けて記憶する記憶部を備えてもよい。また、本実施形態では、撮像装置３０は、生成した補間平面画像信号と補間奥行情報に基づく立体画像を表示する表示部を備えてもよい。
　上述の画像表示装置４０は、２視点の立体画像を表示する場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、２視点よりも視点数が多い多視点の立体画像を表示してもよい。多視点の画像信号は、少ないとも1つの視点の画像信号と、その1つの視点と他の視点との関係を表す奥行情報を用いて生成することができる。
また、上述の画像表示装置４０は、生成した補間平面画像信号と補間奥行情報を対応付けて記憶する記憶部を備えていてもよい。
　なお、上述した実施形態における画像処理装置１０、２０、撮像装置３０及び画像表示装置４０の一部、例えば、重み決定部１０５、２０６、平面画像補間部１０７、奥行情報補間部１０９、奥行情報生成部３３、及び画像処理部３４、４１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像処理装置１０、２０、撮像装置３０又は画像表示装置４０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　また、上述した実施形態における画像処理装置１０、２０、撮像装置３０及び画像表示装置４０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像処理装置１０、２０、撮像装置３０及び画像表示装置４０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
１０、２０…画像処理装置、
１０１…平面画像入力部、
１０２…奥行情報入力部、
１０３…入力平面画像記憶部、
１０４…入力奥行情報記憶部、
１０５、２０５…重み決定部、
１０６…パラメータ記憶部、
１０７…平面画像補間部、
１０８…奥行情報補間部、
１０９…補間平面画像記憶部、
１１０…補間奥行情報記憶部、
１１１…平面画像出力部、
１１２…奥行情報出力部
３０…撮像装置、
３１、３２…撮像部、
３３…奥行情報生成部、
３４…画像処理部、
４０、５０…画像表示装置、
４１…画像処理部、
４２、５２…画像表示部

Claims (10)

  1. 　平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、
    　前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、
    　前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、
    を備えること
    　を特徴とする画像処理装置。
  2. 　前記重み決定部は、
    前記基準画素の奥行値が表す奥行方向の距離と、前記近傍画素の奥行値が表す奥行方向距離との差に基づいて、前記重み係数を定めることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記重み決定部は、
    前記基準画素の平面画像上の位置と奥行値が表す３次元位置と、前記近傍画素の平面画像上の位置と奥行値が表す３次元位置との距離の差に基づいて、前記重み係数を定めることを特徴とする請求項１に記載の画像処理装置。
  4. 　前記重み決定部は、
    前記基準画素から前記補間座標までの前記平面上の距離に基づいて、前記重み係数を定めることを特徴とする請求項２に記載の画像処理装置。
  5. 前記補間座標の奥行値を、前記近傍画素の奥行値を補間して算出する奥行情報補間部を備え、
    前記重み決定部は、
    前記補間座標の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、を備えることを特徴とする請求項１に記載の画像処理装置。
  6. 前記重み決定部は、
    前記補間座標の奥行値と前記近傍画素の領域に含まれる他の補間座標の奥行値の差に基づいて、前記補間に用いる重み係数を定めることを特徴とする請求項５に記載の画像処理装置。
  7. 　画像処理装置における画像処理方法であって、
    前記画像処理装置が、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する過程と、
    前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する過程と、
    前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める過程とを有すること
    　を特徴とする画像処理方法。
  8. 　画像処理装置のコンピュータに、
    平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する手順、
    　前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する手順、
    　前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める手順
    　を実行させるための画像処理プログラム。
  9. 　各々異なる視点から画像を撮像する複数の撮像部と、
    前記複数の撮像部が各々撮像した画像に含まれる画素であって、平面上に配置された画素の信号値に基づいて画素に対応する奥行値を含む奥行情報を生成する奥行情報生成部と、
    　前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、
    　前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部とを備えること
    　を特徴とする撮像装置。
  10. 平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、
    　前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、
    　前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、
    　前記補間座標の信号値を含む補間平面画像信号が表す画像を表示する表示部とを備えること
    　を特徴とする画像表示装置。
PCT/JP2013/050146 2012-01-10 2013-01-09 画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置 WO2013105562A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/371,011 US10506177B2 (en) 2012-01-10 2013-01-09 Image processing device, image processing method, image processing program, image capture device, and image display device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012001792A JP5911166B2 (ja) 2012-01-10 2012-01-10 画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置
JP2012-001792 2012-01-10

Publications (1)

Publication Number Publication Date
WO2013105562A1 true WO2013105562A1 (ja) 2013-07-18

Family

ID=48781509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/050146 WO2013105562A1 (ja) 2012-01-10 2013-01-09 画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置

Country Status (3)

Country Link
US (1) US10506177B2 (ja)
JP (1) JP5911166B2 (ja)
WO (1) WO2013105562A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150146994A1 (en) * 2013-11-28 2015-05-28 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150037366A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
JP6544978B2 (ja) * 2015-04-15 2019-07-17 キヤノン株式会社 画像出力装置およびその制御方法、撮像装置、プログラム
KR102512828B1 (ko) * 2016-01-22 2023-03-22 삼성전자주식회사 이벤트 신호 처리 방법 및 장치
WO2017175441A1 (ja) * 2016-04-06 2017-10-12 ソニー株式会社 画像処理装置と画像処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000230809A (ja) * 1998-12-09 2000-08-22 Matsushita Electric Ind Co Ltd 距離データの補間方法，カラー画像階層化方法およびカラー画像階層化装置
JP2009032122A (ja) * 2007-07-27 2009-02-12 Hiroshima Industrial Promotion Organization 画像処理装置、画像処理方法およびプログラム
JP2010519627A (ja) * 2007-02-22 2010-06-03 トムテック イマジング システムズ ゲゼルシャフト ミットべシュレンクテル ハフツンク 三次元画像データセットを二次元画像で表現する方法及び装置
WO2010118989A1 (en) * 2009-04-15 2010-10-21 Mitsubishi Electric R&D Centre Europe B.V. Image region interpolation
JP2010251878A (ja) * 2009-04-13 2010-11-04 National Institute Of Information & Communication Technology 奥行推定装置、奥行推定方法および奥行推定プログラム
JP2011028641A (ja) * 2009-07-28 2011-02-10 Fujitsu Ltd 画像処理装置及び画像処理方法
WO2011033668A1 (ja) * 2009-09-18 2011-03-24 株式会社 東芝 視差画像生成装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459823B2 (en) * 1998-10-28 2002-10-01 Hewlett-Packard Company Apparatus and method of increasing scanner resolution
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
JP4843377B2 (ja) * 2006-05-18 2011-12-21 株式会社東芝 画像処理装置及び画像処理方法
JP4490987B2 (ja) * 2007-04-26 2010-06-30 株式会社東芝 高解像度化装置および方法
US20110157229A1 (en) * 2008-08-29 2011-06-30 Zefeng Ni View synthesis with heuristic view blending
DE102010020925B4 (de) * 2010-05-10 2014-02-27 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
EP4318277A3 (en) * 2010-09-30 2024-02-28 Samsung Electronics Co., Ltd. Method and device for interpolating images by using a smoothing interpolation filter
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2472880A1 (en) * 2010-12-28 2012-07-04 ST-Ericsson SA Method and device for generating an image view for 3D display
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000230809A (ja) * 1998-12-09 2000-08-22 Matsushita Electric Ind Co Ltd 距離データの補間方法，カラー画像階層化方法およびカラー画像階層化装置
JP2010519627A (ja) * 2007-02-22 2010-06-03 トムテック イマジング システムズ ゲゼルシャフト ミットべシュレンクテル ハフツンク 三次元画像データセットを二次元画像で表現する方法及び装置
JP2009032122A (ja) * 2007-07-27 2009-02-12 Hiroshima Industrial Promotion Organization 画像処理装置、画像処理方法およびプログラム
JP2010251878A (ja) * 2009-04-13 2010-11-04 National Institute Of Information & Communication Technology 奥行推定装置、奥行推定方法および奥行推定プログラム
WO2010118989A1 (en) * 2009-04-15 2010-10-21 Mitsubishi Electric R&D Centre Europe B.V. Image region interpolation
JP2011028641A (ja) * 2009-07-28 2011-02-10 Fujitsu Ltd 画像処理装置及び画像処理方法
WO2011033668A1 (ja) * 2009-09-18 2011-03-24 株式会社 東芝 視差画像生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NORISHIGE FUKUSHIMA ET AL.: "Fugoka no Tameno Omomi Tsuki Joint Bilateral Filter o Mochiita Okuyuki Gazo Chokaizo", PICTURE CODING SYMPOSIUM OF JAPAN DAI 26 KAI SYMPOSIUM SHIRYO, 26 October 2011 (2011-10-26), pages 19 - 20 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150146994A1 (en) * 2013-11-28 2015-05-28 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel
US10019810B2 (en) * 2013-11-28 2018-07-10 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel

Also Published As

Publication number Publication date
JP2013142948A (ja) 2013-07-22
US10506177B2 (en) 2019-12-10
US20150009286A1 (en) 2015-01-08
JP5911166B2 (ja) 2016-04-27

Similar Documents

Publication Publication Date Title
JP6094863B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
JP6021541B2 (ja) 画像処理装置及び方法
US7839446B2 (en) Image capturing apparatus and image display apparatus including imparting distortion to a captured image
US7609906B2 (en) Method and system for acquiring and displaying 3D light fields
EP3048787B1 (en) Image processing apparatus, image pickup apparatus, image processing method, program, and storage medium
WO2014083949A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
JP5984493B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
JP5911166B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置
JP5473173B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
RU2690757C1 (ru) Система синтеза промежуточных видов светового поля и способ ее функционирования
JP2011250125A (ja) 画像処理装置およびその方法
TWI498852B (zh) 深度圖產生裝置及其方法
WO2014083752A1 (ja) 別視点画像生成装置および別視点画像生成方法
JP2010034964A (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP2013038502A (ja) 画像処理装置、および画像処理方法、並びにプログラム
EP2847998B1 (en) Systems, methods, and computer program products for compound image demosaicing and warping
US20110032269A1 (en) Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
JP2013142948A5 (ja)
JP7429515B2 (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP2012095020A (ja) 画像信号処理装置、画像信号処理方法およびプログラム
JPWO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
JP7437941B2 (ja) 立体画像生成装置及びそのプログラム
JPWO2019082415A1 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、画像処理プログラムおよび記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13736268

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14371011

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13736268

Country of ref document: EP

Kind code of ref document: A1