WO2012046369A1 - 撮像装置、視差調整方法、半導体集積回路及びデジタルカメラ - Google Patents

撮像装置、視差調整方法、半導体集積回路及びデジタルカメラ Download PDF

Info

Publication number
WO2012046369A1
WO2012046369A1 PCT/JP2011/004064 JP2011004064W WO2012046369A1 WO 2012046369 A1 WO2012046369 A1 WO 2012046369A1 JP 2011004064 W JP2011004064 W JP 2011004064W WO 2012046369 A1 WO2012046369 A1 WO 2012046369A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
image
subject
imaging apparatus
motion
Prior art date
Application number
PCT/JP2011/004064
Other languages
English (en)
French (fr)
Inventor
義久 嶋津
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2012046369A1 publication Critical patent/WO2012046369A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Definitions

  • the present invention relates to an imaging apparatus having a plurality of optical systems, such as a stereoscopic camera that captures a stereoscopic image.
  • a stereoscopic imaging method using a compound-eye imaging device is known as a technique related to imaging of a stereoscopic image. This is one in which two imaging optical systems are arranged on the left and right sides at an interval given by the baseline length, and images are taken from two viewpoints, and the characteristics of the human eye are used.
  • the left and right eyes of a human have a predetermined distance, and the positions of subjects in the left and right eyes are different from each other.
  • This parallax can increase the feeling of popping out and retracting, and enjoy powerful images.
  • Patent Document 1 based on the motion vector of the video imaged by each of the left and right optical systems and the phase difference information between the left and right images, it is obtained from the difference between the detected phase difference and the past phase difference.
  • the motion information By adjusting the motion information and cutting out and outputting a part of the video captured by the left and right optical systems stored in the memory based on the adjusted motion information, there is no high parallax or vertical displacement. Technologies that enable stereoscopic viewing of quality have been proposed.
  • Patent Document 1 can correct a shift such as a parallax shift or camera shake, in a shooting scene in which each subject on the screen moves individually, the parallax suddenly exceeds a fusion limit of a certain subject. When such a change occurs, there is a problem that a feeling of fatigue is felt.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to adjust parallax according to the movement of a camera or a subject in an imaging apparatus that captures a stereoscopic image, thereby reducing headache and feeling of fatigue. It is to reduce.
  • an image pickup apparatus is an image pickup apparatus including two or more optical systems, and is provided in each of the optical systems and performs photoelectric conversion of light into an electric signal.
  • An element image processing means for performing predetermined processing on imaging data output from each optical system, motion detection means for detecting motion of an image obtained by the image processing means, and the image processing means.
  • An area setting means for setting a subject area in the obtained image, a parallax calculation means for calculating a parallax between the optical systems for each subject area set by the area setting means, and the area setting means.
  • a parallax adjusting unit that adjusts the parallax of each subject region based on the motion information obtained by the motion detecting unit and the parallax information by the parallax calculating unit for each set subject region.
  • the motion detection unit divides the block into a plurality of blocks and performs motion detection in units of blocks, and the motion vector in units of blocks and the motion of all blocks. A representative value of the vector is output.
  • the area setting unit includes a direction and an absolute value of a motion vector of each block based on a motion detection result of each block by the motion detection unit.
  • a region is set as one subject region with respect to a plurality of adjacent blocks that are similar to each other.
  • the region setting unit compares the image obtained by the image processing unit with feature information of a known subject, and compares the result. Based on the above, the matching pixel area is set as the subject area.
  • the parallax calculating unit compares pixels between the optical systems for each subject region in the image set by the region setting unit. Thus, the deviation in the vertical direction is calculated and corrected, and then the parallax is calculated.
  • the parallax calculating unit compares pixels between the optical systems for each subject region in the image set by the region setting unit. Thus, the parallax is calculated.
  • the parallax adjustment unit is configured to determine a parallax of each subject area based on a magnitude relationship between distances of the subject areas set by the area setting unit. It is characterized by adjusting the amount.
  • the parallax adjustment method is the parallax adjustment method in the imaging apparatus according to any one of the first to seventh aspects, wherein motion detection of an image obtained by the image processing means is performed.
  • a semiconductor integrated circuit including the imaging device according to any one of the first to seventh aspects.
  • a digital camera according to any one of the first to seventh aspects of the present invention, and an image encoding that performs compression encoding operation for image recording or decompression decoding for image reproduction.
  • the imaging apparatus of the present invention sets the subject area in the image by the area setting means, and adjusts and changes the calculated parallax for the subject area in the set image. Even when the subject is abrupt, headache and fatigue caused by a change in parallax caused by a sudden movement of the subject can be reduced.
  • the parallax change caused by the movement of the subject as well as the movement of the entire apparatus can be obtained by adjusting the parallax based on the amount of movement of each region in the shooting of the stereoscopic image. It is possible to reduce the cause of headache and fatigue.
  • FIG. 1 is a diagram illustrating a block configuration of the imaging apparatus according to the first embodiment.
  • FIG. 2 shows an example of template matching.
  • FIG. 2A shows a target image
  • FIG. 2B shows a reference image.
  • FIG. 3 shows an example of setting an area based on a motion vector.
  • FIG. 3A shows an image
  • FIG. 3B shows a set subject area.
  • FIG. 4 shows an example of region setting by feature extraction.
  • FIG. 4A shows a data flow of the region setting circuit using feature detection, and FIG. 4B uses a car shape pattern as feature information. It is a figure which shows the example which discriminate
  • FIG. 5 shows a conceptual example of parallax, and FIG.
  • FIG. 5A shows a relationship between the angle of view, the distance, the parallax, the convergence angle, etc. when the subject is imaged by two image sensors
  • FIG. FIG. 6 is a diagram simulating a screen image captured by each image sensor.
  • FIG. 6 shows a conceptual example of parallax adjustment
  • FIG. 6A shows the concept of parallax adjustment when the subject is pulled in by a change amount ⁇ L
  • FIG. 6B simulates a screen image by the parallax adjustment.
  • FIG. FIG. 7 is a control flowchart for parallax adjustment.
  • FIG. 8 is a control flowchart of the imaging apparatus.
  • FIG. 9 is a control flowchart of parallax adjustment using the relationship between regions.
  • FIG. 10 is a diagram illustrating a block configuration of a modified example of the imaging apparatus.
  • FIG. 11 is a diagram illustrating an application example to a digital camera.
  • FIG. 12 is a diagram illustrating a block configuration of an imaging apparatus according to the seventh embodiment.
  • FIG. 13A is a diagram illustrating an example of a method for processing imaging data with one processing system
  • FIG. 13B is a diagram illustrating another example of a method for processing imaging data with one processing system.
  • FIG. 1 shows a block diagram of the imaging apparatus of the present embodiment. Hereinafter, the configuration and functions will be described.
  • 101R and 101L are image sensors that convert an optical image of a photographed subject into an electrical signal, which is not limited to a CCD (Charge-Coupled Device), but other image sensors such as MOS (Metal-Oxide Silicon). May be used.
  • CCD Charge-Coupled Device
  • MOS Metal-Oxide Silicon
  • 102R and 102L are A / D converters
  • 103R and 103L are image processing circuits (image processing means)
  • 104R and 104L are motion detection circuits (motion detection means).
  • Reference numeral 105 denotes a parallax calculation circuit (parallax calculation means) that calculates a parallax amount from distance information between the LRs and image data obtained by the two imaging systems 100L and 100R.
  • 106R and 106L are area setting circuits (area setting means), which set one or more subject areas.
  • Reference numeral 107 denotes a parallax adjusting circuit (parallax adjusting means), which is configured to perform parallax on the image data of the image processing circuits 103L and 103R based on the left and right parallax by the parallax calculation circuit 105 and the motion information output from the motion detection circuits 104L and 104R. Adjust the amount and output.
  • parallax adjusting circuit parallax adjusting means
  • the imaging apparatus can be mounted as a single semiconductor integrated circuit (LSI) 108 for circuits other than the imaging systems 100L and 100R.
  • LSI semiconductor integrated circuit
  • Imaging system In the imaging systems 100R and 100L, the optical images of the subject obtained through the imaging lens are converted into electrical signals by the imaging elements 101R and 101L, respectively, and output to the A / D converters 102R and 102L.
  • analog electric signals obtained from the respective image sensors 101R and 101L are converted into digital signals.
  • Signals converted from analog to digital by the respective A / D converters 102R and 102L are applied to the respective image processing circuits 103R and 103L.
  • the A / D converter 102 may be mounted in the image sensor.
  • Each of the image processing circuits 103R and 103L generates an appropriate video signal (luminance / color difference) by processing the A / D converted electric signal (RAW data). Specifically, processing such as scratch correction processing, OB clamping processing, black level adjustment processing, white balance adjustment, gamma correction, color conversion processing, aperture correction, etc., on the RAW data obtained from the A / D converters 102R and 102L The digital signal processing such as the above is performed to generate a luminance color difference video signal (YC signal, YC data). The generated video signal is output to the motion detection circuits 104R and 104L, the parallax calculation circuit 105, and the parallax adjustment circuit 107.
  • the motion detection circuits 104R and 104L detect the amount of motion between frames (or fields) of images captured by the imaging systems 100R and 100L.
  • the input video signal of the current frame is divided into blocks of a predetermined size, template matching processing is performed between the video signal of the divided block and the video signal of the previous frame, and the correlation value peak Find the position where.
  • the template matching here refers to searching for a pixel block most similar to the pixel block in the reference image from other images by comparing two images. This will be described with reference to FIG. 2.
  • a block B1 in the target image in FIG. 2A and a block B2 having the same pixel shape in the reference image in FIG. Compare.
  • the pixel value B1 (x, y) for the coordinates (x, y) in the block B1 is compared with the pixel value B2 (x, y) for the coordinates (x, y) in the block B2 image.
  • the cut-out position of the block B2 is changed to B2 ′ (x + ⁇ x, y + ⁇ y), and B1 and B2 are similarly compared.
  • An approximation point is searched by repeating the comparison of the block B1 and the block B2 by changing the cutout position of B2 to a predetermined range.
  • Approximate points are calculated as follows, for example. First, a difference value between pixel values of the same coordinates in the block is taken and squared. The sum of squares of the difference values for wxh pixels is taken and held as an evaluation value E. Further, the cutout position of the block B2 is changed to B2 ′, the evaluation value E ′ is calculated in the same manner, the evaluation value after the cutout position change is compared with the stored evaluation value, and the evaluation after the change is made. If the value is smaller (E> E ′), the stored evaluation value is replaced. These operations are repeated up to a given range, and relative coordinates ( ⁇ x, ⁇ y) between the block B1 and the block B2 that take the minimum value of the evaluation value are obtained as a phase difference.
  • the difference between pixel values in a block is squared, but in order to reduce the number of operation steps, circuit scale, etc., the absolute values of the difference values are taken and summed.
  • the (sum of absolute differences) method may be used. Further, the processing amount may be reduced by sampling in a mesh pattern in units of pixels instead of all the pixels in the block.
  • the above processing is performed for each block, and the motion vector of each block is obtained. Then, the motion vector for each obtained block is calculated as a representative value MVL (X, Y), MVR (X, Y) of the motion vector of the current frame by taking a mode value or an average value, etc. Used as the total amount of movement.
  • the representative values of the motion vectors of the subject areas are grouped by blocks having substantially the same motion vectors, the motion vectors that are different from the representative values of the frames and that are common to the blocks may be used.
  • the output value and representative value of the motion vector of each block are output to the parallax adjustment circuit 107 in FIG.
  • the area setting circuits 106R and 106L set one or more subject areas based on YC data and the motion information of each block detected by the motion detection circuits 104R and 104L in the LR imaging systems 100R and 100L. To do.
  • each of the left and right imaging systems 100R and 100L it is compared with the representative value of the motion vector in each of the imaging systems 100R and 100L to calculate whether or not there is movement of the entire camera.
  • the representative value of the motion vector is compared with the value of the motion vector of each block, and if the motion vector of each block indicates a relatively different direction or is different from the absolute value of the motion vector representative value, the corresponding block Is labeled according to the motion vector value, and a group of labeled blocks having similar motion vectors in the vicinity is treated as one subject.
  • the image shown in FIG. 3A tends to generate a motion vector in the same direction with respect to the block including the subject vehicle, and as shown in FIG.
  • Corresponding blocks containing the same type of motion vector are grouped and set as a subject area.
  • the coordinates of the block unit when the upper left is set as the origin for the corresponding block set in the subject area are known, the coordinates of the blocks included in the subject area are held, and later processing is performed. What is necessary is just to use as area setting information.
  • an area setting method different from the above method will be described as an adjustment setting technique for the area setting circuits 106R and 106L.
  • the screen is divided into a plurality of blocks, and a plurality of adjacent blocks exhibiting substantially the same motion are grouped into one subject area from the motion detection result.
  • the subject area can be determined using feature detection such as pattern recognition.
  • FIG. 4A is a data flow of an area setting circuit using feature detection, in which image processing results are input in each LR imaging system, and feature information held in a ROM (Read Only Memory) or the like is read. If the input data is subjected to pre-processing necessary for pattern recognition, etc., the output data after the pre-processing is compared with the read feature information, and it is determined that the input data is similar to the feature information. Thus, it can be set as a detailed region reflecting the shape from the block unit of the method.
  • ROM Read Only Memory
  • FIG. 4B shows an example in which a region is selected by identifying a subject using a car shape pattern as feature information. If a large amount of feature information is prepared, the feature detection accuracy increases, and the region Setting accuracy can also be increased.
  • the parallax calculation circuit 105 is configured to output the output data of the image processing circuits 103R and 103L obtained by the imaging systems 100R and 100L with respect to the coordinates indicating the subject area in the screen set by the area setting circuits 106R and 106L. Is obtained as a parallax with reference to an image obtained by the imaging system 100L. As a calculation method, template matching may be performed on each subject area.
  • parallax is a difference in coordinate value (number of pixels) between one point in the reference left image and a corresponding point in the right image.
  • FIG. 5A is a diagram showing the relationship between the angle of view, the distance, the parallax, the convergence angle, etc., when the subject is imaged by two image sensors. ) Is a diagram simulating a screen image captured by each image sensor.
  • the distance L can be calculated by Expression (3). it can.
  • the amount of calculation can be reduced by performing the parallax calculation on the region selected by the region setting circuits 106R and 106L, compared to the case where the parallax calculation is performed on all the pixels on the screen. .
  • the parallax is generated depending on the width of the subject area.
  • the pixel parallax cannot be ignored in the subject area having a large convergence angle (nearly)
  • the subject The parallax may be calculated for all pixels in the region. In such a case, since the distance L is not large with respect to W in the relationship between the distance W between the imaging systems, the distance L, and the convergence angle ⁇ , the calculation is performed without performing approximation of Equation (1).
  • the vertical coordinate from the reference position is shifted in the vertical direction due to the effects of mounting errors and the like. There may be.
  • the phase difference may be calculated by shifting also in the vertical direction during template matching for parallax calculation.
  • the right optical system with respect to the vertical coordinate YL in the left optical system.
  • the vertical coordinate YR is moved to perform template matching, and the vertical phase difference between the left and right imaging systems is calculated.
  • the parallax is updated for each frame.
  • a sudden change in parallax may occur from frame to frame, and if the change in parallax occurs at a frequency exceeding the fusion limit of the left and right eyes, a feeling of fatigue is generated, so area setting If the parallax information for each subject area set by the circuits 106R and 106L is held and accumulated for a predetermined frame, and an average value for the predetermined frame is calculated and used as a parallax at the same time, It is possible to suppress the influence of a sudden change in parallax.
  • the parallax adjustment amount is set to ⁇ m
  • the movement amount of each subject area is associated with the parallax
  • the parallax adjustment amount is calculated.
  • the left and right image data may be shifted by ( ⁇ m / 2) pixels.
  • the threshold of the limit motion amount with respect to the number of horizontal and vertical pixels in the image between frames is determined in advance by the number of pixels or the ratio (percentage) to one horizontal line, and the motion amount between frames exceeds the limit motion amount.
  • a motion vector is held for each subject area for a predetermined frame.
  • a method of calculating the average value and adjusting the parallax ⁇ m in a direction in which the parallax per unit time is gradually increased until the time when both eyes can be sufficiently fused may be used.
  • the method is not limited to the above method.
  • the parallax adjustment amount calculation will be described with reference to the flowchart of FIG.
  • the motion vector calculated for the video data captured by the left and right imaging systems 100R and 100L and the amount of parallax for each region are used.
  • step S701 a subject area n is selected by the area setting circuits 106R and 106L for the imaging systems 100R and 100L. It is assumed that the total number N of areas on the screen is determined in advance before this parallax adjustment.
  • step S702 it is determined whether or not the amount of motion calculated by the motion detection circuits 104R and 104L is greater than a predetermined value as a reference for whether or not the eye fusion limit is exceeded for the subject area n. If it is larger than the value, the process moves to step S703, and if not, the process moves to step S706.
  • the predetermined amount of movement at the time of the comparison is not necessarily the same value, but is determined from a plurality of factors such as a relative relationship with the number of effective pixels of the entire screen and a distance to the subject.
  • step S703 a desired distance change amount is set for the subject area n, the parallax adjustment amount is calculated from the distance change amount, and the process proceeds to step S704.
  • step S704 the parallax is adjusted with respect to the target region n of the left and right images based on the parallax adjustment amount obtained in step S703. That is, based on Expression (4), adjustment is performed so that the left and right are moved to the left by ⁇ m / 2 pixels and to the right by ⁇ m / 2 pixels, respectively. After adjusting the parallax amount, the process proceeds to step S705.
  • step S705 after adjusting the parallax, the boundary of the region is corrected. This is because image data is moved during parallax adjustment, and therefore, pixel data at the boundary of the area after movement is lost from the image before movement. There are several methods for this correction. For example, if the right side is missing several pixels after adjusting the target area n for the left image, the right side of the paired right target area n This is a method of substituting several pixels at the boundary corresponding to the same position as the closest data.
  • the target coordinates on the right side of the substitution source can be uniquely determined because the parallax m and the adjustment amount ⁇ m for the left target pixel have already been calculated.
  • step S706 As another method, when the amount of motion between frames is large, the fact that the human eye is likely to pay attention to what is moving is used instead of copying data from the boundary portion before movement. A correction method may be used, and it may be applied appropriately depending on the situation such as movement. After boundary correction, the process moves to step S706.
  • the left and right imaging data is shifted by ⁇ m / 2 pixels at the time of parallax adjustment, but the left image is adjusted at the time of adjusting the parallax reduction direction. Since the left image is shifted to the left and the right image is shifted to the right, depending on the value of the number of processed pixels ⁇ m, if the predetermined number of pixels is exceeded, the pixel data necessary for recording or the like cannot be secured and data is lost. There are things to do. In this case, since the pixel shift (parallax m) of each of the left and right images is obtained by left and right template matching, complementation is performed as follows.
  • an imaging apparatus including two imaging systems 100R and 100L is described as an example, but three or more imaging systems may be provided.
  • step S801 vertical phase difference detection is performed by template matching on the data obtained by the image processing circuits 103R and 103L for the left and right LR imaging systems 100R and 100L. Move to S802.
  • step S802 the vertical phase difference is corrected, and the process proceeds to step S803.
  • step S803 the output data from the image processing circuits 104R and 104L is used to divide the image into a plurality of blocks, and the motion detection circuits 104R and 104L detect motion between frames for each block.
  • step S804 using the representative value of the motion vector information of each block obtained in step S803, the representative value of each block is compared with the motion vector of each block.
  • step S805 left and right parallaxes are detected for each subject region n by the template matching described above. Further, the distance L to the subject region is calculated based on the known distance W to the left and right LR, the angle of view P, and the number of horizontal pixels P described in FIG. 5 of the first embodiment.
  • step S806 a desired distance change amount for viewing is set for the parallax amount detected for each subject region n, and the parallax adjustment amount ⁇ m is calculated using Equation (4).
  • step S807 the left and right parallaxes are adjusted for the subject area n of each LR image data based on the left and right parallax adjustment amounts calculated in step S806.
  • step S808 it is determined whether or not the processing has been completed for all the areas N in the screen. If all the areas have been completed, the process ends. If any area remains, the area n is changed to the next area n + 1 in step S809. Updated to step S806, and right and left parallax adjustment is performed.
  • the relationship between the distance and the parallax is expressed as in Expression (3), and the parallax is collectively applied to a plurality of subject areas that are equidistant. To be adjusted.
  • the parallax of the two areas is the same, the sense of distance between the two subjects is related to each other, and the subjects with the same distance are adjusted to different parallax due to the difference in motion. This is a process for avoiding a sense of incongruity caused by a sense of distance that appears differently due to the fact that the subject cannot move right and left only for a subject that moves rapidly.
  • the data used in this processing are the motion vector calculated by the motion detection circuits 104R and 104L and the parallax calculation circuit 105 for the video data image-processed for the left and right imaging systems.
  • the amount of parallax for the subject area is used.
  • step S901 a subject area n is selected. It is assumed that the total number N of areas in the screen is determined in advance by area setting before the parallax adjustment.
  • step S902 it is determined whether there is another subject area m on the screen. If there is another subject area m, the process moves to step S904, and if not, the process moves to step S904.
  • step S903 it is determined whether or not the parallax (distance) with the other subject area m is the same. If the parallax is the same, the process moves to step S905, and if not, the process moves to step S904.
  • step S904 a desired distance change amount is set for the subject area n, the parallax adjustment amount is calculated from the distance change amount, and the process proceeds to step S907.
  • step S905 it is determined whether the parallax adjustment amount of the other subject area m has already been calculated. If already calculated, the process proceeds to step S904, and if not calculated, the process proceeds to step S906.
  • step S906 after determining the parallax adjustment amount of the subject area n as the calculated parallax adjustment amount m, the process proceeds to step S907.
  • step S907 parallax adjustment is performed by applying the calculated parallax adjustment amount. After the parallax adjustment, the process moves to step S908.
  • the amount of motion of the entire image can be calculated from the representative value of the motion vector according to the first embodiment. Therefore, by using the calculated representative value of the motion vector, the entire screen has a certain amount.
  • the parallax change due to the motion is reduced and used by calculating and adjusting the parallax of the entire image.
  • the parallax adjustment amount is individually determined and corrected for the N subject areas set by the area setting circuits 106R and 106L.
  • a pixel area excluding pixels included in the entire subject area is treated as a background area.
  • the parallax adjustment amount is calculated by using the representative value of the motion vector calculated by the motion detection circuits 104R and 104L, and the parallax adjustment is performed.
  • the representative value of the motion vector becomes a predetermined value or more. If the camera is in a state where the left and right eye fusion limits are not reached, adjust the parallax to a small level or gradually increase the parallax until it settles down. Can be reduced.
  • the imaging systems 100R and 100L, the image processing circuits 103R and 103L, the motion detection circuits 104R and 104L, and the region setting circuits 106R and 106L have two configurations of left and right RL, respectively, so that the parallax can be reduced. Data at the same time can be processed for each of the left and right images.
  • the motion detection circuit and the area setting circuit are each constituted by one on the L side with respect to the imaging apparatus of FIG.
  • the above configuration is performed, for example, by performing template matching using the L-side image as a target image and the right-side image as a reference image. This is because the relative positional relationship between the left and right is understood.
  • the circuit scale required for the motion detection circuit and the region setting circuit can be reduced by adopting the configuration shown in the present embodiment.
  • the digital camera in FIG. 11 has an image encoding circuit (image encoding unit) 1108, a recording unit (recording unit) 1109, a recording memory 1110, a display unit (display unit) 1111 and a display device in comparison with the imaging apparatus in FIG. 1111, a CPU 1113, a program memory 1114, an external memory 1115, and an external switch 1116 are added.
  • the digital camera is roughly composed of an integrated circuit 1117 and an external device.
  • the CPU 1113 reads a program from the program memory 1114 after turning on the power, determines a mode designated in advance by an input of the external switch 1116, for example, a recording mode, a playback mode, etc. Boot the system in mode. The operation described here is controlled by the CPU 1113.
  • the image processing circuits 103R and 103L In the recording mode, the image processing circuits 103R and 103L generate YC data from the RAW data input from the imaging systems 100R and 100L, and the motion detection circuits 104R and 104L, the region setting circuit 106R, and the like described in the above embodiment.
  • the left and right images in which the parallax of each subject area is adjusted by the parallax adjustment circuit 107 are obtained via the parallax calculation circuit 105 through 106L.
  • the image encoding circuit 1108 receives the left and right YC image data obtained by the parallax adjustment circuit 107, encodes a still image / moving image, and generates image data for recording.
  • encoding is performed in the JPEG format.
  • MPEG4-MVC is an extended standard from the MPEG4-AVC (H.264) standard for recording and reproducing stereoscopic video.
  • the recording unit 1109 receives the code data of the image encoding circuit 1108, performs processing such as header generation for recording in the external recording memory 1110, recording medium area management, and the like, and sends the data to the external recording memory 1110. Record.
  • the data output from the parallax adjustment circuit 107 and the encoded code data may be temporarily stored in the external memory 1115 and read and used when necessary.
  • the display unit 1111 receives the processing data of the parallax adjustment circuit 107 and performs processing for displaying on the display device 1112. However, the display unit 1111 performs conversion to an image size and an image format corresponding to the display device 1112, and the OSD ( Data such as On (Screen Display) is added and transferred to the display device 1112.
  • the display device 1112 includes, for example, a liquid crystal (LCD) display, and converts an input signal to output an image.
  • LCD liquid crystal
  • HDMI is an interface that transfers high-resolution video signals and audio signals at high speed.
  • the code data recorded from the external memory 1115 is read out and input to the image encoding circuit 1108.
  • the image encoding circuit 1108 decodes the input code data into YC data, and after that decoding After the YC data is temporarily stored in the external memory 1115, the display unit 1111 reads the data from the external memory 1115 and processes it, so that the data is sent to the display device 1112 and can be displayed.
  • the digital camera according to the present embodiment is not limited to the above-described configuration, and as described in the fifth embodiment, the motion detection circuit and the region setting circuit may be disposed only on one of the left and right sides. Good or other configurations are possible.
  • the image pickup system 100R and the image pickup device 100L are provided with two image pickup elements.
  • the left optical system 1200L and the right optical system are used.
  • both left and right imaging data can be obtained in one imaging device, and the subsequent processing is reduced to one. It is something that can be done.
  • the imaging system 1200, ADC 1202R, image processing circuit 1203, motion detection circuit 1204, parallax detection circuit 1205, region setting circuit 1206, parallax adjustment circuit 1207, and semiconductor integrated circuit (LSI) 1208 are the first embodiment. Since it is the same as the form, the description thereof is omitted.
  • an image captured by the sensor 1201R is an image captured by the left and right optical systems 1200R and 1200L.
  • Each image of the L1 for the right eye and the R1 for the right eye is horizontally compressed to 1 ⁇ 2, and is divided into left and right halves, and L1R1, L2R2,... And imaging data are obtained for each frame. By using such imaging data, parallax detection correction and the like can be performed.
  • L1, R2, L3, R4,... Processing may be performed by a method of detecting parallax using the video of R2, R2 and L3 in the third frame, L3 and R4... In the fourth frame, performing motion detection, and adjusting the parallax.
  • the image data is processed as one image for each frame, and the left image L1 and the right image in the image are processed.
  • R1, L2, R2,... Are extracted as one image for each frame, and in the first frame, left and right parallax are detected using L1 and R1, motion between frames is detected, and parallax is adjusted.
  • the above-described processing may be performed using L2 and R2.
  • the present invention adjusts the parallax based on the amount of movement of each region in stereoscopic image shooting, and the headache caused by the parallax change caused by the movement of the subject as well as the movement of the entire apparatus. It is possible to reduce the feeling of fatigue and fatigue, which is useful as an imaging device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

　撮像装置において、２つの撮像系１００Ｒ及び１００Ｌの画像処理結果を用いて、動き検出を行う動き検出回路１０４Ｒ及び１０４Ｌと、前記動き検出回路１０４Ｒ及び１０４Ｌによる動き情報や既知の特徴情報から被写体領域を設定する領域設定回路１０６Ｒ及び１０６Ｌと、前記領域設定回路１０６Ｒ及び１０６Ｌで設定された各被写体領域に対して視差算出を行う視差算出回路１０５と、前記領域設定回路１０６Ｒ及び１０６Ｌにより設定された各被写体領域に対して、前記動き検出回路１０４Ｒ及び１０４Ｌにより得られた動き情報及び前記視差算出回路１０５による視差情報に基づいて各被写体領域の視差を調整する視差調整回路とを備えて、個々の被写体に対して視差の調整を行う。従って、視聴の際に疲労感の少ない立体撮像が可能である。

Description

撮像装置、視差調整方法、半導体集積回路及びデジタルカメラ
　本発明は、立体視画像を撮影する立体視カメラ等、複数の光学系を有する撮像装置に関するものである。
　近年、立体映像を用いた映画やテレビ放送、ビデオレコーダ等の再生機器が市場に出始めており、迫力ある立体映像を家庭で楽しめる環境が身近になりつつある中、立体映像の撮像装置の普及が期待されている。
　立体映像の撮像に関する技術として、従来より、複眼撮像装置を用いた立体視撮像法が知られている。これは、２つの撮像光学系を基線長で与えられる間隔で左右に配置して、２視点からの画像の撮像を行うものであり、人間の目の特性を利用している。
　人間の左右の目は所定の距離を持っており、左右の目に写る被写体の位置が互いに異なっている。それぞれ左右の位置の違い、すなわち、これが視差であり、この視差を脳内で融合し、立体視（ステレオ視）することにより、観察者は立体感のある画像を見ることができる。この視差を大きくすれば飛び出し感や引っ込み感を大きくすることができ、迫力のある画像を楽しめる。
　一方、鑑賞時において、上下に頻繁に揺れたり、被写体が大きく動いたりというような場合には、映像の変化に対して右と左の画像が脳内で上手く融合せず、正常に立体視はできなくなり、頭痛や疲労を引き起こすと言われている。
　更に、立体撮像可能なカメラが身近になり、一般の人が手軽に撮影できるようになれば、映画やテレビ放送用においては人体に影響のないように配慮して撮影編集を行うのに対して、手振れや急激なカメラのパン動作等、様々に撮影環境が多様化するため、カメラに頭痛や疲労を軽減する画像処理技術を搭載することが必要となってくる。
　従来、特許文献１では、左右の各光学系で撮影された映像の動きベクトルと、左右画像間の位相差情報とに基づいて、その検出した位相差と過去の位相差との差分から、求めた動き情報を調整して、その調整された動き情報に基づき、メモリに格納した左右の各光学系で撮影された映像の一部を切り出して出力することにより、視差ずれや上下ずれのない高品質の立体視を可能にする技術が提案されている。
特開２００３－９２７６８号公報
　しかしながら、上記特許文献１では、視差ずれや手振れ等のずれの補正ができるものの、画面内の各被写体が個別に動いている撮影シーンにおいて、ある被写体が目の融合限界を超えるような視差の急激な変化が生じてしまうと、疲労感を感じてしまうという課題がある。
　本発明は、このような事情に鑑みてなされたものであって、その目的は、立体視画像を撮影する撮像装置において、カメラ又は被写体の動きに応じて視差を調整し、頭痛や疲労感を軽減することにある。
　上記目的を達成するため、請求項１記載の発明の撮像装置は、２つ以上の光学系を備えた撮像装置であって、前記各光学系に備えられ、光を電気信号に光電変換する撮像素子と、前記各光学系より出力される撮像データに対して所定の処理を行う画像処理手段と、前記画像処理手段により得られた画像の動き検出を行う動き検出手段と、前記画像処理手段により得られた画像中の被写体領域を設定する領域設定手段と、前記領域設定手段により設定された各被写体領域に対して前記各光学系間の視差を算出する視差算出手段と、前記領域設定手段により設定された各被写体領域に対して、動き検出手段により得られた動き情報と前記視差算出手段による視差情報とに基づいて、前記各被写体領域の視差を調整する視差調整手段とを備えることを特徴とする。
　請求項２記載の発明は、前記請求項１記載の撮像装置において、前記動き検出手段は、複数のブロックに分割してブロック単位で動き検出を行い、ブロック単位の動きベクトルと、全ブロックの動きベクトルの代表値とを出力することを特徴とする。
　請求項３記載の発明は、前記請求項２記載の撮像装置において、前記領域設定手段は、前記動き検出手段による各ブロックの動き検出結果に基づいて、各ブロックの動きベクトルの方向と絶対値とが類似する複数の隣接ブロックに対して、１つの被写体領域として領域設定することを特徴とする。
　請求項４記載の発明は、前記請求項１記載の撮像装置において、前記領域設定手段は、前記画像処理手段により得られた画像と既知の被写体の特徴情報との比較を行って、その比較結果に基づいて一致する画素領域を被写体領域に設定することを特徴とする。
　請求項５記載の発明は、前記請求項１記載の撮像装置において、前記視差算出手段は、前記領域設定手段により設定された画像中の各被写体領域に対して、光学系間の画素を比較することにより垂直方向のずれを算出補正し、その後、視差を算出することを特徴とする。
　請求項６記載の発明は、前記請求項１記載の撮像装置において、前記視差算出手段は、前記領域設定手段により設定された画像中の各被写体領域に対して、光学系間の画素を比較することにより視差を算出することを特徴とする。
　請求項７記載の発明は、前記請求項１記載の撮像装置において、前記視差調整手段は、前記領域設定手段により設定された各被写体領域間の距離の大小関係に基づいて、各被写体領域の視差量を調整することを特徴とする。
　請求項８記載の発明の視差調整方法は、前記請求項１～７の何れか１項に記載の撮像装置における視差調整方法であって、前記画像処理手段により得られた画像の動き検出を行うステップと、前記画像処理手段により得られた画像中の被写体領域を設定するステップと、前記領域設定手段により設定された各被写体領域に対して光学系間の視差を算出するステップと、前記領域設定手段により設定された各被写体領域に対して、前記動き検出手段により得られた動き情報と前記視差算出手段による視差情報とに基づいて、前記各被写体領域の視差を調整するステップとを備えることを特徴とする。
　請求項９記載の発明の半導体集積回路は、前記請求項１～７の何れか１項に記載の撮像装置を備えたことを特徴とする。
　請求項１０記載の発明のデジタルカメラは、前記請求項１～７の何れか１項に記載の撮像装置と、画像記録用の圧縮符号化動作又は画像再生用の伸張復号化を行う画像符号化手段と、記録メモリを制御し、記録再生動作を行う記録手段と、画像処理結果や再生データを表示する表示手段と、プログラムメモリから読み出したプログラムに基づいてシステム制御を行うＣＰＵとを備え、外部入力手段により与えられた設定に基づいて、記録や再生の動作を行うことを特徴とする。
　以上により、本発明の撮像装置は、領域設定手段により画像中の被写体領域を設定し、この設定された画像中の被写体領域に対して、算出された視差を調整、変更するので、被写体の動きが急激な場合であっても、その被写体の急激な動きから生じる視差の変化が原因の頭痛や疲労感を軽減される。
　以上説明したように、本発明によれば、立体視画像の撮影において、個々の領域の動き量に基づいて視差を調整することにより、装置全体の動きはもとより被写体の動きから生じる視差の変化が原因の頭痛や疲労感を軽減することが可能になる。
図１は第１の実施形態の撮像装置のブロック構成を示す図である。 図２はテンプレートマッチング例を示し、同図（ａ）は対象画像を示す図、同図（ｂ）は参照画像を示す図である。 図３は動きベクトルに基づく領域設定例を示し、同図（ａ）は画像イメージを示す図、同図（ｂ）は設定された被写体領域を示す図である。 図４は特徴抽出による領域設定例を示し、同図（ａ）は特徴検出を用いた領域設定回路のデータフローを示す図、同図（ｂ）は車の形状パターンを特徴情報として使用して被写体を判別して領域を設定する例を示す図である。 図５は視差の概念例を示し、同図（ａ）は２つの撮像素子での被写体を撮像する際の画角、距離、視差、輻輳角等の関係を示した図、同図（ｂ）は各撮像素子で撮像される画面イメージを模した図である。 図６は視差調整の概念例を示し、同図（ａ）は被写体を変化量ΔＬだけ奥に引込む場合の視差調整の概念を示し、同図（ｂ）はその視差調整による画面イメージを模した図である。 図７は視差調整の制御フローチャート図である。 図８は本撮像装置の制御フローチャート図である。 図９は領域間の関係を用いた視差調整の制御フローチャート図である。 図１０は撮像装置の変形例のブロック構成を示す図である。 図１１はデジタルカメラへの適用例を示す図である。 図１２は第７の実施形態の撮像装置のブロック構成を示す図である。 図１３（ａ）は撮像データを１つの処理系で処理する方法の一例を示す図、同図（ｂ）は撮像データを１つの処理系で処理する方法の他の一例を示す図である。
　（第１の実施形態）
　本実施形態では、左右（ＬＲ）の２つの撮像系を持つ場合を例にとって説明する。
　本実施形態の撮像装置のブロック図を図１に示す。以下、構成及び機能について説明する。
　図１中、１０１Ｒ及び１０１Ｌは撮像した被写体の光学像を電気信号に変換する撮像素子であり、これはＣＣＤ（Charge Coupled Device）に限るものではなく、ＭＯＳ（Metal Oxide Silicon）等他のイメージセンサを用いてもよい。
　１０２Ｒ及び１０２ＬはＡ／Ｄ変換器であり、１０３Ｒ及び１０３Ｌは画像処理回路（画像処理手段）であり、１０４Ｒ及び１０４Ｌは動き検出回路（動き検出手段）である。１０５は視差算出回路（視差算出手段）であって、ＬＲ間の距離情報と、２つの撮像系１００Ｌ、１００Ｒによる画像データとから、視差量を算出する。１０６Ｒ及び１０６Ｌは領域設定回路（領域設定手段）であって、１つ以上の被写体領域を設定する。
　１０７は視差調整回路（視差調整手段）であって、前記視差算出回路１０５による左右視差と動き検出回路１０４Ｌ、１０４Ｒの出力の動き情報とから、画像処理回路１０３Ｌ、１０３Ｒの画像データに対して視差量を調整し、出力する。
　尚、本実施形態における撮像装置では、撮像系１００Ｌ、１００Ｒを除く回路に対して、１つの半導体集積回路（ＬＳＩ）１０８として実装可能である。
　以上の構成における撮像装置の動作について説明する。
　＜撮像系＞
　撮像系１００Ｒ及び１００Ｌにおいて、撮像レンズを通して得られる被写体の光学像は、それぞれ撮像素子１０１Ｒ及び１０１Ｌにより電気信号に変換され、Ａ／Ｄ変換器１０２Ｒ及び１０２Ｌに出力される。
　Ａ／Ｄ変換器１０２Ｒ及び１０２Ｌにおいては、それぞれの撮像素子１０１Ｒ及び１０１Ｌより得られるアナログの電気信号をデジタル信号に変換する。それぞれのＡ／Ｄ変換器１０２Ｒ及び１０２Ｌでアナログからデジタルに変換された信号は、それぞれの画像処理回路１０３Ｒ及び１０３Ｌに与えられる。尚、図示は省略するが、Ａ／Ｄ変換器１０２は撮像素子内に搭載されていてもよい。
　＜画像処理回路＞
　それぞれの画像処理回路１０３Ｒ及び１０３Ｌは、Ａ／Ｄ変換された電気信号（ＲＡＷデータ）を処理することにより、適切な映像信号（輝度／色差）を生成するものである。具体的には、Ａ／Ｄ変換器１０２Ｒ及び１０２Ｌより得られるＲＡＷデータに対し、キズ補正処理、ＯＢクランプ処理、黒レベル調整処理、ホワイトバランス調整、ガンマ補正、色変換処理、アパーチャ補正等の処理等のデジタル信号処理を行い、輝度色差の映像信号（ＹＣ信号、ＹＣデータ）を生成する。生成後の映像信号は、動き検出回路１０４Ｒ及び１０４Ｌ、視差算出回路１０５、及び視差調整回路１０７に出力される。
　＜動き検出回路＞
　動き検出回路１０４Ｒ及び１０４Ｌは、それぞれの撮像系１００Ｒ及び１００Ｌにおいて撮像された映像のフレーム（又はフィールド）間の動き量を検出する。
　現フレームと前フレーム間における動きベクトルの検出を行う。具体的には、入力された現フレームの映像信号を所定のサイズから成るブロックに分割し、分割したブロックの映像信号と前フレームの映像信号との間でテンプレートマッチング処理を行い、相関値のピークとなる位置を求める。
　尚、ここでいうテンプレートマッチングとは、二つの画像を比較して、基準となる画像内の画素ブロックに最も似ている画素ブロックを他の画像内から探し出すことをいう。これを図２を用いて説明すると、同図（ａ）の対象画像中のブロックＢ１と、同図（ｂ）の参照画像中の画素形状の等しいブロックＢ２とを切り出し、ブロック間の画素値を比較する。ブロックＢ１中の座標（ｘ、ｙ）に対する画素値Ｂ１（ｘ、ｙ）と、ブロックＢ２画像中の座標（ｘ、ｙ）に対する画素値Ｂ２（ｘ、ｙ）を比較する。更に、ブロックＢ２の切り出し位置をＢ２’（ｘ＋Δｘ、ｙ＋Δｙ）に変更して、同様にＢ１とＢ２を比較する。Ｂ２の切り出し位置を範囲を所定の範囲まで変更してブロックＢ１とブロックＢ２とを比較するということを繰り返して、近似点を探す。
　近似点の算出方法は、例えば次のように行う。先ず、ブロック内の同一座標の画素値の差分値を取り、２乗する。ｗｘｈ画素分の差分値の２乗の合計値を取り、評価値Ｅとして保持しておく。更に、ブロックＢ２の切り出し位置をＢ２’に変更して同様に評価値Ｅ’の算出を行い、切り出し位置変更後の評価値を保持されている評価値に対して大小比較し、変更後の評価値の方が小さい（Ｅ＞Ｅ’）場合は、保持されている評価値を置き換える。これらの動作を与えられた所定の範囲まで繰り返し、評価値の極小値を取るブロックＢ１とブロックＢ２との相対座標（Δｘ、Δｙ）を、位相差として求める。
　前記説明した近似点の算出方法では、ブロック内の画素値の差分に対して２乗をとったが、演算ステップ数や回路規模等を削減するために、差分値の絶対値を取って合計する（差分絶対値和）手法をとっても良い。また、ブロック内の全画素ではなく、１画素単位に網目状にサンプリングするなどして、処理量を減らしてもよい。
　以上の処理を各ブロックについて行い、各ブロックの動きベクトルが求まる。そして、求まった各ブロックに関する動きベクトルを、最頻値や平均値を取るなどして、現フレームの動きベクトルの代表値ＭＶＬ（Ｘ、Ｙ）、ＭＶＲ（Ｘ、Ｙ）として算出し、撮像装置全体の動き量として使用する。また、各被写体領域の動きベクトルの代表値については、動きベクトルがほぼ一致するブロックによりまとめているため、フレームの代表値と相対的に異なり、前記ブロック間で共通する動きベクトルを用いればよい。
　前記各ブロックの動きベクトルの出力値及び代表値は、図１の視差調整回路１０７へ出力される。
　ここで、装置全体の動きに対しては、ＲとＬの代表値がほぼ同じとなることが推測されるが、同一時刻のＲとＬとの各代表値に対して、平均値をとって全体の動きベクトルとしても良い。
　＜領域設定回路＞
　領域設定回路１０６Ｒ及び１０６Ｌは、ＬＲ各撮像系１００Ｒ及び１００Ｌにおいて、ＹＣデータと、前記動き検出回路１０４Ｒ及び１０４Ｌで検出された各ブロックの動き情報とに基づいて、１つ以上の被写体領域を設定する。
　被写体領域の設定手法としては、動き検出回路による動きベクトルを用いてグループ化する方法を、例を挙げて説明する。
　左右それぞれの撮像系１００Ｒ及び１００Ｌにおいて、前記各撮像系１００Ｒ及び１００Ｌにおける動きベクトルの代表値と比較し、カメラ全体の動きがあるかどうかを算出する。
　前記動きベクトルの代表値と各ブロックの動きベクトルの値とを比較し、各ブロックの動きベクトルが相対的に異なる方向を指す、又は、動きベクトル代表値の絶対値と異なる場合には、該当ブロックに対して動きベクトル値に応じたラベリングを行い、近傍で類似の動きベクトルを持つラベリングされたブロック群を１つの被写体として扱う。
　図３を例にとると、同図（ａ）に示す画像イメージでは、被写体の車両を含むブロックに対して同方向に動きベクトルを生じる傾向があるので、同図（ｂ）に示すように、同種の動きベクトルを含む該当ブロックをグループ化して被写体領域に設定する。ここで、被写体領域に設定された該当ブロックに対して左上を原点としたときのブロック単位の座標が分かっているので、前記被写体領域に含まれるブロックの座標を保持しておき、後の処理の領域設定情報として用いればよい。
　また、領域設定回路１０６Ｒ及び１０６Ｌの調整設定手法として、前記方法とは異なる領域設定方法について述べる。前述した方法では、画面内を複数のブロックに分割し、動き検出結果からほぼ同一の動きを示す複数の隣接ブロックをまとめて１つの被写体領域としたが、本実施形態では、これに限ったことではなく、パターン認識等の特徴検出を用いて、被写体領域を決定することもできる。
　図４（ａ）は、特徴検出を用いた領域設定回路のデータフローであって、ＬＲ各撮像系において画像処理結果を入力し、ＲＯＭ（Read Only Memory）等に保持されている特徴情報を読み出し、入力されたデータに対しパターン認識等に必要な前処理を行い、前処理後の出力データと読み出された特徴情報とを比較し、特徴情報と類似していると判断される場合には、前記手法のブロック単位より形状も反映された詳細な領域として設定できる。
　特徴情報については様々な要素があるが、例えば、人物の顔や車などの情報や、物体の形状情報が代表的である。図４（ｂ）では、車の形状パターンを特徴情報として使用して被写体を判別して領域を選択する例であり、特徴情報を多く用意しておけば、特徴検出精度が高くなり、領域の設定精度も上げることができる。
　＜視差算出回路＞
　視差算出回路１０５は、前記領域設定回路１０６Ｒ及び１０６Ｌにより設定された画面中の被写体領域を指す座標に対して、各撮像系１００Ｒ及び１００Ｌで得られた画像処理回路１０３Ｒ及び１０３Ｌの各出力データ間の位相差を、撮像系１００Ｌで得られた画像を基準に視差として求める。算出方法は、各被写体領域に対して、テンプレートマッチングを行えばよい。
　尚、視差は、基準となる左画像中の１点とその点が右画像中で対応する点との座標値（画素数）の差のことである。
　図５を例にとると、同図（ａ）は２つの撮像素子での被写体を撮像する際の、画角、距離、視差、輻輳角等の関係を示した図であり、同図（ｂ）は各撮像素子で撮像される画面イメージを模した図である。
　図５（ａ）において、左右の光学系間の距離Ｗ、光軸に垂直な被写体までの距離Ｌ、輻輳角をθとすると、光学的な位置関係は、次式による関係がなされている。
Ｗ＝Ｌ×ｔａｎθ
　ここで、被写体までの距離Ｌが十分長い場合は、θ≒ｔａｎθに近づくため、
Ｗ≒Ｌ×θ　…（１）
と近似できる。
　また、視差をｍ、図１の撮像系１００Ｒ及び１００Ｌの撮像範囲を示す画角をφ、画各内の画素数をＰとすると、
φ／θ＝Ｐ／ｍ　…（２）
となる。ここで、式（１）と式（２）とからθを消去すると、
Ｌ＝（Ｗ×Ｐ）／（ｍ×φ）　…（３）
となる。
　ここで、撮像素子の設置間隔Ｗ、撮像系のもつ画角φ及び画素数Ｐはそれぞれ既知であり、視差ｍはテンプレートマッチングにより特定されるので、式（３）により距離Ｌを演算することができる。
　本実施形態では、前記領域設定回路１０６Ｒ及び１０６Ｌで選択された領域に対して視差算出を行うことにより、画面中の全画素に対して視差算出を行う場合と比較して、演算量を削減できる。尚、厳密には１画素ずつ視差をもつために被写体領域の幅によって視差が生じているが、前記輻輳角が大きい（近くにある）被写体領域で画素視差が無視できないような場合には、被写体領域の全画素に対して視差を算出しても良い。このような場合、撮像系間の距離Ｗと距離Ｌと輻輳角θとの関係において、距離ＬがＷに対して大きくないため、式（１）の近似を行わないで算出する。
　また、２つの撮像系１００Ｌ／Ｒ同士で同一時刻に処理出力された左右ＬＲの各ＹＣデータにおいて、実装上の誤差等の影響により、上下方向に対して基準位置からの垂直座標にずれが生じている場合がある。前記垂直方向のずれに対しては、観賞時に左右の融合が上手く行えず疲労感を増加させることになり、また、上記左右の視差算出を行う場合に良好な視差算出が行われない可能性があるため、垂直方向のずれを補正するのが望ましい。垂直方向のずれに対しては、視差算出のテンプレートマッチングの際、垂直方向に対してもずらして位相差を算出すればよく、例えば左の光学系における垂直座標ＹＬに対して、右の光学系の垂直座標ＹＲを動かしてテンプレートマッチングを行い、左右の撮像系間の垂直位相差を算出する。
　尚、視差算出の際、ある一時刻の左右データのみを用いて位相差を算出を行っていると、フレーム毎に視差が更新されるため、フレーム間の相関がないことによるフレーム間で視差のばらつきが生じ、場合によってはフレーム毎に急激な視差の変化が出てしまう可能性があり、左右の目の融合限界を超える頻度で視差の変化が起こってしまえば疲労感を生むため、領域設定回路１０６Ｒ及び１０６Ｌで設定された各被写体領域に対する視差情報を所定フレーム分保持して蓄積しておき、同時に所定フレーム分の平均値等を算出して視差として用いるなどを施しておけば、一時刻での急激な視差の変化の影響を抑えることができる。
　＜視差調整回路＞
　ここで、領域毎の視差調整方法について、説明する。
　本実施形態では、視差調整量をΔｍとして、各被写体領域の動き量と視差との関連付けを行い、視差調整量を算出する。
　図５で示した幾何学的な視差と距離との関係において、特定の被写体の視差を変更する際の幾何学的な関係を新たに図６に示して説明する。
　図６（ａ）において、距離Ｌとセンサ間の距離Ｗとの間に、Ｗ＝Ｌ×ｔａｎθの式が成立し、距離Ｌが距離Ｗに対して十分大きいとき、式（１）Ｗ＝Ｌ×θに近似できることを説明したが、被写体を変化量ΔＬだけ奥に引込む場合について述べる。
　上記式の関係から、両撮像素子間隔Ｗが一定であるため、引込後の距離Ｌ’＝Ｌ＋ΔＬ、変更後の輻輳角θ’として前記式（３）を用いて算出すると、調整後の視差はｍ＋Δｍとなるので、
Δｍ＝（Ｗ×Ｐ／φ）×（－ΔＬ／（Ｌ×（Ｌ＋ΔＬ）））　…（４）
と求められる。ここで、調整前の距離Ｌは既知となっているので、引込み変化量ΔＬからΔｍを一意に求めることができる。
　求まったΔｍを用いて、左右の各画像データに対し、左右それぞれ（Δｍ／２）画素ずつずらしてやればよい。
　また、動き検出回路１０４Ｒ及び１０４Ｌにより得られた各被写体領域の動き情報と視差の調整量と関連付ける方法として、各領域のフレーム間の動きベクトルを用いて、各種の方法が挙げられる。
　例えば、フレーム間の画像中の水平垂直画素数に対する限界動き量の閾値を画素数又は水平１ラインに対する割合（パーセンテージ）で予め決めておき、フレーム間の動き量が上記限界動き量を超えた場合に、限界動き量まで視差を減ずるという方法がある。
　また、静止する物体が目の融合限界を超えた速度で急に動き出したことによる視差の急激な変化の影響等を軽減するために、被写体領域毎に動きベクトルを所定フレーム間保持しておいて平均値を算出し、両目が十分融合可能となる時間まで、単位時間当たり視差を徐々に増やしていく方向に視差Δｍを調整するという方法でも良い。
　尚、上記の方法に限ったことではないのは言うまでもない。
　ここで、視差調整量算出に関して、図７のフローチャートを用いて説明する。
使用するデータは、左右の各撮像系１００Ｒ及び１００Ｌに対して撮像された映像データに対して、算出されている動きベクトル、各領域に対する視差量を用いる。
　先ず、ステップＳ７０１では、各撮像系１００Ｒ及び１００Ｌに対して領域設定回路１０６Ｒ及び１０６Ｌにより被写体領域ｎが選択される。画面中の全領域数Ｎは、本視差調整以前に予め決まっているものとする。
　ステップＳ７０２では、対象の被写体領域ｎに対して、目の融合限界を超えるかどうかの基準として、動き検出回路１０４Ｒ及び１０４Ｌにより算出された動き量が所定の値より大きいかどうかを判別し、所定の値より大きければ、ステップＳ７０３へ移動し、そうでなければステップＳ７０６へ移動する。
　前記比較の際の所定の動き量は、必ずしも同じ値であるわけではなく、画面全体の有効画素数との相対関係や被写体までの距離等、複数の要素から求められるものとする。
　ステップＳ７０３では、対象の被写体領域ｎに対して所望の距離の変化量を設定し、この距離の変化量から視差の調整量を算出して、ステップＳ７０４へ移動する。
　ステップＳ７０４では、前記ステップＳ７０３で得られた視差調整量を元に、左右画像の対象領域ｎに対して視差の調整を行う。すなわち、式（４）に基づくと、左右それぞれ、Δｍ／２画素左、Δｍ／２画素右へ移動する調整を行う。視差量調整後、ステップＳ７０５に移動する。
　ステップＳ７０５では、視差の調整後、領域の境界に対して補正を行う。これは、視差の調整に際して画像データの移動が伴うため、移動前の画像に対して移動後の領域の境界の画素データの欠落等が発生するためである。当補正に際しては、幾つか方法があるが、例えば、左側の画像に対して、対象領域ｎを調整後、右側が数画素分欠落した場合には、対である右側の対象領域ｎの右側の同一位置に相当する境界の数画素分を最も近いデータとして代用するという方法である。代用元の右側の対象座標は、左側の対象画素に対する視差ｍと調整量Δｍとが既に算出済みであるので、一意に決定することができる。
　他の方法としては、更に、フレーム間の動き量が大きい場合に、人間の目が動きのあるものに着目し易いことを利用し、移動前の境界部のデータから代用してコピーする形で補正するという方法を取ってもよく、動き等の状況に応じて適用的に用いればよい。境界補正後、ステップＳ７０６へ移動する。
　ステップＳ７０６では、画面内のＮ個の全領域について終了したかどうか判別を行い、終了していなければ、ステップＳ７０７で領域を次の領域に更新後、ステップＳ７０１に戻り、ステップＳ７０６で全領域終了（ｎ＝Ｎ）となるまで前記ステップＳ７０１～Ｓ７０６の動作を繰り返す。全領域終了後では、終了する。
　尚、本実施形態においては、図７のフローチャートで説明したように、視差調整に際して左右の撮像データをΔｍ／２画素ずらすことにより実現するが、視差を小さくする方向の調整に際しては、左画像を左側にずらし、右画像を右側にずらすということになるため、処理後の画素数Δｍの値によっては、所定の画素数を超えると、記録等に必要な画素データを確保できずにデータが欠落することがある。この場合は、左右のテンプレートマッチングにより左右の画像それぞれの画素のずれ（視差ｍ）が求まっているので、次のようにして補完を行う。すなわち、右画像に対して補間を行う場合、図６（ｂ）に図示したように、左画像の画像の右端から水平視差ｍ分オフセットを加えた位置が右画像の左端となるので、前記左側の画像の座標から水平座標を必要な分だけ減じた領域のデータを用いて補完を行えばよい。
　尚、本実施形態では、２つの撮像系１００Ｒ及び１００Ｌを備える撮像装置を例に挙げたが、撮像系を３つ以上備えていても良い。
　（第２の実施形態）
　次に、本発明の第２の実施形態を説明する。
　本実施形態では、前記第１の実施形態において説明した本発明の図１に示す撮像装置に対する映像信号の制御フローについて説明する。
　図８のフローチャートにおいて、ステップＳ８０１では、左右ＬＲの各撮像系１００Ｒ及び１００Ｌに対して画像処理回路１０３Ｒ及び１０３Ｌで得られたデータに対して、テンプレートマッチングにより垂直方向の位相差検出を行い、ステップＳ８０２へ移動する。
　ステップＳ８０２では、垂直方向の位相差補正を行い、ステップＳ８０３に移動する。
　ステップＳ８０３では、画像処理回路１０４Ｒ及び１０４Ｌからの出力データを用いて、画像を複数のブロックに分割して、動き検出回路１０４Ｒ及び１０４Ｌが各ブロックに対してフレーム間の動き検出を行う。
　ステップＳ８０４では、前記ステップＳ８０３で得られた各ブロックの動きベクトル情報の代表値を用いて、各ブロックの代表値と各ブロックの動きベクトルとを比較して、相対的に異なるが同様の動きベクトルを持つ隣接ブロックをグループ化して被写体領域ｎとして設定し、この動作を更に画面全体に対して行ってＮ個の全被写体領域を得て、ステップＳ８０５へ移動する。
　ステップＳ８０５では、各被写体領域ｎに対して、前述のテンプレートマッチングにより左右の視差を検出する。また、前記第１の実施形態の図５において述べた既知である左右ＬＲとの距離Ｗや画角Ｐや水平画素数Ｐに基づいて、被写体領域までの距離Ｌを算出する。
　ステップＳ８０６では、各被写体領域ｎに対して検出された視差量に対して、見る際の所望の距離変更量を設定し、式（４）を用いて視差の調整量Δｍを算出する。
　ステップＳ８０７では、前記ステップＳ８０６で算出された左右の視差調整量に基づいて、ＬＲ各画像データの被写体領域ｎに対して、左右の視差を調整する。
　ステップＳ８０８では、画面中の全領域Ｎに対して処理が終了したかどうかを判別し、全領域終了していれば終了とし、領域が残っていれば、ステップＳ８０９で領域ｎを次の領域ｎ＋１に更新して、ステップＳ８０６に移動し、左右の視差調整を行う。
　以上、本実施形態のような制御フローをとることにより、２つの撮像系１００Ｒ及び１００Ｌから得られた画像処理データを用いて、ソフトウェア等で各被写体領域の視差の調整を行うことが可能となる。
　（第３の実施形態）
　本実施形態では、前記第１の実施形態で説明した視差調整フローの変形例として、選択領域間の視差（距離）関係を考慮して視差調整量算出を行う手法について、図９のフローチャートに基づいて説明する。
　本実施形態３では、前記実施形態において、式（３）のように、距離と視差との関係が表されること活用し、等距離にある複数の被写体領域に対して、一括して視差を調整するものである。言い換えれば、２つの領域の視差が同じであるならば２つの被写体間の距離感が同じという関連付けがされることであり、距離の等しい被写体同士で動きの違いにより別々の視差に調整変更してしまうことに起因して距離感が異なって見えたり、動きの激しい被写体だけ左右の融合ができずに生じる違和感を避けるための処理である。
　本処理で使用するデータは、左右の各撮像系に対して画像処理された映像データに対して、動き検出回路１０４Ｒ及び１０４Ｌで算出されている動きベクトル、視差算出回路１０５にて算出された各被写体領域に対する視差量を用いる。
　図９のフローチャートにおいて、ステップＳ９０１において、被写体領域ｎを選択する。画面中の全領域数Ｎは、本視差調整以前に領域設定により予め決まっているものとする。
　ステップＳ９０２では、画面中に他に被写体領域ｍがあるかどうか判断し、他の被写体領域ｍがあれば、ステップＳ９０４へ移動し、なければステップＳ９０４へ移動する。
　ステップＳ９０３では、他の被写体領域ｍとの視差（距離）が同じであるかどうか判断し、視差が同じであるならば、ステップＳ９０５へ移動し、同じでないならばステップＳ９０４へ移動する。
　ステップＳ９０４では、対象の被写体領域ｎに対して所望の距離の変化量を設定し、この距離の変化量から視差の調整量を算出して、ステップＳ９０７へ移動する。
　ステップＳ９０５では、他の被写体領域ｍの視差の調整量が既に算出済みかどうかを判別する。既に算出済みの場合はステップＳ９０４に移動し、未算出ならばステップＳ９０６へ移動する。
　ステップＳ９０６では、被写体領域ｎの視差調整量を算出済みの視差調整量ｍとして決定後、ステップＳ９０７へ移動する。
　ステップＳ９０７では、算出された視差調整量を適用して、視差調整を行う。視差調整後、ステップＳ９０８へ移動する。
　ステップＳ９０８では、画面内の全領域について終了したかどう判別し、終了していなければ、ステップＳ９０９で領域を次の領域に更新後、ステップＳ９０１に戻り、ステップＳ９０８で全領域終了（ｎ＝Ｎ）するまでステップＳ９０１～Ｓ９０７の動作を繰り返す。全領域終了後、終了する。
　以上説明したように、本実施形態のように、同じ距離関係にある被写体同士をまとめて視差調整を行うステップを踏むことにより、同じ距離にある被写体間で視差が急激に変わることを抑えることができる。
　（第４の実施形態）
　本実施形態４では、装置全体が動いている場合について説明する。
　一般に撮影を行っている場合、撮影中に手振れやパン等、装置全体の動きが生じることがあるが、この装置全体の動きに対しても、頭痛や疲労感を覚える。
　本実施形態においては、前記第１の実施形態によって、動きベクトルの代表値で画像全体の動き量が算出できるので、その算出された動きベクトルの代表値を用いることにより、画面全体がある量の動きベクトルを持つ場合に、画像全体の視差の算出と調整とを行うことにより、上記の動きによる視差の変化を軽減使用とするものである。
　すなわち、前記第１の実施形態の撮像装置において、領域設定回路１０６Ｒ及び１０６Ｌにより設定されたＮ個の被写体領域に対して個別に視差の調整量を決定して補正を行ったが、画像中の前記全被写体領域に含まれる画素を除く画素領域を背景領域として扱う。その背景領域に対して、動き検出回路１０４Ｒ及び１０４Ｌにて算出された動きベクトルの代表値を用いて、視差調整量を算出し、視差調整を行う。この際、撮像装置全体が激しく急に動いた場合においても、動きベクトル等の動き情報を蓄積しておいてそれ等の時間情報を用いれば、動きベクトルの代表値が所定の値以上となっている場合に、左右の目の融合限界を超えない速度に落ち着くまで、視差を小さく調整しておく、又は、徐々に視差を増やしていくなどの制御を加えることにより、カメラの動きによる疲労感等を軽減することができる。
　（第５の実施形態）
　本実施形態では、第１の実施形態の変形例について説明する。
　前記第１の実施形態では、撮像系１００Ｒ及び１００Ｌ、画像処理回路１０３Ｒ及び１０３Ｌ、動き検出回路１０４Ｒ及び１０４Ｌ、領域設定回路１０６Ｒ及び１０６Ｌについて、それぞれ左右ＲＬの２つの構成とすることにより、視差のある左右各映像に対してそれぞれ同時刻のデータを処理することができるようになっている。
　ここで、本実施形態では、回路規模とコストを削減するため、図１０を用いて説明する。
　図１０においては、図１の撮像装置に対して、動き検出回路と領域設定回路とがそれぞれＬ側の１個で構成されている。
　上記構成にするのは、視差算出回路１０５による視差算出において、例えばＬ側の画像を対象画像とし、右側の画像を参照画像としてテンプレートマッチングを行うということを行っており、それぞれの被写体領域に対して左右の相対的な位置関係が分かるためである。
　動き情報は、左右の視差による若干の違いがあるものの、左右共ほぼ同じ方向で同じ大きさを示す傾向があるため、視差算出回路１０５によりＬ側を基準として算出された視差を加算して、Ｒ側のデータに対して適用する。
　本実施形態で示した構成をとることにより、動き検出回路と領域設定回路に要する回路規模を削減することができる。
　（第６の実施形態）
　本実施形態では、本撮像装置をデジタルカメラに適用した例を説明する。
　図１１におけるデジタルカメラは、図１における撮像装置に対して、画像符号化回路（画像符号化手段）１１０８、記録部（記録手段）１１０９、記録メモリ１１１０、表示部（表示手段）１１１１、表示デバイス１１１２、ＣＰＵ１１１３、プログラムメモリ１１１４、外部メモリ１１１５、外部スイッチ１１１６が加わって構成されている。そして、本デジタルカメラは、大きく分けて、集積回路１１１７と外部デバイスとにより構成される。
　カメラの起動について、ＣＰＵ１１１３は、電源投入後、プログラムメモリ１１１４からプログラムを読み出して、予め外部スイッチ１１１６の入力で指定されたモード、例えば、記録モードや再生モード等のモードを判別して、所定のモードでシステムを起動する。ここで述べる動作は、ＣＰＵ１１１３によって制御される。
　記録モードの場合、各撮像系１００Ｒ及び１００Ｌから入力されるＲＡＷデータを、画像処理回路１０３Ｒ及び１０３ＬがＹＣデータを生成し、前記実施形態で述べた動き検出回路１０４Ｒ及び１０４Ｌ、領域設定回路１０６Ｒ及び１０６Ｌ、視差算出回路１０５を経て、視差調整回路１０７により各被写体領域の視差が調整された左右の映像を得る。
　画像符号化回路１１０８は、視差調整回路１０７により得られた左右のＹＣ画像データを入力し、静止画像／動画像の符号化を行い、記録用の画像データを生成する。静止画像の記録を場合は、例えばＪＰＥＧ形式に符号化を行い、動画像の場合は、例えばＭＰＥＧ４－ＭＶＣ等の形式に符号化を行う。ＭＰＥＧ４－ＭＶＣは、ＭＰＥＧ４－ＡＶＣ（Ｈ．２６４）規格を、立体映像を記録再生させるべく拡張された規格である。記録部１１０９は、前記画像符号化回路１１０８の符号データを入力し、外部の記録メモリ１１１０に記録するためのヘッダ生成や記録メディアの領域管理等の処理を行い、外部の記録メモリ１１１０へデータを記録する。
　尚、視差調整回路１０７の出力後のデータや符号化後の符号データは、一旦外部メモリ１１１５に格納しておき、必要なときに読み出して使用しても良い。
　また、表示部１１１１は、視差調整回路１０７の処理データを入力し、表示デバイス１１１２で表示を行うための処理を行うが、表示デバイス１１１２に対応した画像サイズや画像形式に変換を行い、ＯＳＤ（On Screen Display）等のデータを付加して表示デバイス１１１２へ転送する。表示デバイス１１１２は、例えば液晶（ＬＣＤ）ディスプレイなどで構成され、入力された信号を変換出力して、映像が表示される。尚、表示部１１１１が表示デバイス１１１２に転送する際、本カメラ外部の表示デバイス１１１２に出力するために、ＨＤＭＩ形式等に変換して出力を行ってもよい。ＨＤＭＩは、高解像度の映像信号と音声信号とを高速転送するインターフェースである。
　逆に、再生モード時には、外部メモリ１１１５から記録された符号データを読み出して画像符号化回路１１０８へ入力し、画像符号化回路１１０８は入力された符号データをＹＣデータへ復号を行い、その復号後のＹＣデータは一旦外部メモリ１１１５に格納された後、表示部１１１１が外部メモリ１１１５から読み出して処理することにより、表示デバイス１１１２に送られ、表示動作を行うことができる。
　尚、本実施形態によるデジタルカメラは、前記構成に限ったことではなく、前記第５の実施形態にで述べたように、動き検出回路と領域設定回路とを左右片方にのみ配置する構成としてもよいし、その他の構成をとることもできる。
　（第７の実施形態）
　本実施形態では、前記第１の実施形態の変形例について説明する。
　前記第１の実施形態では、撮像系１００Ｒと１００Ｌとの２つの撮像素子を備えた構成をとっていたが、本実施形態では、図１２に示すように、左用光学系１２００Ｌと右用光学系１２００Ｒとの２つの光学系を構成し、センサを１個のセンサ１２０１Ｒに結像することにより、１つの撮像素子内に左右両方の撮像データを得ることができ、以降の処理を１つに減ずることができるようにしたものである。
　図１２において、撮像系１２００、ＡＤＣ１２０２Ｒ、画像処理回路１２０３、動き検出回路１２０４、視差検出回路１２０５、領域設定回路１２０６、及び視差調整回路１２０７、半導体集積回路（ＬＳＩ）１２０８については前記第１の実施形態と同様であるので、その説明を省略する。
　本実施形態の場合、例えば、サイドバイサイド方式と呼ばれる方式を例にとると、図１３に示すように、センサ１２０１Ｒにより撮像した後の映像は、左右の各光学系１２００Ｒ、１２００Ｌによる撮像画像が左眼用Ｌ１と右眼用Ｒ１との各映像を水平に１／２に圧縮して、左右半分ずつに分かれた形をとり、各フレーム別にＬ１Ｒ１、Ｌ２Ｒ２・・・と撮像データが得られる。このような撮像データを利用して、視差の検出補正等を行うことができる。
　前記撮像データを１つの処理系で処理する方法としては、図１３（ａ）に示すように、Ｌ１、Ｒ２、Ｌ３、Ｒ４…とフレーム毎に左右の片側ずつ抽出し、第２フレームでＬ１とＲ２、第３フレームでＲ２とＬ３、第４フレームでＬ３とＲ４…の映像を用いて視差を検出し、動き検出を行い、視差を調整するという方法により処理を行ってもよい。
　また、前記撮像データを１つの処理系で処理する他の方法としては、図１３（ｂ）に示すように、フレーム毎に１枚の映像として処理を行い、画像内の左画像Ｌ１と右画像Ｒ１、Ｌ２とＲ２…とをフレーム毎に各々１枚の画像として取り出して、第１フレームではＬ１とＲ１を用いて左右の視差を検出し、フレーム間の動き検出を行い、視差の調整を行い、第２フレームではＬ２とＲ２とを用いて前記の処理を行うという方法をとってもよい。
　そして、最後に、視差調整後のフレームの映像を水平２倍に拡大して出力すれば、縦横比が正規な映像が得られる。
　以上説明したように、本発明は、立体視画像の撮影において、個々の領域の動き量に基づいて視差を調整して、装置全体の動きはもとより被写体の動きから生じる視差の変化が原因の頭痛や疲労感を軽減することが可能になるので、撮影装置等として有用である。
１００Ｒ、１００Ｌ　　撮像系
１０１Ｒ、１０１Ｌ　　撮像素子
１０３Ｒ、１０３Ｌ　　画像処理回路（画像処理手段）
１０４Ｒ、１０４Ｌ　　動き検出回路（動き検出手段）
１０５　　　　　　　　視差算出回路（視差算出手段）
１０６Ｒ、１０６Ｌ　　領域設定回路（領域設定手段）
１０７　　　　　　　　視差調整回路（視差調整手段）
１０８、１１１７　　　半導体集積回路
１１０８　　　　　　　画像符号化回路（画像符号化手段）
１１０９　　　　　　　記録部（記録手段）
１１１０　　　　　　　記録メモリ
１１１１　　　　　　　表示部（表示手段）
１１１２　　　　　　　表示デバイス
１１１３　　　　　　　ＣＰＵ
１１１４　　　　　　　プログラムメモリ
１１１５　　　　　　　外部メモリ
１１１６　　　　　　　外部スイッチ

Claims (10)

  1. 　２つ以上の光学系を備えた撮像装置であって、
    　前記各光学系に備えられ、光を電気信号に光電変換する撮像素子と、
    　前記各光学系より出力される撮像データに対して所定の処理を行う画像処理手段と、
    　前記画像処理手段により得られた画像の動き検出を行う動き検出手段と、
    　前記画像処理手段により得られた画像中の被写体領域を設定する領域設定手段と、
    　前記領域設定手段により設定された各被写体領域に対して前記各光学系間の視差を算出する視差算出手段と、
    　前記領域設定手段により設定された各被写体領域に対して、動き検出手段により得られた動き情報と前記視差算出手段による視差情報とに基づいて、前記各被写体領域の視差を調整する視差調整手段とを備える
    　ことを特徴とする撮像装置。
  2. 　前記請求項１記載の撮像装置において、
    　前記動き検出手段は、
    　複数のブロックに分割してブロック単位で動き検出を行い、ブロック単位の動きベクトルと、全ブロックの動きベクトルの代表値とを出力する
    　ことを特徴とする撮像装置。
  3. 　前記請求項２記載の撮像装置において、
    　前記領域設定手段は、
    　前記動き検出手段による各ブロックの動き検出結果に基づいて、各ブロックの動きベクトルの方向と絶対値とが類似する複数の隣接ブロックに対して、１つの被写体領域として領域設定する
    　ことを特徴とする撮像装置。
  4. 　前記請求項１記載の撮像装置において、
    　前記領域設定手段は、
    　前記画像処理手段により得られた画像と既知の被写体の特徴情報との比較を行って、その比較結果に基づいて一致する画素領域を被写体領域に設定する
    　ことを特徴とする撮像装置。
  5. 　前記請求項１記載の撮像装置において、
    　前記視差算出手段は、
    　前記領域設定手段により設定された画像中の各被写体領域に対して、光学系間の画素を比較することにより垂直方向のずれを算出補正し、その後、視差を算出する
    　ことを特徴とする撮像装置。
  6. 　前記請求項１記載の撮像装置において、
    　前記視差算出手段は、
    　前記領域設定手段により設定された画像中の各被写体領域に対して、光学系間の画素を比較することにより視差を算出する
    　ことを特徴とする撮像装置。
  7. 　前記請求項１記載の撮像装置において、
    　前記視差調整手段は、
    　前記領域設定手段により設定された各被写体領域間の距離の大小関係に基づいて、各被写体領域の視差量を調整する
    　ことを特徴とする撮像装置。
  8. 　前記請求項１～７の何れか１項に記載の撮像装置における視差調整方法であって、
    　前記画像処理手段により得られた画像の動き検出を行うステップと、
    　前記画像処理手段により得られた画像中の被写体領域を設定するステップと、
    　前記領域設定手段により設定された各被写体領域に対して光学系間の視差を算出するステップと、
    　前記領域設定手段により設定された各被写体領域に対して、前記動き検出手段により得られた動き情報と前記視差算出手段による視差情報とに基づいて、前記各被写体領域の視差を調整するステップとを備える
    　ことを特徴とする視差調整方法。
  9. 　前記請求項１～７の何れか１項に記載の撮像装置を備えた
    　ことを特徴とする半導体集積回路。
  10. 　前記請求項１～７の何れか１項に記載の撮像装置と、
    　画像記録用の圧縮符号化動作又は画像再生用の伸張復号化を行う画像符号化手段と、
    　記録メモリを制御し、記録再生動作を行う記録手段と、
    　画像処理結果や再生データを表示する表示手段と、
    　プログラムメモリから読み出したプログラムに基づいてシステム制御を行うＣＰＵとを備え、
    　外部入力手段により与えられた設定に基づいて、記録や再生の動作を行う
    　ことを特徴とするデジタルカメラ。
PCT/JP2011/004064 2010-10-07 2011-07-15 撮像装置、視差調整方法、半導体集積回路及びデジタルカメラ WO2012046369A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010227819 2010-10-07
JP2010-227819 2010-10-07

Publications (1)

Publication Number Publication Date
WO2012046369A1 true WO2012046369A1 (ja) 2012-04-12

Family

ID=45927379

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004064 WO2012046369A1 (ja) 2010-10-07 2011-07-15 撮像装置、視差調整方法、半導体集積回路及びデジタルカメラ

Country Status (1)

Country Link
WO (1) WO2012046369A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012182746A (ja) * 2011-03-02 2012-09-20 Olympus Imaging Corp 画像処理装置、表示装置、撮像装置および画像処理プログラム
WO2016114155A1 (ja) * 2015-01-13 2016-07-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
CN117495933A (zh) * 2024-01-02 2024-02-02 中国科学院长春光学精密机械与物理研究所 基于视差修正的光电望远镜外挂镜头图像实时配准方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004007395A (ja) * 2002-03-27 2004-01-08 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2011171813A (ja) * 2010-02-16 2011-09-01 Fujifilm Corp 撮像装置及び立体画像表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004007395A (ja) * 2002-03-27 2004-01-08 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2011171813A (ja) * 2010-02-16 2011-09-01 Fujifilm Corp 撮像装置及び立体画像表示方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012182746A (ja) * 2011-03-02 2012-09-20 Olympus Imaging Corp 画像処理装置、表示装置、撮像装置および画像処理プログラム
WO2016114155A1 (ja) * 2015-01-13 2016-07-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
US10512389B2 (en) 2015-01-13 2019-12-24 Sony Corporation Image processing device, image processing method, and endoscope system
US10993603B2 (en) 2015-01-13 2021-05-04 Sony Corporation Image processing device, image processing method, and endoscope system
CN117495933A (zh) * 2024-01-02 2024-02-02 中国科学院长春光学精密机械与物理研究所 基于视差修正的光电望远镜外挂镜头图像实时配准方法
CN117495933B (zh) * 2024-01-02 2024-03-12 中国科学院长春光学精密机械与物理研究所 基于视差修正的光电望远镜外挂镜头图像实时配准方法

Similar Documents

Publication Publication Date Title
US8274552B2 (en) Primary and auxiliary image capture devices for image processing and related methods
JP5140210B2 (ja) 撮影装置および画像処理方法
JP5414947B2 (ja) ステレオ撮影装置
JP5204350B2 (ja) 撮影装置、再生装置、および画像処理方法
US9210405B2 (en) System and method for real time 2D to 3D conversion of video in a digital camera
US8384802B2 (en) Image generating apparatus and image regenerating apparatus
JP5204349B2 (ja) 撮影装置、再生装置、および画像処理方法
CN102986233B (zh) 图像摄像装置
JP5308523B2 (ja) 立体画像表示装置
JP5320524B1 (ja) ステレオ撮影装置
US20110249153A1 (en) Obstacle detection display device
US20120154551A1 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US20120263372A1 (en) Method And Apparatus For Processing 3D Image
TW200931343A (en) Block-based image stabilization
CN102907104A (zh) 形成具有感知深度的视频
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
GB2548860A (en) Multi-camera image coding
JP2008288706A (ja) 撮像装置、画像処理装置、画像ファイル及び階調補正方法
JP6155471B2 (ja) 画像生成装置、撮像装置および画像生成方法
JP2012114910A (ja) 遮蔽レイヤの拡張
WO2012046369A1 (ja) 撮像装置、視差調整方法、半導体集積回路及びデジタルカメラ
JP2013150071A (ja) 符号化装置、符号化方法、プログラム及び記憶媒体
US10911780B2 (en) Multi-viewpoint image coding apparatus, multi-viewpoint image coding method, and storage medium
JP5051091B2 (ja) 撮像装置、画像信号処理装置、撮像方法、および画像信号処理方法
WO2013001839A1 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11830308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11830308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP