WO2013069564A1 - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- WO2013069564A1 WO2013069564A1 PCT/JP2012/078458 JP2012078458W WO2013069564A1 WO 2013069564 A1 WO2013069564 A1 WO 2013069564A1 JP 2012078458 W JP2012078458 W JP 2012078458W WO 2013069564 A1 WO2013069564 A1 WO 2013069564A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- zoom
- super
- image data
- zoom magnification
- resolution
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/12—Adjusting pupillary distance of binocular pairs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Definitions
- the present invention relates to an imaging apparatus and a control method thereof, and more particularly, to an imaging apparatus having both an optical zoom function and an electronic zoom function and a control method thereof.
- the electronic zoom image generally has poor resolution compared to the optical zoom image.
- image contour correction is performed in accordance with the zoom magnification in order to maintain the resolution (for example, the sharpness of the contour portion) in an electronic zoom image (Patent Documents 3, 4, and 5).
- Patent Documents 3 to 5 change the strength of contour correction processing performed on image data and the frequency band for contour correction processing according to the magnification of the electronic zoom.
- contour correction processing suitable for an electronic zoom image is performed even on image data that has not been electronically zoomed and has sufficient resolution, image quality characteristics may be deteriorated, such as artifacts and blurring. is there.
- Another object of the present invention is to be able to generate image data representing an image with a good resolution over the entire range of zoom operation.
- An image pickup apparatus is an image pickup means for picking up a subject through a zoom lens capable of optically scaling an optical image and outputting image data representing the subject image, and electronically obtaining image data obtained by the image pickup means.
- Electronic zoom means for zooming in zoom operation means for changing the zoom magnification of the zoom lens and electronic zoom means, zoom magnification up to the optical maximum zoom magnification when the zoom lens is at the telephoto end
- Zoom control means that uses only a zoom lens in the zoom range applicable to optical zoom and zooms in image data using an electronic zoom means in combination with an electronic zoom application zoom range in which the zoom magnification exceeds the optical maximum zoom magnification
- the image data is subjected to super-resolution processing that enhances the contour while suppressing noise enhancement, and generates super-resolution image data.
- the generated super-resolution image data and the image data that has not been super-resolution processed are, as the zoom magnification increases, the super-resolution image data.
- a weighting synthesis means for synthesizing by weighting processing that increases the weighting of.
- the first invention also provides a method suitable for controlling the above-described imaging apparatus.
- an imaging means for imaging a subject through a zoom lens capable of optically scaling an optical image and outputting image data representing the subject image, and electronically obtaining image data obtained by the imaging means.
- the image data is subjected to super-resolution processing that enhances the contour while suppressing noise enhancement, and generates super-resolution image data.
- An image pickup apparatus control method comprising: means for controlling the generated super-resolution image data and image data not subjected to super-resolution processing when the zoom magnification is in the electronic zoom application scaling range; The higher the magnification, the higher the super-resolution image data weight is.
- optical zooming change of focal length
- zoom magnification optical maximum zoom magnification, maximum focal length of the zoom lens
- electronic zoom processing for electronically scaling image data by pixel interpolation processing is started. Zooming with a zoom magnification that exceeds the maximum zoom magnification of the zoom lens continues.
- the super-resolution processing is processing for emphasizing the outline of image data while suppressing noise enhancement. That is, super-resolution processing is image processing that improves the resolution of an image viewed in an image represented by image data to be processed, and includes at least noise reduction (suppression, removal) processing and contour enhancement processing. Means image processing. For example, a combination of noise reduction processing by smoothing processing using a smoothing filter and contour enhancement processing for increasing the gain of the luminance value of the contour component in the image.
- the image after zoom processing has an improved resolution compared to the image that has not been super-resolution processing (an image with a clearer outline and less noticeable noise) ).
- the super-resolution image data and the image data that has not been subjected to the super-resolution processing are compared with each other as the zoom magnification increases.
- a weighting synthesis is performed in which weighting is performed by weighting processing that increases weighting.
- Weighted composite image data with a large weight (ratio) of image data that has not been super-resolution processed at a relatively small zoom magnification within the electronic zoom applied magnification range was gradually super-resolution processed as the zoom magnification increased. Weighted composite image data in which the weight of the image data is increased can be generated.
- the higher the zoom magnification the worse the image resolution.
- the weight of the image data that has undergone super-resolution processing is gradually increased, so that an image with a relatively constant resolution can be obtained to the photographer while suppressing the deterioration of the resolution over the entire zoom operation range. It can be visually recognized.
- the weighted composite image data with a large weight of the super-resolution image data is not generated suddenly, thereby rapidly increasing the resolution. Changes are alleviated.
- the imaging apparatus records in the recording means image data that has been optically scaled to the zoom magnification and is not subjected to super-resolution processing.
- it is an electronic zoom application magnification range
- it comprises recording control means for recording on the recording means electronically scaled image data that has been weighted and synthesized.
- the image data recorded in the recording means can be used for image display on the display device.
- Electronic zoom processing may be applied to the weighted composite image data to change the zoom magnification, or super-resolution image data before weighted composition and image data that has not been super-resolution processed are subjected to electronic zoom processing.
- the zoom magnification may be changed by using, and then weighted and combined.
- the zoom magnification is up to the optical maximum zoom magnification (optical zoom application magnification range)
- the optically scaled image data not subjected to super-resolution processing is recorded in the recording means.
- the zoom magnification exceeds the optical maximum zoom magnification and is at the zoom magnification at which the electronic zoom processing is to be performed on the image data as described above (electronic zoom application scaling range)
- the image data including the super-resolution image data is Recorded in recording means.
- the image data that has been optically scaled to the zoom magnification and not subjected to super-resolution processing is recorded in the recording means.
- the super-resolution processing is not performed if the zoom magnification is in the optical zoom application zoom range, and the image data is super-resolution processed when the zoom magnification is in the electronic zoom application zoom range.
- Super resolution processing control means for controlling the super resolution processing means is further provided. In the zoom range to which the optical zoom is applied, the resources of the imaging device are not spent for super-resolution processing, and the time until image display is not prolonged.
- the weighting combining unit may superimpose the super-resolution image data and the super-resolution image when the zoom magnification is in the range from the optical maximum zoom magnification to the first zoom magnification exceeding the optical maximum zoom magnification.
- the recording control means performs weighting processing on the image data not subjected to image processing.
- Electronically scaled to the zoom magnification is recorded in the recording means, and when the zoom magnification exceeds the first zoom magnification, the super-resolution image data is electronically scaled to the zoom magnification. Is recorded in the recording means.
- the super-resolution processing means may perform two-stage super-resolution processing with different degrees.
- the super-resolution processing means executes first and second super-resolution processes having different degrees of super-resolution processing. If the zoom magnification is in the range from the optical maximum zoom magnification to the first zoom magnification exceeding the optical maximum zoom magnification, the super-resolution image data and the super-resolution processing are performed by the first super-resolution processing. Image data is combined by a weighting process in which the weighting of super-resolution image data increases as the zoom magnification increases, and the second zoom magnification exceeds the second zoom magnification exceeding the first zoom magnification.
- the recording control means is configured to store the super-resolution image data by the first super-resolution processing and the image data not subjected to the super-resolution processing.
- the image data that has been weighted and synthesized is electronically scaled to the zoom magnification is recorded in the recording means, and if the zoom magnification is in the range from the first zoom magnification to the second zoom magnification, the first super
- the super-resolution image data obtained by the resolution processing is electronically scaled to the zoom magnification and recorded in the recording means.
- Zoom magnification is the third zoom magnification
- obtaining the recording in the recording means a material obtained by scaling the super-resolution image data according to the second super-resolution processing to electronically its zoom magnification.
- the zoom magnification at which super-resolution processing (composition of super-resolution image data) starts is the lowest zoom magnification (boundary between the optical zoom application magnification range and the electronic zoom application magnification range) in the electronic zoom application magnification range. Good. However, it is not always necessary to start the super-resolution processing from the minimum zoom magnification within the electronic zoom application zoom range.
- the imaging apparatus does not synthesize super-resolution image data even if the zoom magnification is equal to or less than a predetermined zoom magnification, even if it is within the electronic zoom application variable magnification range, and the zoom magnification is the predetermined zoom magnification.
- the image forming apparatus further includes weighting combining control means for controlling the weighting combining means so as to combine the image data when larger.
- weighting combining control means for controlling the weighting combining means so as to combine the image data when larger.
- the predetermined zoom magnification is a zoom magnification at which a spatial frequency response at a predetermined reference spatial frequency becomes a predetermined value.
- a zoom magnification that provides N% (N is an arbitrary positive value) response of the spatial frequency response determined by the characteristics of the imaging device and the zoom magnification with respect to a predetermined reference spatial frequency.
- a zoom magnification at which the spatial frequency at which the predetermined reference spatial frequency response N% is equal to or less than the reference spatial frequency may be used as the predetermined zoom magnification.
- the super-resolution processing means includes a separating means for separating an image represented by image data into its contour component and a non-contour component, and a contour separated by the separating means.
- Contour component processing means for performing noise reduction processing and enhancement processing on the component, and combining means for combining the contour component subjected to noise reduction processing and enhancement processing with the non-contour component.
- An image pickup apparatus is an image pickup means for picking up a subject through a zoom lens capable of optically scaling an optical image and outputting image data representing the subject image, and electronically obtaining image data obtained by the image pickup means.
- Electronic zoom means for zooming in zoom operation means for changing the zoom magnification of the zoom lens and electronic zoom means, zoom magnification up to the optical maximum zoom magnification when the zoom lens is at the telephoto end
- Zoom control means that uses only a zoom lens in the zoom range applicable to optical zoom and zooms in image data using an electronic zoom means in combination with an electronic zoom application zoom range in which the zoom magnification exceeds the optical maximum zoom magnification
- the image data is subjected to super-resolution processing that enhances the contour while suppressing noise enhancement, and generates super-resolution image data.
- image data that has not undergone image processing is recorded in the recording means and the zoom magnification is greater than the zoom magnification at which the spatial frequency response is the predetermined value, the super-resolution image data is not super-resolved.
- a recording control unit is provided for recording on the recording unit the image data obtained by superimposing and synthesizing the image data and zooming the image data.
- a zoom magnification that is N% (N is an arbitrary positive value) response of the spatial frequency response determined by the characteristics of the imaging apparatus and the zoom magnification with respect to a predetermined reference spatial frequency, and the spatial frequency response is a predetermined value.
- N% N is an arbitrary positive value
- the spatial frequency response is a predetermined value.
- a zoom magnification may be used in which the spatial frequency at which the predetermined reference spatial frequency response N% is equal to or less than the reference spatial frequency.
- a method of controlling an image pickup apparatus comprising: an image pickup means for picking up a subject through a zoom lens capable of optically scaling an optical image and outputting image data representing the subject image; and an image obtained by the image pickup means.
- Electronic zoom means for electronically scaling data, zoom lens, zoom operation means for changing the zoom magnification of the electronic zoom means, and optical maximum zoom magnification when the zoom magnification is at the telephoto end Use only a zoom lens if the zoom range is applicable to the optical zoom range up to, and if the zoom magnification exceeds the maximum optical zoom magnification, use the electronic zoom means to scale the image data.
- the super-resolution image processing is performed for the zoom control means, and the image data is subjected to super-resolution processing that enhances the contour while suppressing noise enhancement.
- a method of controlling an imaging apparatus including super-resolution processing means for generating a super-resolution image data and super-resolution image data that has not been super-resolution processed as the zoom magnification increases.
- the zoom magnification is equal to or less than the zoom magnification at which the spatial frequency response determined by the characteristics of the imaging device and the zoom magnification becomes a predetermined value with respect to a predetermined reference spatial frequency.
- the image data scaled to the zoom magnification and not subjected to super-resolution processing is recorded in the recording means, and the zoom magnification is greater than the zoom magnification at which the spatial frequency is the predetermined value.
- the image data obtained by superimposing and combining the resolution image data and the image data not subjected to super-resolution processing is scaled to the zoom magnification and recorded in the recording means.
- the spatial frequency response representing the sense of resolution of the image is recorded on the recording means as image data that has not been super-resolution processed, or is not super-resolution processed with the super-resolution image data. This is used as a criterion for determining whether or not image data obtained by weighting and synthesizing image data is recorded in the recording means.
- the spatial frequency response is determined by the characteristics of the imaging device (optical characteristics of the zoom lens, characteristics of the imaging means, image processing characteristics during electronic zoom, etc.) and the zoom magnification. Also, the spatial frequency response decreases as the zoom magnification increases.
- N% response zoom magnification Using a zoom magnification (hereinafter referred to as “N% response zoom magnification”) at which the spatial frequency response becomes a predetermined value, for example, N% response (N is an arbitrary positive value) with respect to a predetermined reference spatial frequency, If the zoom magnification is equal to or less than the N% response zoom magnification, the image data at that time has a spatial frequency response of N% or more, and therefore image data that has not been subjected to super-resolution processing on the assumption that it has an acceptable resolution. Is recorded in the recording means.
- the zoom magnification is larger than the N% response zoom magnification, the image data at that time has a spatial frequency response of less than N%, so that the super-resolution image data is considered not to reach an acceptable resolution. Then, image data obtained by superimposing and superimposing image data not subjected to super-resolution processing is recorded in the recording means. The photographer can visually recognize an image with a good resolution over the entire range of the zoom operation. As described above, a zoom magnification at which the spatial frequency at which the predetermined reference spatial frequency response N% is equal to or less than the reference spatial frequency may be used.
- the zoom magnification and the super-resolution processing image (super-resolution processing on image) and the non-super-resolution processing image (super-resolution processing off image) are combined. Show the relationship.
- the zoom magnification and the super-resolution processing (super-resolution processing on image) and non-super-resolution processing (super-resolution processing off-image) combining processing Show the relationship.
- FIG. 1 is a block diagram showing the electrical configuration of the digital camera 1 of the first embodiment.
- the overall operation of the digital camera 1 is controlled by the CPU 2.
- the control program executed by the CPU 2, various data necessary for control, camera setting values, etc. are stored in the memory 14 (ROM area).
- the memory 14 is also used as a work area for the CPU 2 and a temporary storage area for image data (RAM area).
- the operation unit 25 includes a mode selection dial, a shutter release button, a zoom button, and the like.
- the imaging mode is set by the mode selection dial included in the operation unit 25, the light beam representing the subject image enters the light receiving surface of the CCD 5 through the zoom lens 3 and the focus lens 4.
- a video signal representing a subject image is output from the CCD 5 at a constant period.
- the zoom button is operated to the wide angle side or the telephoto side, the zoom lens 3 is controlled by the motor driver 21 to perform optical zooming.
- the video signal output from the CCD 5 is converted into digital image data by the analog / digital conversion circuit 6.
- the image data output from the analog / digital conversion circuit 6 is input to the image input controller 7.
- the image data output from the image input controller 7 is input to the image signal processing circuit 8 where predetermined image processing such as gamma correction and white balance adjustment is performed and then input to the display circuit 10.
- the image signal processing circuit 8 also has a function of performing electronic zoom processing (pixel interpolation processing).
- the electronic zoom is also performed according to the operation of the zoom button described above.
- a subject image captured through the zoom lens 3 and the focus lens 4 is displayed on the display screen of the image display device 11. .
- the image data output from the image input controller 7 is also input to the AE (automatic exposure) / AF (automatic focus) detection circuit 12.
- AE detection the subject brightness is calculated based on the input image data
- the aperture value of the aperture (not shown) and the shutter speed of the shutter (not shown) are calculated based on the calculated brightness, and the aperture and the shutter are controlled.
- AF detection the lens position of the focus lens 4 is calculated based on the contrast of the input image data.
- the focus lens 4 is controlled by the motor driver 22 so that the calculated lens position is obtained.
- an image signal representing the subject image is output from the CCD 5, and the image signal is converted into digital image data by the analog / digital conversion circuit 6,
- the image signal is input to the image signal processing circuit 8 via the image input controller 7, where predetermined image processing is performed.
- the image data output from the image signal processing circuit 8 is temporarily stored in the memory 14.
- the image data read from the memory 14 is input to the image compression / decompression processing circuit 9 and compressed.
- the compressed image data is recorded by the media controller 15 on a recording medium 16 such as a memory card.
- the compressed image data recorded on the recording medium 16 is read by the media controller 15 and applied to the image compression / expansion processing circuit 9.
- the expanded image data is stored in the memory 14.
- An image based on the image data stored in the memory 14 is displayed on the image display device 11 controlled by the display circuit 10.
- the digital camera 1 further includes a super-resolution processing circuit 13.
- the super-resolution processing circuit 13 performs noise reduction processing and contour enhancement processing on the image data.
- the super-resolution processing circuit 13 executes noise reduction processing by smoothing processing using a smoothing filter and contour enhancement processing for increasing the gain of the luminance value of the contour component in the image.
- the operation of the digital camera 1 including image processing by the super-resolution processing circuit 13 will be described later.
- FIG. 2 is a flowchart showing the operation flow of the digital camera 1.
- FIG. 3 shows an image processing flow in the flowchart shown in FIG. 2 by an image example.
- FIG. 4 shows zoom magnification by zoom processing using a zoom button, an image that has been super-resolution processed by a super-resolution processing circuit 13 described later (super-resolution processing on image), and an image that has not been super-resolution processed (super-resolution). The relationship with the composition processing of the resolution processing off image) is shown.
- the flowchart shown in FIG. 2 will be described below with reference to FIGS. 3 and 4 as appropriate.
- a subject image is captured (step 31).
- Zooming of the subject image is performed by the zoom button.
- the zoom magnification does not reach the zoom magnification (optical maximum zoom magnification) at the telephoto end (tele end) of the zoom lens 3, that is, referring to FIG. 4, the current zoom magnification is the zoom lens.
- the optical maximum zoom magnification Z 2 when located at the third wide-angle end zoom magnification Z 1 and a telephoto end when located at the (wide end) (tele end) no particular process is performed.
- the image data obtained by the imaging is recorded in the memory 14 (the recording medium 16 when the shutter release button is pressed) (NO in step 32, step 38).
- the image represented by the image data recorded in the memory 14 can be displayed on the image display device 11.
- the above-described electronic zoom processing by the image signal processing circuit 8 is not performed.
- the current (current) zoom magnification is detected by the CPU 2 in accordance with the time when the zoom button included in the operation unit 25 is pressed.
- the electronic zoom processing in addition to the optical zoom by the zoom lens 3 is performed when the zoom magnification zoom lens 3 located telephoto end. Proceed to the following processing.
- image data in the electronic zoom area (range to be enlarged and reduced according to the current zoom magnification) is cut out (step 33).
- image data representing an image I 2 (hereinafter referred to as a cut-out image I 2 ) representing an electronic zoom region 51 included in an image I 1 representing the entire imaging region is image data representing the image I 1. It is cut out from.
- the image data representing the cut-out image I 2 is branched into two (copied), and data representing one of the cut-out images I 2 is given to the super-resolution processing circuit 13 where super-resolution processing (noise reduction processing) is performed. And image processing combined with contour enhancement processing) (step 34). An image subjected to super-resolution processing (super-resolution processing on image) I 3 is generated.
- the current zoom magnification when the zoom lens 3 described above is an optical maximum zoom magnification Z 2 the zoom magnification Z 3 or more which exceeds a predetermined value or more when in the telephoto end, the super-resolution processing on The image itself is the target of display processing.
- the super-resolution processing-on image is enlarged (interpolated) to the image size of the imaging area (original subject image) (electronic zoom processing), and data representing the enlarged super-resolution processing-on image is recorded in the memory 14 (NO at step 35, step 37, step 38).
- a cut-out image (super-resolution processing off image) I 2 that has not been subjected to super-resolution processing is not recorded in the memory 14.
- the current zoom magnification is between zoom magnifications Z 2 to Z 3 (weighted composite range)
- I 2 is synthesized (YES at step 35, step 36).
- the superposition processing on-image I 3 weighting increases proportionally as the zoom magnification increases from Z 2 to Z 3 (see the alternate long and short dash line).
- the amount of weighting is assumed to be a proportional increase, but it may be a non-linear increase.
- the weighting of the super-resolution processing off-image I 2 decreases proportionally as the zoom magnification increases from Z 2 toward Z 3 (see solid line).
- the amount of weighting may be a non-linear decrease.
- the weighting composition range shown in FIG. 4 and the data indicating the relationship between the zoom magnification and weighting ratio (composition ratio) in that range, the zoom range to which the optical zoom is applied, and the zoom range to which the electronic zoom is applied are as follows: It is stored in the memory 14, and this is used for determining whether or not to perform the above-described weighted composition processing.
- the zoom magnification Z 2 displays simply switching between optical zoom image and electronic zoom image processed super resolution as a threshold, it can not be maintained continuity of resolution of visually recognized image.
- FIG. 4 to display the weighted composite image during a zoom magnification Z 2 of Z 3, and gradually increase the weight of the super-resolution processing on the image according to the zoom magnification increases (Ultra By reducing the weight of the resolution-off image gradually), sudden fluctuations in resolution are suppressed.
- the photographer can visually recognize a zoom image having a continuous sense of resolution during the zoom operation.
- the resolution that deteriorates as the zoom magnification increases is compensated by gradually increasing the weight of the super-resolution processing-on image in the weighted composite image, so that the resolution is relatively stable over the entire range of the zoom operation.
- the photographer can visually recognize an image with a constant feeling.
- FIG. 5 is a flowchart showing the operation flow of the digital camera of the second embodiment.
- the same processes as those in the flowchart (FIG. 2) of the digital camera 1 of the first embodiment are denoted by the same reference numerals, and redundant description is omitted.
- the hardware configuration of the digital camera of the second embodiment and other embodiments described later is the same as that of the first embodiment (FIG. 1).
- the super-resolution processing by the super-resolution processing circuit 13 in the first embodiment described above is targeted for image data obtained by imaging.
- contour extraction processing is performed in advance before super-resolution processing, and only the extracted contour portion is set as a processing target of the super-resolution processing circuit 13.
- the extracted image is subjected to contour extraction processing (contour component separation processing) in super-resolution processing circuit 13 (step 41), and image data representing contour components (step 42) and non-contour components are represented.
- Image data (step 43) is generated.
- the super-resolution processing circuit 13 performs super-resolution processing on only the image data of the contour component as a processing target (step 34). If the current zoom magnification is within the weighted composition range (FIG. 4: zoom magnification Z 2 to Z 3 ), the super-resolution processing on image and the super-resolution processing off image are weighted and synthesized (in step 35). YES, step 36). If the current zoom magnification exceeds the weighted combination range (zoom magnification Z 3 or higher), heavy with synthetic not performed (NO at step 35).
- the image data of the contour component that has been subjected to the super-resolution processing or the image data of the contour component that has been overlaid and the image data of the non-contour component are synthesized (step 44). After the image enlargement process, the synthesized image data is recorded in the memory 14 (steps 37 and 38).
- the processing time in the super-resolution processing circuit 13 can be shortened as compared with the first embodiment.
- the contour component can be super-resolution processed, there is an advantage that a false contour does not occur or is less likely to occur compared to the case of super-resolution processing of the entire image.
- a zoom magnification (weighting combination range optical maximum zoom magnification Z 2, to initiate heavy with synthesis process in the zoom lens 3 is positioned at the telephoto end (tele-end) Minimum zoom magnification).
- a sufficient resolution may be maintained when the zoom magnification is small.
- the zoom magnification for starting the weighting synthesis process is determined.
- FIG. 6 is a graph showing the characteristics of the spatial frequency response of the digital camera 1 with the horizontal axis as the spatial frequency and the vertical axis as the spatial frequency response.
- the spatial frequency response is determined by the characteristics of the digital camera 1 (optical characteristics of the zoom lens 3, characteristics of the CCD 2, image processing characteristics during electronic zooming, etc.) and the zoom magnification.
- FIG. 6 is a graph showing the characteristics of the spatial frequency response when the zoom magnification is Z 1 , Z 2 , Z 3 and Z N (Z 1 ⁇ Z 2 ⁇ Z 3 ⁇ Z N ). ing.
- the spatial frequency response becomes smaller as the spatial frequency of the image is higher at any zoom magnification.
- Figure 6 is a zoom magnification Z 1, Z 2, Z 3 and Z for each case is N, spatial frequencies F 1 that spatial frequency response is 50% response, F 2, F 3, F N (F 1> F 2> F 3> F N) are shown. It can be seen that the greater the zoom magnification, the lower the spatial frequency at which 50% response is achieved.
- FIG. 7 is a diagram showing the relationship between zoom magnification and weighted composition, with a curve (see fine broken lines) indicating the spatial frequency at which the spatial frequency response becomes 50% response. As shown in FIG. 7, the spatial frequency at which the spatial frequency response becomes 50% decreases as the zoom magnification increases.
- the zoom magnification may be at or less large zoom magnification Z C than the optical maximum zoom magnification Z 2 (spatial frequency response of 50% Response (See point C on the curve showing the spatial frequency).
- the zoom magnification is larger than the optical maximum zoom magnification Z 2 , and as long small zoom magnification Z B less than the zoom magnification Z C (refer to point B).
- the zoom magnification is smaller than the optical maximum zoom magnification Z 2. or less is required zoom magnification Z A (refer to point A).
- the spatial frequency response of 50% Response A frequency (reference spatial frequency) is determined in advance, and data representing the zoom magnification at which the spatial frequency response is 50% for the reference spatial frequency is stored in the memory 14 in advance.
- super-resolution processing weighted synthesis
- Super-resolution processing is performed when the detected zoom magnification is in the electronic zoom applied magnification range, and super-resolution processing (weighted composition) is not performed when it is in the optical zoom applied magnification range.
- a relatively low spatial frequency is determined as the reference spatial frequency (for example, F 2 and F 3 in FIG. 7), and the zoom magnification (Z B ) at which the spatial frequency response becomes 50% response for the reference spatial frequency. , Z C ) may be stored in the memory 14 in advance.
- a relatively high spatial frequency is determined as the reference spatial frequency (for example, F 1 in FIG.
- zoom magnification Z A smaller than the optical maximum zoom magnification Z 2 (the spatial frequency response for the reference spatial frequency F 1). Is stored in the memory 14 as a zoom magnification at which super-resolution processing (weighted composition) is started.
- FIG. 8 shows a fourth embodiment.
- combination process of a resolution process off image) is shown.
- the super-resolution processing can adjust its strength (degree) by changing the filter coefficient of the filter used for the noise reduction processing and the gain value used for the contour enhancement processing.
- two super-resolution processes with different degrees are used.
- the super-resolution processing circuit 13 performs an image with a weak super-resolution processing (super-resolution processing on (weak ) Image) (Dash-dotted line) and Super-resolution processed image (Super-resolution processing on (Strong) image) (Double-dot chain line) Combine with weight.
- the amount of super-resolution processing on (strong) image weighting increases proportionally as the zoom magnification increases from Z 4 to Z 5 .
- the amount of super-resolution processing on (weak) image weighting decreases proportionally as the zoom magnification increases from Z 4 toward Z 5 .
- a super-resolution processing-on (weak) image and a super-resolution processing-on (strong) image that are superimposed and combined are enlarged and recorded in the memory 14.
- the super-resolution processing on (strong) image is recorded is enlargement processing in the memory 14.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
超解像処理が必要な場合にのみ,超解像処理が行われた画像データが確実に生成されるようにする。 ズーム倍率がZ1~Z2の光学ズーム適用変倍範囲であればズームレンズによって拡大された画像データが記録メディアに記録される。ズーム倍率がZ2~Z3の電子ズーム適用変倍範囲であれば画像データに超解像処理が行われ,超解像画像データと超解像処理されていない画像データとを,ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成したものが電子ズーム処理されて記録される。ズーム倍率がZ3を超えると超解像画像データを電子ズーム処理したものが記録される。
Description
この発明は,撮像装置およびその制御方法に関し,特に光学ズーム機能と電子ズーム機能の両方を備える撮像装置およびその制御方法に関する。
ズーム・スイッチを操作すると光学ズームに引続いて電子ズームに移行し,光学ズームの最大倍率を超える拡大画像を表示装置に表示するものが知られている。段階的に変化する光学ズームの倍率の間において電子ズーム画像を表示するものもある(特許文献1,2)。
電子ズーム画像は光学ズーム画像と比べて一般に解像感が悪い。電子ズーム画像において解像感(たとえば輪郭部分の鮮明さ)を保つために,ズーム倍率に応じて画像輪郭補正を行うものもある(特許文献3,4,5)。
特許文献3~5は,画像データに対して行われる輪郭補正処理の強さや輪郭補正処理する周波数帯域を電子ズームの倍率に応じて変更している。しかしながら,たとえば電子ズーム画像に適する輪郭補正処理を,電子ズームを行っていない,十分な解像感を有する画像データにまで行うと,アーチファクトやボケの発生など逆に画質特性の劣化が生じるおそれがある。
この発明は,画像補正処理,特に後述する超解像処理が必要な場合にのみ,超解像処理が行われた画像データが生成されるようにすることを目的とする。
この発明はまた,ズーム操作の全範囲にわたって解像感のよい画像を表す画像データを生成できるようにすることを目的とする。
第1の発明による撮像装置は,光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し,被写体像を表す画像データを出力する撮像手段,上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段,ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段,ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて,ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段,上記画像データに対し,ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い,超解像画像データを生成する超解像処理手段,ならびにズーム倍率が上記電子ズーム適用変倍範囲にあるときに,生成された超解像画像データと超解像処理されていない画像データとを,上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する重付け合成手段を備えている。
第1の発明は上述した撮像装置の制御に適する方法も提供する。第1の発明による方法は,光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し,被写体像を表す画像データを出力する撮像手段,上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段,ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段,ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて,ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段,および上記画像データに対し,ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い,超解像画像データを生成する超解像処理手段を備える撮像装置の制御方法であって,ズーム倍率が上記電子ズーム適用変倍範囲であるときに,生成された超解像画像データと超解像処理されていない画像データとを,上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する。
ズーム操作手段を用いて被写体像のズーム操作が開始されると,まずズームレンズによる光学的ズーミング(焦点距離の変更)が行われる。撮像装置が備えるズームレンズが望遠端に位置するときのズーム倍率(光学最大ズーム倍率,ズームレンズの最大焦点距離)までは光学的ズーミングのみが行われる。光学最大ズーム倍率を超えるズーム倍率にまで至るズーム操作が行われると,画像データを画素補間処理によって電子的に変倍する電子ズーム処理が始まる。ズームレンズの最大ズーム倍率を超えるズーム倍率によるズーミングが継続する。
この明細書において,超解像処理とは,画像データに対し,ノイズの強調を抑制しつつ輪郭を強調する処理を行うものである。すなわち,超解像処理とは,処理対象の画像データによって表される画像において視認される画像の解像感を向上させる画像処理であって,少なくともノイズ低減(抑制,除去)処理および輪郭強調処理を含む画像処理を意味する。たとえば,平滑化フィルタを用いた平滑化処理によるノイズ低減処理と,画像中の輪郭成分の輝度値のゲインを上げる輪郭強調処理との組合わせである。画像データを超解像処理することで,ズーム処理後の画像を,超解像処理されていない画像と比べて解像感が上昇したもの(より輪郭がはっきりし,さらにはノイズの目立たない画像)とすることができる。
第1の発明によると,ズーム倍率が電子ズーム適用変倍範囲にあるときに,超解像画像データと超解像処理されていない画像データとを,ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する重付け合成が行われる。電子ズーム適用変倍範囲において比較的小さいズーム倍率では超解像処理されていない画像データの重み(比率)が大きい重付け合成画像データを,ズーム倍率が大きくなるにしたがって次第に超解像処理された画像データの重みが大きくされた重付け合成画像データを生成することができる。上述したように,電子ズーム適用変倍範囲ではズーム倍率が大きいほど画像の解像感は悪くなる。ズーム倍率が大きくなるにしたがって次第に超解像処理された画像データの重みを大きくすることによって,ズーム操作の全範囲にわたって解像感の悪化を抑え比較的解像感が一定した画像を撮影者に視認させることができる。また,光学ズーム適用変倍範囲から電子ズーム適用変倍範囲に切換わるタイミングにおいて,いきなり超解像処理された画像データの重みが大きい重付け合成画像データを生成しないことで,解像感の急激な変化も緩和される。
好ましくは,上記撮像装置は,ズーム倍率が光学ズーム適用変倍範囲であれば光学的にそのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し,ズーム倍率が電子ズーム適用変倍範囲であれば上記重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する記録制御手段を備える。記録手段に記録された画像データを表示装置における画像表示に用いることができる。重付け合成画像データを電子ズーム処理することによってズーム倍率に変倍してもよいし,重付け合成する前の超解像画像データと超解像処理されていない画像データを電子ズーム処理することによってズーム倍率に変倍し,その後に重付け合成してもよい。ズーム倍率が光学最大ズーム倍率に至るまで(光学ズーム適用変倍範囲)であれば,光学的に変倍された超解像処理されていない画像データが記録手段に記録される。他方,ズーム倍率が光学最大ズーム倍率を超え,上述したように画像データに対する電子ズーム処理を行うべきズーム倍率にあるときに(電子ズーム適用変倍範囲),超解像画像データを含む画像データが記録手段に記録される。
上述したように,ズーム倍率が光学ズーム適用変倍範囲であれば光学的にそのズーム倍率に変倍された超解像処理されていない画像データが記録手段に記録される。一実施態様では,ズーム倍率が上記光学ズーム適用変倍範囲にあれば超解像処理せず,ズーム倍率が上記電子ズーム適用変倍範囲にあるときに画像データを超解像処理するように上記超解像処理手段を制御する超解像処理制御手段がさらに備えられる。光学ズーム適用変倍範囲においては超解像処理に撮像装置の資源が費やされず,画像表示に至るまでの時間が長くなることもない。
他の実施態様では,上記重付け合成手段は,ズーム倍率が上記光学最大ズーム倍率から上記光学最大ズーム倍率を超える第1のズーム倍率までの範囲にあるときに,超解像画像データと超解像処理されていない画像データとを重付け処理するものであり,上記記録制御手段は,ズーム倍率が上記光学最大ズーム倍率から第1のズーム倍率までの範囲であれば重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し,ズーム倍率が上記第1のズーム倍率を超える場合には上記超解像画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する。
超解像処理手段に程度の異なる2段階の超解像処理を行わせてもよい。第1の発明による他の実施態様では,上記超解像処理手段は,超解像処理の程度が異なる第1,第2の超解像処理を実行するものであり,上記重付け合成手段は,ズーム倍率が,上記光学最大ズーム倍率から上記光学最大ズーム倍率を超える第1のズーム倍率までの範囲であれば,第1の超解像処理による超解像画像データと超解像処理されていない画像データを上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって重付け合成し,上記第1のズーム倍率を超える第2のズーム倍率から上記第2のズーム倍率を超える第3のズーム倍率までの範囲であれば,第1の超解像処理による超解像画像データと,第1の超解像処理よりも程度の強い第2の超解像処理による超解像画像データとを,上記ズーム倍率が大きいほど第2の超解像処理による超解像画像データの重付けが大きくなる重付け処理によって重付け合成する。上記記録制御手段は,ズーム倍率が上記光学最大ズーム倍率から第1のズーム倍率までの範囲であれば第1の超解像処理による超解像画像データと超解像処理されていない画像データを重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し,ズーム倍率が上記第1のズーム倍率から第2のズーム倍率までの範囲であれば第1の超解像処理による超解像画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し,ズーム倍率が第2のズーム倍率から第3の倍率までの範囲であれば第1の超解像処理による超解像画像データと第2の超解像処理による超解像画像データを重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し,ズーム倍率が第3のズーム倍率を超える場合には第2の超解像処理による超解像画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する。
超解像処理(超解像画像データの合成)を始めるズーム倍率は,電子ズーム適用変倍範囲の最低ズーム倍率(光学ズーム適用変倍範囲と電子ズーム適用変倍範囲の境界)であってもよい。もっとも,電子ズーム適用変倍範囲の最低ズーム倍率から超解像処理を必ずしも始めなくてもよい。一実施態様において,上記撮像装置は,ズーム倍率が所定のズーム倍率以下であれば上記電子ズーム適用変倍範囲であっても超解像画像データを合成せず,ズーム倍率が上記所定のズーム倍率より大きいときに画像データを合成するように上記重付け合成手段を制御する重付け合成制御手段をさらに備える。ズーム倍率が次第に大きくされたとき,光学ズーム適用変倍範囲と電子ズーム適用変倍範囲の境界を超えて,電子ズーム適用変倍範囲における上記所定のズーム倍率となったときに超解像画像データが合成される。電子ズーム適用変倍範囲であってもズーム倍率が小さい範囲であれば,電子ズーム処理が行われても画像の解像感がさほど悪化しないこともあるからである。
上記所定のズーム倍率は,あらかじめ決められた基準空間周波数における空間周波数応答が所定の値となるズーム倍率である。たとえば,あらかじめ決められる基準空間周波数について上記撮像装置の特性およびズーム倍率によって定まる空間周波数応答のN%(Nは任意の正の値)応答となるズーム倍率を用いることができる。また,あらかじめ決められる基準空間周波数応答N%になる空間周波数が基準空間周波数以下になるズーム倍率を,上記所定のズーム倍率として用いてもよい。
第1の発明による他の実施態様では,上記超解像処理手段は,画像データによって表される画像をその輪郭成分と非輪郭成分とに分離する分離手段と,上記分離手段によって分離された輪郭成分に対してノイズ低減処理および強調処理を行う輪郭成分処理手段と,ノイズ低減処理および強調処理が行われた輪郭成分と上記非輪郭成分と合成する合成手段を含む。輪郭成分を超解像処理の対象とすることで超解像処理の処理時間の短縮が図られる。また,偽輪郭の発生も抑制することができる。
第2の発明による撮像装置は,光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し,被写体像を表す画像データを出力する撮像手段,上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段,ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段,ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて,ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段,上記画像データに対し,ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い,超解像画像データを生成する超解像処理手段,生成された超解像画像データと超解像処理されていない画像データとを,上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する重付け合成手段,ならびにズーム倍率が,あらかじめ決定される基準空間周波数について上記撮像装置の特性およびズーム倍率によって定まる空間周波数応答が所定の値となるズーム倍率以下であれば,そのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し,ズーム倍率が,上記空間周波数応答が上記所定の値となるズーム倍率より大きい場合に,上記超解像画像データと超解像処理されていない画像データを重付け合成した画像データをそのズーム倍率に変倍したものを記録手段に記録する記録制御手段を備える。たとえば,あらかじめ決められる基準空間周波数について上記撮像装置の特性およびズーム倍率によって定まる空間周波数応答のN%(Nは任意の正の値)応答となるズーム倍率を,上記空間周波数応答が所定の値となるズーム倍率として用いることができる。また,あらかじめ決められる基準空間周波数応答N%になる空間周波数が基準空間周波数以下になるズーム倍率を用いてもよい。
第2の発明による撮像装置を制御する方法は,光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し,被写体像を表す画像データを出力する撮像手段,上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段,ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段,ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて,ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段,ならびに上記画像データに対し,ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い,超解像画像データを生成する超解像処理手段を備える撮像装置の制御方法であって,生成された超解像画像データと超解像処理されていない画像データとを,上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成し,ズーム倍率が,あらかじめ決定される基準空間周波数について上記撮像装置の特性およびズーム倍率によって定まる空間周波数応答が所定の値となるズーム倍率以下であれば,そのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し,ズーム倍率が,上記空間周波数が上記所定の値となるズーム倍率より大きい場合に,上記超解像画像データと超解像処理されていない画像データを重付け合成した画像データをそのズーム倍率に変倍したものを記録手段に記録する。
第2の発明によると,画像の解像感を表す空間周波数応答が,超解像処理されていない画像データを記録手段に記録するか,上記超解像画像データと超解像処理されていない画像データを重付け合成した画像データを記録手段に記録するかの判断基準として用いられる。撮像装置の特性(ズームレンズの光学特性,撮像手段の特性,電子ズーム時の画像処理特性等)およびズーム倍率によって上記空間周波数応答は定まる。また,ズーム倍率が大きくなるにつれて空間周波数応答は低下する。あらかじめ決定される基準空間周波数について上記空間周波数応答が所定の値,たとえばN%応答(Nは任意の正の値)となるズーム倍率(以下,「N%応答ズーム倍率」という)を用いて,ズーム倍率が上記N%応答ズーム倍率以下であれば,そのときの画像データは空間周波数応答がN%以上となるから,許容できる解像感を持つと考えて超解像処理されていない画像データが記録手段に記録される。他方,ズーム倍率が,上記N%応答ズーム倍率より大きければ,そのときの画像データは空間周波数応答はN%未満となるから,許容できる解像感に達しないと考えて上記超解像画像データと超解像処理されていない画像データを重付け合成した画像データが記録手段に記録される。ズーム操作の全範囲にわたって解像感のよい画像を撮影者に視認させることができる。上述したように,あらかじめ決められる基準空間周波数応答N%になる空間周波数が基準空間周波数以下になるズーム倍率を用いてもよい。
以下,この発明を適用したディジタル・カメラについての実施例を,図面を参照して説明する。
図1は第1実施例のディジタル・カメラ1の電気的構成を示すブロック図である。
ディジタル・カメラ1の全体の動作はCPU2によって統括される。
CPU2が実行する制御プログラム,制御に必要な各種データ,カメラ設定値等がメモリ14に記憶されている(ROM領域)。メモリ14はまた,CPU2の作業用領域,画像データの一時記憶領域としても利用される(RAM領域)。
操作器25はモード選択ダイアル,シャッタレリーズボタン,ズームボタン等を含む。操作器25に含まれるモード選択ダイアルによって撮像モードが設定されると,被写体像を表す光線束がズームレンズ3およびフォーカスレンズ4を介してCCD5の受光面に入射する。CCD5から一定周期で被写体像を表す映像信号が出力される。ズームボタンを広角側または望遠側に操作すると,ズームレンズ3がモータ・ドライバ21によって制御されて光学的なズーミングが行われる。
CCD5から出力した映像信号はアナログ/ディジタル変換回路6においてディジタル画像データに変換される。アナログ/ディジタル変換回路6から出力された画像データは画像入力コントローラ7に入力する。画像入力コントローラ7から出力された画像データは画像信号処理回路8に入力し,ここでガンマ補正,白バランス調整など所定の画像処理が行われた後,表示回路10に入力する。
画像信号処理回路8は,電子ズーム処理(画素補間処理)を行う機能も有している。電子ズームも上述したズームボタンの操作に応じて行われる。
表示回路10によって画像表示装置(たとえば液晶モニタ)11が制御されることにより,ズームレンズ3およびフォーカスレンズ4を通して撮像された被写体像(いわゆるスルー画像)が画像表示装置11の表示画面に表示される。
画像入力コントローラ7から出力された画像データはAE(自動露出)/AF(自動合焦)検出回路12にも入力する。AE検出では入力した画像データにもとづいて被写体輝度が算出され,算出された輝度にもとづいて絞り(図示略)の絞り値およびシャッター(図示略)のシャッタ速度が算出され,絞りおよびシャッタが制御される。AF検出では入力した画像データのコントラスト等にもとづいてフォーカスレンズ4のレンズ位置が算出される。算出されたレンズ位置となるようにモータドライバ22によってフォーカスレンズ4が制御される。
モード選択ダイアルにおいて撮像モードが設定されているときにシャッタレリーズボタンが押されると,被写体像を表す画像信号がCCD5から出力され,画像信号はアナログ/ディジタル変換回路6によってディジタル画像データに変換され,画像入力コントローラ7を介して画像信号処理回路8に入力し,ここで所定の画像処理が行われる。画像信号処理回路8から出力された画像データはメモリ14に一時的に記憶される。メモリ14から読み出された画像データは画像圧縮/伸長処理回路9に入力し,圧縮される。圧縮された画像データがメディア・コントローラ15によってメモリ・カードなどの記録メディア16に記録される。
モード選択ダイアルにおいて再生モードが設定されると,記録メディア16に記録されている圧縮画像データがメディア・コントローラ15によって読出され,画像圧縮/伸張処理回路9に与えられる。伸張された画像データがメモリ14に記憶される。メモリ14に記憶された画像データに基づく画像が表示回路10によって制御される画像表示装置11に表示される。
ディジタル・カメラ1はさらに超解像処理回路13を備えている。超解像処理回路13は画像データに対するノイズ低減処理および輪郭強調処理を行う。たとえば,平滑化フィルタを用いた平滑化処理によるノイズ低減処理と,画像中の輪郭成分の輝度値のゲインを上げる輪郭強調処理とが超解像処理回路13において実行される。超解像処理回路13による画像処理を含むディジタル・カメラ1の動作については後述する。
図2は,ディジタル・カメラ1の動作の流れを示すフローチャートである。図3は図2に示すフローチャートにおける画像処理の流れを画像例によって示している。図4はズームボタンを用いたズーム処理によるズーム倍率と,後述する超解像処理回路13によって超解像処理された画像(超解像処理オン画像)と超解像処理されていない画像(超解像処理オフ画像)の合成処理との関係を示している。以下,図3および図4を適宜参照しつつ,図2に示すフローチャートを説明する。
上述のように,操作器25に含まれるモード選択ダイアルが撮像モードに設定されると,被写体像が撮像される(ステップ31)。
ズームボタンによって被写体像のズーミングが行われる。ズーム倍率がズームレンズ3の望遠端(tele端)に位置するときのズーム倍率(光学最大ズーム倍率)にまで達していない場合,すなわち,図4を参照して,現在のズーム倍率が,ズームレンズ3の広角端(wide端)に位置するときのズーム倍率Z1と望遠端(tele端)に位置するときの光学最大ズーム倍率Z2の間であれば,特段の処理は行われない。撮像によって得られた画像データはメモリ14(シャッタレリーズボタンが押された場合には記録メディア16)に記録される(ステップ32でNO,ステップ38)。上述したように,メモリ14に記録された画像データによって表される画像は画像表示装置11に表示することができる。望遠端(tele端)まで達しないズーム倍率では上述した画像信号処理回路8による電子ズーム処理は行われない。現在(現時点)のズーム倍率は,操作器25に含まれるズームボタンの押下時間にしたがってCPU2によって検出される。
ズーム倍率がズームレンズ3が望遠端に位置するときの光学最大ズーム倍率Z2を超えると(ステップ32でYES ),ズームレンズ3による光学ズームに加えて電子ズーム処理が行われる。以下の処理に進む。
はじめに電子ズーム領域(現在のズーム倍率に応じて拡大および縮小する範囲)内の画像データの切出し処理が行われる(ステップ33)。図3を参照して,撮像領域全体を表す画像I1に包含される電子ズーム領域51を表す画像I2(以下,切出し画像I2という)を表す画像データが,画像I1を表す画像データから切出される。
切出し画像I2を表す画像データは2つに分岐し(コピーされ),そのうち一方の切出し画像I2を表すデータが超解像処理回路13に与えられてここで超解像処理(ノイズ低減処理と輪郭強調処理の組合わせの画像処理)が行われる(ステップ34)。超解像処理された画像(超解像処理オン画像)I3が生成される。
現在のズーム倍率が重付け合成範囲であるかどうかが判断される(ステップ35)。
図4を参照して,現在のズーム倍率が,上述したズームレンズ3が望遠端にあるときの光学最大ズーム倍率Z2を所定値以上超えるズーム倍率Z3以上であるとき,超解像処理オン画像そのものが表示処理の対象とされる。超解像処理オン画像は撮像領域(元の被写体像)の画像サイズに拡大処理(補間処理)され(電子ズーム処理),拡大された超解像処理オン画像を表すデータがメモリ14に記録される(ステップ35でNO,ステップ37,ステップ38)。超解像処理されていない切出し画像(超解像処理オフ画像)I2はメモリ14に記録されない。
他方,現在のズーム倍率がズーム倍率Z2~Z3の間(重付け合成範囲)にあれば,ズーム倍率に応じて重付けされた超解像処理オン画像I3および超解像処理オフ画像I2が合成される(ステップ35でYES ,ステップ36)。図4を参照して,超解像処理オン画像I3の重付けの大きさ(合成比率)はズーム倍率がZ2からZ3に向かって大きくなるにしたがって比例的に増加する(一点鎖線参照)。ここでは重付けの大きさは比例的な増加としているが,非線形な増加であってもよい。他方,超解像処理オフ画像I2の重付けの大きさはズーム倍率がZ2からZ3に向かって大きくなるにしたがって比例的に減少する(実線参照)。重付けの大きさは非線形な減少であってもよい。図4に示す重付け合成範囲およびその範囲におけるズーム倍率と重付けの大きさ(合成比率)の関係を示すデータ,光学ズームが適用される変倍範囲,電子ズームが適用される変倍範囲はメモリ14に記憶され,これが上述した重付け合成処理を行うべきかどうかの判断等に用いられる。
ズーム倍率Z2をしきい値として光学ズーム画像と超解像処理された電子ズーム画像とを単純に切換えて表示すると,視認される画像の解像感の連続性が保てない。ここで図4に示すように,ズーム倍率Z2からZ3の間においては重付け合成画像を表示し,かつズーム倍率が大きくなるにしたがって超解像処理オン画像の重みを次第に大きくする(超解像処理オフ画像の重みは次第に小さくする)ことで,解像感の突然の変動が抑制される。ズーム操作中に連続性のある解像感をもつズーム画像を撮影者に視認させることができる。また,ズーム倍率が大きくなるにしたがって悪化する解像感が,重付け合成画像において超解像処理オン画像の重みを次第に大きくすることで補償されるから,ズーム操作の全範囲にわたって比較的解像感が一定した画像を撮影者に視認させることができる。
重付け合成処理が行われた場合(図3に示す画像I4)も,合成画像が拡大処理(電子ズーム処理)されて,拡大された合成画像(図3の画像I5)を表すデータがメモリ14に記録される(ステップ37,ステップ38)。
図5は第2実施例のディジタル・カメラの動作の流れを示すフローチャートである。第1実施例のディジタル・カメラ1のフローチャート(図2)と同一処理には同一符号を付し,重複説明を省略する。第2実施例および後述する他の実施例のディジタル・カメラのハードウェア構成は第1実施例(図1)と同じである。
上述した第1実施例における超解像処理回路13による超解像処理は,撮像によって得られた画像データを処理対象としている。第2実施例では超解像処理の前にあらかじめ輪郭抽出処理を行い,抽出された輪郭部分のみを超解像処理回路13の処理対象とする。
図5を参照して,切出し画像について超解像処理回路13において輪郭抽出処理(輪郭成分分離処理)が行われ(ステップ41),輪郭成分を表わす画像データ(ステップ42)および非輪郭成分を表わす画像データ(ステップ43)が生成される。
超解像処理回路13は,輪郭成分の画像データのみを処理対象として超解像処理を行う(ステップ34)。現在のズーム倍率が重付け合成範囲内(図4:ズーム倍率Z2~Z3)であれば,超解像処理オン画像と超解像処理オフ画像の重付け合成が行われる(ステップ35でYES,ステップ36)。現在のズーム倍率が重付け合成範囲を超えていれば(ズーム倍率Z3以上),重付け合成は行われない(ステップ35でNO)。
超解像処理された輪郭成分の画像データまたは重付け合成された輪郭成分の画像データと,非輪郭成分の画像データとが合成される(ステップ44)。画像拡大処理後,合成された画像データがメモリ14に記録される(ステップ37,38)。
輪郭成分の画像データのみが超解像処理回路13において超解像処理されるので,第1実施例と比較して超解像処理回路13における処理時間を短縮することができる。また輪郭成分のみを超解像処理することができるので,画像全体を超解像処理する場合と比べて偽輪郭が発生しないまたは発生しにくい利点もある。
上述した第1実施例および第2実施例では,ズームレンズ3が望遠端(tele端)に位置するときの光学最大ズーム倍率Z2を,重付け合成処理を開始するズーム倍率(重付け合成範囲の最小ズーム倍率)としている。しかしながら,電子ズーム処理が行われても,ズーム倍率が小さい状態では十分な解像度が保たれていることもある。以下に説明するように,第3実施例では,ズームレンズが望遠端(tele端)に位置するときの光学最大ズーム倍率Z2を重付け合成処理を開始するズーム倍率とするのに代えて,空間周波数応答を考慮して,重付け合成処理を開始するズーム倍率を決定する。
図6は横軸を空間周波数とし,縦軸を空間周波数応答とする,ディジタル・カメラ1の空間周波数応答の特性を示すグラフである。空間周波数応答はディジタル・カメラ1の特性(ズームレンズ3の光学特性,CCD2の特性,電子ズーム時の画像処理特性等)とズーム倍率とによって定まる。図6には,ズーム倍率がZ1,Z2,Z3およびZN(Z1<Z2<Z3<ZN)であるときのそれぞれについての空間周波数応答の特性を示すグラフが示されている。
図6を参照して,いずれのズーム倍率であっても,画像の空間周波数が高いほど空間周波数応答は小さくなることが分かる。
図6には,ズーム倍率がZ1,Z2,Z3およびZNであるときのそれぞれについて,空間周波数応答が50%応答となる空間周波数F1,F2,F3,FN(F1>F2>F3>FN)が示されている。ズーム倍率が大きいほど50%応答となる空間周波数は低くなることが分かる。
図7はズーム倍率と重付け合成との関係を示す図に,空間周波数応答が50%応答になる空間周波数を示す曲線(細かい破線参照)を追加して示すものである。図7に示すように,空間周波数応答が50%応答になる空間周波数はズーム倍率が大きくなるにしたがって低くなる。
図7を参照して,たとえば,50%応答になる空間周波数として空間周波数F3を基準とすることを考える。基準空間周波数F3について50%応答以上の空間周波数応答を持たせる場合,ズーム倍率は光学最大ズーム倍率Z2よりも大きなズーム倍率ZC以下であればよい(空間周波数応答が50%応答になる空間周波数を示す曲線上の点Cを参照)。
空間周波数F3よりも高い空間周波数F2を基準空間周波数とし,基準空間周波数F2について50%応答以上の空間周波数応答を持たせる場合,ズーム倍率は光学最大ズーム倍率Z2よりも大きく,かつ上記ズーム倍率ZCよりも小さいズーム倍率ZB以下であればよい(点B参照)。
さらに,空間周波数F2よりも高い空間周波数F1を基準空間周波数とし,基準空間周波数F1について50%応答以上の空間周波数応答を持たせる場合,ズーム倍率は光学最大ズーム倍率Z2よりも小さいズーム倍率ZA以下である必要がある(点A参照)。
第3実施例(図7)では,重付け合成を開始するズーム倍率として,ズームレンズ3が望遠端にあるときの光学最大ズーム倍率Z2に代えて,空間周波数応答が50%応答になる空間周波数(基準空間周波数)があらかじめ決定され,その基準空間周波数について上記空間周波数応答が50%応答となるズーム倍率を表すデータがメモリ14にあらかじめ記憶される。検出されるズーム倍率が上記空間周波数応答が50%応答となるズーム倍率以上であるときに超解像処理(重付け合成)が行われる。
検出されたズーム倍率が電子ズーム適用変倍範囲にあるときに超解像処理(重付け合成)を行い,光学ズーム適用変倍範囲にあるときには超解像処理(重付け合成)を行わないようにするのであれば,比較的低い空間周波数を基準空間周波数として決定し(たとえば,図7のF2,F3),その基準空間周波数について空間周波数応答が50%応答となるズーム倍率(ZB,ZC)を表すデータをメモリ14にあらかじめ記憶すればよい。光学ズーム適用変倍範囲から超解像処理を行うことももちろん可能である。この場合には,比較的高い空間周波数を基準空間周波数として決定し(たとえば,図7のF1),光学最大ズーム倍率Z2よりも小さいズーム倍率ZA(基準空間周波数F1について空間周波数応答が50%応答となるズーム倍率)を,超解像処理(重付け合成)を開始するズーム倍率としてメモリ14に記憶しておけばよい。
図8は第4実施例を示すもので,ズームボタンを用いたズーム処理によるズーム倍率と,超解像処理された画像(超解像処理オン画像)と超解像処理されていない画像(超解像処理オフ画像)の合成処理との関係の他の例を示している。
超解像処理は,ノイズ低減処理に用いられるフィルタのフィルタ係数,および輪郭強調処理に用いられるゲイン値を変えることで,その強さ(程度)を調整することができる。第4実施例では程度の異なる2つの超解像処理が用いられる。
図8を参照して,たとえば,現在のズーム倍率がズームレンズ3が望遠端に位置するときの光学最大ズーム倍率Z2からズーム倍率Z3までの範囲(重付け合成範囲I)にあれば,程度の弱い超解像処理(超解像処理(弱))が超解像処理回路13において行われる。超解像処理オフ画像(実線)と超解像処理オン(弱)画像(一点鎖線)を重付け合成したものが,拡大処理されてメモリ14に記録される。
現在のズーム倍率がZ3からZ4までの範囲にあれば,程度の弱い超解像処理オン画像が拡大処理されてメモリ14に記録される。
現在のズーム倍率がZ4~Z5の範囲にあれば(重付け合成範囲II),超解像処理回路13は,程度の弱い超解像処理を行った画像(超解像処理オン(弱)画像)(一点鎖線)と,程度の強い超解像処理を行った画像(超解像処理オン(強)画像)(二点鎖線)の2つの超解像処理画像を生成し,これらを重付け合成する。超解像処理オン(強)画像の重付けの大きさはズーム倍率がZ4からZ5に向かって大きくなるにしたがって比例的に増加する。他方,超解像処理オン(弱)画像の重付けの大きさはズーム倍率がZ4からZ5に向かって大きくなるにしたがって比例的に減少する。超解像処理オン(弱)画像と超解像処理オン(強)画像を重付け合成したものが,拡大処理されてメモリ14に記録される。
現在のズーム倍率がZ5以上であれば,超解像処理オン(強)画像が拡大処理されてメモリ14に記録される。
1 ディジタル・カメラ(撮像装置)
2 CPU
3 ズームレンズ
5 CCD(撮像手段)
8 画像信号処理回路(電子ズーム処理手段)
13 超解像処理回路
16 記録メディア
25 操作器
2 CPU
3 ズームレンズ
5 CCD(撮像手段)
8 画像信号処理回路(電子ズーム処理手段)
13 超解像処理回路
16 記録メディア
25 操作器
Claims (13)
- 光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し,被写体像を表す画像データを出力する撮像手段,
上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段,
ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段,
ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて,ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段,
上記画像データに対し,ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い,超解像画像データを生成する超解像処理手段,ならびに
ズーム倍率が上記電子ズーム適用変倍範囲にあるときに,生成された超解像画像データと超解像処理されていない画像データとを,上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する重付け合成手段を備える,
撮像装置。 - ズーム倍率が光学ズーム適用変倍範囲であれば光学的にそのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し,ズーム倍率が電子ズーム適用変倍範囲であれば上記重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する記録制御手段をさらに備える,
請求項1に記載の撮像装置。 - ズーム倍率が上記光学ズーム適用変倍範囲にあれば超解像処理せず,ズーム倍率が上記電子ズーム適用変倍範囲にあるときに画像データを超解像処理するように上記超解像処理手段を制御する超解像処理制御手段をさらに備える,
請求項1または2に記載の撮像装置。 - 上記超解像処理制御手段は,上記電子ズーム適用変倍範囲の最低ズーム倍率以上のときに画像データを超解像処理するように上記超解像処理手段を制御する,請求項3に記載の撮像装置。
- ズーム倍率が所定のズーム倍率以下であれば上記電子ズーム適用変倍範囲であっても超解像画像データを合成せず,ズーム倍率が上記所定のズーム倍率より大きいときに超解像画像データを合成するように上記重付け合成手段を制御する重付け合成制御手段をさらに備える,
請求項1に記載の撮像装置。 - 上記所定のズーム倍率は,あらかじめ決められる基準空間周波数における空間周波数応答が所定の値となるズーム倍率である,
請求項5に記載の撮像装置。 - 上記重付け合成手段は,
ズーム倍率が上記光学最大ズーム倍率から上記光学最大ズーム倍率を超える第1のズーム倍率までの範囲にあるときに,超解像画像データと超解像処理されていない画像データとを重付け処理するものであり,
上記記録制御手段は,
ズーム倍率が上記光学最大ズーム倍率から第1のズーム倍率までの範囲であれば重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し,ズーム倍率が上記第1のズーム倍率を超える場合には上記超解像画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する,
請求項2に記載の撮像装置。 - 上記超解像処理手段は,超解像処理の程度が異なる第1,第2の超解像処理を実行するものであり,
上記重付け合成手段は,
ズーム倍率が,上記光学最大ズーム倍率から上記光学最大ズーム倍率を超える第1のズーム倍率までの範囲であれば,第1の超解像処理による超解像画像データと超解像処理されていない画像データを上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって重付け合成し,上記第1のズーム倍率を超える第2のズーム倍率から上記第2のズーム倍率を超える第3のズーム倍率までの範囲であれば,第1の超解像処理による超解像画像データと,第1の超解像処理よりも程度の強い第2の超解像処理による超解像画像データとを,上記ズーム倍率が大きいほど第2の超解像処理による超解像画像データの重付けが大きくなる重付け処理によって重付け合成するものであり,
上記記録制御手段は,
ズーム倍率が上記光学最大ズーム倍率から第1のズーム倍率までの範囲であれば第1の超解像処理による超解像画像データと超解像処理されていない画像データを重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し,ズーム倍率が上記第1のズーム倍率から第2のズーム倍率までの範囲であれば第1の超解像処理による超解像画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し,ズーム倍率が第2のズーム倍率から第3の倍率までの範囲であれば第1の超解像処理による超解像画像データと第2の超解像処理による超解像画像データを重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し,ズーム倍率が第3のズーム倍率を超える場合には第2の超解像処理による超解像画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する,
請求項2に記載の撮像装置。 - 上記超解像処理手段は,
画像データによって表される画像をその輪郭成分と非輪郭成分とに分離する分離手段と,
上記分離手段によって分離された輪郭成分に対してノイズ低減処理および強調処理を行う輪郭成分処理手段と,
ノイズ低減処理および強調処理が行われた輪郭成分と上記非輪郭成分と合成する合成手段を含む,
請求項1から8のいずれか一項に記載の撮像装置。 - 光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し,被写体像を表す画像データを出力する撮像手段,
上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段,
ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段,
ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて,ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段,
上記画像データに対し,ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い,超解像画像データを生成する超解像処理手段,
生成された超解像画像データと超解像処理されていない画像データとを,上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する重付け合成手段,ならびに
ズーム倍率が,あらかじめ決められる基準空間周波数について上記撮像装置の特性およびズーム倍率によって定まる空間周波数応答が所定の値となるズーム倍率以下であれば,そのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し,ズーム倍率が,上記空間周波数応答が上記所定の値となるズーム倍率より大きい場合には,上記超解像画像データと超解像処理されていない画像データを重付け合成した画像データをそのズーム倍率に変倍したものを記録手段に記録する記録制御手段を備える,
撮像装置。 - 光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し,被写体像を表す画像データを出力する撮像手段,上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段,ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段,ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて,ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段,および上記画像データに対し,ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い,超解像画像データを生成する超解像処理手段を備える撮像装置の制御方法であって,
ズーム倍率が上記電子ズーム適用変倍範囲にあるときに,生成された超解像画像データと超解像処理されていない画像データとを,上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する,
撮像装置の制御方法。 - ズーム倍率が光学ズーム適用変倍範囲であれば光学的にそのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し,ズーム倍率が電子ズーム適用変倍範囲であれば上記重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する,
請求項11に記載の撮像装置の制御方法。 - 光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し,被写体像を表す画像データを出力する撮像手段,上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段,ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段,ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて,ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段,ならびに上記画像データに対し,ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い,超解像画像データを生成する超解像処理手段を備える撮像装置の制御方法であって,
生成された超解像画像データと超解像処理されていない画像データとを,上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成し,
ズーム倍率が,あらかじめ決められる基準空間周波数について上記撮像装置の特性およびズーム倍率によって定まる空間周波数応答が所定の値となるズーム倍率以下であれば,そのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し,ズーム倍率が,上記空間周波数応答が上記所定の値となるズーム倍率より大きい場合には,上記超解像画像データと超解像処理されていない画像データを重付け合成した画像データをそのズーム倍率に変倍したものを記録手段に記録する,
撮像装置の制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12847514.2A EP2779625B1 (en) | 2011-11-08 | 2012-11-02 | Image pick-up device and control method therefor |
JP2013542955A JP5612780B2 (ja) | 2011-11-08 | 2012-11-02 | 撮像装置およびその制御方法 |
CN201280054940.8A CN103918251B (zh) | 2011-11-08 | 2012-11-02 | 摄像装置及其控制方法 |
US14/265,427 US8878961B2 (en) | 2011-11-08 | 2014-04-30 | Image sensing apparatus and method of controlling same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-244244 | 2011-11-08 | ||
JP2011244244 | 2011-11-08 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/265,427 Continuation US8878961B2 (en) | 2011-11-08 | 2014-04-30 | Image sensing apparatus and method of controlling same |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013069564A1 true WO2013069564A1 (ja) | 2013-05-16 |
Family
ID=48289940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/078458 WO2013069564A1 (ja) | 2011-11-08 | 2012-11-02 | 撮像装置およびその制御方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8878961B2 (ja) |
EP (1) | EP2779625B1 (ja) |
JP (1) | JP5612780B2 (ja) |
CN (1) | CN103918251B (ja) |
WO (1) | WO2013069564A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019167363A1 (ja) * | 2018-03-01 | 2019-09-06 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5800611B2 (ja) * | 2011-07-07 | 2015-10-28 | オリンパス株式会社 | 撮影装置 |
JP5562919B2 (ja) * | 2011-09-30 | 2014-07-30 | オリンパス株式会社 | 超解像観察装置 |
JP6558935B2 (ja) * | 2015-04-24 | 2019-08-14 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
JP6821300B2 (ja) * | 2015-10-30 | 2021-01-27 | キヤノン株式会社 | 画像形成装置及び記録材判別装置 |
KR102446442B1 (ko) * | 2015-11-24 | 2022-09-23 | 삼성전자주식회사 | 디지털 촬영 장치 및 그 동작 방법 |
CN106254767B (zh) * | 2016-07-29 | 2017-09-19 | 广东欧珀移动通信有限公司 | 图像变焦处理方法、装置及终端设备 |
WO2019104705A1 (zh) * | 2017-12-01 | 2019-06-06 | 华为技术有限公司 | 图像处理的方法和设备 |
US10681267B2 (en) * | 2017-12-28 | 2020-06-09 | Facebook, Inc. | Systems and methods for increasing resolution of images captured by a camera sensor |
US10560641B2 (en) | 2017-12-28 | 2020-02-11 | Facebook, Inc. | Systems and methods for generating a bias for a camera sensor for increasing resolution of captured images |
JP6852013B2 (ja) * | 2018-03-27 | 2021-03-31 | パナソニック液晶ディスプレイ株式会社 | 画質調整装置、及び、画質調整システム |
US10169852B1 (en) | 2018-07-03 | 2019-01-01 | Nanotronics Imaging, Inc. | Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging |
US10817996B2 (en) | 2018-07-16 | 2020-10-27 | Samsung Electronics Co., Ltd. | Devices for and methods of combining content from multiple frames |
CN111726513A (zh) | 2019-03-19 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 成像设备的变焦方法、装置及成像设备 |
KR20200142883A (ko) * | 2019-06-13 | 2020-12-23 | 엘지이노텍 주식회사 | 카메라 장치 및 카메라 장치의 이미지 생성 방법 |
CN114390213B (zh) * | 2020-10-22 | 2023-04-18 | 华为技术有限公司 | 一种拍摄方法及设备 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03218173A (ja) | 1990-01-24 | 1991-09-25 | Mitsubishi Electric Corp | 電子ズーム装置 |
JPH06261238A (ja) * | 1993-03-05 | 1994-09-16 | Canon Inc | 撮像装置 |
JPH11168653A (ja) | 1997-12-04 | 1999-06-22 | Victor Co Of Japan Ltd | 輪郭補償システム |
JPH11239294A (ja) * | 1998-02-24 | 1999-08-31 | Sony Corp | ビデオカメラ |
JP2000156816A (ja) * | 1998-11-18 | 2000-06-06 | Casio Comput Co Ltd | エッジ強調装置及びエッジ強調方法 |
JP2004187050A (ja) * | 2002-12-04 | 2004-07-02 | Sharp Corp | 撮像装置 |
JP2004191856A (ja) * | 2002-12-13 | 2004-07-08 | Sony Corp | 画像信号処理装置、画像信号処理方法、およびその方法を実行するためのプログラム |
JP2005020061A (ja) | 2003-06-23 | 2005-01-20 | Matsushita Electric Ind Co Ltd | 映像信号処理装置及び映像信号処理方法 |
JP2005062633A (ja) | 2003-08-19 | 2005-03-10 | Konica Minolta Opto Inc | レンズ装置 |
JP2006032576A (ja) | 2004-07-14 | 2006-02-02 | Kobe Steel Ltd | ダイヤモンド層を有するシリコンウエハ |
JP2007135133A (ja) * | 2005-11-14 | 2007-05-31 | Nikon Corp | 撮像装置 |
JP2007329685A (ja) * | 2006-06-07 | 2007-12-20 | Canon Inc | 撮像装置及びその制御方法 |
JP2008283442A (ja) * | 2007-05-10 | 2008-11-20 | Olympus Corp | 撮像装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5838371A (en) | 1993-03-05 | 1998-11-17 | Canon Kabushiki Kaisha | Image pickup apparatus with interpolation and edge enhancement of pickup signal varying with zoom magnification |
US6538694B1 (en) | 1997-12-04 | 2003-03-25 | Victor Company Of Japan, Limited | Image pickup apparatus equipped with compatible-with-zooming type contour compensation circuit, compatible-with-image-pickup-conditions type image output circuit, and compatible-with-all-pixel-readout-system-solid-image-pickup-element type electronic zoom circuit |
JP2009058966A (ja) * | 2000-06-05 | 2009-03-19 | Fujifilm Corp | カメラの絞り制御方法及び装置、並びにカメラ |
JP4305598B2 (ja) * | 2000-06-05 | 2009-07-29 | 富士フイルム株式会社 | カメラの絞り制御方法及び装置、並びにカメラ |
JP4513906B2 (ja) * | 2008-06-27 | 2010-07-28 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP5764740B2 (ja) * | 2010-10-13 | 2015-08-19 | パナソニックIpマネジメント株式会社 | 撮像装置 |
-
2012
- 2012-11-02 EP EP12847514.2A patent/EP2779625B1/en not_active Not-in-force
- 2012-11-02 JP JP2013542955A patent/JP5612780B2/ja not_active Expired - Fee Related
- 2012-11-02 CN CN201280054940.8A patent/CN103918251B/zh not_active Expired - Fee Related
- 2012-11-02 WO PCT/JP2012/078458 patent/WO2013069564A1/ja active Application Filing
-
2014
- 2014-04-30 US US14/265,427 patent/US8878961B2/en not_active Expired - Fee Related
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03218173A (ja) | 1990-01-24 | 1991-09-25 | Mitsubishi Electric Corp | 電子ズーム装置 |
JPH06261238A (ja) * | 1993-03-05 | 1994-09-16 | Canon Inc | 撮像装置 |
JPH11168653A (ja) | 1997-12-04 | 1999-06-22 | Victor Co Of Japan Ltd | 輪郭補償システム |
JPH11239294A (ja) * | 1998-02-24 | 1999-08-31 | Sony Corp | ビデオカメラ |
JP2000156816A (ja) * | 1998-11-18 | 2000-06-06 | Casio Comput Co Ltd | エッジ強調装置及びエッジ強調方法 |
JP2004187050A (ja) * | 2002-12-04 | 2004-07-02 | Sharp Corp | 撮像装置 |
JP2004191856A (ja) * | 2002-12-13 | 2004-07-08 | Sony Corp | 画像信号処理装置、画像信号処理方法、およびその方法を実行するためのプログラム |
JP2005020061A (ja) | 2003-06-23 | 2005-01-20 | Matsushita Electric Ind Co Ltd | 映像信号処理装置及び映像信号処理方法 |
JP2005062633A (ja) | 2003-08-19 | 2005-03-10 | Konica Minolta Opto Inc | レンズ装置 |
JP2006032576A (ja) | 2004-07-14 | 2006-02-02 | Kobe Steel Ltd | ダイヤモンド層を有するシリコンウエハ |
JP2007135133A (ja) * | 2005-11-14 | 2007-05-31 | Nikon Corp | 撮像装置 |
JP2007329685A (ja) * | 2006-06-07 | 2007-12-20 | Canon Inc | 撮像装置及びその制御方法 |
JP2008283442A (ja) * | 2007-05-10 | 2008-11-20 | Olympus Corp | 撮像装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2779625A4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019167363A1 (ja) * | 2018-03-01 | 2019-09-06 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2779625A1 (en) | 2014-09-17 |
EP2779625A4 (en) | 2014-12-03 |
CN103918251B (zh) | 2016-03-02 |
EP2779625B1 (en) | 2016-03-02 |
US8878961B2 (en) | 2014-11-04 |
JPWO2013069564A1 (ja) | 2015-04-02 |
JP5612780B2 (ja) | 2014-10-22 |
CN103918251A (zh) | 2014-07-09 |
US20140232907A1 (en) | 2014-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5612780B2 (ja) | 撮像装置およびその制御方法 | |
US7616253B2 (en) | Optical apparatus | |
JP4655991B2 (ja) | 撮像装置及び電子ズーム方法と、プログラム | |
JP4250437B2 (ja) | 信号処理装置、信号処理方法およびプログラム | |
JP5983616B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5043635B2 (ja) | 撮像装置 | |
US20090273717A1 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
JP6056702B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
US9215356B2 (en) | Image processing apparatus, image processing method, and program to combine a composite image of noise suppressed images generated from images each including a direct current component and at least one noise suppresed image processed from at least one image not including the direct current component | |
JP2011188481A (ja) | 撮像装置 | |
JP6621027B2 (ja) | 撮像装置 | |
JP2007102061A (ja) | 画像撮影装置 | |
JP6116436B2 (ja) | 画像処理装置および画像処理方法 | |
EP3783879B1 (en) | Image stabilization apparatus, method of controlling the same, program and storage medium | |
JP4759488B2 (ja) | 撮像装置 | |
EP4002830A2 (en) | Image pick up apparatus, image pick up method, and storage medium | |
JP5760654B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4299753B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP4793639B2 (ja) | 動画撮影装置および動画撮影プログラム | |
JP4740074B2 (ja) | 撮像装置及び撮像方法 | |
JP2015021992A (ja) | 像振れ補正装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2011029719A5 (ja) | ||
JP5145876B2 (ja) | 撮像装置および撮像方法 | |
JP2018054815A (ja) | 領域判別装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP5686587B2 (ja) | 合焦装置、その制御方法、および制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12847514 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2013542955 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2012847514 Country of ref document: EP |