WO2014175273A1 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
WO2014175273A1
WO2014175273A1 PCT/JP2014/061305 JP2014061305W WO2014175273A1 WO 2014175273 A1 WO2014175273 A1 WO 2014175273A1 JP 2014061305 W JP2014061305 W JP 2014061305W WO 2014175273 A1 WO2014175273 A1 WO 2014175273A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
peak
data
unit
background image
Prior art date
Application number
PCT/JP2014/061305
Other languages
English (en)
French (fr)
Inventor
研一 小野村
学 市川
Original Assignee
オリンパスイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスイメージング株式会社 filed Critical オリンパスイメージング株式会社
Priority to EP14788507.3A priority Critical patent/EP2991335B1/en
Priority to CN201480022679.2A priority patent/CN105191284B/zh
Publication of WO2014175273A1 publication Critical patent/WO2014175273A1/ja
Priority to US14/881,984 priority patent/US10051200B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Definitions

  • the present invention relates to an imaging apparatus having a peaking display mode and a control method thereof.
  • peaking display in which a peak portion of a contrast that is a candidate for a focus position in an image is emphasized is known.
  • JP 2010-050592 A emphasizes the peak portion after reducing the amplitude of the image signal.
  • the peak portion is emphasized after the amplitude of the image signal is reduced.
  • a technique for adding a special effect to an image by intentionally blurring the image or changing the gradation remarkably is known.
  • the peak portion cannot be displayed correctly due to the effect of the special effect, or the gradation boundary is regarded as the peak portion. There is a possibility of false detection.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging apparatus capable of performing appropriate peaking display even when a special effect is added to an image, and a control method thereof. To do.
  • an imaging apparatus includes an imaging unit that images a subject to acquire RAW data, and generates peak image data by extracting a peak portion from the RAW data.
  • a peak image generating unit that performs image processing on the RAW data to generate background image data, and a combining unit that combines the peak image data and the background image data to generate combined image data.
  • a display unit for displaying an image based on the composite image data.
  • an imaging apparatus control method includes an imaging unit that captures an image of a subject and acquires RAW data, and image data generated based on the RAW data.
  • a peak portion is extracted from the RAW data to generate peak image data
  • the RAW data is subjected to image processing to generate background image data
  • generating the composite image data by combining the peak image data and the background image data, and displaying an image based on the composite image data.
  • FIG. 1 is a block diagram illustrating a configuration of a digital camera as an example of an imaging apparatus according to each embodiment of the present invention.
  • FIG. 2A is a first flowchart illustrating the main operation of the digital camera.
  • FIG. 2B is a second flowchart illustrating the main operation of the digital camera.
  • FIG. 3 is a flowchart showing image processing.
  • FIG. 4 is a flowchart showing basic image processing.
  • FIG. 5 is a diagram illustrating an example of a luminance change characteristic curve used in the luminance change process.
  • FIG. 6 is a flowchart showing special image processing.
  • FIG. 7 is a flowchart illustrating peak processing according to the first embodiment.
  • FIG. 8A is a diagram showing the relationship between the subject distance and the peak extraction frequency band.
  • FIG. 8A is a diagram showing the relationship between the subject distance and the peak extraction frequency band.
  • FIG. 8B is a diagram showing the relationship between the F value and the frequency band for peak extraction. It is a figure which shows the example of the filter coefficient of the low pass filter used for the low pass filter process with respect to peak image data. It is a figure which shows the example of the brightness change characteristic curve used for the brightness change process with respect to peak image data. It is a figure which shows the example of the filter coefficient of the low pass filter used for the low pass filter process with respect to background image data. It is a figure which shows the example of the brightness change characteristic curve used for the brightness change process with respect to background image data. It is a flowchart shown about the peak process in 2nd Embodiment. It is a flowchart shown about the peak process in 3rd Embodiment. FIG.
  • FIG. 15A is a first diagram for describing peak change processing when a shading effect is added to background image data.
  • FIG. 15B is a second diagram for explaining the peak changing process when the shading effect is added to the background image data.
  • FIG. 16A is a first diagram for describing peak change processing when blurring is added to background image data.
  • FIG. 16B is a second diagram for explaining the peak changing process when the background image data is blurred.
  • FIG. 17A is a first diagram for describing peak change processing when white edge processing is performed on background image data.
  • FIG. 17B is a second diagram for explaining the peak changing process when the white edge process is performed on the background image data. It is a 1st figure for demonstrating the peak change process in case the mirror inversion process is performed to background image data. It is a 2nd figure for demonstrating the peak change process in case the mirror inversion process is performed to background image data.
  • FIG. 1 is a block diagram illustrating a configuration of a digital camera as an example of an imaging apparatus according to each embodiment of the present invention.
  • a digital camera 1 shown in FIG. 1 is an interchangeable lens digital camera.
  • the digital camera is not necessarily an interchangeable lens digital camera, and may be a digital camera integrated with a lens.
  • the technology of the present embodiment can be applied even to a mobile phone with an imaging function, a mobile terminal with an imaging function, or the like.
  • the digital camera 1 shown in FIG. 1 has an interchangeable lens 100 and a camera body 200.
  • the interchangeable lens 100 is configured to be detachable from the camera body 200.
  • the interchangeable lens 100 is attached to the camera body 200, the interchangeable lens 100 is connected to the camera body 200 so as to be able to communicate. As a result, the interchangeable lens 100 becomes operable according to the control of the camera body 200.
  • the interchangeable lens 100 includes a lens 102, a diaphragm 104, a driver 106, a microcomputer 108, a flash memory 110, and a focus ring 112.
  • the lens 102 is an optical system for condensing a light beam from a subject (not shown) on the image sensor 204 in the camera body 200.
  • the lens 102 has a plurality of lenses such as a focus lens and a zoom lens.
  • the diaphragm 104 is configured to be openable and closable, and adjusts the amount of light incident through the lens 102.
  • the driver 106 has a motor and the like. The driver 106 drives the focus lens and zoom lens in the lens 102 in the optical axis direction and drives the aperture 104 to open and close according to the control of the microcomputer 108.
  • the microcomputer 108 is communicably connected to the microcomputer 234 in the camera body 200 via the interface (I / F) 114 when the interchangeable lens 100 is attached to the camera body 200.
  • the microcomputer 108 drives the driver 106 in accordance with control from the microcomputer 234. Further, the microcomputer 108 communicates lens information of the interchangeable lens 100 stored in the flash memory 110 to the microcomputer 234 via the I / F 114.
  • the flash memory 110 stores lens information such as aberration information of the lens 102, a program necessary for executing the operation of the interchangeable lens 100, and the like.
  • the focus ring 112 is an operation member for the user to manually operate the focus lens.
  • the focus ring 112 is formed on the body of the interchangeable lens 100 so as to be rotated.
  • the focus ring 112 is rotated by the user and inputs a rotation amount signal to the microcomputer 234.
  • the camera body 200 includes a mechanical shutter 202, an image sensor 204, an analog processing unit 206, an analog / digital (A / D) conversion unit 208, a bus 210, an SDRAM 212, an AE processing unit 214, and an AF processing unit 216.
  • the mechanical shutter 202 is configured to be movable so that the photoelectric conversion surface of the image sensor 204 is in a light shielding state or an exposed state. By moving the mechanical shutter 202, the exposure time of the image sensor 204 is adjusted.
  • the image sensor 204 has a photoelectric conversion surface on which a light beam from a subject condensed through the lens 102 is imaged.
  • the photoelectric conversion surface is configured with a plurality of pixels arranged two-dimensionally.
  • a color filter is provided on the light incident side of the photoelectric conversion surface.
  • Such an image sensor 204 converts an image (subject image) corresponding to the light beam formed on the photoelectric conversion surface into an electrical signal (hereinafter referred to as an image signal) corresponding to the light amount and outputs the electrical signal.
  • the image sensor 204 image sensors having various configurations such as a CCD system and a CMOS system are known. Various color filters such as a Bayer array are also known. Further, the image sensor 204 may be a sensor of a type in which sensors for acquiring a plurality of color information are stacked, or may be a sensor that does not have the above-described color filter. In the present embodiment, the configuration of the image sensor 204 is not limited to a specific configuration, and image sensors with various configurations can be used. The image sensor 204 may have an electronic shutter function for electronically controlling the exposure time. In the following description, it is assumed that the image sensor 204 has an electronic shutter function.
  • the analog processing unit 206 performs analog processing such as CDS (correlated double sampling) processing and AGC (automatic gain control) processing on the image signal obtained by the image sensor 204.
  • the A / D converter 208 converts the image signal analog-processed by the analog processor 206 into a digital signal (hereinafter referred to as RAW data).
  • RAW data is “raw” image data before image processing in the image processing unit 218 is performed.
  • analog processing unit 206 and the A / D conversion unit 208 may be mounted on the image sensor 204.
  • imaging element 204 analog processing unit 206, and A / D conversion unit 208 function as an imaging unit.
  • the bus 210 is a transfer path for transferring various data generated in the camera body 200.
  • the SDRAM 212 is a storage unit for temporarily storing various data generated inside the camera body 200.
  • the SDRAM 212 is also used as a buffer memory for image processing in the image processing unit 218 and the peak image processing unit 220.
  • the AE processing unit 214 calculates subject luminance using image data (for example, RAW data).
  • image data for example, RAW data
  • the AE processing unit 214 may calculate subject brightness using data from a dedicated sensor such as a photometric sensor.
  • the AF processing unit 216 extracts high-frequency component signals from the image data (for example, RAW data), integrates the extracted high-frequency component signals, and acquires an AF evaluation value.
  • AF using so-called contrast AF is used, but AF using so-called phase difference AF using a dedicated sensor or the like may be used.
  • the image processing unit 218 performs various image processing on the RAW data to generate image data.
  • the image processing performed by the image processing unit 218 is image processing for making the finished image data predetermined.
  • the finish means the appearance and style of the display.
  • the image processing unit 218 also has a function as a background image generation unit.
  • the image data generated by the image processing unit 218 is combined with the peak image data.
  • image data generated by the image processing unit 218 is referred to as background image data.
  • background image data there is no data difference between image data generated in a mode other than the peaking display mode and background image data.
  • the image processing unit 218 in this embodiment includes a basic image processing unit 2181 and a special image processing unit 2182.
  • the basic image processing unit 2181 performs basic image processing necessary for image display and recording on the image data.
  • This basic image processing includes, for example, optical black (OB) subtraction processing, white balance (WB) correction processing, synchronization processing, color reproduction processing, luminance change processing, edge enhancement processing, and noise reduction processing.
  • the optical black subtraction process is a process of subtracting and removing the dark current component (optical black) of the RAW data.
  • the white balance correction process is a process for correcting the color balance of an image by amplifying each color component of the RAW data by a predetermined gain amount.
  • image data in which one pixel corresponds to one color component such as RAW data output via the image sensor 204 corresponding to an array pattern of color filters such as a Bayer array
  • one pixel is converted into RGB data corresponding to a plurality of color components.
  • the color reproduction process is various processes for making the color reproduction of an image appropriate. As this process, for example, there is a color matrix calculation process.
  • This color matrix calculation process is a process of multiplying RGB data by, for example, a color matrix coefficient corresponding to the white balance mode.
  • saturation and hue are also corrected as color reproduction processing.
  • the brightness change process is a process for converting RGB data into YCbCr (brightness / color difference) data and changing the brightness characteristics of the Y data so as to be suitable for display and recording.
  • the luminance change process the luminance characteristics of the RGB data may be changed.
  • Edge enhancement processing is performed by multiplying an edge signal extracted from image data (RGB data or YCbCr data) using a bandpass filter or the like by an edge enhancement coefficient, and adding the result to the original image data. This is a process for enhancing an edge (contour) component.
  • the noise reduction process is a process for removing noise components in image data (RGB data or YCbCr data) by coring processing or the like.
  • the special image processing unit 2182 performs special image processing for giving a special visual effect to the image data (RGB data or YCbCr data). Details of the special image processing will be described later.
  • the peak image processing unit 220 as the peak image generation unit generates peak image data from image data (for example, RAW data) in the peaking display mode.
  • the peak image data is obtained by extracting a peak portion of contrast that is a focus position candidate in the image data.
  • the peak image processing unit 220 includes a peak extraction unit 2201 and a peak correction unit 2202.
  • the peak extraction unit 2201 extracts a peak signal from image data (for example, RAW data) using a bandpass filter or the like.
  • image data for example, RAW data
  • the peak extraction unit 2201 can be replaced by a circuit (edge enhancement processing unit) for performing edge enhancement processing provided in the basic image processing unit 2181.
  • the peak correction unit 2202 changes the luminance characteristics of the peak signal extracted by the peak extraction unit 2201. As described above, the luminance characteristics are also changed in the luminance change processing in the basic image processing unit 2181. Therefore, the peak correction unit 2202 can be replaced by a circuit (brightness change processing unit) for performing the brightness change process provided in the basic image processing unit 2181.
  • the synthesizing unit 222 generates synthesized image data by synthesizing the background image data obtained by the image processing unit 218 and the peak image data obtained by the peak image processing unit 220 during peaking display.
  • the composition unit 222 includes a background image correction unit 2221 and an image composition unit 2222.
  • the background image correction unit 2221 performs image processing for correcting the background image data so that the portion of the peak image data combined with the background image data stands out. This image processing includes, for example, low-pass filter processing, luminance change processing, and saturation change processing.
  • the background image correction unit 2221 selects an appropriate correction process according to the content of the image process performed on the background image data.
  • the image composition unit 2222 synthesizes the background image data and the peak image data to generate composite image data.
  • the display driver 224 converts the background image data obtained by the image processing unit 218, the image data obtained by decompressing by the image compression / decompression unit 228, or the composite image data obtained by the composition unit according to the display size of the display unit 226.
  • the resized image data is converted into a video signal and output to the display unit 226.
  • the display unit 226 is, for example, a liquid crystal display (LCD).
  • the display unit 226 displays an image based on the video signal input from the display driver 224.
  • still image compression processing such as JPEG format or TIFF format
  • MPEG format MPEG format
  • H.264 format moving image compression processing is performed.
  • the image compression / decompression unit 228 performs decompression processing on the image data subjected to the compression processing at the time of image reproduction.
  • the memory I / F 230 is an interface for the microcomputer 234 and the like to access the recording medium 232.
  • the recording medium 232 is a memory card that is detachably attached to the camera body 200, for example.
  • the recording medium 232 records image files and the like.
  • the image file is a file in which header information is added to the image data compressed by the image compression / decompression unit 228.
  • the recording medium 232 may be fixed to the camera body 200 (not necessarily removable).
  • the microcomputer 234 comprehensively controls the operation of each part of the camera body 200 such as the mechanical shutter 202, the image sensor 204, and the display driver 224.
  • the microcomputer 234 also performs AE processing using the subject brightness calculated by the AE processing unit 214 and performs AF processing using the AF evaluation value calculated by the AF processing unit 216.
  • the microcomputer 234 also has a function as a focus position acquisition unit, and acquires the focus position in the image data by evaluating the AF evaluation value.
  • the microcomputer 234 also controls the operation of the interchangeable lens 100 when the interchangeable lens 100 is attached.
  • the operation unit 236 is various operation members operated by the user.
  • the operation unit 236 in the present embodiment includes, for example, a release button, a moving image button, a menu button, a playback button, a peaking display switching button, and a power button as operation members.
  • the release button has a two-stage switch including a first (1st) release switch and a second (2nd) release switch.
  • the microcomputer 234 executes photographing preparation processing such as AE processing and AF processing. Further, when the release button is fully pressed and the second release switch is turned on, the microcomputer 234 executes a still image recording process.
  • the movie button instructs the microcomputer 234 to perform movie shooting.
  • the microcomputer 234 executes moving image recording processing.
  • the microcomputer 234 ends the moving image recording process.
  • the menu button is an operation unit for instructing display of the menu screen.
  • the user can change various settings of the camera body 200.
  • the user sets a special image processing mode on a menu screen, for example.
  • the content of special image processing performed by the special image processing unit 2182 is set by this special image processing mode.
  • the reproduction button is an operation unit for instructing the microcomputer 234 to reproduce a still image file or a moving image file.
  • the power button is an operation unit for instructing to turn on or off the power of the camera body 200.
  • the peaking display switching button is an operation unit for instructing to switch the peaking display mode on and off.
  • This peaking display switching button functions as an example of a peaking display instruction unit.
  • functions equivalent to the above-described release button, moving image button, menu button, playback button, and peaking display switching button may be realized by a touch panel. That is, there may be no physical operation member such as a button.
  • the flash memory 238 includes parameters necessary for the operation of the image processing unit 218 such as a white balance gain for white balance correction, a color matrix coefficient for color matrix calculation, and various functions for changing luminance characteristics. Various parameters necessary for operation are stored.
  • the flash memory 238 also stores various programs executed by the microcomputer 234.
  • 2A and 2B are flowcharts showing the main operation of the digital camera according to the present embodiment. 2A and 2B is performed, for example, when the digital camera 1 shown in FIG. 1 is turned on.
  • the microcomputer 234 After the power is turned on, the microcomputer 234 performs an initialization process (step S101). In the initialization processing, the microcomputer 234 performs processing such as turning off the recording flag set in the register of the microcomputer 234.
  • the recording flag is a flag indicating whether or not a moving image is being recorded. While the recording flag is Off, it indicates that the moving image is not being recorded. On the other hand, while the recording flag is On, it indicates that moving image recording is in progress.
  • the microcomputer 234 determines whether or not the user has pressed the playback button of the operation unit 236 (step S102). If it is determined in step S102 that the playback button has been pressed, the microcomputer 234 executes playback processing (step S103). In the reproduction process, the microcomputer 234 waits for the user to select an image file (still image file or moving image file). When the image file is selected, the microcomputer 234 decodes the selected image file by the image compression / decompression unit 228. The microcomputer 234 inputs the image data obtained by the decoding to the display driver 224. The display driver 224 converts the input image data into a video signal, and causes the display unit 226 to display an image corresponding to the video signal. Thereafter, when the user gives an instruction to end playback, for example, when the playback button is pressed again, the microcomputer 234 ends the playback processing.
  • step S104 determines whether to set the camera. For example, when the menu button of the operation unit 236 is pressed by the user, the microcomputer 234 determines to set the camera.
  • step S104 the microcomputer 234 controls the display driver 224 to display a menu screen on the display unit 226, and then executes camera setting processing (step S105).
  • the microcomputer 234 waits for a camera setting change instruction from the user.
  • the microcomputer 234 changes the camera setting according to the instruction.
  • this camera setting process for example, setting of the image recording format at the time of still image shooting or moving image shooting, and settings relating to the image finish such as the white balance (WB) mode are changed.
  • WB white balance
  • step S106 determines whether or not the moving image button of the operation unit 236 has been pressed by the user. If it is determined in step S106 that the moving image button has been pressed, the microcomputer 234 inverts the recording flag (step S107). That is, the microcomputer 234 turns On when the recording flag is Off and turns Off when it is On. Thereafter, the microcomputer 234 determines whether or not the moving image is currently being recorded, that is, whether or not the recording flag is On (step S108).
  • step S108 When it is determined in step S108 that the recording flag is On, the microcomputer 234 generates a moving image file and prepares to record moving image data (step S109). If it is determined in step S108 that the recording flag is not On, the microcomputer 234 closes the moving image file (step S110).
  • step S106 If it is determined in step S106 that the moving image button has not been pressed, after generating the moving image file in step S109 and closing the moving image file in step S110, the microcomputer 234 determines whether the moving image is currently being recorded. That is, it is determined again whether or not the recording flag is On (step S111).
  • step S111 If it is determined in step S111 that the recording flag is Off, the microcomputer 234 causes the release button of the operation unit 236 to be half-pressed by the user so that the state of the release button is changed from the Off state to the On state of the 1st release switch. It is determined whether or not a transition has been made (step S112).
  • step S113 the microcomputer 234 performs AE processing and AF processing (step S113).
  • the microcomputer 234 causes the AE processing unit 214 to calculate the subject brightness.
  • the microcomputer 234 determines the ISO sensitivity, the F value (aperture value), and the shutter speed when executing still image shooting according to the subject brightness calculated by the AE processing unit 214.
  • the ISO sensitivity, the F value, and the shutter speed may be determined so that the luminance of the detected face is appropriate.
  • the microcomputer 234 causes the AF processing unit 216 to acquire an AF evaluation value.
  • the microcomputer 234 then instructs the microcomputer 108 to drive the focus lens of the lens 102 little by little while evaluating the contrast based on the AF evaluation value acquired by the AF processing unit 216. Thereafter, the microcomputer 234 instructs the microcomputer 108 to stop driving the focus lens when the contrast reaches the maximum.
  • Such AF processing is so-called contrast AF processing.
  • contrast AF processing is so-called contrast AF processing.
  • a phase difference AF process may be used as the AF process.
  • the detected face may be focused.
  • the microcomputer 234 determines whether or not the power of the digital camera 1 is turned off (step S114). If it is determined in step S114 that the power of the digital camera 1 is not turned off, the microcomputer 234 executes the processing from step S102 onward. On the other hand, when it is determined in step S114 that the power of the digital camera has been turned off, the microcomputer 234 ends the processes of FIGS. 2A and 2B.
  • step S112 If it is determined in step S112 that the state of the release button has not transitioned to the ON state of the 1st release switch, the microcomputer 234 presses the release button of the operation unit 236 fully by the user, and the state of the release button It is determined whether or not the 2nd release switch is in the ON state (step S115).
  • step S115 when the state of the release button is the ON state of the 2nd release switch, the microcomputer 234 executes a photographing process using the mechanical shutter 202 (step S116).
  • the microcomputer 234 sets the gain control amount (amplification factor) in the analog processing unit 206 according to the ISO sensitivity determined in the AE process, and sets the F value determined in the AE process to the microcomputer 108.
  • the microcomputer 234 controls the exposure value of the image sensor 204 by operating the mechanical shutter 202 according to the exposure time determined in the AE process in synchronization with the driving of the diaphragm 104 under the control of the microcomputer 108.
  • RAW data is stored in the SDRAM 212 by such shooting processing.
  • the microcomputer 234 After executing the photographing process using the mechanical shutter 202, the microcomputer 234 causes the image processing unit 218 to perform image processing on the RAW data stored in the SDRAM 212 by the photographing process (step S117). Details of this image processing will be described later.
  • the microcomputer 234 After the image processing, the microcomputer 234 performs processing for recording the image data stored in the SDRAM 212 as a result of the image processing as a still image file in the set still image recording format (step S118). At this time, the microcomputer 234 inputs the image data stored in the SDRAM 212 to the image compression / decompression unit 228 and instructs the image compression / decompression unit 228 to execute still image compression processing. In response to this instruction, the image compression / decompression unit 228 performs still image compression processing so as to correspond to a preset recording mode, and stores the compressed image data in the SDRAM 212. Thereafter, the microcomputer 234 reads out the image data compressed by the image compression / decompression unit 228 from the SDRAM 212, creates a still image file from the read image data, and records the created still image file in the recording medium 232.
  • step S119 If it is determined in step S115 that the release button is not in the ON state of the 2nd release switch, the microcomputer 234 executes AE processing (step S119).
  • This AE process is a process for moving image shooting or live view display.
  • the microcomputer 234 executes a photographing process using the electronic shutter (step S120). In this photographing process, the microcomputer 234 controls the exposure value of the image sensor 204 by operating the electronic shutter function of the image sensor 204 according to the exposure time determined by the AE process. RAW data is stored in the SDRAM 212 by such shooting processing.
  • the microcomputer 234 After executing the photographing process using the electronic shutter, the microcomputer 234 causes the image processing unit 218 to perform image processing on the RAW data stored in the SDRAM 212 by the photographing process (step S121). Details of this image processing will be described later.
  • the microcomputer 234 determines whether or not the moving image is currently being recorded, that is, whether or not the recording flag is On (step S122). If the microcomputer 234 determines in step S122 that the recording flag is On, the microcomputer 234 skips the process of step S123.
  • step S122 If it is determined in step S122 that the recording flag is On, the microcomputer 234 records the image data stored in the SDRAM 212 as a result of the image processing as a moving image file in the set moving image recording format. Is performed (step S123). At this time, the microcomputer 234 inputs the moving image data stored in the SDRAM 212 to the image compression / decompression unit 228 and instructs the image compression / decompression unit 228 to execute the moving image compression process. Upon receiving this instruction, the image compression / decompression unit 228 performs a moving image compression process so as to correspond to a preset recording mode, and stores the compressed moving image data in the SDRAM 212.
  • the microcomputer 234 reads out the moving image data compressed by the image compression / decompression unit 228 from the SDRAM 212 and adds the read moving image data to the moving image file.
  • information such as the number of frames is recorded in the header information portion of the moving image file.
  • image processing is performed on the peak image data and the background image data, and the result is displayed. Such peak image data and background image data need not be recorded together with the moving image file.
  • step S124 determines whether or not a peaking display instruction has been issued. For example, every time a peaking display switching button as an example of a peaking display instruction unit is pressed, the peaking display is switched on and off. In addition, when the focus ring 112 as another example of the peaking display instruction unit is operated, it may be determined that the peaking instruction is issued. If it is determined in step S124 that the peaking display instruction has not been given, the microcomputer 234 skips the process of step S125.
  • step S124 when it is determined that the peaking display instruction is given, the microcomputer 234 executes peak processing (step S125).
  • the peak processing will be described in detail later.
  • step S126 the microcomputer 234 performs live view display (step S126). Thereafter, the microcomputer 234 moves the process to step S114.
  • live view display the microcomputer 234 inputs image data stored in the SDRAM 212 as a result of image processing or composite image data stored in the SDRAM 212 as a result of peak processing to the display driver 224.
  • the display driver 224 converts the input image data or composite image data into a video signal and outputs it to the display unit 226.
  • the display unit 226 displays an image based on this video signal.
  • the user can check the composition using the display unit 226.
  • the microcomputer 108 controls the driver 106 according to the operation amount of the focus ring 112 to drive the focus lens.
  • FIG. 3 is a flowchart showing image processing.
  • the basic image processing unit 2181 performs basic image processing on the RAW data stored in the SDRAM 212 (step S201).
  • the special image processing unit 2182 performs special image processing on the image data (YCbCr data) stored in the SDRAM 212 as a result of the basic image processing (step S202). Thereby, the image processing ends.
  • basic image processing and special image processing will be described in detail.
  • FIG. 4 is a flowchart showing basic image processing.
  • the basic image processing unit 2181 After starting the basic image processing, the basic image processing unit 2181 performs OB subtraction processing (step S301). In the OB subtraction process, the basic image processing unit 2181 removes the dark current component in the RAW data by subtracting the optical black (OB) value from the input RAW data.
  • OB optical black
  • the basic image processing unit 2181 After the OB subtraction, the basic image processing unit 2181 performs WB correction processing (step S302). In the WB correction process, the basic image processing unit 2181 corrects the color balance as an image by multiplying the RAW data subjected to the OB subtraction process by a WB gain corresponding to the WB mode set in advance by the user.
  • the basic image processing unit 2181 After the WB correction process, the basic image processing unit 2181 performs a synchronization process when the RAW data format is the Bayer format (step S303). In the synchronization processing, the basic image processing unit 2181 uses the interpolation processing to synchronize the RAW data that has been subjected to WB correction. Thereby, RAW data in which one pixel has one color component of RGB is converted into RGB data in which one pixel has three color components of RGB.
  • the basic image processing unit 2181 After the synchronization processing, the basic image processing unit 2181 performs color reproduction processing (step S304). In the color reproduction process, the basic image processing unit 2181 performs color conversion of RGB data by multiplying each pixel of RGB data by a color matrix coefficient corresponding to the set WB mode. Further, the basic image processing unit 2181 adjusts the color reproduction of the image by correcting the color so that the hue and saturation of the color-converted RGB data are appropriate.
  • the basic image processing unit 2181 After the color reproduction process, the basic image processing unit 2181 performs a luminance change process (step S305). In the luminance change process, the basic image processing unit 2181 performs gamma conversion on the RGB data that has undergone the color reproduction process, converts the gamma converted RGB data into YCbCr (luminance / color difference) data, and then further converts the Y data to gamma conversion. To do. In the brightness changing process, different gamma conversion is performed according to the special image processing setting.
  • FIG. 5 is a diagram illustrating an example of a luminance change characteristic curve used in the luminance change process.
  • RGB data luminance change processing is an example of a function used for RGB data luminance change processing, and is a function for changing the display characteristics, contrast, and the like of the display unit 226.
  • an image can be displayed on the display unit 226 with an appropriate contrast.
  • Function B is an example of a function used for normal brightness change processing without adding a specific special effect.
  • Function B is used for Y data. That is, the luminance characteristic of the RGB data is changed using the function A, the RGB data after the luminance characteristic is changed is converted into YCbCr data, and then the characteristic of the Y data is further changed using the function B.
  • the characteristic of Y data is converted by the function B, the characteristic of the obtained Y data becomes a characteristic of linear conversion as a result of performing the luminance changing process using the function A.
  • Function C is a function with a characteristic that the high luminance side is raised and the low luminance side is lowered with respect to function B.
  • Function C is also used for Y data. That is, the luminance characteristic of the RGB data is changed using the function A, the RGB data after the luminance characteristic is changed is converted into YCbCr data, and then the Y data characteristic is further changed using the function C. When the characteristics of the Y data are converted by the function C, the contrast of the image is enhanced.
  • a function C is used in, for example, a special effect processing mode for adding a visual effect as photographed by a toy camera or a special effect processing mode for adding a pop-like visual effect.
  • the coefficient of the function C may be changed so that it can be used for RGB data.
  • the function D is a function of the characteristic in which the overall brightness is raised with respect to the function B.
  • Function D is also used for Y data. That is, the luminance characteristic of the RGB data is changed using the function A, and the RGB data after the luminance characteristic is changed is converted into YCbCr data, and then the characteristic of the Y data is further changed using the function D. When the characteristics of the Y data are converted by the function D, the contrast is suppressed and a bright image is obtained.
  • a function D is used, for example, in a special effect processing mode for adding a fantasy visual effect.
  • the coefficient of the function D may be changed so that it can be used for RGB data.
  • the basic image processing unit 2181 After the luminance change process, the basic image processing unit 2181 performs an edge enhancement process (step S306).
  • the edge enhancement processing the basic image processing unit 2181 performs bandpass filter processing on the Y data after the luminance change processing to extract an edge signal, and multiplies the extracted edge signal by a coefficient corresponding to the edge enhancement amount. Then, the basic image processing unit 2181 emphasizes the edge component of the image by adding the edge component multiplied by the coefficient to the original Y data.
  • the basic image processing unit 2181 After the edge enhancement processing, the basic image processing unit 2181 performs noise reduction (NR) processing (step S307). Thereafter, the basic image processing unit 2181 ends the process of FIG.
  • the noise reduction process the basic image processing unit 2181 performs frequency decomposition on the Y data subjected to the edge enhancement process, and performs a coring process or the like according to the frequency to reduce noise components in the image. You may reduce a noise component with respect to Cb data and Cr data.
  • the recording format is TIFF format
  • the data after the noise reduction processing is converted into RGB format again by performing a predetermined matrix operation.
  • FIG. 6 is a flowchart showing special image processing.
  • the special image processing unit 2182 determines whether or not to add a shading effect (step S401). If it is determined in step S401 that the shading effect is not added, the special image processing unit 2182 skips the process in step S402.
  • the special image processing unit 2182 adds the shading effect to the Y data (step S402).
  • the special image processing unit 2182 generates a gain map that gradually decreases the gain value according to the distance from the center position of the Y data, for example. Then, the special image processing unit 2182 multiplies the Y data of each pixel by a gain corresponding to the pixel.
  • the maximum value of the gain is 1.
  • the special image processing unit 2182 determines whether to add a soft focus effect (step S403). When it is determined in step S403 that the soft focus effect is not added, the special image processing unit 2182 skips the process in step S404.
  • the special image processing unit 2182 adds the soft focus effect to the YCbCr data (step S404).
  • the special image processing unit 2182 adds blur to the YCbCr data by performing low-pass filter processing on the YCbCr data.
  • the special image processing unit 2182 determines whether or not to superimpose a noise effect (step S405). If it is determined in step S405 that the noise effect is not superimposed, the special image processing unit 2182 skips the process in step S406.
  • the special image processing unit 2182 When it is determined in step S405 that the noise effect is to be superimposed, the special image processing unit 2182 superimposes the noise effect on the YCbCr data (step S406). In this processing, the special image processing unit 2182 superimposes noise data on YCbCr data.
  • the noise data may be fixed pattern noise data stored in the flash memory 238 in advance, or generated using a pseudo-random number generator or the like each time the noise effect is superimposed. You may make it make it.
  • the special image processing unit 2182 determines whether or not to perform the blurring process (step S407). If it is determined in step S407 that the blurring process is not performed, the special image processing unit 2182 skips the process in step S408.
  • the special image processing unit 2182 performs the blurring process on the YCbCr data (step S408).
  • the special image processing unit 2182 sets the value of the low-pass filter used for the blurring process so that the high-frequency component is gradually reduced in the vertical direction or the horizontal direction around the subject position (which may be an AF position or the like). Set. Then, the special image processing unit 2182 performs blurring processing based on the value of the low pass filter. The blurring process may be performed so as to gradually blur according to the distance from the center.
  • the special image processing unit 2182 determines whether or not to perform cross filter processing (step S409). If it is determined in step S409 that the cross filter process is not performed, the special image processing unit 2182 skips the process of step S410.
  • step S410 the special image processing unit 2182 performs cross filter processing on the Y data.
  • the special image processing unit 2182 searches for bright spots (high luminance pixels) in the image data (Y data). Subsequently, the special image processing unit 2182 draws a bright line around the bright spot searched for the Y data.
  • the special image processing unit 2182 determines whether or not to perform white edge processing (step S411). If it is determined in step S411 that the white edge process is not performed, the special image processing unit 2182 skips the process in step S412.
  • the special image processing unit 2182 performs white edge processing on the YCbCr data (step S412).
  • the YCbCr data of each pixel is converted according to the characteristics.
  • the special image processing unit 2182 determines whether or not to perform part color processing (step S413). If it is determined in step S413 that the part color processing is not performed, the special image processing unit 2182 skips the processing in step S414.
  • the special image processing unit 2182 When it is determined in step S413 that part color processing is to be performed, the special image processing unit 2182 performs part color processing on the YCbCr data (step S414). In this processing, the special image processing unit 2182 creates a color gain map so that a predetermined color remains and the other colors become achromatic colors. After generating the gain map, the special image processing unit 2182 multiplies each pixel of Cb data and Cr data (generated so that the achromatic color becomes 0) by a gain.
  • the special image processing unit 2182 determines whether to perform mirror inversion processing (step S415). When it is determined in step S415 that the mirror inversion process is not performed, the special image processing unit 2182 skips the process in step S416 and ends the process in FIG.
  • the special image processing unit 2182 When it is determined in step S415 that mirror inversion processing is to be performed, the special image processing unit 2182 performs mirror inversion processing on the YCbCr data (step S416). In this processing, the special image processing unit 2182 inverts the upper half of the YCbCr data and combines it with the lower half. Thereafter, the special image processing unit 2182 ends the process of FIG.
  • the left half of the YCbCr data may be inverted horizontally and combined with the right half.
  • FIG. 7 is a flowchart showing peak processing in the first embodiment.
  • the peak extraction unit 2201 of the peak image processing unit 220 extracts a peak signal from the RAW data (step S501).
  • the peak extraction unit 2201 performs a band pass filter process on the RAW data to extract a contrast signal.
  • FIG. 8A is a diagram showing the relationship between the subject distance and the frequency band for peak extraction.
  • FIG. 8B is a diagram showing the relationship between the F value and the frequency band for peak extraction.
  • the horizontal axis indicates the frequency value of the image (RAW data)
  • the vertical axis indicates the frequency response (pixel value) of the extracted peak signal.
  • the peak extraction frequency band is set to the high frequency side as shown by the solid line in FIG. 8A. This limits the number of peak lines extracted.
  • the peak extraction frequency band is set on the lower frequency side than when the subject distance is long, as shown by the broken line in FIG. 8A. In this way, by changing the peak extraction frequency band to the low frequency side as the subject distance is closer, it is possible to make the appearance of the peak line when peaking is displayed independent of the subject distance. .
  • the subject distance can be acquired by acquiring the state (position) of the lens 102 via communication via the I / F 114.
  • a dedicated sensor may be provided to obtain the subject distance.
  • the peaking display when the F value is large (the diaphragm 104 is narrowed), the depth of field becomes deep and it becomes easy to focus. In this case, as in the case where the subject distance is long, if the peaking display is simply performed, many peak lines are displayed. Therefore, during peaking display when the F value is large, the peak signal extraction frequency band is set to the high frequency side as shown by the solid line in FIG. 8B. On the other hand, in the peaking display when the F value is small (the aperture 104 is opened), as shown by the broken line in FIG. 8B, the peak extraction frequency band is relatively larger than when the F value is large. Set to the low frequency side. In this way, by changing the peak extraction frequency band to the lower frequency side as the F value is smaller, the appearance of the peak line when peaking is displayed can be made constant regardless of the subject distance. .
  • the F value can be acquired by acquiring the state of the aperture 104 through communication via the I / F 114.
  • FIG. 8A shows an example of changing the peak extraction frequency band according to the subject distance
  • FIG. 8B shows an example of changing the peak extraction frequency band according to the F value.
  • the frequency band for peak extraction may be changed according to the focal length (zoom position). In this case, it is possible to make the appearance of the peak line constant when peaking display is performed by changing the peak extraction frequency band to the low frequency side as the focal length becomes longer.
  • the peak correction unit 2202 After the peak extraction, the peak correction unit 2202 performs a coring process on the peak image data obtained by extracting the peak signal (step S502). Specifically, the peak correction unit 2202 clips a small amplitude component (pixel value within a certain range) in the peak image data to a predetermined value (for example, 0).
  • the peak correction unit 2202 amplifies the peak image data by multiplying the coring-processed peak signal by a gain (step S503).
  • the gain is a fixed gain stored in advance in the flash memory 238, for example.
  • the peak correction unit 2202 clips some components of the peak image data so that the peaking display is performed without a sense of incongruity (step S504).
  • the peak signal extracted by the bandpass filter process includes a positive component and a negative component.
  • a positive component corresponds to a high luminance component
  • a negative component corresponds to a low luminance component. Therefore, when displaying a bright peak line (for example, white), the negative component of the peak image data is clipped to zero. Conversely, when displaying a dark peak line (for example, black), the positive component of the peak image data is clipped to zero.
  • Whether to display a bright peak line is determined according to the brightness of the subject, for example. That is, when the subject is dark, it is determined to display a bright peak line, and when the subject is bright, it is determined to display a dark peak line.
  • step S506 you may make it clip a positive component or a negative component by the brightness
  • FIG. 9 is a diagram illustrating an example of filter coefficients of a low-pass filter used for low-pass filter processing for peak image data.
  • the actual output after the low-pass filter processing is the sum of the pixels of the 5 ⁇ 5 pixel peak image data centered on the target pixel multiplied by the coefficient shown in FIG. Divided by the sum of the 9 coefficients.
  • the peak portion is widened by being averaged.
  • the value of the filter coefficient shown in FIG. 9 is an example, and may be changed as appropriate. Further, it is not always necessary to use a 5 ⁇ 5 filter.
  • FIG. 10 is a diagram illustrating an example of a luminance change characteristic curve used in the luminance change process for the peak image data.
  • a luminance change process is performed using a luminance change characteristic curve (solid line in FIG. 10) that emphasizes the contrast of the positive component of the peak image data.
  • a luminance changing process is performed using a luminance changing characteristic curve (dashed line in FIG. 10) that emphasizes the contrast of the negative component of the peak image data.
  • the luminance change process for enhancing the contrast is performed on the peak image data blurred by the low-pass filter process.
  • a thick and clear peak line can be displayed during peaking display. For this reason, the user can easily identify the focus state of the peak line.
  • the peak image data is converted into image data having a gain value of 0 or more and 1.0 or less by the luminance change process.
  • the upper limit value and the lower limit value of the luminance change characteristic curve are not limited to the example shown in FIG.
  • the peak correction unit 2202 determines whether AF is performed (step S507). If it is determined in step S507 that AF has not been performed, the peak correction unit 2202 skips the process in step S508. When it is determined in step S507 that AF has been performed, the peak correction unit 2202 multiplies pixels other than the focus position (position where the peak of the AF evaluation value is detected) in the peak image data by 0 (step S508). ). By such processing, it is possible to mask the peak portion corresponding to the focus position from the peak portion extracted by the peak extraction processing.
  • the background image correction unit 2221 of the synthesis unit 222 performs low-pass filter processing on the background image data (step S509).
  • the background image data is image data subjected to at least basic image processing. Special image processing may or may not be performed.
  • FIG. 11 is a diagram illustrating an example of filter coefficients of a low-pass filter used for low-pass filter processing on background image data.
  • the background image data is blurred with respect to the peak image data by processing the background image data using a filter having the characteristics shown in FIG.
  • the value of the filter coefficient shown in FIG. 9 is an example, and may be changed as appropriate. Further, it is not always necessary to use a 5 ⁇ 5 filter. However, it is desirable to set the filter coefficient so that the degree of blurring is greater in the low-pass filter process for the background image data than in the low-pass filter process for the peak image data.
  • FIG. 12 is a diagram illustrating an example of a luminance change characteristic curve used in the luminance change process for the background image data.
  • the luminance characteristics of the background image data are changed so that the contrast with the peak image data is conspicuous. That is, as shown in FIG. 12, when a bright peak line is displayed, the luminance characteristic changing process is performed on the background image data using the luminance changing characteristic curve with reduced output luminance, so that the entire background image data is displayed. Darkened.
  • the luminance characteristic changing process is performed on the background image data using the luminance changing characteristic curve with the increased output luminance, so that the background image data is brightened as a whole.
  • the luminance change characteristic curve shown in FIG. 12 is an example.
  • the background image data may be uniformly brightened or darkened regardless of the input data.
  • the image combining unit 2222 of the combining unit 222 combines the peak image data and the background image data to generate combined image data (step). S511).
  • the image composition unit 2222 performs composition by weighting and adding the peak image data and the background image data.
  • the peak image data is synthesized so that the peak line can be clearly seen as the gain value of the peak image data is closer to 1.0.
  • a white peak line is displayed, it is synthesized according to the following (formula 1), and when a black peak line is displayed, it is synthesized according to the following (formula 2).
  • the calculations shown in (Expression 1) and (Expression 2) are performed for each component of the image data.
  • the background image data is YCbCr data
  • the calculation of (Expression 1) or (Expression 2) is performed for each of Y data, Cb data, and Cr data.
  • the white value in (Expression 1) is a pixel value that appears white when displayed.
  • the black value in (Expression 2) is a pixel value that appears black when displayed.
  • Pixel value of background image data x (1.0-gain value of peak image data) + white pixel value x gain value of peak image data (Formula 1)
  • Pixel value of background image data x (1.0-gain value of peak image data) + black pixel value x gain value of peak image data (Formula 2)
  • peak processing is performed using a peak signal extracted from RAW data. That is, in the present embodiment, the peak image data and the background image data are separated and subjected to individual image processing. There is a possibility that the background image data has been subjected to luminance change processing using functions C and D in FIG. 5 and various special effect processing. If such special processing is performed, extraction of the peak portion becomes difficult.
  • RAW data is image data before these processes are performed. By generating peak image data from such RAW data, in the present embodiment, it depends on the content of image processing performed on background image data and the image processing parameters used in the image processing. No stable peaking display is possible.
  • the peak image data is subjected to a luminance change process for enhancing contrast after the low-pass filter process.
  • the background image data is subjected to low-pass filter processing so that the edge portion of the background image is less likely to be confused with the peak image, and luminance change processing is further performed to further emphasize the contrast between the peak image data and the background image data.
  • luminance change processing is further performed to further emphasize the contrast between the peak image data and the background image data.
  • the peak image data is blurred by performing a low-pass filter process on the peak image data.
  • the peak image data may be blurred using a noise reduction process instead of the low-pass filter process.
  • the second embodiment is different from the first embodiment in that a process for further changing the color tone of the background image data so as to make the peak line more prominent is performed.
  • the second embodiment is particularly suitable when coloring the peak line.
  • FIG. 13 is a flowchart showing peak processing in the second embodiment.
  • the basic processing flow is the same as in FIG. Therefore, the detailed description of FIG. 13 is omitted.
  • steps S601 to S609 in FIG. 13 are the same as S501 to S509 in FIG.
  • the background image correction unit 2221 performs a saturation change process for the background image data (step S610).
  • the saturation changing process is a process of changing the saturation of the background image data so that the color of the peak line stands out. For example, when synthesizing peak lines of high saturation colors, the saturation of the background image data is reduced.
  • a technique for reducing the saturation for example, a technique of multiplying color difference data (Cb data and Cr data) by a uniform coefficient 0.5 can be cited. This coefficient may be appropriately changed between 0 and less than 1.
  • the background image correction unit 2221 After the saturation change process, the background image correction unit 2221 performs a brightness change process on the background image data (step S611).
  • the brightness change process may be the same as step S510 in FIG.
  • the background image correction unit 2221 After the luminance change process, the background image correction unit 2221 generates synthesized image data by synthesizing the peak image data and the background image data (step S612).
  • the saturation of the background image data is changed so that the color of the peak image data stands out.
  • the user does not confuse the color of the peak line with the color of the background.
  • the user can easily identify the focus state of the peak line.
  • the third embodiment is different from the first and second embodiments in that the peak portion is changed according to the special effect added to the background image data.
  • FIG. 14 is a flowchart showing peak processing in the third embodiment.
  • the basic processing flow is the same as in FIG. Therefore, the detailed description of FIG. 14 is omitted.
  • steps S711 to S716 and S719 to 721 in FIG. 14 are the same as S501 to S506 and S509 to S511 in FIG.
  • the peak correction unit 2202 determines whether or not a special effect is added to the background image data (step S717). If it is determined in step S717 that no special effect is added to the background image data, the peak correction unit 2202 skips the process of step S718. If it is determined in step S717 that a special effect has been added to the background image data, the peak correction unit 2202 performs peak image data change processing according to the special effect (step S718). In this processing, the peak image data is changed so that the peak image data is synthesized at a position where the influence of the image change due to the special effect is small.
  • the background image data to which the shading effect is added as a special effect is image data having a bright central portion and dark peripheral portions, as shown in FIG. 15A. It is difficult to see the focus state in the darkened area due to the shading effect. Therefore, as shown in FIG. 15B, the peak image data is changed so that the peak image data is synthesized in a portion where no shading effect is added.
  • a peak portion to which no special effect is added is indicated by P
  • P a peak portion to which a special effect is added is indicated by P ′. If a peak line is synthesized with the peak portion P as shown in FIG. 15B, the user can easily understand the focus state.
  • the peak image data is not always necessary to combine the peak image data with the portion P ′ to which the shading effect is added.
  • the peak image data is combined with the portion P ′ to which the shading effect is added, for example, the color is changed so that it can be distinguished from the peak image data to be combined with the portion P to which the shading effect is not added. It is desirable to synthesize from
  • the background image data to which the blur is added as a special effect does not make much sense even if the peak line is displayed in the portion to which the blur is added. Therefore, as shown in FIG. 16B, the peak image data is changed so that the peak image data is synthesized with the portion P where the blur is not added. It is not always necessary to synthesize peak image data in the portion where the blur is added.
  • peak image data in a portion with blurring for example, it is possible to combine after changing the color so that it can be distinguished from peak image data to be combined with a portion without blurring. desirable.
  • the background image data subjected to white edge processing as a special effect is image data in which the central part is dark and the peripheral part is bright.
  • the peak image data is changed so that the peak line is synthesized with the portion P subjected to the weak white edge processing at the center. It is not always necessary to synthesize peak image data in the portion P ′ subjected to strong white edge processing.
  • the peak image data is synthesized with the portion P ′ subjected to the strong white edge processing, for example, a color can be distinguished from the peak image data synthesized with the portion P subjected to the weak white edge processing. It is desirable to synthesize after changing.
  • the background image data subjected to the mirror inversion process as a special effect is image data that is vertically symmetric (or symmetric) as shown in FIG. 18A.
  • the actual subject is the upper half (or left half). Therefore, as shown in FIG. 18B, the peak image data is synthesized only in the upper half.
  • the peak changing process shown in FIGS. 15A to 18B is an example. If the peak line can be displayed so as not to be affected by the special effect, the content of the peak changing process can be changed as appropriate.
  • the peak image data is changed according to the content of the special effect. As a result, a portion that is not visible due to a special effect or does not need to be focused becomes clear, and the user does not need to perform unnecessary focusing.
  • each processing method by the imaging apparatus in the above-described embodiment can be stored as a program that can be executed by the microcomputer 234.
  • memory cards ROM cards, RAM cards, etc.
  • magnetic disks floppy disks, hard disks, etc.
  • optical disks CD-ROM, DVD, etc.
  • storage media of external storage devices such as semiconductor memories, etc. are distributed. be able to.
  • the microcomputer 234 reads the program stored in the storage medium of the external storage device, and the operation described above can be executed by the operation being controlled by the read program.
  • the above-described embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained.
  • the configuration can also be extracted as an invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

　撮像装置は、撮像部(204, 206, 208)と、ピーク画像生成部(220)と、背景画像生成部(218)と、合成部(222)と、表示部(226)とを含む。撮像部(204, 206, 208)は、被写体を撮像してＲＡＷデータを取得する。ピーク画像生成部(220)は、前記ＲＡＷデータからピーク部分を抽出してピーク画像データを生成する。背景画像生成部(218)は、前記ＲＡＷデータを画像処理して背景画像データを生成する。合成部(222)は、前記ピーク画像データと前記背景画像データとを合成して合成画像データを生成する。表示部(226)は、前記合成画像データに基づく画像を表示する。

Description

撮像装置及びその制御方法
　本発明は、ピーキング表示モードを有する撮像装置及びその制御方法に関する。
　従来、被写体のフォーカス状態を画像上で容易に確認するための技術として、画像内におけるフォーカス位置の候補となるコントラストのピーク部分を強調して表示する、所謂ピーキング表示が知られている。ピーク部分を強調して表示するだけでは、ダイナミックレンジの狭い表示部においてフォーカスが合っている被写体のピーク部分とフォーカスが合っていない被写体のピーク部分との区別がつかない場合がある。このため、特開２０１０－０５０５９２号公報は、画像信号の振幅を小さくしてからピーク部分を強調するようにしている。
　特開２０１０－０５０５９２号公報の技術は、画像信号の振幅を小さくしてからピーク部分を強調するようにしている。近年、画像を意図的にぼかしたり、階調を著しく変化させたりすることで画像に特殊効果を付加する技術が知られている。このような特殊効果が付加されている画像の場合、単に画像信号の振幅を小さくしても、ピーク部分が特殊効果の影響を受けて正しく表示ができなかったり、階調の境界をピーク部分と誤検出してしまったりする可能性がある。
　本発明は、前記の事情に鑑みてなされたもので、画像に特殊効果が付加されていたとしても、適切なピーキング表示をすることが可能な撮像装置及びその制御方法を提供することを目的とする。
　前記の目的を達成するために、本発明の第１の態様の撮像装置は、被写体を撮像してＲＡＷデータを取得する撮像部と、前記ＲＡＷデータからピーク部分を抽出してピーク画像データを生成するピーク画像生成部と、前記ＲＡＷデータを画像処理して背景画像データを生成する背景画像生成部と、前記ピーク画像データと前記背景画像データとを合成して合成画像データを生成する合成部と、前記合成画像データに基づく画像を表示する表示部とを具備する。
　前記の目的を達成するために、本発明の第２の態様の撮像装置の制御方法は、被写体を撮像してＲＡＷデータを取得する撮像部と、前記ＲＡＷデータに基づいて生成された画像データに基づく画像の表示を行う表示部を有する撮像装置の制御方法において、前記ＲＡＷデータからピーク部分を抽出してピーク画像データを生成することと、前記ＲＡＷデータを画像処理して背景画像データを生成することと、前記ピーク画像データと前記背景画像データとを合成して合成画像データを生成することと、前記合成画像データに基づく画像を表示することとを具備する。
図１は、本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 図２Ａは、デジタルカメラのメイン動作を示すフローチャートの第１図である。 図２Ｂは、デジタルカメラのメイン動作を示すフローチャートの第２図である。 図３は、画像処理について示すフローチャートである。 図４は、基本画像処理について示すフローチャートである。 図５は、輝度変更処理において用いられる輝度変更特性曲線の例を示す図である。 図６は、特殊画像処理について示すフローチャートである。 図７は、第１の実施形態におけるピーク処理について示すフローチャートである。 図８Ａは、被写体距離とピーク抽出の周波数帯域との関係を示した図である。 図８Ｂは、Ｆ値とピーク抽出の周波数帯域との関係を示した図である。 ピーク画像データに対するローパスフィルタ処理に用いるローパスフィルタのフィルタ係数の例を示す図である。 ピーク画像データに対する輝度変更処理に用いられる輝度変更特性曲線の例を示す図である。 背景画像データに対するローパスフィルタ処理に用いるローパスフィルタのフィルタ係数の例を示す図である。 背景画像データに対する輝度変更処理に用いられる輝度変更特性曲線の例を示す図である。 第２の実施形態におけるピーク処理について示すフローチャートである。 第３の実施形態におけるピーク処理について示すフローチャートである。 図１５Ａは、背景画像データにシェーディング効果が付加されている場合のピーク変更処理について説明するための第１の図である。 図１５Ｂは、背景画像データにシェーディング効果が付加されている場合のピーク変更処理について説明するための第２の図である。 図１６Ａは、背景画像データにぼかしが付加されている場合のピーク変更処理について説明するための第１の図である。 図１６Ｂは、背景画像データにぼかしが付加されている場合のピーク変更処理について説明するための第２の図である。 図１７Ａは、背景画像データにホワイトエッジ処理が施されている場合のピーク変更処理について説明するための第１の図である。 図１７Ｂは、背景画像データにホワイトエッジ処理が施されている場合のピーク変更処理について説明するための第２の図である。 背景画像データにミラー反転処理が施されている場合のピーク変更処理について説明するための第１の図である。 背景画像データにミラー反転処理が施されている場合のピーク変更処理について説明するための第２の図である。
　以下、図面を参照して本発明の実施形態を説明する。　
　［第１の実施形態］
　図１は、本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラ１は、レンズ交換式のデジタルカメラである。しかしながら、必ずしもレンズ交換式のデジタルカメラである必要はなく、レンズ一体式のデジタルカメラであってもよい。また、撮像機能付き携帯電話機や撮像機能付き携帯端末等であっても本実施形態の技術が適用され得る。
　図１に示すデジタルカメラ１は、交換式レンズ１００と、カメラ本体２００とを有している。交換式レンズ１００は、カメラ本体２００に対して着脱自在に構成されている。カメラ本体２００に交換式レンズ１００が装着された場合に、交換式レンズ１００は、カメラ本体２００と通信自在に接続される。これにより、交換式レンズ１００は、カメラ本体２００の制御に従って動作可能な状態となる。
　交換式レンズ１００は、レンズ１０２と、絞り１０４と、ドライバ１０６と、マイクロコンピュータ１０８と、Ｆｌａｓｈメモリ１１０と、フォーカスリング１１２とを有している。　
　レンズ１０２は、図示しない被写体からの光束をカメラ本体２００内の撮像素子２０４に集光するための光学系である。このレンズ１０２は、フォーカスレンズ及びズームレンズ等の複数のレンズを有している。
　絞り１０４は、開閉自在に構成され、レンズ１０２を介して入射した光束の量を調整する。ドライバ１０６は、モータ等を有している。このドライバ１０６は、マイクロコンピュータ１０８の制御に従って、レンズ１０２内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞り１０４を開閉駆動させたりする。
　マイクロコンピュータ１０８は、交換式レンズ１００がカメラ本体２００に装着された際にインターフェイス（Ｉ/Ｆ）１１４を介してカメラ本体２００内のマイクロコンピュータ２３４と通信自在に接続される。このマイクロコンピュータ１０８は、マイクロコンピュータ２３４からの制御に従ってドライバ１０６を駆動させる。また、マイクロコンピュータ１０８は、Ｆｌａｓｈメモリ１１０に記憶されている交換式レンズ１００のレンズ情報等を、Ｉ/Ｆ１１４を介してマイクロコンピュータ２３４に通信する。
　Ｆｌａｓｈメモリ１１０は、レンズ１０２の収差情報等のレンズ情報や交換式レンズ１００の動作を実行するために必要なプログラム等を記憶している。
　フォーカスリング１１２は、ユーザがフォーカスレンズのマニュアル操作をするための操作部材である。フォーカスリング１１２は、回転操作されるように、交換式レンズ１００の本体に形成されている。フォーカスリング１１２は、ユーザによって回転されることにより、回転量の信号をマイクロコンピュータ２３４に入力する。
　カメラ本体２００は、メカシャッタ２０２と、撮像素子２０４と、アナログ処理部２０６と、アナログ/デジタル（Ａ/Ｄ）変換部２０８と、バス２１０と、ＳＤＲＡＭ２１２と、ＡＥ処理部２１４と、ＡＦ処理部２１６と、画像処理部２１８と、ピーク画像処理部２２０と、合成部２２２と、表示ドライバ２２４と、表示部２２６と、画像圧縮伸張部２２８と、メモリインターフェイス（Ｉ/Ｆ）２３０と、記録媒体２３２と、マイクロコンピュータ２３４と、操作部２３６と、Ｆｌａｓｈメモリ２３８とを有している。
　メカシャッタ２０２は、撮像素子２０４の光電変換面を遮光状態又は露出状態とするように移動自在に構成されている。このメカシャッタ２０２を移動させることにより、撮像素子２０４の露出時間が調整される。
　撮像素子２０４は、レンズ１０２を介して集光された被写体からの光束が結像される光電変換面を有している。光電変換面は、複数の画素が２次元状に配置されて構成されている。また、光電変換面の光入射側には、カラーフィルタが設けられている。このような撮像素子２０４は、光電変換面に結像された光束に対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換して出力する。
　ここで、撮像素子２０４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。また、撮像素子２０４は、複数の色情報を取得するためのセンサが積層された形式のセンサでもよく、上述のカラーフィルタを有していないセンサでもよい。本実施形態は、撮像素子２０４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。また、撮像素子２０４は、露出時間を電子的に制御する電子シャッタ機能を有していてもよい。以下の説明においては撮像素子２０４が電子シャッタ機能を有しているものとする。
　アナログ処理部２０６は、撮像素子２０４により得られた画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。Ａ/Ｄ変換部２０８は、アナログ処理部２０６においてアナログ処理された画像信号をデジタル信号（以下、ＲＡＷデータという）に変換する。ここで、ＲＡＷデータとは、画像処理部２１８における画像処理が施される前の「生の」画像データである。
　ここで、アナログ処理部２０６やＡ／Ｄ変換部２０８は、撮像素子２０４上に実装されていてもよい。
　以上の撮像素子２０４、アナログ処理部２０６、Ａ/Ｄ変換部２０８が撮像部として機能する。
　バス２１０は、カメラ本体２００の内部で発生した各種のデータを転送するための転送路である。
　ＳＤＲＡＭ２１２は、カメラ本体２００内部で発生した各種のデータを一時的に記憶するための記憶部である。このＳＤＲＡＭ２１２は、画像処理部２１８やピーク画像処理部２２０における画像処理の際のバッファメモリとしても使用される。
　ＡＥ処理部２１４は、画像データ（例えばＲＡＷデータ）を用いて被写体輝度を算出する。ここで、ＡＥ処理部２１４は、測光センサ等の専用のセンサからのデータを用いて被写体輝度を算出してもよい。ＡＦ処理部２１６は、画像データ（例えばＲＡＷデータ）から高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してＡＦ評価値を取得する。ここで、本実施形態では所謂コントラストＡＦによるＡＦを用いているが、専用のセンサ等を用いた所謂位相差ＡＦによるＡＦを用いてもよい。
　画像処理部２１８は、ＲＡＷデータに対する各種の画像処理を行って画像データを生成する。ここで、画像処理部２１８で行われる画像処理は、画像データの仕上がりを所定のものとするための画像処理である。ここでの仕上がりとは、表示の際の見た目や作風等のことを言う。また、画像処理部２１８は、背景画像生成部としての機能も有している。後で詳しく説明するピーキング表示モードにおいては、画像処理部２１８によって生成された画像データがピーク画像データと合成される。以降、ピーキング表示モードにおいては、画像処理部２１８により生成される画像データを背景画像データと言うことにする。ただし、ピーキング表示モード以外で生成される画像データと背景画像データとはデータ上の違いはない。
　本実施形態における画像処理部２１８は、基本画像処理部２１８１と、特殊画像処理部２１８２とを有している。
　基本画像処理部２１８１は、画像の表示や記録のために必要な基本的な画像処理を画像データに対して施す。この基本的な画像処理には、例えば、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正処理、同時化処理、色再現処理、輝度変更処理、エッジ強調処理、ノイズ低減処理が含まれる。オプティカルブラック減算処理は、ＲＡＷデータの暗電流成分（オプティカルブラック）を減算して除去する処理である。ホワイトバランス補正処理は、ＲＡＷデータの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正する処理である。同時化処理は、ベイヤ配列等のカラーフィルタの配列パターンに対応して撮像素子２０４を介して出力されるＲＡＷデータ等の、１つの画素が１つの色成分に対応している画像データを、１つの画素が複数の色成分に対応しているＲＧＢデータに変換する処理である。色再現処理は、画像の色再現を適切なものとするための各種の処理である。この処理としては、例えばカラーマトリクス演算処理がある。このカラーマトリクス演算処理は、ＲＧＢデータに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理として彩度・色相の補正も行う。輝度変更処理は、ＲＧＢデータをＹＣｂＣｒ（輝度・色差）データに変換し、Ｙデータの輝度特性を、表示や記録に適するように変更する処理である。輝度変更処理として、ＲＧＢデータの輝度特性を変更するようにしてもよい。エッジ強調処理は、画像データ（ＲＧＢデータ又はＹＣｂＣｒデータ）からバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する処理である。ノイズ低減処理は、コアリング処理等により、画像データ（ＲＧＢデータ又はＹＣｂＣｒデータ）におけるノイズ成分を除去する処理である。
　特殊画像処理部２１８２は、画像データ（ＲＧＢデータ又はＹＣｂＣｒデータ）に対して特殊な視覚効果を与えるための特殊画像処理を施す。この特殊画像処理の詳細については後で説明する。
　ピーク画像生成部としてのピーク画像処理部２２０は、ピーキング表示モードの際に、画像データ（例えばＲＡＷデータ）からピーク画像データを生成する。ピーク画像データは、画像データにおけるフォーカス位置の候補であるコントラストのピーク部分を抽出して得られるものである。
　ピーク画像処理部２２０は、ピーク抽出部２２０１と、ピーク補正部２２０２とを有している。ピーク抽出部２２０１は、画像データ（例えばＲＡＷデータ）から、バンドパスフィルタ等を用いてピーク信号を抽出する。なお、バンドバスフィルタを用いてピーク信号を抽出した場合、抽出されるピーク信号は主にエッジ部分の信号となる。ここで、前述したように、基本画像処理部２１８１におけるエッジ強調処理においてもエッジ信号を抽出している。したがって、ピーク抽出部２２０１は、基本画像処理部２１８１に設けられたエッジ強調処理を行うための回路（エッジ強調処理部）で代用され得る。ピーク補正部２２０２は、ピーク抽出部２２０１で抽出されたピーク信号の輝度特性を変更する。前述したように、基本画像処理部２１８１における輝度変更処理においても輝度特性を変更している。したがって、ピーク補正部２２０２は、基本画像処理部２１８１に設けられた輝度変更処理を行うための回路（輝度変更処理部）で代用され得る。
　合成部２２２は、ピーキング表示のときに、画像処理部２１８で得られた背景画像データとピーク画像処理部２２０で得られたピーク画像データとを合成して合成画像データを生成する。合成部２２２は、背景画像補正部２２２１と、画像合成部２２２２とを有している。背景画像補正部２２２１は、背景画像データに合成されるピーク画像データの部分を際立たせるように、背景画像データを補正する画像処理を施す。この画像処理は、例えばローパスフィルタ処理及び輝度変更処理、彩度変更処理が含まれる。背景画像補正部２２２１は、背景画像データに施されている画像処理の内容に応じて適切な補正処理を選択する。画像合成部２２２２は、背景画像データとピーク画像データとを合成して合成画像データを生成する。
　表示ドライバ２２４は、画像処理部２１８で得られた背景画像データ或いは画像圧縮伸張部２２８で伸張して得られる画像データ又は合成部で得られた合成画像データを、表示部２２６の表示サイズに応じてリサイズし、リサイズした画像データを映像信号に変換して表示部２２６に出力する。表示部２２６は、例えば液晶ディスプレイ（ＬＣＤ）である。この表示部２２６は、表示ドライバ２２４から入力された映像信号に基づく画像を表示する。
　画像圧縮伸張部２２８は、画像の記録時においては、画像処理部２１８における画像処理によって得られた画像データに対してＪＰＥＧ形式やＴＩＦＦ形式等の静止画圧縮処理又はＭＰＥＧ形式やＨ．２６４形式等の動画圧縮処理を施す。また、画像圧縮伸張部２２８は、画像の再生時においては、圧縮処理が施された画像データに対して伸張処理を施す。
　メモリＩ/Ｆ２３０は、マイクロコンピュータ２３４等が記録媒体２３２にアクセスするためのインターフェイスである。記録媒体２３２は、例えばカメラ本体２００に着脱自在になされたメモリカードである。この記録媒体２３２は、画像ファイル等を記録する。
画像ファイルは、画像圧縮伸張部２２８によって圧縮された画像データに、ヘッダ情報を付加したファイルである。記録媒体２３２は、カメラ本体２００に固定されていてもよい（着脱できなくてもよい）。
　マイクロコンピュータ２３４は、メカシャッタ２０２、撮像素子２０４、表示ドライバ２２４といったカメラ本体２００の各部の動作を統括的に制御する。また、マイクロコンピュータ２３４は、ＡＥ処理部２１４で演算された被写体輝度を用いてＡＥ処理を行ったり、ＡＦ処理部２１６で演算されたＡＦ評価値を用いてＡＦ処理を行ったりもする。また、マイクロコンピュータ２３４は、フォーカス位置取得部としての機能も有し、ＡＦ評価値を評価することによって、画像データにおけるフォーカス位置を取得する。さらに、マイクロコンピュータ２３４は、交換式レンズ１００の装着時には、交換式レンズ１００の動作も制御する。
　操作部２３６は、ユーザによって操作される各種の操作部材である。本実施形態における操作部２３６は、操作部材として、例えば、レリーズボタンと、動画ボタンと、メニューボタンと、再生ボタンと、ピーキング表示切替ボタンと、電源ボタンとを有している。
　レリーズボタンは、ファースト（１ｓｔ）レリーズスイッチとセカンド（２ｎｄ）レリーズスイッチの２段スイッチを有している。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ２３４は、ＡＥ処理やＡＦ処理等の撮影準備処理を実行する。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ２３４は、静止画記録処理を実行する。
　動画ボタンは、マイクロコンピュータ２３４に対して動画撮影の実行を指示する。動画ボタンが押された場合、マイクロコンピュータ２３４は、動画記録処理を実行する。また、動画記録処理の実行中に動画ボタンが押された場合、マイクロコンピュータ２３４は、動画記録処理を終了する。
　メニューボタンは、メニュー画面の表示を指示するための操作部である。メニュー画面上において、ユーザは、カメラ本体２００の各種の設定を変更することが可能である。本実施形態においては、ユーザは、例えばメニュー画面上において、特殊画像処理モードを設定する。この特殊画像処理モードにより、特殊画像処理部２１８２で施される特殊画像処理の内容が設定される。
　再生ボタンは、マイクロコンピュータ２３４に対して静止画ファイル又は動画ファイルの再生を指示するための操作部である。電源ボタンは、カメラ本体２００の電源のオン又はオフを指示するための操作部である。
　ピーキング表示切替ボタンは、ピーキング表示モードのオンとオフの切り替えを指示するための操作部である。このピーキング表示切替ボタンは、ピーキング表示指示部の一例として機能する。
　ここで、前述したレリーズボタン、動画ボタン、メニューボタン、再生ボタン、ピーキング表示切替ボタンと同等の機能をタッチパネルによって実現するようにしてもよい。すなわち、ボタン等の物理的な操作部材がなくともよい。
　Ｆｌａｓｈメモリ２３８は、例えばホワイトバランス補正用のホワイトバランスゲイン、カラーマトリクス演算用のカラーマトリクス係数、輝度特性変更用の各種の関数といった画像処理部２１８の動作に必要なパラメータ等の、カメラ本体２００の動作に必要な各種のパラメータを記憶している。また、Ｆｌａｓｈメモリ２３８は、マイクロコンピュータ２３４が実行する種々のプログラムも記憶している。
　以下、前述したデジタルカメラの動作について説明する。図２Ａ及び図２Ｂは、本実施形態に係るデジタルカメラのメイン動作を示すフローチャートである。図２Ａ及び図２Ｂの動作は、例えば図１に示すデジタルカメラ１の電源がオンされた場合に行われる。
　電源オン後において、マイクロコンピュータ２３４は、初期化処理を行う（ステップＳ１０１）。初期化処理において、マイクロコンピュータ２３４は、自身が有するレジスタに設定されている記録中フラグをＯｆｆにする等の処理を行う。記録中フラグは、動画記録中であるか否かを示すフラグである。記録中フラグがＯｆｆになっている間は、動画記録中でないことを示す。一方、記録中フラグがＯｎになっている間は、動画記録中であることを示す。
　次に、マイクロコンピュータ２３４は、ユーザによって操作部２３６の再生ボタンが押されたか否かを判定する（ステップＳ１０２）。ステップＳ１０２において、再生ボタンが押されたと判定した場合に、マイクロコンピュータ２３４は、再生処理を実行する（ステップＳ１０３）。　
　再生処理において、マイクロコンピュータ２３４は、ユーザによる画像ファイル（静止画像ファイル又は動画像ファイル）の選択を待つ。そして、画像ファイルが選択された場合に、マイクロコンピュータ２３４は、選択された画像ファイルを画像圧縮伸張部２２８によりデコードする。そして、マイクロコンピュータ２３４は、デコードにより得られた画像データを表示ドライバ２２４に入力する。表示ドライバ２２４は、入力された画像データを映像信号に変換し、この映像信号に対応した画像を表示部２２６に表示させる。その後、ユーザによって再生終了の指示がなされた場合、例えば再生ボタンが再び押された場合に、マイクロコンピュータ２３４は、再生処理を終了させる。
　ステップＳ１０２において再生ボタンが押されていないと判定した場合に、マイクロコンピュータ２３４は、カメラ設定をするか否かを判定する（ステップＳ１０４）。例えば、ユーザによって操作部２３６のメニューボタンが押された場合に、マイクロコンピュータ２３４は、カメラ設定をすると判定する。
　ステップＳ１０４において、カメラ設定をすると判定した場合に、マイクロコンピュータ２３４は、表示ドライバ２２４を制御して表示部２２６にメニュー画面を表示させた後、カメラ設定処理を実行する（ステップＳ１０５）。　
　カメラ設定処理において、マイクロコンピュータ２３４は、ユーザからのカメラ設定の変更の指示を待つ。そして、何らかのカメラ設定の変更の指示がなされた場合に、マイクロコンピュータ２３４は、その指示に従ってカメラ設定を変更する。このカメラ設定処理においては、例えば静止画撮影時や動画撮影時の画像の記録形式の設定、ホワイトバランス（ＷＢ）モード等の画像の仕上がりに関する設定が変更される。また、カメラ設定処理において、特殊画像処理を実行するか否か、及び特殊画像処理を実行する際の特殊画像処理モードを設定することが可能である。
　ステップＳ１０４において、カメラ設定をしないと判定した場合に、マイクロコンピュータ２３４は、ユーザによって操作部２３６の動画ボタンが押されたか否かを判定する（ステップＳ１０６）。ステップＳ１０６において、動画ボタンが押されたと判定した場合に、マイクロコンピュータ２３４は、記録中フラグを反転させる（ステップＳ１０７）。すなわち、マイクロコンピュータ２３４は、記録中フラグがＯｆｆの場合にはＯｎに、Ｏｎの場合にはＯｆｆにする。その後、マイクロコンピュータ２３４は、現在、動画記録中であるか否か、すなわち記録中フラグがＯｎであるか否かを判定する（ステップＳ１０８）。
　ステップＳ１０８において、記録中フラグがＯｎであると判定した場合に、マイクロコンピュータ２３４は、動画ファイルを生成し、動画像データを記録できるように準備する（ステップＳ１０９）。また、ステップＳ１０８において、記録中フラグがＯｎでないと判定した場合に、マイクロコンピュータ２３４は、動画ファイルを閉じる（ステップＳ１１０）。
　ステップＳ１０６において動画ボタンが押されていないと判定した場合、ステップＳ１０９において動画ファイルを生成した後、ステップＳ１１０において動画ファイルを閉じた後、マイクロコンピュータ２３４は、現在、動画記録中であるか否か、すなわち記録中フラグがＯｎであるか否かを再び判定する（ステップＳ１１１）。
　ステップＳ１１１において、記録中フラグがＯｆｆであると判定した場合に、マイクロコンピュータ２３４は、ユーザによって操作部２３６のレリーズボタンが半押しされてレリーズボタンの状態がＯｆｆ状態から１ｓｔレリーズスイッチのＯｎ状態に遷移したか否かを判定する（ステップＳ１１２）。
　ステップＳ１１２において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移したと判定した場合に、マイクロコンピュータ２３４は、ＡＥ処理及びＡＦ処理を行う（ステップＳ１１３）。　
　ＡＥ処理において、マイクロコンピュータ２３４は、ＡＥ処理部２１４によって被写体輝度を算出させる。その後、マイクロコンピュータ２３４は、ＡＥ処理部２１４によって算出された被写体輝度に応じて静止画撮影の実行時におけるＩＳＯ感度、Ｆ値（絞り値）、シャッタ速を決定する。ここで、周知の顔検出技術等を用いた場合、検出された顔の輝度が適正となるようにＩＳＯ感度、Ｆ値、シャッタ速を決定するようにしてもよい。　
　ＡＦ処理において、マイクロコンピュータ２３４は、ＡＦ処理部２１６によってＡＦ評価値を取得させる。そして、マイクロコンピュータ２３４は、ＡＦ処理部２１６で取得されたＡＦ評価値により、コントラストを評価しつつ、レンズ１０２のフォーカスレンズを微少量ずつ駆動させるようにマイクロコンピュータ１０８に指示する。その後、マイクロコンピュータ２３４は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにマイクロコンピュータ１０８に指示する。このようなＡＦ処理は、所謂コントラスト方式のＡＦ処理である。ＡＦ処理として位相差ＡＦ処理を用いるようにしてもよい。ここで、周知の顔検出技術等を用いた場合、検出された顔にフォーカスが合うようにしてもよい。
　ＡＥ処理及びＡＦ処理の後、マイクロコンピュータ２３４は、デジタルカメラ１の電源がオフされたか否かを判定する（ステップＳ１１４）。ステップＳ１１４において、デジタルカメラ１の電源がオフされていないと判定した場合に、マイクロコンピュータ２３４は、ステップＳ１０２以後の処理を実行する。一方、ステップＳ１１４において、デジタルカメラの電源がオフされたと判定した場合に、マイクロコンピュータ２３４は、図２Ａ及び図２Ｂの処理を終了させる。
　また、ステップＳ１１２において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移していないと判定した場合に、マイクロコンピュータ２３４は、ユーザによって操作部２３６のレリーズボタンが全押しされてレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態となっているか否かを判定する（ステップＳ１１５）。
　ステップＳ１１５において、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態である場合に、マイクロコンピュータ２３４は、メカシャッタ２０２を用いた撮影処理を実行する（ステップＳ１１６）。このために、マイクロコンピュータ２３４は、ＡＥ処理において決定されるＩＳＯ感度に応じてアナログ処理部２０６におけるゲイン制御量（増幅率）を設定するとともに、ＡＥ処理において決定されるＦ値をマイクロコンピュータ１０８に送信する。その後、マイクロコンピュータ２３４は、マイクロコンピュータ１０８の制御による絞り１０４の駆動と同期して、ＡＥ処理において決定した露出時間に応じてメカシャッタ２０２を動作させて撮像素子２０４の露出値を制御する。このような撮影処理により、ＲＡＷデータがＳＤＲＡＭ２１２に記憶される。
　メカシャッタ２０２を用いた撮影処理を実行した後、マイクロコンピュータ２３４は、撮影処理によってＳＤＲＡＭ２１２に記憶されたＲＡＷデータに対する画像処理を、画像処理部２１８に実行させる（ステップＳ１１７）。この画像処理の詳細については後で説明する。
　画像処理の後、マイクロコンピュータ２３４は、画像処理の結果としてＳＤＲＡＭ２１２に記憶された画像データを、設定されている静止画記録形式で静止画ファイルとして記録する処理を行う（ステップＳ１１８）。この際、マイクロコンピュータ２３４は、ＳＤＲＡＭ２１２に記憶された画像データを画像圧縮伸張部２２８に入力して静止画圧縮処理を実行するように画像圧縮伸張部２２８に指示する。この指示を受けて画像圧縮伸張部２２８は、予め設定された記録モードに対応するように静止画圧縮処理を行い、圧縮された画像データをＳＤＲＡＭ２１２に記憶させる。その後、マイクロコンピュータ２３４は、画像圧縮伸張部２２８により圧縮された画像データをＳＤＲＡＭ２１２から読み出し、読み出した画像データから静止画ファイルを作成し、作成した静止画ファイルを記録媒体２３２に記録する。
　ステップＳ１１５においてレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態でないと判定した場合に、マイクロコンピュータ２３４は、ＡＥ処理を実行する（ステップＳ１１９）。このＡＥ処理は、動画撮影又はライブビュー表示のための処理である。ＡＥ処理の後、マイクロコンピュータ２３４は、電子シャッタを用いた撮影処理を実行する（ステップＳ１２０）。この撮影処理において、マイクロコンピュータ２３４は、ＡＥ処理によって決定した露出時間に応じて撮像素子２０４の電子シャッタ機能を動作させて撮像素子２０４の露出値を制御する。このような撮影処理により、ＲＡＷデータがＳＤＲＡＭ２１２に記憶される。
　電子シャッタを用いた撮影処理を実行した後、マイクロコンピュータ２３４は、撮影処理によってＳＤＲＡＭ２１２に記憶されたＲＡＷデータに対する画像処理を、画像処理部２１８に実行させる（ステップＳ１２１）。この画像処理の詳細については後で説明する。
　画像処理の後、マイクロコンピュータ２３４は、現在、動画記録中であるか否か、すなわち記録中フラグがＯｎであるか否かを判定する（ステップＳ１２２）。ステップＳ１２２において、記録中フラグがＯｎであると判定した場合に、マイクロコンピュータ２３４は、ステップＳ１２３の処理をスキップする。
　ステップＳ１２２において、記録中フラグがＯｎであると判定した場合に、マイクロコンピュータ２３４は、画像処理の結果としてＳＤＲＡＭ２１２に記憶された画像データを、設定されている動画記録形式で動画ファイルとして記録する処理を行う（ステップＳ１２３）。この際、マイクロコンピュータ２３４は、ＳＤＲＡＭ２１２に記憶された動画像データを画像圧縮伸張部２２８に入力して動画圧縮処理を実行するように画像圧縮伸張部２２８に指示する。この指示を受けて画像圧縮伸張部２２８は、予め設定された記録モードに対応するように動画圧縮処理を行い、圧縮された動画像データをＳＤＲＡＭ２１２に記憶させる。その後、マイクロコンピュータ２３４は、画像圧縮伸張部２２８により圧縮された動画像データをＳＤＲＡＭ２１２から読み出し、読み出した動画像データを動画ファイルに追記する。また、動画像データの記録が終了した場合には、動画ファイルのヘッダ情報部にフレーム数等の情報を記録する。なお、後で詳しく説明するピーク処理においては、ピーク画像データと背景画像データとに対する画像処理が施され、その結果が表示される。このようなピーク画像データと背景画像データは動画ファイルとともに記録する必要はない。
　ステップＳ１２２において記録中フラグがＯｆｆであると判定した場合又はステップＳ１２３の後、マイクロコンピュータ２３４は、ピーキング表示の指示がされたか否かを判定する（ステップＳ１２４）。例えば、ピーキング表示指示部の一例としてのピーキング表示切替ボタンが押される毎にピーキング表示のオンとオフとが切り替えられる。この他、ピーキング表示指示部の別の例としてのフォーカスリング１１２が操作されたときにピーキングの指示がされたと判定するようにしてもよい。ステップＳ１２４において、ピーキング表示の指示がされていないと判定した場合に、マイクロコンピュータ２３４は、ステップＳ１２５の処理をスキップする。
　ステップＳ１２４において、ピーキング表示の指示がされていると判定した場合に、マイクロコンピュータ２３４は、ピーク処理を実行する（ステップＳ１２５）。ピーク処理については後で詳しく説明する。
　ステップＳ１２４においてピーキング表示の指示されていないと判定した場合又はステップＳ１２５の後、マイクロコンピュータ２３４は、ライブビュー表示を行う（ステップＳ１２６）。その後にマイクロコンピュータ２３４は、処理をステップＳ１１４に移行させる。ライブビュー表示において、マイクロコンピュータ２３４は、画像処理の結果としてＳＤＲＡＭ２１２に記憶された画像データ又はピーク処理の結果としてＳＤＲＡＭ２１２に記憶された合成画像データを表示ドライバ２２４に入力する。これを受けて表示ドライバ２２４は、入力された画像データ又は合成画像データを映像信号に変換して表示部２２６に出力する。表示部２２６は、この映像信号に基づいて画像を表示する。このようなライブビュー表示により、ユーザは、表示部２２６を用いて構図の確認等を行うことができる。ここで、本実施形態において、ライブビュー表示がなされている間にフォーカスリング１１２が操作された場合、マイクロコンピュータ１０８は、フォーカスリング１１２の操作量に応じてドライバ１０６を制御してフォーカスレンズを駆動させる。
　図３は、画像処理について示すフローチャートである。画像処理が開始されると、基本画像処理部２１８１は、ＳＤＲＡＭ２１２に記憶されているＲＡＷデータに対して基本画像処理を施す（ステップＳ２０１）。その後、特殊画像処理部２１８２は、基本画像処理の結果としてＳＤＲＡＭ２１２に記憶されている画像データ（ＹＣｂＣｒデータ）に対して特殊画像処理を施す（ステップＳ２０２）。これにより、画像処理が終了される。以下、基本画像処理と特殊画像処理とを詳しく説明する。
　図４は、基本画像処理について示すフローチャートである。基本画像処理の開始後、基本画像処理部２１８１は、ＯＢ減算処理を行う（ステップＳ３０１）。ＯＢ減算処理において、基本画像処理部２１８１は、入力されたＲＡＷデータからオプティカルブラック（ＯＢ）値を減算することでＲＡＷデータにおける暗電流成分を除去する。
　ＯＢ減算の後、基本画像処理部２１８１は、ＷＢ補正処理を行う（ステップＳ３０２）。ＷＢ補正処理において、基本画像処理部２１８１は、ＯＢ減算処理が施されたＲＡＷデータに対して、予めユーザが設定したＷＢモードに応じたＷＢゲインを乗じることで画像としての色バランスを補正する。
　ＷＢ補正処理の後、基本画像処理部２１８１は、ＲＡＷデータの形式がベイヤ形式の場合には、同時化処理を行う（ステップＳ３０３）。同時化処理において、基本画像処理部２１８１は、ＷＢ補正がなされたＲＡＷデータを、補間処理を用いて同時化する。これにより、１画素がＲＧＢのうちの１つの色成分を有しているＲＡＷデータを１画素がＲＧＢ３つの色成分を有するＲＧＢデータに変換する。
　同時化処理の後、基本画像処理部２１８１は、色再現処理を行う（ステップＳ３０４）。色再現処理において、基本画像処理部２１８１は、設定されているＷＢモードに応じたカラーマトリクス係数をＲＧＢデータの各画素に乗じることでＲＧＢデータの色変換をする。さらに、基本画像処理部２１８１は、色変換したＲＧＢデータの色相及び彩度が適切なものとなるように色を補正することにより、画像の色再現を調整する。
　色再現処理の後、基本画像処理部２１８１は、輝度変更処理を行う（ステップＳ３０５）。輝度変更処理において、基本画像処理部２１８１は、色再現処理がされたＲＧＢデータをガンマ変換し、さらにガンマ変換したＲＧＢデータをＹＣｂＣｒ（輝度・色差）データに変換した後、さらにＹデータをガンマ変換する。輝度変更処理の際には、特殊画像処理の設定に応じて異なるガンマ変換をする。図５は、輝度変更処理において用いられる輝度変更特性曲線の例を示す図である。
　図５の関数Ａは、ＲＧＢデータの輝度変更処理に用いる関数の例であり、表示部２２６の表示特性やコントラスト等を変更するための関数である。関数Ａを用いてＲＧＢデータの特性を変更することにより、適切なコントラストで画像を表示部２２６に表示させることが可能である。
　関数Ｂは、特定の特殊効果を付加しない通常の輝度変更処理に用いる関数の例である。関数Ｂは、Ｙデータに対して使用されるものである。すなわち、関数Ａを用いてＲＧＢデータの輝度特性が変更され、輝度特性が変更された後のＲＧＢデータがＹＣｂＣｒデータに変換された後、関数Ｂを用いてさらにＹデータの特性が変更される。関数ＢによってＹデータの特性を変換した場合、得られるＹデータの特性は、関数Ａを用いて輝度変更処理を行った結果の線形変換の特性になる。
　関数Ｃは、関数Ｂに対して高輝度側を持ち上げ、低輝度側を下げるようにした特性の関数である。関数Ｃも、Ｙデータに対して使用されるものである。すなわち、関数Ａを用いてＲＧＢデータの輝度特性が変更され、輝度特性が変更された後のＲＧＢデータをＹＣｂＣｒデータに変換された後、関数Ｃを用いてさらにＹデータの特性が変更される。関数ＣによってＹデータの特性を変換した場合、画像のコントラストが強調される。このような関数Ｃは、例えばトイカメラで撮影したような視覚効果を付加する特殊効果処理モードやポップ調の視覚効果を付加する特殊効果処理モードの際に用いられる。関数Ｃは、ＲＧＢデータに対して用いることができるように係数が変更されてもよい。
　関数Ｄは、関数Ｂに対して全体的な輝度を持ち上げるようにした特性の関数である。関数Ｄも、Ｙデータに対して使用されるものである。すなわち、関数Ａを用いてＲＧＢデータの輝度特性が変更され、輝度特性が変更された後のＲＧＢデータがＹＣｂＣｒデータに変換された後、関数Ｄを用いてさらにＹデータの特性が変更される。関数ＤによってＹデータの特性を変換した場合、コントラストが抑えられ、かつ明るめの画像が得られる。このような関数Ｄは、例えばファンタジー調の視覚効果を付加する特殊効果処理モードの際に用いられる。関数Ｄは、ＲＧＢデータに対して用いることができるように係数が変更されてもよい。
　輝度変更処理の後、基本画像処理部２１８１は、エッジ強調処理を行う（ステップＳ３０６）。エッジ強調処理において、基本画像処理部２１８１は、輝度変更処理後のＹデータに対し、バンドパスフィルタ処理を施してエッジ信号を抽出し、抽出したエッジ信号にエッジ強調量に応じた係数を乗じる。そして、基本画像処理部２１８１は、係数を乗じたエッジ成分をもとのＹデータに加算することで画像のエッジ成分を強調する。
　エッジ強調処理の後、基本画像処理部２１８１は、ノイズ低減（ＮＲ）処理を行う（ステップＳ３０７）。その後に基本画像処理部２１８１は、図４の処理を終了させる。ノイズ低減処理において、基本画像処理部２１８１は、エッジ強調処理がされたＹデータを周波数分解し、周波数に応じてコアリング処理等を施して画像におけるノイズ成分を低減させる。Ｃｂデータ及びＣｒデータに対してノイズ成分を低減させてもよい。ノイズ低減処理後のデータは、記録形式がＴＩＦＦ形式の場合には所定のマトリクス演算を行って再度ＲＧＢ形式に変換される。
　図６は、特殊画像処理について示すフローチャートである。特殊画像処理の開始後、特殊画像処理部２１８２は、シェーディング効果を付加するか否かを判定する（ステップＳ４０１）。ステップＳ４０１において、シェーディング効果を付加しないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４０２の処理をスキップする。
　ステップＳ４０１において、シェーディング効果を付加すると判定した場合に、特殊画像処理部２１８２は、Ｙデータにシェーディング効果を付加する（ステップＳ４０２）。この処理において、特殊画像処理部２１８２は、例えばＹデータの中心位置からの距離に応じて徐々にゲインの値が小さくなるようなゲインマップを生成する。そして、特殊画像処理部２１８２は、各画素のＹデータに、その画素に応じたゲインを乗じる。ここで、ゲインの最大値は１である。
　続いて、特殊画像処理部２１８２は、ソフトフォーカス効果を付加するか否かを判定する（ステップＳ４０３）。ステップＳ４０３において、ソフトフォーカス効果を付加しないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４０４の処理をスキップする。
　ステップＳ４０３において、ソフトフォーカス効果を付加すると判定した場合に、特殊画像処理部２１８２は、ＹＣｂＣｒデータにソフトフォーカス効果を付加する（ステップＳ４０４）。この処理において、特殊画像処理部２１８２は、ＹＣｂＣｒデータにローパスフィルタ処理を施すことでＹＣｂＣｒデータにぼかしを付加する。そして、特殊画像処理部２１８２は、ぼかし後のＹＣｂＣｒデータとぼかし前のＹＣｂＣｒデータとを所定の割合（例えば、ぼかし後：ぼかし前＝２：３）で合成する。
　続いて、特殊画像処理部２１８２は、ノイズ効果を重畳するか否かを判定する（ステップＳ４０５）。ステップＳ４０５において、ノイズ効果を重畳しないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４０６の処理をスキップする。
　ステップＳ４０５において、ノイズ効果を重畳すると判定した場合に、特殊画像処理部２１８２は、ＹＣｂＣｒデータにノイズ効果を重畳する（ステップＳ４０６）。この処理において、特殊画像処理部２１８２は、ノイズデータをＹＣｂＣｒデータに重畳する。ここで、ノイズデータは、予めＦｌａｓｈメモリ２３８に記憶させておいた固定パターンのノイズデータを用いるようにしてもよいし、ノイズ効果を重畳する処理を行う毎に擬似乱数発生器等を用いて発生させるようにしてもよい。
　続いて、特殊画像処理部２１８２は、ぼかし処理をするか否かを判定する（ステップＳ４０７）。ステップＳ４０７において、ぼかし処理しないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４０８の処理をスキップする。
　ステップＳ４０７において、ぼかし処理をすると判定した場合に、特殊画像処理部２１８２は、ＹＣｂＣｒデータに対してぼかし処理を施す（ステップＳ４０８）。この処理において、特殊画像処理部２１８２は、例えば被写体位置（ＡＦ位置等でもよい）を中心にして上下方向又は左右方向に徐々に高周波成分が低減されるようにぼかし処理に用いるローパスフィルタの値を設定する。そして、特殊画像処理部２１８２は、このローパスフィルタの値に基づいてぼかし処理を施す。中心からの距離に応じて徐々にぼかすようにぼかし処理が行われてもよい。
　続いて、特殊画像処理部２１８２は、クロスフィルタ処理をするか否かを判定する（ステップＳ４０９）。ステップＳ４０９において、クロスフィルタ処理をしないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４１０の処理をスキップする。
　ステップＳ４０９において、クロスフィルタ処理をすると判定した場合に、特殊画像処理部２１８２は、Ｙデータに対してクロスフィルタ処理を施す（ステップＳ４１０）。この処理において、特殊画像処理部２１８２は、画像データ（Ｙデータ）中の輝点（高輝度画素）を検索する。続いて、特殊画像処理部２１８２は、Ｙデータの検索した輝点を中心に輝線を描画する。
　続いて、特殊画像処理部２１８２は、ホワイトエッジ処理をするか否かを判定する（ステップＳ４１１）。ステップＳ４１１において、ホワイトエッジ処理をしないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４１２の処理をスキップする。
　ステップＳ４１１において、ホワイトエッジ処理をすると判定した場合に、特殊画像処理部２１８２は、ＹＣｂＣｒデータに対してホワイトエッジ処理を施す（ステップＳ４１２）。この処理において、特殊画像処理部２１８２は、例えばＹＣｂＣｒデータの中心位置からの距離に応じて徐々に白（例えばＹ＝２５５、Ｃｂ＝Ｃｒ＝０（無彩色））の割合が大きくなるような変換特性に従って各画素のＹＣｂＣｒデータを変換する。
　続いて、特殊画像処理部２１８２は、パートカラー処理をするか否かを判定する（ステップＳ４１３）。ステップＳ４１３において、パートカラー処理をしないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４１４の処理をスキップする。
　ステップＳ４１３において、パートカラー処理をすると判定した場合に、特殊画像処理部２１８２は、ＹＣｂＣｒデータに対してパートカラー処理を施す（ステップＳ４１４）。この処理において、特殊画像処理部２１８２は、予め定めた色を残し、それ以外の色が無彩色となるように色のゲインマップを作成する。ゲインマップを生成した後、特殊画像処理部２１８２は、Ｃｂデータ及びＣｒデータ（無彩色は０になるように生成されている）の各画素にゲインを乗じる。
　続いて、特殊画像処理部２１８２は、ミラー反転処理をするか否かを判定する（ステップＳ４１５）。ステップＳ４１５において、ミラー反転処理をしないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４１６の処理をスキップして図６の処理を終了させる。
　ステップＳ４１５において、ミラー反転処理をすると判定した場合に、特殊画像処理部２１８２は、ＹＣｂＣｒデータに対してミラー反転処理を施す（ステップＳ４１６）。この処理において、特殊画像処理部２１８２は、ＹＣｂＣｒデータの上半分を上下反転して下半分に合成する。その後、特殊画像処理部２１８２は、図６の処理を終了させる。ここで、ミラー反転処理において、ＹＣｂＣｒデータの左半分を左右反転して右半分に合成するようにしてもよい。
　図７は、第１の実施形態におけるピーク処理について示すフローチャートである。図７において、ピーク画像処理部２２０のピーク抽出部２２０１は、ＲＡＷデータからピーク信号を抽出する（ステップＳ５０１）。具体的には、ピーク抽出部２２０１は、ＲＡＷデータに対してバンドパスフィルタ処理を施してコントラストの信号を抽出する。ここで、バンドパスフィルタで抽出する信号の帯域は、被写体距離及びＦ値等の各種の条件に応じて変化させることが望ましい。
　図８Ａは、被写体距離とピーク抽出の周波数帯域との関係を示した図である。また、図８Ｂは、Ｆ値とピーク抽出の周波数帯域との関係を示した図である。ここで、図８Ａ及び図８Ｂは、何れも、横軸が画像（ＲＡＷデータ）の周波数の値を示し、縦軸が抽出されたピーク信号の周波数応答（画素値）を示している。
　被写体距離が遠い場合、細かい被写体に対してフォーカスが合うので、ピーク信号が抽出され易い。この場合、単純にピーキング表示をすると多くのピーク線が表示されることになる。したがって、ユーザは、目的の被写体のフォーカス状態を識別しにくい。このため、被写体距離が遠い場合のピーキング表示の際には、図８Ａの実線で示すように、ピーク抽出の周波数帯域が高周波側に設定される。これにより、抽出されるピーク線の数が制限される。一方、被写体距離が近い場合には、細かい被写体にはフォーカスが合いにくくなって抽出されるピーク線の数が減少する。したがって、被写体距離が近い場合のピーキング表示の際には、図８Ａの破線で示すように、ピーク抽出の周波数帯域が被写体距離が遠い場合よりも相対的に低周波側に設定される。このように、被写体距離が近いほどにピーク抽出の周波数帯域を低周波側に変更することにより、ピーキング表示をしたときのピーク線の見えを被写体距離によらずに一定にすることが可能である。
　被写体距離は、レンズ１０２の状態（位置）をＩ／Ｆ１１４を経由して通信により取得することで取得できる。専用のセンサを設け、被写体距離を得るようにしてもよい。
　また、Ｆ値が大きい（絞り１０４が絞られている）場合には、被写界深度が深くなってフォーカスが合い易くなる。この場合も被写体距離が遠い場合と同様、単純にピーキング表示をすると多くのピーク線が表示されることになる。したがって、Ｆ値が大きい場合のピーキング表示の際には、図８Ｂの実線で示すように、ピーク信号の抽出周波数帯域が、高周波側にされる。一方、Ｆ値が小さい（絞り１０４が開けられている）場合のピーキング表示の際には、図８Ｂの破線で示すように、ピーク抽出の周波数帯域が、Ｆ値が大きい場合よりも相対的に低周波側に設定される。このように、Ｆ値が小さいほどにピーク抽出の周波数帯域を低周波側に変更することにより、ピーキング表示をしたときのピーク線の見えを被写体距離によらずに一定にすることが可能である。
　なお、絞り１０４の状態をＩ／Ｆ１１４を経由して通信により取得することで、Ｆ値は取得可能である。
　図８Ａは被写体距離に応じてピーク抽出の周波数帯域を変える例を示し、図８ＢはＦ値に応じてピーク抽出の周波数帯域を変える例を示している。これら以外に、焦点距離（ズーム位置）に応じてピーク抽出の周波数帯域を変えるようにしてもよい。この場合、焦点距離が長くなるほどにピーク抽出の周波数帯域を低周波側に変更することにより、ピーキング表示をしたときのピーク線の見えを一定にすることが可能である。
　ピーク抽出の後、ピーク補正部２２０２は、ピーク信号を抽出して得られるピーク画像データに対してコアリング処理を行う（ステップＳ５０２）。具体的には、ピーク補正部２２０２は、ピーク画像データにおける小振幅成分（画素値がある一定範囲内のもの）を所定値（例えば０）にクリップする。
　コアリング処理の後、ピーク補正部２２０２は、コアリング処理したピーク信号にゲインを乗じることでピーク画像データを増幅する（ステップＳ５０３）。ここで、ゲインは、例えば予めＦｒａｓｈメモリ２３８に記憶された固定のゲインである。
　ゲインを乗算した後、ピーク補正部２２０２は、ピーキング表示が違和感なく行われるよう、ピーク画像データの一部の成分をクリップする（ステップＳ５０４）。バンドパスフィルタ処理で抽出されるピーク信号には、正の成分と負の成分とが含まれる。正の成分が高輝度成分に対応し、負の成分が低輝度成分に対応する。したがって、明るいピーク線（例えば白）を表示させる場合には、ピーク画像データの負の成分が０にクリップされる。逆に、暗いピーク線（例えば黒）を表示させる場合には、ピーク画像データの正の成分が０にクリップされる。明るいピーク線を表示させるか否かは、例えば被写体の明るさに応じて決められる。すなわち、被写体が暗い場合には明るいピーク線を表示させるように決定され、被写体が明るい場合には暗いピーク線を表示させるように決定される。
　なお、ステップＳ５０４でクリップせず、後述のステップＳ５０６における輝度変更処理で正の成分または負の成分をクリップするようにしてもよい。また、明るいピーク線を表示させるか暗いピーク線を表示させるかを、ステップＳ１０５のカメラ設定において設定できるようにしてもよい。
　信号クリップの後、ピーク補正部２２０２は、ピーク画像データに対してローパスフィルタ処理を施す（ステップＳ５０５）。図９は、ピーク画像データに対するローパスフィルタ処理に用いるローパスフィルタのフィルタ係数の例を示す図である。なお、ローパスフィルタ処理後の実際の出力は、注目画素を中心とする５×５画素のピーク画像データの各画素に対して図９の係数を乗じたものを合計し、この合計したものを図９の係数の総和で除したものである。図９に示す特性を有するフィルタを用いてピーク画像データを処理した場合、ピーク部分が平均化されることによって広がりを持つ。ここで、図９で示したフィルタ係数の値は一例であって適宜変更してよい。また、必ずしも５×５のフィルタとする必要はない。
　ピーク画像データに対するローパスフィルタ処理の後、ピーク補正部２２０２は、ピーク画像データに対して輝度変更処理を施す（ステップＳ５０６）。図１０は、ピーク画像データに対する輝度変更処理に用いられる輝度変更特性曲線の例を示す図である。図１０に示すように、明るいピーク線を表示させる場合にはピーク画像データの正の成分のコントラストを強調する特性の輝度変更特性曲線（図１０の実線）を用いて輝度変更処理を施す。一方、暗いピーク線を表示させる場合にはピーク画像データの負の成分のコントラストを強調する特性の輝度変更特性曲線（図１０の破線）を用いて輝度変更処理を施す。このように本実施形態では、ローパスフィルタ処理によってぼかしたピーク画像データに対し、コントラストを強調する輝度変更処理を施す。このような処理を施した場合、ピーキング表示の際に太く鮮明なピーク線を表示させることが可能である。このため、ユーザは、ピーク線のフォーカス状態を識別し易い。ここで、図１０で示した例では、輝度変更処理によってピーク画像データは、各画素が０以上１.０以下のゲイン値を持つ画像データに変換される。輝度変更特性曲線の上限値と下限値とは図１０で示した例に限るものではない。
　続いて、ピーク補正部２２０２は、ＡＦがされているか否かを判定する（ステップＳ５０７）。ステップＳ５０７において、ＡＦがされていないと判定した場合に、ピーク補正部２２０２は、ステップＳ５０８の処理をスキップする。ステップＳ５０７において、ＡＦがされていると判定した場合に、ピーク補正部２２０２は、ピーク画像データにおけるフォーカス位置（ＡＦ評価値のピークが検出された位置）周辺以外の画素に０を乗じる（ステップＳ５０８）。このような処理により、ピーク抽出処理で抽出されたピーク部分の中から、フォーカス位置に対応したピーク部分が抽出されるようにマスクすることが可能である。
　ステップＳ５０８までの処理により、ピーク画像データに対する処理が終了する。続いて、合成部２２２の背景画像補正部２２２１は、背景画像データに対してローパスフィルタ処理を施す（ステップＳ５０９）。ここで、背景画像データは、少なくとも基本画像処理が施された画像データである。特殊画像処理は、施されていなくてもよいし、施されていてもよい。また、図１１は、背景画像データに対するローパスフィルタ処理に用いるローパスフィルタのフィルタ係数の例を示す図である。図１１に示す特性を有するフィルタを用いて背景画像データを処理することにより、ピーク画像データに対して背景画像データをぼかす。ここで、図９で示したフィルタ係数の値は一例であって適宜変更してよい。また、必ずしも５×５のフィルタとする必要はない。ただし、背景画像データに対するローパスフィルタ処理のほうがピーク画像データに対するローパスフィルタ処理よりもぼかしの程度が大きくなるようにフィルタの係数を設定することが望ましい。
　背景画像データに対するローパスフィルタ処理の後、背景画像補正部２２２１は、背景画像データに対して輝度変更処理を施す（ステップＳ５１０）。図１２は、背景画像データに対する輝度変更処理に用いられる輝度変更特性曲線の例を示す図である。ステップＳ５１０の輝度変更処理では、ピーク画像データとの明暗差が際立つように背景画像データの輝度特性が変更される。すなわち、図１２に示すように、明るいピーク線を表示させる場合には、出力輝度を抑えた輝度変更特性曲線を用いて背景画像データに対する輝度特性変更処理が行われることにより、背景画像データが全体的に暗くされる。一方、暗いピーク線を表示させる場合には、出力輝度を持ち上げた輝度変更特性曲線を用いて背景画像データに対する輝度特性変更処理が行われることにより、背景画像データが全体的に明るくされる。なお、図１２で示した輝度変更特性曲線は、一例である。例えば背景画像データを入力データによらずに一律に明るく又は暗くするようにしてもよい。
　ピーク画像データに対する輝度特性変更処理と背景画像データに対する輝度特性変更処理の後、合成部２２２の画像合成部２２２２は、ピーク画像データと背景画像データとを合成して合成画像データを生成する（ステップＳ５１１）。画像合成部２２２２は、例えばピーク画像データと背景画像データとを重み付け加算することによって合成を行う。このとき、ピーク画像データのゲイン値が１.０に近いほどにピーク線がはっきりと見えるように合成する。この一例として、白いピーク線を表示させる場合には以下の（式１）に従って合成し、黒いピーク線を表示させる場合には以下の（式２）に従って合成する。（式１）及び（式２）で示す演算は、画像データの成分毎に行う。例えば背景画像データがＹＣｂＣｒデータの場合には、Ｙデータと、Ｃｂデータと、Ｃｒデータのそれぞれについて（式１）又は（式２）の演算を行う。また、（式１）の白の値は、表示したときに白に見える画素値である。例えば、ＹＣｂＣｒデータの場合の白の値は、Ｙ＝２５５、Ｃｂ＝Ｃｒ＝０である。また、ＲＧＢデータの場合の白の値は、Ｒ＝Ｇ＝Ｂ＝２５５である。また、（式２）の黒の値は、表示したときに黒に見える画素値である。例えば、ＹＣｂＣｒデータの場合の黒の値は、Ｙ＝０、Ｃｂ＝Ｃｒ＝０である。また、ＲＧＢデータの場合の黒の値は、Ｒ＝Ｇ＝Ｂ＝０である。　
　　背景画像データの画素値×（１.０－ピーク画像データのゲイン値）＋白の画素値×ピーク画像データのゲイン値　（式１）　
　　背景画像データの画素値×（１.０－ピーク画像データのゲイン値）＋黒の画素値×ピーク画像データのゲイン値　（式２）　
　（式１）又は（式２）で示す演算を行うことにより、ローパスフィルタ処理によってぼかされた背景画像データのピーク部分に太い鮮明なピーク線が合成された合成画像データが生成される。
　以上説明したように、本実施形態では、ＲＡＷデータから抽出されるピーク信号を用いてピーク処理を行うようにしている。すなわち、本実施形態では、ピーク画像データと背景画像データとを分離してそれぞれに対して個別の画像処理を施すようにしている。背景画像データは、図５の関数Ｃや関数Ｄを用いた輝度変更処理や各種の特殊効果処理が施されている可能性がある。このような特殊な処理がされているとピーク部分の抽出が困難になる。一方でＲＡＷデータはこれらの処理が施される前の画像データである。このようなＲＡＷデータからピーク画像データを生成することにより、本実施形態では、背景画像データに対して行われた画像処理の内容や画像処理の際に用いられた画像処理パラメータに依存することのない、安定したピーキング表示が可能である。
　また、本実施形態では、ピーク画像データは、ローパスフィルタ処理の後でコントラストを強調する輝度変更処理が行われる。その一方で、背景画像データは、背景画像においてエッジ部分がピーク画像と混同しにくくなるようにローパスフィルタ処理が行われ、ピーク画像データとの明暗差をより強調する輝度変更処理が行われる。これにより、ピーキング表示の際に背景画像に対してピーク線を鮮明に表示させることができる。これにより、ユーザは、ピーク線のフォーカス状態を識別し易い。
　ここで、本実施形態では、ピーク画像データに対してローパスフィルタ処理を施すことでピーク画像データをぼかしている。ローパスフィルタ処理の代わりにノイズ低減処理を用いてピーク画像データをぼかしてもよい。
　［第２の実施形態］　
　次に、本発明の第２の実施形態を説明する。第２の実施形態は、ピーク線をより際立たせるようにさらに背景画像データの色調を変更する処理を行う点が第１の実施形態と異なっている。第２の実施形態は、ピーク線に色を付ける場合に特に好適である。
　図１３は、第２の実施形態におけるピーク処理について示すフローチャートである。ここで、図１３は、基本的な処理の流れは図７と同様である。したがって、図１３の詳細な説明は省略する。具体的には、図１３のステップＳ６０１～Ｓ６０９は、図７のＳ５０１～Ｓ５０９と同様であるので詳細な説明を省略する。
　背景画像データに対するローパスフィルタ処理の後、背景画像補正部２２２１は、背景画像データに対して彩度変更処理を施す（ステップＳ６１０）。彩度変更処理は、ピーク線の色が際立つように背景画像データの彩度を変更する処理である。例えば、高彩度色のピーク線を合成する場合には、背景画像データの彩度を低下させる。彩度を低下させるための手法としては、例えば色差データ（Ｃｂデータ及びＣｒデータ）に一律の係数０.５を乗じる手法が挙げられる。この係数は、０以上１未満の間で適宜変更してよい。
　彩度変更処理の後、背景画像補正部２２２１は、背景画像データに対して輝度変更処理を施す（ステップＳ６１１）。輝度変更処理は、図１３のステップＳ５１０と同様でよい。
　輝度変更処理の後、背景画像補正部２２２１は、ピーク画像データと背景画像データとを合成して合成画像データを生成する（ステップＳ６１２）。合成処理は、基本的には図１３のステップＳ５１１と同様である。ただし、合成は、（式１）の「白の画素値」を、合成しようとするピーク線の色の画素値に置き換えて行う。例えば、ピーク線の色を赤とする場合、（式１）の「白の画素値」であるＲ＝Ｇ＝Ｂ＝２５５に代えて、Ｒ＝２５５、Ｇ＝Ｂ＝０とする。
　以上説明したように、本実施形態では、ピーク画像データの色が際立つように背景画像データの彩度を変更するようにしている。これにより、ピーク線に色がついていても、ユーザは、ピーク線の色と背景の色とを混同することがない。これにより、ユーザは、ピーク線のフォーカス状態を識別し易い。
　［第３の実施形態］　
　次に、本発明の第３の実施形態を説明する。第３の実施形態は、背景画像データに付加された特殊効果に応じたピーク部分の変更処理を行う点が第１及び第２の実施形態と異なっている。
　図１４は、第３の実施形態におけるピーク処理について示すフローチャートである。ここで、図１４は、基本的な処理の流れは図７と同様である。したがって、図１４の詳細な説明は省略する。具体的には、図１４のステップＳ７１１～Ｓ７１６、Ｓ７１９～７２１は、図７のＳ５０１～Ｓ５０６、Ｓ５０９～Ｓ５１１と同様であるので詳細な説明を省略する。
　ピーク画像データに対する輝度変更処理の後、ピーク補正部２２０２は、背景画像データに特殊効果が付加されているか否かを判定する（ステップＳ７１７）。ステップＳ７１７において、背景画像データに特殊効果が付加されていないと判定した場合に、ピーク補正部２２０２は、ステップＳ７１８の処理をスキップする。ステップＳ７１７において、背景画像データに特殊効果が付加されていると判定した場合に、ピーク補正部２２０２は、特殊効果に応じたピーク画像データの変更処理を行う（ステップＳ７１８）。この処理においては、特殊効果による画像変化の影響が小さい位置にピーク画像データが合成されるようにピーク画像データを変更する。
　例えば、特殊効果としてシェーディング効果が付加されている背景画像データは、図１５Ａに示すように、中央部が明るく周辺部が暗い画像データである。シェーディング効果が付加されて暗くなった部分はフォーカスの状態が分かりにくい。したがって、図１５Ｂに示すように、シェーディング効果が付加されていない部分にピーク画像データが合成されるようにピーク画像データを変更する。ここで、図１５Ｂでは、特殊効果が付加されていないピーク部分がＰで示され、特殊効果が付加されているピーク部分がＰ’で示されている。図１５Ｂに示すようにピーク部分Ｐにピーク線を合成すれば、ユーザはフォーカスの状態が分かり易い。ここで、シェーディング効果が付加されている部分Ｐ’には必ずしもピーク画像データを合成する必要はない。シェーディング効果が付加されている部分Ｐ’にピーク画像データを合成する場合には、シェーディング効果が付加されていない部分Ｐに合成するピーク画像データとの見分けがつくように、例えば色を変更してから合成することが望ましい。
　また、図１６Ａに示すように特殊効果としてぼかしが付加されている背景画像データは、ぼかしが付加されている部分にピーク線を表示させてもあまり意味がない。したがって、図１６Ｂに示すように、ぼかしが付加されていない部分Ｐにピーク画像データが合成されるようにピーク画像データを変更する。ぼかしが付加されている部分には必ずしもピーク画像データを合成する必要はない。ぼかしが付加されている部分にピーク画像データを合成する場合には、ぼかしが付加されていない部分に合成するピーク画像データとの見分けがつくように、例えば色を変更してから合成することが望ましい。
　また、特殊効果としてホワイトエッジ処理が施されている背景画像データは、図１７Ａに示すように、中央部が暗く周辺部が明るい画像データである。ホワイトエッジ処理が施されている場合には、図１７Ｂに示すように、中央部の弱いホワイトエッジ処理が施されている部分Ｐにピーク線が合成されるようにピーク画像データを変更する。強いホワイトエッジ処理が施されている部分Ｐ’には必ずしもピーク画像データを合成する必要はない。強いホワイトエッジ処理が施されている部分Ｐ’にピーク画像データを合成する場合には、弱いホワイトエッジ処理が施されている部分Ｐに合成するピーク画像データとの見分けがつくように、例えば色を変更してから合成することが望ましい。
　また、特殊効果としてミラー反転処理が施されている背景画像データは、図１８Ａに示すように、上下対称（又は左右対称）の画像データである。実際の被写体は、上半分（又は左半分）の部分である。したがって、図１８Ｂに示すように、上半分にのみピーク画像データを合成する。
　以上の図１５Ａから図１８Ｂで示したピーク変更処理は一例である。特殊効果の影響を受けないようにピーク線を表示させることができるのであれば、ピーク変更処理の内容は適宜変更できる。
　以上説明したように、本実施形態では、特殊効果の内容に応じてピーク画像データの変更処理を行っている。これにより、特殊効果で見えなくなってしまったり、フォーカスを合わせる必要がない部分が明確になり、ユーザは無駄なフォーカス合わせをする必要がない。
　以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
　また、上述した実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れもマイクロコンピュータ２３４に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、マイクロコンピュータ２３４は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
　さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

Claims (20)

  1. 　被写体を撮像してＲＡＷデータを取得する撮像部と、
    　前記ＲＡＷデータからピーク部分を抽出してピーク画像データを生成するピーク画像生成部と、
    　前記ＲＡＷデータを画像処理して背景画像データを生成する背景画像生成部と、
    　前記ピーク画像データと前記背景画像データとを合成して合成画像データを生成する合成部と、
    　前記合成画像データに基づく画像を表示する表示部と、
    　を具備する撮像装置。
  2. 　前記合成部は、合成される前記ピーク画像データを合成される前記背景画像データに対して際立たせるように前記背景画像データを補正する背景画像補正部を含み、
    　前記背景画像補正部で補正された背景画像データと前記ピーク画像データとを合成する請求項１に記載の撮像装置。
  3. 　前記背景画像補正部は、前記背景画像データの補正として、合成される前記背景画像データの階調を変更する処理を行う請求項２に記載の撮像装置。
  4. 　前記背景画像補正部は、前記背景画像データの補正として、合成される前記背景画像データの色調を変更する処理を行う請求項２に記載の撮像装置。
  5. 　前記背景画像補正部は、前記背景画像データの補正として、合成される前記背景画像データのローパスフィルタ処理を行う請求項２に記載の撮像装置。
  6. 　前記背景画像生成部は、前記背景画像データに対して特殊効果を付加する特殊効果処理部を有する請求項１に記載の撮像装置。
  7. 　前記合成部は、前記背景画像データのうちで付加された特殊効果による画像変化の小さい領域に対して前記ピーク画像データを合成する請求項６に記載の撮像装置。
  8. 　撮像時のフォーカス位置を取得するフォーカス位置取得部をさらに具備し、
    　前記ピーク画像生成部は、抽出した前記ピーク部分の中から前記フォーカス位置取得部で取得されたフォーカス位置に応じてさらに第２のピーク部分を抽出する請求項１に記載の撮像装置。
  9. 　前記ピーク画像生成部は、前記フォーカス位置に応じて抽出された第２のピーク部分以外のピーク部分をマスクする請求項８に記載の撮像装置。
  10. 　前記ピーク画像生成部は、前記フォーカス位置が近距離であるほど、前記ＲＡＷデータにおけるより低い周波数帯域の信号を前記ピーク部分として抽出する請求項８に記載の撮像装置。
  11. 　撮像時の絞り開口位置を取得する絞り開口位置取得部をさらに具備し、
    　前記ピーク画像生成部は、絞りが開放されているほど、前記ＲＡＷデータにおけるより低い周波数帯域の信号を前記ピーク部分として抽出する請求項１に記載の撮像装置。
  12. 　前記表示部に前記合成画像データに基づく画像を表示させるかどうかを指示するためのピーキング表示指示部と、
    　表示させると指示された場合に前記表示部に前記合成画像データに基づく画像を表示させ、表示させないと指示された場合に前記表示部に前記背景画像データに基づく画像を表示させるように制御する制御部と、
    　をさらに具備する請求項１に記載の撮像装置。
  13. 　動画の撮影を指示する動画撮影指示部と、
    　前記動画の撮影が指示されたときに、前記背景画像データを動画像データとして記録する記録部と、
    　をさらに具備する請求項１に記載の撮像装置。
  14. 　被写体を撮像してＲＡＷデータを取得する撮像部と、
    　前記ＲＡＷデータからピーク部分を抽出してピーク画像データを生成するピーク画像生成部と、
    　前記ＲＡＷデータに対して特殊効果を付加する画像処理を行い、背景画像データを生成する背景画像生成部と、
    　前記ピーク画像データと前記背景画像データとを合成して合成画像データを生成する合成部と、
    　前記合成画像データに基づく画像を表示する表示部と、
    　を具備する撮像装置。
  15. 　前記合成部は、前記背景画像データのうちで付加された特殊効果による画像変化の小さい領域に対して前記ピーク画像データを合成する請求項１４に記載の撮像装置。
  16. 　被写体を撮像してＲＡＷデータを取得する撮像部と、前記ＲＡＷデータに基づいて生成された画像データに基づく画像の表示を行う表示部を有する撮像装置の制御方法において、
    　前記ＲＡＷデータからピーク部分を抽出してピーク画像データを生成することと、
    　前記ＲＡＷデータを画像処理して背景画像データを生成することと、
    　前記ピーク画像データと前記背景画像データとを合成して合成画像データを生成することと、
    　前記合成画像データに基づく画像を表示することと、
    　を具備する撮像装置の制御方法。
  17. 　合成される前記ピーク画像データを合成される前記背景画像データに対して際立たせるように前記背景画像データを補正することと、
    　前記補正された背景画像データと前記ピーク画像データとを合成することと、
    　をさらに具備する請求項１６に記載の撮像装置の制御方法。
  18. 　前記背景画像データに対して特殊効果を付加する処理を行うことをさらに具備する請求項１６に記載の撮像装置の制御方法。
  19. 　前記ピーク画像データを生成する際に、撮像時のフォーカス位置に応じて抽出した前記ピーク部分の中からさらにピーク部分を抽出する請求項１６に記載の撮像装置の制御方法。
  20. 　前記ピーク画像データを生成する際に、絞りが開放されているほど、前記ＲＡＷデータにおけるより低い周波数帯域の信号を前記ピーク部分として抽出する請求項１６に記載の撮像装置の制御方法。
PCT/JP2014/061305 2013-04-22 2014-04-22 撮像装置及びその制御方法 WO2014175273A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14788507.3A EP2991335B1 (en) 2013-04-22 2014-04-22 Image capture device and control method thereof
CN201480022679.2A CN105191284B (zh) 2013-04-22 2014-04-22 摄像装置及其控制方法
US14/881,984 US10051200B2 (en) 2013-04-22 2015-10-13 Imaging apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-089176 2013-04-22
JP2013089176A JP6091311B2 (ja) 2013-04-22 2013-04-22 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/881,984 Continuation US10051200B2 (en) 2013-04-22 2015-10-13 Imaging apparatus and control method thereof

Publications (1)

Publication Number Publication Date
WO2014175273A1 true WO2014175273A1 (ja) 2014-10-30

Family

ID=51791845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/061305 WO2014175273A1 (ja) 2013-04-22 2014-04-22 撮像装置及びその制御方法

Country Status (5)

Country Link
US (1) US10051200B2 (ja)
EP (1) EP2991335B1 (ja)
JP (1) JP6091311B2 (ja)
CN (1) CN105191284B (ja)
WO (1) WO2014175273A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020112618A (ja) * 2019-01-09 2020-07-27 株式会社Ｊｖｃケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6717690B2 (ja) * 2016-07-01 2020-07-01 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
CN111491098A (zh) * 2020-04-14 2020-08-04 重庆幻光影视科技有限公司 一种新型峰值对焦方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01241276A (ja) * 1988-03-22 1989-09-26 Sharp Corp ビデオカメラ
JP2002247422A (ja) * 2001-02-20 2002-08-30 Matsushita Electric Ind Co Ltd 撮像装置
JP2010050592A (ja) 2008-08-20 2010-03-04 Canon Inc 画像表示装置、撮像装置、表示方法
JP2012160942A (ja) * 2011-02-01 2012-08-23 Canon Inc 画像表示装置、及び撮像装置
JP2012231362A (ja) * 2011-04-27 2012-11-22 Olympus Imaging Corp デジタルカメラ

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4535114B2 (ja) * 2007-10-26 2010-09-01 ソニー株式会社 撮像装置および撮像方法、表示制御装置および表示制御方法、並びに、プログラム
JP4508256B2 (ja) * 2008-03-19 2010-07-21 ソニー株式会社 映像信号処理装置、撮像装置及び映像信号処理方法
US8421897B2 (en) * 2009-04-08 2013-04-16 Canon Kabushiki Kaisha Image capturing apparatus and control method therefor
JP2011119930A (ja) * 2009-12-02 2011-06-16 Seiko Epson Corp 撮像装置、撮像方法および撮像プログラム
US8724009B2 (en) * 2010-05-05 2014-05-13 Hiok Nam Tay Auto-focus image system
JP2011239195A (ja) * 2010-05-11 2011-11-24 Sanyo Electric Co Ltd 電子機器
WO2013047482A1 (ja) * 2011-09-30 2013-04-04 富士フイルム株式会社 撮影装置、撮影方法、記録媒体およびプログラム
JP5942444B2 (ja) * 2012-01-30 2016-06-29 リコーイメージング株式会社 デジタルカメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01241276A (ja) * 1988-03-22 1989-09-26 Sharp Corp ビデオカメラ
JP2002247422A (ja) * 2001-02-20 2002-08-30 Matsushita Electric Ind Co Ltd 撮像装置
JP2010050592A (ja) 2008-08-20 2010-03-04 Canon Inc 画像表示装置、撮像装置、表示方法
JP2012160942A (ja) * 2011-02-01 2012-08-23 Canon Inc 画像表示装置、及び撮像装置
JP2012231362A (ja) * 2011-04-27 2012-11-22 Olympus Imaging Corp デジタルカメラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2991335A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020112618A (ja) * 2019-01-09 2020-07-27 株式会社Ｊｖｃケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム
JP7279365B2 (ja) 2019-01-09 2023-05-23 株式会社Ｊｖｃケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム

Also Published As

Publication number Publication date
US20160037083A1 (en) 2016-02-04
CN105191284B (zh) 2018-08-03
JP2014212499A (ja) 2014-11-13
CN105191284A (zh) 2015-12-23
EP2991335B1 (en) 2019-04-03
JP6091311B2 (ja) 2017-03-08
EP2991335A1 (en) 2016-03-02
EP2991335A4 (en) 2016-10-26
US10051200B2 (en) 2018-08-14

Similar Documents

Publication Publication Date Title
JP5321163B2 (ja) 撮像装置及び撮像方法
JP5460173B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP5647209B2 (ja) 撮像装置及び撮像方法
JP5186021B2 (ja) 撮像装置、画像処理装置、及び撮像方法
JP5123137B2 (ja) 撮像装置および撮像方法
US9684988B2 (en) Imaging device, image processing method, and recording medium
JP6624889B2 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
US9402037B2 (en) Imaging apparatus, image processing apparatus, and image processing method for generating random special effects
JP4606486B2 (ja) 画像処理装置および撮影装置
JP5589660B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
WO2016117137A1 (ja) 撮像装置、撮像方法、および画像表示装置
JP6091311B2 (ja) 撮像装置
US9282257B2 (en) Image apparatus and imaging method
JP5146015B2 (ja) 撮像装置及び撮像方法
CN106412391B (zh) 图像处理设备、图像处理方法和摄像设备
JP5903478B2 (ja) 撮像装置及び撮像方法
JP2009055415A (ja) カメラ
JP6197062B2 (ja) 撮像装置及び撮像方法並びに表示装置及び表示方法
JP6592293B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP5169540B2 (ja) 撮像装置および撮像方法
JP2014011767A (ja) 撮像装置及び撮像方法
JP6592292B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP2013175960A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480022679.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14788507

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014788507

Country of ref document: EP