WO2020003943A1 - 撮像装置、撮像方法、及びプログラム - Google Patents

撮像装置、撮像方法、及びプログラム Download PDF

Info

Publication number
WO2020003943A1
WO2020003943A1 PCT/JP2019/022370 JP2019022370W WO2020003943A1 WO 2020003943 A1 WO2020003943 A1 WO 2020003943A1 JP 2019022370 W JP2019022370 W JP 2019022370W WO 2020003943 A1 WO2020003943 A1 WO 2020003943A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color correction
lens unit
interchangeable lens
correction amount
Prior art date
Application number
PCT/JP2019/022370
Other languages
English (en)
French (fr)
Inventor
真彦 宮田
祐樹 杉原
小林 潤
一樹 石田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020527338A priority Critical patent/JP6875603B2/ja
Publication of WO2020003943A1 publication Critical patent/WO2020003943A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Definitions

  • the present invention relates to an imaging device, an imaging method, and a program, and particularly to a technique applied to color correction.
  • an optical device to which an interchangeable lens unit can be attached and detached for example, a digital camera
  • the interchangeable lens unit has optical characteristics such as coating on the lens surface, chromatic aberration, and the angle of light incident on the image sensor.
  • the optical characteristics of the interchangeable lens unit affect the color of the image obtained by the digital camera, and the color of the image changes from the expected color. Cause. This change is also caused by the image height.
  • optical characteristics data is held in the camera body or the interchangeable lens unit, and the color of an image is color-corrected by a digital camera based on the optical characteristics data.
  • optical characteristic data color correction information
  • Patent Document 1 discloses an image processing parameter adjustment based on image characteristic data of a specific subject image and a comparison result between the image characteristic data and preset reference data, which is adapted to the lens characteristic of a mounted lens unit. Is disclosed.
  • Patent Literature 1 when the imaging conditions when the reference data is captured and the conditions when the specific subject image is captured are different, there is a concern that the color correction for the image height cannot be sufficiently adjusted.
  • the present invention has been made in view of such circumstances, and provides an imaging device, an imaging method, and a program that can perform color correction on an image height even when an interchangeable lens unit whose color correction information is unknown is mounted. .
  • the imaging apparatus is an imaging apparatus to which a detachable interchangeable lens unit can be attached, and a reference image obtained by imaging a subject and color correction information are exchanged via an interchangeable lens unit whose color correction information is known.
  • a correction amount calculation unit that calculates a color correction amount for each image height to be changed, and an image captured by the image sensor via an unknown interchangeable lens unit is colored according to the color correction amount calculated by the correction amount calculation unit.
  • the first aspect it is possible to perform color correction of an image acquired through an interchangeable lens unit whose color correction information is unknown, so as to match the color of an interchangeable lens unit whose color correction information is known.
  • an image of a subject captured by an imaging device of the imaging device via an interchangeable lens unit whose color correction information is known is set as a reference image.
  • the reference image can be acquired by the imaging device of the imaging device equipped with the known interchangeable lens unit.
  • An imaging device is an imaging device to which a detachable interchangeable lens unit can be attached, and a subject is imaged in a central region by an imaging device provided in the imaging device via an interchangeable lens unit whose color correction information is unknown.
  • a correction amount calculation for calculating a color correction amount for each image height of an unknown interchangeable lens unit from a difference in RGB intensity between a captured reference image and a comparison image obtained by imaging a subject at an image height position excluding the central region of the image sensor.
  • a correction unit that performs color correction on an image captured by the imaging device via the unknown interchangeable lens unit in accordance with the color correction amount calculated by the correction amount calculation unit.
  • the color correction is performed so as to match the color of the central region imaged through the unknown interchangeable lens unit. Can be.
  • An image pickup apparatus is an image pickup apparatus to which a detachable interchangeable lens unit can be attached.
  • the color correction information matches the color of a known interchangeable lens unit
  • the color correction information has a known interchangeable lens unit.
  • a plurality of comparisons in which the same subject as the reference image is imaged at different image heights by an image sensor included in the imaging device via an interchangeable lens unit whose color correction information is unknown. If the color correction information does not match the tint of the known interchangeable lens unit based on the difference between the RGB intensity and the image, the subject is moved to the central region by the image sensor provided in the image pickup apparatus through the interchangeable lens unit whose color correction information is unknown.
  • an unknown A correction amount calculation unit that calculates a color correction amount for each image height of the interchangeable lens unit, and an image captured by the image sensor via the unknown interchangeable lens unit is converted into a color correction amount calculated by the correction amount calculation unit.
  • a correction unit that performs color correction in accordance with the correction.
  • the fourth aspect it is possible to perform color correction to match an image acquired through an interchangeable lens unit whose color correction information is unknown to the tint of an interchangeable lens unit whose color correction information is known. Further, even when the color correction information does not include a known interchangeable lens unit, the color correction can be performed so as to match the color of the central region captured through the interchangeable lens unit whose color correction information is unknown.
  • the correction amount calculation unit calculates a color correction amount according to each position within the angle of view of the image sensor. According to the fifth aspect, color correction can be performed not only at the image height position but also at each position within the angle of view.
  • the correction unit changes the amount of color correction according to the image height position.
  • the color correction amount can be arbitrarily changed according to the image height position. Color can be corrected according to the user's preference.
  • the correction unit changes the color correction amount according to a difference in RGB intensity between the subject and the background. According to the seventh aspect, since the color correction amount is changed according to the difference between the RGB intensities of the subject and the background, the color can be corrected according to the user's preference.
  • the correction amount calculation unit always calculates a difference in RGB intensity between the reference image and an image obtained via an unknown interchangeable lens unit. According to the eighth aspect, even when the angle of view is changed by zooming or the like, color correction can be appropriately performed.
  • the correction amount calculation unit urges the imaging when a plurality of images captured by the imaging device at different image height positions do not exist in the imaging device. According to the ninth aspect, a comparative image can be reliably obtained.
  • the reference image obtained by imaging the subject through an interchangeable lens unit whose color correction information is known, and the same subject as the reference image through an interchangeable lens unit whose color correction information is unknown.
  • the tenth aspect it is possible to perform color correction of an image obtained through an interchangeable lens unit whose color correction information is unknown, so as to match the tint of the interchangeable lens unit whose color correction information is known.
  • An imaging method is characterized in that a reference image in which a subject is captured in a central region by an imaging device provided in an imaging device via an interchangeable lens unit whose color correction information is unknown, and an image in which the subject is removed from the central region of the imaging device.
  • the color correction information does not include a known interchangeable lens unit
  • the color correction information is subjected to the color correction to match the color of the central region captured through the unknown interchangeable lens unit. Can be.
  • the imaging method when the color correction information matches the color of a known interchangeable lens unit, the reference image obtained by imaging the subject and the color correction information via the interchangeable lens unit whose color correction information is known are used.
  • the reference image obtained by imaging the subject in the center region by the imaging device provided in the imaging device via the interchangeable lens unit whose color correction information is unknown, and the subject excluding the center region of the imaging device
  • the twelfth aspect it is possible to perform color correction on an image acquired through an interchangeable lens unit whose color correction information is unknown, so as to match the color of the interchangeable lens unit whose color correction information is known. Further, even when the color correction information does not include a known interchangeable lens unit, the color correction can be performed so as to match the color of the central region captured through the interchangeable lens unit whose color correction information is unknown.
  • a program according to a thirteenth aspect is a program that causes a computer to execute an imaging process, and includes a reference image obtained by imaging a subject and an interchangeable lens unit whose color correction information is unknown via an interchangeable lens unit whose color correction information is known.
  • Correction amount calculation for calculating the color correction amount for each image height of an unknown interchangeable lens unit from the difference in RGB intensity between a plurality of comparative images obtained by imaging the same subject as the reference image at different image height positions via the And causing the computer to execute an imaging process including a step and a correction step of performing a color correction on the captured image via the unknown interchangeable lens unit according to the color correction amount calculated in the correction amount calculation step.
  • an imaging step in which an image obtained through an interchangeable lens unit whose color correction information is unknown can be subjected to color correction to match the tint of the interchangeable lens unit whose color correction information is known. I can do it.
  • a program according to a fourteenth aspect is a program that causes a computer to execute an imaging process, and includes a reference image obtained by imaging an object in a central region by an imaging device provided in an imaging device via an interchangeable lens unit whose color correction information is unknown.
  • the color correction information does not include a known interchangeable lens unit
  • the color correction information is subjected to color correction to match the color of the central region imaged via the unknown interchangeable lens unit.
  • the process can be performed.
  • a program according to a fifteenth aspect is a program for causing a computer to execute an imaging process.
  • the color correction information is output to a subject via the known interchangeable lens unit.
  • the color correction information is obtained from the difference in RGB intensity between a reference image obtained by capturing the same subject and a plurality of comparison images obtained by capturing the same subject at different image height positions through an interchangeable lens unit whose color correction information is unknown. If the color does not match the color of the known interchangeable lens unit, the color correction information is passed through the unknown interchangeable lens unit, and the reference image of the subject captured in the central region by the image sensor provided in the image capturing apparatus, and the subject is captured by the image sensor.
  • An image capturing step including a calculating step and a color correcting step of performing color correction on an image captured by the image sensor via the unknown interchangeable lens unit in accordance with the color correction amount calculated in the correction amount calculating step. Let it run.
  • the color correction information is subjected to color correction to match the color of the image obtained through the unknown interchangeable lens unit with the color of the interchangeable lens unit whose color correction information is known. Even if the camera does not include a known interchangeable lens unit, it is possible to execute an imaging process that can perform color correction to match the color of the central region imaged through the interchangeable lens unit whose color correction information is unknown.
  • color correction information can be acquired through an unknown interchangeable lens unit and color correction can be performed on an image.
  • FIG. 1 is a perspective view of a camera system according to the present invention as viewed obliquely from the front.
  • FIG. 2 is a rear view of the camera body.
  • FIG. 3 is a block diagram showing an embodiment of the internal configuration of the camera system.
  • FIG. 4 is a block diagram in which functional blocks used for color correction are extracted in the first embodiment.
  • FIG. 5 is a diagram illustrating an example of an image obtained by capturing an object via a known interchangeable lens unit.
  • FIG. 6 is a flowchart of the first embodiment.
  • FIG. 7 is a diagram for explaining acquisition of a reference image.
  • FIG. 8 is a diagram for explaining acquisition of a comparison image.
  • FIG. 9 is a diagram for explaining a case where comparative images are acquired at different image height positions.
  • FIG. 1 is a perspective view of a camera system according to the present invention as viewed obliquely from the front.
  • FIG. 2 is a rear view of the camera body.
  • FIG. 3 is
  • FIG. 10 is a conceptual diagram of an image before color correction acquired through an unknown interchangeable lens unit.
  • FIG. 11 is a diagram for explaining a case where the comparison image is obtained in a mode different from that in FIG. 9.
  • FIG. 12 is a diagram illustrating a state in which color correction has been performed on an image acquired via the unknown interchangeable lens unit.
  • FIG. 13 is a diagram illustrating an example of an image obtained by capturing the same subject as the reference image at the wide end via the unknown interchangeable lens unit.
  • FIG. 14 is a diagram illustrating an example of an image obtained by capturing the same subject as the reference image at the telephoto end via the unknown interchangeable lens unit.
  • FIG. 15 is a diagram illustrating an image obtained by performing color correction on the image of FIG. 14.
  • FIG. 16 is a block diagram in which functional blocks used for color correction are extracted in the second embodiment.
  • FIG. 17 is a flowchart of the second embodiment.
  • FIG. 18 is a diagram for describing acquisition of a reference image and a comparison image.
  • FIG. 19 is a diagram for explaining the acquisition areas of the reference image and the comparison image.
  • FIG. 20 is a block diagram in which functional blocks used for color correction are extracted in the third embodiment.
  • FIG. 21 is a flowchart of the third embodiment.
  • the image pickup apparatus is an image pickup apparatus that performs color correction according to the color of an interchangeable lens unit whose color correction information is known when using an interchangeable lens unit whose color correction information is unknown.
  • the imaging device will be described.
  • FIG. 1 is a perspective view of the camera system as viewed obliquely from the front
  • FIG. 2 is a rear view of a camera body that is an imaging device.
  • the camera system 10 is a mirrorless digital single-lens camera or a digital single-lens reflex camera including an interchangeable lens unit 100 and a camera body 200 to which the interchangeable lens unit 100 is detachable.
  • the camera body 200 includes a body mount 260 on which the interchangeable lens unit 100 is mounted, and a finder window 20 of an optical finder.
  • the camera body 200 mainly includes a shutter release button 22, a shutter speed dial 23, an exposure compensation dial 24, a power lever 25, and a built-in flash 30 on the upper surface.
  • the camera body 200 includes an image sensor 201 that functions as an image acquisition unit inside at a position corresponding to the body mount 260.
  • the camera body 200 mainly includes a monitor 216, an eyepiece 26 of an optical viewfinder, a MENU and OK key 27, a cross key 28, a play button 29, and the like on the back surface.
  • the monitor 216 displays the live view image in the imaging mode and reproduces and displays the image captured in the reproduction mode.
  • the monitor 216 functions as a display unit that displays various menu screens.
  • the MENU and OK keys 27 are operation keys having both a function as a menu button for issuing a command to display a menu on the screen of the monitor 216 and a function as an OK button for instructing selection and execution of the selected contents. It is.
  • the cross key 28 is an operation unit for inputting four directions of up, down, left, and right. The cross key 28 functions as a button for selecting an item from a menu screen or instructing selection of various setting items from each menu.
  • the up key and the down key of the cross key 28 function as a zoom switch at the time of imaging or a reproduction zoom switch at the time of the reproduction mode, and the left key and the right key are frame forward (forward and backward) buttons at the time of the reproduction mode.
  • Function as The playback button 29 is a button for switching to a playback mode for displaying a captured or recorded still image or moving image on the monitor 216.
  • FIG. 3 is a block diagram illustrating an embodiment of the internal configuration of the camera system 10.
  • the interchangeable lens unit 100 constituting the camera system 10 is manufactured in accordance with the communication standard of the camera body 200, and is an interchangeable lens that can communicate with the camera body 200 as described later.
  • the interchangeable lens unit 100 includes an imaging optical system 102, a zoom lens control unit 114, a focus lens control unit 116, an aperture control unit 118, a lens-side CPU (Central Processing Unit) 120 (lens-side control unit), and a flash ROM (Read Only). Memory) 126, a lens-side communication unit 150, and a lens mount 160.
  • the imaging optical system 102 has a plurality of optical members including a zoom lens 104, a focus lens 106, and a stop 108.
  • the zoom lens control unit 114 controls the zoom position of the zoom lens 104 according to a command from the lens CPU 120.
  • the focus lens control unit 116 controls the focus position of the focus lens 106 according to a command from the lens side CPU 120.
  • the aperture control unit 118 controls the aperture 108 (opening area) according to a command from the lens-side CPU 120.
  • the lens-side CPU 120 controls the interchangeable lens unit 100 and includes a ROM 124 and a RAM 122.
  • the flash ROM 126 is a non-volatile memory that stores programs and the like downloaded from the camera body 200.
  • the lens-side CPU 120 generally controls each part of the interchangeable lens unit 100 using a RAM (Random Access Memory) 122 as a work area according to a control program stored in the ROM 124 or the flash ROM 126.
  • a RAM Random Access Memory
  • the lens side communication unit 150 communicates with the camera main body 200 via a plurality of signal terminals (lens side signal terminals) provided on the lens mount 160. Communication. That is, the lens-side communication unit 150 transmits and receives a request signal and a response signal to and from the body-side communication unit 250 of the camera body 200 connected via the lens mount 160 and the body mount 260 according to a command from the lens-side CPU 120. (Two-way communication).
  • the interchangeable lens unit 100 includes a detection unit (not shown) that detects lens information (zoom information of the zoom lens 104, focus position information of the focus lens 106, and aperture information) of each optical member of the imaging optical system 102. Have.
  • the lens-side CPU 120 retains various detected lens information in the RAM 122 in order to respond to a request for lens information from the camera body 200.
  • the lens information of each optical member is detected when there is a request for lens information from the camera body 200, or detected when the optical member is driven, or at a fixed period (more than the frame period of the moving image). (A short cycle), and the detection result can be held.
  • the interchangeable lens unit 100 stores, for example, optical characteristic data on a lens required for color correction of an image in the ROM 124.
  • the optical characteristic data used for color correction includes data related to the angle of incidence of light on the image sensor at each image height, data on the change in spectral transmittance at each image height, and data on chromatic aberration at each image height. I have.
  • Optical characteristic data used for color correction is used in the camera body 200 as color correction information.
  • the image height is a distance from a light receiving surface center (optical axis center) on the light receiving surface of the image sensor 201. It is known that the more the incident light flux is shifted in the image height direction, the more oblique incidence occurs.
  • the interchangeable lens unit 100 becomes a known interchangeable lens unit.
  • the interchangeable lens unit 100 becomes an unknown interchangeable lens unit.
  • the color correction information of the interchangeable lens unit 100 cannot be used, when the interchangeable lens unit 100 does not have the color correction information, or when the interchangeable lens unit 100 has the color correction information, This includes cases where the correction information cannot be used for color correction processing.
  • the camera body 200 constituting the camera system 10 includes an image sensor 201 functioning as an image acquisition unit, an image sensor control unit 202, an analog signal processing unit 203, an A / D (Analog / Digital) converter 204, an image input controller 205, Image signal processing unit 206, RAM 207, compression / decompression processing unit 208, media control unit 210, memory card 212, display control unit 214, monitor 216, main body CPU 220, operation unit 222, clock unit 224, flash ROM 226, ROM 228, AF ( (Autofocus) control section 230, AE (Auto Exposure) control section 232, wireless communication section 236, GPS (Global Positioning System) reception section 238, power supply control section 240, battery 242, main body side communication section 250, and functions as a lens mounting section.
  • Body mount 260, built-in flash 30 (Fig. 1) A flash light emitting unit 270 and a flash control unit 272 are provided.
  • the image sensor 201 is configured by a CMOS (Complementary Metal-Oxide Semiconductor) type color image sensor.
  • CMOS Complementary Metal-Oxide Semiconductor
  • the image sensor 201 is not limited to the CMOS type, but may be an XY address type or a CCD (Charge Coupled Device) type image sensor.
  • CCD Charge Coupled Device
  • the image sensor 201 includes a plurality of pixels arranged in a matrix in a predetermined pattern arrangement (a Bayer arrangement, an X-Trans (registered trademark) arrangement, a honeycomb arrangement, or the like), and each pixel includes a microlens and a red (R) , Green (G) or blue (B) color filters and a photoelectric conversion unit (such as a photodiode).
  • a predetermined pattern arrangement a Bayer arrangement, an X-Trans (registered trademark) arrangement, a honeycomb arrangement, or the like
  • each pixel includes a microlens and a red (R) , Green (G) or blue (B) color filters and a photoelectric conversion unit (such as a photodiode).
  • the optical image of the subject formed on the light receiving surface of the imaging device 201 by the imaging optical system 102 of the interchangeable lens unit 100 is converted into an electric signal by the imaging device 201.
  • the image sensor control unit 202 controls the imaging timing, the exposure time, and the like of the image sensor 201 according to a command from the main body CPU 220.
  • the analog signal processing unit 203 performs various analog signal processing on an analog image signal obtained by imaging the subject with the image sensor 201.
  • the analog signal processing unit 203 includes a sampling and holding circuit, a color separation circuit, an AGC (Automatic Gain Control) circuit, and the like.
  • the AGC circuit functions as a sensitivity adjustment unit that adjusts the sensitivity at the time of imaging (ISO (International Organization for Standardization)), adjusts the gain of an amplifier that amplifies an input image signal, and adjusts the signal level of the image signal. Be within the proper range.
  • the A / D converter 204 converts an analog image signal output from the analog signal processing unit 203 into a digital image signal.
  • Image data (mosaic image data) for each pixel of RGB output via the image sensor 201, the analog signal processing unit 203, and the A / D converter 204 when capturing a still image or a moving image is transmitted from the image input controller 205 to the RAM 207. And is stored temporarily.
  • the image sensor 201 is a CMOS image sensor
  • the analog signal processing unit 203 and the A / D converter 204 are often built in the image sensor 201.
  • the image signal processing unit 206 performs various digital signal processing on the image data stored in the RAM 207.
  • the image signal processing unit 206 appropriately reads out image data stored in the RAM 207, performs signal processing such as complementation processing, color correction processing, noise reduction processing, white balance processing, ⁇ correction processing, and YCrCb conversion processing, and performs signal processing.
  • the processed image data is stored in the RAM 207 again.
  • the compression / expansion processing unit 208 performs a compression process on the uncompressed luminance data Y and color difference data Cb and Cr stored in the RAM 207 at the time of recording a still image or a moving image. In the case of a still image, it is compressed in, for example, a JPEG (Joint ⁇ Photographic ⁇ coding ⁇ Experts ⁇ Group) format. Compress in H.264 format.
  • the image data compressed by the compression / decompression processing unit 208 is recorded on the memory card 212 via the media control unit 210. Further, the compression / decompression processing unit 208 performs decompression processing on the compressed image data obtained from the memory card 212 via the media control unit 210 in the reproduction mode, and generates uncompressed image data.
  • the media control unit 210 controls the recording of the image data compressed by the compression / decompression processing unit 208 on the memory card 212. Further, the media control unit 210 controls to read out the compressed image data from the memory card 212.
  • the display control unit 214 controls the monitor 216 to display the uncompressed image data stored in the RAM 207.
  • the monitor 216 is configured by a display device such as a liquid crystal display device and organic electroluminescence.
  • a digital image signal continuously generated by the image signal processing unit 206 is temporarily stored in the RAM 207.
  • the display control unit 214 converts the digital image signal temporarily stored in the RAM 207 into a signal format for display, and sequentially outputs the signal to the monitor 216.
  • the captured image is displayed on the monitor 216 in real time, and the monitor 216 can be used as an electronic viewfinder.
  • the shutter release button 22 is an operation means for inputting an instruction to start imaging, and is composed of a so-called "half-press” and “full-press” two-stage stroke type switch.
  • the camera body 200 executes the imaging preparation processing such as the automatic focus adjustment (AF processing) and the automatic exposure control (AE processing), and executes the imaging processing and the recording processing of the still image when the S2 ON signal is output.
  • the imaging preparation processing such as the automatic focus adjustment (AF processing) and the automatic exposure control (AE processing)
  • AF processing automatic focus adjustment
  • AE processing automatic exposure control
  • the AF process and the AE process are automatically performed when the auto mode is set by the operation unit 222, and the AF process and the AE process are not performed when the manual mode is set. Needless to say.
  • the camera body 200 in the case of the moving image capturing mode, when the shutter release button 22 is fully pressed to output a signal of S2 ON, the camera body 200 enters a moving image recording mode for starting recording of a moving image, and performs image processing of the moving image. After that, when the shutter release button 22 is fully depressed again to output a signal for turning on the S2, the camera body 200 enters a standby state and temporarily stops the moving image recording process.
  • the shutter release button 22 is not limited to a two-stroke type switch composed of half-pressing and full-pressing, and may output a signal of S1 ON and a signal of S2 ON with one operation. May be provided to output the S1 on signal and the S2 on signal.
  • the operation instruction may be output by touching an area corresponding to the operation instruction displayed on the screen of the touch panel as these operation means.
  • the form of the operation means is not limited to these as long as it instructs the preparation processing and the imaging processing.
  • the still image or the moving image obtained by the imaging is compressed by the compression / expansion processing unit 208, and the compressed image data includes necessary information such as imaging date and time, GPS information, and imaging conditions (F value, shutter speed, ISO sensitivity, and the like).
  • the image file is stored in the memory card 212 via the media control unit 210.
  • the main body CPU 220 controls the entire operation of the camera main body 200 and the driving of the optical members of the interchangeable lens unit 100 and the like. Based on inputs from an operation unit 222 and the like including the shutter release button 22, each unit of the camera main body 200 is controlled. And the interchangeable lens unit 100.
  • the clock unit 224 measures time based on a command from the main body CPU 220 as a timer.
  • the clock unit 224 measures the current date and time as a calendar.
  • the flash ROM 226 is a readable and writable non-volatile memory, and stores setting information.
  • the ROM 228 stores a camera control program executed by the main body side CPU 220, defect information of the image sensor 201, and various parameters and tables used for image processing and the like.
  • the main body side CPU 220 controls each part of the camera main body 200 and the interchangeable lens unit 100 according to the camera control program stored in the ROM 228 while using the RAM 207 as a work area.
  • the AF control unit 230 calculates a numerical value required for AF control based on the digital image signal.
  • contrast AF for example, the integrated value (focus evaluation value) of the high frequency component of the G signal in a predetermined AF area is calculated.
  • the main body side CPU 220 moves the focus lens 106 to a position where the focus evaluation value becomes maximum during AF control (that is, a position where contrast becomes maximum).
  • the AF is not limited to the contrast AF.
  • a defocus amount is detected based on pixel data of a phase difference detection pixel provided in the image sensor, and the focus is set so that the defocus amount becomes zero.
  • a phase difference AF for moving the lens 106 may be performed.
  • the AE control unit 232 is a part that detects the brightness of the subject (subject brightness), and is a numerical value (exposure value (EV value)) required for AE control and AWB (Auto White Balance) control corresponding to the subject brightness. )).
  • the AE control unit 232 calculates an EV value based on the luminance of the image acquired via the imaging element 201, the shutter speed at the time of acquiring the luminance of the image, and the F value.
  • the main body CPU 220 determines the F value, the shutter speed, and the ISO sensitivity from a predetermined program diagram based on the EV value obtained from the AE control unit 232, and can perform the AE control.
  • the wireless communication unit 236 is a part that performs short-range wireless communication based on standards such as Wi-Fi (Wireless Fidelity) (registered trademark) and Bluetooth (registered trademark), and communicates with peripheral digital devices (mobile terminals such as smartphones). Necessary information is transmitted and received between standards. Wi-Fi (Wireless Fidelity) (registered trademark) and Bluetooth (registered trademark), and communicates with peripheral digital devices (mobile terminals such as smartphones). Necessary information is transmitted and received between Wi-Fi (Wireless Fidelity) (registered trademark) and Bluetooth (registered trademark), and communicates with peripheral digital devices (mobile terminals such as smartphones). Necessary information is transmitted and received between Wi-Fi (Wireless Fidelity) (registered trademark) and Bluetooth (registered trademark), and communicates with peripheral digital devices (mobile terminals such as smartphones). Necessary information is transmitted and received between standards such as Wi-Fi (Wired trademark) and Bluetooth (registered trademark).
  • the GPS receiving unit 238 receives GPS signals transmitted from a plurality of GPS satellites, executes a positioning calculation process based on the received GPS signals, and executes the latitude, longitude, And GPS information including altitude.
  • the acquired GPS information can be recorded in the header of the image file as additional information indicating the imaging position of the captured image.
  • the power supply control unit 240 supplies a power supply voltage supplied from the battery 242 to each unit of the camera main body 200 according to a command from the main body side CPU 220.
  • the power supply control unit 240 supplies a power supply voltage supplied from the battery 242 to each unit of the interchangeable lens unit 100 via the main body mount 260 and the lens mount 160 in accordance with a command from the main body side CPU 220.
  • the lens power switch 244 switches on and off the power supply voltage applied to the interchangeable lens unit 100 via the body mount 260 and the lens mount 160 and switches the level according to a command from the body CPU 220.
  • the main body side communication unit 250 transmits and receives a request signal and a response signal to and from the lens side communication unit 150 of the interchangeable lens unit 100 connected via the main body mount 260 and the lens mount 160 in accordance with a command from the main body CPU 220 ( Bidirectional communication).
  • the main body mount 260 is provided with a plurality of terminals 260A as shown in FIG. 1, and when the interchangeable lens unit 100 is mounted on the camera main body 200 (the lens mount 160 and the main body mount 260 are connected).
  • the plurality of terminals 260A (FIG. 1) provided on the main body mount 260 and the plurality of terminals (not shown) provided on the lens mount 160 are electrically connected, and the main body side communication unit 250 and the lens side communication unit Two-way communication with the communication device 150 is enabled.
  • the built-in flash 30 (FIG. 1) is, for example, a TTL (Through The Lens) automatic light control type flash, and includes a flash light emitting unit 270 and a flash control unit 272.
  • the flash control unit 272 has a function of adjusting the light emission amount (guide number) of the flash light emitted from the flash light emission unit 270. That is, the flash control unit 272 causes the flash light emitting unit 270 to emit light in synchronization with the flash image capturing instruction from the main body side CPU 220, and the reflected light (including ambient light) incident via the imaging optical system 102 of the interchangeable lens unit 100. Is started, and when the photometric value reaches the standard exposure value, the emission of the flash light from the flash light emitting unit 270 is stopped.
  • FIG. 4 is a block diagram showing functional blocks used for color correction.
  • the known interchangeable lens unit 100A includes a lens mount 160A that can be mounted on the main body mount 260 of the camera main body 200.
  • the unknown interchangeable lens unit 100 ⁇ / b> B replaceably mounted on the camera body 200 includes a lens mount 160 ⁇ / b> B that can be mounted on the body mount 260.
  • the main body CPU 220 includes a known correction amount calculating unit 220A for calculating a correction value for each image height based on the color correction information of the known interchangeable lens unit 100A.
  • the known correction amount calculation unit 220A calculates, for each RGB, a color correction amount for each image height of the image sensor 201 (not shown) based on the color correction information of the known interchangeable lens unit 100A.
  • the calculated color correction amounts (Ra, Ga, Ba) are stored in the RAM 207 (not shown), for example, in the form of a color correction amount table.
  • the main CPU 220 includes a correction amount calculation unit 220B for calculating a color correction amount for each image height when the unknown interchangeable lens unit 100B is used.
  • the correction amount calculation unit 220B uses the image sensor 201 to capture the same subject as the reference image via the known interchangeable lens unit 100A and the same subject via the unknown interchangeable lens unit 100B at different image height positions.
  • the color correction amount for each image height corresponding to the unknown interchangeable lens unit 100B is calculated from the difference between the RGB intensities with the plurality of captured comparative images.
  • the correction amount calculation unit 220B acquires, for example, a reference image and a comparison image.
  • the correction amount calculation unit 220B determines whether or not the image height data of the image sensor 201 required to calculate the color correction amount has been obtained. When the image height data is insufficient, for example, a warning signal can be output.
  • the correction amount calculation unit 220B determines, for example, the degree of similarity between the reference image and the comparison image. If the degree of similarity is high, a difference between the reference image, the comparison image, and the RGB intensity is calculated. On the other hand, when the similarity between the reference image and the comparative image is low, it is determined that the comparative image does not exist, and for example, a warning signal can be output. As the similarity, a known image processing technique can be applied, and the similarity can be set as appropriate.
  • the correction amount calculation unit 220B calculates the difference between the reference image and the comparison image by aligning the positions of the reference image and the comparison image, and generates information on the difference in RGB intensity. Based on the information on the difference between the RGB intensities, the color correction amount (Ra 1 , Ga 1 , Ba 1 ) of each RGB is calculated for each image height.
  • the calculated color correction amounts (Ra 1 , Ga 1 , Ba 1 ) are created in the form of a color correction amount table, for example, and stored in the RAM 207 or the like.
  • the image signal processing unit 206 includes a complementary processing unit 206A, a color correction unit 206B, a noise reduction processing unit 206C, a white balance (WB) processing unit 206D, a ⁇ correction processing unit 206E, and a YC conversion unit 206F.
  • the complementing processing unit 206A performs a complementing process on a pixel that cannot be obtained from the image sensor 201 and is blank data.
  • the complementing process information is obtained from pixels around the pixel serving as blank data, and then a calculation is performed based on the information, and the blank data is complemented with the calculated image information.
  • the color correction unit 206B performs color correction on the image according to the calculated color correction amount.
  • the color correction is performed by calculating the calculated color correction amount (Ra, Ga, Ba) or the color correction amount (Ra 1 , Ga 1 , Ba 1 ) on the RGB data (image data) for each pixel of the image. Perform color correction.
  • the noise reduction processing unit 206C performs a noise reduction process on the image using a noise reduction filter such as a low-pass filter.
  • the white balance processing unit 206D multiplies each of the RGB data by a WB (white balance) gain set for each of the RGB colors, and performs white balance correction of the RGB data.
  • WB gain for example, it is assumed that the light source type is automatically determined based on the RGB data, or the light source type is manually selected, and a WB gain suitable for the determined or selected light source type is set.
  • the method of setting the gain is not limited to this, and can be set by another known method.
  • the ⁇ correction processing unit 206E performs non-linear correction on the image so that the image is reproduced naturally by the display device.
  • the YC conversion unit 206F performs a YC conversion process of converting the RGB data of the image into luminance data Y and color difference data Cr and Cb.
  • the main body side CPU 220 controls the main body side communication unit 250 to acquire color correction information from the attached known interchangeable lens unit 100A via the lens mount 160A and the main body mount 260. Based on the known color correction information, a color correction amount for each image height is calculated, and the color correction amount is created, for example, in the form of a color correction amount table.
  • Figure 5 shows an example of an image I 1 captured the subject S by the image pickup device 201 of the camera body 200 via a known interchangeable lens unit 100A.
  • the image I 1 is the image height 0, the image height 1 are grouped in image height 2, and four image height position of the image height 3.
  • Image I 1 to each image height position (image height 0 to image height 3), the color correction amount is calculated.
  • the image height is not limited to the image height 0, the image height 1, the image height 2, and the image height 3.
  • Image I 1 is an image after being color corrected based on the amount of color correction.
  • the color correction amount (Ra, Ga, Ba) (0: 0: 0).
  • the color correction amount (Ra, Ga, Ba) (0: 0: -1)
  • the color correction amount (Ra, Ga, Ba) (0: 0: -2)
  • the image height In 3 the color correction amount (Ra, Ga, Ba) is calculated as (0: 0: -3).
  • the color correction mode for the image height is displayed on the monitor 216 of the camera body 200 (step S10).
  • step S12 when the unknown interchangeable lens unit 100B is mounted, whether or not to execute the color correction mode is selected.
  • step S12 If “no color correction mode” is selected in step S12 (No), the known interchangeable lens unit 100A is detached from the camera body 200, and the unknown interchangeable lens unit 100B is mounted on the camera body 200 (step S14). The color correction mode for the image height ends.
  • the monitor 216 can display an instruction to change the known interchangeable lens unit 100A to the unknown interchangeable lens unit 100B, for example. According to the instruction, the user executes step S14.
  • step S12 when "execute the color correction mode” is selected (in the case of Yes), the subject to be used as the reference image for color correction is imaged by the camera body 200 equipped with the known interchangeable lens unit 100A.
  • the monitor 216 can display an instruction prompting the acquisition of the reference image.
  • FIG. 7 is a diagram for describing acquisition of the reference image RI.
  • the image I 2 acquired through a known interchangeable lens unit 100A is displayed, for example, on the monitor 216.
  • the image of the object as a reference of the color correction is selected as the reference image RI (area surrounded by a dotted line box).
  • Selection is performed from the image I 2, which is displayed on the monitor 216 the reference image RI, the user can be done by tracing a finger, or a frame displayed on the monitor 216 by moving the reference image RI be able to.
  • the reference image RI may be selected from images acquired via the known interchangeable lens unit 100A.
  • the camera body 200 can acquire, as the reference image RI, an image acquired by another imaging device (an imaging device other than the camera body 200) via the known interchangeable lens unit 100A.
  • the monitor 216 can display, for example, an instruction to change the known interchangeable lens unit 100A to the unknown interchangeable lens unit 100B.
  • the known interchangeable lens unit 100A is detached from the camera body 200, and the unknown interchangeable lens unit 100B is mounted on the camera body 200 (step S18).
  • the monitor 216 displays, for example, an instruction to prompt acquisition of a comparative image.
  • a plurality of comparative images are acquired by the camera body 200 equipped with the unknown interchangeable lens unit 100B (Step S20).
  • step S20 the reference image RI and the same object S captured by the image pickup device 201 of the camera body 200 at an image height position different, to obtain a plurality of comparison images CI n.
  • FIG. 8 is a diagram for explaining acquisition of comparative images CI 1 , CI 2 , and CI 3 .
  • the comparison image CI 1 is obtained by imaging the subject S at the central image height position of the imaging device 201 (not shown).
  • Comparison image CI 2 is acquired by imaging the subject S at some distance image height position from the center of the imaging element 201.
  • Comparison image CI 3 is acquired by imaging at the farthest image height position of the subject S from the center of the image sensor 201.
  • FIG. 8 illustrates the case where the comparison images CI 1 , CI 2 , and CI 3 are acquired in the order of the image height positions farthest from the center image height position.
  • the order in which the comparison images are acquired is not particularly limited. .
  • step S22 it is determined whether image height data for calculating the color correction amount is sufficient (step S22). If the image height data is not sufficient (No), the acquisition of the comparison image (Step S20) is repeated. If the image height data is not sufficient, the monitor 216 can display, for example, an instruction prompting acquisition of a comparative image.
  • the plurality of comparative images are captured at different image height positions of the image sensor 201.
  • a case where comparison images are acquired at different image height positions will be described with reference to FIG.
  • the comparison image at a different image height position is an image including a plurality of pixels on a straight line L connecting any vertex of the image from the center of the image. Note that the image corresponds to the image sensor 201, and the center of the image basically matches the center of the light receiving surface of the image sensor 201.
  • FIG. 9 shows an example in which a plurality of comparative images are obtained.
  • FIG. 9A illustrates a case where two comparison images CI 1 and CI 2 are acquired.
  • the comparison images CI 1 and CI 2 of 9A include pixels on the straight line L.
  • FIG. 9B illustrates a case where three comparative images CI 1 , CI 2 , and CI 3 are acquired.
  • the comparative images CI 1 , CI 2 , and CI 3 of 9B include pixels on the straight line L.
  • 9C shows a case where four comparative images CI 1 , CI 2 , CI 3 , and CI 4 are obtained.
  • the comparison images CI 1 , CI 2 , CI 3 , and CI 4 of 9C include pixels on the straight line L.
  • FIG. 9 illustrates a case where the comparison image includes all the pixels on the straight line L. However, the comparison image includes at least 85% of the pixels on the straight line L, and thereby the image height position necessary for color correction is adjusted. You can get data at.
  • the comparative images CI 1 , CI 2 , CI 3 , and CI 4 are simultaneously displayed, but the comparative images CI 1 , CI 2 , CI 3 , and CI 4 are sequentially displayed for each image height. An image is taken and acquired.
  • the comparative image When acquiring the comparative image, it is preferable to display a frame indicating the image height position at which the comparative image is acquired on the monitor 216.
  • the displayed frame facilitates the user obtaining the comparison image.
  • the color correction amount is calculated (step S24).
  • the color correction amounts (Ra 1 , Ga 1 , and Ba 1 ) of each RGB are calculated for each image height from the difference between the reference image and the comparison image.
  • Step S24 of calculating the color correction amount corresponds to a correction amount calculation step.
  • FIG. 10 is a conceptual diagram of an image obtained via the unknown interchangeable lens unit 100B before color correction is performed.
  • the image acquired via the unknown interchangeable lens unit 100B has lens characteristics that have different RGB intensities for each image height (image height 0 to image height 3) from the center of the image.
  • the color correction amount is as follows.
  • the amount of color correction (Ra 1 , Ga 1 , Ba 1 ) (0: 0: 0).
  • the color correction amount (Ra 1 , Ga 1 , Ba 1 ) (0: 0: ⁇ 1)
  • the color correction amount (Ra 1 , Ga 1 , Ba 1 ) (0: 0: -2)
  • These color correction amounts are calculated from the reference image acquired via the known interchangeable lens unit 100A and the comparison image acquired from the unknown interchangeable lens unit 100B.
  • FIG. 9 shows that, when acquiring comparison images at different image height positions, an image on a straight line L connecting any vertex of the image from the center of the image is acquired.
  • the procedure for acquiring the comparative image is based on the premise that the unknown interchangeable lens unit 100B has a lens characteristic that has different RGB intensities for each image height from the center of the image, as shown in FIG. A region having the same RGB intensity coincides with the image height position.
  • the amount of color correction for each image height position in a region where a comparative image has not been obtained can be estimated based on the obtained amount of color correction and the distance from the center of the image. Even when the number of comparison images is small, the entire area of the image can be subjected to color correction.
  • the image captured via the unknown interchangeable lens unit 100B has a characteristic having an image height of 0 to 3; however, the image height position is not limited to the range of image height 0 to image height 3. .
  • the image height position of the image can be calculated from the comparison image acquired to be changed appropriately.
  • step S26 execute color correction (step S26).
  • the color correction is performed on an image (including a still image and a through image) acquired via the unknown interchangeable lens unit 100B.
  • the image to which the color correction has been applied has the same color as the image shown in FIG.
  • Step S26 of performing color correction corresponds to a correction step.
  • FIG. 11 is a conceptual diagram of an image captured through the unknown interchangeable lens unit 100B having optical characteristics different from that of FIG. 10 and before performing color correction.
  • regions (AR0 to AR3) having the same RGB intensity are displayed.
  • an image height position image height 0 to image height 3) corresponding to FIG. 10 is displayed in the image of 11A.
  • the image height position does not correspond to a region having the same RGB intensity.
  • the unknown interchangeable lens unit 100B having this optical property, when acquiring a comparative image, it may not be sufficient to acquire an image on a straight line L connecting any vertex of the image from the center of the image. This is because the color correction amount at the image height position where the comparison image has not been obtained may not be able to be estimated based on the obtained color correction amount and the distance from the center of the image.
  • the calculated color correction amount of each region enables color correction corresponding to each position within the angle of view in an image acquired via the unknown interchangeable lens unit 100B.
  • the number of regions at each position within the angle of view is not particularly limited.
  • step S26 The acquisition of the comparison image shown in FIG. 11 is performed, for example, after the execution of the color correction (step S26), as shown in FIG.
  • step S26 the user checks the image acquired via the unknown interchangeable lens unit 100B, and determines whether the acquired image has a correct tint (step S28). If the color is not correct in step S28 (No), the process returns to the step of acquiring a comparison image (step S20). However, in step S20 after the case where the color is not correct, the acquisition is changed from the acquisition of the comparative image shown in FIG. 9 to the acquisition of the comparative image shown in FIG. If the tint is correct in step S28 (Yes), an image is continuously obtained via the unknown interchangeable lens unit 100B.
  • FIG. 12 shows a state after color correction has been performed on an image acquired via the unknown interchangeable lens unit 100B.
  • the color correction is performed for the image heights 0 to 2.
  • image height 3 no color correction has been performed.
  • the user can arbitrarily select the color according to the image height position at which the color correction is to be performed.
  • the user can obtain an optimal image according to his / her taste. Can be.
  • the color of the unknown interchangeable lens unit 100B can be made close to the color of the known interchangeable lens unit 100A while the color of the unknown interchangeable lens unit 100B is retained, so that the user can obtain an optimal image according to the taste.
  • the color correction amount can be changed not according to the image height position but according to the difference in RGB intensity between the subject and the background.
  • the color correction amount can be changed according to the difference in RGB intensity between the subject and the background, that is, the so-called subject, background, and color.
  • the user sets the color correction amount arbitrarily. For example, when the color of the subject and the background are close to or far from each other, the user can set the color correction amount of either the subject or the background to be large or small.
  • a threshold value can be set for the difference between the RGB intensities of the subject and the background. The color correction amount can be changed according to the threshold.
  • the color correction amount can be changed according to the size of the display of the subject and the background in the image. For example, it is possible to set such that the amount of color correction is reduced when the display of the subject is smaller than the background, and the amount of color correction is increased when the display of the subject is larger than the background.
  • the relationship between the display size of the subject and the background and the color correction amount is not limited to the above, and can be set as appropriate.
  • the color correction amount is always calculated and the color correction is executed. This will be described below with reference to the drawings.
  • FIG. 13 shows an example of an image WI obtained by capturing the same subject S as the reference image at the wide end (wide angle end) via the unknown interchangeable lens unit 100B.
  • the image WI shown in FIG. 13 is an image after color correction has been performed according to the already calculated color correction amount.
  • the color correction amount is acquired using, for example, a comparative image acquired via the unknown interchangeable lens unit 100B at the wide end. Appropriate color correction is performed on the image WI of the subject S.
  • Figure 14 illustrates through an unknown interchangeable lens unit 100B, the reference image and the same subject S a telephoto end of an example of an image TI 1 captured by the (telephoto end).
  • the unknown interchangeable lens unit 100B is moved from the wide end to the tele end, the angle of view changes.
  • the unknown interchangeable lens unit 100B at the telephoto end position has not acquired the color correction amount at the image height position. Since the color correction amount has not been acquired, the image acquired via the unknown interchangeable lens unit 100B is in a state where color correction has not been performed.
  • Correction amount calculation unit 220B detects that the RGB intensity of the subject S is changed, the object S in the image of the image TI 1 and the comparative image CI 1. Correction amount calculation unit 220B, from the difference between the RGB intensity and the comparative image CI 1 and the reference image RI (not shown), calculates the amount of color correction of each image height corresponding to the unknown interchangeable lens unit 100B. “Always calculate the difference in RGB intensity” means that the presence or absence of a change in RGB intensity is continuously detected and the difference in RGB intensity is calculated.
  • Figure 15 shows an image TI 2 in which the color correction is performed on the image in FIG. 14.
  • the image acquired via the unknown interchangeable lens unit 100B at the tele end position has been subjected to color correction.
  • the unknown interchangeable lens unit 100B is a zoom lens, color correction can be performed particularly effectively.
  • the correction amount calculating unit 220B (not shown) issues a warning prompting to take an image when a plurality of images taken by the image sensor 201 (not shown) at different image height positions are not present in the camera body 200. Can be output.
  • a comparison image is required. If a plurality of images captured by the image sensor 201 (not shown) at different image height positions do not exist as comparison images, the color correction amount cannot be calculated.
  • the correction amount calculation unit 220B outputs a warning that prompts imaging, and, for example, the monitor 216 displays a character or the like that prompts acquisition of a comparative image.
  • the case where a plurality of captured images do not exist in the camera body 200 means that the plurality of captured images are not stored in the camera body 200 for some reason. , But the case where the acquired image cannot be compared with the reference image is included.
  • the case where the acquired image cannot be compared with the reference image includes a case where the similarity between the acquired image and the reference image is low, a case where the acquired image is out of focus, and the like.
  • the imaging apparatus according to the second embodiment is an imaging apparatus that performs color correction when using an interchangeable lens unit whose color correction information is unknown, without matching the color correction information with the color of a known interchangeable lens unit.
  • an imaging device according to the second embodiment will be described. The description of the configuration common to the first embodiment may be omitted.
  • FIG. 16 is a block diagram showing functional blocks used for color correction.
  • the main body side CPU 220 includes a correction amount calculation unit 220C different from the first embodiment.
  • color correction can be performed only with the unknown interchangeable lens unit 100B.
  • the correction amount calculation unit 220C is configured to output the reference image obtained by imaging the subject in the center region by the imaging device 201 included in the camera body 200 via the unknown interchangeable lens unit 100B and the image height position of the subject excluding the center region of the imaging device 201.
  • the color correction amount for each image height of the unknown interchangeable lens unit 100B is calculated from the difference between the RGB intensity and the captured comparative image.
  • the correction amount calculation unit 220C acquires, for example, a reference image and a comparison image.
  • the correction amount calculation unit 220C determines whether or not the image height data of the image sensor 201 required to calculate the color correction amount has been obtained. When the image height data is insufficient, for example, a warning signal can be output.
  • the correction amount calculation unit 220C determines, for example, the degree of similarity between the reference image and the comparison image. If the degree of similarity is high, a difference between the reference image, the comparison image, and the RGB intensity is calculated. On the other hand, when the similarity between the reference image and the comparative image is low, it is determined that the comparative image does not exist, and for example, a warning signal can be output.
  • the correction amount calculation unit 220C calculates the difference between the reference image and the comparison image by adjusting the positions of the images and generates information on the difference between the RGB intensities. Based on the information on the difference between the RGB intensities, the color correction amount (Ra 1 , Ga 1 , Ba 1 ) of each RGB is calculated for each image height.
  • the calculated color correction amounts (Ra 1 , Ga 1 , Ba 1 ) are created in the form of a color correction amount table, for example, and stored in the RAM 207 or the like.
  • the color correction mode for the image height is displayed on the monitor 216 of the camera body 200 (step S110).
  • the monitor 216 can display, for example, an instruction to change the known interchangeable lens unit 100A to the unknown interchangeable lens unit 100B.
  • step S112 Attach the unknown interchangeable lens unit 100B to the camera body 200 (step S112).
  • step S114 determines whether or not to execute the color correction mode is selected (in the case of No).
  • step S114 when "do not execute color correction mode" is selected (in the case of No), the color correction mode ends.
  • step S114 when "execute color correction mode" is selected (in the case of Yes), an object to be used as a reference image for color correction is imaged by the camera body 200 equipped with the unknown interchangeable lens unit 100B.
  • step S118 an image of the same subject as the reference image at the image height position excluding the central region of the image sensor 201 provided in the camera body 200 is acquired as a comparative image via the unknown interchangeable lens unit 100B (step S118).
  • FIG. 18 is a diagram for describing acquisition of the reference image RI, the comparison images CI 1 , and CI 2 .
  • the reference image RI, the comparison images CI 1 , and CI 2 are obtained via the unknown interchangeable lens unit 100B.
  • the reference image RI is obtained by imaging the subject S in the central region of the image sensor 201.
  • the imaging in the central region may include at least the center of the light receiving surface of the imaging element 201.
  • Comparison image CI 1 is obtained by imaging at an image height position excluding the central region of the imaging element 201.
  • the comparison image CI 2 is an image height position excluding the central region of the imaging element 201 is obtained by imaging by the image height position different from the comparative image CI 1.
  • the reference image RI is obtained in the central region, a case where the image height position other than the central region one comparison image CI 1 is obtained.
  • 19B is a case where the reference image RI is acquired in the central region, and two comparative images CI 1 and CI 2 are acquired at image height positions other than the central region.
  • 19C is a case where the reference image RI is acquired in the central region, and three comparative images CI 1 , CI 2 , and CI 3 are acquired at image height positions other than the central region.
  • FIG. 19 illustrates the case where all pixels on the straight line L are included when the reference image and the comparative image are combined, but by including at least 85% of the pixels on the straight line L, color correction can be performed. Data at the required image height position can be obtained.
  • step S114 when “execute the color correction mode” is selected (in the case of Yes), when acquiring the reference image and the comparison image, the monitor 216 displays a frame indicating the position at which the reference image and the comparison image are acquired. It is preferable to display. The displayed frame facilitates the user obtaining the comparison image.
  • step S120 it is determined whether image height data for calculating the color correction amount is sufficient (step S120). If the image height data is not sufficient (No), the acquisition of the comparison image (step S118) is repeated. If the image height data is not sufficient, the monitor 216 can display, for example, an instruction prompting acquisition of a comparative image.
  • a color correction amount is calculated (step S122).
  • the color correction amounts (Ra 1 , Ga 1 , and Ba 1 ) of each RGB are calculated for each image height from the difference between the reference image and the comparison image.
  • Step S122 of calculating the color correction amount corresponds to a correction amount calculation step.
  • step S124 color correction is performed (step S124).
  • the color correction is performed on an image (including a still image and a through image) acquired via the unknown interchangeable lens unit 100B.
  • the color (RGB intensity) of the entire image is the color of the central region of the image.
  • Step S124 of performing color correction corresponds to a correction step.
  • step S126 After executing the color correction (step S124), it is determined whether the color of the acquired image is correct (step S126). If the color is not correct in step S126 (No), the process returns to the step of acquiring a comparison image (step S118). However, in step S118 after the color is not correct, the process is changed to acquisition of a comparative image similar to that shown in FIG. In the second embodiment, a comparison image is acquired except for an area where the reference image is acquired among the divided areas.
  • an image height position at which color correction is performed can be arbitrarily selected.
  • the color correction amount can be changed according to the image height position.
  • the color correction amount can be changed not according to the image height position but according to the difference between the RGB intensities of the subject and the background, so-called subject, background and color.
  • the color correction amount can be changed according to the size of the display of the subject and the background in the image.
  • the second embodiment can always calculate the color correction amount and execute the color correction.
  • the correction amount calculation unit 220B (not shown) performs the processing when the image captured by the image sensor 201 (not shown) at an image height position different from the reference image does not exist in the camera body 200. Can output a warning prompting imaging.
  • the third embodiment relates to a first embodiment in which, when using an interchangeable lens unit whose color correction information is unknown, color correction information is adjusted to the tint of a known interchangeable lens unit when color correction information is used.
  • FIG. 20 is a block diagram showing functional blocks used for color correction.
  • the main body side CPU 220 includes two correction amount calculation units, a correction amount calculation unit 220B and a correction amount calculation unit 220C. Further, since the color is not matched with the known interchangeable lens unit 100A (not shown), color correction can be performed only with the unknown interchangeable lens unit 100B.
  • the correction amount calculation unit 220B uses the image sensor 201 to capture the same subject as the reference image via the known interchangeable lens unit 100A and the same subject via the unknown interchangeable lens unit 100B at different image height positions.
  • the color correction amount for each image height corresponding to the unknown interchangeable lens unit 100B is calculated from the difference between the RGB intensities with the plurality of captured comparative images.
  • the correction amount calculation unit 220C includes a reference image obtained by imaging the subject in the central region by the image sensor 201 provided in the camera body 200 via the unknown interchangeable lens unit 100B, and an image height position excluding the subject from the central region of the image sensor 201.
  • the color correction amount for each image height of the unknown interchangeable lens unit 100B is calculated from the difference between the RGB intensity and the captured comparative image.
  • FIG. 20 exemplifies the provision of the correction amount calculation unit 220B and the correction amount calculation unit 220C. Without being limited to this, it is possible to calculate the same color correction amount as the correction amount calculation unit 220B and the correction amount calculation unit 220C in a single correction amount calculation unit.
  • the color correction mode for the image height is displayed on the monitor 216 of the camera body 200 (step S210). Next, whether or not to execute the color correction mode is selected (step S212).
  • step S212 if "no color correction mode" is selected (No), the known interchangeable lens unit 100A is detached from the camera body 200, and the unknown interchangeable lens unit 100B is mounted on the camera body 200 (step S214).
  • the color correction mode for the image height ends.
  • step S212 If "Execute the color correction mode" is selected in step S212 (in the case of Yes), then whether or not to match the colors is selected (step S216).
  • step S216 If “match color” is selected in step S216 (Yes), the camera body 200 equipped with the known interchangeable lens unit 100A captures an image of a subject to be used as a reference image for color correction. If “match color” is selected (in the case of Yes), for example, the monitor 216 can display an instruction for prompting acquisition of the reference image. A part of the image serving as a reference for color correction is selected from the obtained images, and a reference image is obtained (step S218).
  • the monitor 216 can display, for example, an instruction to change the known interchangeable lens unit 100A to the unknown interchangeable lens unit 100B.
  • the monitor 216 can display, for example, an instruction prompting acquisition of a comparative image.
  • step S216 when "do not match color" is selected (No), the monitor 216 can display an instruction to change the known interchangeable lens unit 100A to the unknown interchangeable lens unit 100B, for example.
  • the unknown interchangeable lens unit 100B is mounted on the camera body 200 (step S222).
  • the subject to be used as the reference image for color correction is imaged by the camera body 200 equipped with the unknown interchangeable lens unit 100B. Through the unknown interchangeable lens unit 100B, the camera body 200 acquires an image of the subject in the central region as a reference image (step S224).
  • step S226 a comparison image is obtained by the camera body 200 equipped with the unknown interchangeable lens unit 100B (step S226).
  • step S226 when “match color” is selected in step S216 (in the case of Yes), the same subject as the reference image is imaged at a different image height by the image sensor of the camera body, and a plurality of comparative images are obtained. I do.
  • step S226 when “do not match color” is selected in step S216 (No), the same subject as the reference image was imaged at an image height position excluding the central region of the image sensor provided in the camera body. An image is obtained as a comparison image.
  • step S2248 it is determined whether the image height data for calculating the color correction amount is sufficient (step S228). If the image height data is not sufficient (No), the acquisition of the comparison image (step S226) is repeated. If the image height data is not sufficient, the monitor 216 can display, for example, an instruction prompting acquisition of a comparative image.
  • Step S230 the color correction amount is calculated (step S230).
  • the color correction amounts (Ra 1 , Ga 1 , and Ba 1 ) of each RGB are calculated for each image height from the difference between the reference image and the comparison image.
  • Step S230 of calculating the color correction amount corresponds to a correction amount calculation step.
  • step S232 color correction is performed (step S232).
  • the color correction is performed on an image (including a still image and a through image) acquired via the unknown interchangeable lens unit 100B.
  • Step S232 of executing color correction corresponds to a correction step.
  • step S216 If “match color” is selected in step S216 (Yes), the color (RGB intensity) of the image acquired via the unknown interchangeable lens unit 100B matches the color of the known interchangeable lens unit 100A. Can be On the other hand, if “do not match color” is selected in step S216 (No), the central region of the image is set as the reference image, and the color (RGB intensity) of the entire image is According to the color.
  • step S232 After executing the color correction (step S232), it is determined whether the color of the acquired image is correct (step S234). If the color is not correct in step S234 (No), the process returns to the step of acquiring a comparison image (step S226).
  • step S226) when "match color” is selected in step S216 (in the case of Yes), when “do not match color” is selected in step S216 (in the case of No), So, it may be different.
  • the image height position at which the color correction is performed can be arbitrarily selected.
  • the color correction amount can be changed according to the image height position.
  • the color correction amount can be changed not according to the image height position but according to the difference between the RGB intensities of the subject and the background, so-called subject, background and color.
  • the color correction amount can be changed according to the size of the display of the subject and the background in the image.
  • the second embodiment can always calculate a color correction amount and execute color correction.
  • correction amount calculation unit 220B (not shown) outputs a warning prompting to take an image when an image taken by the image sensor 201 (not shown) at an image height position different from the reference image does not exist in the camera body 200. Can be.
  • the hardware structure of a processing unit (processing unit) that executes various processes is the following various processors.
  • Various processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and functions as various processing units, a GPU (Graphics Processing Unit), which is a processor specialized in image processing, Dedicated to execute specific processing such as Programmable Logic Device (PLD), which is a processor whose circuit configuration can be changed after manufacturing such as FPGA (Field Programmable Gate Array) and ASIC (Application Specific Integrated Circuit).
  • a dedicated electric circuit which is a processor having a designed circuit configuration is included.
  • One processing unit may be configured by one of these various processors, or configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). You may. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which a processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form using a processor that realizes the functions of the entire system including a plurality of processing units by one IC (Integrated Circuit) chip is used.
  • the various processing units are configured using one or more of the various processors described above as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined.
  • the present invention further includes an image processing program which is installed in an imaging device or a computer to function as the imaging device or the image processing device according to the present invention, and a recording medium on which the image processing program is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

色補正情報が未知の交換レンズユニットを装着しても、色補正が可能な撮像装置、撮像方法、及びプログラムを提供する。撮像装置は、着脱自在な交換レンズユニットを装着可能な撮像装置であって、色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、基準画像と同一の被写体を、異なる像高位置で撮像装置が備える撮像素子により撮像した複数の比較画像とのRGB強度の差分から、未知の交換レンズユニットに対応する像高毎の色補正量を算出する補正量算出部と、未知の交換レンズユニットを介して、撮像素子により撮像される画像を、補正量算出部により算出された色補正量に応じて色補正する補正部と、を備える。

Description

撮像装置、撮像方法、及びプログラム
 本発明は、撮像装置、撮像方法、及びプログラムに関して、特に、色補正に適用される技術に関する。
 交換レンズユニットを着脱できる光学機器として、例えば、デジタルカメラが知られている。交換レンズユニットは、レンズ表面のコーティング、色収差、また撮像素子に入射する光の角度等の光学特性を有している。交換レンズユニットを装着してデジタルカメラで画像を撮像した場合、交換レンズユニットの光学特性は、デジタルカメラで得られる画像の色に影響を与え、画像の色が想定される色から変化するという現象の原因となる。この変化は像高によっても生じる。
 この現象を低減するため、カメラ本体、又は交換レンズユニット内に光学特性データを保持させて、光学特性データに基づいてデジタルカメラにより画像の色を色補正させている。一方で、光学特性データ(色補正情報)が不明な交換レンズユニットを装着した場合、デジタルカメラは画像の色を適正に色補正することができない問題がある。
 特許文献1には、特定被写体画像の画像特性データ、及び該画像特性データと予め設定された基準データとの比較結果に基づいて、装着されているレンズユニットのレンズ特性に合わせた画像処理パラメータ調整を行うことが開示されている。
特開2012-186683号公報
 しかしながら、特許文献1は、基準データを撮像した際の撮像条件と特定被写体画像を撮像した際の条件等が異なる場合、像高に対する色補正を十分に調整できない懸念がある。
 本発明は、このような事情に鑑みてなされたもので、色補正情報が未知の交換レンズユニットを装着しても、像高に対する色補正が可能な撮像装置、撮像方法、及びプログラムを提供する。
 第1の態様の撮像装置は、着脱自在な交換レンズユニットを装着可能な撮像装置であって、色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、基準画像と同一の被写体を、異なる像高位置で撮像装置が備える撮像素子により撮像した複数の比較画像とのRGB強度の差分から、未知の交換レンズユニットに対応する像高毎の色補正量を算出する補正量算出部と、未知の交換レンズユニットを介して、撮像素子により撮像される画像を、補正量算出部により算出された色補正量に応じて色補正する補正部と、を備える。
 第1の態様によれば、色補正情報が未知の交換レンズユニットを介して取得される画像を、色補正情報が既知の交換レンズユニットの色味に合わせる色補正をすることができる。
 第2の態様の撮像装置において、色補正情報が既知の交換レンズユニットを介して、被写体を撮像装置の撮像素子により撮像した画像を基準画像とする。第2の態様によれば、既知の交換レンズユニットを装着した撮像装置の撮像素子により基準画像を取得できる。
 第3の態様の撮像装置は、着脱自在な交換レンズユニットを装着可能な撮像装置であって、色補正情報が未知の交換レンズユニットを介して、被写体を撮像装置が備える撮像素子により中央領域で撮像した基準画像と、被写体を撮像素子の中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出部と、未知の交換レンズユニットを介して、撮像素子により撮像される画像を、補正量算出部により算出された色補正量に応じて色補正する補正部と、を備える。
 第3の態様によれば、色補正情報が既知の交換レンズユニットを備えない場合でも、色補正情報が未知の交換レンズユニットを介して撮像された中央領域の色味に合わせる色補正をすることができる。
 第4の態様の撮像装置は、着脱自在な交換レンズユニットを装着可能な撮像装置であって、色補正情報が既知の交換レンズユニットの色味に合わせる場合、色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、基準画像と同一の被写体を、異なる像高位置で撮像装置が備える撮像素子により撮像した複数の比較画像とのRGB強度の差分から、色補正情報が既知の交換レンズユニットの色味に合わせない場合、色補正情報が未知の交換レンズユニットを介して、被写体を撮像装置が備える撮像素子により中央領域で撮像した基準画像と、被写体を撮像素子の中央領域を除く像高位置で撮像した比較画像と、基準画像と比較画像とのRGB強度の差分から、未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出部と、未知の交換レンズユニットを介して、撮像素子により撮像される画像を、補正量算出部により算出された色補正量に応じて色補正する補正部と、を備える。
 第4の態様によれば、色補正情報が未知の交換レンズユニットを介して取得される画像を、色補正情報が既知の交換レンズユニットの色味に合わせる色補正をすることができる。また、色補正情報が既知の交換レンズユニットを備えない場合でも、色補正情報が未知の交換レンズユニットを介して撮像された中央領域の色味に合わせる色補正をすることができる。
 第5の態様の撮像装置において、補正量算出部は、撮像素子の画角内の各位置に応じて色補正量を算出する。第5の態様によれば、像高位置だけでなく、画角内の各位置に対しても色補正が可能となる。
 第6の態様の撮像装置において、補正部は、像高位置に応じて色補正量を変更する。第6の態様によれば、像高位置に応じて、任意に色補正量を変更できる。ユーザーの嗜好に合わせて色味を補正できる。
 第7の態様の撮像装置において、補正部は、色補正量を、被写体と背景とのRGB強度の差分に応じて変更する。第7の態様によれば、被写体と背景とのRGB強度の差分に応じて色補正量を変更するので、ユーザーの嗜好に合わせて色味を補正できる。
 第8の態様の撮像装置において、補正量算出部は、基準画像と未知の交換レンズユニットを介して取得される画像とのRGB強度の差分を常に算出する。第8の態様によれば、ズーム等により画角が変更した場合でも、適正に色補正することができる。
 第9の態様の撮像装置において、補正量算出部は、異なる像高位置で撮像素子により撮像した複数の画像が撮像装置内に存在しない場合は撮像を促す。第9の態様によれば、比較画像を確実に取得することができる。
 第10の態様の撮像方法は、色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、基準画像と同一の被写体を、異なる像高位置で撮像装置が備える撮像素子により撮像した複数の比較画像とのRGB強度の差分から、未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、未知の交換レンズユニットを介して、撮像素子により撮像される画像を、補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、を備える。
 第10の態様によれば、色補正情報が未知の交換レンズユニットを介して取得される画像を、色補正情報が既知の交換レンズユニットの色味に合わせる色補正をすることができる。
 第11の態様の撮像方法は、色補正情報が未知の交換レンズユニットを介して、被写体を撮像装置が備える撮像素子により中央領域で撮像した基準画像と、被写体を撮像素子の中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、未知の交換レンズユニットを介して、撮像素子により撮像される画像を、補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、を備える。
 第11の態様によれば、色補正情報が既知の交換レンズユニットを備えない場合でも、色補正情報が未知の交換レンズユニットを介して撮像された中央領域の色味に合わせる色補正をすることができる。
 第12の態様の撮像方法は、色補正情報が既知の交換レンズユニットの色味に合わせる場合、色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、基準画像と同一の被写体を、異なる像高位置で撮像装置が備える撮像素子により撮像した複数の比較画像とのRGB強度の差分から、色補正情報が既知の交換レンズユニットの色味に合わせない場合、色補正情報が未知の交換レンズユニットを介して、被写体を撮像装置が備える撮像素子により中央領域で撮像した基準画像と、被写体を撮像素子の中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、未知の交換レンズユニットを介して、撮像素子により撮像される画像を、補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、を備える。
 第12の態様によれば、色補正情報が未知の交換レンズユニットを介して取得される画像を、色補正情報が既知の交換レンズユニットの色味に合わせる色補正をすることができる。また、色補正情報が既知の交換レンズユニットを備えない場合でも、色補正情報が未知の交換レンズユニットを介して撮像された中央領域の色味に合わせる色補正をすることができる。
 第13の態様のプログラムは、撮像工程をコンピュータに実行させるプログラムであって、色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、基準画像と同一の被写体を、異なる像高位置で撮像した複数の比較画像とのRGB強度の差分から、未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、未知の交換レンズユニットを介して、撮像される画像を、補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、を含む撮像工程をコンピュータに実行させる。
 第13の態様によれば、色補正情報が未知の交換レンズユニットを介して取得される画像を、色補正情報が既知の交換レンズユニットの色味に合わせる色補正をすることができる撮像工程を実行できる。
 第14の態様のプログラムは、撮像工程をコンピュータに実行させるプログラムであって、色補正情報が未知の交換レンズユニットを介して、被写体を撮像装置が備える撮像素子により中央領域で撮像した基準画像と、被写体を撮像素子の中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、未知の交換レンズユニットを介して、撮像素子により撮像される画像を、補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、を含む撮像工程をコンピュータに実行させる。
 第14の態様によれば、色補正情報が既知の交換レンズユニットを備えない場合でも、色補正情報が未知の交換レンズユニットを介して撮像された中央領域の色味に合わせる色補正をする撮像工程を実行できる。
 第15の態様のプログラムは、撮像工程をコンピュータに実行させるプログラムであって、色補正情報が既知の交換レンズユニットの色味に合わせる場合、色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、基準画像と同一の被写体を、異なる像高位置で撮像した複数の比較画像とのRGB強度の差分から、色補正情報が既知の交換レンズユニットの色味に合わせない場合、色補正情報が未知の交換レンズユニットを介して、被写体を撮像装置が備える撮像素子により中央領域で撮像した基準画像と、被写体を撮像素子の中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、未知の交換レンズユニットを介して、撮像素子により撮像される画像を、補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、を含む撮像工程をコンピュータに実行させる。
 第15の態様によれば、色補正情報が未知の交換レンズユニットを介して取得される画像を、色補正情報が既知の交換レンズユニットの色味に合わせる色補正をすること、及び色補正情報が既知の交換レンズユニットを備えない場合でも、色補正情報が未知の交換レンズユニットを介して撮像された中央領域の色味に合わせる色補正をすることができる撮像工程を実行できる。
 本発明によれば、色補正情報が未知の交換レンズユニットを介して取得され画像に対して色補正を実行することができる。
図1は、本発明に係るカメラシステムを斜め前方から見た斜視図である。 図2は、カメラ本体の背面図である。 図3は、カメラシステムの内部構成の実施形態を示すブロック図である。 図4は、第1の実施形態において、色補正で用いる機能ブロックを抜き出したブロック図である。 図5は、既知交換レンズユニットを介して被写体を撮像した画像の一例を示す図である。 図6は、第1の実施形態のフローチャートの図である。 図7は、基準画像の取得を説明するための図である。 図8は、比較画像の取得を説明するための図である。 図9は、異なる像高位置で比較画像を取得する場合を説明するための図である。 図10は、未知交換レンズユニットを介して取得された色補正を実行する前の画像の概念図である。 図11は、比較画像を図9とは異なる態様で取得する場合を説明するための図である。 図12は、未知交換レンズユニットを介して取得された画像に色補正を実行した状態の図である。 図13は、未知交換レンズユニットを介して、基準画像と同一の被写体をワイド端で撮像した画像の一例を示す図である。 図14は、未知交換レンズユニットを介して、基準画像と同一の被写体をテレ端で撮像した画像の一例を示す図である。 図15は、図14の画像に色補正を実行した画像を示す図である。 図16は、第2の実施形態において、色補正で用いる機能ブロックを抜き出したブロック図である。 図17は、第2の実施形態のフローチャートの図である。 図18は、基準画像と比較画像の取得を説明するための図である。 図19は、基準画像と比較画像の取得領域を説明するための図である。 図20は、第3の実施形態において、色補正で用いる機能ブロックを抜き出したブロック図である。 図21は、第3の実施形態のフローチャートの図である。
 以下、添付図面にしたがって本発明の好ましい実施形態について説明する。本発明は以下の好ましい実施形態により説明される。
 本発明の範囲を逸脱すること無く、多くの手法により変更を行うことができ、実施形態以外の他の実施形態を利用することができる。したがって、本発明の範囲内における全ての変更が特許請求の範囲に含まれる。
 (第1の実施形態)
 第1の実施形態の撮像装置は、色補正情報が未知の交換レンズユニットを使用する際に、色補正情報が既知の交換レンズユニットの色味に合わせて色補正する撮像装置である。以下、撮像装置について説明する。
 <カメラシステムの外観>
 図1はカメラシステムを斜め前方から見た斜視図であり、図2は、撮像装置であるカメラ本体の背面図である。
 図1に示すようにカメラシステム10は、交換レンズユニット100と、交換レンズユニット100が着脱自在なカメラ本体200とから構成されたミラーレスのデジタル一眼カメラ、又はデジタル一眼レフカメラである。
 カメラ本体200は、前面に、交換レンズユニット100が装着される本体マウント260と、光学ファインダーのファインダー窓20を備える。カメラ本体200は、上面に、主としてシャッターレリーズボタン22、シャッタースピードダイヤル23、露出補正ダイヤル24、電源レバー25、及び内蔵フラッシュ30を備える。カメラ本体200は、内部に、本体マウント260に対応する位置に、画像取得部として機能する撮像素子201を備える。
 図2に示されるように、カメラ本体200は、背面に、主としてモニタ216、光学ファインダーの接眼部26、MENU及びOKキー27、十字キー28、再生ボタン29等を備える。
 モニタ216は、撮像モード時にライブビュー画像を表示し、また再生モード時に撮像した画像を再生表示する。モニタ216は、各種のメニュー画面を表示する表示部として機能する。MENU及びOKキー27は、モニタ216の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。十字キー28は、上下左右の4方向の指示を入力する操作部である。十字キー28は、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタンとして機能する。また、十字キー28の上キー及び下キーは撮像時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左キー及び右キーは再生モード時のコマ送り(順方向及び逆方向送り)ボタンとして機能する。再生ボタン29は、撮像記録した静止画又は動画をモニタ216に表示させる再生モードに切り替えるためのボタンである。
 <カメラシステムの内部構成>
 図3はカメラシステム10の内部構成の実施形態を示すブロック図である。
 [交換レンズユニット]
 カメラシステム10を構成する交換レンズユニット100は、カメラ本体200の通信規格に沿って製造されたものであり、後述するようにカメラ本体200との間で通信を行うことができる交換レンズである。この交換レンズユニット100は、撮像光学系102、ズームレンズ制御部114、フォーカスレンズ制御部116、絞り制御部118、レンズ側CPU(Central Processing Unit)120(レンズ側制御部)、フラッシュROM(Read Only Memory)126、レンズ側通信部150、及びレンズマウント160を備える。
 撮像光学系102は、ズームレンズ104、フォーカスレンズ106、及び絞り108を含む複数の光学部材を有する。ズームレンズ制御部114は、レンズ側CPU120からの指令に従って、ズームレンズ104のズーム位置を制御する。フォーカスレンズ制御部116は、レンズ側CPU120からの指令に従って、フォーカスレンズ106のフォーカス位置を制御する。絞り制御部118は、レンズ側CPU120からの指令に従って絞り108(開口面積)を制御する。
 レンズ側CPU120は、交換レンズユニット100を統括制御するもので、ROM124及びRAM122を内蔵している。
 フラッシュROM126は、カメラ本体200からダウンロードされたプログラム等を格納する不揮発性のメモリである。
 レンズ側CPU120は、ROM124又はフラッシュROM126に格納された制御プログラムに従い、RAM(Random Access Memory)122を作業領域として、交換レンズユニット100の各部を統括制御する。
 レンズ側通信部150は、レンズマウント160がカメラ本体200の本体マウント260に装着されている状態で、レンズマウント160に設けられた複数の信号端子(レンズ側信号端子)を介してカメラ本体200との通信を行う。即ち、レンズ側通信部150は、レンズ側CPU120の指令に従って、レンズマウント160及び本体マウント260を介して接続されたカメラ本体200の本体側通信部250との間で、リクエスト信号、回答信号の送受信(双方向通信)を行う。
 また、交換レンズユニット100は、撮像光学系102の各光学部材のレンズ情報(ズームレンズ104のズーム情報、フォーカスレンズ106のフォーカス位置情報、及び絞り情報)を検出する検出部(図示せず)を備えている。
 レンズ側CPU120は、カメラ本体200からのレンズ情報のリクエストに応えるために、検出された各種のレンズ情報をRAM122に保持することが好ましい。また、各光学部材のレンズ情報は、カメラ本体200からのレンズ情報の要求があると検出され、又は光学部材が駆動されるときに検出され、又は一定の周期(動画のフレーム周期よりも十分に短い周期)で検出され、検出結果を保持することができる。
 交換レンズユニット100は、例えば、画像の色補正に必要なレンズに関する光学特性データを、ROM124に格納している。色補正に使用される光学特性データは、各像高における撮像素子への光の入射角度に関するデータ、各像高における分光透過率の変化のデータ、及び各像高における色収差のデータ等を含んでいる。色補正に使用される光学特性データは色補正情報としてカメラ本体200で利用される。像高は、撮像素子201の受光面において受光面中心(光軸中心)からの距離である。像高方向に入射光束の集光位置がずれる程、斜め入射になることが知られている。
 撮像装置であるカメラ本体200が、交換レンズユニット100の色補正情報を利用できる場合、交換レンズユニット100は既知の交換レンズユニットになる。一方、カメラ本体200が、交換レンズユニット100の色補正情報を利用できない場合、交換レンズユニット100は未知の交換レンズユニットになる。交換レンズユニット100の色補正情報を利用できない場合は、交換レンズユニット100が色補正情報を有していない場合、及び交換レンズユニット100が色補正情報を有しているが、カメラ本体200が色補正情報を色補正の処理に利用できない場合を含む。
 [カメラ本体(撮像装置)]
 カメラシステム10を構成するカメラ本体200は、画像取得部として機能する撮像素子201、イメージセンサ制御部202、アナログ信号処理部203、A/D(Analog/Digital)変換器204、画像入力コントローラ205、画像信号処理部206、RAM207、圧縮伸張処理部208、メディア制御部210、メモリカード212、表示制御部214、モニタ216、本体側CPU220、操作部222、時計部224、フラッシュROM226、ROM228、AF(Autofocus)制御部230、AE(Auto Exposure)制御部232、無線通信部236、GPS(Global Positioning System)受信部238、電源制御部240、バッテリ242、本体側通信部250、レンズ装着部として機能する本体マウント260、内蔵フラッシュ30(図1)を構成するフラッシュ発光部270及びフラッシュ制御部272を備える。
 撮像素子201は、CMOS(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。なお、撮像素子201は、CMOS型に限らず、XYアドレス型、又はCCD(Charge Coupled Device)型のイメージセンサでもよい。
 撮像素子201は、所定のパターン配列(ベイヤー配列、X-Trans(登録商標)配列、ハニカム配列等)でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズと、赤(R)、緑(G)又は青(B)のカラーフィルタと、光電変換部(フォトダイオード等)とを含んで構成される。
 交換レンズユニット100の撮像光学系102によって撮像素子201の受光面に結像された被写体の光学像は、撮像素子201によって電気信号に変換される。
 撮像素子制御部202は、本体側CPU220の指令に従って、撮像素子201の撮像タイミング、露出時間等を制御する。アナログ信号処理部203は、撮像素子201で被写体を撮像して得られたアナログの画像信号に対して、各種のアナログ信号処理を施す。アナログ信号処理部203は、サンプリングホールド回路、色分離回路、AGC(Automatic Gain Control)回路等を含んで構成されている。AGC回路は、撮像時の感度(ISO感度(ISO:International Organization for Standardization))を調整する感度調整部として機能し、入力する画像信号を増幅する増幅器のゲインを調整し、画像信号の信号レベルが適切な範囲に入るようにする。A/D変換器204は、アナログ信号処理部203から出力されたアナログの画像信号をデジタルの画像信号に変換する。
 静止画又は動画の撮像時に撮像素子201、アナログ信号処理部203、及びA/D変換器204を介して出力されるRGBの画素毎の画像データ(モザイク画像データ)は、画像入力コントローラ205からRAM207に入力され、一時的に記憶される。なお、撮像素子201がCMOS型撮像素子である場合、アナログ信号処理部203及びA/D変換器204は、撮像素子201内に内蔵されていることが多い。
 画像信号処理部206は、RAM207に格納されている画像データに対して、各種のデジタル信号処理を施す。画像信号処理部206は、RAM207に記憶されている画像データを適宜読み出し、補完処理、色補正処理、ノイズ低減処理、ホワイトバランス処理、γ補正処理、及びYCrCb変換処理等の信号処理を行い、信号処理後の画像データを再びRAM207に記憶させる。
 圧縮伸張処理部208は、静止画又は動画の記録時に、一旦、RAM207に格納された非圧縮の輝度データY及び色差データCb,Crに対して圧縮処理を施す。静止画の場合には、例えばJPEG(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばH.264形式で圧縮する。圧縮伸張処理部208により圧縮された画像データは、メディア制御部210を介してメモリカード212に記録される。また、圧縮伸張処理部208は、再生モード時にメディア制御部210を介してメモリカード212から得た圧縮された画像データに対して伸張処理を施し、非圧縮の画像データを生成する。
 メディア制御部210は、圧縮伸張処理部208で圧縮された画像データを、メモリカード212に記録する制御を行う。また、メディア制御部210は、メモリカード212から、圧縮された画像データを読み出す制御を行う。
 表示制御部214は、RAM207に格納されている非圧縮の画像データを、モニタ216に表示させる制御を行う。モニタ216は、例えば液晶表示デバイス、有機エレクトロルミネッセンスなどの表示デバイスによって構成されている。
 モニタ216にライブビュー画像を表示させる場合には、画像信号処理部206で連続的に生成されたデジタルの画像信号が、RAM207に一時的に記憶される。表示制御部214は、このRAM207に一時記憶されたデジタルの画像信号を表示用の信号形式に変換して、モニタ216に順次出力する。これにより、モニタ216に撮像画像がリアルタイムに表示され、モニタ216を電子ビューファインダーとして使用することができる。
 シャッターレリーズボタン22は、撮像開始の指示を入力するための操作手段であり、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成されている。
 静止画撮像モードの場合、シャッターレリーズボタン22が半押しされることによってS1オンの信号、半押しからさらに押し込む全押しがされることによってS2オンの信号が出力され、S1オン信号が出力されると、カメラ本体200は、自動焦点調節(AF処理)や自動露出制御(AE処理)などの撮像準備処理を実行し、S2オン信号が出力されると、静止画の撮像処理及び記録処理を実行する。なお、AF処理及びAE処理は、それぞれ操作部222によりオートモードが設定されている場合に自動的に行われ、マニュアルモードが設定されている場合には、AF処理及びAE処理が行われないことは言うまでもない。
 また、動画撮像モードの場合、シャッターレリーズボタン22が全押しされることによってS2オンの信号が出力されると、カメラ本体200は、動画の記録を開始する動画記録モードになり、動画の画像処理及び記録処理を実行し、その後、シャッターレリーズボタン22が再び全押しされることによってS2オンの信号が出力されると、カメラ本体200は、スタンバイ状態になり、動画の記録処理を一時停止する。
 なお、シャッターレリーズボタン22は半押しと全押しとからなる2段ストローク式のスイッチの形態に限られず、1回の操作でS1オンの信号、S2オンの信号を出力しても良く、それぞれ個別のスイッチを設けてS1オンの信号、S2オンの信号を出力しても良い。
 また、タッチ式パネル等により操作指示を行う形態では、これら操作手段としてタッチ式パネルの画面に表示される操作指示に対応する領域をタッチすることで操作指示を出力するようにしても良く、撮像準備処理や撮像処理を指示するものであれば操作手段の形態はこれらに限られない。
 撮像により取得された静止画又は動画は、圧縮伸張処理部208により圧縮され、圧縮された画像データは、撮像日時、GPS情報、撮像条件(F値、シャッタースピード、ISO感度等)の所要の付属情報が付加された画像ファイルとされた後、メディア制御部210を介してメモリカード212に格納される。
 本体側CPU220は、カメラ本体200全体の動作及び交換レンズユニット100の光学部材の駆動等を統括制御するもので、シャッターレリーズボタン22を含む操作部222等からの入力に基づき、カメラ本体200の各部及び交換レンズユニット100を制御する。
 時計部224は、タイマとして、本体側CPU220からの指令に基づいて時間を計測する。また、時計部224は、カレンダとして、現在の年月日及び時刻を計測する。
 フラッシュROM226は、読み取り及び書き込みが可能な不揮発性メモリであり、設定情報を記憶する。
 ROM228には、本体側CPU220が実行するカメラ制御プログラム、撮像素子201の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されている。本体側CPU220は、ROM228に格納されたカメラ制御プログラムに従い、RAM207を作業領域としながらカメラ本体200の各部、及び交換レンズユニット100を制御する。
 AF制御部230は、デジタルの画像信号に基づいて、AF制御に必要な数値を算出する。いわゆるコントラストAFの場合、例えば所定のAFエリア内におけるG信号の高周波成分の積算値(焦点評価値)を算出する。本体側CPU220は、AF制御時に焦点評価値が最大となる位置(即ち、コントラストが最大になる位置)にフォーカスレンズ106を移動させる。なお、AFは、コントラストAFには限定されず、例えば、撮像素子に設けられた位相差検出用画素の画素データに基づいてデフォーカス量を検出し、このデフォーカス量がゼロになるようにフォーカスレンズ106を移動させる位相差AFを行うものでもよい。
 AE制御部232は、被写体の明るさ(被写体輝度)を検出する部分であり、被写体輝度に対応するAE制御及びAWB(Auto White Balance)制御に必要な数値(露出値(EV値(exposure value)))を算出する。AE制御部232は、撮像素子201を介して取得した画像の輝度、画像の輝度の取得時のシャッタースピード及びF値によりEV値を算出する。
 本体側CPU220は、AE制御部232から得たEV値に基づいて所定のプログラム線図からF値、シャッタースピード及びISO感度を決定し、AE制御を行うことができる。
 無線通信部236は、Wi-Fi(Wireless Fidelity)(登録商標)、Bluetooth(登録商標)等の規格の近距離無線通信を行う部分であり、周辺のデジタル機器(スマートフォン、等の携帯端末)との間で必要な情報の送受信を行う。
 GPS受信部238は、本体側CPU220の指示に従って、複数のGPS衛星から送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、カメラ本体200の緯度、経度、及び高度からなるGPS情報を取得する。取得されたGPS情報は、撮像された画像の撮像位置を示す付属情報として画像ファイルのヘッダーに記録することができる。
 電源制御部240は、本体側CPU220の指令に従って、バッテリ242から供給される電源電圧をカメラ本体200の各部に与える。また、電源制御部240は、本体側CPU220の指令に従って、本体マウント260及びレンズマウント160を介して、バッテリ242から供給される電源電圧を交換レンズユニット100の各部に与える。
 レンズ電源スイッチ244は、本体側CPU220の指令に従って、本体マウント260及びレンズマウント160を介して交換レンズユニット100に与える電源電圧のオン及びオフの切り替えとレベルの切り替えを行う。
 本体側通信部250は、本体側CPU220の指令に従って、本体マウント260及びレンズマウント160を介して接続された交換レンズユニット100のレンズ側通信部150との間で、リクエスト信号、回答信号の送受信(双方向通信)を行う。なお、本体マウント260には、図1に示すように複数の端子260Aが設けられており、交換レンズユニット100がカメラ本体200に装着(レンズマウント160と本体マウント260とが接続)されると、本体マウント260に設けられた複数の端子260A(図1)と、レンズマウント160に設けられた複数の端子(図示せず)とが電気的に接続され、本体側通信部250とレンズ側通信部150との間で双方向通信が可能になる。
 内蔵フラッシュ30(図1)は、例えば、TTL(Through The Lens)自動調光方式のフラッシュであり、フラッシュ発光部270と、フラッシュ制御部272とから構成されている。
 フラッシュ制御部272は、フラッシュ発光部270から発光するフラッシュ光の発光量(ガイドナンバー)を調整する機能を有する。即ち、フラッシュ制御部272は、本体側CPU220からのフラッシュ撮像指示に同期してフラッシュ発光部270を発光させ、交換レンズユニット100の撮像光学系102を介して入射する反射光(周囲光を含む)の測光を開始し、測光値が標準露出値に達すると、フラッシュ発光部270からのフラッシュ光の発光を停止させる。
 次に、図面を参照して、既知交換レンズユニット100A、及び未知交換レンズユニット100Bを利用して画像を撮像する場合について説明する。図4は、色補正で用いる機能ブロックを抜き出したブロック図である。
 図4に示されるよう、既知交換レンズユニット100Aは、カメラ本体200の本体マウント260に装着可能なレンズマウント160Aを備える。また、カメラ本体200に交換可能に装着される未知交換レンズユニット100Bは、本体マウント260に装着可能なレンズマウント160Bを備える。
 本体側CPU220は、既知交換レンズユニット100Aの色補正情報に基づいて像高毎の補正値を算出するため、既知補正量算出部220Aを備える。既知補正量算出部220Aは、既知交換レンズユニット100Aの色補正情報に基づき、例えば、撮像素子201(不図示)の像高毎の色補正量を各RGBについて算出する。算出された各色補正量(Ra、Ga、Ba)は、例えば、色補正量テーブルの形式で、RAM207(不図示)に記憶される。
 本体側CPU220は、未知交換レンズユニット100Bを使用した際の像高毎の色補正量を算出するための補正量算出部220Bを備える。補正量算出部220Bは、既知交換レンズユニット100Aを介して、被写体を撮像した基準画像と、未知交換レンズユニット100Bを介して、基準画像と同一の被写体を、異なる像高位置で撮像素子201により撮像した複数の比較画像とのRGB強度の差分から、未知交換レンズユニット100Bに対応する像高毎の色補正量を算出する。
 補正量算出部220Bは、例えば、基準画像と比較画像とを取得する。補正量算出部220Bは、色補正量を算出するのに必要とされる撮像素子201の像高データを取得できた否かを判断する。像高データが不足する場合、例えば、警告信号を出力できる。
 補正量算出部220Bは、例えば、基準画像と比較画像との類似度を判断する。類似度が高い場合、基準画像と比較画像とRGB強度の差分を算出する。一方、基準画像と比較画像との類似度が低い場合、比較画像が存在しないと判断し、例えば、警告信号を出力できる。類似度は、公知の画像処理技術を適用でき、類似度は適宜設定できる。
 補正量算出部220Bは、基準画像と比較画像の画像同士の位置を合わせて両者の差分を演算し、RGB強度の差分の情報を生成する。RGB強度の差分の情報に基づいて、各像高に各RGBの色補正量(Ra、Ga、Ba)を算出する。算出された色補正量(Ra、Ga、Ba)は、例えば、色補正量テーブルの形式で作成され、RAM207等に記憶される。
 画像信号処理部206は、補完処理部206A、色補正部206B、ノイズ低減処理部206C、ホワイトバランス(WB)処理部206D、γ補正処理部206E、及びYC変換部206Fを備える。
 補完処理部206Aは、撮像素子201から画像を得られず空白データとなる画素に対し、補完処理をする。補完処理は、空白データとなる画素の周辺の画素から情報を取得し、次いでその情報に基づいて演算し、演算された画像情報で空白データを補完する。
 色補正部206Bは、算出された色補正量に応じて画像に色補正する。色補正は、画像の画素毎のRGBデータ(画像データ)に、算出された色補正量(Ra、Ga、Ba)、又は色補正量(Ra、Ga、Ba)を演算することで色補正を行う。
 ノイズ低減処理部206Cは、ローパスフィルタ等のノイズ低減フィルタを用いて、画像に対してノイズ低減処理を行う。
 ホワイトバランス処理部206Dは、RGBの色毎に設定されたWB(ホワイトバランス)ゲインを、それぞれRGBデータに乗算し、RGBデータのホワイトバランス補正を行う。WBゲインは、例えば、RGBデータに基づいて光源種が自動的に判定され、あるいは手動による光源種が選択されるとし、判定又は選択された光源種に適したWBゲインが設定されるが、WBゲインの設定方法は、これに限らず、他の公知の方法により設定することができる。
 γ補正処理部206Eは、ディスプレイ装置により画像が自然に再現されるように画像に対して非線形補正を行う。
 YC変換部206Fは、画像のRGBデータを、輝度データY及び色差データCr、Cbに変換するYC変換処理を行う。
 既知交換レンズユニット100Aがカメラ本体200に装着される場合を説明する。本体側CPU220は、本体側通信部250を制御することにより、装着された既知交換レンズユニット100Aから色補正情報を、レンズマウント160A及び本体マウント260を介して取得する。既知の色補正情報に基づいて、像高毎の色補正量が算出され、色補正量は、例えば、色補正量テーブルの形式で作成される。
 図5は、既知交換レンズユニット100Aを介してカメラ本体200の撮像素子201により被写体Sを撮像した画像Iの一例を示す。図5に示されるように、画像Iは、像高0、像高1、像高2、及び像高3の4つの像高位置にグループ分けされている。画像Iは像高位置(像高0~像高3)毎に、色補正量が算出されている。像高は、像高0、像高1、像高2、及び像高3に限定されない。画像Iは、色補正量に基づいて色補正された後の画像である。
 例えば、像高0から像高3のそれぞれのRGB強度を、像高0(R,G,B)=(1:1:1)、像高1(R,G,B)=(1:1:2)、像高2(R,G,B)=(1:1:3)、及び像高3(R,G,B)=(1:1:4)である場合、色補正量は以下となる。
 像高0では、色補正量(Ra、Ga、Ba)=(0:0:0)となる。像高1では色補正量(Ra、Ga、Ba)=(0:0:-1)、像高2では色補正量(Ra、Ga、Ba)=(0:0:-2)、像高3では色補正量(Ra、Ga、Ba)=(0:0:-3)と算出される。こられの色補正量は、既知交換レンズユニット100Aの色補正情報に基づいて取得される。像高1から像高3の位置で取得された画像に対して、色補正部206Bは像高毎の色補正量に基づいて画像Iを色補正する。補正後の画像IのRGB強度は、像高0(R,G,B)=(1:1:1)、像高1(R,G,B)=(1:1:1)、像高2(R,G,B)=(1:1:1)、及び像高3(R,G,B)=(1:1:1)となる。
 次に、未知交換レンズユニット100Bをカメラ本体200に装着して撮像する撮像方法(撮像工程)を、図6のフローチャートに基づいて説明する。
 図6において、カメラ本体200のモニタ216に像高に対する色補正モードを表示させる(ステップS10)。
 次に、未知交換レンズユニット100Bを装着した際に、色補正モードを実施するか否かを選択する(ステップS12)。
 ステップS12で、「色補正モードを実施しない」を選択すると(Noの場合)、既知交換レンズユニット100Aをカメラ本体200から取り外し、未知交換レンズユニット100Bをカメラ本体200に装着する(ステップS14)。像高に対する色補正モードを終える。
 ステップS12でNoの場合、モニタ216は、例えば、既知交換レンズユニット100Aを未知交換レンズユニット100Bに変更する指示を表示することができる。指示に従い、ユーザーがステップS14を実行する。
 ステップS12で、「色補正モードを実施する」を選択すると(Yesの場合)、既知交換レンズユニット100Aを装着したカメラ本体200により、色補正の基準画像にするための被写体を撮像する。「色補正モードを実施する」を選択すると(Yesの場合)、モニタ216は、基準画像の取得を促す指示を表示することができる。
 取得した画像の中から色補正の基準となる画像の部分を選択し、基準画像を取得する(ステップS16)。図7は、基準画像RIの取得を説明するための図である。図7に示されるように、既知交換レンズユニット100Aを介して取得された画像Iが、例えばモニタ216に表示される。画像Iの中から、色補正の基準となる被写体の画像が基準画像RI(四角の点線で囲まれた領域)として選択される。選択は、モニタ216に表示された画像Iから基準画像RIを、ユーザーが指でなぞることで行うことができ、又はモニタ216の上に表示されるフレームを基準画像RIに移動させることで行うことができる。
 基準画像RIは、既知交換レンズユニット100Aを介して取得された画像から、選択できればよい。カメラ本体200は、既知交換レンズユニット100Aを介して、他の撮像装置(カメラ本体200以外の撮像装置)で取得された画像を、基準画像RIとして取得することができる。
 基準画像RIの取得を終えると、モニタ216は、例えば、既知交換レンズユニット100Aを未知交換レンズユニット100Bに変更する指示を表示するができる。
 図6に示されるように、既知交換レンズユニット100Aをカメラ本体200から取り外し、未知交換レンズユニット100Bをカメラ本体200に装着する(ステップS18)。
 未知交換レンズユニット100Bをカメラ本体200に装着されると、モニタ216は、例えば、比較画像の取得を促す指示を表示する。
 未知交換レンズユニット100Bを装着したカメラ本体200により、複数の比較画像を取得する(ステップS20)。ステップS20では,基準画像RIと同一の被写体Sを異なる像高位置でカメラ本体200の撮像素子201により撮像し、複数の比較画像CIを取得する。図8は、比較画像CI、CI、及びCIの取得を説明するため図である。図8に示されるように、比較画像CIは、被写体Sを撮像素子201(不図示)の中央の像高位置で撮像することにより取得される。比較画像CIは、被写体Sを撮像素子201の中央から少し離れた像高位置で撮像することにより取得される。比較画像CIは、被写体Sを撮像素子201の中央から最も離れた像高位置で撮像することにより取得される。図8では、中央の像高位置から最も離れた像高位置の順で、比較画像CI、CI、及びCIを取得する場合を説明したが、比較画像を取得する順は特に限定されない。
 次に、図6に示されるように、比較画像を取得後、色補正量を算出するための像高データが十分か判断される(ステップS22)。像高データが十分でない場合(Noの場合)、比較画像の取得(ステップS20)を繰り返す。像高データが十分でない場合、モニタ216は、例えば、比較画像の取得を促す指示を表示できる。
 上述したように、複数の比較画像は、撮像素子201の異なる像高位置で撮像される。異なる像高位置について比較画像を取得する場合について、図9を参照して説明する。異なる像高位置の比較画像とは、画像の中心から、画像の何れかの頂点を結ぶ直線Lの上の画素を含み、複数で構成される画像である。なお、画像と撮像素子201とは対応し、画像の中心は、撮像素子201の受光面の中心と基本的に一致する。
 図9は、複数の比較画像を取得する場合の例を示す。図9の9Aは2個の比較画像CI、及びCI、を取得する場合を示す。9Aの比較画像CI、及びCIは直線Lの上の画素を含んでいる。図9の9Bは3個の比較画像CI、CI、及びCIを取得する場合を示す。9Bの比較画像CI、CI、及びCIは直線Lの上の画素を含んでいる。図9の9Cは4個の比較画像CI、CI、CI、及びCIを取得する場合を示す。9Cの比較画像CI、CI、CI、及びCIは直線Lの上の画素を含んでいる。
 図9では、比較画像が直線Lの上の画素を全て含む場合を例示したが、比較画像は、少なくとも直線Lの上の画素の85%を含ませることで、色補正に必要な像高位置でのデータを取得できる。なお、図9では、比較画像CI、CI、CI、及びCIが、同時に表示されているが、比較画像CI、CI、CI、及びCIは、像高毎に順次撮像され、取得される。
 比較画像を取得する際、モニタ216に、比較画像を取得する像高位置を示すフレームを表示させることが好ましい。表示されたフレームは、ユーザーが比較画像を取得することを容易にする。
 図6に示されるように、像高データが十分である場合(Yesの場合)、色補正量を算出する(ステップS24)。基準画像と比較画像の画像同士の位置を合わせて両者の差分から、各像高に各RGBの色補正量(Ra、Ga、Ba)が算出される。色補正量を算出するステップS24が、補正量算出ステップに相当する。
 図10は、未知交換レンズユニット100Bを介して取得された画像であって、色補正を実行する前の画像の概念図である。図10に示されように、未知交換レンズユニット100Bを介して取得された画像は、画像の中心から像高毎(像高0から像高3)に異なるRGB強度となるレンズ特性を持つ。未知交換レンズユニット100Bに関して、像高0から像高3のそれぞれのRGB強度が、像高0(R,G,B)=(1:1:1)、像高1(R,G,B)=(1:1:2)、像高2(R,G,B)=(1:1:3)、及び像高3(R,G,B)=(1:1:4)の場合、色補正量は以下となる。
 像高0では、色補正量(Ra、Ga、Ba)=(0:0:0)となる。像高1では色補正量(Ra、Ga、Ba)=(0:0:-1)、像高2では色補正量(Ra、Ga、Ba)=(0:0:-2)、像高3では色補正量(Ra、Ga、Ba)=(0:0:-3)と算出される。こられの色補正量は、既知交換レンズユニット100Aを介して取得された基準画像と、未知交換レンズユニット100Bから取得された比較画像と、から算出される。
 図9は、異なる像高位置の比較画像を取得する際、画像の中心から画像の何れかの頂点を結ぶ直線Lの上の画像を取得することを示す。この比較画像の取得手順は、未知交換レンズユニット100Bが、図10に示されるように、画像の中心から像高毎に異なるRGB強度となるレンズ特性を持つことを前提とする。RGB強度の等しい領域と像高位置とが一致する。このレンズ特性であれば、比較画像を取得していない領域での各像高位置に対する色補正量は、取得された色補正量と画像の中心からの距離に基づいて推定できる。比較画像の枚数が少ない場合でも、画像の全域が色補正の適用を受けることができる。
 なお、図10では、未知交換レンズユニット100Bを介して撮像された画像が、像高0から像高3を持つ特性としたが、像高位置は像高0から像高3の範囲に限定されない。画像の像高位置は、適宜変更することが取得された比較画像から算出できる。
 図6に示されるように、色補正を実行する(ステップS26)。色補正は、未知交換レンズユニット100Bを介して取得される画像(静止画像、及びスルー画像を含む)に実行される。例えば、未知交換レンズユニット100Bを介して基準画像と同一の被写体を撮像する場合、色補正が適用された画像は、図5で示される画像と同様の色味になる。色補正を実行するステップS26が、補正ステップに相当する。
 次に、第1の実施形態の好ましい態様について説明する。
 図11は、図10とは異なる光学特性を持つ未知交換レンズユニット100Bを介して撮像された画像であって、色補正を実行する前の画像の概念図である。11Aの画像には、RGB強度の等しい領域(AR0からAR3)が表示されている。RGB強度は、AR0(R:G:B)=(1:1:1)、AR1(R:G:B)=(1:1:2)、AR2(R:G:B)=(1:1:3)、及びAR3(R:G:B)=(1:1:4)である。さらに、11Aの画像には、図10に対応する像高位置(像高0から像高3)が表示されている。11Aの画像では、像高位置とRGB強度の等しい領域とが対応してない。
 この光学特性を持つ未知交換レンズユニット100Bでは、比較画像を取得する際、画像の中心から画像の何れかの頂点を結ぶ直線Lの上の画像を取得するだけでは十分でない場合がある。比較画像を取得していない像高位置の色補正量が、取得された色補正量と画像の中心からの距離に基づいて推定できない場合もあるからである。
 11Aの光学特性の未知交換レンズユニット100Bの場合、比較画像を取得する際、11Bに示すように、例えば、画像を4×7=28に分割した画角内の各位置の領域で比較画像CIから比較画像CI28(比較画像CI以外は不図示)を取得し、各領域の色補正量を算出する。算出された各領域の色補正量が、未知交換レンズユニット100Bを介して取得された画像において、画角内の各位置の応じた色補正を可能にする。比較画像を取得する際、モニタ216に領域に対応するフレームを表示することが好ましい。フレームは、ユーザーが複数の比較画像を撮像することを容易にする。なお、画像を4×7に分割する場合を示したが、画角内の各位置の領域の数は特に限定されない。
 図11に示す比較画像の取得は、例えば、図6に示されるように、色補正の実行(ステップS26)後に行われる。色補正の実行(ステップS26)後に、ユーザーが、未知交換レンズユニット100Bを介して取得された画像を確認し、取得された画像の色味が正しいか判断する(ステップS28)。ステップS28で色味が正しくない場合(Noの場合)、比較画像を取得する(ステップS20)に戻る。但し、色味が正しくない場合の後のステップS20では、図9に示される比較画像の取得から、図11に示される比較画像の取得に変更される。ステップS28で色味が正しい場合(Yesの場合)、未知交換レンズユニット100Bを介して画像を継続して取得する。
 次に、未知交換レンズユニット100Bで取得された画像に対して、色補正を実行する領域について説明する。図12は、未知交換レンズユニット100Bを介して取得された画像に色補正を実行した後の状態を示す。図12に示されるように、像高0から像高2については、色補正が実行されている。一方、像高3については、色補正が実行されていない。未知交換レンズユニット100Bについて色補正量が算出されると、ユーザーは、色補正を実行する像高位置に応じて任意に選択できる。像高0から像高2を既知交換レンズユニット100Aの色味に合わせ、像高3を未知交換レンズユニット100Bの色味を残すことで、ユーザーは、嗜好に応じた最適な画像を取得することができる。
 未知交換レンズユニット100Bが図10に示される光学特性である場合、図12の画像を得るには、色補正量は、像高0では色補正量(Ra、Ga、Ba)=(0:0:0)、像高1では色補正量(Ra、Ga、Ba)=(0:0:-1)、像高2では色補正量(Ra、Ga、Ba)=(0:0:-2)、像高3では色補正量(Ra、Ga、Ba)=(0:0:0)となる。
 さらに、ユーザーは、像高位置に応じて、色補正量を変更することができる。例えば、ユーザーは、像高0では色補正量(Ra、Ga、Ba)=(0:0:0)、像高1では色補正量(Ra、Ga、Ba)=(0:0:-0.5)、像高2では色補正量(Ra、Ga、Ba)=(0:0:-1)、像高3では色補正量(Ra、Ga、Ba)=(0:0:-1.5)に設定できる。未知交換レンズユニット100Bの色味を残しつつ、既知交換レンズユニット100Aの色味に近づけることができるので、ユーザーは、嗜好に応じた最適な画像を取得することができる。
 次に、未知交換レンズユニット100Bで取得された画像に対して、色補正を実行する領域について別の態様を説明する。別の態様では、像高位置ではなく、被写体と背景とのRGB強度の差分に応じて色補正量を変更することができる。例えば、被写体と背景とのRGB強度の差分、いわゆる被写体と背景と色味に応じて色補正量が変更できる。色補正量を、ユーザーが任意に設定する。例えば、被写体と背景と色味が近い又は離れている場合に、ユーザーが被写体と背景の何れかの色補正量を大きく、又は小さく設定できる。また、被写体と背景とのRGB強度の差分に閾値を設定できる。閾値に応じて色補正量を変更することができる。
 さらに、画像内での被写体と背景の表示の大きさに応じて色補正量を変更できる。例えば、背景に対して被写体の表示が小さい場合には色補正量を小さくし、背景に対して被写体の表示が大きい場合には色補正量を大きくする等の設定ができる。被写体と背景の表示の大きさと色補正量との関係は、上記に限定されず、適宜設定できる。
 次に、別の好ましい態様について説明する。別の好ましい態様では、常に、色補正量を算出し、色補正を実行する。図面を参照して以下に説明する。
 図13は、未知交換レンズユニット100Bを介して、基準画像と同一の被写体Sをワイド端(広角端)で撮像した画像WIの一例を示す。図13に示される画像WIは、既に算出された色補正量に応じて、色補正を実行した後の画像である。色補正量は、例えば、ワイド端の状態の未知交換レンズユニット100Bを介して取得された比較画像を利用して取得される。被写体Sを撮像した画像WIには、適正な色補正が実行される。
 図14は、未知交換レンズユニット100Bを介して、基準画像と同一の被写体Sをテレ端(望遠端)で撮像した画像TIの一例を示す。未知交換レンズユニット100Bをワイド端からテレ端の位置にすると画角が変わる。テレ端の位置の未知交換レンズユニット100Bは、像高位置における色補正量を取得されていない。色補正量の未取得のため、未知交換レンズユニット100Bを介して取得された画像は、色補正が実行されていない状態となる。例えば、像高0から像高3のそれぞれのRGB強度が、像高0(R,G,B)=(1:1:1)、像高1(R,G,B)=(1:1:2)、像高2(R,G,B)=(1:1:3)、及び像高3(R,G,B)=(1:1:4)である。
 補正量算出部220Bは、被写体SのRGB強度が変化したことを検知すると、画像TIの画像中の被写体Sを比較画像CIとする。補正量算出部220Bは、基準画像RI(不図示)と比較画像CIとのRGB強度の差分から、未知交換レンズユニット100Bに対応する像高毎の色補正量を算出する。「RGB強度の差分を常に算出する」は、RGB強度の変化の有無を連続して検知し、RGB強度の差分を算出することを意味する。
 図15は、図14の画像に色補正が実行された画像TIを示す。図15に示されるように、テレ端位置の未知交換レンズユニット100Bを介して取得された画像は、色補正が実行されている。未知交換レンズユニット100Bがズームレンズである場合、特に有効に色補正を実行できる。
 さらに、別の好ましい態様について説明する。別の好ましい対応では、補正量算出部220B(不図示)は、異なる像高位置で撮像素子201(不図示)により撮像された複数の画像がカメラ本体200内に存在しない場合は撮像を促す警告を出力することができる。
 色補正量を算出する際に、比較画像が必要となる。仮に、異なる像高位置で撮像素子201(不図示)により撮像した複数の画像が、比較画像として存在しない場合、色補正量を算出できない。補正量算出部220Bは撮像を促す警告を出力し、例えば、モニタ216は、比較画像の取得を促す文字等を表示する。撮像した複数の画像がカメラ本体200内に存在しない場合とは、撮像した複数の画像が何らかの理由でカメラ本体200内に記憶されていない場合、撮像した複数の画像が比較画像としてカメラ本体200内に記憶されているが、取得画像が基準画像と対比できない場合を含む。取得画像が基準画像と対比できない場合とは、取得画像と基準画像との類似度が低い場合、又は取得画像の焦点がずれている場合等が含まれる。
 (第2の実施形態)
 第2の実施形態の撮像装置は、色補正情報が未知の交換レンズユニットを使用する際に、色補正情報が既知の交換レンズユニットの色味に合わせないで、色補正する撮像装置である。以下、第2の実施形態の撮像装置について説明する。なお、第1の実施形態と共通する構成について、説明を省略する場合がある。
 第2の実施形態の撮像装置は、色補正量の算出する態様が第1の実施形態とは異なる。図16は、色補正で用いる機能ブロックを抜き出したブロック図である。図16に示されるように、本体側CPU220は、第1の実施形態と異なる補正量算出部220Cを備える。また、既知交換レンズユニット100A(不図示)に色味を合わせないので、未知交換レンズユニット100Bのみでの色補正が可能である。
 補正量算出部220Cは、未知交換レンズユニット100Bを介して、カメラ本体200が備える撮像素子201により被写体を中央領域で撮像した基準画像と、被写体を撮像素子201の中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、未知交換レンズユニット100Bの像高毎の色補正量を算出する。
 補正量算出部220Cは、例えば、基準画像と比較画像とを取得する。補正量算出部220Cは、色補正量を算出するのに必要とされる撮像素子201の像高データを取得できた否かを判断する。像高データが不足する場合、例えば、警告信号を出力できる。
 補正量算出部220Cは、例えば、基準画像と比較画像との類似度を判断する。類似度が高い場合、基準画像と比較画像とRGB強度の差分を算出する。一方、基準画像と比較画像との類似度が低い場合、比較画像が存在しないと判断し、例えば、警告信号を出力できる。
 補正量算出部220Cは、基準画像と比較画像の画像同士の位置を合わせて両者の差分を演算し、RGB強度の差分の情報を生成する。RGB強度の差分の情報に基づいて、各像高に各RGBの色補正量(Ra、Ga、Ba)を算出する。算出された色補正量(Ra、Ga、Ba)は、例えば、色補正量テーブルの形式で作成され、RAM207等に記憶される。
 次に、未知交換レンズユニット100Bをカメラ本体200に装着して撮像する撮像方法(撮像工程)を、図17のフローチャートに基づいて説明する。
 図17において、カメラ本体200のモニタ216に像高に対する色補正モードを表示させる(ステップS110)。色補正モードを表示させると、モニタ216は、例えば、既知交換レンズユニット100Aを未知交換レンズユニット100Bに変更する指示を表示することができる。
 未知交換レンズユニット100Bをカメラ本体200に装着する(ステップS112)。次に、未知交換レンズユニット100Bを装着した際に、色補正モードを実施するか否かを選択する(ステップS114)。ステップS114で、「色補正モードを実施しない」を選択すると(Noの場合)、色補正モードを終える。
 ステップS114で、「色補正モードを実施する」を選択すると(Yesの場合)、未知交換レンズユニット100Bを装着したカメラ本体200により、色補正の基準画像にするための被写体を撮像する。
 未知交換レンズユニット100Bを介して、カメラ本体200が備える撮像素子201により被写体を中央領域で撮像した画像を、基準画像として取得する(ステップS116)。
 次いで、未知交換レンズユニット100Bを介して、カメラ本体200が備える撮像素子201の中央領域を除く像高位置で基準画像と同一の被写体を撮像した画像を、比較画像として取得する(ステップS118)。
 図18は、基準画像RI、比較画像CI、及びCIの取得を説明するための図である。基準画像RI、比較画像CI、及びCIは、未知交換レンズユニット100Bを介して取得される。図18に示されるように、基準画像RIは、被写体Sを撮像素子201の中央領域で撮像することにより取得される。中央領域で撮像とは、少なくとも撮像素子201の受光面中心を含んでいればよい。比較画像CIは、撮像素子201の中央領域を除く像高位置で撮像することにより取得される。また、比較画像CIは、撮像素子201の中央領域を除く像高位置であって、比較画像CIとは異なる像高位置で撮像することにより取得される。
 次に、図19を参照して、基準画像と比較画像を取得する場合を説明する。19Aは、中央領域で基準画像RIが取得され、中央領域以外の像高位置で1個の比較画像CIが取得される場合である。19Bは、中央領域で基準画像RIが取得され、中央領域以外の像高位置で2個の比較画像CI、及びCIが取得される場合である。19Cは、中央領域で基準画像RIが取得され、中央領域以外の像高位置で3個の比較画像CI、CI、及びCIが取得される場合である。
 図19に示されるように、基準画像と比較画像とを合わせた場合、画像の中心と画像の何れかの頂点を結ぶ直線Lの画素を含むことが好ましい。図19では、基準画像と比較画像とを合わせた場合に、直線Lの上の画素を全て含む場合を例示したが、少なくとも直線Lの上の画素の85%を含ませることで、色補正に必要な像高位置でのデータを取得できる。
 ステップS114で、「色補正モードを実施する」を選択すると(Yesの場合)、基準画像、及び比較画像を取得する際、モニタ216に、基準画像、及び比較画像を取得する位置を示すフレームを表示させることが好ましい。表示されたフレームは、ユーザーが比較画像を取得することを容易にする。
 次に、図17に示されるように、比較画像を取得後、色補正量を算出するための像高データが十分か判断される(ステップS120)。像高データが十分でない場合(Noの場合)、比較画像の取得(ステップS118)を繰り返す。像高データが十分でない場合、モニタ216は、例えば、比較画像の取得を促す指示を表示できる。
 像高データが十分である場合(Yesの場合)、色補正量を算出する(ステップS122)。基準画像と比較画像の画像同士の位置を合わせて両者の差分から、各像高に各RGBの色補正量(Ra、Ga、Ba)が算出される。色補正量を算出するステップS122が、補正量算出ステップに相当する。
 図17に示されるように、色補正を実行する(ステップS124)。色補正は、未知交換レンズユニット100Bを介して取得される画像(静止画像、及びスルー画像を含む)に実行される。例えば、第2の実施形態では、画像の中央領域が基準画像とされるので、画像全体の色味(RGB強度)は、画像の中央領域の色味になる。色補正を実行するステップS124が、補正ステップに相当する。
 次に、第2の実施形態について好ましい態様について説明する。なお、第2の実施形態においても、第1の実施形態と同様の好ましい態様を実施することができる。
 図17に示されるように、色補正の実行(ステップS124)後に、取得された画像の色味が正しいか判断する(ステップS126)。ステップS126で色味が正しくない場合(Noの場合)、比較画像を取得する(ステップS118)に戻る。但し、色味が正しくない場合の後のステップS118では、図11に示されるのと同様の比較画像の取得に変更される。なお、第2の実施形態では、分割された領域の中で基準画像を取得した領域を除いて、比較画像が取得される。
 第1の実施形態と同様に、色補正を実行する像高位置を任意に選択できる。像高位置に応じて、色補正量を変更することもできる。別の態様では、像高位置ではなく、被写体と背景とのRGB強度の差分に、いわゆる被写体と背景と色味に応じて色補正量を変更することができる。画像内での被写体と背景の表示の大きさに応じて色補正量を変更できる。
 未知交換レンズユニット100Bの色補正量が算出されると、色補正を実行する領域、色補正量、被写体と背景の色味及び表示の大きさと、適宜変更が可能になる。
 また、第1の実施形態と同様に、例えば、未知交換レンズユニット100Bがズームレンズである場合、第2の実施形態でも、常に、色補正量を算出し、色補正を実行することができる。
 また、第1の実施形態と同様に、補正量算出部220B(不図示)は、基準画像と異なる像高位置で撮像素子201(不図示)により撮像した画像がカメラ本体200内に存在しない場合は撮像を促す警告を出力することができる。
 (第3の実施形態)
 第3の実施形態は、色補正に関して、色補正情報が未知の交換レンズユニットを使用する際に、色補正情報が既知の交換レンズユニットの色味に合わせる第1の実施形態と、色補正情報が既知の交換レンズユニットの色味に合わせない第2の実施形態とを任意に選択できる撮像装置である。
 以下、第3の実施形態の撮像装置について説明する。なお、第1の実施形態、及び第2の実施形態と共通する構成について、説明を省略する場合がある。
 第3の実施形態の撮像装置は、色補正量の算出する態様が第1の実施形態、及び第2の実施形態とは異なる。図20は、色補正で用いる機能ブロックを抜き出したブロック図である。図20に示されるように、本体側CPU220は、補正量算出部220Bと補正量算出部220Cの2個の補正量算出部を備える。また、既知交換レンズユニット100A(不図示)に色味を合わせないので、未知交換レンズユニット100Bのみでの色補正が可能である。
 補正量算出部220Bは、既知交換レンズユニット100Aを介して、被写体を撮像した基準画像と、未知交換レンズユニット100Bを介して、基準画像と同一の被写体を、異なる像高位置で撮像素子201により撮像した複数の比較画像とのRGB強度の差分から、未知交換レンズユニット100Bに対応する像高毎の色補正量を算出する。
 補正量算出部220Cは、未知交換レンズユニット100Bを介して、カメラ本体200が備える撮像素子201により被写体を中央領域で撮像した基準画像と、被写体を撮像素子201の中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、未知交換レンズユニット100Bの像高毎の色補正量を算出する。
 図20のブロック図では、補正量算出部220B、及び補正量算出部220Cを備えることを例示した。これに限定されることなく、単一の補正量算出部に補正量算出部220B、及び補正量算出部220Cと同様の色補正量を算出することは可能である。
 次に、未知交換レンズユニット100Bをカメラ本体200に装着して撮像する撮像方法を(撮像工程)、図21のフローチャートに基づいて説明する。
 図21において、カメラ本体200のモニタ216に像高に対する色補正モードを表示させる(ステップS210)。次に、色補正モードを実施するか否かを選択する(ステップS212)。
 ステップS212で、「色補正モードを実施しない」を選択すると(Noの場合)、既知交換レンズユニット100Aをカメラ本体200から取り外し、未知交換レンズユニット100Bをカメラ本体200に装着する(ステップS214)。像高に対する色補正モードを終える。
 ステップS212で、「色補正モードを実施する」を選択すると(Yesの場合)、次に、色味を合わせるか否かを選択する(ステップS216)。
 ステップS216で、「色味を合わせる」を選択すると(Yesの場合)、既知交換レンズユニット100Aを装着したカメラ本体200により、色補正の基準画像にするための被写体を撮像する。「色味を合わせる」を選択すると(Yesの場合)、例えば、モニタ216は、基準画像の取得を促す指示を表示することができる。取得した画像の中から色補正の基準となる画像の部分を選択し、基準画像を取得する(ステップS218)。
 基準画像の取得を終えると、モニタ216は、例えば、既知交換レンズユニット100Aを未知交換レンズユニット100Bに変更する指示を表示するができる。
 既知交換レンズユニット100Aをカメラ本体200から取り外し、未知交換レンズユニット100Bをカメラ本体200に装着する(ステップS220)。
 未知交換レンズユニット100Bをカメラ本体200に装着されると、モニタ216は、例えば、比較画像の取得を促す指示を表示することができる。
 ステップS216で、「色味を合わせない」を選択すると(Noの場合)、モニタ216は、例えば、既知交換レンズユニット100Aを未知交換レンズユニット100Bに変更する指示を表示することができる。次に、未知交換レンズユニット100Bをカメラ本体200に装着する(ステップS222)。
 未知交換レンズユニット100Bを装着したカメラ本体200により、色補正の基準画像にするための被写体を撮像する。未知交換レンズユニット100Bを介して、カメラ本体200により、被写体を中央領域で撮像した画像を、基準画像として取得する(ステップS224)。
 次に、未知交換レンズユニット100Bを装着したカメラ本体200により、比較画像を取得する(ステップS226)。ステップS226において、ステップS216で「色味を合わせる」を選択した場合(Yesの場合)、基準画像と同一の被写体を異なる像高位置でカメラ本体の撮像素子により撮像し、複数の比較画像を取得する。一方、ステップS226において、ステップS216で「色味を合わせない」を選択した場合(Noの場合)、カメラ本体が備える撮像素子の中央領域を除く像高位置で基準画像と同一の被写体を撮像した画像を、比較画像として取得する。
 次に、比較画像を取得後、色補正量を算出するための像高データが十分か判断される(ステップS228)。像高データが十分でない場合(Noの場合)、比較画像の取得(ステップS226)を繰り返す。像高データが十分でない場合、モニタ216は、例えば、比較画像の取得を促す指示を表示できる。
 像高データが十分である場合(Yesの場合)、色補正量を算出する(ステップS230)。基準画像と比較画像の画像同士の位置を合わせて両者の差分から、各像高に各RGBの色補正量(Ra、Ga、Ba)が算出される。色補正量を算出するステップS230が、補正量算出ステップに相当する。
 次に、色補正を実行する(ステップS232)。色補正は、未知交換レンズユニット100Bを介して取得される画像(静止画像、及びスルー画像を含む)に実行される。色補正を実行するステップS232が、補正ステップに相当する。
 ステップS216で「色味を合わせる」を選択した場合(Yesの場合)、未知交換レンズユニット100Bを介して取得される画像の色味(RGB強度)は、既知交換レンズユニット100Aの色味に合わせられる。一方、ステップS216で「色味を合わせない」を選択した場合(Noの場合)、画像の中央領域が基準画像とされるので、画像全体の色味(RGB強度)は、画像の中央領域の色味に合わせられる。
 次に、色補正の実行(ステップS232)後に、取得された画像の色味が正しいか判断する(ステップS234)。ステップS234で色味が正しくない場合(Noの場合)、比較画像を取得する(ステップS226)に戻る。
 比較画像の取得(ステップS226)では、ステップS216で「色味を合わせる」を選択した場合(Yesの場合)、ステップS216で「色味を合わせない」を選択した場合(Noの場合)、とでは、異なることがある。
 第3の実施形態においても、色補正を実行する像高位置を任意に選択できる。像高位置に応じて、色補正量を変更することもできる。別の態様では、像高位置ではなく、被写体と背景とのRGB強度の差分に、いわゆる被写体と背景と色味に応じて色補正量を変更することができる。画像内での被写体と背景の表示の大きさに応じて色補正量を変更できる。
 未知交換レンズユニット100Bの色補正量が算出されると、色補正を実行する領域、色補正量、被写体と背景の色味及び表示の大きさと、適宜変更が可能になる。
 また、未知交換レンズユニット100Bがズームレンズである場合、第2の実施形態でも、常に、色補正量を算出し、色補正を実行することができる。
 また、補正量算出部220B(不図示)は、基準画像と異なる像高位置で撮像素子201(不図示)により撮像した画像がカメラ本体200内に存在しない場合は撮像を促す警告を出力することができる。
 また、本実施形態において、例えば、本体側CPU220等の各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
 更にまた、本発明は、撮像装置又はコンピュータにインストールされることにより、本発明に係る撮像装置又は画像処理装置として機能させる画像処理プログラム、及びこの画像処理プログラムが記録された記録媒体を含む。
 また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10 カメラシステム
20 ファインダー窓
22 シャッターレリーズボタン
23 シャッタースピードダイヤル
24 露出補正ダイヤル
25 電源レバー
26 接眼部
27 MENU及びOKキー
28 十字キー
29 再生ボタン
30 内蔵フラッシュ
100 交換レンズユニット
100A 既知交換レンズユニット
100B 未知交換レンズユニット
102 撮像光学系
104 ズームレンズ
106 フォーカスレンズ
114 ズームレンズ制御部
116 フォーカスレンズ制御部
118 絞り制御部
120 レンズ側CPU
126 フラッシュROM
150 レンズ側通信部
160、160A、160B レンズマウント
200 カメラ本体
201 撮像素子
202 撮像素子制御部
203 アナログ信号処理部
204 A/D変換器
205 画像入力コントローラ
206 画像信号処理部
206A 補完処理部
206B 色補正部
206C ノイズ低減処理部
206D WB処理部
206E γ補正処理部
206F YC変換部
207 RAM
208 圧縮伸張処理部
210 メディア制御部
212 メモリカード
214 表示制御部
216 モニタ
220 本体側CPU
220A 既知補正量算出部
220B 補正量算出部
220C 補正量算出部
222 操作部
224 時計部
226 フラッシュROM
228 ROM
230 AF制御部
232 AE制御部
236 無線通信部
238 GPS受信部
240 電源制御部
242 バッテリ
244 レンズ電源スイッチ
250 本体側通信部
260 本体マウント
260A 端子
270 フラッシュ発光部
272 フラッシュ制御部
AR0、AR1、AR2、AR3 領域
CI 比較画像
RI 基準画像
S 被写体
TI、TI、WI 画像

Claims (18)

  1.  着脱自在な交換レンズユニットを装着可能な撮像装置であって、
     色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、前記基準画像と同一の被写体を、異なる像高位置で前記撮像装置が備える撮像素子により撮像した複数の比較画像とのRGB強度の差分から、前記未知の交換レンズユニットに対応する像高毎の色補正量を算出する補正量算出部と、
     前記未知の交換レンズユニットを介して、前記撮像素子により撮像される画像を、前記補正量算出部により算出された色補正量に応じて色補正する補正部と、
     を備える撮像装置。
  2.  色補正情報が既知の交換レンズユニットを介して、前記被写体を前記撮像装置の撮像素子により撮像した画像を基準画像とする、請求項1に記載の撮像装置。
  3.  着脱自在な交換レンズユニットを装着可能な撮像装置であって、
     色補正情報が未知の交換レンズユニットを介して、被写体を前記撮像装置が備える撮像素子により中央領域で撮像した基準画像と、前記被写体を前記撮像素子の前記中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、前記未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出部と、
     前記未知の交換レンズユニットを介して、前記撮像素子により撮像される画像を、前記補正量算出部により算出された色補正量に応じて色補正する補正部と、
     を備える撮像装置。
  4.  着脱自在な交換レンズユニットを装着可能な撮像装置であって、
     色補正情報が既知の交換レンズユニットの色味に合わせる場合、前記色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、前記基準画像と同一の被写体を、異なる像高位置で前記撮像装置が備える撮像素子により撮像した複数の比較画像とのRGB強度の差分から、
     前記色補正情報が既知の交換レンズユニットの色味に合わせない場合、色補正情報が未知の交換レンズユニットを介して、被写体を前記撮像装置が備える撮像素子により中央領域で撮像した基準画像と、前記被写体を前記撮像素子の前記中央領域を除く像高位置で撮像した比較画像と、前記基準画像と前記比較画像とのRGB強度の差分から、前記未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出部と、
     前記未知の交換レンズユニットを介して、前記撮像素子により撮像される画像を、前記補正量算出部により算出された色補正量に応じて色補正する補正部と、
     を備える撮像装置。
  5.  前記補正量算出部は、前記撮像素子の画角内の各位置に応じて色補正量を算出する請求項1から4の何れか一項に記載の撮像装置。
  6.  前記補正部は、前記像高位置に応じて前記色補正量を変更する請求項1から5の何れか一項に記載の撮像装置。
  7.  前記補正部は、前記色補正量を、被写体と背景とのRGB強度の差分に応じて変更する請求項1から6の何れか一項に記載の撮像装置。
  8.  前記補正量算出部は、前記基準画像と前記未知の交換レンズユニットを介して取得される画像とのRGB強度の差分を常に算出する請求項1から7の何れか一項に記載の撮像装置。
  9.  前記補正量算出部は、異なる像高位置で前記撮像素子により撮像した複数の画像が前記撮像装置内に存在しない場合は撮像を促す請求項1から8の何れか一項に記載の撮像装置。
  10.  色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、前記基準画像と同一の前記被写体を、異なる像高位置で撮像装置が備える撮像素子により撮像した複数の比較画像とのRGB強度の差分から、前記未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、
     前記未知の交換レンズユニットを介して、前記撮像素子により撮像される画像を、前記補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、
     を備える撮像方法。
  11.  色補正情報が未知の交換レンズユニットを介して、被写体を撮像装置が備える撮像素子により中央領域で撮像した基準画像と、前記被写体を前記撮像素子の前記中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、前記未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、
     前記未知の交換レンズユニットを介して、前記撮像素子により撮像される画像を、前記補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、
     を備える撮像方法。
  12.  色補正情報が既知の交換レンズユニットの色味に合わせる場合、前記色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、前記基準画像と同一の前記被写体を、異なる像高位置で撮像装置が備える撮像素子により撮像した複数の比較画像とのRGB強度の差分から、
     前記色補正情報が既知の交換レンズユニットの色味に合わせない場合、色補正情報が未知の交換レンズユニットを介して、被写体を前記撮像装置が備える撮像素子により中央領域で撮像した基準画像と、前記被写体を前記撮像素子の前記中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、前記未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、
     前記未知の交換レンズユニットを介して、前記撮像素子により撮像される画像を、前記補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、
     を備える撮像方法。
  13.  撮像工程をコンピュータに実行させるプログラムであって、
     色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、前記基準画像と同一の前記被写体を、異なる像高位置で撮像した複数の比較画像とのRGB強度の差分から、前記未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、
     前記未知の交換レンズユニットを介して、撮像される画像を、前記補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、
     を含む撮像工程をコンピュータに実行させるプログラム。
  14.  撮像工程をコンピュータに実行させるプログラムであって、
     色補正情報が未知の交換レンズユニットを介して、被写体を撮像装置が備える撮像素子により中央領域で撮像した基準画像と、前記被写体を前記撮像素子の前記中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、前記未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、
     前記未知の交換レンズユニットを介して、前記撮像素子により撮像される画像を、前記補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、
     を含む撮像工程をコンピュータに実行させるプログラム。
  15.  撮像工程をコンピュータに実行させるプログラムであって、
     色補正情報が既知の交換レンズユニットの色味に合わせる場合、前記色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、前記基準画像と同一の前記被写体を、異なる像高位置で撮像した複数の比較画像とのRGB強度の差分から、
     前記色補正情報が既知の交換レンズユニットの色味に合わせない場合、色補正情報が未知の交換レンズユニットを介して、被写体を撮像装置が備える撮像素子により中央領域で撮像した基準画像と、前記被写体を前記撮像素子の前記中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、前記未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、
     前記未知の交換レンズユニットを介して、前記撮像素子により撮像される画像を、前記補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、
     を含む撮像工程をコンピュータに実行させるプログラム。
  16.  非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
     色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、前記基準画像と同一の前記被写体を、異なる像高位置で撮像した複数の比較画像とのRGB強度の差分から、前記未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、
     前記未知の交換レンズユニットを介して、撮像される画像を、前記補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、
     を含む撮像工程をコンピュータに実行させる記録媒体。
  17.  非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
     色補正情報が未知の交換レンズユニットを介して、被写体を撮像装置が備える撮像素子により中央領域で撮像した基準画像と、前記被写体を前記撮像素子の前記中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、前記未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、
     前記未知の交換レンズユニットを介して、前記撮像素子により撮像される画像を、前記補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、
     を含む撮像工程をコンピュータに実行させる記録媒体。
  18.  非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
     色補正情報が既知の交換レンズユニットの色味に合わせる場合、前記色補正情報が既知の交換レンズユニットを介して、被写体を撮像した基準画像と、色補正情報が未知の交換レンズユニットを介して、前記基準画像と同一の前記被写体を、異なる像高位置で撮像した複数の比較画像とのRGB強度の差分から、
     前記色補正情報が既知の交換レンズユニットの色味に合わせない場合、色補正情報が未知の交換レンズユニットを介して、被写体を撮像装置が備える撮像素子により中央領域で撮像した基準画像と、前記被写体を前記撮像素子の前記中央領域を除く像高位置で撮像した比較画像とのRGB強度の差分から、前記未知の交換レンズユニットの像高毎の色補正量を算出する補正量算出ステップと、
     前記未知の交換レンズユニットを介して、前記撮像素子により撮像される画像を、前記補正量算出ステップにより算出された色補正量に応じて色補正する補正ステップと、
     を含む撮像工程をコンピュータに実行させる記録媒体。
PCT/JP2019/022370 2018-06-29 2019-06-05 撮像装置、撮像方法、及びプログラム WO2020003943A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020527338A JP6875603B2 (ja) 2018-06-29 2019-06-05 撮像装置、撮像方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-124907 2018-06-29
JP2018124907 2018-06-29

Publications (1)

Publication Number Publication Date
WO2020003943A1 true WO2020003943A1 (ja) 2020-01-02

Family

ID=68984809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022370 WO2020003943A1 (ja) 2018-06-29 2019-06-05 撮像装置、撮像方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP6875603B2 (ja)
WO (1) WO2020003943A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186683A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 撮像装置
JP2013042424A (ja) * 2011-08-18 2013-02-28 Nikon Corp 交換レンズおよびカメラシステム
JP2015057911A (ja) * 2014-10-30 2015-03-26 キヤノン株式会社 撮像装置およびその制御方法、並びにレンズユニット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186683A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 撮像装置
JP2013042424A (ja) * 2011-08-18 2013-02-28 Nikon Corp 交換レンズおよびカメラシステム
JP2015057911A (ja) * 2014-10-30 2015-03-26 キヤノン株式会社 撮像装置およびその制御方法、並びにレンズユニット

Also Published As

Publication number Publication date
JPWO2020003943A1 (ja) 2021-04-22
JP6875603B2 (ja) 2021-05-26

Similar Documents

Publication Publication Date Title
CN105659159B (zh) 相机系统、相机机身及通信方法
US8749653B2 (en) Apparatus and method of blurring background of image in digital image processing device
US7609291B2 (en) Device and method for producing an enhanced color image using a flash of infrared light
US20110122252A1 (en) Digital image processing apparatus and photographing method of digital image processing apparatus
US9871976B2 (en) Imaging apparatus, control system and control method
US11201999B2 (en) Imaging device, information acquisition method, and information acquisition program
US10791260B2 (en) Imaging device, information acquisition method, and information acquisition program
JP2024036370A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体
JP2016143951A (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6875603B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2004088408A (ja) デジタルカメラ
US11483488B2 (en) Imaging apparatus, inter-exposure zoom imaging method, program, and recording medium
JP2007114420A (ja) レンズ交換式カメラ、およびレンズユニット、並びにレンズ交換式カメラのカメラ本体
JP2009164723A (ja) 撮像装置及び撮像制御方法
JP2009267962A (ja) 撮像装置、その制御方法及びプログラム
JP6668789B2 (ja) 測光装置および測光装置を備えた撮像装置
JP2003087608A (ja) 電子カメラ
WO2022102165A1 (ja) 情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラム
WO2022044915A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP2010178112A (ja) 撮像装置およびテレビドアホン装置
JP2005020341A (ja) 露出制御方法および装置
JP6089390B2 (ja) 撮像装置および信号読み出し方法
JP2008028704A (ja) カメラシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19825579

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020527338

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19825579

Country of ref document: EP

Kind code of ref document: A1