WO2014125837A1 - 撮像装置の異物情報検出装置および異物情報検出方法 - Google Patents

撮像装置の異物情報検出装置および異物情報検出方法 Download PDF

Info

Publication number
WO2014125837A1
WO2014125837A1 PCT/JP2014/000780 JP2014000780W WO2014125837A1 WO 2014125837 A1 WO2014125837 A1 WO 2014125837A1 JP 2014000780 W JP2014000780 W JP 2014000780W WO 2014125837 A1 WO2014125837 A1 WO 2014125837A1
Authority
WO
WIPO (PCT)
Prior art keywords
foreign matter
image data
information
foreign
matter information
Prior art date
Application number
PCT/JP2014/000780
Other languages
English (en)
French (fr)
Inventor
寿一 人見
桑原　康浩
弘道 小野
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201480009239.3A priority Critical patent/CN105009561A/zh
Priority to JP2014520455A priority patent/JP5610106B1/ja
Publication of WO2014125837A1 publication Critical patent/WO2014125837A1/ja
Priority to US14/740,745 priority patent/US9706110B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4097—Removing errors due external factors, e.g. dust, scratches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Definitions

  • the present technology relates to a foreign matter information detection device and a foreign matter information detection method for detecting foreign matter information existing in image data in a photographing apparatus.
  • Patent Document 1 discloses an imaging apparatus that corrects image quality deterioration due to a very small foreign substance in an optical system that cannot be removed by vibration.
  • the apparatus disclosed in Patent Document 1 captures two images set at different aperture values, detects foreign object information (information on the position and size of the foreign object) from captured images with different aperture values, and detects the foreign object. Information is recorded in association with captured image data.
  • the foreign matter information detection device of the imaging device is a first method for detecting foreign matter information acquired before photographing a plurality of display image data obtained by photographing with the imaging device and a plurality of display image data.
  • a control unit configured to detect information on the foreign matter with respect to the image data.
  • a control part detects the foreign material information which shows the position of the foreign material which exists in each image data of 1st image data and 2nd image data for every foreign material based on 1st image data and 2nd image data.
  • the control unit is configured to detect the foreign object information indicating the position of the foreign object in each of the plurality of display image data using the detected foreign object information.
  • FIG. 1 is a block diagram illustrating an example of an overall configuration of an imaging apparatus in which a foreign matter information detection apparatus according to the present technology is used.
  • FIG. 2 is a block diagram illustrating a configuration of the foreign matter information detection apparatus according to the embodiment of the present technology.
  • FIG. 3 is a flowchart for explaining the foreign matter information detection operation of the control unit in the foreign matter information detection apparatus and foreign matter information detection method according to the present technology.
  • FIG. 4 is an explanatory diagram for explaining an overview of the first detection function step.
  • FIG. 5 is a flowchart for explaining the processing operation of the second detection function step.
  • FIG. 6 is an explanatory diagram illustrating an example of the foreign substance information list generated by the control unit.
  • FIG. 7 is an explanatory diagram for explaining an example of a foreign matter detection operation in the control unit in the foreign matter information detection apparatus according to the present technology.
  • FIG. 1 is a block diagram illustrating an example of an overall configuration of an imaging apparatus in which a foreign matter information detection apparatus according to the present technology is used.
  • the imaging apparatus uses an image sensor 2 such as a CCD (Charge Coupled Devices) sensor and a CMOS (Complementary Metal-Oxide Semiconductor) sensor as an imaging unit to capture a subject image formed via the optical system 1. Take a picture.
  • the image sensor 2 generates image data based on the photographed subject image.
  • Image data generated by the image sensor 2 is sent to an image processing unit 4 that performs processing such as image conversion through an AFE (Analog Front End) 3 as a signal adjustment circuit that adjusts an analog signal, and various image processing is performed.
  • the generated image data is recorded on a recording medium that is a data recording unit.
  • the recording medium include a flash memory and a memory card. In this embodiment, a case where the recording medium is a memory card will be described as an example.
  • the image sensor 2 captures a subject image formed through the optical system 1 and generates image data.
  • the image sensor 2 can generate image data of a new frame at regular intervals when the digital camera is in the shooting mode.
  • the image data read from the image sensor 2 is amplified to the input range width of the A / D converter by the analog gain controller and A / D conversion by the A / D converter. Thereafter, the AFE 3 outputs the image data to the image processing unit 4.
  • the image processing unit 4 performs various types of image processing on the image data output from the AFE 3. Various types of image processing include smear correction, white balance correction, gamma correction, YC conversion processing, electronic zoom processing, compression processing, expansion processing, and the like. Note that image processing is not limited to these.
  • the image processing unit 4 temporarily stores image information subjected to various types of image processing in the buffer memory 5.
  • the buffer memory 5 is a storage unit that functions as a work memory for the image processing unit 4 and the controller unit 6 and can be realized by a DRAM (Dynamic Random Access Memory) or the like.
  • the controller unit 6 controls the operation of the entire imaging apparatus, and includes a ROM (Read Only Memory) for storing a program and a CPU (Central Processing Unit) for processing various information by executing the program.
  • the ROM stores a program for controlling the overall operation of the imaging apparatus including file control, autofocus control (AF control), automatic exposure control (AE control), flash emission control, and the like. .
  • the memory card 7 on which the image data is recorded is detachable from the card slot 8 connected to the controller unit 6 by the user, whereby the memory card 7 is electrically and mechanically connected to the controller unit 6.
  • the card slot 8 may be configured to have a function of controlling the memory card 7.
  • the memory card 7 is an external memory provided with a recording unit such as a flash memory.
  • the memory card 7 records data such as image data processed by the image processing unit 4.
  • the high pixel image data recorded in the memory card 7 is generated by the image processing unit 4 based on the image data generated by the image sensor 2 after accepting the operation of the release button by the user.
  • the controller unit 6 records the image data stored in the buffer memory 5 on the memory card 7 after being processed by the image processing unit 4.
  • the image data recorded on the memory card 7 is displayed on a display unit 9 such as a liquid crystal monitor based on a user operation.
  • the display unit 9 displays an image based on the image data processed by the image processing unit 4.
  • the operation unit 10 connected to the controller unit 6 is a generic term for operation buttons and switches of the imaging apparatus and a touch panel installed on the display unit 9, and accepts an operation by a user.
  • the operation unit 10 receives an operation by the user, the operation unit 10 sends a signal instructing various operations to the controller unit 6.
  • the optical system 1 includes a focus lens 1A, a zoom lens 1B, an aperture 1C, a shutter 1D, and the like.
  • the focus lens 1A is used to adjust the focus state of the subject.
  • the zoom lens 1B is used to adjust the angle of view of the subject.
  • the diaphragm 1 ⁇ / b> C is used for adjusting the amount of light incident on the image sensor 2.
  • the shutter 1D adjusts the exposure time of light incident on the image sensor 2.
  • the focus lens 1A, the zoom lens 1B, the aperture 1C, and the shutter 1D are driven in accordance with control signals sent from the controller unit 6 by corresponding driving means such as a DC motor and a stepping motor.
  • the optical system 1 may include an optical image stabilization (OIS: Optical Image Stabilizer) lens.
  • OIS Optical Image Stabilizer
  • the various lenses constituting the optical system 1 can be composed of a plurality of lenses and a plurality of lens groups.
  • the imaging unit including the optical system 1 and the image sensor 2 may be configured using a camera module in which a lens, a CMOS image sensor, an AFE, a part of the image processing unit, and the like are integrated into a module. .
  • the image processing unit 4 and the controller unit 6 may be configured with a hard-wired electronic circuit or a microcomputer using a program. Further, the image processing unit 4 and the controller unit 6 may be configured by one semiconductor. The ROM does not need to be provided inside the controller unit 6 and may be provided as an external memory outside the controller unit 6.
  • FIG. 2 is a block diagram illustrating a configuration of the foreign matter information detection apparatus according to the embodiment of the present technology.
  • the foreign matter information detection apparatus includes a recording unit 11 for recording image data, a control unit 12 for performing a foreign matter information detection operation, a flash for storing a program for performing the foreign matter detection operation, and the like. And a storage unit 13 composed of a memory or the like.
  • This foreign matter information detection apparatus can be configured to be built in the controller unit 6 of the imaging apparatus shown in FIG.
  • the foreign object detection device according to the present technology may be configured to be mounted on the imaging device, but is not necessarily mounted on the imaging device, and is one of external image processing devices for processing image data captured by the imaging device. It may be provided as a function.
  • the recording unit 11 records first image data and second image data for detecting foreign matter information, and a plurality of display image data continuously captured by the user.
  • the recording unit 11 may be configured by the memory card 7 shown in FIG. 1, but is not limited to this, and can record image data such as an HDD (Hard Disk Drive), SSD (Solid State Drive), or the like. Any recording medium may be used.
  • the first image data is image data for detecting foreign matter that is photographed before a plurality of continuously photographed image data
  • the second image data is photographed after a plurality of continuously photographed image data.
  • the first image data and the second image data are image data obtained by photographing a background image composed of a single color such as white, blue, or green.
  • the first image data and the second image data are used to detect foreign matter information attached to the imaging device before and after continuously shooting a plurality of pieces of image data.
  • the foreign substance information adhering to the imaging device refers to foreign matters such as dust adhering to the optical system 1 or the image sensor 2 which is an imaging unit in the imaging device.
  • the foreign substance information may be a defect generated in the optical system 1 and the image sensor 2.
  • the first image data and the second image data are not limited to image data obtained by photographing a background image composed of a single color, and may be image data that can easily detect foreign matter information.
  • the first image data and the second image data can be obtained by adjusting the aperture of the optical system 1.
  • the image taken by adjusting the aperture of the optical system 1 becomes smooth with a blurred background, whereas foreign matters such as dust adhering to the image sensor 2 are clearly photographed without being blurred, and the foreign matter information is displayed.
  • First image data and second image data for detection are obtained.
  • the display image data is a plurality of pieces of image data obtained by continuously shooting the subject by the user, and is associated with the first image data and the second image data for detecting the foreign substance information in the recording unit 11. To be recorded.
  • the display image data includes two or more groups between the same first image data and second image data, where a plurality of pieces of image data obtained by photographing a specific subject by the user is defined as one group of image data. May be recorded in the recording unit 11 so that there is image data for display.
  • first image data for detecting foreign substance information is acquired and recorded in the recording unit 11, and then the user performs a photographing operation to acquire image data for display of a plurality of groups and the recording unit 11 and the second image data for detecting foreign substance information may be acquired and recorded in the recording unit 11 at the end of photographing.
  • the image data obtained by photographing the subject by the user, and the image data recorded in the recording unit 11 in association with the first image data and the second image data for detecting foreign matter information is displayed.
  • Image data is displayed.
  • the control unit 12 has a function of reading image data recorded in the recording unit 11 and detecting foreign matter information that is information about the foreign matter for the image data. That is, the control unit 12 has at least the following functions.
  • First detection function detects, for each foreign object, foreign object information indicating the position of the foreign object existing in the image data of each of the first image data and the second image data based on the first image data and the second image data. To do.
  • Second detection function Detects foreign substance information indicating the position of the foreign substance in each of a plurality of display image data using at least one foreign substance information detected by the first detection function.
  • the storage unit 13 stores a program corresponding to at least the first detection function and the second detection function of the control unit 12.
  • the control unit 12 can execute at least the first detection function and the second detection function by reading a program stored in the storage unit 13.
  • FIG. 3 is a flowchart for explaining the foreign matter information detection operation of the control unit in the foreign matter information detection apparatus and foreign matter information detection method according to the present technology.
  • a single color background such as white paper
  • uniform background image data composed of a single color is acquired.
  • the background image data of a single color acquired before photographing a plurality of display image data is set as the first image data.
  • single-color background image data acquired after photographing a plurality of display image data is set as second image data.
  • first foreign matter information and second foreign matter information are acquired as foreign matter information from the first image data and the second image data, respectively.
  • the foreign object information includes, for example, image information including a position and a region.
  • the foreign matter information may further consist of image information including shape and level information. Then, a summary of the first foreign matter information and the second foreign matter information is created as foreign matter information.
  • control unit 12 performs the process of the second detection function step 23.
  • the second detection function step 23 by comparing the foreign substance information created in the first detection function step 22 with a plurality of display image data, each image corresponding to each of the plurality of display image data. Get foreign object information.
  • FIG. 4 is an explanatory diagram for explaining the outline of the first detection function step.
  • the first image data and the second image data generation step 21 are configured with a single color by shooting a single color background or the like before and after shooting a plurality of display image data. Background image data is acquired.
  • FIG. 4 shows a state in which the first image data 32 and the second image data 33 which are single-color background image data acquired before photographing are present before and after a plurality of display image data 31. Yes.
  • the first image data 32 includes foreign matter a such as dust, foreign matter b, and foreign matter c.
  • the second image data 33 includes a foreign object b, a foreign object c, and a foreign object d.
  • the foreign object a is a foreign object unique to the first image data 32.
  • the foreign matter b and the foreign matter c are foreign matters that are common to the first image data 32 and the second image data 33.
  • the foreign matter d is a foreign matter specific to the second image data 33. That is, the foreign substances b and c are common foreign substances, and the foreign substances a and d are non-common foreign substances.
  • the control unit 12 acquires first foreign matter information from the first image data 32 shown in FIG. 4 based on the foreign matter a, the foreign matter b, and the foreign matter c. Furthermore, the control unit 12 acquires second foreign matter information from the second image data 33 illustrated in FIG. 4 based on the foreign matter b, the foreign matter c, and the foreign matter d. And the control part 12 produces
  • FIG. 5 is a flowchart for explaining the processing operation of the second detection function step.
  • the control unit 12 integrates the results of the first foreign matter information and the second foreign matter information generated in the first detection function step. Specifically, the first foreign matter information and the second foreign matter information are collated, the common foreign matter information C that exists in common in the first foreign matter information and the second foreign matter information, and the non-common foreign matter that exists only in the first foreign matter information. Information D1 and non-common foreign matter information D2 existing only in the second foreign matter information are obtained. Foreign matter information A obtained by integrating these foreign matter information C, foreign matter information D1, and foreign matter information D2 is obtained. Further, this foreign matter information includes a coordinate value indicating position information of the foreign matter in the image data. For example, in FIG.
  • the coordinates of the foreign object a are (x1, y1)
  • the coordinates of the foreign object b are (x2, y2)
  • the coordinates of the foreign object c are (x3, y3)
  • the coordinates of the foreign object d are (x4, y4).
  • the foreign matter b and foreign matter c of the first foreign matter information and the foreign matter b and foreign matter c of the second foreign matter information are integrated and processed as foreign matter information C
  • the foreign matter a is processed as foreign matter information D1
  • the foreign matter d is It will be processed as foreign object information D2.
  • the foreign object information A obtained by integrating the first foreign object information and the second foreign object information includes the common foreign object information C obtained by integrating the foreign object b and the foreign object c, the non-common foreign object information D1 by the foreign object a, and the foreign object d.
  • Non-common foreign matter information D2 is included.
  • the control unit 12 collates non-common foreign matter information D1 and foreign matter information D2 with a plurality of display image data 31. Thereby, the control part 12 acquires the image number of the image data in which a foreign material disappears or occurs.
  • the image number corresponds to the order in which a plurality of display image data are arranged in the shooting order. For example, in the case of 100 pieces of display image data, the first display image data is an image number [001], the number is sequentially increased, and the final display image data is an image number [100].
  • the foreign object information D1 exists only in the first foreign object information. Therefore, it is considered that the foreign object corresponding to the foreign object information D1 has disappeared or moved while the display image data 31 is captured. Therefore, the control unit 12 detects the change in the foreign matter based on the foreign matter information D1 in order from the image number [001]. When the disappearance or movement of the foreign matter due to the foreign matter information D1 is detected by the image number [n], the control unit 12 adds the foreign matter corresponding to the foreign matter information D1 to the image data for the image numbers up to the image number [n-1]. Judge that it has been. On the other hand, the control unit 12 determines that the foreign matter corresponding to the foreign matter information D1 is not added to the image data for the image numbers after [n].
  • the control unit 12 detects the change in the foreign matter based on the foreign matter information D2 retrospectively from the last image number.
  • the control unit 12 determines that the foreign matter due to the foreign matter information D2 is added to the image data for the image numbers up to the image number [n + 1]. to decide.
  • the control unit 12 determines that a foreign object corresponding to the foreign object information D2 is not added to the image data for an image number before [n].
  • control unit 12 detects when foreign matter a and d that are not common to the first image data 32 and the second image data 33 are generated in the plurality of display image data 31 in the foreign matter generation timing detection step 42. In such a case, first, it is detected whether or not there is non-common foreign matter information in the order of photographing the plurality of display image data 31.
  • the foreign matter information C that is commonly present in the first foreign matter information and the second foreign matter information is configured to be determined to be present in each of the plurality of display image data 31.
  • the control unit 12 determines the image number information in which the foreign object information C, the foreign object information D1, and the foreign object information D2 exist based on the result determined in the previous foreign object generation timing detection step 42 in the foreign object information list generation step 43. Based on the above, a foreign substance information list corresponding to each image number of the image data for display is created.
  • This foreign matter information list is information indicating the presence of foreign matter and the position of foreign matter in each of a plurality of display image data.
  • FIG. 6 is an explanatory diagram illustrating an example of the foreign substance information list generated by the control unit 12.
  • the control unit 12 In the foreign matter information list generation step 43, the control unit 12 generates table information as shown in FIG. 6 based on the first image data, the second image data, and the display image data.
  • the table shown in FIG. 6 is an example of a list indicating the presence of foreign matter in the display image data. More specifically, the image numbers [001] to [100] include information regarding whether or not foreign objects a, b, c, and d exist. That is, for each of the foreign objects a to d, the presence or absence of each image number of the display image data is described as a value [0] or [1]. In the table information of FIG. 6, for each of the foreign objects a to d, [0] indicates that there are no foreign objects a to d, and [1] indicates that any one of the foreign objects a to d exists. Since the foreign objects a to d include the position information of the foreign object in the image data, the table information shown in FIG. 6 is information indicating the presence of the foreign object and the position of the foreign object for each of a plurality of display image data.
  • the foreign matter information detection apparatus is configured to detect a plurality of pieces of display image data 31 obtained by photographing with the imaging device and foreign matter information acquired before photographing the plurality of pieces of display image data 31.
  • a control unit 12 configured to read image data for display and detect information related to the foreign matter from the image data.
  • the control unit 12 sets the foreign object information indicating the positions of the foreign objects existing in the image data of the first image data 32 and the second image data 33 for each foreign object. Detecting and using the detected foreign matter information, foreign matter information indicating the position of the foreign matter in each of the plurality of display image data 31 is detected.
  • the foreign matter information detection method provides the first image data 32 for foreign matter information detection and the first foreign matter information detection before and after photographing a plurality of display image data 31 obtained by photographing with an imaging device.
  • First image data and second image data generation step 21 for obtaining the two image data 33, and first foreign matter information and second foreign matter information as foreign matter information from the first image data 32 and the second image data 33, respectively.
  • a second detection function step 23 for acquiring foreign substance information indicating the position of The second detection function step 23 collates the first foreign matter information and the second foreign matter information generated in the first detection function step 22, and common foreign matter information that exists in common in the first foreign matter information and the second foreign matter information, There is a foreign matter information collation step for obtaining non-common foreign matter information that exists only in the first foreign matter information and non-common foreign matter information that exists only in the second foreign matter information.
  • the foreign matter information detection apparatus and foreign matter information detection method according to the present technology can specify information about the foreign matter in the plurality of display image data 31, and the control unit 12 can identify each of the plurality of image data 31.
  • the foreign matter information can be detected on the basis of the foreign matter information detected by the first image data 32 and the second image data 33. It is possible to achieve both improvement in accuracy and reduction in data processing amount.
  • foreign matter such as dust enters the optical system or the imaging unit of the imaging device based on the result of detecting foreign matter information in each of the plurality of display image data.
  • an informing unit that informs the user that the user is doing, the user using the imaging device can always acquire an accurate image without acquiring an incorrect image in which a foreign object is captured. it can.
  • a notification unit that is controlled by the control unit 12 of the foreign matter information detection apparatus according to the present technology is provided, and the notification unit collects dust on the imaging device based on a result detected by the foreign matter information detection device and the foreign matter information detection method.
  • the imaging apparatus can be easily maintained.
  • FIG. 7 is an explanatory diagram for explaining an example of the foreign matter detection operation in the control unit in the foreign matter information detection apparatus according to the present technology.
  • FIG. 7 shows an example in which the foreign object a in the upper left of the first image data 32 shown in FIG. 4 is detected based on the position, area, shape, and level information.
  • FIG. 7A in the drawing of the drawing, the portion corresponding to the foreign object a is shown uniformly in black, but in reality, the vicinity of the center of the foreign object is blacker and the peripheral part gradually becomes the background. Close to the level.
  • the control unit 12 calculates the luminance level of the image on the straight line 51 indicated by the dotted line in FIG.
  • FIG. 7B is a diagram showing this state, and the luminance level is low in the vicinity of the center of the foreign object a in accordance with the actual situation.
  • FIG. 7 is a diagram in which only the change component due to the foreign object a is extracted from the luminance level shown in (b) in FIG.
  • the control unit 12 detects the brightness level around the foreign object a and performs a process of subtracting the brightness level around the foreign object a, thereby extracting only the change component due to the foreign object a as shown in FIG. To do.
  • the detected signal component can be passed through a low-pass filter to smooth the portion where the data level of the foreign object a protrudes.
  • the signal component that has changed in the negative direction is inverted to be a signal of a foreign substance level.
  • the control unit 12 binarizes the signal of the foreign matter level using the threshold value Lth of a certain level.
  • Lth the threshold value of a certain level.
  • [1] is set, and when it is lower, [0] is set.
  • FIG. 7E shows the binarized foreign object signal information.
  • FIG. 7 is an explanatory diagram for explaining a method of detecting the shape of the foreign matter, the position of the foreign matter, and the range of the foreign matter.
  • the foreign object image is two-dimensional information, and the two-dimensional binarized information is used as a foreign object shape.
  • the black portion indicates the shape of the foreign matter
  • the binarized foreign matter level [1] is indicated by the black portion.
  • the foreign substance range 52 is a rectangular frame that surrounds the entire foreign substance in the black portion.
  • the foreign matter range 52 is obtained by obtaining the minimum value and the maximum value in the horizontal direction and the vertical direction for the foreign matter.
  • the position of the foreign object indicates position information with respect to a certain foreign object.
  • the upper left point of the foreign object range 52, the center of the foreign object range 52, the center of gravity of the foreign object shape, and the like are used as the foreign object position information.
  • the position of the foreign object a is represented as coordinates (x1, y1).
  • the control unit 12 acquires the first foreign matter information from the first image data, acquires the second foreign matter information from the second image data, and collates the acquired first foreign matter information and the second foreign matter information.
  • the foreign matters included in the first foreign matter information and the second foreign matter information are common foreign matters in the first foreign matter information and the second foreign matter information, or are foreign matters existing only in the first foreign matter information, or only in the second foreign matter information. It is possible to determine whether the foreign object is present.
  • the location information of the foreign matter is used, and the foreign matter is judged to be a common foreign matter when the position of the foreign matter is close.
  • the method it is also possible to use a method of determining that a foreign object is a common object when the horizontal width is ⁇ x and the vertical width is ⁇ y in the rectangular frame indicating the foreign substance range 52 and ⁇ x and ⁇ y are close to each other. It is. It is also possible to use a method for determining that a foreign object is common when the shapes of the foreign objects are close.
  • the foreign matter when foreign matter is detected by the processing of the second detection function for a plurality of display image data, the foreign matter may be detected using the same processing method as the processing performed by the first detection function. However, if an operation for detecting foreign matter is performed on the entire image data as in the first detection function, the processing steps and the amount of information increase. Therefore, in the processing method of the second detection function, only the pixel data around the foreign object detected by the first detection function may be processed.
  • the foreign matter information detection apparatus and the foreign matter information detection method according to the present technology are configured to capture a plurality of display image data 31 obtained by photographing with an imaging device and a plurality of display image data 31 before photographing.
  • a control unit 12 configured to read a plurality of display image data recorded in the image data and detect information related to the foreign matter in the image data.
  • the control unit 12 Based on the first image data 32 and the second image data 33, the control unit 12 sets the foreign object information indicating the positions of the foreign objects existing in the image data of the first image data 32 and the second image data 33 for each foreign object. Detecting and using the detected foreign matter information, foreign matter information indicating the position of the foreign matter in each of the plurality of display image data 31 is detected.
  • the control unit 12 does not need to perform an operation of strictly detecting foreign matter for all the pixels of each of the plurality of pieces of image data, and the foreign matter information detected by the first image data 32 and the second image data 33 is used. Based on this, foreign object information can be detected in a predictive manner. Thereby, both the accuracy improvement of the foreign substance detection operation in the control unit 12 and the reduction of the data processing amount can be achieved.
  • foreign matter such as dust enters the optical system or the imaging unit of the imaging device based on the result of detecting foreign matter information in each of a plurality of display image data.
  • a notification unit that informs the user that the image is being performed, an accurate image can always be captured by the imaging device.
  • the present technology is a particularly useful invention in business-use photographing apparatuses in the medical field, aerospace field, automobile field, news report field, and the like that always require accurate images.

Abstract

　本技術は、撮像装置により撮影して得られる複数枚の表示用の画像データ（３１）と、複数枚の表示用の画像データ（３１）の撮影前に取得する異物情報検出用の第１画像データ（３２）および複数枚の表示用の画像データ（３１）の撮影後に取得する異物情報検出用の第２画像データ（３３）を記録する記録部と、記録部に記録される複数枚の表示用の画像データを読み込み、当該画像データに対して異物に関する情報を検出するように構成した制御部とを備える。制御部は、第１画像データ（３２）および第２画像データ（３３）に基づいて、第１画像データ（３２）および第２画像データ（３３）それぞれの画像データ内に存在する異物の位置を示す異物情報を異物毎に検出し、その検出した異物情報を用いて、複数枚の表示用の画像データ（３１）それぞれにおける異物の位置を示す異物情報を検出する。

Description

撮像装置の異物情報検出装置および異物情報検出方法
　本技術は、撮影装置において、画像データ内に存在する異物情報を検出する異物情報検出装置および異物情報検出方法に関する。
　撮像装置においては、光学系にほこりなどの異物が付着すると、撮影された画像にそれらの異物の影が写り込み、画像の品質が低下するという課題がある。
　特許文献１には、振動によっても除去できないような光学系内のごく小さな異物による画質劣化を補正する撮像装置が開示されている。この特許文献１に開示されている装置は、異なる絞り値に設定した２つの画像を撮像し、この絞り値が異なる撮像画像より異物情報（異物の位置および大きさの情報）を検出し、異物情報を撮像画像データに関連付けて記録する。
特開２００９－１５２６９６号公報
　本技術による撮像装置の異物情報検出装置は、撮像装置により撮影して得られる複数枚の表示用の画像データと、複数枚の表示用の画像データの撮影前に取得する異物情報検出用の第１画像データおよび複数枚の表示用の画像データの撮影後に取得する異物情報検出用の第２画像データを記録する記録部と、記録部に記録される複数枚の表示用の画像データを読み込み、当該画像データに対して異物に関する情報を検出するように構成した制御部とを備えている。制御部は、第１画像データおよび第２画像データに基づいて、第１画像データおよび第２画像データそれぞれの画像データ内に存在する異物の位置を示す異物情報を異物毎に検出する。制御部は、その検出した異物情報を用いて、複数枚の表示用の画像データそれぞれにおける異物の位置を示す異物情報を検出するように構成している。
図１は、本技術による異物情報検出装置が用いられる撮像装置の全体構成の一例を示すブロック図である。 図２は、本技術の一実施の形態における異物情報検出装置の構成を示すブロック図である。 図３は、本技術による異物情報検出装置および異物情報検出方法において、制御部の異物情報検出動作を説明するためのフローチャートである。 図４は、第１検出機能ステップの概要を説明するための説明図である。 図５は、第２検出機能ステップの処理動作を説明するためのフローチャートである。 図６は、制御部が生成した異物情報リストの一例を示す説明図である。 図７は、本技術による異物情報検出装置において、制御部における異物検出動作の一例を説明するための説明図である。
　以下、本技術の一実施の形態による撮像装置の異物情報検出装置および異物情報検出方法について、図面を参照しながら、説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　［１－１．構成］
　図１は、本技術による異物情報検出装置が用いられる撮像装置の全体構成の一例を示すブロック図である。
　図１に示すように、撮像装置は、光学系１を介して形成された被写体像を撮像部であるＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）センサおよびＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサ２で撮影する。イメージセンサ２は、撮影した被写体像に基づいて、画像データを生成する。イメージセンサ２で生成された画像データは、アナログ信号を調整する信号調整回路としてのＡＦＥ（Ａｎａｌｏｇ　Ｆｒｏｎｔ　Ｅｎｄ）３を通して、画像変換などの処理を行う画像処理部４に送られ、各種の画像処理が施される。生成された画像データは、データ記録部である記録媒体に記録される。なお、記録媒体の例としては、フラッシュメモリおよびメモリカードなどがあるが、本実施の形態においては、記録媒体がメモリカードの場合を例にとって説明する。
　イメージセンサ２は、光学系１を通して形成された被写体像を撮像して、画像データを生成する。イメージセンサ２は、デジタルカメラが撮影モードにあるとき、一定時間ごとに新しいフレームの画像データを生成することができる。
　ＡＦＥ３では、イメージセンサ２から読み出された画像データに対して、アナログゲインコントローラによるＡ／Ｄコンバータの入力レンジ幅への増幅、Ａ／ＤコンバータによるＡ／Ｄ変換が施される。その後、ＡＦＥ３は、画像データを画像処理部４に出力する。
　画像処理部４は、ＡＦＥ３から出力された画像データに対して、各種の画像処理を施す。各種の画像処理としては、スミア補正、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理などが含まれる。なお、画像処理は、これらに限定されるものではない。画像処理部４は、各種の画像処理を施した画像情報を一旦、バッファメモリ５に記憶する。なお、バッファメモリ５は、画像処理部４やコントローラ部６のワークメモリとして機能する記憶手段であり、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などで実現できる。
　コントローラ部６は、撮像装置全体の動作を制御するもので、プログラムを格納するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、およびプログラムを実行することにより各種の情報を処理するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などにより構成される。ＲＯＭは、ファイル制御、オートフォーカス制御（ＡＦ制御）、自動露出制御（ＡＥ制御）、およびフラッシュの発光制御などを含め、撮像装置全体の動作を統括して制御するためのプログラムを格納している。
　画像データが記録されるメモリカード７は、コントローラ部６に接続されたカードスロット８にユーザによって着脱可能であり、これによりメモリカード７は、コントローラ部６に電気的かつ機械的に接続される。なお、カードスロット８は、メモリカード７を制御する機能を備えた構成であってもよい。メモリカード７は、内部にフラッシュメモリなどの記録部を備えた外部メモリである。メモリカード７は、画像処理部４で処理される画像データなどのデータを記録する。このメモリカード７に記録される高画素の画像データは、ユーザによるレリーズ釦の操作を受け付けた後に、イメージセンサ２が生成した画像データに基づいて、画像処理部４により生成される。コントローラ部６は、画像処理部４で処理された後、バッファメモリ５に記憶された画像データをメモリカード７に記録する。また、メモリカード７に記録された画像データは、ユーザによる操作に基づいて、液晶モニタなどの表示部９上に表示される。
　表示部９は、画像処理部４にて処理された画像データに基づいて、画像を表示する。
　また、コントローラ部６に接続された操作部１０は、撮像装置の操作釦やスイッチ、および表示部９に設置されたタッチパネルの総称であり、ユーザによる操作を受け付けるものである。操作部１０は、ユーザによる操作を受け付けると、コントローラ部６に種々の動作を指示する信号を送る。
　また、光学系１は、フォーカスレンズ１Ａやズームレンズ１Ｂ、絞り１Ｃ、シャッター１Ｄなどにより構成される。フォーカスレンズ１Ａは、被写体のフォーカス状態の調節に用いられる。ズームレンズ１Ｂは、被写体の画角の調節に用いられる。絞り１Ｃは、イメージセンサ２に入射する光量の調節に用いられる。シャッター１Ｄは、イメージセンサ２に入射する光の露出時間を調節する。フォーカスレンズ１Ａ、ズームレンズ１Ｂ、絞り１Ｃ、およびシャッター１Ｄは、それぞれに対応したＤＣモータやステッピングモータなどの駆動手段により、コントローラ部６から送られる制御信号に従って駆動される。なお、図示していないが、光学系１は、光学式手ぶれ補正（ＯＩＳ：Ｏｐｔｉｃａｌ　Ｉｍａｇｅ　Ｓｔａｂｉｌｉｚｅｒ）レンズを含んでいてもよい。また、光学系１を構成する各種レンズは、複数枚のレンズや複数のレンズ群から構成することができる。さらに、光学系１とイメージセンサ２などから構成される撮像部は、レンズ、ＣＭＯＳイメージセンサ、ＡＦＥ、画像処理部の一部などが一体にモジュール化されたカメラモジュールを用いて構成してもよい。
　なお、画像処理部４およびコントローラ部６は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。また、画像処理部４とコントローラ部６は、１つの半導体で構成してもよい。また、ＲＯＭは、コントローラ部６の内部に設ける必要はなく、コントローラ部６の外部に外部メモリとして設けてもよい。
　図２は、本技術の一実施の形態における異物情報検出装置の構成を示すブロック図である。
　図２に示すように、異物情報検出装置は、画像データを記録する記録部１１と、異物情報の検出動作を行うための制御部１２と、異物検出動作を行うためのプログラムなどを格納するフラッシュメモリなどにより構成される記憶部１３とを備える。この異物情報検出装置は、図１に示す撮像装置のコントローラ部６に内蔵して構成することができる。なお、本技術による異物検出装置は、撮像装置に搭載する構成としてもよいが、撮像装置に搭載する必要はなく、撮像装置で撮影した画像データを処理するための外部の画像処理装置の１つの機能として設けてもよい。
　記録部１１は、異物情報を検出するための第１画像データおよび第２画像データと、ユーザが連続撮影した複数枚の表示用の画像データを記録する。記録部１１は、図１に示すメモリカード７により構成してもよいが、勿論これに限定されるものではなく、ＨＤＤ（Ｈａｒｄ　ｄｉｓｋ　ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）など、画像データを記録できる記録媒体であればどのようなものを利用しても構わない。
　ここで、第１画像データは、連続撮影した複数枚の画像データの前に撮影される異物検出用の画像データであり、第２画像データは、連続撮影した複数枚の画像データの後に撮影される異物検出用の画像データである。第１画像データおよび第２画像データは、ホワイト、ブルーまたはグリーンなどの単一色で構成された背景画を撮影して得られる画像データである。この第１画像データおよび第２画像データは、複数枚の画像データを連続撮影する前後において、撮像装置に付着した異物情報を検出するために利用される。
　撮像装置に付着した異物情報とは、この撮像装置における光学系１または撮像部であるイメージセンサ２に付着したほこりなどの異物をいう。また、異物情報は、光学系１およびイメージセンサ２に発生した欠損であってもかまわない。ユーザが撮像装置を用いて撮影した画像データを視認したときに、画像内に異物があると認識されるものである。したがって、第１画像データおよび第２画像データは、単一色で構成された背景画を撮影して得られる画像データに限定されるものではなく、異物情報を検出し易い画像データであればよい。
　例えば、イメージセンサ２に直接付着したほこりなどの異物情報を検出する場合は、光学系１の絞りを調整することにより、第１画像データおよび第２画像データを得ることが可能である。すなわち、光学系１の絞りを調整して撮影した画像は、背景がぼけて滑らかとなるのに対し、イメージセンサ２に付着したほこりなどの異物は、ぼけずにはっきりと撮影され、異物情報を検出するための第１画像データおよび第２画像データが得られることとなる。
　表示用の画像データは、ユーザが被写体を連続撮影した複数枚の画像データであり、異物情報を検出するための第１画像データおよび第２画像データの間に関連付けられた状態で、記録部１１に記録される。この表示用の画像データは、ユーザが特定の被写体を撮影した複数枚の画像データを１群の画像データとすると、同一の第１画像データおよび第２画像データの間に、２つ以上の群の表示用の画像データが存在するように記録部１１に記録されていてもよい。例えば、撮影開始時に、異物情報検出用の第１画像データを取得して記録部１１に記録し、その後ユーザが撮影動作を行うことにより、複数群の表示用の画像データを取得して記録部１１に記録し、撮影終了時に、異物情報検出用の第２画像データを取得して記録部１１に記録するように構成してもよい。要するに、ユーザにより被写体を撮影することにより得られる画像データであって、異物情報検出用の第１画像データおよび第２画像データの間に関連付けて、記録部１１に記録される画像データが表示用の画像データとなる。
　制御部１２は、記録部１１に記録される画像データを読み込み、当該画像データに対して異物に関する情報である異物情報を検出する機能を有する。すなわち、制御部１２は、少なくとも次の機能を有している。
　（１）第１検出機能－第１画像データおよび第２画像データに基づいて、第１画像データおよび第２画像データそれぞれの画像データ内に存在する異物の位置を示す異物情報を異物毎に検出する。
　（２）第２検出機能－第１検出機能で検出した少なくとも１つ以上の異物情報を用いて、複数枚の表示用の画像データそれぞれにおける異物の位置を示す異物情報を検出する。
　この制御部１２の第１検出機能および第２検出機能の具体的な動作については後述する。
　記憶部１３は、少なくとも制御部１２が有する第１検出機能および第２検出機能に対応するプログラムを格納している。制御部１２は、記憶部１３に格納されるプログラムを読み込むことにより、少なくとも第１検出機能および第２検出機能を実行することができる。
　［１－２．動作］
　次に、本技術による異物情報検出装置および異物情報検出方法の動作について、図３～図７を参照しながら説明する。
　図３は、本技術による異物情報検出装置および異物情報検出方法において、制御部の異物情報検出動作を説明するためのフローチャートである。
　図３に示すように、第１画像データおよび第２画像データ生成ステップ２１において、複数枚の表示用の画像データを撮影する前後に、単一色の背景、例えば白い紙などを撮影する。これにより、単一色で構成された均一な背景の画像データを取得する。このとき、複数枚の表示用の画像データの撮影前に取得した単一色の背景画像データを第１画像データとする。一方、複数枚の表示用の画像データの撮影後に取得した単一色の背景画像データを第２画像データとする。
　次に、制御部１２は、第１検出機能ステップ２２の処理を行う。第１検出機能ステップ２２においては、上記第１画像データ、第２画像データより、それぞれ異物情報として第１異物情報および第２異物情報を取得する。異物情報は例えば、位置、領域を含む画像情報からなる。異物情報はさらに形状、レベル情報を含む画像情報からなる場合もある。そして、第１異物情報および第２異物情報をまとめたものを異物情報として作成する。
　次に、制御部１２は、第２検出機能ステップ２３の処理を行う。第２検出機能ステップ２３においては、第１検出機能ステップ２２で作成した異物情報と、複数枚の表示用の画像データを照合することにより、複数枚の表示用の各画像データに対応した画像毎の異物情報を取得する。
　ここで、第１検出機能ステップ２２と第２検出機能ステップ２３について、詳細に説明する。
　図４は、第１検出機能ステップの概要を説明するための説明図である。上述したように、第１画像データおよび第２画像データ生成ステップ２１においては、複数枚の表示用の画像データを撮影する前後に、単一色の背景などを撮影することにより、単一色で構成された背景の画像データが取得される。図４は、複数枚の表示用の画像データ３１の前後に、撮影前に取得した単一色の背景画像データである第１画像データ３２および第２画像データ３３が存在している様子を示している。
　図４に示すように、第１画像データ３２には、ほこりなどの異物ａ、異物ｂおよび異物ｃが存在している。また、第２画像データ３３には、異物ｂ、異物ｃおよび異物ｄが存在している。ここで、異物ａは、第１画像データ３２に特有の異物である。また、異物ｂおよび異物ｃは、第１画像データ３２および第２画像データ３３に共通する異物である。さらに、異物ｄは、第２画像データ３３に特有の異物である。すなわち、異物ｂ、ｃは、共通の異物であり、異物ａ、ｄは非共通の異物である。
　制御部１２は、図４に示す第１画像データ３２から、異物ａ、異物ｂおよび異物ｃに基づいて、第１異物情報を取得する。さらに、制御部１２は、図４に示す第２画像データ３３から、異物ｂ、異物ｃおよび異物ｄに基づいて、第２異物情報を取得する。そして、制御部１２は、第１異物情報および第２異物情報から、異物ａから異物ｄに基づく異物情報を生成する。これにより、第１検出機能ステップが実行される。
　図５は、第２検出機能ステップの処理動作を説明するためのフローチャートである。
　まず、異物情報照合ステップ４１において、制御部１２は、第１検出機能ステップで生成された第１異物情報および第２異物情報の結果を統合する。具体的には、第１異物情報と第２異物情報を照合し、第１異物情報と第２異物情報に共通に存在する共通の異物情報Ｃ、第１異物情報にのみ存在する非共通の異物情報Ｄ１、第２異物情報にのみ存在する非共通の異物情報Ｄ２を得る。これらの異物情報Ｃ、異物情報Ｄ１、異物情報Ｄ２を統合した異物情報Ａを得る。また、この異物情報は、画像データにおいて、異物の位置情報を示す座標値を含んでいる。例えば、図４において、異物ａの座標は（ｘ１，ｙ１）、異物ｂの座標は（ｘ２、ｙ２）、異物ｃの座標は（ｘ３，ｙ３）、異物ｄの座標は（ｘ４、ｙ４）となる。このとき、第１異物情報の異物ｂおよび異物ｃと第２異物情報の異物ｂおよび異物ｃは、異物情報Ｃとして統合して処理され、異物ａは異物情報Ｄ１として処理され、さらに異物ｄは異物情報Ｄ２として処理されることになる。つまり、第１異物情報および第２異物情報を統合して得られる異物情報Ａには、異物ｂ、異物ｃを統合した共通の異物情報Ｃ、異物ａによる非共通の異物情報Ｄ１および異物ｄによる非共通の異物情報Ｄ２が含まれる。
　次に、制御部１２は、異物発生タイミング検出ステップ４２において、非共通の異物情報Ｄ１および異物情報Ｄ２と、複数枚の表示用の画像データ３１とを照合する。これにより、制御部１２は、異物が消滅または発生する画像データの画像番号を取得する。ここで、画像番号とは複数枚の表示用の画像データを撮影順に並べた場合の順番に相当する。例えば、１００枚の表示用の画像データの場合、最初の表示用の画像データは画像番号［００１］で、順に番号が増し、最終の表示用画像データは画像番号［１００］となる。
　具体的には、異物情報Ｄ１については、第１異物情報にのみ存在する。そのため、表示用の画像データ３１を撮影する間に、当該異物情報Ｄ１に対応する異物が消滅または移動したと考えられる。そこで、制御部１２は、異物情報Ｄ１による異物の変化について、画像番号［００１］から順に前から検出していく。異物情報Ｄ１による異物の消滅または移動を画像番号［ｎ］で検出した場合、制御部１２は、画像番号［ｎ－１］までの画像番号については異物情報Ｄ１に相当する異物が画像データに付加されていると判断する。一方、制御部１２は、画像番号が［ｎ］以降のものについては、異物情報Ｄ１に相当する異物が画像データに付加されていないと判断する。
　さらに、異物情報Ｄ２については、第２異物情報にのみ存在する。そのため、表示用の画像データ３１を撮影する間に、当該異物情報Ｄ２に対応する異物が新たに発生したと考えられる。そこで、制御部１２は、異物情報Ｄ２による異物の変化について画像番号が最終のものから順に遡って検出していく。異物情報Ｄ２による異物の新たな発生を画像番号［ｎ］で検出した場合、制御部１２は、画像番号［ｎ＋１］までの画像番号については異物情報Ｄ２による異物が画像データに付加されていると判断する。一方、制御部１２は、画像番号が［ｎ］以前のものについては、異物情報Ｄ２に相当する異物が画像データに付加されていないと判断する。
　このように制御部１２は、異物発生タイミング検出ステップ４２において、複数の表示用の画像データ３１に、第１画像データ３２と第２画像データ３３に非共通の異物ａ、ｄが、いつ発生したかのタイミングを検出する場合、まず、複数の表示用の画像データ３１の撮影順に、非共通の異物情報が存在するか否かを検出する。そして、非共通の異物ａが存在している状態から存在していない非存在の状態、または非共通の異物ｄが非存在の状態から存在の状態に変化する画像データ３１の変化を検出し、異物の状態が変化した後の画像データ３１については、変化後の存在条件が継続されているとみなす判断を行うように構成している。
　なお、第１異物情報と第２異物情報に共通に存在する異物情報Ｃについては、複数の表示用の画像データ３１それぞれに存在するとみなした判断を行うように構成している。
　次に、制御部１２は、異物情報リスト生成ステップ４３において、前の異物発生タイミング検出ステップ４２において判断した結果に基づき、異物情報Ｃ、異物情報Ｄ１、および異物情報Ｄ２が存在する画像番号の情報に基づき、表示用の画像データの各画像番号に対応する異物情報リストを作成する。この異物情報リストは、複数枚の表示用の画像データそれぞれにおいて、異物の存在、異物の位置を示す情報となる。
　図６は、制御部１２が生成した異物情報リストの一例を示す説明図である。制御部１２は、異物情報リスト生成ステップ４３において、第１画像データ、第２画像データおよび表示用の画像データに基づき、図６に示すようなテーブル情報として生成する。
　図６に示すテーブルは、表示用の画像データにおける異物の存在を示すリストの一例である。具体的に説明すると、画像番号［００１］～［１００］において、異物ａ、ｂ、ｃ、ｄが存在するか否かに関する情報が含まれている。つまり、異物ａからｄそれぞれについて、表示用画像データの画像番号毎に、存在するか否かを［０］または［１］の値として記載されている。図６のテーブル情報は、異物ａからｄそれぞれについて、［０］は異物ａからｄがないことを示し、［１］は異物ａからｄのいずれかが存在することを示している。異物ａからｄは、画像データにおける異物の位置情報も含むため、図６に示すテーブル情報は、複数枚の表示用の画像データそれぞれについて、異物の存在と異物の位置を示す情報となる。
　以上のように本技術による異物情報検出装置は、撮像装置により撮影して得られる複数枚の表示用の画像データ３１と、複数枚の表示用の画像データ３１の撮影前に取得する異物情報検出用の第１画像データ３２および複数枚の表示用の画像データ３１の撮影後に取得する異物情報検出用の第２画像データ３３を記録する記録部１１と、記録部１１に記録される複数枚の表示用の画像データを読み込み、当該画像データに対して異物に関する情報を検出するように構成した制御部１２とを備えている。制御部１２は、第１画像データ３２および第２画像データ３３に基づいて、第１画像データ３２および第２画像データ３３それぞれの画像データ内に存在する異物の位置を示す異物情報を異物毎に検出し、その検出した異物情報を用いて、複数枚の表示用の画像データ３１それぞれにおける異物の位置を示す異物情報を検出するように構成している。
　また、本技術による異物情報検出方法は、撮像装置により撮影して得られる複数枚の表示用の画像データ３１の撮影前後に、異物情報検出用の第１画像データ３２および異物情報検出用の第２画像データ３３を取得する第１画像データおよび第２画像データ生成ステップ２１と、第１画像データ３２および第２画像データ３３よりそれぞれ異物情報として第１異物情報および第２異物情報を取得する第１検出機能ステップ２２と、第１検出機能ステップ２２で作成した異物情報と複数枚の表示用の画像データ３１を照合することにより、複数枚の表示用の各画像データに対応した画像毎の異物の位置を示す異物情報を取得する第２検出機能ステップ２３とを有する。第２検出機能ステップ２３は、第１検出機能ステップ２２で生成された第１異物情報および第２異物情報を照合し、第１異物情報と第２異物情報に共通に存在する共通の異物情報、第１異物情報にのみ存在する非共通の異物情報、第２異物情報にのみ存在する非共通の異物情報を得る異物情報照合ステップを有している。
　これにより本技術による異物情報検出装置および異物情報検出方法は、複数枚の表示用の画像データ３１における異物に関する情報を特定することができ、しかも制御部１２は、複数枚の画像データ３１それぞれに対して異物を厳密に検出する動作を行う必要はなく、第１画像データ３２および第２画像データ３３で検出した異物情報に基づいて、予測的に異物情報を検出することができ、異物検出動作の精度向上と、データ処理量の低減を両立することができる。
　また、本技術の異物情報検出装置および異物情報検出方法において、複数枚の表示用の画像データそれぞれにおける異物情報を検出した結果に基づき、撮像装置の光学系や撮像部にほこりなどの異物が侵入していることを知らせる報知部を付加して備えることにより、撮像装置を使用しているユーザは、異物が撮影された誤った画像を取得することがなく、常に正確な画像を取得することができる。具体的には、本技術による異物情報検出装置の制御部１２により制御される報知部を設け、その報知部が、異物情報検出装置および異物情報検出方法により検出した結果に基づき、撮像装置にほこりなどの異物が侵入していること、および撮像装置の光学系や撮像部の清掃を促すことにより、常に正確な画像を撮像装置で撮像することができる。これにより、医療用の撮像装置においては、誤った画像を取得したことによる誤った診断を少なくすることができるという効果が得られる。特に、本技術によれば、高い精度で異物検出動作を行うことができるとともに、データ処理量が少ないことから迅速に異物情報の検出が行うことができるため、撮像装置を使用するユーザにとっても、容易に撮像装置のメンテナンスを行うことができる。
　次に、制御部１２における異物検出動作について説明する。
　図７は、本技術による異物情報検出装置において、制御部における異物検出動作の一例を説明するための説明図である。図７は、位置、領域、形状、レベルの情報に基づいて、図４に示す第１画像データ３２の左上にある異物ａを検出する場合の例に示している。なお、図７の（ａ）において、図の描画上、異物ａに相当する部分は全体を一様に黒で示しているが、実際は、異物の中央付近がより黒く、周辺部分は徐々に背景レベルに近くなっている。
　制御部１２は、図７の（ａ）の点線で示した直線５１上における画像の輝度レベルを算出する。図７の（ｂ）はその様子を示す図で、輝度レベルは実際に即し異物ａの中央付近で低くなる。
　図７の（ｃ）は、図７の（ｂ）に示す輝度レベルにおいて、異物ａによる変化成分のみを抽出した図である。制御部１２は、異物ａの周辺の輝度レベルを検出し、異物ａの周辺の輝度レベルを減算する処理を行うことにより、図７の（ｃ）のように、異物ａによる変化成分のみを抽出する。異物ａの周辺のレベルを求める方法としては、例えば、検出された信号成分をローパスフィルタを通して、異物ａのデータレベルが突出している部分をなだらかにすることにより行うことができる。
　次に、図７の（ｄ）に示すように、負方向に変化していた信号成分を反転させて異物レベルの信号とする。ここで、制御部１２は、一定レベルのしきい値Ｌｔｈを用い、異物レベルの信号の２値化を行う。異物レベルがしきい値Ｌｔｈより大きい場合は［１］、小さい場合は［０］とする。図７の（ｅ）は、２値化した異物信号の情報を示すものである。
　図７の（ｆ）は、異物の形状、異物の位置、異物の範囲を検出する方法を説明するための説明図である。図７（ｆ）に示すように、異物の画像としては２次元情報であり、この２次元の２値化情報を異物形状とする。図７の（ｆ）において、黒い部分が異物の形状を示すもので、２値化した異物レベルが［１］の部分を黒色の部分で示している。異物の範囲５２は、黒色の部分の異物全体を囲む矩形の枠である。異物の範囲５２は、異物に対し、水平方向および垂直方向それぞれにおける最小値、最大値を求めることにより得られる。また、異物の位置は、ある異物に対する位置情報を示すものであり、例えば異物の範囲５２の左上の点、異物の範囲５２の中心、異物の形状の重心などを異物の位置情報とする。図７に示す例では、異物ａの位置は、座標（ｘ１，ｙ１）として表している。
　以上説明した方法により、異物の位置、異物の範囲、異物の形状、異物レベルの情報を検出することができる。そして、制御部１２は、第１画像データから第１異物情報を取得するとともに、第２画像データから第２異物情報を取得し、その取得した第１異物情報および第２異物情報を照合して、第１異物情報、第２異物情報に含まれる異物が、第１異物情報、第２異物情報で共通の異物であるか、第１異物情報にのみ存在する異物か、第２異物情報にのみ存在する異物かを判定することが可能となる。
　ここで、第１異物情報、第２異物情報から共通の異物であることを判定する場合は、例えば異物の位置情報を使用し、異物の位置が近いときに、共通の異物であると判定する方法を用いることにより可能である。また、異物の範囲５２を示す矩形の枠において、水平幅をΔｘ、垂直幅をΔｙとしたとき、Δｘ、Δｙの値が近いときに、共通の異物であると判定する方法を用いることも可能である。また、異物の形状が近いときに、共通の異物であると判定する方法を用いることも可能である。さらに、異物の形状に加え、異物レベルを利用することにより、共通の異物であると判定する方法を用いることも可能である。勿論、これらの複数の判定方法の中から選択して単独で用いてもよいが、複数の方法を組み合わせて用いることにより、より高い精度での判定が可能である。
　なお、複数の表示用の画像データに対して、第２検出機能の処理により異物を検出する場合、第１検出機能で行う処理と同様の処理方法を用いて異物を検出してもかまわない。ただし、第１検出機能のように画像データ全体で異物を検出する動作を行うと、処理するステップおよび情報量が多くなってしまう。したがって、第２検出機能の処理方法においては、第１検出機能で検出した異物の周辺の画素データのみを対象に処理するようにしてもよい。
　［１－３．効果など］
　以上のように本技術による異物情報検出装置および異物情報検出方法は、撮像装置により撮影して得られる複数枚の表示用の画像データ３１と、複数枚の表示用の画像データ３１の撮影前に取得する単一色の背景を有する第１画像データ３２および複数枚の表示用の画像データ３１の撮影後に取得する単一色の背景を有する第２画像データ３３を記録する記録部１１と、記録部１１に記録される複数枚の表示用の画像データを読み込み、当該画像データに対して異物に関する情報を検出するように構成した制御部１２とを備えている。制御部１２は、第１画像データ３２および第２画像データ３３に基づいて、第１画像データ３２および第２画像データ３３それぞれの画像データ内に存在する異物の位置を示す異物情報を異物毎に検出し、その検出した異物情報を用いて、複数枚の表示用の画像データ３１それぞれにおける異物の位置を示す異物情報を検出するように構成している。
　これにより、第１画像データ３２および第２画像データ３３から容易に異物に関する情報を特定できる。さらに、その後、第１画像データ３２および第２画像データ３３の間に撮影した複数枚の表示用の画像データ３１における異物に関する情報を特定することができる。そのため、制御部１２は、複数枚の画像データそれぞれの全ての画素に対して異物を厳密に検出する動作を行う必要はなく、第１画像データ３２および第２画像データ３３で検出した異物情報に基づいて、予測的に異物情報を検出することができる。これにより、制御部１２における異物検出動作の精度向上と、データ処理量の低減を両立することができる。
　さらに、本技術の異物情報検出装置および異物情報検出方法において、複数枚の表示用の画像データそれぞれにおける異物情報を検出した結果に基づき、撮像装置の光学系や撮像部にほこりなどの異物が侵入していることを知らせる報知部を付加して備えることにより、常に正確な画像を撮像装置で撮像することができる。
　以上のように、本技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　以上のように本技術は、常に正確な画像を取得することが必要な医療分野、航空宇宙分野、自動車分野、報道分野などの業務用の撮影装置において、特に有用な発明である。
　１　光学系
　１Ａ　フォーカスレンズ
　１Ｂ　ズームレンズ
　１Ｃ　絞り
　１Ｄ　シャッター
　２　イメージセンサ
　３　ＡＦＥ
　４　画像処理部
　５　バッファメモリ
　６　コントローラ部
　７　メモリカード
　８　カードスロット
　９　表示部
　１０　操作部
　１１　記録部
　１２　制御部
　１３　記憶部
　２１　第１画像データおよび第２画像データ生成ステップ
　２２　第１検出機能ステップ
　２３　第２検出機能ステップ
　３１　表示用の画像データ
　３２　第１画像データ
　３３　第２画像データ
　４１　異物情報照合ステップ
　４２　異物発生タイミング検出ステップ
　４３　異物情報リスト生成ステップ
　５１　直線
　５２　異物の範囲

Claims (8)

  1. 　撮像装置により撮影して得られる複数枚の表示用の画像データと、前記複数枚の表示用の画像データの撮影前に取得する異物情報検出用の第１画像データおよび前記複数枚の表示用の画像データの撮影後に取得する異物情報検出用の第２画像データを記録する記録部と、前記記録部に記録される複数枚の表示用の画像データを読み込み、当該画像データに対して異物に関する情報を検出するように構成した制御部とを備え、
    　前記制御部は、前記第１画像データおよび前記第２画像データに基づいて、前記第１画像データおよび前記第２画像データそれぞれの画像データ内に存在する異物の位置を示す異物情報を異物毎に検出し、その検出した異物情報を用いて、前記複数枚の表示用の画像データそれぞれにおける異物の位置を示す異物情報を検出するように構成した撮像装置の異物情報検出装置。
  2. 　前記制御部は、第１画像データから第１異物情報を取得するとともに、第２画像データから第２異物情報を取得し、その取得した前記第１異物情報および第２異物情報を照合して、第１異物情報と第２異物情報に共通に存在する異物情報が得られた場合、前記共通の異物は複数の表示用の画像データそれぞれに存在するとみなし、前記複数枚の表示用の画像データそれぞれにおける異物の存在と位置を示す情報を得るように構成した請求項１に記載の撮像装置の異物情報検出装置。
  3. 　前記制御部は、第１画像データから第１異物情報を取得するとともに、第２画像データから第２異物情報を取得し、その取得した前記第１異物情報および第２異物情報を照合して、第１異物情報にのみ存在する異物情報、または第２異物情報にのみ存在する異物情報が得られた場合、前記第１異物情報にのみ存在する異物情報、または第２異物情報にのみ存在する異物情報に基づいて、前記複数の表示用の画像データそれぞれにおける異物の存在と位置を示す情報を得るように構成した請求項１に記載の撮像装置の異物情報検出装置。
  4. 　前記制御部は、複数の表示用の画像データに第１画像データと第２画像データに非共通の異物が発生したタイミングを検出する場合、複数の表示用の画像データに非共通の異物情報が存在するか否かを検出し、非共通の異物が存在している状態から存在していない非存在の状態、または非共通の異物が非存在の状態から存在の状態に変化する画像データの変化を検出し、異物の状態が変化した後の画像データについては、変化後の存在条件が継続されているとみなす判断を行うように構成した請求項３に記載の撮像装置の異物情報検出装置。
  5. 　前記制御部は、第１異物情報および第２異物情報から共通の異物であることを判定する場合、異物の位置情報を使用して異物の位置が近いときに共通の異物であると判定する方法、異物の範囲を示す矩形の枠の水平幅をΔｘ、垂直幅をΔｙとしたとき、Δｘ、Δｙの値が近いときに共通の異物であると判定する方法、異物の形状が近いときに共通の異物であると判定する方法、および異物の形状に加え、異物レベルを利用することにより共通の異物であると判定する方法の中から選択して、単独、または組み合わせて用いるように構成した請求項１に記載の撮像装置の異物情報検出装置。
  6. 　前記制御部により制御される報知部を設け、異物情報を検出した結果に基づき、撮像装置の光学系や撮像部に異物が侵入していることを知らせるように構成した請求項１に記載の撮像装置の異物情報検出装置。
  7. 　撮像装置により撮影して得られる複数枚の表示用の画像データの撮影前後に、異物情報検出用の第１画像データおよび異物情報検出用の第２画像データを取得する第１画像データおよび第２画像データ生成ステップと、
    　第１画像データおよび第２画像データよりそれぞれ異物情報として第１異物情報および第２異物情報を取得する第１検出機能ステップと、
    　第１検出機能ステップで作成した異物情報と複数枚の表示用の画像データを照合することにより、複数枚の表示用の各画像データに対応した画像毎の異物の位置を示す異物情報を取得する第２検出機能ステップと、
    を有する撮像装置の異物情報検出方法。
  8. 　前記第２検出機能ステップは、第１検出機能ステップで生成された第１異物情報および第２異物情報を照合し、第１異物情報と第２異物情報に共通に存在する共通の異物情報、第１異物情報にのみ存在する非共通の異物情報、第２異物情報にのみ存在する非共通の異物情報を得る異物情報照合ステップを有する請求項７に記載の撮像装置の異物情報検出方法。
PCT/JP2014/000780 2013-02-18 2014-02-17 撮像装置の異物情報検出装置および異物情報検出方法 WO2014125837A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480009239.3A CN105009561A (zh) 2013-02-18 2014-02-17 摄像装置的异物信息检测装置以及异物信息检测方法
JP2014520455A JP5610106B1 (ja) 2013-02-18 2014-02-17 撮像装置の異物情報検出装置および異物情報検出方法
US14/740,745 US9706110B2 (en) 2013-02-18 2015-06-16 Foreign body information detection device and foreign body information detection method of imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-028693 2013-02-18
JP2013028693 2013-02-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/740,745 Continuation US9706110B2 (en) 2013-02-18 2015-06-16 Foreign body information detection device and foreign body information detection method of imaging apparatus

Publications (1)

Publication Number Publication Date
WO2014125837A1 true WO2014125837A1 (ja) 2014-08-21

Family

ID=51353848

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/000780 WO2014125837A1 (ja) 2013-02-18 2014-02-17 撮像装置の異物情報検出装置および異物情報検出方法

Country Status (4)

Country Link
US (1) US9706110B2 (ja)
JP (1) JP5610106B1 (ja)
CN (1) CN105009561A (ja)
WO (1) WO2014125837A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539939A (zh) * 2014-12-17 2015-04-22 惠州Tcl移动通信有限公司 一种基于移动终端的镜头清洁检测方法及检测系统
CN105100606A (zh) * 2015-06-23 2015-11-25 联想(北京)有限公司 一种信息处理方法及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6099783B1 (ja) * 2016-03-03 2017-03-22 株式会社Pfu 画像読取装置、制御方法及び制御プログラム
JP6576887B2 (ja) 2016-08-09 2019-09-18 クラリオン株式会社 車載装置
CN110809885A (zh) * 2017-06-28 2020-02-18 高途乐公司 图像传感器瑕疵检测

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343519A (ja) * 2003-05-16 2004-12-02 Nikon Corp 撮像装置および画像処理装置
JP2012222509A (ja) * 2011-04-06 2012-11-12 Nikon Corp 画像処理装置及び画像処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3863723B2 (ja) 2001-02-09 2006-12-27 ペンタックス株式会社 レンズ交換式電子スチルカメラ
JP4466015B2 (ja) 2002-12-27 2010-05-26 株式会社ニコン 画像処理装置および画像処理プログラム
CN1732682B (zh) 2002-12-27 2010-04-21 株式会社尼康 图像处理装置
JP4419479B2 (ja) 2003-08-29 2010-02-24 株式会社ニコン 画像処理装置および画像処理プログラム
US8369650B2 (en) * 2003-09-30 2013-02-05 DigitalOptics Corporation Europe Limited Image defect map creation using batches of digital images
US8244057B2 (en) * 2007-06-06 2012-08-14 Microsoft Corporation Removal of image artifacts from sensor dust
JP4989385B2 (ja) * 2007-09-12 2012-08-01 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP2009152696A (ja) 2007-12-18 2009-07-09 Canon Inc 撮像装置及びその制御方法及びプログラム及び画像処理装置
JP2012213075A (ja) * 2011-03-31 2012-11-01 Nikon Corp 画像処理装置及び画像処理プログラム
EP3007425A1 (en) * 2014-10-08 2016-04-13 Thomson Licensing Method and apparatus for detecting defects in digitized image sequences

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343519A (ja) * 2003-05-16 2004-12-02 Nikon Corp 撮像装置および画像処理装置
JP2012222509A (ja) * 2011-04-06 2012-11-12 Nikon Corp 画像処理装置及び画像処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539939A (zh) * 2014-12-17 2015-04-22 惠州Tcl移动通信有限公司 一种基于移动终端的镜头清洁检测方法及检测系统
CN105100606A (zh) * 2015-06-23 2015-11-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN105100606B (zh) * 2015-06-23 2018-10-12 联想(北京)有限公司 一种信息处理方法及电子设备

Also Published As

Publication number Publication date
US9706110B2 (en) 2017-07-11
US20150281571A1 (en) 2015-10-01
JP5610106B1 (ja) 2014-10-22
CN105009561A (zh) 2015-10-28
JPWO2014125837A1 (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
JP2011182387A (ja) 撮像装置、警告方法、および、プログラム
US20180182075A1 (en) Image processing apparatus, image capturing apparatus, method of image processing, and storage medium
JP5610106B1 (ja) 撮像装置の異物情報検出装置および異物情報検出方法
US10212348B2 (en) Image processing apparatus, its control method, image capturing apparatus, and storage medium
US20150373282A1 (en) Image pickup apparatus, image pickup method, and program
JP2011248205A (ja) 制御装置および投写型映像表示装置
US10104295B2 (en) Image pickup apparatus and control method for image pickup apparatus with display of crop area and grid lines
JP5257106B2 (ja) 撮像装置及び撮像方法
JP6326631B2 (ja) 撮像装置
JP2013232880A (ja) イメージ処理装置及びイメージ処理方法
JP6377286B2 (ja) 撮影装置及びその制御方法、並びに作動プログラム
JP5387341B2 (ja) 撮像装置
JP2008113466A (ja) 電子カメラ
JP5233554B2 (ja) 撮像装置及びプログラム
JP2004333924A (ja) カメラ
US10498969B2 (en) Image pickup apparatus, control apparatus, and exposure control method
US10187559B2 (en) Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
JP2011154194A (ja) 撮像装置
US10880508B2 (en) Image processing apparatus, imaging apparatus, pixel-abnormality detecting method, and computer-readable recording medium
JP2008193387A (ja) 撮像装置及びその被写体検出方法
JP6089232B2 (ja) 撮像装置
JP6547742B2 (ja) 撮像制御装置、撮像装置および撮像制御方法
US20240022706A1 (en) Evaluation method of image blur correction capability of image capturing apparatus, image capturing apparatus, and recording medium
US10681274B2 (en) Imaging apparatus and control method thereof
JP2009118515A (ja) 電子カメラ

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014520455

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14751201

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14751201

Country of ref document: EP

Kind code of ref document: A1