WO2015137039A1 - 画像認識装置および画像認識方法 - Google Patents
画像認識装置および画像認識方法 Download PDFInfo
- Publication number
- WO2015137039A1 WO2015137039A1 PCT/JP2015/054022 JP2015054022W WO2015137039A1 WO 2015137039 A1 WO2015137039 A1 WO 2015137039A1 JP 2015054022 W JP2015054022 W JP 2015054022W WO 2015137039 A1 WO2015137039 A1 WO 2015137039A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- unit
- charge
- feature amount
- image recognition
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
Definitions
- the present invention relates to an image recognition apparatus and an image recognition method.
- This application claims priority on March 14, 2014 based on Japanese Patent Application No. 2014-051579 filed in Japan, the contents of which are incorporated herein by reference.
- image recognition for recognizing an object shown in an image, that is, a subject (object).
- image recognition by calculating a feature amount of a subject based on a high-resolution image, a more detailed feature amount can be acquired and more complicated recognition can be performed, but the processing speed is slowed down. Conversely, if the feature amount of the subject is calculated based on a low-resolution image in image recognition, the processing speed increases, but only a simple feature amount can be acquired, and only simple recognition can be performed.
- Patent Document 1 a technique is disclosed in which the image recognition process is divided into two stages to achieve both high-precision image recognition and high-speed image recognition.
- the technique disclosed in Patent Document 1 detects a defect with high accuracy in a short time even when a component to be inspected is a component having a complicated shape or a component having a plurality of types of defects. This is a defect detection method that can be used.
- a first feature amount that is an amount representing a feature of a defect existing on the surface of a component to be inspected is calculated from an image photographed by a camera, and the first feature calculated here Based on the quantity, it is inspected whether a defect candidate site exists.
- a detailed image is further taken by moving the camera. Then, a second feature amount is calculated from the captured image, and whether or not the defect candidate part is a defect is quantified based on the calculated second feature amount.
- the image recognition process is divided into two stages, and in the preceding process, a simple image recognition process using a low resolution image and a simple feature amount is performed, and a detailed image recognition process is required.
- a simple image recognition process using a low resolution image and a simple feature amount is performed, and a detailed image recognition process is required.
- the present invention has been made on the basis of the above-described problem recognition, an image recognition apparatus capable of achieving both high-accuracy image recognition and high-speed image recognition, as well as low power consumption and downsizing.
- the object is to provide an image recognition method.
- the image recognition device includes a plurality of first charges that hold the signal charges generated by the photoelectric conversion units included in each of the plurality of pixels arranged in a two-dimensional matrix.
- An accumulation circuit a plurality of second charge accumulation circuits that hold the signal charges generated by the photoelectric conversion unit included in the predetermined pixel among the plurality of pixels; and the first charge accumulation circuit
- a first charge readout circuit unit that reads out a pixel signal corresponding to the signal charge held in each of them, and outputs an image based on the read out pixel signal as a first image
- a second charge storage circuit A second charge readout circuit unit that reads out pixel signals corresponding to the signal charges held therein and outputs an image based on the read out pixel signals as a second image reduced to a predetermined number of pixels.
- a read circuit selection unit that selects either the first charge read circuit unit or the second charge read circuit unit as a charge read circuit unit for reading an image, and the charge read circuit selected by the read circuit selection unit
- An image reading unit that reads an image from a unit, a feature amount determination unit that calculates a feature amount of a subject included in the image read by the image reading unit, and determines a subject to be detected based on the calculated feature amount;
- the second charge readout circuit unit is selected, and the detection target is detected based on the feature amount of the subject included in the second image read from the selected second charge readout circuit unit.
- the first charge readout circuit unit is then selected according to the determination result for determining whether or not it is a subject, and the subject included in the first image against determining whether to perform the determination.
- the second charge storage circuit includes the same exposure period in each of the photoelectric conversion units in the corresponding plurality of pixels.
- the second charge output circuit unit outputs the second image that holds the signal charge of the amount of charge obtained by averaging the signal charges generated in step 1 and is output by the first charge read circuit unit.
- the image may be an image having a lower resolution than the first image, based on a pixel signal corresponding to the signal charge obtained by the same exposure as the first image.
- the partial image obtained by dividing the area of the image read by the image reading unit into at least one area is set.
- a partial image setting unit configured to detect whether a subject included in the partial image is the detection target subject for each partial image set by the partial image setting unit. May be determined.
- the partial image setting unit includes a plurality of divided regions of the second image that are first read by the image reading unit.
- the partial image may be set.
- an image range setting for setting the range of the image read by the image reading unit.
- the image range setting unit is configured to read out the image based on a determination result of whether or not the object is a detection target, which is determined by the feature amount determination unit with respect to the second image.
- the image reading unit resets the range of the first image to be read next, and the image reading unit reads the first image from the range of the image reset by the image range setting unit when reading the first image next time.
- the first image may be read out.
- the feature amount determination unit is configured to read the image read by the image reading unit.
- a feature amount calculation unit that calculates the feature amount of the subject included in the image, and the feature amount calculated by the feature amount calculation unit is input to a classifier that has been constructed in advance, and a classification that represents the likelihood of the subject to be detected
- a classifier application unit that outputs a score, and whether or not the subject represented by the feature amount calculated by the feature amount calculation unit is the subject to be detected based on the classification score calculated by the classifier application unit
- a detection determination unit that determines whether or not.
- the feature amount calculation unit is configured to detect the subject included in the second image read by the image reading unit first.
- the feature amount and the feature amount of the subject included in the first image read out next by the image reading unit are calculated by different calculation methods, and the classifier application unit is configured to calculate the second image.
- Each of the feature amount calculated for the first image and the feature amount calculated for the first image may be input to different classifiers that are constructed in advance.
- the image range setting unit includes the When the image reading unit first reads the second image, the entire range of the second image to be read may be set as the range of the image to be read by the image reading unit.
- a signal generated by a photoelectric conversion unit provided in each of a plurality of pixels arranged in a two-dimensional matrix in the plurality of first charge storage circuits a signal generated by a photoelectric conversion unit provided in each of a plurality of pixels arranged in a two-dimensional matrix in the plurality of first charge storage circuits.
- the second charge accumulation procedure and the first charge readout circuit unit read out the pixel signal corresponding to the signal charge held in each of the first charge accumulation circuits, and the read out pixel signal
- Before reading and reading A second charge readout procedure for outputting an image based on the pixel signal as a second image reduced to a predetermined number of pixels, and a readout circuit selection unit, wherein the first charge readout circuit unit or the first charge readout circuit unit A read circuit selection procedure for selecting one of the two charge read circuit units as a charge read circuit unit for reading an image, and an image read from the charge read circuit unit selected by the read circuit selection procedure.
- a feature amount determination unit that calculates a feature amount of a subject included in the image read by the image readout procedure, and a detection target subject based on the calculated feature amount
- an image recognition apparatus and an image recognition method capable of achieving both high-accuracy image recognition and high-speed image recognition, as well as low power consumption and downsizing.
- FIG. 1 is a block diagram showing a schematic configuration of an image recognition apparatus in an embodiment of the present invention. It is the flowchart which showed the process sequence of the image recognition in the image recognition apparatus of this embodiment. It is the figure which showed typically an example of each step of the image recognition process in the image recognition apparatus of this embodiment.
- FIG. 1 is a block diagram illustrating a schematic configuration of an image recognition apparatus according to the present embodiment.
- the image recognition apparatus 10 includes a pixel signal processing unit 100 and an image recognition processing unit 110.
- the pixel signal processing unit 100 outputs the captured image to the image recognition processing unit 110 in accordance with the image readout control signal input from the image recognition processing unit 110.
- the pixel signal processing unit 100 includes a pixel array formed by arranging a plurality of pixels in a two-dimensional matrix.
- the pixel signal processing unit 100 sets an image based on the pixel signals of all the pixels arranged in the pixel array as the high resolution image S1, and reduces the number of pixels arranged in the pixel array (number of pixels).
- the images based on the pixel signals are output separately as a low resolution image S2.
- the image recognition processing unit 110 reads one of the high resolution image S1 and the low resolution image S2 from the pixel signal processing unit 100, calculates the feature amount of the subject included in the read image, and performs image recognition processing. Do. At this time, the image recognition processing unit 110 first performs simple image recognition processing based on the low resolution image S2, and when detailed image recognition processing is required, based on the high resolution image S1. Performs detailed image recognition processing.
- the image recognition apparatus 10 divides the image recognition processing process into two stages to achieve both high-precision image recognition and high-speed image recognition. That is, in the first (previous stage) image recognition process, the image recognition apparatus 10 uses the low-resolution image S2 that can complete reading earlier than the high-resolution image S1 that has not been reduced in number of pixels. Performs image recognition processing. Then, in the next (rear) image recognition processing process, the image recognition apparatus 10 uses the high-resolution image S1 that can calculate the feature amount of the subject in more detail than the low-resolution image S2 with a reduced number of pixels. Performs high-precision image recognition processing. By the processing described above, the image recognition device 10 achieves both high-accuracy image recognition and high-speed image recognition.
- the image recognition apparatus 10 includes a pixel array in which a plurality of pixels are arranged in a two-dimensional matrix in the pixel signal processing unit 100.
- FIG. 1 illustrates an example in which four pixels a to d are arranged in the pixel signal processing unit 100 included in the image recognition apparatus 10.
- the pixel signal processing unit 100 is provided in the imaging system in which the image recognition device 10 of the present embodiment is constructed, and is controlled by a control device that controls the image recognition device 10.
- Components such as a vertical scanning circuit and a horizontal scanning circuit for driving the components of the respective pixels arranged inside are also provided, but are omitted in FIG.
- the pixel signal processing unit 100 in the image recognition apparatus 10 of the present embodiment illustrated in FIG. 1 includes four photoelectric conversion units 101a to 101d, four charge transfer circuits 102a to 102d, First charge accumulation circuit 103a to first charge accumulation circuit 103d, two second charge accumulation circuits 104ab and second charge accumulation circuit 104cd, first charge readout circuit unit 105, and second charge And a reading circuit unit 106.
- the pixel a is configured by the components of the photoelectric conversion unit 101a, the charge transfer circuit 102a, and the first charge storage circuit 103a
- the photoelectric conversion unit 101b and the charge transfer A pixel b is configured by components of the circuit 102b and the first charge storage circuit 103b.
- the pixel c is configured by the components of the photoelectric conversion unit 101c, the charge transfer circuit 102c, and the first charge storage circuit 103c, and the photoelectric conversion unit 101d.
- a pixel d is configured by the components of the charge transfer circuit 102d and the first charge storage circuit 103d.
- the second charge storage circuit 104ab is a component common to the pixel a and the pixel b, and the second charge storage circuit 104cd includes the pixel c and the pixel b. It is a component common to d.
- Each of the photoelectric conversion units 101a to 101d is a photoelectric conversion unit such as a photodiode that photoelectrically converts incident light to generate signal charges and accumulate the generated signal charges.
- Each of the charge transfer circuit 102a to the charge transfer circuit 102d converts the signal charge generated and accumulated by the corresponding photoelectric conversion unit 101a to photoelectric conversion unit 101d into the corresponding first charge accumulation circuit 103a to first charge.
- the data is transferred to each of the storage circuits 103d and the corresponding second charge storage circuit 104ab or second charge storage circuit 104cd. That is, the charge transfer circuit 102a transfers the signal charge generated and accumulated by the corresponding photoelectric conversion unit 101a to the corresponding first charge accumulation circuit 103a and the corresponding second charge accumulation circuit 104ab.
- the charge transfer circuit 102b transfers the signal charge generated and accumulated by the corresponding photoelectric conversion unit 101b to the corresponding first charge accumulation circuit 103b and the corresponding second charge accumulation circuit 104ab.
- the charge transfer circuit 102c transfers the signal charge generated and accumulated by the corresponding photoelectric conversion unit 101c to the corresponding first charge accumulation circuit 103c and the corresponding second charge accumulation circuit 104cd.
- the charge transfer circuit 102d transfers the signal charge generated and accumulated by the corresponding photoelectric conversion unit 101d to the corresponding first charge accumulation circuit 103d and the corresponding second charge accumulation circuit 104cd.
- Each of the first charge storage circuit 103a to the first charge storage circuit 103d is respectively transferred to the corresponding photoelectric conversion unit 101a to photoelectric conversion unit 101d transferred from the corresponding charge transfer circuit 102a to charge transfer circuit 102d. Holds (accumulates) the signal charge generated.
- the signal charges held (accumulated) by each of the first charge accumulation circuit 103a to the first charge accumulation circuit 103d are signal charges of all the pixels included in the pixel signal processing unit 100, that is, high-resolution signals. This is a signal charge used to generate an image.
- each of the first charge accumulation circuit 103a to the first charge accumulation circuit 103d has a signal voltage corresponding to the held signal charge in accordance with the charge read control signal input from the first charge read circuit unit 105. Is output to the first charge readout circuit portion 105 as a pixel signal.
- Each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd has a corresponding photoelectric conversion unit 101a to photoelectric conversion unit 101d transferred from the corresponding charge transfer circuit 102a to charge transfer circuit 102d, respectively.
- the second charge accumulation circuit 104cd has a charge amount of each signal charge generated by each of the corresponding photoelectric conversion unit 101c and the photoelectric conversion unit 101d transferred from each of the corresponding charge transfer circuit 102c and the charge transfer circuit 102d.
- each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd is provided in the pixel signal processing unit 100 by averaging the signal charges of the respective pixels provided in the pixel signal processing unit 100. Signal charges for reducing the number of pixels (number of pixels) are held.
- the signal charge held (accumulated) by each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd is a low level obtained by reducing the number of pixels (number of pixels) provided in the pixel signal processing unit 100. This is a signal charge used to generate a resolution image.
- each of the second charge storage circuit 104ab and the second charge storage circuit 104cd has a signal voltage corresponding to the held signal charge in accordance with the charge read control signal input from the second charge read circuit unit 106. Is output to the second charge readout circuit portion 106 as a pixel signal with the number of pixels reduced.
- the second charge storage circuit 104ab corresponds to the charge transfer circuit 102a and the charge transfer circuit 102b, that is, the photoelectric conversion unit 101a and the photoelectric conversion unit 101b.
- the second charge accumulation circuit 104cd corresponds to the charge transfer circuit 102c and the charge transfer circuit 102d, that is, the photoelectric conversion unit 101c and the photoelectric conversion unit 101d.
- the configuration in which the signal charges of the respective pixels performed for reducing the number of pixels are added and averaged holds the respective signal charges generated by the photoelectric conversion unit 101a and the photoelectric conversion unit 101b in the second charge storage circuit 104ab.
- the signal voltage corresponding to each signal charge held by the second charge storage circuit 104ab is output and then added.
- An average configuration may be used.
- the first charge readout circuit unit 105 sequentially reads out pixel signals from each of the first charge accumulation circuit 103a to the first charge accumulation circuit 103d in accordance with the image readout control signal input from the image recognition processing unit 110.
- the charge readout control signal for output is sequentially output to each of the first charge storage circuit 103a to the first charge storage circuit 103d.
- the first charge readout circuit unit 105 uses the image recognition processing unit 110 as an image based on the pixel signal read from each of the first charge storage circuit 103a to the first charge storage circuit 103d as a high-resolution image S1. Output to.
- the second charge readout circuit unit 106 reduces the number of pixels from each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd in accordance with the image readout control signal input from the image recognition processing unit 110.
- a charge readout control signal for sequentially reading out the state pixel signals is sequentially output to each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd.
- the second charge readout circuit unit 106 sets an image based on the pixel signal read from each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd as the low resolution image S2, and the image recognition processing unit 110. Output to.
- each of the first charge readout circuit unit 105 and the second charge readout circuit unit 106 performs processing such as noise removal on the readout pixel signal as its function, for example, CDS (Correlated Double Sampling). : Correlated double sampling) processing function may be provided.
- Each of the first charge readout circuit unit 105 and the second charge readout circuit unit 106 includes an A / D conversion circuit that performs analog-to-digital conversion on each read pixel signal (analog signal), and performs analog-to-digital conversion.
- Each of the values (digital values) representing the magnitudes of the respective pixel signals (analog signals) may be output as the high resolution image S1 or the low resolution image S2.
- Each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd in the pixel signal processing unit 100 outputs the signal voltage corresponding to each held signal charge as it is as a pixel signal without performing averaging.
- the low-resolution image S2 based on the pixel signals is output to the image recognition processing unit 110. It may be configured to.
- the second charge readout circuit unit 106 averages each pixel signal sequentially read out from each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd in the state of an analog signal. Alternatively, each pixel signal may be averaged in a digital value state after analog-digital conversion.
- the pixel signal processing unit 100 exposes each pixel in the same exposure period, and holds the signal charge generated by the photoelectric conversion unit 101 in each pixel in the first charge storage circuit 103. At the same time, a signal charge obtained by averaging the signal charges (a signal charge obtained by reducing the number of pixels) is held in the second charge accumulation circuit 104. In other words, the pixel signal processing unit 100 holds signal charges used for generating images with different resolutions of high resolution and low resolution, respectively. More specifically, in the pixel signal processing unit 100, the signal charge generated by the photoelectric conversion unit 101a is transferred to the first charge storage circuit 103a, and the signal charge generated by the photoelectric conversion unit 101b is transferred to the first charge storage circuit 103b.
- the signal charge generated by the photoelectric conversion unit 101c is held in the first charge storage circuit 103c, and the signal charge generated by the photoelectric conversion unit 101d is held in the first charge storage circuit 103d.
- the signal charge obtained by averaging the signal charge generated by the photoelectric conversion unit 101a and the signal charge generated by the photoelectric conversion unit 101b is supplied to the second charge storage circuit 104ab, and the photoelectric conversion unit 101c is set.
- a signal charge obtained by averaging the generated signal charge and the signal charge generated by the photoelectric conversion unit 101d is held in each of the second charge accumulation circuits 104cd.
- the pixel signal processing unit 100 reading of each pixel signal corresponding to the signal charge held in each of the first charge storage circuits 103 by the first charge reading circuit unit 105 and the second charge storage circuit 104. Each pixel signal corresponding to the signal charge held in each pixel is read out by the second charge readout circuit unit 106 separately. Accordingly, the pixel signal processing unit 100, based on the signal charges obtained by the same one-time exposure, the high-resolution image S1 based on the pixel signals of all the pixels provided in the pixel signal processing unit 100, and the pixel signal Each of the low-resolution image S2 based on the pixel signal obtained by reducing the number of pixels (number of pixels) provided in the processing unit 100 is output separately.
- the pixel signal processing unit 100 illustrated in FIG. 1 two predetermined pixels are paired, and signal charges obtained by averaging the charge amounts of the respective signal charges generated by the photoelectric conversion unit 101 provided in each pixel are held.
- the configuration of the pixel signal processing unit 100 including the second charge storage circuit 104 is shown.
- the photoelectric conversion unit provided in each pixel Reference numeral 101 photoelectrically converts the corresponding color of the attached color filter included in the incident light to generate a signal charge.
- the pixels are arranged so that the center of gravity of the color of the attached color filter does not shift and the signal charges of different colors are not averaged. It is desirable to construct a set of
- each of the second charge storage circuit 104ab and the second charge storage circuit 104cd is generated by the corresponding photoelectric conversion unit 101a to photoelectric conversion unit 101d.
- a configuration is shown in which the number of pixels is reduced by averaging the respective signal charges.
- the method of reducing the number of pixels is not limited to the addition average shown in FIG. 1.
- the number of pixels may be reduced by thinning out the pixels.
- each of the second charge storage circuit 104ab and the second charge storage circuit 104cd is generated by the corresponding photoelectric conversion unit 101a to photoelectric conversion unit 101d.
- a configuration in which pixels are thinned out by holding (accumulating) one of the respective signal charges can be considered.
- the image recognition processing unit 110 in the image recognition apparatus 10 of the present embodiment illustrated in FIG. 1 includes an image range setting unit 111, a reading circuit selection unit 112, an image reading unit 113, a partial image setting unit 114, and features. It is comprised from the quantity determination part 115.
- FIG. 1 is a diagrammatic representation of the image recognition processing unit 110 in the image recognition apparatus 10 of the present embodiment illustrated in FIG. 1 .
- the image range setting unit 111 reads each image from the pixel signal processing unit 100 and sets an image range (image range) on which image recognition processing is performed. In other words, the image range setting unit 111 sets a range (region in the image) for performing image recognition processing for each image. At this time, the image range setting unit 111 changes the range for performing the image recognition processing to be set according to the result of the image recognition processing input from the feature amount determination unit 115. Then, the image range setting unit 111 outputs range information representing the set range for performing image recognition processing to the image reading unit 113.
- the read circuit selection unit 112 is a first charge read circuit unit 105 or a second charge read circuit unit that reads an image used for image recognition processing in accordance with each processing process of image recognition divided into two stages. One of the charge readout circuit units 106 is selected. At this time, the readout circuit selection unit 112 changes the charge readout circuit unit to be selected according to what stage the current process is. It should be noted that it is possible to determine the stage of the current processing process by referring to the result of the image recognition process input from the feature amount determination unit 115. Then, the readout circuit selection unit 112 outputs an image readout instruction for reading out an image from the selected charge readout circuit unit to the image readout unit 113.
- the readout circuit selection unit 112 reads out the high-resolution image S ⁇ b> 1 from the first charge readout circuit unit 105. An image reading instruction is output to the image reading unit 113.
- the readout circuit selection unit 112 issues an image readout instruction for reading out the low resolution image S2 from the second charge readout circuit unit 106. And output to the image reading unit 113.
- the readout circuit selection unit 112 can also be configured to change the charge readout circuit unit to be selected without referring to the result of the image recognition process input from the feature amount determination unit 115.
- the feature amount determination unit 115 includes a control device that is provided in the imaging system that builds the image recognition device 10 of the present embodiment and controls the image recognition device 10. It is conceivable to change the charge readout circuit unit to be selected according to the result of the image recognition process.
- the image reading unit 113 outputs an image reading control signal for reading an image from the designated charge reading circuit unit to the pixel signal processing unit 100 in accordance with the image reading instruction input from the reading circuit selection unit 112. At this time, the image reading unit 113 outputs an image reading control signal for reading an image in the range represented by the range information input from the image range setting unit 111 to the pixel signal processing unit 100.
- the image readout unit 113 receives an image readout instruction indicating that the high-resolution image S1 is to be read out from the readout circuit selection unit 112 using the first charge readout circuit unit 105
- the image range An image readout control signal for reading out the high-resolution image S1 in the range represented by the range information input from the setting unit 111 is output to the first charge readout circuit unit 105 in the pixel signal processing unit 100.
- the image reading unit 113 receives an image reading instruction indicating that the low-resolution image S ⁇ b> 2 is read using the second charge reading circuit unit 106 from the reading circuit selection unit 112.
- An image readout control signal for reading out the low resolution image S2 in the range represented by the inputted range information is output to the second charge readout circuit unit 106 in the pixel signal processing unit 100.
- the image reading unit 113 outputs the image in the range represented by the read range information to the partial image setting unit 114 and the feature amount determination unit 115.
- the partial image setting unit 114 sets a partial image obtained by dividing the region of the image input from the image reading unit 113 into at least one region to be subjected to image recognition processing. Then, the partial image setting unit 114 outputs information representing each set target area for image recognition processing to the feature amount determination unit 115 as each partial image information.
- the partial image setting unit 114 may divide the input image area into a plurality of predetermined areas (blocks) in the horizontal direction and the vertical direction, for example, so-called block.
- a method such as division can be considered.
- each block divided in this block division that is, the partial image, may be partially or entirely overlapped with adjacent blocks.
- the region of the image is excessively divided using a region division method such as the JSEG algorithm, and each divided region is divided.
- a partial image may be considered.
- a partial image can be set according to the contour and color information of the image, and the subject area and background area to be subjected to image recognition processing in the input image Can be divided more accurately.
- a method for dividing the input image by the partial image setting unit 114 into a plurality of regions (partial images) to be subjected to image recognition processing is not particularly defined. That is, it is possible to use an existing technique for dividing an image area into a plurality of areas.
- the partial image setting unit 114 can also be configured to receive the image recognition processing result from the feature amount determination unit 115 and change the partial image to be set according to the input image recognition processing result. Further, the partial image setting unit 114 may not be provided in the image recognition apparatus 10. In this case, in the image recognition process in the image recognition apparatus 10, a partial image is not set, and the entire range of the input image is set as a target area for the image recognition process. However, a configuration in which the control device that controls the image recognition apparatus 10 provided in the imaging system that has constructed the image recognition apparatus 10 of the present embodiment sets a partial image instead of the partial image setting unit 114 is not possible. it can.
- the feature amount determination unit 115 performs, for each image represented by the partial image information input from the partial image setting unit 114 on the image input from the image reading unit 113, that is, for each partial image. Performs image recognition processing. Then, the feature amount determination unit 115 outputs the result of the image recognition process for each partial image to the image range setting unit 111 and the readout circuit selection unit 112.
- the feature amount determination unit 115 includes a feature amount calculation unit 1151, a classifier application unit 1152, and a detection determination unit 1153.
- the result of the image recognition processing performed by the feature amount determination unit 115 is provided in, for example, an imaging system that builds the image recognition apparatus 10 according to the present embodiment, and the imaging system according to the result of image recognition performed by the image recognition apparatus 10. It can also be configured to output to a control device that performs this control or an image processing unit that generates a final image according to the result of image recognition by the image recognition device 10.
- a control device that performs this control or an image processing unit that generates a final image according to the result of image recognition by the image recognition device 10.
- the feature amount calculation unit 1151 calculates the feature amount of the subject included in the image input from the image reading unit 113. At this time, the feature amount calculation unit 1151 calculates the feature amount of the subject included in the partial image for each partial image set by the partial image setting unit 114. Then, the feature amount calculation unit 1151 outputs each feature amount calculated for each partial image to the classifier application unit 1152.
- a method using HOG may be considered as a method for calculating the feature amount of the subject included in the input image by the feature amount calculation unit 1151.
- a method using BoF BoF (Bag of features) may be considered.
- the method for calculating the feature amount of the subject included in the input image by the feature amount calculation unit 1151 is not particularly specified. That is, it is possible to use an existing technique for calculating the feature amount of the subject included in the image. However, when the feature amount calculation unit 1151 calculates the feature amount of the subject included in the partial image set for the low resolution image S2, that is, when performing simple image recognition processing. It is desirable to reduce the processing load by making the method for calculating the feature quantity a simple method or by reducing the number of feature quantities to be calculated.
- each pixel in the partial image is red (R) and green (G).
- RGB histogram histogram
- B blue
- a simple feature amount of a subject included in an image to which the feature amount calculation unit 1151 is input for example, an average value or a standard deviation of luminance of each pixel in the partial image is used.
- a method using a statistic such as is also conceivable.
- the feature amount calculation unit 1151 calculates a simple feature amount, so that the image recognition apparatus 10 according to the present embodiment or the imaging system in which the image recognition apparatus 10 according to the present embodiment is constructed has a low resolution image S2. Not only can the power consumption be reduced due to the small number of pixels, but also the overall processing time can be shortened.
- the pixel signal processing unit 100 may be configured to output an image obtained by taking the difference between the high resolution image S1 and the low resolution image S2 at high speed.
- the feature amount calculation unit 1151 may calculate a complex feature amount of the subject included in the input image by using, for example, a scale search of SIFT (Scale-Invariant Feature Transform). It is done.
- SIFT Scale-Invariant Feature Transform
- the classifier application unit 1152 calculates a classification score representing the subjectness of the detection target prepared in advance of the subject included in the image input from the image reading unit 113. At this time, the classifier application unit 1152 applies (inputs) each feature amount of each partial image input from the feature amount calculation unit 1151 to a pre-constructed classifier, and each feature amount in each partial image. The classification score calculated in step S1 is output to the detection determination unit 1153.
- an SVM Small Vector machine
- the feature amount of the subject calculated by the feature amount calculation unit 1151 and the subject prepared in advance are considered.
- a method of calculating a classification score representing the likelihood of a subject to be detected based on the degree of similarity with the teacher data by comparing each of a large amount of data (so-called teacher data) representing the characteristics of the above-described data can be considered.
- a supervised learner such as KDA (Kernel Discriminant Analysis) is also conceivable.
- KDA Kernel Discriminant Analysis
- the method for calculating the classification score representing the subject likeness of the detection target of the feature quantity input by the classifier application unit 1152 is not particularly defined. That is, it is possible to use an existing technique for classifying based on the feature amount of the subject included in the image.
- the classifier application unit 1152 calculates a classification score representing the subject-likeness of the detection target with respect to the feature amount of the subject included in the partial image set for the low-resolution image S2, that is, When performing a simple image recognition process, it is desirable to reduce the load on the classifier process by simplifying the classifier process used to calculate the classification score. As a result, the overall processing time in the image recognition apparatus 10 of the present embodiment and the imaging system that has constructed the image recognition apparatus 10 of the present embodiment can be shortened.
- the feature amount determination unit 115 may be configured to sequentially update the classifier used for the feature amount determination unit 115. Specifically, new teacher data is created by giving the correctness of the determination result output from the feature amount determination unit 115 to the image input from the image reading unit 113 from the outside, and a teacher prepared in advance. Append to dataset. Then, a classifier is reconstructed based on the added teacher data set, and the reconstructed classifier is set as a classifier used for the feature amount determination unit 115. As a result, it is possible to update the image recognition with a digital camera or the like using the image recognition apparatus 10 of the present embodiment to suit the user's preference.
- the detection determination unit 1153 determines whether or not each partial image is a detection target based on the classification score for each partial image input from the classifier application unit 1152. Then, the detection determination unit 1153 outputs the determination result to the image range setting unit 111 and the readout circuit selection unit 112 as a result of the image recognition process for each partial image.
- the classification score input from the classifier application unit 1152 is a threshold value of a classification score that is determined as a predetermined detection target.
- a method of determining by comparing can be considered. In this case, depending on whether or not the classification score input from the classifier application unit 1152 is greater than or equal to a predetermined classification score threshold, each partial image input from the classifier application unit 1152 is a predetermined detection target. It is determined whether or not.
- the result determined by the detection determination unit 1153 is shared by the components in the feature amount determination unit 115, that is, the feature amount calculation unit 1151, the classifier application unit 1152, and the detection determination unit 1153.
- the result of determination by the detection determination unit 1153 is not shared by the components in the feature amount determination unit 115, and is provided in the imaging system in which the image recognition device 10 of the present embodiment is constructed, and controls the image recognition device 10. It is also conceivable that the control device to perform controls each component in the feature amount determination unit 115 in accordance with the result determined by the detection determination unit 1153.
- the image recognition processing unit 110 reads from the pixel signal processing unit 100 one of the high-resolution image S1 and the low-resolution image S2 used for image recognition processing in each process of image recognition.
- the image recognition processing unit 110 performs image recognition processing on one of the high resolution image S1 and the low resolution image S2 read from the pixel signal processing unit 100. More specifically, when the low-resolution image S2 is first read from the pixel signal processing unit 100 and simple image recognition processing is performed and detailed image recognition processing is required, the high-resolution image S1 pixel Read from the signal processing unit 100 and perform detailed image recognition processing.
- the image recognition processing process can be divided into two stages to achieve both high-precision image recognition and high-speed image recognition.
- FIG. 2 is a flowchart showing a processing procedure of image recognition in the image recognition apparatus 10 of the present embodiment.
- FIG. 3 is a diagram schematically showing an example of each stage of image recognition processing in the image recognition apparatus 10 of the present embodiment.
- FIG. 2 is a flowchart showing a processing procedure of image recognition in the image recognition apparatus 10 of the present embodiment.
- FIG. 3 is a diagram schematically showing an example of each stage of image recognition processing in the image recognition apparatus 10 of the present embodiment.
- FIG. 2 is a flowchart showing a processing procedure of image recognition in the image recognition apparatus 10 of the present embodiment.
- FIG. 2 is a flowchart showing a processing procedure of image recognition in the image recognition apparatus 10 of the present embodiment.
- FIG. 3 is a diagram schematically showing an example of each stage of image recognition processing in the image recognition apparatus 10 of the present embodiment.
- the image recognition process is divided into two stages as described above. More specifically, first, in the preceding image recognition processing process (hereinafter referred to as “first image recognition process”), a subject that is likely to be a detection target (“dog” in this description) is determined as a detection target candidate. To do.
- first image recognition process since the low-resolution image S2 with a reduced number of pixels is used, the image recognition process can be performed at high speed. For example, even when the image update frequency (frame rate) is increased, High-speed image recognition can be performed.
- the subsequent image recognition processing process hereinafter referred to as “second image recognition process”
- the detection target to be finally detected from the detection target candidate subjects determined in the first image recognition process Determine the subject.
- the second image recognition process since the high-resolution image S1 in which the number of pixels is not reduced is used, the image recognition can be performed with higher accuracy than in the first image recognition process.
- step S101 the image range setting unit 111 sets an image range to be read from the pixel signal processing unit 100 and subjected to image recognition processing. To do. Since step S101 is a processing stage for setting an image range in which image recognition processing is first performed in the first image recognition process, the image range setting unit 111 receives the result of the image recognition processing from the feature amount determination unit 115. Is not entered. For this reason, the image range setting unit 111 sets the entire range of the image read from the pixel signal processing unit 100 as an image range for performing image recognition processing. Then, the image range setting unit 111 outputs range information indicating that all ranges have been set as the image range to the image reading unit 113.
- step S102 the readout circuit selection unit 112 selects a charge readout circuit unit that reads out an image used for image recognition processing. Since step S102 is a processing stage for reading the first image to be subjected to image recognition processing in the first image recognition process, the result of the image recognition processing is input from the feature amount determination unit 115 to the reading circuit selection unit 112. It has not been. For this reason, the reading circuit selection unit 112 selects the second charge reading circuit unit 106 as a charge reading circuit unit that reads an image used for image recognition processing. Then, the reading circuit selection unit 112 outputs an image reading instruction for reading an image from the selected second charge reading circuit unit 106 to the image reading unit 113.
- step S ⁇ b> 103 the image reading unit 113 responds to the image reading instruction input from the reading circuit selection unit 112, and the low resolution of all the ranges represented by the range information input from the image range setting unit 111.
- An image readout control signal for reading out the image S2 is output to the second charge readout circuit unit 106 in the pixel signal processing unit 100.
- the low-resolution image S2 in the entire range as shown in FIG. 3A is output from the second charge readout circuit unit 106 in the pixel signal processing unit 100.
- the image reading unit 113 outputs the low-resolution image S2 in the entire range read from the second charge reading circuit unit 106 in the pixel signal processing unit 100 to the partial image setting unit 114 and the feature amount determination unit 115. Output.
- the low-resolution image S2 with the reduced number of pixels is read from the pixel signal processing unit 100. That is, in the first image recognition process, the low-resolution image S2 is read at a higher speed with lower power consumption than when reading the high-resolution image S1 from the pixel signal processing unit 100. Thus, high-speed image recognition processing can be realized in the first image recognition process.
- step S104 the partial image setting unit 114 sets a partial image obtained by dividing the region of the low resolution image S2 in the entire range input from the image reading unit 113.
- a plurality of regions of the low resolution image S2 in the entire range are defined in advance (in FIG. 3B).
- 16 blocks each having four blocks in the horizontal direction and the vertical direction are divided and each block is set as a partial image B1 to a partial image B16.
- the partial image setting unit 114 outputs partial image information representing each of the set partial images B1 to B16 to the feature amount calculation unit 1151 in the feature amount determination unit 115.
- step S105 the feature amount calculation unit 1151 stores the feature amount of the subject included in the low-resolution image S2 in the entire range input from the image reading unit 113 as the portion input from the partial image setting unit 114. Calculation is performed for each partial image represented by the image information.
- step S105 is a processing stage in which a feature amount is calculated for each partial image set for the low-resolution image S2, and thus the feature amount calculation unit 1151 includes, for example, the RGB histogram described above. The feature amount of the subject is calculated by a simple method using the statistic. Then, the feature amount calculation unit 1151 outputs each feature amount calculated for each partial image set for the low resolution image S2 to the classifier application unit 1152.
- step S106 the classifier application unit 1152 classifies the classifier that has previously constructed each feature amount for each partial image set for the low-resolution image S2 input from the feature amount calculation unit 1151. And for each partial image, a classification score representing the likelihood of the subject to be detected is calculated.
- the above-described SVM is conceivable as a classifier that inputs each feature amount.
- step S106 is a processing stage in which a classifier is applied to the feature quantity of the partial image of the low resolution image S2, the classifier application unit 1152 is input from the feature quantity calculation unit 1151, for example.
- the classifier process is simplified, reducing the load on the classifier process.
- step S107 the detection determination unit 1153 determines that each partial image is a detection target candidate based on the classification score for each partial image set for the low resolution image S2 input from the classifier application unit 1152. It is determined whether or not.
- step S108 the detection determination unit 1153 determines whether any partial image is a detection target candidate. That is, the detection determination unit 1153 determines whether or not there is one or more partial images that are detection target candidates.
- step S108 when one or more partial images that are detection target candidates are not present, that is, when any partial image set for the low resolution image S2 is not a detection target candidate (“NO” in step S108). ") Completes the first image recognition process. Then, for example, the image recognition process for the next frame image is executed again from the first image recognition process.
- step S108 if the result of determination in step S108 is one or more partial images that are detection target candidates, that is, if any partial image set for the low-resolution image S2 is a detection target candidate (in step S108).
- the detection determination unit 1153 outputs the determination result for each partial image set for the low resolution image S2 to the image range setting unit 111 and the readout circuit selection unit 112.
- the detection determination unit 1153 includes information indicating which partial image is a detection target candidate in the determination result, and outputs the information to the image range setting unit 111 and the readout circuit selection unit 112.
- FIG. 3C shows a case where the partial image B10 and the partial image B16 are detection target candidates among the 16 partial images B1 to B16 divided into blocks. Accordingly, the detection determination unit 1153 outputs a determination result including information indicating that the partial image B10 and the partial image B16 are detection target candidates to the image range setting unit 111 and the readout circuit selection unit 112.
- the image range setting unit 111 starts the subsequent image recognition processing process (second process) from step S 111. Image recognition process).
- step S111 the image range setting unit 111 reads the range of the partial image that is a detection target candidate from the pixel signal processing unit 100. Then, a new image range for image recognition processing is set again. Since step S111 is a processing stage for setting an image range for performing detailed image recognition processing in the second image recognition process, the image range setting unit 111 is included in the determination result input from the feature amount determination unit 115. The range of the partial image that is the detection target candidate is set again to a new image range for performing image recognition processing. In FIG.
- the image range setting unit 111 sets the respective ranges of the partial image B10 and the partial image B16 to the pixel signal processing unit 100. And set again to a new image range for image recognition processing. Then, the image range setting unit 111 sets range information indicating that the range of the partial image that is the detection target candidate, that is, the range of each of the partial image B10 and the partial image B16 is set again as a new image range. The data is output to the reading unit 113.
- step S112 the read circuit selection unit 112 selects the charge read circuit unit that reads an image used for image recognition processing. Since step S112 is a processing stage for reading an image for which detailed image recognition processing is performed in the second image recognition process, a partial image that is a candidate for detection is detected from the feature amount determination unit 115 in the reading circuit selection unit 112. A determination result indicating that there is an input. For this reason, the reading circuit selection unit 112 selects the first charge reading circuit unit 105 as a charge reading circuit unit that reads an image used for image recognition processing. Then, the readout circuit selection unit 112 outputs an image readout instruction for reading out an image from the selected first charge readout circuit unit 105 to the image readout unit 113.
- step S113 the image reading unit 113 is a detection target candidate represented by the range information input from the image range setting unit 111 in response to the image reading instruction input from the reading circuit selection unit 112.
- An image readout control signal for reading out the high-resolution image S 1 in the image range is output to the first charge readout circuit unit 105 in the pixel signal processing unit 100.
- the image reading unit 113 includes the high-resolution image S1 in the range of the partial image that is the detection target candidate read from the first charge reading circuit unit 105 in the pixel signal processing unit 100, and the partial image setting unit 114. It outputs to the quantity determination part 115.
- the range of the high resolution image S1 read from the pixel signal processing unit 100 is limited.
- the reading speed of the reading of the high resolution image S1 that is expected to be lower than that when reading the low resolution image S2 from the pixel signal processing unit 100 and higher in power consumption. Improve and reduce power consumption. That is, in the second image recognition process, high-accuracy image recognition processing can be performed while suppressing processing time and power consumption.
- the image reading unit 113 outputs a range of rows from which the pixel signals are read from a plurality of pixels arranged in the pixel array provided in the pixel signal processing unit 100.
- step S ⁇ b> 111 the image range setting unit 111 reads out a sum range including all the partial images that are detection target candidates from the pixel signal processing unit 100 and performs image recognition processing. It is conceivable to set it again. More specifically, the image range setting unit 111 sets the range of the partial image B9 to the partial image B16 including the partial image B10 and the partial image B16 that are detection target candidates shown in FIG. It is conceivable that a new image range is read out from the signal processing unit 100 and subjected to image recognition processing and set again.
- the image reading unit 113 includes the partial image B9 to the partial image including the partial image B10 and the partial image B16 that are detection target candidates represented by the range information input from the image range setting unit 111.
- An image readout control signal for reading out the high resolution image S1 in the range of B16 is output to the first charge readout circuit unit 105 in the pixel signal processing unit 100.
- the first charge readout circuit unit 105 in the pixel signal processing unit 100 outputs a high resolution image S1 in the range of the partial image B9 to the partial image B16.
- the partial image setting unit 114 has a range of the partial image B9 to the partial image B16 that includes the partial image B10 and the partial image B16 that are detection target candidates input from the image reading unit 113. Partial image information indicating that the region of the high-resolution image S1 is divided and only the partial image B10 or the partial image B16, which is a detection target candidate, is set as each partial image. It can be considered to output to the calculation unit 1151.
- step S115 the feature amount calculation unit 1151 calculates the feature amount of the subject included in the high-resolution image S1 in the range of the partial image that is the detection target candidate input from the image reading unit 113, for each partial image. Calculate every time.
- step S115 is a processing stage in which a feature amount is calculated for each partial image with respect to the high-resolution image S1, and thus the feature amount calculation unit 1151 uses, for example, the above-described HOG or BoF.
- the feature amount of the subject is calculated by the detailed method.
- the feature amount calculation unit 1151 outputs each feature amount calculated for each partial image with respect to the high resolution image S1 to the classifier application unit 1152.
- step S116 the classifier application unit 1152 inputs each feature amount for each partial image of the high-resolution image S1 input from the feature amount calculation unit 1151 to a classifier that has been constructed in advance, For each of the partial images, a classification score representing the likelihood of a subject to be detected prepared in advance is calculated.
- step S116 is a processing stage in which a classifier is applied to the feature amount of the partial image of the high-resolution image S1, so that the classifier application unit 1152 uses, for example, the above-described SVM and KDA, respectively. Is used as a classifier for inputting the feature quantity, a more accurate classification score is calculated. Then, the classifier application unit 1152 outputs each classification score calculated for each partial image with respect to the high-resolution image S1 to the detection determination unit 1153.
- step S117 the detection determination unit 1153 determines whether or not each partial image is a detection target based on the classification score for each partial image of the high resolution image S1 input from the classifier application unit 1152. Determine and complete the second image recognition process. That is, the detection determination unit 1153 determines whether or not the partial image that is the detection target candidate detected in the first image recognition process is the partial image that is the detection target that should be finally detected. Complete the image recognition process.
- FIG. 3E shows a case where the partial image B10 is the detection target among the partial images B10 and B16 that are the detection target candidates shown in FIG.
- the result of determination by the detection determination unit 1153 for each partial image of the high-resolution image S1, that is, the determination result including information indicating that the partial image B10 is a detection target is, for example, the image recognition of the present embodiment.
- a control device that is provided in the imaging system in which the apparatus 10 is constructed and controls the imaging system according to the result of the image recognition by the image recognition apparatus 10, or the final according to the result of the image recognition by the image recognition apparatus 10. It is used by an image processing unit that generates an image.
- various functions according to the result of image recognition by the image recognition apparatus 10 can be realized. For example, as shown in FIG.
- a display frame A10 indicating that “a dog facing the front” has been detected is provided in the imaging system in which the image recognition apparatus 10 of the present embodiment is constructed. It can be displayed superimposed on a display image generated based on the high-resolution image S1 or the low-resolution image S2 displayed on the apparatus.
- a plurality of first holds the signal charges generated by the photoelectric conversion units (photoelectric conversion units 101a to 101d) provided in each of the plurality of pixels arranged in a two-dimensional matrix.
- Charge storage circuits (first charge storage circuit 103a to first charge storage circuit 103d) and photoelectric conversion units (photoelectric conversion unit 101a to photoelectric conversion unit 101d) provided in a predetermined pixel among a plurality of pixels.
- a plurality of second charge storage circuits (second charge storage circuit 104ab and second charge storage circuit 104cd) that hold the signal charges generated, and the first charge storage circuit 103a to the first charge storage circuit 103d.
- Pixel signals corresponding to the signal charges held in the circuit unit (first charge readout circuit unit 105), the second charge storage circuit 104ab and the second charge storage circuit 104cd are read out, and the pixel signals read out here
- a second charge readout circuit unit (second charge readout circuit unit 106) that outputs an image based on the second image (low-resolution image S2) reduced to a predetermined number of pixels;
- a read circuit selection unit (read circuit selection unit 112) that selects either the charge read circuit unit 105 or the second charge read circuit unit 106 as a charge read circuit unit for reading an image, and a read circuit selection unit 112.
- An image reading unit (image reading unit 113) that reads an image from the selected charge reading circuit unit, and an image reading unit 113 that reads the image.
- a feature amount determination unit (feature amount determination unit 115) that calculates a feature amount of a subject included in the output image and determines a subject to be detected based on the calculated feature amount;
- the charge readout circuit unit 106 is selected, and it is determined whether the subject is a detection target based on the feature amount of the subject included in the low-resolution image S2 read out from the second charge readout circuit unit 106 selected here.
- the first charge readout circuit unit 105 is then selected to determine whether or not to determine the subject included in the high-resolution image S1 (image recognition device 10). Is configured.
- each of the second charge storage circuit 104ab and the second charge storage circuit 104cd includes a photoelectric conversion unit (photoelectric conversion unit 101a to photoelectric conversion unit 101d) in a plurality of corresponding pixels.
- the first charge readout circuit unit 105 outputs the low-resolution image S2 that holds the signal charge of the charge amount obtained by averaging the signal charges generated in the same exposure period and is output from the second charge readout circuit unit 106.
- the image recognition apparatus 10 is configured as an image having a lower resolution than the high resolution image S1 based on the pixel signal corresponding to the signal charge obtained by the same exposure as the high resolution image S1.
- a partial image setting unit for setting a partial image obtained by dividing the image area read by the image reading unit 113 into at least one area (partial image B16).
- An image setting unit 114), and the feature amount determination unit 115 sets the subject included in the partial image for each partial image (for example, the partial image B1 to the partial image B16) set by the partial image setting unit 114.
- An image recognition apparatus 10 that determines whether or not the subject is a detection target is configured.
- the partial image setting unit 114 divides a plurality of partial images (for example, the partial image B1 to the partial image B16) obtained by dividing the region of the low resolution image S2 that is first read by the image reading unit 113.
- An image recognition device 10 to be set is configured.
- the image reading unit 113 further includes an image range setting unit (image range setting unit 111) that sets the range of the image to be read, and the image range setting unit 111 applies the low resolution image S2 to the low resolution image S2.
- the image reading unit 113 resets the range of the high-resolution image S1 to be read next by the image reading unit 113 based on the determination result of whether or not the subject is the detection target subject determined by the feature amount determination unit 115.
- the image recognition apparatus 10 is configured to read out the high resolution image S1 in the range of the image reset by the image range setting unit 111.
- the feature amount determination unit 115 includes a feature amount calculation unit (feature amount calculation unit 1151) that calculates the feature amount of the subject included in the image read by the image reading unit 113, and the feature amount calculation.
- a classifier application unit (classifier application unit 1152) that inputs the feature amount calculated by the unit 1151 to a classifier that has been constructed in advance and outputs a classification score that represents the subject likeness to be detected, and a classifier application unit
- a detection determination unit (detection determination unit 1153) for determining whether or not the subject represented by the feature amount calculated by the feature amount calculation unit 1151 is a subject to be detected based on the classification score calculated by 1152;
- An image recognition apparatus 10 is provided.
- the feature amount calculation unit 1151 includes the feature amount of the subject included in the low resolution image S2 first read by the image reading unit 113 and the high resolution image read next by the image reading unit 113. Apply the classifier to each of the subject features included in S1 using different calculation methods (for example, a simple method using RGB histograms and statistics, and a detailed method using HOG and BoF).
- the unit 1152 uses different classifiers (for example, feature amounts) that are constructed in advance for the feature amounts calculated for the low-resolution image S2 and the feature amounts calculated for the high-resolution image S1.
- the image recognition apparatus 10 is input to a classifier to be compared with a threshold and a classifier such as SVM or KDA.
- the image range setting unit 111 displays the entire range of the low resolution image S2 to be read when the image reading unit 113 reads the low resolution image S2 for the first time.
- An image recognition device 10 configured to set a range of images to be read is configured.
- each of the plurality of pixels arranged in a two-dimensional matrix in the plurality of first charge storage circuits (the first charge storage circuit 103a to the first charge storage circuit 103d).
- the second charge storage circuit 104cd) holds the signal charge generated by the photoelectric conversion units (photoelectric conversion unit 101a to photoelectric conversion unit 101d) included in a predetermined pixel among the plurality of pixels.
- the pixel signal corresponding to the procedure and the signal charge held in each of the first charge accumulation circuit 103a to the first charge accumulation circuit 103d is sent to the first charge readout circuit unit (first charge readout circuit unit 105).
- first charge readout circuit unit 105 first charge readout circuit unit 105
- second charge reading circuit unit second Of the second charge storage circuit 104ab and the second charge storage circuit 104cd, the pixel signal corresponding to the signal charge held in each of the second charge storage circuit 104ab and the second charge storage circuit 104cd is read out.
- the second charge readout procedure for outputting the image based on the second image (low-resolution image S2) reduced to a predetermined number of pixels and the readout circuit selection unit (readout circuit selection unit 112)
- Read circuit selection procedure for selecting one of the first charge read circuit unit 105 and the second charge read circuit unit 106 as a charge read circuit unit for reading an image
- An image reading procedure for causing the image reading unit (image reading unit 113) to read an image from the charge reading circuit unit selected by the reading circuit selection procedure, and an image reading to the feature amount determination unit (feature amount determination unit 115)
- a feature amount determination procedure for calculating a feature amount of a subject included in an image read by the procedure, and determining a subject to be detected based on the calculated feature amount.
- the second charge readout circuit unit 106 is selected and detected based on the feature amount of the subject included in the low-resolution image S2 read out by the second charge readout circuit unit 106 selected here.
- the first charge readout circuit unit 105 is selected in the next processing step (second image recognition step) according to the determination result of whether or not the subject is the target subject.
- second image recognition step an image recognition method for determining whether or not to perform a determination on a subject included in the high resolution image S1 is configured.
- the image recognition processing unit first reads a low-resolution image from the pixel signal processing unit, performs simple image recognition processing, and requires detailed image recognition processing. Sometimes, a high-resolution image is read from the pixel signal processing unit and a detailed image recognition process is performed. Thereby, in the said embodiment, the image-recognition apparatus which made compatible both high-precision image recognition and high-speed image recognition is realizable.
- the image recognition process is performed using the high-resolution image and the low-resolution image obtained by the same one-time exposure (photographing) by the pixel signal processing unit.
- a low-resolution image is generated in the pixel signal processing unit, that is, the second charge storage circuit (averaged charge storage circuit) provided in the pixel signal processing unit is generated by the photoelectric conversion unit. Since the generated signal charges are averaged, a low-resolution image can be instantaneously generated.
- image processing for converting the resolution of an image which is necessary when the image recognition process is divided into two stages by only one shooting in the conventional image recognition processing, is not required. It is possible to realize an image recognition apparatus that reduces the processing time required for this processing and the power consumption during the processing.
- a downsized image recognition apparatus can be realized.
- the pixel signal processing unit by performing image recognition processing using a high-resolution image and a low-resolution image obtained by the same one-time exposure (photographing) by the pixel signal processing unit,
- the high-speed and simple image recognition process using the low-resolution image to be performed and the detailed image recognition process using the high-resolution image to be performed later, that is, the position of the subject photographed at the same timing, that is, the position Image recognition processing can be performed on a subject with no deviation.
- the result detected by the simple image recognition process performed at high speed can be utilized effectively for the detailed image recognition process performed after that.
- processing that is considered to be necessary when a subject that moves quickly in image recognition such as alignment of a subject in a high-resolution image and a subject in a low-resolution image, is unnecessary.
- the fact that the alignment processing with the subject is not necessary is also effective in realizing a downsized image recognition apparatus. More specifically, in conventional image recognition processing, a low-resolution image and a high-resolution image are obtained by different shooting. Therefore, when detecting a fast-moving subject as a detection target, a low-resolution image is used. Therefore, the state of the subject detected by the simple image recognition process executed at high speed differs from the state of the subject detected by the detailed image recognition process using the high-resolution image.
- each image recognition process can be performed on a subject at the same timing, so even when a fast-moving subject is detected as a detection target, a low-resolution image is used.
- the state of the subject detected by the simple image recognition process executed at high speed is the same as the state of the subject detected by the detailed image recognition process using the high-resolution image.
- a simple execution performed at high speed as in the case of detecting the state where the pet (in FIG. 3, “dog”) shown in the example of the image recognition process in FIG.
- the results detected in the typical image recognition process can be used in the subsequent detailed image recognition process.
- the subject in the high-resolution image and the low-resolution image required in the conventional image recognition process Processing such as alignment with the subject inside is unnecessary.
- a high-resolution image and a low-resolution image can be obtained by the same single exposure (photographing), and processing such as alignment between the subject in the high-resolution image and the subject in the low-resolution image is unnecessary. That is, for example, the result of simple image recognition processing using a low-resolution image, all operations of the image recognition device start according to the result, or the frame rate is increased, It can also be used to determine what is called a wake-up operation. The use for the determination of the wake-up operation is also effective for realizing further reduction in power consumption of the image recognition apparatus.
- the post-wake-up process is performed on a high-resolution image different from the low-resolution image determined to be wake-up.
- a high-resolution image and a low-resolution image are obtained by the same exposure (photographing)
- it is obtained by the same exposure (photographing) as the low-resolution image determined to be waked up.
- the post-wake-up process can be performed on the obtained high-resolution image. That is, in the above embodiment, even when the result of the simple image recognition process using the low-resolution image is used for the determination of the wakeup operation, the same process as when the wakeup operation is not performed is performed. be able to.
- an image recognition apparatus is constructed that achieves both high-accuracy image recognition and high-speed image recognition, shortens the entire processing time, and reduces power consumption and size. Can do.
- both high-accuracy image recognition and high-speed image recognition are compatible, the overall processing time is shortened, the speed is shortened, the power consumption is extended for a long time, and An effective system that achieves miniaturization can be realized.
- the signal charge obtained by averaging the charge amount of each signal charge generated by the corresponding photoelectric conversion unit 101 provided in each pixel A configuration in which the second charge storage circuit 104 that holds the high-resolution image S1 and the low-resolution image S2 is output is shown.
- the configuration of the pixel signal processing unit provided in the image recognition apparatus of the present invention is not limited to the configuration described above in the embodiment for carrying out the present invention.
- the pixel signal processing unit includes a configuration in which the signal charges obtained by averaging the signal charges generated by the corresponding pixels held by the second charge storage circuit 104 are further averaged. It can also be configured to output an image having a lower resolution than the low resolution image S2.
- the image recognition apparatus divides the image recognition processing process into three stages and constructs image recognition that narrows down detection target candidates at each stage. More specifically, the image recognition processing unit 110 included in the image recognition apparatus 10 uses an image having a lower resolution than the low resolution image S2 in the first (first stage) image recognition processing process, so that the image recognition processing unit 110 can operate at higher speed. In the next (second stage) image recognition process, high-speed image recognition processing is performed using the low resolution image S2, and the last (third stage) image recognition process is performed. In the process, it is conceivable to perform high-accuracy image recognition processing using the high-resolution image S1. Thereby, it is thought that the oversight of the detection target candidate can be suppressed.
- each process in the first image recognition process is performed by a simple method
- each process in the second image recognition process is performed by a detailed method, that is, the first image.
- the low resolution image S2 used in the first image recognition process is an image having a lower resolution than the high resolution image S1 used in the second image recognition process, that is, the number of pixels included in the low resolution image S2 is high resolution.
- the image is smaller than the number of pixels included in the image S1. For this reason, each processing method in the first image recognition process and each processing method in the second image recognition process can be made the same method.
- the low-resolution image S2 is an image having a smaller number of pixels than the high-resolution image S1, and thus the respective processes in the first image recognition process and the second image recognition process were performed by the same method. Even in this case, it can be considered that the processing load of the first image recognition process is reduced compared to the processing of the second image recognition process.
- the group of pixels in the pixel signal processing unit provided in the image recognition apparatus of the present invention is not limited to the configuration of the above embodiment. That is, one set can be configured with more pixels than the configuration shown in the embodiment for carrying out the present invention.
- the number of pixels (the number of pixels) provided in the pixel signal processing unit 100 and the number by which the number of pixels is reduced are not limited to the mode for carrying out the present invention, and the pixel signal processing is within the scope of the present invention.
- the number of pixels (the number of pixels) included in the unit 100 and the number by which the number of pixels is reduced can be changed.
- the structure for arranging the respective components provided in the image recognition device 10 and the pixel signal processing unit 100 provided in the image recognition device 10 is not limited.
- the pixel signal processing unit 100 separately outputs a high resolution image S1 and a low resolution image S2 based on a pixel signal obtained by photoelectrically converting light incident on each pixel, and a charge coupled device (CCD).
- CCD charge coupled device
- Type solid-state imaging device or a CMOS (Complementary Metal Oxide Semiconductor) type solid-state imaging device This solid-state imaging device has a so-called monolithic structure in which all the components are arranged on a single substrate, even if each component is divided into a plurality of substrates. May be.
- each component of the image recognition apparatus 10 may be divided into a plurality of substrates to have a multilayer substrate structure, or all the components may have a monolithic structure.
- an image recognition apparatus and an image recognition method that can achieve both high-accuracy image recognition and high-speed image recognition, and can reduce power consumption and scale.
- Image Recognition Device 100 Pixel Signal Processing Unit (Image Recognition Device) 101a, 101b, 101c, 101d Photoelectric conversion unit (pixel, image recognition device) 102a, 102b, 102c, 102d Charge transfer circuit (pixel, image recognition device) 103a, 103b, 103c, 103d First charge storage circuit (pixel, image recognition device) 104ab, 104cd Second charge storage circuit (pixel, image recognition device) 105 First charge readout circuit unit (image recognition device) 106 Second charge readout circuit unit (image recognition device) 110 Image recognition processing unit (image recognition device) 111 Image range setting unit (image recognition device) 112 Reading circuit selection unit (image recognition device) 113 Image reading unit (image recognition device) 114 Partial image setting unit (image recognition device) 115 feature amount determination unit (feature amount determination unit, image recognition device) 1151 Feature amount calculation unit (feature amount determination unit, image recognition device) 1152 Classifier application unit (feature amount determination unit, image recognition device) 1153 Detection determination unit (feature amount determination unit, image recognition device)
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本画像認識装置は、二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部が発生した信号電荷を保持する複数の第1の電荷蓄積回路と、複数の前記画素の内、予め定めた前記画素に備えた前記光電変換部が発生した前記信号電荷を保持する複数の第2の電荷蓄積回路と、前記第1の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出し、読み出した前記画素信号に基づいた画像を、第1の画像として出力する第1の電荷読み出し回路部と、前記第2の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出し、読み出した前記画素信号に基づいた画像を、予め定めた数の画素数に減縮した第2の画像として出力する第2の電荷読み出し回路部と、前記第1の電荷読み出し回路部または前記第2の電荷読み出し回路部のいずれか一方を、画像を読み出す電荷読み出し回路部として選択する読み出し回路選択部と、前記読み出し回路選択部によって選択された電荷読み出し回路部から画像を読み出す画像読み出し部と、前記画像読み出し部が読み出した前記画像に含まれる被写体の特徴量を算出し、算出した前記特徴量に基づいて検出対象の被写体を判定する特徴量判定部とを備え、最初に前記第2の画像に含まれる被写体の特徴量に基づいて判定した判定結果に応じて、次に前記第1の画像に含まれる被写体に対する前記判定を行うか否かを決定する。
Description
本発明は、画像認識装置および画像認識方法に関する。
本願は、2014年3月14日に、日本国に出願された特願2014-051579号に基づき優先権を主張し、その内容をここに援用する。
本願は、2014年3月14日に、日本国に出願された特願2014-051579号に基づき優先権を主張し、その内容をここに援用する。
従来から、画像に写されている物体、つまり、被写体(対象物)を認識する画像認識の技術がある。画像認識では、高解像度の画像に基づいて被写体の特徴量を算出することにより、より詳細な特徴量を取得し、より複雑な認識ができるが、処理速度は遅くなってしまう。逆に、画像認識において低解像度の画像に基づいて被写体の特徴量を算出すると、処理速度は速くなるが、簡易的な特徴量しか取得できず、単純な認識しかできない。
このことから、例えば、特許文献1のように、画像認識の過程を2段階に分けて、高精度の画像認識と高速な画像認識とを両立する技術が開示されている。特許文献1で開示された技術は、検査対象となる部品が複雑な形状を有する部品であったり、複数種類の欠陥が存在する部品であったりした場合でも、短時間で精度良く欠陥を検出することができる欠陥検出方法の技術である。この特許文献1で開示された技術では、カメラで撮影した画像から検査対象部品の表面に存在する欠陥の特徴を表す量である第1の特徴量を算出し、ここで算出した第1の特徴量に基づいて、欠陥候補の部位が存在するか否かを検査する。
欠陥候補の部位が存在するとの検査結果が得られた場合、カメラを移動させて詳細な画像をさらに、撮影する。そして、さらに撮影した画像から第2の特徴量を算出し、ここで算出した第2の特徴量に基づいて欠陥候補の部位が欠陥であるか否かを定量化する。
欠陥候補の部位が存在するとの検査結果が得られた場合、カメラを移動させて詳細な画像をさらに、撮影する。そして、さらに撮影した画像から第2の特徴量を算出し、ここで算出した第2の特徴量に基づいて欠陥候補の部位が欠陥であるか否かを定量化する。
このように、画像認識の過程を2段階に分け、前段の処理において低解像度の画像と簡易な特徴量とを用いた簡易的な画像認識の処理を行い、詳細な画像認識の処理が必要となったときに、後段の処理において高解像度の画像と詳細な特徴量とを用いた詳細な画像認識の処理を行うことによって、高精度の画像認識と高速な画像認識とを両立することができる。
しかしながら、特許文献1で開示された技術のように、過程を2段階に分けて画像認識の処理を行う場合、詳細な画像認識の処理が必要となったときに、カメラで高解像度の画像を再度撮影する必要がある。このとき、カメラの位置やズーム倍率の変更も必要になる場合もある。また、2回の撮影を行わずに画像認識の過程を2段階に分けることも考えられるが、この場合には、1回の撮影で高解像度の画像を撮影し、ここで撮影した高解像度の画像から、簡易的な画像認識の処理に用いる低解像度の画像を生成する必要がある。つまり、1回の撮影のみで画像認識の過程を2段階に分ける場合には、撮影した画像の解像度を変換する画像処理が必要になる。このため、画像認識の処理に要する処理時間や、処理中の消費電力は増大してしまう。
また、画像認識を自動で実施するシステムを構築する場合には、カメラの位置やズーム倍率を自動で変更するための構成が必要になり、システム全体が大規模になってしまう。このため、画像認識を行う構成を、低消費電力、長時間駆動、小型の撮像システム内に構築することは困難である。
本発明は、上記の課題認識に基づいてなされたものであり、高精度の画像認識と高速な画像認識とを両立すると共に、低消費電力化および小規模化を図ることができる画像認識装置および画像認識方法を提供することを目的としている。
本発明の第一の態様によれば、画像認識装置は、二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部が発生した信号電荷を保持する複数の第1の電荷蓄積回路と、複数の前記画素の内、予め定めた前記画素に備えた前記光電変換部が発生した前記信号電荷を保持する複数の第2の電荷蓄積回路と、前記第1の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出し、読み出した前記画素信号に基づいた画像を、第1の画像として出力する第1の電荷読み出し回路部と、前記第2の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出し、読み出した前記画素信号に基づいた画像を、予め定めた数の画素数に減縮した第2の画像として出力する第2の電荷読み出し回路部と、前記第1の電荷読み出し回路部または前記第2の電荷読み出し回路部のいずれか一方を、画像を読み出す電荷読み出し回路部として選択する読み出し回路選択部と、前記読み出し回路選択部によって選択された電荷読み出し回路部から画像を読み出す画像読み出し部と、前記画像読み出し部が読み出した前記画像に含まれる被写体の特徴量を算出し、算出した前記特徴量に基づいて検出対象の被写体を判定する特徴量判定部と、を備え、最初に前記第2の電荷読み出し回路部を選択し、選択した前記第2の電荷読み出し回路部から読み出した前記第2の画像に含まれる被写体の特徴量に基づいて前記検出対象の被写体であるか否かを判定した判定結果に応じて、次に前記第1の電荷読み出し回路部を選択して、前記第1の画像に含まれる被写体に対する前記判定を行うか否かを決定する。
本発明の第二の態様によれば、上記第一の態様に係る画像認識装置において、前記第2の電荷蓄積回路は、対応する複数の前記画素内の前記光電変換部のそれぞれが同じ露光期間で発生したそれぞれの前記信号電荷を平均化した電荷量の信号電荷を保持し、前記第2の電荷読み出し回路部が出力する前記第2の画像は、前記第1の電荷読み出し回路部が出力する前記第1の画像と同じ露光によって得られた前記信号電荷に応じた画素信号に基づいた、前記第1の画像よりも解像度が低い画像であってもよい。
本発明の第三の態様によれば、上記第一または第二の態様に係る画像認識装置において、前記画像読み出し部が読み出した前記画像の領域を、少なくとも1つの領域に分割した部分画像を設定する部分画像設定部、をさらに備え、前記特徴量判定部は、前記部分画像設定部によって設定された前記部分画像毎に、前記部分画像に含まれる被写体が前記検出対象の被写体であるか否かを判定してもよい。
本発明の第四の態様によれば、上記第三の態様に係る画像認識装置において、前記部分画像設定部は、前記画像読み出し部が最初に読み出した前記第2の画像の領域を分割した複数の前記部分画像を設定してもよい。
本発明の第五の態様によれば、上記第一の態様から第四の態様のいずれか一つの態様に係る画像認識装置において、前記画像読み出し部が読み出す前記画像の範囲を設定する画像範囲設定部、をさらに備え、前記画像範囲設定部は、前記第2の画像に対して前記特徴量判定部が判定した、前記検出対象の被写体であるか否かの判定結果に基づいて、前記画像読み出し部が次に読み出す前記第1の画像の範囲を再設定し、前記画像読み出し部は、次に前記第1の画像を読み出す際に、前記画像範囲設定部によって再設定された画像の範囲の前記第1の画像を読み出してもよい。
本発明の第六の態様によれば、上記第一の態様から第五の態様のいずれか一つの態様に係る画像認識装置において、前記特徴量判定部は、前記画像読み出し部が読み出した前記画像に含まれる被写体の前記特徴量を算出する特徴量計算部と、前記特徴量計算部が算出した前記特徴量を、予め構築しておいた分類器に入力し、検出対象の被写体らしさを表す分類スコアを出力する分類器適用部と、前記分類器適用部が算出した分類スコアに基づいて、前記特徴量計算部が算出した前記特徴量で表される被写体が前記検出対象の被写体であるか否かを判定する検出判定部と、を備えてもよい。
本発明の第七の態様によれば、上記第六の態様に係る画像認識装置において、前記特徴量計算部は、前記画像読み出し部が最初に読み出した前記第2の画像に含まれる被写体の前記特徴量と、前記画像読み出し部が次に読み出した前記第1の画像に含まれる被写体の前記特徴量とのそれぞれを、異なる算出方法で算出し、前記分類器適用部は、前記第2の画像に対して算出された前記特徴量と、前記第1の画像に対して算出された前記特徴量とのそれぞれを、予め構築しておいた異なる分類器に入力してもよい。
本発明の第八の態様によれば、上記第五の態様を引用する上記第五の態様から第七の態様のいずれか一つの態様に係る画像認識装置において、前記画像範囲設定部は、前記画像読み出し部が最初に前記第2の画像を読み出す際に、前記読み出す前記第2の画像の全ての範囲を、前記画像読み出し部が読み出す前記画像の範囲に設定してもよい。
本発明の第九の態様によれば、画像認識方法は、複数の第1の電荷蓄積回路に、二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部が発生した信号電荷を保持させる第1の電荷蓄積手順と、複数の第2の電荷蓄積回路に、複数の前記画素の内、予め定めた前記画素に備えた前記光電変換部が発生した前記信号電荷を保持させる第2の電荷蓄積手順と、第1の電荷読み出し回路部に、前記第1の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出させ、読み出させた前記画素信号に基づいた画像を、第1の画像として出力させる第1の電荷読み出し手順と、第2の電荷読み出し回路部に、前記第2の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出させ、読み出させた前記画素信号に基づいた画像を、予め定めた数の画素数に減縮した第2の画像として出力させる第2の電荷読み出し手順と、読み出し回路選択部に、前記第1の電荷読み出し回路部または前記第2の電荷読み出し回路部のいずれか一方を、画像を読み出させる電荷読み出し回路部として選択させる読み出し回路選択手順と、画像読み出し部に、前記読み出し回路選択手順によって選択された電荷読み出し回路部から画像を読み出させる画像読み出し手順と、特徴量判定部に、前記画像読み出し手順によって読み出された前記画像に含まれる被写体の特徴量を算出させ、算出させた前記特徴量に基づいて検出対象の被写体を判定させる特徴量判定手順と、を含み、最初の処理過程で、前記第2の電荷読み出し回路部を選択し、選択した前記第2の電荷読み出し回路部によって読み出した前記第2の画像に含まれる被写体の特徴量に基づいて前記検出対象の被写体であるか否かを判定した判定結果に応じて、次の処理過程で、前記第1の電荷読み出し回路部を選択して、前記第1の画像に含まれる被写体に対する前記判定を行うか否かを決定する。
本発明によれば、高精度の画像認識と高速な画像認識とを両立すると共に、低消費電力化および小規模化を図ることができる画像認識装置および画像認識方法を提供することができる。
以下、本発明の実施形態について、図面を参照して説明する。図1は、本実施形態における画像認識装置の概略構成を示したブロック図である。図1において、画像認識装置10は、画素信号処理部100と、画像認識処理部110とから構成される。
画素信号処理部100は、画像認識処理部110から入力された画像読み出し制御信号に応じて、撮影した画像を画像認識処理部110に出力する。画素信号処理部100は、複数の画素が二次元の行列状に配置されて形成された画素アレイを備える。画素信号処理部100は、画素アレイ内に配置された全ての画素の画素信号に基づいた画像を高解像度画像S1とし、画素アレイ内に配置された画素の数(画素数)を減縮した画素の画素信号に基づいた画像を低解像度画像S2として、別々に出力する。
画像認識処理部110は、画素信号処理部100から高解像度画像S1または低解像度画像S2のいずれか一方の画像を読み出し、読み出した画像に含まれる被写体の特徴量を算出して画像認識の処理を行う。このとき、画像認識処理部110は、最初に低解像度画像S2に基づいて簡易的な画像認識の処理を行い、詳細な画像認識の処理が必要となったときに、高解像度画像S1に基づいて詳細な画像認識の処理を行う。
上述した構成によって、画像認識装置10は、画像認識の処理過程を2段階に分けて、高精度の画像認識と高速な画像認識とを両立する。つまり、最初(前段)の画像認識の処理過程において、画像認識装置10は、画素数を減縮していない高解像度画像S1よりも早く読み出しを完了することができる低解像度画像S2を用いて高速な画像認識の処理を行う。そして、次(後段)の画像認識の処理過程において、画像認識装置10は、画素数を減縮した低解像度画像S2よりも詳細な被写体の特徴量を算出することができる高解像度画像S1を用いて高精度の画像認識の処理を行う。上述した処理によって、画像認識装置10は、高精度の画像認識と高速な画像認識とを両立する。
次に、本実施形態の画像認識装置10のそれぞれの構成要素について、さらに詳細に説明する。まず、図1に示した本実施形態の画像認識装置10内の画素信号処理部100の構成について、さらに詳細に説明する。なお、画像認識装置10においては、上述したように、複数の画素が二次元の行列状に配置された画素アレイを画素信号処理部100内に含んでいるが、説明を容易にするため、図1においては、画像認識装置10に備えた画素信号処理部100内に、画素a~画素dの4つの画素が配置されている場合の一例を示している。なお、画素信号処理部100内には、本実施形態の画像認識装置10を構築した撮像システムに備えられ、本画像認識装置10の制御を行う制御装置による制御に応じて、画素信号処理部100内に配置されたそれぞれの画素の構成要素を駆動する垂直走査回路や水平走査回路などの構成要素も備えているが、図1においては省略している。
以下の説明においては、それぞれの構成要素が対応する画素、すなわち、画素a~画素dを区別するため、それぞれの構成要素の符号の最後に対応する画素を示す「a」、「b」、「c」、または「d」の符号を付与して説明する。より具体的には、画素aに対応する構成要素の符号の最後に「a」を付与し、画素bに対応する構成要素の符号の最後に「b」を付与し、画素cに対応する構成要素の符号の最後に「c」を付与し、画素dに対応する構成要素の符号の最後に「d」を付与して説明する。画素a~画素dの内、複数の画素に対応する構成要素には、対応する複数の画素の符号(「a」~「d」)を複数付与して説明する。画素a~画素dに共通して対応する構成要素には、「a」~「d」の符号は付与せずに説明する。また、画素a~画素dのいずれかに対応する構成要素ではあるが、説明を行う際に対応する画素を区別しない場合には、「a」~「d」の符号を示さずに、それぞれの構成要素の符号までを示して説明する。
図1に示した本実施形態の画像認識装置10内の画素信号処理部100は、4つの光電変換部101a~光電変換部101dと、4つの電荷転送回路102a~電荷転送回路102dと、4つの第1の電荷蓄積回路103a~第1の電荷蓄積回路103dと、2つの第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdと、第1の電荷読み出し回路部105と、第2の電荷読み出し回路部106とから構成される。図1に示した画素信号処理部100では、光電変換部101aと、電荷転送回路102aと、第1の電荷蓄積回路103aとの構成要素によって画素aを構成し、光電変換部101bと、電荷転送回路102bと、第1の電荷蓄積回路103bとの構成要素によって画素bを構成する。また、図1に示した画素信号処理部100では、光電変換部101cと、電荷転送回路102cと、第1の電荷蓄積回路103cとの構成要素によって画素cを構成し、光電変換部101dと、電荷転送回路102dと、第1の電荷蓄積回路103dとの構成要素によって画素dを構成する。また、図1に示した画素信号処理部100では、第2の電荷蓄積回路104abは、画素aと画素bとに共通の構成要素であり、第2の電荷蓄積回路104cdは、画素cと画素dとに共通の構成要素である。
光電変換部101a~光電変換部101dのそれぞれは、入射した光を光電変換して信号電荷を発生し、発生した信号電荷を蓄積する、フォトダイオードなどの光電変換部である。
電荷転送回路102a~電荷転送回路102dのそれぞれは、対応する光電変換部101a~光電変換部101dのそれぞれが発生して蓄積した信号電荷を、対応する第1の電荷蓄積回路103a~第1の電荷蓄積回路103dのそれぞれと、対応する第2の電荷蓄積回路104abまたは第2の電荷蓄積回路104cdのそれぞれに転送する。すなわち、電荷転送回路102aは、対応する光電変換部101aが発生して蓄積した信号電荷を、対応する第1の電荷蓄積回路103aと、対応する第2の電荷蓄積回路104abに転送する。電荷転送回路102bは、対応する光電変換部101bが発生して蓄積した信号電荷を、対応する第1の電荷蓄積回路103bと、対応する第2の電荷蓄積回路104abに転送する。電荷転送回路102cは、対応する光電変換部101cが発生して蓄積した信号電荷を、対応する第1の電荷蓄積回路103cと、対応する第2の電荷蓄積回路104cdに転送する。電荷転送回路102dは、対応する光電変換部101dが発生して蓄積した信号電荷を、対応する第1の電荷蓄積回路103dと、対応する第2の電荷蓄積回路104cdに転送する。
第1の電荷蓄積回路103a~第1の電荷蓄積回路103dのそれぞれは、対応する電荷転送回路102a~電荷転送回路102dのそれぞれから転送された、対応する光電変換部101a~光電変換部101dのそれぞれが発生した信号電荷を保持(蓄積)する。ここで、第1の電荷蓄積回路103a~第1の電荷蓄積回路103dのそれぞれが保持(蓄積)する信号電荷は、画素信号処理部100に備えた全ての画素の信号電荷、つまり、高解像度の画像の生成に用いる信号電荷である。また、第1の電荷蓄積回路103a~第1の電荷蓄積回路103dのそれぞれは、第1の電荷読み出し回路部105から入力された電荷読み出し制御信号に応じて、保持した信号電荷に応じた信号電圧を、画素信号として第1の電荷読み出し回路部105に出力する。
第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれは、対応する電荷転送回路102a~電荷転送回路102dのそれぞれから転送された、対応する光電変換部101a~光電変換部101dのそれぞれが発生したそれぞれの信号電荷の電荷量を平均化した電荷量の信号電荷、またはそれぞれの信号電荷の電荷量を平均化するための信号電荷を保持(蓄積)する回路(平均化電荷蓄積回路)である。すなわち、第2の電荷蓄積回路104abは、対応する電荷転送回路102aおよび電荷転送回路102bのそれぞれから転送された、対応する光電変換部101aおよび光電変換部101bが発生したそれぞれの信号電荷の電荷量を平均化した電荷量の信号電荷、またはそれぞれの信号電荷の電荷量を平均化するための信号電荷を保持(蓄積)する回路(平均化電荷蓄積回路)である。第2の電荷蓄積回路104cdは、対応する電荷転送回路102cおよび電荷転送回路102dのそれぞれから転送された、対応する光電変換部101cおよび光電変換部101dのそれぞれが発生したそれぞれの信号電荷の電荷量を平均化した電荷量の信号電荷、またはそれぞれの信号電荷の電荷量を平均化するための信号電荷を保持(蓄積)する回路(平均化電荷蓄積回路)である。例えば、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれは、画素信号処理部100に備えたそれぞれの画素の信号電荷を加算平均することによって、画素信号処理部100に備えた画素の数(画素数)を減縮した状態にするための信号電荷を保持する。ここで、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれが保持(蓄積)する信号電荷は、画素信号処理部100に備えた画素の数(画素数)を減縮した、低解像度の画像の生成に用いる信号電荷である。また、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれは、第2の電荷読み出し回路部106から入力された電荷読み出し制御信号に応じて、保持した信号電荷に応じた信号電圧を、画素数を減縮した状態の画素信号として第2の電荷読み出し回路部106に出力する。
図1に示した画素信号処理部100においては、第2の電荷蓄積回路104abが電荷転送回路102aおよび電荷転送回路102b、すなわち、光電変換部101aおよび光電変換部101bに対応している。第2の電荷蓄積回路104cdが電荷転送回路102cおよび電荷転送回路102d、すなわち、光電変換部101cおよび光電変換部101dに対応している。
画素数を減縮するために行うそれぞれの画素の信号電荷を加算平均する構成は、例えば、光電変換部101aおよび光電変換部101bが発生したそれぞれの信号電荷を第2の電荷蓄積回路104abに保持する際に加算平均する構成、第2の電荷蓄積回路104abが保持したそれぞれの信号電荷に応じた信号電圧を出力する際に加算平均する構成などがある。なお、例えば、画素数を減縮するために行うそれぞれの画素の信号電荷を加算平均する構成については、第2の電荷蓄積回路104abが保持したそれぞれの信号電荷に応じた信号電圧を出力した後に加算平均する構成であってもよい。
第1の電荷読み出し回路部105は、画像認識処理部110から入力された画像読み出し制御信号に応じて、第1の電荷蓄積回路103a~第1の電荷蓄積回路103dのそれぞれから画素信号を順次読み出すための電荷読み出し制御信号を、第1の電荷蓄積回路103a~第1の電荷蓄積回路103dのそれぞれに順次出力する。そして、第1の電荷読み出し回路部105は、第1の電荷蓄積回路103a~第1の電荷蓄積回路103dのそれぞれから読み出した画素信号に基づいた画像を、高解像度画像S1として画像認識処理部110に出力する。
第2の電荷読み出し回路部106は、画像認識処理部110から入力された画像読み出し制御信号に応じて、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれから画素数を減縮した状態の画素信号を順次読み出すための電荷読み出し制御信号を、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれに順次出力する。そして、第2の電荷読み出し回路部106は、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれから読み出した画素信号に基づいた画像を、低解像度画像S2として画像認識処理部110に出力する。
なお、第1の電荷読み出し回路部105と第2の電荷読み出し回路部106とのそれぞれは、その機能として、読み出した画素信号に対してノイズ除去などの処理を行う、例えば、CDS(Correlated Double Sampling:相関二重サンプリング)処理の機能を備えている構成であってもよい。また、第1の電荷読み出し回路部105と第2の電荷読み出し回路部106とのそれぞれは、読み出したそれぞれの画素信号(アナログ信号)をアナログデジタル変換するA/D変換回路を備え、アナログデジタル変換したそれぞれの画素信号(アナログ信号)の大きさを表す値(デジタル値)のそれぞれを、高解像度画像S1または低解像度画像S2として出力する構成であってもよい。
なお、画素信号処理部100内の第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれが、保持したそれぞれの信号電荷に応じた信号電圧を加算平均せずにそのまま画素信号として出力する構成である場合には、第2の電荷読み出し回路部106内でそれぞれの画素信号(信号電圧)を加算平均した後に、この画素信号に基づいた低解像度画像S2を画像認識処理部110に出力する構成であってもよい。この場合、第2の電荷読み出し回路部106は、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれから順次読み出されたそれぞれの画素信号を、アナログ信号の状態で加算平均してもよいし、それぞれの画素信号をアナログデジタル変換した後のデジタル値の状態で加算平均してもよい。
上述した構成によって、画素信号処理部100では、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部101が発生した信号電荷を第1の電荷蓄積回路103にそれぞれに保持すると共に、それぞれの信号電荷を平均化した信号電荷(画素数を減縮した信号電荷)を第2の電荷蓄積回路104に保持する。つまり、画素信号処理部100では、高解像度と低解像度との異なる解像度の画像の生成に用いる信号電荷を、それぞれ保持する。より具体的には、画素信号処理部100では、光電変換部101aが発生した信号電荷を第1の電荷蓄積回路103aに、光電変換部101bが発生した信号電荷を第1の電荷蓄積回路103bに、光電変換部101cが発生した信号電荷を第1の電荷蓄積回路103cに、光電変換部101dが発生した信号電荷を第1の電荷蓄積回路103dにそれぞれに保持する。また、画素信号処理部100では、光電変換部101aが発生した信号電荷と光電変換部101bが発生した信号電荷とを平均化した信号電荷を第2の電荷蓄積回路104abに、光電変換部101cが発生した信号電荷と光電変換部101dが発生した信号電荷とを平均化した信号電荷を第2の電荷蓄積回路104cdにそれぞれに保持する。
そして、画素信号処理部100では、第1の電荷蓄積回路103のそれぞれに保持した信号電荷に応じたそれぞれの画素信号の第1の電荷読み出し回路部105による読み出しと、第2の電荷蓄積回路104のそれぞれに保持した信号電荷に応じたそれぞれの画素信号の第2の電荷読み出し回路部106による読み出しとを別々に行う。これにより、画素信号処理部100は、同じ1回の露光によって得られた信号電荷に基づいて、画素信号処理部100に備えた全ての画素の画素信号に基づいた高解像度画像S1と、画素信号処理部100に備えた画素の数(画素数)を減縮した画素信号に基づいた低解像度画像S2とのそれぞれを別々に出力する。
図1に示した画素信号処理部100では、予め定めた2つの画素を組とし、それぞれの画素に備えた光電変換部101が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第2の電荷蓄積回路104を備えた画素信号処理部100の構成を示した。しかし、実際に画素信号処理部100に備えられ、二次元の行列状に複数の画素が配置された画素アレイでは、例えば、ベイヤー配列のカラーフィルタが貼付され、それぞれの画素に備えた光電変換部101は、入射した光に含まれる、貼付されたカラーフィルタの対応する色を光電変換して信号電荷を発生する。従って、本実施形態の画像認識装置10内の画素信号処理部100においては、貼付されたカラーフィルタの色の重心がずれないように、また、異なる色の信号電荷を平均化しないように、画素の組を構成することが望ましい。
また、図1に示した画素信号処理部100においては、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれが、対応する光電変換部101a~光電変換部101dのそれぞれが発生したそれぞれの信号電荷を加算平均することによって画素数を減縮する構成を示した。しかし、画素数を減縮する方法は、図1に示した加算平均のみに限定されず、例えば、画素を間引くことによって、画素数を減縮する構成であってもよい。この場合、図1に示した画素信号処理部100においては、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれが、対応する光電変換部101a~光電変換部101dのそれぞれが発生したそれぞれの信号電荷のいずれか一方の信号電荷を保持(蓄積)することによって、画素を間引く構成が考えられる。
次に、図1に示した本実施形態の画像認識装置10内の画像認識処理部110の構成について、さらに詳細に説明する。図1に示した本実施形態の画像認識装置10内の画像認識処理部110は、画像範囲設定部111と、読み出し回路選択部112と、画像読み出し部113と、部分画像設定部114と、特徴量判定部115とから構成される。
画像範囲設定部111は、画素信号処理部100からそれぞれの画像を読み出して画像認識の処理を行う画像の範囲(画像範囲)を設定する。言い換えれば、画像範囲設定部111は、それぞれの画像に対して画像認識の処理を行う範囲(画像内の領域)を設定する。このとき、画像範囲設定部111は、特徴量判定部115から入力された画像認識の処理の結果に応じて、設定する画像認識の処理を行う範囲を変更する。そして、画像範囲設定部111は、設定した画像認識の処理を行う範囲を表す範囲情報を、画像読み出し部113に出力する。
読み出し回路選択部112は、2段階に分けた画像認識のそれぞれの処理過程に応じて、画像認識の処理に用いる画像を読み出す電荷読み出し回路部として、第1の電荷読み出し回路部105または第2の電荷読み出し回路部106のいずれか一方の電荷読み出し回路部を選択する。このとき、読み出し回路選択部112は、現在の処理過程が何段階目の処理過程であるかに応じて、選択する電荷読み出し回路部を変更する。なお、現在の処理過程が何段階目の処理過程であるかは、特徴量判定部115から入力された画像認識の処理の結果を参照することによって判定することができる。そして、読み出し回路選択部112は、選択した電荷読み出し回路部から画像を読み出すための画像読み出し指示を、画像読み出し部113に出力する。より具体的には、画像認識の処理過程が高解像度画像S1を用いる画像認識の処理である場合、読み出し回路選択部112は、第1の電荷読み出し回路部105から高解像度画像S1を読み出すための画像読み出し指示を、画像読み出し部113に出力する。また、画像認識の処理過程が低解像度画像S2を用いる画像認識の処理である場合、読み出し回路選択部112は、第2の電荷読み出し回路部106から低解像度画像S2を読み出すための画像読み出し指示を、画像読み出し部113に出力する。
なお、読み出し回路選択部112は、特徴量判定部115から入力される画像認識の処理の結果を参照せずに選択する電荷読み出し回路部を変更する構成にすることもできる。この場合、画像認識装置10における画像認識の処理では、本実施形態の画像認識装置10を構築した撮像システムに備えられ、本画像認識装置10の制御を行う制御装置が、特徴量判定部115による画像認識の処理の結果に応じて、選択する電荷読み出し回路部を変更することが考えられる。
画像読み出し部113は、読み出し回路選択部112から入力された画像読み出し指示に応じて、指示された電荷読み出し回路部から画像を読み出すための画像読み出し制御信号を、画素信号処理部100に出力する。このとき、画像読み出し部113は、画像範囲設定部111から入力された範囲情報で表された範囲の画像を読み出すための画像読み出し制御信号を、画素信号処理部100に出力する。より具体的には、画像読み出し部113は、読み出し回路選択部112から、第1の電荷読み出し回路部105を用いて高解像度画像S1を読み出すことを表す画像読み出し指示が入力された場合、画像範囲設定部111から入力された範囲情報で表された範囲の高解像度画像S1を読み出すための画像読み出し制御信号を、画素信号処理部100内の第1の電荷読み出し回路部105に出力する。また、画像読み出し部113は、読み出し回路選択部112から、第2の電荷読み出し回路部106を用いて低解像度画像S2を読み出すことを表す画像読み出し指示が入力された場合、画像範囲設定部111から入力された範囲情報で表された範囲の低解像度画像S2を読み出すための画像読み出し制御信号を、画素信号処理部100内の第2の電荷読み出し回路部106に出力する。
これにより、画像認識のそれぞれの処理過程において画像認識の処理に用いる、範囲情報で表された範囲の高解像度画像S1または低解像度画像S2のいずれか一方の画像が、画素信号処理部100から読み出される。そして、画像読み出し部113は、読み出した範囲情報で表された範囲の画像を、部分画像設定部114と特徴量判定部115とに出力する。
部分画像設定部114は、画像読み出し部113から入力された画像の領域を、画像認識の処理を行う対象の少なくとも1つの領域に分割した部分画像を設定する。そして、部分画像設定部114は、設定した画像認識の処理を行う対象のそれぞれの領域を表す情報を、それぞれの部分画像情報として特徴量判定部115に出力する。
部分画像設定部114が入力された画像の領域を分割する方法としては、例えば、画像の領域を、水平方向および垂直方向にそれぞれ予め定めた複数個の領域(ブロック)に分割する、いわゆる、ブロック分割などの方法が考えられる。ただし、このブロック分割において分割されたそれぞれのブロック、すなわち、部分画像は、隣接するブロックの一部または全部が重複していてもよい。また、部分画像設定部114が入力された画像の領域を分割する他の方法としては、例えば、JSEGアルゴリズムなどの領域分割の手法を用いて画像の領域を過分割し、分割したそれぞれの領域を部分画像とすることなども考えられる。この過分割の方法を用いることによって、画像の輪郭や色の情報に応じて部分画像を設定することができ、入力された画像において画像認識の処理を行う対象となる被写体の領域と背景の領域とを、より正確に分割することができる。なお、部分画像設定部114が入力された画像を画像認識の処理を行う対象の複数の領域(部分画像)に分割する方法に関しては、特に規定しない。つまり、画像の領域を複数の分割する既存の技術を用いることができる。
部分画像設定部114にも特徴量判定部115から画像認識の処理の結果が入力され、入力された画像認識の処理の結果に応じて、設定する部分画像を変更する構成にすることもできる。また、画像認識装置10内に部分画像設定部114を備えない構成にすることもできる。この場合、画像認識装置10における画像認識の処理では、部分画像を設定せず、入力された画像の全ての範囲を画像認識の処理を行う対象の領域とする。ただし、本実施形態の画像認識装置10を構築した撮像システムに備えられ、本画像認識装置10の制御を行う制御装置が、部分画像設定部114の代わりに部分画像を設定する構成にすることはできる。
特徴量判定部115は、画像読み出し部113から入力された画像に対して、部分画像設定部114から入力されたそれぞれの部分画像情報で表された領域毎、すなわち、それぞれの部分画像毎に、画像認識の処理を行う。そして、特徴量判定部115は、それぞれの部分画像における画像認識の処理の結果を、画像範囲設定部111と読み出し回路選択部112とに出力する。特徴量判定部115は、特徴量計算部1151と、分類器適用部1152と、検出判定部1153とを備えている。
特徴量判定部115が行った画像認識の処理の結果は、例えば、本実施形態の画像認識装置10を構築した撮像システムに備えられ、本画像認識装置10による画像認識の結果に応じて撮像システムの制御を行う制御装置や、本画像認識装置10による画像認識の結果に応じて最終的な画像の生成を行う画像処理部などに出力する構成にすることもできる。これにより、本実施形態の画像認識装置10を構築した撮像システムでは、例えば、予め定めた検出対象の被写体が含まれる画像を記録するなど、本画像認識装置10による画像認識の結果に応じた様々な機能を実現することができる。
特徴量計算部1151は、画像読み出し部113から入力された画像内に含まれる被写体の特徴量を算出する。このとき、特徴量計算部1151は、部分画像設定部114によって設定されたそれぞれの部分画像毎に、この部分画像内に含まれる被写体の特徴量を算出する。そして、特徴量計算部1151は、部分画像毎に算出したそれぞれの特徴量を、分類器適用部1152に出力する。
特徴量計算部1151が入力された画像内に含まれる被写体の特徴量を算出する方法としては、例えば、HOG(Histogram of oriented gradients)を用いる方法などが考えられる。また、特徴量計算部1151が入力された画像内に含まれる被写体の特徴量を算出する他の方法としては、例えば、BoF(Bag of features)を用いる方法なども考えられる。このような、複雑な特徴量を特徴量計算部1151が算出することにより、本実施形態の画像認識装置10や、本実施形態の画像認識装置10を構築した撮像システムでは、より高精度の画像認識を行うことができる。
特徴量計算部1151が入力された画像内に含まれる被写体の特徴量を算出する方法に関しては、特に規定しない。つまり、画像内に含まれる被写体の特徴量を算出する既存の技術を用いることができる。ただし、特徴量計算部1151が、低解像度画像S2に対して設定された部分画像内に含まれる被写体の特徴量を算出する場合には、つまり、簡易的な画像認識の処理を行う場合には、特徴量を算出する方法も簡易的な方法にしたり、算出する特徴量の数を少なくしたりすることによって、処理の負荷を軽減することが望ましい。ここで、特徴量計算部1151が入力された画像内に含まれる被写体の簡易的な特徴量を算出する方法としては、例えば、部分画像内のそれぞれの画素を赤色(R)、緑色(G)、青色(B)のそれぞれの色空間に分割し、分割した色空間のそれぞれの分割範囲に相当する色をもつ画素の数を要素としたヒストグラム(RGBヒストグラム)を用いる方法などが考えられる。また、特徴量計算部1151が入力された画像内に含まれる被写体の簡易的な特徴量を算出する他の方法としては、例えば、部分画像内のそれぞれの画素がもつ輝度の平均値や標準偏差などの統計量を用いる方法なども考えられる。このように、特徴量計算部1151が簡易的な特徴量を算出することにより、本実施形態の画像認識装置10や、本実施形態の画像認識装置10を構築した撮像システムでは、低解像度画像S2の画素数が少ないことによる低消費電力化のみではなく、全体の処理時間の短縮も実現することができる。
画素信号処理部100は、高解像度画像S1と低解像度画像S2との差分をとった画像を高速に出力する構成も考えられる。この場合には、特徴量計算部1151は、例えば、SIFT(Scale-Invariant Feature Transform)のスケール探索などを用いて、入力された画像内に含まれる被写体の複雑な特徴量を算出することも考えられる。
分類器適用部1152は、画像読み出し部113から入力された画像内に含まれる被写体の、予め用意された検出対象の被写体らしさを表す分類スコアを算出する。このとき、分類器適用部1152は、特徴量計算部1151から入力された部分画像毎のそれぞれの特徴量を予め構築した分類器にそれぞれ適用(入力)し、それぞれの部分画像内の特徴量毎に算出した分類スコアを検出判定部1153に出力する。
分類器適用部1152が予め構築する分類器としては、例えば、SVM(Support vector machine:サポートベクタマシン)などが考えられ、特徴量計算部1151が算出した被写体の特徴量と、予め用意された被写体の特徴を表す大量のデータ(いわゆる、教師データ)のそれぞれとを比較することによって、教師データとの類似度を基に、検出対象の被写体らしさを表す分類スコアとして算出する方法などが考えられる。また、分類器適用部1152が予め構築する他の分類器としては、例えば、KDA(Kernel Discriminant Analysis)などの教師あり学習器も考えられる。また、分類器適用部1152が予め構築する他の分類器としては、特徴量計算部1151から入力された特徴量を、予め定めた特徴量の閾値と比較する方法を用いることも考えられる。
なお、分類器適用部1152が入力された特徴量の検出対象の被写体らしさを表す分類スコアを算出する方法に関しては、特に規定しない。つまり、画像内に含まれる被写体の特徴量に基づいて分類する既存の技術を用いることができる。ただし、分類器適用部1152が、低解像度画像S2に対して設定された部分画像内に含まれる被写体の特徴量に対して、検出対象の被写体らしさを表す分類スコアを算出する場合には、つまり、簡易的な画像認識の処理を行う場合には、分類スコアを算出するために用いる分類器の処理も簡易的な処理にして、分類器の処理の負荷を軽減することが望ましい。これにより、本実施形態の画像認識装置10や、本実施形態の画像認識装置10を構築した撮像システムにおける全体の処理時間を短縮することができる。
特徴量判定部115は、特徴量判定部115に用いる分類器を逐次更新していく構成にすることもできる。具体的には、画像読み出し部113から入力された画像に対して特徴量判定部115から出力された判定結果の正否を外部から与えることで、新たな教師データを作成し、あらかじめ用意された教師データセットに追加する。そして、追加された教師データセットを基に分類器を再構築し、再構築された分類器を特徴量判定部115に用いる分類器に設定する。これにより本実施形態の画像認識装置10を用いたデジタルカメラ等で画像認識をユーザの好みに合うように更新していく等が可能となる。
検出判定部1153は、分類器適用部1152から入力されたそれぞれの部分画像毎の分類スコアに基づいて、それぞれの部分画像が検出対象であるか否かを判定する。そして、検出判定部1153は、判定した結果を、それぞれの部分画像における画像認識の処理の結果として、画像範囲設定部111と読み出し回路選択部112とに出力する。
なお、検出判定部1153による検出対象であるか否かの判定方法としては、例えば、分類器適用部1152から入力された分類スコアを、予め定めた検出対象であると判定する分類スコアの閾値と比較することによって判定する方法などが考えられる。この場合、分類器適用部1152から入力された分類スコアが、予め定めた分類スコアの閾値以上であるか否かによって、分類器適用部1152から入力されたそれぞれの部分画像が予め定めた検出対象であるか否かを判定する。
なお、検出判定部1153が判定した結果は、特徴量判定部115内の構成要素、すなわち、特徴量計算部1151と、分類器適用部1152と、検出判定部1153とで共有される。しかし、検出判定部1153が判定した結果を特徴量判定部115内の構成要素で共有せず、本実施形態の画像認識装置10を構築した撮像システムに備えられ、本画像認識装置10の制御を行う制御装置が、検出判定部1153が判定した結果に応じて、特徴量判定部115内のそれぞれの構成要素を制御することも考えられる。
上述した構成によって、画像認識処理部110では、画像認識のそれぞれの処理過程において画像認識の処理に用いる高解像度画像S1または低解像度画像S2のいずれか一方の画像を画素信号処理部100から読み出す。そして、画像認識処理部110では、画素信号処理部100から読み出した高解像度画像S1または低解像度画像S2のいずれか一方の画像に対して画像認識の処理を行う。より具体的には、最初に低解像度画像S2を画素信号処理部100から読み出して簡易的な画像認識の処理を行い、詳細な画像認識の処理が必要となったときに、高解像度画像S1画素信号処理部100から読み出して詳細な画像認識の処理を行う。
これにより、本実施形態の画像認識装置10では、画像認識の処理過程を2段階に分けて、高精度の画像認識と高速な画像認識とを両立することができる。
次に、本実施形態の画像認識装置10における画像認識の処理の処理手順について説明する。図2は、本実施形態の画像認識装置10における画像認識の処理手順を示したフローチャートである。また、図3は、本実施形態の画像認識装置10における画像認識の処理のそれぞれの段階の一例を模式的に示した図である。図2に示した画像認識装置10における画像認識の処理のフローチャートの説明においては、適宜、図3に示した画像認識装置10における画像認識の処理のそれぞれの段階の一例を参照し、被写体として「犬」が写っている画像において、「正面を向いている犬」を検出対象とする場合の例を説明する。
画像認識装置10における画像認識の処理では、上述したように、画像認識の処理過程を2段階に分けて実行する。より具体的には、まず、前段の画像認識の処理過程(以下、「第1の画像認識過程」という)において、検出対象(今回の説明では「犬」)らしい被写体を、検出対象候補として判定する。この第1の画像認識過程では、画素数を減縮した低解像度画像S2を用いるため、高速に画像認識の処理を行うことができ、例えば、画像の更新頻度(フレームレート)を高くした場合でも、高速な画像認識を行うことができる。その後、後段の画像認識の処理過程(以下、「第2の画像認識過程」という)において、第1の画像認識過程において判定した検出対象候補の被写体の中から、最終的に検出すべき検出対象の被写体を判定する。この第2の画像認識過程では、画素数を減縮していない高解像度画像S1を用いるため、第1の画像認識過程よりも高精度で画像認識を行うことができる。
前段の画像認識の処理過程(第1の画像認識過程)を開始すると、まず、ステップS101において、画像範囲設定部111は、画素信号処理部100から読み出して画像認識の処理を行う画像範囲を設定する。ステップS101は、第1の画像認識過程において最初に画像認識の処理を行う画像範囲を設定する処理段階であるため、画像範囲設定部111には、特徴量判定部115から画像認識の処理の結果は入力されていない。このため、画像範囲設定部111は、画素信号処理部100から読み出す画像の全ての範囲を、画像認識の処理を行う画像範囲に設定する。そして、画像範囲設定部111は、全ての範囲を画像範囲として設定したことを表す範囲情報を、画像読み出し部113に出力する。
続いて、ステップS102において、読み出し回路選択部112は、画像認識の処理に用いる画像を読み出す電荷読み出し回路部を選択する。ステップS102は、第1の画像認識過程において画像認識の処理を行う最初の画像を読み出す処理段階であるため、読み出し回路選択部112には、特徴量判定部115から画像認識の処理の結果は入力されていない。このため、読み出し回路選択部112は、第2の電荷読み出し回路部106を、画像認識の処理に用いる画像を読み出す電荷読み出し回路部として選択する。そして、読み出し回路選択部112は、選択した第2の電荷読み出し回路部106から画像を読み出すための画像読み出し指示を、画像読み出し部113に出力する。
続いて、ステップS103において、画像読み出し部113は、読み出し回路選択部112から入力された画像読み出し指示に応じて、画像範囲設定部111から入力された範囲情報で表された全ての範囲の低解像度画像S2を読み出すための画像読み出し制御信号を、画素信号処理部100内の第2の電荷読み出し回路部106に出力する。これにより、画素信号処理部100内の第2の電荷読み出し回路部106から、図3の(A)に示したような、全ての範囲の低解像度画像S2が出力される。そして、画像読み出し部113は、画素信号処理部100内の第2の電荷読み出し回路部106から読み出した全ての範囲の低解像度画像S2を、部分画像設定部114と、特徴量判定部115とに出力する。
このように、第1の画像認識過程においては、画素信号処理部100から画素数を減縮した低解像度画像S2を読み出す。すなわち、第1の画像認識過程においては、画素信号処理部100から高解像度画像S1を読み出すときよりも低消費電力で高速に低解像度画像S2を読み出す。これにより、第1の画像認識過程では、高速な画像認識の処理を実現することができる。
続いて、ステップS104において、部分画像設定部114は、画像読み出し部113から入力された全ての範囲の低解像度画像S2の領域を分割した部分画像を設定する。図3の(B)に示した第1の画像認識過程における部分画像の設定段階の一例では、全ての範囲の低解像度画像S2の領域を、予め定めた複数個(図3の(B)では水平方向および垂直方向にそれぞれの4つずつの16個)のブロックに分割し、それぞれのブロックを部分画像B1~部分画像B16として設定した場合を示している。そして、部分画像設定部114は、設定した部分画像B1~部分画像B16のそれぞれを表す部分画像情報を、特徴量判定部115内の特徴量計算部1151に出力する。
続いて、ステップS105において、特徴量計算部1151は、画像読み出し部113から入力された全ての範囲の低解像度画像S2内に含まれる被写体の特徴量を、部分画像設定部114から入力された部分画像情報で表されたそれぞれの部分画像毎に算出する。なお、ステップS105は、低解像度画像S2に対して設定されたそれぞれの部分画像に対して特徴量を算出する処理を行う処理段階であるため、特徴量計算部1151は、例えば、上述したRGBヒストグラムや統計量を用いた簡易的な方法によって被写体の特徴量を算出する。そして、特徴量計算部1151は、低解像度画像S2に対して設定されたそれぞれの部分画像毎に算出したそれぞれの特徴量を、分類器適用部1152に出力する。
続いて、ステップS106において、分類器適用部1152は、特徴量計算部1151から入力された低解像度画像S2に対して設定された部分画像毎のそれぞれの特徴量を予め構築しておいた分類器にそれぞれ入力し、それぞれの部分画像毎に、検出対象の被写体らしさを表す分類スコアを算出する。なお、それぞれの特徴量を入力する分類器としては、例えば、上述したSVMなどが考えられる。しかし、ステップS106は、低解像度画像S2の部分画像の特徴量に対して分類器を適用する処理を行う処理段階であるため、分類器適用部1152は、例えば、特徴量計算部1151から入力されたそれぞれの特徴量の数を少なくしたり、少ない教師データを用いて構築された分類器を用いたりすることなどによって分類器の処理を簡易的な処理とし、分類器の処理の負荷を軽減する。また、分類器の処理の負荷を軽減するため、低解像度画像S2の部分画像の特徴量と予め定めた特徴量の閾値を比較した結果を分類スコアとする分類器を用いることもできる。そして、分類器適用部1152は、それぞれの部分画像毎に算出したそれぞれの分類スコアを、検出判定部1153に出力する。
続いて、ステップS107において、検出判定部1153は、分類器適用部1152から入力された低解像度画像S2に対して設定された部分画像毎の分類スコアに基づいて、それぞれの部分画像が検出対象候補であるか否かを判定する。そして、ステップS108において、検出判定部1153は、いずれかの部分画像が検出対象候補であるか否かを判定する。すなわち、検出判定部1153は、検出対象候補である部分画像が1つ以上あるか否かを判定する。
ステップS108における判定の結果、検出対象候補である部分画像が1つ以上ない場合、すなわち、低解像度画像S2に対して設定されたいずれの部分画像も検出対象候補ではない場合(ステップS108の“NO”)には、第1の画像認識過程を完了する。そして、例えば、次のフレームの画像に対する画像認識の処理を、第1の画像認識過程から再度実行する。
一方、ステップS108における判定の結果、検出対象候補である部分画像が1つ以上ある場合、すなわち、低解像度画像S2に対して設定されたいずれの部分画像が検出対象候補である場合(ステップS108の“YES”)には、検出判定部1153は、低解像度画像S2に対して設定された部分画像毎に判定した結果を、画像範囲設定部111と読み出し回路選択部112とに出力する。
このとき、検出判定部1153は、いずれの部分画像が検出対象候補であるかを表す情報を判定結果に含めて、画像範囲設定部111と読み出し回路選択部112とに出力する。図3の(C)では、ブロック分割した16個の部分画像B1~部分画像B16の内、部分画像B10と部分画像B16とが検出対象候補である場合を示している。従って、検出判定部1153は、部分画像B10と部分画像B16とが検出対象候補であることを表す情報を含んだ判定結果を、画像範囲設定部111と読み出し回路選択部112とに出力する。
画像範囲設定部111は、特徴量判定部115から検出対象候補である部分画像が1つ以上あることを表す判定結果が入力されると、ステップS111から、後段の画像認識の処理過程(第2の画像認識過程)を開始する。
後段の画像認識の処理過程(第2の画像認識過程)を開始すると、まず、ステップS111において、画像範囲設定部111は、検出対象候補である部分画像の範囲を、画素信号処理部100から読み出して画像認識の処理を行う新たな画像範囲に再度設定する。ステップS111は、第2の画像認識過程において詳細な画像認識の処理を行う画像範囲を設定する処理段階であるため、画像範囲設定部111は、特徴量判定部115から入力された判定結果に含まれている検出対象候補である部分画像の範囲を、画像認識の処理を行う新たな画像範囲に再度設定する。図3の(C)では、部分画像B10と部分画像B16とが検出対象候補であるため、画像範囲設定部111は、部分画像B10と部分画像B16とのそれぞれの範囲を、画素信号処理部100から読み出して画像認識の処理を行う新たな画像範囲に再度設定する。そして、画像範囲設定部111は、検出対象候補である部分画像の範囲、すなわち、部分画像B10と部分画像B16とのそれぞれの範囲を新たな画像範囲として再度設定したことを表す範囲情報を、画像読み出し部113に出力する。
続いて、ステップS112において、読み出し回路選択部112は、画像認識の処理に用いる画像を読み出す電荷読み出し回路部として選択する。ステップS112は、第2の画像認識過程において詳細な画像認識の処理を行う画像を読み出す処理段階であるため、読み出し回路選択部112には、特徴量判定部115から検出対象候補である部分画像があることを表す判定結果が入力されている。このため、読み出し回路選択部112は、第1の電荷読み出し回路部105を、画像認識の処理に用いる画像を読み出す電荷読み出し回路部として選択する。そして、読み出し回路選択部112は、選択した第1の電荷読み出し回路部105から画像を読み出すための画像読み出し指示を、画像読み出し部113に出力する。
続いて、ステップS113において、画像読み出し部113は、読み出し回路選択部112から入力された画像読み出し指示に応じて、画像範囲設定部111から入力された範囲情報で表された検出対象候補である部分画像の範囲の高解像度画像S1を読み出すための画像読み出し制御信号を、画素信号処理部100内の第1の電荷読み出し回路部105に出力する。これにより、画素信号処理部100内の第1の電荷読み出し回路部105から、図3の(D)に示したような、検出対象候補である部分画像B10と部分画像B16とのそれぞれの範囲の高解像度画像S1が出力される。そして、画像読み出し部113は、画素信号処理部100内の第1の電荷読み出し回路部105から読み出した検出対象候補である部分画像の範囲の高解像度画像S1を、部分画像設定部114と、特徴量判定部115とに出力する。
このように、第2の画像認識過程においては、画素信号処理部100から読み出す高解像度画像S1の範囲を限定する。これにより、第2の画像認識過程では、画素信号処理部100から低解像度画像S2を読み出すときよりも低速で、よりも消費電力が高いことが予想される高解像度画像S1の読み出しにおける読み出し速度の向上と、消費電力の低減とを実現する。すなわち、第2の画像認識過程では、処理時間と消費電力とを抑えた状態で、高精度の画像認識の処理を行うことができる。
第2の画像認識過程では、検出対象候補である部分画像の範囲の高解像度画像S1のみを画素信号処理部100から読み出す。従って、第2の画像認識過程では、検出対象候補である部分画像の範囲の高解像度画像S1の領域をさらに分割した部分画像を設定する必要がないため、部分画像設定部114は動作せず、部分画像情報を特徴量判定部115内の特徴量計算部1151に出力しない。しかし、画素信号処理部100から高解像度画像S1を読み出す場合、画素信号処理部100に備えた画素アレイ内に配置された複数の画素から画素信号を読み出す行の範囲は、画像読み出し部113が出力する画像読み出し制御信号によって制御することができるが、列の範囲は画像読み出し制御信号によって制御することができないことも考えられる。この場合、画像範囲設定部111は、ステップS111において、検出対象候補であるそれぞれの部分画像が全て含まれる和の範囲を、画素信号処理部100から読み出して画像認識の処理を行う新たな画像範囲に再度設定することが考えられる。より具体的には、画像範囲設定部111が、図3の(D)に示した検出対象候補である部分画像B10と部分画像B16とが含まれる部分画像B9~部分画像B16の範囲を、画素信号処理部100から読み出して画像認識の処理を行う新たな画像範囲に再度設定することが考えられる。このため、画像読み出し部113は、ステップS113において、画像範囲設定部111から入力された範囲情報で表された検出対象候補である部分画像B10と部分画像B16とが含まれる部分画像B9~部分画像B16の範囲の高解像度画像S1を読み出すための画像読み出し制御信号を、画素信号処理部100内の第1の電荷読み出し回路部105に出力する。そして、画素信号処理部100内の第1の電荷読み出し回路部105からは、部分画像B9~部分画像B16の範囲の高解像度画像S1が出力される。従って、このような場合には、部分画像設定部114が、画像読み出し部113から入力された検出対象候補である部分画像B10と部分画像B16とが含まれる部分画像B9~部分画像B16の範囲の高解像度画像S1の領域を分割し、検出対象候補である部分画像B10または部分画像B16のみの領域をそれぞれの部分画像として設定したことを表す部分画像情報を、特徴量判定部115内の特徴量計算部1151に出力することが考えられる。
続いて、ステップS115において、特徴量計算部1151は、画像読み出し部113から入力された検出対象候補である部分画像の範囲の高解像度画像S1内に含まれる被写体の特徴量を、それぞれの部分画像毎に算出する。なお、ステップS115は、高解像度画像S1に対して、それぞれの部分画像毎に特徴量を算出する処理を行う処理段階であるため、特徴量計算部1151は、例えば、上述したHOGやBoFを用いた詳細な方法によって被写体の特徴量を算出する。そして、特徴量計算部1151は、高解像度画像S1に対してそれぞれの部分画像毎に算出したそれぞれの特徴量を、分類器適用部1152に出力する。
続いて、ステップS116において、分類器適用部1152は、特徴量計算部1151から入力された高解像度画像S1の部分画像毎のそれぞれの特徴量を予め構築しておいた分類器にそれぞれ入力し、それぞれの部分画像毎に、予め用意された検出対象の被写体らしさを表す分類スコアを算出する。なお、ステップS116は、高解像度画像S1の部分画像の特徴量に対して分類器を適用する処理を行う処理段階であるため、分類器適用部1152は、例えば、上述したSVMやKDAなどをそれぞれの特徴量を入力する分類器として用いることによって、より高精度な分類スコアを算出する。そして、分類器適用部1152は、高解像度画像S1に対してそれぞれの部分画像毎に算出したそれぞれの分類スコアを、検出判定部1153に出力する。
続いて、ステップS117において、検出判定部1153は、分類器適用部1152から入力された高解像度画像S1の部分画像毎の分類スコアに基づいて、それぞれの部分画像が検出対象であるか否かを判定し、第2の画像認識過程を完了する。つまり、検出判定部1153は、第1の画像認識過程において検出された検出対象候補である部分画像が、最終的に検出すべき検出対象の部分画像であうか否かを判定し、第2の画像認識過程を完了する。図3の(E)では、図3の(D)に示した検出対象候補である部分画像B10と部分画像B16との内、部分画像B10が検出対象である場合を示している。
ここで、検出判定部1153が高解像度画像S1の部分画像毎に判定した結果、つまり、部分画像B10が検出対象であることを表す情報を含んだ判定結果は、例えば、本実施形態の画像認識装置10を構築した撮像システムに備えられ、本画像認識装置10による画像認識の結果に応じて撮像システムの制御を行う制御装置や、本画像認識装置10による画像認識の結果に応じて最終的な画像の生成を行う画像処理部などによって利用される。これにより、本実施形態の画像認識装置10を構築した撮像システムでは、本画像認識装置10による画像認識の結果に応じた様々な機能を実現することができる。例えば、図3の(F)に示したように、「正面を向いている犬」を検出したことを表す表示枠A10を、本実施形態の画像認識装置10を構築した撮像システムに備えた表示装置に表示する、高解像度画像S1や低解像度画像S2に基づいて生成した表示画像に重畳して表示させることができる。
本実施形態によれば、二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部(光電変換部101a~光電変換部101d)が発生した信号電荷を保持する複数の第1の電荷蓄積回路(第1の電荷蓄積回路103a~第1の電荷蓄積回路103d)と、複数の画素の内、予め定めた画素に備えた光電変換部(光電変換部101a~光電変換部101d)が発生した信号電荷を保持する複数の第2の電荷蓄積回路(第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cd)と、第1の電荷蓄積回路103a~第1の電荷蓄積回路103dのそれぞれに保持した信号電荷に応じた画素信号を読み出し、ここで読み出した画素信号に基づいた画像を、第1の画像(高解像度画像S1)として出力する第1の電荷読み出し回路部(第1の電荷読み出し回路部105)と、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれに保持した信号電荷に応じた画素信号を読み出し、ここで読み出した画素信号に基づいた画像を、予め定めた数の画素数に減縮した第2の画像(低解像度画像S2)として出力する第2の電荷読み出し回路部(第2の電荷読み出し回路部106)と、第1の電荷読み出し回路部105または第2の電荷読み出し回路部106のいずれか一方を、画像を読み出す電荷読み出し回路部として選択する読み出し回路選択部(読み出し回路選択部112)と、読み出し回路選択部112によって選択された電荷読み出し回路部から画像を読み出す画像読み出し部(画像読み出し部113)と、画像読み出し部113が読み出した画像に含まれる被写体の特徴量を算出し、ここで算出した特徴量に基づいて検出対象の被写体を判定する特徴量判定部(特徴量判定部115)と、を備え、最初に第2の電荷読み出し回路部106を選択し、ここで選択した第2の電荷読み出し回路部106から読み出した低解像度画像S2に含まれる被写体の特徴量に基づいて検出対象の被写体であるか否かを判定した判定結果に応じて、次に第1の電荷読み出し回路部105を選択して、高解像度画像S1に含まれる被写体に対する判定を行うか否かを決定する、画像認識装置(画像認識装置10)が構成される。
また、本実施形態によれば、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdは、対応する複数の画素内の光電変換部(光電変換部101a~光電変換部101d)のそれぞれが同じ露光期間で発生したそれぞれの信号電荷を平均化した電荷量の信号電荷を保持し、第2の電荷読み出し回路部106が出力する低解像度画像S2は、第1の電荷読み出し回路部105が出力する高解像度画像S1と同じ露光によって得られた信号電荷に応じた画素信号に基づいた、高解像度画像S1よりも解像度が低い画像である画像認識装置10が構成される。
また、本実施形態によれば、画像読み出し部113が読み出した画像の領域を、少なくとも1つの領域に分割した部分画像(例えば、部分画像B1~部分画像B16)を設定する部分画像設定部(部分画像設定部114)、をさらに備え、特徴量判定部115は、部分画像設定部114によって設定された部分画像(例えば、部分画像B1~部分画像B16)毎に、この部分画像に含まれる被写体が検出対象の被写体であるか否かを判定する画像認識装置10が構成される。
また、本実施形態によれば、部分画像設定部114は、画像読み出し部113が最初に読み出した低解像度画像S2の領域を分割した複数の部分画像(例えば、部分画像B1~部分画像B16)を設定する画像認識装置10が構成される。
また、本実施形態によれば、画像読み出し部113が読み出す画像の範囲を設定する画像範囲設定部(画像範囲設定部111)、をさらに備え、画像範囲設定部111は、低解像度画像S2に対して特徴量判定部115が判定した、検出対象の被写体であるか否かの判定結果に基づいて、画像読み出し部113が次に読み出す高解像度画像S1の範囲を再設定し、画像読み出し部113は、次に高解像度画像S1を読み出す際に、画像範囲設定部111によって再設定された画像の範囲の高解像度画像S1を読み出す画像認識装置10が構成される。
また、本実施形態によれば、特徴量判定部115は、画像読み出し部113が読み出した画像に含まれる被写体の特徴量を算出する特徴量計算部(特徴量計算部1151)と、特徴量計算部1151が算出した特徴量を、予め構築しておいた分類器に入力し、検出対象の被写体らしさを表す分類スコアを出力する分類器適用部(分類器適用部1152)と、分類器適用部1152が算出した分類スコアに基づいて、特徴量計算部1151が算出した特徴量で表される被写体が検出対象の被写体であるか否かを判定する検出判定部(検出判定部1153)と、を備える、画像認識装置10が構成される。
また、本実施形態によれば、特徴量計算部1151は、画像読み出し部113が最初に読み出した低解像度画像S2に含まれる被写体の特徴量と、画像読み出し部113が次に読み出した高解像度画像S1に含まれる被写体の特徴量とのそれぞれを、異なる算出方法(例えば、RGBヒストグラムや統計量を用いた簡易的な方法と、HOGやBoFを用いた詳細な方法)で算出し、分類器適用部1152は、低解像度画像S2に対して算出された特徴量と、高解像度画像S1に対して算出された特徴量とのそれぞれを、予め構築しておいた異なる分類器(例えば、特徴量を閾値と比較する分類器と、SVMやKDAなどの分類器)に入力する画像認識装置10が構成される。
また、本実施形態によれば、画像範囲設定部111は、画像読み出し部113が最初に低解像度画像S2を読み出す際に、読み出す低解像度画像S2の全ての範囲を、このとき画像読み出し部113が読み出す画像の範囲に設定する画像認識装置10が構成される。
また、本実施形態によれば、複数の第1の電荷蓄積回路(第1の電荷蓄積回路103a~第1の電荷蓄積回路103d)に、二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部(光電変換部101a~光電変換部101d)が発生した信号電荷を保持させる第1の電荷蓄積手順と、複数の第2の電荷蓄積回路(第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cd)に、複数の画素の内、予め定めた画素に備えた光電変換部(光電変換部101a~光電変換部101d)が発生した信号電荷を保持させる第2の電荷蓄積手順と、第1の電荷読み出し回路部(第1の電荷読み出し回路部105)に、第1の電荷蓄積回路103a~第1の電荷蓄積回路103dのそれぞれに保持した信号電荷に応じた画素信号を読み出させ、ここで読み出させた画素信号に基づいた画像を、第1の画像(高解像度画像S1)として出力させる第1の電荷読み出し手順と、第2の電荷読み出し回路部(第2の電荷読み出し回路部106)に、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれに保持した信号電荷に応じた画素信号を読み出させ、ここで読み出させた画素信号に基づいた画像を、予め定めた数の画素数に減縮した第2の画像(低解像度画像S2)として出力させる第2の電荷読み出し手順と、読み出し回路選択部(読み出し回路選択部112)に、第1の電荷読み出し回路部105または第2の電荷読み出し回路部106のいずれか一方を、画像を読み出させる電荷読み出し回路部として選択させる読み出し回路選択手順と、画像読み出し部(画像読み出し部113)に、読み出し回路選択手順によって選択された電荷読み出し回路部から画像を読み出させる画像読み出し手順と、特徴量判定部(特徴量判定部115)に、画像読み出し手順によって読み出された画像に含まれる被写体の特徴量を算出させ、ここで算出させた特徴量に基づいて検出対象の被写体を判定させる特徴量判定手順と、を含み、最初の処理過程(第1の画像認識過程)で、第2の電荷読み出し回路部106を選択し、ここで選択した第2の電荷読み出し回路部106によって読み出した低解像度画像S2に含まれる被写体の特徴量に基づいて検出対象の被写体であるか否かを判定した判定結果に応じて、次の処理過程(第2の画像認識過程)で、第1の電荷読み出し回路部105を選択して、高解像度画像S1に含まれる被写体に対する判定を行うか否かを決定する、画像認識方法が構成される。
上記に述べたとおり、本発明を実施するための上記実施形態によれば、画素信号処理部から、同じ露光によって得られた信号電荷に基づいて、画素信号処理部に配置された全ての画素の画素信号に基づいた高解像度の画像と、画素信号処理部に配置された画素の数(画素数)を減縮した画素信号に基づいた低解像度の画像とのそれぞれを、別々に独立して出力する。そして、上記実施形態によれば、画像認識処理部が、最初に画素信号処理部から低解像度の画像を読み出して簡易的な画像認識の処理を行い、詳細な画像認識の処理が必要となったときに、画素信号処理部から高解像度の画像を読み出して詳細な画像認識の処理を行う。これにより、上記実施形態では、高精度の画像認識と高速な画像認識とを両立した画像認識装置を実現することができる。
また、上記実施形態によれば、画素信号処理部による同じ1回の露光(撮影)によって得られた高解像度の画像と低解像度の画像とを用いて画像認識の処理を行う。このとき、上記実施形態では、低解像度の画像を画素信号処理部内で生成する、つまり、画素信号処理部に備えた第2の電荷蓄積回路(平均化電荷蓄積回路)が、光電変換部が発生した信号電荷を平均化することによって生成するため、低解像度の画像を瞬時に生成することができる。このため、上記実施形態では、従来の画像認識の処理において1回の撮影のみで画像認識の過程を2段階に分ける場合に必要であった画像の解像度を変換する画像処理が不要となり、画像認識の処理に要する処理時間や、処理中の消費電力を少なくした画像認識装置を実現することができる。また、上記実施形態では、画像の解像度を変換する画像処理が不要となったことにより、小型化した画像認識装置を実現することができる。
また、上記実施形態によれば、画素信号処理部による同じ1回の露光(撮影)によって得られた高解像度の画像と低解像度の画像とを用いて画像認識の処理を行うことにより、最初に行う低解像度の画像を用いた高速で簡易的な画像認識の処理と、その後に行う高解像度の画像を用いた詳細な画像認識の処理とで、同じタイミングで撮影された被写体、すなわち、位置のずれがない被写体に対して画像認識の処理を行うことができる。これにより、上記実施形態では、高速で実行した簡易的な画像認識の処理で検出した結果を、その後に行う詳細な画像認識の処理に有効に活用することができる。
例えば、高解像度の画像内の被写体と低解像度の画像内の被写体との位置合わせなど、画像認識において動きが速い被写体を検出対象とする際に必要になると考えられる処理が不要になる。この被写体との位置合わせの処理が不要になるということは、小型化した画像認識装置を実現する際にも有効である。より詳細には、従来の画像認識の処理では、低解像度の画像と高解像度の画像とが異なる撮影によって得られるため、動きが速い被写体を検出対象として検出する際に、低解像度の画像を用いて高速に実行した簡易的な画像認識の処理で検出した被写体の状態と、高解像度の画像を用いた詳細な画像認識の処理で検出した被写体の状態とが異なってしまっていた。このため、従来の画像認識の処理では、高解像度の画像内の被写体と低解像度の画像内の被写体との位置合わせなどの処理が必要であった。これに対して、上記実施形態では、同じタイミングの被写体に対してそれぞれの画像認識の処理を行うことができるため、動きが速い被写体を検出対象として検出する場合でも、低解像度の画像を用いて高速に実行した簡易的な画像認識の処理で検出した被写体の状態と、高解像度の画像を用いた詳細な画像認識の処理で検出した被写体の状態とが同じ状態である。このため、上記実施形態では、図3の画像認識の処理の一例で示したペット(図3では、「犬」)が正面を向いている状態を検出する場合のように、高速で実行した簡易的な画像認識の処理で検出した結果を、その後に行う詳細な画像認識の処理に用いることができ、従来の画像認識の処理において必要であった高解像度の画像内の被写体と低解像度の画像内の被写体との位置合わせなどの処理が不要となる。
また、同じ1回の露光(撮影)によって高解像度の画像と低解像度の画像とが得られ、高解像度の画像内の被写体と低解像度の画像内の被写体との位置合わせなどの処理が不要であるということは、例えば、低解像度の画像を用いた簡易的な画像認識の処理の結果を、その結果に応じて画像認識装置の全ての動作が開始したり、フレームレートを高くしたりする、いわゆる、ウェイクアップ動作の判定などにも、利用することができる。このウェイクアップ動作の判定への利用は、画像認識装置のさらなる低消費電力化の実現にも有効である。より詳細には、例えば、従来の画像認識の処理において低解像度の画像を用いた簡易的な画像認識の処理の結果をウェイクアップ動作の判定に利用した場合には、従来の画像認識装置の全ての動作が開始された後に、高解像度の画像の撮影が再度必要になった。このため、従来の画像認識装置では、ウェイクアップすると判定した低解像度の画像と異なる高解像度の画像に対して、ウェイクアップ後の処理を行うことになる。これに対して、上記実施形態では、同じ露光(撮影)によって高解像度の画像と低解像度の画像とが得られているため、ウェイクアップすると判定した低解像度の画像と同じ露光(撮影)によって得られた高解像度の画像に対して、ウェイクアップ後の処理を行うことができる。つまり、上記実施形態では、低解像度の画像を用いた簡易的な画像認識の処理の結果をウェイクアップ動作の判定などに利用した場合でも、ウェイクアップ動作をしていないときと同様の処理を行うことができる。
このように、上記実施形態では、高精度の画像認識と高速な画像認識とを両立すると共に、全体の処理時間を短縮、低消費電力化および小規模化を図った画像認識装置を構築することができる。そして、上記実施形態の画像認識装置を構築した撮像システムでは、高精度の画像認識と高速な画像認識との両立、全体の処理時間を短縮による高速化、低消費電力化による長時間駆動、および小型化を実現した有効なシステムを実現することができる。
なお、本実施形態においては、画像認識装置10に備えた画素信号処理部100において、それぞれの画素に備えた対応する光電変換部101が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第2の電荷蓄積回路104を備え、高解像度画像S1と低解像度画像S2とをそれぞれ出力する構成を示した。しかし、本発明の画像認識装置に備える画素信号処理部の構成は、本発明を実施するための形態において上記に示した構成に限定されない。例えば、画素信号処理部内に、第2の電荷蓄積回路104が保持した対応する画素が発生したそれぞれの信号電荷を平均化した信号電荷を、さらに平均化する構成を備え、画素信号処理部から、低解像度画像S2よりもさらに低解像度の画像も出力する構成にすることもできる。この場合、画像認識装置では、画像認識の処理過程を3段階に分けて、それぞれの段階で検出対象候補を絞り込んでいくような画像認識を構築することが考えられる。より具体的には、画像認識装置10に備えた画像認識処理部110が、最初(1段目)の画像認識の処理過程において、低解像度画像S2よりもさらに低解像度の画像を用いてさらに高速な画像認識の処理を行い、次(2段目)の画像認識の処理過程において、低解像度画像S2を用いて高速な画像認識の処理を行い、最後の(3段目)の画像認識の処理過程において、高解像度画像S1を用いて高精度の画像認識の処理を行うことが考えられる。これにより、検出対象候補の見落としを抑制することができると考えられる。
また、本実施形態においては、第1の画像認識過程におけるそれぞれの処理を簡易的な方法で行い、第2の画像認識過程におけるそれぞれの処理を詳細な方法で行う場合、つまり、第1の画像認識過程におけるそれぞれの処理の方法と第2の画像認識過程におけるそれぞれの処理の方法とが異なる場合について説明した。しかし、第1の画像認識過程において用いる低解像度画像S2は、第2の画像認識過程において用いる高解像度画像S1よりも解像度が低い画像、つまり、低解像度画像S2に含まれる画素数は、高解像度画像S1に含まれる画素数よりも少ない画像である。このため、第1の画像認識過程におけるそれぞれの処理の方法と第2の画像認識過程におけるそれぞれの処理の方法とを同じ方法にすることもできる。これは、低解像度画像S2は、高解像度画像S1よりも含まれる画素数が少ない画像であるため、第1の画像認識過程と第2の画像認識過程とにおけるそれぞれの処理を同じ方法で行った場合でも、第1の画像認識過程のそれぞれの処理の方が、第2の画像認識過程のそれぞれの処理よりも処理の負荷が軽減されていると考えることができるからである。
また、本実施形態においては、画像認識装置10に備えた画素信号処理部100において、予め定めた2つの画素を組とした構成の一例を示した。しかし、本発明の画像認識装置に備える画素信号処理部における画素の組は、上記実施形態の構成に限定されない。すなわち、本発明を実施するための形態に示した構成よりもさらに多くの画素で1つの組を構成することもできる。
また、画素信号処理部100に備える画素の数(画素数)や画素数を減縮する数は、本発明を実施するための形態に限定されず、本発明の趣旨を逸脱しない範囲において画素信号処理部100に備える画素の数(画素数)や画素数を減縮する数を変更することができる。
また、本実施形態においては、画像認識装置10や、画像認識装置10に備えた画素信号処理部100に備えたそれぞれの構成要素を配置するための構造に関しては、限定しない。例えば、画素信号処理部100が、それぞれの画素に入射した光を光電変換した画素信号に基づいた高解像度画像S1と低解像度画像S2とを別々に出力する、CCD(Charge Coupled Device:電荷結合素子)型の固体撮像装置や、CMOS(Complementary Metal Oxide Semiconductor:相補型金属酸化膜半導体)型の固体撮像装置で構成されていてもよい。そして、この固体撮像装置は、それぞれの構成要素を複数の基板に分けて配置した多層基板の構造であっても、全ての構成要素を1枚の基板に配置した、いわゆる、モノリシックの構造であってもよい。また、例えば、画像認識装置10のそれぞれの構成要素を複数の基板に分けて多層基板の構造にしても、全ての構成要素をモノリシックの構造にしてもよい。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されず、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。本発明は前述した説明に限定されることはなく、添付のクレームの範囲によってのみ限定される。
上記各実施形態によれば、高精度の画像認識と高速な画像認識とを両立すると共に、低消費電力化および小規模化を図ることができる画像認識装置および画像認識方法を提供できる。
10 画像認識装置
100 画素信号処理部(画像認識装置)
101a,101b,101c,101d 光電変換部(画素,画像認識装置)
102a,102b,102c,102d 電荷転送回路(画素,画像認識装置)
103a,103b,103c,103d 第1の電荷蓄積回路(画素,画像認識装置)
104ab,104cd 第2の電荷蓄積回路(画素,画像認識装置)
105 第1の電荷読み出し回路部(画像認識装置)
106 第2の電荷読み出し回路部(画像認識装置)
110 画像認識処理部(画像認識装置)
111 画像範囲設定部(画像認識装置)
112 読み出し回路選択部(画像認識装置)
113 画像読み出し部(画像認識装置)
114 部分画像設定部(画像認識装置)
115 特徴量判定部(特徴量判定部,画像認識装置)
1151 特徴量計算部(特徴量判定部,画像認識装置)
1152 分類器適用部(特徴量判定部,画像認識装置)
1153 検出判定部(特徴量判定部,画像認識装置)
100 画素信号処理部(画像認識装置)
101a,101b,101c,101d 光電変換部(画素,画像認識装置)
102a,102b,102c,102d 電荷転送回路(画素,画像認識装置)
103a,103b,103c,103d 第1の電荷蓄積回路(画素,画像認識装置)
104ab,104cd 第2の電荷蓄積回路(画素,画像認識装置)
105 第1の電荷読み出し回路部(画像認識装置)
106 第2の電荷読み出し回路部(画像認識装置)
110 画像認識処理部(画像認識装置)
111 画像範囲設定部(画像認識装置)
112 読み出し回路選択部(画像認識装置)
113 画像読み出し部(画像認識装置)
114 部分画像設定部(画像認識装置)
115 特徴量判定部(特徴量判定部,画像認識装置)
1151 特徴量計算部(特徴量判定部,画像認識装置)
1152 分類器適用部(特徴量判定部,画像認識装置)
1153 検出判定部(特徴量判定部,画像認識装置)
Claims (9)
- 二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部が発生した信号電荷を保持する複数の第1の電荷蓄積回路と、
複数の前記画素の内、予め定めた前記画素に備えた前記光電変換部が発生した前記信号電荷を保持する複数の第2の電荷蓄積回路と、
前記第1の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出し、読み出した前記画素信号に基づいた画像を、第1の画像として出力する第1の電荷読み出し回路部と、
前記第2の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出し、読み出した前記画素信号に基づいた画像を、予め定めた数の画素数に減縮した第2の画像として出力する第2の電荷読み出し回路部と、
前記第1の電荷読み出し回路部または前記第2の電荷読み出し回路部のいずれか一方を、画像を読み出す電荷読み出し回路部として選択する読み出し回路選択部と、
前記読み出し回路選択部によって選択された電荷読み出し回路部から画像を読み出す画像読み出し部と、
前記画像読み出し部が読み出した前記画像に含まれる被写体の特徴量を算出し、算出した前記特徴量に基づいて検出対象の被写体を判定する特徴量判定部と、
を備え、
最初に前記第2の電荷読み出し回路部を選択し、選択した前記第2の電荷読み出し回路部から読み出した前記第2の画像に含まれる被写体の特徴量に基づいて前記検出対象の被写体であるか否かを判定した判定結果に応じて、次に前記第1の電荷読み出し回路部を選択して、前記第1の画像に含まれる被写体に対する前記判定を行うか否かを決定する、
画像認識装置。 - 前記第2の電荷蓄積回路は、
対応する複数の前記画素内の前記光電変換部のそれぞれが同じ露光期間で発生したそれぞれの前記信号電荷を平均化した電荷量の信号電荷を保持し、
前記第2の電荷読み出し回路部が出力する前記第2の画像は、前記第1の電荷読み出し回路部が出力する前記第1の画像と同じ露光によって得られた前記信号電荷に応じた画素信号に基づいた、前記第1の画像よりも解像度が低い画像である、
請求項1に記載の画像認識装置。 - 前記画像読み出し部が読み出した前記画像の領域を、少なくとも1つの領域に分割した部分画像を設定する部分画像設定部、
をさらに備え、
前記特徴量判定部は、
前記部分画像設定部によって設定された前記部分画像毎に、前記部分画像に含まれる被写体が前記検出対象の被写体であるか否かを判定する、
請求項1または請求項2に記載の画像認識装置。 - 前記部分画像設定部は、
前記画像読み出し部が最初に読み出した前記第2の画像の領域を分割した複数の前記部分画像を設定する、
請求項3に記載の画像認識装置。 - 前記画像読み出し部が読み出す前記画像の範囲を設定する画像範囲設定部、
をさらに備え、
前記画像範囲設定部は、
前記第2の画像に対して前記特徴量判定部が判定した、前記検出対象の被写体であるか否かの判定結果に基づいて、前記画像読み出し部が次に読み出す前記第1の画像の範囲を再設定し、
前記画像読み出し部は、
次に前記第1の画像を読み出す際に、前記画像範囲設定部によって再設定された画像の範囲の前記第1の画像を読み出す、
請求項1から請求項4のいずれか1項に記載の画像認識装置。 - 前記特徴量判定部は、
前記画像読み出し部が読み出した前記画像に含まれる被写体の前記特徴量を算出する特徴量計算部と、
前記特徴量計算部が算出した前記特徴量を、予め構築しておいた分類器に入力し、検出対象の被写体らしさを表す分類スコアを出力する分類器適用部と、
前記分類器適用部が算出した分類スコアに基づいて、前記特徴量計算部が算出した前記特徴量で表される被写体が前記検出対象の被写体であるか否かを判定する検出判定部と、
を備える、
請求項1から請求項5のいずれか1項に記載の画像認識装置。 - 前記特徴量計算部は、
前記画像読み出し部が最初に読み出した前記第2の画像に含まれる被写体の前記特徴量と、前記画像読み出し部が次に読み出した前記第1の画像に含まれる被写体の前記特徴量とのそれぞれを、異なる算出方法で算出し、
前記分類器適用部は、
前記第2の画像に対して算出された前記特徴量と、前記第1の画像に対して算出された前記特徴量とのそれぞれを、予め構築しておいた異なる分類器に入力する、
請求項6に記載の画像認識装置。 - 前記画像範囲設定部は、
前記画像読み出し部が最初に前記第2の画像を読み出す際に、読み出す前記第2の画像の全ての範囲を、前記画像読み出し部が読み出す前記画像の範囲に設定する、
請求項5を引用する請求項5から請求項7のいずれか1項に記載の画像認識装置。 - 複数の第1の電荷蓄積回路に、二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部が発生した信号電荷を保持させる第1の電荷蓄積手順と、
複数の第2の電荷蓄積回路に、複数の前記画素の内、予め定めた前記画素に備えた前記光電変換部が発生した前記信号電荷を保持させる第2の電荷蓄積手順と、
第1の電荷読み出し回路部に、前記第1の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出させ、読み出させた前記画素信号に基づいた画像を、第1の画像として出力させる第1の電荷読み出し手順と、
第2の電荷読み出し回路部に、前記第2の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出させ、読み出させた前記画素信号に基づいた画像を、予め定めた数の画素数に減縮した第2の画像として出力させる第2の電荷読み出し手順と、
読み出し回路選択部に、前記第1の電荷読み出し回路部または前記第2の電荷読み出し回路部のいずれか一方を、画像を読み出させる電荷読み出し回路部として選択させる読み出し回路選択手順と、
画像読み出し部に、前記読み出し回路選択手順によって選択された電荷読み出し回路部から画像を読み出させる画像読み出し手順と、
特徴量判定部に、前記画像読み出し手順によって読み出された前記画像に含まれる被写体の特徴量を算出させ、算出させた前記特徴量に基づいて検出対象の被写体を判定させる特徴量判定手順と、
を含み、
最初の処理過程で、前記第2の電荷読み出し回路部を選択し、選択した前記第2の電荷読み出し回路部によって読み出した前記第2の画像に含まれる被写体の特徴量に基づいて前記検出対象の被写体であるか否かを判定した判定結果に応じて、次の処理過程で、前記第1の電荷読み出し回路部を選択して、前記第1の画像に含まれる被写体に対する前記判定を行うか否かを決定する、
画像認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/258,343 US10089548B2 (en) | 2014-03-14 | 2016-09-07 | Image recognition device and image recognition method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014051579A JP6289184B2 (ja) | 2014-03-14 | 2014-03-14 | 画像認識装置および画像認識方法 |
JP2014-051579 | 2014-03-14 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/258,343 Continuation US10089548B2 (en) | 2014-03-14 | 2016-09-07 | Image recognition device and image recognition method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015137039A1 true WO2015137039A1 (ja) | 2015-09-17 |
Family
ID=54071490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/054022 WO2015137039A1 (ja) | 2014-03-14 | 2015-02-13 | 画像認識装置および画像認識方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10089548B2 (ja) |
JP (1) | JP6289184B2 (ja) |
WO (1) | WO2015137039A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295633A (zh) * | 2016-08-09 | 2017-01-04 | 成都联众智科技有限公司 | 一种光电混合图像识别系统 |
US10650268B2 (en) | 2015-11-17 | 2020-05-12 | Sony Semiconductor Solutions Corporation | Image processing apparatus and image processing method |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019153821A (ja) * | 2016-06-08 | 2019-09-12 | 株式会社日立製作所 | センサアレイデバイス |
US10726573B2 (en) | 2016-08-26 | 2020-07-28 | Pixart Imaging Inc. | Object detection method and system based on machine learning |
CN107786867A (zh) * | 2016-08-26 | 2018-03-09 | 原相科技股份有限公司 | 基于深度学习架构的图像辨识方法及系统 |
WO2018173846A1 (ja) * | 2017-03-22 | 2018-09-27 | 日本電気株式会社 | 物体検出装置、物体検出方法および物体検出プログラム |
JP7176518B2 (ja) * | 2017-07-24 | 2022-11-22 | ソニーグループ株式会社 | 撮像装置、および画像処理方法、並びにプログラム |
CN110517034A (zh) * | 2018-05-22 | 2019-11-29 | 维沃移动通信有限公司 | 一种对象识别方法及移动终端 |
JP6635222B1 (ja) * | 2018-08-31 | 2020-01-22 | ソニー株式会社 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
GB2578769B (en) | 2018-11-07 | 2022-07-20 | Advanced Risc Mach Ltd | Data processing systems |
GB2583061B (en) * | 2019-02-12 | 2023-03-15 | Advanced Risc Mach Ltd | Data processing systems |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09282454A (ja) * | 1996-04-12 | 1997-10-31 | Meidensha Corp | 物体認識方法 |
JP2001313819A (ja) * | 2000-04-27 | 2001-11-09 | Fuji Xerox Co Ltd | 画像処理装置、記憶媒体 |
JP2009223893A (ja) * | 2008-03-18 | 2009-10-01 | Toshiba Corp | 画像認識装置、画像認識方法及び画像認識装置を備える画像読取装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2273777A3 (en) * | 2005-05-10 | 2011-03-02 | Active Optics Pty. Ltd. | Method of controlling an image capturing system |
US8107675B2 (en) * | 2006-12-29 | 2012-01-31 | Cognex Corporation | Trigger system for data reading device |
US7973834B2 (en) * | 2007-09-24 | 2011-07-05 | Jianwen Yang | Electro-optical foveated imaging and tracking system |
JP5274216B2 (ja) * | 2008-11-25 | 2013-08-28 | キヤノン株式会社 | 監視システム及び監視方法 |
JP2010223932A (ja) | 2009-02-27 | 2010-10-07 | Toyota Motor Corp | 欠陥検出方法 |
US9177226B2 (en) * | 2013-03-15 | 2015-11-03 | Google Inc. | Object detection in images based on affinity determinations |
-
2014
- 2014-03-14 JP JP2014051579A patent/JP6289184B2/ja not_active Expired - Fee Related
-
2015
- 2015-02-13 WO PCT/JP2015/054022 patent/WO2015137039A1/ja active Application Filing
-
2016
- 2016-09-07 US US15/258,343 patent/US10089548B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09282454A (ja) * | 1996-04-12 | 1997-10-31 | Meidensha Corp | 物体認識方法 |
JP2001313819A (ja) * | 2000-04-27 | 2001-11-09 | Fuji Xerox Co Ltd | 画像処理装置、記憶媒体 |
JP2009223893A (ja) * | 2008-03-18 | 2009-10-01 | Toshiba Corp | 画像認識装置、画像認識方法及び画像認識装置を備える画像読取装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10650268B2 (en) | 2015-11-17 | 2020-05-12 | Sony Semiconductor Solutions Corporation | Image processing apparatus and image processing method |
CN106295633A (zh) * | 2016-08-09 | 2017-01-04 | 成都联众智科技有限公司 | 一种光电混合图像识别系统 |
Also Published As
Publication number | Publication date |
---|---|
JP6289184B2 (ja) | 2018-03-07 |
JP2015177300A (ja) | 2015-10-05 |
US20160379075A1 (en) | 2016-12-29 |
US10089548B2 (en) | 2018-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6289184B2 (ja) | 画像認識装置および画像認識方法 | |
CN107077621B (zh) | 用于图像中低功率对象检测的硬件内扫描窗口 | |
US10070078B2 (en) | Solid-state image sensor with pixels having in-pixel memories, motion information acquisition apparatus, and imaging apparatus | |
US8542278B2 (en) | Shaking detection device, shaking correction device, imaging device, and shaking detection method | |
US10536679B2 (en) | Imaging apparatus and image processing system having stacked structure | |
JP4876065B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム | |
US20170019583A1 (en) | Image sensor and driving method thereof, and image capturing apparatus | |
US11616927B2 (en) | Imaging element, imaging apparatus, operation method of imaging element, and program | |
US20130076968A1 (en) | Image sensing device | |
JP6462189B2 (ja) | 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置 | |
US9560287B2 (en) | Noise level based exposure time control for sequential subimages | |
US10122939B2 (en) | Image processing device for processing image data and map data with regard to depth distribution of a subject, image processing system, imaging apparatus, image processing method, and recording medium | |
US11495005B2 (en) | Image sensor and control method thereof, and image capturing apparatus and control method thereof | |
JP6099973B2 (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
US9710897B2 (en) | Image processing apparatus, image processing method, and recording medium | |
CN112640429B (zh) | 成像元件、摄像装置、图像数据处理方法及存储介质 | |
JP6456466B2 (ja) | イメージセンサー及びイメージセンサーの制御方法 | |
JP5950675B2 (ja) | 撮像装置 | |
US20240073547A1 (en) | Sparse color image sensor system | |
CN112640437B (zh) | 成像元件、摄像装置、图像数据处理方法及存储介质 | |
US20230262328A1 (en) | Image processing system and operating method thereof | |
JP2022055043A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置 | |
US10306153B2 (en) | Imaging apparatus, image sensor, and image processor | |
JP5794277B2 (ja) | 画像入力装置及び画像入力方法 | |
JP2014120795A (ja) | 光電変換装置、光電変換システム、光電変換装置の駆動方法、光電変換システムの駆動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15762202 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15762202 Country of ref document: EP Kind code of ref document: A1 |