WO2016208260A1 - 画像認識装置および画像認識方法 - Google Patents

画像認識装置および画像認識方法 Download PDF

Info

Publication number
WO2016208260A1
WO2016208260A1 PCT/JP2016/062357 JP2016062357W WO2016208260A1 WO 2016208260 A1 WO2016208260 A1 WO 2016208260A1 JP 2016062357 W JP2016062357 W JP 2016062357W WO 2016208260 A1 WO2016208260 A1 WO 2016208260A1
Authority
WO
WIPO (PCT)
Prior art keywords
image recognition
teacher data
unit
feature value
storage unit
Prior art date
Application number
PCT/JP2016/062357
Other languages
English (en)
French (fr)
Inventor
三友 刈屋
上野 晃
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201680035683.1A priority Critical patent/CN107710277A/zh
Publication of WO2016208260A1 publication Critical patent/WO2016208260A1/ja
Priority to US15/846,618 priority patent/US20180129914A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements

Definitions

  • the present invention relates to an image recognition apparatus and an image recognition method.
  • This application claims priority based on Japanese Patent Application No. 2015-124786 for which it applied to Japan on June 22, 2015, and uses the content here.
  • Non-Patent Document 1 there is an image recognition technique for recognizing an object shown in an image, that is, a subject (target object) and a scene where the image is taken (see Non-Patent Document 1).
  • a scene in which an image is captured is recognized by the following processing procedure.
  • the teacher data is a histogram in which a large amount of images are classified and classified for each type of object.
  • an SVM Small vector machine
  • an object reflected in the input image and each teacher data are obtained.
  • a feature value representing how similar the object to be represented is calculated for each teacher data.
  • the object represented by the teacher data having the largest feature value is recognized as the object in the input image or the scene in which the object having the largest feature value is reflected.
  • the degree of similarity is output by the number of objects to be recognized included in the input image, that is, the number of scenes. That is, in the conventional image recognition technique, the degree of similarity for each object to be recognized is output by repeating the above-described processing steps 3-1 to 3-4 for the number of scenes. .
  • the same histogram is classified into different types of objects.
  • teacher data may be duplicated for different objects.
  • the same teacher data is read and the same feature value is calculated using the same teacher data multiple times. . Repeated reading of the same teacher data and calculation of the same feature value in this conventional image recognition apparatus, that is, overlapped processing, becomes a factor of increasing the load when performing image recognition processing in the image recognition apparatus.
  • the present invention has been made on the basis of the above problem recognition, and an object thereof is to provide an image recognition apparatus and an image recognition method capable of reducing the load when image recognition processing is performed.
  • the image recognition apparatus performs processing of image recognition on an input image by using teacher data that is a histogram of an image of a comparison target that is a recognition target of the comparison target.
  • An image recognition apparatus that performs classification based on a teacher data group that includes a plurality of classifications, and performs a support vector machine (SVM) operation on a histogram generated based on a visual word of the image in the teacher data group.
  • SVM support vector machine
  • An SVM calculation unit that performs based on each of the plurality of teacher data included, and a data storage unit that temporarily stores data generated during the image recognition process, the SVM calculation unit,
  • the histogram of the input image is compared with the histogram of the comparison object represented by the teacher data, and is copied to the input image.
  • a feature value calculation unit for calculating a feature value indicating a degree of similarity between the recognition target object as the target object and the comparison target object; and the teacher data corresponding to the teacher data classified into the same type of the comparison target object
  • a cumulative addition unit that cumulatively adds feature values, and in the processing of the SVM calculation, the feature value calculation unit includes the feature values corresponding to all the teacher data included in the teacher data group, respectively.
  • the cumulative addition unit causes the feature value calculation unit to store all the feature values in the data storage unit. Then, out of all the stored feature values, the feature values corresponding to the teacher data classified as the comparison object of the same type are read and cumulatively added, and the cumulatively added feature values are in front And outputs as a result of recognizing the recognition target object in the processing of image recognition.
  • the feature value calculation unit may determine that the number of the teacher data included in the teacher data group is equal to the number of the teacher data in the image recognition process. Included in the teacher data group when the cumulative addition unit reads the feature value stored in the data storage unit and outputs the cumulative addition before outputting all the results of recognizing the recognition object All the feature values corresponding to all the teacher data may be calculated and stored in the data storage unit.
  • the teacher data group input in a reversibly compressed format in a state where all the teacher data are combined into one is decompressed.
  • the feature value calculation unit may calculate all the feature values corresponding to the respective teacher data restored by the teacher data decompression unit and store them in the data storage unit.
  • a visual word calculation unit that performs a calculation process exclusively in the image recognition process, and a histogram
  • An arbitration unit that arbitrates use of the data storage unit by the calculation unit and the SVM calculation unit, and the arbitration unit stores the data by any one of the calculation units assigned to use the data storage unit
  • the data storage unit may be accessed in response to access to the unit.
  • the data storage unit includes the visual word calculation unit, the histogram calculation unit, and the SVM calculation unit. May be stored in the data storage unit when storing the maximum amount of data to be temporarily stored.
  • the image recognition process for the input image is performed by using teacher data that is a histogram of the image of the comparison object that is the object to be recognized.
  • An image recognition method in an image recognition apparatus that is performed based on a teacher data group that is classified and included by type, and performs a support vector machine (SVM) operation on a histogram generated based on a visual word of the image.
  • An SVM calculation step performed based on each of the plurality of teacher data included in the teacher data group, wherein the SVM calculation step includes a histogram of the input image and a histogram of the comparison object represented by the teacher data.
  • the recognition object that is the object shown in the input image is similar to the comparison object.
  • a feature value calculating step that calculates a feature value that represents the degree of performing, and a cumulative addition step that cumulatively adds the feature values corresponding to the teacher data classified into the same type of the comparison object
  • the feature value calculating step the feature values corresponding to all the teacher data included in the teacher data group are calculated for each of the teacher data, and all the calculated feature values are processed for the image recognition.
  • the cumulative addition step all the feature values are stored in the data storage unit, and then stored in the data storage unit.
  • the feature values corresponding to the teacher data classified as the comparison object of the same type are read out from all the feature values and accumulated. It is, the feature value which is the cumulative addition is output as a result of recognizing the recognition target object in the processing of the image recognition.
  • the effect of reducing the load when performing image recognition processing can be obtained.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an image recognition device according to a first embodiment of the present invention. It is the figure which showed the flow of the data at the time of performing the process of image recognition in the image recognition apparatus of the 1st Embodiment of this invention. It is the flowchart which showed the process sequence of the process of the image recognition in the image recognition apparatus of the 1st Embodiment of this invention. It is the block diagram which showed schematic structure of the image recognition apparatus in the 2nd Embodiment of this invention. It is the figure which showed the flow of the data at the time of performing the process of image recognition in the image recognition apparatus of the 2nd Embodiment of this invention.
  • FIG. 1 is a block diagram showing a schematic configuration of an image recognition apparatus according to the first embodiment of the present invention.
  • the image recognition apparatus 10 includes a support vector machine (SVM) calculation unit 110 and a feature value storage unit 120.
  • the SVM calculation unit 110 includes a feature value calculation unit 111 and a cumulative addition unit 112.
  • FIG. 1 also shows a data storage unit 90 that stores data used when the image recognition apparatus 10 performs image recognition processing, and shows the image recognition system 1 including the image recognition apparatus 10.
  • the image recognition apparatus 10 performs an image recognition process for recognizing an object in the image, that is, a subject (target object) or a scene where the image is photographed, for various input objects. Outputs information on the degree of similarity between each type of data (classification) and the degree of similarity of the subject (object) recognized by the image recognition process. To do.
  • a visual word calculation process that generates a set of representative local patterns (visual words) in the input image, or an image input based on the visual word.
  • Each process similar to the conventional image recognition technique, such as a calculation process for generating an entire histogram, is performed. In the following description, it is assumed that the visual word calculation process and the histogram calculation process for the input image have been completed.
  • the data storage unit 90 includes a teacher data group 910 that is used when the image recognition device 10 performs image recognition processing, and recognition target data 950 that is a histogram of a target image that the image recognition device 10 performs image recognition processing. Saved.
  • the data storage unit 90 is, for example, a memory such as a DRAM (Dynamic Random Access Memory).
  • the data storage unit 90 outputs the stored teacher data group 910 and recognition target data 950 to the image recognition device 10 in accordance with data read control from the image recognition device 10.
  • the method for storing each data in the data storage unit 90, that is, the data writing control is not particularly limited.
  • the teacher data group 910 histograms of a large number of images showing the same object (hereinafter referred to as “comparison object”) are classified for each type of comparison object recognized by the image recognition apparatus 10. Included as teacher data. However, each histogram is not exclusive for each type of comparison object, and the same histogram may correspond (overlapping) to different types of comparison objects. That is, one teacher data may be classified into a plurality of types of comparison objects. Therefore, the number of teacher data included in the teacher data group 910 is smaller than the total number of histograms corresponding to the respective types of comparison objects.
  • the teacher data group 910 includes teacher data of four types of comparison objects such as humans, dogs, cats, and flowers
  • the teacher data group 910 includes 1500 histograms (total of 6000) classified into each of the four types of comparison objects, but the teacher data constituting the teacher data group 910 The number will be described as being 5000. In other words, in the following description, it is assumed that 1000 histograms among 6000 histograms represented by the teacher data group 910 correspond (overlapping) to a plurality of types of comparison objects.
  • the recognition target data 950 represents, for example, a recognition target object (hereinafter referred to as “recognition target object”) or a scene in which an image is captured in an image captured by a photographing system equipped with the image recognition system 1.
  • the recognition target data 950 is generated by, for example, visual word calculation processing and histogram calculation processing in the image recognition apparatus 10.
  • the image recognition apparatus 10 performs image recognition processing on the recognition target data 950 stored in the data storage unit 90 based on each teacher data included in the teacher data group 910 stored in the data storage unit 90. Information on the degree of similarity with each teacher data is output for each teacher data.
  • the SVM calculation unit 110 performs an SVM calculation that compares the histogram of the entire image represented by the recognition target data 950 and the histogram of the comparison target represented by each teacher data included in the teacher data group 910. The similarity is calculated for each type of comparison object classified in the teacher data group 910. Then, when the calculation of the similarity with respect to the entire recognition target data 950 is completed, that is, when the SVM calculation is completed, the SVM calculation unit 110 calculates the similarity for each type of comparison target calculated by the SVM calculation. Information to be expressed is output as information on a recognition object recognized by the image recognition apparatus 10 through image recognition processing.
  • the feature value calculation unit 111 compares the histogram represented by each teacher data read from the data storage unit 90 and the histogram represented by the recognition target data 950, and recognizes the recognition target included in the recognition target data 950 for each teacher data.
  • a feature value (kernel) representing how similar the object to the comparison object represented by the teacher data is calculated.
  • the feature value calculation unit 111 outputs each feature value calculated for each teacher data to the feature value storage unit 120.
  • the feature value calculation unit 111 compares the histograms represented by the teacher data included in the teacher data group 910 with the histograms represented by the recognition target data 950, and calculates the feature values corresponding to all the teacher data. Then, all the calculated feature values are output to the feature value storage unit 120.
  • the feature value calculation unit 111 calculates 5000 feature values corresponding to 5000 teacher data included in the teacher data group 910 and outputs them to the feature value storage unit 120.
  • the feature value calculation method in the feature value calculation unit 111 is the same as the feature value calculation method in the conventional image recognition technique, and thus detailed description thereof is omitted.
  • the cumulative addition unit 112 reads out the feature values corresponding to the teacher data classified as the same type of comparison object from the feature values for each of the teacher data stored in the feature value storage unit 120, respectively The feature values of are cumulatively added. That is, the cumulative addition unit 112 selects 1500 feature values classified into the same type of comparison object from the feature values corresponding to all the teacher data stored in the feature value storage unit 120. Read from 120 and add cumulatively. Then, the cumulative addition unit 112 outputs the cumulatively added feature value as information on the degree of similarity between the classified comparison target object and the recognition target object included in the recognition target data 950. That is, the cumulative addition unit 112 outputs the cumulatively added feature value as a result of the image recognition process. Note that the method of cumulative addition of feature values in the cumulative addition unit 112 is the same as the method of cumulative addition of feature values in the conventional image recognition technique, and thus detailed description thereof is omitted.
  • the feature value storage unit 120 temporarily stores the feature value for each teacher data calculated by the feature value calculation unit 111 in the SVM calculation unit 110.
  • the feature value storage unit 120 is a memory such as SRAM (Static Random Access Memory), for example.
  • the feature value storage unit 120 stores each of the 5000 feature values output from the feature value calculation unit 111 in accordance with data write control from the feature value calculation unit 111. Further, the feature value storage unit 120 outputs the 1500 feature values stored therein to the cumulative addition unit 112 in accordance with data read control from the cumulative addition unit 112 in the SVM calculation unit 110.
  • the image recognition apparatus 10 includes the feature value storage unit 120 that stores the feature values corresponding to the respective teacher data. Then, the image recognition apparatus 10 calculates feature values corresponding to all the teacher data included in the teacher data group 910 and stores them in the feature value storage unit 120 in the SVM calculation in the image recognition processing, and then stores the feature values. Information representing the similarity for each type of comparison object by reading out and accumulating the feature values corresponding to the teacher data classified as the same type of comparison object from the feature values stored in the unit 120 Output as (result of image recognition processing).
  • FIG. 2 is a diagram showing a data flow when image recognition processing is performed in the image recognition apparatus 10 according to the first embodiment of the present invention.
  • FIG. 2 shows the data flow of the SVM calculation process in the image recognition process performed by the image recognition apparatus 10. That is, the flow of data shown in FIG. 2 is that the image recognition apparatus 10 performs the SVM calculation process after the visual word calculation process and the histogram calculation process for the image input to the image recognition apparatus 10 have been completed. The flow of data when doing it is shown.
  • the feature value calculation unit 111 provided in the SVM calculation unit 110 reads the recognition target data 950 from the data storage unit 90 (path C1-1). Further, the feature value calculation unit 111 sequentially reads all the teacher data included in the teacher data group 910 from the data storage unit 90 (path C1-2). Then, the feature value calculation unit 111 calculates feature values based on the read recognition target data 950 and the teacher data, and temporarily stores the calculated feature values in the feature value storage unit 120.
  • FIG. 2 shows a state in which each feature value 121 calculated by the feature value calculation unit 111 is stored in the feature value storage unit 120.
  • the cumulative addition unit 112 included in the SVM calculation unit 110 has the same type of feature values 121 stored in the feature value storage unit 120 by the feature value calculation unit 111.
  • the feature value 121 corresponding to the teacher data classified as the comparison target is read out, cumulatively added, and the feature value that has been cumulatively added is information indicating the degree of similarity with the type of comparison target represented by the read feature value 121 (image) As a result of recognition processing) (path C1-3).
  • FIG. 3 is a flowchart showing a processing procedure of image recognition processing in the image recognition apparatus 10 according to the first embodiment of the present invention.
  • FIG. 3 shows the processing procedure of the SVM calculation process in the image recognition process performed by the image recognition apparatus 10. That is, in the processing procedure shown in FIG. 3, the image recognition apparatus 10 performs the SVM calculation process after the visual word calculation process and the histogram calculation process for the image input to the image recognition apparatus 10 have been completed. The processing procedure is shown.
  • the teacher data group 910 includes 1500 (total of 6000) histograms corresponding to each of the four types of comparison objects, and the teacher data group 910 includes 5000 teacher data. (1000 histograms are overlapped).
  • the feature value calculation unit 111 included in the SVM calculation unit 110 first reads the recognition target data 950 from the data storage unit 90 (FIG. 2). (See route C1-1).
  • the image recognition apparatus 10 performs SVM calculation with respect to each teacher data from step S100.
  • the feature value calculation unit 111 reads one piece of teacher data (first teacher data) included in the teacher data group 910 stored in the data storage unit 90 (first teacher data) (step S100). (See path C1-2 in FIG. 2).
  • step S110 the feature value calculation unit 111 calculates the feature value by comparing the histogram represented by the read first teacher data with the histogram represented by the recognition target data 950.
  • step S120 the feature value calculation unit 111 outputs the feature value corresponding to the calculated first teacher data to the feature value storage unit 120 for storage. Thereby, the feature value 121 corresponding to the first teacher data shown in FIG. 2 is stored in the feature value storage unit 120.
  • step S ⁇ b> 130 the feature value calculation unit 111 stores in the feature value storage unit 120 each feature value corresponding to all the teacher data included in the teacher data group 910 stored in the data storage unit 90. It is determined whether or not reading has been completed, that is, whether or not reading of all teacher data and calculation of feature values has been completed.
  • step S130 when the feature values corresponding to all the teacher data, that is, all feature values have not been stored in the feature value storage unit 120 ("NO" in step S130), the feature The value calculation unit 111 returns to step S100, and reads the next one teacher data (second teacher data) included in the teacher data group 910 (see path C1-2 in FIG. 2). Then, the feature value calculation unit 111 repeats the processing from step S110 to step S130 until the storage of all the feature values in the feature value storage unit 120 is completed. Since the teacher data group 910 is composed of 5000 pieces of teacher data, the feature value calculation unit 111 repeats the processing from step S100 to step S130 5000 times.
  • step S130 If it is determined in step S130 that all feature values have been stored in the feature value storage unit 120 ("YES" in step S130), the feature value calculation unit 111 proceeds to step S200.
  • step S200 the cumulative addition unit 112 included in the SVM calculation unit 110 has one feature value (corresponding to the teacher data classified into the same type of comparison object stored in the feature value storage unit 120 ( First feature value) is read (see path C1-3 in FIG. 2).
  • step S210 the cumulative addition unit 112 cumulatively adds the read first feature value.
  • step S220 the cumulative addition unit 112 determines whether or not the cumulative addition of all feature values corresponding to the teacher data classified into the same type of comparison object stored in the feature value storage unit 120 is completed. That is, it is determined whether or not the reading of all feature values and the cumulative addition of feature values for the same type of comparison object have been completed.
  • step S220 the cumulative addition of all feature values corresponding to the teacher data classified as the same type of comparison object has not been completed, that is, the final degree of similarity with the comparison object output this time If a correct result is not obtained ("NO" in step S220), the cumulative addition unit 112 returns to step S200, and the teacher data classified into the comparison object of the same type stored in the feature value storage unit 120 The next one feature value (second feature value) corresponding to is read (see path C1-3 in FIG. 2). Then, the cumulative addition unit 112 repeats the processing from step S210 to step S220 until the cumulative addition of all feature values is completed. Since the teacher data group 910 includes 1500 histograms corresponding to one type of comparison object, the cumulative addition unit 112 repeats the processing from step S200 to step S220 1500 times.
  • step S220 the cumulative addition of all feature values corresponding to the teacher data classified as the same type of comparison object is completed, that is, the final result of the similarity to the comparison object output this time Is obtained (“YES” in step S220), the cumulative addition unit 112 proceeds to step S300.
  • step S300 the cumulative addition unit 112 adds the cumulative added feature values obtained by the processing of steps S220 to S220, that is, the comparison target classified into the same type and the recognition target data 950 output this time. Information on the degree of similarity with the included recognition target object (result of image recognition processing) is output.
  • step S310 the cumulative addition unit 112 determines whether or not the cumulative addition of all feature values corresponding to the teacher data of all types of comparison objects classified in the teacher data group 910 is completed, that is, all It is determined whether the image recognition for the type of comparison object has been completed.
  • step S310 the cumulative addition of all feature values corresponding to the teacher data of all types of comparison objects has not been completed, that is, with all comparison objects classified in the teacher data group 910. If the output of the similarity information has not ended (“NO” in step S310), the cumulative addition unit 112 returns to step S200. Then, the cumulative addition unit 112 performs the processing of Steps S200 to S310, that is, the calculation and output of the similarity information with other comparison objects not output this time, with all types of comparison objects. Repeat until output of similarity information is complete. Since the teacher data group 910 is composed of teacher data corresponding to each of the four types of comparison objects, the cumulative adder 112 repeats the processing from step S200 to step S310 four times.
  • step S310 when the output of the similarity information with all the comparison objects classified in the teacher data group 910 is completed (“YES” in step S310), the image recognition device 10 (SVM calculation unit 110). ) Completes the SVM calculation process for each teacher data.
  • the image recognition apparatus 10 first reads each teacher data included in the teacher data group 910 stored in the data storage unit 90 once in the SVM calculation in the image recognition processing, The feature value corresponding to the teacher data is calculated and temporarily stored in the feature value storage unit 120. Thereafter, the image recognition apparatus 10 reads out the feature values corresponding to the teacher data classified as the same type of comparison object from the feature values stored in the feature value storage unit 120, and cumulatively adds the feature values respectively. Is output as information (result of image recognition processing) indicating the similarity for each type of comparison object.
  • the same teacher data (duplicate teacher data) classified into a plurality of types of comparison objects is converted into each type of the comparison object as in the SVM calculation in the conventional image recognition processing.
  • the number of times teacher data is read from the data storage unit 90 when performing the SVM calculation process that is, the number of accesses to the data storage unit 90 in the image recognition device 10 is determined by the conventional image recognition. In this process, it is possible to reduce the number of times of reading the teacher data when performing the SVM calculation process.
  • the image recognition apparatus 10 since the image recognition apparatus 10 temporarily stores the feature value corresponding to each teacher data in the feature value storage unit 120, the calculation for calculating the feature value corresponding to each read teacher data is performed only once. As in the conventional SVM calculation in the image recognition process, the calculation load when performing the SVM calculation process without performing the calculation for calculating the same feature value from the same teacher data that has been read twice is also increased. Can be reduced.
  • the SVM calculation in the conventional image recognition process 1500 pieces of teacher data are read from the data storage unit 90 for each of the four types of comparison objects, that is, the data storage unit 90.
  • the calculation for calculating the feature value corresponding to each teacher data is performed 6000 times.
  • the image recognition apparatus 10 repeats the processing from step S100 to step S130 as many times as the number of teacher data (5000) included in the teacher data group 910, that is, the number of accesses to the data storage unit 90. Is 5000 times.
  • the number of calculations for calculating the feature value corresponding to each teacher data is also 5000 times.
  • the image recognition process for the input image includes a plurality of teacher data, which is a histogram of the image of the comparison target that is the recognition target, classified for each type of the comparison target.
  • SVM calculation unit 110 SVM calculation unit 110 that performs calculation based on each of a plurality of teacher data included in the teacher data group 910, and data that temporarily stores data generated during the image recognition process
  • a storage unit (feature value storage unit 120) SVM calculation unit 110 includes a histogram (recognition target data 95) of the input image.
  • the histogram of the comparison object represented by the teacher data, and the feature value representing the degree of similarity between the recognition object and the comparison object, which are the objects copied in the input image is calculated.
  • a feature value calculation unit (feature value calculation unit 111), and a cumulative addition unit (cumulative addition unit 112) that cumulatively adds feature values corresponding to the teacher data classified into the same type of comparison object
  • the feature value calculation unit 111 calculates feature values corresponding to all teacher data included in the teacher data group 910 for each teacher data, and stores all the calculated feature values as feature values.
  • the cumulative addition unit 112 causes the feature value calculation unit 111 to store all feature values in the feature value storage unit 120, and then compares the same type of comparison target from all the stored feature values.
  • An image recognition device (image recognition device 10) is configured to read out the feature values corresponding to the teacher data and cumulatively add them, and output the cumulatively added feature values as a result of recognizing the recognition object in the image recognition processing.
  • the feature value calculation unit 111 outputs all the results of recognition of the recognition object in the image recognition processing when the number of teacher data included in the teacher data group 910 is the number of teacher data.
  • the cumulative addition unit 112 reads the feature value stored in the feature value storage unit 120 and the cumulative number is less than the number of times of cumulative addition, the feature value corresponding to all the teacher data included in the teacher data group 910 is calculated.
  • the image recognition apparatus 10 to be stored in the feature value storage unit 120 is configured.
  • the image recognition process for the input image is performed by classifying the teacher data, which is a histogram of the image of the comparison target that is the recognition target, for each type of the comparison target.
  • An image recognition method in an image recognition apparatus performed based on a plurality of teacher data groups (teacher data group 910), and a histogram (recognition target data 950) generated based on a visual word of an image
  • a support vector machine (SVM) operation based on each of a plurality of teacher data included in the teacher data group 910, and the SVM operation step includes a histogram (recognition target data 950) of the input image.
  • SVM support vector machine
  • a feature value calculation step for calculating a feature value indicating the degree of similarity between the recognition target object and the comparison target object, and cumulative feature values corresponding to the teacher data classified into the same type of comparison target object
  • feature values corresponding to all the teacher data included in the teacher data group 910 are calculated for each teacher data, and all the calculated feature values are stored in the feature value calculating step.
  • the data generated during the image recognition process is temporarily stored in a data storage unit (feature value storage unit 120), and in the cumulative addition step, all feature values are stored in the feature value calculation step.
  • the feature values corresponding to the teacher data classified as the same type of comparison object are read and accumulated from all the stored feature values It is calculated, wherein values accumulated addition is an image recognition method is configured to be output as a result of recognizing the recognition target object in the processing of image recognition.
  • the image recognition apparatus 10 is a feature for storing feature values corresponding to all teacher data included in the teacher data group 910 stored in the data storage unit 90.
  • a value storage unit 120 is provided.
  • the image recognition apparatus 10 according to the first embodiment has features corresponding to all the teacher data calculated by reading each teacher data included in the teacher data group 910 once in the SVM calculation in the image recognition process. The value is temporarily stored in the feature value storage unit 120. Thereafter, the image recognition apparatus 10 according to the first embodiment reads out the feature values corresponding to the teacher data classified as the same type of comparison object from the feature values stored in the feature value storage unit 120, and performs cumulative addition.
  • the cumulatively added feature value is output as information (result of image recognition processing) indicating the similarity for each type of the comparison object calculated by the SVM calculation. That is, in the image recognition apparatus 10 of the first embodiment, each teacher data included in the teacher data group 910 stored in the data storage unit 90 is read only once, and each type of comparison object is read. Outputs information indicating the degree of similarity.
  • each of the image recognition apparatuses 10 of the first embodiment does not repeat the reading of the same teacher data and the calculation of the same feature value a plurality of times, unlike the image recognition apparatus that performs the conventional image recognition processing.
  • Information representing the degree of similarity for each type of comparison object can be output as information on the recognition object recognized by performing image recognition processing (result of image recognition processing). That is, in the image recognition apparatus 10 of the first embodiment, the number of times teacher data is read from the data storage unit 90 (the number of accesses to the data storage unit 90) and the respective teacher data when performing SVM calculation processing.
  • the number of calculations for calculating the feature value to be performed can be reduced as compared with a conventional image recognition apparatus that performs image recognition processing.
  • the load when performing the image recognition process can be reduced as compared with the image recognition apparatus that performs the conventional image recognition process. Note that it is possible to reduce the load when the image recognition process is performed in the image recognition apparatus 10 of the first embodiment, which means that the image recognition process in the image recognition system 1 including the image recognition apparatus 10 is high. It also leads to improvement in efficiency and processing speed.
  • the feature value calculation unit 111 included in the SVM calculation unit 110 receives the teacher data included in the recognition target data 950 and the teacher data group 910 from the data storage unit 90.
  • the configuration for reading has been described.
  • the configuration and method for reading the recognition target data 950 and the teacher data from the data storage unit 90 are not limited to the configuration and method shown in the first embodiment.
  • the image recognition apparatus 10 includes a DMA unit that transfers data to and from the data storage unit 90 by DMA (Direct Memory Access), and this DMA unit responds to a request from the feature value calculation unit 111.
  • the recognition target data 950 acquired from the data storage unit 90 by DMA and the respective teacher data may be transmitted to the feature value calculation unit 111.
  • a teacher data group 910 composed of 5000 teacher data including 1500 histograms for each comparison object classified into the four types.
  • the teacher data is read out 6000 times in the conventional image recognition processing by the same number of times as the number of teacher data included in the teacher data group 910, thereby The effect that the number of times of reading data and the number of operations for calculating feature values can be reduced has been described.
  • the number of types of comparison objects classified in the teacher data group 910 and the number of teacher data constituting the teacher data group 910 are not limited to the numbers shown in the first embodiment.
  • the number of times teacher data is read by the image recognition apparatus 10 according to the first embodiment is different from that of conventional image recognition. It may be the same as or more than the image recognition apparatus that performs the processing.
  • the teacher data group 910 has the configuration described in the first embodiment
  • an image for performing conventional image recognition processing is used.
  • the number of times teacher data is read by the recognition device is 4,500
  • the number of times teacher data is read by the image recognition device 10 of the first embodiment is 5000 times.
  • the number of times teacher data is read by the image recognition apparatus that performs the conventional image recognition process
  • the number of times teacher data is read by the image recognition apparatus 10 according to the first embodiment is the same.
  • the same operation as that of an image recognition apparatus that performs conventional image recognition processing is performed depending on the number of types of comparison objects to be recognized and the configuration of the teacher data group 910. You may make it do.
  • the operation of the image recognition apparatus 10 according to the first embodiment is the operation described with reference to the flowchart of FIG. 3 or the conventional image according to the number of types of comparison objects to be recognized and the configuration of the teacher data group 910. You may make it the structure switched to the operation
  • the number of types of comparison objects to be recognized is multiplied by the number of histograms corresponding to the respective comparison objects, that is, each of the recognition objects is recognized.
  • the total number of histograms corresponding to the comparison objects is compared with the number of teacher data constituting the teacher data group 910.
  • the total number of histograms corresponding to each comparison object to be recognized is the number of times teacher data is read in an image recognition apparatus that performs a conventional image recognition process.
  • the number of times teacher data is read out in the image recognition apparatus that performs conventional image recognition processing is equal to or less than the number of teacher data constituting the teacher data group 910, the same operation as the conventional image recognition apparatus is performed. Like that.
  • the number of times teacher data is read in an image recognition apparatus that performs conventional image recognition processing is the number of times that similarity information with all types of comparison objects to be recognized has been output, that is, in image recognition processing.
  • the image recognition apparatus 10 when the number of teacher data composing the teacher data group 910 is equal to or greater than the number of times that the cumulative addition unit 112 reads out the feature value and performs cumulative addition, the same operation as that of the conventional image recognition apparatus is performed, and the cumulative addition unit When the number 112 is smaller than the number of times of reading and accumulating feature values, the image recognition apparatus 10 according to the first embodiment described with reference to the flowchart of FIG. 3 may be switched to perform the operation.
  • a teacher data group 910 including, as teacher data, each of a large number of image histograms classified for each type of comparison target to be recognized is stored in the data storage unit 90.
  • the format of the teacher data group 910 stored in the data storage unit 90 is not limited to the format shown in the first embodiment.
  • a histogram (teacher data) of a large amount of images classified for each type of comparison object to be recognized is reversibly compressed and stored in the data storage unit 90 in a state where the histograms are collected as one data.
  • FIG. 4 is a block diagram showing a schematic configuration of an image recognition apparatus according to the second embodiment of the present invention.
  • the image recognition apparatus 20 includes an SVM calculation unit 110, a feature value storage unit 120, and a teacher data decompression unit 230.
  • the SVM calculation unit 110 includes a feature value calculation unit 111 and a cumulative addition unit 112.
  • FIG. 4 also shows a data storage unit 90 that stores data used when the image recognition device 20 performs image recognition processing, and shows the image recognition system 2 including the image recognition device 20.
  • the image recognition apparatus 20 shown in FIG. 4 has a configuration in which a teacher data decompression unit 230 is further added to the image recognition apparatus 10 of the first embodiment shown in FIG.
  • the other components provided in the image recognition device 20 are the same as the components provided in the image recognition device 10 of the first embodiment shown in FIG. Therefore, in the following description, in the constituent elements of the image recognition apparatus 20, the same constituent elements as those provided in the image recognition apparatus 10 of the first embodiment are assigned the same reference numerals, and the respective constituent elements are provided. A detailed description of the elements will be omitted, and only the components and operations that are different from the image recognition device 10 of the first embodiment in the image recognition device 20 will be described.
  • the image recognition apparatus 20 also performs image recognition processing on the input image, and uses the information on similarity to each teacher data to perform image recognition processing. Is output as information (result of image recognition processing) indicating the degree of similarity of the recognition object recognized by the above.
  • the image recognition device 20 is an image recognition device configured to perform SVM calculation processing based on teacher data (hereinafter referred to as a “compressed teacher data group 911”) in a reversible compression state as a single piece of data. .
  • the image recognition device 20 also performs processing such as visual word calculation processing and histogram calculation processing, as with the image recognition device 10 of the first embodiment. Also in the following description, it is assumed that the visual word arithmetic processing and the histogram arithmetic processing for the input image have been completed.
  • the data storage unit 90 stores a compression teacher data group 911 used when the image recognition device 20 performs image recognition processing, and recognition target data 950 that is a target for which the image recognition device 20 performs image recognition processing. .
  • the compressed teacher data group 911 includes teacher data similar to the teacher data group 910 stored in the data storage unit 90 in the image recognition system 1 including the image recognition apparatus 10 of the first embodiment shown in FIG. It is a teacher data group configured to be reversibly compressed in a state of being collected as one data.
  • the compression teacher data group 911 includes teacher data of four types of comparison objects such as a person, a dog, a cat, and a flower, 1500 pieces corresponding to each comparison object (total of 6000 pieces). All 5000 teacher data representing a histogram (1000 histograms are overlapped) are reversibly compressed in a state in which all the data are collected, and are configured as one data (teacher data group).
  • the image recognition apparatus 20 performs image recognition processing on the recognition target data 950 stored in the data storage unit 90 based on the respective teacher data included in the compressed teacher data group 911 stored in the data storage unit 90. And information on the degree of similarity with each teacher data (result of image recognition processing) is output for each teacher data.
  • the teacher data decompression unit 230 decompresses the compressed teacher data group 911 used when the image recognition apparatus 20 performs image recognition processing. Thereby, each teacher data included in the compressed teacher data group 911 is the same as each teacher data included in the teacher data group 910 used when the image recognition apparatus 10 of the first embodiment performs image recognition processing. Will be restored to Then, the teacher data decompression unit 230 outputs each decompressed teacher data to the SVM calculation unit 110.
  • the SVM calculation unit 110 compares the histogram of the entire image represented by the recognition target data 950 with the histogram of the comparison target represented by each teacher data output from the teacher data decompression unit 230. The similarity is calculated for each type of the comparison object classified in the compression teacher data group 911. Then, the SVM calculation unit 110 outputs information representing each calculated degree of similarity as information on a recognition object recognized by the image recognition device 20 performing image recognition processing.
  • the image recognition apparatus 20 includes the teacher data decompression unit 230 that decompresses one compression teacher data group 911 in a reversibly compressed state.
  • the teacher data decompressing unit 230 decompresses each teacher data included in the compressed teacher data group 911 prior to the SVM calculation in the image recognition process.
  • the image recognition device 20 also includes a feature value storage unit 120 that stores feature values corresponding to each teacher data, as with the image recognition device 10 of the first embodiment.
  • the image recognition apparatus 20 corresponds to all the teacher data decompressed (restored) by the teacher data decompression unit 230 in the SVM calculation in the image recognition process, as with the image recognition apparatus 10 of the first embodiment.
  • the value is calculated and temporarily stored in the feature value storage unit 120.
  • the image recognition device 20 corresponds to the teacher data classified as the same type of comparison target from the feature values stored in the feature value storage unit 120, as in the image recognition device 10 of the first embodiment.
  • the feature values to be read are read out, cumulatively added, and output as information (result of image recognition processing) indicating the similarity for each type of comparison object.
  • FIG. 5 is a diagram showing a data flow when image recognition processing is performed in the image recognition apparatus 20 according to the second embodiment of the present invention.
  • FIG. 5 shows the data flow of the processing of the SVM calculation in the image recognition processing performed by the image recognition device 20, similarly to the data flow in the image recognition device 10 of the first embodiment shown in FIG. 2. Yes. Accordingly, the data flow shown in FIG. 5 also includes the image recognition device 20 performing the SVM calculation processing from the state where the visual word calculation processing and the histogram calculation processing for the image input to the image recognition device 20 have been completed. The flow of data when doing it is shown.
  • the data flow in the image recognition apparatus 20 shown in FIG. 5 includes the same data flow as the data flow in the image recognition apparatus 10 of the first embodiment shown in FIG.
  • the feature value calculation unit 111 included in the SVM calculation unit 110 receives a recognition target from the data storage unit 90 in the same manner as the data flow in the image recognition device 10 of the first embodiment.
  • Data 950 is read (path C1-1).
  • the teacher data decompression unit 230 reads and decompresses the compressed teacher data group 911 from the data storage unit 90, and sequentially outputs all the decompressed teacher data to the feature value calculation unit 111 in the SVM calculation unit 110 (path) C2-2).
  • the feature value calculation unit 111 calculates a feature value based on each of the read recognition target data 950 and the teacher data output from the teacher data decompression unit 230, and each of the calculated feature values is converted into a feature value.
  • FIG. 5 shows a state in which the feature value 121 calculated by the feature value calculation unit 111 is stored in the feature value storage unit 120.
  • the cumulative addition unit 112 provided in the SVM calculation unit 110 performs the feature value calculation unit 111 in the same manner as the data flow in the image recognition device 10 of the first embodiment. From the feature values 121 stored in the feature value storage unit 120, the feature values 121 corresponding to the teacher data classified as the same type of comparison object are read and cumulatively added. Then, the cumulative addition unit 112 outputs the cumulatively added feature value as information (image recognition processing result) indicating the degree of similarity with the type of comparison object represented by the read feature value 121 (path C1-3). ).
  • the processing procedure of the SVM calculation process in the image recognition process performed by the image recognition apparatus 20 is the same as the process of the SVM calculation process in the image recognition process performed by the image recognition apparatus 10 of the first embodiment shown in FIG. Only the procedure and teacher data are different.
  • the teacher data decompression unit 230 reads and decompresses the compressed teacher data group 911 from the data storage unit 90. . Thereafter, the feature value calculation unit 111 acquires one teacher data (first teacher data) output from the teacher data decompression unit 230 in step S100 illustrated in FIG. 3, and performs steps S110 to S130. The process is repeated until the storage of all feature values corresponding to the teacher data output from the teacher data decompression unit 230 in the feature value storage unit 120 is completed. That is, the feature value calculation unit 111 performs step S100 illustrated in FIG. 3 until the storage of all feature values corresponding to the 5000 teacher data included in the compressed teacher data group 911 in the feature value storage unit 120 is completed. Step S130 is repeated 5000 times.
  • the cumulative addition unit 112 repeats the processing of steps S200 to S220 shown in FIG. 3 until the cumulative addition of all feature values is completed, and further performs the processing of steps S200 to S310. The process is repeated until the output of the similarity information (result of image recognition processing) with all types of comparison objects classified in 911 is completed. That is, also in the image recognition apparatus 20, the cumulative addition unit 112 repeats the processing from step S200 to step S220 shown in FIG. 3 1500 times and repeats the processing from step S200 to step S310 four times.
  • the image recognition apparatus 20 also performs image recognition processing on the information representing the similarity for each type of comparison object calculated by the SVM calculation, as in the image recognition apparatus 10 of the first embodiment. Can be output as information on the recognition object recognized (result of image recognition processing).
  • the teacher data group (compressed teacher data group 911) input in a reversible compression format in a state where all the teacher data are combined into one is decompressed and restored to each teacher data.
  • a teacher data decompression unit (teacher data decompression unit 230), and in the SVM calculation process, the teacher data decompression unit 230 decompresses the compressed teacher data group 911 and restores it to each teacher data, and a feature value calculation unit
  • the (feature value calculation unit 111) calculates all feature values corresponding to the respective teacher data restored by the teacher data decompression unit 230 and stores them in the data storage unit (feature value storage unit 120) ( An image recognition device 20) is configured.
  • the image recognition apparatus 20 includes the teacher data decompression unit 230 that decompresses one compression teacher data group 911 in a reversibly compressed state. Also, the image recognition apparatus 20 of the second embodiment, like the image recognition apparatus 10 of the first embodiment, applies to all the teacher data included in the compressed teacher data group 911 decompressed by the teacher data decompression unit 230. A feature value storage unit 120 for storing the corresponding feature value is provided. The image recognition apparatus 20 according to the second embodiment uses the feature value storage unit 120 to calculate all feature values calculated using all the teacher data decompressed by the teacher data decompression unit 230 in the SVM calculation in the image recognition process.
  • the feature value storage unit 120 are stored in the feature value storage unit 120, and feature values corresponding to the teacher data classified as the same type of comparison object are read out and cumulatively added to each comparison object. Is output as information (result of image recognition processing) indicating the similarity for each type. That is, in the image recognition apparatus 20 of the second embodiment, the compression teacher data group 911 stored in the data storage unit 90 is read once, and each comparison object classified in the compression teacher data group 911 is read. Outputs information indicating the similarity for each type. As a result, in the image recognition apparatus 20 of the second embodiment, as in the case of the image recognition apparatus 10 of the first embodiment, the load for performing the image recognition process is the image recognition that performs the conventional image recognition process. It can be reduced more than the device.
  • an image recognition apparatus that performs conventional image recognition processing first reads the compression teacher data group 911. Using all the decompressed and decompressed teacher data (eg, 5000 teacher data), the teacher data (eg, 1500 teacher data) classified as the first type of comparison object, The degree of similarity (result of image recognition processing) for the first type comparison object is output.
  • the decompressed and decompressed teacher data eg, 5000 teacher data
  • the teacher data eg, 1500 teacher data
  • the degree of similarity result of image recognition processing
  • the image recognition apparatus that performs the conventional image recognition processing discards all the previously decompressed teacher data, reads the compressed teacher data group 911 again, decompresses, and decompresses all the teacher data (for example, Similarity with respect to the second type of comparison object using the teacher data (for example, 1500 pieces of teacher data) classified into the second type of comparison object among the 5000 types of teacher data) (Image recognition processing result) is output.
  • the compression teacher data group 911 is read and decompressed for each comparison object that performs image recognition processing. Discard teacher data. That is, in an image recognition apparatus that performs conventional image recognition processing, reading and decompressing the same compressed teacher data group 911, and computation for calculating feature values corresponding to the same teacher data (overlapping teacher data), It has been done several times.
  • the image recognition apparatus 20 according to the second embodiment is characterized by reading and decompressing the compressed teacher data group 911 stored in the data storage unit 90 only once and corresponding to all decompressed teacher data.
  • a value (for example, 5000 feature values) is calculated and temporarily stored in the feature value storage unit 120.
  • the image recognition apparatus 20 according to the second embodiment has feature values (for example, 1500 pieces) corresponding to the teacher data classified as the comparison object of the same type from the feature values saved in the feature value saving unit 120.
  • the feature value obtained by accumulating and adding the feature value is output as information (image recognition processing result) indicating the similarity for each type of the comparison object.
  • the image recognition apparatus 20 of the second embodiment reading and decompression of the compressed teacher data group 911 and calculation for calculating feature values corresponding to the same teacher data (duplicate teacher data) are performed once. Only going. That is, in the image recognition device 20 of the second embodiment, the same comparison is made without repeatedly reading the same teacher data and calculating the same feature value a plurality of times, unlike the image recognition device that performs the conventional image recognition processing. Information representing the degree of similarity for each type of object can be output as information on the recognition object recognized by performing image recognition processing.
  • the number of times the compressed teacher data group 911 that has been reversibly compressed is read from the data storage unit 90 when the SVM calculation process is performed (the number of accesses to the data storage unit 90). ),
  • the number of operations for decompressing the reversibly compressed teacher data group 911, and the number of operations for calculating the feature value corresponding to each decompressed teacher data, compared to the conventional image recognition apparatus that performs image recognition processing. Can be reduced.
  • the load when performing the image recognition process is the image that performs the conventional image recognition process. This can be reduced more than the recognition device.
  • the image recognition apparatus 20 according to the second embodiment can reduce the load when performing image recognition processing, as with the image recognition apparatus 10 according to the first embodiment. This leads to higher efficiency of image recognition processing and higher processing speed in the image recognition system 2 equipped with the above.
  • the DMA unit included in the image recognition device 20 responds to a request from the teacher data decompression unit 230, as in the image recognition device 10 of the first embodiment.
  • the compressed teacher data group 911 acquired from the data storage unit 90 by DMA may be transmitted to the teacher data decompression unit 230.
  • the number of types of comparison objects for recognizing the operation of the image recognition device 20 of the second embodiment is the same as that of the image recognition device 10 of the first embodiment.
  • the operation may be switched to the above-described operation or the same operation as that of the conventional image recognition apparatus according to the configuration of the teacher data included in the compressed teacher data group 911.
  • an image recognition apparatus includes, for example, an SRAM as a storage unit (memory) for temporarily storing data used in visual word calculation processing and histogram calculation processing.
  • FIG. 6 is a block diagram showing a schematic configuration of an image recognition apparatus according to the third embodiment of the present invention.
  • the image recognition device 30 includes an SVM calculation unit 110, a feature value storage unit 120, an arbitration unit 340, a visual word calculation unit 350, and a histogram calculation unit 360.
  • the SVM calculation unit 110 includes a feature value calculation unit 111 and a cumulative addition unit 112.
  • FIG. 6 also shows a data storage unit 90 that stores data used when the image recognition device 30 performs image recognition processing, and shows the image recognition system 3 including the image recognition device 30.
  • the image recognition device 30 illustrated in FIG. 6 includes a visual word calculation unit 350 and a histogram calculation unit 360 included in the image recognition device 10 of the first embodiment illustrated in FIG. 1, and further includes an arbitration unit 340. It is a configuration.
  • the other components included in the image recognition device 30 are the same as the components included in the image recognition device 10 of the first embodiment shown in FIG. Therefore, in the following description, in the components of the image recognition device 30, the same components as those provided in the image recognition device 10 of the first embodiment are denoted by the same reference numerals, and the respective components are configured. A detailed description of the elements will be omitted, and only the components and operations that are different from the image recognition device 10 of the first embodiment in the image recognition device 30 will be described.
  • the image recognition device 30 Similar to the image recognition device 10 of the first embodiment, the image recognition device 30 also performs image recognition processing on the input image, and uses the information on similarity to each teacher data to perform image recognition processing. Is output as information (result of image recognition processing) indicating the degree of similarity of the recognition object recognized by the above.
  • the image recognition apparatus 30 is an image recognition apparatus configured to share the feature value storage unit 120 among the SVM calculation unit 110, the visual word calculation unit 350, and the histogram calculation unit 360.
  • the visual word calculation unit 350 performs, for example, a visual word calculation process for generating a visual word for an image shot by a shooting system equipped with the image recognition system 3. More specifically, the visual word calculation unit 350 performs a calculation for generating a set of representative local patterns (visual words) in the image input to the image recognition device 30.
  • the visual word calculation unit 350 uses the feature value storage unit 120 as a storage unit (memory) that temporarily stores data in the middle of calculation when performing calculation to generate each visual word in the input image. To do. Then, the visual word calculation unit 350 outputs the data of the finally generated set of visual words to the data storage unit 90 for storage.
  • the visual word arithmetic processing method in the visual word arithmetic unit 350 is the same as the visual word arithmetic processing method in the conventional image recognition technology, and thus detailed description thereof is omitted.
  • the histogram calculation unit 360 performs a histogram calculation process for generating a histogram of the entire image shot by a shooting system equipped with the image recognition system 3, for example, based on the visual word. More specifically, the histogram calculation unit 360 reads the data of each visual word generated and stored by the visual word calculation unit 350 from the data storage unit 90, and based on the read data of each visual word, An operation for generating a histogram of the entire input image is performed.
  • the histogram calculation unit 360 uses the feature value storage unit 120 as a storage unit (memory) that temporarily stores data in the middle of calculation when performing calculation to generate a histogram of the entire input image.
  • the histogram calculation unit 360 outputs and stores the finally generated histogram data to the data storage unit 90.
  • the histogram calculation processing method in the histogram calculation unit 360 is the same as the histogram calculation processing method in the conventional image recognition technique, and thus detailed description thereof is omitted.
  • the histogram data finally generated by the histogram calculation unit 360 is the recognition target data 950.
  • FIG. 6 shows a state where the data storage unit 90 stores the teacher data group 910 and the recognition target data 950 generated by the histogram calculation unit 360.
  • the mediation unit 340 is a component in the image recognition device 30, that is, a feature value by the visual word calculation unit 350, the histogram calculation unit 360, and the SVM calculation unit 110.
  • the use of the storage unit 120 is arbitrated. Note that in the image recognition device 30, the processes by the visual word calculation unit 350, the histogram calculation unit 360, and the SVM calculation unit 110 are performed exclusively. More specifically, in the image recognition device 30, first, the visual word calculation unit 350 generates data of a set of visual words in the input image. Next, the histogram calculation unit 360 generates a histogram of the entire input image. Finally, the SVM calculation unit 110 calculates the similarity for each type of comparison object classified in the teacher data group 910, and the image recognition apparatus 30 performs image recognition processing to recognize the recognition object information ( As a result of image recognition processing).
  • the arbitration unit 340 exclusively allocates the components that use the feature value storage unit 120 at the respective arithmetic processing stages when the image recognition apparatus 30 executes the image recognition process. More specifically, at the stage of the visual word calculation process for generating each visual word in the input image, the visual word calculation unit 350 uses the feature value storage unit 120 as a component. Assign as. After that, at the stage of the histogram calculation process for generating the histogram (recognition target data 950) of the entire image to which the histogram calculation unit 360 is input, the histogram calculation unit 360 is assigned as a component using the feature value storage unit 120.
  • the SVM calculation unit 110 displays the feature value.
  • the storage unit 120 is assigned as a component to be used.
  • the arbitration unit 340 controls the writing of data to the feature value storage unit 120 and the data from the feature value storage unit 120 output from each component allocated as a component that uses the feature value storage unit 120.
  • the feature value storage unit 120 is accessed according to the read control.
  • the feature value storage unit 120 stores data temporarily stored by the components in the image recognition apparatus 30 to which use is assigned by the arbitration unit 340.
  • the storage capacity in which the feature value storage unit 120 can store data is stored in the feature value storage unit 120 when the components in the image recognition apparatus 30 to which use is assigned by the arbitration unit 340 execute the respective processes.
  • This is a storage capacity capable of storing the maximum amount of data. That is, the storage capacity of the feature value storage unit 120 is processed by the component that stores the most data in the feature value storage unit 120 among the visual word calculation unit 350, the histogram calculation unit 360, and the SVM calculation unit 110.
  • the storage capacity of the feature value storage unit 120 is a storage capacity capable of storing a necessary amount of data when the visual word calculation unit 350 performs processing for generating data of a set of visual words.
  • the image recognition device 30 includes the arbitration unit 340 that mediates the use of the feature value storage unit 120.
  • the feature value storage unit 120 includes the SVM calculation unit 110, the visual word calculation unit 350, and the histogram calculation unit 360. And share with each.
  • the feature value storage unit 120 stores the feature value for each teacher data calculated by the feature value calculation unit 111 without providing a dedicated storage unit (memory) such as SRAM as the feature value storage unit 120. Can do.
  • FIG. 7 is a diagram showing a data flow when image recognition processing is performed in the image recognition apparatus 30 according to the third embodiment of the present invention.
  • FIG. 7 shows the data flow of the SVM calculation process in the image recognition process performed by the image recognition apparatus 30, as in the data flow in the image recognition apparatus 10 of the first embodiment shown in FIG. 2. Yes. Therefore, the data flow shown in FIG. 7 is also executed based on the visual word by the visual word arithmetic processing performed by the visual word arithmetic unit 350 on the image input to the image recognition apparatus 30 and the histogram arithmetic unit 360.
  • the flow of data when the image recognition apparatus 30 performs the processing of the SVM calculation from the state where the calculation processing of the histogram to be completed is shown.
  • the data flow in the image recognition apparatus 30 shown in FIG. 7 includes the same data flow as the data flow in the image recognition apparatus 10 of the first embodiment shown in FIG.
  • the feature value calculation unit 111 provided in the SVM calculation unit 110 reads the recognition target data 950 from the data storage unit 90 (path C3-1). Further, the feature value calculation unit 111 sequentially reads all the teacher data included in the teacher data group 910 from the data storage unit 90 (path C1-2). Then, the feature value calculation unit 111 calculates a feature value based on each of the read recognition target data 950 and the teacher data, and sends each calculated feature value to the feature value storage unit 120 via the arbitration unit 340. Output and save once.
  • FIG. 7 shows a state in which each feature value 121 calculated by the feature value calculation unit 111 is stored in the feature value storage unit 120.
  • the cumulative addition unit 112 included in the SVM calculation unit 110 uses the same type of feature values 121 stored in the feature value storage unit 120 by the feature value calculation unit 111.
  • the feature value 121 corresponding to the teacher data classified as the comparison target is read out via the arbitration unit 340.
  • the cumulative addition unit 112 cumulatively adds each of the read feature values 121, and the feature value obtained by the cumulative addition is information indicating the degree of similarity with the type of comparison object represented by the read feature value 121 (for image recognition). As a result of processing) (path C3-3).
  • processing procedure of the SVM calculation process in the image recognition process performed by the image recognition device 30 is when the feature value is stored in the feature value storage unit 120 and when the feature value is read from the feature value storage unit 120.
  • the feature value calculation unit 111 corresponds to each teacher data in step S120 shown in FIG.
  • the feature value to be output is output to the feature value storage unit 120 via the arbitration unit 340 and stored.
  • the accumulating unit 112 converts the feature values corresponding to the teacher data classified into the same type of comparison object stored in the feature value storage unit 120 into the arbitration unit 340. Read through.
  • the processing procedure of the SVM calculation process performed by the image recognition apparatus 30 is performed by the image recognition apparatus 10 of the first embodiment, except that the path through which each feature value is transmitted is different between step S100 and step S200 described above. This is the same as the processing procedure of the SVM calculation process. That is, the SVM calculation process itself in the image recognition apparatus 30 is the same as that of the image recognition apparatus 10 of the first embodiment.
  • the image recognition process is performed on the information indicating the similarity for each type of the comparison object calculated by the SVM calculation, as in the image recognition apparatus 10 of the first embodiment. Can be output as information on the recognition object recognized (result of image recognition processing).
  • a visual word calculation unit (visual word calculation unit 350), a histogram calculation unit (histogram calculation unit 360), and an SVM calculation unit that perform calculation processing exclusively in image recognition processing.
  • An arbitration unit (arbitration unit 340) that mediates use of the data storage unit (feature value storage unit 120) by the (SVM calculation unit 110), and the arbitration unit 340 has assigned use of the feature value storage unit 120
  • An image recognition device (image recognition) that accesses the feature value storage unit 120 in response to access to the feature value storage unit 120 by any one of the calculation units (visual word calculation unit 350, histogram calculation unit 360, or SVM calculation unit 110) A device 30) is configured.
  • the feature value storage unit 120 includes the feature value storage unit 120 when the visual word calculation unit 350, the histogram calculation unit 360, and the SVM calculation unit 110 execute respective processes.
  • the image recognition apparatus 30 having a storage capacity capable of storing the maximum amount of data to be temporarily stored is configured.
  • the image recognition device 30 according to the third embodiment corresponds to all the teacher data included in the teacher data group 910 in the SVM calculation, like the image recognition device 10 according to the first embodiment.
  • a feature value storage unit 120 for storing feature values is provided.
  • all the teacher data included in the teacher data group 910 is supported in the SVM calculation in the image recognition process.
  • the feature values corresponding to the teacher data classified as the same type of comparison object are read out, cumulatively added, and the similarity for each type of comparison object Is output as information (result of image recognition processing).
  • the load for performing the image recognition processing is the image recognition for performing the conventional image recognition processing. It can be reduced more than the device. Note that, similarly to the image recognition device 10 of the first embodiment, the image recognition device 30 can reduce the load when performing image recognition processing in the image recognition device 30 of the third embodiment. This leads to higher efficiency of image recognition processing and higher processing speed in the image recognition system 3 equipped with the above.
  • the image recognition device 30 according to the third embodiment includes an arbitration unit 340, and the feature value storage unit 120 includes components in the image recognition device 30 (visual word calculation unit 350, histogram calculation unit 360, and SVM calculation). Part 110).
  • the storage unit (memory) used by the components other than the SVM calculation unit 110 is used when the SVM calculation unit 110 performs the processing of the SVM calculation.
  • the image recognition device 30 of the third embodiment does not include the feature value storage unit 120 as a dedicated storage unit (memory) used by the SVM calculation unit 110, and the image recognition device of the first embodiment. 10 can be obtained. Note that it is not necessary to include the dedicated feature value storage unit 120 used by the SVM calculation unit 110 in the image recognition device 30 of the third embodiment, which can suppress an increase in the circuit scale of the image recognition device 30. It also leads to that.
  • the image recognition device 30 according to the third embodiment may have a configuration in which the image recognition device 30 includes a DMA unit, similarly to the image recognition device 10 according to the first embodiment. Further, the image recognition device 30 of the third embodiment also has the same configuration as that of the image recognition device 10 of the first embodiment, depending on the number of types of comparison objects to be recognized and the configuration of the teacher data group 910. You may make it the structure which switches operation
  • the configuration in which the image recognition device 10 according to the first embodiment includes the arbitration unit 340 has been described.
  • the image recognition device 20 according to the second embodiment includes the arbitration unit.
  • a configuration including 340 may be adopted.
  • the above-described effects can be obtained by sharing the feature value storage unit 120 with other components.
  • the feature value storage unit for storing all feature values corresponding to all the teacher data used in the SVM calculation in the image recognition processing in the image recognition device.
  • each teacher data is accessed once, and all feature values corresponding to each teacher data are calculated and stored in the feature value storage unit. Save once.
  • the feature values corresponding to the teacher data classified into the same type of object are read out from the feature values stored in the feature value storage unit, cumulatively added, and each target This is output as information (result of image recognition processing) indicating the degree of similarity for each object type.
  • each embodiment of the present invention unlike the conventional image recognition apparatus, there is no redundant processing of accessing the same teacher data and calculating the same feature value, and the image recognition apparatus performs the SVM calculation.
  • the calculation load at the time of processing can be reduced.
  • the image recognition device includes a teacher data decompression unit for decompressing a reversibly compressed teacher data group.
  • the teacher data decompression unit decompresses the teacher data group that has been reversibly compressed prior to the SVM calculation. Thereafter, in each embodiment of the present invention, all the feature values corresponding to the respective teacher data decompressed by the teacher data decompression unit are calculated and temporarily stored in the feature value storage unit, and then classified into the same type of object. The feature values corresponding to the teacher data are cumulatively added, and output as information (result of image recognition processing) indicating the similarity for each type of object.
  • the teacher data used in the SVM calculation is in a reversibly compressed format, that is, regardless of the format of the teacher data, when the image recognition apparatus performs the SVM calculation process.
  • the calculation load can be reduced as compared with the conventional image recognition apparatus.
  • the image recognition apparatus includes an arbitration unit that arbitrates components that use the feature value storage unit.
  • the feature value storage unit is shared by a plurality of components that exclusively process in the image recognition apparatus.
  • an image recognition system provided with an image recognition device can efficiently perform image recognition processing and improve the image recognition processing speed.
  • the teacher data group 910 and the compressed teacher data group 911 include 1500 histograms corresponding to each of the four types of comparison objects, and are composed of 5000 teacher data.
  • the number of types of comparison objects represented by the teacher data group 910 and the compressed teacher data group 911 is not limited to the number described in each embodiment of the present invention.
  • the number of teacher data included in the teacher data group 910 and the compressed teacher data group 911 is not limited to the number described in each embodiment of the present invention.
  • the number of histograms corresponding to each comparison object represented by the teacher data group 910 and the compressed teacher data group 911 is 1500 histograms corresponding to a certain comparison object, and histograms corresponding to other comparison objects. It is conceivable that the number of comparison objects is not the same, such as 1200.
  • the same effect as the present invention can be obtained by applying the concept of the present invention and switching the operation according to the number of types of comparison objects to be recognized and the structure of the teacher data as described above.
  • the number of times of reading all the teacher data is compared, and the operation is switched so as to perform the image recognition processing with the smaller number of times of reading the teacher data. Accordingly, the number of types of comparison objects represented by the teacher data group 910 and the compressed teacher data group 911 and the number of teacher data included in the teacher data group 910 and the compressed teacher data group 911 are described in each embodiment of the present invention. Even when different from the above example, the same effect as the present invention can be obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

 入力された画像に対するサポートベクタマシン(SVM)演算を行うSVM演算部と、画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部とを備え、SVM演算部は、入力された画像に写されている対象物である認識対象物と認識する対象物である比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出部と、教師データ群において同じ種類の比較対象物に分類された教師データに対応する特徴値を累積加算する累積加算部とを具備し、SVM演算の処理において、特徴値算出部は、全ての教師データに対応する特徴値を算出してデータ保存部に保存させ、累積加算部は、同じ種類の比較対象物の特徴値を累積加算して、画像認識の処理において認識対象物を認識した結果として出力する。

Description

画像認識装置および画像認識方法
 本発明は、画像認識装置および画像認識方法に関する。
 本願は、2015年06月22日に、日本に出願された特願2015-124786号に基づき優先権を主張し、その内容をここに援用する。
 従来から、画像に写されている物体、つまり、被写体(対象物)や、画像が撮影されたシーンを認識する画像認識の技術がある(非特許文献1参照)。従来の画像認識の技術では、以下のような処理手順によって画像が写されたシーンを認識する。
(手順1):入力された画像における代表的な局所パターン(ビジュアルワード)の集合を生成する。
(手順2):ビジュアルワードに基づいて、入力された画像全体のヒストグラム(認識対象データ)を生成する。
(手順3):認識対象データと大量の教師データのそれぞれとを比較して、入力された画像のシーンを認識する。
 ここで、教師データとは、大量の画像を対象物の種類ごとに分類してまとめたヒストグラムである。従来の画像認識の技術では、上述した手順3の処理において、例えば、SVM(Support vector machine:サポートベクタマシン)演算などを行って、入力された画像に写っている対象物とそれぞれの教師データが表す対象物とがどれくらい類似しているかを表す特徴値を、それぞれの教師データごとに算出する。そして、最も特徴値が大きい教師データが表している対象物を、入力された画像に写っている対象物、または最も特徴値が大きい対象物が写っているシーンであると認識する。
 ここで、SVM演算では、以下のような手順によって、それぞれの教師データごとに特徴値を算出している。
(手順3-1):大量の教師データの中から1つの教師データを読み込む。
(手順3-2):読み込んだ教師データと認識対象データとを比較して特徴値(カーネル)を算出する。
(手順3-3):算出した特徴値を累積加算する。
(手順3-4):累積加算したそれぞれの特徴値を、入力された画像に写っている対象物とそれぞれの教師データが表す対象物とが類似している度合いを表す類似度として出力する。
 なお、従来の画像認識の技術では、1つの対象物に対する類似度を出力するために、例えば、5000個の教師データの中から、同じ種類の対象物に分類された1500個の教師データを読み込み、1500個の特徴値を累積加算して類似度として出力している。つまり、従来の画像認識の技術では、上述した手順3-1~手順3-3までの処理手順を1500回繰り返すことによって、入力された画像に含まれる1つの対象物に対する類似度を、教師データにおいて分類された対象物ごとに出力している。
 また、従来の画像認識の技術では、入力された画像に含まれる認識対象の対象物の数、すなわち、シーンの数だけ、類似度を出力する。つまり、従来の画像認識の技術では、上述した手順3-1~手順3-4までの処理手順をシーンの数だけ繰り返すことによって、認識対象のそれぞれの対象物ごとの類似度を出力している。
柳井啓司, "Bag-of-Keypointsによるカテゴリー認識", 第14回 画像センシングシンポジウム(SSII2008), 2008年6月13日
 しかしながら、従来の画像認識の技術では、上述したように、1つの対象物に対する類似度を出力するために、多数(例えば、1500個)の教師データの読み込みを行っている。そして、従来の画像認識の技術では、引き続き同じ画像に含まれる他の対象物に対する類似度を出力する際に、前回の類似度を出力するために教師データを読み込んで算出した特徴値を破棄して、別の種類の対象物に分類された多数の教師データの読み込みを再度行っている。このため、従来の画像認識の技術では、入力された画像に認識対象の対象物が複数含まれている場合には、対象物の数(シーン数)×多数の教師データの読み込みと特徴値の算出とが行われる。
 ところが、教師データにおいては、同じヒストグラムが、異なる複数種類の対象物に分類されている。つまり、異なる対象物で教師データが重複している場合がある。このため、従来の画像認識装置では、異なる対象物に対応した類似度を出力する場合において、同じ教師データの読み込みや、同じ教師データを用いて同じ特徴値を算出する演算を複数回行っている。この従来の画像認識装置における同じ教師データの読み込みや同じ特徴値の算出の繰り返し、つまり、重複した処理は、画像認識装置において画像認識の処理を行う際の負荷を増大させる要因となる。
 本発明は、上記の課題認識に基づいてなされたものであり、画像認識の処理を行う際の負荷を軽減することができる画像認識装置および画像認識方法を提供することを目的としている。
 本発明の第1の態様によれば、画像認識装置は、入力された画像に対する画像認識の処理を、認識する対象物である比較対象物の画像のヒストグラムである教師データを前記比較対象物の種類ごとに分類して複数含んだ教師データ群に基づいて行う画像認識装置であって、前記画像のビジュアルワードに基づいて生成されたヒストグラムに対するサポートベクタマシン(SVM)演算を、前記教師データ群に含まれる複数の前記教師データのそれぞれに基づいて行うSVM演算部と、前記画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部と、を備え、前記SVM演算部は、入力された前記画像のヒストグラムと、前記教師データが表す前記比較対象物のヒストグラムとを比較し、入力された前記画像に写されている対象物である認識対象物と前記比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出部と、同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を累積加算する累積加算部と、を具備し、前記SVM演算の処理において、前記特徴値算出部は、前記教師データ群に含まれる全ての前記教師データに対応する前記特徴値を、それぞれの前記教師データごとに算出し、算出した全ての前記特徴値を前記データ保存部に保存させ、前記累積加算部は、前記特徴値算出部が全ての前記特徴値を前記データ保存部に保存させた後に、保存された全ての前記特徴値の中から、同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を読み出して累積加算し、累積加算した前記特徴値を、前記画像認識の処理において前記認識対象物を認識した結果として出力する。
 本発明の第2の態様によれば、上記第1の態様の画像認識装置において、前記特徴値算出部は、前記教師データ群に含まれる前記教師データの数が、前記画像認識の処理において前記認識対象物を認識した全ての結果を出力するまでに前記累積加算部が前記データ保存部に保存された前記特徴値を読み出して累積加算する回数よりも少ない場合に、前記教師データ群に含まれる全ての前記教師データに対応する全ての前記特徴値を算出して前記データ保存部に保存させてもよい。
 本発明の第3の態様によれば、上記第2の態様の画像認識装置において、全ての前記教師データを1つにまとめた状態で可逆圧縮した形式で入力された前記教師データ群を解凍してそれぞれの前記教師データに復元する教師データ解凍部、をさらに備え、前記SVM演算の処理において、前記教師データ解凍部は、前記教師データ群を解凍してそれぞれの前記教師データに復元し、前記特徴値算出部は、前記教師データ解凍部によって復元されたそれぞれの前記教師データに対応する全ての前記特徴値を算出して前記データ保存部に保存させてもよい。
 本発明の第4の態様によれば、上記第2の態様または上記第3の態様の画像認識装置において、前記画像認識の処理において排他的に演算の処理を行う、ビジュアルワード演算部と、ヒストグラム演算部と、前記SVM演算部とによる前記データ保存部の利用を調停する調停部、をさらに備え、前記調停部は、前記データ保存部の利用を割り当てたいずれか1つの演算部による前記データ保存部へのアクセスに応じて前記データ保存部にアクセスしてもよい。
 本発明の第5の態様によれば、上記第4の態様の画像認識装置において、前記データ保存部は、前記ビジュアルワード演算部と、前記ヒストグラム演算部と、前記SVM演算部とがそれぞれの処理を実行する際に前記データ保存部に一時的に保存する最大の量のデータを記憶することができる記憶容量を有してもよい。
 本発明の第6の態様によれば、画像認識方法は、入力された画像に対する画像認識の処理を、認識する対象物である比較対象物の画像のヒストグラムである教師データを前記比較対象物の種類ごとに分類して複数含んだ教師データ群に基づいて行う画像認識装置における画像認識方法であって、前記画像のビジュアルワードに基づいて生成されたヒストグラムに対するサポートベクタマシン(SVM)演算を、前記教師データ群に含まれる複数の前記教師データのそれぞれに基づいて行うSVM演算ステップ、を含み、前記SVM演算ステップは、入力された前記画像のヒストグラムと、前記教師データが表す前記比較対象物のヒストグラムとを比較し、入力された前記画像に写されている対象物である認識対象物と前記比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出ステップと、同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を累積加算する累積加算ステップと、を含み、前記特徴値算出ステップにおいて、前記教師データ群に含まれる全ての前記教師データに対応する前記特徴値が、それぞれの前記教師データごとに算出され、算出した全ての前記特徴値が、前記画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部に保存され、前記累積加算ステップにおいて、前記特徴値算出ステップにおいて全ての前記特徴値が前記データ保存部に保存された後に、保存された全ての前記特徴値の中から、同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値が読み出されて累積加算され、累積加算された前記特徴値が、前記画像認識の処理において前記認識対象物を認識した結果として出力される。
 上記各態様によれば、画像認識の処理を行う際の負荷を軽減することができるという効果が得られる。
本発明の第1の実施形態における画像認識装置の概略構成を示したブロック図である。 本発明の第1の実施形態の画像認識装置において画像認識の処理を行う際のデータの流れを示した図である。 本発明の第1の実施形態の画像認識装置における画像認識の処理の処理手順を示したフローチャートである。 本発明の第2の実施形態における画像認識装置の概略構成を示したブロック図である。 本発明の第2の実施形態の画像認識装置において画像認識の処理を行う際のデータの流れを示した図である。 本発明の第3の実施形態における画像認識装置の概略構成を示したブロック図である。 本発明の第3の実施形態の画像認識装置において画像認識の処理を行う際のデータの流れを示した図である。
(第1の実施形態)
 以下、本発明の実施形態について、図面を参照して説明する。図1は、本発明の第1の実施形態における画像認識装置の概略構成を示したブロック図である。図1において、画像認識装置10は、SVM(Support vector machine:サポートベクタマシン)演算部110と特徴値保存部120とを備えている。SVM演算部110は、特徴値算出部111と累積加算部112とを備えている。なお、図1は、画像認識装置10が画像認識の処理を行う際に用いるデータを保存するデータ保存部90を併せて示し、画像認識装置10を備えた画像認識システム1として示している。
 画像認識装置10は、入力された画像に対して、画像に写っている物体、つまり、被写体(対象物)や画像が撮影されたシーンを認識する画像認識の処理を行い、様々な対象物の種類(カテゴリー)ごとに分類されたそれぞれの教師データとの類似度の情報を、画像認識の処理によって認識した被写体(対象物)が分類された対象物と類似している度合いを表す情報として出力する。なお、画像認識装置10においても、画像認識の処理において、入力された画像における代表的な局所パターン(ビジュアルワード)の集合を生成するビジュアルワードの演算処理や、ビジュアルワードに基づいて入力された画像全体のヒストグラムを生成する演算処理など、従来の画像認識の技術と同様のそれぞれの処理を行う。以下の説明においては、入力された画像に対するビジュアルワードの演算処理や、ヒストグラムの演算処理が終了しているものとして説明する。
 データ保存部90は、画像認識装置10が画像認識の処理を行う際に用いる教師データ群910と、画像認識装置10が画像認識の処理を行う対象の画像のヒストグラムである認識対象データ950とを保存している。データ保存部90は、例えば、DRAM(Dynamic Random Access Memory)などのメモリである。データ保存部90は、画像認識装置10からのデータの読み出し制御に応じて、保存している教師データ群910や認識対象データ950を、画像認識装置10に出力する。なお、本発明においては、データ保存部90にそれぞれのデータを保存する方法、つまり、データの書き込み制御に関しては、特に制限はしない。
 教師データ群910には、同じ対象物(以下、「比較対象物」という)が写っている大量の画像のヒストグラムが、画像認識装置10において認識する比較対象物の種類ごとに分類されたそれぞれの教師データとして含まれている。ただし、それぞれのヒストグラムは、比較対象物の種類ごとに排他的ではなく、同じヒストグラムが異なる比較対象物の種類に対応している(重複している)ものもある。つまり、1つの教師データが、複数の比較対象物の種類に分類されていることもある。従って、教師データ群910に含まれる教師データの数は、それぞれの比較対象物の種類に対応するヒストグラムの数の合計数よりも少ない。
 例えば、教師データ群910が、人、犬、猫、花などの4種類の比較対象物の教師データを含んでいる場合、それぞれの比較対象物の種類ごとに、所定数、例えば、1500個のヒストグラムが含まれている。つまり、教師データ群910には、比較対象物が「人」である1つの比較対象物に対して1500個のヒストグラムを含み、同様に、比較対象物が「犬」、「猫」、「花」であるそれぞれの比較対象物に対しても、それぞれ1500個のヒストグラムを含んでいる。すなわち、教師データ群910は、4種類のそれぞれの比較対象物に対応した所定数ずつのヒストグラム(合計で4×1500=6000個のヒストグラム)を含んでいる。しかし、教師データ群910に含まれるそれぞれの比較対象物に分類されたヒストグラムは、複数の比較対象物で重複しているヒストグラムを含んでいるため、例えば、5000個の教師データから構成されている。
 以下の説明においては、教師データ群910には4種類の比較対象物のそれぞれに分類される1500個ずつ(合計6000個)のヒストグラムが含まれているが、教師データ群910を構成する教師データの数は5000個であるものとして説明する。つまり、以下の説明においては、教師データ群910が表す6000個のヒストグラムの内、1000個のヒストグラムが複数の比較対象物の種類に対応している(重複している)ものとして説明する。
 認識対象データ950は、例えば、画像認識システム1を搭載した撮影システムによって撮影された画像に写っている認識対象の対象物(以下、「認識対象物」という)や画像が撮影されたシーンを表す、画像全体のヒストグラムのデータである。つまり、認識対象データ950は、画像認識装置10において画像認識の処理を行う認識対象物の特徴がヒストグラムで表されたデータである。認識対象データ950は、例えば、画像認識装置10におけるビジュアルワードの演算処理およびヒストグラムの演算処理によって生成される。
 画像認識装置10は、データ保存部90に保存された教師データ群910に含まれるそれぞれの教師データに基づいて、データ保存部90に保存された認識対象データ950に対して画像認識の処理を行い、それぞれの教師データとの類似度の情報を、教師データごとに出力する。
 SVM演算部110は、画像認識の処理において、認識対象データ950が表す画像全体のヒストグラムと、教師データ群910に含まれるそれぞれの教師データが表す比較対象物のヒストグラムとを比較するSVM演算を行い、教師データ群910において分類された比較対象物の種類ごとに類似度を算出する。そして、SVM演算部110は、認識対象データ950の全体に対する類似度の算出が完了したとき、すなわち、SVM演算が完了したとき、SVM演算によって算出したそれぞれの比較対象物の種類ごとの類似度を表す情報を、画像認識装置10が画像認識の処理を行って認識した認識対象物の情報として出力する。
 特徴値算出部111は、データ保存部90から読み出したそれぞれの教師データが表すヒストグラムと、認識対象データ950が表すヒストグラムとを比較し、それぞれの教師データごとに、認識対象データ950含まれる認識対象物と教師データが表す比較対象物とがどれくらい類似しているかを表す特徴値(カーネル)を算出する。特徴値算出部111は、それぞれの教師データごとに算出した特徴値のそれぞれを、特徴値保存部120に出力する。このとき、特徴値算出部111は、教師データ群910に含まれる教師データが表すヒストグラムのそれぞれと、認識対象データ950が表すヒストグラムとを比較して、全ての教師データに対応する特徴値を算出し、算出した全ての特徴値を特徴値保存部120に出力する。つまり、特徴値算出部111は、教師データ群910に含まれる5000個の教師データに対応する5000個の特徴値を算出して特徴値保存部120に出力する。なお、特徴値算出部111における特徴値の算出方法は、従来の画像認識の技術における特徴値の算出方法と同様であるため、詳細な説明は省略する。
 累積加算部112は、特徴値保存部120に保存されたそれぞれの教師データごとの特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出し、読み出したそれぞれの特徴値を累積加算する。つまり、累積加算部112は、特徴値保存部120に保存された全ての教師データに対応する特徴値の中から、同じ種類の比較対象物に分類された1500個の特徴値を特徴値保存部120から読み出して累積加算する。そして、累積加算部112は、累積加算した特徴値を、分類された比較対象物と認識対象データ950に含まれる認識対象物との類似度の情報として出力する。すなわち、累積加算部112は、累積加算した特徴値を、画像認識の処理の結果として出力する。なお、累積加算部112における特徴値の累積加算の方法は、従来の画像認識の技術における特徴値の累積加算の方法と同様であるため、詳細な説明は省略する。
 特徴値保存部120は、SVM演算部110内の特徴値算出部111が算出したそれぞれの教師データごとの特徴値を一時的に保存する。特徴値保存部120は、例えば、SRAM(Static Random Access Memory)などのメモリである。特徴値保存部120は、特徴値算出部111からのデータの書き込み制御に応じて、特徴値算出部111から出力された5000個の特徴値のそれぞれを保存する。また、特徴値保存部120は、SVM演算部110内の累積加算部112からのデータの読み出し制御に応じて、保存している1500個の特徴値を、累積加算部112に出力する。
 このように、画像認識装置10は、それぞれの教師データに対応する特徴値を保存する特徴値保存部120を備える。そして、画像認識装置10は、画像認識の処理におけるSVM演算において、教師データ群910に含まれる全ての教師データに対応する特徴値を算出して特徴値保存部120に保存した後に、特徴値保存部120に保存した特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算して、それぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。
 ここで、画像認識装置10が画像認識の処理を行う際のデータの流れについて説明する。図2は、本発明の第1の実施形態の画像認識装置10において画像認識の処理を行う際のデータの流れを示した図である。図2には、画像認識装置10が行う画像認識の処理におけるSVM演算の処理のデータの流れを示している。つまり、図2に示したデータの流れは、画像認識装置10に入力された画像に対するビジュアルワードの演算処理、およびヒストグラムの演算処理が終了している状態から画像認識装置10がSVM演算の処理を行う際のデータの流れを示している。
 画像認識装置10におけるSVM演算の処理では、SVM演算部110に備えた特徴値算出部111が、データ保存部90から認識対象データ950を読み出す(経路C1-1)。さらに、特徴値算出部111は、データ保存部90から教師データ群910に含まれる全ての教師データを順次読み出す(経路C1-2)。そして、特徴値算出部111は、読み出した認識対象データ950と教師データとのそれぞれに基づいて特徴値を算出し、算出した特徴値のそれぞれを、特徴値保存部120に一旦保存する。図2には、特徴値算出部111が算出したそれぞれの特徴値121を、特徴値保存部120に保存している状態を示している。
 その後、画像認識装置10におけるSVM演算の処理では、SVM演算部110に備えた累積加算部112が、特徴値算出部111が特徴値保存部120に保存した特徴値121の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値121を読み出して累積加算し、累積加算した特徴値を、読み出した特徴値121が表す種類の比較対象物との類似度を表す情報(画像認識の処理の結果)として出力する(経路C1-3)。
 次に、画像認識装置10が画像認識の処理を行う際の動作について説明する。図3は、本発明の第1の実施形態の画像認識装置10における画像認識の処理の処理手順を示したフローチャートである。なお、図3には、画像認識装置10が行う画像認識の処理におけるSVM演算の処理の処理手順を示している。つまり、図3に示した処理手順は、画像認識装置10に入力された画像に対するビジュアルワードの演算処理、およびヒストグラムの演算処理が終了している状態から画像認識装置10がSVM演算の処理を行う際の処理手順を示している。
 なお、以下の説明においては、教師データ群910に4種類の比較対象物のそれぞれに対応する1500個ずつ(合計6000個)のヒストグラムが含まれており、教師データ群910が5000個の教師データで構成されている(1000個のヒストグラムが重複している)ものとして説明する。
 画像認識装置10(SVM演算部110)がSVM演算の処理を開始すると、SVM演算部110に備えた特徴値算出部111は、まず、データ保存部90から認識対象データ950を読み出す(図2の経路C1-1参照)。
 そして、画像認識装置10(SVM演算部110)は、ステップS100から、それぞれの教師データに対してSVM演算を行う。SVM演算では、まず、ステップS100において、特徴値算出部111は、データ保存部90に保存された教師データ群910に含まれる1個の教師データ(1つ目の教師データ)の読み出しを行う(図2の経路C1-2参照)。
 続いて、ステップS110において、特徴値算出部111は、読み出した1つ目の教師データが表すヒストグラムと、認識対象データ950が表すヒストグラムとを比較して特徴値を算出する。そして、ステップS120において、特徴値算出部111は、算出した1つ目の教師データに対応する特徴値を、特徴値保存部120に出力して保存させる。これにより、図2に示した1つ目の教師データに対応する特徴値121が、特徴値保存部120に保存される。
 続いて、ステップS130において、特徴値算出部111は、データ保存部90に保存された教師データ群910に含まれる全ての教師データに対応するそれぞれの特徴値を、特徴値保存部120に保存が終了したか否か、つまり、全ての教師データの読み出しと特徴値の算出とが終了したか否かを判定する。
 ステップS130における判定の結果、全ての教師データに対応するそれぞれの特徴値、つまり、全ての特徴値の特徴値保存部120への保存が終了していない場合(ステップS130の“NO”)、特徴値算出部111は、ステップS100に戻って、教師データ群910に含まれる次の1個の教師データ(2つ目の教師データ)の読み出しを行う(図2の経路C1-2参照)。そして、特徴値算出部111は、ステップS110~ステップS130の処理を、全ての特徴値の特徴値保存部120への保存が終了するまで繰り返す。教師データ群910は、5000個の教師データで構成されているため、特徴値算出部111は、ステップS100~ステップS130の処理を、5000回繰り返す。
 ステップS130における判定の結果、全ての特徴値の特徴値保存部120への保存が終了した場合(ステップS130の“YES”)、特徴値算出部111は、ステップS200に進む。
 続いて、ステップS200において、SVM演算部110に備えた累積加算部112は、特徴値保存部120に保存された同じ種類の比較対象物に分類された教師データに対応する1個の特徴値(1つ目の特徴値)の読み出しを行う(図2の経路C1-3参照)。
 続いて、ステップS210において、累積加算部112は、読み出した1つ目の特徴値を累積加算する。そして、ステップS220において、累積加算部112は、特徴値保存部120に保存された同じ種類の比較対象物に分類された教師データに対応する全ての特徴値の累積加算が終了したか否か、つまり、同じ種類の比較対象物の全ての特徴値の読み出しと特徴値の累積加算とが終了したか否かを判定する。
 ステップS220における判定の結果、同じ種類の比較対象物に分類された教師データに対応する全ての特徴値の累積加算が終了していない、つまり、今回出力する比較対象物との類似度の最終的な結果が得られていない場合(ステップS220の“NO”)、累積加算部112は、ステップS200に戻って、特徴値保存部120に保存された同じ種類の比較対象物に分類された教師データに対応する次の1個の特徴値(2つ目の特徴値)の読み出しを行う(図2の経路C1-3参照)。そして、累積加算部112は、ステップS210~ステップS220の処理を、全ての特徴値の累積加算が終了するまで繰り返す。教師データ群910は、1種類の比較対象物に対応する1500個のヒストグラムが含まれているため、累積加算部112は、ステップS200~ステップS220の処理を、1500回繰り返す。
 ステップS220における判定の結果、同じ種類の比較対象物に分類された教師データに対応する全ての特徴値の累積加算が終了した、つまり、今回出力する比較対象物との類似度の最終的な結果が得られた場合(ステップS220の“YES”)、累積加算部112は、ステップS300に進む。
 続いて、ステップS300において、累積加算部112は、ステップS220~ステップS220の処理で得られた累積加算した特徴値、つまり、今回出力する同じ種類に分類された比較対象物と認識対象データ950に含まれる認識対象物との類似度の情報(画像認識の処理の結果)を出力する。
 そして、ステップS310において、累積加算部112は、教師データ群910において分類された全ての種類の比較対象物の教師データに対応する全ての特徴値の累積加算が終了したか否か、つまり、全ての種類の比較対象物に対する画像認識が終了したか否かを判定する。
 ステップS310における判定の結果、全ての種類の比較対象物の教師データに対応する全ての特徴値の累積加算が終了していない、つまり、教師データ群910において分類された全ての比較対象物との類似度の情報の出力が終了していない場合(ステップS310の“NO”)、累積加算部112は、ステップS200に戻る。そして、累積加算部112は、ステップS200~ステップS310の処理、つまり、今回出力していない他の比較対象物との類似度の情報の算出と出力とを、全ての種類の比較対象物との類似度の情報の出力が終了するまで繰り返す。教師データ群910は、4種類の比較対象物のそれぞれに対応する教師データで構成されているため、累積加算部112は、ステップS200~ステップS310の処理を、4回繰り返す。
 ステップS310における判定の結果、教師データ群910において分類された全ての比較対象物との類似度の情報の出力が終了した場合(ステップS310の“YES”)、画像認識装置10(SVM演算部110)は、それぞれの教師データに対するSVM演算の処理を完了する。
 上述した処理によって、画像認識装置10では、画像認識の処理におけるSVM演算において、まず、データ保存部90に保存されている教師データ群910に含まれるそれぞれの教師データを1回ずつ読み出して、全ての教師データに対応する特徴値を算出して特徴値保存部120に一旦保存する。その後、画像認識装置10では、特徴値保存部120に保存した特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算した特徴値を、それぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。これにより、画像認識装置10では、従来の画像認識の処理におけるSVM演算のように、複数種類の比較対象物に分類されている同じ教師データ(重複している教師データ)を、それぞれの種類の比較対象物との類似度を出力するごとに複数回読み出すことなく、SVM演算によって算出したそれぞれの比較対象物の種類ごとの類似度を表す情報を、画像認識の処理を行って認識した認識対象物の情報として出力することができる。
 このことにより、画像認識装置10では、SVM演算の処理を行う際にデータ保存部90から教師データを読み出す回数、つまり、画像認識装置10におけるデータ保存部90へのアクセス回数を、従来の画像認識の処理においてSVM演算の処理を行う際に教師データを読み出す回数よりも少なくすることができる。しかも、画像認識装置10では、それぞれの教師データに対応する特徴値を特徴値保存部120に一旦保存するため、読み出したそれぞれの教師データに対応する特徴値を算出する演算も1回ずつ行うのみであり、従来の画像認識の処理におけるSVM演算のように、重複して読み出した同じ教師データから同じ特徴値を算出する演算を複数回行うことなく、SVM演算の処理を行う際の演算負荷も軽減することができる。
 より具体的には、従来の画像認識の処理におけるSVM演算では、4種類に分類されたそれぞれの比較対象物ごとに1500個ずつの教師データをデータ保存部90から読み出す、つまり、データ保存部90へのアクセス回数が4種類×1500個=6000回である。そして、従来の画像認識の処理におけるSVM演算では、それぞれの教師データに対応する特徴値を算出する演算を6000回行う。これに対して画像認識装置10では、ステップS100~ステップS130の処理を、教師データ群910に含まれる教師データの個数(5000個)と同じ回数だけ繰り返す、つまり、データ保存部90へのアクセス回数は5000回である。そして、画像認識装置10では、それぞれの教師データに対応する特徴値を算出する演算の回数も5000回である。
 第1の実施形態によれば、入力された画像に対する画像認識の処理を、認識する対象物である比較対象物の画像のヒストグラムである教師データを比較対象物の種類ごとに分類して複数含んだ教師データ群(教師データ群910)に基づいて行う画像認識装置(画像認識装置10)であって、画像のビジュアルワードに基づいて生成されたヒストグラム(認識対象データ950)に対するサポートベクタマシン(SVM)演算を、教師データ群910に含まれる複数の教師データのそれぞれに基づいて行うSVM演算部(SVM演算部110)と、画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部(特徴値保存部120)と、を備え、SVM演算部110は、入力された画像のヒストグラム(認識対象データ950)と、教師データが表す比較対象物のヒストグラムとを比較し、入力された画像に写されている対象物である認識対象物と比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出部(特徴値算出部111)と、同じ種類の比較対象物に分類された教師データに対応する特徴値を累積加算する累積加算部(累積加算部112)と、を具備し、SVM演算の処理において、特徴値算出部111は、教師データ群910に含まれる全ての教師データに対応する特徴値を、それぞれの教師データごとに算出し、算出した全ての特徴値を特徴値保存部120に保存させ、累積加算部112は、特徴値算出部111が全ての特徴値を特徴値保存部120に保存させた後に、保存された全ての特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算し、累積加算した特徴値を、画像認識の処理において認識対象物を認識した結果として出力する画像認識装置(画像認識装置10)が構成される。
 また、第1の実施形態によれば、特徴値算出部111は、教師データ群910に含まれる教師データの数が、画像認識の処理において認識対象物を認識した全ての結果を出力するまでに累積加算部112が特徴値保存部120に保存された特徴値を読み出して累積加算する回数よりも少ない場合に、教師データ群910に含まれる全ての教師データに対応する全ての特徴値を算出して特徴値保存部120に保存させる画像認識装置10が構成される。
 また、第1の実施形態によれば、入力された画像に対する画像認識の処理を、認識する対象物である比較対象物の画像のヒストグラムである教師データを比較対象物の種類ごとに分類して複数含んだ教師データ群(教師データ群910)に基づいて行う画像認識装置(画像認識装置10)における画像認識方法であって、画像のビジュアルワードに基づいて生成されたヒストグラム(認識対象データ950)に対するサポートベクタマシン(SVM)演算を、教師データ群910に含まれる複数の教師データのそれぞれに基づいて行うSVM演算ステップ、を含み、SVM演算ステップは、入力された画像のヒストグラム(認識対象データ950)と、教師データが表す比較対象物のヒストグラムとを比較し、入力された画像に写されている対象物である認識対象物と比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出ステップと、同じ種類の比較対象物に分類された教師データに対応する特徴値を累積加算する累積加算ステップと、を含み、特徴値算出ステップにおいて、教師データ群910に含まれる全ての教師データに対応する特徴値が、それぞれの教師データごとに算出され、算出した全ての特徴値が、画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部(特徴値保存部120)に保存され、累積加算ステップにおいて、特徴値算出ステップにおいて全ての特徴値が特徴値保存部120に保存された後に、保存された全ての特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値が読み出されて累積加算され、累積加算された特徴値が、画像認識の処理において認識対象物を認識した結果として出力される画像認識方法が構成される。
 上記に述べたように、第1の実施形態の画像認識装置10は、データ保存部90に保存されている教師データ群910に含まれる全ての教師データに対応する特徴値を保存するための特徴値保存部120を備える。そして、第1の実施形態の画像認識装置10は、画像認識の処理におけるSVM演算において、教師データ群910に含まれるそれぞれの教師データを1回ずつ読み出して算出した全ての教師データに対応する特徴値を特徴値保存部120に一旦保存する。その後、第1の実施形態の画像認識装置10は、特徴値保存部120に保存した特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算し、累積加算した特徴値を、SVM演算によって算出したそれぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。つまり、第1の実施形態の画像認識装置10では、データ保存部90に保存されている教師データ群910に含まれるそれぞれの教師データを1回ずつ読み出すのみで、それぞれの比較対象物の種類ごとの類似度を表す情報を出力する。
 これにより、第1の実施形態の画像認識装置10では、従来の画像認識の処理を行う画像認識装置のように、同じ教師データの読み込みや同じ特徴値の算出を複数回繰り返すことなく、それぞれの比較対象物の種類ごとの類似度を表す情報を、画像認識の処理を行って認識した認識対象物の情報(画像認識の処理の結果)として出力することができる。つまり、第1の実施形態の画像認識装置10では、SVM演算の処理を行う際にデータ保存部90から教師データを読み出す回数(データ保存部90へのアクセス回数)や、それぞれの教師データに対応する特徴値を算出する演算回数を、従来の画像認識の処理を行う画像認識装置よりも少なくすることができる。このことにより、第1の実施形態の画像認識装置10では、画像認識の処理を行う際の負荷を、従来の画像認識の処理を行う画像認識装置よりも軽減することができる。なお、第1の実施形態の画像認識装置10において画像認識の処理を行う際の負荷を軽減することができるということは、画像認識装置10を備えた画像認識システム1における画像認識の処理の高効率化や処理速度の向上にもつながる。
 なお、第1の実施形態の画像認識装置10では、SVM演算部110に備えた特徴値算出部111が、データ保存部90から認識対象データ950や教師データ群910に含まれるそれぞれの教師データを読み出す構成について説明した。しかし、データ保存部90から認識対象データ950や教師データを読み出す構成や方法は、第1の実施形態に示した構成や方法に限定されるものではない。例えば、画像認識装置10に、データ保存部90との間でのデータの受け渡しをDMA(Direct Memory Access)によって行うDMA部を備え、このDMA部が、特徴値算出部111からの要求に応じて、DMAによってデータ保存部90から取得した認識対象データ950やそれぞれの教師データを特徴値算出部111に伝送する構成であってもよい。
 また、第1の実施形態の画像認識装置10では、4種類に分類されたそれぞれの比較対象物ごとに1500個ずつのヒストグラムが含まれている5000個の教師データで構成された教師データ群910を用いて画像認識の処理を行う場合の動作の一例を説明した。そして、第1の実施形態の画像認識装置10では、従来の画像認識の処理において6000回行う教師データの読み出しを、教師データ群910に含まれる教師データの個数と同じ回数だけ行うことによって、教師データの読み出し回数と特徴値を算出する演算の回数を低減することができるという効果を説明した。しかし、教師データ群910において分類される比較対象物の種類数や、教師データ群910を構成する教師データの数は、第1の実施形態において示した数に限定されるものではない。このため、画像認識装置10において認識する比較対象物の種類数や、教師データ群910の構成によっては、第1の実施形態の画像認識装置10における教師データの読み出し回数が、従来の画像認識の処理を行う画像認識装置と同じまたは多くなってしまうことも考えられる。
 例えば、教師データ群910が、第1の実施形態で説明した構成であっても、画像認識装置10が3種類の比較対象物のみを認識する場合には、従来の画像認識の処理を行う画像認識装置による教師データの読み出し回数が4500回であるのに対して、第1の実施形態の画像認識装置10による教師データの読み出し回数は5000回になってしまう。また、例えば、教師データ群910含まれる全てのヒストグラムが、比較対象物の種類ごとに排他的である場合には、従来の画像認識の処理を行う画像認識装置による教師データの読み出し回数と、第1の実施形態の画像認識装置10による教師データの読み出し回数とは同じ回数になってしまう。このため、第1の実施形態の画像認識装置10においても、認識する比較対象物の種類数や教師データ群910の構成によっては、従来の画像認識の処理を行う画像認識装置と同様の動作をするようにしてもよい。つまり、第1の実施形態の画像認識装置10の動作を、認識する比較対象物の種類数や教師データ群910の構成に応じて、図3のフローチャートを用いて説明した動作、または従来の画像認識装置と同様の動作に切り替える構成にしてもよい。
 より具体的には、第1の実施形態の画像認識装置10において、認識する比較対象物の種類数と、それぞれの比較対象物に対応するヒストグラムの数とを乗算した数、すなわち、認識するそれぞれの比較対象物に対応するヒストグラムの数を合計した数と、教師データ群910を構成する教師データの数とを比較する。なお、認識するそれぞれの比較対象物に対応するヒストグラムの数を合計した数は、従来の画像認識の処理を行う画像認識装置において教師データを読み出す回数である。そして、従来の画像認識の処理を行う画像認識装置において教師データを読み出す回数が、教師データ群910を構成する教師データの数以下である場合には、従来の画像認識装置と同様の動作を行うようにする。一方、従来の画像認識の処理を行う画像認識装置において教師データを読み出す回数が、教師データ群910を構成する教師データの数よりも多い場合には、図3のフローチャートを用いて説明した第1の実施形態の画像認識装置10の動作を行うようにする。
 なお、従来の画像認識の処理を行う画像認識装置において教師データを読み出す回数は、認識する全ての種類の比較対象物との類似度の情報の出力が終了するまで、つまり、画像認識の処理におけるSVM演算の処理が終了するまでに、累積加算部112が特徴値保存部120に保存された特徴値を読み出して累積加算する回数に相当する。従って、累積加算部112が特徴値を読み出して累積加算する回数に基づいて、第1の実施形態の画像認識装置10の動作を切り替える構成にしてもよい。つまり、教師データ群910を構成する教師データの数が、累積加算部112が特徴値を読み出して累積加算する回数以上である場合に、従来の画像認識装置と同様の動作を行い、累積加算部112が特徴値を読み出して累積加算する回数よりも少ない場合に、図3のフローチャートを用いて説明した第1の実施形態の画像認識装置10の動作を行うように切り替える構成にしてもよい。
 なお、第1の実施形態の画像認識装置10では、認識する比較対象物の種類ごとに分類された大量の画像のヒストグラムのそれぞれを教師データとして含む教師データ群910をデータ保存部90に保存している場合について説明した。しかし、データ保存部90に保存する教師データ群910の形式は、第1の実施形態に示した形式に限定されるものではない。例えば、認識する比較対象物の種類ごとに分類された大量の画像のヒストグラム(教師データ)を1つのデータとしてまとめた状態で可逆圧縮されてデータ保存部90に保存されている場合も考えられる。
(第2の実施形態)
 次に、本発明の第2の実施形態について説明する。図4は、本発明の第2の実施形態における画像認識装置の概略構成を示したブロック図である。図4において、画像認識装置20は、SVM演算部110と、特徴値保存部120と、教師データ解凍部230と、を備えている。また、SVM演算部110は、特徴値算出部111と累積加算部112とを備えている。なお、図4は、画像認識装置20が画像認識の処理を行う際に用いるデータを保存するデータ保存部90を併せて示し、画像認識装置20を備えた画像認識システム2として示している。
 図4に示した画像認識装置20は、図1に示した第1の実施形態の画像認識装置10に、さらに、教師データ解凍部230を備えた構成である。なお、画像認識装置20に備えたその他の構成要素は、図1に示した第1の実施形態の画像認識装置10に備えた構成要素と同じ構成要素である。従って、以下の説明においては、画像認識装置20の構成要素において、第1の実施形態の画像認識装置10に備えた構成要素と同様の構成要素には同一の符号を付与して、それぞれの構成要素に関する詳細な説明は省略し、画像認識装置20において第1の実施形態の画像認識装置10と異なる構成要素および動作についてのみを説明する。
 画像認識装置20も、第1の実施形態の画像認識装置10と同様に、入力された画像に対して画像認識の処理を行い、それぞれの教師データとの類似度の情報を、画像認識の処理によって認識した認識対象物が比較対象物と類似している度合いを表す情報(画像認識の処理の結果)として出力する。ただし、画像認識装置20は、SVM演算の処理を、1つのデータとしてまとめて可逆圧縮した状態の教師データ(以下、「圧縮教師データ群911」という)に基づいて行う構成の画像認識装置である。なお、画像認識装置20も、第1の実施形態の画像認識装置10と同様に、ビジュアルワードの演算処理や、ヒストグラムの演算処理などの処理を行う。以下の説明においても、入力された画像に対するビジュアルワードの演算処理や、ヒストグラムの演算処理が終了しているものとして説明する。
 データ保存部90は、画像認識装置20が画像認識の処理を行う際に用いる圧縮教師データ群911と、画像認識装置20が画像認識の処理を行う対象の認識対象データ950とを保存している。
 圧縮教師データ群911は、図1に示した第1の実施形態の画像認識装置10を備えた画像認識システム1においてデータ保存部90が保存していた教師データ群910と同様の教師データを、1つのデータとしてまとめた状態で可逆圧縮した構成の教師データ群である。例えば、圧縮教師データ群911が、人、犬、猫、花などの4種類の比較対象物の教師データを含んでいる場合、それぞれの比較対象物に対応する1500個ずつ(合計6000個)のヒストグラムを表す5000個の教師データ(1000個のヒストグラムが重複している)が全てまとめられた状態で可逆圧縮されて、1つのデータ(教師データ群)として構成されている。
 画像認識装置20は、データ保存部90に保存された圧縮教師データ群911に含まれるそれぞれの教師データに基づいて、データ保存部90に保存された認識対象データ950に対して画像認識の処理を行い、それぞれの教師データとの類似度の情報(画像認識の処理の結果)を、教師データごとに出力する。
 教師データ解凍部230は、画像認識装置20が画像認識の処理を行う際に用いる圧縮教師データ群911を解凍する。これにより、圧縮教師データ群911に含まれるそれぞれの教師データが、第1の実施形態の画像認識装置10が画像認識の処理を行う際に用いる教師データ群910に含まれるそれぞれの教師データと同様の形式に復元される。そして、教師データ解凍部230は、解凍したそれぞれの教師データを、SVM演算部110に出力する。
 SVM演算部110は、画像認識の処理において、認識対象データ950が表す画像全体のヒストグラムと、教師データ解凍部230から出力されたそれぞれの教師データが表す比較対象物のヒストグラムとを比較するSVM演算を行い、圧縮教師データ群911において分類された比較対象物の種類ごとに類似度を算出する。そして、SVM演算部110は、算出したそれぞれの類似度を表す情報を、画像認識装置20が画像認識の処理を行って認識した認識対象物の情報として出力する。
 このように、画像認識装置20は、可逆圧縮された状態の1つの圧縮教師データ群911を解凍する教師データ解凍部230を備える。そして、画像認識装置20は、画像認識の処理におけるSVM演算に先だって、教師データ解凍部230が、圧縮教師データ群911に含まれるそれぞれの教師データを解凍する。また、画像認識装置20も、第1の実施形態の画像認識装置10と同様に、それぞれの教師データに対応する特徴値を保存する特徴値保存部120を備える。そして、画像認識装置20は、第1の実施形態の画像認識装置10と同様に、画像認識の処理におけるSVM演算において、教師データ解凍部230が解凍(復元)した全ての教師データに対応する特徴値を算出して特徴値保存部120に一旦保存する。その後、画像認識装置20は、第1の実施形態の画像認識装置10と同様に、特徴値保存部120に保存した特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算して、それぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。
 ここで、画像認識装置20が画像認識の処理を行う際のデータの流れについて説明する。図5は、本発明の第2の実施形態の画像認識装置20において画像認識の処理を行う際のデータの流れを示した図である。図5には、図2に示した第1の実施形態の画像認識装置10におけるデータの流れと同様に、画像認識装置20が行う画像認識の処理におけるSVM演算の処理のデータの流れを示している。従って、図5に示したデータの流れも、画像認識装置20に入力された画像に対するビジュアルワードの演算処理、およびヒストグラムの演算処理が終了している状態から画像認識装置20がSVM演算の処理を行う際のデータの流れを示している。図5に示した画像認識装置20におけるデータの流れには、図2に示した第1の実施形態の画像認識装置10におけるデータの流れと同様のデータの流れを含んでいる。
 画像認識装置20におけるSVM演算の処理では、SVM演算部110に備えた特徴値算出部111が、第1の実施形態の画像認識装置10におけるデータの流れと同様に、データ保存部90から認識対象データ950を読み出す(経路C1-1)。その後、教師データ解凍部230が、データ保存部90から圧縮教師データ群911を読み出して解凍し、解凍した全ての教師データを順次、SVM演算部110内の特徴値算出部111に出力する(経路C2-2)。そして、特徴値算出部111は、読み出した認識対象データ950と、教師データ解凍部230から出力された教師データとのそれぞれに基づいて特徴値を算出し、算出した特徴値のそれぞれを、特徴値保存部120に一旦保存する。図5には、特徴値算出部111が算出したそれぞれの特徴値121を、特徴値保存部120に保存している状態を示している。
 その後、画像認識装置20におけるSVM演算の処理では、SVM演算部110に備えた累積加算部112が、第1の実施形態の画像認識装置10におけるデータの流れと同様に、特徴値算出部111が特徴値保存部120に保存した特徴値121の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値121を読み出して累積加算する。そして、累積加算部112は、累積加算した特徴値を、読み出した特徴値121が表す種類の比較対象物との類似度を表す情報(画像認識の処理の結果)として出力する(経路C1-3)。
 なお、画像認識装置20が行う画像認識の処理におけるSVM演算の処理の処理手順は、図3に示した第1の実施形態の画像認識装置10が行う画像認識の処理におけるSVM演算の処理の処理手順と、教師データが異なるのみである。
 より具体的には、画像認識装置20が図3に示したSVM演算の処理の処理手順を開始する前に、教師データ解凍部230がデータ保存部90から圧縮教師データ群911を読み出して解凍する。以降、特徴値算出部111は、図3に示したステップS100において、教師データ解凍部230から出力された1個の教師データ(1つ目の教師データ)を取得し、ステップS110~ステップS130の処理を、教師データ解凍部230から出力された教師データに対応する全ての特徴値の特徴値保存部120への保存が終了するまで繰り返す。つまり、特徴値算出部111は、圧縮教師データ群911に含まれる5000個の教師データに対応する全ての特徴値の特徴値保存部120への保存が終了するまで、図3に示したステップS100~ステップS130の処理を、5000回繰り返す。
 その後、累積加算部112は、図3に示したステップS200~ステップS220の処理を、全ての特徴値の累積加算が終了するまで繰り返し、さらに、ステップS200~ステップS310の処理を、圧縮教師データ群911において分類された全ての種類の比較対象物との類似度の情報(画像認識の処理の結果)の出力が終了するまで繰り返す。つまり、画像認識装置20でも、累積加算部112が、図3に示したステップS200~ステップS220の処理を1500回繰り返し、ステップS200~ステップS310の処理を4回繰り返す。
 これにより、画像認識装置20でも、第1の実施形態の画像認識装置10と同様に、SVM演算によって算出したそれぞれの比較対象物の種類ごとの類似度を表す情報を、画像認識の処理を行って認識した認識対象物の情報(画像認識の処理の結果)として出力することができる。
 第2の実施形態によれば、全ての教師データを1つにまとめた状態で可逆圧縮した形式で入力された教師データ群(圧縮教師データ群911)を解凍してそれぞれの教師データに復元する教師データ解凍部(教師データ解凍部230)、をさらに備え、SVM演算の処理において、教師データ解凍部230は、圧縮教師データ群911を解凍してそれぞれの教師データに復元し、特徴値算出部(特徴値算出部111)は、教師データ解凍部230によって復元されたそれぞれの教師データに対応する全ての特徴値を算出してデータ保存部(特徴値保存部120)に保存させる画像認識装置(画像認識装置20)が構成される。
 上記に述べたように、第2の実施形態の画像認識装置20は、可逆圧縮された状態の1つの圧縮教師データ群911を解凍する教師データ解凍部230を備える。また、第2の実施形態の画像認識装置20は、第1の実施形態の画像認識装置10と同様に、教師データ解凍部230が解凍した、圧縮教師データ群911に含まれる全ての教師データに対応する特徴値を保存するための特徴値保存部120を備える。そして、第2の実施形態の画像認識装置20は、画像認識の処理におけるSVM演算において、教師データ解凍部230が解凍した全ての教師データを用いて算出した全ての特徴値を特徴値保存部120に一旦保存した後に、特徴値保存部120に保存した特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算して、それぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。つまり、第2の実施形態の画像認識装置20では、データ保存部90に保存されている圧縮教師データ群911を1回読み出すのみで、圧縮教師データ群911において分類されたそれぞれの比較対象物の種類ごとの類似度を表す情報を出力する。これにより、第2の実施形態の画像認識装置20でも、第1の実施形態の画像認識装置10と同様に、画像認識の処理を行う際の負荷を、従来の画像認識の処理を行う画像認識装置よりも軽減することができる。
 より具体的には、可逆圧縮された圧縮教師データ群911に基づいて画像認識の処理を行う場合、従来の画像認識の処理を行う画像認識装置では、最初に、圧縮教師データ群911を読み込んで解凍し、解凍した全ての教師データ(例えば、5000個の教師データ)の中から、1つ目の種類の比較対象物に分類された教師データ(例えば、1500個の教師データ)を用いて、1つ目の種類の比較対象物に対する類似度(画像認識の処理の結果)を出力する。その後、従来の画像認識の処理を行う画像認識装置は、前回解凍した全ての教師データを破棄して、圧縮教師データ群911の読み込みを再度行って解凍し、解凍した全ての教師データ(例えば、5000個の教師データ)の中から、2つ目の種類の比較対象物に分類された教師データ(例えば、1500個の教師データ)を用いて、2つ目の種類の比較対象物に対する類似度(画像認識の処理の結果)を出力する。このように、従来の画像認識の処理を行う画像認識装置では、圧縮教師データ群911の読み込みと解凍とを、画像認識の処理を行うそれぞれの比較対象物ごとに行い、都度、解凍したそれぞれの教師データを破棄する。つまり、従来の画像認識の処理を行う画像認識装置では、同じ圧縮教師データ群911の読み込みおよび解凍と、同じ教師データ(重複している教師データ)に対応する特徴値を算出する演算とを、複数回行っている。
 これに対して、第2の実施形態の画像認識装置20は、データ保存部90に保存されている圧縮教師データ群911を1回のみ読み出して解凍し、解凍した全ての教師データに対応する特徴値(例えば、5000個の特徴値)を算出して特徴値保存部120に一旦保存する。その後、第2の実施形態の画像認識装置20は、特徴値保存部120に保存した特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値(例えば、1500個の特徴値)を読み出して累積加算した特徴値を、それぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。つまり、第2の実施形態の画像認識装置20では、圧縮教師データ群911の読み込みおよび解凍と、同じ教師データ(重複している教師データ)に対応する特徴値を算出する演算とを、1回のみ行っている。すなわち、第2の実施形態の画像認識装置20では、従来の画像認識の処理を行う画像認識装置のように、同じ教師データの読み込みや同じ特徴値の算出を複数回繰り返すことなく、それぞれの比較対象物の種類ごとの類似度を表す情報を、画像認識の処理を行って認識した認識対象物の情報として出力することができる。
 このように、第2の実施形態の画像認識装置20では、SVM演算の処理を行う際にデータ保存部90から可逆圧縮された圧縮教師データ群911を読み出す回数(データ保存部90へのアクセス回数)と、可逆圧縮された圧縮教師データ群911を解凍する演算回数と、解凍したそれぞれの教師データに対応する特徴値を算出する演算回数を、従来の画像認識の処理を行う画像認識装置よりも少なくすることができる。このことにより、第2の実施形態の画像認識装置20でも、第1の実施形態の画像認識装置10と同様に、画像認識の処理を行う際の負荷を、従来の画像認識の処理を行う画像認識装置よりも軽減することができる。なお、第2の実施形態の画像認識装置20において画像認識の処理を行う際の負荷を軽減することができるということも、第1の実施形態の画像認識装置10と同様に、画像認識装置20を備えた画像認識システム2における画像認識の処理の高効率化や処理速度の向上につながる。
 なお、第2の実施形態の画像認識装置20でも、第1の実施形態の画像認識装置10と同様に、画像認識装置20に備えたDMA部が、教師データ解凍部230からの要求に応じて、DMAによってデータ保存部90から取得した圧縮教師データ群911を教師データ解凍部230に伝送する構成であってもよい。
 また、第2の実施形態の画像認識装置20でも、第1の実施形態の画像認識装置10と同様に、第2の実施形態の画像認識装置20の動作を、認識する比較対象物の種類数や圧縮教師データ群911に含まれる教師データの構成に応じて、上述した動作、または従来の画像認識装置と同様の動作に切り替える構成にしてもよい。
 なお、第1の実施形態の画像認識装置10および第2の実施形態の画像認識装置20では、入力された画像に対するビジュアルワードの演算処理、およびヒストグラムの演算処理が終了しているものとして説明した。しかし、上述したように、第1の実施形態の画像認識装置10や第2の実施形態の画像認識装置20においても、従来の画像認識の処理を行う画像認識装置と同様に、入力された画像に対するビジュアルワードの演算処理や、ヒストグラムの演算処理などの処理を行っている。そして、一般的に、画像認識装置においては、ビジュアルワードの演算処理やヒストグラムの演算処理において用いるデータを一時的に保存するための保存部(メモリ)として、例えば、SRAMなどを備えている。
(第3の実施形態)
 次に、本発明の第3の実施形態について説明する。図6は、本発明の第3の実施形態における画像認識装置の概略構成を示したブロック図である。図6において、画像認識装置30は、SVM演算部110と、特徴値保存部120と、調停部340と、ビジュアルワード演算部350と、ヒストグラム演算部360と、を備えている。また、SVM演算部110は、特徴値算出部111と累積加算部112とを備えている。なお、図6は、画像認識装置30が画像認識の処理を行う際に用いるデータを保存するデータ保存部90を併せて示し、画像認識装置30を備えた画像認識システム3として示している。
 図6に示した画像認識装置30は、図1に示した第1の実施形態の画像認識装置10に備えたビジュアルワード演算部350とヒストグラム演算部360とを示し、さらに、調停部340を備えた構成である。なお、画像認識装置30に備えたその他の構成要素は、図1に示した第1の実施形態の画像認識装置10に備えた構成要素と同じ構成要素である。従って、以下の説明においては、画像認識装置30の構成要素において、第1の実施形態の画像認識装置10に備えた構成要素と同様の構成要素には同一の符号を付与して、それぞれの構成要素に関する詳細な説明は省略し、画像認識装置30において第1の実施形態の画像認識装置10と異なる構成要素および動作についてのみ説明する。
 画像認識装置30も、第1の実施形態の画像認識装置10と同様に、入力された画像に対して画像認識の処理を行い、それぞれの教師データとの類似度の情報を、画像認識の処理によって認識した認識対象物が比較対象物と類似している度合いを表す情報(画像認識の処理の結果)として出力する。ただし、画像認識装置30は、特徴値保存部120を、SVM演算部110と、ビジュアルワード演算部350と、ヒストグラム演算部360とのそれぞれで共有する構成の画像認識装置である。
 ビジュアルワード演算部350は、例えば、画像認識システム3を搭載した撮影システムによって撮影された画像に対するビジュアルワードを生成するビジュアルワードの演算処理を行う。より具体的には、ビジュアルワード演算部350は、画像認識装置30に入力された画像における代表的な局所パターン(ビジュアルワード)の集合を生成する演算を行う。ビジュアルワード演算部350は、入力された画像におけるそれぞれのビジュアルワードを生成する演算を行う際に、演算途中のデータなどを一時的に保存する保存部(メモリ)として、特徴値保存部120を利用する。そして、ビジュアルワード演算部350は、最終的に生成したビジュアルワードの集合のデータを、データ保存部90に出力して保存させる。なお、ビジュアルワード演算部350におけるビジュアルワードの演算処理の方法は、従来の画像認識の技術におけるビジュアルワードの演算処理の方法と同様であるため、詳細な説明は省略する。
 ヒストグラム演算部360は、ビジュアルワードに基づいて、例えば、画像認識システム3を搭載した撮影システムによって撮影された画像全体のヒストグラムを生成するヒストグラムの演算処理を行う。より具体的には、ヒストグラム演算部360は、ビジュアルワード演算部350によって生成されて保存されたそれぞれのビジュアルワードのデータをデータ保存部90から読み出し、読み出したそれぞれのビジュアルワードのデータに基づいて、入力された画像全体のヒストグラムを生成する演算を行う。ヒストグラム演算部360は、入力された画像全体のヒストグラムを生成する演算を行う際に、演算途中のデータなどを一時的に保存する保存部(メモリ)として、特徴値保存部120を利用する。そして、ヒストグラム演算部360は、最終的に生成したヒストグラムのデータを、データ保存部90に出力して保存させる。なお、ヒストグラム演算部360におけるヒストグラムの演算処理の方法は、従来の画像認識の技術におけるヒストグラムの演算処理の方法と同様であるため、詳細な説明は省略する。
 画像認識装置30では、ヒストグラム演算部360が最終的に生成したヒストグラムのデータが、認識対象データ950である。図6には、データ保存部90に、教師データ群910と、ヒストグラム演算部360が生成した認識対象データ950とを保存している状態を示している。
 調停部340は、画像認識装置30が画像認識の処理を実行する際に、画像認識装置30内の構成要素、つまり、ビジュアルワード演算部350、ヒストグラム演算部360、およびSVM演算部110による特徴値保存部120の利用を調停する。なお、画像認識装置30では、ビジュアルワード演算部350と、ヒストグラム演算部360と、SVM演算部110とのそれぞれによる処理は、排他的に行われる。より具体的には、画像認識装置30では、最初に、ビジュアルワード演算部350が、入力された画像におけるビジュアルワードの集合のデータを生成する。次に、ヒストグラム演算部360が、入力された画像全体のヒストグラムを生成する。最後に、SVM演算部110が、教師データ群910において分類された比較対象物の種類ごとに類似度を算出して画像認識装置30が画像認識の処理を行って認識した認識対象物の情報(画像認識の処理の結果)として出力する。
 従って、調停部340は、画像認識装置30が画像認識の処理を実行する際のそれぞれの演算処理の段階において、特徴値保存部120を利用する構成要素を、排他的に割り当てる。より具体的には、ビジュアルワード演算部350が入力された画像におけるそれぞれのビジュアルワードを生成するビジュアルワードの演算処理の段階では、ビジュアルワード演算部350を、特徴値保存部120を利用する構成要素として割り当てる。その後、ヒストグラム演算部360が入力された画像全体のヒストグラム(認識対象データ950)を生成るヒストグラムの演算処理の段階では、ヒストグラム演算部360を、特徴値保存部120を利用する構成要素として割り当てる。最後に、SVM演算部110が、教師データ群910において分類されたそれぞれの比較対象物の種類ごとの類似度を表す情報を出力するSVM演算の処理の段階では、SVM演算部110を、特徴値保存部120を利用する構成要素として割り当てる。
 そして、調停部340は、特徴値保存部120を利用する構成要素として割り当てたそれぞれの構成要素から出力された、特徴値保存部120へのデータの書き込み制御および特徴値保存部120からのデータの読み出し制御に応じて、特徴値保存部120へのアクセスを行う。
 特徴値保存部120は、調停部340によって利用が割り当てられた画像認識装置30内の構成要素が一時的に保存するデータを保存する。特徴値保存部120がデータを保存することができる記憶容量は、調停部340によって利用が割り当てられる画像認識装置30内の構成要素がそれぞれの処理を実行する際に特徴値保存部120に保存する最大の量のデータを記憶することができる記憶容量である。つまり、特徴値保存部120の記憶容量は、ビジュアルワード演算部350、ヒストグラム演算部360、およびSVM演算部110の内、特徴値保存部120に最も多くのデータを保存する構成要素が処理を実行する際に必要な最大の記憶容量と同じ記憶容量である。
 なお、一般的に、画像認識装置においては、ビジュアルワードの演算処理において最も多くの演算途中のデータなどを一時的に保存する。従って、特徴値保存部120の記憶容量は、ビジュアルワード演算部350がビジュアルワードの集合のデータを生成する処理を行う際に必要な量のデータを記憶することができる記憶容量である。
 このように、画像認識装置30は、特徴値保存部120の利用を調停する調停部340を備え、特徴値保存部120を、SVM演算部110と、ビジュアルワード演算部350と、ヒストグラム演算部360とのそれぞれで共有する。これにより、画像認識装置30では、画像認識の処理におけるSVM演算の処理を行う際にデータ保存部90から教師データを読み出す回数(データ保存部90へのアクセス回数)を低減するために、例えば、SRAMなどの保存部(メモリ)を特徴値保存部120として専用に備えることなく、特徴値算出部111が算出したそれぞれの教師データごとの特徴値を特徴値保存部120に保存する構成にすることができる。
 ここで、画像認識装置30が画像認識の処理を行う際のデータの流れについて説明する。図7は、本発明の第3の実施形態の画像認識装置30において画像認識の処理を行う際のデータの流れを示した図である。図7には、図2に示した第1の実施形態の画像認識装置10におけるデータの流れと同様に、画像認識装置30が行う画像認識の処理におけるSVM演算の処理のデータの流れを示している。従って、図7に示したデータの流れも、画像認識装置30に入力された画像に対してビジュアルワード演算部350が実行するビジュアルワードの演算処理、およびヒストグラム演算部360がビジュアルワードに基づいて実行するヒストグラムの演算処理が終了している状態から画像認識装置30がSVM演算の処理を行う際のデータの流れを示している。なお、図7に示した画像認識装置30におけるデータの流れには、図2に示した第1の実施形態の画像認識装置10におけるデータの流れと同様のデータの流れを含んでいる。
 画像認識装置30におけるSVM演算の処理では、SVM演算部110に備えた特徴値算出部111が、データ保存部90から認識対象データ950を読み出す(経路C3-1)。さらに、特徴値算出部111は、データ保存部90から教師データ群910に含まれる全ての教師データを順次読み出す(経路C1-2)。そして、特徴値算出部111は、読み出した認識対象データ950と教師データとのそれぞれに基づいて特徴値を算出し、算出した特徴値のそれぞれを、調停部340を介して特徴値保存部120に出力して一旦保存する。図7には、特徴値算出部111が算出したそれぞれの特徴値121を、特徴値保存部120に保存している状態を示している。
 その後、画像認識装置30におけるSVM演算の処理では、SVM演算部110に備えた累積加算部112が、特徴値算出部111が特徴値保存部120に保存した特徴値121の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値121を、調停部340を介して読み出す。そして、累積加算部112は、読み出したそれぞれの特徴値121を累積加算し、累積加算した特徴値を、読み出した特徴値121が表す種類の比較対象物との類似度を表す情報(画像認識の処理の結果)として出力する(経路C3-3)。
 なお、画像認識装置30が行う画像認識の処理におけるSVM演算の処理の処理手順は、特徴値保存部120に特徴値を保存する際、および特徴値保存部120から特徴値の読み込みを行う際に、調停部340を介してそれぞれの特徴値のデータが受け渡しされる以外は、図3に示した第1の実施形態の画像認識装置10が行う画像認識の処理におけるSVM演算の処理の処理手順と同様である。
 より具体的には、画像認識装置30が図3に示したSVM演算の処理の処理手順を開始した後、特徴値算出部111は、図3に示したステップS120において、それぞれの教師データに対応する特徴値を、調停部340を介して特徴値保存部120に出力して保存させる。また、累積加算部112は、図3に示したステップS200において、特徴値保存部120に保存された同じ種類の比較対象物に分類された教師データに対応するそれぞれの特徴値を、調停部340を介して読み出す。画像認識装置30が行うSVM演算の処理の処理手順は、上述したステップS100とステップS200とにおいてそれぞれの特徴値が伝送される経路が異なる以外は、第1の実施形態の画像認識装置10が行うSVM演算の処理の処理手順と同様である。つまり、画像認識装置30におけるSVM演算の処理自体は、第1の実施形態の画像認識装置10と同様である。
 これにより、画像認識装置30でも、第1の実施形態の画像認識装置10と同様に、SVM演算によって算出したそれぞれの比較対象物の種類ごとの類似度を表す情報を、画像認識の処理を行って認識した認識対象物の情報(画像認識の処理の結果)として出力することができる。
 第3の実施形態によれば、画像認識の処理において排他的に演算の処理を行う、ビジュアルワード演算部(ビジュアルワード演算部350)と、ヒストグラム演算部(ヒストグラム演算部360)と、SVM演算部(SVM演算部110)とによるデータ保存部(特徴値保存部120)の利用を調停する調停部(調停部340)、をさらに備え、調停部340は、特徴値保存部120の利用を割り当てたいずれか1つの演算部(ビジュアルワード演算部350、ヒストグラム演算部360、またはSVM演算部110)による特徴値保存部120へのアクセスに応じて特徴値保存部120にアクセスする画像認識装置(画像認識装置30)が構成される。
 また、第3の実施形態によれば、特徴値保存部120は、ビジュアルワード演算部350と、ヒストグラム演算部360と、SVM演算部110とがそれぞれの処理を実行する際に特徴値保存部120に一時的に保存する最大の量のデータを記憶することができる記憶容量を有する画像認識装置30が構成される。
 上記に述べたように、第3の実施形態の画像認識装置30は、第1の実施形態の画像認識装置10と同様に、SVM演算において教師データ群910に含まれる全ての教師データに対応する特徴値を保存するための特徴値保存部120を備える。そして、第3の実施形態の画像認識装置30でも、第1の実施形態の画像認識装置10と同様に、画像認識の処理におけるSVM演算において、教師データ群910に含まれる全ての教師データに対応する特徴値を特徴値保存部120に一旦保存した後に、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算し、それぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。これにより、第3の実施形態の画像認識装置30でも、第1の実施形態の画像認識装置10と同様に、画像認識の処理を行う際の負荷を、従来の画像認識の処理を行う画像認識装置よりも軽減することができる。なお、第3の実施形態の画像認識装置30において画像認識の処理を行う際の負荷を軽減することができるということも、第1の実施形態の画像認識装置10と同様に、画像認識装置30を備えた画像認識システム3における画像認識の処理の高効率化や処理速度の向上につながる。
 また、第3の実施形態の画像認識装置30では、調停部340を備え、特徴値保存部120を、画像認識装置30内の構成要素(ビジュアルワード演算部350、ヒストグラム演算部360、およびSVM演算部110)で共有する。これにより、第3の実施形態の画像認識装置30では、SVM演算部110以外の構成要素が利用する保存部(メモリ)を、SVM演算部110がSVM演算の処理を行う際に教師データ群910に含まれる全ての教師データに対応する特徴値を保存するための特徴値保存部120として利用することができる。このことにより、第3の実施形態の画像認識装置30は、SVM演算部110が利用する専用の保存部(メモリ)として特徴値保存部120を備えることなく、第1の実施形態の画像認識装置10と同様の効果を得ることができる。なお、第3の実施形態の画像認識装置30においてSVM演算部110が利用する専用の特徴値保存部120を備える必要がないということは、画像認識装置30の回路規模の増大を抑えることができるということにもつながる。
 なお、第3の実施形態の画像認識装置30も、第1の実施形態の画像認識装置10と同様に、画像認識装置30にDMA部を備えた構成であってもよい。また、第3の実施形態の画像認識装置30も、第1の実施形態の画像認識装置10と同様に、認識する比較対象物の種類数や教師データ群910の構成に応じて、第3の実施形態の画像認識装置30の動作を切り替える構成にしてもよい。
 なお、第3の実施形態の画像認識装置30では、第1の実施形態の画像認識装置10に調停部340を備えた構成について説明したが、第2の実施形態の画像認識装置20に調停部340を備えた構成にしてもよい。この場合、第2の実施形態の画像認識装置20と同様の効果に加えて、特徴値保存部120を他の構成要素と共有することによる上述した効果を得ることができる。
 上記に述べたように、本発明の各実施形態によれば、画像認識装置に、画像認識の処理におけるSVM演算において用いる全ての教師データに対応する特徴値を全て保存するための特徴値保存部を備える。そして、本発明の各実施形態では、画像認識の処理におけるSVM演算において、それぞれの教師データに1回ずつアクセスして、それぞれの教師データに対応する特徴値を全て算出して特徴値保存部に一旦保存する。その後、本発明の各実施形態では、特徴値保存部に保存した特徴値の中から、同じ種類の対象物に分類された教師データに対応する特徴値を読み出して累積加算して、それぞれの対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。これにより、本発明の各実施形態では、従来の画像認識装置のように、同じ教師データにアクセスして同じ特徴値を算出するという重複した処理を行うことがなく、画像認識装置においてSVM演算の処理を行う際の演算負荷を軽減することができる。
 さらに、本発明の各実施形態では、画像認識装置に、可逆圧縮された教師データ群を解凍するための教師データ解凍部を備える。そして、本発明の各実施形態では、教師データ解凍部が、SVM演算に先だって可逆圧縮された教師データ群を解凍する。その後、本発明の各実施形態では、教師データ解凍部が解凍したそれぞれの教師データに対応する特徴値を全て算出して特徴値保存部に一旦保存した後に、同じ種類の対象物に分類された教師データに対応する特徴値を累積加算し、それぞれの対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。これにより、本発明の各実施形態では、SVM演算において用いる教師データが可逆圧縮された形式である場合でも、つまり、教師データの形式に関係なく、画像認識装置においてSVM演算の処理を行う際の演算負荷を、従来の画像認識装置よりも軽減することができる。
 また、本発明の各実施形態では、画像認識装置に、特徴値保存部を利用する構成要素を調停する調停部を備える。そして、本発明の各実施形態では、特徴値保存部を、画像認識装置において排他的に処理を行う複数の構成要素で共有する。これにより、本発明の各実施形態では、SVM演算において利用する専用の保存部として特徴値保存部を備えることなく、画像認識装置の回路規模の増大を抑えた状態で、画像認識装置においてSVM演算の処理を行う際の演算負荷を、従来の画像認識装置よりも軽減することができる。
 これらのことにより、本発明の各実施形態では、画像認識装置を備えた画像認識システムでは、画像認識の処理を効率的に行うことができ、画像認識の処理速度を向上させることができる。
 なお、本発明の各実施形態では、教師データ群910や圧縮教師データ群911が、4種類のそれぞれの比較対象物に対応した1500個ずつのヒストグラムを含み、5000個の教師データで構成されている場合の例で説明した。しかし、教師データ群910や圧縮教師データ群911が表す比較対象物の種類数は、本発明の各実施形態で説明した数に限定されるものではない。また、教師データ群910や圧縮教師データ群911に含まれる教師データの数も、本発明の各実施形態で説明した数に限定されるものではない。例えば、教師データ群910や圧縮教師データ群911が表すそれぞれの比較対象物に対応したヒストグラムの数が、ある比較対象物に対応したヒストグラムは1500個であり、他の比較対象物に対応したヒストグラムは1200個であるなど、それぞれの比較対象物で同じ数ではないことも考えられる。
 このような場合であっても、本発明の考え方を適用し、上述したように、認識する比較対象物の種類数や教師データの構成に応じて動作に切り替えることによって、本発明と同様の効果を得ることができる。つまり、本発明の考え方を適用した画像認識の処理を行うために全ての教師データを読み出す回数と、従来の画像認識の処理を行うために比較対象物の種類ごとに対応する教師データを読み出す回数とを比較し、教師データを読み出す回数が少ない方の画像認識の処理を行うように動作を切り替える。より具体的には、認識するそれぞれの比較対象物に対応するヒストグラムの数を合計した数、すなわち、従来の画像認識の処理において教師データを読み出す回数と、本発明の考え方を適用した画像認識の処理において全ての教師データを読み出す回数とを比較し、教師データを読み出す回数が少ない方の画像認識の処理を行うように動作を切り替える。これにより、教師データ群910や圧縮教師データ群911が表す比較対象物の種類数や、教師データ群910や圧縮教師データ群911に含まれる教師データの数が、本発明の各実施形態で説明した例と異なる場合でも、本発明と同様の効果を得ることができる。
 以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。
 また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
 上記各実施形態によれば、画像認識の処理を行う際の負荷を軽減することができる画像認識装置および画像認識方法を提供することができる。
 1,2,3 画像認識システム
 10,20,30 画像認識装置
 110 SVM演算部
 111 特徴値算出部
 112 累積加算部
 120 特徴値保存部(データ保存部)
 230 教師データ解凍部
 340 調停部
 350 ビジュアルワード演算部
 360 ヒストグラム演算部
 90 データ保存部
 910 教師データ群
 911 圧縮教師データ群(教師データ群)
 950 認識対象データ

Claims (6)

  1.  入力された画像に対する画像認識の処理を、認識する対象物である比較対象物の画像のヒストグラムである教師データを前記比較対象物の種類ごとに分類して複数含んだ教師データ群に基づいて行う画像認識装置であって、
     前記画像のビジュアルワードに基づいて生成されたヒストグラムに対するサポートベクタマシン(SVM)演算を、前記教師データ群に含まれる複数の前記教師データのそれぞれに基づいて行うSVM演算部と、
     前記画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部と、
     を備え、
     前記SVM演算部は、
      入力された前記画像のヒストグラムと、前記教師データが表す前記比較対象物のヒストグラムとを比較し、入力された前記画像に写されている対象物である認識対象物と前記比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出部と、
      同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を累積加算する累積加算部と、
     を具備し、
     前記SVM演算の処理において、
      前記特徴値算出部は、前記教師データ群に含まれる全ての前記教師データに対応する前記特徴値を、それぞれの前記教師データごとに算出し、算出した全ての前記特徴値を前記データ保存部に保存させ、
      前記累積加算部は、前記特徴値算出部が全ての前記特徴値を前記データ保存部に保存させた後に、保存された全ての前記特徴値の中から、同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を読み出して累積加算し、累積加算した前記特徴値を、前記画像認識の処理において前記認識対象物を認識した結果として出力する、
     画像認識装置。
  2.  前記特徴値算出部は、
     前記教師データ群に含まれる前記教師データの数が、前記画像認識の処理において前記認識対象物を認識した全ての結果を出力するまでに前記累積加算部が前記データ保存部に保存された前記特徴値を読み出して累積加算する回数よりも少ない場合に、前記教師データ群に含まれる全ての前記教師データに対応する全ての前記特徴値を算出して前記データ保存部に保存させる、
     請求項1に記載の画像認識装置。
  3.  全ての前記教師データを1つにまとめた状態で可逆圧縮した形式で入力された前記教師データ群を解凍してそれぞれの前記教師データに復元する教師データ解凍部、をさらに備え、
     前記SVM演算の処理において、
      前記教師データ解凍部は、前記教師データ群を解凍してそれぞれの前記教師データに復元し、
      前記特徴値算出部は、前記教師データ解凍部によって復元されたそれぞれの前記教師データに対応する全ての前記特徴値を算出して前記データ保存部に保存させる、
     請求項2に記載の画像認識装置。
  4.  前記画像認識の処理において排他的に演算の処理を行う、ビジュアルワード演算部と、
     ヒストグラム演算部と、
     前記SVM演算部とによる前記データ保存部の利用を調停する調停部、
     をさらに備え、
     前記調停部は、前記データ保存部の利用を割り当てたいずれか1つの演算部による前記データ保存部へのアクセスに応じて前記データ保存部にアクセスする、
     請求項2または請求項3に記載の画像認識装置。
  5.  前記データ保存部は、前記ビジュアルワード演算部と、前記ヒストグラム演算部と、前記SVM演算部とがそれぞれの処理を実行する際に前記データ保存部に一時的に保存する最大の量のデータを記憶することができる記憶容量を有する、
     請求項4に記載の画像認識装置。
  6.  入力された画像に対する画像認識の処理を、認識する対象物である比較対象物の画像のヒストグラムである教師データを前記比較対象物の種類ごとに分類して複数含んだ教師データ群に基づいて行う画像認識装置における画像認識方法であって、
     前記画像のビジュアルワードに基づいて生成されたヒストグラムに対するサポートベクタマシン(SVM)演算を、前記教師データ群に含まれる複数の前記教師データのそれぞれに基づいて行うSVM演算ステップ、
     を含み、
     前記SVM演算ステップは、
      入力された前記画像のヒストグラムと、前記教師データが表す前記比較対象物のヒストグラムとを比較し、入力された前記画像に写されている対象物である認識対象物と前記比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出ステップと、
      同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を累積加算する累積加算ステップと、
     を含み、
      前記特徴値算出ステップにおいて、前記教師データ群に含まれる全ての前記教師データに対応する前記特徴値が、それぞれの前記教師データごとに算出され、算出した全ての前記特徴値が、前記画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部に保存され、
      前記累積加算ステップにおいて、前記特徴値算出ステップにおいて全ての前記特徴値が前記データ保存部に保存された後に、保存された全ての前記特徴値の中から、同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値が読み出されて累積加算され、累積加算された前記特徴値が、前記画像認識の処理において前記認識対象物を認識した結果として出力される、
     画像認識方法。
PCT/JP2016/062357 2015-06-22 2016-04-19 画像認識装置および画像認識方法 WO2016208260A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680035683.1A CN107710277A (zh) 2015-06-22 2016-04-19 图像识别装置和图像识别方法
US15/846,618 US20180129914A1 (en) 2015-06-22 2017-12-19 Image recognition device and image recognition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015124786A JP2017010255A (ja) 2015-06-22 2015-06-22 画像認識装置および画像認識方法
JP2015-124786 2015-06-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/846,618 Continuation US20180129914A1 (en) 2015-06-22 2017-12-19 Image recognition device and image recognition method

Publications (1)

Publication Number Publication Date
WO2016208260A1 true WO2016208260A1 (ja) 2016-12-29

Family

ID=57585371

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062357 WO2016208260A1 (ja) 2015-06-22 2016-04-19 画像認識装置および画像認識方法

Country Status (4)

Country Link
US (1) US20180129914A1 (ja)
JP (1) JP2017010255A (ja)
CN (1) CN107710277A (ja)
WO (1) WO2016208260A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102615070B1 (ko) * 2016-10-12 2023-12-19 삼성전자주식회사 디스플레이 장치, 및 그 제어방법
US10909599B2 (en) * 2018-03-08 2021-02-02 Capital One Services, Llc Systems and methods for car shopping using messaging framework
JP7368074B2 (ja) * 2018-03-28 2023-10-24 日本光電工業株式会社 挿管装置
WO2020075287A1 (ja) * 2018-10-12 2020-04-16 オリンパス株式会社 演算処理装置
TWI823478B (zh) * 2022-07-18 2023-11-21 新加坡商鴻運科股份有限公司 人工智慧之動作管理方法、電子設備及存儲介質

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012007376A (ja) * 2010-06-24 2012-01-12 Lixil Corp 自動水栓装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4442119B2 (ja) * 2003-06-06 2010-03-31 オムロン株式会社 画像認識装置および画像認識方法、並びに、画像認識装置のティーチング装置およびティーチング方法
JP4499527B2 (ja) * 2004-10-19 2010-07-07 オリンパス株式会社 画像処理装置、画像記録装置、及び画像処理方法
US7949186B2 (en) * 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
JP4757116B2 (ja) * 2006-06-30 2011-08-24 キヤノン株式会社 パラメータ学習方法及びその装置、パターン識別方法及びその装置、プログラム
JP5683882B2 (ja) * 2009-10-15 2015-03-11 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5637373B2 (ja) * 2010-09-28 2014-12-10 株式会社Screenホールディングス 画像の分類方法、外観検査方法および外観検査装置
CN103426156A (zh) * 2012-05-15 2013-12-04 中国科学院声学研究所 一种基于svm分类器的sas图像分割方法及系统
JP5880454B2 (ja) * 2013-01-11 2016-03-09 富士ゼロックス株式会社 画像識別装置及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012007376A (ja) * 2010-06-24 2012-01-12 Lixil Corp 自動水栓装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KEIJI YANAI: "Generic Object Recognition", IEICE TECHNICAL REPORT, vol. 109, no. 306, 19 November 2009 (2009-11-19), pages 89 - 96 *

Also Published As

Publication number Publication date
JP2017010255A (ja) 2017-01-12
CN107710277A (zh) 2018-02-16
US20180129914A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
US20220261615A1 (en) Neural network devices and methods of operating the same
WO2016208260A1 (ja) 画像認識装置および画像認識方法
CN109919311B (zh) 生成指令序列的方法、执行神经网络运算的方法和装置
US20200074288A1 (en) Convolution operation processing method and related product
US9411726B2 (en) Low power computation architecture
CN112214726B (zh) 运算加速器
US20200327079A1 (en) Data processing method and device, dma controller, and computer readable storage medium
EP3855367A1 (en) Operation accelerator, processing method, and related device
JP5417368B2 (ja) 画像識別装置及び画像識別方法
US20200327078A1 (en) Data processing method and device, dma controller, and computer readable storage medium
CN108681773B (zh) 数据运算的加速方法、装置、终端及可读存储介质
US20200218777A1 (en) Signal Processing Method and Apparatus
US20200394516A1 (en) Filter processing device and method of performing convolution operation at filter processing device
KR20190013162A (ko) 컨볼루션 뉴럴 네트워크를 위한 하드웨어 가속기 및 컨볼루션 연산량 감소 방법
CN110309912B (zh) 数据存取方法、装置、硬件加速器、计算设备、存储介质
KR102442055B1 (ko) 전자 장치 및 그 제어 방법
US20220043630A1 (en) Electronic device and control method therefor
EP3852015A1 (en) Operational accelerator and compression method
WO2019127538A1 (zh) 数据处理方法、设备、dma控制器及计算机可读存储介质
US11669736B2 (en) Executing neural networks on electronic devices
US20190095782A1 (en) Calculation device for and calculation method of performing convolution
US11741349B2 (en) Performing matrix-vector multiply operations for neural networks on electronic devices
US11663453B2 (en) Information processing apparatus and memory control method
CN113821471A (zh) 神经网络的处理方法和电子装置
CN111027682A (zh) 神经网络处理器、电子设备及数据处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814031

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16814031

Country of ref document: EP

Kind code of ref document: A1