WO2019167303A1 - 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び、画像認識プログラム - Google Patents

画像データ生成装置、画像認識装置、画像データ生成プログラム、及び、画像認識プログラム Download PDF

Info

Publication number
WO2019167303A1
WO2019167303A1 PCT/JP2018/028607 JP2018028607W WO2019167303A1 WO 2019167303 A1 WO2019167303 A1 WO 2019167303A1 JP 2018028607 W JP2018028607 W JP 2018028607W WO 2019167303 A1 WO2019167303 A1 WO 2019167303A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
time
data generation
image
recognition
Prior art date
Application number
PCT/JP2018/028607
Other languages
English (en)
French (fr)
Inventor
英夫 山田
竜弥 村松
雅聡 柴田
修一 榎田
夕登 甲斐
Original Assignee
株式会社エクォス・リサーチ
国立大学法人九州工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エクォス・リサーチ, 国立大学法人九州工業大学 filed Critical 株式会社エクォス・リサーチ
Priority to EP18907801.7A priority Critical patent/EP3761264A1/en
Priority to CN201880063957.7A priority patent/CN111183453A/zh
Priority to US16/652,508 priority patent/US20200242425A1/en
Publication of WO2019167303A1 publication Critical patent/WO2019167303A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Definitions

  • the present invention relates to an image data generating device, an image recognizing device, an image data generating program, and an image recognizing program, for example, a device that recognizes various images of a pedestrian or the like using a CNN.
  • Non-Patent Document 1 performs convolution processing by applying a convolution filter consisting of two-dimensional space and one-dimensional time to moving image data.
  • Non-Patent Document 1 has a problem in that a calculation cost increases and a large-scale computer is required because a three-dimensional convolution filter is repeatedly used for moving image data.
  • the technique described in Non-Patent Document 2 since a two-dimensional convolution filter is used, the calculation cost can be reduced.
  • there is no information relevance between pixels of adjacent images in a tile shape, and the recognition accuracy of the object There was a problem that decreased.
  • the object of the present invention is to recognize an image of a dynamic recognition target.
  • time-series space information acquisition means for acquiring time-series space information in which the position of the recognition target in the space is recorded as time passes, and the acquired time-series space information
  • Data value acquisition means for scanning a plurality of times in different scanning paths in a predetermined direction to acquire a column of data values for each scanning path in the predetermined direction
  • An image data generation apparatus comprising: image data generation means for generating image data arranged corresponding to another direction for each scanning path; and output means for outputting the generated image data.
  • the predetermined direction is a spatial direction of the time-series space information
  • the other direction is a time direction of the time-series space information.
  • An image recognition apparatus characterized by comprising: (6)
  • the invention described in claim 6 is characterized in that the feature quantity acquisition means acquires feature quantities by convolution processing, and the integration means integrates the feature quantities using a neural network.
  • a time-series space information acquisition function for acquiring time-series space information in which a position of a recognition target in space is recorded as time passes, and the acquired time-series space information
  • a data value acquisition function that scans a plurality of times in different scanning paths in a predetermined direction to acquire a column of data values for each of the scanning paths in the predetermined direction, and the column of acquired data values in the time-series space information
  • an image data generation program for realizing an image data generation function for generating image data arranged corresponding to another direction for each scanning path and an output function for outputting the generated image data by a computer.
  • the spatio-temporal image recognition apparatus 1 (FIG. 1) generates spatio-temporal image data that converts moving image data 4 into spatio-temporal image data that is two-dimensional image data while maintaining spatial information and temporal information.
  • the units 2a, 2b, and 2c are provided, and these scan the moving image data 4 with respect to one frame image data 6 through different scanning paths.
  • the spatiotemporal image data generation units 2 a, 2 b, and 2 c generate spatiotemporal image data 8 a, 8 b, and 8 c scanned by different scanning paths and output them to the image recognition unit 3.
  • the image recognizing unit 3 convolves the spatio-temporal image data 8a, 8b, and 8c individually to generate two-dimensional feature maps 60a, 60b, and 60c (described later), and then integrates these to analyze with a neural network.
  • the image recognition result is output.
  • the spatio-temporal image recognition apparatus 1 is an image using a moving image by a two-dimensional CNN (Convolutional Neural Network) that receives a plurality of spatio-temporal image data 8a, 8b, and 8c generated by different scanning paths. Recognition can be performed.
  • CNN Convolutional Neural Network
  • FIG. 1 is a diagram for explaining the configuration of a spatiotemporal image recognition device 1 according to the present embodiment.
  • the spatio-temporal image recognition device 1 is mounted on a vehicle, for example, analyzes moving image data 4 output from a vehicle-mounted camera, and classifies the presence / absence of pedestrians outside the vehicle and the operating state (right upright, right walking, left upright) , Left walking, etc.).
  • the spatiotemporal image recognition device 1 includes spatiotemporal image data generation units 2 a, 2 b, 2 c that process moving image data 4 in parallel, and an image recognition unit 3.
  • spatio-temporal image data generation units 2a, 2b, and 2c are not particularly distinguished, they are simply referred to as the spatio-temporal image data generation unit 2, and the other components are also described in the same manner.
  • the spatio-temporal image data generation unit 2 will describe moving image data 4 that is three-dimensional information (two dimensions in the spatial direction and one dimension in the temporal direction) that records temporal changes in the spatial state of the recognition target, which will be described later.
  • the image data generating apparatus converts the image data into two-dimensional image data by developing the image one-dimensionally in the spatial direction and arranging it in the time direction. Since the two-dimensional image data represents spatial and temporal information, the inventors have named it spatio-temporal image data.
  • the spatio-temporal image data 8 (see FIG. 2) is two-dimensional image data
  • the image recognition technology of the two-dimensional image data can be applied to the moving image data 4 in which spatial information and temporal information are recorded. Therefore, the calculation cost can be drastically reduced as compared with the conventional technique using a three-dimensional filter for the moving image data 4.
  • the spatiotemporal image data generation units 2a and 2b may perform a Hilbert scan, and the spatiotemporal image data generation unit 2c may combine different scanning methods, such as performing a raster scan.
  • three types of spatio-temporal image data 8 are combined. However, this is an example, and two types of spatio-temporal image data 8 may be combined, or more types of spatio-temporal image data 8 may be combined. You may combine.
  • the image recognition unit 3 individually extracts feature amounts from the spatio-temporal image data 8 generated by the spatio-temporal image data generation units 2a, 2b, and 2c, integrates them and performs image recognition, and outputs an image recognition result.
  • a CNN Convolutional Neural Network
  • CNN is an algorithm that performs image recognition processing by artificial intelligence using deep learning, and is called a convolutional neural network.
  • CNN has been highly evaluated as an image recognition method for two-dimensional image data, and is widely used.
  • the normal CNN is configured to process one image data, but the image recognition unit 3 is configured to recognize the image by processing the three spatio-temporal image data 8 in an integrated manner.
  • the moving image data 4 is a set of still image data in which the frame image data 6 is arranged in a time series in the time direction (t-axis) according to the shooting time, and the total of two dimensions in the spatial direction and one dimension in the time direction is added.
  • the obtained three-dimensional data is a set of still image data in which the frame image data 6 is arranged in a time series in the time direction (t-axis) according to the shooting time, and the total of two dimensions in the spatial direction and one dimension in the time direction is added.
  • the obtained three-dimensional data is added.
  • the moving image data 4 functions as time-series space information in which the position of the recognition target in the space is recorded as time passes.
  • the spatiotemporal image data generation unit 2 reads a predetermined number of frame image data 6 sequentially sent from the camera in time series.
  • the spatio-temporal image data generation unit 2 includes time-series space information acquisition means for acquiring time-series space information from the camera.
  • time-series space information acquisition means for acquiring time-series space information from the camera.
  • six frame image data 6 from the first frame image data 6a to the latest frame image data 6f are read.
  • the frame image data 6 may be read every predetermined number or at random, or frame dropping may occur until the image recognition accuracy is kept within an allowable range.
  • the order of reading the frame image data 6 can be reversed. That is, the spatio-temporal image data generation unit 2 may read a predetermined number of frames in a time series from the latest to the past among the frame image data 6 sequentially sent from the camera. As an example of this case, six pieces of frame image data 6 from the latest frame image data 6f to the frame image data 6a in the past direction are read.
  • the spatio-temporal image data generation unit 2 reads the frame image data 6, first, the Hilbert curve (described later) in the spatial direction (the surface direction of the surface stretched by the x axis and the y axis) with respect to the frame image data 6 a. Is set in a stroke. Then, the spatio-temporal image data generation unit 2 scans and reads the pixel values of the pixels of the frame image data 6a along the Hilbert curve, and develops them into one data value column. This process is called Hilbert scan and will be described in detail later.
  • one-dimensional spatial image data 7a which is one-dimensional data in the spatial direction including spatial information, at the time when the frame image data 6a is captured is obtained.
  • the spatiotemporal image data generation unit 2 also converts the frame image data 6b to 6f into one-dimensional space image data 7b to 7f (not shown).
  • scanning along the Hilbert curve can make a two-dimensional image one-dimensional while maintaining the locality of the image as much as possible.
  • the spatiotemporal image data 8 is two-dimensional image data in which the direction of one side represents spatial information (spatial component) and the other side orthogonal to this represents temporal information (temporal component).
  • the spatiotemporal image data generation unit 2 converts the moving image data 4 that is three-dimensional time-series spatial data into spatial information and temporal information by developing the moving image data 4 by performing a Hilbert scan in the spatial direction. Is converted into spatiotemporal image data 8 which is two-dimensional image data.
  • the arrangement of the one-dimensional space image data 7 is set in time series order, but the order may be changed as long as image recognition is possible.
  • the above is the procedure in which the spatiotemporal image data generation unit 2 generates the spatiotemporal image data 8.
  • the spatiotemporal image recognition apparatus 1 includes three spatiotemporal image data generation units 2a, 2b, and 2c with different scanning paths. Therefore, one-dimensional spatial image data 7 and spatio-temporal image data 8 for each scanning path are generated from the moving image data 4 and output to the image recognition unit 3.
  • the spatiotemporal image recognition device 1 scans the time-series spatial information a plurality of times (in this example, three times) by scanning different times in a predetermined direction (in this example, the spatial direction).
  • Data value acquisition means for acquiring a sequence of data values for each scanning path in the direction, and the sequence of data values acquired thereby are arranged corresponding to other directions (in this example, the time direction) of time-series space information
  • Image data generating means for generating image data (in this example, time-series image data) for each scanning path, and output means for outputting the generated image data are provided.
  • the moving image data 4 is scanned in the spatial direction, and the one-dimensional data obtained as a result is arranged in the temporal direction.
  • the scanning is performed in the temporal direction.
  • the obtained one-dimensional data may be arranged in the spatial direction.
  • FIG. 3 is a diagram for explaining the Hilbert scan performed by the spatiotemporal image data generation unit 2.
  • the Hilbert scan is a process in which the Hilbert curve passing through each pixel is set in the frame image data 6 and the pixel values are read in a single stroke over the entire frame image data 6 by scanning along the Hilbert curve.
  • the Hilbert curve is a curve covering the entire space formed by combining the U-shaped curves as shown in FIG. 3A, and is a kind of so-called space filling curve.
  • Other space filling curves include the Peano curve.
  • the arrow line shown in the figure indicates the scanning direction.
  • the spatiotemporal image data generation unit 2 sets a space filling curve as a curve that repeats bending.
  • pixels 1, 2, 5, and 6 are localized in the region 27. These pixels are also localized in the region 28 in the one-dimensional spatial image data 26. Exist. Similarly, the pixels 3, 4, 7, 8 localized in the image data 24 are also localized in the one-dimensional space image data 26.
  • Hilbert scan is used in this way, two-dimensional data can be made one-dimensional while maintaining locality of pixel values as much as possible.
  • the Hilbert curve is a curve suitable as a scanning line for scanning the frame image data 6.
  • the curve for scanning the frame image data 6 is not limited to the Hilbert curve, and another space filling curve such as a Peano curve or a non-space filling curve may be used.
  • FIG. 4B shows a scanning start point and a scanning end point of the Hilbert scan performed by the spatiotemporal image data generation unit 2b.
  • the spatiotemporal image data generation unit 2b sets the upper right end and lower right end of the frame image data 6 as the scan start point and the scan end point, respectively, and passes through all the pixels of the frame image data 6 ( (Not shown) is set with a Hilbert curve.
  • FIG. 4C shows a scanning start point and a scanning end point of the Hilbert scan performed by the spatiotemporal image data generation unit 2c.
  • the spatio-temporal image data generation unit 2c sets a scanning start point and a scanning end point by shifting by one pixel at the center of the left end of the frame image data 6, and scans so as to pass through all the pixels of the frame image data 6.
  • a route (not shown) is set with a Hilbert curve.
  • FIG. 5 is a diagram for explaining a modified example of the scanning path of the Hilbert scan performed by the spatiotemporal image data generation units 2a, 2b, and 2c.
  • the case where the Hilbert scan of the different scanning paths is performed on the same frame image data 6 has been described.
  • a plurality of (three in accordance with the embodiment) clipping images 6aa, 6ab,... are randomly clipped from one frame image data 6a, and the same is applied to the clipping images 6aa,.
  • Perform a Hilbert scan of the scan path That is, even when the Hilbert scan is performed with the same scan start point and scan end point set, the scanning path is changed for the original frame image data 6a by scanning a clipped image in a different area. That's right.
  • the frame image data 6a is composed of 64 ⁇ 32 pixels as an example.
  • the spatio-temporal image data generation unit 2 randomly (arbitrarily) sets an area smaller than this size in the frame image data 6a, and uses clipping images 6aa, 6ab... Formed in the area from the frame image data 6a. Extract.
  • the size of the clipping image 6aa,... Is 60 ⁇ 30 as an example.
  • the spatio-temporal image data generation unit 2 When a Hilbert curve is set for an image, the size of one side needs to be 2 to the power of n (n is a natural number). Therefore, as shown in FIG. 5B, the spatio-temporal image data generation unit 2 performs a process called padding for adding appropriate pixels around the clipping image 6aa, and the size of the 64 ⁇ 32 clipping image 6aa. To restore. The spatio-temporal image data generation unit 2 sets and scans the restored clipping image 6aa with a Hilbert curve, skips the pixel values of the added pixels without reading them into the memory, and generates the one-dimensional space image data 7a. .
  • the spatio-temporal image data generation unit 2 clips the frame image data 6b to 6f in an arbitrary range to generate clipping images 6ba, 6bb,..., 6fa, 6fb, 6fc, and after padding them.
  • One-dimensional spatial image data 7ba, 7bb,... ⁇ 7fa, 7fb, 7fc are generated by Hilbert scanning.
  • the spatio-temporal image data generation unit 2 arranges the one-dimensional spatial image data 7ba, 7bb,... ⁇ 7fa, 7fb, 7fc in chronological order to generate spatio-temporal image data 8a, 8b,.
  • the clipping image 6aa... Is set in an arbitrary area for each frame image data 6, but may be set according to some regularity.
  • the spatio-temporal image data generation units 2a, 2b, and 2c randomly clip the frame image data 6a to generate clipping images 6aa, 6ab, and 6ac (not shown, the same applies hereinafter).
  • the j-th spatio-temporal image data generation unit 2j (2a, 2b, 2c) represents a clipping image generated by clipping the i-th frame image data 6i and then padding it as a clipping image 6ij.
  • the one-dimensional spatial image data 7 is displayed using ij.
  • the spatio-temporal image data generation units 2a, 2b, and 2c set the same scanning path for the clipping images 6aa, 6ab, and 6ac, respectively, and perform Hilbert scanning. Although the scanning path is the same, the scanning range for the original frame image data 6 is different due to clipping, so that the spatio-temporal image data generation units 2a, 2b, and 2c store different one-dimensional spatial image data 7aa, 7ab, and 7ac. Generate.
  • the spatiotemporal image data generation unit 2a generates spatiotemporal image data 8a from the one-dimensional spatial image data 7aa to 7fa
  • the spatiotemporal image data generation unit 2b generates a spatiotemporal image from the one-dimensional spatial image data 7ab to 7fb
  • Data 8b is generated
  • the spatiotemporal image data generation unit 2c generates spatiotemporal image data 8c from the one-dimensional spatial image data 7ac to 7fc.
  • the spatio-temporal image data generation units 2a, 2b, and 2c can generate spatio-temporal image data 8a, 8b, and 8c that are Hilbert scanned by different scanning paths.
  • the process of clipping the frame image data 6 is used to reduce delocalization of local information due to the Hilbert scan, as described below. That is, the Hilbert scan can generate the spatiotemporal image data 8 while maintaining the locality of the pixels in the frame image data 6 as much as possible. However, not all of the locality is preserved, and there are some cases where localized pixels are separated.
  • the spatio-temporal image data generation unit 2 can change the curve setting condition by changing the curve setting range for each frame image data even by clipping.
  • Data augmentation is performed for both the moving image data 4 and the moving image data 4 for pre-learning.
  • the spatio-temporal image data generation units 2a, 2b, and 2c individually clip the frame image data 6 at random, and set different scanning start points and scanning end points, respectively.
  • FIG. 6 conceptually shows the configuration of the CNN 30.
  • the CNN 30 learns in advance, as classification classes, various modes that a pedestrian can take, such as right upright, right walk, left upright, left walk, and so on. Then, the CNN 30 reads the two-dimensional image data, recognizes from which classification class the pedestrian's aspect belongs, and outputs the result.
  • the CNN 30 is configured by combining the feature map generation layer 18 and the total coupling layer 17.
  • the feature map generation layer 18 is formed by laminating the convolution layer 11, the pooling layer 12, the convolution layer 13, the pooling layer 14, the convolution layer 15, and the pooling layer 16 from the input side, and all the layers are downstream of the feature map generation layer 18.
  • a bonding layer 17 is disposed.
  • the convolution layer 11 performs filtering by sliding a two-dimensional filter on the image with respect to the input two-dimensional image data (in this embodiment, the spatio-temporal image data 8 corresponds to the two-dimensional image data). This is a layer for extracting the characteristic grayscale structure, and performs processing corresponding to frequency analysis.
  • the pooling layer 12 reduces the data by down-sampling the data while retaining the features extracted by the convolution layer 11. Since the pedestrian moves dynamically, the photographing position in the frame image data 6 is shifted. However, the processing of the pooling layer 12 can absorb the shift of the position of the spatial feature representing the pedestrian. As a result, the robustness of the image recognition accuracy against the spatial displacement can be enhanced.
  • the total connection layer 17 is a general neural network including an input layer 51, an intermediate layer 52, and an output layer 53.
  • the two-dimensional feature map 60 is developed in a one-dimensional manner to perform a process such as regression analysis. is there.
  • the output layer 53 includes output units according to classification classes such as right upright, right walk, left upright, left walk,..., For example, right upright ⁇ 5%, right walk ⁇ 85%, left upright ⁇
  • the image recognition result 54 is output as% for each classification class, such as 2%,.
  • the image recognizing unit 3 performs the regression analysis processing after performing the extraction of the feature of the image and the absorption of the positional deviation three times, and recognizes the image of the pedestrian mode.
  • the values of the two-dimensional filters of the convolution layers 11, 13, and 15 and the parameters of the total coupling layer 17 are tuned through learning. Learning is performed by preparing a large number of two-dimensional image data for each classification class, inputting the data into the CNN 30, and backpropagating the result.
  • FIG. 7 is a diagram for explaining the image recognition unit 3.
  • the image recognition unit 3 extends the function of the CNN 30 so as to integrate image recognition processing using the spatio-temporal image data generation units 2a, 2b, and 2c, and functions as an image recognition device.
  • three types of integration methods of a full connection method, a class score average method, and an SVM method are adopted, and the image recognition accuracy of each is evaluated by experiments.
  • FIG. 7A is a diagram showing a network structure of a fully coupled system.
  • the image recognition unit 3 includes feature map generation layers 18a, 18b, and 18c for each of the spatiotemporal image data 8a, 8b, and 8c, and the spatiotemporal image data 8a from the spatiotemporal image data generation units 2a, 2b, and 2c, respectively.
  • 8b, 8c are received to generate two-dimensional feature maps 60a, 60b, 60c.
  • the image recognition unit 3 obtains a plurality of image data having different scanning paths, and a feature quantity obtaining unit that individually obtains feature quantities to be recognized from the plurality of image data by convolution processing. It has.
  • the image recognition unit 3 When the image recognition unit 3 generates the two-dimensional feature maps 60a, 60b, and 60c, the two-dimensional feature maps 60a, 60b, and 60c are vectorized (that is, the components are arranged in a line) and fully combined (connected) to form one two-dimensional feature map. 60 is generated and input to the input layer 51.
  • the intermediate layer 52 analyzes the integrated two-dimensional feature map 60 using a neural network, and the output layer 53 outputs an image recognition result obtained by the analysis.
  • the image recognition unit 3 includes an integration unit that integrates the individual feature amounts of the two-dimensional feature maps 60a, 60b, and 60c and outputs a recognition target recognition result.
  • FIG. 7B is a diagram showing a network structure of the class score averaging method.
  • the image recognition unit 3 includes a feature map generation layer 18a to an output layer 53a, a feature map generation layer 18b to an output layer 53b, and a feature map generation layer 18c to an output layer 53c for each of the spatiotemporal image data 8a, 8b, and 8c.
  • an image recognition result is calculated for each of the spatio-temporal image data 8a, 8b, and 8c.
  • the image recognition unit 3 further includes an average value output layer 55, and averages and outputs the image recognition results output by the output layers 53a, 53b, and 53c for each classification class.
  • the average value output layer 55 integrates the image recognition results based on the spatio-temporal image data 8a, 8b, and 8c by the averaging process, and sets the obtained average value as the final image recognition result.
  • FIG. 7C is a diagram showing a network structure of the SVM method.
  • the image recognition unit 3 includes a feature map generation layer 18a to an intermediate layer 52a, a feature map generation layer 18b to an intermediate layer 52b, and a feature map generation layer 18c to an intermediate layer 52c for each of the spatio-temporal image data 8a, 8b, and 8c. .
  • the image recognition unit 3 includes an SVM layer 57 connected to the output units of the intermediate layers 52a, 52b, and 52c.
  • the SVM layer 57 is a layer that performs recognition by SVM (Support Vector Machine).
  • the SVM is widely used as a discriminator.
  • the SVM layer 57 is configured so that the spatiotemporal image data 8a, 8b, and 8c are integrated and input by concatenation, and the SVM layer 57 uses this to identify a recognition target. Then, the output layer 53 outputs the identification result for each classification class.
  • the inventor of the present application made a comparative evaluation on the above three types of integration methods.
  • the average correct answer rate was all combined method ⁇ 88.9%, class score average method ⁇ 85.8%, SVM method ⁇ 86.3%, and the correct answer rate of the all combined method was the highest.
  • the correct answer rate at the time of using the single spatiotemporal image data 8 shown in FIG. 6 was 83.6%, and the correct answer rate was higher than any of these integration methods. From the above experiment, it was found that the image recognition ability is improved by using a plurality of scanning paths in combination.
  • the image recognition unit 3 performs image recognition by the CNN 30, but this does not limit the image recognition method. It is also possible to adopt an image recognition method using other feature quantities such as a Co-ocurrence HOG feature quantity or an MR-CoHOOG (Multi Resolution CoHOG) feature quantity.
  • a Co-ocurrence HOG feature quantity or an MR-CoHOOG (Multi Resolution CoHOG) feature quantity.
  • MR-CoHOOG Multi Resolution CoHOG
  • FIG. 8 is a diagram illustrating an example of a hardware configuration of the spatiotemporal image recognition apparatus 1.
  • the spatio-temporal image recognition device 1 is configured for in-vehicle use, the spatio-temporal image recognition device 1 is mounted on a mobile body of another form such as an aircraft or a ship, or mounted on a mobile terminal such as a smartphone, and further, a personal computer. It can be mounted on a stationary device such as.
  • the spatio-temporal image recognition apparatus 1 is configured by connecting a CPU 41, a ROM 42, a RAM 43, a storage device 44, a camera 45, an input unit 46, an output unit 47, and the like through a bus line.
  • the CPU 41 is a central processing unit and operates according to the spatio-temporal image recognition program stored in the storage device 44 to perform the above-described pedestrian image recognition.
  • the ROM 42 is a read-only memory and stores basic programs and parameters for operating the CPU 41.
  • the RAM 43 is a readable / writable memory, and provides a working memory when the CPU 41 generates spatiotemporal image data 8 from the moving image data 4 and further recognizes a pedestrian from the spatiotemporal image data 8.
  • the storage device 44 is configured using a large-capacity storage medium such as a hard disk, and stores a spatiotemporal image recognition program.
  • the spatiotemporal image recognition program is a program for causing the CPU 41 to function as the spatiotemporal image data generation unit 2 and the image recognition unit 3.
  • the camera 45 is an in-vehicle camera that captures moving images outside the vehicle, and outputs the frame image data 6 at a predetermined frame rate.
  • the input unit 46 includes operation buttons for operating the spatio-temporal image recognition apparatus 1, and the output unit 47 includes a display that displays a setting screen of the spatio-temporal image recognition apparatus 1.
  • the spatio-temporal image recognition device 1 is an in-vehicle device, but the camera 45 is installed in the vehicle, the moving image is transmitted to the server by network communication, the image is recognized by the server, and the recognition result is transmitted to the vehicle. It can also be configured. Further, the spatiotemporal image data generation unit 2 is mounted on a vehicle, the image recognition unit 3 is realized by a server, and the spatiotemporal image data generation unit 2 and the image recognition unit 3 are connected by communication. You can also.
  • FIG. 9 is a flowchart for explaining the generation processing procedure of the spatiotemporal image data 8 performed by the spatiotemporal image data generation unit 2a.
  • the following processing is performed by the spatiotemporal image data generation unit 2a configured by the CPU 41 according to the spatiotemporal image recognition program.
  • the camera 45 captures the outside of the vehicle and sequentially outputs the moving image data 4.
  • the CPU 41 reads Q moving image frames (step 5). That is, the CPU 41 reads a predetermined number Q (for example, 6) of frame image data 6 in the output moving image data 4 into the RAM 43 in the order of output.
  • Q for example, 6
  • the CPU 41 sets the parameter i to 0 and stores it in the RAM 43 (step 10). Then, the CPU 41 reads the i-th frame image data 6 from the RAM 43, generates a clipping image 6ij from this, and stores it in the RAM 43 (step 15). A region for generating the clipping image 6ij from the frame image data 6 generates a random number, and is determined at random based on this.
  • the CPU 41 pads the clipping image 6ij to restore the size, and stores this in the RAM 43. Then, the CPU 41 sets a Hilbert curve to the clipping image 6ij stored in the RAM 43 and performs a Hilbert scan (step 20), and generates one-dimensional space image data 7 (step 25).
  • the CPU 41 increments i to 1 stored in the RAM 43 (step 35), and then determines whether i is less than Q (step 40). If i is less than Q (step 40; Y), the CPU 41 returns to step 15 and performs the same processing on the next frame image data 6.
  • FIG. 10 is a flowchart for explaining a procedure of image recognition processing performed by the image recognition unit 3.
  • the following processing is performed by the image recognition unit 3 configured by the CPU 41 according to the spatiotemporal image recognition program. Note that functional units corresponding to the processing of the CPU 41 are shown in parentheses.
  • the CPU 41 (feature map generation layer 18a) reads the spatiotemporal image data 8a output from the spatiotemporal image data generation unit 2a from the RAM 43 (step 105).
  • the CPU 41 performs a convolution process on the read spatiotemporal image data 8a, generates a two-dimensional feature map 60a, and stores it in the RAM 43 (step 110).
  • the CPU 41 performs similar processing on the spatiotemporal image data 8 b and 8 c to generate two-dimensional feature maps 60 b and 60 c and store them in the RAM 43.
  • the CPU 41 determines whether or not the two-dimensional feature maps 60a, 60b, and 60c are prepared in the RAM 43. If there is a two-dimensional feature map 60 that has not yet been generated (step 115; N), the process returns to step 105. On the other hand, when the two-dimensional feature maps 60a, 60b, and 60c are prepared (step 115; Y), the CPU 41 (all coupling layer 17) reads out from the RAM 43 and combines them to form one two-dimensional feature map 60. The data is input to a neural network composed of the input layer 51 to the output layer 53 (step 120).
  • the CPU 41 outputs the image recognition result to a predetermined output destination (step 125).
  • the output destination is, for example, a vehicle control system, and performs braking of the vehicle speed when a pedestrian is present in front of the vehicle.
  • FIG. 11 is a diagram for explaining a modification of the embodiment.
  • the spatio-temporal image recognition device 1 is provided with the spatio-temporal image data generation units 2a, 2b, and 2c for each scanning path.
  • Spatiotemporal image data 8a, 8b, and 8c are generated and output to the image recognition unit 3 by performing Hilbert scanning of the image data 6 three times along different scanning paths.
  • the spatio-temporal image data generation unit 2 sequentially performs Hilbert scanning of different scanning paths on the frame image data 6.
  • the data value acquisition unit, the image data generation unit, and the output unit sequentially process the processes for different scanning paths.
  • the spatio-temporal image recognition apparatus 1 has a feature that a plurality of spatio-temporal image data generation units 2 are installed and performs parallel processing, and thus has a high processing speed, while it requires hardware resources accordingly.
  • the spatio-temporal image recognition apparatus 1 according to the modification is characterized in that although the processing speed is slow due to sequential processing, the demand for hardware resources is small. Which one to select can be determined according to the architecture of the computer on which the spatio-temporal image recognition apparatus 1 is mounted and the purpose of use.
  • Spatial information and temporal information included in moving image data can be expressed by two-dimensional spatiotemporal image data.
  • a plurality of spatiotemporal image data can be generated from the same moving image data 4 by applying a plurality of scanning methods to the moving image data 4 (time series image).
  • Feature quantities can be individually extracted from a plurality of spatiotemporal image data.
  • the correct answer rate can be increased by recognizing images by integrating feature amounts individually extracted from a plurality of spatiotemporal image data.
  • SYMBOLS 1 Spatiotemporal image recognition apparatus 2 Spatiotemporal image data generation part 3 Image recognition part 4 Movie data 4 6 Frame image data 6ij Clipping image 7 One-dimensional spatial image data 8 Spatio-temporal image data 11, 13, 15 Convolutional layers 12, 14, 16 Pooling layer 17 Fully connected layer 18 Feature map generation layer 20, 24 Image data 21, 25 Hilbert Curves 22 and 26 One-dimensional spatial image data 27 and 28 Region 30 CNN 41 CPU 42 ROM 43 RAM 44 storage device 45 camera 46 input unit 47 output unit 51 input layer 52 intermediate layer 53 output layer 55 average value output layer 57 SVM layer 60 two-dimensional feature map

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

動的な対象を画像認識することを目的とする。　時空間画像認識装置１は、空間情報と時間情報を保持したまま動画データ４を時空間画像データに変換する時空間画像データ生成部２ａ、２ｂ、２ｃを備えており、これらは、それぞれ異なった走査経路で動画データ４をスキャンする。これにより、時空間画像データ生成部２ａ、２ｂ、２ｃは、それぞれ異なる走査経路でスキャンした時空間画像データ８ａ、８ｂ、８ｃ（図示せず）を生成して画像認識部３に出力する。画像認識部３は、時空間画像データ８ａ、８ｂ、８ｃを個別に畳み込み処理して２次元特徴マップ６０ａ、６０ｂ、６０ｃを生成した後、これらを統合してニューラルネットワークで解析し、画像認識結果を出力する。

Description

画像データ生成装置、画像認識装置、画像データ生成プログラム、及び、画像認識プログラム
　本発明は、画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラムに関し、例えば、ＣＮＮを用いて歩行者等の各種画像を認識するものに関する。
　近年、人工知能を用いた深層学習が盛んに研究され、ＣＮＮを用いた２次元画像の画像認識の分野において大きな成果が報告されている。
　動画は２次元画像であるフレーム画像を時系列的に並べたものであるため、２次元画像に対する深層学習の技術を動画に適用したいとの要望が高まっている。
　このような２次元の画像認識技術を用いて動画を認識する技術として非特許文献１の「３Ｄ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　ｆｏｒ　Ｈｕｍａｎ　Ａｃｔｉｏｎ　Ｒｅｃｏｇｎｉｔｉｏｎ」や非特許文献２の「フレーム連結画像を用いたＣＮＮによるシーン認識」がある。
　非特許文献１の技術は、動画データに対して空間２次元と時間１次元から成る畳み込みフィルタを適用して、畳み込み処理を行うものである。
　非特許文献２の技術は、対象の動き（発話シーン）を撮影した一連のフレーム画像をタイル状に配置して連結することにより、１枚の２次元の画像で対象の経時変化を表すものである。これをＣＮＮによる画像認識装置に投入してシーンの認識を行う。
　しかし、非特許文献１の技術では、動画データに対して３次元の畳み込みフィルタを繰り返し使用するため、計算コストが多くなり、大規模な計算機を要するという問題があった。
　非特許文献２記載の技術では、２次元の畳み込みフィルタを用いるため、計算コストを低減することができるが、タイル状に隣接する画像の画素間には情報の関連性がなく、対象の認識精度が低下するという問題があった。
ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　Ｖｏｌ．３５，　ｐｐ．２２１－２３１，２０１３，「３Ｄ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　ｆｏｒ　Ｈｕｍａｎ　Ａｃｔｉｏｎ　Ｒｅｃｏｇｎｉｔｉｏｎ」 ＭＩＲＵ２０１６　第１９回　画像の認識・理解シンポジウム　ＰＳ１－２７「フレーム連結画像を用いたＣＮＮによるシーン認識」
　本発明は、動的な認識対象を画像認識することを目的とする。
（１）請求項１に記載の発明では、空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報を取得する時系列空間情報取得手段と、前記取得した時系列空間情報を所定の方向に異なる走査経路で複数回走査して当該所定の方向における前記走査経路ごとのデータ値の列を取得するデータ値取得手段と、前記取得したデータ値の列を前記時系列空間情報の他の方向に対応して配列した画像データを前記走査経路ごとに生成する画像データ生成手段と、前記生成した画像データを出力する出力手段と、を具備したことを特徴とする画像データ生成装置を提供する。
（２）請求項２に記載の発明では、前記所定の方向が、前記時系列空間情報の空間方向であり、前記他の方向は、前記時系列空間情報の時間方向であることを特徴とする請求項１に記載の画像データ生成装置を提供する。
（３）請求項３に記載の発明では、前記データ値取得手段、前記画像データ生成手段、及び、前記出力手段が、前記異なる走査経路ごとに設けられており、これらの手段は、前記異なる走査経路ごとに前記時系列空間情報を並列処理することを特徴とする請求項１、又は請求項２に記載の画像データ生成装置を提供する。
（４）請求項４に記載の発明では、前記データ値取得手段、前記画像データ生成手段、及び、前記出力手段が、前記異なる走査経路ごとの処理を逐次処理することを特徴とする請求項１、又は請求項２に記載の画像データ生成装置を提供する。
（５）請求項５に記載の発明では、請求項１から請求項４までのうちの何れか１の請求項に記載の画像データ生成装置から、走査経路の異なる複数の画像データを取得する画像データ取得手段と、前記取得した複数の画像データから認識対象の特徴量を個別に取得する特徴量取得手段と、前記取得した個別の特徴量を統合して認識対象の認識結果を出力する統合手段と、を具備したことを特徴とする画像認識装置を提供する。
（６）請求項６に記載の発明では、前記特徴量取得手段が、畳み込み処理によって特徴量を取得し、前記統合手段は、ニューラルネットワークを用いて前記特徴量を統合する、ことを特徴とする請求項５に記載の画像認識装置を提供する。
（７）請求項７に記載の発明では、空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報を取得する時系列空間情報取得機能と、前記取得した時系列空間情報を所定の方向に異なる走査経路で複数回走査して当該所定の方向における前記走査経路ごとのデータ値の列を取得するデータ値取得機能と、前記取得したデータ値の列を前記時系列空間情報の他の方向に対応して配列した画像データを前記走査経路ごとに生成する画像データ生成機能と、前記生成した画像データを出力する出力機能と、をコンピュータで実現する画像データ生成プログラムを提供する。
（８）請求項８に記載の発明では、請求項１から請求項４までのうちの何れか１の請求項に記載の画像データ生成装置から、走査経路の異なる複数の画像データを取得する画像データ取得機能と、前記取得した複数の画像データから認識対象の特徴量を個別に取得する特徴量取得機能と、前記取得した個別の特徴量を統合して認識対象の認識結果を出力する統合機能と、をコンピュータで実現する画像認識プログラムを提供する。
　本発明によれば、空間的な情報と時間的な情報を併せ持つ時空間画像データを生成することにより、動的な認識対象を画像認識することができる。
時空間画像認識装置の構成を説明するための図である。 時空間画像データの構成を説明するための図である。 ヒルベルトスキャンを説明するための図である。 ヒルベルトスキャンの走査経路を説明するための図である。 ヒルベルトスキャンの走査経路の変形例を説明するための図である。 ＣＮＮの構成を説明するための図である。 画像認識部を説明するための図である。 時空間画像認識装置のハードウェア的な構成の一例を示した図である。 時空間画像データ生成処理の手順を説明するためのフローチャートである。 画像認識処理の手順を説明するためのフローチャートである。 変形例を説明するための図である。
（１）実施形態の概要
　時空間画像認識装置１（図１）は、空間情報と時間情報を保持したまま動画データ４を２次元画像データである時空間画像データに変換する時空間画像データ生成部２ａ、２ｂ、２ｃを備えており、これらは、１枚分のフレーム画像データ６に対して、それぞれ異なった走査経路で動画データ４をスキャンする。
　これにより、時空間画像データ生成部２ａ、２ｂ、２ｃは、それぞれ異なる走査経路でスキャンした時空間画像データ８ａ、８ｂ、８ｃを生成して画像認識部３に出力する。
　画像認識部３は、時空間画像データ８ａ、８ｂ、８ｃを個別に畳み込み処理して２次元特徴マップ６０ａ、６０ｂ、６０ｃ（後述する）を生成した後、これらを統合してニューラルネットワークで解析し、画像認識結果を出力する。
　このように、時空間画像認識装置１は、異なる走査経路により生成された複数枚の時空間画像データ８ａ、８ｂ、８ｃを入力とする２次元ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）により動画像を用いた画像認識を行うことができる。
（２）実施形態の詳細
　図１は、本実施形態に係る時空間画像認識装置１の構成を説明するための図である。
　時空間画像認識装置１は、例えば、車両に搭載され、車載のカメラが出力した動画データ４を解析して車外に存在する歩行者の有無と動作状態の分類（右直立、右歩行、左直立、左歩行など）を画像認識する。
　時空間画像認識装置１は、動画データ４を並列処理する時空間画像データ生成部２ａ、２ｂ、２ｃ、及び画像認識部３を備えている。
　以下、時空間画像データ生成部２ａ、２ｂ、２ｃを特に区別しない場合は単に時空間画像データ生成部２と記すことにし、他の構成要素についても同様に記すことにする。
　時空間画像データ生成部２は、認識対象の空間的な状態の時間的変化を記録した３次元情報（空間方向２次元、時間方向１次元の計３次元）である動画データ４を、後述するように空間方向に１次元展開して時間方向に配列することにより、２次元画像データに変換する画像データ生成装置である。
　この２次元画像データは、空間的、及び時間的な情報を表しているため、本願発明人らにより時空間画像データと命名された。
　時空間画像データ８（図２参照）は、２次元画像データであるため、空間情報、及び時間情報を記録した動画データ４に対して２次元画像データの画像認識技術を適用できるようになる。そのため、動画データ４に対して３次元フィルタを用いた従来技術に比べて計算コストを劇的に低減することができる。
　時空間画像データ生成部２は、動画データ４のフレームを構成する静止画像データを所定の走査経路でスキャンすることにより２次元の空間情報を１次元のデータに展開するのであるが、時空間画像データ生成部２ａ、２ｂ、２ｃは、それぞれ異なる走査経路で静止画像データをスキャンし、これによって３種類の時空間画像データ８を生成する。
　本実施形態では、時空間画像データ生成部２ａ、２ｂ、２ｃは、走査経路の異なるヒルベルトスキャン（後述）を行うものとする。
　なお、時空間画像データ生成部２ａ、２ｂは、ヒルベルトスキャンを行い、時空間画像データ生成部２ｃは、ラスタスキャンを行うといったように、異なる方式の走査方法を組み合わせてもよい。
　また、本実施形態では、３種類の時空間画像データ８を組み合わせたが、これは一例であって、２種類の時空間画像データ８を組み合わせたり、更に多くの種類の時空間画像データ８を組み合わせてもよい。
　画像認識部３は、時空間画像データ生成部２ａ、２ｂ、２ｃが生成した時空間画像データ８から個別に特徴量を抽出した後、これらを統合して画像認識を行い、画像認識結果を出力する。
　本実施形態では、これらの処理に、一例としてＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いる。ＣＮＮは、深層学習を用いた人工知能によって画像認識処理を行うアルゴリズムであり、畳み込みニューラルネットワークと呼ばれている。ＣＮＮは、２次元画像データの画像認識方法として高い評価を得ており、広く利用されている。
　通常のＣＮＮは、１つの画像データを処理するように構成されているが、画像認識部３は、３つの時空間画像データ８を統合的に処理して画像認識するように構成されている。
　図２は、時空間画像データ８の構成を説明するための図である。
　図２（ａ）に示したように、カメラによって撮影された動画データ４は、時系列的に生成されたフレーム画像データ６ａ、６ｂ、…から構成されている。
　フレーム画像データ６は、ある瞬間において被写体（認識対象）を撮影した、空間方向の（ｘ、ｙ）成分を有する２次元の静止画像データである。
　動画データ４は、フレーム画像データ６を撮影時間に従って時間方向（ｔ軸とする）に時系列に順序づけて並べた静止画像データの集合であり、空間方向の２次元、時間方向の１次元を合計した３次元データとなる。
　ここで、動画データ４は、空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報として機能している。
　時空間画像データ生成部２は、カメラから逐次送られてくるフレーム画像データ６を時系列的に所定枚数分を読み込む。
　このように、時空間画像データ生成部２は、カメラより時系列空間情報を取得する時系列空間情報取得手段を備えている。
　ここでは、一例として最初のフレーム画像データ６ａから最新のフレーム画像データ６ｆまでの６枚のフレーム画像データ６を読み込むことにする。
　なお、画像認識精度が許容範囲内に保たれる限度まで、フレーム画像データ６を所定枚数ごとに、あるいは、ランダムに読み込んだり、または、コマ落ちが生じてもよい。
　なお、フレーム画像データ６を読み込む順番については、この逆も可能である。
　すなわち、時空間画像データ生成部２は、カメラから逐次送られてくるフレーム画像データ６のうち、最新のものから過去のものへ時系列的に所定枚数分を読み込むようにしてもよい。この場合の一例としては、最新のフレーム画像データ６ｆから過去方向のフレーム画像データ６ａまでの６枚のフレーム画像データ６を読み込むことになる。
　時空間画像データ生成部２は、これらのフレーム画像データ６を読み込むと、まず、フレーム画像データ６ａに対して空間方向（ｘ軸とｙ軸で張られる面の面方向）にヒルベルト曲線（後述）を一筆書き的に設定する。そして、時空間画像データ生成部２は、当該ヒルベルト曲線に沿ってフレーム画像データ６ａの画素の画素値をスキャン（走査）して読み取り、これらを１列のデータ値の列に展開する。この処理は、ヒルベルトスキャンと呼ばれ、詳細は後述する。
　フレーム画像データ６ａをヒルベルトスキャンすることにより、フレーム画像データ６ａを撮影した時点での、空間的情報を含む空間方向の１次元データである１次元空間画像データ７ａが得られる。
　時空間画像データ生成部２は、同様にして、フレーム画像データ６ｂ～６ｆも図示しない１次元空間画像データ７ｂ～７ｆに変換する。
　後述するように、ヒルベルト曲線は屈曲しているため、これに沿ってスキャンすると、画像の局所性を極力保持したまま２次元画像を１次元化することができる。
　次いで、時空間画像データ生成部２は、図１（ｂ）に示したように、１次元空間画像データ７ａ～７ｆを時間方向に（即ち撮影時間の順番に）時系列的に配列して画像認識用の時空間画像データ８を生成する。
　時空間画像データ８は、一辺の方向が空間的情報（空間成分）を表し、これに直交する他方の辺が時間的情報（時間成分）を表す２次元画像データである。
　このように、時空間画像データ生成部２は、動画データ４を空間方向にヒルベルトスキャンして展開することにより３次元の時系列空間データである動画データ４を、空間的情報、及び時間的情報を保持しつつ、２次元の画像データである時空間画像データ８に変換する。
　なお、ここでは１次元空間画像データ７の配列を時系列順としたが、画像認識が可能な範囲で順序を変更することも可能である。
　以上が、時空間画像データ生成部２が時空間画像データ８を生成する手順であるが、時空間画像認識装置１は、走査経路の異なる３つの時空間画像データ生成部２ａ、２ｂ、２ｃを備えているため、動画データ４から、走査経路ごとの１次元空間画像データ７や時空間画像データ８を生成して画像認識部３に出力する。
　このため、時空間画像認識装置１は、時系列空間情報を所定の方向（この例では、空間方向）に異なる走査経路で複数回走査して（この例では３回走査して）当該所定の方向における走査経路ごとのデータ値の列を取得するデータ値取得手段と、これによって取得したデータ値の列を時系列空間情報の他の方向（この例では、時間方向）に対応して配列した画像データ（この例では、時系列画像データ）を走査経路ごとに生成する画像データ生成手段と、当該生成した画像データを出力する出力手段とを備えている。
　また、時空間画像データ生成部２ａ、２ｂ、２ｃは、異なる走査経路ごとに設けられており、動画データ４を並列処理するため、上記のデータ値取得手段、画像データ生成手段、及び、出力手段は、当該異なる走査経路ごとに設けられており、これらの手段は、当該異なる走査経路ごとに時系列空間情報を並列処理している。
　なお、本実施形態では、動画データ４を空間方向にスキャンして、その結果得られた１次元データを時間方向に配列したが、これは、一例であって、時間方向にスキャンし、その結果得られた１次元データを空間方向に配列してもよい。
　本実施形態では、スキャン方法としてヒルベルトスキャンを用いるが、次に、これについて説明する。
　図３は、時空間画像データ生成部２が行うヒルベルトスキャンを説明するための図である。
　ヒルベルトスキャンは、フレーム画像データ６に各画素を通過するヒルベルト曲線を設定し、これに沿ってスキャンすることにより、フレーム画像データ６の全体に渡って画素値を一筆書き的に読み取る処理である。
　ヒルベルト曲線は、図３（ａ）に示したようなコの字型の曲線を組み合わせて形成される空間全体を覆う曲線であり、空間充填曲線と呼ばれるものの一種である。空間充填曲線には、この他にペアノ曲線などもある。図に示した矢線は、スキャンの方向を示している。
　このように、時空間画像データ生成部２は、屈曲を繰り返す曲線として空間充填曲線を設定している。
　図３（ｂ）に示したような、ｍ×ｍ（ｍ＝２）個の画素１～４が配置された画像データ２０の例では、これらの画素を通過するヒルベルト曲線２１を設定し、矢線の方向に画素値をスキャンして読み取った画素値を１列に並べると、画素１～画素４が順に並んだ１次元空間画像データ２２が得られる。
　図３（ｃ）に示したような、ｍ×ｍ（ｍ＝４）個の画素１～Ｇが配置された画像データ２４の例では、これらの画素を通過するヒルベルト曲線２５を設定し、矢線の方向に画素値をスキャンして読み取った画素値を１列に並べると、画素１～画素Ｇが順に並んだ１次元空間画像データ２６が得られる。
　更に、より画素の多い画像データも同様に、ヒルベルト曲線に従ってスキャンする。
　ところで、例えば、図３（ｃ）の画像データ２４では、領域２７に画素１、２、５、６が局在しているが、これらの画素は１次元空間画像データ２６においても領域２８に局在している。
　同様に、画像データ２４で局在している画素３、４、７、８も１次元空間画像データ２６で局在してまとまっている。
　このようにヒルベルトスキャンを用いると、画素値の局所性をできるだけ保持したまま２次元データを１次元化することができる。
　画像認識は、画像の特徴をパターン認識するため、元画像の局所的な特徴をなるべく損なわないようにして時空間画像データ８を生成することが重要となる。
　そのため、ヒルベルト曲線は、フレーム画像データ６をスキャンするための走査線として適した曲線である。
　なお、これは、フレーム画像データ６をスキャンする曲線をヒルベルト曲線に限定するものではなく、ペアノ曲線などの他の空間充填曲線や、非空間充填曲線を用いることも可能である。
　本実施形態では、ヒルベルト曲線を画素単位で屈曲させるが、例えば、１つおきの画素で屈曲させ、１つおきの画素値を読み取るといったように、読み取りの間隔を粗くすることも可能である。間隔が細かいほど精度は上がるが、計算コストは増大する。そのため、読み取りの間隔は、画像認識に必要とされる局所性の程度に応じて決定すればよい。
　図４は、時空間画像データ生成部２ａ、２ｂ、２ｃが行うヒルベルトスキャンの走査経路の一例を説明するための図である。
　この図４では、時空間画像データ生成部２ａ、２ｂ、２ｃは、それぞれ同一のフレーム画像データ６に対して異なる走査経路のヒルベルトスキャンを行う。
　なお、ｘ座標が小さい側を左側、大きい側を右側、ｙ座標が小さい側を上側、大きい側を下側とする（それぞれ、図面に向かって左、右、上、下側の方向に対応する）。
　図４（ａ）は、時空間画像データ生成部２ａが行うヒルベルトスキャンの走査開始点と走査終了点を示している。
　時空間画像データ生成部２ａは、フレーム画像データ６の左端上部と左端下部を、それぞれ、走査開始点と走査終了点に設定し、フレーム画像データ６の全ての画素を通過するように走査経路（図示せず）をヒルベルト曲線にて設定する。
　図４（ｂ）は、時空間画像データ生成部２ｂが行うヒルベルトスキャンの走査開始点と走査終了点を示している。
　時空間画像データ生成部２ｂは、フレーム画像データ６の右端上部と右端下部を、それぞれ、走査開始点と走査終了点に設定し、フレーム画像データ６の全ての画素を通過するように走査経路（図示せず）をヒルベルト曲線にて設定する。
　図４（ｃ）は、時空間画像データ生成部２ｃが行うヒルベルトスキャンの走査開始点と走査終了点を示している。
　時空間画像データ生成部２ｃは、フレーム画像データ６の左端中央部に画素１つ分だけずらして走査開始点と走査終了点を設定し、フレーム画像データ６の全ての画素を通過するように走査経路（図示せず）をヒルベルト曲線にて設定する。
　このように、時空間画像データ生成部２ａ、２ｂ、２ｃは、異なる点を走査開始点と走査終了点に設定してヒルベルト曲線を設定するため、走査経路が異なる。
　これによって、時空間画像データ生成部２ａ、２ｂ、２ｃは、それぞれ、走査経路の異なる時空間画像データ８を生成することができる。
　なお、以上の走査開始点と走査終了点は、一例であって、任意の箇所に設定することが可能である。
　図５は、時空間画像データ生成部２ａ、２ｂ、２ｃが行うヒルベルトスキャンの走査経路の変形例を説明するための図である。
　図４で説明した実施形態では、同一のフレーム画像データ６に対して異なる走査経路のヒルベルトスキャンを行う場合について説明した。これに対して変形例では、１つのフレーム画像データ６ａから、複数（実施形態に合わせて３枚）のクリッピング画像６ａａ、６ａｂ、…をランダムにクリッピングし、このクリッピング画像６ａａ、…に対して同一走査経路のヒルベルトスキャンを行う。すなわち、同じ走査開始点と走査終了点を設定してヒルベルトスキャンする場合であっても、異なる領域のクリピング画像をスキャンすることで、元のフレーム画像データ６ａに対しては、走査経路を変化させたことになる。
　図５（ａ）に示したように、フレーム画像データ６ａは、一例として６４×３２個の画素から構成されているとする。
　これに対し、時空間画像データ生成部２は、このサイズより小さい領域をフレーム画像データ６ａにランダム（任意）に設定し、フレーム画像データ６ａから当該領域で形成されたクリッピング画像６ａａ、６ａｂ…を抜き出す。クリッピング画像６ａａ、…のサイズは、一例として６０×３０とする。
　なお、画像にヒルベルト曲線を設定する場合、一辺のサイズが２のｎ乗（ｎは自然数）であることが必要である。
　そこで、時空間画像データ生成部２は、図５（ｂ）に示したように、クリッピング画像６ａａの周囲に適当な画素を追加するパディングという処理を行って、６４×３２のクリッピング画像６ａａのサイズを復元する。
　そして、時空間画像データ生成部２は、復元したクリッピング画像６ａａにヒルベルト曲線を設定してスキャンし、追加した画素の画素値はメモリに読み込まずにスキップして１次元空間画像データ７ａを生成する。
　時空間画像データ生成部２は、同様に、フレーム画像データ６ｂ～６ｆを任意の範囲でクリッピングしてクリッピング画像６ｂａ、６ｂｂ、…、～６ｆａ、６ｆｂ、６ｆｃを生成し、これらをパディングしてからヒルベルトスキャンして１次元空間画像データ７ｂａ、７ｂｂ、…、～７ｆａ、７ｆｂ、７ｆｃを生成する。
　そして、時空間画像データ生成部２は、１次元空間画像データ７ｂａ、７ｂｂ、…、～７ｆａ、７ｆｂ、７ｆｃを時系列順に配設して時空間画像データ８ａ、８ｂ…８ｆを生成する。
　以上の例では、クリッピング画像６ａａ…をフレーム画像データ６ごとに任意の領域に設定したが、何らかの規則性に従って設定してもよい。
　以上の手順によって、時空間画像データ生成部２ａ、２ｂ、２ｃは、それぞれランダムにフレーム画像データ６ａをクリッピングして、クリッピング画像６ａａ、６ａｂ、６ａｃ（図示せず、以下同様）を生成する。
　なお、ｊ番目の時空間画像データ生成部２ｊ（２ａ、２ｂ、２ｃ）が、ｉ番目のフレーム画像データ６ｉをクリッピングした後パディングして生成したクリッピング画像をクリッピング画像６ｉｊと表すことにする。１次元空間画像データ７についても同様にｉｊを用いて表示することする。
　そして、時空間画像データ生成部２ａ、２ｂ、２ｃは、それぞれ、クリッピング画像６ａａ、６ａｂ、６ａｃに同じ走査経路を設定し、ヒルベルトスキャンする。
　走査経路は同じであるが、クリッピングにより、元のフレーム画像データ６に対する走査する範囲が異なるため、時空間画像データ生成部２ａ、２ｂ、２ｃは、異なる１次元空間画像データ７ａａ、７ａｂ、７ａｃを生成する。
　時空間画像データ生成部２ａ、２ｂ、２ｃは、フレーム画像データ６ｂ～６ｆについても同様に処理し、これによって、時空間画像データ生成部２ａは、１次元空間画像データ７ｂａ～７ｆａを生成し、時空間画像データ生成部２ｂは、１次元空間画像データ７ｂｂ～７ｆｂを生成し、時空間画像データ生成部２ｃは、１次元空間画像データ７ｂｃ～７ｆｃを生成する。
　そして、時空間画像データ生成部２ａは、１次元空間画像データ７ａａ～７ｆａから時空間画像データ８ａを生成し、時空間画像データ生成部２ｂは、１次元空間画像データ７ａｂ～７ｆｂから時空間画像データ８ｂを生成し、時空間画像データ生成部２ｃは、１次元空間画像データ７ａｃ～７ｆｃから時空間画像データ８ｃを生成する。
　このようにして、時空間画像データ生成部２ａ、２ｂ、２ｃは、異なる走査経路でヒルベルトスキャンした時空間画像データ８ａ、８ｂ、８ｃを生成することができる。
　なお、一般的に、フレーム画像データ６をクリッピングする処理は、以下に述べるように、ヒルベルトスキャンによる局所情報の非局在化を軽減するために利用される。
　即ち、ヒルベルトスキャンは、フレーム画像データ６における画素の局所性をなるべく保持したまま時空間画像データ８を生成することができる。
　しかし、局所性の全てが保存されるわけではなく、局在化していた画素が離れてしまう場合もある程度発生する。
　クリッピング後にサイズを復元したクリッピング画像６ｉｊにヒルベルト曲線を設定することにより、元のフレーム画像６ｉに対して、ヒルベルト曲線の開始点や画素を通過する経路がクリッピング画像６ｉｊごとに変化し、画素の非局在化を様々な画素に分散することができる。
　このように、時空間画像データ生成部２は、クリッピングによってもフレーム画像データごとに、曲線の設定範囲を変化させることにより曲線の設定条件を変化させることができる。
　このような、学習画像やフレーム画像データ６から一回り小さい画像をランダムで切り出して、空間的情報の保持を網羅的にする処理は、データオーギュメンテーションと呼ばれている。
　データオーギュメンテーションは、事前学習用の動画データ４と動画データ４の双方について行われる。
　以上、異なる走査経路を設定してヒルベルトスキャンする例として、図４で説明した走査開始点と走査終了点を変化させる例と、図５で説明したクリッピングする例について説明したが、両者を組み合わせるのが好ましい。
　本実施形態では、時空間画像データ生成部２ａ、２ｂ、２ｃは、それぞれ個別にフレーム画像データ６をランダムにクリッピングするとともに、それぞれ、異なる走査開始点と走査終了点を設定することとした。
　次に、画像認識部３のＣＮＮを説明する準備として、一般的なＣＮＮの構成について説明する。
　図６は、ＣＮＮ３０の構成を概念的に表したものである。
　図６に示すように、ＣＮＮ３０は、例えば、右直立、右歩行、左直立、左歩行、・・・など歩行者が取り得る各種の態様を分類クラスとして事前学習している。そして、ＣＮＮ３０は、２次元画像データを読み込んで、これから歩行者の態様が何れの分類クラスに属するかを以下の構成により画像認識し、その結果を出力する。
　ＣＮＮ３０は、特徴マップ生成層１８と全結合層１７を組み合わせて構成されている。
　特徴マップ生成層１８は、入力側から、畳み込み層１１、プーリング層１２、畳み込み層１３、プーリング層１４、畳み込み層１５、プーリング層１６の各層を積層して構成されており、その下流側に全結合層１７が配置されている。
　畳み込み層１１は、入力された２次元画像データ（本実施形態では、時空間画像データ８が２次元画像データに相当する）に対して２次元フィルタを画像上でスライドさせてフィルタリングすることにより画像の特徴的な濃淡構造を抽出する層であり、周波数解析に対応する処理を行う。
　プーリング層１２は、畳み込み層１１によって抽出された特徴を保持しつつデータをダウンサンプリングして縮小する。
　歩行者は、動的に動くため、フレーム画像データ６での撮影位置がずれるが、プーリング層１２の処理によって歩行者を表す空間的な特徴の位置のずれを吸収することができる。これによって、空間的な位置ずれに対する画像認識精度の頑強性を高めることができる。
　畳み込み層１３、１５と、プーリング層１４、１６の機能は、それぞれ、畳み込み層１１、プーリング層１２と同様である。
　以上のような畳み込み処理によって、特徴マップ生成層１８は、２次元画像データから特徴量を抽出して、２次元特徴マップ６０（畳み込み層１１～プーリング層１６を経て特徴量を抽出したデータ）を生成する。
　全結合層１７は、入力層５１、中間層５２、出力層５３から成る一般的なニューラルネットワークであり、２次元特徴マップ６０を１次元に展開して、回帰分析のような処理を行う層である。
　出力層５３は、右直立、右歩行、左直立、左歩行、・・・などの分類クラス別の出力部を備えており、例えば、右直立→５％、右歩行→８５％、左直立→２％、・・・などと、分類クラスごとの％によって画像認識結果５４を出力する。
　このように、画像認識部３は、画像の特徴の抽出と位置のずれの吸収を３回行った後、回帰分析的な処理を行って、歩行者の態様を画像認識する。
　なお、畳み込み層１１、１３、１５の２次元フィルタの値や、全結合層１７のパラメータは、学習を通してチューニングされている。
　学習は、分類クラスごとに多数の２次元画像データを用意し、これをＣＮＮ３０に入力して、その結果をバックプロパゲーションするなどして行う。
　図７は、画像認識部３を説明するための図である。
　画像認識部３は、時空間画像データ生成部２ａ、２ｂ、２ｃを用いた画像認識処理を統合するようにＣＮＮ３０の機能を拡張したものであり、画像認識装置として機能する。
　本実施形態では、全結合方式、クラススコア平均方式、及びＳＶＭ方式の３種類の統合方式を採用し、それぞれの画像認識精度を実験により評価した。
　図７（ａ）は、全結合方式のネットワーク構造を示した図である。
　画像認識部３は、時空間画像データ８ａ、８ｂ、８ｃごとの特徴マップ生成層１８ａ、１８ｂ、１８ｃを備えており、それぞれ、時空間画像データ生成部２ａ、２ｂ、２ｃから時空間画像データ８ａ、８ｂ、８ｃを受け取って、２次元特徴マップ６０ａ、６０ｂ、６０ｃを生成する。
　このように、画像認識部３は、走査経路の異なる複数の画像データを取得する画像データ取得手段と、当該複数の画像データから認識対象の特徴量を畳み込み処理によって個別に取得する特徴量取得手段を備えている。
　画像認識部３は、２次元特徴マップ６０ａ、６０ｂ、６０ｃを生成すると、これらをベクトル化して（即ち、成分を一列に並べて）全結合（連結）することにより統合して一つの２次元特徴マップ６０を生成し、これを入力層５１に入力する。
　中間層５２は、統合された２次元特徴マップ６０をニューラルネットワークによって解析し、出力層５３は、当該解析によって得られた画像認識結果を出力する。
　このように、画像認識部３は、２次元特徴マップ６０ａ、６０ｂ、６０ｃによる個別の特徴量を統合して認識対象の認識結果を出力する統合手段を備えている。
　図７（ｂ）は、クラススコア平均方式のネットワーク構造を示した図である。
　画像認識部３は、時空間画像データ８ａ、８ｂ、８ｃごとに特徴マップ生成層１８ａ～出力層５３ａ、特徴マップ生成層１８ｂ～出力層５３ｂ、特徴マップ生成層１８ｃ～出力層５３ｃを備えており、まず、時空間画像データ８ａ、８ｂ、８ｃごとの画像認識結果を計算する。
　画像認識部３は、更に平均値出力層５５を備えており、出力層５３ａ、５３ｂ、５３ｃが出力した画像認識結果を分類クラスごとに平均して出力する。
　このように、平均値出力層５５は、時空間画像データ８ａ、８ｂ、８ｃによる画像認識結果を平均処理によって統合し、得られた平均値を最終的な画像認識結果とする。
　図７（ｃ）は、ＳＶＭ方式のネットワーク構造を示した図である。
　画像認識部３は、時空間画像データ８ａ、８ｂ、８ｃごとに特徴マップ生成層１８ａ～中間層５２ａ、特徴マップ生成層１８ｂ～中間層５２ｂ、特徴マップ生成層１８ｃ～中間層５２ｃを備えている。
　更に、画像認識部３は、中間層５２ａ、５２ｂ、５２ｃの出力部に接続されたＳＶＭ層５７を備えている。
　ＳＶＭ層５７は、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）によって認識を行う層である。ＳＶＭは、識別器として広く利用されているものである。
　ＳＶＭ層５７には、時空間画像データ８ａ、８ｂ、８ｃが連結により統合して入力されるように構成されており、ＳＶＭ層５７は、これを用いて認識対象を識別する。そして、出力層５３は、識別結果を分類クラスごとに出力する。
　本願発明者は、以上の３種類の統合方式について比較評価を行った。その結果平均正答率は、全結合方式→８８．９％、クラススコア平均方式→８５．８％、ＳＶＭ方式→８６．３％となり、全結合方式の正答率が最も高かった。これらは、３次元フィルタを用いたＣＮＮ３０に比肩するものである。
　なお、図６に示した単一の時空間画像データ８を用いた場合の正答率は、８３．６％であり、何れの統合方式もこれより正答率が高かった。
　以上の実験により、複数の走査経路を併用することにより画像認識能力が向上することが分かった。
　本実施形態では、一例として、画像認識部３は、ＣＮＮ３０によって画像認識を行ったが、これは、画像認識方式を限定するものではなく、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）特徴量、ＣｏＨＯＧ（Ｃｏ－ｏｃｃｕｒｒｅｎｃｅ　ＨＯＧ）特徴量、あるいは、ＭＲ－ＣｏＨＯＧ（Ｍｕｌｔｉ　Ｒｅｓｏｌｕｔｉｏｎ　ＣｏＨＯＧ）特徴量といった、他の特徴量を用いる画像認識方式を採用することも可能である。
　図８は、時空間画像認識装置１のハードウェア的な構成の一例を示した図である。
　時空間画像認識装置１は、車載用に構成されているが、航空機や船舶などの他の形態の移動体に搭載したり、あるいは、スマートフォンなどの携帯端末に搭載したり、更には、パーソナルコンピュータなどの据え置き型の装置に搭載したりすることができる。
　時空間画像認識装置１は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、記憶装置４４、カメラ４５、入力部４６、及び出力部４７などがバスラインで接続されて構成されている。
　ＣＰＵ４１は、中央処理装置であって、記憶装置４４が記憶する時空間画像認識プログラムに従って動作し、上述した歩行者の画像認識を行う。
　ＲＯＭ４２は、読み出し専用のメモリであって、ＣＰＵ４１を動作させるための基本的なプログラムやパラメータを記憶している。
　ＲＡＭ４３は、読み書きが可能なメモリであって、ＣＰＵ４１が動画データ４から時空間画像データ８を生成したり、更に、時空間画像データ８から歩行者を画像認識する際のワーキングメモリを提供する。
　記憶装置４４は、ハードディスクなどの大容量の記憶媒体を用いて構成されており、時空間画像認識プログラムを記憶している。
　時空間画像認識プログラムは、ＣＰＵ４１に時空間画像データ生成部２や画像認識部３としての機能を発揮させるためのプログラムである。
　カメラ４５は、車外を動画撮影する車載カメラであって、所定のフレームレートでフレーム画像データ６を出力する。
　入力部４６は、時空間画像認識装置１を操作するための操作ボタンなどから構成され、出力部４７は、時空間画像認識装置１の設定画面などを表示するディスプレイなどから構成されている。
　本実施形態では、時空間画像認識装置１を車載装置とするが、カメラ４５を車両に設置し、ネットワーク通信によって動画をサーバに送信し、サーバで画像認識して認識結果を車両に送信するように構成することもできる。
　更には、時空間画像データ生成部２を車両に実装し、画像認識部３をサーバで実現し、時空間画像データ生成部２と画像認識部３の間を通信によって接続するように構成することもできる。
　次に、時空間画像認識装置１の動作について説明する。ここでは、全結合方式の場合について説明する。
　図９は、時空間画像データ生成部２ａが行う時空間画像データ８の生成処理手順を説明するためのフローチャートである。
　以下の処理は、ＣＰＵ４１が時空間画像認識プログラムに従って構成した時空間画像データ生成部２ａが行うものである。
　まず、カメラ４５が車外を撮影して動画データ４を逐次的に出力する。
　次に、ＣＰＵ４１は、動画フレームをＱ枚読み込む（ステップ５)。すなわち、ＣＰＵ４１は、出力される動画データ４における所定枚数Ｑ枚（例えば、６枚）のフレーム画像データ６を出力順にＲＡＭ４３に読み込む。
　次に、ＣＰＵ４１は、パラメータｉを０にセットしてＲＡＭ４３に記憶する（ステップ１０）。
　そして、ＣＰＵ４１は、ＲＡＭ４３からｉ番目のフレーム画像データ６を読み出し、これからクリッピング画像６ｉｊを生成してＲＡＭ４３に記憶する（ステップ１５）。
　フレーム画像データ６からクリッピング画像６ｉｊを生成する領域は、乱数を発生させて、これに基づいてランダムに決定する。
　なお、ｉ＝０番目のフレーム画像データ６は、Ｑ枚のうちの１枚目に対応する。即ち、ｉ番目のフレーム画像データ６は、Ｑ枚の内のｉ＋１枚目に対応する。
　次に、ＣＰＵ４１は、クリッピング画像６ｉｊをパディングしてサイズを復元し、これをＲＡＭ４３に記憶する。
　そして、ＣＰＵ４１は、ＲＡＭ４３に記憶した当該クリッピング画像６ｉｊにヒルベルト曲線を設定してヒルベルトスキャンを行い（ステップ２０）、１次元空間画像データ７を生成する（ステップ２５）。
　次に、ＣＰＵ４１は、生成した１次元空間画像データ７をＲＡＭ４３に記憶して時空間画像データ８を生成する（ステップ３０）。
　なお、ｉ＝０の場合は、まず、最初の１次元空間画像データ７ａ１をＲＡＭ４３に記憶し、ｉ＝１、２、…の場合には、既にＲＡＭ４３に記憶してある１次元空間画像データ７ａ１に時系列的に追加していく。
　次に、ＣＰＵ４１は、ＲＡＭ４３に記憶してあるｉに１をインクリメントした後（ステップ３５）、ｉがＱ未満か否かを判断する（ステップ４０）。
　ｉがＱ未満の場合（ステップ４０；Ｙ）、ＣＰＵ４１は、ステップ１５に戻り、次のフレーム画像データ６に対して同様の処理を行う。
　一方、ｉがＱ未満でない場合（ステップ４０；Ｎ）、ＲＡＭ４３に時空間画像データ８ａが完成したため、ＣＰＵ４１は、時空間画像データ８ａを画像認識部３に出力して（ステップ４５）、処理を終了する。
　以上、時空間画像データ生成部２ａの動作について説明したが、時空間画像データ生成部２ｂ、２ｃも同様の処理を平行して行い、時空間画像データ８ｂ、８ｂを画像認識部３に出力する。
　図１０は、画像認識部３が行う画像認識処理の手順を説明するためのフローチャートである。
　以下の処理は、ＣＰＵ４１が時空間画像認識プログラムに従って構成した画像認識部３が行うものである。なお、ＣＰＵ４１の処理に対応する機能部を括弧にて示す。
　ＣＰＵ４１（特徴マップ生成層１８ａ）は、時空間画像データ生成部２ａが出力した時空間画像データ８ａをＲＡＭ４３から読み込む（ステップ１０５）。
　次に、ＣＰＵ４１（特徴マップ生成層１８ａ）は、読み込んだ時空間画像データ８ａに対して畳み込み処理を行い、２次元特徴マップ６０ａを生成してＲＡＭ４３に記憶する（ステップ１１０）。
　ＣＰＵ４１（特徴マップ生成層１８ｂ、１８ｃ）は、時空間画像データ８ｂ、８ｃに対しても同様の処理を行い、２次元特徴マップ６０ｂ、６０ｃを生成してＲＡＭ４３に記憶する。
　次に、ＣＰＵ４１は、ＲＡＭ４３に２次元特徴マップ６０ａ、６０ｂ、６０ｃが揃ったか判断し、まだ、生成されていない２次元特徴マップ６０がある場合は（ステップ１１５；Ｎ）、ステップ１０５に戻る。
　一方、２次元特徴マップ６０ａ、６０ｂ、６０ｃが揃っている場合（ステップ１１５；Ｙ）、ＣＰＵ４１（全結合層１７）は、これらをＲＡＭ４３から読み出して結合することにより一つの２次元特徴マップ６０とし、入力層５１～出力層５３から成るニューラルネットワークに入力する（ステップ１２０）。
　次に、ＣＰＵ４１（出力層５３）は、画像認識結果を所定の出力先に出力する（ステップ１２５）。
　出力先は、例えば、車両の制御系であり、車両前方に歩行者が存在する場合に車速の制動を行ったりする。
　図１１は、実施形態の変形例を説明するための図である。
　上述した実施形態では、時空間画像認識装置１に走査経路ごとの時空間画像データ生成部２ａ、２ｂ、２ｃを設けたが、本変形例では、単一の時空間画像データ生成部２がフレーム画像データ６を異なる走査経路で３回ヒルベルトスキャンすることにより、時空間画像データ８ａ、８ｂ、８ｃを生成して画像認識部３に出力する。
　即ち、時空間画像データ生成部２は、フレーム画像データ６に対して異なる走査経路のヒルベルトスキャンを逐次行う。
　この例では、データ値取得手段、画像データ生成手段、及び、出力手段は、異なる走査経路ごとの処理を逐次処理している。
　実施形態の時空間画像認識装置１は、時空間画像データ生成部２が複数個設置されており並列処理するため処理速度が速いという特徴がある一方、その分ハードウェア資源を要するという特徴があり、変形例の時空間画像認識装置１は、逐次処理のため処理速度は遅くなるもののハードウェア資源に対する要求が小さいという特徴がある。
　何れを選択するかは、時空間画像認識装置１を実装する計算機のアーキテクチャや使用目的に応じて決めることができる。
　以上に説明した実施形態、及び変形例によって次のような効果を得ることができる。
（１）動画像データに含まれる空間情報と時間情報を２次元の時空間画像データで表現することができる。
（２）動画データ４（時系列画像）に複数通りの走査方法を適用することにより同一の動画データ４から複数の時空間画像データを生成することができる。
（３）複数の時空間画像データから個別に特徴量を抽出することができる。
（４）複数の時空間画像データから個別に抽出した特徴量を統合して画像認識することにより正答率を高めることができる。
　１　時空間画像認識装置
　２　時空間画像データ生成部
　３　画像認識部
　４　動画データ４
　６　フレーム画像データ
　６ｉｊ　クリッピング画像
　７　１次元空間画像データ
　８　時空間画像データ
１１、１３、１５　畳み込み層
１２、１４、１６　プーリング層
１７　全結合層
１８　特徴マップ生成層
２０、２４　画像データ
２１、２５　ヒルベルト曲線
２２、２６　１次元空間画像データ
２７、２８　領域
３０　ＣＮＮ
４１　ＣＰＵ
４２　ＲＯＭ
４３　ＲＡＭ
４４　記憶装置
４５　カメラ
４６　入力部
４７　出力部
５１　入力層
５２　中間層
５３　出力層
５５　平均値出力層
５７　ＳＶＭ層
６０　２次元特徴マップ

Claims (8)

  1. 　空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報を取得する時系列空間情報取得手段と、
    　前記取得した時系列空間情報を所定の方向に異なる走査経路で複数回走査して当該所定の方向における前記走査経路ごとのデータ値の列を取得するデータ値取得手段と、
    　前記取得したデータ値の列を前記時系列空間情報の他の方向に対応して配列した画像データを前記走査経路ごとに生成する画像データ生成手段と、
    　前記生成した画像データを出力する出力手段と、
    　を具備したことを特徴とする画像データ生成装置。
  2. 　前記所定の方向は、前記時系列空間情報の空間方向であり、前記他の方向は、前記時系列空間情報の時間方向であることを特徴とする請求項１に記載の画像データ生成装置。
  3. 　前記データ値取得手段、前記画像データ生成手段、及び、前記出力手段は、前記異なる走査経路ごとに設けられており、これらの手段は、前記異なる走査経路ごとに前記時系列空間情報を並列処理することを特徴とする請求項１、又は請求項２に記載の画像データ生成装置。
  4. 　前記データ値取得手段、前記画像データ生成手段、及び、前記出力手段は、前記異なる走査経路ごとの処理を逐次処理することを特徴とする請求項１、又は請求項２に記載の画像データ生成装置。
  5. 　請求項１から請求項４までのうちの何れか１の請求項に記載の画像データ生成装置から、走査経路の異なる複数の画像データを取得する画像データ取得手段と、
    　前記取得した複数の画像データから認識対象の特徴量を個別に取得する特徴量取得手段と、
    　前記取得した個別の特徴量を統合して認識対象の認識結果を出力する統合手段と、
    　を具備したことを特徴とする画像認識装置。
  6. 　前記特徴量取得手段は、畳み込み処理によって特徴量を取得し、
    　前記統合手段は、ニューラルネットワークを用いて前記特徴量を統合する、
    　ことを特徴とする請求項５に記載の画像認識装置。
  7. 　空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報を取得する時系列空間情報取得機能と、
    　前記取得した時系列空間情報を所定の方向に異なる走査経路で複数回走査して当該所定の方向における前記走査経路ごとのデータ値の列を取得するデータ値取得機能と、
    　前記取得したデータ値の列を前記時系列空間情報の他の方向に対応して配列した画像データを前記走査経路ごとに生成する画像データ生成機能と、
    　前記生成した画像データを出力する出力機能と、
    　をコンピュータで実現する画像データ生成プログラム。
  8. 　請求項１から請求項４までのうちの何れか１の請求項に記載の画像データ生成装置から、走査経路の異なる複数の画像データを取得する画像データ取得機能と、
    　前記取得した複数の画像データから認識対象の特徴量を個別に取得する特徴量取得機能と、
    　前記取得した個別の特徴量を統合して認識対象の認識結果を出力する統合機能と、
    　をコンピュータで実現する画像認識プログラム。
PCT/JP2018/028607 2018-02-28 2018-07-31 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び、画像認識プログラム WO2019167303A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18907801.7A EP3761264A1 (en) 2018-02-28 2018-07-31 Image data generation device, image recognition device, image data generation program, and image recognition program
CN201880063957.7A CN111183453A (zh) 2018-02-28 2018-07-31 图像数据生成装置、图像识别装置、图像数据生成程序以及图像识别程序
US16/652,508 US20200242425A1 (en) 2018-02-28 2018-07-31 Image data generation device, image recognition device, image data generation program, and image recognition program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-035745 2018-02-28
JP2018035745A JP2019152927A (ja) 2018-02-28 2018-02-28 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び、画像認識プログラム

Publications (1)

Publication Number Publication Date
WO2019167303A1 true WO2019167303A1 (ja) 2019-09-06

Family

ID=67806232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028607 WO2019167303A1 (ja) 2018-02-28 2018-07-31 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び、画像認識プログラム

Country Status (5)

Country Link
US (1) US20200242425A1 (ja)
EP (1) EP3761264A1 (ja)
JP (1) JP2019152927A (ja)
CN (1) CN111183453A (ja)
WO (1) WO2019167303A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7002729B2 (ja) * 2017-07-31 2022-01-20 株式会社アイシン 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム
CN110473147A (zh) * 2018-05-09 2019-11-19 腾讯科技（深圳）有限公司 一种视频去模糊方法和装置
CA3036836A1 (en) 2019-03-15 2020-09-15 Wrnch Inc. Method and system for symmetric recognition of handed activities
JP2022086627A (ja) * 2020-11-30 2022-06-09 株式会社日立製作所 異常検知装置、異常検知方法
CN113610750B (zh) * 2021-06-03 2024-02-06 腾讯医疗健康(深圳)有限公司 对象识别方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002123834A (ja) * 2000-08-08 2002-04-26 Ocean Network Co Ltd 画像認識方法及び画像処理装置
JP2017187954A (ja) * 2016-04-06 2017-10-12 Kddi株式会社 画像合成装置、プログラム及びデータ構造

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5016073B2 (ja) * 2010-02-12 2012-09-05 株式会社デンソー 白線認識装置
CN102393900B (zh) * 2011-07-02 2013-05-29 山东大学 基于鲁棒哈希的视频拷贝检测方法
CN104598889B (zh) * 2015-01-30 2018-02-09 北京信息科技大学 人体行为识别的方法和装置
CN107346414B (zh) * 2017-05-24 2020-06-12 北京航空航天大学 行人属性识别方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002123834A (ja) * 2000-08-08 2002-04-26 Ocean Network Co Ltd 画像認識方法及び画像処理装置
JP2017187954A (ja) * 2016-04-06 2017-10-12 Kddi株式会社 画像合成装置、プログラム及びデータ構造

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"3D Convolutional Neural Networks for Human Action Recognition", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 35, 2013, pages 221 - 231
HASHIMURA, KEISUKE: "Sign language recognition by convolutional neural network with concatenated frame image of depth image (WIT2016-36)", IEICE TECHNICAL REPORT, vol. 116, no. 248, 9 October 2016 (2016-10-09), pages 17 - 22, XP009519049, ISSN: 0913-5685 *

Also Published As

Publication number Publication date
US20200242425A1 (en) 2020-07-30
CN111183453A (zh) 2020-05-19
EP3761264A1 (en) 2021-01-06
JP2019152927A (ja) 2019-09-12

Similar Documents

Publication Publication Date Title
JP7002729B2 (ja) 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム
WO2019167303A1 (ja) 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び、画像認識プログラム
KR102061408B1 (ko) 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
Zhao et al. Hierarchical regression network for spectral reconstruction from RGB images
CN109690620B (zh) 三维模型生成装置以及三维模型生成方法
CN112308200B (zh) 神经网络的搜索方法及装置
Zhang et al. One-two-one networks for compression artifacts reduction in remote sensing
CN111047516A (zh) 图像处理方法、装置、计算机设备和存储介质
EP2632160A1 (en) Method and apparatus for image processing
US11017542B2 (en) Systems and methods for determining depth information in two-dimensional images
KR102141319B1 (ko) 다시점 360도 영상의 초해상화 방법 및 영상처리장치
CN110738103A (zh) 活体检测方法、装置、计算机设备和存储介质
US20170206633A1 (en) Method and apparatus for up-scaling an image
Kang et al. Crowd counting by adapting convolutional neural networks with side information
WO2019026890A1 (ja) 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム
CN113538243A (zh) 基于多视差注意力模块组合的超分辨图像重建方法
CN112446835A (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
Almasri et al. Rgb guided thermal super-resolution enhancement
KR20230031170A (ko) 라이트 필드 공간 해상도 개선 시스템 및 방법
CN115620403A (zh) 活体检测方法、电子设备及存储介质
KR102490445B1 (ko) 딥 러닝 기반 저조도 영상 분할 시스템 및 방법
KR102634186B1 (ko) 사용자의 생체 특성을 가지는 이미지 내에서 객체를 식별하고 생체 특성을 포함하는 이미지의 일부를 이미지의 다른 부분으로부터 분리함으로써 사용자의 신원을 식별하기 위한 방법(Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image)
KR102630844B1 (ko) 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체
KR102672387B1 (ko) Lstm 기반의 개인화 시점 추정 방법 및 장치
Muhammad et al. TISR: Twin Image Super-Resolution using Deep Convolutional Neural Networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18907801

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018907801

Country of ref document: EP

Effective date: 20200928