WO2019026890A1 - 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム - Google Patents
画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム Download PDFInfo
- Publication number
- WO2019026890A1 WO2019026890A1 PCT/JP2018/028606 JP2018028606W WO2019026890A1 WO 2019026890 A1 WO2019026890 A1 WO 2019026890A1 JP 2018028606 W JP2018028606 W JP 2018028606W WO 2019026890 A1 WO2019026890 A1 WO 2019026890A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image data
- time
- recognition
- data
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Definitions
- the present invention relates to an image data generation device, an image recognition device, an image data generation program, and an image recognition program, and relates to, for example, one that recognizes various images of pedestrians and the like using CNN.
- Non-Patent Document 1 Scene recognition by CNN using “3D Convolutional Neural Networks for Human Action Recognition” in Non-Patent Document 1 and “CNN using frame-connected images” in Non-Patent Document 1 as a technology for recognizing moving images using such two-dimensional image recognition technology There is ".
- the technique of Non-Patent Document 1 applies convolution processing to moving image data by applying a convolution filter consisting of space two dimensions and time one dimension.
- Non-Patent Document 2 represents a time-dependent change of an object in a single two-dimensional image by arranging and connecting a series of frame images obtained by capturing the motion of the object (utterance scene) in a tiled manner. is there. This is input to the image recognition device by CNN to perform scene recognition.
- Non-Patent Document 1 there is a problem that the computational cost increases because a three-dimensional convolution filter is repeatedly used for moving image data, and a large-scale computer is required.
- the calculation cost can be reduced because a two-dimensional convolution filter is used, but there is no relation of information between the pixels in the tile-like adjacent image, and the object recognition accuracy was a problem.
- the present invention aims at image recognition of a dynamic recognition target.
- a time-series space information acquiring means for acquiring time-series space information in which positions of recognition objects in space are recorded according to the passage of time, and the acquired time-series space information
- Data value acquiring means for scanning in a predetermined direction to acquire a column of data values in the predetermined direction, and arranging the column of the acquired data values corresponding to the other direction of the time-series space information
- an image data generating apparatus comprising: image data generating means for generating image data for recognizing an object to be recognized; and output means for outputting the generated image data.
- the predetermined direction is a space direction of the time-series space information
- the other direction is a time direction of the time-series space information.
- An image data generation apparatus is provided.
- the data value acquisition means sets a curve which repeats bending corresponding to the locality of the data value in the predetermined direction as a scanning path, and sets the scanning path to the setting.
- the image data generation apparatus according to claim 1 or 2, wherein the series of data values are acquired along the same line.
- the image data generation apparatus sets a space filling curve as a curve repeating the bending.
- the time-series space information is moving image data obtained by photographing the recognition target, and the data value acquiring unit sets the curve to each frame image data of the moving image data.
- the image data generation means arranges the column of pixel values for each frame image data corresponding to the time direction.
- the image data generation apparatus according to claim 4, wherein the image data of two dimensions are generated.
- the image data generation apparatus changes the setting condition of the curve for each of the frame image data.
- the data value acquisition means changes the setting range of the curve as the setting condition.
- the data value acquisition means changes the setting form of the curve for each of the frame image data as the setting condition.
- an image data generation apparatus In the invention according to claim 9, the data value acquisition means changes the setting condition of the curve with respect to the same frame image data, and acquires the data value for each setting condition.
- An image data generation apparatus according to claim 6, 7, or 8 is provided.
- the data value acquiring means acquires the sequence of the data values along a linear scanning path, and the image data generating apparatus according to claim 2, I will provide a.
- the time-series space information is moving image data obtained by photographing the recognition target, and the still image data of at least a part of frame images constituting the moving image data is A scanning direction determining unit configured to determine a scanning direction of the scanning path, the data value acquiring unit acquiring the row of the data values along the determined scanning direction, and the image data generating unit including the still image 11.
- the image data generation apparatus further comprising: generating the two-dimensional image data in which a row of pixel values for each data is arranged corresponding to a time direction.
- the scanning direction determining means determines the scanning direction in a lateral direction of an image formed by the still image data.
- an image data generation apparatus Provided is an image data generation apparatus.
- the image data generation device according to any one of claims 1 to 12 and the image data output from the image data generation device are acquired Image data acquisition means, learning data acquisition means for acquiring learning data for image recognition of the recognition object, and the recognition object contained in the acquired image data using the acquired learning data
- an image recognition apparatus comprising: recognition means.
- a time-series space information acquiring function of acquiring time-series space information in which positions of recognition targets in space are recorded according to the passage of time, and the acquired time-series space information A data value acquiring function of acquiring a string of data values in the predetermined direction by scanning in a predetermined direction, and arranging the string of the acquired data values in correspondence with the other direction of the time series space information
- FIG. 2 is a diagram showing an example of a hardware configuration of an image recognition apparatus. It is a flowchart for demonstrating the procedure of an image recognition process. It is a figure for demonstrating an experimental result. It is a figure for demonstrating the modification 7.
- FIG. FIG. 18 is a flowchart for describing the procedure of the image recognition process of Modification 7; FIG. It is a figure for demonstrating the modification 8.
- the space-time image data generation unit 2 Hilbert scans frame image data 6 constituting moving image data 4 to generate one-dimensional space image data 7 Furthermore, the one-dimensional space image data 7 is arranged in the time direction to generate two-dimensional space-time image data 8 holding the spatial information and the temporal information. As described above, the image recognition device 1 converts the moving image data 4 into the two-dimensional spatiotemporal image data 8 while holding the spatial information and the temporal information. Next, the image recognition device 1 performs convolution processing using a two-dimensional filter on the spatiotemporal image data 8 by the CNN unit 3 to perform image recognition of the behavior of the pedestrian as the recognition target.
- the image recognition device 1 originally recognizes the pedestrian's action recognition requiring three-dimensional analysis in two-dimensional space and one-dimensional time, CNN of a two-dimensional image (one of artificial intelligence using deep learning Can be performed by the image recognition processing according to in order to estimate the state of the pedestrian.
- FIG. 1 is a diagram for explaining the configuration of an image recognition apparatus 1 according to the present embodiment.
- the image recognition apparatus 1 shown in FIG. 1A is an on-vehicle apparatus, and performs an image recognition process by artificial intelligence using a spatiotemporal image data generation unit 2 that generates image data for image recognition and deep learning.
- the CNN unit 3 is provided to analyze moving image data output from an on-vehicle camera and to classify the presence or absence of pedestrians outside the vehicle and classification of the operation state (right upright, right walk, left upright, left walk, etc.) recognize.
- the image recognition of the dynamic recognition target is performed, such as reading a road or terrain in front of the vehicle or connecting to a monitoring camera to recognize and track a passerby. It can be widely used in general applications.
- the space-time image data generation unit 2 is a module that functions as an image data generation device, and converts moving image data 4 captured and generated by a camera into space-time image data 8.
- the moving image data 4 captured by the camera is composed of frame image data 6a, 6b,... Generated chronologically.
- frame image data 6a, 6b,... are simply described as frame image data 6, and the same applies to other components described later.
- the frame image data 6 is two-dimensional still image data obtained by capturing an object (recognition target) at a certain moment and having (x, y) components in the space direction.
- the moving image data 4 is a set of still image data in which the frame image data 6 is sequentially arranged in time series in the time direction (t axis) according to the photographing time, and a total of two dimensions in the space direction and one dimension in the time direction It becomes three-dimensional data.
- the moving image data 4 functions as time-series space information in which the position of the recognition target in the space is recorded as time passes.
- the spatiotemporal image data generation unit 2 reads a predetermined number (Q sheets) of frame image data 6 sequentially sent from the camera in time series.
- the spatio-temporal image data generation unit 2 includes time-series space information acquisition means for acquiring time-series space information from the camera.
- time-series space information acquisition means for acquiring time-series space information from the camera.
- six pieces of frame image data 6 from the first frame image data 6 a to the latest frame image data 6 f are read.
- the frame image data 6 may be read every predetermined number of sheets, at random, or a frame drop may occur until the image recognition accuracy is kept within the allowable range.
- the spatio-temporal image data generation unit 2 may read a predetermined number of the frame image data 6 sequentially sent from the camera from the latest one to the past one in time series. As an example in this case, six pieces of frame image data 6 from the latest frame image data 6 f to the frame image data 6 a in the past direction are read.
- the space-time image data generation unit 2 When the space-time image data generation unit 2 reads these frame image data 6, first, Hilbert curves (described later) in the space direction (the plane direction of the plane stretched by the x axis and the y axis) with respect to the frame image data 6a. Set one stroke. Then, the spatiotemporal image data generation unit 2 scans (scans) and reads the pixel values of the pixels of the frame image data 6a along the Hilbert curve, and develops these in one row. This process is called Hilbert scan, and the details will be described later.
- the frame image data 6a By Hilbert scanning the frame image data 6a, it is possible to obtain one-dimensional space image data 7a which is one-dimensional data in the space direction including space information when the frame image data 6a is photographed.
- the space-time image data generation unit 2 similarly converts the frame image data 6b to 6f into one-dimensional space image data 7b to 7f (not shown).
- the Hilbert curve is curved, scanning along this curve enables one-dimensionalization of a two-dimensional image while maintaining locality of the image as much as possible.
- the spatiotemporal image data generation unit 2 scans time-sequential spatial information in a predetermined direction (in this example, it is a space direction, and may be a time direction), and data values in the predetermined direction are scanned.
- Data value acquiring means is provided for acquiring a row of (in this example, pixel values). Then, the data value acquisition means sets a curve (in this example, a Hilbert curve) which repeats bending corresponding to the locality of the data value in the predetermined direction as the scanning path, and along the set curve The time-series space information is scanned to obtain a sequence of data values (in this example, pixel values) in the predetermined direction.
- a curve in this example, a Hilbert curve
- the spatiotemporal image data generation unit 2 arranges the one-dimensional spatial image data 7a to 7f in the time direction (that is, in the order of photographing time) Spatio-temporal image data 8 for recognition is generated.
- the spatiotemporal image data generation unit 2 arranges the acquired data value sequence in correspondence with the other direction (in this example, the time direction) of the time series space information, and recognizes the image of the recognition target.
- the space-time image data 8 is two-dimensional image data in which the direction of one side represents spatial information (spatial component), and the other side orthogonal to this represents temporal information (temporal component).
- the spatiotemporal image data generation unit 2 performs the Hilbert scan on the moving image data 4 in the spatial direction and develops the moving image data 4 which is three-dimensional time-series space data, spatial information and temporal information Are converted into space-time image data 8 which is two-dimensional image data.
- the arrangement of the one-dimensional space image data 7 is in chronological order, but the order can be changed as long as image recognition is possible.
- the spatiotemporal image data generation unit 2 sets a curve to each frame image data of the moving image data, scans each frame image data, acquires a row of pixel values as a row of data values, and further Two-dimensional image data in which a row of pixel values for each frame image data is arranged corresponding to the time direction is generated.
- the CNN unit 3 is a module that performs image recognition of two-dimensional image data using a convolutional neural network (CNN).
- the algorithm used by the CNN unit 3 is highly evaluated as an image recognition method for two-dimensional image data, and is widely used.
- the CNN unit 3 learns in advance various aspects that the pedestrian can take, such as right upright, right walk, left upright, left walk, ..., and the spatiotemporal image data generation unit 2 outputs
- the spatio-temporal image data 8 is read, from which the classification class to which the pedestrian's mode belongs belongs is recognized, and the result is output.
- the spatiotemporal image data generation unit 2 includes output means for outputting the generated image data to the CNN unit 3.
- the CNN unit 3 is configured by laminating the layers of a convolutional layer 11, a pooling layer 12, a convolutional layer 13, a pooling layer 14, a convolutional layer 15, a pooling layer 16 and an all coupling layer 17 from the input side.
- the convolution layer 11 is a layer that extracts a characteristic gray-scale structure of an image by sliding a two-dimensional filter on the image and filtering the input two-dimensional image data (here, the spatio-temporal image data 8). And perform processing corresponding to frequency analysis.
- the pooling layer 12 downsamples and reduces data while maintaining the features extracted by the convolutional layer 11. Because the pedestrian moves dynamically, the shooting position in the frame image data 6 shifts, but the processing of the pooling layer 12 can absorb the shift in the position of the spatial feature representing the pedestrian. This can enhance the robustness of the image recognition accuracy with respect to spatial misalignment.
- the functions of the convolutional layers 13 and 15 and the pooling layers 14 and 16 are similar to those of the convolutional layer 11 and the pooling layer 12, respectively.
- the total connection layer 17 is a general neural network, and is a layer that develops a two-dimensional feature map (data obtained through the convolution layer 11 to the pooling layer 16) in one dimension and performs processing such as regression analysis. .
- the CNN unit 3 performs extraction of image features and absorption of positional deviations three times, the CNN unit 3 performs regression analysis processing to perform image recognition of a pedestrian's aspect.
- the values of the two-dimensional filters of the convolutional layers 11, 13, and 15 and the parameters of the total coupling layer 17 are tuned through learning.
- the learning is performed by preparing a large number of spatio-temporal image data 8 for each classification class, inputting this into the image recognition device 1, and back-propagating the result.
- FIG. 2 is a diagram for explaining the Hilbert scan performed by the spatiotemporal image data generation unit 2.
- the Hilbert scan is a process of setting a Hilbert curve passing each pixel in the frame image data 6 and scanning along the curve to read a pixel value in a single stroke throughout the frame image data 6.
- the Hilbert curve is a curve that covers the entire space formed by combining U-shaped curves as shown in FIG. 2A, and is a kind of so-called space-filling curve.
- Other space-filling curves include the Peano curve. Arrows shown in the figure indicate the direction of the scan.
- the spatiotemporal image data generation unit 2 sets a space filling curve as a curve that repeats bending.
- the pixels 1, 2, 5, 6 are localized in the area 27, but these pixels are also located in the area 28 even in the one-dimensional space image data 26. It exists.
- the pixels 3, 4, 7, 8 localized in the image data 24 are localized in the one-dimensional space image data 26.
- two-dimensional data can be made one-dimensional while maintaining locality of pixel values as much as possible.
- the Hilbert curve is a curve suitable as a scan line for scanning the frame image data 6.
- the curve for scanning the frame image data 6 is not limited to the Hilbert curve, and it is also possible to use another space filling curve such as a Peano curve or a non-space filling curve.
- the Hilbert curve is bent in pixel units, but it is also possible to make the reading interval coarse, for example, bending at every other pixel and reading every other pixel value. .
- the finer the spacing the more accurate, but the computational cost increases. Therefore, the reading interval may be determined according to the degree of locality required for image recognition.
- the spatiotemporal image data generation unit 2 can scan three-dimensional data of a moving image into two-dimensional data. Therefore, the CNN unit 3 can filter three-dimensional moving image data with a two-dimensional filter. As a result, the calculation cost can be significantly reduced as compared with the conventional example in which a three-dimensional filter is applied to moving image data.
- FIG. 3 is a diagram for explaining a method of clipping moving image data 4.
- the spatiotemporal image data 8 can be generated while maintaining the locality of the pixels in the frame image data 6 as much as possible. However, not all of the locality is preserved, and it sometimes occurs when localized pixels are separated.
- the pixels 1, 2, 5, 6 localized in the region 27 are also localized in the region 28 in the one-dimensional space image data 26.
- the pixels 5 and 6 and the pixels 9 and A are separated and local Sex is reduced. Therefore, when Hilbert scan is performed on each frame image data 6 under the same conditions, a decrease in locality between the pixels 5 and 6 and the pixels 9 and A occurs in all frame image data 6 In other words, the decrease in locality is accumulated in chronological order.
- the space-time image data generation unit 2 has a function of randomly clipping the frame image data 6 in order to change the setting condition of the Hilbert curve for each frame image data 6 as described below.
- the frame image data 6a is, for example, composed of 64 ⁇ 32 pixels.
- the space-time image data generation unit 2 sets an area smaller than this size at random (arbitrary) in the frame image data 6a, and extracts the clipping image 9a formed in the area from the frame image data 6a.
- the size of the clipping image 9a is, for example, 60 ⁇ 30.
- the spatiotemporal image data generation unit 2 When setting a Hilbert curve to an image, the size of one side needs to be 2 to the n-th power (n is a natural number). Therefore, as shown in FIG. 3B, the spatiotemporal image data generation unit 2 performs a process called padding to add appropriate pixels around the clipping image 9a to generate 64 ⁇ 32 frame image data 6a. Restore. Then, the spatiotemporal image data generation unit 2 sets a Hilbert curve to the restored frame image data 6a and scans it, and skips the pixel value of the added pixel without reading it in the memory and generates one-dimensional space image data 7a. Do.
- the space-time image data generation unit 2 clips the frame image data 6b to 6f in an arbitrary range to generate clipping images 9b to 9f, and after padding them, performs Hilbert scan to generate one-dimensional space image data Generate 7b to 7f. Then, the spatiotemporal image data generation unit 2 generates the spatiotemporal image data 8 by arranging the one-dimensional space image data 7a to 7f in chronological order.
- the clipping image 9a is set to an arbitrary area for each frame image data 6, but may be set according to some regularity.
- the spatiotemporal image data generation unit 2 changes the setting condition of the curve by changing the setting range of the curve for each frame image data.
- Data augmentation is performed on both the pre-learning video data and the video data 4.
- FIG. 4 is a diagram for explaining a modification of clipping.
- the spatio-temporal image data generation unit 2 extracts a 30 ⁇ 30 clipping image from the upper half of the clipping image 9 a and then performs padding to generate 32 ⁇ 32 frame image data 31 a.
- the spatiotemporal image data generation unit 2 generates frame image data 31b to 31f (not shown) from the clipping images 9b to 9f.
- the space-time image data generation unit 2 generates one-dimensional space image data 7a to 7f from the frame image data 31a to 31f by Hilbert scan, and arranges them in time series order to generate the space-time image data 8 .
- the space-time image data generation unit 2 By resizing the clipping image 9 in half, the data amount of the one-dimensional space image data 7 and the space-time image data 8 is also halved, and processing with the smaller image recognition device 1 becomes possible.
- the upper half of the clipping image 9 is clipped again, but the lower half and the middle part may be clipped.
- the frame image data 6 may be directly clipped to generate a clipped image.
- FIG. 5 is a diagram showing an example of a hardware configuration of the image recognition apparatus 1.
- the image recognition apparatus 1 may be mounted on a mobile object of another form such as an aircraft or a ship, or mounted on a portable terminal such as a smartphone, and further, a personal computer etc. It can be mounted on a stationary device.
- the image recognition apparatus 1 is configured by connecting a CPU 41, a ROM 42, a RAM 43, a storage device 44, a camera 45, an input unit 46, an output unit 47, and the like by a bus line.
- the CPU 41 is a central processing unit, operates according to an image recognition program stored in the storage device 44, and performs the image recognition of the pedestrian described above.
- the ROM 42 is a read only memory, and stores basic programs and parameters for operating the CPU 41.
- the RAM 43 is a readable and writable memory, and provides a working memory for the CPU 41 to generate the spatiotemporal image data 8 from the moving image data 4 and further to recognize the pedestrian from the spatiotemporal image data 8.
- the storage device 44 is configured using a large-capacity storage medium such as a hard disk, and stores an image recognition program.
- the image recognition program is a program that causes the CPU 41 to exhibit the functions as the spatiotemporal image data generation unit 2 and the CNN unit 3.
- the camera 45 is an on-vehicle camera for capturing a moving image outside the vehicle, and outputs frame image data 6 at a predetermined frame rate.
- the input unit 46 is configured of an operation button or the like for operating the image recognition device 1
- the output unit 47 is configured of a display or the like for displaying a setting screen or the like of the image recognition device 1.
- the image recognition apparatus 1 is an on-vehicle apparatus, but the camera 45 is installed in a vehicle, a moving image is transmitted to a server by network communication, the server recognizes an image, and transmits a recognition result to the vehicle. It can also be configured.
- FIG. 6 is a flowchart for explaining the procedure of the image recognition process performed by the image recognition device 1.
- the following processing is performed by the CPU 41 in accordance with the image recognition program. Also, functional units corresponding to the processing of the CPU 41 are shown in parentheses.
- the camera 45 captures the outside of the vehicle and sequentially outputs the moving image data 4.
- the CPU 41 space-time image data generation unit 2 reads Q moving image frames (step 5). That is, the CPU 41 reads the frame image data 6 of a predetermined number Q (for example, six) of the moving image data 4 to be output into the RAM 43 in the order of output.
- the CPU 41 space-time image data generation unit 2 sets the parameter i to 0 and stores it in the RAM 43 (step 10). Then, the CPU 41 (space-time image data generation unit 2) reads the i-th frame image data 6 from the RAM 43, generates a clipping image 9 from this, and stores it in the RAM 43 (step 15). A region for generating the clipping image 9 from the frame image data 6 generates a random number and is randomly determined based on this.
- the CPU 41 space-time image data generation unit 2 pads the clipping image 9 to restore the frame image data 6, and stores this in the RAM 43. Then, the CPU 41 (space-time image data generation unit 2) sets a Hilbert curve to the frame image data 6 stored in the RAM 43, performs Hilbert scan (step 20), and generates one-dimensional space image data 7 (steps 20) 25).
- the CPU 41 space-time image data generation unit 2 stores the generated one-dimensional space image data 7 in the RAM 43 to generate space-time image data 8 (step 30).
- i 0
- the first one-dimensional space image data 7a is stored in the RAM 43
- the CPU 41 space-time image data generation unit 2 increments i to i stored in the RAM 43 (step 35), and then determines whether i is less than Q (step 40). If i is less than Q (step 40; Y), the CPU 41 (time-space image data generation unit 2) returns to step 15, and performs the same process on the next frame image data 6.
- the CPU 41 (CNN unit 3) reads the spatiotemporal image data 8 from the RAM 43 and recognizes the image ((4) Step 45). Then, the CPU 41 (CNN unit 3) outputs the image recognition result to a predetermined output destination (step 50).
- the output destination is, for example, a control system of the vehicle, and performs braking of the vehicle speed when a pedestrian is present in front of the vehicle.
- the CPU 41 (CNN unit 3) determines whether to end the image recognition process (step 55). If the process is not completed (step 55; N), the CPU 41 (CNN unit 3) returns to step 5. On the other hand, when the user ends the process by selecting the end button or the like (step 55; Y), the CPU 41 (CNN unit 3) ends the process.
- FIG. 7 is a figure for demonstrating an experimental result.
- This figure is a table showing the result of evaluating the image recognition ability of the image recognition device 1 by an evaluation method called 10-fold cross-validation.
- 10-fold cross-validation one data set (for example, 10,000 sets of space-time image data 8) is divided into 10 pieces (1000 sets), and 9 pieces are learned, and the remaining one gives a correct answer rate It is an evaluation method which repeats and repeats the process of evaluating.
- the upper part of this table shows the case where the image recognition apparatus 1 is used, and the lower part shows the case where a conventional technique called LSTM (Long Short Term Memory) (different from the one described in the item of the prior art) is used. It shows.
- the evaluation item is the correct answer rate, which is 77.1% in the case of the image recognition apparatus 1 and 74.0% in the case of LSTM.
- the correct answer rate of the image recognition device 1 exceeds LSTM, and the image recognition device 1 has high image recognition capability as compared with the prior art.
- Mode 1 In the embodiment, the pixels to be discretized by clipping are dispersed, but in this modification, the path of the Hilbert scan, that is, the dispersion of pixels to be discretized by changing the form of the Hilbert curve for each frame image data 6 I do.
- the case where the first step from the starting point of the Hilbert curve is to the right is referred to as mode 1, the case where it is downward is referred to as mode 2, the case where it is upward is referred to as mode 3, and the case where it is left is as mode 4. If the position of the first step is outside the frame image data 6, padding is performed and reading of pixel values is not performed at the time of scanning for the padding portion.
- frame image data 6a is Hilbert scanned with a Hilbert curve of form 1
- frame image data 6b is Hilbert scan with a Hilbert curve of form 2, and so on etc.
- Up to four may be assigned in order, or a form arbitrarily selected from the forms 1 to 4 may be assigned to the frame image data 6a, and a form arbitrarily selected from the remaining forms may be assigned to the frame image data 6b, ...
- the form may be arbitrarily assigned, such as
- the frame image data 6a is a Hilbert curve
- the frame image data 6b is a Peano curve
- the frame image data 6c is a Hilbert curve
- the frame image data 6d is a Peano curve, and so on.
- the shape of the curve may be changed according to the curve.
- the frame image data 6a is Hilbert curve of form 1
- frame image data 6b is Peano curve of form 1
- frame image data 6c is Hilbert curve of form 2
- frame image data 6d is Peano curve of form 2
- Both the type of curve and the form of the curve may be changed, such as ....
- the spatiotemporal image data generation unit 2 in this example changes the setting form of the curve for each frame image data as the setting condition of the curve.
- the Hilbert scan is performed by changing the form of the Hilbert curve for each frame image data 6, but in the present modification, a plurality of Hilbert curves having different forms are set for one frame image data 6.
- the frame image data 6a is scanned with a Hilbert curve of form 1 to generate one-dimensional space image data 7a1
- the frame image data 6a is scanned with a Hilbert curve of form 2 to generate one-dimensional space image data 7a2.
- the frame image data 6b is scanned with the Hilbert curve of form 1 to generate one-dimensional space image data 7b1, and further, the frame image data 6b is scanned with the Hilbert curve of form 2 to generate one-dimensional space Image data 7b2 is generated, and so on, each frame image data 6 is scanned a plurality of times with Hilbert curves of different forms until frame image data 6f, and then one-dimensional space image data 7a1, 7a2, ..., 7b1, .. 7b to generate the spatiotemporal image data 8.
- space-time image data 8a is generated from one-dimensional space image data 7a1, 7b1,...
- space-time image data 8b is generated from one-dimensional space image data 7a2, 7b2,.
- the image data 8a, 8b,... May be generated, these may be individually image-recognized, and the results may be integrated and judged.
- the plurality of one-dimensional space image data 7a1, 7a2,... Can also be generated by clipping the same frame image data 6a arbitrarily several times and padding them respectively and then Hilbert scanning.
- one-dimensional space image data 7b1, 7b2,... Are generated from the frame image data 6b.
- the image recognition device 1 of the second modification changes the curve setting conditions for the same frame image data, and acquires data values for each of the setting conditions.
- the area of the clipping image 9 is randomly set a plurality of times in one frame image data 6, and a plurality of clipping images 9 are generated from the one frame image data 6.
- a clipping image 9a1 of region 1 is generated from frame image data 6a
- a clipping image 9a2 of region 2 is similarly generated from frame image data 6a
- a clipping image 9b1 of region 1 is generated from frame image data 6b
- a clipping image 9b2 of the area 2 is generated from the frame image data 6b, and so on, a plurality of clipping images 9 having different cutout areas are generated from each frame image data 6 up to the frame image data 6f.
- the spatiotemporal image data generation unit 2 restores the frame image data 6 by padding each of the clipping images 9. Thereby, a plurality of pieces of frame image data 6a1, 6a2,... Are restored from the frame image data 6a of the original image. The same applies to the frame image data 6b, 6c,.
- the space-time image data generation unit 2 Hilbert scan these frame image data 6a1, 6a2, ..., 6b1, 6b2, ... to generate one-dimensional space image data 7, and arrange them in time series to form space-time space.
- Image data 8 is generated.
- the spatiotemporal image data 8a is generated from the frame image data 6a1, 6b1,...
- image recognition is performed
- the spatiotemporal image data 8b is generated from the frame image data 6a2, 6b2,.
- the results of the above may be combined and judged.
- Modification 4 The second modification and the third modification are combined. That is, the frame image data 6a1, 6a2, ..., 6b1, 6b2, ... generated in the third modification are scanned with curves of a plurality of types of forms. For example, the frame image data 6a1 is scanned with the Hilbert curve of mode 1, the frame image data 6a2 is scanned with the Peano curve of mode 1, and so on.
- Hilbert scanning is performed in the direction of the time coordinate (t axis).
- Hilbert scan in the (y, t) direction is performed to generate one-dimensional space image data 7a, 7b, ... of (x1, ⁇ ), (x2, ⁇ ), ..., and this is in the order of x1, x2, ...
- spatiotemporal image data 8 having a (y, ⁇ ) component by Hilbert scanning in the (x, t) direction.
- spatiotemporal image data 8 having each component of ( ⁇ , t), (x, ⁇ ) and (y, ⁇ ) are generated for the same moving image data 4, and these are combined to generate an image
- spatiotemporal image data 8 of the ( ⁇ , t) component is image-recognized
- spatiotemporal image data 8 of the (x, ⁇ ) component is image-recognized
- spatiotemporal image data 8 of the (y, ⁇ ) component is an image Recognize and weight each result with the output value of the entire combined layer 17 and take a weighted average, or 3 generated from each of ( ⁇ , t), (x, ⁇ ), (y, ⁇ )
- two spatio-temporal image data 8 into one spatio-temporal image data 8 and recognize the spatio-temporal image data 8 as an image. By scanning in the time direction, it is expected that the frame rate of the moving image can be reduced. This reduces the load of image processing.
- one-dimensional space image data 7 such as ( ⁇ , t1), ( ⁇ , t2),.
- Spatiotemporal image data 8 having a two-dimensional ( ⁇ , t) component is obtained.
- three-dimensional spatiotemporal image data of ( ⁇ , z, t) can be obtained by arranging these in time series. It is possible to set a three-dimensional filter as a filter for convolution of the image recognition device 1 and to perform image recognition of the three-dimensional space-time image data. Moreover, it is also possible to perform Hilbert scan in the time direction as in the fifth modification.
- n-dimensional n is an integer of 2 or more
- n-1 dimension or less n-1 dimension or less
- Hilbert scan it is possible to add information such as color information and various sensor values to generate high-dimensional time-series space information, reduce this dimension, and recognize the image by the image recognition device 1.
- FIG. 8 is a diagram for explaining the seventh modification.
- image data is scanned by raster scan.
- the space-time image data generation unit 2 detects the aspect ratio of the frame image data 6 shown in FIG. 8A, and determines the short side direction as the scanning direction (scanning direction). This is because, as described later in the experimental results, the recognition rate is higher in the case where the short direction is the scanning direction than in the case where the longitudinal direction is the scanning direction. Then, the spatiotemporal image data generation unit 2 raster scans the entire frame image data 6 by scanning along a linear scanning path in the lateral direction.
- the spatiotemporal image data generation unit 2 functions as data value acquisition means for acquiring a sequence of data values along a linear scanning path, and at least a part of frame images constituting moving image data.
- a scanning direction determining means is provided for determining the scanning direction of the scanning path with respect to the image data. Furthermore, the scanning direction determination means determines the scanning direction in the lateral direction of the image formed by the image data.
- the spatiotemporal image data generation unit 2 determines the x-axis direction as the scanning direction. Then, the spatiotemporal image data generation unit 2 sequentially reads pixel values in the x-axis direction from the pixel 1 to the pixel 4 in the first row along the solid arrow line shown in the figure. When the scanning reaches the pixel 4 at the end, the space-time image data generation unit 2 moves the scanning start position to the top pixel 5 of the second row as indicated by the broken arrow, and the x-axis direction The pixel values are sequentially read up to the pixel 8 at the end.
- the spatiotemporal image data generation unit 2 repeats the same operation, reads all pixel values of the frame image data 6a, arranges them in one line, and generates one-dimensional space image data 7a. Furthermore, the spatiotemporal image data generation unit 2 similarly generates one-dimensional spatial image data 7b, 7c,. The space-time image data generation unit 2 generates space-time image data 8 from the generated one-dimensional space image data 7a, 7b,.
- the procedure of image recognition of this by the CNN unit 3 is the same as that of the above-described embodiment.
- raster scanning method is an example, and for example, scanning may be performed in the direction from pixel 4 to pixel 1 opposite to the arrow direction of the solid line, or from pixel 1 to pixel 4 in the first row in order
- raster scanning can be performed in a serpentine linear path, such as reading in the direction from pixel 8 to pixel 5 for the second row.
- the raster scan in the latitudinal direction has a higher correct answer rate than the raster scan in the longitudinal direction, and a value close to the Hilbert scan could be realized.
- the lateral raster scan has a smaller moving distance when moving to the next row of pixel rows at the end point of the image data as compared to the longitudinal raster scan, so the image locality is preserved. It seems that this is because it is better than the case of raster scanning in the longitudinal direction.
- FIG. 8B shows the case where the y-axis direction is the lateral direction.
- the spatio-temporal image data generation unit 2 sequentially reads pixel values in the short direction, that is, the y direction from the pixel 1 to the pixel D, as indicated by the solid arrow, and When D is reached, as indicated by the broken arrow, the head moves to the first pixel 2 of the next column, and the pixel value is read to the pixel E. Thereafter, the spatiotemporal image data generation unit 2 repeats the same operation, reads all pixel values of the frame image data 6a, arranges them in one line, and generates one-dimensional space image data 7a.
- the spatiotemporal image data generation unit 2 determines the aspect ratio of the frame image data 6 and determines the short direction as the scanning direction, but if the short direction of the image data is determined in advance, It is also possible to set the direction to the scanning direction and omit the process of determining the aspect ratio.
- FIG. 9 is a flowchart for explaining the procedure of the image recognition process of the seventh modification.
- data augmentation is performed by clipping frame image data 6.
- the spatiotemporal image data generation unit 2 determines the short direction of the frame image data 6 after clipping as the scanning direction (scanning direction) (step 80).
- the space-time image data generation unit 2 raster scans the frame image data 6 after clipping in the determined scanning direction (step 85), and generates one-dimensional space image data 7 (step 25).
- Others are the same as the above-mentioned embodiment.
- raster scanning is performed in the short side direction, but it is preferable to perform raster scanning in the longitudinal direction, for example, due to hardware factors (the processing speed may be increased even if the accuracy decreases). Accordingly, raster scanning may be performed in the longitudinal direction.
- FIG. 10 is a diagram for explaining the eighth modification.
- the spatiotemporal image data generation unit 2 according to the present modification divides the frame image data 6 into small areas 51 and performs raster scan for each of the divided small areas 51.
- the spatiotemporal image data generation unit 2 divides the frame image data 6 into small square areas 51a1, 51a2,.
- the squares in the small area 51 represent pixels.
- the space-time image data generation unit 2 raster scans the small area 51a1 to generate one-dimensional space image data 7a1 (not shown), and then raster scans the small area 51a2 to generate one-dimensional space image data 7a2. ,..., Each small area 51 is raster scanned.
- the scan direction of the scan is, for example, the lateral direction of the frame image data 6a.
- the space-time image data generation unit 2 connects the one-dimensional space image data 7a1, 7a2,... In a line to generate one-dimensional space image data 7a (not shown) of the frame image data 6a.
- the space-time image data generation unit 2 generates one-dimensional space image data 7b, 7c,... And arranges them in the time direction to generate space-time image data 8 (not shown).
- the order of connecting the one-dimensional space image data 7a1, 7a2,... can be various, and, for example, the small area 51a1, the small area 51a2,... Are rastered in the lateral direction of the frame image data 6a.
- the order of scanning may be used, or a Hilbert curve connecting the small area 51a1, the small area 51a2,... May be set, and the order of connecting the Hilbert curve may be used. In the latter case, raster scan and Hilbert scan can be combined.
- the order of raster scanning the small areas 51a1, 51a2,... By Hilbert scanning in the small areas 51a1, 51a2,... And the resulting one-dimensional space image data 7a1, 7a2,. It is also possible to combine raster scan and Hilbert scan by linking at.
- FIG. 10B shows an example in which small regions 51a1, 51a2,... In which the x-axis direction is short are set with respect to frame image data 6a in which the y-axis direction is short.
- the small area 51a1, the small area 51a2,... For example, raster scanning can be performed in the x-axis direction with priority given to the short direction of the small area 51.
- the one-dimensional space image data 7a1, 7a2,... (Not shown) generated from the small area 51a1, the small area 51a2,... (Not shown) an appropriate predetermined order as in the case of FIG. Connect with
- Moving image data can be expressed by two-dimensional image data.
- Image conversion of frame image data 6 using Hilbert scan using a space-filling curve or raster scan allows moving image data 4 (time-series image data) to be stored while retaining spatial information and temporal information
- Two-dimensional spatiotemporal image data 8 can be generated.
- the spatio-temporal image data 8 By using the spatio-temporal image data 8 as input data, it is possible to perform image recognition of moving image data by CNN using a two-dimensional filter.
- Since information can be given to information between adjacent pixels in the spatio-temporal image data 8, improvement in image recognition accuracy can be expected.
- the image recognition device 1 Since a CNN using a general two-dimensional filter can be used, the cost required for introducing the CNN and the calculation cost required for executing the CNN can be reduced, and an improvement in recognition accuracy can also be expected. (6) Generally, since expensive hardware is not installed in the on-vehicle camera or the on-vehicle computer, the image recognition device 1 that uses less memory and has a low calculation cost is suitable for the implementation. (7) By changing the setting conditions of the curve to be scanned, such as data augmentation, it is possible to comprehensively hold the spatial information of the spatiotemporal image data 8. (8) In the prior learning phase, the image recognition phase, etc., retention of space information and time information can be comprehensively performed by performing data augeration to cut out an image that is slightly smaller at random.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
動的な認識対象を画像認識することを目的とする。 画像認識装置１は、時空間画像データ生成部２によって、動画データ４を構成するフレーム画像データ６をヒルベルトスキャンして１次元空間画像データ７を生成し、更に１次元空間画像データ７を時間方向に配列して空間的情報と時間的情報を保持した２次元の時空間画像データ８を生成する。このように画像認識装置１は、空間的情報と時間的情報を保持しつつ、動画データ４を２次元の時空間画像データ８に画像変換する。次に、画像認識装置１は、ＣＮＮ部３によって、時空間画像データ８に対して２次元フィルタを用いた畳み込み処理を行い、認識対象である歩行者の行動を画像認識する。このように、画像認識装置１は、空間２次元、時間１次元の３次元の解析を要する歩行者の行動認識を、２次元画像のＣＮＮによる画像認識処理により行い、歩行者の状態を推定できる。
Description
本発明は、画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラムに関し、例えば、ＣＮＮを用いて歩行者等の各種画像を認識するものに関する。
近年、人工知能を用いた深層学習が盛んに研究され、ＣＮＮを用いた２次元画像の画像認識の分野において大きな成果が報告されている。
動画は２次元画像であるフレーム画像を時系列的に並べたものであるため、２次元画像に対する深層学習の技術を動画に適用したいとの要望が高まっている。
このような２次元の画像認識技術を用いて動画を認識する技術として非特許文献１の「３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｈｕｍａｎ Ａｃｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ」や非特許文献２の「フレーム連結画像を用いたＣＮＮによるシーン認識」がある。
非特許文献１の技術は、動画データに対して空間２次元と時間１次元から成る畳み込みフィルタを適用して、畳み込み処理を行うものである。
非特許文献２の技術は、対象の動き（発話シーン）を撮影した一連のフレーム画像をタイル状に配置して連結することにより、１枚の２次元の画像で対象の経時変化を表すものである。これをＣＮＮによる画像認識装置に投入してシーンの認識を行う。
動画は２次元画像であるフレーム画像を時系列的に並べたものであるため、２次元画像に対する深層学習の技術を動画に適用したいとの要望が高まっている。
このような２次元の画像認識技術を用いて動画を認識する技術として非特許文献１の「３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｈｕｍａｎ Ａｃｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ」や非特許文献２の「フレーム連結画像を用いたＣＮＮによるシーン認識」がある。
非特許文献１の技術は、動画データに対して空間２次元と時間１次元から成る畳み込みフィルタを適用して、畳み込み処理を行うものである。
非特許文献２の技術は、対象の動き（発話シーン）を撮影した一連のフレーム画像をタイル状に配置して連結することにより、１枚の２次元の画像で対象の経時変化を表すものである。これをＣＮＮによる画像認識装置に投入してシーンの認識を行う。
しかし、非特許文献１の技術では、動画データに対して３次元の畳み込みフィルタを繰り返し使用するため、計算コストが多くなり、大規模な計算機を要するという問題があった。
非特許文献２記載の技術では、２次元の畳み込みフィルタを用いるため、計算コストを低減することができるが、タイル状に隣接する画像の画素間には情報の関連性がなく、対象の認識精度が低下するという問題があった。
非特許文献２記載の技術では、２次元の畳み込みフィルタを用いるため、計算コストを低減することができるが、タイル状に隣接する画像の画素間には情報の関連性がなく、対象の認識精度が低下するという問題があった。
ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．３５， ｐｐ．２２１－２３１，２０１３，「３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｈｕｍａｎ Ａｃｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ」
ＭＩＲＵ２０１６ 第１９回 画像の認識・理解シンポジウム ＰＳ１－２７「フレーム連結画像を用いたＣＮＮによるシーン認識」
本発明は、動的な認識対象を画像認識することを目的とする。
（１）請求項１に記載の発明では、空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報を取得する時系列空間情報取得手段と、前記取得した時系列空間情報を所定の方向に走査して当該所定の方向におけるデータ値の列を取得するデータ値取得手段と、前記取得したデータ値の列を、前記時系列空間情報の他の方向に対応して配列して前記認識対象を画像認識するための画像データを生成する画像データ生成手段と、前記生成した画像データを出力する出力手段と、を具備したことを特徴とする画像データ生成装置を提供する。
（２）請求項２に記載の発明では、前記所定の方向が、前記時系列空間情報の空間方向であり、前記他の方向は、前記時系列空間情報の時間方向であることを特徴とする請求項１に記載の画像データ生成装置を提供する。
（３）請求項３に記載の発明では、前記データ値取得手段が、前記所定の方向におけるデータ値の局所性に対応して屈曲を繰り返す曲線を走査経路として設定し、当該設定した走査経路に沿って前記データ値の列を取得することを特徴とする請求項１、又は請求項２に記載の画像データ生成装置を提供する。
（４）請求項４に記載の発明では、前記データ値取得手段が、前記屈曲を繰り返す曲線として空間充填曲線を設定することを特徴とする請求項３に記載の画像データ生成装置を提供する。
（５）請求項５に記載の発明では、前記時系列空間情報が、前記認識対象を撮影した動画データであり、前記データ値取得手段は、前記動画データの各フレーム画像データに前記曲線を設定し、前記各フレーム画像データを走査して、画素値の列をデータ値の列として取得し、前記画像データ生成手段は、フレーム画像データごとの画素値の列を時間方向に対応して配列した２次元の前記画像データを生成することを特徴とする請求項４に記載の画像データ生成装置を提供する。
（６）請求項６に記載の発明では、前記データ値取得手段が、前記フレーム画像データごとに、前記曲線の設定条件を変化させることを特徴とする請求項５に記載の画像データ生成装置を提供する。
（７）請求項７に記載の発明では、前記データ値取得手段が、前記設定条件として、前記曲線の設定範囲を変化させることを特徴とする請求項６に記載の画像データ生成装置を提供する。
（８）請求項８に記載の発明では、前記データ値取得手段が、前記設定条件として、前記フレーム画像データごとに、前記曲線の設定形態を変化させることを特徴とする請求項６に記載の画像データ生成装置を提供する。
（９）請求項９に記載の発明では、前記データ値取得手段が、同一のフレーム画像データに対して前記曲線の設定条件を変化させて、当該設定条件ごとにデータ値を取得することを特徴とする請求項６、請求項７、又は請求項８に記載の画像データ生成装置を提供する。
（１０）請求項１０に記載の発明では、前記データ値取得手段が、直線状の走査経路に沿って前記データ値の列を取得することを特徴とする請求項２に記載の画像データ生成装置を提供する。
（１１）請求項１１に記載の発明では、前記時系列空間情報が、前記認識対象を撮影した動画データであり、前記動画データを構成するフレーム画像の少なくとも一部の静止画像データに対して前記走査経路の走査方向を決定する走査方向決定手段を具備し、前記データ値取得手段は、前記決定した走査方向に沿って前記データ値の列を取得し、前記画像データ生成手段は、前記静止画像データごとの画素値の列を時間方向に対応して配列した２次元の前記画像データを生成することを特徴とする請求項１０に記載の画像データ生成装置を提供する。
（１２）請求項１２に記載の発明では、前記走査方向決定手段が、前記静止画像データによって形成される画像の短手方向に前記走査方向を決定することを特徴とする請求項１１に記載の画像データ生成装置を提供する。
（１３）請求項１３に記載の発明では、請求項１から請求項１２までのうちの何れか１の請求項に記載の画像データ生成装置と、前記画像データ生成装置が出力した画像データを取得する画像データ取得手段と、認識対象を画像認識するための学習データを取得する学習データ取得手段と、前記取得した学習データを用いて前記取得した画像データに含まれている前記認識対象を認識する認識手段と、を具備したことを特徴とする画像認識装置を提供する。
（１４）請求項１４に記載の発明では、空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報を取得する時系列空間情報取得機能と、前記取得した時系列空間情報を所定の方向に走査して当該所定の方向におけるデータ値の列を取得するデータ値取得機能と、前記取得したデータ値の列を、前記時系列空間情報の他の方向に対応して配列して前記認識対象を画像認識するための画像データを生成する画像データ生成機能と、前記生成した画像データを出力する出力機能と、をコンピュータで実現する画像データ生成プログラムを提供する。
（１５）請求項１５に記載の発明では、空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報を取得する時系列空間情報取得機能と、前記取得した時系列空間情報を所定の方向に走査して当該所定の方向におけるデータ値の列を取得するデータ値取得機能と、前記取得したデータ値の列を、前記時系列空間情報の他の方向に対応して配列して前記認識対象を画像認識するための画像データを生成する画像データ生成機能と、前記生成した画像データを出力する出力機能と、前記出力した画像データを取得する画像データ取得機能と、認識対象を画像認識するための学習データを取得する学習データ取得機能と、前記取得した学習データを用いて前記取得した画像データに含まれている前記認識対象を認識する認識機能と、をコンピュータで実現する画像認識プログラムを提供する。
（２）請求項２に記載の発明では、前記所定の方向が、前記時系列空間情報の空間方向であり、前記他の方向は、前記時系列空間情報の時間方向であることを特徴とする請求項１に記載の画像データ生成装置を提供する。
（３）請求項３に記載の発明では、前記データ値取得手段が、前記所定の方向におけるデータ値の局所性に対応して屈曲を繰り返す曲線を走査経路として設定し、当該設定した走査経路に沿って前記データ値の列を取得することを特徴とする請求項１、又は請求項２に記載の画像データ生成装置を提供する。
（４）請求項４に記載の発明では、前記データ値取得手段が、前記屈曲を繰り返す曲線として空間充填曲線を設定することを特徴とする請求項３に記載の画像データ生成装置を提供する。
（５）請求項５に記載の発明では、前記時系列空間情報が、前記認識対象を撮影した動画データであり、前記データ値取得手段は、前記動画データの各フレーム画像データに前記曲線を設定し、前記各フレーム画像データを走査して、画素値の列をデータ値の列として取得し、前記画像データ生成手段は、フレーム画像データごとの画素値の列を時間方向に対応して配列した２次元の前記画像データを生成することを特徴とする請求項４に記載の画像データ生成装置を提供する。
（６）請求項６に記載の発明では、前記データ値取得手段が、前記フレーム画像データごとに、前記曲線の設定条件を変化させることを特徴とする請求項５に記載の画像データ生成装置を提供する。
（７）請求項７に記載の発明では、前記データ値取得手段が、前記設定条件として、前記曲線の設定範囲を変化させることを特徴とする請求項６に記載の画像データ生成装置を提供する。
（８）請求項８に記載の発明では、前記データ値取得手段が、前記設定条件として、前記フレーム画像データごとに、前記曲線の設定形態を変化させることを特徴とする請求項６に記載の画像データ生成装置を提供する。
（９）請求項９に記載の発明では、前記データ値取得手段が、同一のフレーム画像データに対して前記曲線の設定条件を変化させて、当該設定条件ごとにデータ値を取得することを特徴とする請求項６、請求項７、又は請求項８に記載の画像データ生成装置を提供する。
（１０）請求項１０に記載の発明では、前記データ値取得手段が、直線状の走査経路に沿って前記データ値の列を取得することを特徴とする請求項２に記載の画像データ生成装置を提供する。
（１１）請求項１１に記載の発明では、前記時系列空間情報が、前記認識対象を撮影した動画データであり、前記動画データを構成するフレーム画像の少なくとも一部の静止画像データに対して前記走査経路の走査方向を決定する走査方向決定手段を具備し、前記データ値取得手段は、前記決定した走査方向に沿って前記データ値の列を取得し、前記画像データ生成手段は、前記静止画像データごとの画素値の列を時間方向に対応して配列した２次元の前記画像データを生成することを特徴とする請求項１０に記載の画像データ生成装置を提供する。
（１２）請求項１２に記載の発明では、前記走査方向決定手段が、前記静止画像データによって形成される画像の短手方向に前記走査方向を決定することを特徴とする請求項１１に記載の画像データ生成装置を提供する。
（１３）請求項１３に記載の発明では、請求項１から請求項１２までのうちの何れか１の請求項に記載の画像データ生成装置と、前記画像データ生成装置が出力した画像データを取得する画像データ取得手段と、認識対象を画像認識するための学習データを取得する学習データ取得手段と、前記取得した学習データを用いて前記取得した画像データに含まれている前記認識対象を認識する認識手段と、を具備したことを特徴とする画像認識装置を提供する。
（１４）請求項１４に記載の発明では、空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報を取得する時系列空間情報取得機能と、前記取得した時系列空間情報を所定の方向に走査して当該所定の方向におけるデータ値の列を取得するデータ値取得機能と、前記取得したデータ値の列を、前記時系列空間情報の他の方向に対応して配列して前記認識対象を画像認識するための画像データを生成する画像データ生成機能と、前記生成した画像データを出力する出力機能と、をコンピュータで実現する画像データ生成プログラムを提供する。
（１５）請求項１５に記載の発明では、空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報を取得する時系列空間情報取得機能と、前記取得した時系列空間情報を所定の方向に走査して当該所定の方向におけるデータ値の列を取得するデータ値取得機能と、前記取得したデータ値の列を、前記時系列空間情報の他の方向に対応して配列して前記認識対象を画像認識するための画像データを生成する画像データ生成機能と、前記生成した画像データを出力する出力機能と、前記出力した画像データを取得する画像データ取得機能と、認識対象を画像認識するための学習データを取得する学習データ取得機能と、前記取得した学習データを用いて前記取得した画像データに含まれている前記認識対象を認識する認識機能と、をコンピュータで実現する画像認識プログラムを提供する。
本発明によれば、空間的な情報と時間的な情報を併せ持つ時空間画像データを生成することにより、動的な認識対象を画像認識することができる。
（１）実施形態の概要
画像認識装置１（図１）は、時空間画像データ生成部２によって、動画データ４を構成するフレーム画像データ６をヒルベルトスキャンして１次元空間画像データ７を生成し、更に、１次元空間画像データ７を時間方向に配列して空間的情報と時間的情報を保持した２次元の時空間画像データ８を生成する。
このように、画像認識装置１は、空間的情報と時間的情報を保持しつつ、動画データ４を２次元の時空間画像データ８に画像変換する。
次に、画像認識装置１は、ＣＮＮ部３によって、時空間画像データ８に対して２次元フィルタを用いた畳み込み処理を行い、認識対象である歩行者の行動を画像認識する。
このように、画像認識装置１は、本来は、空間２次元と時間１次元による３次元の解析を要する歩行者の行動認識を、２次元画像のＣＮＮ（深層学習を用いた人工知能の一つ）による画像認識処理によって行い、歩行者の状態を推定することができる。
画像認識装置１（図１）は、時空間画像データ生成部２によって、動画データ４を構成するフレーム画像データ６をヒルベルトスキャンして１次元空間画像データ７を生成し、更に、１次元空間画像データ７を時間方向に配列して空間的情報と時間的情報を保持した２次元の時空間画像データ８を生成する。
このように、画像認識装置１は、空間的情報と時間的情報を保持しつつ、動画データ４を２次元の時空間画像データ８に画像変換する。
次に、画像認識装置１は、ＣＮＮ部３によって、時空間画像データ８に対して２次元フィルタを用いた畳み込み処理を行い、認識対象である歩行者の行動を画像認識する。
このように、画像認識装置１は、本来は、空間２次元と時間１次元による３次元の解析を要する歩行者の行動認識を、２次元画像のＣＮＮ（深層学習を用いた人工知能の一つ）による画像認識処理によって行い、歩行者の状態を推定することができる。
（２）実施形態の詳細
図１は、本実施の形態に係る画像認識装置１の構成を説明するための図である。
図１（ａ）に示した画像認識装置１は、車載装置であって、画像認識用の画像データの生成を行う時空間画像データ生成部２と深層学習を用いた人工知能による画像認識処理を行うＣＮＮ部３を備えており、車載のカメラが出力した動画データを解析して車外に存在する歩行者の有無と動作状態の分類（右直立、右歩行、左直立、左歩行など）を画像認識する。
図１は、本実施の形態に係る画像認識装置１の構成を説明するための図である。
図１（ａ）に示した画像認識装置１は、車載装置であって、画像認識用の画像データの生成を行う時空間画像データ生成部２と深層学習を用いた人工知能による画像認識処理を行うＣＮＮ部３を備えており、車載のカメラが出力した動画データを解析して車外に存在する歩行者の有無と動作状態の分類（右直立、右歩行、左直立、左歩行など）を画像認識する。
なお、これは一例であって、例えば、車両の前方の道路や地形を読み取ったり、あるいは、監視カメラと接続して通行人を認識・追跡したりするなど、動的な認識対象を画像認識する一般的な用途に広く使用することができる。
時空間画像データ生成部２は、画像データ生成装置として機能するモジュールであって、カメラが撮影・生成した動画データ４を時空間画像データ８に変換する。
カメラによって撮影された動画データ４は、時系列的に生成されたフレーム画像データ６ａ、６ｂ、…から構成されている。
以降、フレーム画像データ６ａ、６ｂ、…を特に区別しない場合は、単にフレーム画像データ６と記し、後述する他の構成要素についても同様とする。
カメラによって撮影された動画データ４は、時系列的に生成されたフレーム画像データ６ａ、６ｂ、…から構成されている。
以降、フレーム画像データ６ａ、６ｂ、…を特に区別しない場合は、単にフレーム画像データ６と記し、後述する他の構成要素についても同様とする。
フレーム画像データ６は、ある瞬間において被写体（認識対象）を撮影した、空間方向の（ｘ、ｙ）成分を有する２次元の静止画像データである。
動画データ４は、フレーム画像データ６を撮影時間に従って時間方向（ｔ軸とする）に時系列に順序づけて並べた静止画像データの集合であり、空間方向の２次元、時間方向の１次元を合計した３次元データとなる。
ここで、動画データ４は、空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報として機能している。
動画データ４は、フレーム画像データ６を撮影時間に従って時間方向（ｔ軸とする）に時系列に順序づけて並べた静止画像データの集合であり、空間方向の２次元、時間方向の１次元を合計した３次元データとなる。
ここで、動画データ４は、空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報として機能している。
時空間画像データ生成部２は、カメラから逐次送られてくるフレーム画像データ６を時系列的に所定枚数分（Ｑ枚）を読み込む。
このように、時空間画像データ生成部２は、カメラより時系列空間情報を取得する時系列空間情報取得手段を備えている。
ここでは、一例として最初のフレーム画像データ６ａから最新のフレーム画像データ６ｆまでの６枚のフレーム画像データ６を読み込むことにする。
なお、画像認識精度が許容範囲内に保たれる限度まで、フレーム画像データ６を所定枚数ごとに、あるいは、ランダムに読み込んだり、または、コマ落ちが生じてもよい。
このように、時空間画像データ生成部２は、カメラより時系列空間情報を取得する時系列空間情報取得手段を備えている。
ここでは、一例として最初のフレーム画像データ６ａから最新のフレーム画像データ６ｆまでの６枚のフレーム画像データ６を読み込むことにする。
なお、画像認識精度が許容範囲内に保たれる限度まで、フレーム画像データ６を所定枚数ごとに、あるいは、ランダムに読み込んだり、または、コマ落ちが生じてもよい。
なお、フレーム画像データ６を読み込む順番については、この逆も可能である。
すなわち、時空間画像データ生成部２は、カメラから逐次送られてくるフレーム画像データ６のうち、最新のものから過去のものへ時系列的に所定枚数分を読み込むようにしてもよい。この場合の一例としては、最新のフレーム画像データ６ｆから過去方向のフレーム画像データ６ａまでの６枚のフレーム画像データ６を読み込むことになる。
すなわち、時空間画像データ生成部２は、カメラから逐次送られてくるフレーム画像データ６のうち、最新のものから過去のものへ時系列的に所定枚数分を読み込むようにしてもよい。この場合の一例としては、最新のフレーム画像データ６ｆから過去方向のフレーム画像データ６ａまでの６枚のフレーム画像データ６を読み込むことになる。
時空間画像データ生成部２は、これらのフレーム画像データ６を読み込むと、まず、フレーム画像データ６ａに対して空間方向（ｘ軸とｙ軸で張られる面の面方向）にヒルベルト曲線（後述）を一筆書き的に設定する。そして、時空間画像データ生成部２は、当該ヒルベルト曲線に沿ってフレーム画像データ６ａの画素の画素値をスキャン（走査）して読み取り、これらを１列に展開する。この処理は、ヒルベルトスキャンと呼ばれ、詳細は後述する。
フレーム画像データ６ａをヒルベルトスキャンすることにより、フレーム画像データ６ａを撮影した時点での、空間的情報を含む空間方向の１次元データである１次元空間画像データ７ａが得られる。
時空間画像データ生成部２は、同様にして、フレーム画像データ６ｂ～６ｆも図示しない１次元空間画像データ７ｂ～７ｆに変換する。
後述するように、ヒルベルト曲線は屈曲しているため、これに沿ってスキャンすると、画像の局所性を極力保持したまま２次元画像を１次元化することができる。
このように、時空間画像データ生成部２は、時系列空間情報を所定の方向（この例では、空間方向であり、時間方向とすることも可能）に走査して当該所定の方向におけるデータ値（この例では画素値）の列を取得するデータ値取得手段を備えている。
そして、当該データ値取得手段は、走査経路として、当該所定の方向におけるデータ値の局所性に対応して屈曲を繰り返す曲線（この例では、ヒルベルト曲線）を設定し、当該設定した曲線に沿って時系列空間情報を走査して当該所定の方向におけるデータ値（この例では、画素値）の列を取得している。
時空間画像データ生成部２は、同様にして、フレーム画像データ６ｂ～６ｆも図示しない１次元空間画像データ７ｂ～７ｆに変換する。
後述するように、ヒルベルト曲線は屈曲しているため、これに沿ってスキャンすると、画像の局所性を極力保持したまま２次元画像を１次元化することができる。
このように、時空間画像データ生成部２は、時系列空間情報を所定の方向（この例では、空間方向であり、時間方向とすることも可能）に走査して当該所定の方向におけるデータ値（この例では画素値）の列を取得するデータ値取得手段を備えている。
そして、当該データ値取得手段は、走査経路として、当該所定の方向におけるデータ値の局所性に対応して屈曲を繰り返す曲線（この例では、ヒルベルト曲線）を設定し、当該設定した曲線に沿って時系列空間情報を走査して当該所定の方向におけるデータ値（この例では、画素値）の列を取得している。
次いで、時空間画像データ生成部２は、図１（ｂ）に示したように、１次元空間画像データ７ａ～７ｆを時間方向に（即ち撮影時間の順番に）時系列的に配列して画像認識用の時空間画像データ８を生成する。
このように、時空間画像データ生成部２は、取得したデータ値の列を、時系列空間情報の他の方向（この例では、時間方向）に対応して配列して認識対象を画像認識するための画像データ（時空間画像データ８）を生成する画像データ生成手段を備えている。
このように、時空間画像データ生成部２は、取得したデータ値の列を、時系列空間情報の他の方向（この例では、時間方向）に対応して配列して認識対象を画像認識するための画像データ（時空間画像データ８）を生成する画像データ生成手段を備えている。
時空間画像データ８は、一辺の方向が空間的情報（空間成分）を表し、これに直交する他方の辺が時間的情報（時間成分）を表す２次元画像データである。
このように、時空間画像データ生成部２は、動画データ４を空間方向にヒルベルトスキャンして展開することにより３次元の時系列空間データである動画データ４を、空間的情報、及び時間的情報を保持しつつ、２次元の画像データである時空間画像データ８に変換する。
なお、ここでは１次元空間画像データ７の配列を時系列順としたが、画像認識が可能な範囲で順序を変更することも可能である。
このように、時空間画像データ生成部２は、動画データ４を空間方向にヒルベルトスキャンして展開することにより３次元の時系列空間データである動画データ４を、空間的情報、及び時間的情報を保持しつつ、２次元の画像データである時空間画像データ８に変換する。
なお、ここでは１次元空間画像データ７の配列を時系列順としたが、画像認識が可能な範囲で順序を変更することも可能である。
以上のように、時空間画像データ生成部２は、動画データの各フレーム画像データに曲線を設定し、各フレーム画像データを走査して、画素値の列をデータ値の列として取得し、更に、フレーム画像データごとの画素値の列を時間方向に対応して配列した２次元の画像データを生成している。
図１（ａ）に戻り、ＣＮＮ部３は、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて２次元画像データの画像認識を行うモジュールである。
ＣＮＮ部３が用いるアルゴリズムは、２次元画像データの画像認識方法として高い評価を得ており、また、広く利用されているものである。
ＣＮＮ部３が用いるアルゴリズムは、２次元画像データの画像認識方法として高い評価を得ており、また、広く利用されているものである。
本実施の形態では、ＣＮＮ部３は、右直立、右歩行、左直立、左歩行、…など歩行者が取り得る各種の態様を事前学習しており、時空間画像データ生成部２が出力した時空間画像データ８を読み込んで、これから歩行者の態様が何れの分類クラスに属するかを画像認識し、その結果を出力する。
このように、時空間画像データ生成部２は、生成した画像データをＣＮＮ部３に出力する出力手段を備えている。
このように、時空間画像データ生成部２は、生成した画像データをＣＮＮ部３に出力する出力手段を備えている。
ここで、図１（ｃ）を用いてＣＮＮ部３の構成についてより詳細に説明する。
ＣＮＮ部３は、入力側から、畳み込み層１１、プーリング層１２、畳み込み層１３、プーリング層１４、畳み込み層１５、プーリング層１６、全結合層１７の各層を積層して構成されている。
畳み込み層１１は、入力された２次元画像データ（ここでは、時空間画像データ８）に対して２次元フィルタを画像上でスライドさせてフィルタリングすることにより画像の特徴的な濃淡構造を抽出する層であり、周波数解析に対応する処理を行う。
ＣＮＮ部３は、入力側から、畳み込み層１１、プーリング層１２、畳み込み層１３、プーリング層１４、畳み込み層１５、プーリング層１６、全結合層１７の各層を積層して構成されている。
畳み込み層１１は、入力された２次元画像データ（ここでは、時空間画像データ８）に対して２次元フィルタを画像上でスライドさせてフィルタリングすることにより画像の特徴的な濃淡構造を抽出する層であり、周波数解析に対応する処理を行う。
プーリング層１２は、畳み込み層１１によって抽出された特徴を保持しつつデータをダウンサンプリングして縮小する。
歩行者は、動的に動くため、フレーム画像データ６での撮影位置がずれるが、プーリング層１２の処理によって歩行者を表す空間的な特徴の位置のずれを吸収することができる。これによって、空間的な位置ずれに対する画像認識精度の頑強性を高めることができる。
歩行者は、動的に動くため、フレーム画像データ６での撮影位置がずれるが、プーリング層１２の処理によって歩行者を表す空間的な特徴の位置のずれを吸収することができる。これによって、空間的な位置ずれに対する画像認識精度の頑強性を高めることができる。
畳み込み層１３、１５と、プーリング層１４、１６の機能は、それぞれ、畳み込み層１１、プーリング層１２と同様である。
全結合層１７は、一般的なニューラルネットワークであり、２次元特徴マップ（畳み込み層１１～プーリング層１６を経て得られるデータ）を１次元に展開し、回帰分析のような処理を行う層である。
このように、ＣＮＮ部３は、画像の特徴の抽出と位置のずれの吸収を３回行った後、回帰分析的な処理を行って、歩行者の態様を画像認識する。
全結合層１７は、一般的なニューラルネットワークであり、２次元特徴マップ（畳み込み層１１～プーリング層１６を経て得られるデータ）を１次元に展開し、回帰分析のような処理を行う層である。
このように、ＣＮＮ部３は、画像の特徴の抽出と位置のずれの吸収を３回行った後、回帰分析的な処理を行って、歩行者の態様を画像認識する。
なお、畳み込み層１１、１３、１５の２次元フィルタの値や、全結合層１７のパラメータは、学習を通してチューニングされている。
学習は、分類クラスごとに多数の時空間画像データ８を用意し、これを画像認識装置１に入力して、その結果をバックプロパゲーションするなどして行う。
学習は、分類クラスごとに多数の時空間画像データ８を用意し、これを画像認識装置１に入力して、その結果をバックプロパゲーションするなどして行う。
図２は、時空間画像データ生成部２が行うヒルベルトスキャンを説明するための図である。
ヒルベルトスキャンは、フレーム画像データ６に各画素を通過するヒルベルト曲線を設定し、これに沿ってスキャンすることにより、フレーム画像データ６の全体に渡って画素値を一筆書き的に読み取る処理である。
ヒルベルトスキャンは、フレーム画像データ６に各画素を通過するヒルベルト曲線を設定し、これに沿ってスキャンすることにより、フレーム画像データ６の全体に渡って画素値を一筆書き的に読み取る処理である。
ヒルベルト曲線は、図２（ａ）に示したようなコの字型の曲線を組み合わせて形成される空間全体を覆う曲線であり、空間充填曲線と呼ばれるものの一種である。空間充填曲線には、この他にペアノ曲線などもある。図に示した矢線は、スキャンの方向を示している。
このように、時空間画像データ生成部２は、屈曲を繰り返す曲線として空間充填曲線を設定している。
このように、時空間画像データ生成部２は、屈曲を繰り返す曲線として空間充填曲線を設定している。
図２（ｂ）に示したような、ｍ×ｍ（ｍ＝２）個の画素１～４が配置された画像データ２０の例では、これらの画素を通過するヒルベルト曲線２１を設定し、矢線の方向に画素値をスキャンして読み取った画素値を１列に並べると、画素１～画素４が順に並んだ１次元空間画像データ２２が得られる。
図２（ｃ）に示したような、ｍ×ｍ（ｍ＝４）個の画素１～Ｇが配置された画像データ２４の例では、これらの画素を通過するヒルベルト曲線２５を設定し、矢線の方向に画素値をスキャンして読み取った画素値を１列に並べると、画素１～画素Ｇが順に並んだ１次元空間画像データ２６が得られる。
更に、より画素の多い画像データも同様に、ヒルベルト曲線に従ってスキャンする。
更に、より画素の多い画像データも同様に、ヒルベルト曲線に従ってスキャンする。
ところで、例えば、図２（ｃ）の画像データ２４では、領域２７に画素１、２、５、６が局在しているが、これらの画素は１次元空間画像データ２６においても領域２８に局在している。
同様に、画像データ２４で局在している画素３、４、７、８も１次元空間画像データ２６で局在してまとまっている。
このようにヒルベルトスキャンを用いると、画素値の局所性をできるだけ保持したまま２次元データを１次元化することができる。
同様に、画像データ２４で局在している画素３、４、７、８も１次元空間画像データ２６で局在してまとまっている。
このようにヒルベルトスキャンを用いると、画素値の局所性をできるだけ保持したまま２次元データを１次元化することができる。
画像認識は、画像の特徴をパターン認識するため、元画像の局所的な特徴をなるべく損なわないようにして時空間画像データ８を生成することが重要となる。
そのため、ヒルベルト曲線は、フレーム画像データ６をスキャンするための走査線として適した曲線である。
なお、これは、フレーム画像データ６をスキャンする曲線をヒルベルト曲線に限定するものではなく、ペアノ曲線などの他の空間充填曲線や、非空間充填曲線を用いることも可能である。
そのため、ヒルベルト曲線は、フレーム画像データ６をスキャンするための走査線として適した曲線である。
なお、これは、フレーム画像データ６をスキャンする曲線をヒルベルト曲線に限定するものではなく、ペアノ曲線などの他の空間充填曲線や、非空間充填曲線を用いることも可能である。
本実施の形態では、ヒルベルト曲線を画素単位で屈曲させるが、例えば、１つおきの画素で屈曲させ、１つおきの画素値を読み取るといったように、読み取りの間隔を粗くすることも可能である。間隔が細かいほど精度は上がるが、計算コストは増大する。そのため、読み取りの間隔は、画像認識に必要とされる局所性の程度に応じて決定すればよい。
このように、時空間画像データ生成部２は、動画による３次元データをスキャンして２次元データ化することができる。このため、ＣＮＮ部３は、３次元の動画データを２次元フィルタでフィルタリングすることが可能となる。これにより、動画データに３次元フィルタを適用する従来例に比して、計算コストを著しく低減することができる。
このように、時空間画像データ生成部２は、動画による３次元データをスキャンして２次元データ化することができる。このため、ＣＮＮ部３は、３次元の動画データを２次元フィルタでフィルタリングすることが可能となる。これにより、動画データに３次元フィルタを適用する従来例に比して、計算コストを著しく低減することができる。
図３は、動画データ４をクリッピングする方法を説明するための図である。
上述したように、ヒルベルトスキャンすることによりフレーム画像データ６における画素の局所性をなるべく保持したまま時空間画像データ８を生成することができる。
しかし、局所性の全てが保存されるわけではなく、局在化していた画素が離れてしまう場合もある程度発生する。
上述したように、ヒルベルトスキャンすることによりフレーム画像データ６における画素の局所性をなるべく保持したまま時空間画像データ８を生成することができる。
しかし、局所性の全てが保存されるわけではなく、局在化していた画素が離れてしまう場合もある程度発生する。
例えば、図２（ｃ）で説明した画像データ２４の例において、領域２７に局在している画素１、２、５、６については、１次元空間画像データ２６においても領域２８に局在している。
しかし、画像データ２４において局在している画素５、６、９、Ａからなる領域に注目した場合、１次元空間画像データ２６では画素５、６と画素９、Ａとが離れてしまい、局所性が低下している。
このため、各フレーム画像データ６に対して同一条件でヒルベルトスキャンをすると、上記の画素５、６と画素９、Ａとの間で生じた局所性の低下が、全てのフレーム画像データ６において生じることになり、時系列的に局所性の低下が累積されてしまう。
しかし、画像データ２４において局在している画素５、６、９、Ａからなる領域に注目した場合、１次元空間画像データ２６では画素５、６と画素９、Ａとが離れてしまい、局所性が低下している。
このため、各フレーム画像データ６に対して同一条件でヒルベルトスキャンをすると、上記の画素５、６と画素９、Ａとの間で生じた局所性の低下が、全てのフレーム画像データ６において生じることになり、時系列的に局所性の低下が累積されてしまう。
画素の局所性の低下による画像認識精度の低下を抑制する方法としては、フレーム画像データ６ごとにヒルベルト曲線の設定条件を変化させて、局所性が低下する画素をフレーム画像データ６ごとに異なるように分散することが有効である。
そこで、時空間画像データ生成部２は、次に述べるように、フレーム画像データ６ごとのヒルベルト曲線の設定条件を変化させるためにフレーム画像データ６をランダムにクリッピングする機能を備えている。
そこで、時空間画像データ生成部２は、次に述べるように、フレーム画像データ６ごとのヒルベルト曲線の設定条件を変化させるためにフレーム画像データ６をランダムにクリッピングする機能を備えている。
図３（ａ）に示したように、フレーム画像データ６ａは、一例として６４×３２個の画素から構成されているとする。
これに対し、時空間画像データ生成部２は、このサイズより小さい領域をフレーム画像データ６ａにランダム（任意）に設定し、フレーム画像データ６ａから当該領域で形成されたクリッピング画像９ａを抜き出す。クリッピング画像９ａのサイズは、一例として６０×３０とする。
これに対し、時空間画像データ生成部２は、このサイズより小さい領域をフレーム画像データ６ａにランダム（任意）に設定し、フレーム画像データ６ａから当該領域で形成されたクリッピング画像９ａを抜き出す。クリッピング画像９ａのサイズは、一例として６０×３０とする。
画像にヒルベルト曲線を設定する場合、一辺のサイズが２のｎ乗（ｎは自然数）であることが必要である。
そこで、時空間画像データ生成部２は、図３（ｂ）に示したように、クリッピング画像９ａの周囲に適当な画素を追加するパディングという処理を行って、６４×３２のフレーム画像データ６ａを復元する。
そして、時空間画像データ生成部２は、復元したフレーム画像データ６ａにヒルベルト曲線を設定してスキャンし、追加した画素の画素値はメモリに読み込まずにスキップして１次元空間画像データ７ａを生成する。
そこで、時空間画像データ生成部２は、図３（ｂ）に示したように、クリッピング画像９ａの周囲に適当な画素を追加するパディングという処理を行って、６４×３２のフレーム画像データ６ａを復元する。
そして、時空間画像データ生成部２は、復元したフレーム画像データ６ａにヒルベルト曲線を設定してスキャンし、追加した画素の画素値はメモリに読み込まずにスキップして１次元空間画像データ７ａを生成する。
時空間画像データ生成部２は、同様に、フレーム画像データ６ｂ～６ｆを任意の範囲でクリッピングしてクリッピング画像９ｂ～９ｆを生成し、これらをパディングしてからヒルベルトスキャンして１次元空間画像データ７ｂ～７ｆを生成する。
そして、時空間画像データ生成部２は、１次元空間画像データ７ａ～７ｆを時系列順に配設して時空間画像データ８を生成する。
以上の例では、クリッピング画像９ａをフレーム画像データ６ごとに任意の領域に設定したが、何らかの規則性に従って設定してもよい。
そして、時空間画像データ生成部２は、１次元空間画像データ７ａ～７ｆを時系列順に配設して時空間画像データ８を生成する。
以上の例では、クリッピング画像９ａをフレーム画像データ６ごとに任意の領域に設定したが、何らかの規則性に従って設定してもよい。
クリッピング後に復元したフレーム画像データ６にヒルベルト曲線を設定することにより、ヒルベルト曲線の開始点や画素を通過する経路がフレーム画像データ６ごとに変化し、画素の非局在化を様々な画素に分散することができる。
このように、時空間画像データ生成部２は、フレーム画像データごとに、曲線の設定範囲を変化させることにより曲線の設定条件を変化させる。
このように、時空間画像データ生成部２は、フレーム画像データごとに、曲線の設定範囲を変化させることにより曲線の設定条件を変化させる。
このような、学習画像やフレーム画像データ６から一回り小さい画像をランダムで切り出して、空間的情報の保持を網羅的にする処理は、データオーギュメンテーションと呼ばれている。
データオーギュメンテーションは、事前学習用の動画データと動画データ４の双方について行われる。
データオーギュメンテーションは、事前学習用の動画データと動画データ４の双方について行われる。
図４は、クリッピングの変形例を説明するための図である。
この変形例では、時空間画像データ生成部２は、クリッピング画像９ａの上半分から３０×３０のクリッピング画像を抜き出した後、パディングして３２×３２のフレーム画像データ３１ａを生成する。
同様にして、時空間画像データ生成部２は、クリッピング画像９ｂ～９ｆから図示しないフレーム画像データ３１ｂ～３１ｆを生成する。
この変形例では、時空間画像データ生成部２は、クリッピング画像９ａの上半分から３０×３０のクリッピング画像を抜き出した後、パディングして３２×３２のフレーム画像データ３１ａを生成する。
同様にして、時空間画像データ生成部２は、クリッピング画像９ｂ～９ｆから図示しないフレーム画像データ３１ｂ～３１ｆを生成する。
そして、時空間画像データ生成部２は、ヒルベルトスキャンによってフレーム画像データ３１ａ～３１ｆから１次元空間画像データ７ａ～７ｆを生成し、これらを時系列順に配設して時空間画像データ８を生成する。
クリッピング画像９を半分にリサイズすることにより、１次元空間画像データ７や時空間画像データ８のデータ量も半分になり、より小型の画像認識装置１での処理が可能となる。
クリッピング画像９を半分にリサイズすることにより、１次元空間画像データ７や時空間画像データ８のデータ量も半分になり、より小型の画像認識装置１での処理が可能となる。
この例では、クリッピング画像９の上半分を再度クリッピングしたが、下半分や中間部分をクリッピングしてもよい。
また、フレーム画像データ６を直接クリッピングしてクリッピング画像を生成してもよい。
また、フレーム画像データ６を直接クリッピングしてクリッピング画像を生成してもよい。
図５は、画像認識装置１のハードウェア的な構成の一例を示した図である。
画像認識装置１は、車載用に構成されているが、航空機や船舶などの他の形態の移動体に搭載したり、あるいは、スマートフォンなどの携帯端末に搭載したり、更には、パーソナルコンピュータなどの据え置き型の装置に搭載したりすることができる。
画像認識装置１は、車載用に構成されているが、航空機や船舶などの他の形態の移動体に搭載したり、あるいは、スマートフォンなどの携帯端末に搭載したり、更には、パーソナルコンピュータなどの据え置き型の装置に搭載したりすることができる。
画像認識装置１は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、記憶装置４４、カメラ４５、入力部４６、及び出力部４７などがバスラインで接続されて構成されている。
ＣＰＵ４１は、中央処理装置であって、記憶装置４４が記憶する画像認識プログラムに従って動作し、上述した歩行者の画像認識を行う。
ＣＰＵ４１は、中央処理装置であって、記憶装置４４が記憶する画像認識プログラムに従って動作し、上述した歩行者の画像認識を行う。
ＲＯＭ４２は、読み出し専用のメモリであって、ＣＰＵ４１を動作させるための基本的なプログラムやパラメータを記憶している。
ＲＡＭ４３は、読み書きが可能なメモリであって、ＣＰＵ４１が動画データ４から時空間画像データ８を生成したり、更に、時空間画像データ８から歩行者を画像認識する際のワーキングメモリを提供する。
ＲＡＭ４３は、読み書きが可能なメモリであって、ＣＰＵ４１が動画データ４から時空間画像データ８を生成したり、更に、時空間画像データ８から歩行者を画像認識する際のワーキングメモリを提供する。
記憶装置４４は、ハードディスクなどの大容量の記憶媒体を用いて構成されており、画像認識プログラムを記憶している。
画像認識プログラムは、ＣＰＵ４１に時空間画像データ生成部２やＣＮＮ部３としての機能を発揮させるプログラムである。
画像認識プログラムは、ＣＰＵ４１に時空間画像データ生成部２やＣＮＮ部３としての機能を発揮させるプログラムである。
カメラ４５は、車外を動画撮影する車載カメラであって、所定のフレームレートでフレーム画像データ６を出力する。
入力部４６は、画像認識装置１を操作するための操作ボタンなどから構成され、出力部４７は、画像認識装置１の設定画面などを表示するディスプレイなどから構成されている。
本実施の形態では、画像認識装置１を車載装置とするが、カメラ４５を車両に設置し、ネットワーク通信によって動画をサーバに送信し、サーバで画像認識して認識結果を車両に送信するように構成することもできる。
入力部４６は、画像認識装置１を操作するための操作ボタンなどから構成され、出力部４７は、画像認識装置１の設定画面などを表示するディスプレイなどから構成されている。
本実施の形態では、画像認識装置１を車載装置とするが、カメラ４５を車両に設置し、ネットワーク通信によって動画をサーバに送信し、サーバで画像認識して認識結果を車両に送信するように構成することもできる。
図６は、画像認識装置１が行う画像認識処理の手順を説明するためのフローチャートである。
以下の処理は、ＣＰＵ４１が画像認識プログラムに従って行うものである。また、ＣＰＵ４１の処理に対応する機能部を括弧にて示す。
まず、カメラ４５が車外を撮影して動画データ４を逐次的に出力している。
次に、ＣＰＵ４１（時空間画像データ生成部２）は、動画フレームをＱ枚読み込む（ステップ５)。すなわち、ＣＰＵ４１は、出力される動画データ４における所定枚数Ｑ枚（例えば、６枚）のフレーム画像データ６を出力順にＲＡＭ４３に読み込む。
以下の処理は、ＣＰＵ４１が画像認識プログラムに従って行うものである。また、ＣＰＵ４１の処理に対応する機能部を括弧にて示す。
まず、カメラ４５が車外を撮影して動画データ４を逐次的に出力している。
次に、ＣＰＵ４１（時空間画像データ生成部２）は、動画フレームをＱ枚読み込む（ステップ５)。すなわち、ＣＰＵ４１は、出力される動画データ４における所定枚数Ｑ枚（例えば、６枚）のフレーム画像データ６を出力順にＲＡＭ４３に読み込む。
次に、ＣＰＵ４１（時空間画像データ生成部２）は、パラメータｉを０にセットしてＲＡＭ４３に記憶する（ステップ１０）。
そして、ＣＰＵ４１（時空間画像データ生成部２）は、ＲＡＭ４３からｉ番目のフレーム画像データ６を読み出し、これからクリッピング画像９を生成してＲＡＭ４３に記憶する（ステップ１５）。フレーム画像データ６からクリッピング画像９を生成する領域は、乱数を発生させて、これに基づいてランダムに決定する。
なお、ｉ＝０番目のフレーム画像データ６は、Ｑ枚のうちの１枚目に対応する。即ち、ｉ番目のフレーム画像データ６は、Ｑ枚の内のｉ＋１枚目に対応する。
そして、ＣＰＵ４１（時空間画像データ生成部２）は、ＲＡＭ４３からｉ番目のフレーム画像データ６を読み出し、これからクリッピング画像９を生成してＲＡＭ４３に記憶する（ステップ１５）。フレーム画像データ６からクリッピング画像９を生成する領域は、乱数を発生させて、これに基づいてランダムに決定する。
なお、ｉ＝０番目のフレーム画像データ６は、Ｑ枚のうちの１枚目に対応する。即ち、ｉ番目のフレーム画像データ６は、Ｑ枚の内のｉ＋１枚目に対応する。
次に、ＣＰＵ４１（時空間画像データ生成部２）は、クリッピング画像９をパディングしてフレーム画像データ６を復元し、これをＲＡＭ４３に記憶する。
そして、ＣＰＵ４１（時空間画像データ生成部２）は、ＲＡＭ４３に記憶した当該フレーム画像データ６にヒルベルト曲線を設定してヒルベルトスキャンを行い（ステップ２０）、１次元空間画像データ７を生成する（ステップ２５）。
そして、ＣＰＵ４１（時空間画像データ生成部２）は、ＲＡＭ４３に記憶した当該フレーム画像データ６にヒルベルト曲線を設定してヒルベルトスキャンを行い（ステップ２０）、１次元空間画像データ７を生成する（ステップ２５）。
次に、ＣＰＵ４１（時空間画像データ生成部２）は、生成した１次元空間画像データ７をＲＡＭ４３に記憶して時空間画像データ８を生成する（ステップ３０）。
なお、ｉ＝０の場合は、まず、最初の１次元空間画像データ７ａをＲＡＭ４３に記憶し、ｉ＝１、２、…の場合には、既にＲＡＭ４３に記憶してある１次元空間画像データ７に時系列的に追加していく。
なお、ｉ＝０の場合は、まず、最初の１次元空間画像データ７ａをＲＡＭ４３に記憶し、ｉ＝１、２、…の場合には、既にＲＡＭ４３に記憶してある１次元空間画像データ７に時系列的に追加していく。
次に、ＣＰＵ４１（時空間画像データ生成部２）は、ＲＡＭ４３に記憶してあるｉに１をインクリメントした後（ステップ３５）、ｉがＱ未満か否かを判断する（ステップ４０）。
ｉがＱ未満の場合（ステップ４０；Ｙ）、ＣＰＵ４１（時空間画像データ生成部２）は、ステップ１５に戻り、次のフレーム画像データ６に対して同様の処理を行う。
ｉがＱ未満の場合（ステップ４０；Ｙ）、ＣＰＵ４１（時空間画像データ生成部２）は、ステップ１５に戻り、次のフレーム画像データ６に対して同様の処理を行う。
一方、ｉがＱ未満でない場合（ステップ４０；Ｎ）、ＲＡＭ４３に時空間画像データ８が完成したため、ＣＰＵ４１（ＣＮＮ部３）は、ＲＡＭ４３から時空間画像データ８を読み出し、これを画像認識する（ステップ４５）。
そして、ＣＰＵ４１（ＣＮＮ部３）は、画像認識結果を所定の出力先に出力する（ステップ５０）。
出力先は、例えば、車両の制御系であり、車両前方に歩行者が存在する場合に車速の制動を行ったりする。
そして、ＣＰＵ４１（ＣＮＮ部３）は、画像認識結果を所定の出力先に出力する（ステップ５０）。
出力先は、例えば、車両の制御系であり、車両前方に歩行者が存在する場合に車速の制動を行ったりする。
次に、ＣＰＵ４１（ＣＮＮ部３）は、画像認識処理を終了するか否かを判断する（ステップ５５）。
処理を終了しない場合（ステップ５５；Ｎ）、ＣＰＵ４１（ＣＮＮ部３）は、ステップ５に戻る。一方、ユーザが終了ボタンを選択するなどして処理を終了する場合（ステップ５５；Ｙ）、ＣＰＵ４１（ＣＮＮ部３）は、処理を終了する。
処理を終了しない場合（ステップ５５；Ｎ）、ＣＰＵ４１（ＣＮＮ部３）は、ステップ５に戻る。一方、ユーザが終了ボタンを選択するなどして処理を終了する場合（ステップ５５；Ｙ）、ＣＰＵ４１（ＣＮＮ部３）は、処理を終了する。
図７は、実験結果を説明するための図である。
この図は、画像認識装置１の画像認識能力を１０分割交差検定という評価方法により評価した結果を表した表である。
１０分割交差検定とは、１つのデータセット（例えば時空間画像データ８の１万セット分）を１０個（１０００セット）に分割した後、９個で学習し、残りの１つで正答率を評価する、という処理を繰り替えし行う評価方法である。
この図は、画像認識装置１の画像認識能力を１０分割交差検定という評価方法により評価した結果を表した表である。
１０分割交差検定とは、１つのデータセット（例えば時空間画像データ８の１万セット分）を１０個（１０００セット）に分割した後、９個で学習し、残りの１つで正答率を評価する、という処理を繰り替えし行う評価方法である。
この表の上段は、画像認識装置１を用いた場合を示しており、下段はＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）と呼ばれる従来技術（従来技術の項目で説明したものとは異なる）を用いた場合を示している。
評価項目は、正答率であり、画像認識装置１の場合は７７．１％、ＬＳＴＭの場合は７４．０％となっている。
このように、画像認識装置１の正答率は、ＬＳＴＭを上回っており、画像認識装置１は、従来技術と比較して高い画像認識能力を備えていることが分かる。
評価項目は、正答率であり、画像認識装置１の場合は７７．１％、ＬＳＴＭの場合は７４．０％となっている。
このように、画像認識装置１の正答率は、ＬＳＴＭを上回っており、画像認識装置１は、従来技術と比較して高い画像認識能力を備えていることが分かる。
（変形例１）
実施の形態では、クリッピングにより離散化する画素を分散させたが、本変形例では、ヒルベルトスキャンの経路、即ち、ヒルベルト曲線の形態をフレーム画像データ６ごとに変化させることにより離散化する画素の分散を行う。
ヒルベルト曲線の始点から最初の一歩目を右側に進む場合を形態１とし、下側に進む場合を形態２とし、上側に進む場合を形態３とし、左側に進む場合を形態４とする。はじめの一歩目の位置がフレーム画像データ６の外となる場合は、パディングして当該パディング部分に関しては、スキャン時に画素値の読み込みを行わないものとする。
実施の形態では、クリッピングにより離散化する画素を分散させたが、本変形例では、ヒルベルトスキャンの経路、即ち、ヒルベルト曲線の形態をフレーム画像データ６ごとに変化させることにより離散化する画素の分散を行う。
ヒルベルト曲線の始点から最初の一歩目を右側に進む場合を形態１とし、下側に進む場合を形態２とし、上側に進む場合を形態３とし、左側に進む場合を形態４とする。はじめの一歩目の位置がフレーム画像データ６の外となる場合は、パディングして当該パディング部分に関しては、スキャン時に画素値の読み込みを行わないものとする。
このようにヒルベルト曲線の形態を複数用意し、これらをフレーム画像データ６に適当に割り当てることにより、空間的情報と時間的情報の保持を網羅的にする。
割り当て方は各種考えられ、例えば、フレーム画像データ６ａは、形態１のヒルベルト曲線でヒルベルトスキャンし、フレーム画像データ６ｂは、形態２のヒルベルト曲線でヒルベルトスキャンし、…といったように、形態１から形態４までを順番に割り当ててもよいし、あるいは、形態１～形態４から任意に選んだ形態をフレーム画像データ６ａに割り当て、残りの形態から任意に選んだ形態をフレーム画像データ６ｂに割り当て、…といったように、形態を任意に割り当ててもよい。
割り当て方は各種考えられ、例えば、フレーム画像データ６ａは、形態１のヒルベルト曲線でヒルベルトスキャンし、フレーム画像データ６ｂは、形態２のヒルベルト曲線でヒルベルトスキャンし、…といったように、形態１から形態４までを順番に割り当ててもよいし、あるいは、形態１～形態４から任意に選んだ形態をフレーム画像データ６ａに割り当て、残りの形態から任意に選んだ形態をフレーム画像データ６ｂに割り当て、…といったように、形態を任意に割り当ててもよい。
また、例えば、フレーム画像データ６ａは、ヒルベルト曲線、フレーム画像データ６ｂは、ペアノ曲線、フレーム画像データ６ｃは、ヒルベルト曲線、フレーム画像データ６ｄは、ペアノ曲線、…といったように、種類の異なる空間充填曲線により曲線の形態を変えてもよい。
更に、フレーム画像データ６ａは、形態１のヒルベルト曲線、フレーム画像データ６ｂは、形態１のペアノ曲線、フレーム画像データ６ｃは、形態２のヒルベルト曲線、フレーム画像データ６ｄは、形態２のペアノ曲線、…といったように、曲線の種類と曲線の形態の両方を変えてもよい。
このように、この例の時空間画像データ生成部２は、曲線の設定条件として、フレーム画像データごとに、曲線の設定形態を変化させている。
更に、フレーム画像データ６ａは、形態１のヒルベルト曲線、フレーム画像データ６ｂは、形態１のペアノ曲線、フレーム画像データ６ｃは、形態２のヒルベルト曲線、フレーム画像データ６ｄは、形態２のペアノ曲線、…といったように、曲線の種類と曲線の形態の両方を変えてもよい。
このように、この例の時空間画像データ生成部２は、曲線の設定条件として、フレーム画像データごとに、曲線の設定形態を変化させている。
（変形例２）
変形例１では、フレーム画像データ６ごとにヒルベルト曲線の形態を変化させてヒルベルトスキャンしたが、本変形例では、１つのフレーム画像データ６に対して形態の異なる複数のヒルベルト曲線を設定する。
例えば、フレーム画像データ６ａを形態１のヒルベルト曲線でスキャンして１次元空間画像データ７ａ１を生成し、更に、フレーム画像データ６ａを形態２のヒルベルト曲線でスキャンして１次元空間画像データ７ａ２を生成し、…、次に、フレーム画像データ６ｂを形態１のヒルベルト曲線でスキャンして１次元空間画像データ７ｂ１を生成し、更に、フレーム画像データ６ｂを形態２のヒルベルト曲線でスキャンして１次元空間画像データ７ｂ２を生成し、…、といったように、フレーム画像データ６ｆまで、各フレーム画像データ６を形態の異なるヒルベルト曲線で複数回スキャンした後、１次元空間画像データ７ａ１、７ａ２、…、７ｂ１、７ｂ２、…、を配列して時空間画像データ８を生成する。
変形例１では、フレーム画像データ６ごとにヒルベルト曲線の形態を変化させてヒルベルトスキャンしたが、本変形例では、１つのフレーム画像データ６に対して形態の異なる複数のヒルベルト曲線を設定する。
例えば、フレーム画像データ６ａを形態１のヒルベルト曲線でスキャンして１次元空間画像データ７ａ１を生成し、更に、フレーム画像データ６ａを形態２のヒルベルト曲線でスキャンして１次元空間画像データ７ａ２を生成し、…、次に、フレーム画像データ６ｂを形態１のヒルベルト曲線でスキャンして１次元空間画像データ７ｂ１を生成し、更に、フレーム画像データ６ｂを形態２のヒルベルト曲線でスキャンして１次元空間画像データ７ｂ２を生成し、…、といったように、フレーム画像データ６ｆまで、各フレーム画像データ６を形態の異なるヒルベルト曲線で複数回スキャンした後、１次元空間画像データ７ａ１、７ａ２、…、７ｂ１、７ｂ２、…、を配列して時空間画像データ８を生成する。
あるいは、１次元空間画像データ７ａ１、７ｂ１、…から時空間画像データ８ａを生成し、１次元空間画像データ７ａ２、７ｂ２、…から時空間画像データ８ｂを生成し、といったように、複数の時空間画像データ８ａ、８ｂ、…を生成し、これらを個別に画像認識して、その結果を総合して判断してもよい。
また、同一のフレーム画像データ６ａを任意に複数回クリッピングし、これらをそれぞれパディングした後にヒルベルトスキャンすることにより、複数の１次元空間画像データ７ａ１、７ａ２、…を生成することもできる。同様にフレーム画像データ６ｂから１次元空間画像データ７ｂ１、７ｂ２、…を生成する。
このように、フレーム画像データ６を複数回任意にクリッピングすることにより同一のフレーム画像データ６から複数の１次元空間画像データ７を生成することもできる。
以上に説明したように、変形例２の画像認識装置１は、同一のフレーム画像データに対して曲線の設定条件を変化させて、当該設定条件ごとにデータ値を取得している。
また、同一のフレーム画像データ６ａを任意に複数回クリッピングし、これらをそれぞれパディングした後にヒルベルトスキャンすることにより、複数の１次元空間画像データ７ａ１、７ａ２、…を生成することもできる。同様にフレーム画像データ６ｂから１次元空間画像データ７ｂ１、７ｂ２、…を生成する。
このように、フレーム画像データ６を複数回任意にクリッピングすることにより同一のフレーム画像データ６から複数の１次元空間画像データ７を生成することもできる。
以上に説明したように、変形例２の画像認識装置１は、同一のフレーム画像データに対して曲線の設定条件を変化させて、当該設定条件ごとにデータ値を取得している。
（変形例３）
本変形例では、１つのフレーム画像データ６に複数回ランダムにクリッピング画像９の領域を設定し、１つのフレーム画像データ６から複数枚のクリッピング画像９を生成する。
例えば、フレーム画像データ６ａから領域１のクリッピング画像９ａ１を生成し、同じくフレーム画像データ６ａから領域２のクリッピング画像９ａ２を生成し、…、次に、フレーム画像データ６ｂから領域１のクリッピング画像９ｂ１を生成し、同じくフレーム画像データ６ｂから領域２のクリッピング画像９ｂ２を生成し、…、といったように、フレーム画像データ６ｆまで、各フレーム画像データ６から切り抜き領域の異なるクリッピング画像９を複数個生成する。
本変形例では、１つのフレーム画像データ６に複数回ランダムにクリッピング画像９の領域を設定し、１つのフレーム画像データ６から複数枚のクリッピング画像９を生成する。
例えば、フレーム画像データ６ａから領域１のクリッピング画像９ａ１を生成し、同じくフレーム画像データ６ａから領域２のクリッピング画像９ａ２を生成し、…、次に、フレーム画像データ６ｂから領域１のクリッピング画像９ｂ１を生成し、同じくフレーム画像データ６ｂから領域２のクリッピング画像９ｂ２を生成し、…、といったように、フレーム画像データ６ｆまで、各フレーム画像データ６から切り抜き領域の異なるクリッピング画像９を複数個生成する。
そして、時空間画像データ生成部２は、これらのクリッピング画像９のそれぞれをパディングしてフレーム画像データ６を復元する。
これにより、元画像のフレーム画像データ６ａから複数枚のフレーム画像データ６ａ１、６ａ２、…が復元される。フレーム画像データ６ｂ、６ｃ、…も同様である。
これにより、元画像のフレーム画像データ６ａから複数枚のフレーム画像データ６ａ１、６ａ２、…が復元される。フレーム画像データ６ｂ、６ｃ、…も同様である。
時空間画像データ生成部２は、これらフレーム画像データ６ａ１、６ａ２、…、６ｂ１、６ｂ２、…をヒルベルトスキャンして１次元空間画像データ７を生成し、これらを時系列的に配列して時空間画像データ８を生成する。
あるいは、フレーム画像データ６ａ１、６ｂ１、…から時空間画像データ８ａを生成して画像認識し、フレーム画像データ６ａ２、６ｂ２、…から時空間画像データ８ｂを生成して画像認識し、これらの画像認識の結果を総合して判断してもよい。
あるいは、フレーム画像データ６ａ１、６ｂ１、…から時空間画像データ８ａを生成して画像認識し、フレーム画像データ６ａ２、６ｂ２、…から時空間画像データ８ｂを生成して画像認識し、これらの画像認識の結果を総合して判断してもよい。
（変形例４）
変形例２と変形例３を組み合わせる。即ち、変形例３で生成したフレーム画像データ６ａ１、６ａ２、…、６ｂ１、６ｂ２、…を複数種類の形態の曲線でスキャンする。
例えば、フレーム画像データ６ａ１は、形態１のヒルベルト曲線でスキャンし、フレーム画像データ６ａ２は、形態１のペアノ曲線でスキャンし、…、といったようにスキャンする。
変形例２と変形例３を組み合わせる。即ち、変形例３で生成したフレーム画像データ６ａ１、６ａ２、…、６ｂ１、６ｂ２、…を複数種類の形態の曲線でスキャンする。
例えば、フレーム画像データ６ａ１は、形態１のヒルベルト曲線でスキャンし、フレーム画像データ６ａ２は、形態１のペアノ曲線でスキャンし、…、といったようにスキャンする。
（変形例５）
実施の形態では、空間２次元、時間１次元の（ｘ、ｙ、ｔ）成分を持つ３次元の動画データ４を空間方向（ｘ、ｙ方向）にヒルベルトスキャンして（α、ｔ１）、（α、ｔ２）、…の１次元空間画像データ７ａ、７ｂ、…を生成し、これをｔ１、ｔ２、…の時間方向の順に配列して（α、ｔ）成分を持つ２次元の時空間画像データ８を生成した。ここで、αは、画素の位置をヒルベルト曲線に沿った長さで表した座標値である。
実施の形態では、空間２次元、時間１次元の（ｘ、ｙ、ｔ）成分を持つ３次元の動画データ４を空間方向（ｘ、ｙ方向）にヒルベルトスキャンして（α、ｔ１）、（α、ｔ２）、…の１次元空間画像データ７ａ、７ｂ、…を生成し、これをｔ１、ｔ２、…の時間方向の順に配列して（α、ｔ）成分を持つ２次元の時空間画像データ８を生成した。ここで、αは、画素の位置をヒルベルト曲線に沿った長さで表した座標値である。
本変形例では、時間座標（ｔ軸）の方向にヒルベルトスキャンする。
例えば、（ｙ、ｔ）方向にヒルベルトスキャンして（ｘ１、α）、（ｘ２、α）、…の１次元空間画像データ７ａ、７ｂ、…を生成し、これをｘ１、ｘ２、…の順に配列して（ｘ、α）成分を持つ２次元の時空間画像データ８を生成することが可能である。同様に（ｘ、ｔ）方向にヒルベルトスキャンして（ｙ、α）成分を持つ時空間画像データ８を生成することも可能である。
例えば、（ｙ、ｔ）方向にヒルベルトスキャンして（ｘ１、α）、（ｘ２、α）、…の１次元空間画像データ７ａ、７ｂ、…を生成し、これをｘ１、ｘ２、…の順に配列して（ｘ、α）成分を持つ２次元の時空間画像データ８を生成することが可能である。同様に（ｘ、ｔ）方向にヒルベルトスキャンして（ｙ、α）成分を持つ時空間画像データ８を生成することも可能である。
また、同一の動画データ４に対して、（α、ｔ）、（ｘ、α）、（ｙ、α）の各成分を持つ３種類の時空間画像データ８を生成し、これらを組み合わせて画像認識処理することも可能である。
例えば、（α、ｔ）成分の時空間画像データ８を画像認識し、（ｘ、α）成分の時空間画像データ８を画像認識し、（ｙ、α）成分の時空間画像データ８を画像認識し、それぞれの結果を全結合層１７の出力値で重み付けして加重平均を取ったり、あるいは、（α、ｔ）、（ｘ、α）、（ｙ、α）のそれぞれから生成される３つの時空間画像データ８を配列して１つの時空間画像データ８とし、当該時空間画像データ８を画像認識することが可能である。
時間方向にスキャンすることにより、動画のフレームレートを低減できることが期待される。これにより画像処理の負荷が低減される。
例えば、（α、ｔ）成分の時空間画像データ８を画像認識し、（ｘ、α）成分の時空間画像データ８を画像認識し、（ｙ、α）成分の時空間画像データ８を画像認識し、それぞれの結果を全結合層１７の出力値で重み付けして加重平均を取ったり、あるいは、（α、ｔ）、（ｘ、α）、（ｙ、α）のそれぞれから生成される３つの時空間画像データ８を配列して１つの時空間画像データ８とし、当該時空間画像データ８を画像認識することが可能である。
時間方向にスキャンすることにより、動画のフレームレートを低減できることが期待される。これにより画像処理の負荷が低減される。
（変形例６）
本変形例では、更に高次の時系列空間情報を画像認識する。
近年、車両前方の地形をライダー（ＬｉＤＡＲ）と呼ばれるレーザーレーダーを用いた技術によって地形を読み取り、車両を自動運転する技術が研究されている。
ライダーで得られる時系列空間情報は、空間３次元と時間１次元の（ｘ、ｙ、ｚ、ｔ）成分を有する４次元データである。
本変形例では、更に高次の時系列空間情報を画像認識する。
近年、車両前方の地形をライダー（ＬｉＤＡＲ）と呼ばれるレーザーレーダーを用いた技術によって地形を読み取り、車両を自動運転する技術が研究されている。
ライダーで得られる時系列空間情報は、空間３次元と時間１次元の（ｘ、ｙ、ｚ、ｔ）成分を有する４次元データである。
この時系列空間情報を空間３次元的な（ｘ、ｙ、ｚ）方向で屈曲するヒルベルト曲線でスキャンすると、（α、ｔ１）、（α、ｔ２）、…といった１次元空間画像データ７が得られる。これをｔ１、ｔ２、…の時系列順に配列すると２次元の（α、ｔ）成分を有する時空間画像データ８が得られる。これを画像認識することにより、歩行者や地形などを検出することが可能となる。変形例５と同様に時間方向にスキャンすることも可能である。
また、４次元の時系列空間情報をｚ方向、ｔ方向に固定して（ｘ、ｙ）方向にヒルベルトスキャンすることにより（α、ｚ１、ｔ１）、（α、ｚ２、ｔ１）、（α、ｚ３、ｔ１）、…、（α、ｚ１、ｔ２）、（α、ｚ２、ｔ２）、（α、ｚ３、ｔ２）、…からなる１次元空間画像データ７が得られる。
これをｔ１を固定してｚ方向に配列して（α、ｚ、ｔ１）、（α、ｚ、ｔ２）、…の２次元空間画像データが得られる。
更に、これらを時系列的に配列すると（α、ｚ、ｔ）の３次元時空間画像データが得られる。
画像認識装置１の畳み込み用のフィルタとして３次元フィルタを設定し、上記３次元時空間画像データを画像認識することが可能である。
また、変形例５と同様に時間方向にヒルベルトスキャンすることも可能である。
これをｔ１を固定してｚ方向に配列して（α、ｚ、ｔ１）、（α、ｚ、ｔ２）、…の２次元空間画像データが得られる。
更に、これらを時系列的に配列すると（α、ｚ、ｔ）の３次元時空間画像データが得られる。
画像認識装置１の畳み込み用のフィルタとして３次元フィルタを設定し、上記３次元時空間画像データを画像認識することが可能である。
また、変形例５と同様に時間方向にヒルベルトスキャンすることも可能である。
このように、ｎ次元（ｎは、２以上の整数）をヒルベルトスキャンによってｎ－１次元以下の時空間画像データに変換することが可能である。
そのため、色情報や各種センサ値など、更に情報を付加して高次元の時系列空間情報を生成し、これを低次元化して画像認識装置１で画像認識することが可能である。
そのため、色情報や各種センサ値など、更に情報を付加して高次元の時系列空間情報を生成し、これを低次元化して画像認識装置１で画像認識することが可能である。
（変形例７）
図８は、変形例７を説明するための図である。本変形例では、ラスタスキャンにて画像データを走査する。
時空間画像データ生成部２は、図８（ａ）に示したフレーム画像データ６のアスペクト比を検出し、短手方向を走査方向（スキャン方向）に決定する。これは、後述の実験結果で述べるように、長手方向を走査方向とする場合よりも、短手方向を走査方向とした場合の方が認識率が高かったためである。
そして、時空間画像データ生成部２は、短手方向の直線状の走査経路に沿って走査することにより、フレーム画像データ６の全体をラスタスキャンする。
図８は、変形例７を説明するための図である。本変形例では、ラスタスキャンにて画像データを走査する。
時空間画像データ生成部２は、図８（ａ）に示したフレーム画像データ６のアスペクト比を検出し、短手方向を走査方向（スキャン方向）に決定する。これは、後述の実験結果で述べるように、長手方向を走査方向とする場合よりも、短手方向を走査方向とした場合の方が認識率が高かったためである。
そして、時空間画像データ生成部２は、短手方向の直線状の走査経路に沿って走査することにより、フレーム画像データ６の全体をラスタスキャンする。
なお、この例では、フレーム画像データ６の全体を走査するが、フレーム画像データ６をクリッピングした画像データや、フレーム画像データ６から興味領域として抽出した画像データ、更には、当該抽出した画像データをクリッピングした画像データを対象とすることもできる。
このように、時空間画像データ生成部２は、直線状の走査経路に沿ってデータ値の列を取得するデータ値取得手段として機能しており、動画データを構成するフレーム画像の少なくとも一部の画像データに対して走査経路の走査方向を決定する走査方向決定手段を備えている。
更に、当該走査方向決定手段は、画像データによって形成される画像の短手方向に走査方向を決定している。
このように、時空間画像データ生成部２は、直線状の走査経路に沿ってデータ値の列を取得するデータ値取得手段として機能しており、動画データを構成するフレーム画像の少なくとも一部の画像データに対して走査経路の走査方向を決定する走査方向決定手段を備えている。
更に、当該走査方向決定手段は、画像データによって形成される画像の短手方向に走査方向を決定している。
図８（ａ）のフレーム画像データ６ａの場合、ｘ軸方向が短手方向、ｙ軸が長手方向であるため、時空間画像データ生成部２は、ｘ軸方向を走査方向に決定する。
そして、時空間画像データ生成部２は、図に示した実線の矢線に沿って、第１行目の画素１から画素４までｘ軸方向に順に画素値を読み取っていく。時空間画像データ生成部２は、走査が端部の画素４に達すると、破線の矢線に示したように、第２行目の先頭の画素５に走査開始位置を移動し、ｘ軸方向に端部の画素８まで画素値を順に読み取っていく。
そして、時空間画像データ生成部２は、図に示した実線の矢線に沿って、第１行目の画素１から画素４までｘ軸方向に順に画素値を読み取っていく。時空間画像データ生成部２は、走査が端部の画素４に達すると、破線の矢線に示したように、第２行目の先頭の画素５に走査開始位置を移動し、ｘ軸方向に端部の画素８まで画素値を順に読み取っていく。
以下、時空間画像データ生成部２は、同様の動作を繰り返してフレーム画像データ６ａの全ての画素値を読みとり、これを一列に並べて、１次元空間画像データ７ａを生成する。更に、時空間画像データ生成部２は、同様にして１次元空間画像データ７ｂ、７ｃ、・・・も生成する。
そして、時空間画像データ生成部２は、生成した１次元空間画像データ７ａ、７ｂ、・・・から時空間画像データ８を生成する。これをＣＮＮ部３で画像認識する手順は、上述の実施形態と同様である。
そして、時空間画像データ生成部２は、生成した１次元空間画像データ７ａ、７ｂ、・・・から時空間画像データ８を生成する。これをＣＮＮ部３で画像認識する手順は、上述の実施形態と同様である。
以上のラスタスキャン方法は、一例であって、例えば、実線の矢線方向とは逆の、画素４から画素１の方向に走査してもよいし、画素１から画素４まで順に第１行目の画素を読み終わると、第２行目に関しては、画素８から画素５の方向に読み取るというように、蛇行した直線経路でラスタスキャンすることもできる。
短手方向、及び長手方向にラスタスキャンして画素を展開する１次元変換を用いた場合と、ヒルベルトスキャンによる１次元変換を用いた場合を１０分割交差検定で正答率を算出する実験を行ったところ、短手方向にラスタスキャンした場合は、８２．２％、長手方向にラスタスキャンした場合は、７７．７％、ヒルベルトスキャンした場合は、８３．６％となった。
このように、短手方向のラスタスキャンは、長手方向のラスタスキャンより正答率が高くなり、ヒルベルトスキャンに近い値を実現することができた。
これは、短手方向のラスタスキャンは、長手方向のラスタスキャンに比べて、画像データの端点で次の行の画素行に移動する際の移動距離が小さいため、画像の局所性の保存状態が長手方向にラスタスキャンする場合よりもよいためではないかと思われる。
これは、短手方向のラスタスキャンは、長手方向のラスタスキャンに比べて、画像データの端点で次の行の画素行に移動する際の移動距離が小さいため、画像の局所性の保存状態が長手方向にラスタスキャンする場合よりもよいためではないかと思われる。
図８（ｂ）は、ｙ軸方向が短手方向となる場合を示している。
この場合、時空間画像データ生成部２は、実線の矢線で示したように、画素１から画素Ｄまで、短手方向、即ち、ｙ方向に画素値を順に読み取っていき、端部の画素Ｄに達すると、破線の矢線で示したように次の列の先頭画素２に移動して、画素Ｅまで画素値を読み取っていく。
以下、時空間画像データ生成部２は、同様の動作を繰り返してフレーム画像データ６ａの全ての画素値を読みとり、これを一列に並べて、１次元空間画像データ７ａを生成する。
この場合、時空間画像データ生成部２は、実線の矢線で示したように、画素１から画素Ｄまで、短手方向、即ち、ｙ方向に画素値を順に読み取っていき、端部の画素Ｄに達すると、破線の矢線で示したように次の列の先頭画素２に移動して、画素Ｅまで画素値を読み取っていく。
以下、時空間画像データ生成部２は、同様の動作を繰り返してフレーム画像データ６ａの全ての画素値を読みとり、これを一列に並べて、１次元空間画像データ７ａを生成する。
以上の例では、時空間画像データ生成部２は、フレーム画像データ６のアスペクト比を判断して短手方向を走査方向に決定したが、画像データの短手方向が予め決まっている場合は、その方向を走査方向に設定しておき、アスペクト比の判断処理を省くことも可能である。
図９は、変形例７の画像認識処理の手順を説明するためのフローチャートである。
上述した実施形態と同じ処理には同じステップ番号を付し、説明を省略する。
この例では、フレーム画像データ６をクリッピングすることによりデータオーギュメンテーションを行っている。
時空間画像データ生成部２は、ステップ１５にて、ｉ番目のフレーム画像データをクリッピングすると、クリッピング後のフレーム画像データ６の短手方向を走査方向（スキャン方向）に決定する（ステップ８０）。
そして、時空間画像データ生成部２は、決定した走査方向にクリッピング後のフレーム画像データ６をラスタスキャンして（ステップ８５）、１次元空間画像データ７を生成する（ステップ２５）。他は、上述の実施形態と同様である。
上述した実施形態と同じ処理には同じステップ番号を付し、説明を省略する。
この例では、フレーム画像データ６をクリッピングすることによりデータオーギュメンテーションを行っている。
時空間画像データ生成部２は、ステップ１５にて、ｉ番目のフレーム画像データをクリッピングすると、クリッピング後のフレーム画像データ６の短手方向を走査方向（スキャン方向）に決定する（ステップ８０）。
そして、時空間画像データ生成部２は、決定した走査方向にクリッピング後のフレーム画像データ６をラスタスキャンして（ステップ８５）、１次元空間画像データ７を生成する（ステップ２５）。他は、上述の実施形態と同様である。
以上では、短手方向にラスタスキャンしたが、例えば、ハードウェア的な要因などから長手方向にラスタスキャンした方が好ましい場合など（精度は低下しても処理速度が速くなるなど）ユーザの事情に応じて長手方向にラスタスキャンしてもよい。
（変形例８）
図１０は、変形例８を説明するための図である。
本変形例の時空間画像データ生成部２は、フレーム画像データ６を小領域５１に分割し、分割した小領域５１ごとにラスタスキャンする。
図１０（ａ）の例では、時空間画像データ生成部２は、フレーム画像データ６を太線で示した正方形の小領域５１ａ１、５１ａ２、・・・に分割する。小領域５１内の升目は画素を表している。
図１０は、変形例８を説明するための図である。
本変形例の時空間画像データ生成部２は、フレーム画像データ６を小領域５１に分割し、分割した小領域５１ごとにラスタスキャンする。
図１０（ａ）の例では、時空間画像データ生成部２は、フレーム画像データ６を太線で示した正方形の小領域５１ａ１、５１ａ２、・・・に分割する。小領域５１内の升目は画素を表している。
時空間画像データ生成部２は、小領域５１ａ１をラスタスキャンして１次元空間画像データ７ａ１（図示せず）を生成し、次いで小領域５１ａ２をラスタスキャンして１次元空間画像データ７ａ２を作成し、・・・というように、各小領域５１をラスタスキャンする。スキャンの走査方向は、例えば、フレーム画像データ６ａの短手方向とする。
そして、時空間画像データ生成部２は、１次元空間画像データ７ａ１、７ａ２、・・・を一列に連結してフレーム画像データ６ａの１次元空間画像データ７ａ（図示せず）を生成する。
時空間画像データ生成部２は、同様にして、１次元空間画像データ７ｂ、７ｃ・・・を生成し、これらを時間方向に配列して時空間画像データ８（図示せず）を生成する。
そして、時空間画像データ生成部２は、１次元空間画像データ７ａ１、７ａ２、・・・を一列に連結してフレーム画像データ６ａの１次元空間画像データ７ａ（図示せず）を生成する。
時空間画像データ生成部２は、同様にして、１次元空間画像データ７ｂ、７ｃ・・・を生成し、これらを時間方向に配列して時空間画像データ８（図示せず）を生成する。
１次元空間画像データ７ａ１、７ａ２、・・・を連結する順序は、各種のものが可能であり、例えば、小領域５１ａ１、小領域５１ａ２、・・・をフレーム画像データ６ａの短手方向にラスタスキャンする順序であってもよいし、あるいは、小領域５１ａ１、小領域５１ａ２、・・・を結ぶヒルベルト曲線を設定し、当該ヒルベルト曲線で結ばれる順序であってもよい。後者の場合は、ラスタスキャンとヒルベルトスキャンを組み合わせることができる。あるいは、小領域５１ａ１、５１ａ２、・・・内でヒルベルトスキャンして、その結果得られた１次元空間画像データ７ａ１、７ａ２、・・・を小領域５１ａ１、５１ａ２、・・・をラスタスキャンする順序で連結することによりラスタスキャンとヒルベルトスキャンを組み合わせることもできる。
図１０（ｂ）は、ｙ軸方向が短手方向となるフレーム画像データ６ａに対して、ｘ軸方向が短手方向となる小領域５１ａ１、５１ａ２、・・・を設定した例である。
この場合は、小領域５１ａ１、小領域５１ａ２、・・・に関しては、例えば、これら小領域５１の短手方向を優先してｘ軸方向にラスタスキャンするように構成することができる。
小領域５１ａ１、小領域５１ａ２、・・・から生成される１次元空間画像データ７ａ１、７ａ２、・・・（図示せず）に関しては、図１０（ａ）の場合と同様に適当な所定の順序で連結する。
この場合は、小領域５１ａ１、小領域５１ａ２、・・・に関しては、例えば、これら小領域５１の短手方向を優先してｘ軸方向にラスタスキャンするように構成することができる。
小領域５１ａ１、小領域５１ａ２、・・・から生成される１次元空間画像データ７ａ１、７ａ２、・・・（図示せず）に関しては、図１０（ａ）の場合と同様に適当な所定の順序で連結する。
以上に説明した実施形態、及び変形例によって次のような効果を得ることができる。
（１）動画データを２次元の画像データで表現することができる。
（２）空間充填曲線を用いたヒルベルトスキャンや、ラスタスキャンを用いてフレーム画像データ６を画像変換することにより、空間的情報と時間的情報を保持したまま動画データ４（時系列画像データ）から２次元の時空間画像データ８を生成することができる。
（３）時空間画像データ８を入力データとすることにより、２次元フィルタを用いたＣＮＮで動画データを画像認識することができる。
（４）時空間画像データ８において隣接する画素間の情報に関係性を持たせることができるので画像認識精度の向上が見込める。
（５）一般的な２次元フィルタを用いたＣＮＮを用いることができるため、ＣＮＮの導入に要するコストやＣＮＮの実行に要する計算コストを低減することができる上、認識精度の向上も見込める。
（６）一般に、車載カメラや車載コンピュータには、高価なハードウェアが搭載されないため、使用メモリが少なく計算コストが低い画像認識装置１が実装に適している。
（７）データオーギュメンテーションなど、スキャンする曲線の設定条件を変化させることにより、時空間画像データ８の空間的情報の保持を網羅的にすることができる。
（８）事前学習フェーズや画像認識フェーズなどにおいて、一回り小さい画像をランダムで切り出すデータオーギュメンテーションを行うことにより空間情報と時間情報の保持を網羅的にすることができる。
（１）動画データを２次元の画像データで表現することができる。
（２）空間充填曲線を用いたヒルベルトスキャンや、ラスタスキャンを用いてフレーム画像データ６を画像変換することにより、空間的情報と時間的情報を保持したまま動画データ４（時系列画像データ）から２次元の時空間画像データ８を生成することができる。
（３）時空間画像データ８を入力データとすることにより、２次元フィルタを用いたＣＮＮで動画データを画像認識することができる。
（４）時空間画像データ８において隣接する画素間の情報に関係性を持たせることができるので画像認識精度の向上が見込める。
（５）一般的な２次元フィルタを用いたＣＮＮを用いることができるため、ＣＮＮの導入に要するコストやＣＮＮの実行に要する計算コストを低減することができる上、認識精度の向上も見込める。
（６）一般に、車載カメラや車載コンピュータには、高価なハードウェアが搭載されないため、使用メモリが少なく計算コストが低い画像認識装置１が実装に適している。
（７）データオーギュメンテーションなど、スキャンする曲線の設定条件を変化させることにより、時空間画像データ８の空間的情報の保持を網羅的にすることができる。
（８）事前学習フェーズや画像認識フェーズなどにおいて、一回り小さい画像をランダムで切り出すデータオーギュメンテーションを行うことにより空間情報と時間情報の保持を網羅的にすることができる。
１ 画像認識装置
２ 時空間画像データ生成部
３ ＣＮＮ部
４ 動画データ
６、３１ フレーム画像データ
７ １次元空間画像データ
８ 時空間画像データ
９、 クリッピング画像
１１、１３、１５ 畳み込み層
１２、１４、１６ プーリング層
１７ 全結合層
２０、２４ 画像データ
２１、２５ ヒルベルト曲線
２２、２６ １次元空間画像データ
２７、２８ 領域
４１ ＣＰＵ
４２ ＲＯＭ
４３ ＲＡＭ
４４ 記憶装置
４５ カメラ
４６ 入力部
４７ 出力部
５１ 小領域
２ 時空間画像データ生成部
３ ＣＮＮ部
４ 動画データ
６、３１ フレーム画像データ
７ １次元空間画像データ
８ 時空間画像データ
９、 クリッピング画像
１１、１３、１５ 畳み込み層
１２、１４、１６ プーリング層
１７ 全結合層
２０、２４ 画像データ
２１、２５ ヒルベルト曲線
２２、２６ １次元空間画像データ
２７、２８ 領域
４１ ＣＰＵ
４２ ＲＯＭ
４３ ＲＡＭ
４４ 記憶装置
４５ カメラ
４６ 入力部
４７ 出力部
５１ 小領域
Claims (15)
- 空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報を取得する時系列空間情報取得手段と、
前記取得した時系列空間情報を所定の方向に走査して当該所定の方向におけるデータ値の列を取得するデータ値取得手段と、
前記取得したデータ値の列を、前記時系列空間情報の他の方向に対応して配列して前記認識対象を画像認識するための画像データを生成する画像データ生成手段と、
前記生成した画像データを出力する出力手段と、
を具備したことを特徴とする画像データ生成装置。 - 前記所定の方向は、前記時系列空間情報の空間方向であり、前記他の方向は、前記時系列空間情報の時間方向であることを特徴とする請求項１に記載の画像データ生成装置。
- 前記データ値取得手段は、前記所定の方向におけるデータ値の局所性に対応して屈曲を繰り返す曲線を走査経路として設定し、当該設定した走査経路に沿って前記データ値の列を取得することを特徴とする請求項１、又は請求項２に記載の画像データ生成装置。
- 前記データ値取得手段は、前記屈曲を繰り返す曲線として空間充填曲線を設定することを特徴とする請求項３に記載の画像データ生成装置。
- 前記時系列空間情報は、前記認識対象を撮影した動画データであり、
前記データ値取得手段は、前記動画データの各フレーム画像データに前記曲線を設定し、前記各フレーム画像データを走査して、画素値の列をデータ値の列として取得し、
前記画像データ生成手段は、フレーム画像データごとの画素値の列を時間方向に対応して配列した２次元の前記画像データを生成することを特徴とする請求項４に記載の画像データ生成装置。 - 前記データ値取得手段は、前記フレーム画像データごとに、前記曲線の設定条件を変化させることを特徴とする請求項５に記載の画像データ生成装置。
- 前記データ値取得手段は、前記設定条件として、前記曲線の設定範囲を変化させることを特徴とする請求項６に記載の画像データ生成装置。
- 前記データ値取得手段は、前記設定条件として、前記フレーム画像データごとに、前記曲線の設定形態を変化させることを特徴とする請求項６に記載の画像データ生成装置。
- 前記データ値取得手段は、同一のフレーム画像データに対して前記曲線の設定条件を変化させて、当該設定条件ごとにデータ値を取得することを特徴とする請求項６、請求項７、又は請求項８に記載の画像データ生成装置。
- 前記データ値取得手段は、直線状の走査経路に沿って前記データ値の列を取得することを特徴とする請求項２に記載の画像データ生成装置。
- 前記時系列空間情報は、前記認識対象を撮影した動画データであり、
前記動画データを構成するフレーム画像の少なくとも一部の静止画像データに対して前記走査経路の走査方向を決定する走査方向決定手段を具備し、
前記データ値取得手段は、前記決定した走査方向に沿って前記データ値の列を取得し、
前記画像データ生成手段は、前記静止画像データごとの画素値の列を時間方向に対応して配列した２次元の前記画像データを生成することを特徴とする請求項１０に記載の画像データ生成装置。 - 前記走査方向決定手段は、前記静止画像データによって形成される画像の短手方向に前記走査方向を決定することを特徴とする請求項１１に記載の画像データ生成装置。
- 請求項１から請求項１２までのうちの何れか１の請求項に記載の画像データ生成装置と、
前記画像データ生成装置が出力した画像データを取得する画像データ取得手段と、
認識対象を画像認識するための学習データを取得する学習データ取得手段と、
前記取得した学習データを用いて前記取得した画像データに含まれている前記認識対象を認識する認識手段と、
を具備したことを特徴とする画像認識装置。 - 空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報を取得する時系列空間情報取得機能と、
前記取得した時系列空間情報を所定の方向に走査して当該所定の方向におけるデータ値の列を取得するデータ値取得機能と、
前記取得したデータ値の列を、前記時系列空間情報の他の方向に対応して配列して前記認識対象を画像認識するための画像データを生成する画像データ生成機能と、
前記生成した画像データを出力する出力機能と、
をコンピュータで実現する画像データ生成プログラム。 - 空間内での認識対象の位置を時間の経過に従って記録した時系列空間情報を取得する時系列空間情報取得機能と、
前記取得した時系列空間情報を所定の方向に走査して当該所定の方向におけるデータ値の列を取得するデータ値取得機能と、
前記取得したデータ値の列を、前記時系列空間情報の他の方向に対応して配列して前記認識対象を画像認識するための画像データを生成する画像データ生成機能と、
前記生成した画像データを出力する出力機能と、
前記出力した画像データを取得する画像データ取得機能と、
認識対象を画像認識するための学習データを取得する学習データ取得機能と、
前記取得した学習データを用いて前記取得した画像データに含まれている前記認識対象を認識する認識機能と、
をコンピュータで実現する画像認識プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201880050342.0A CN110998597B (zh) | 2017-07-31 | 2018-07-31 | 图像数据生成装置、图像识别装置、图像数据生成程序、及图像识别程序 |
| EP18841314.0A EP3664020A4 (en) | 2017-07-31 | 2018-07-31 | IMAGE DATA GENERATION DEVICE, IMAGE RECOGNITION DEVICE, IMAGE DATA GENERATION PROGRAM, AND IMAGE RECOGNITION PROGRAM |
| US16/634,589 US11157724B2 (en) | 2017-07-31 | 2018-07-31 | Image data generation device, image recognition device, image data generation program, and image recognition program |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-148011 | 2017-07-31 | ||
| JP2017148011 | 2017-07-31 | ||
| JP2018-035744 | 2018-02-28 | ||
| JP2018035744A JP7002729B2 (ja) | 2017-07-31 | 2018-02-28 | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019026890A1 true WO2019026890A1 (ja) | 2019-02-07 |
Family
ID=65233968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/028606 WO2019026890A1 (ja) | 2017-07-31 | 2018-07-31 | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2019026890A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111459140A (zh) * | 2020-04-10 | 2020-07-28 | 北京工业大学 | 一种基于hht-dcnn的发酵过程故障监测方法 |
| WO2021166206A1 (ja) * | 2020-02-21 | 2021-08-26 | 三菱電機株式会社 | 運転支援制御装置及び運転支援制御方法 |
| CN115294342A (zh) * | 2022-09-26 | 2022-11-04 | 荣耀终端有限公司 | 图像处理方法及相关装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002123834A (ja) * | 2000-08-08 | 2002-04-26 | Ocean Network Co Ltd | 画像認識方法及び画像処理装置 |
| JP2017187954A (ja) * | 2016-04-06 | 2017-10-12 | Kddi株式会社 | 画像合成装置、プログラム及びデータ構造 |
-
2018
- 2018-07-31 WO PCT/JP2018/028606 patent/WO2019026890A1/ja unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002123834A (ja) * | 2000-08-08 | 2002-04-26 | Ocean Network Co Ltd | 画像認識方法及び画像処理装置 |
| JP2017187954A (ja) * | 2016-04-06 | 2017-10-12 | Kddi株式会社 | 画像合成装置、プログラム及びデータ構造 |
Non-Patent Citations (4)
| Title |
|---|
| "3D Convolutional Neural Networks for Human Action Recognition", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 35, 2013, pages 221 - 231 |
| "Scene Recognition by CNN using Frame Connected Images", MIRU2016 THE 19TH MEETING ON IMAGE RECOGNITION AND UNDERSTANDING, pages PS1 - 27 |
| HASHIMURA, KEISUKE: "Sign Language Recognition by Convolutional Neural Network with Concatenated Frame Image of Depth Image", IEICE TECHNICAL REPORT, vol. 116, no. 248, 9 October 2016 (2016-10-09), pages 17 - 22, XP009519049, ISSN: 0913-5685 * |
| See also references of EP3664020A4 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021166206A1 (ja) * | 2020-02-21 | 2021-08-26 | 三菱電機株式会社 | 運転支援制御装置及び運転支援制御方法 |
| JP6932269B1 (ja) * | 2020-02-21 | 2021-09-08 | 三菱電機株式会社 | 運転支援制御装置及び運転支援制御方法 |
| CN111459140A (zh) * | 2020-04-10 | 2020-07-28 | 北京工业大学 | 一种基于hht-dcnn的发酵过程故障监测方法 |
| CN111459140B (zh) * | 2020-04-10 | 2021-06-25 | 北京工业大学 | 一种基于hht-dcnn的发酵过程故障监测方法 |
| CN115294342A (zh) * | 2022-09-26 | 2022-11-04 | 荣耀终端有限公司 | 图像处理方法及相关装置 |
| CN115294342B (zh) * | 2022-09-26 | 2023-02-28 | 荣耀终端有限公司 | 图像处理方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7002729B2 (ja) | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム | |
| Zhao et al. | Hierarchical regression network for spectral reconstruction from RGB images | |
| Finn et al. | Unsupervised learning for physical interaction through video prediction | |
| CN110569702B (zh) | 视频流的处理方法和装置 | |
| WO2019167303A1 (ja) | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び、画像認識プログラム | |
| US11151734B2 (en) | Method and system for generating synthetic point cloud data using a generative model | |
| CN104933414B (zh) | 一种基于wld-top的活体人脸检测方法 | |
| Mostafavi et al. | Learning to reconstruct hdr images from events, with applications to depth and flow prediction | |
| WO2019026890A1 (ja) | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム | |
| US8103091B2 (en) | Object identification parameter learning system | |
| Huang et al. | Selective wavelet attention learning for single image deraining | |
| CN112419233B (zh) | 一种数据标注方法、装置、设备以及计算机可读存储介质 | |
| CN112364757A (zh) | 一种基于时空注意力机制的人体动作识别方法 | |
| CN110532959B (zh) | 基于双通道三维卷积神经网络的实时暴力行为检测系统 | |
| Kang et al. | Crowd counting by adapting convolutional neural networks with side information | |
| CN113538243A (zh) | 基于多视差注意力模块组合的超分辨图像重建方法 | |
| Malav et al. | DHSGAN: An end to end dehazing network for fog and smoke | |
| Obaida et al. | Real-time face detection in digital video-based on Viola-Jones supported by convolutional neural networks | |
| Wang et al. | Paul: Procrustean autoencoder for unsupervised lifting | |
| Bhowmik et al. | Lost in compression: the impact of lossy image compression on variable size object detection within infrared imagery | |
| Liu et al. | Farsight: A physics-driven whole-body biometric system at large distance and altitude | |
| CN116797640A (zh) | 一种面向智能伴行巡视器的深度及3d关键点估计方法 | |
| CN114119428B (zh) | 一种图像去模糊方法和装置 | |
| CN115620403A (zh) | 活体检测方法、电子设备及存储介质 | |
| CN112580442B (zh) | 一种基于多维金字塔层次模型的行为识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18841314 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2018841314 Country of ref document: EP Effective date: 20200302 |