WO2022196060A1 - 情報処理装置、情報処理方法及び非一時的なコンピュータ可読媒体 - Google Patents

情報処理装置、情報処理方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022196060A1
WO2022196060A1 PCT/JP2022/000995 JP2022000995W WO2022196060A1 WO 2022196060 A1 WO2022196060 A1 WO 2022196060A1 JP 2022000995 W JP2022000995 W JP 2022000995W WO 2022196060 A1 WO2022196060 A1 WO 2022196060A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature map
feature
information processing
components
unit
Prior art date
Application number
PCT/JP2022/000995
Other languages
English (en)
French (fr)
Inventor
宏 福井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023506783A priority Critical patent/JP7525051B2/ja
Priority to US18/271,649 priority patent/US20240320957A1/en
Publication of WO2022196060A1 publication Critical patent/WO2022196060A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors

Definitions

  • the present invention relates to an information processing device, an information processing method, and a non-transitory computer-readable medium.
  • Patent Document 1 a neural network that learns the relationship between classification information and features extracted from a sound source, language, or image is used to provide a partial highlight section that is not the entire sound source section. is described.
  • the purpose of this disclosure is to improve the technology disclosed in prior art documents.
  • An information processing apparatus performs a first feature map according to a first feature configured with a plurality of first components, a second feature map configured with a plurality of second components, and a second and a grid pattern showing a plurality of said second components corresponding to said one said first component, and extracting means for extracting a second feature map relating to said feature and a third feature map relating to said third feature on the second feature map based on the position of each first component to determine, for each said first component, a correspondence indicating a corresponding plurality of said second components means, and reflecting means for reflecting the correlation between the first feature and the second feature calculated from the correspondence relationship in the third feature map.
  • An information processing method of one aspect according to the present embodiment includes, from a feature map, a first feature map according to a first feature configured with a plurality of first components, a second feature map configured with a plurality of second components, A second feature map related to the feature of and a third feature map related to the third feature are extracted, and a grid pattern showing a plurality of the second components corresponding to one of the first components, each determining, for each said first component, a correspondence indicating a corresponding plurality of said second components by shifting on said second feature map based on the position of said first component;
  • the information processing apparatus reflects the correlation between the first feature and the second feature calculated from the above in the third feature map.
  • a non-transitory computer-readable medium comprises a first feature map according to a first feature composed of a plurality of first components from a feature map, and a plurality of second components.
  • a grid showing a plurality of second components corresponding to one first component by extracting a second feature map related to the second feature and a third feature map related to the third feature determining, for each said first component, a correspondence indicating a corresponding plurality of said second components by shifting a pattern on said second feature map based on the position of each said first component; , a program for causing an information processing apparatus to reflect the correlation between the first feature and the second feature calculated from the correspondence relationship in the third feature map.
  • FIG. 1 is a schematic diagram showing a first related technique; FIG. It is a schematic diagram which shows a 2nd related technique.
  • 1 is a schematic diagram illustrating an embodiment of this disclosure
  • FIG. 2 is a block diagram showing the hardware configuration of an information processing apparatus according to each embodiment
  • FIG. 2 is a block diagram showing the functional configuration of the information processing device according to the first exemplary embodiment
  • FIG. 4 is a flow chart showing the flow of operations of the information processing apparatus according to the first exemplary embodiment
  • 2 is a block diagram showing a functional configuration of an information processing device according to a second embodiment
  • FIG. 9 is a flow chart showing the flow of operations of the information processing apparatus according to the second embodiment
  • FIG. 9 is a schematic diagram showing in more detail the processing of the information processing apparatus according to the second embodiment
  • FIG. 10 is a drawing showing a feature map of queries and keys according to the second embodiment
  • FIG. FIG. 10 is a drawing showing a feature map of queries and keys according to the second embodiment
  • FIG. FIG. 10 is a drawing showing a feature map of queries and keys according to the second embodiment
  • FIG. 10 is a drawing showing a feature map of queries and keys according to the second embodiment
  • FIG. 9 is a flow chart showing the flow of detailed operations of a computing unit according to the second embodiment
  • FIG. 11 is a block diagram showing a functional configuration of an information processing apparatus according to a third embodiment
  • FIG. 10 is a flow chart showing the flow of operations of the information processing apparatus according to the third embodiment
  • FIG. 13 is a block diagram showing a functional configuration of an information processing apparatus according to a fourth embodiment
  • FIG. 14 is a flow chart showing the flow of operations of the information processing apparatus according to the fourth embodiment
  • FIG. 12 is a block diagram showing a functional configuration of an information processing apparatus according to a fifth embodiment
  • FIG. 11 is a schematic diagram showing processing of an information processing apparatus according to a sixth embodiment
  • the first related technology is X. Wang, R. Girshick, A. Gupta, K. He, “Non-Local Neural Networks”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7794, which is a non-patent document. -7803, 2018. discloses a technique that uses feature maps obtained from convolutional layers of a convolutional neural network and weights the feature maps by an attention mechanism to improve feature extraction.
  • FIG. 1A is a schematic diagram showing a first related technique.
  • FIG. 1A shows that for one component (eg, pixel) i of a query, features are extracted by referencing the entire space of key feature maps.
  • the entire space of the key feature map is taken into account, so it is possible to extract features over a wide area.
  • the calculation cost increases because calculation is required for the entire feature map of the key.
  • FIG. 1B is a schematic diagram showing a second related technique.
  • FIG. 1B shows that a feature is extracted for one component i of a query by referring to a partial area AR in a key feature map.
  • the partial area AR is the key component i and its surrounding neighborhood area corresponding to the query component i.
  • the second related technique can reduce the computational cost compared to the first related technique because the calculation of the correlation between the query and the key, which are the two embedded features, requires a smaller area to be calculated.
  • the partial area AR is a local area of the feature map of the key, another problem arises in that the advantage of global feature extraction, which is the original purpose of the attention mechanism, may be degraded.
  • this technique can provide an information processing apparatus or the like that is capable of extracting features in consideration of the entire space of the input feature map and that can perform calculations at a low calculation cost.
  • FIG. 1C is a schematic diagram showing one embodiment of this disclosure.
  • FIG. 1C shows that for one component i of the query, features are extracted by referring to regions in a grid pattern (checkerboard pattern) distributed throughout the space of the key feature map.
  • a grid pattern is a pattern consisting of a plurality of component reference areas where the spacing between the reference areas of the nearest components in a given direction is the same on a map of any dimension.
  • the grid pattern is a grating pattern in which each side of a unit rectangle (for example, a square) has an arbitrary length, and the reference area is the grid points in the grid pattern. It can be said that it is a pattern that shows It should be noted that one unit of the reference area in the grid pattern may be composed of one component of the key, or may be composed of a plurality of components of the key.
  • the entire space of the key feature map is considered, so it is possible to extract features over a wide area. Furthermore, since the area to be calculated is a part of the feature map of the key rather than the entire key feature map, the necessary calculation cost can be reduced. For example, if the area area of the grid pattern in FIG. 1C is made the same as the area of the partial area AR in FIG. 1B, the calculation cost can be made the same as the calculation cost according to the second related technique.
  • the technology described in this disclosure is not limited to this example. In addition, this method can be applied to various uses as described later.
  • the information processing apparatus 10 includes a processor 101, a RAM (Random Access Memory) 102, a ROM (Read Only Memory) 103, and a storage device 104.
  • the information processing device 10 may further include an input device 105 and an output device 106 .
  • Processor 101 , RAM 102 , ROM 103 , storage device 104 , input device 105 and output device 106 are connected via data bus 107 .
  • This data bus 107 is used for transmitting and receiving data between connected components.
  • the processor 101 reads a computer program.
  • processor 101 is configured to read a computer program stored in at least one of RAM 102 , ROM 103 and storage device 104 .
  • the processor 101 may read a computer program stored in a computer-readable recording medium using a recording medium reader (not shown).
  • the processor 101 may acquire a computer program (that is, may read a computer program) from a device (not shown) arranged outside the information processing device 10 via a network interface.
  • the processor 101 controls the RAM 102, the storage device 104, the input device 105 and the output device 106 by executing the read computer program.
  • the processor 101 may implement functional blocks for executing various types of processing relating to feature amounts. This functional block will be described in detail in each embodiment.
  • processor 101 CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), FPGA (Field-programmable Gate Array), DSP (Demand-Side Platform), ASIC (Application Specific Integrated Circuit).
  • CPU Central Processing Unit
  • MPU Micro Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field-programmable Gate Array
  • DSP Demand-Side Platform
  • ASIC Application Specific Integrated Circuit
  • the RAM 102 is a memory that temporarily stores computer programs executed by the processor 101 .
  • the RAM 102 may also temporarily store data temporarily used by the processor 101 while the processor 101 is executing the computer program.
  • the RAM 102 may be, for example, a RAM such as a DRAM (Dynamic Random Access Memory) or an SRAM (Static Random Access Memory). Also, other types of volatile memory may be used instead of RAM.
  • the ROM 103 is a memory that stores computer programs executed by the processor 101 .
  • the ROM 103 may also store other fixed data.
  • the ROM 103 may be a ROM such as PROM (Programmable ROM), EPROM (Erasable Programmable Read Only Memory), for example. Also, other types of non-volatile memory may be used instead of the ROM.
  • the storage device 104 stores data that the information processing device 10 saves for a long time.
  • Storage device 104 may act as a temporary storage device for processor 101 .
  • the storage device 104 may include, for example, at least one of a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device.
  • the input device 105 is a device that receives input instructions from the user of the information processing device 10 .
  • Input device 105 may include, for example, at least one of a keyboard, mouse, and touch panel.
  • the input device 105 may be a dedicated controller (operation terminal).
  • the input device 105 may include a terminal owned by the user (for example, a smart phone, a tablet terminal, or the like).
  • the input device 105 may be a device capable of voice input including, for example, a microphone.
  • the output device 106 is a device that outputs information about the information processing device 10 to the outside.
  • the output device 106 may be a display device (eg, display) capable of displaying information about the information processing device 10 .
  • the display device here may be a television monitor, a personal computer monitor, a smart phone monitor, a tablet terminal monitor, or a monitor of other portable terminals.
  • the display device may be a large monitor, digital signage, or the like installed in various facilities such as stores.
  • the output device 106 may be a device that outputs information in a format other than an image.
  • the output device 106 may be a speaker that outputs information about the information processing device 10 by voice.
  • FIG. 3 is a block diagram showing the functional configuration of the information processing apparatus according to the first embodiment;
  • the information processing apparatus 11 according to the first embodiment includes a caution mechanism unit 110 as a processing block for realizing its functions.
  • the attention mechanism unit 110 comprises an extractor 111 , a determiner 112 and a reflector 113 .
  • each of the extracting unit 111, the determining unit 112, and the reflecting unit 113 may be realized by the above-described processor 101 (see FIG. 2).
  • the processor 101 functions as a component of each of the extraction unit 111, the determination unit 112, and the reflection unit 113 by reading and executing computer programs.
  • the extraction unit 111 extracts, from the feature map input to the attention mechanism unit 110, a first feature map associated with a first feature composed of a plurality of first components, a second map composed of a plurality of second components, and a A second feature map related to the features of and a third feature map related to the third features are extracted.
  • the first feature, the second feature, and the third feature may be, for example, queries, keys, and values, respectively.
  • the first feature map, the second feature map, and the third feature map are the query feature map, the key feature map, and the value feature map, respectively.
  • each feature and feature map is not limited to this example.
  • the determination unit 112 determines a correspondence relationship indicating a plurality of corresponding second components for each first component. Specifically, the determining unit 112 shifts a grid pattern indicating a plurality of second components corresponding to one first component on the second feature map based on the position of each first component. to determine this correspondence relationship.
  • the definition of the grid pattern is as described above.
  • a correlation between the first feature and the second feature is calculated from the correspondence determined by the determination unit 112 .
  • the reflecting unit 113 performs processing to reflect this correlation in the third feature map.
  • the information processing apparatus 10 can extract features in the input feature map.
  • FIG. 4 is a flow chart showing the operation flow of the information processing apparatus 11 according to the second embodiment.
  • the extraction unit 111 extracts a first feature map related to the first feature, a first A second feature map related to the second feature and a third feature map related to the third feature are extracted (step S11; extraction step).
  • the determination unit 112 determines a correspondence relationship indicating a plurality of corresponding second components for each first component (step S12; determination step). Specifically, as described above, the determiner 112 determines this correspondence by shifting the grid pattern on the second feature map based on the position of each first component.
  • the reflecting unit 113 reflects the correlation between the first feature and the second feature calculated from the correspondence relationship in the third feature map (step S13; reflecting step).
  • the determining unit 112 uses a grid pattern indicating a plurality of second components corresponding to one first component to determine, for each first component, a corresponding plurality of second components. Determine the correspondence that indicates the elements.
  • the reflecting unit 113 reflects the correlation calculated from the correspondence determined by the determining unit 112 in the third feature map. Therefore, the information processing apparatus 11 does not need to perform calculations for the entire area of the second feature map for each first component in the calculation based on the correspondence relationship, so the amount of calculation required for processing can be reduced.
  • the grid pattern can extract not only a local area but a wide area of the second feature map, the information processing apparatus 11 can extract a wide area feature of the second feature map. can.
  • the attention mechanism is a technique that reflects the correlation of extracted features to the extracted features.
  • the computational cost increases.
  • the advantage of the attention mechanism of feature extraction may be degraded.
  • the information processing apparatus 11 is capable of feature extraction considering the entire space of the input feature map, and can be calculated with a low calculation cost.
  • FIG. 5 is a block diagram showing the functional configuration of an information processing apparatus according to the second embodiment.
  • the information processing apparatus 12 according to the second embodiment includes a caution mechanism unit 120 as a processing block for realizing its function.
  • the attention mechanism unit 120 includes an extractor 121 , a calculator 122 , a totalizer 123 and an outputter 124 .
  • each of the extraction unit 121, the calculation unit 122, the summation unit 123, and the output unit 124 may be implemented by the above-described processor 101 (see FIG. 1). That is, the processor 101 functions as components of each of the extraction unit 121, the calculation unit 122, the totalization unit 123, and the output unit 124 by reading and executing a computer program.
  • the extraction unit 121 corresponds to the extraction unit 111 in the first embodiment. Specifically, the extraction unit 121 acquires a feature map (feature amount), which is input data to the attention mechanism unit 120, and extracts the three embedded features necessary for the processing of the attention mechanism from the acquired feature map. , key, and value feature maps.
  • the extraction unit 121 may use, for example, a convolutional layer or a fully connected layer used in a convolutional neural network. Furthermore, an arbitrary layer constituting a convolutional neural network may be provided before the extraction unit 121, and an input from the layer may be input to the extraction unit 121 as a feature map.
  • the extraction unit 121 outputs the extracted query and key to the calculation unit 122 and outputs the value to the aggregation unit 123 .
  • the calculation unit 122 corresponds to the determination unit 112 in the first embodiment. Specifically, the calculation unit 122 calculates a correlation (for example, Matmul) between the query and the key using the embedded feature of the extracted query and key.
  • a correlation for example, Matmul
  • the computing unit 122 can refer to the entire space of the input feature map in the computation process.
  • the grid pattern in the second embodiment is a grid-like pattern in which one unit is a square, and one grid point (one unit of the reference area) is composed of one component of the key. There is.
  • the computing unit 122 may obtain the correlation by performing tensor shape transformation (reshape) on the embedded features of the query and the key, and then calculating the matrix product. Alternatively, the calculation unit 122 may calculate the correlation by combining the two embedded features after performing tensor shape transformation on the embedded features of the query and the key. The calculation unit 122 performs convolution and calculation of a Rectified Linear Unit (ReLU) on the matrix product or the combined features calculated as described above, thereby obtaining the final correlation feature get the map.
  • ReLU Rectified Linear Unit
  • calculation unit 122 may further include a convolution layer for convolution. Further, the calculation unit 122 may normalize the obtained feature map indicating the correlation from 0 to 1 by using a sigmoid function, a softmax function, or the like, or may not perform such normalization. A feature map indicating the calculated correlation is input to the aggregation unit 123 .
  • the aggregation unit 123 corresponds to the reflection unit 113 in the first embodiment. More specifically, the aggregating unit 123 uses the feature map indicating the correlation calculated by the computing unit 122 and the value, which is the embedded feature extracted by the extracting unit 121, to convert the correlation between the query and the key into a value.
  • the processing to reflect to the feature map of is performed. This process reflects the correlation by calculating the Hadamard product of the feature map of the correlation (weight) calculated by the calculation unit 122 and the value.
  • a feature map reflecting the correlation is input to the output unit 124 .
  • the output unit 124 performs adjustment processing for passing the calculated feature map to the feature extraction unit at the latter stage of the attention mechanism unit 120 .
  • the output unit 124 mainly executes linear transformation processing and residual processing as adjustment processing.
  • the output unit 124 may process the feature map by using a 1 ⁇ 1 convolutional layer or a fully connected layer as linear transformation processing. However, the output unit 124 may perform residual processing without performing this linear transformation processing.
  • the output unit 124 may add the feature input to the extraction unit 121 and the feature map output from the aggregation unit 123 as residual processing. This is to prevent the feature map from being generated from the output unit 124 even if the correlation is not calculated.
  • 0 is calculated as the correlation (weight)
  • the value value is multiplied by 0, so that the feature value becomes 0 (disappears) in the feature map output by the aggregation unit 123.
  • the output unit 124 performs residual processing to add the features of the input map so that the feature value does not become 0 even if 0 is calculated as the correlation.
  • the output unit 124 outputs the adjusted feature map as output data.
  • FIG. 6 is a flow chart showing the operation flow of the information processing apparatus according to the second embodiment.
  • the extraction unit 121 first extracts embedded features from the input feature map (step S21).
  • the calculation unit 122 uses the query and the key, which are the extracted embedding features, to calculate features indicating the correlation between the two (step S22).
  • the aggregation unit 123 reflects the correlation on the value, which is the input feature (step S23).
  • the output unit 124 adjusts the response values of the feature map in order to output the feature map extracted by the aggregation unit 123 (step S24).
  • FIG. 7 is a schematic diagram showing the processing of the information processing device 12 in more detail, and the details of the processing will be explained using this diagram.
  • the feature map input to the attention mechanism unit 120 is separated into query, key, and value feature maps by the extractor 121 .
  • the calculation unit 122 calculates a feature that indicates the correlation between the query and the key.
  • the aggregation unit 123 reflects the calculated correlations on the values extracted by the extraction unit 121 to generate a feature map.
  • the output unit 124 performs linear response processing and residual processing on the feature map to adjust the response values of the feature map and generate a new feature map. Note that the arrows shown in FIG. 7 simply indicate the flow of data described in this embodiment, and prevent data processing in other modes in the attention mechanism unit 120. is not. In other words, the depiction of FIG. 7 does not exclude bi-directional exchange of data between portions of attention mechanism unit 120 .
  • the technique described in this disclosure uses a grid pattern when determining the reference position of the key corresponding to the specific position i of the query. Specifically, the calculation unit 122 shifts the grid pattern in the small regions (divided regions) in the query feature map (first feature map) and refers to the key feature map (second feature map). , can refer to all features in the space of keys.
  • the calculation unit 122 can equally refer to the entire space of keys within each subregion of the query.
  • the input data is image data
  • its constituent elements are pixels.
  • the horizontal direction in each square feature map is set as the x direction
  • the vertical direction is set as the y direction.
  • FIG. 8A shows the reference positions, which are the reference positions of a plurality of keys, when the reference position i on the query side is taken as the reference position.
  • the area surrounded by a thick line in the query in FIG. 8A indicates a square 3*3 area A that is a small area (block area) of the query, and the area surrounded by a thick line in the key is the reference area in the query i. showing.
  • the reference position of the query is the upper left pixel in area A.
  • the computing unit 122 refers to the key embedding features in a grid-like manner and generally coarsely.
  • the key to be actually referenced is 9 pixels in the 7*7 key reference area.
  • the calculation unit 122 determines the reference position of the key using the size N*N and the division number S of the feature map of the query and key.
  • the skip width of the reference area in the key (the size of the grid, that is, the amount of positional deviation in the x-axis direction or the y-axis direction between the closest key components to be referenced) is also B.
  • the calculation unit 122 calculates the grid pattern related to the reference position.
  • FIG. 8B shows the key reference position when the query reference position in area A is shifted from the reference position.
  • Position 1 on the query side is the position when the reference position of the query is shifted from the reference position by +1 in the x-axis direction
  • position 2 on the query side is the position when the reference position of the query is shifted from the reference position by +2 in the x-axis direction
  • y This is the position when shifted +2 in the axial direction.
  • the calculation unit 122 shifts the reference position of the key by the same amount as the shift amount (movement amount) between the x-axis and the y-axis of the query.
  • the calculation unit 122 shifts the key grid pattern (reference position) by +1 in the x-axis direction to position 1, and the reference position of the query is position 2.
  • the key grid pattern (reference position) is shifted +2 in the x-axis direction and +2 in the y-axis direction to position 2.
  • the computing unit 122 can refer to the entire space of the feature map within the key within the small region of the query.
  • FIG. 8C shows a state in which the query feature map is divided into 9 small areas A to I.
  • the calculation unit 122 calculates the upper left block in each small area for each query in each small area B to I of the query. A deviation amount in the x-axis direction and the y-axis direction is derived. Then, the calculation unit 122 generates a grid pattern in which the key corresponding to each query in each of the small regions B to I is shifted using the shift amount in the key feature map, similarly to each query in the small region A. Determined by reference.
  • the same hatched locations in the query map of FIG. 8C refer to the same locations in the grid pattern in the within-key feature map.
  • the computing unit 122 can evenly refer to the entire space of the embedded feature map of the key within each small region in the query.
  • the regularization method introduced by the technology described in this disclosure will be described.
  • the position of the grid pattern corresponding to the query is fixed. Therefore, if there is no posture change or positional deviation of the object in the input image data during learning, and there is a posture change or positional deviation of the object in the input image data during operation, the calculation unit 122 may not be able to accurately extract the features. have a nature. In order to prevent this, the calculation unit 122 randomly shuffles (replaces) the grid pattern of the key corresponding to the query with a certain probability.
  • FIG. 8D shows that some of the sub-regions B and F have been shuffled with respect to the example shown in FIG. 8C.
  • a shuffled part of the small area B is shown as area S1
  • a shuffled part of small area F is shown as area S2.
  • the multiple keys to be shuffled are in the same small area. Thereby, the calculation unit 122 can reliably execute the shuffle process.
  • FIG. 9 is a flow chart showing the detailed operation flow of the calculation unit 122 .
  • the calculation unit 122 calculates a grid pattern for the reference position using the embedded feature of the key (step S25). Then, the calculation unit 122 shifts the calculated checkerboard pattern using the deviation amount from the reference position within the query small region, thereby assigning the grid pattern to all the elements within the query small region. (Step S26).
  • the computing unit 122 allocates grid patterns to all other small regions of the query in a similar manner (step S27). Then, the calculation unit 122 introduces a process of shuffling the grid pattern to be assigned at an arbitrary position within the key block with a certain probability (step S28). The details of each of these steps are as described in the description of FIGS. 8A to 8D. As described above, the calculation unit 122 assigns the grid pattern of the query to each position of the feature map of the query.
  • Non-Patent Document 1 refers to the entire spatial location of the embedded feature of the key for that pixel i in order to refer to the entire feature for pixel i at a specific position of the query. There is a need to.
  • the input to the attention mechanism is an image or other two-dimensional feature map, the amount of computations performed tends to depend on the input resolution. become difficult.
  • Non-Patent Document 2 refers to the key position of a local area (about 7*7) for pixel i at a specific position of the query in order to reduce the amount of computation that depends on the resolution. This greatly reduces the amount of calculations to be performed.
  • the technique described in this disclosure efficiently uses the grid pattern to cover the entire space of the feature map with a smaller amount of calculation than the technique of Non-Patent Document 1 (for example, the same amount as that of Non-Patent Document 2). calculation amount). This makes it easier for the information processing device to refer to the wide-area feature space, so that it is possible to improve the feature extraction capability of the attention mechanism.
  • the information processing apparatus 12 exhibits a remarkable technical effect of being able to suppress such a state in which the computational processing load becomes extremely large.
  • the calculation unit 122 (determination unit) can determine the correspondence relationship between the query component (first component) and the key component (second component) as follows.
  • the operator 122 shifts the grid pattern on the key feature map based on the position of each query component such that the key component corresponds to at least one query component.
  • the computing unit 122 can evenly refer to the entire space of the key feature map. Therefore, the attention mechanism unit 120 can extract all features of the input data.
  • the computing unit 122 can determine the correspondence between query components and key components as follows.
  • the calculation unit 122 divides the query feature map (first feature map) into a plurality of sub-regions (divided regions) so that the key components correspond to at least one of the query components in the sub-regions.
  • the grid pattern is shifted on the key feature map based on the position of the query components.
  • the computing unit 122 can evenly refer to the entire space of the feature map of the key each time it refers to a small area of the query. Therefore, the attention mechanism unit 120 can broadly extract the features of the input data without bias.
  • the calculation unit 122 generates a grid pattern based on the position of each query component so that each component of the key corresponds to one of the query components in each small region. By shifting up, the correspondence can be determined. Therefore, the attention mechanism unit 120 can extract the features of the input data evenly.
  • the computing unit 122 can shift the grid pattern on the key feature map based on the position of each component of the query as follows. That is, the calculation unit 122 sets query components in a one-to-one correspondence between all sub-regions, and sets the corresponding query components at the same position on the feature map whose grid pattern is the key. can be set to be placed By setting the shift method of the grid pattern to such a simple setting, the calculation unit 122 can reduce the calculation cost for evenly referencing the characteristics of the input data.
  • the calculation unit 122 may determine the correspondence relationship by shuffling the positions on the feature map of the keys of the grid pattern determined according to the position of each component of the query with a predetermined probability. . This enables the attention mechanism unit 120 to perform robust feature extraction against posture changes and positional deviations of objects in the input image data.
  • the calculation unit 122 can configure a query subregion with a congruent figure (for example, a square) that includes a plurality of key components.
  • a congruent figure for example, a square
  • the calculation unit 122 can reduce the calculation cost for evenly referencing the features of the input data by simplifying the setting of the small areas.
  • a third embodiment will be described below with reference to the drawings.
  • the third embodiment shows an example in which the information processing apparatus 11 constructs one network by repeatedly stacking the attention mechanism units 120 shown in the second embodiment.
  • specific application examples of the attention mechanism unit 120 shown in the second embodiment will be described. Therefore, in the descriptions of the third to fifth embodiments, some configurations and processes that are different when compared with the second embodiment are described, and other configurations and processes that are not described are common to the second embodiment. may be applied.
  • constituent elements denoted by the same reference numerals perform the same processing.
  • FIG. 10 is a block diagram showing a functional configuration using the information processing device 13.
  • the information processing device 13 comprises a convolution unit (feature extraction unit) 200 and a plurality of attention mechanism units 120 .
  • the convolution unit 200 used in the convolutional neural network at the top of the information processing device 13
  • the information processing device 13 can extract a feature map from the inputted input image.
  • the convolution unit 200 is a unit that performs feature extraction by using a convolution layer of local kernels (approximately 3 ⁇ 3) on the key feature map.
  • the caution mechanism unit 120 is repeatedly arranged in the information processing device 13 for a specified number of times.
  • the entire network is constructed by arranging an output layer (not shown) that outputs some result for the input image in the information processing device 13 .
  • FIG. 11 is a flow chart showing the operation flow of the information processing device 13 according to the third embodiment.
  • the convolution unit 200 first extracts a feature map from the input image data (step S31). Subsequently, the feature map output in step S31 is input to the attention mechanism unit 120 and converted into a new feature map in the attention mechanism unit 120 (step S32). Step S32 is repeatedly executed N times, which is the specified number of times (that is, the number of times attention mechanism unit 120 is provided), thereby extracting a new feature map. Subsequently, after finishing all the processes of the attention mechanism unit 120, the information processing device 13 obtains a response value from the final output layer (step S33).
  • a network is constructed using a plurality of attention mechanism units 120.
  • the attention mechanism unit 120 can refer to the global feature space with a small amount of computation. Therefore, the information processing device 13 can construct a network specialized for extracting features from the entire image. Specifically, the information processing device 13 is considered particularly effective for tasks that require feature extraction from wide-area information, such as image recognition tasks for recognizing landscapes.
  • the fourth embodiment shows an example of constructing a network by repeatedly stacking attention mechanism unit 120 and convolution unit (feature extraction unit) 200, which are the techniques described in this disclosure.
  • the convolution unit 200 is a unit that performs feature extraction using a convolution layer of local kernels (approximately 3 ⁇ 3), as described above.
  • FIG. 12 is a block diagram showing the functional configuration of the information processing device 14 including the attention mechanism unit 120 and the convolution unit 200.
  • the information processing device 14 can extract the feature map from the input image.
  • the attention mechanism unit 120 and the convolution unit 200 are repeatedly arranged for a specified number of times.
  • the designer can freely determine the order in which the attention mechanism unit 120 and the convolution unit 200 are arranged, and how to arrange which of them in succession.
  • FIG. 12 is a block diagram showing the functional configuration of the information processing device 14 including the attention mechanism unit 120 and the convolution unit 200.
  • a plurality of groups are provided in the information processing device 14, each having the caution mechanism unit 120 at the front stage and the convolution unit 200b at the rear stage.
  • one network is constructed by arranging an output layer (not shown) that outputs some result for the input image in the information processing device 14 .
  • FIG. 13 is a flow chart showing the operation flow of the information processing device 14 according to the fourth embodiment.
  • step S41 the front-stage convolution unit 200X extracts a feature map from the input image data
  • step S42 the feature map output in step S41 is input to attention mechanism unit 120 or convolution unit 200 in the subsequent stage, and converted into a new feature map in each unit (step S42).
  • step S42 is repeatedly executed N times, which is the specified number of times (that is, N times, which is the number of times the attention mechanism unit 120 and the convolution unit 200 are provided), and a new feature map is extracted each time.
  • step S43 the information processing device 14 obtains response values from the final output layer
  • a network is constructed by using the attention mechanism unit 120 and the convolution unit 200 of the technology described in this disclosure.
  • the convolution unit 200 performs feature extraction using a convolution layer with a local kernel (approximately 3 ⁇ 3) as a kernel in a predetermined range, so feature extraction focusing on a local region in the data is possible. . Therefore, the information processing device 14 can construct a network that enables feature extraction in consideration of two viewpoints, that is, the entire image and the local area of the image.
  • the information processing device 14 can improve various types of recognition performance, such as general object recognition and object detection, in situations where objects of various types and sizes are mixed in an image.
  • the fifth embodiment constructs a network by repeatedly stacking the attention mechanism unit 120 and the patch-based attention mechanism unit (feature extraction unit) 210, which are the techniques described in this disclosure.
  • the patch-based attention mechanism unit 210 applies the patch-based attention mechanism described in Non-Patent Document 2, and as shown in FIG. It is a unit that performs feature extraction using a convolutional layer with a degree). Note that the description of the patch-based attention mechanism described in Non-Patent Document 2 is incorporated in this disclosure.
  • FIG. 14 is a block diagram showing the functional configuration of the information processing device 15 including the attention mechanism unit 120, the convolution unit 200 and the patch-based attention mechanism unit 210.
  • FIG. 14 By providing the convolution unit 200 at the frontmost stage of the information processing device 15, a feature map can be extracted from the input image. Then, the caution mechanism unit 120 and the patch-based caution mechanism unit 210 are repeatedly arranged at the succeeding stage N times, which is the designated number of times.
  • the designer can freely determine the order of arranging the attention mechanism unit 120 and the patch-based attention mechanism unit 210 and how to arrange which of them in succession.
  • the information processing device 15 includes a plurality of groups in which the caution mechanism unit 120 is provided in the front stage and the patch-based caution mechanism unit 210 is provided in the rear stage. Finally, the entire network is constructed by arranging an output layer (not shown) that outputs some result for the input image in the information processing device 15 .
  • step S41 The feature map output in step S41 is input to the attention mechanism unit 120 or the patch-based attention mechanism unit 210 in the latter stage, where it is converted into a new feature map (step S42).
  • Step S42 is repeatedly executed N times, which is the specified number of times (that is, the number of times the caution mechanism unit 120 and the patch-based caution mechanism unit 210 are provided). Then, the information processing device 15 performs the process of step S43.
  • a network is constructed using the caution mechanism unit 120 and the patch-based caution mechanism unit 210.
  • FIG. Since the patch-based attention mechanism unit 210 performs feature extraction using a convolution layer with a local kernel (approximately 7 ⁇ 7) as a kernel in a predetermined range, feature extraction focusing on a local region in the data is possible. It is possible.
  • the patch-based attention mechanism unit 210 has the same function as the convolution unit 200 in terms of feature extraction from local regions, but is superior to the convolution unit 200 in terms of accuracy and computational complexity.
  • the patch-based attention mechanism unit 210 as a substitute for the convolution unit 200, a higher performance network can be constructed. For these reasons, it is possible to construct a network that enables feature extraction that considers two perspectives: the entire image and local regions of the image.
  • a specific application example of the information processing device 15 is the same as that of the fourth embodiment, and various types of recognition performance such as general object recognition and object detection in a situation where objects of various types and sizes are mixed in an image. It is considered possible to improve
  • the extraction unit 111 extracts, from the feature map input to the attention mechanism unit 110, a first feature map associated with a first feature composed of a plurality of first components, a second map composed of a plurality of second components, and a A second feature map related to the features of and a third feature map related to the third features are extracted.
  • the first, second and third features are query, key and value respectively.
  • each feature map is a one-dimensional map.
  • the determination unit 112 determines a correspondence relationship indicating the components of the corresponding multiple keys for each query component. Specifically, the determining unit 112 shifts a grid pattern indicating multiple key components corresponding to one query component on the key feature map based on the position of each query component. This correspondence is determined so that the components of the key correspond to the components of at least one query. In other words, the correspondence indicates, for each component of the query, the correspondence of the components of the corresponding plurality of keys.
  • a grid pattern is a pattern in which the closest key components (reference regions) have the same spacing on a one-dimensional map. Note that the size of the grid is 3 in FIG. In this way, even when applying the technique of this disclosure to a one-dimensional feature vector, the determination unit 112 determines the reference positions of the closest keys at regular intervals, as in the case of a two-dimensional feature map. be able to.
  • the reflecting unit 113 performs a process of reflecting the correlation between the query and the key calculated from the correspondence determined by the determining unit 112 in the value feature map.
  • the information processing apparatus 10 can extract features in the input feature map.
  • the extraction unit 111 extracts query, key, and value feature maps from the feature maps input to the attention mechanism unit 110 .
  • the determination unit 112 refers to the designated grid pattern for a specific component (reference position) of the query. In FIG. 15, grid pattern (1) is specified for component i of the query.
  • the determining unit 112 converts grid pattern (2) or (3), which is obtained by shifting grid pattern (1) by the same shift amount as the shift amount of the query component shifted from the reference position, into a reference grid pattern. Specify and assign as At this time, the determination unit 112 may randomly change the grid pattern of the key to be referenced with a predetermined probability for the components of the query, as in the case of the two-dimensional feature map.
  • the network may be constructed with the attention mechanism units described in this disclosure, and as in the fourth and fifth forms, attention mechanism units described in this disclosure and different A network may be constructed by combining with the feature extraction unit. From this correspondence determined by the determination unit 112, the correlation between the query and the key is calculated. Then, the reflecting unit 113 reflects the correlation in the value feature map.
  • the tasks that can be handled are not limited to images, and can be applied to one-dimensional data tasks such as speech and natural language processing.
  • one unit of the grid pattern is a square.
  • one unit of the grid pattern may be a rectangle of any shape instead of a square.
  • the calculation unit 122 may configure the query subregion with different shapes having the same area, instead of a congruent figure containing a plurality of key components.
  • the caution mechanism unit 110 may be stacked inside the information processing apparatus.
  • the same methods as the examples described in the third to fifth embodiments are described in this disclosure.
  • the attention mechanism unit can also be stacked in the information processing device.
  • One or more processors of each device in the above-described embodiments execute one or more programs containing instruction groups for causing the computer to execute the algorithms described using each drawing. By this processing, the signal processing method described in each embodiment can be realized.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (e.g., flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (eg mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be delivered to the computer on various types of transitory computer readable medium. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer-readable media can deliver the program to the computer via wired channels, such as wires and optical fibers, or wireless channels.
  • the determining unit divides the first feature map into a plurality of divided regions, and divides the grid so that each of the second components corresponds to at least one of the first components in each of the divided regions. determining the correspondence by shifting patterns on the second feature map based on the position of each of the first components; The information processing device according to appendix 2. (Appendix 4) The determining unit determines the grid pattern based on the position of each first component so that each second component corresponds to one of the first components in each divided area. determining the correspondence by shifting on a second feature map; The information processing device according to appendix 3.
  • the determining unit sets the first constituent elements in a one-to-one correspondence between all the divided regions, and the grid pattern is the same on the second feature map for the corresponding first constituent elements. determining the correspondence by shifting the grid pattern on the second feature map based on the position of each of the first components so that it is placed in position; The information processing device according to appendix 4. (Appendix 6) The determination unit determines the correspondence relationship by shuffling the positions of the grid pattern determined according to the position of each of the first components on the second feature map, with a predetermined probability. The information processing device according to appendix 5. (Appendix 7) The determining unit configures each divided area with a congruent figure including a plurality of the first components, 7.
  • the information processing apparatus according to any one of Appendices 3 to 6.
  • Appendix 8 A plurality of attention mechanism units having the extraction unit, the determination unit, and the reflection unit, 8.
  • the information processing apparatus according to any one of Appendices 1 to 7.
  • Appendix 9 A plurality of feature extraction units using kernels within a predetermined range and the attention mechanism units;
  • the information processing device according to appendix 8.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一実施の形態にかかる情報処理装置（１０）は、特徴マップから、第１の特徴に係る第１特徴マップ、第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出する抽出手段（１１１）と、１個の第１構成要素に対応する複数個の第２構成要素を示すグリッドパターンを、各第１構成要素の位置に基づいて第２特徴マップ上でシフトすることにより、各第１構成要素について、対応する複数の第２構成要素を示す対応関係を決定する決定手段（１１２）と、対応関係から算出された第１の特徴と第２の特徴との相関関係を第３特徴マップに反映させる反映手段（１１３）を備える。

Description

情報処理装置、情報処理方法及び非一時的なコンピュータ可読媒体
　本発明は情報処理装置、情報処理方法及び非一時的なコンピュータ可読媒体に関する。
　近年、機械学習を用いた各種技術が適用されている。例えば、特許文献１には、音源の全体区間ではない一部のハイライト区間を提供するために、音源、言語又は画像から抽出した特徴から分類情報との関係を学習するニューラルネットワークを利用することが記載されている。
特表２０２０－５１６００４号公報
　この開示は、先行技術文献に開示された技術を改善することを目的とする。
　本実施形態にかかる一態様の情報処理装置は、特徴マップから、複数の第１構成要素で構成された第１の特徴に係る第１特徴マップ、複数の第２構成要素で構成された第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出する抽出手段と、１個の前記第１構成要素に対応する複数個の前記第２構成要素を示すグリッドパターンを、各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、各前記第１構成要素について、対応する複数の前記第２構成要素を示す対応関係を決定する決定手段と、前記対応関係から算出された前記第１の特徴と前記第２の特徴との相関関係を前記第３特徴マップに反映させる反映手段を備える。
　本実施形態にかかる一態様の情報処理方法は、特徴マップから、複数の第１構成要素で構成された第１の特徴に係る第１特徴マップ、複数の第２構成要素で構成された第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出し、１個の前記第１構成要素に対応する複数個の前記第２構成要素を示すグリッドパターンを、各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、各前記第１構成要素について、対応する複数の前記第２構成要素を示す対応関係を決定し、前記対応関係から算出された前記第１の特徴と前記第２の特徴との相関関係を前記第３特徴マップに反映することを情報処理装置が実行するものである。
　本実施形態にかかる一態様の非一時的なコンピュータ可読媒体は、特徴マップから、複数の第１構成要素で構成された第１の特徴に係る第１特徴マップ、複数の第２構成要素で構成された第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出し、１個の前記第１構成要素に対応する複数個の前記第２構成要素を示すグリッドパターンを、各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、各前記第１構成要素について、対応する複数の前記第２構成要素を示す対応関係を決定し、前記対応関係から算出された前記第１の特徴と前記第２の特徴との相関関係を前記第３特徴マップに反映することを情報処理装置に実行させるプログラムが格納されたものである。
第１の関連技術を示す模式図である。 第２の関連技術を示す模式図である。 この開示の実施例を示す模式図である。 各実施の形態にかかる情報処理装置のハードウェア構成を示すブロック図である。 実施の形態１にかかる情報処理装置の機能的構成を示すブロック図である。 実施の形態１にかかる情報処理装置の動作の流れを示すフローチャートである。 実施の形態２にかかる情報処理装置の機能的構成を示すブロック図である。 実施の形態２にかかる情報処理装置の動作の流れを示すフローチャートである。 実施の形態２にかかる情報処理装置の処理をより詳細に示す模式図である。 実施の形態２にかかるクエリとキーの特徴マップを示す図面である。 実施の形態２にかかるクエリとキーの特徴マップを示す図面である。 実施の形態２にかかるクエリとキーの特徴マップを示す図面である。 実施の形態２にかかるクエリとキーの特徴マップを示す図面である。 実施の形態２にかかる演算部の詳細な動作の流れを示すフローチャートである。 実施の形態３にかかる情報処理装置の機能的構成を示すブロック図である。 実施の形態３にかかる情報処理装置の動作の流れを示すフローチャートである。 実施の形態４にかかる情報処理装置の機能的構成を示すブロック図である。 実施の形態４にかかる情報処理装置の動作の流れを示すフローチャートである。 実施の形態５にかかる情報処理装置の機能的構成を示すブロック図である。 実施の形態６にかかる情報処理装置の処理を示す模式図である。
　＜関連技術＞
　まず、関連技術の概要について説明する。第１の関連技術として、非特許文献のX.Wang, R. Girshick, A. Gupta, K. He, “Non-Local Neural Networks”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7794-7803, 2018. は、畳み込みニューラルネットワークの畳み込み層から得られた特徴マップを用いて、注意機構によって特徴マップに重み付けをすることで特徴抽出を改善した技術を開示している。
　また、第２の関連技術として、非特許文献のH.Zhao, J.Jia, V.Koltun,“Exploring Self-Attention for Image Recognition”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp.10076-10085, 2020. は、第１の関連技術と異なり、特徴マップの空間全体でなく、特徴マップの局所的な領域（７×７程度）を用いたパッチベースの注意機構を提案している。
　図１Ａは、第１の関連技術を示す模式図である。図１Ａでは、クエリの１構成要素（例えばピクセル）ｉに対して、キーの特徴マップの空間全体が参照されることで特徴が抽出されることを示している。第１の関連技術では、キーの特徴マップの空間全体が考慮されるため、広域的な特徴抽出が可能となる。しかしながら、キーの特徴マップ全部についての計算が必要となるので、計算コストが大きくなってしまうという課題があった。
　図１Ｂは、第２の関連技術を示す模式図である。図１Ｂでは、クエリの１構成要素ｉに対して、キーの特徴マップにおける部分領域ＡＲが参照されることで特徴が抽出されることを示している。部分領域ＡＲは、クエリの構成要素ｉに対応する、キーの構成要素i及びその周辺の近傍領域である。第２の関連技術は、２つの埋め込み特徴であるクエリとキー間の相関関係に関する計算において、計算対象となる領域が少なくなるので、第１の関連技術に比べて計算コストを下げることができる。しかしながら、部分領域ＡＲはキーの特徴マップの局所的な領域なので、注意機構の本来の目的である広域的な特徴抽出という利点が劣化する可能性が生ずるという、別の課題が生じる。
　以降の実施の形態に記載される技術は、以上の関連技術に係る課題を解決することを、目的の一つとしている。つまり、この技術は、入力される特徴マップの空間全体を考慮した特徴抽出が可能で、少ない計算コストで計算が可能な情報処理装置等を提供することができる。
　図１Ｃは、この開示の一実施例を示す模式図である。図１Ｃでは、クエリの１構成要素ｉに対して、キーの特徴マップの空間全体に分散されたグリッドパターン（チェッカーボードパターン）の領域が参照されることで特徴が抽出されることを示している。この開示において、グリッドパターンは、任意の次元のマップ上において、所定の方向における最近接の構成要素の参照領域同士の間隔が同一となる、複数の構成要素の参照領域からなるパターンである。例えば、２次元マップ上では、グリッドパターンは、１単位の長方形（例えば正方形）の各辺が任意の長さを有する格子状（grating）のパターンであり、参照領域は、格子柄における格子点を示すパターンであるともいえる。なお、グリッドパターンにおける参照領域の１単位は、キーの１構成要素で構成されても良いし、キーの複数の構成要素で構成されても良い。
　以上に示した手法では、キーの特徴マップの空間全体が考慮されるため、広域的な特徴抽出が可能となる。さらに、計算対象となる領域が、キーの特徴マップ全部ではなく一部となるため、必要な計算コストを下げることができる。例えば、図１Ｃのグリッドパターンの領域面積を図１Ｂの部分領域ＡＲの面積と同じにする場合には、計算コストを、第２の関連技術に係る計算コストと同じにすることができる。ただし、この開示に記載の技術は、この実施例に限定されない。また、この手法は、後述の通り、様々な用途に適用可能である。
　＜各実施の形態にかかるハードウェア構成＞
　各実施の形態について説明する前に、図２を用いて、各実施の形態にかかる情報処理装置のハードウェア構成について説明する。
　図２に示すように、情報処理装置１０は、プロセッサ１０１と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０３と、記憶装置１０４とを備えている。情報処理装置１０は更に、入力装置１０５と、出力装置１０６とを備えていてもよい。プロセッサ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、記憶装置１０４と、入力装置１０５と、出力装置１０６とは、データバス１０７を介して接続されている。このデータバス１０７は、接続された構成要素同士のデータの送受信に用いられる。
　プロセッサ１０１は、コンピュータプログラムを読み込む。例えば、プロセッサ１０１は、ＲＡＭ１０２、ＲＯＭ１０３及び記憶装置１０４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１０１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１０１は、ネットワークインタフェースを介して、情報処理装置１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、コンピュータプログラムを読み込んでもよい）。プロセッサ１０１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１０２、記憶装置１０４、入力装置１０５及び出力装置１０６を制御する。例えば、プロセッサ１０１が読み込んだコンピュータプログラムを実行することによって、プロセッサ１０１内には、特徴量に関する各種処理を実行するための機能ブロックが実現されてもよい。この機能ブロックについては、各実施の形態で詳述する。
　なお、プロセッサ１０１の一例として、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-programmable Gate Array）、ＤＳＰ（Demand-Side Platform）、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。プロセッサ１０１は、上述した一例のうち一つを用いてもよいし、そのうちの複数を並列で用いてもよい。
　ＲＡＭ１０２は、プロセッサ１０１が実行するコンピュータプログラムを一時的に記憶するメモリである。また、ＲＡＭ１０２は、プロセッサ１０１がコンピュータプログラムを実行している際にプロセッサ１０１が一時的に使用するデータを一時的に記憶してもよい。ＲＡＭ１０２は、例えば、ＤＲＡＭ (Dynamic Random Access Memory)、ＳＲＡＭ (Static Random Access Memory)等のＲＡＭであってもよい。また、ＲＡＭに代えて、他の種類の揮発性メモリが用いられてもよい。
　ＲＯＭ１０３は、プロセッサ１０１が実行するコンピュータプログラムを記憶するメモリである。ＲＯＭ１０３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１０３は、例えば、ＰＲＯＭ (Programmable ROM)、ＥＰＲＯＭ (Erasable Programmable Read Only Memory)等のＲＯＭであってもよい。また、ＲＯＭに代えて、他の種類の不揮発性メモリが用いられてもよい。
　記憶装置１０４は、情報処理装置１０が長期的に保存するデータを記憶する。記憶装置１０４は、プロセッサ１０１の一時記憶装置として動作してもよい。記憶装置１０４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
　入力装置１０５は、情報処理装置１０のユーザからの入力指示を受け取る装置である。入力装置１０５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。入力装置１０５は、専用のコントローラ（操作端末）であってもよい。また、入力装置１０５は、ユーザが保有する端末（例えば、スマートフォンやタブレット端末等）を含んでいてもよい。入力装置１０５は、例えばマイクを含む音声入力が可能な装置であってもよい。
　出力装置１０６は、情報処理装置１０に関する情報を外部に対して出力する装置である。例えば、出力装置１０６は、情報処理装置１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。ここでの表示装置は、テレビモニタ、パソコンモニタ、スマートフォンのモニタ、タブレット端末のモニタ、その他の携帯端末のモニタであってよい。また、表示装置は、店舗等の各種施設に設置される大型モニタやデジタルサイネージ等であってよい。また、出力装置１０６は、画像以外の形式で情報を出力する装置であってもよい。例えば、出力装置１０６は、情報処理装置１０に関する情報を音声で出力するスピーカであってもよい。
　以下、各実施の形態における機能的構成及び実行される処理について説明する。
　＜実施の形態１＞
　まず、図３、４を参照して、第１実施形態について説明する。
　（機能的構成）
　図３は、第１実施形態に係る情報処理装置の機能的構成を示すブロック図である。図３に示すように、第１実施形態に係る情報処理装置１１は、その機能を実現するための処理ブロックとして、注意機構ユニット１１０を備える。注意機構ユニット１１０は、抽出部１１１、決定部１１２及び反映部１１３を備えている。なお、抽出部１１１、決定部１１２及び反映部１１３の各々は、上述したプロセッサ１０１（図２参照）によって実現されてよい。つまり、プロセッサ１０１は、コンピュータプログラムを読み込み、実行することで、抽出部１１１、決定部１１２及び反映部１１３の各々の構成要素として機能する。
　抽出部１１１は、注意機構ユニット１１０に入力された特徴マップから、複数の第１構成要素で構成された第１の特徴に係る第１特徴マップ、複数の第２構成要素で構成された第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出する。なお、第１の特徴、第２の特徴、第３の特徴は、例えば、それぞれクエリ、キー、バリューであっても良い。この場合、第１特徴マップ、第２特徴マップ、第３特徴マップは、それぞれクエリの特徴マップ、キーの特徴マップ、バリューの特徴マップとなる。ただし、各特徴及び特徴マップは、この例に限定されない。
　決定部１１２は、各第１構成要素について、対応する複数の第２構成要素を示す対応関係を決定する。詳細には、決定部１１２は、１個の第１構成要素に対応する複数個の第２構成要素を示すグリッドパターンを、各第１構成要素の位置に基づいて第２特徴マップ上でシフトすることにより、この対応関係を決定する。なお、グリッドパターンの定義は、上述の通りである。
　決定部１１２が決定した対応関係からは、第１の特徴と第２の特徴との相関関係が算出される。反映部１１３は、この相関関係を第３特徴マップに反映させる処理をする。以上のようにして、情報処理装置１０は、入力された特徴マップにおける特徴を抽出することができる。
　（動作の流れ）
　次に、図４を参照しながら、第１実施形態に係る情報処理装置１１の動作の流れについて説明する。図４は、第２実施形態に係る情報処理装置１１の動作の流れを示すフローチャートである。
　図４に示すように、情報処理装置１１の動作が開始されると、まず、抽出部１１１は、注意機構ユニット１１０に入力された特徴マップから、第１の特徴に係る第１特徴マップ、第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出する（ステップＳ１１；抽出ステップ）。次に、決定部１１２は、各第１構成要素について、対応する複数の第２構成要素を示す対応関係を決定する（ステップＳ１２；決定ステップ）。上述の通り、詳細には、決定部１１２は、グリッドパターンを各第１構成要素の位置に基づいて第２特徴マップ上でシフトすることにより、この対応関係を決定する。
　最後に、反映部１１３は、対応関係から算出された第１の特徴と第２の特徴との相関関係を、第３特徴マップに反映させる（ステップＳ１３；反映ステップ）。
　（技術的効果）
　次に、第１実施形態に係る情報処理装置１１によって得られる技術的効果について説明する。上述で説明した通り、決定部１１２は、１個の第１構成要素に対応する複数個の第２構成要素を示すグリッドパターンを用いて、各第１構成要素について、対応する複数の第２構成要素を示す対応関係を決定する。反映部１１３は、決定部１１２が決定した対応関係から算出された相関関係を第３特徴マップに反映させる。そのため、情報処理装置１１は、対応関係に基づく計算において、各第１構成要素について、第２特徴マップの全領域に関する計算をしなくて済むため、処理に必要な計算量を少なくすることができる。また、グリッドパターンにより、第２特徴マップの局所的な領域でなく、広範囲の領域を抽出することができるため、情報処理装置１１は、第２特徴マップについて、広域的な特徴を抽出することができる。
　上述の通り、画像認識分野等において、特徴量を処理するために注意機構を用いる技術が知られている。注意機構は、抽出した特徴の相関関係を、その抽出した特徴へと反映させる技術である。この注意機構において、入力される特徴マップの空間全体を考慮した特徴抽出をしようとすると、計算コストが大きくなってしまい、逆に特徴マップの一部を考慮した特徴抽出をしようとすると、広域的な特徴抽出という注意機構の利点が劣化する可能性があるという課題があった。
　これに対し、第１実施形態に係る情報処理装置１１は、入力される特徴マップの空間全体を考慮した特徴抽出が可能で、少ない計算コストで計算することが可能である。
　＜実施の形態２＞
　次に、図５、６を参照して、第２実施形態について説明する。第２実施形態では、第１実施形態の具体的な適用例について説明する。
　（機能的構成）
　図５は、第２実施形態に係る情報処理装置の機能的構成を示すブロック図である。図５に示すように、第２実施形態に係る情報処理装置１２は、その機能を実現するための処理ブロックとして、注意機構ユニット１２０を備える。注意機構ユニット１２０は、抽出部１２１、演算部１２２、集計部１２３、出力部１２４を備えている。なお、抽出部１２１、演算部１２２、集計部１２３、出力部１２４の各々は、上述したプロセッサ１０１（図１参照）によって実現されてよい。つまり、プロセッサ１０１は、コンピュータプログラムを読み込み、実行することで、抽出部１２１、演算部１２２、集計部１２３、出力部１２４の各々の構成要素として機能する。
　抽出部１２１は、第１実施形態における抽出部１１１に対応する。詳細には、抽出部１２１は、注意機構ユニット１２０への入力データである特徴マップ（特徴量）を取得し、取得した特徴マップから、注意機構の処理に必要な３つの埋め込み特徴である、クエリ、キー、バリューの各特徴マップを抽出する。抽出部１２１には、例えば畳み込みニューラルネットワークで用いられる畳み込み層又は全結合層が用いられても良い。さらに言えば、抽出部１２１の前段には、畳み込みニューラルネットワークを構成する任意の層が設けられ、その層からの入力が特徴マップとして抽出部１２１に入力されても良い。抽出部１２１は、抽出したクエリとキーを演算部１２２に出力し、バリューを集計部１２３に出力する。
　演算部１２２は、第１実施形態における決定部１１２に対応する。詳細には、演算部１２２は、抽出されたクエリとキーの埋め込み特徴を用いて、クエリとキー間の相関関係（例えばMatmul）を算出する。ここでは、演算部１２２はグリッドパターンを用いることで、計算の処理において、入力される特徴マップの空間全体を参照できる。なお、第２実施形態におけるグリッドパターンは、１単位が正方形で構成された格子状のパターンであって、１個の格子点（参照領域の１単位）が、キーの１構成要素で構成されているものである。
　演算部１２２は、クエリとキーの埋め込み特徴に対してテンソルの形状変換（ｒｅｓｈａｐｅ）を施したのちに、行列積を計算することで、相関関係を求めてもよい。また、演算部１２２は、クエリとキーの埋め込み特徴に対してテンソルの形状変換をした後に、この２つの埋め込み特徴を結合することで相関関係を求めてもよい。演算部１２２は、以上のように算出された行列積又は結合された特徴に、畳み込みと正規化線形関数（ＲｅＬＵ；Rectified Linear Unit）の計算を施すことで、最終的な相関関係を示した特徴マップを得る。
　なお、演算部１２２には、畳み込みのための畳み込み層がさらに設けられても良い。また、演算部１２２は、得られた相関関係を示した特徴マップを、シグモイド関数やソフトマックス関数等により０から１に正規化してもよいし、そのような正規化を施さなくてもよい。算出された相関関係を示した特徴マップは、集計部１２３へと入力される。
　集計部１２３は、第１実施形態における反映部１１３に対応する。詳細には、集計部１２３は、演算部１２２で算出された相関関係を示した特徴マップと、抽出部１２１で抽出した埋め込み特徴であるバリューを用いることで、クエリとキー間の相関関係をバリューの特徴マップへ反映する処理を行う。本処理は、演算部１２２で算出した相関関係（重み）の特徴マップと、バリューとをアダマール積で計算することで、相関関係を反映する。相関関係が反映された特徴マップは、出力部１２４へと入力される。
　出力部１２４は、算出された特徴マップを注意機構ユニット１２０後段の特徴抽出ユニットへ渡すための調整処理を行う。出力部１２４は、主に、調整処理として、線形変換処理と残差処理を実行する。出力部１２４は、線形変換処理として、１×１の畳み込み層、または全結合層を用いることで、特徴マップを処理してもよい。ただし、出力部１２４は、この線形変換処理を施さずに残差処理を実行してもよい。
　出力部１２４は、残差処理として、抽出部１２１に入力された特徴と集計部１２３が出力した特徴マップとを加算する処理をしてもよい。これは、相関関係が仮に算出されなかった場合でも、出力部１２４から特徴マップが生成されなくなるのを防ぐためである。相関関係（重み）として０が算出されると、バリュー値に対してその０が乗算されることにより、集計部１２３が出力した特徴マップにおいて、特徴値が０となる（消失する）ことになる。これを防ぐために、出力部１２４は、入力マップの特徴を加算する残差処理をここで実行することによって、相関関係として０が算出されても、特徴値が０とならないようにする。出力部１２４は、調整処理がなされた特徴マップを、出力データとして出力する。
　（動作の流れ）
　次に、図６を参照しながら、第２実施形態に係る情報処理装置１２の動作の流れについて説明する。図６は、第２実施形態に係る情報処理装置の動作の流れを示すフローチャートである。
　図６に示すように、第２実施形態に係る情報処理装置１２の動作が開始されると、まず抽出部１２１が、入力された特徴マップから埋め込み特徴を抽出する（ステップＳ２１）。次に、演算部１２２が、抽出した埋め込み特徴であるクエリとキーを用いて、両者の相関関係を示した特徴を算出する（ステップＳ２２）。
　その後、集計部１２３が、相関関係を、入力された特徴であるバリューに対して反映する（ステップＳ２３）。最後に、出力部１２４が、集計部１２３で抽出した特徴マップを出力するために、特徴マップの応答値を調整する（ステップＳ２４）。
　図７は、情報処理装置１２の処理をより詳細に示す模式図であり、この図を用いて、処理の詳細を説明する。注意機構ユニット１２０に入力された特徴マップは、抽出部１２１により、クエリ、キー、バリューのそれぞれの特徴マップに分けられる。そして、演算部１２２は、クエリとキーの相関関係を示した特徴を算出する。集計部１２３は、算出された相関関係を、抽出部１２１が抽出したバリューに対して反映し、特徴マップを生成する。出力部１２４は、特徴マップに対し、線形応答処理と残差処理を実行することにより、特徴マップの応答値を調整して、新たな特徴マップを生成する。なお、図７に示された矢印は、本実施形態で説明されるデータの流れを端的に示したものであり、注意機構ユニット１２０内において、他の態様でデータ処理がなされることを妨げるものではない。つまり、図７の描写は、注意機構ユニット１２０の各部において双方向的にデータが交換されることを排除するものではない。
　（キーの特徴マップ参照の詳細）
　演算部１２２がキーの特徴マップを参照する方法の詳細について、さらに説明する。この開示に記載の技術では、クエリの特定位置ｉに対応するキーの参照位置を決定する際に、グリッドパターンを用いる。詳細には、演算部１２２は、クエリの特徴マップ（第１特徴マップ）内の小領域（分割領域）の中でグリッドパターンをずらしながらキーの特徴マップ（第２特徴マップ）を参照することにより、キーの空間内の特徴を全て参照することができる。加えて、クエリの小領域内でキーの空間内の全構成要素を参照できる特性を活かし、クエリの他の小領域内を繰り返しグリッドパターンでずらしながらキーの特徴マップを参照することで、演算部１２２は、クエリの各小領域内で、キーの空間全体を均等に参照できる。
　図８Ａ～８Ｄに示したクエリとキーの特徴マップの図面を用いて、クエリとキーのそれぞれの参照位置についてさらに説明する。なお、図８Ａ～８Ｄの例では、入力データが画像データであり、その構成要素がピクセルである。また、図８Ａ～８Ｄでは、正方形の各特徴マップにおける横方向をｘ方向、縦方向をｙ方向と設定する。
　図８Ａは、あるクエリ側の参照位置ｉを基準位置とした場合における、複数のキーの参照位置である基準位置を示す。図８Ａのクエリにおける太線で囲った領域が、クエリの小領域（ブロック領域）である正方形の３＊３の領域Ａを示しており、キーにおける太線で囲った領域が、クエリｉにおける参照領域を示している。また、クエリの基準位置は、領域Ａにおける左上のピクセルである。
　図８Ａに示されたように、この開示に記載の技術では、演算部１２２は、キーの埋め込み特徴がグリッド状、かつ、全体的に粗くなるように参照している。図８Ａの具体例では、７＊７のキーの参照領域中、実際にキーの参照対象となるキーは９ピクセルである。演算部１２２は、キーの参照位置を、クエリ及びキーの特徴マップのサイズＮ＊Ｎと分割数Ｓを用いて決定する。クエリの破線領域の小領域のサイズＢ＊Ｂは、Ｂ＝Ｎ／Ｓで求まる。そして、キーにおける参照領域の飛ばし幅（グリッドのサイズ、すなわち、参照対象となる最近接のキーの構成要素同士に関する、ｘ軸方向又はｙ軸方向の位置ずれ量）もＢとなる。なお、図８Ａの例では特徴マップのサイズを９×９、分割数Ｓを３としているが、サイズや分割数の値はこれに限られない。このようにして、演算部１２２は、基準位置に係るグリッドパターンを算出する。
　図８Ｂに、領域Ａ内におけるクエリの参照位置を基準位置からずらした場合のキーの参照位置を示す。クエリ側の位置１は、クエリの参照位置を基準位置からｘ軸方向に＋１ずらした場合の位置であり、クエリ側の位置２は、クエリの参照位置を基準位置からｘ軸方向に＋２、ｙ軸方向に＋２ずらした場合の位置である。このように、クエリの参照位置ｉを領域Ａ内でずらした場合には、演算部１２２は、クエリのｘ軸とｙ軸のずれ量（移動量）と同じだけ、キーの参照位置をずらす。つまり、演算部１２２は、クエリの参照位置が位置１にある場合には、キーのグリッドパターン（参照位置）をｘ軸方向に＋１だけずらした位置１とし、クエリの参照位置が位置２にある場合には、キーのグリッドパターン（参照位置）をｘ軸方向に＋２、ｙ軸方向に＋２だけずらした位置２とする。以上の処理により、演算部１２２は、クエリの小領域内において、キー内の特徴マップの空間全てを参照することが可能となる。
　図８Ｃは、クエリの特徴マップを９の小領域Ａ～Ｉで分割された状態を示す。演算部１２２は、小領域Ａ内におけるクエリとキーの対応関係が上述のように設定された後、クエリの各小領域Ｂ～Ｉ内の各クエリについて、各小領域内の左上のブロックを基準位置としたｘ軸方向とｙ軸方向のずれ量を導出する。そして、演算部１２２は、各小領域Ｂ～Ｉ内の各クエリに対応するキーを、小領域Ａ内の各クエリと同様に、キーの特徴マップにおいて、ずれ量を用いてずらしたグリッドパターンを参照することで決定する。このようにして、図８Ｃのクエリのマップにおいて、同じハッチングが付された箇所は、キー内の特徴マップにおいて、グリッドパターンの同じ位置が参照される。これにより、演算部１２２は、クエリにおける各小領域内で、キーの埋め込み特徴マップの空間全体を万遍なく参照できる。
　（正則化方法の詳細）
　さらに、この開示に記載の技術で導入される正則化方法について説明する。ここまでの処理では、クエリと対応するグリッドパターンの位置が固定されている。そのため、学習中の入力画像データに物体の姿勢変化や位置ずれが存在せず、運用中の入力画像データに物体の姿勢変化や位置ずれが生じるとき、演算部１２２が特徴を正確に抽出できない可能性がある。これを防ぐために、演算部１２２は、クエリに対応するキーのグリッドパターンをランダムに一定の確率でシャッフルする（入れ替える）処理を施す。
　図８Ｄは、図８Ｃに示した例に対して、小領域Ｂ及びＦの一部についてシャッフルがされたことを示す。小領域Ｂの一部についてシャッフルがされた領域は領域Ｓ１、小領域Ｆの一部についてシャッフルされた領域は領域Ｓ２で示される。演算部１２２は、このようなシャッフルをすることにより、クエリに対応するグリッドパターンのバリエーションを柔軟に変化させる（増やせる）ため、入力画像データ中における物体の姿勢変化や位置ずれに対して頑健な特徴抽出が可能になる。
　なお、シャッフル対象となる複数のキーは、同じ小領域内にあることが好ましい。これにより、演算部１２２は、確実にシャッフル処理を実行することができる。
　（詳細な動作の流れ）
　次に、図９を参照しながら、演算部１２２の詳細な動作の流れについて説明する。図９は、演算部１２２の詳細な動作の流れを示すフローチャートである。
　まず初めに、演算部１２２は、キーの埋め込み特徴を用いて、基準位置用のグリッドパターンを算出する（ステップＳ２５）。そして、演算部１２２は、算出したチェッカーボードパターンを、クエリの小領域内における基準位置からのずれ量を用いてずらすことで、クエリのある小領域内の全要素に対して、グリッドパターンを割り当てる（ステップＳ２６）。
　その後、演算部１２２は、クエリの他の全小領域に対して、同様の方法でグリッドパターンを割り振る（ステップＳ２７）。そして、演算部１２２は、キーのブロック内の任意の位置において、割り当てるグリッドパターンを一定の確率でシャッフルする処理を導入する（ステップＳ２８）。なお、これらの各ステップの詳細は、それぞれ、図８Ａ～Ｄに関する説明で記載した通りである。以上のようにして、演算部１２２は、クエリの特徴マップの各位置に対して、クエリのグリッドパターンを割り当てる。
　（技術的効果）
　次に、第２実施形態に係る情報処理装置１２によって得られる技術的効果について説明する。
　関連技術である非特許文献１の注意機構は、クエリの特定位置のピクセルｉに対して特徴量全体を参照するために、そのピクセルｉに対して、キーの埋め込み特徴の全空間の位置を参照する必要がある。注意機構への入力が画像、またはその他の２次元の特徴マップの場合、実行する計算量が入力解像度に依存しやすくなるため、解像度が高い画像を取り扱う画像認識タスクでは、この注意機構の使用が困難になる。
　一方で、非特許文献２の注意機構は、解像度に依存する計算量を削減するために、クエリの特定位置のピクセルｉに対して局所的な領域（７＊７程度）のキーの位置を参照することで、実行する計算量を大幅に削減している。しかしながら、この技術では、特徴マップの空間全体を参照することが難しいため、注意機構における特徴抽出能力が下がる。
　これに対して、この開示に記載の技術では、グリッドパターンを効率的に用いることで、特徴マップの空間全体を、非特許文献１の技術よりも少ない計算量（例えば、非特許文献２と同等の計算量）で参照することが可能である。これにより、情報処理装置は、広域的な特徴空間を参照しやすくなるため、注意機構における特徴抽出能力を向上させることができる。
　情報の次元数が膨大な画像が注意機構に入力される場合、非特許文献１の技術では、注意機構の計算量が解像度の二乗に応じて増えるため、実応用の観点上、使用するのが困難になる。本実施形態に係る情報処理装置１２は、演算処理の負荷が極めて大きくなってしまうこのような状態を抑制できるという、顕著な技術的効果を発揮する。
　また、演算部１２２（決定部）は、クエリの構成要素（第１構成要素）と、キーの構成要素（第２構成要素）との対応関係を、次のように決定することができる。演算部１２２は、キーの構成要素が少なくとも１個のクエリの構成要素に対応するように、グリッドパターンを各クエリの構成要素の位置に基づいてキーの特徴マップ上でシフトする。このようにして、演算部１２２は、キーの特徴マップの空間全体を満遍なく参照することができる。そのため、注意機構ユニット１２０は、入力データの全ての特徴を抽出することができる。
　また、演算部１２２は、クエリの構成要素と、キーの構成要素との対応関係を、次のように決定することができる。演算部１２２は、クエリの特徴マップ（第１特徴マップ）を複数の小領域（分割領域）に分割し、キーの構成要素が少なくとも小領域におけるいずれか１個のクエリの構成要素に対応するように、グリッドパターンをクエリの構成要素の位置に基づいてキーの特徴マップ上でシフトする。このようにして、演算部１２２は、クエリの小領域を参照する度に、キーの特徴マップの空間全体を満遍なく参照することができる。そのため、注意機構ユニット１２０は、入力データの特徴を偏りなく広域的に抽出することができる。
　また、演算部１２２は、キーの各構成要素が、各小領域におけるいずれか１個のクエリの構成要素と対応するように、グリッドパターンを各クエリの構成要素の位置に基づいてキーの特徴マップ上でシフトすることにより、対応関係を決定することができる。そのため、注意機構ユニット１２０は、入力データの特徴をさらに偏りなく抽出することができる。
　また、演算部１２２は、グリッドパターンをクエリの各構成要素の位置に基づいて、次のようにキーの特徴マップ上でシフトすることができる。すなわち、演算部１２２は、全ての小分割領域同士で、１対１に対応するクエリの構成要素を設定し、対応するクエリの構成要素同士について、グリッドパターンがキーの特徴マップ上で同じ位置に配置されるように設定することができる。演算部１２２は、グリッドパターンのシフト方法を、このようなシンプルな設定とすることで、入力データの特徴を満遍なく参照するための計算コストを削減することができる。
　また、演算部１２２は、所定の確率で、クエリの各構成要素の位置に応じて決定されるグリッドパターンのキーの特徴マップ上での位置をシャッフルすることで、対応関係を決定しても良い。これにより、注意機構ユニット１２０は、入力画像データ中における物体の姿勢変化や位置ずれに対して頑健な特徴抽出が可能になる。
　また、演算部１２２は、クエリの小領域を、複数個のキーの構成要素を含む合同の図形（例えば正方形）で構成することができる。これにより、演算部１２２は、小領域の設定をこのようにシンプルにすることで、入力データの特徴を満遍なく参照するための計算コストを削減することができる。
　＜実施の形態３＞
　以下、図面を参照して、第３実施形態について説明する。第３実施形態では、第２実施形態で示した注意機構ユニット１２０が繰り返し積層されて設けられることで、情報処理装置１１が一つのネットワークを構築する例を示す。なお、第３～第５実施形態では、第２実施形態で示した注意機構ユニット１２０の具体的な適用例について説明がなされる。そのため、第３～第５実施形態の説明では、第２実施形態と比較した際において異なる一部の構成及び処理が説明され、説明されないその他の構成及び処理については、第２実施形態と共通のものが適用されてもよい。また、第３～第５実施形態の説明において、同一の符号が付された構成要素は、同一の処理を実行するものである。
　（機能的構成）
　図１０を参照しながら、情報処理装置１３を用いた第３実施形態について説明する。図１０は、情報処理装置１３を用いた機能的構成を示すブロック図である。情報処理装置１３は、畳み込みユニット（特徴抽出ユニット）２００及び複数の注意機構ユニット１２０を備える。情報処理装置１３において、最上段に畳み込みニューラルネットワークで用いられる畳み込みユニット２００を設けることで、情報処理装置１３が、入力された入力画像から特徴マップを抽出することができる。畳み込みユニット２００は、キーの特徴マップに関しての局所的なカーネル（３×３程度）の畳み込み層を用いることで、特徴抽出を行うユニットである。その後、情報処理装置１３内に、注意機構ユニット１２０を指定する回数だけ繰り返し配置する。最後に、入力画像に対する何かしらの結果を出力する出力層（不図示）を情報処理装置１３内に配置することで、ネットワーク全体を構築する。
　（動作の流れ）
　次に、図１１を参照しながら、第３実施形態に係る情報処理装置１３の動作の流れについて説明する。図１１は、第３実施形態に係る情報処理装置１３の動作の流れを示すフローチャートである。
　図１１に示すように、情報処理装置１３の動作が開始されると、まず畳み込みユニット２００は、入力された画像データから特徴マップを抽出する（ステップＳ３１）。続いて、ステップＳ３１で出力された特徴マップは注意機構ユニット１２０に入力され、注意機構ユニット１２０内で新たな特徴マップへ変換される（ステップＳ３２）。ステップＳ３２は、指定した回数であるＮ回（つまり、注意機構ユニット１２０が設けられた回数）繰り返し実行されることで、新たな特徴マップが抽出される。続いて、注意機構ユニット１２０の処理をすべて終えた後で、情報処理装置１３は、最終出力層からの応答値を得る（ステップＳ３３）。
　（技術的効果）
　次に、第３実施形態に係る情報処理装置１３によって得られる技術的効果について説明する。図１０および図１１で説明したように、第３実施形態に係る情報処理装置１３では、複数の注意機構ユニット１２０を用いてネットワークが構築されている。第１実施形態で記載した通り、注意機構ユニット１２０は、少ない計算量で、広域的な特徴空間を参照することができる。そのため、情報処理装置１３によって、画像全体から特徴を抽出することに特化したネットワークを構築することが可能である。具体的には、情報処理装置１３は、広域的な情報からの特徴抽出が必要なタスク、例として風景を認識する画像認識タスク等に対して特に有効であると考えられる。
　＜実施の形態４＞
　以下、図面を参照して、第４実施形態について説明する。第４実施形態は、この開示に記載の技術である注意機構ユニット１２０と畳み込みユニット（特徴抽出ユニット）２００を繰り返し積み重ねることでネットワークを構築する例を示す。畳み込みユニット２００は、上述の通り、局所的なカーネル（３×３程度）の畳み込み層を用いて特徴抽出を行うユニットである。
　（機能的構成）
　図１２を参照しながら、注意機構ユニット１２０と畳み込みユニット２００を用いた第４実施形態について説明する。図１２は、注意機構ユニット１２０と畳み込みユニット２００を備えた情報処理装置１４の機能的構成を示すブロック図である。情報処理装置１４の最も前段に畳み込みユニット２００Ｘを設けることで、情報処理装置１４が、入力画像から特徴マップを抽出することができる。そして、その後段に、注意機構ユニット１２０と畳み込みユニット２００を、指定する回数だけ繰り返し配置する。ここで、注意機構ユニット１２０と畳み込みユニット２００を配置する順番、尚且つどちらを連続でどう配置するかは、設計者が自由に決めることができる。図１２の例では、注意機構ユニット１２０を前段に、畳み込みユニット２００ｂがその後段に設けられた組が、情報処理装置１４内に複数設けられている。最後に、入力画像に対する何かしらの結果を出力する出力層（不図示）を情報処理装置１４内に配置することで、１つのネットワークを構築する。
　（動作の流れ）
　次に、図１３を参照しながら、第４実施形態に係る情報処理装置１４の動作の流れについて説明する。図１３は、第４実施形態に係る情報処理装置１４の動作の流れを示すフローチャートである。
　図１３に示すように、第４実施形態に係る情報処理装置１４の動作が開始されると、まず最前段の畳み込みユニット２００Ｘは、入力された画像データから特徴マップを抽出する（ステップＳ４１）。続いて、ステップＳ４１で出力された特徴マップは、後段の注意機構ユニット１２０または畳み込みユニット２００に入力され、各ユニット中で新たな特徴マップへ変換される（ステップＳ４２）。ステップＳ４２は、指定した回数であるＮ回（つまり、注意機構ユニット１２０及び畳み込みユニット２００が設けられた回数であるＮ回）繰り返し実行されることで、その度に新たな特徴マップが抽出される。最後に、ステップＳ４２における特徴マップの抽出処理をすべて終えた段階で、情報処理装置１４は、最終出力層からの応答値を得る（ステップＳ４３）。
　（技術的効果）
　次に、第４実施形態に係る情報処理装置１４によって得られる技術的効果について説明する。図１２および図１３で説明したように、第４実施形態に係る情報処理装置１４では、この開示に記載の技術の注意機構ユニット１２０と畳み込みユニット２００が用いられることで、ネットワークが構築されている。畳み込みユニット２００は、所定の範囲のカーネルとして、局所的なカーネル（３×３程度）の畳み込み層を用いて特徴抽出を行うため、データ中の局所的な領域に着目した特徴抽出が可能である。そのため、情報処理装置１４によって、画像全体と画像の局所的な領域との２つの観点を考慮した特徴抽出を可能にしたネットワークを構築することができる。情報処理装置１４は、様々な種類や大きさの物体が画像中に混在する状況での一般物体認識や物体検出等、様々な種類の認識性能を向上させることが可能である。
　＜実施の形態５＞
　以下、図面を参照して、第５実施形態について説明する。第５実施形態は、この開示に記載の技術である注意機構ユニット１２０とパッチベース注意機構ユニット（特徴抽出ユニット）２１０を繰り返し積み重ねることでネットワークを構築する。パッチベース注意機構ユニット２１０は、非特許文献２に記載されたパッチベースの注意機構を適用したものであり、図１Ｃに示した通り、キーの特徴マップに関して、一部領域のパッチ（７＊７程度）の畳み込み層を用いて特徴抽出を行うユニットである。なお、非特許文献２に記載のパッチベースの注意機構に関する説明は、この開示において援用される。
　（機能的構成）
　図１４を参照しながら、注意機構ユニット１２０、畳み込みユニット２００及びパッチベース注意機構ユニット２１０を用いた第４実施形態について説明する。図１４は、注意機構ユニット１２０、畳み込みユニット２００及びパッチベース注意機構ユニット２１０を備えた情報処理装置１５の機能的構成を示すブロック図である。情報処理装置１５の最も前段に畳み込みユニット２００を設けることで、入力画像から特徴マップを抽出することができる。そして、その後段に、注意機構ユニット１２０とパッチベース注意機構ユニット２１０を、指定する回数であるＮ回、繰り返し配置する。ここで、注意機構ユニット１２０とパッチベース注意機構ユニット２１０を配置する順番、尚且つどちらを連続でどう配置するかは、設計者が自由に決めることができる。図１４の例では、注意機構ユニット１２０を前段に、パッチベース注意機構ユニット２１０がその後段に設けられた組が、情報処理装置１５内に複数設けられている。最後に、入力画像に対する何かしらの結果を出力する出力層（不図示）を情報処理装置１５内に配置することで、ネットワーク全体を構築する。
　（動作の流れ）
　次に、第５実施形態に係る情報処理装置１５の動作の流れについて、図１３を用いて説明する。なお、第４実施形態に係る動作と同一の点については、説明を省略する。
　ステップＳ４１で出力された特徴マップは、後段の注意機構ユニット１２０またはパッチベース注意機構ユニット２１０に入力され、その中で新たな特徴マップへ変換される（ステップＳ４２）。ステップＳ４２は、指定した回数であるＮ回（つまり、注意機構ユニット１２０及びパッチベース注意機構ユニット２１０が設けられた回数）繰り返し実行される。そして、情報処理装置１５は、ステップＳ４３の処理を行う。
　（技術的効果）
　次に、第５実施形態に係る情報処理装置１５によって得られる技術的効果について説明する。図１３および図１４で説明したように、第５実施形態に係る情報処理装置１５では、注意機構ユニット１２０とパッチベース注意機構ユニット２１０を用いてネットワークが構築されている。パッチベース注意機構ユニット２１０は、所定の範囲のカーネルとして、局所的なカーネル（７×７程度）の畳み込み層を用いて特徴抽出を行うため、データ中の局所的な領域に着目した特徴抽出が可能である。パッチベース注意機構ユニット２１０は、局所領域から特徴抽出する点に関しては畳み込みユニット２００と同じ機能を有するが、精度や計算量の観点で畳み込みユニット２００より優れている。そのため、畳み込みユニット２００の代用としてパッチベース注意機構ユニット２１０を用いることで、より高性能なネットワークを構築できる。これらの理由から、画像全体と画像の局所的な領域との２つの観点を考慮した特徴抽出を可能にしたネットワークを構築することができる。情報処理装置１５の具体的な応用例は第４実施形態と同様で、様々な種類や大きさの物体が画像中に混在する状況での一般物体認識や物体検出等、様々な種類の認識性能を向上させることが可能であると考えられる。
　＜実施の形態６＞
　以下、図面を参照して、第６実施形態について説明する。これまでの実施形態は、２次元の特徴マップを用いる画像系のタスクを例として、情報処理装置の動作を説明した。しかしながら、この開示の技術は、入力データが画像のような２次元データだけでなく、音声や自然言語処理のような１次元データである場合でも応用が可能である。
　（機能的構成）
　図１５を参照しながら、１次元特徴を用いる場合の情報処理装置１６について説明する。この情報処理装置の機能的構成の概要は、図３に示した通りであり、以下、第１実施形態と異なる点について、特に説明する。
　抽出部１１１は、注意機構ユニット１１０に入力された特徴マップから、複数の第１構成要素で構成された第１の特徴に係る第１特徴マップ、複数の第２構成要素で構成された第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出する。第６実施形態では、第１の特徴、第２の特徴、第３の特徴は、それぞれクエリ、キー、バリューである。また、各特徴マップは、１次元のマップである。
　決定部１１２は、各クエリの構成要素について、対応する複数のキーの構成要素を示す対応関係を決定する。詳細には、決定部１１２は、１個のクエリの構成要素に対応する複数個のキーの構成要素を示すグリッドパターンを、各クエリの構成要素の位置に基づいてキーの特徴マップ上でシフトすることにより、キーの構成要素が少なくとも１個のクエリの構成要素に対応するように、この対応関係を決定する。換言すれば、対応関係は、クエリの各構成要素について、対応する複数のキーの構成要素の対応関係を示す。この開示において、グリッドパターンは、１次元のマップ上において、最近接のキーの構成要素（参照領域）同士の間隔が同一となるパターンである。なお、図１５では、グリッドのサイズは３である。このように、１次元の特徴ベクトルに対してこの開示の技術を応用する場合でも、２次元の特徴マップの場合と同様に、決定部１１２は、最近接するキーの参照位置を等間隔として決定することができる。
　そして、反映部１１３は、決定部１１２が決定した対応関係から算出されたクエリとキーの相関関係を、バリューの特徴マップに反映させる処理をする。以上のようにして、情報処理装置１０は、入力された特徴マップにおける特徴を抽出することができる。
　（動作の流れ）
　まず、抽出部１１１は、注意機構ユニット１１０に入力された特徴マップから、クエリ、キー、バリューの各特徴マップを抽出する。決定部１１２は、クエリの特定の構成要素（基準位置）に対して、指定したグリッドパターンを参照する。図１５では、クエリの構成要素ｉに対して、グリッドパターン（１）が指定されている。
　その後、決定部１１２は、基準位置からずれたクエリの構成要素について、そのずらし量と同じずらし量でグリッドパターン（１）をずらしたグリッドパターン（２）又は（３）を、参照用のグリッドパターンとして指定し、割り当てる。このとき、決定部１１２は、２次元の特徴マップの場合と同様に、クエリの構成要素に対して、所定の確率で、参照するキーのグリッドパターンをランダムに変更してもよい。加えて、第３実施形態のように、ネットワークをこの開示に記載の注意機構ユニットで構築してもよく、第４、５形態のように、この開示に記載の注意機構ユニットと、それとは異なる特徴抽出ユニットとを組み合わせることにより、ネットワークを構築してもよい。決定部１１２が決定したこの対応関係からは、クエリとキーの相関関係が算出される。そして、反映部１１３は、その相関関係をバリューの特徴マップに反映させる。
　（技術的効果）
　第６実施形態では、取り扱えるタスクを画像のみでなく、音声や自然言語処理のような１次元データのタスクにも応用できる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　例えば、第２実施形態において、グリッドパターンは、１単位が正方形で構成されていた。しかしながら、グリッドパターンの１単位は、正方形でなく、任意の形状の長方形であっても良い。
　第２実施形態では、（シャッフルされた場合を除き）クエリの各小領域内における同位置の構成要素には、同位置のグリッドパターンが対応している例を説明した。ただし、クエリの各小領域内において、満遍なくキーの特徴マップの空間全体が参照されるように対応関係を決定しつつ、２以上の小領域内において、同位置のグリッドパターンが対応するクエリの構成要素の位置を、小領域内での位置が異なるように設定されても良い。
　演算部１２２は、クエリの小領域を、複数個のキーの構成要素を含む合同の図形でなく、同じ面積を有する異なる形状の図形で構成してもよい。
　第３～第５実施形態において、注意機構ユニット１２０の代わりに注意機構ユニット１１０を、情報処理装置内に積層して設けても良い。また、２次元データ以外の任意の次元のデータ（例えば、１次元データや３次元データ）の処理をする場合でも、第３～第５実施形態で説明した例と同様に、この開示で説明された注意機構ユニットを、情報処理装置内に積層して設けることもできる。
　上述の実施形態における各装置が有する１又は複数のプロセッサは、各図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。この処理により、各実施の形態に記載された信号処理方法が実現できる。
　プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　特徴マップから、複数の第１構成要素で構成された第１の特徴に係る第１特徴マップ、複数の第２構成要素で構成された第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出する抽出部と、
　１個の前記第１構成要素に対応する複数個の前記第２構成要素を示すグリッドパターンを、各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、各前記第１構成要素について、対応する複数の前記第２構成要素を示す対応関係を決定する決定部と、
　前記対応関係から算出された前記第１の特徴と前記第２の特徴との相関関係を前記第３特徴マップに反映させる反映部と、
　を備えた情報処理装置。
　（付記２）
　前記決定部は、各前記第２構成要素が少なくとも１個の前記第１構成要素に対応するように、前記グリッドパターンを各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、前記対応関係を決定する、
　付記１に記載の情報処理装置。
　（付記３）
　前記決定部は、前記第１特徴マップを複数の分割領域に分割し、各前記第２構成要素が少なくとも各前記分割領域におけるいずれか１個の前記第１構成要素に対応するように、前記グリッドパターンを各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、前記対応関係を決定する、
　付記２に記載の情報処理装置。
　（付記４）
　前記決定部は、各前記第２構成要素が、各前記分割領域におけるいずれか１個の前記第１構成要素と対応するように、前記グリッドパターンを各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、前記対応関係を決定する、
　付記３に記載の情報処理装置。
　（付記５）
　前記決定部は、全ての前記分割領域同士で、１対１に対応する前記第１構成要素を設定し、対応する前記第１構成要素同士について、前記グリッドパターンが前記第２特徴マップ上で同じ位置に配置されるよう、前記グリッドパターンを各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、前記対応関係を決定する、
　付記４に記載の情報処理装置。
　（付記６）
　前記決定部は、所定の確率で、各前記第１構成要素の位置に応じて決定される前記グリッドパターンの前記第２特徴マップ上での位置をシャッフルすることで、前記対応関係を決定する、
　付記５に記載の情報処理装置。
　（付記７）
　前記決定部は、前記各分割領域を、複数個の前記第１構成要素を含む合同の図形で構成する、
　付記３乃至６のいずれか１項に記載の情報処理装置。
　（付記８）
　前記抽出部と、前記決定部と、前記反映部を有する注意機構ユニットを複数備える、
　付記１乃至７のいずれか１項に記載の情報処理装置。
　（付記９）
　所定の範囲のカーネルを用いた特徴抽出ユニット及び前記注意機構ユニットを複数備える、
　付記８に記載の情報処理装置。
　（付記１０）
　特徴マップから、複数の第１構成要素で構成された第１の特徴に係る第１特徴マップ、複数の第２構成要素で構成された第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出する抽出ステップと、
　１個の前記第１構成要素に対応する複数個の前記第２構成要素を示すグリッドパターンを、各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、各前記第１構成要素について、対応する複数の前記第２構成要素を示す対応関係を決定する決定ステップと、
　前記対応関係から算出された前記第１の特徴と前記第２の特徴との相関関係を前記第３特徴マップに反映させる反映ステップと、
　を情報処理装置が実行する情報処理方法。
　（付記１１）
　特徴マップから、複数の第１構成要素で構成された第１の特徴に係る第１特徴マップ、複数の第２構成要素で構成された第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出する抽出ステップと、
　１個の前記第１構成要素に対応する複数個の前記第２構成要素を示すグリッドパターンを、各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、各前記第１構成要素について、対応する複数の前記第２構成要素を示す対応関係を決定する決定ステップと、
　前記対応関係から算出された前記第１の特徴と前記第２の特徴との相関関係を前記第３特徴マップに反映させる反映ステップと、
　を情報処理装置に実行させるプログラム。
　以上、実施の形態を参照してこの開示を説明したが、この開示は上記によって限定されるものではない。この開示の構成や詳細には、開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２１年３月１５日に出願された日本出願特願２０２１－０４１８５２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０～１６　　　情報処理装置
１０１　　　　　プロセッサ
１０２　　　　　ＲＡＭ
１０３　　　　　ＲＯＭ
１０４　　　　　記憶装置
１０５　　　　　入力装置
１０６　　　　　出力装置
１０７　　　　　データバス
１１０　　　　　注意機構ユニット
１１１　　　　　抽出部
１１２　　　　　決定部
１１３　　　　　反映部
１２０　　　　　注意機構ユニット
１２１　　　　　抽出部
１２２　　　　　演算部
１２３　　　　　集計部
１２４　　　　　出力部
２００　　　　　畳み込みユニット
２１０　　　　　パッチベース注意機構ユニット

Claims (11)

  1. 　特徴マップから、複数の第１構成要素で構成された第１の特徴に係る第１特徴マップ、複数の第２構成要素で構成された第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出する抽出手段と、
    　１個の前記第１構成要素に対応する複数個の前記第２構成要素を示すグリッドパターンを、各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、各前記第１構成要素について、対応する複数の前記第２構成要素を示す対応関係を決定する決定手段と、
    　前記対応関係から算出された前記第１の特徴と前記第２の特徴との相関関係を前記第３特徴マップに反映させる反映手段と、
    　を備えた情報処理装置。
  2. 　前記決定手段は、各前記第２構成要素が少なくとも１個の前記第１構成要素に対応するように、前記グリッドパターンを各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、前記対応関係を決定する、
    　請求項１に記載の情報処理装置。
  3. 　前記決定手段は、前記第１特徴マップを複数の分割領域に分割し、各前記第２構成要素が少なくとも各前記分割領域におけるいずれか１個の前記第１構成要素に対応するように、前記グリッドパターンを各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、前記対応関係を決定する、
    　請求項２に記載の情報処理装置。
  4. 　前記決定手段は、各前記第２構成要素が、各前記分割領域におけるいずれか１個の前記第１構成要素と対応するように、前記グリッドパターンを各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、前記対応関係を決定する、
    　請求項３に記載の情報処理装置。
  5. 　前記決定手段は、全ての前記分割領域同士で、１対１に対応する前記第１構成要素を設定し、対応する前記第１構成要素同士について、前記グリッドパターンが前記第２特徴マップ上で同じ位置に配置されるよう、前記グリッドパターンを各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、前記対応関係を決定する、
    　請求項４に記載の情報処理装置。
  6. 　前記決定手段は、所定の確率で、各前記第１構成要素の位置に応じて決定される前記グリッドパターンの前記第２特徴マップ上での位置をシャッフルすることで、前記対応関係を決定する、
    　請求項５に記載の情報処理装置。
  7. 　前記決定手段は、前記各分割領域を、複数個の前記第１構成要素を含む合同の図形で構成する、
    　請求項３乃至６のいずれか１項に記載の情報処理装置。
  8. 　前記抽出手段と、前記決定手段と、前記反映手段を有する注意機構ユニットを複数備える、
    　請求項１乃至７のいずれか１項に記載の情報処理装置。
  9. 　所定の範囲のカーネルを用いた特徴抽出ユニット及び前記注意機構ユニットを複数備える、
    　請求項８に記載の情報処理装置。
  10. 　特徴マップから、複数の第１構成要素で構成された第１の特徴に係る第１特徴マップ、複数の第２構成要素で構成された第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出し、
    　１個の前記第１構成要素に対応する複数個の前記第２構成要素を示すグリッドパターンを、各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、各前記第１構成要素について、対応する複数の前記第２構成要素を示す対応関係を決定し、
    　前記対応関係から算出された前記第１の特徴と前記第２の特徴との相関関係を前記第３特徴マップに反映する、
    　ことを情報処理装置が実行する情報処理方法。
  11. 　特徴マップから、複数の第１構成要素で構成された第１の特徴に係る第１特徴マップ、複数の第２構成要素で構成された第２の特徴に係る第２特徴マップ、及び第３の特徴に係る第３特徴マップを抽出し、
    　１個の前記第１構成要素に対応する複数個の前記第２構成要素を示すグリッドパターンを、各前記第１構成要素の位置に基づいて前記第２特徴マップ上でシフトすることにより、各前記第１構成要素について、対応する複数の前記第２構成要素を示す対応関係を決定し、
    　前記対応関係から算出された前記第１の特徴と前記第２の特徴との相関関係を前記第３特徴マップに反映する、
    　ことを情報処理装置に実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2022/000995 2021-03-15 2022-01-13 情報処理装置、情報処理方法及び非一時的なコンピュータ可読媒体 WO2022196060A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023506783A JP7525051B2 (ja) 2021-03-15 2022-01-13 情報処理装置、情報処理方法及びプログラム
US18/271,649 US20240320957A1 (en) 2021-03-15 2022-01-13 Information processing apparatus, information processing method, and non-transitory computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-041852 2021-03-15
JP2021041852 2021-03-15

Publications (1)

Publication Number Publication Date
WO2022196060A1 true WO2022196060A1 (ja) 2022-09-22

Family

ID=83320214

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000995 WO2022196060A1 (ja) 2021-03-15 2022-01-13 情報処理装置、情報処理方法及び非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20240320957A1 (ja)
JP (1) JP7525051B2 (ja)
WO (1) WO2022196060A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024184973A1 (ja) * 2023-03-03 2024-09-12 日本電気株式会社 動画処理装置、動画処理方法、及び、記録媒体

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SALMAN KHAN; MUZAMMAL NASEER; MUNAWAR HAYAT; SYED WAQAS ZAMIR; FAHAD SHAHBAZ KHAN; MUBARAK SHAH: "Transformers in Vision: A Survey", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 22 February 2021 (2021-02-22), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081883407 *
SANG HAIWEI; ZHOU QIUHAO; ZHAO YONG: "PCANet: Pyramid convolutional attention network for semantic segmentation", IMAGE AND VISION COMPUTING, ELSEVIER, GUILDFORD, GB, vol. 103, 7 August 2020 (2020-08-07), GUILDFORD, GB , XP086323926, ISSN: 0262-8856, DOI: 10.1016/j.imavis.2020.103997 *
SOUVIK KUNDU; HESHAM MOSTAFA; SHARATH NITTUR SRIDHAR; SAIRAM SUNDARESAN: "Attention-based Image Upsampling", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 17 December 2020 (2020-12-17), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081841808 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024184973A1 (ja) * 2023-03-03 2024-09-12 日本電気株式会社 動画処理装置、動画処理方法、及び、記録媒体

Also Published As

Publication number Publication date
JPWO2022196060A1 (ja) 2022-09-22
US20240320957A1 (en) 2024-09-26
JP7525051B2 (ja) 2024-07-30

Similar Documents

Publication Publication Date Title
US11663691B2 (en) Method and apparatus for restoring image
US11170469B2 (en) Image transformation for machine learning
US10832034B2 (en) Facial image generating method, facial image generating apparatus, and facial image generating device
CN110574025A (zh) 用于合并交错通道数据的卷积引擎
US20200057921A1 (en) Image classification and conversion method and device, image processor and training method therefor, and medium
US11967043B2 (en) Gaming super resolution
KR102442055B1 (ko) 전자 장치 및 그 제어 방법
US20220253642A1 (en) Burst image-based image restoration method and apparatus
CN108875544B (zh) 人脸识别方法、装置、系统和存储介质
KR102239588B1 (ko) 이미지 처리 방법 및 장치
CN110991627A (zh) 信息处理装置、信息处理方法
WO2022196060A1 (ja) 情報処理装置、情報処理方法及び非一時的なコンピュータ可読媒体
CN112991254A (zh) 视差估计系统、方法、电子设备及计算机可读存储介质
KR20150099964A (ko) 이미지 특징 추출 장치 및 방법
JP6121302B2 (ja) 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム
JP2017068577A (ja) 演算装置、方法及びプログラム
CN112749576B (zh) 图像识别方法和装置、计算设备以及计算机存储介质
KR102482472B1 (ko) 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법
CN113313742A (zh) 图像深度估计方法、装置、电子设备及计算机存储介质
CN112766348A (zh) 一种基于对抗神经网络生成样本数据的方法以及装置
JP2021144428A (ja) データ処理装置、データ処理方法
KR20180075220A (ko) 멀티미디어 신호의 프로세싱 방법, 장치 및 시스템
JP2017126264A (ja) 情報処理装置、情報処理方法およびプログラム
JP2016519343A (ja) 他の画像からの情報の関数に基づく汎関数を利用する目的画像の生成
CN111242299A (zh) 基于ds结构的cnn模型压缩方法、装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22770822

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18271649

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023506783

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22770822

Country of ref document: EP

Kind code of ref document: A1