WO2025248604A1 - 情報処理装置 - Google Patents

情報処理装置

Info

Publication number
WO2025248604A1
WO2025248604A1 PCT/JP2024/019439 JP2024019439W WO2025248604A1 WO 2025248604 A1 WO2025248604 A1 WO 2025248604A1 JP 2024019439 W JP2024019439 W JP 2024019439W WO 2025248604 A1 WO2025248604 A1 WO 2025248604A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
feature
unit
view
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/019439
Other languages
English (en)
French (fr)
Inventor
大河 山根
聡志 鈴木
翔太郎 東羅
亮 増村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/019439 priority Critical patent/WO2025248604A1/ja
Publication of WO2025248604A1 publication Critical patent/WO2025248604A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This invention relates to image-based recognition technology.
  • Non-Patent Document 1 convolutional neural networks (CNN)
  • Non-Patent Document 2 Transformer
  • CNN convolutional neural networks
  • Non-Patent Document 7 because most of these action recognition technologies recognize actions from footage from a single camera, their accuracy is known to decrease in scenes where occlusion occurs due to obstacles or crowds.
  • multi-view action recognition which simultaneously uses multiple views taken from different angles by multiple cameras to recognize actions.
  • the occlusion area can be significantly reduced by placing cameras at multiple angles, such as cameras installed in the four corners of a room, and good accuracy can be expected even in scenes where occlusion occurs due to obstacles or crowds.
  • Non-Patent Document 3 uses a feature extractor called a Video Encoder, which extracts features from the video of one view, to obtain embedding vectors for each view separately, and then integrates information between views using weighting from the embedding vectors of multiple views using a Conditional Random Field.
  • a Video Encoder which extracts features from the video of one view, to obtain embedding vectors for each view separately, and then integrates information between views using weighting from the embedding vectors of multiple views using a Conditional Random Field.
  • Non-Patent Document 4 information between views is similarly integrated using a Transformer consisting of a mechanism called Self-Attention (Non-Patent Document 2) from the embedding vectors of multiple views obtained by a Video Encoder.
  • Self-Attention is a mechanism that extracts features by calculating a weighted sum of features based on the similarity between input sequences.
  • Multi-view action recognition demonstrates superior recognition accuracy compared to techniques that use only a single view in scenes where occlusion occurs.
  • conventional multi-view action recognition integrates information between views using a single embedding vector that represents the entire video for each view, so it can only recognize one action per person or per scene as a whole, and cannot simultaneously recognize the actions of multiple people. Note that this issue can arise not only when the recognition target is a person.
  • the present invention was made in consideration of the above points, and aims to provide technology that enables recognition processing of multiple recognition targets based on images obtained from multiple viewpoints.
  • a feature generation unit that generates feature amounts from each of a plurality of recognition target images obtained from a plurality of viewpoints; and an information integration unit that performs integration processing on the plurality of feature quantities generated by the feature generation unit.
  • the disclosed technology provides a technology that enables recognition processing of multiple recognition targets based on images obtained from multiple viewpoints.
  • FIG. 1 is a diagram illustrating a configuration of an information processing device.
  • FIG. 1 is a configuration diagram of an information processing device 100 according to a first embodiment.
  • 1 is a flowchart showing the overall processing flow of the information processing device 100.
  • 10 is a flowchart showing the flow of processing by a video feature generation unit 1.
  • 10 is a flowchart showing the flow of processing by a person feature generation unit 2.
  • 10 is a flowchart showing the flow of processing by an information integration unit 3.
  • 10 is a flowchart showing the flow of processing by a prediction generating unit 4.
  • FIG. 2 is a configuration diagram of an information integration unit 3 in the first embodiment.
  • 4 is a flowchart showing the flow of processing by an information integration unit 3 in the first embodiment.
  • FIG. 10 is a configuration diagram of an information integration unit 3 in the second embodiment. 10 is a flowchart showing the flow of processing by an information integration unit 3 in the second embodiment.
  • FIG. 1 illustrates an example of a hardware configuration of an information processing device 100.
  • the recognition target is a person, but the recognition target is not limited to a person.
  • the technology according to the present invention can be applied to any recognition target.
  • Recognition according to the present invention can be any classification task, such as behavior recognition, age determination, gender determination, or belongings recognition.
  • the direction of travel of the object to be recognized can also be estimated if this is used as a classification task.
  • video in this embodiment is a collection of images
  • video may also be called “images.”
  • the information processing device 100 recognizes the actions of multiple people from multi-view video. That is, while conventional technology was only able to recognize one action from multi-view video, the information processing device 100 according to this embodiment can recognize the actions of multiple people.
  • the information processing device 100 recognizes the actions of multiple people using multi-view video and bounding boxes that represent the positions of people within the video.
  • the bounding boxes are assumed to be linked to the same person across multiple views by an ID.
  • the image (or feature map) of the portion surrounded by the bounding box may also be called the recognition target image.
  • FIG. 1 shows an example configuration of an information processing device 100 according to an embodiment of the present invention.
  • the information processing device 100 has a video feature generation unit 1, a person feature generation unit 2, an information integration unit 3, and a prediction generation unit 4. An overview of the operation of the information processing device 100 having this configuration is described below.
  • the video feature generation unit 1 extracts a feature map representing the entire video for each view.
  • a feature map is a feature quantity with spatial resolution (spatial information), and information about a specific location in the video is contained in the corresponding location in the feature map.
  • the hand position in the feature map contains hand information
  • the foot position contains foot information.
  • person feature generation unit 2 extracts a feature map for each person from the feature map of the entire video for each view.
  • RoIAlign an example of a mechanism used as person feature generation unit 2
  • person feature generation unit 2 is a mechanism that performs processing to cut out a bounding box area of a fixed size that represents the position of a person in the video from the feature map.
  • person feature generation unit 2 may also be called the feature generation unit.
  • video feature generation unit 1 and person feature generation unit 2 may also be called the feature generation unit.
  • the processing of the person feature generation unit 2 is not limited to processing using RoIAlign, and any means can be used as long as it can extract a bounding box area from a feature map.
  • the information integration unit 3 (e.g., Transformer) integrates information between views based on feature maps of the same person in each view.
  • the information integration unit 3 e.g., Transformer
  • Any means can be used as long as it can integrate information from multiple views.
  • Non-Patent Document 5 In multi-view recognition tasks where there are multiple targets to recognize, such as multi-view object detection (Non-Patent Document 5), it is important to utilize spatial information when integrating information between views.
  • the conventional multi-view action recognition technologies described in Non-Patent Documents 1 and 2 integrate information from embedding vectors that have lost spatial information, and therefore do not make effective use of spatial information.
  • information is integrated using a feature map with spatial information rather than an embedding vector, which is expected to enable highly accurate recognition.
  • the Transformer which is an example of a mechanism used as the information integration unit 3 in this embodiment, differs from a normal Transformer that consists of Self-Attention, which calculates similarities between feature maps of all views and extracts features, in that it consists of Same View Attention (SVA), which extracts features from similarities only between feature maps of the same view, and Different View Attention (DVA), which extracts features from similarities only between feature maps of different views.
  • SVA Same View Attention
  • DVA Different View Attention
  • the information integration unit 3 (Transformer) integrates information between multiple views, and the resulting feature values are input into the prediction generation unit 4 (classifier), which then produces a behavioral prediction.
  • the information processing device 100 may be a device that has one or more of the "video feature generation unit 1, person feature generation unit 2, information integration unit 3, and prediction generation unit 4."
  • the video feature generation unit 1, person feature generation unit 2, information integration unit 3, and prediction generation unit 4 may each be separate information processing devices 100 (i.e., computers), or the information processing device 100 may be a device that has more than one of these four functional units.
  • Fig. 2 is a configuration diagram of an information processing device 100 in the first embodiment.
  • the information processing device 100 in the first embodiment has a video feature generation unit 1, a person feature generation unit 2, an information integration unit 3, a prediction generation unit 4, a video storage unit 5, a video feature generation parameter storage unit 6, a person position storage unit 7, an information integration parameter storage unit 8, and a prediction generation parameter storage unit 9.
  • any one, any plurality, or all of the "video storage unit 5, video feature generation parameter storage unit 6, person position storage unit 7, information integration parameter storage unit 8, and prediction generation parameter storage unit 9" may be provided outside the information processing device 100.
  • FIG. 2 to clearly show that operations are performed for each view, multiple video feature generation units 1 and multiple person feature generation units 2 are shown, but there is only one video feature generation unit 1 and one person feature generation unit 2 each, and they process multiple views. Note that a video feature generation unit 1 and a person feature generation unit 2 may be provided for each view. In other words, the same number of video feature generation units 1 and person feature generation units 2 as there are views may be provided.
  • the video feature generation unit 1 acquires video feature generation parameters from the video feature generation parameter storage unit 6, performs video feature generation based on the parameters for multiple views of input video input from the video storage unit 5, and generates a feature map representing the entire video for each view.
  • These video feature generation parameters are parameters of a neural network model, and are obtained by supervised learning of a general neural network using training data for the target task.
  • the person feature generation unit 2 (e.g., RoIAlign) generates a person feature map by cutting out the feature map generated by the video feature generation unit 1 based on the bounding box representing the position of a person in each view and the ID representing the same person, which are input from the person position storage unit 7.
  • the information integration unit 3 (e.g., Transformer) obtains information integration parameters from the information integration parameter storage unit 8, performs information integration based on the parameters on the person feature maps of each view of the same person obtained by the person feature generation unit 2, and generates a feature map that integrates information from multiple views.
  • These information integration parameters are parameters of a neural network model, and are obtained by supervised learning of a general neural network using training data for the target task.
  • the prediction generation unit 4 obtains prediction generation parameters from the prediction generation parameter storage unit 9 and performs parameter-based predictions on the features output by the information integration unit 3. These prediction generation parameters are parameters of a neural network model and are obtained by supervised learning of a general neural network using training data for the target task.
  • ⁇ Overall processing flow> 3 is a flowchart showing the overall processing flow of the information processing device 100 according to this embodiment. The overall processing flow will be described with reference to FIG.
  • step 1 the video feature generation unit 1 acquires parameters for video feature generation stored in the video feature generation parameter storage unit 6 from the video feature generation parameter storage unit 6.
  • the video feature generation unit 1 acquires input video of multiple views from the video storage unit 5.
  • the video feature generation unit 1 generates video features for the input video of each view using the video feature generation parameters.
  • the person feature generation unit 2 obtains the bounding box and ID stored in the person position storage unit 7 from the person position storage unit 7.
  • the video feature generation unit 1 transmits the generated video feature map to the person feature generation unit 2.
  • the person feature generation unit 2 generates person features by performing a cutout process based on the bounding box and ID for the video features of each view.
  • the information integration unit 3 acquires the parameters for information integration stored in the information integration parameter storage unit 8 from the information integration parameter storage unit 8.
  • the person feature generation unit 2 transmits the generated person feature map to the information integration unit 3.
  • the information integration unit 3 generates a feature map by performing information integration between views using the information integration parameters on the person feature map.
  • the prediction generation unit 4 acquires parameters for prediction generation stored in the prediction generation parameter storage unit 9 from the prediction generation parameter storage unit 9.
  • the information integration unit 3 transmits the generated feature quantities to the prediction generation unit 4.
  • the prediction generation unit 4 generates a prediction using the prediction generation parameters for the feature quantities received from the information integration unit 3.
  • the prediction generation unit 4 outputs the generated prediction result.
  • parameters are acquired each time processing is performed in the video feature generation unit 1, person feature generation unit 2, information integration unit 3, and prediction generation unit 4, but instead, parameters for each unit may be acquired together in advance.
  • Video Feature Generation Unit 1 The operation of the video feature generation unit 1 will be described with reference to the flowchart of FIG.
  • the video feature generation unit 1 acquires video feature generation parameters from the video feature generation parameter storage unit 6. When processing multiple videos, it is only necessary to acquire these parameters once, at the beginning.
  • the video feature generation unit 1 acquires input video of multiple views from the video storage unit 5.
  • the video of each view is acquired as a four-dimensional vector of "number of frames x height x width x RGB".
  • the video feature generation unit 1 individually applies video feature generation based on the model parameters to the multiple videos acquired in S102.
  • the video feature generation unit 1 transmits the video feature map of the multiple views generated in S103 to the person feature generation unit 2.
  • the person feature generation unit 2 obtains, from the person position storage unit 7, the coordinates of the bounding box representing the position of a person in the video of each view, and an ID representing the same person as that person.
  • the person feature generation unit 2 acquires video feature maps of multiple views from the video feature generation unit 1.
  • the person feature generation unit 2 extracts the bounding box area acquired in S201 from the video feature map acquired in S202, and generates a person feature map for each person by linking the same person by ID.
  • the person feature map for one person in each view is acquired as a three-dimensional vector of "height x width x channel.”
  • the person feature generation unit 2 outputs the person feature map generated in S203 to the information integration unit 3.
  • the information integration unit 3 acquires information integration parameters from the information integration parameter storage unit 8. When processing multiple videos, it is only necessary to acquire these parameters once, at the beginning.
  • the information integration unit 3 acquires a person feature map from the person feature generation unit 2.
  • the information integration unit 3 performs information integration between views based on model parameters for feature maps of the same ID (same person) out of the multiple person feature maps acquired in S302, and generates features that integrate the information from the multiple views.
  • the information integration unit 3 outputs the feature quantities generated in S303 to the prediction generation unit 4.
  • the prediction generation unit 4 acquires prediction generation parameters from the prediction generation parameter storage unit 9. When processing multiple videos, it is only necessary to acquire these parameters the first time.
  • the prediction generation unit 4 acquires features from the information integration unit 3.
  • the prediction generation unit 4 predicts the desired task based on the model parameters for the features acquired in S402. In S404, the prediction generation unit 4 outputs the prediction of S403.
  • the information integration unit 3 has a position information addition unit 31 (equivalent to Positional Embedding), a view information addition unit 32 (equivalent to View Embedding), a same view relationship extraction unit 33 (equivalent to Same View Attention), and a different view relationship extraction unit 34 (equivalent to Different View Attention).
  • the position information adding unit 31 adds position information parameters to the feature map of each view, thereby adding information about the positional relationship of each pixel in the feature map.
  • the view information adding unit 32 adds view information parameters to the feature map of each view, thereby adding information about which view the feature map belongs to.
  • the same-view relation extraction unit 33 extracts relations based on similarity only between pixels in the feature maps of each view, for pixels in the feature maps of that view.
  • the different-view relation extraction unit 34 extracts relations based on similarity only between pixels in the feature maps of different views, for pixels in the feature maps of each view.
  • the information integration unit 3 acquires information integration parameters from the information integration parameter storage unit 8. When processing multiple videos, it is only necessary to acquire these parameters the first time.
  • the information integration parameters include position information parameters, view information parameters, same-view relationship extraction parameters, and different-view relationship extraction parameters.
  • the information integration unit 3 obtains a person feature map for each view from the person feature generation unit 2.
  • the location information addition unit 31 adds the location information parameters to the person feature map for each view acquired in S502, and updates the person feature map for each view.
  • the view information addition unit 32 adds the view information parameters to the person feature map for each view acquired in S503, and updates the person feature map for each view.
  • the first-layer same-view relationship extraction unit 33 updates the person feature map for each view acquired in S504 based on the model parameters and the relationships between pixels in the feature maps of the same view.
  • the first-layer different view relationship extraction unit 34 updates the person feature map for each view acquired in S505 based on the model parameters and the relationships between pixels in the feature maps of different views.
  • the information integration unit 3 outputs the Lth layer person feature map to the prediction generation unit 4 as a feature that integrates information from multiple views.
  • the second embodiment differs from the first embodiment in the configuration and operation of the information integration unit 3.
  • the information integration unit 3 updates the feature map through processing by the same-view relation extraction unit 33, and then further updates the feature map through processing by the different-view relation extraction unit 34.
  • the feature map input to the first-layer different-view relation extraction unit 34 does not include information on multiple views. Therefore, the processing by the first-layer same-view relation extraction unit 33 can be considered to be similar to the processing by the video feature generation unit 1 to generate features from video of a single view. Therefore, in the second embodiment, the information integration unit 3 is configured as follows:
  • FIG. 10 shows the configuration of the information integration unit 3 in the second embodiment.
  • the information integration unit 3 updates the feature map through processing by the different view relationship extraction unit 34, and then further updates the feature map through processing by the same view relationship extraction unit 33.
  • the information integration unit 3 acquires information integration parameters from the information integration parameter storage unit 8. When processing multiple videos, these parameters only need to be acquired the first time.
  • the information integration parameters include position information parameters, view information parameters, parameters for extracting relationships between different views, and parameters for extracting relationships between identical views.
  • the information integration unit 3 obtains a person feature map for each view from the person feature generation unit 2.
  • the location information addition unit 31 adds the location information parameters to the person feature map for each view acquired in S602, and updates the person feature map.
  • the view information addition unit 32 adds the view information parameters to the person feature map for each view acquired in S603, and updates the person feature map.
  • the first-layer different view relationship extraction unit 34 updates the person feature map for each view acquired in S604 based on the model parameters and the relationships between pixels in the feature maps of different views.
  • the first-layer same-view relationship extraction unit 33 updates the person feature map for each view acquired in S605 based on the model parameters and the relationships between pixels in the feature maps of the same view.
  • the information integration unit 3 outputs the Lth layer person feature map to the prediction generation unit 4 as a feature that integrates information from multiple views.
  • the third embodiment differs from the first and second embodiments in the configuration and operation of the information integration unit 3.
  • the information integration unit 3 arranges the same view relation extraction unit 33 and the different view relation extraction unit 34 in series, and updates the feature map by alternately repeating the process.
  • FIG. 12 shows the configuration of the information integration unit 3 in the third embodiment.
  • the information integration unit 3 has a different view relationship extraction unit 33 and an identical view relationship extraction unit 34 arranged in parallel to branch processing.
  • the information integration unit 3 acquires information integration parameters from the information integration parameter storage unit 8. When processing multiple videos, these parameters only need to be acquired the first time.
  • the information integration parameters include position information parameters, view information parameters, parameters for extracting relationships between different views, and parameters for extracting relationships between identical views.
  • the information integration unit 3 obtains a person feature map for each view from the person feature generation unit 2.
  • the location information addition unit 31 adds the location information parameters to the person feature map for each view acquired in S702, and updates the person feature map.
  • the view information addition unit 32 adds the view information parameters to the person feature map for each view acquired in S703, and updates the person feature map.
  • the first-layer different view relationship extraction unit 34 updates the person feature maps for each view acquired in S704 based on the model parameters and the relationships between pixels in the feature maps of different views.
  • the first-layer same-view relationship extraction unit 33 updates the person feature map for each view acquired in S704 based on the model parameters and the relationships between pixels in the feature maps of the same view. Note that the processes of S705 and S706 can be performed in parallel.
  • the information integration unit 3 combines the person feature maps acquired in S705 and S706 and updates the person feature map. In other words, the information integration unit 3 combines the person feature map updated by the first-layer different view relationship extraction unit 34 with the person feature map updated by the same view relationship extraction unit 33, and updates the person feature map.
  • the information integration unit 3 outputs the Lth layer person feature map to the prediction generation unit 4 as a feature amount that integrates information from multiple views.
  • the information processing device 100 described in this embodiment can be realized, for example, by causing a computer to execute a program.
  • This computer may be a physical computer or a virtual machine on the cloud.
  • the information processing device 100 can be realized by using hardware resources such as a CPU and memory built into the computer to execute a program corresponding to the processing performed by the information processing device 100.
  • the program can be recorded on a computer-readable recording medium (such as portable memory) and saved or distributed.
  • the program can also be provided via a network such as the Internet or email.
  • FIG. 14 is a diagram showing an example of the hardware configuration of the computer.
  • the computer in FIG. 14 has a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a CPU 1004, an interface device 1005, a display device 1006, an input device 1007, an output device 1008, etc., all of which are interconnected via a bus B.
  • the computer may also be equipped with a GPU.
  • the program that realizes processing on the computer is provided by a recording medium 1001, such as a CD-ROM or memory card.
  • a recording medium 1001 such as a CD-ROM or memory card.
  • the program is installed from the recording medium 1001 to the auxiliary storage device 1002 via the drive device 1000.
  • the program does not necessarily have to be installed from the recording medium 1001; it can also be downloaded from another computer via a network.
  • the auxiliary storage device 1002 stores the installed program as well as necessary files, data, etc.
  • the memory device 1003 When an instruction to start a program is received, the memory device 1003 reads and stores the program from the auxiliary storage device 1002.
  • the CPU 1004 implements functions related to the information processing device 100 in accordance with the program stored in the memory device 1003.
  • the interface device 1005 is used as an interface for connecting to a network, etc.
  • the display device 1006 displays a GUI (Graphical User Interface) based on the program, etc.
  • the input device 1007 is composed of a keyboard, mouse, buttons, touch panel, etc., and is used to input various operational instructions.
  • the output device 1008 outputs the results of calculations.
  • the technology described in this embodiment makes it possible to perform recognition processing on a plurality of recognition targets based on images obtained from a plurality of viewpoints.
  • Additional Notes> a feature generation unit that generates feature quantities from each of a plurality of recognition target images obtained from a plurality of viewpoints; an information integration unit that performs integration processing on the plurality of feature amounts generated by the feature generation unit.
  • the feature generation unit generates a feature map having spatial information as the feature amount.
  • the information integration unit in the integration process for the plurality of feature amounts, extracts a relationship between feature amounts from the same viewpoint and a relationship between feature amounts from different viewpoints.
  • an information integration unit that performs integration processing on a plurality of feature amounts corresponding to a plurality of viewpoints; The information processing device, wherein the information integration unit performs integration processing on the plurality of feature amounts by distinguishing between extraction of relationships between feature amounts from the same viewpoint and extraction of relationships between feature amounts from different viewpoints.
  • An information processing method executed by an information processing device a feature generation step of generating feature quantities from each of a plurality of recognition target images obtained from a plurality of viewpoints; an information integration step of performing integration processing on the plurality of feature quantities generated in the feature generation step.
  • the information processing method performs integration processing on the plurality of feature amounts by distinguishing between extraction of relationships between feature amounts from the same viewpoint and extraction of relationships between feature amounts from different viewpoints.
  • (Supplementary Note 8) A program for causing a computer to function as the information processing device according to any one of claims 1 to 4.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置において、複数の視点から得られた複数の認識対象画像のそれぞれから特徴量を生成する特徴生成部と、前記特徴生成部により生成された複数の特徴量に対して統合処理を行う情報統合部とを備える。

Description

情報処理装置
　本発明は、映像を用いた認識技術に関連するものである。
　近年、畳み込みニューラルネットワーク（Convolutional Neural Network、CNN）（非特許文献１）やTransformer（非特許文献２）などの深層学習技術の発展によって、映像に映っている人間の行動を認識する行動認識タスクの精度が向上している。しかしながら、これらの行動認識技術の多くは一台のカメラの映像のみから行動を認識しているため、障害物や群衆によってオクルージョンが生じるシーンでは精度が低下することが知られている（非特許文献７）。
　このオクルージョンの影響を軽減するために、複数のカメラで異なる角度から撮影した複数のビューを同時に用いて行動を認識するマルチビュー行動認識が知られている。マルチビュー行動認識では、部屋の四隅に設置されたカメラのように複数の角度にカメラを設置することでオクルージョンの領域を大きく減らすことができるため、障害物や群衆によってオクルージョンが生じるシーンでも良い精度が得られることが期待できる。
　マルチビュー行動認識では、行動の認識に必要な情報が各ビューに点在するため、ビュー間の情報統合が重要である。非特許文献３に開示された技術では、Video Encoderと呼ばれる、一つのビューの映像から特徴を抽出する特徴抽出器を用いて、各ビューに対して別々に埋め込みベクトルを得たのち、複数のビューの埋め込みベクトルからConditional Random Fieldによる重みづけを用いてビュー間の情報統合を行う。
　非特許文献４に開示された技術では、同様にしてVideo Encoderによって得られた複数のビューの埋め込みベクトルからSelf-Attention（非特許文献２）と呼ばれる機構からなるTransformerによってビュー間の情報統合を行う。ここでSelf-Attentionは入力系列間の類似度に基づいて特徴量の重みづけ和を算出することで特徴抽出を行う機構である。
J. Carreira, et al., "Quo vadis, action recognition? A new model and the kinetics dataset," in CVPR, 2017. A. Vaswani, et al., " Attention is all you need," NIPS, 2017. D. Wang, et al., "Dividing and aggregating network for multi-view action recognition," in ECCV, 2018. M. Yasuda, et al., "Multi-view and multi-modal event detection utilizing transformer-based multi-sensor fusion," in ICASSP, 2022. Y. Hou, et al., "Multiview detection with feature perspective transformation," in ECCV, 2020. S. Ren, et al., "Faster r-cnn: Towards real-time object detection with region proposal networks," in NIPS, 2015. Q. Kong, et al., "Mmact: A large-scale dataset for cross modal human action understanding," in ICCV, 2019.
　マルチビュー行動認識は、オクルージョンが生じるシーンにおいて一つのビューのみを用いる技術に比べて優れた認識精度を示す。しかし、従来のマルチビュー行動認識では、各ビューに対して映像全体を表す一つの埋め込みベクトルを用いてビュー間の情報統合を行っているため、一人の行動又はシーン全体として一つの行動しか認識できず、複数人の行動を同時に認識することができない。なお、このような課題は、認識対象が人物である場合に限らずに生じ得る課題である。
　本発明は上記の点に鑑みてなされたものであり、複数の視点から得られた映像に基づいて、複数の認識対象に対する認識処理を行うことを可能とする技術を提供することを目的とする。
　開示の技術によれば、複数の視点から得られた複数の認識対象画像のそれぞれから特徴量を生成する特徴生成部と、
　前記特徴生成部により生成された複数の特徴量に対して統合処理を行う情報統合部と
　を備える情報処理装置が提供される。
　開示の技術によれば、複数の視点から得られた映像に基づいて、複数の認識対象に対する認識処理を行うことを可能とする技術が提供される。
情報処理装置１００の構成図である。 第１実施形態における情報処理装置１００の構成図である。 情報処理装置１００の全体の処理の流れを示すフローチャートである。 映像特徴生成部１の処理の流れを示すフローチャートである。 人物特徴生成部２の処理の流れを示すフローチャートである。 情報統合部３の処理の流れを示すフローチャートである。 予測生成部４の処理の流れを示すフローチャートである。 第１実施形態における情報統合部３の構成図である。 第１実施形態における情報統合部３の処理の流れを示すフローチャートである。 第２実施形態における情報統合部３の構成図である。 第２実施形態における情報統合部３の処理の流れを示すフローチャートである。 第３実施形態における情報統合部３の構成図である。 第３実施形態における情報統合部３の処理の流れを示すフローチャートである。 情報処理装置１００のハードウェア構成例を示す図である。
　以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
　なお、以下の説明では、認識対象を人物としているが、認識対象は人物に限定されない。本発明に係る技術はどのような認識対象にも適用可能である。
　また、どのような認識を行うかについても特定のものに限定はない。本発明に係る認識は、行動認識、年齢判定、性別判定、持ち物認識等、分類タスクであればどのようなものでもよい。例えば認識対象の進行方向も、これを分類タスクとすれば推定可能である。
　また、本実施の形態における「映像」は画像の集合であるから、「映像」を「画像」と呼んでもよい。
　（実施の形態の概要）
　本実施の形態における情報処理装置１００の構成と動作の概要を説明する。本実施の形態に係る情報処理装置１００は、マルチビュー映像から複数人の行動を認識する。すなわち、従来技術では、マルチビューの映像から一つの行動しか認識できなかったが、本実施の形態に係る情報処理装置１００は、複数人の行動を認識することが可能である。
　より具体的には、情報処理装置１００は、マルチビューの映像と映像内の人間の位置を表すバウンディングボックスを用いて複数人の行動を認識することとしている。ここでバウンディングボックスはＩＤによって同一人物が複数のビューにわたって紐づけられているとする。なお、バウンディングボックスに囲まれる部分の画像（又は特徴マップ）を認識対象画像と呼んでもよい。
　図１に、本発明の実施の形態における情報処理装置１００の構成例を示す。図１に示すように、情報処理装置１００は、映像特徴生成部１、人物特徴生成部２、情報統合部３、及び予測生成部４を有する。本構成を有する情報処理装置１００の動作概要を以下で説明する。
　まず、映像特徴生成部１（例：Video Encoder）が、各ビューについて、映像全体を表す特徴マップを抽出する。ここで特徴マップとは空間解像度（空間情報）を持つ特徴量であり、映像内の特定の場所の情報が特徴マップ内の対応する場所に含まれている。例えば、特徴マップ内の手の位置には手の情報、足の位置には足の情報が含まれている。
　次に、人物特徴生成部２（例：RoIAlign（非特許文献６））が、各ビューについて、映像全体の特徴マップから一人一人の人間の特徴マップを抽出する。人物特徴生成部２として使用する機構の一例であるRoIAlignは、映像内の人間の位置を表すバウンディングボックスの領域を固定サイズで特徴マップから切り出す処理を行う機構である。なお、人物特徴生成部２を特徴生成部と呼んでもよい。また、「映像特徴生成部１と人物特徴生成部２」を特徴生成部と呼んでもよい。
　また、人物特徴生成部２の処理はRoIAlignを使用する処理に限定されるわけではなく、特徴マップからバウンディングボックスの領域を切り出せる手段であればどのような手段を使用してもよい。
　そして、情報統合部３（例：Transformer）が、各ビューにおける同一人物の特徴マップをもとにビュー間の情報統合を行う。なお、情報統合部３としてTransformerを使用することは一例である。複数ビューの情報を統合できる手段であればどのような手段を使用してもよい。
　マルチビュー物体検出（非特許文献５）などの認識対象が複数存在するようなマルチビューの認識タスクにおけるビュー間の情報統合では、空間情報の活用が重要であるが、非特許文献１や非特許文献２のマルチビュー行動認識における従来技術では、空間情報を失った埋め込みベクトルから情報統合を行っているため空間情報の有効活用には至っていない。
　そこで、本実施の形態では、従来技術とは異なり、埋め込みベクトルではなく空間情報を持つ特徴マップを用いて情報統合を行うことで、高い精度で認識をすることが期待できる。
　また、本実施の形態において情報統合部３として使用する機構の一例であるTransformerは、全てのビューの特徴マップ間で類似度を算出して特徴抽出を行うSelf-Attentionからなる通常のTransformerとは異なり、同一ビューの特徴マップ間でのみ類似度から特徴抽出を行うSame View Attention (SVA)と、異なるビューの特徴マップ間でのみ類似度から特徴抽出を行うDifferent View Attention (DVA)とからなる。
　上記の２つの機構（SVA、DVA）によってSelf-Attentionよりも強力なビュー間の情報統合が可能になる。なお、情報統合部３としてSelf-Attentionからなる通常のTransformerを使用することも可能である。
　最後に、情報統合部３（Transformer）によって複数のビュー間の情報統合を行って得られた特徴量を予測生成部４（分類器）に入力し、予測生成部４から行動の予測を得る。
　なお、情報処理装置１００は、「映像特徴生成部１、人物特徴生成部２、情報統合部３、予測生成部４」のうちのいずれか１つ又はいずれか複数を有する装置であってもよい。例えば、映像特徴生成部１、人物特徴生成部２、情報統合部３、予測生成部４がそれぞれ別々の情報処理装置１００（つまりコンピュータ）であってもよいし、これら４つの機能部のうちのいずれか複数の機能部を有する装置が情報処理装置１００であってもよい。
　以下、情報処理装置１００のより具体的な実施形態として、第１実施形態～第３実施形態を説明する。
　（第１実施形態）
　＜装置構成、動作＞
　まず、第１実施形態を説明する。図２は、第１実施形態における情報処理装置１００の構成図である。図２に示すように、第１実施形態における情報処理装置１００は、映像特徴生成部１、人物特徴生成部２、情報統合部３、予測生成部４、映像格納部５、映像特徴生成用パラメータ格納部６、人物位置格納部７、情報統合用パラメータ格納部８、予測生成用パラメータ格納部９を有する。
　なお、「映像格納部５、映像特徴生成用パラメータ格納部６、人物位置格納部７、情報統合用パラメータ格納部８、予測生成用パラメータ格納部９」のうちのいずれか１つ、いずれか複数、又は全部が、情報処理装置１００の外部に備えられてもよい。
　また、図２では、ビューごとに動作を行うことを分かり易く示すために、映像特徴生成部１及び人物特徴生成部２はそれぞれ複数個が示されているが、映像特徴生成部１及び人物特徴生成部２はそれぞれ１個で、複数ビューの処理を行う。なお、映像特徴生成部１及び人物特徴生成部２をそれぞれ、ビューごとに備えてもよい。つまり、映像特徴生成部１及び人物特徴生成部２をそれぞれ、ビューの個数だけ備えてもよい。
　図２を参照して情報処理装置１００全体の動作を説明する。
　映像特徴生成部１（例：Video Encoder）は、映像特徴生成用パラメータ格納部６から映像特徴生成パラメータを取得し、映像格納部５から入力される複数のビューの入力映像に対してパラメータに基づく映像特徴生成を行い、ビューごとに、映像全体を表す特徴マップを生成する。この映像特徴生成用パラメータはニューラルネットワークモデルのパラメータであり、対象とするタスクの学習データを用いた一般的なニューラルネットワークの教師あり学習によって得られる。
　人物特徴生成部２（例：RoIAlign）は、人物位置格納部７から入力される、各ビューにおける人間の位置を表すバウンディングボックスと、同一人物を表すＩＤとに基づいて、映像特徴生成部１が生成した特徴マップから人物特徴マップを切り出し処理によって生成する。
　情報統合部３（例：Transoformer）は、情報統合用パラメータ格納部８から情報統合パラメータを取得し、人物特徴生成部２によって得られた同一人物の各ビューの人物特徴マップに対してパラメータに基づく情報統合を行い、複数のビューの情報を統合した特徴マップを生成する。この情報統合用パラメータはニューラルネットワークモデルのパラメータであり、対象とするタスクの学習データを用いた一般的なニューラルネットワークの教師あり学習によって得られる。
　予測生成部４は、予測生成用パラメータ格納部９から予測生成パラメータを取得し、情報統合部３が出力した特徴量に対してパラメータに基づく予測を行う。この予測生成用パラメータはニューラルネットワークモデルのパラメータであり、対象とするタスクの学習データを用いた一般的なニューラルネットワークの教師あり学習によって得られる。
　＜全体処理フロー＞
　図３は、本実施の形態における情報処理装置１００の全体の処理の流れを示すフローチャートである。図３を参照して全体の処理の流れを説明する。
　Ｓ１（ステップ１）において、映像特徴生成部１が、映像特徴生成用パラメータ格納部６から、映像特徴生成用パラメータ格納部６に格納されている映像特徴生成に対するパラメータを取得する。
　Ｓ２において、映像特徴生成部１が、映像格納部５から複数のビューの入力映像を取得する。
　Ｓ３において、映像特徴生成部１は、各ビューの入力映像に対して映像特徴生成パラメータを用いた映像特徴生成を行う。
　Ｓ４において、人物特徴生成部２は、人物位置格納部７から、人物位置格納部７に格納されているバウンディングボックスとＩＤとを取得する。
　Ｓ５において、映像特徴生成部１は、生成した映像特徴マップを人物特徴生成部２に送信する。
　Ｓ６において、人物特徴生成部２は、各ビューの映像特徴量に対してバウンディングボックスとＩＤにもとづいた切り出し処理を行うことによって人物特徴生成を行う。
　Ｓ７において、情報統合部３は、情報統合用パラメータ格納部８に格納されている情報統合に対するパラメータを情報統合用パラメータ格納部８から取得する。
　Ｓ８において、人物特徴生成部２は、生成した人物特徴マップを情報統合部３に送信する。
　Ｓ９において、情報統合部３は、人物特徴マップに対して情報統合パラメータを用いたビュー間の情報統合を行うことにより特徴マップを生成する
　Ｓ１０において、予測生成部４は、予測生成用パラメータ格納部９に格納されている予測生成に対するパラメータを予測生成用パラメータ格納部９から取得する。
　Ｓ１１において、情報統合部３は、生成した特徴量を予測生成部４へ送信する。Ｓ１２において、予測生成部４は、情報統合部３から受信した特徴量に対して予測生成パラメータを用いた予測生成を行う。Ｓ１３において、予測生成部４は、生成した予測結果を出力する。
　なお、上記の処理では、映像特徴生成部１、人物特徴生成部２、情報統合部３、及び予測生成部４における各処理の都度、パラメータを取得しているが、これに代えて、事前に各部のパラメータをまとめて取得しておいてもよい。
　以下、情報処理装置１００を構成する各部の動作を、フローチャートを参照して詳細に説明する。
　＜映像特徴生成部１＞
　図４のフローチャートを参照して映像特徴生成部１の動作を説明する。
　Ｓ１０１において、映像特徴生成部１は、映像特徴生成用パラメータ格納部６から映像特徴生成用パラメータを取得する。複数の映像を処理する場合、このパラメータの取得は最初の一回だけ行えばよい。
　Ｓ１０２において、映像特徴生成部１は、映像格納部５から複数のビューの入力映像を取得する。ここで各ビューの映像は「フレーム数×高さ×幅×ＲＧＢ」の４次元ベクトルとして取得される。
　Ｓ１０３において、映像特徴生成部１は、Ｓ１０２で取得した複数の映像に対して、モデルパラメータに基づく映像特徴生成を個別に適用する。
　Ｓ１０４において、映像特徴生成部１は、Ｓ１０３で生成した複数のビューの映像特徴マップを人物特徴生成部２へ送信する。
　＜人物特徴生成部２＞
　続いて、人物特徴生成部２の動作を図５のフローチャートを参照して説明する。
　Ｓ２０１において、人物特徴生成部２は、人物位置格納部７から、各ビューの映像内の人間の位置を表すバウンディングボックスの座標と、当該人物と同一の人物を表すＩＤとを取得する。
　Ｓ２０２において、人物特徴生成部２は、映像特徴生成部１から複数のビューの映像特徴マップを取得する。
　Ｓ２０３において、人物特徴生成部２は、Ｓ２０２で取得した映像特徴マップから、Ｓ２０１で取得したバウンディングボックスの領域を切り出し、ＩＤで同一人物を紐づけることで各人物の人物特徴マップを生成する。ここで各ビューにおける一人の人物の人物特徴マップは「高さ×幅×チャネル」の３次元ベクトルとして取得される。
　Ｓ２０４において、人物特徴生成部２は、Ｓ２０３で生成した人物特徴マップを情報統合部３へ出力する。
　＜情報統合部３＞
　次に、情報統合部３の動作を図６のフローチャートを参照して説明する。
　Ｓ３０１において、情報統合部３は、情報統合用パラメータ格納部８から情報統合用パラメータを取得する。複数の映像を処理する場合、このパラメータの取得は最初の一回だけ行えばよい。
　Ｓ３０２において、情報統合部３は、人物特徴生成部２から人物特徴マップを取得する。
　Ｓ３０３において、情報統合部３は、Ｓ３０２で取得した複数の人物特徴マップのうち、同じＩＤ（同一人物）の特徴マップに対して、モデルパラメータに基づくビュー間の情報統合を行い、複数のビューの情報を統合した特徴量を生成する。
　Ｓ３０４において、情報統合部３は、Ｓ３０３で生成した特徴量を予測生成部４へ出力する。
　＜予測生成部４＞
　次に、予測生成部４の動作を図７のフローチャートを参照して説明する。
　Ｓ４０１において、予測生成部４は、予測生成用パラメータ格納部９から予測生成用パラメータを取得する。複数の映像を処理する場合、このパラメータの取得は最初の一回だけ行えばよい。
　Ｓ４０２において、予測生成部４は、情報統合部３から特徴量を取得する。
　Ｓ４０４において、予測生成部４は、Ｓ４０２で取得した特徴量に対してモデルパラメータに基づく所望のタスクの予測を行う。Ｓ４０４において、予測生成部４は、Ｓ４０３の予測を出力する。
　＜情報統合部３の詳細＞
　次に、情報統合部３の詳細について説明する。図８は、情報統合部３の詳細構成図である。
　図８に示すとおり、情報統合部３は、位置情報付加部３１(Positional Embeddingに相当)、ビュー情報付加部３２(View Embeddingに相当)、同一ビュー間関係抽出部３３（Same View Attentionに相当）、相違ビュー間関係抽出部３４（Different View Attentionに相当）を有する。
　位置情報付加部３１は、位置情報パラメータを各ビューの特徴マップに加算することで、特徴マップ内の各ピクセルの位置関係に関する情報を付加する。ビュー情報付加部３２は、ビュー情報パラメータを各ビューの特徴マップに加算することで、特徴マップが、どのビューの特徴マップであるかという情報を付加する。
　同一ビュー間関係抽出部３３は、各ビューの特徴マップのピクセルに対して、その特徴マップ内のピクセル間でのみ類似度に基づく関係性の抽出を行う。相違ビュー間関係抽出部３４は、各ビューの特徴マップのピクセルに対して、異なるビューの特徴マップのピクセル間でのみ類似度に基づく関係性の抽出を行う。
　また、情報統合部３は、同一ビュー間関係抽出部３３一つと相違ビュー間関係抽出部３４一つからなるペアを１層と見なすと、Ｌ層（例えばＬ＝４）からなる。また、ここでは、Attentionのような類似度に基づく関係性抽出をもとに説明しているが、ニューラルネットワークを用いた非線形処理であれば他の処理でも構わない。
　情報統合部３の詳細動作を図９のフローチャートを参照して説明する。
　Ｓ５０１において、情報統合部３は、情報統合用パラメータ格納部８から情報統合用パラメータを取得する。複数の映像を処理する場合、このパラメータの取得は最初の一回だけ行えばよい。情報統合用パラメータには、位置情報パラメータ、ビュー情報パラメータ、同一ビュー間関係抽出パラメータ、相違ビュー間関係抽出パラメータを含む。
　Ｓ５０２において、情報統合部３は、人物特徴生成部２から各ビューにおける人物特徴マップを取得する。
　Ｓ５０３において、位置情報付加部３１は、Ｓ５０２で取得した各ビューの人物特徴マップに対して、位置情報パラメータを加算し、各ビューの人物特徴マップを更新する。
　Ｓ５０４において、ビュー情報付加部３２は、Ｓ５０３で取得した各ビューの人物特徴マップに対して、ビュー情報パラメータを加算し、各ビューの人物特徴マップを更新する。
　Ｓ５０５において、１層目の同一ビュー間関係抽出部３３が、Ｓ５０４で取得した各ビューの人物特徴マップに対して、モデルパラメータに基づいて、同じビューの特徴マップのピクセル間の関係性から人物特徴マップを更新する。
　Ｓ５０６において、１層目の相違ビュー間関係抽出部３４は、Ｓ５０５で取得した各ビューの人物特徴マップに対して、モデルパラメータに基づいて異なるビューの特徴マップのピクセル間の関係性から人物特徴マップを更新する。
　Ｓ５０７において、Ｓ５０５、Ｓ５０６の処理を層の数だけ繰り返し、人物特徴マップを更新する。
　Ｓ５０８において、情報統合部３は、Ｌ層目の人物特徴マップを、複数のビューの情報を統合した特徴量として予測生成部４へ出力する。
　（第２実施形態）
　続いて第２実施形態を説明する。第２実施形態は、第１実施形態と比べて、情報統合部３の構成・動作が異なる。
　第１実施形態では、情報統合部３において、同一ビュー間関係抽出部３３の処理によって特徴マップを更新し、次に相違ビュー間関係抽出部３４の処理によってさらに特徴マップを更新していた。この場合、一層目の相違ビュー間関係抽出部３４に入力される特徴マップには複数のビューの情報が含まれていない。そのため、一層目の同一ビュー間関係抽出部３３の処理は、映像特徴生成部１が一つのビューの映像から特徴生成を行う処理と同じようなことを行っているともみなせる。そこで、第２実施形態では、情報統合部３を下記のように構成する。
　図１０に、第２実施形態における情報統合部３の構成を示す。図１０に示すように、第２実施形態では、情報統合部３において、相違ビュー間関係抽出部３４の処理によって特徴マップを更新し、次に同一ビュー間関係抽出部３３の処理によってさらに特徴マップを更新する。
　第２実施形態における情報統合部３の詳細動作を図１１のフローチャートを参照して説明する。
　Ｓ６０１において、情報統合部３は、情報統合用パラメータ格納部８から情報統合用パラメータを取得する。複数の映像を処理する場合、このパラメータの取得は最初の一回だけ行えばよい。情報統合用パラメータは、位置情報パラメータ、ビュー情報パラメータ、相違ビュー間関係抽出パラメータ、同一ビュー間関係抽出パラメータを含む。
　Ｓ６０２において、情報統合部３は、人物特徴生成部２から各ビューにおける人物特徴マップを取得する。
　Ｓ６０３において、位置情報付加部３１は、Ｓ６０２で取得した各ビューの人物特徴マップに対して、位置情報パラメータを加算し、人物特徴マップを更新する。
　Ｓ６０４において、ビュー情報付加部３２は、Ｓ６０３で取得した各ビューの人物特徴マップに対して、ビュー情報パラメータを加算し、人物特徴マップを更新する。
　Ｓ６０５において、１層目の相違ビュー間関係抽出部３４は、Ｓ６０４で取得した各ビューの人物特徴マップに対して、モデルパラメータに基づいて、異なるビューの特徴マップのピクセル間の関係性から人物特徴マップを更新する。
　Ｓ６０６において、１層目の同一ビュー間関係抽出部３３は、Ｓ６０５で取得した各ビューの人物特徴マップに対して、モデルパラメータに基づいて、同じビューの特徴マップのピクセル間の関係性から人物特徴マップを更新する。
　Ｓ６０７において、Ｓ６０５、Ｓ６０６の処理を層の数だけ繰り返し、人物特徴マップを更新する。
　Ｓ６０８において、情報統合部３は、Ｌ層目の人物特徴マップを、複数のビューの情報を統合した特徴量として予測生成部４へ出力する。
　（第３実施形態）
　続いて第３実施形態を説明する。第３実施形態は、第１実施形態及び第２実施形態と比べて、情報統合部３の構成・動作が異なる。
　第１実施形態と第２実施形態では、図８あるいは図１０に示したように、情報統合部３で同一ビュー間関係抽出部３３と相違ビュー間関係抽出部３４を直列に並べ処理を交互に繰り返すことで特徴マップを更新していた。
　図１２に、第３実施形態における情報統合部３の構成を示す。図１２に示すように、第３実施形態では、情報統合部３において、相違ビュー間関係抽出部３３と同一ビュー間関係抽出部３４を並列に並べ処理を分岐する。
　第３実施形態における情報統合部３の詳細動作を図１３のフローチャートを参照して説明する。
　Ｓ７０１において、情報統合部３は、情報統合用パラメータ格納部８から情報統合用パラメータを取得する。複数の映像を処理する場合、このパラメータの取得は最初の一回だけ行えばよい。情報統合用パラメータは、位置情報パラメータ、ビュー情報パラメータ、相違ビュー間関係抽出パラメータ、同一ビュー間関係抽出パラメータを含む。
　Ｓ７０２において、情報統合部３は、人物特徴生成部２から各ビューにおける人物特徴マップを取得する。
　Ｓ７０３において、位置情報付加部３１は、Ｓ７０２で取得した各ビューの人物特徴マップに対して、位置情報パラメータを加算し、人物特徴マップを更新する。
　Ｓ７０４において、ビュー情報付加部３２は、Ｓ７０３で取得した各ビューの人物特徴マップに対して、ビュー情報パラメータを加算し、人物特徴マップを更新する。
　Ｓ７０５において、１層目の相違ビュー間関係抽出部３４は、Ｓ７０４で取得した各ビューの人物特徴マップに対して、モデルパラメータに基づいて、異なるビューの特徴マップのピクセル間の関係性から人物特徴マップを更新する。
　Ｓ７０６において、１層目の同一ビュー間関係抽出部３３は、Ｓ７０４で取得した各ビューの人物特徴マップに対して、モデルパラメータに基づいて、同じビューの特徴マップのピクセル間の関係性から人物特徴マップを更新する。なお、Ｓ７０５とＳ７０６の処理は並行して行うことができる。
　Ｓ７０７において、情報統合部３は、Ｓ７０５、Ｓ７０６で取得した人物特徴マップを結合し、人物特徴マップを更新する。すなわち情報統合部３は、１層目の相違ビュー間関係抽出部３４で更新した人物特徴マップと同一ビュー間関係抽出部３３で更新した人物特徴マップとを結合し人物特徴マップを更新する。
　Ｓ７０８において、Ｓ７０５、Ｓ７０６、Ｓ７０７の処理を層の数だけ繰り返し、人物特徴マップを更新する。
　Ｓ７０９において、情報統合部３は、Ｌ層目の人物特徴マップを複数のビューの情報を統合した特徴量として予測生成部４へ出力する。
　（ハードウェア構成例）
　本実施の形態で説明した情報処理装置１００は、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。
　すなわち、情報処理装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、情報処理装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
　図１４は、上記コンピュータのハードウェア構成例を示す図である。図１４のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。なお、当該コンピュータは、更にＧＰＵを備えてもよい。
　当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、情報処理装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワーク等に接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。
　（実施の形態のまとめ、効果等）
　以上説明したとおり、本実施の形態で説明した技術により、複数の視点から得られた映像に基づいて、複数の認識対象に対する認識処理を行うことが可能となる。
　以上の実施形態に関し、更に以下の付記を開示する。
　＜付記＞
（付記項１）
　複数の視点から得られた複数の認識対象画像のそれぞれから特徴量を生成する特徴生成部と、
　前記特徴生成部により生成された複数の特徴量に対して統合処理を行う情報統合部と
　を備える情報処理装置。
（付記項２）
　前記特徴生成部は、前記特徴量として、空間情報を持つ特徴マップを生成する
　付記項１に記載の情報処理装置。
（付記項３）
　前記情報統合部は、前記複数の特徴量に対する統合処理において、同一視点の特徴量における関係性抽出と、異なる視点の特徴量における関係性抽出とを区別して行う
　付記項１に記載の情報処理装置。
（付記項４）
　複数の視点に対応する複数の特徴量に対して統合処理を行う情報統合部を備え、
　前記情報統合部は、前記複数の特徴量に対する統合処理において、同一視点の特徴量における関係性抽出と、異なる視点の特徴量における関係性抽出とを区別して行う
　情報処理装置。
（付記項５）
　情報処理装置が実行する情報処理方法であって、
　複数の視点から得られた複数の認識対象画像のそれぞれから特徴量を生成する特徴生成ステップと、
　前記特徴生成ステップにより生成された複数の特徴量に対して統合処理を行う情報統合ステップと
　を備える情報処理方法。
（付記項６）
　情報処理装置が実行する情報処理方法であって、
　複数の視点に対応する複数の特徴量に対して統合処理を行う情報統合ステップを備え、
　前記情報統合ステップは、前記複数の特徴量に対する統合処理において、同一視点の特徴量における関係性抽出と、異なる視点の特徴量における関係性抽出とを区別して行う
　情報処理方法。
（付記項７）
　コンピュータを、付記項１ないし４のうちいずれか１項に記載の情報処理装置として機能させるためのプログラム。
（付記項８）
　コンピュータを、付記項１ないし４のうちいずれか１項に記載の情報処理装置として機能させるためのプログラムを記憶した非一時的記憶媒体。
　以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１　映像特徴生成部
２　人物特徴生成部
３　情報統合部
４　予測生成部
５　映像格納部
６　映像特徴生成用パラメータ格納部
７　人物位置格納部
８　情報統合用パラメータ格納部
９　予測生成用パラメータ格納部
３１　位置情報付加部
３２　ビュー情報付加部
３３　同一ビュー間関係抽出部
３４　相違ビュー間関係抽出部
１００　情報処理装置
１０００　ドライブ装置
１００１　記録媒体
１００２　補助記憶装置
１００３　メモリ装置
１００４　ＣＰＵ
１００５　インタフェース装置
１００６　表示装置
１００７　入力装置
１００８　出力装置

Claims (4)

  1. 　複数の視点から得られた複数の認識対象画像のそれぞれから特徴量を生成する特徴生成部と、
    　前記特徴生成部により生成された複数の特徴量に対して統合処理を行う情報統合部と
    　を備える情報処理装置。
  2. 　前記特徴生成部は、前記特徴量として、空間情報を持つ特徴マップを生成する
    　請求項１に記載の情報処理装置。
  3. 　前記情報統合部は、前記複数の特徴量に対する統合処理において、同一視点の特徴量における関係性抽出と、異なる視点の特徴量における関係性抽出とを区別して行う
    　請求項１に記載の情報処理装置。
  4. 　複数の視点に対応する複数の特徴量に対して統合処理を行う情報統合部を備え、
    　前記情報統合部は、前記複数の特徴量に対する統合処理において、同一視点の特徴量における関係性抽出と、異なる視点の特徴量における関係性抽出とを区別して行う
    　情報処理装置。
PCT/JP2024/019439 2024-05-27 2024-05-27 情報処理装置 Pending WO2025248604A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/019439 WO2025248604A1 (ja) 2024-05-27 2024-05-27 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/019439 WO2025248604A1 (ja) 2024-05-27 2024-05-27 情報処理装置

Publications (1)

Publication Number Publication Date
WO2025248604A1 true WO2025248604A1 (ja) 2025-12-04

Family

ID=97869788

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/019439 Pending WO2025248604A1 (ja) 2024-05-27 2024-05-27 情報処理装置

Country Status (1)

Country Link
WO (1) WO2025248604A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181273A (ja) * 2017-04-21 2018-11-15 キヤノン株式会社 画像処理装置及びその方法、プログラム
CN113066165A (zh) * 2021-03-19 2021-07-02 北京邮电大学 多阶段无监督学习的三维重建方法、装置和电子设备
JP2024010528A (ja) * 2022-07-12 2024-01-24 Ｔｏｐｐａｎホールディングス株式会社 特徴マップ生成装置、画像マッチングシステム、特徴マップ生成方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181273A (ja) * 2017-04-21 2018-11-15 キヤノン株式会社 画像処理装置及びその方法、プログラム
CN113066165A (zh) * 2021-03-19 2021-07-02 北京邮电大学 多阶段无监督学习的三维重建方法、装置和电子设备
JP2024010528A (ja) * 2022-07-12 2024-01-24 Ｔｏｐｐａｎホールディングス株式会社 特徴マップ生成装置、画像マッチングシステム、特徴マップ生成方法、及びプログラム

Similar Documents

Publication Publication Date Title
Mahmoudi et al. Multi-target tracking using CNN-based features: CNNMTT
Zeng et al. Joint 3d layout and depth prediction from a single indoor panorama image
EP3510561B1 (en) Predicting depth from image data using a statistical model
Tokmakov et al. Learning motion patterns in videos
WO2021249114A1 (zh) 目标跟踪方法和目标跟踪装置
Petrović et al. Stereo vision-based human tracking for robotic follower
CN110472531A (zh) 视频处理方法、装置、电子设备及存储介质
Luvizon et al. Consensus-based optimization for 3D human pose estimation in camera coordinates
EP3204888A1 (en) Spatial pyramid pooling networks for image processing
Zhao et al. 3d room layout estimation from a cubemap of panorama image via deep manhattan hough transform
Berral-Soler et al. RealHePoNet: A robust single-stage ConvNet for head pose estimation in the wild
CN118552826A (zh) 基于双流注意力的可见光和红外图像目标检测方法及装置
CN112085842A (zh) 深度值确定方法及装置、电子设备和存储介质
WO2023168957A1 (zh) 姿态确定方法、装置、电子设备、存储介质及程序
CN116399360A (zh) 车辆路径规划方法
CN117677973A (zh) 旁观者和附着对象移除
Peng et al. Rgb-d salient object detection based on cross-modal and cross-level feature fusion
Cai et al. Disparity and optical flow partitioning using extended Potts priors
Priyadharshini et al. Identification and Reconstruction of Human Faces into 3D Models Using SSD-Based and Attention Mesh Models in Real-Time
Chen et al. Scalable indoor novel-view synthesis using drone-captured 360 imagery with 3D gaussian splatting
Chowdhury et al. Extracting depth information from stereo images using a fast correlation matching algorithm
Feng et al. Exploring crowd counting methodology by integrating CNN and transformer: performance optimization under weak supervision
Panek et al. Combining Absolute and Semi-generalized Relative Poses for Visual Localization
Duan et al. Wide area registration on camera phones for mobile augmented reality applications
Luo et al. Combining fractal hourglass network and skeleton joints pairwise affinity for multi-person pose estimation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24941849

Country of ref document: EP

Kind code of ref document: A1