WO2025041210A1 - 推論装置、推論方法、および推論プログラム - Google Patents

推論装置、推論方法、および推論プログラム Download PDF

Info

Publication number
WO2025041210A1
WO2025041210A1 PCT/JP2023/029898 JP2023029898W WO2025041210A1 WO 2025041210 A1 WO2025041210 A1 WO 2025041210A1 JP 2023029898 W JP2023029898 W JP 2023029898W WO 2025041210 A1 WO2025041210 A1 WO 2025041210A1
Authority
WO
WIPO (PCT)
Prior art keywords
task
parameters
inference
prediction
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/029898
Other languages
English (en)
French (fr)
Inventor
大河 山根
聡志 鈴木
智大 田中
亮 増村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2025541172A priority Critical patent/JPWO2025041210A1/ja
Priority to PCT/JP2023/029898 priority patent/WO2025041210A1/ja
Publication of WO2025041210A1 publication Critical patent/WO2025041210A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to an inference device, an inference method, and an inference program.
  • inference results for multiple tasks such as object detection, region segmentation, and pose estimation for images
  • a method called DETR Detection TRansformer
  • Object Query a structure called a Transformer and parameters that serve as the basis for prediction called Object Query
  • DETR Detection TRansformer
  • the method that uses a Transformer and Object Query is known to be effective for various tasks such as pose estimation and region segmentation in addition to object detection.
  • the present invention was made in consideration of the above, and aims to make it possible to efficiently execute inference on multiple tasks.
  • the inference device is characterized by having an acquisition unit that acquires, for a plurality of tasks for a given medium, a feature of the medium and parameters representing the feature of each task, and a prediction unit that predicts the task feature of each task in the medium from the parameters acquired by the acquisition unit, using a first relationship between the parameters representing the feature of each task across different tasks, and a second relationship between the feature of the media and the parameters representing the feature of each task.
  • the present invention makes it possible to efficiently execute inference on multiple tasks.
  • FIG. 1 is a diagram for explaining an overview of the inference device of this embodiment.
  • FIG. 2 is a diagram for explaining an overview of the inference device of this embodiment.
  • FIG. 3 is a diagram for explaining an overview of the inference device of this embodiment.
  • FIG. 4 is a schematic diagram illustrating a schematic configuration of the inference device of this embodiment.
  • FIG. 5 is a diagram for explaining the processing of the inference device.
  • FIG. 6 is a diagram for explaining the processing of the inference device.
  • FIG. 7 is a flowchart showing the procedure of the inference process.
  • FIG. 8 is a flowchart showing the procedure of the inference process.
  • FIG. 9 is a flowchart showing the procedure of the inference process.
  • FIG. 10 is a flowchart showing the procedure of the inference process.
  • FIG. 10 is a flowchart showing the procedure of the inference process.
  • FIG. 11 is a flowchart showing the procedure of the inference process.
  • FIG. 12 is a diagram for explaining the second embodiment.
  • FIG. 13 is a flowchart showing an inference processing procedure according to the second embodiment.
  • FIG. 14 is a diagram for explaining the embodiment.
  • FIG. 15 is a diagram illustrating an example of a computer that executes an inference program.
  • FIG. 1 is a diagram for explaining an outline of an inference device of this embodiment.
  • the media is, for example, any one of an image, a voice, and a natural language.
  • FIG. 1 illustrates a method of using a Transformer and an Object Query to predict a single task for media.
  • a model for an image is composed of a CNN (Convolutional Neural Network) part called a backbone created for image classification, and a part called a task head that predicts each task. Then, the image feature amount, which is the output of the backbone, and the Object Query, which is a parameter related to the task, are input to the Transformer to obtain the output of each task.
  • CNN Convolutional Neural Network
  • the Transformer is composed of a Transformer Encoder and a Transformer Decoder, as shown in Figure 1.
  • the Transformer Encoder is designed to be common to each model of multiple tasks, and refines the backbone image features through nonlinear transformation using Attention, a mechanism for learning noteworthy parts of the input by extracting features based on the similarity between the input features.
  • the Transformer Decoder also receives the image features and Object Query output from the Transformer Encoder, and repeats the processing of multiple layers (L layers). This allows each Object Query to grasp the state of its own prediction and recognize its role within the image, gradually predicting the desired task.
  • This Transformer Decoder is mainly composed of Self-Attention and Cross-Attention.
  • Self-Attention extracts the relationship between predictions corresponding to each of multiple Object Queries.
  • Cross-Attention extracts the relationship between image features and predictions corresponding to each of multiple Object Queries.
  • Attention is a mechanism that performs nonlinear transformation by extracting features based on the similarity between input features.
  • Self-Attention processing is often almost the same for each task model, while Cross-Attention processing often differs depending on the task and method. Therefore, while methods using Transformers are generally effective for a variety of tasks, it is necessary to create a model specialized for one task.
  • the inference device provides a specific improvement over the conventional method using Transformer and Object Query, which required creating task-specific models for each task and performing inference, resulting in costs according to the number of tasks, and represents an advancement in the technical field related to multitask AI.
  • FIG. 2 and Fig. 3 show an example of the processing in the inference device of this embodiment. Specifically, as shown in Fig. 2, in the inference device, the Transformer Decoder and Object Query are expanded to multitask in order to solve multiple tasks simultaneously.
  • the inference device prepares the same number of types of Object Queries as the number of tasks for each task, inputs them together into the Self-Attention of the Transformer Decoder, and performs a process to extract the relationships between the predictions of the Object Queries. This makes it possible to extract the relationships between the predictions of multiple tasks.
  • Cross-Attention branches as many times as the number of tasks, and performs processing to extract the relationship between image features and the prediction of the Object Query for each type of Object Query corresponding to each task.
  • This makes it possible to incorporate Cross-Attention technology that has developed independently for each task.
  • the inference device uses a multi-task Object Query to perform Self-Attention processing across tasks in the Transformer Decoder, and Cross-Attention processing unique to the branched task. This makes it possible to perform multi-task inference more efficiently than the conventional processing for a single task as illustrated in Figure 3(a).
  • FIG. 4 is a schematic diagram illustrating the general configuration of the inference device of this embodiment.
  • Fig. 5 and Fig. 6 are diagrams for explaining the processing of the inference device.
  • the inference device 10 of this embodiment is realized by a general-purpose computer such as a personal computer, and includes an input unit 11, an output unit 12, a communication control unit 13, a storage unit 14, and a control unit 15.
  • the input unit 11 is realized using input devices such as a keyboard and a mouse, and inputs various instruction information such as starting processing to the control unit 15 in response to input operations by an operator.
  • the output unit 12 is realized by a display device such as a liquid crystal display, a printing device such as a printer, etc. For example, the output unit 12 displays the results of the inference processing described below.
  • the communication control unit 13 is realized by a NIC (Network Interface Card) or the like, and controls communication between the control unit 15 and external devices via telecommunication lines such as a LAN (Local Area Network) or the Internet.
  • the communication control unit 13 controls communication between the control unit 15 and a management device that manages various types of information.
  • Image 14a stores the image to be processed and input to the inference process described below.
  • image feature generation parameters 14b image feature generation parameters used in the inference process described below are stored.
  • the image feature generation parameters are parameters of a neural network model, and are obtained by supervised learning of a general neural network using learning data for the task.
  • image feature refinement parameters 14c image feature refinement parameters used in the inference process described below are stored.
  • the image feature refinement parameters are parameters of a neural network model, and like the image feature generation parameters, are obtained by supervised learning of a general neural network using the learning data for the task.
  • Prediction generation parameters 14d store prediction generation parameters used in the inference process described below.
  • the prediction generation parameters are parameters of a neural network model, and like the image feature generation parameters, are obtained by supervised learning of a general neural network using learning data for the task.
  • Query parameters 14e store query parameters used in the inference process described below.
  • the query parameters are parameters that represent the feature quantities of a task, such as an Object Query, and the same number of query parameters as the number of tasks N are stored corresponding to each of the multiple tasks.
  • N types of query parameters are stored: task 1 query parameters, task 2 query parameters, ..., task N query parameters.
  • the image feature generating unit 15b uses the image feature generating parameters acquired from the storage unit 14 and the image to be processed to generate image features for the image to be processed based on the image feature generating parameters.
  • the image feature generating unit 15b corresponds to, for example, a Transformer Encoder.
  • the image feature refinement unit 15c further refines the image feature generated by the image feature generation unit 15b based on the image feature refinement parameters acquired from the storage unit 14.
  • the image feature refinement unit 15c corresponds to a Transformer Encoder, and refines the feature of the media by performing a nonlinear transformation based on Attention, which is a mechanism for further extracting features using the similarity between the features of the media.
  • the image feature refinement unit 15c processes the image features of multiple images, it is sufficient to obtain the image feature refinement parameters only the first time.
  • the aforementioned acquisition unit 15a may acquire refined image features and transfer them to the prediction generation unit 15d described below.
  • the acquisition unit 15a acquires media features and task parameters representing the features of each task for multiple tasks on a specific media, such as an image.
  • the prediction generation unit 15d predicts the task features of each task in the media from the query parameters acquired by the acquisition unit 15a, using a first relationship between the query parameters representing the features of each task across different tasks, and a second relationship between the features of the media and the query parameters representing the features of each task.
  • the prediction generation unit 15d predicts the desired task using the prediction generation parameters and query parameters acquired from the storage unit 14, and the image features refined by the image feature refinement unit 15c.
  • the prediction generation unit 15d processes image features of multiple images, it is sufficient to obtain the prediction generation parameters and query parameters only the first time.
  • query parameters corresponding to each of a plurality of tasks there are query parameters corresponding to each of a plurality of tasks.
  • the query parameters for object detection and the query parameters for pose estimation are input to the prediction generation unit 15d, and prediction results for the two tasks, object detection and pose estimation, are output from the image features refined by the image feature refinement unit 15c.
  • the prediction generation unit 15d predicts task features by repeatedly converting parameters using the similarity between the query parameters as the first relationship, and converting parameters using the similarity between the media features and the query parameters as the second relationship.
  • the prediction generation unit 15d performs nonlinear transformation of the query parameters of each task based on an attention mechanism that further extracts features using the similarity between the query parameters of each task, and performs nonlinear transformation of the query parameters of each task based on an attention mechanism that further extracts features using the similarity between the features of the media and the query parameters of each task.
  • the prediction generation unit 15d repeats this process to predict task features of each task in the media.
  • the prediction generation unit 15d is a decoder of a transformer, which is a pre-trained neural network, and extracts the first relationship by a self-attention mechanism and the second relationship by a cross-attention mechanism.
  • the prediction generation unit 15d is a decoder of a transformer, in which Self-Attention extracts the relationship between the query parameters of each task across different tasks, and Cross-Attention extracts the relationship between the media features and the query parameters of each task for each task, thereby predicting the task features of each task in the media.
  • FIG. 6 is a diagram for explaining the processing of the prediction generation unit.
  • the prediction generation unit 15d includes an inter-prediction relationship extraction unit 15e and an image-inter-prediction relationship extraction unit 15f.
  • the inter-prediction relationship extraction unit 15e corresponds to, for example, a self-attention of a transformer decoder, and performs the same processing across tasks regardless of the type and number of tasks.
  • the image-inter-prediction relationship extraction unit 15f corresponds to, for example, a cross-attention of a transformer decoder, and performs different processing depending on the type of task, so that the same number of image-inter-prediction relationship extraction units 15f as the number of tasks perform processing in parallel.
  • the prediction generation unit 15d has a predetermined number L of layers, each of which is a pair of an inter-prediction relationship extraction unit 15e and an image-inter-prediction relationship extraction unit 15f.
  • the query parameters change gradually with each layer, and finally a prediction is output, which is the inference result for each task.
  • inter-prediction relationship extraction unit 15e extracts relationships between each query parameter based on the prediction generation parameters, and updates each query parameter based on the extracted relationships (hereinafter, the updated query parameters may be referred to as "query parameters (prediction)").
  • image-prediction relationship extraction unit 15f extracts relationships between image features and the updated query parameters (prediction) of each task based on the prediction generation parameters, and updates the query parameters of each task based on the extracted relationships.
  • the prediction relationship extraction unit 15e extracts relationships between each query parameter (prediction) based on the updated prediction generation parameters, and updates each query parameter based on the extracted relationships.
  • the image-prediction relationship extraction unit 15f extracts relationships between image features and the updated query parameters (prediction) of each task based on the prediction generation parameters, and updates the query parameters of each task based on the extracted relationships.
  • the inter-prediction relationship extraction unit 15e and the image-prediction relationship extraction unit 15f repeat the same process up to the L layer, thereby outputting a prediction that is the inference result for each task.
  • the inference device 10 can efficiently execute inference for multiple tasks for media. Furthermore, learning of various parameters can also be performed collectively for multiple tasks, making it possible to execute the learning efficiently.
  • Fig. 7 to Fig. 11 are flowcharts showing the procedure of the inference process. First, in Fig. 7, the flowchart starts at the timing when the user performs an operation input to instruct the start of the process.
  • the acquisition unit 15a acquires from the storage unit 14 the image to be processed, parameters for generating image features, parameters for refining image features, parameters for predictive generation, parameters for queries, etc., to be used in the inference process.
  • the image feature generating unit 15b uses the image feature generating parameters and the image to be processed to generate image features for the image to be processed based on the image feature generating parameters (step S1).
  • the image feature refinement unit 15c further refines the image features generated by the image feature generation unit 15b based on the image feature refinement parameters (step S2).
  • the prediction generation unit 15d uses the prediction generation parameters, the refined image features, and the query parameters for each task to generate a prediction of the features of each task in the image (step S3), and outputs the generated prediction (step S4). This completes the series of inference processes.
  • FIG. 8 illustrates the processing procedure of the image feature generation unit in step S1 shown in FIG. 7.
  • the image feature generation unit 15b acquires image feature generation parameters and an input image to be processed from the acquisition unit 15a or the storage unit 14 (steps S101 to S102).
  • the image feature generating unit 15b generates image features for the input image to be processed based on the image feature generation parameters (step S103).
  • the image feature generating unit 15b also outputs the generated image features to the downstream image feature refining unit 15c (step S104), and the series of processes ends.
  • FIG. 9 illustrates the processing procedure of the image feature generation unit in step S2 shown in FIG. 7.
  • the image feature refinement unit 15c acquires parameters for image feature refinement from the acquisition unit 15a or the storage unit 14 (step S201), and acquires the image feature amount generated from the image feature generation unit 15b (step S202).
  • the image feature refinement unit 15c refines the image feature based on the image feature refinement parameters (step S203).
  • the image feature generation unit 15b outputs the refined image feature to the downstream prediction generation unit 15d (step S204), and the series of processes ends.
  • FIG. 10 illustrates the processing procedure of the prediction generation unit in steps S3 to S4 shown in FIG. 7.
  • the prediction generation unit 15d acquires prediction generation parameters and query parameters from the acquisition unit 15a or the storage unit 14 (steps S301 to S302), and acquires refined image features from the image feature refinement unit 15c (step S303).
  • FIG. 11 also illustrates a detailed processing procedure for the process of step S304 shown in FIG. 10.
  • the prediction generation unit 15d performs the first layer processing shown in FIG. 6. Specifically, the prediction relationship extraction unit 15e extracts relationships between query parameters for each task based on the prediction generation parameters, and updates each query parameter based on the extracted relationships (step S401).
  • the image-prediction relationship extraction unit 15f extracts relationships between the image features and the updated query parameters for each task, and further updates the query parameters for each task based on the extracted relationships (step S402).
  • the prediction generation unit 15d repeats the same process up to the Lth layer (step S413), and sets the updated query parameters in the Lth layer as a prediction for the generated task (step S404). After that, the prediction generation unit 15d outputs the prediction for the generated task (step S305), and ends the series of processes.
  • the prediction generation unit 15d is a decoder of a transformer, which is a pre-trained neural network, and extracts the first relationship by a self-attention mechanism and the second relationship by a cross-attention mechanism.
  • the inference program is stored in the hard disk drive 1031, for example, as a program module 1093 in which instructions to be executed by the computer 1000 are written. Specifically, the program module 1093 in which each process executed by the inference device 10 described in the above embodiment is written is stored in the hard disk drive 1031.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

推論装置（１０）において、取得部（１５ａ）が、所定のメディアに対する複数のタスクについて、メディアの特徴量と、各タスクの特徴量を表すクエリ用パラメータとを取得する。予測生成部（１５ｄ）が、異なるタスクを横断した各タスクの特徴量を表すクエリ用パラメータの間の第１関係、およびメディアの特徴量と各タスクの特徴量を表すクエリ用パラメータとの第２関係を用いて、取得部（１５ａ）で取得されたクエリ用パラメータからメディアにおける各タスクのタスク特徴量を予測する。

Description

推論装置、推論方法、および推論プログラム
　本発明は、推論装置、推論方法、および推論プログラムに関する。
　従来、画像、音声、自然言語等のメディアに対して、例えば画像に対する物体検出、領域分割、姿勢推定等の複数のタスクの推論結果が必要となる場合がある。複数のタスクに対応可能な推論手法として、例えば、Ｔｒａｎｓｆｏｒｍｅｒと呼ばれる構造とＯｂｊｅｃｔ　Ｑｕｅｒｙと呼ばれる予測の元となるパラメータを用いて物体検出を解くＤＥＴＲ（Detection　TRansformer）と呼ばれる手法が知られている（非特許文献１参照）。ＴｒａｎｓｆｏｒｍｅｒとＯｂｊｅｃｔ　Ｑｕｅｒｙとを用いる手法は、物体検出の他にも姿勢推定や領域分割等の様々なタスクに有効であることが知られている。
　しかしながら、従来技術によれば、複数のタスクを同時に解くことは困難である。例えば、ＴｒａｎｓｆｏｒｍｅｒとＯｂｊｅｃｔ　Ｑｕｅｒｙとを用いる手法は、様々なタスクに有効であるにも関わらず、各タスクに特化してタスク特化型モデルを作成して推論する必要がある。すなわち、タスクの数だけモデルを作成して推論を行うため、タスクの数に応じたコストがかかるという課題がある。
　本発明は、上記に鑑みてなされたものであって、複数のタスクの推論を効率よく実行可能とすることを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る推論装置は、所定のメディアに対する複数のタスクについて、前記メディアの特徴量と、各タスクの特徴量を表すパラメータとを取得する取得部と、異なるタスクを横断した各タスクの特徴量を表すパラメータの間の第１関係、および前記メディアの特徴量と各タスクの特徴量を表すパラメータとの第２関係を用いて、前記取得部で取得された前記パラメータから前記メディアにおける各タスクのタスク特徴量を予測する予測部と、を有することを特徴とする。
　本発明によれば、複数のタスクの推論を効率よく実行することが可能となる。
図１は、本実施形態の推論装置の概要を説明するための図である。 図２は、本実施形態の推論装置の概要を説明するための図である。 図３は、本実施形態の推論装置の概要を説明するための図である。 図４は、本実施形態の推論装置の概略構成を例示する模式図である。 図５は、推論装置の処理を説明するための図である。 図６は、推論装置の処理を説明するための図である。 図７は、推論処理手順を示すフローチャートである。 図８は、推論処理手順を示すフローチャートである。 図９は、推論処理手順を示すフローチャートである。 図１０は、推論処理手順を示すフローチャートである。 図１１は、推論処理手順を示すフローチャートである。 図１２は、第２の実施形態を説明するための図である。 図１３は、第２の実施形態の推論処理手順を示すフローチャートである。 図１４は、実施例を説明するための図である。 図１５は、推論プログラムを実行するコンピュータの一例を示す図である。
　以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
［推論装置の概要］
　図１は、本実施形態の推論装置の概要を説明するための図である。本実施形態において、メディアとは、例えば、画像、音声、自然言語のいずれかである。図１には、メディアに対する単一のタスクの予測に、ＴｒａｎｓｆｏｒｍｅｒとＯｂｊｅｃｔ　Ｑｕｅｒｙとを用いる手法が例示されている。この手法における例えば画像に対するモデルは、画像分類用に作られたバックボーンと呼ばれるＣＮＮ（Convolutional　Neural　Network）部分と、各タスクの予測を行うタスクヘッドと呼ばれる部分からなる。そして、バックボーンの出力である画像特徴量と、タスクに関するパラメータであるＯｂｊｅｃｔ　ＱｕｅｒｙとをＴｒａｎｓｆｏｒｍｅｒに入力することにより、各タスクの出力を得る。
　ここで、Ｔｒａｎｓｆｏｒｍｅｒは、図１に例示するように、Ｔｒａｎｓｆｏｒｍｅｒ　ＥｎｃｏｄｅｒとＴｒａｎｓｆｏｒｍｅｒ　Ｄｅｃｏｄｅｒとで構成される。Ｔｒａｎｓｆｏｒｍｅｒ　Ｅｎｃｏｄｅｒは、複数のタスクのそれぞれのモデルに共通に設計されており、入力された特徴量間の類似度をもとに特徴量を抽出することにより、入力のうちの注目すべき箇所を学習する仕組みであるＡｔｔｅｎｔｉｏｎによる非線形変換で、バックボーンの画像特徴量を精製する。
　また、Ｔｒａｎｓｆｏｒｍｅｒ　Ｄｅｃｏｄｅｒは、Ｔｒａｎｓｆｏｒｍｅｒ　Ｅｎｃｏｄｅｒから出力された画像特徴量とＯｂｊｅｃｔ　Ｑｕｅｒｙとの入力を受け付けて、複数層（Ｌ層）の処理を繰り返す。これにより、各Ｏｂｊｅｃｔ　Ｑｕｅｒｙがそれぞれの予測の状態の把握と画像内での役割の認識とを行いつつ、徐々に所望のタスクの予測になっていく。
　このＴｒａｎｓｆｏｒｍｅｒ　Ｄｅｃｏｄｅｒは、主にＳｅｌｆ－ＡｔｔｅｎｔｉｏｎとＣｒｏｓｓ－Ａｔｔｅｎｔｉｏｎとで構成される。Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎでは、複数のＯｂｊｅｃｔ　Ｑｕｅｒｙのそれぞれに対応する予測の間の関係を抽出する。また、Ｃｒｏｓｓ－Ａｔｔｅｎｔｉｏｎでは、画像特徴量と複数のＯｂｊｅｃｔ　Ｑｕｅｒｙのそれぞれに対応する予測との間の関係を抽出する。ここで、Ａｔｔｅｎｔｉｏｎは、入力された特徴量間の類似度をもとに特徴量を抽出することにより、非線形変換を行う機構である。
　Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎの処理は、各タスクのモデルでほとんど同じであることが多く、Ｃｒｏｓｓ－Ａｔｔｅｎｔｉｏｎの処理は、タスクや手法によって異なることが多い。そのため、一般にＴｒａｎｓｆｏｒｍｅｒを用いた手法は、様々なタスクで有効である一方、１つのタスクに特化したモデルを作成する必要がある。
　そこで、本実施形態に係る推論装置は、タスクの数だけタスクに特化したモデルを作成して推論を行う必要がありタスクの数に応じたコストがかかっていた従来のＴｒａｎｓｆｏｒｍｅｒとＯｂｊｅｃｔ　Ｑｕｅｒｙとを用いる手法に対して特定の改善を提供するものであり、マルチタスクＡＩに係る技術分野の向上を示すものである。
　ここで、図２および図３には、本実施形態の推論装置における処理が例示されている。具体的には、図２に例示するように、推論装置では、複数のタスクを同時に解くために、Ｔｒａｎｓｆｏｒｍｅｒ　ＤｅｃｏｄｅｒとＯｂｊｅｃｔ　Ｑｕｅｒｙとがマルチタスクに拡張されている。
　すなわち、推論装置では、図３（ｂ）に例示するように、各タスクに対応して、タスクの数と同数の種類のＯｂｊｅｃｔ　Ｑｕｅｒｙを用意して、Ｔｒａｎｓｆｏｒｍｅｒ　ＤｅｃｏｄｅｒのＳｅｌｆ－Ａｔｔｅｎｔｉｏｎにまとめて入力し、Ｏｂｊｅｃｔ　Ｑｕｅｒｙの予測間の関係を抽出する処理を行う。これにより、複数のタスクの予測間の関係を抽出可能となる。
　また、Ｃｒｏｓｓ－Ａｔｔｅｎｔｉｏｎ（ＣＡ）では、タスクの数だけ分岐させ、各タスクに対応した種類のＯｂｊｅｃｔ　Ｑｕｅｒｙごとに、画像特徴量とＯｂｊｅｃｔ　Ｑｕｅｒｙの予測との間の関係を抽出する処理を行う。これにより、各タスクについて独自に発展してきたＣｒｏｓｓ－Ａｔｔｅｎｔｉｏｎの技術を取り込むことが可能となる。このように、推論装置では、マルチタスクのＯｂｊｅｃｔ　Ｑｕｅｒｙを用いて、Ｔｒａｎｓｆｏｒｍｅｒ　Ｄｅｃｏｄｅｒにおけるタスクを横断したＳｅｌｆ－Ａｔｔｅｎｔｉｏｎの処理と、分岐したタスク独自のＣｒｏｓｓ－Ａｔｔｅｎｔｉｏｎの処理を行う。これにより、図３（ａ）に例示した従来の１つのタスクに対する処理と比較して、効率的にマルチタスクの推論を行うことが可能となる。
［推論装置の構成］
　図４は、本実施形態の推論装置の概略構成を例示する模式図である。また、図５および図６は、推論装置の処理を説明するための図である。まず、図４に例示するように、本実施形態の推論装置１０は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。
　入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。例えば、出力部１２には、後述する推論処理の結果が表示される。
　通信制御部１３は、ＮＩＣ（Network　Interface　Card）等で実現され、ＬＡＮ（Local　Area　Network）やインターネットなどの電気通信回線を介した外部の装置と制御部１５との通信を制御する。例えば、通信制御部１３は、各種情報を管理する管理装置等と制御部１５との通信を制御する。
　記憶部１４は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、推論装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。
　本実施形態において、記憶部１４は、後述する推論処理に用いられる、画像１４ａ、画像特徴生成用パラメータ１４ｂ、画像特徴精製用パラメータ１４ｃ、予測生成用パラメータ１４ｄ、クエリ用パラメータ１４ｅ等を記憶する。これらの情報は、後述する推論処理に先立って予め、あるいは推論処理の最中に、入力部１１を介して、あるいは通信制御部１３を介して各種情報を管理する管理装置等から取得され、記憶部１４に格納される。
　画像１４ａには、後述する推論処理に入力される処理対象の画像が格納される。
　画像特徴生成用パラメータ１４ｂには、後述する推論処理に用いられる画像特徴生成用パラメータが格納される。画像特徴生成用パラメータは、ニューラルネットワークモデルのパラメータであり、タスクの学習用データを用いた一般的なニューラルネットワークの教師あり学習によって得られる。
　画像特徴精製用パラメータ１４ｃには、後述する推論処理に用いられる画像特徴精製用パラメータが格納される。画像特徴精製用パラメータは、ニューラルネットワークモデルのパラメータであり、画像特徴生成用パラメータと同様に、タスクの学習用データを用いた一般的なニューラルネットワークの教師あり学習によって得られる。
　予測生成用パラメータ１４ｄには、後述する推論処理に用いられる予測生成用パラメータが格納される。予測生成用パラメータは、ニューラルネットワークモデルのパラメータであり、画像特徴生成用パラメータと同様に、タスクの学習用データを用いた一般的なニューラルネットワークの教師あり学習によって得られる。
　クエリ用パラメータ１４ｅには、後述する推論処理に用いられるクエリ用パラメータが格納される。クエリ用パラメータは、例えばＯｂｊｅｃｔ　Ｑｕｅｒｙ等のタスクの特徴量を表すパラメータであり、複数の各タスクに対応してタスク数Ｎと同数種類のクエリ用パラメータが格納されている。図５に示す例では、タスク１クエリ用パラメータ、タスク２クエリ用パラメータ、…、タスクＮクエリ用パラメータのＮ種類のクエリ用パラメータが格納されている。
　各タスクに対応したクエリ用パラメータは、ランダムに初期化され、ニューラルネットワークの一般的な教師あり学習を経て得られる。また、クエリ用パラメータは、後述する推論処理において処理されるベクトルと同じ次元のベクトルである。
　制御部１５は、ＣＰＵ（Central　Processing　Unit）やＮＰ（Network　Processor）やＦＰＧＡ（Field　Programmable　Gate　Array）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図４に例示するように、取得部１５ａ、画像特徴生成部１５ｂ、画像特徴精製部１５ｃ、予測生成部１５ｄ、予測間関係抽出部１５ｅおよび画像－予測間関係抽出部１５ｆとして機能して、推論処理を実行する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。また、制御部１５は、その他の機能部を備えてもよい。
　取得部１５ａは、入力部１１あるいは通信制御部１３を介して、後述する推論処理に用いられる処理対象の画像、画像特徴生成用パラメータ、画像特徴精製用パラメータ、予測生成用パラメータ、クエリ用パラメータ等を記憶部１４から取得する。
　なお、取得部１５ａに代えて、後述する機能部が処理を行う際に上記のそれぞれの情報を記憶部１４から取得してもよい。
　画像特徴生成部１５ｂは、図５に例示するように、記憶部１４から取得された画像特徴生成用パラメータと、処理対象の画像とを用いて、処理対象の画像に対して画像特徴生成用パラメータに基づいて画像特徴量を生成する。画像特徴生成部１５ｂは、例えば、Ｔｒａｎｓｆｏｒｍｅｒ　Ｅｎｃｏｄｅｒに相当する。
　ここで、処理対象の画像は、縦×横×ＲＧＢの３次元ベクトルとして取得される。また、画像特徴生成部１５ｂは、複数の画像に対する処理を行う場合には、画像特徴生成用パラメータは、最初の１回だけ取得すればよい。
　画像特徴精製部１５ｃは、図５に例示するように、記憶部１４から取得された画像特徴精製用パラメータに基づいて、画像特徴生成部１５ｂが生成した画像特徴量をさらに精製する。具体的には、画像特徴精製部１５ｃは、Ｔｒａｎｓｆｏｒｍｅｒ　Ｅｎｃｏｄｅｒに相当し、メディアの特徴量間の類似度を用いてさらに特徴量を抽出する機構であるＡｔｔｅｎｔｉｏｎに基づいて非線形変換を行うことにより、該メディアの特徴量を精製する。
　ここで、画像特徴精製部１５ｃは、複数の画像の画像特徴量に対する処理を行う場合には、画像特徴精製用パラメータは、最初の１回だけ取得すればよい。
　なお、前述の取得部１５ａが、精製された画像特徴量を取得して、以下に説明する予測生成部１５ｄに転送してもよい。この場合に、取得部１５ａが、例えば画像等の所定のメディアに対する複数のタスクについて、メディアの特徴量と、各タスクの特徴量を表すタスク用パラメータとを取得する。
　予測生成部１５ｄは、異なるタスクを横断した各タスクの特徴量を表すクエリ用パラメータの間の第１関係、およびメディアの特徴量と各タスクの特徴量を表すクエリ用パラメータとの第２関係を用いて、取得部１５ａで取得されたクエリ用パラメータからメディアにおける各タスクのタスク特徴量を予測する。
　具体的には、予測生成部１５ｄは、図５に例示するように、記憶部１４から取得された予測生成用パラメータとクエリ用パラメータと、画像特徴精製部１５ｃが精製した画像特徴量とを用いて、所望のタスクの予測を行う。
　ここで、予測生成部１５ｄは、複数の画像の画像特徴量に対する処理を行う場合には、予測生成用パラメータおよびクエリ用パラメータは、最初の１回だけ取得すればよい。
　また、クエリ用パラメータは、図５に例示するように、複数の各タスクに対応したクエリ用パラメータが存在する。例えば、物体検出、姿勢推定の２つのタスクを推論処理の対象とする場合に、物体検出のクエリ用パラメータと、姿勢推定のクエリ用パラメータとが、予測生成部１５ｄに入力され、画像特徴精製部１５ｃが精製した画像特徴量から、物体検出、姿勢推定の２つのタスクの予測結果が出力される。
　予測生成部１５ｄは、第１関係としてクエリ用パラメータの間の類似度を用いてパラメータの変換を行い、第２関係としてメディアの特徴量とクエリ用パラメータとの間の類似度を用いてパラメータの変換を行うことを繰り返すことで、タスク特徴量を予測する。
　すなわち、予測生成部１５ｄは、各タスクのクエリ用パラメータの間の類似度を用いてさらに特徴量を抽出するＡｔｔｅｎｔｉｏｎ機構に基づいて各タスクのクエリ用パラメータの非線形変換を行い、メディアの特徴量と各タスクのクエリ用パラメータとの間の類似度を用いてさらに特徴量を抽出するＡｔｔｅｎｔｉｏｎ機構に基づいて各タスクのクエリ用パラメータの非線形変換を行う。予測生成部１５ｄは、この処理を繰り返すことにより、メディアにおける各タスクのタスク特徴量を予測する。
　具体的には、予測生成部１５ｄは、あらかじめ学習済みのニューラルネットワークであるＴｒａｎｓｆｏｒｍｅｒのＤｅｃｏｄｅｒであり、第１関係をＳｅｌｆ－Ａｔｔｅｎｔｉｏｎ機構により抽出し、第２関係をＣｒｏｓｓ－Ａｔｔｅｎｔｉｏｎ機構により抽出する。
　すなわち、予測生成部１５ｄは、ＴｒａｎｓｆｏｒｍｅｒのＤｅｃｏｄｅｒであり、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎが異なるタスクを横断して各タスクのクエリ用パラメータの間の関係を抽出し、Ｃｒｏｓｓ－Ａｔｔｅｎｔｉｏｎがタスクごとにメディアの特徴量と各タスクのクエリ用パラメータとの関係を抽出することにより、メディアにおける各タスクのタスク特徴量を予測する。
　ここで、図６は、予測生成部の処理を説明するための図である。図６に例示するように、予測生成部１５ｄは、予測間関係抽出部１５ｅと画像－予測間関係抽出部１５ｆとを含む。予測間関係抽出部１５ｅは、例えば、Ｔｒａｎｓｆｏｒｍｅｒ　ＤｅｃｏｄｅｒのＳｅｌｆ－Ａｔｔｅｎｔｉｏｎに相当し、タスクの種類や数によらず横断的に同じ処理を行う。一方、画像－予測間関係抽出部１５ｆは、例えば、Ｔｒａｎｓｆｏｒｍｅｒ　ＤｅｃｏｄｅｒのＣｒｏｓｓ－Ａｔｔｅｎｔｉｏｎに相当し、タスクの種類によって異なる処理を行うため、タスクの数と同数の画像－予測間関係抽出部１５ｆが並列に処理を行う。
　予測生成部１５ｄには、１対の予測間関係抽出部１５ｅと画像－予測間関係抽出部１５ｆとのペアからなる層が所定数Ｌだけ存在し、各層を経るごとにクエリ用パラメータが徐々に変化し、最終的に各タスクの推論結果である予測が出力される。
　具体的には、まず、１層目において、予測間関係抽出部１５ｅは、予測生成用パラメータに基づいて、各クエリ用パラメータ間の関係を抽出し、抽出した関係をもとに各クエリ用パラメータを更新する（以下、更新されたクエリ用パラメータを「クエリ用パラメータ（予測）」と記す場合もある）。次に、画像－予測間関係抽出部１５ｆが、予測生成用パラメータに基づいて、画像特徴量と各タスクの更新されたクエリ用パラメータ（予測）のとの間の関係を抽出し、抽出した関係をもとに各タスクのクエリ用パラメータを更新する。
　次に、２層目において、予測間関係抽出部１５ｅは、更新された予測生成用パラメータに基づいて、各クエリ用パラメータ（予測）の間の関係を抽出し、抽出した関係をもとに各クエリ用パラメータを更新する。次に、画像－予測間関係抽出部１５ｆが、予測生成用パラメータに基づいて、画像特徴量と各タスクの更新されたクエリ用パラメータ（予測）との間の関係を抽出し、抽出した関係をもとに各タスクのクエリ用パラメータを更新する。
　このように、予測間関係抽出部１５ｅおよび画像－予測間関係抽出部１５ｆは、同様の処理をＬ層まで繰り返すことにより、各タスクの推論結果である予測を出力する。このように、推論装置１０によれば、メディアに対する複数のタスクの推論を効率よく実行可能となる。また、各種パラメータの学習も、複数のタスクについてまとめて行えるので、効率よく実行可能となる。
［推論処理］
　次に、図７～図１１を参照して、本実施形態に係る推論装置１０による推論処理について説明する。図７～図１１は、推論処理手順を示すフローチャートである。まず、図７には、図７のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。
　まず、取得部１５ａが、推論処理に用いられる処理対象の画像、画像特徴生成用パラメータ、画像特徴精製用パラメータ、予測生成用パラメータ、クエリ用パラメータ等を記憶部１４から取得する。
　そして、画像特徴生成部１５ｂが、画像特徴生成用パラメータと、処理対象の画像とを用いて、処理対象の画像に対して画像特徴生成用パラメータに基づいて画像特徴量を生成する（ステップＳ１）。
　また、画像特徴精製部１５ｃが、画像特徴精製用パラメータに基づいて、画像特徴生成部１５ｂが生成した画像特徴量をさらに精製する（ステップＳ２）。
　次に、予測生成部１５ｄが、予測生成用パラメータを用いて、精製された画像特徴量と各タスクのクエリ用パラメータとを用いて、画像における各タスクの特徴量の予測を生成し（ステップＳ３）、生成した予測を出力する（ステップＳ４）。これにより、一連の推論処理が終了する。
　次に、図８には、図７に示したステップＳ１の画像特徴生成部の処理手順が例示されている。まず、画像特徴生成部１５ｂは、取得部１５ａあるいは記憶部１４から、画像特徴生成用パラメータと処理対象の入力画像とを取得する（ステップＳ１０１～Ｓ１０２）。
　次に、画像特徴生成部１５ｂは、処理対象の入力画像に対して画像特徴生成用パラメータに基づいて画像特徴量を生成する（ステップＳ１０３）。また、画像特徴生成部１５ｂは、生成した画像特徴量を後段の画像特徴精製部１５ｃに対して出力して（ステップＳ１０４）、一連の処理を終了する。
　次に、図９には、図７に示したステップＳ２の画像特徴生成部の処理手順が例示されている。まず、画像特徴精製部１５ｃは、取得部１５ａあるいは記憶部１４から、画像特徴精製用パラメータを取得し（ステップＳ２０１）、画像特徴生成部１５ｂから生成された画像特徴量を取得する（ステップＳ２０２）。
　次に、画像特徴精製部１５ｃは、画像特徴量に対して画像特徴精製用パラメータに基づいて画像特徴量を精製する（ステップＳ２０３）。また、画像特徴生成部１５ｂは、精製した画像特徴量を後段の予測生成部１５ｄに対して出力して（ステップＳ２０４）、一連の処理を終了する。
　次に、図１０には、図７に示したステップＳ３～Ｓ４の予測生成部の処理手順が例示されている。まず、予測生成部１５ｄは、取得部１５ａあるいは記憶部１４から、予測生成用パラメータと、クエリ用パラメータを取得し（ステップＳ３０１～Ｓ３０２）、画像特徴精製部１５ｃから精製された画像特徴量を取得する（ステップＳ３０３）。
　次に、予測生成部１５ｄは、画像特徴量とクエリ用パラメータとに対し、予測生成用パラメータに基づいてタスクの特徴量の予測を生成する（ステップＳ３０４）。そして、予測生成部１５ｄは、生成したタスクの予測を出力して（ステップＳ３０５）、一連の処理を終了する。
　また、図１１には、図１０に示したステップＳ３０４の処理の詳細な処理手順が例示されている。ステップＳ３０３の処理で画像特徴精製部１５ｃから精製された画像特徴量を取得した後、予測生成部１５ｄは、図６に示した１層目の処理を行う。具体的には、予測間関係抽出部１５ｅが、各タスクのクエリ用パラメータに対して、予測生成用パラメータに基づいてクエリ用パラメータ間の関係を抽出し、抽出した関係をもとに各クエリ用パラメータを更新する（ステップＳ４０１）。次に、画像－予測間関係抽出部１５ｆが、画像特徴量と更新された各タスクのクエリ用パラメータとの間の関係を抽出し、抽出した関係をもとにさらに各タスクのクエリ用パラメータを更新する（ステップＳ４０２）。
　次に、予測生成部１５ｄは、２層目の処理を行う。すなわち、予測間関係抽出部１５ｅが、更新された各タスクのクエリ用パラメータに対して、予測生成用パラメータに基づいてクエリ用パラメータ間の関係を抽出し、抽出した関係をもとに各クエリ用パラメータを更新する。また、画像－予測間関係抽出部１５ｆが、画像特徴量と更新された各タスクのクエリ用パラメータとの間の関係を抽出し、抽出した関係をもとにさらに各タスクのクエリ用パラメータを更新する。
　このように、予測生成部１５ｄは、Ｌ層目まで同様の処理を繰り返し（ステップＳ４０３）、Ｌ層目で更新されたクエリ用パラメータを生成したタスクの予測とする（ステップＳ４０４）。その後、予測生成部１５ｄは、生成したタスクの予測を出力して（ステップＳ３０５）、一連の処理を終了する。
　なお、上記の処理におけるメディアは、画像に限定されない。上記のとおり、メディアとして、音声、自然言語にも同様の処理を適用可能である。その場合には、各メディアの処理を行う際に一般的な特徴量抽出を行って、モデルへの入力とすればよい。
［第２の実施形態］
　図１２は、第２の実施形態の推論装置の処理を説明するための図である。なお以下では、上記の第１の実施形態の推論装置１０の推論処理と異なる点についてのみ説明を行い、共通する点についての説明を省略する。
　第２の本実施形態に係る推論装置１０も、上記実施形態の推論装置１０と同様に、タスクの数だけタスクに特化したモデルを作成して推論を行う必要がありタスクの数に応じたコストがかかっていた従来のＴｒａｎｓｆｏｒｍｅｒとＯｂｊｅｃｔ　Ｑｕｅｒｙとを用いる手法に対して特定の改善を提供するものであり、マルチタスクＡＩに係る技術分野の向上を示すものである。
　具体的には、上記実施形態の推論装置１０では、図６に示したように、予測生成部１５ｄでは、予測間関係抽出部１５ｅが処理を行った後に、画像－予測間関係抽出部１５ｆが処理を行っているが、この処理順に限定されない。すなわち、図１２に示すように、画像－予測間関係抽出部１５ｆが処理を行った後に、予測間関係抽出部１５ｅが処理を行ってもよい。
　この場合にも、上記実施形態の推論装置１０と同様に、メディアに対する複数のタスクの推論を効率よく実行可能となる。また、各種パラメータの学習も、複数のタスクについてまとめて行えるので、効率よく実行可能となる。
　図１３は、第２の実施形態の推論処理手順を示すフローチャーとである。図１３に示すように、図１１のフローチャートとは、ステップＳ４１１～Ｓ４１３の処理が異なる。
　具体的には、ステップＳ３０３の処理で画像特徴精製部１５ｃから精製された画像特徴量を取得した後、予測生成部１５ｄは、図１２に示した１層目の処理を行う。具体的には、画像－予測間関係抽出部１５ｆが、画像特徴量と各タスクのクエリ用パラメータとの間の関係を抽出し、抽出した関係をもとに各クエリ用パラメータを更新する（ステップＳ４１１）。次に、予測間関係抽出部１５ｅが、更新された各タスクのクエリ用パラメータに対して、予測生成用パラメータに基づいてクエリ用パラメータ間の関係を抽出し、抽出した関係をもとに各クエリ用パラメータを更新する（ステップＳ４１２）。
　次に、予測生成部１５ｄは、２層目の処理を行う。すなわち、画像－予測間関係抽出部１５ｆが、画像特徴量と更新された各タスクのクエリ用パラメータとの間の関係を抽出し、抽出した関係をもとに各タスクのクエリ用パラメータを更新する。また、予測間関係抽出部１５ｅが、更新された各タスクのクエリ用パラメータに対して、予測生成用パラメータに基づいてクエリ用パラメータ間の関係を抽出し、抽出した関係をもとに各クエリ用パラメータを更新する。
　このように、予測生成部１５ｄは、Ｌ層目まで同様の処理を繰り返し（ステップＳ４１３）、Ｌ層目で更新されたクエリ用パラメータを生成したタスクの予測とする（ステップＳ４０４）。その後、予測生成部１５ｄは、生成したタスクの予測を出力して（ステップＳ３０５）、一連の処理を終了する。
［効果］
　以上、説明したように、本実施形態の推論装置１０において、取得部１５ａが、所定のメディアに対する複数のタスクについて、メディアの特徴量と、各タスクの特徴量を表すクエリ用パラメータとを取得する。予測生成部１５ｄは、異なるタスクを横断した各タスクの特徴量を表すクエリ用パラメータの間の第１関係、およびメディアの特徴量と各タスクの特徴量を表すクエリ用パラメータとの第２関係を用いて、取得部１５ａで取得されたクエリ用パラメータからメディアにおける各タスクのタスク特徴量を予測する。
　具体的には、予測生成部１５ｄは、第１関係としてクエリ用パラメータの間の類似度を用いてパラメータの変換を行い、第２関係としてメディアの特徴量とクエリ用パラメータとの間の類似度を用いてパラメータの変換を行うことを繰り返すことで、タスク特徴量を予測する。
　例えば、予測生成部１５ｄは、あらかじめ学習済みのニューラルネットワークであるＴｒａｎｓｆｏｒｍｅｒのＤｅｃｏｄｅｒであり、第１関係をＳｅｌｆ－Ａｔｔｅｎｔｉｏｎ機構により抽出し、第２関係をＣｒｏｓｓ－Ａｔｔｅｎｔｉｏｎ機構により抽出する。
　これにより、複数のタスクの推論を効率よく実行可能となる。また、複数のタスクに対する各種パラメータの学習も、まとめて行えるので、効率よく実行可能となる。
　また、メディアは、画像、音声、自然言語のいずれかである。このように、推論装置１０によれば、多様なメディアにおける複数のタスクの推論処理が効率よく実行可能となる。
［実施例］
　図１４は、実施例を説明するための図である。本実施例では、タスクを物体検出および姿勢推定として、従来のＴｒａｎｓｆｏｒｍｅｒを使ったモデルと上記実施形態の推論装置１０との推論時間および学習時間を比較した。従来のＴｒａｎｓｆｏｒｍｅｒを使ったモデルとして、物体検出にはDeformable　ＤＥＴＲを用い、姿勢推定にはＰＥＴＲ（Position　Embedding　TRansformation）を用いた。また、バックボーンとしてＲ－５０を用いた。これに対し、上記実施形態のモデルのバックボーンとして、Ｒ－５０を用いた場合の他、Ｓｗｉｎ－Ｔを用いた場合についても比較した。
　図１４に例示するように、バックボーンが同じＲ－５０である場合に、上記実施形態の推論装置１０では、学習時間・推論時間ともに従来の７０％に抑えられ、９０％以上の精度を達成することが確認された。また、Ｒ－５０より大きいバックボーンＳｗｉｎ－Ｔを使った場合には、推論装置１０であ、従来の８０％の学習時間・推論時間で、優れた精度を達成することが確認された。
［プログラム］
　上記実施形態に係る推論装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、推論装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の推論処理を実行する推論プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の推論プログラムを情報処理装置に実行させることにより、情報処理装置を推論装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）などの移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）などのスレート端末などがその範疇に含まれる。また、推論装置１０の機能を、クラウドサーバに実装してもよい。
　図１５は、推論プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。
　ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ（Operating　System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。
　また、推論プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した推論装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。
　また、推論プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。
　なお、推論プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、推論プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide　Area　Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　所定のメディアに対する複数のタスクについて、前記メディアの特徴量と、各タスクの特徴量を表すパラメータとを取得し、
　異なるタスクを横断した各タスクの特徴量を表すパラメータの間の第１関係、および前記メディアの特徴量と各タスクの特徴量を表すパラメータとの第２関係を用いて、取得された前記パラメータから前記メディアにおける各タスクのタスク特徴量を予測する。
　推論装置。
　（付記項２）
　付記項１に記載の推論装置による推論処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体。
　以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
　１０　推論装置
　１１　入力部
　１２　出力部
　１３　通信制御部
　１４　記憶部
　１４ａ　画像
　１４ｂ　画像特徴生成用パラメータ
　１４ｃ　画像特徴精製用パラメータ
　１４ｄ　予測生成用パラメータ
　１４ｅ　クエリ用パラメータ
　１５　制御部
　１５ａ　取得部
　１５ｂ　画像特徴生成部
　１５ｃ　画像特徴精製部
　１５ｄ　予測生成部（予測部）
　１５ｅ　予測間関係抽出部
　１５ｆ　画像－予測間関係抽出部

Claims (6)

  1. 　所定のメディアに対する複数のタスクについて、前記メディアの特徴量と、各タスクの特徴量を表すパラメータとを取得する取得部と、
    　異なるタスクを横断した各タスクの特徴量を表すパラメータの間の第１関係、および前記メディアの特徴量と各タスクの特徴量を表すパラメータとの第２関係を用いて、前記取得部で取得された前記パラメータから前記メディアにおける各タスクのタスク特徴量を予測する予測部と、
    　を有することを特徴とする推論装置。
  2. 　前記予測部は、前記第１関係として前記パラメータの間の類似度を用いて前記パラメータの変換を行い、前記第２関係として前記メディアの特徴量と前記パラメータとの間の類似度を用いて前記パラメータの変換を行うことを繰り返すことで、前記タスク特徴量を予測することを特徴とする請求項１に記載の推論装置。
  3. 　前記予測部は、あらかじめ学習済みのニューラルネットワークであるＴｒａｎｓｆｏｒｍｅｒのＤｅｃｏｄｅｒであり、前記第１関係をＳｅｌｆ－Ａｔｔｅｎｔｉｏｎ機構により抽出し、前記第２関係をＣｒｏｓｓ－Ａｔｔｅｎｔｉｏｎ機構により抽出することを特徴とする請求項１に記載の推論装置。
  4. 　前記メディアは、画像、音声、自然言語のいずれかであることを特徴とする請求項１に記載の推論装置。
  5. 　推論装置が実行する推論方法であって、
    　所定のメディアに対する複数のタスクについて、前記メディアの特徴量と、各タスクの特徴量を表すパラメータとを取得する取得工程と、
    　異なるタスクを横断した各タスクの特徴量を表すパラメータの間の第１関係、および前記メディアの特徴量と各タスクの特徴量を表すパラメータとの第２関係を用いて、前記取得工程で取得された前記パラメータから前記メディアにおける各タスクのタスク特徴量を予測する予測工程と、
    　を含んだことを特徴とする推論方法。
  6. 　コンピュータを請求項１～４のいずれか１項に記載の推論装置として機能させるための推論プログラム。
PCT/JP2023/029898 2023-08-18 2023-08-18 推論装置、推論方法、および推論プログラム Pending WO2025041210A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025541172A JPWO2025041210A1 (ja) 2023-08-18 2023-08-18
PCT/JP2023/029898 WO2025041210A1 (ja) 2023-08-18 2023-08-18 推論装置、推論方法、および推論プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/029898 WO2025041210A1 (ja) 2023-08-18 2023-08-18 推論装置、推論方法、および推論プログラム

Publications (1)

Publication Number Publication Date
WO2025041210A1 true WO2025041210A1 (ja) 2025-02-27

Family

ID=94731785

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/029898 Pending WO2025041210A1 (ja) 2023-08-18 2023-08-18 推論装置、推論方法、および推論プログラム

Country Status (2)

Country Link
JP (1) JPWO2025041210A1 (ja)
WO (1) WO2025041210A1 (ja)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RANFTL RENE; BOCHKOVSKIY ALEXEY; KOLTUN VLADLEN: "Vision Transformers for Dense Prediction", 2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), IEEE, 10 October 2021 (2021-10-10), pages 12159 - 12168, XP034093831, DOI: 10.1109/ICCV48922.2021.01196 *
vol. 13, 1 January 1900, SPRINGER, article CARION NICOLAS; MASSA FRANCISCO; SYNNAEVE GABRIEL; USUNIER NICOLAS; KIRILLOV ALEXANDER; ZAGORUYKO SERGEY: "End-to-End Object Detection with Transformers", pages: 213 - 229, XP047569461, DOI: 10.1007/978-3-030-58452-8_13 *
XU YANGYANG; LI XIANGTAI; YUAN HAOBO; YANG YIBO; ZHANG LEFEI: "Multi-Task Learning With Multi-Query Transformer for Dense Prediction", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE, USA, vol. 34, no. 2, 6 July 2023 (2023-07-06), USA, pages 1228 - 1240, XP011959532, ISSN: 1051-8215, DOI: 10.1109/TCSVT.2023.3292995 *

Also Published As

Publication number Publication date
JPWO2025041210A1 (ja) 2025-02-27

Similar Documents

Publication Publication Date Title
JP7286013B2 (ja) ビデオコンテンツ認識方法、装置、プログラム及びコンピュータデバイス
US12548306B2 (en) Method, device and storage medium for training model based on multi-modal data joint learning
US20230229898A1 (en) Data processing method and related device
CN114970522B (zh) 语言模型的预训练方法、装置、设备、存储介质
CN113094125B (zh) 业务流程处理方法、装置、服务器及存储介质
JP7269972B2 (ja) 事前トレーニングのセマンティックモデルに基づくモデル改良方法及び装置
CN116543075B (zh) 图像生成方法、装置、电子设备及存储介质
CN115809325B (zh) 文档处理模型训练方法、文档处理方法、装置及设备
WO2025261111A1 (zh) 一种基于动态特征同步器的多模态图文交错生成模型
CN118520912A (zh) 稀疏注意力网络的稀疏处理方法、装置及电子设备
JP2023160198A (ja) 継続学習装置、継続学習方法および継続学習プログラム
CN118364061A (zh) 基于工具增强的大语言模型的多模态处理方法及装置
JP2023533404A (ja) 駆動可能３ｄキャラクター生成方法、装置、電子機器、及び記憶媒体
CN116362240A (zh) 文本处理的方法、装置、设备和介质
CN116976467A (zh) 基于大模型的多任务处理方法、系统及计算设备
Mediakov et al. Specifics of Designing and Construction of the System for Deep Neural Networks Generation
CN113919490A (zh) 推理引擎的适配方法、装置及电子设备
US20240403636A1 (en) Self-attention based neural networks for processing network inputs from multiple modalities
US12288102B2 (en) System and method for queuing node load in data preprocessing
WO2020095655A1 (ja) 選定装置および選定方法
CN113312555B (zh) 转化率预测方法、装置、电子设备和存储介质
CN117273069A (zh) 一种基于神经网络模型的推理方法、装置、设备及介质
CN115756692A (zh) 基于样式属性自动组合展示页面的方法及其相关设备
US11640428B2 (en) Collation device, collation method, and collation program
CN118394483A (zh) 用于大模型的任务执行方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23949672

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025541172

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025541172

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE