WO2025253522A1 - 学習装置、学習方法、及びプログラム - Google Patents

学習装置、学習方法、及びプログラム

Info

Publication number
WO2025253522A1
WO2025253522A1 PCT/JP2024/020423 JP2024020423W WO2025253522A1 WO 2025253522 A1 WO2025253522 A1 WO 2025253522A1 JP 2024020423 W JP2024020423 W JP 2024020423W WO 2025253522 A1 WO2025253522 A1 WO 2025253522A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
detection
rotation
loss
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/020423
Other languages
English (en)
French (fr)
Inventor
聡志 鈴木
亮 増村
翔太郎 東羅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/020423 priority Critical patent/WO2025253522A1/ja
Publication of WO2025253522A1 publication Critical patent/WO2025253522A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This disclosure relates to the training of machine learning models used in the detection process of specified targets (objects) from image data.
  • CNNs convolutional neural networks
  • MVDet multi-view multi-class object detection without ground plane assumption
  • MVDet achieves high detection performance by incorporating feature extraction using CNN.
  • Detection methods based on MVDet are currently the subject of much research as a promising method for using multiple cameras, but they have a major constraint: the same scene must be captured during learning and inference.
  • scene refers to the position or number of cameras.
  • Image processing systems such as CNNs are expected to be used for a variety of purposes and environments, so it is unrealistic to assume that learning and inference always take place in the same scene.
  • GMVD Generalized Multi-View Detection
  • GMVD provides training data containing more scenes than conventional datasets
  • the number of scenes provided by GMVD is still only about six, which is not a sufficient number.
  • overfitting to the scenes presented during training can be a problem.
  • existing MVDet-based methods have not proposed any data augmentation or regularization techniques to avoid overfitting.
  • This disclosure has been made in light of the above-mentioned circumstances, and aims to prevent overfitting with limited training data when detecting a specific target (object) in image data obtained from various scenes.
  • the present disclosure provides a learning device that learns a machine learning model used in the detection process of a predetermined object from image data, and that calculates a loss to impose constraints so that rotation-invariant features can be extracted even if the positions or number of imaging devices that obtain the image data by imaging change, based on a first intermediate processing result that is the intermediate result of performing a first position detection of the predetermined object using the feature quantities of the image data, and a second intermediate processing result that is the intermediate result of performing a second position detection of the predetermined object using the feature quantities of the image data or the feature quantities after rotation obtained by performing a predetermined rotation on an image related to the image data, and updates the model parameters of the machine learning model using the loss.
  • the present disclosure has the advantage of being able to suppress over-learning with limited training data when detecting a specific target (object) from image data obtained from various scenes.
  • FIG. 1 is an overall configuration diagram of a communication system according to an embodiment.
  • FIG. 2 is an electrical hardware configuration diagram of a learning device and a database server according to an embodiment.
  • FIG. 2 is a functional configuration diagram of the learning device according to the embodiment.
  • 10 is a flowchart showing the overall processing of the learning device.
  • 10 is a flowchart showing the processing of a detection unit.
  • 10 is a flowchart showing a process of a rotation detection unit.
  • 10 is a flowchart showing the processing of a regularization unit.
  • 10 is a flowchart showing the processing of an optimization unit.
  • 10 is a flowchart showing the process of the rotation detection unit (when rotating an input image).
  • Fig. 1 is a diagram showing the overall configuration of a communication system according to an embodiment.
  • the communication system 10 of this embodiment is constructed by a learning device 30 and a database server 50.
  • the learning device 30 and database server 50 can communicate via a communication network 100 such as a LAN (Local Area Network) or the Internet.
  • a communication network 100 such as a LAN (Local Area Network) or the Internet.
  • the communication network 100 may include a dedicated network such as an ISP (Internet Service Provider) network managed and/or operated by a telecommunications carrier.
  • the connection form of the communication network 100 may be either wireless or wired.
  • the learning device 30 is composed of one or more computers. If the learning device 30 is composed of multiple computers, it may be referred to as a "learning device” or a “learning system.”
  • the learning device 30 may be a PC (personal computer), smartphone, or tablet terminal.
  • the learning device 30 is a device that, by executing a program, learns a machine learning model used in the detection process of a specified target (object) from image data (a detection task of detecting the position of a specified target from an image).
  • the database server 50 is composed of one or more computers.
  • the database server 50 stores multiple pieces of learning data.
  • the learning device 30 may also store learning data on its own device.
  • Fig. 2 is a diagram showing the electrical hardware configuration of the learning device and database server according to the embodiment.
  • the learning device 30 includes a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a processor 1004, an interface device 1005, a display device 1006, an input device 1007, an output device 1008, and the like, all of which are interconnected via a bus 1010.
  • the program that realizes processing on the computer is provided by a recording medium 1001, such as a CD-ROM or memory card.
  • a recording medium 1001 such as a CD-ROM or memory card.
  • the program is installed from the recording medium 1001 to the auxiliary storage device 1002 via the drive device 1000.
  • the program does not necessarily have to be installed from the recording medium 1001; it may be downloaded from another computer via the communication network 100.
  • the auxiliary storage device 1002 stores the installed program as well as necessary files, data, etc.
  • the memory device 1003 When an instruction to start a program is received, the memory device 1003 reads the program from the auxiliary storage device 1002 and stores it.
  • the processor 1004 realizes the functions related to the device in accordance with the program stored in the memory device 1003.
  • the processor 1004 may include not only a CPU (Central Processing Unit) but also a GPU (Graphics Processing Unit).
  • the interface device 1005 is used as an interface for connecting to a communication network, etc.
  • the display device 1006 displays a programmatic GUI (Graphical User Interface), etc.
  • the input device 1007 is composed of a keyboard, mouse, buttons, or a touch panel, etc., and is used to input various operational instructions.
  • the output device 1008 outputs the results of calculations to the outside.
  • the database server 50 has the same hardware configuration as the learning device 30, so a description of it will be omitted.
  • Fig. 3 is a functional configuration diagram of the learning device according to the embodiment.
  • the learning device 30 has an acquisition unit 31, a detection unit 32, a rotation detection unit 33, a regularization unit 34, and an optimization unit 35. Each of these units has a function that is realized by instructions from the processor 1004 in Figure 2 based on a program.
  • the learning device 30 also has a storage unit 40 constructed using an auxiliary storage device 1002 or a memory device 1003, for storing detection model parameters (hereinafter referred to as "detection parameters”), which are machine learning models.
  • detection parameters are parameters used in detection processing for multiple scenes (camera positions or number of cameras).
  • the acquisition unit 31 acquires learning data from 50 and outputs it to the detection unit 32 and the rotation detection unit 33.
  • the learning data includes a set of input data and correct answer data.
  • the input data is image data obtained by capturing images using a camera (an example of a photographing device). These images include moving images and still images.
  • the correct answer data is data indicating the position of a predetermined target (object) in an image related to the image data. Specifically, the correct answer data indicates the position of the predetermined target as a correct answer when the area shown in multiple images is viewed from above.
  • the detection unit 32 performs detection processing (extraction of features, detection of the position of a specified object using a multi-layer perceptron) using a convolutional neural network (CNN) based on MVDet (multi-view multi-class object detection without ground plane assumption) or the like.
  • CNN convolutional neural network
  • the detection unit 32 acquires detection parameters from the storage unit 40 and acquires training data from the acquisition unit 31. The detection unit 32 then uses the detection parameters to extract image features from the image data in the training data.
  • the detection unit 32 uses the detection parameters to perform position detection of a predetermined target (an example of first position detection) for the feature extracted by itself, and outputs an intermediate processing result (an example of a first intermediate processing result) that is an intermediate result of this position detection processing to the regularization unit 34. Note that other processing may be used as long as appropriate feature extraction and detection are performed.
  • the intermediate processing result is a first intermediate feature obtained by converting the feature based on the detection parameters.
  • the detection unit 32 also calculates a detection loss L1 to reduce the difference between the detection result of detecting the position of a specific object in the image and the correct data (to bring the detection result closer to the correct data).
  • the detection unit 32 then outputs the detection loss L1 and detection parameters to the optimization unit 35.
  • This detection loss L1 is assumed to be the mean square error used in Non-Patent Document 1, but other losses may also be used.
  • the detection loss L1 is an example of a first loss.
  • the rotation detection unit 33 executes feature extraction processing by CNN based on MVDet or the like, and detection processing of the position of a predetermined target using a multi-layer perceptron.
  • the rotation detection unit 33 acquires detection parameters from the storage unit 40 and acquires training data from the acquisition unit 31. The rotation detection unit 33 then uses the detection parameters to extract image features from the image data in the training data.
  • the rotation detection unit 33 is able to use the same ground truth data as the detection unit 32, but performs a predetermined rotation process on the features it has extracted so that the scene (position or number of cameras) is different. Specifically, the rotation detection unit 33 rotates the image features by a randomly selected predetermined angle ⁇ , thereby artificially changing the position or number of cameras that obtained the image data.
  • the rotation detection unit 33 uses the detection parameters to perform the same processing as the detection unit 32 on the feature values after its own rotation, thereby detecting the position of a predetermined object (an example of second position detection), and outputs the intermediate processing result after rotation (rotation intermediate processing result), which is the intermediate result of this position detection processing, to the regularization unit 34.
  • the rotation intermediate processing result is an example of a second intermediate processing result, and is a second intermediate feature value obtained by converting the feature values after rotation based on the detection parameters.
  • the rotation detection unit 33 also calculates a post-rotation detection loss (rotation detection loss) L2 to reduce the difference between the detection result of detecting the position of a specified target in the rotated image and the correct data (to bring the detection processing result closer to the correct data).
  • the rotation detection unit 33 then outputs the rotation detection loss L2 to the optimization unit 35.
  • the rotation detection loss L2 is an example of a second loss.
  • the regularization unit 34 calculates a regularization loss L3 for imposing constraints so that rotation-invariant feature quantities can be extracted even when the scene (position or number of cameras) changes. Specifically, the regularization unit 34 uses a mean square error for minimizing the difference between the Gram matrices of the feature quantities to regularize feature portions other than the change in the positional relationship (rotation) of the specified object, in order to bring about a transformation for eliminating the change in the positional relationship of the specified object due to rotation. Note that a method other than the mean square error may be used as long as it brings about a transformation for appropriately eliminating the change in the positional relationship due to rotation. The regularization unit 34 then outputs the regularization loss L3 to the optimization unit 35. Note that the regularization loss L3 is an example of a third loss.
  • the optimization unit 35 acquires the detection loss L1 and the detection parameters from the detection unit 32, the rotation detection loss L2 from the rotation detection unit 33, and the regularization loss L3 from the regularization unit 34. Note that the optimization unit 35 may acquire the detection parameters not from the detection unit 32 but from the rotation detection unit 33 or the storage unit 40. Then, the optimization unit 35 updates the detection parameters using the acquired three losses (detection loss L1, rotation detection loss L2, and regularization loss L3), and stores the updated detection parameters in the storage unit 40.
  • FIG. 4 is a flowchart showing the overall processing of the learning device.
  • S1 The detection unit 32 and the rotation detection unit 33 acquire detection parameters stored in the memory unit 40.
  • the acquisition unit 31 outputs the learning data acquired from the database server 50 to the detection unit 32 and the rotation detection unit 33.
  • the detection unit 32 performs detection processing (extraction of features and detection of the position of a specified target) on image data from the training data, outputs the intermediate processing results, which are the results of the detection processing, to the regularization unit 34, calculates a detection loss L1 to bring the detection processing results closer to the correct data, and outputs the detection loss L1 and detection parameters to the optimization unit 35.
  • the rotation detection unit 33 performs a detection process that introduces rotation of the feature values, outputs the intermediate rotation processing result, which is the intermediate result of the detection process, to the regularization unit 34, calculates a rotation detection loss L2 to bring the detection process result closer to the correct data, and outputs the rotation detection loss L2 to the optimization unit 35.
  • the regularization unit 34 calculates the regularization loss L3 based on the intermediate processing results obtained from the detection unit 32 and the rotation intermediate processing results obtained from the rotation detection unit 33, and outputs the regularization loss L3 to the optimization unit 35.
  • the optimization unit 35 updates the detection parameters based on the detection loss L1, rotation detection loss L2, and regularization loss L3, and stores them in the storage unit 40.
  • FIG. 5 is a flowchart showing the processing of the detection unit.
  • the detection unit 32 acquires detection parameters from the storage unit 40.
  • the detection unit 32 acquires training data from the acquisition unit 31.
  • the detection unit 32 performs detection processing (extraction of features and detection of the position of specified objects) on the training data using the detection parameters.
  • the detection unit 32 outputs the intermediate processing results of the detection process performed in process S13 to the regularization unit 34.
  • the detection unit 32 calculates the detection loss L1 to bring the detection result of process S13 closer to the correct data in the training data.
  • the detection unit 32 outputs the detection loss L1 calculated in process S15 and the detection parameters used in the detection process in process S13 to the optimization unit 35.
  • FIG. 6 is a flowchart showing the process of the rotation detection unit.
  • the rotation detection unit 33 acquires detection parameters from the memory unit 40.
  • the rotation detection unit 33 acquires learning data from the acquisition unit 31.
  • the rotation detection unit 33 first extracts image features as part of the detection process for the training data using the detection parameters.
  • the rotation detection unit 33 rotates the image features extracted in step S23 by a randomly selected predetermined angle ⁇ , and detects the position of a predetermined target using the rotated features.
  • the rotation detection unit 33 outputs the intermediate processing results of the position detection for the feature amounts after rotation performed in step S24 (rotation intermediate processing results) to the regularization unit 34.
  • the rotation detection unit 33 calculates the rotation detection loss L2 to bring the detection result of the position detection performed in process S24 closer to the correct data in the training data, and outputs the rotation detection loss L2 to the optimization unit 35.
  • FIG. 7 is a flowchart showing the processing of the regularization unit.
  • the regularization unit 34 acquires the intermediate processing result from the detection unit 32 and acquires the rotation intermediate processing result from the rotation detection unit 33.
  • the regularization unit 34 calculates a regularization loss L3 to impose constraints so that rotation-invariant features can be extracted even if the scene (camera position or number) changes.
  • the regularization unit 34 outputs the regularization loss L3 to the optimization unit 35.
  • FIG. 8 is a flowchart showing the process of the optimization unit.
  • the optimization unit 35 acquires the detection loss L1 and detection parameters from the detection unit 32, the rotation detection loss L2 from the rotation detection unit 33, and the regularization loss L3 from the regularization unit 34.
  • the optimization unit 35 updates the detection parameters using the three acquired losses (detection loss L1, rotation detection loss L2, and regularization loss L3), and stores the updated detection parameters in the storage unit 40.
  • the rotation detector 33 rotates the extracted feature amount to achieve scene data expansion and regularization effects.
  • the image itself related to the image data which is the input data, is rotated to increase the variation of the input data and achieve the regularization effect.
  • This process differs only from the above-described process (processing by the rotation detector), and therefore, only the other process by the rotation detector will be described below, and a description of the other process will be omitted.
  • FIG. 9 is a flowchart showing the process of the rotation detection unit (when rotating an input image).
  • the rotation detection unit 33 acquires detection parameters from the memory unit 40.
  • the rotation detection unit 33 acquires learning data from the acquisition unit 31.
  • the rotation detection unit 33 rotates the image corresponding to the image data in the learning data acquired in step S52 by a randomly selected predetermined angle ⁇ .
  • the rotation detection unit 33 uses the detection parameters to perform detection processing (extraction of features and detection of the position of specified objects) on the rotated image data.
  • the rotation detection unit 33 outputs the intermediate processing result of the detection process on the rotated image data performed in step S54 (rotation intermediate processing result) to the regularization unit 34.
  • the rotation detection unit 33 calculates the rotation detection loss L2' to bring the detection result of process S54 closer to the correct data in the training data, and outputs the rotation detection loss L2' to the optimization unit 35.
  • the optimization unit 35 updates the detection parameters using three losses (detection loss L1, rotation detection loss L2', and regularization loss L3), and stores the updated detection parameters in the storage unit 40.
  • the position or number of cameras that acquired the image data is changed in a simulated manner by rotating the image feature by a predetermined angle ⁇ .
  • This has the effect of suppressing overlearning with limited training data in the detection process of a predetermined target (object) for image data acquired from various scenes (positions or numbers of cameras).
  • the practicality of detection processing for images of various scenes will be improved even in situations where it is difficult to prepare a large amount of training data.
  • the present disclosure is not limited to the above-described embodiments, and may have, for example, the following configurations or processes (operations).
  • the learning device 30 can be realized using a computer and a program, but this program can also be recorded on a (non-temporary) recording medium or provided via a communication network 100 such as the Internet.
  • the hardware processor 1004 may be single or multiple.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、様々なシーンにより得られた画像データに対する所定の対象(物体)の検出処理において、限られた学習データに対して過学習を抑制することを目的とする。　そのため、本開示は、画像データから所定の対象の検出処理に用いられる機械学習モデルを学習する学習装置であって、前記画像データの特徴量に対して所定の対象の第１の位置検出を行なう途中結果である第１の中間処理結果と、前記画像データの特徴量又は前記画像データに係る画像に対して所定の回転を行なうことで得た回転後の特徴量に対して前記所定の対象の第２の位置検出を行なう途中結果である第２の中間処理結果と基づき、撮影により前記画像データを得る撮影装置の位置又は台数が変わっても前記回転に不変な特徴量を抽出することができるように制約をかけるための損失を算出し、当該損失を用いて前記機械学習モデルのモデルパラメータを更新する学習装置である。

Description

学習装置、学習方法、及びプログラム
　本開示は、画像データから所定の対象(物体)の検出処理に用いられる機械学習モデルの学習に関する。
　近年、機械学習技術、特に、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いて、画像内の被写体を検出する技術の精度向上が著しい。また、それら機械学習技術を用いた各種業務における目視工程の自動化を推進する技術が注目を集めている。
　撮像された画像から被写体を検出することで、業務の目視工程の自動化を推進していく場合、手前にある物体が後ろにある物体を隠す状態であるオクルージョン等の外乱が大きな課題として存在する。例えば、多くの人が映り込んでいる画像から特定の人を検出しようとする場合、特定の人が他の人に隠れていることでオクルージョンが発生し、正確な検出が困難となる。このようなオクルージョンが発生した場合でも、特定の人の正確な検出ができるように、近年、複数のカメラを用いた検出技術が盛んに研究されている。
　複数のカメラを用いた検出では、MVDet(multi-view multi-class object detection without ground plane assumption)が最も一般的な方法論として知られている(非特許文献１参照)。MVDetは、CNNを用いた特徴抽出を組み込むことで、高い検出性能を実現している。MVDetに基づく検出手法は、複数のカメラを用いる際の有望な手法として、現在も多くの研究がなされているが、学習時と推論時が同じシーンで撮影されている必要がある、という大きな制約が存在する。ここで、シーンとはカメラの位置又は台数を示す。CNN等の画像処理システムは、様々な用途又は環境で用いられることが想定されるため、常に学習と推論が同一シーンで行われるという前提は現実的ではない。
　この制約を緩和するために、近年、GMVD(Generalized Multi-View Detection)と呼ばれるデータセットが提案された(非特許文献２)。GMVDは、複数のシーンから構成される新たな複数のカメラにより得られる複数の画像に対する検出用のデータセットであり、これを用いて学習することで、学習していない新たなシーンに対しても汎化性能が向上することが明らかになった。
　GMVDは、従来のデータセットよりも多くのシーンを含む学習データを提供したが、それでもGMVDが提供するシーンは６シーン程度であり、十分に多いとは言えない。そのため、学習時に提示されるシーンへの過学習が問題となり得る。また、既存のMVDetに基づく手法では、過学習を回避するためのデータ拡張や正則化手法は特に提案されていなかった。
　本開示は、上述の事情に鑑みてなされたものであり、様々なシーンにより得られた画像データに対する所定の対象(物体)の検出処理において、限られた学習データに対して過学習を抑制することを目的とする。
　上記目的を達成するため、本開示は、画像データから所定の対象の検出処理に用いられる機械学習モデルを学習する学習装置であって、前記画像データの特徴量に対して所定の対象の第１の位置検出を行なう途中結果である第１の中間処理結果と、前記画像データの特徴量又は前記画像データに係る画像に対して所定の回転を行なうことで得た回転後の特徴量に対して前記所定の対象の第２の位置検出を行なう途中結果である第２の中間処理結果と基づき、撮影により前記画像データを得る撮影装置の位置又は台数が変わっても前記回転に不変な特徴量を抽出することができるように制約をかけるための損失を算出し、当該損失を用いて前記機械学習モデルのモデルパラメータを更新する学習装置である。
　以上説明したように本開示によれば、様々なシーンにより得られた画像データに対する所定の対象(物体)の検出処理において、限られた学習データに対して過学習を抑制することができるという効果を奏する。
実施形態に係る通信システムの全体構成図である。 実施形態に係る学習装置及びデータベースサーバの電気的なハードウェア構成図である。 実施形態に係る学習装置の機能構成図である。 学習装置の全体の処理を示すフローチャートである。 検出部の処理を示すフローチャートである。 回転用検出部の処理を示すフローチャートである。 正則化部の処理を示すフローチャートである。 最適化部の処理を示すフローチャートである。 回転用検出部（入力画像を回転させる場合）の処理を示すフローチャートである。
　以下、図面に基づいて本発明の実施形態を説明する。なお、本発明は、以下に示される実施形態に限定されるものではなく、本発明の技術的思想を逸脱しない範囲内で各種の変更が可能である。各図面は、本発明を概念的に説明するためのものであるから、理解容易のために必要に応じて寸法、比又は数を誇張又は簡略化して表す場合がある。
〔実施形態のシステム構成〕
　まず、図１を用いて、実施形態に係る通信システムの全体構成について説明する。図１は、実施形態に係る通信システムの全体構成図である。
　図１に示されているように、本実施形態の通信システム１０は、学習装置３０、及びデータベースサーバ５０によって構築されている。学習装置３０及びデータベースサーバ５０は、ＬＡＮ(Local Area Network)、インターネット等の通信ネットワーク１００を介して通信することができる。
　通信ネットワーク１００には、通信事業者が管理及び（又は）運営しているISP（Internet Service Provider）ネットワーク等の専用のネットワークが含まれていてもよい。通信ネットワーク１００の接続形態は、無線又は有線のいずれでも良い。
　学習装置３０は、単数又は複数のコンピュータによって構成されている。学習装置３０が複数のコンピュータによって構成されている場合には、「学習装置」と示しても良いし、「学習化システム」と示しても良い。学習装置３０は、ＰＣ(personal computer)、スマートフォン、タブレット端末である。
　学習装置３０は、プログラムの実行により、画像データから所定の対象(物体)の検出処理(画像から所定の対象の位置を検出する検出タスク)に用いられる機械学習モデルを学習する装置である。
　データベースサーバ５０は、単数又は複数のコンピュータによって構成されている。データベースサーバ５０には、複数の学習データが記憶されている。なお、学習装置３０が自装置で学習データを記憶しておいてもよい。
　〔ハードウェア構成〕
　次に、図２を用いて、学習装置３０の電気的なハードウェア構成を説明する。図２は、実施形態に係る学習装置及びデータベースサーバの電気的なハードウェア構成図である。
　図２に示すように、学習装置３０は、それぞれバス１０１０で相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、プロセッサ１００４、インターフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。
　当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、通信ネットワーク１００を介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを記憶すると共に、必要なファイルやデータ等を記憶する。
　メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して記憶する。プロセッサ１００４は、メモリ装置１００３に記憶されたプログラムに従って、当該装置に係る機能を実現する。プロセッサ１００４には、ＣＰＵ（Central Processing Unit）だけでなくＧＰＵ(Graphics Processing Unit)が含まれていてもよい。
　インターフェース装置１００５は、通信ネットワーク等に接続するためのインターフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ(Graphical User Interface）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を外部に出力する。
　なお、データベースサーバ５０は、学習装置３０と同様のハードウェア構成を有しているため、説明を省略する。
　〔学習装置の機能構成〕
　続いて、図３を用いて、学習装置３０の機能構成について説明する。図３は、実施形態に係る学習装置の機能構成図である。
　図３に示すように、学習装置３０は、取得部３１、検出部３２、回転用検出部３３、正則化部３４、最適化部３５を有する。これら各部は、プログラムに基づき図２のプロセッサ１００４による命令によって実現される機能である。また、学習装置３０は、補助記憶装置１００２又はメモリ装置１００３によって構築され、機械学習モデルである検出用モデルパラメータ（以下、「検出用パラメータ」と示す）を記憶するための記憶部４０を有している。検出用パラメータは、複数のシーン(カメラの位置又は台数)に関する検出処理に用いられるパラメータである。
　＜取得部＞
　取得部３１は、５０から学習データを取得して、検出部３２及び回転用検出部３３に出力する。学習データには、入力データ及び正解データのセットが含まれている。入力データは、カメラ(撮影装置の一例)が撮影することによって得られた画像データである。この画像には動画及び静止画が含まれる。また、正解データは、画像データに係る画像中の所定の対象(物体)の位置を示すデータである。具体的には、正解データは、複数の画像に映る領域を俯瞰した状態での所定の対象の位置を正解として示す。
　＜検出部＞
　検出部３２は、MVDet(multi-view multi-class object detection without ground plane assumption)等に基づいて、CNN(Convolutional Neural Network)により、検出処理(特徴量の抽出、多層パーセプトロンを用いた所定の対象の位置検出)を実行する。
　具体的には、検出部３２は、記憶部４０から検出用パラメータを取得すると共に、取得部３１から学習データを取得する。そして、検出部３２は、検出用パラメータを用い、学習データのうちの画像データから画像の特徴量を抽出する。
　更に、検出部３２は、検出用パラメータを用い、自己が抽出した特徴量に対して所定の対象の位置検出(第１の位置検出の一例)を行ない、この位置検出の処理の途中結果である中間処理結果(第１の中間処理結果の一例)を正則化部３４へ出力する。なお、適切な特徴量の抽出と検出が行われるのであれば、他の処理でもよい。また、中間処理結果は、検出用パラメータに基づいて特徴量を変換した第１の中間特徴量である。
　また、検出部３２は、画像における所定の対象の位置検出の検出結果と正解データとの差分を小さくするための（検出結果を正解データに近づけるための）検出損失Ｌ１を算出する。そして、検出部３２は、最適化部３５に対して、検出損失Ｌ１及び検出用パラメータを出力する。この検出損失Ｌ１については、非特許文献1で用いられているような平均二乗誤差を想定しているが、それ以外の損失であってもよい。なお、検出損失Ｌ１は、第１の損失の一例である。
　＜回転用検出部＞
　回転用検出部３３は、検出部３２と同様に、MVDet等に基づいて、CNNにより、特徴量の抽出処理と、多層パーセプトロンを用いた所定の対象の位置の検出処理とを実行する。
　具体的には、回転用検出部３３は、記憶部４０から、検出用パラメータを取得すると共に、取得部３１から学習データを取得する。そして、回転用検出部３３は、検出用パラメータを用い、学習データのうちの画像データから画像の特徴量を抽出する。
　ここで、回転用検出部３３は、検出部３２と同じ正解データを用いることが可能であり、かつ、シーン(カメラの位置又は台数)が異なるように、自己が抽出した特徴量に対して所定の回転処理を行なう。具体的には、回転用検出部３３は、ランダムに選択した所定の角度αで画像の特徴量を回転することによって、画像データを得たカメラの位置又は台数を疑似的に変更する。
　更に、回転用検出部３３は、検出用パラメータを用い、自己による回転後の特徴量に対して、検出部３２と同様の処理を行なうことで、所定の対象の位置検出(第２の位置検出の一例)を行ない、この位置検出の処理の途中結果である回転後の中間処理結果(回転中間処理結果)を正則化部３４へ出力する。なお、回転中間処理結果は、第２の中間処理結果の一例であり、検出用パラメータに基づいて回転後の特徴量を変換した第２の中間特徴量である。
　また、回転用検出部３３は、回転後の画像における所定の対象の位置検出の検出結果と正解データとの差分を小さくするための（検出処理結果を正解データに近づけるための）回転後の検出損失(回転検出損失)Ｌ２を算出する。そして、回転用検出部３３は、最適化部３５に対して、回転検出損失Ｌ２を出力する。なお、回転検出損失Ｌ２は、第２の損失の一例である。
　＜正則化部＞
　正則化部３４は、検出部３２から取得した中間処理結果、及び回転用検出部３３から取得した回転中間処理結果に基づき、シーン（カメラの位置又は台数）が変わっても、回転に不変な特徴量を抽出することができるように制約をかけるための正則化損失Ｌ３を算出する。具体的には、正則化部３４は、回転に伴う所定の対象の位置関係の変化を消失させるための変換をもたらすために、特徴量のグラム行列の差分を最小化するための平均二乗誤差を用いて、所定の対象の位置関係の変更（回転）以外の特徴部分が一致するように正則化する。なお、適切に回転に伴う位置関係の変化を消失させる変換をもたらすのであれば、平均二乗誤差以外の手法を用いてもよい。そして、正則化部３４は、正則化損失Ｌ３を最適化部３５に出力する。なお、正則化損失Ｌ３は、第３の損失の一例である。
　＜最適化部＞
　最適化部３５は、検出部３２から検出損失Ｌ１及び検出用パラメータ、回転用検出部３３から回転検出損失Ｌ２、並びに正則化部３４から正則化損失Ｌ３を取得する。なお、最適化部３５は、検出部３２からではなく、回転用検出部３３から又は記憶部４０から、検出用パラメータを取得してもよい。そして、最適化部３５は、取得した３つの損失（検出損失Ｌ１、回転検出損失Ｌ２、正則化損失Ｌ３）を用いて、検出用パラメータを更新し、更新後の検出用パラメータを記憶部４０に記憶する。
　〔実施形態に係る処理〕
　続いて、図４乃至図９を用いて、本実施形態の処理を説明する。
　＜全体の処理＞
　図４は、学習装置の全体の処理を示すフローチャートである。
　Ｓ１：検出部３２及び回転用検出部３３は、記憶部４０に記憶されている検出用パラメータを取得する。
　Ｓ２：取得部３１は、データベースサーバ５０から取得した学習データを、検出部３２及び回転用検出部３３に出力する。
　Ｓ３：検出部３２は、学習データのうちの画像データに対して検出処理(特徴量の抽出及び所定の対象の位置検出)を行なうことで、その検出処理の途中結果である中間処理結果を正則化部３４へ出力し、検出処理結果を正解データに近づけるための検出損失Ｌ１を算出すると共に検出損失Ｌ１及び検出用パラメータを最適化部３５に出力する。
　Ｓ４：回転用検出部３３は、特徴量の回転を導入した検出処理を行い、その検出処理の途中結果である回転中間処理結果を正則化部３４に出力し、検出処理結果を正解データに近づけるための回転検出損失Ｌ２を算出すると共に回転検出損失Ｌ２を最適化部３５に出力する。
　Ｓ５：正則化部３４は、検出部３２から取得した中間処理結果、及び回転用検出部３３から取得した回転中間処理結果に基づき、正則化損失Ｌ３を算出し、正則化損失Ｌ３を最適化部３５に出力する。
　Ｓ６：最適化部３５は、検出損失Ｌ１、回転検出損失Ｌ２、及び正則化損失Ｌ３に基づいて、検出用パラメータを更新して、記憶部４０に記憶する。
　Ｓ７：そして、検出用パラメータの学習が終了した場合には(ＹＥＳ)、学習装置３０の全体の処理が終了する。一方、検出用パラメータの学習が終了していない場合には(ＮＯ)、処理Ｓ１に戻り、次の学習データに対して機械学習が行われる。
　＜各部の詳細な処理＞
　続いて、各部の詳細な処理について説明する。
　（検出部の処理）
　図５は、検出部の処理を示すフローチャートである。
　Ｓ１１：検出部３２は、記憶部４０から検出用パラメータを取得する。
　Ｓ１２：検出部３２は、取得部３１から学習データを取得する。
　Ｓ１３：検出部３２は、検出用パラメータを用いて学習データに対する検出処理(特徴量の抽出及び所定の対象の位置検出)を行なう。
　Ｓ１４：検出部３２は、処理Ｓ１３で行った検出処理の中間処理結果を正則化部３４へ出力する。
　Ｓ１５：検出部３２は、処理Ｓ１３の検出結果を学習データにおける正解データに近づけるための検出損失Ｌ１を算出する。
　Ｓ１６：検出部３２は、処理Ｓ１５で算出した検出損失Ｌ１、及び処理Ｓ１３で検出処理に用いた検出用パラメータを最適化部３５に出力する。
　（回転用検出部の処理）
　図６は、回転用検出部の処理を示すフローチャートである。
　Ｓ２１：回転用検出部３３は、記憶部４０から検出用パラメータを取得する。
　Ｓ２２：回転用検出部３３は、取得部３１から学習データを取得する。
　Ｓ２３：回転用検出部３３は、検出用パラメータを用いた学習データに対する検出処理のうち、まずは画像の特徴量を抽出する。
　Ｓ２４：回転用検出部３３は、処理Ｓ２３で抽出した画像の特徴量をランダムに選択した所定の角度αで回転し、この回転後の特徴量に対して所定の対象の位置検出を行なう。
　Ｓ２５：回転用検出部３３は、処理Ｓ２４で行った回転後の特徴量に対する位置検出の中間処理結果（回転中間処理結果）を正則化部３４に出力する。
　Ｓ２６：回転用検出部３３は、処理Ｓ２４で行った位置検出の検出結果を学習データにおける正解データに近づけるための回転検出損失Ｌ２を算出し、最適化部３５に回転検出損失Ｌ２を出力する。
　（正則化部の処理）
　図７は、正則化部の処理を示すフローチャートである。
　Ｓ３１：正則化部３４は、検出部３２から中間処理結果を取得し、回転用検出部３３から回転中間処理結果を取得する。
　Ｓ３２：正則化部３４は、中間処理結果及び回転中間処理結果に基づき、シーン（カメラの位置又は台数）が変わっても、回転に不変な特徴量を抽出することができるように制約をかけるための正則化損失Ｌ３を算出する。
　Ｓ３３：正則化部３４は、正則化損失Ｌ３を最適化部３５に出力する。
　（最適化部の処理）
　図８は、最適化部の処理を示すフローチャートである。
　Ｓ４１：最適化部３５は、検出部３２から検出損失Ｌ１及び検出用パラメータ、回転用検出部３３から回転検出損失Ｌ２、並びに正則化部３４から正則化損失L3を取得する。
　Ｓ４２：最適化部３５は、取得した３つの損失（検出損失Ｌ１、回転検出損失Ｌ２、正則化損失Ｌ３）を用いて、検出用パラメータを更新し、更新後の検出用パラメータを記憶部４０に記憶する。
　〔実施形態に係る他の処理〕
　続いて、図９を用いて、実施形態に係る他の処理について説明する。上記実施形態では、回転用検出部３３が、抽出した特徴量を回転させることでシーンのデータ拡張及び正則化効果を実現していた。これに対して、他の処理では、入力データである画像データに係る画像そのものを回転させることで、入力データのバリエーションを増やし、正則化効果を実現する。この処理は、上述の（回転用検出部の処理）のみが異なるため、以下では、回転用検出部の他の処理のみを説明し、他の処理の説明は省略する。
　（回転用検出部の他の処理）
　図９は、回転用検出部（入力画像を回転させる場合）の処理を示すフローチャートである。
　Ｓ５１：回転用検出部３３は、記憶部４０から検出用パラメータを取得する。
　Ｓ５２：回転用検出部３３は、取得部３１から学習データを取得する。
　Ｓ５３：回転用検出部３３は、処理Ｓ５２で取得した学習データのうちの画像データに係る画像を、ランダムに選択した所定の角度αに回転する。
　Ｓ５４：回転用検出部３３は、検出用パラメータを用いて回転後の画像データに対する検出処理(特徴量の抽出及び所定の対象の位置検出)を行なう。
　Ｓ５５：回転用検出部３３は、処理Ｓ５４で行った回転後の画像データに対する検出処理の中間処理結果(回転中間処理結果)を正則化部３４に出力する。
　Ｓ５６：回転用検出部３３は、処理Ｓ５４の検出結果を学習データにおける正解データに近づけるための回転検出損失Ｌ２'を算出し、最適化部３５に回転検出損失Ｌ２'を出力する。
　なお、この場合、最適化部３５は、３つの損失（検出損失Ｌ１、回転検出損失Ｌ２'、正則化損失Ｌ３）を用いて、検出用パラメータを更新し、更新後の検出用パラメータを記憶部４０に記憶する。
　〔実施形態の主な効果〕
　以上のように、本実施形態によれば、所定の角度αで画像の特徴量を回転することによって、画像データを得たカメラの位置又は台数を疑似的に変更する。これにより、様々なシーン(カメラの位置又は台数)により得られた画像データに対する所定の対象(物体)の検出処理において、限られた学習データに対して過学習を抑制することができるという効果を奏する。また、学習データを大量に用意することが困難な状況においても、様々なシーンの画像に対する検出処理の実用可能性が高まることが期待される。
　〔補足〕
　本開示は上述の実施形態に限定されるものではなく、例えば、以下に示すような構成又は処理（動作）であってもよい。
　（１）学習装置３０はコンピュータとプログラムによっても実現できるが、このプログラムを（非一時的）記録媒体に記録することも、インターネット等の通信ネットワーク１００を介して提供することも可能である。
　（２）ハードウェアであるプロセッサ１００４は、単一であっても複数であってもよい。
１０　通信システム
３０　学習装置
３１　取得部
３２　検出部
３３　回転用検出部
３４　正則化部
３５　最適化部
４０　記憶部

Claims (4)

  1. 　画像データから所定の対象の検出処理に用いられる機械学習モデルを学習する学習装置であって、
    　前記画像データの特徴量に対して所定の対象の第１の位置検出を行なう途中結果である第１の中間処理結果と、前記画像データの特徴量又は前記画像データに係る画像に対して所定の回転を行なうことで得た回転後の特徴量に対して前記所定の対象の第２の位置検出を行なう途中結果である第２の中間処理結果と基づき、撮影により前記画像データを得る撮影装置の位置又は台数が変わっても前記回転に不変な特徴量を抽出することができるように制約をかけるための損失を算出し、当該損失を用いて前記機械学習モデルのモデルパラメータを更新する学習装置。
  2. 　請求項１に記載の学習装置であって、
    　前記機械学習モデルのモデルパラメータを用いて、前記画像データから特徴量を抽出し、当該特徴量に対して所定の対象の前記第１の位置検出を行ない、当該第１の位置検出の処理の途中結果である前記第１の中間処理結果を出力すると共に、前記第１の位置検出の検出結果と前記画像データにおける前記所定の対象の位置を示す正解データとの差分に基づき第１の損失を算出する検出部と、
    　前記モデルパラメータを用いて、前記画像データから特徴量を抽出して当該特徴量に対して所定の回転を行なうことで得た又は前記画像データに係る画像に対して所定の回転を行なった後の前記画像データから抽出することで得た前記回転後の特徴量に対して、前記所定の対象の前記第２の位置検出を行ない、当該第２の位置検出の処理の途中結果である前記第２の中間処理結果を出力すると共に、前記第２の位置検出の検出結果と前記画像データにおける前記所定の対象の位置を示す正解データとの差分に基づき第２の損失を算出する回転用検出部と、
    　前記第１の中間処理結果及び前記第２の中間処理結果に基づき、撮影により前記画像データを得る撮影装置の位置又は台数が変わっても前記回転に不変な特徴量を抽出することができるように制約をかけるための前記損失である第３の損失を算出する正則化部と、
    　前記第１の損失、前記第２の損失、及び前記第３の損失を用いて、前記機械学習モデルのモデルパラメータを更新する最適化部と、
    　を有する学習装置。
  3. 　画像データから所定の対象の検出処理に用いられる機械学習モデルを学習する学習装置が行う学習方法であって、
    　前記画像データの特徴量に対して所定の対象の第１の位置検出を行なう途中結果である第１の中間処理結果と、前記画像データの特徴量又は前記画像データに係る画像に対して所定の回転を行なうことで得た回転後の特徴量に対して前記所定の対象の第２の位置検出を行なう途中結果である第２の中間処理結果と基づき、撮影により前記画像データを得る撮影装置の位置又は台数が変わっても前記回転に不変な特徴量を抽出することができるように制約をかけるための損失を算出し、当該損失を用いて前記機械学習モデルのモデルパラメータを更新する学習方法。
  4. 　コンピュータに、請求項３に記載の方法を実行させるプログラム。
PCT/JP2024/020423 2024-06-04 2024-06-04 学習装置、学習方法、及びプログラム Pending WO2025253522A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/020423 WO2025253522A1 (ja) 2024-06-04 2024-06-04 学習装置、学習方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/020423 WO2025253522A1 (ja) 2024-06-04 2024-06-04 学習装置、学習方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2025253522A1 true WO2025253522A1 (ja) 2025-12-11

Family

ID=97960403

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/020423 Pending WO2025253522A1 (ja) 2024-06-04 2024-06-04 学習装置、学習方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2025253522A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024011942A (ja) * 2022-07-15 2024-01-25 日本電信電話株式会社 学習装置、学習方法及び学習プログラム
JP2024025181A (ja) * 2022-08-10 2024-02-26 公益財団法人がん研究会 情報処理装置、情報処理方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024011942A (ja) * 2022-07-15 2024-01-25 日本電信電話株式会社 学習装置、学習方法及び学習プログラム
JP2024025181A (ja) * 2022-08-10 2024-02-26 公益財団法人がん研究会 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
US11232286B2 (en) Method and apparatus for generating face rotation image
US20240046557A1 (en) Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model
JP7624639B2 (ja) モデル訓練方法、人体姿勢検出方法、装置、デバイスおよび記憶媒体
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
US20220282993A1 (en) Map fusion method, device and storage medium
EP4085369A1 (en) Forgery detection of face image
WO2022241874A1 (zh) 一种红外热成像单目视觉测距方法及相关组件
EP3928248A1 (en) Neural network for skeletons from input images
US12086212B2 (en) Burst image-based image restoration method and apparatus
Saini et al. A review on particle swarm optimization algorithm and its variants to human motion tracking
US20200020137A1 (en) Cross-device supervisory computer vision system
Piatkowska et al. Improved cooperative stereo matching for dynamic vision sensors with ground truth evaluation
WO2020204898A1 (en) Multi-view iterative matching pose estimation
CN116246026B (zh) 三维重建模型的训练方法、三维场景渲染方法及装置
CN113706577A (zh) 一种图像处理方法、装置和计算机可读存储介质
KR20210063223A (ko) 멀티태스크 융합 신경망 아키텍처
US12626506B2 (en) Method and system for detecting changes in areas
US20250200896A1 (en) Coherent three-dimensional portrait reconstruction via undistorting and fusing triplane representations
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN118657976A (zh) 工业密集检测场景中目标检测模型训练方法、检测方法及系统
Karpur et al. Lfm-3d: Learnable feature matching across wide baselines using 3d signals
CN110889316B (zh) 一种目标对象识别方法、装置及存储介质
KR20230142912A (ko) 모델링된 3차원 오브젝트의 최적화 방법, 서버 및 컴퓨터 프로그램
CN112750164B (zh) 轻量化定位模型的构建方法、定位方法、电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24942613

Country of ref document: EP

Kind code of ref document: A1