JP2024068400A - 機械学習プログラム、機械学習方法および機械学習装置 - Google Patents

機械学習プログラム、機械学習方法および機械学習装置 Download PDF

Info

Publication number
JP2024068400A
JP2024068400A JP2022178823A JP2022178823A JP2024068400A JP 2024068400 A JP2024068400 A JP 2024068400A JP 2022178823 A JP2022178823 A JP 2022178823A JP 2022178823 A JP2022178823 A JP 2022178823A JP 2024068400 A JP2024068400 A JP 2024068400A
Authority
JP
Japan
Prior art keywords
face image
machine learning
face
model
inference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022178823A
Other languages
English (en)
Inventor
亮介 川村
紀子 池本(武村)
一 長原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Osaka University NUC
Original Assignee
Fujitsu Ltd
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Osaka University NUC filed Critical Fujitsu Ltd
Priority to JP2022178823A priority Critical patent/JP2024068400A/ja
Priority to US18/228,679 priority patent/US20240153248A1/en
Publication of JP2024068400A publication Critical patent/JP2024068400A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】汎化性能を向上する。【解決手段】記憶部11は、顔画像の入力に応じた第1の推論結果を出力する第1のモデル20により出力される、複数の顔画像それぞれに対応する第1の推論結果を記憶する。処理部12は、複数の顔画像のうち、それぞれの第1の推論結果41,42に応じた距離が閾値を超える第1の顔画像31と第2の顔画像32とを選択する。処理部12は、第1の顔画像31と第2の顔画像32とを合成した第3の顔画像51を用いて、顔画像の入力に応じて第2の推論結果を出力する第2のモデル60の機械学習を実行する。【選択図】図1

Description

本発明は機械学習プログラム、機械学習方法および機械学習装置に関する。
現在、カメラにより人間の顔を撮像した画像(顔画像)を基に人間の表情を認識するシステムが開発されている。表情の認識では、コンピュータが、機械学習によって生成されたモデルを用いて、顔画像から人間の喜び、怒り、恐怖、驚きなどの感情を推定することがある。モデルは、例えば、深層学習(DL:Deep Learning)によって生成されるニューラルネットワークである。
なお、物体認識タスクに用いられるモデルの機械学習において、ランダムな割合で2つの画像を透過合成処理するとともに、ラベルも同様の割合で加重平均をとるMixUpと呼ばれる処理により、擬似的に新たな訓練データを生成する方法が提案されている。
Hongyi Zhang、他3名、"mixup: Beyond Empirical Risk Minimization"、[online]、2017年10月25日、arXiv:1710.09412[cs.LG]、[令和4年8月16日検索]、インターネット<URL:https://arxiv.org/pdf/1710.09412.pdf>
顔画像を訓練データとする機械学習では、アノテーションにコストがかかり、訓練データの大規模化が難しい。訓練データが少量であるほど、過学習が起きる可能性が高くなり、構築されるモデルの汎化性能が低下する。
そこで、上記提案のように、例えばランダムに選択された2つの顔画像の合成により新たな訓練データを生成し、訓練データの量を増やすことが考えられる。しかし、モデルのタスクによっては、顔画像の分類先となるクラスが少ないことがある。例えば表情認識タスクの場合、喜びや怒りなどの感情の種類は比較的少ない。また、顔画像によっては、「恐怖による驚き」のように、主クラス以外のクラスの成分が混ざっていることがある。
このため、例えば2つの顔画像をランダムに選択して合成する方法では、クラス分類の観点から似通った顔画像が合成対象として選択される可能性があり、結果的に元の訓練データと似た訓練データが生成されることがある。しかし、一様な訓練データを増やしても、モデルの汎化性能の向上を図ることはできない。
1つの側面では、本発明は、汎化性能を向上することを目的とする。
1つの態様では、コンピュータに以下の処理を実行させる機械学習プログラムが提供される。コンピュータは、顔画像の入力に応じて第1の推論結果を出力する第1のモデルにより出力される、複数の顔画像それぞれに対応する第1の推論結果を取得する。コンピュータは、複数の顔画像のうち、それぞれの第1の推論結果に応じた距離が閾値を超える第1の顔画像と第2の顔画像とを選択する。コンピュータは、第1の顔画像と第2の顔画像とを合成した第3の顔画像を用いて、顔画像の入力に応じて第2の推論結果を出力する第2のモデルの機械学習を実行する。
また、1つの態様では、コンピュータが実行する機械学習方法が提供される。また、1つの態様では、記憶部と処理部とを有する機械学習装置が提供される。
1つの側面では、汎化性能を向上できる。
第1の実施の形態の機械学習装置の例を説明する図である。 第2の実施の形態の機械学習装置のハードウェア例を示す図である。 機械学習装置の機能例を示すブロック図である。 顔動画に対応する感情要素の分布の例を示す図である。 機械学習の例を示す図である。 事前モデルの出力の例を示す図である。 事前モデルのモデル構造の例を示す図である。 事前モデルの処理例を示す図である。 2つの画像の透過合成の例を示す図である。 感情要素の分布の合成例を示す図である。 顔動画のペアの第1の選択例を示す図である。 顔動画における表情変化の例を示す図である。 顔動画のペアの第2の選択例を示す図である。 機械学習の手順例を示すフローチャートである。 第3の実施の形態の機械学習装置の機能例を示すブロック図である。 機械学習の手順例を示すフローチャートである。
以下、本実施の形態について図面を参照して説明する。
[第1の実施の形態]
第1の実施の形態を説明する。
図1は、第1の実施の形態の機械学習装置の例を説明する図である。
第1の実施の形態の機械学習装置10は、顔画像の入力に応じて、顔画像に対応する感情などの推論結果を出力するモデルを機械学習によって生成する。機械学習装置10を、情報処理装置やコンピュータなどと言うこともできる。機械学習装置10は、クライアント装置でもよいしサーバ装置でもよい。
機械学習装置10は、記憶部11および処理部12を有する。記憶部11は、RAM(Random Access Memory)などの揮発性の半導体メモリでもよいし、HDD(Hard Disk Drive)やフラッシュメモリなどの不揮発性ストレージでもよい。処理部12は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)などのプロセッサである。ただし、処理部12は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの特定用途の電子回路を含んでもよい。プロセッサは、RAMなどのメモリ(記憶部11でもよい)に記憶されたプログラムを実行する。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うことがある。
記憶部11は、第1のモデル20、顔画像群30および推論結果群40を記憶する。第1のモデル20は、機械学習により事前に作成済のモデルである。モデルは、推論モデル、学習済モデルまたは認識モデルなどと言われてもよい。第1のモデル20は、顔画像の入力に応じて第1の推論結果を出力する。第1のモデル20には、例えばニューラルネットワークが用いられる。顔画像群30は、第1のモデル20に入力される顔画像のセットである。顔画像は静止画像でもよいし、動画像でもよい。推論結果群40は、顔画像に対して第1のモデル20が出力する第1の推論結果のセットである。
第1の推論結果は、入力された顔画像から推定される、喜怒哀楽などの複数の感情要素それぞれが含まれる確率の分布、すなわち、複数の感情要素それぞれの確率を示すクラス分類結果を含んでもよい。この場合、第1の推論結果は、各感情要素の確率を要素として含むベクトルで表される。第1の推論結果は、顔画像が所定数のフレームを含む動画像である場合に、各フレームの重みを示すアテンション(attention)を含んでもよい。アテンションは注意度や注目度などと言われてもよい。アテンションは、どのフレームがどの程度推論に寄与しているかを示す指標である。一例では、アテンションは表情変化の度合いの大きさを示す。感情は表情に表出される。このため、表情変化の度合いが大きいフレームほど、感情に関する推論への寄与が大きい。アテンションが用いられる場合、第1の推論結果は、例えば各フレームにおける表情変化の度合いを要素として含むベクトルで表される。
処理部12は、推論結果群40を取得する。処理部12は、第1のモデル20に顔画像群30に含まれる各顔画像を入力することで、推論結果群40を取得してもよい。処理部12は、顔画像群30および推論結果群40を予め記憶する記憶装置から推論結果群40を取得してもよい。後者の場合、第1のモデル20は、記憶部11に記憶されなくてもよい。第1のモデル20は、機械学習装置10の外部の記憶装置に記憶されてもよい。
処理部12は、顔画像群30のうち、それぞれの第1の推論結果に応じた距離が閾値を超える第1の顔画像と第2の顔画像とを選択する。閾値は予め設定される。閾値をL0とする。距離は、2つのベクトルに対して計算されるユークリッド距離である。
例えば、顔画像群30は顔画像31,32,33を含む。推論結果群40は推論結果41,42,43を含む。推論結果41は、顔画像31に対応する第1のモデル20の推論結果である。推論結果42は、顔画像32に対応する第1のモデル20の推論結果である。推論結果43は、顔画像33に対応する第1のモデル20の推論結果である。
例えば、処理部12は推論結果41,42に応じた距離L1を計算する。距離L1は、閾値L0より大きい。この場合、処理部12は、顔画像31,32のペアを合成対象として選択する。
また、処理部12は推論結果41,43に応じた距離L2を計算する。距離L2は、閾値L0以下である。この場合、処理部12は、顔画像31,33のペアを合成対象として選択しない。同様に、処理部12は、推論結果42,43に基づく距離と閾値L0との比較に応じて、顔画像32,33のペアを合成対象として選択し得る。
処理部12は、第1の顔画像と第2の顔画像とを合成した第3の顔画像を用いて、顔画像の入力に応じて第2の推論結果を出力する第2のモデル60の機械学習を実行する。例えば、処理部12は、選択した顔画像31,32を合成することで、顔画像51を生成する。そして、処理部12は、顔画像51を用いて第2のモデル60の機械学習を実行する。第2のモデル60の機械学習には、顔画像群30に含まれる各顔画像も利用される。第2のモデル60には、例えばニューラルネットワークが用いられる。第2のモデル60のモデル構造は、第1のモデル20と同じでもよいし、異なってもよい。第2のモデル60による第2の推論結果は、顔画像に対して推定された感情を示す情報を含み得る。
顔画像31,32の合成には、透過合成が用いられてもよい。1つ目の画像の画素値のベクトルをX1、2つ目の画像の画素値のベクトルをX2とし、透過合成における1つ目の画像の画素値の割合をλ(0<λ<1)とする。すると、透過合成は、λX1+(1-λ)X2と表される。1つ目の画像のラベルをy1、2つ目の画像のラベルをy2とすると、合成された画像のラベルyは、y=λy1+(1-λ)y2と計算される。ラベルは、機械学習において、顔画像と共に訓練データとして用いられる情報である。ラベルは、各顔画像に対して予め与えられる。ラベルは、第1のモデル20が出力する感情要素の分布でもよいし、当該感情要素とは異なる感情要素の分布でもよい。
第1の実施の形態の機械学習装置10によれば、顔画像の入力に応じた第1の推論結果を出力する第1のモデルにより出力される、複数の顔画像それぞれに対応する第1の推論結果が取得される。複数の顔画像のうち、それぞれの第1の推論結果に応じた距離が閾値を超える第1の顔画像と第2の顔画像とが選択される。第1の顔画像と第2の顔画像とを合成した第3の顔画像を用いて、顔画像の入力に応じて第2の推論結果を出力する第2のモデルの機械学習が行われる。
これにより、モデルの汎化性能を向上できる。第1の推論結果に応じた距離がある程度離れた顔画像のペアを選択して合成することで、似通った顔画像のペアが合成されることを抑制できる。このため、訓練データの多様性を効率的に向上できる。訓練データの多様性が向上することで、機械学習により生成されるモデルの、訓練データに含まれないデータに対する識別性能、すなわち、汎化性能を向上することができる。
なお、第1の推論結果は、顔画像に対して推定された複数の感情要素それぞれの確率を示すクラス分類結果を含んでもよい。これにより、複数の感情要素のクラス分類結果が異なる顔画像同士を合成対象にでき、訓練データの多様性を効率的に向上できる。その結果、第2のモデルの汎化性能を向上できる。
また、顔画像は表情の変化を示す動画像でもよい。第1の推論結果は、顔画像に含まれる複数のフレームそれぞれの重みを示すアテンションを含んでもよい。これにより、各フレームの時系列変化が異なる顔画像同士を合成対象にでき、訓練データの多様性を効率的に向上できる。その結果、第2のモデルの汎化性能を向上できる。
また、第1の推論結果は、顔画像が表情の変化を示す動画像である場合に、顔画像に対して推定された複数の感情要素それぞれの確率を示すクラス分類結果を含んでもよい。この場合、処理部12は、当該クラス分類結果に基づく第1の距離が第1の閾値を超え、かつ、アテンションの値(アテンション値)に基づく第2の距離が第2の閾値を超える第1の顔画像と第2の顔画像とを合成対象として選択してもよい。これにより、訓練データの多様性を効率的に向上できる。その結果、第2のモデルの汎化性能を向上できる。
更に、処理部12は、第1の顔画像の第1の重みと第2の顔画像の第2の重みとを用いて第1の顔画像と第2の顔画像とを透過合成することで第3の顔画像を生成してもよい。処理部12は、第1の重みと第2の重みとを用いて第1の顔画像の第1のラベルと第2の顔画像の第2のラベルとの加重平均を計算することで第3の顔画像の第3のラベルを生成してもよい。そして、処理部12は、第3の顔画像と第3のラベルとを含む訓練データを用いて、第2のモデルの機械学習を実行してもよい。これにより、訓練データを効率的に拡張し、第2のモデルの汎化性能を向上できる。
[第2の実施の形態]
次に、第2の実施の形態を説明する。
図2は、第2の実施の形態の機械学習装置のハードウェア例を示す図である。
機械学習装置100は、CPU101、RAM102、HDD103、GPU104、入力インタフェース105、媒体リーダ106および通信インタフェース107を有する。機械学習装置100が有するこれらのユニットは、機械学習装置100の内部でバスに接続されている。CPU101は、第1の実施の形態の処理部12に対応する。RAM102またはHDD103は、第1の実施の形態の記憶部11に対応する。
CPU101は、プログラムの命令を実行するプロセッサである。CPU101は、HDD103に記憶されたプログラムやデータの少なくとも一部をRAM102にロードし、プログラムを実行する。なお、CPU101は複数のプロセッサコアを含んでもよい。また、機械学習装置100は複数のプロセッサを有してもよい。以下で説明する処理は複数のプロセッサまたはプロセッサコアを用いて並列に実行されてもよい。また、複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うことがある。
RAM102は、CPU101が実行するプログラムやCPU101が演算に用いるデータを一時的に記憶する揮発性の半導体メモリである。なお、機械学習装置100は、RAM以外の種類のメモリを備えてもよく、複数個のメモリを備えてもよい。
HDD103は、OS(Operating System)やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性の記憶装置である。なお、機械学習装置100は、フラッシュメモリやSSD(Solid State Drive)などの他の種類の記憶装置を備えてもよく、複数の不揮発性の記憶装置を備えてもよい。
GPU104は、CPU101からの命令に従って、機械学習装置100に接続されたディスプレイ111に画像を出力する。ディスプレイ111としては、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ(LCD:Liquid Crystal Display)、プラズマディスプレイ、有機EL(OEL:Organic Electro-Luminescence)ディスプレイなど、任意の種類のディスプレイを用いることができる。
入力インタフェース105は、機械学習装置100に接続された入力デバイス112から入力信号を取得し、CPU101に出力する。入力デバイス112としては、マウス、タッチパネル、タッチパッド、トラックボールなどのポインティングデバイス、キーボード、リモートコントローラ、ボタンスイッチなどを用いることができる。また、機械学習装置100に、複数の種類の入力デバイスが接続されていてもよい。
媒体リーダ106は、記録媒体113に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体113として、例えば、磁気ディスク、光ディスク、光磁気ディスク(MO:Magneto-Optical disk)、半導体メモリなどを使用できる。磁気ディスクには、フレキシブルディスク(FD:Flexible Disk)やHDDが含まれる。光ディスクには、CD(Compact Disc)やDVD(Digital Versatile Disc)が含まれる。
媒体リーダ106は、例えば、記録媒体113から読み取ったプログラムやデータを、RAM102やHDD103などの他の記録媒体にコピーする。読み取られたプログラムは、例えば、CPU101によって実行される。なお、記録媒体113は可搬型記録媒体であってもよく、プログラムやデータの配布に用いられることがある。また、記録媒体113やHDD103を、コンピュータ読み取り可能な記録媒体と言うことがある。
通信インタフェース107は、ネットワーク114に接続され、ネットワーク114を介して他の情報処理装置と通信する。通信インタフェース107は、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースでもよいし、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースでもよい。
図3は、機械学習装置の機能例を示すブロック図である。
機械学習装置100は、人物の顔を撮像した動画像の入力に応じて、人物の感情を推定するモデルを機械学習によって生成する。人物の顔を撮像した動画像は顔動画と言われる。顔動画のフレーム数は、予め定められる。1つの顔動画に含まれるフレーム数は、例えば8~20程度である。例えば、顔動画は、人物の表情の変化を一定時間撮像した動画の各フレームから、幾つかのフレームを間引くことで予め作成される。顔動画は、第1の実施の形態の顔画像の一例である。
機械学習装置100は、事前モデルDB(DataBase)120、入力部130、顔領域抽出部140、モデル出力取得部150、分布間距離算出部160、アテンション距離算出部160a、ペア生成部170、データ拡張部180および学習実行部190を有する。
事前モデルDB120は、例えば、RAM102またはHDD103の記憶領域を用いて実現される。入力部130、顔領域抽出部140、モデル出力取得部150、分布間距離算出部160、アテンション距離算出部160a、ペア生成部170、データ拡張部180および学習実行部190は、例えば、CPU101が実行するプログラムを用いて実現される。
事前モデルDB120は、事前モデルを保持する。事前モデルは、機械学習によって事前に作成された表情認識用の認識モデルである。事前モデルは、入力された顔動画における表情の変化に応じた喜怒哀楽などの感情要素の分布を出力する。また、事前モデルは、入力された顔動画の各フレームに対するアテンションを示すアテンション情報を出力する。前述のように、アテンションは、どのフレームがどの程度推論に寄与しているかを示す指標である。アテンションは表情変化の度合いの大きさを示す。表情変化の度合いが大きいほど、該当のフレームの推論への寄与は大きい。感情は表情に表出される。このため、表情変化が大きいほど、表情認識や表情認識に基づく感情の推論に寄与し易い。
なお、事前モデルは、予め用意された顔動画とラベルとのセットを用いて、機械学習装置100により作成されたものでもよい。
入力部130は、新たな認識モデルの訓練データとして用いる顔動画の入力を受け付け、顔領域抽出部140に出力する。入力部130は、予め用意された複数の顔動画を取得して、顔領域抽出部140に出力する。複数の顔動画は、外部から入力されてもよいし、RAM102またはHDD103に予め記憶されてもよい。
顔領域抽出部140は、入力された顔動画の各フレームに対して人物の顔の領域、すなわち、顔領域を抽出する。例えば、顔領域抽出部140は、画像における顔領域を認識する顔認識モデルを用いて実現される。顔領域抽出部140は、顔領域以外の情報を顔動画の各フレームから除去する加工を行う。顔領域抽出部140は、入力された複数の顔動画それぞれに対して当該加工を行い、加工後の顔動画をモデル出力取得部150およびペア生成部170に出力する。
モデル出力取得部150は、事前モデルDB120に含まれる事前モデルに、顔動画を入力することで、事前モデルの出力である推論結果を取得する。推論結果は、感情要素の分布およびアテンション情報を含む。感情要素の分布は、喜び、怒りなどの各感情要素が存在する確率を要素とするベクトルで表される。アテンション情報は、各フレームの表情変化の度合いを要素とするベクトルで表される。モデル出力取得部150は、顔動画ごとに取得される感情要素の分布を分布間距離算出部160に出力する。モデル出力取得部150は、顔動画ごとに取得されるアテンション情報をアテンション距離算出部160aに出力する。
分布間距離算出部160は、複数の顔動画それぞれに対して事前モデルにより取得された感情要素の分布を基に、任意の2つの顔動画に対する分布間距離を算出する。分布間距離は、2つの顔動画に対応する2つの感情要素の分布の間の距離である。分布間距離は、2つの感情要素の分布を示す2つのベクトルにより計算されるユークリッド距離である。分布間距離算出部160は、算出した分布間距離をペア生成部170に出力する。
アテンション距離算出部160aは、複数の顔動画それぞれに対して事前モデルにより取得されたアテンション情報を基に、任意の2つの顔動画に対するアテンション距離を算出する。アテンション距離は、2つの顔動画に対応する2つのアテンション情報の間の距離である。アテンション距離は、2つのアテンション情報を示す2つのベクトルにより計算されるユークリッド距離である。アテンション距離算出部160aは、算出したアテンション距離をペア生成部170に出力する。
ペア生成部170は、2つの顔動画に対して算出される分布間距離およびアテンション距離に基づいて、合成対象とする顔動画のペアを生成する。具体的には、ペア生成部170は、分布間距離およびアテンション距離の両方がそれぞれに対して予め定められる閾値を超える2つの顔動画を、合成対象のペアとする。なお、ペア生成部170は、分布間距離およびアテンション距離の少なくとも一方がそれぞれに対して予め定められる閾値を超える2つの顔動画を、合成対象のペアとしてもよい。ペア生成部170は、合成対象のペアである2つの顔動画をデータ拡張部180に出力する。
ペア生成部170による顔動画のペアの取得は、次のように説明することができる。事前モデルによる認識結果の分布をベクトルyとする。また、顔動画のアテンション情報(フレームアテンション)をベクトルaとする。事前モデルにより、顔動画xに対してベクトルy,aが得られる。事前モデルにより、顔動画xに対してベクトルy,aが得られる。
ペア生成部170は、(x,y,a)に対して、Dth1 >d(y,y)>Dth1 、および、Dth2 >d(a,a)>Dth2 の少なくとも一方を満たす(x,y,b)を選択する。ここで、Dth1 は、分布間距離に対し予め定められる閾値である。Dth1 は、分布間距離に対し予め定められる上限値である。ただし、Dth1 は設定されなくてもよい。また、Dth2 は、アテンション距離に対し予め定められる閾値である。Dth2 は、アテンション距離に対し予め定められる上限値である。ただし、Dth2 は設定されなくてもよい。更に、d(y,y)は、ベクトルy,y間のユークリッド距離を示す。d(a,a)は、ベクトルa,a間のユークリッド距離を示す。
データ拡張部180は、合成対象のペアである2つの顔動画を合成することで、訓練データを拡張する。顔動画の合成にはMixUpの手法による透過合成を用いることができる。合成により得られた顔動画のラベルも合成元の各顔動画のラベルを透過合成と同じ比率λ(0<λ<1)で加重平均したものが用いられる。
学習実行部190は、顔領域抽出部140により出力された顔動画と、データ拡張部180の合成により得られた顔動画とを用いて、表情認識を行う新たな認識モデルの機械学習を行う。新たな認識モデルのモデル構造は、事前モデルと同じでもよいし、異なってもよい。新たな認識モデルは、顔動画を入力とし、当該顔動画に対して推定された感情を示す情報を出力とする。
次に、顔動画に対応する感情要素の分布について説明する。
図4は、顔動画に対応する感情要素の分布の例を示す図である。
顔動画70は、ある人物の表情の変化を表す動画像である。分布300は、顔動画70に対応する感情要素の分布の例を示す。分布300は、複数の感情要素それぞれの確率を示すクラス分類結果である。感情要素には、例えば、恐怖(Fear)、驚き(Surprise)、喜び(Enjoyment)、怒り(Anger)、悲哀(Sadness)、嫌悪(Disgust)、軽蔑(Contempt)がある。分布300の横軸は、これらの感情要素を示す。分布300の縦軸は、該当の感情要素が含まれる確率を示す。顔動画70および分布300の例では、驚きの感情要素が含まれる確率が最も高く、2番目に恐怖の感情要素が含まれる確率が高く、3番目に嫌悪の感情要素が含まれる確率が高いことを示す。例えば、上記の7つの感情要素に対応するクラス(表情クラス)に顔動画70を分類する場合、顔動画70は、分布300を基に「驚き」という表情クラスに分類される。
次に、機械学習装置100による表情認識のための機械学習について説明する。
図5は、機械学習の例を示す図である。
機械学習装置100は、顔動画80と顔動画80に対するラベルとを含む訓練データを用いて、認識モデル200の機械学習を行う。ラベルは、顔動画80に対して予め付与される。ラベルは、顔動画80に対して認識モデル200が出力すべき真値を示す。顔動画80にラベルを付与する作業は、アノテーションと言われる。また、アノテーションの作業者は、アノテーターと言われる。ラベルは、ソフトラベルでもよいし、ハードラベルでもよい。ソフトラベルでは、分類先の各感情要素が含まれる割合が与えられる。ハードラベルでは、分類先の感情要素が何れであるかがone-hotのベクトルで与えられる。訓練データは、教師データと言われてもよい。
1つの顔動画に対するアノテーションは、複数人のアノテーターによる投票結果に基づいて行われる。このため、表情認識用のモデルの構築ではアノテーションにコストがかかる。
次に、事前モデルDB120に保持される事前モデルを説明する。
図6は、事前モデルの出力の例を示す図である。
事前モデル210は、顔動画80を入力とし、感情要素の分布400およびアテンション情報500を出力とする。図中、感情要素の分布400では、縦軸および感情要素の名称の記述を省略し、感情要素に対応する割合(確率)の値を横軸に記載することがある。横軸に並ぶ数値は、左から右へ向かう順に、例えば恐怖、驚き、喜び、怒り、…などの感情要素に対応する。
アテンション情報500は、顔動画80の各フレームのアテンションを示す。アテンション情報500の横軸は時間である。アテンション情報500の縦軸はアテンション、すなわち、顔動画80における各フレームの変化の度合いを示す。
次に、事前モデル210のモデル構造を説明する。
図7は、事前モデルのモデル構造の例を示す図である。
事前モデル210は、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)211、LSTM(Long Short Term Memory)212および全結合(FC:Fully Connected)層213,214を有する。事前モデル210は、顔動画に含まれる各フレームに相当する画像をフレーム順に処理する。図中、フレーム番号をtとする。
CNN211は、入力されたフレームに対して畳み込み処理を行い、LSTM212に出力する。
LSTM212は、現フレームtの畳み込み処理結果に基づいてm次元特徴量fを出力する。LSTM212により、fには過去フレームの影響が反映される。LSTM212は、fを出力する。
FC層213は、m次元特徴量であるfを1次元の値に変換する。FC層213は、変換後の値をシグモイド(sigmoid)関数に入力し、フレームtでの1次元の重み値(アテンション)αを得る。FC層213は、αを出力する。
FC層214は、特徴量fをフレームtでのアテンションαで重み付けした特徴量αを顔動画の全フレームに亘り合算した結果が入力される。そして、FC層214は、感情要素の分布400を出力する。
図8は、事前モデルの処理例を示す図である。
顔動画に含まれるフレームの総数をnとする。CNN211で用いられる重みは、各フレームで共通である。事前モデル210は、CNN211、LSTM212およびFC層213を各フレームに対して用いて、αを計算する。そして、事前モデル210は、αをt=1~nに亘って合算してFC層214に入力し、最終的な出力として感情要素の分布400を出力する。また、事前モデル210は、各フレームのアテンションαも出力する。
なお、前述のように学習実行部190により生成される新たな認識モデルの構造は、事前モデル210と同じでもよいし、異なってもよい。例えば、学習実行部190により生成される認識モデルは、CNNやLSTMを有するが、FC層213やFC層214に相当する構造を有さなくてもよい。
次に、データ拡張部180による顔動画の合成を説明する。
図9は、2つの画像の透過合成の例を示す図である。
データ拡張部180は、2つの顔動画における同じフレーム番号のフレーム同士を透過合成する。ここで、1つ目の顔動画におけるフレーム610の各画素値のセットをX1とする。また、2つ目の顔動画におけるフレーム620の各画素値のセットをX2とする。更に、透過合成におけるフレーム610の重みをλ(0<λ<1)とする。この場合、フレーム620の重みは1-λとなる。λの値は、予め定められてもよいし、合成する顔動画のペアに対してランダムに決定されてもよい。透過合成は、λ・X1+(1-λ)・X2の演算式で表される。データ拡張部180は、当該演算式に基づくフレーム610,620の透過合成により、該当のフレーム番号における合成後のフレーム630を得る。
データ拡張部180は、2つの顔動画に含まれる同じフレーム番号のフレーム同士の透過合成を、各フレーム番号に対して行うことで、2つの顔動画を合成する。合成により得られる顔動画のラベルyは、1つ目の顔動画のラベルy1と、2つ目の顔動画のラベルy2との重みλによる加重平均となる。すなわち、y=λ・y1+(1-λ)・y2である。
図10は、感情要素の分布の合成例を示す図である。
分布400a,400bは、2つの顔動画に対して事前モデル210により得られる感情要素の分布を例示する。分布400aは、「恐怖による驚き」の表情の感情要素の分布である。分布400bは、「恐怖」の表情の感情要素の分布の例である。
分布400cは、分布400a,400bを合成した結果の例である。「恐怖による驚き」と「恐怖」とは感情の種類としては似通っている。このため、分布400cは、分布400a,400bと似た分布となってしまっている。
このように、表情には様々な感情要素が混在しており、表情クラスに対して感情要素が独立しているわけではない。このため、異なる表情クラスの顔動画同士を選択して合成したとしても、合成元のデータと似た訓練データが生成されてしまう可能性がある。
そこで、機械学習装置100は、合成する顔動画のペアを、感情要素の分布間距離に基づいて決定する。
図11は、顔動画のペアの第1の選択例を示す図である。
ベース動画600は、ある顔動画である。感情要素の分布401は、ベース動画600の入力に対して事前モデル210により出力される推論結果である。候補動画700,800は、ベース動画600とのペア候補の顔動画である。感情要素の分布402,403は、それぞれ候補動画700,800の入力に対して事前モデル210により出力される推論結果である。
分布間距離算出部160は、分布401,402を表す各ベクトルに基づいて、分布間距離を算出する。例えば、分布401,402に対する分布間距離は0.1である。同様に、分布間距離算出部160は、分布401,403を表す各ベクトルに基づいて、分布間距離を算出する。例えば、分布401,403に対する分布間距離は0.9である。
ペア生成部170は、2つの顔動画に対応する分布間距離と閾値との比較に応じて、当該2つの顔動画を合成対象のペアとするか否かを判定する。例えば、閾値=0.5とする。この場合、ペア生成部170は、ベース動画600および候補動画700を合成対象のペアとしない。一方、ペア生成部170は、ベース動画600および候補動画800を合成対象のペアとする。
このように、機械学習装置100は、分布間距離が閾値よりも離れている顔動画同士を合成することで、合成元のデータと似た訓練データが生成される可能性を低減できる。
また、機械学習装置100は、合成する顔動画のペアを、アテンション距離に基づいて決定することもできる。
図12は、顔動画における表情変化の例を示す図である。
図12(A)は、ある顔動画に対して事前モデル210により出力されるアテンション情報500aを例示する。アテンション情報500aは、最初は笑っていて真顔になる顔動画の各フレームのアテンション(表情変化の度合い)を示す。図12(B)は、別の顔動画に対して事前モデル210により出力されるアテンション情報500bを例示する。アテンション情報500bは、徐々に笑顔になる顔動画の各フレームのアテンション(表情変化の度合い)を示す。
機械学習装置100は、アテンション情報500a,500bに基づいて、表情の時間的な変化の仕方が異なる顔動画のペアを特定することができる。
図13は、顔動画のペアの第2の選択例を示す図である。
アテンション情報501は、ベース動画600の入力に対して事前モデル210により出力される、ベース動画600の各フレームのアテンションを示す。アテンション情報502は、候補動画700の入力に対して事前モデル210により出力される、候補動画700の各フレームのアテンションを示す。アテンション情報503は、候補動画800の入力に対して事前モデル210により出力される、候補動画800の各フレームのアテンションを示す。
アテンション距離算出部160aは、アテンション情報501,502を表す各ベクトルに基づいて、アテンション距離を算出する。例えば、アテンション情報501,502に対するアテンション距離は0.1である。同様に、アテンション距離算出部160aは、アテンション情報501,503を表す各ベクトルに基づいて、アテンション距離を算出する。例えば、アテンション情報501,503に対するアテンション距離は0.75である。
ペア生成部170は、2つの顔動画に対応するアテンション距離と閾値との比較に応じて、当該2つの顔動画を合成対象のペアとするか否かを判定する。例えば、閾値=0.5とする。この場合、ペア生成部170は、ベース動画600および候補動画700を合成対象のペアとしない。一方、ペア生成部170は、ベース動画600および候補動画800を合成対象のペアとする。なお、アテンション距離に対する閾値は、分布間距離に対する閾値とは異なってもよい。
このように機械学習装置100は、アテンション距離が閾値よりも離れている顔動画同士を合成することで、合成元のデータと似た訓練データが生成される可能性を低減できる。
なお、ペア生成部170は、2つの顔動画に関し、分布間距離およびアテンション距離の両方を用いて、合成対象のペアとするか否かを判定することができる。すなわち、ペア生成部170は、分布間距離およびアテンション距離の両方が閾値を超える2つの顔動画を合成対象のペアとする。一方、ペア生成部170は、分布間距離およびアテンション距離の少なくとも一方が閾値以下である2つの顔動画を合成対象のペアとしない。
図14は、機械学習の手順例を示すフローチャートである。
(S10)入力部130は、複数の顔動画を顔領域抽出部140に入力する。顔領域抽出部140は、顔動画から顔領域を抽出し、顔動画に対して顔領域以外の情報を除去する加工を行う。顔領域抽出部140は、加工後の顔動画をモデル出力取得部150およびペア生成部170に入力する。
(S11)モデル出力取得部150は、事前モデルDB120から事前モデル210を読み込む。
(S12)モデル出力取得部150は、各顔動画を事前モデル210に出力し、事前モデル210での感情要素の確率とフレームごとのアテンションとを取得する。これにより、モデル出力取得部150は、顔動画に対応する感情要素の分布およびアテンション情報を得る。モデル出力取得部150は、顔動画ごとの感情要素の分布を分布間距離算出部160に出力する。モデル出力取得部150は、顔動画ごとのアテンション情報をアテンション距離算出部160aに出力する。
(S13)分布間距離算出部160は、データ間の感情要素の分布間距離を算出する。具体的には、分布間距離算出部160は、2つの顔動画の全ての組合せに対して、各顔動画の感情要素の分布を表すベクトルを基にユークリッド距離を算出し、当該2つの顔動画に対応する分布間距離とする。
(S14)アテンション距離算出部160aは、データ間のアテンション距離を算出する。具体的には、アテンション距離算出部160aは、2つの顔動画の全ての組合せに対して、各顔動画のアテンション情報を表すベクトルを基にユークリッド距離を算出し、当該2つの顔動画に対応するアテンション距離とする。
(S15)ペア生成部170は、ステップS13,S14における2つの顔動画の組合せのうち、分布間距離およびアテンション距離の両方が閾値を超えるペアを選択する。
(S16)データ拡張部180は、ステップS15で選択されたペアで合成処理を行い、データ拡張を行う。データ拡張部180は、前述のMixUpの手法により2つの顔動画の合成処理を行う。データ拡張部180は、合成により生成された顔動画のラベルを、合成元の2つの顔動画のラベルに基づいて計算する。
(S17)学習実行部190は、拡張されたデータで機械学習を実行する。すなわち、学習実行部190は、ステップS10で入力された複数の顔動画と、ステップS16で2つの顔動画のペアごとに生成された顔動画とを含む訓練データを用いて、表情を認識する新たな認識モデルの機械学習を行う。そして、機械学習が終了する。
なお、ステップS15では、ペア生成部170は、分布間距離およびアテンション距離の少なくとも一方がそれぞれに対して予め定められる閾値を超える2つの顔動画を、合成対象のペアとして選択してもよい。
以上説明したように、第2の実施の形態の機械学習装置100によれば、表情の認識モデルの汎化性能を向上できる。機械学習装置100は、分布間距離およびアテンション距離の少なくとも一方がある程度離れた顔動画のペアを選択して合成することで、似通った顔動画のペアが合成されることを抑制できる。このため、訓練データの多様性を効率的に向上できる。訓練データの多様性が向上することで、機械学習により生成される認識モデルの汎化性能を向上することができる。
[第3の実施の形態]
次に、第3の実施の形態を説明する。前述の第2の実施の形態と相違する事項を主に説明し、共通する事項の説明を省略する。第3の実施の形態の機械学習装置は、図2に示した第2の実施の形態のハードウェア構成と同様のハードウェア構成によって実現できる。
図15は、第3の実施の形態の機械学習装置の機能例を示すブロック図である。
第3の実施の形態の機械学習装置100aは、アテンション距離を用いずに合成対象とする顔動画のペアを選択する点が、第2の実施の形態の機械学習装置100と異なる。
機械学習装置100aは、事前モデルDB120、入力部130、顔領域抽出部140、モデル出力取得部150、分布間距離算出部160、ペア生成部170、データ拡張部180および学習実行部190を有する。これらの機能は、機械学習装置100の同名の機能と同様である。ただし、ペア生成部170は、分布間距離算出部160により算出される分布間距離と閾値との比較に応じて、合成対象とする顔動画のペアを生成する。
図16は、機械学習の手順例を示すフローチャートである。
第3の実施の形態の機械学習の手順は、図14で例示した手順のうちのステップS12,S15に代えて、それぞれステップS12a,S15aが実行される点が第2の実施の形態の機械学習の手順と異なる。また、第3の実施の形態の機械学習の手順は、図14で例示した手順のうちのステップS14が省略されて、ステップS13の次にステップS15aが実行される点が第2の実施の形態の機械学習の手順と異なる。それ以外のステップは、第2の実施の形態の機械学習の手順と同じである。そこで、以下では、ステップS12a,S15aを説明し、他のステップの説明を省略する。
(S12a)モデル出力取得部150は、顔動画を事前モデル210に出力し、事前モデル210での感情要素の確率を取得する。これにより、モデル出力取得部150は、顔動画に対応する感情要素の分布を得る。モデル出力取得部150は、顔動画ごとの感情要素の分布を分布間距離算出部160に出力する。そして、ステップS13に処理が進む。ステップS13が実行されると、ステップS15aに処理が進む。
(S15a)ペア生成部170は、ステップS13における2つの顔動画の組合せのうち、分布間距離が閾値を超えるペアを選択する。そして、ステップS16に処理が進む。
このように、機械学習装置100aは、分布間距離がある程度離れた顔動画のペアを選択して合成することで、似通った顔動画のペアが合成されることを抑制できる。このため、第2の実施の形態と同様に、訓練データの多様性を効率的に向上できる。訓練データの多様性が向上することで、機械学習により生成される認識モデルの汎化性能を向上することができる。
ところで、近年の画像処理技術の発達により、人間の心理状態の機微な変化を表情から検知し、心理状態の変化に応じた処理を行うシステムの開発が進んでいる。例えば、ロボットに搭載されたカメラから、応対する人間の表情の変化を認識して、感情の変化を検知し、適切な対応を行うシステムなどがある。
表情の変化を記述する代表的な手法の1つとして、感情に関する表情(例えばhappy、angry、sad、disgust、fear、surprise、contemptなど)を認識する方法がある。このような表情認識では、アノテーションにコストがかかるためデータの大規模化が難しく、少量のデータから認識モデルを構築する必要があった。しかし、少量のデータでは訓練データに過学習してしまう可能性が高く、汎化性能(訓練データ以外に対する認識性能)が低下する。
これに対し、前述のMixUpにより、擬似的に新たな訓練データを生成する方法が考えられる。MixUpの混ぜ合わせにより疑似的にデータの多様性が向上し、正則化のような効果が生まれ、中間の状態のような画像も識別できるようになる。また、より「異なる」種類のデータが混じることで多様なデータが生成され、データ拡張の効果がより向上し、汎化性能の向上に効果的になると考えられる。
一方、異なるデータが混じることが望ましいが、識別対象の種類の少ない表情認識の場合、ランダムに選択するアルゴリズムでは同じ種類の表情クラスのデータを選択してしまう可能性が高い。また、表情には様々な感情の要素が混じっており、独立しているわけではない。単純に異なるクラスの表情を選択してくるだけでは異なる種類のデータの選択としては不十分であり、元と同じような種類のデータが生成されてしまう可能性がある。例えば、前述の「驚き」の感情の例のように、「恐怖による驚き」と「恐怖」などが混ざってしまい元のデータと似たような感情要素の分布のデータが生成され得る。
更に、表情変化の仕方は様々なパターンがあり顔動画の中でどのような変化しているかは様々である。異なる種類のデータをミックスする、という観点からは、時間的な変化の仕方が異なるデータを混ぜるのが好ましいと考えられる。しかし、顔動画に予め付与されるラベルの情報からは時間的な変化の仕方を判断できず、同じようなデータが選択される可能性がある。
このように、従来の方法では、合成対象のペアとして、似たデータが選択されることがあり、元のデータと同じような種類のデータが生成されてしまうため、汎化性能向上に寄与しにくい。
そこで、上記の機械学習装置100,100aは、既存のモデルや事前学習したモデルによる出力を利用して、2種類のデータ(顔動画)に対する出力に関して、それぞれの間の距離が遠いものを選択して合成する。これにより、多様な擬似データが生成され、汎化性能の向上に効果的なデータ拡張が行われるようになる。また、こうして拡張された訓練データを用いて既存のモデルや新たなモデルの機械学習を行うことで、当該モデルの汎化性能を向上することができる。例えば、顔動画における比較的小さな表情変化に対しても、感情の推定の精度を向上させることができる。
なお、第1の実施の形態の情報処理は、処理部12にプログラムを実行させることで実現できる。また、第2の実施の形態の情報処理は、CPU101にプログラムを実行させることで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体113に記録できる。
例えば、プログラムを記録した記録媒体113を配布することで、プログラムを流通させることができる。また、プログラムを他のコンピュータに格納しておき、ネットワーク経由でプログラムを配布してもよい。コンピュータは、例えば、記録媒体113に記録されたプログラムまたは他のコンピュータから受信したプログラムを、RAM102やHDD103などの記憶装置に格納し(インストールし)、当該記憶装置からプログラムを読み込んで実行してもよい。
10 機械学習装置
11 記憶部
12 処理部
20 第1のモデル
30 顔画像群
31,32,33,51 顔画像
40 推論結果群
41,42,43 推論結果
60 第2のモデル

Claims (7)

  1. コンピュータに、
    顔画像の入力に応じて第1の推論結果を出力する第1のモデルにより出力される、複数の顔画像それぞれに対応する前記第1の推論結果を取得し、
    前記複数の顔画像のうち、それぞれの前記第1の推論結果に応じた距離が閾値を超える第1の顔画像と第2の顔画像とを選択し、
    前記第1の顔画像と前記第2の顔画像とを合成した第3の顔画像を用いて、前記顔画像の入力に応じて第2の推論結果を出力する第2のモデルの機械学習を実行する、
    処理を実行させる機械学習プログラム。
  2. 前記第1の推論結果は、前記顔画像に対して推定された複数の感情要素それぞれの確率を示すクラス分類結果を含む、請求項1記載の機械学習プログラム。
  3. 前記顔画像は表情の変化を示す動画像であり、
    前記第1の推論結果は、前記顔画像に含まれる複数のフレームそれぞれの重みを示すアテンション値を含む、
    請求項1記載の機械学習プログラム。
  4. 前記第1の推論結果は、前記顔画像に対して推定された複数の感情要素それぞれの確率を示すクラス分類結果を含み、
    前記第1の顔画像と前記第2の顔画像との選択では、前記クラス分類結果に基づく第1の距離が第1の閾値を超え、かつ、前記アテンション値に基づく第2の距離が第2の閾値を超える前記第1の顔画像と前記第2の顔画像とを選択する、
    請求項3記載の機械学習プログラム。
  5. 前記コンピュータに更に、
    前記第1の顔画像の第1の重みと前記第2の顔画像の第2の重みとを用いて前記第1の顔画像と前記第2の顔画像とを透過合成することで前記第3の顔画像を生成し、前記第1の重みと前記第2の重みとを用いて前記第1の顔画像の第1のラベルと前記第2の顔画像の第2のラベルとの加重平均を計算することで前記第3の顔画像の第3のラベルを生成し、
    前記第3の顔画像と前記第3のラベルとを含む訓練データを用いて、前記第2のモデルの機械学習を実行する、
    請求項1記載の機械学習プログラム。
  6. コンピュータが、
    顔画像の入力に応じて第1の推論結果を出力する第1のモデルにより出力される、複数の顔画像それぞれに対応する前記第1の推論結果を取得し、
    前記複数の顔画像のうち、それぞれの前記第1の推論結果に応じた距離が閾値を超える第1の顔画像と第2の顔画像とを選択し、
    前記第1の顔画像と前記第2の顔画像とを合成した第3の顔画像を用いて、前記顔画像の入力に応じて第2の推論結果を出力する第2のモデルの機械学習を実行する、
    機械学習方法。
  7. 顔画像の入力に応じて第1の推論結果を出力する第1のモデルにより出力される、複数の顔画像それぞれに対応する前記第1の推論結果を記憶する記憶部と、
    前記複数の顔画像のうち、それぞれの前記第1の推論結果に応じた距離が閾値を超える第1の顔画像と第2の顔画像とを選択し、前記第1の顔画像と前記第2の顔画像とを合成した第3の顔画像を用いて、前記顔画像の入力に応じて第2の推論結果を出力する第2のモデルの機械学習を実行する処理部と、
    を有する機械学習装置。
JP2022178823A 2022-11-08 2022-11-08 機械学習プログラム、機械学習方法および機械学習装置 Pending JP2024068400A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022178823A JP2024068400A (ja) 2022-11-08 2022-11-08 機械学習プログラム、機械学習方法および機械学習装置
US18/228,679 US20240153248A1 (en) 2022-11-08 2023-08-01 Machine learning method and machine learning apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022178823A JP2024068400A (ja) 2022-11-08 2022-11-08 機械学習プログラム、機械学習方法および機械学習装置

Publications (1)

Publication Number Publication Date
JP2024068400A true JP2024068400A (ja) 2024-05-20

Family

ID=90927974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022178823A Pending JP2024068400A (ja) 2022-11-08 2022-11-08 機械学習プログラム、機械学習方法および機械学習装置

Country Status (2)

Country Link
US (1) US20240153248A1 (ja)
JP (1) JP2024068400A (ja)

Also Published As

Publication number Publication date
US20240153248A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
US10733431B2 (en) Systems and methods for optimizing pose estimation
Zhang et al. Uncertainty inspired RGB-D saliency detection
US10796452B2 (en) Optimizations for structure mapping and up-sampling
US10586350B2 (en) Optimizations for dynamic object instance detection, segmentation, and structure mapping
US20220230420A1 (en) Artificial intelligence-based object detection method and apparatus, device, and storage medium
US11514694B2 (en) Teaching GAN (generative adversarial networks) to generate per-pixel annotation
EP3493106B1 (en) Optimizations for dynamic object instance detection, segmentation, and structure mapping
JP2021516407A (ja) ビデオ時間セグメントを検索するための方法およびシステム
CN111670457A (zh) 动态对象实例检测、分割和结构映射的优化
CN111837142A (zh) 用于表征视频内容的深度强化学习框架
US20200285859A1 (en) Video summary generation method and apparatus, electronic device, and computer storage medium
Dundar et al. Unsupervised disentanglement of pose, appearance and background from images and videos
EP3493104A1 (en) Optimizations for dynamic object instance detection, segmentation, and structure mapping
JP2024511171A (ja) 動作認識の方法および装置
CN112200041A (zh) 视频动作识别方法、装置、存储介质与电子设备
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
CN108108769B (zh) 一种数据的分类方法、装置及存储介质
Zhao et al. Towards image-to-video translation: A structure-aware approach via multi-stage generative adversarial networks
Shi et al. Lightweight context-aware network using partial-channel transformation for real-time semantic segmentation
JP2023543964A (ja) 画像処理方法、画像処理装置、電子機器、記憶媒体およびコンピュータプログラム
JP2019086979A (ja) 情報処理装置、情報処理方法及びプログラム
Rastgoo et al. Word separation in continuous sign language using isolated signs and post-processing
JP2024068400A (ja) 機械学習プログラム、機械学習方法および機械学習装置
EP4128015A1 (en) Class agnostic repetition counting in video(s) utilizing a temporal self-similarity matrix
CN113822324A (zh) 基于多任务模型的图像处理方法、装置及相关设备

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20221129