JP7396482B2 - 判定プログラム、判定装置、および判定方法 - Google Patents

判定プログラム、判定装置、および判定方法 Download PDF

Info

Publication number
JP7396482B2
JP7396482B2 JP2022530404A JP2022530404A JP7396482B2 JP 7396482 B2 JP7396482 B2 JP 7396482B2 JP 2022530404 A JP2022530404 A JP 2022530404A JP 2022530404 A JP2022530404 A JP 2022530404A JP 7396482 B2 JP7396482 B2 JP 7396482B2
Authority
JP
Japan
Prior art keywords
marker
expressionless
time
pattern
occurrence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022530404A
Other languages
English (en)
Other versions
JPWO2021250786A1 (ja
Inventor
淳哉 斎藤
昭嘉 内田
章人 吉井
清訓 森岡
健太郎 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2021250786A1 publication Critical patent/JPWO2021250786A1/ja
Application granted granted Critical
Publication of JP7396482B2 publication Critical patent/JP7396482B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、判定プログラム、判定装置、および判定方法に関する。
ノンバーバルコミュニケーションにおいて、表情は重要な役割を果たしている。人を理解し人を支援するコンピュータを開発する上で、表情推定は必須の技術である。表情を推定するには、まず表情の記述方法を規定しなければならない。表情の記述方法として、表情の記述方法として、ＡＵ（Action Unit：アクションユニット）が知られている。ＡＵは、顔面筋の解剖学的知見に基づき定義された、表情表出に関与する顔面上の動作で、これまでＡＵを推定する技術も提案されている。
ＡＵを推定するＡＵ推定エンジンの代表的な形態は、大量の教師データに基づく機械学習をベースとし、教師データとして、顔表情の画像データと、各ＡＵのOccurrence（発生の有無）やIntensity（発生強度）が用いられる。また、教師データのOccurrenceやIntensityは、Coder（コーダ）と呼ばれる専門家によりAnnotation（アノテーション）される。
特開２０１１－２３７９７０号公報
X. Zhang, L. Yin, J. Cohn, S. Canavan, M. Reale, A. Horowitz, P. Liu, and J. M. Girard. BP4D-spontaneous: A high-resolution spontaneous 3d dynamic facial expression database. Image and Vision Computing, 32, 2014. 1
しかしながら、従来の手法には、ＡＵ推定のための教師データを生成することが困難な場合があるという問題がある。例えば、コーダによるアノテーションでは、費用および時間のコストがかかるため、データを大量に作成することが困難である。また、顔画像の画像処理による顔の各部位の移動計測では、小さな変化を正確に捉えるのが困難であり、コンピュータが人の判断を介さずに顔画像からＡＵの判定を行うことは難しい。したがって、コンピュータが人の判断を介さずに顔画像にＡＵのラベルを付した教師データを生成することは困難である。
１つの側面では、ＡＵ推定のための教師データを生成することを目的とする。
１つの態様において、判定プログラムは、マーカを付した顔を含む連続で撮像された撮像画像群を取得する処理をコンピュータに実行させる。判定プログラムは、マーカの位置推移を示す複数のパターンから、撮像画像群のうち連続した複数の画像に含まれるマーカの位置の時系列の変化に応じた第１のパターンを選択する処理をコンピュータに実行させる。判定プログラムは、第１のパターンに基づいて決定されたアクションユニットの判定基準と、撮像画像群のうち複数の画像の後に含まれる撮像画像に含まれるマーカの位置とに基づいて、アクションユニットの発生強度を判定する処理をコンピュータに実行させる。
１つの側面では、ＡＵ推定のための教師データを生成することができる。
図１は、実施例１にかかる判定システムの構成例を示す図である。 図２は、実施例１にかかるカメラの配置例を示す図である。 図３は、実施例１にかかるマーカ移動の一例を示す図である。 図４は、実施例１にかかる発生強度の判定方法の一例を示す図である。 図５は、実施例１にかかるマーカ位置に対する垂直方向の移動推移の一例を示す図である。 図６は、実施例１にかかる無表情試行と真の無表情とのマーカ位置のズレの一例を示す図である。 図７は、実施例１にかかる判定装置の構成例を示すブロック図である。 図８は、実施例１にかかる無表情遷移パターンの選択の一例を示す図である。 図９は、実施例１にかかる時系列データと無表情遷移パターンとの合わせこみの一例を示す図である。 図１０は、実施例１にかかる発生強度の判定方法の具体例を示す図である。 図１１は、実施例１にかかるマーカ除去のためのマスク画像の生成方法の一例を示す図である。 図１２は、実施例１にかかるマーカの除去方法の一例を示す図である。 図１３は、実施例２にかかる推定システムの構成例を示す図である。 図１４は、実施例２にかかる推定装置の構成例を示すブロック図である。 図１５は、実施例１にかかる判定処理の流れの一例を示すフローチャートである。 図１６は、実施例２にかかる推定処理の流れの一例を示すフローチャートである。 図１７は、実施例１および２にかかるハードウェア構成例を示す図である。
以下に、本実施形態に係る判定プログラム、判定装置、および判定方法の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
図１を用いて、実施例に係る判定システムの構成を説明する。図１は、実施例１にかかる判定システムの構成を示す図である。図１に示すように、判定システム１は、ＲＧＢ（Red、Green、Blue）カメラ３１、ＩＲ（infrared：赤外線）カメラ３２、判定装置１０および機械学習装置２０を有する。
図１に示すように、まず、ＲＧＢカメラ３１およびＩＲカメラ３２は、マーカが付された人物の顔に向けられる。例えば、ＲＧＢカメラ３１は一般的なデジタルカメラであり、可視光を受光し画像を生成する。また、例えば、ＩＲカメラ３２は、赤外線を感知する。また、マーカは、例えばＩＲ反射（再帰性反射）マーカである。ＩＲカメラ３２は、マーカによるＩＲ反射を利用してモーションキャプチャを行うことができる。また、以降の説明では、撮像対象の人物を被験者と呼ぶ。
判定装置１０は、ＲＧＢカメラ３１によって撮像された画像およびＩＲカメラ３２によるモーションキャプチャの結果を取得する。そして、判定装置１０は、ＡＵの発生強度１２１および撮像画像から画像処理によりマーカを削除した画像１２２を機械学習装置２０に対し出力する。例えば、発生強度１２１は、各ＡＵの発生強度を０～１の６段階評価で表現し、「ＡＵ１：２、ＡＵ２：５、ＡＵ４：０、…」のようにアノテーションが行われたデータであってもよい。また、発生強度１２１は、各ＡＵの発生強度を、発生なしを意味する０と、ＡからＥの５段階評価で表現し、「ＡＵ１：Ｂ、ＡＵ２：Ｅ、ＡＵ４：０、…」のようにアノテーションが行われたデータであってもよい。さらに、発生強度は、５段階評価で表現されるものに限られるものではなく、例えば２段階評価（発生の有無）によって表現されても良い。
機械学習装置２０は、判定装置１０から出力された画像１２２およびＡＵの発生強度１２１を用いて機械学習を行い、画像からＡＵの発生強度の推定値を算出するためのモデルを生成する。機械学習装置２０は、ＡＵの発生強度をラベルとして用いることができる。なお、機械学習装置２０の処理は、判定装置１０で行ってもよい。この場合、機械学習装置２０は、判定システム１に含まれなくてよい。
ここで、図２を用いて、カメラの配置について説明する。図２は、実施例１にかかるカメラの配置例を示す図である。図２に示すように、複数のＩＲカメラ３２がマーカトラッキングシステムを構成していてもよい。その場合、マーカトラッキングシステムは、ステレオ撮影によりＩＲ反射マーカの位置を検出することができる。また、複数のＩＲカメラ３２のそれぞれの間の相対位置関係は、カメラキャリブレーションによりあらかじめ補正されているものとする。
また、撮像される被験者の顔には、対象とするＡＵ（例：ＡＵ１からＡＵ２８）をカバーするように、複数のマーカが付される。マーカの位置は、被験者の表情の変化に応じて変化する。例えば、マーカ４０１は、眉の根元付近に配置される。また、マーカ４０２およびマーカ４０３は、豊麗線の付近に配置される。マーカは、１つ以上のＡＵおよび表情筋の動きに対応した皮膚の上に配置されてもよい。また、マーカは、しわの寄りなどにより、テクスチャ変化が大きくなる皮膚の上を避けて配置されてもよい。
さらに、被験者は、基準マーカが付された器具４０を装着する。被験者の表情が変化しても、器具４０に付された基準マーカの位置は変化しないものとする。このため、判定装置１０は、基準マーカからの相対的な位置の変化により、顔に付されたマーカの位置の変化を検出することができる。また、 判定装置１０は、基準マーカとの位置関係を基に、各マーカの平面上または空間上の座標を特定することができる。なお、判定装置１０は、マーカ位置を、基準座標系から定めてもよいし、基準面の投影位置から定めてもよい。また、基準マーカの数を３つ以上にすることで、判定装置１０は、３次元空間におけるマーカ位置を特定することができる。
器具４０は、例えばヘッドバンドであり、顔の輪郭外に基準マーカを配置する。また、器具４０は、ＶＲヘッドセットおよび固い素材のマスクなどであってもよい。その場合、判定装置１０は、器具４０のリジッド表面を基準マーカとして利用することができる。
判定装置１０は、ＡＵの判定基準と複数のマーカの位置とに基づいて、複数のＡＵのそれぞれの発生の有無を判定する。判定装置１０は、複数のＡＵのうち発生している１つ以上のＡＵに対して、発生強度を判定する。
例えば、判定装置１０は、判定基準に含まれる第１のＡＵに対応付けられた第１のマーカの基準位置と、第１のマーカの位置との距離に基づいて算出した第１のマーカの移動量を基に、第１のＡＵの発生強度を判定する。なお、第１のマーカは、特定のＡＵに対応する１つ、あるいは複数マーカということができる。
ＡＵの判定基準は、例えば、複数のマーカのうち、ＡＵ毎にＡＵの発生強度を判定するために使用される１つまたは複数のマーカを示す。ＡＵの判定基準は、複数のマーカの基準位置を含んでもよい。ＡＵの判定基準は、複数のＡＵのそれぞれについて、発生強度の判定に使用されるマーカの移動量と発生強度との関係（換算ルール）を含んでもよい。なお、マーカの基準位置は、被験者が無表情な状態（いずれのＡＵも発生していない）の撮像画像における複数のマーカの各位置に応じて定められてもよい。
ここで、図３を用いて、マーカの移動について説明する。図３は、実施例１にかかるマーカの移動の一例を示す図である。図３の（ａ）、（ｂ）、（ｃ）は、ＲＧＢカメラ３１によって撮像された画像である。また、画像は、（ａ）、（ｂ）、（ｃ）の順で撮像されたものとする。例えば、（ａ）は、被験者が無表情であるときの画像である。判定装置１０は、（ａ）の画像のマーカの位置を、移動量が０の基準位置とみなすことができる。
図３に示すように、被験者は、眉を寄せるような表情を取っている。このとき、表情の変化に従い、マーカ４０１の位置は下方向に移動している。その際、マーカ４０１の位置と、器具４０に付された基準マーカとの間の距離は大きくなっている。
また、マーカ４０１の基準マーカからのＸ方向およびＹ方向の距離の変動値は、図４のように表される。図４は、実施例１にかかる発生強度の判定方法の一例を示す図である。図４に示すように、判定装置１０は、変動値を発生強度に換算することができる。なお、発生強度は、ＦＡＣＳ（Facial Action Coding System）に準じて５段階に量子化されたものであってもよいし、変動量に基づく連続量として定義されたものであってもよい。
判定装置１０が変動量を発生強度に換算するルールとしては、様々なものが考えられる。判定装置１０は、あらかじめ定められた１つのルールに従って換算を行ってもよいし、複数のルールで換算を行い、最も発生強度が大きいものを採用するようにしてもよい。
例えば、判定装置１０は、被験者が最大限表情を変化させたときの変動量である最大変動量をあらかじめ取得しておき、変動量の最大変動量に対する割合に基づいて発生強度を換算してもよい。また、判定装置１０は、従来手法によりコーダがタグ付けしたデータを用いて最大変動量を定めておいてもよい。また、判定装置１０は、変動量を発生強度にリニアに換算してもよい。また、判定装置１０は、複数の被験者の事前測定から作成された近似式を用いて換算を行ってもよい。
また、例えば、判定装置１０は、判定基準としてあらかじめ設定された位置と、選択部１４２によって特定された第１のマーカの位置とに基づいて算出した第１のマーカの移動ベクトルを基に発生強度を判定することができる。この場合、判定装置１０は、第１のマーカの移動ベクトルと、第１のＡＵに対してあらかじめ対応付けられたベクトルとの合致度合いを基に、第１のＡＵの発生強度を判定する。また、判定装置１０は、既存のＡＵ推定エンジンを使って、ベクトルの大きさと発生強度の対応を補正してもよい。
以上、器具４０に付された基準マーカからのマーカ位置の変動量に基づくＡＵの発生強度の判定方法の一例について説明した。しかしながら、器具４０のズレなどにより、基準マーカからのマーカ位置の測定にズレが生じる場合があり、定期的に各マーカの基準位置のキャリブレーションが必要になってくる。
基準マーカのキャリブレーションは、例えば、被験者を無表情にさせ、その時の器具４０に付された基準マーカからの各マーカの位置を基準位置と定める。そのため、被験者が安静時の無表情である真の無表情になることが重要になってくるが、表情変化による筋肉の緊張や弛緩、および皮膚のクセにより、被験者は無表情のつもりでも、真の無表情になるには多少の時間がかかる。
図５は、実施例１にかかるマーカ位置に対する垂直方向の移動推移の一例を示す図である。図５では、無表情でない状態から無表情にしようとする時間を示す無表情試行時間ｔ１で無表情であった被験者がｔ２で眉をひそめる表情をし、無表情試行時間ｔ３で再度、無表情にした際のマーカ４０１の位置の移動推移を示している。図５に示すように、ｔ３で無表情にした際に、すぐにはｔ５で示される真の無表情状態にはならず、ｔ４で示される１５秒程度の遷移状態を経ていることがわかる。そのため、被験者が無表情にしたつもりでも、無表情試行時間が十分でなく、すぐに別の表情にしてしまうと、基準位置のキャリブレーションの精度が低下するという問題がある。
このような問題が生じると、マーカ位置に基づいて算出するＡＵの発生の有無や発生強度の精度が低下してしまう。また、高精度なＡＵ推定を実現するための教師データを作成するという観点から、被験者、怒りや笑いなどの感情表現、撮影場所や照明などの撮影条件などについて、様々なバリエーションをカバーできるように、何度も撮影する必要がある。そのため、被験者の無表情試行時間を長くとると、教師データの作成にかかる時間が膨大になるという問題がある。そこで、被験者の無表情試行時間が短くても、真の無表情状態のときの仮想のマーカ位置の推定値を算出する。
図６は、実施例１にかかる無表情試行と真の無表情とのマーカ位置のズレの一例を示す図である。図６では、被験者が無表情試行時間ｔ１０で無表情にしたつもりで別の表情にしてしまい、基準マーカからの距離がｄ１０と大きく誤差が生じてしまったことを示している。また、無表情試行時間ｔ１０後の実線が基準マーカからのマーカ位置の移動推移を示している。
一方、無表情試行時間ｔ１０後の破線は、被験者がそのまま無表情状態を続け、真の無表情になった場合の基準マーカからのマーカ位置の移動推移である。図６に示すように、真の無表情状態になるためには無表情試行時間ｔ１０では足りず、無表情試行時間ｔ１１の時間が必要である。そこで、本実施形態では、無表情試行時間ｔ１０のマーカ位置の移動推移から、無表情試行時間ｔ１１経過時点の真の無表情状態のときの仮想のマーカ位置の推定値を算出し、より正確なＡＵの発生強度を判定する。
図７を用いて、実施例１にかかる判定装置１０の機能構成を説明する。図７は、判定装置の構成例を示すブロック図である。図７に示すように、判定装置１０は、入力部１１、出力部１２、記憶部１３、および制御部１４を有する。
入力部１１は、データを入力するためのインタフェースである。例えば、入力部１１は、ＲＧＢカメラ３１、ＩＲカメラ３２、マウス、およびキーボードなどの入力装置を介してデータの入力を受け付ける。また、出力部１２は、データを出力するためのインタフェースである。例えば、出力部１２は、ディスプレイなどの出力装置にデータを出力する。
記憶部１３は、データや制御部１４が実行するプログラムなどを記憶する記憶装置の一例であり、例えばハードディスクやメモリなどである。記憶部１３は、ＡＵ情報１３１、無表情遷移パターンＤＢ１３２、無表情モデルＤＢ１３３を記憶する。
ＡＵ情報１３１は、マーカとＡＵの対応関係を表す情報である。
無表情遷移パターンＤＢ１３２は、無表情試行の開始時刻の一定時刻前のマーカ位置と、無表情試行中のマーカ位置との時系列パターンを格納する。無表情遷移パターンＤＢ１３２のデータは、真の無表情状態になるように無表情試行時間を十分にとって被験者を予め撮影し、作成されたデータである。
無表情モデルＤＢ１３３は、無表情試行の開始時刻の一定時刻前のマーカ位置を特徴量とし、真の無表情のときのマーカ位置を正解ラベルとして機械学習により生成したモデルを格納する。
制御部１４は、判定装置１０全体を司る処理部であり、取得部１４１、選択部１４２、推定部１４３、判定部１４４、および生成部１４５を有する。
取得部１４１は、顔を含む撮像画像を取得する。例えば、取得部１４１は、複数のＡＵに対応する複数の位置の各々にマーカを付した被験者の顔を含む連続で撮影された撮像画像群を取得する。取得部１４１によって取得される撮像画像は、上述したようにＲＧＢカメラ３１やＩＲカメラ３２によって撮像される。
ここで、ＲＧＢカメラ３１およびＩＲカメラ３２による撮影が行われる際、被験者は表情を変化させていく。この際、被験者は、自由に表情を変化させてもよいし、あらかじめ定められたシナリオに沿って表情を変化させてもよい。これにより、ＲＧＢカメラ３１およびＩＲカメラ３２は、時系列に沿って表情が変化していく様子を画像として撮影することができる。また、ＲＧＢカメラ３１は、動画による撮影を行うこともできる。すなわち、動画は、時系列に並べられた複数の静止画とみなすことができる。
また、取得部１４１は、撮像画像群から、マーカ位置の時系列データを取得する。マーカ位置の時系列データとは、時系列に沿って撮影された撮像画像群の各々に含まれるマーカ位置を特定することにより取得されるマーカ位置の移動推移を示すデータである。なお、撮像画像には複数のマーカが含まれるため、マーカごとに時系列データが取得される。また、マーカ位置は、マーカの基準位置からの相対位置とし、マーカの基準位置は、時系列データ取得前の無表情試行時間におけるマーカ位置に基づいて設定された位置とすることができる。
また、取得部１４１は、例えば、被験者への無表情の指示時刻の記録から無表情試行の開始時刻および終了時刻を取得する。または、取得部１４１は、上記処理に限らず、時系列データを参照し、マーカ位置が無表情時の位置に収束していることを判定することにより、無表情試行時間を検知し、顔の無表情試行の開始時刻および終了時刻を取得するようにしてもよい。なお、複数の無表情試行時間を検知した場合、取得部１４１は、検知した無表情試行時間分の開始時刻および終了時刻を取得してもよい。そして、このように検知された複数の無表情試行時間を無表情試行時間の候補として設定することができる。このように、無表情試行時間を検知することにより、無表情試行時間をあらかじめ記録する手間を削減しつつ、信頼性のより高い無表情試行時間を用いてＡＵの発生強度を判定することができる。
選択部１４２は、マーカの位置推移を示す複数のパターンから、撮像画像群のうち連続した複数の画像に含まれるマーカ位置の時系列の変化に応じたパターンを選択する。
より具体的には、選択部１４２は、無表情遷移パターンＤＢ１３２から、無表情試行の開始時刻の一定時刻前の特定のマーカ位置に対して、取得部１４１によって取得された時系列データの特定のマーカ位置とのマーカ位置の差が最も小さい無表情遷移パターンを選択する。
図８は、実施例１にかかる無表情遷移パターンの選択の一例を示す図である。図８では、左上のパターンが取得部１４１によって取得された時系列データであり、その他の３パターンが無表情遷移パターンＤＢ１３２に格納された無表情遷移パターンである。
図８に示すように、例えば、時系列データの無表情試行の開始時刻の一定時刻前のマーカ位置と、無表情遷移パターンＤＢ１３２に格納された無表情遷移パターンの各々の無表情試行の開始時刻の一定時刻前の特定のマーカ位置とを比較する。そして、時系列データの特定のマーカ位置とのマーカ位置の差が最も小さい無表情遷移パターンを選択する。例えば、図８の例では、右上の無表情遷移パターンが、時系列データの特定のマーカ位置とのマーカ位置の差が最も小さいパターンとして選択される。なお、図８では、便宜上、無表情遷移パターンを３パターンしか示していないが、実際には、より多くの無表情遷移パターンが選択候補として無表情遷移パターンＤＢ１３２に格納されている。
また、選択部１４２は、複数設定された無表情試行時間の候補に基づいて、無表情遷移パターンＤＢ１３２から無表情遷移パターンを、例えば、取得部１４１によって取得された時系列データの特定のマーカ位置とのマーカ位置の差が小さい順に複数選択する。取得部１４１によって取得される時系列データには、無表情試行時間が複数含まれる場合もあるため、その場合は、複数の無表情試行時間の各々に対して無表情遷移パターンが選択される。
また、選択部１４２は、上記処理に限らず、無表情遷移パターンの各々を、取得部１４１によって取得された時系列データの開始時刻と終了時刻との間の特定のマーカ位置に合わせこんでもよい。そして、時系列データの特定のマーカ位置とのマーカ位置の差が最も小さい無表情遷移パターンを選択するようにしてもよい。これにより、より適切な無表情遷移パターンを選択することができる。
ここで、時系列データに対する無表情遷移パターンの合わせこみについて説明する。図９は、実施例１にかかる時系列データと無表情遷移パターンとの合わせこみの一例を示す図である。図９に示すように、時系列データの開始時刻と終了時刻との間、すなわち、無表情試行時間ｔ１０の間のマーカ位置に対し、無表情遷移パターンのマーカ位置を合わせこむ。
合わせこむ際には、上記処理に限らず、例えば、無表情試行時間ｔ１０およびｔ２０に対して、マーカ位置を、時間方向へ平行移動、マーカ位置方向へ拡大縮小および平行移動して二乗誤差が最小になるように調整することができる。なお、時間方向へ平行移動することは、無表情試行の開始時刻のズレの補正、マーカ位置方向へ拡大縮小および平行移動することは、器具４０のズレなどによる定常的なマーカ位置のズレの補正を意図している。
また、合わせこむ際には、上記処理に限らず、無表情遷移パターンを、無表情試行の開始時刻付近を除いて、時系列データに合わせこんでもよい。無表情試行の開始時刻付近の無表情遷移パターンとは、例えば、図９の右側に示される時間ｔｘ間のマーカ位置である。無表情試行の開始時刻付近のマーカ位置は分散が大きいため、これを除いて合わせこむことで、合わせこみの安定性を向上させることができる。
図９は、時系列データに対して無表情遷移パターンを正確に合わせこめた例を示している。そのため、別の表情に遷移してしまった、無表情試行の終了時刻であるｔ１０経過時より後は、合わせこんだ無表情遷移パターンのマーカ位置を用いて、無表情状態が続いた場合の仮想のマーカ位置の推定値を算出することができる。特に、無表情遷移パターンの無表情試行の終了時刻であるｔ２０経過時点のマーカ位置の距離ｄ２０に基づいて真の無表情状態のときの仮想のマーカ位置の推定値を算出することができる。
また、選択部１４２は、無表情遷移パターンＤＢ１３２から無表情遷移パターンを、例えば、無表情試行時間の開始時刻の一定時刻前の特定のマーカ位置とのマーカ位置の差が小さい順に複数抽出する。そして、選択部１４２は、複数抽出した無表情遷移パターンの各々のマーカ位置を、時系列データの開始時刻と終了時刻との間の特定のマーカ位置に合わせこむことにより、時系列データの特定のマーカ位置とのマーカ位置の差が最も小さい無表情遷移パターンを選択する。
なお、選択部１４２による無表情遷移パターンの選択は、無表情遷移パターンＤＢ１３２にさらに格納された各被験者の身体的な特徴データに基づいて、対象の被験者の身体的な特徴に対応する無表情遷移パターンの中から選択されてもよい。身体的な特徴データとは、例えば、被験者の老化度、肌年齢、実年齢、肥満度、身長、体重、ＢＭＩ（Body mass index）、性別、人種などである。
また、選択部１４２による無表情遷移パターンの選択は、上記処理に限らず、顔に付した複数のマーカ位置に基づき行われるようにしてもよい。これは、無表情遷移パターンＤＢ１３２に、無表情試行の開始時刻の一定時刻前の顔に付した複数のマーカ位置と、無表情試行中の顔に付した複数のマーカ位置との時系列パターンを格納することにより行うことができる。これにより、被験者の顔全体の筋肉や皮膚の状態を考慮できるようになり、より適切な無表情遷移パターンを選択することができる。
また、選択部１４２による無表情遷移パターンの選択は、上記処理に限らず、二次元または三次元の多次元のマーカ位置に基づき行われるようにしてもよい。これは、無表情遷移パターンＤＢ１３２に、無表情試行の開始時刻の一定時刻前の多次元のマーカ位置と、無表情試行中の多次元のマーカ位置の時系列パターンを格納することにより行うことができる。これにより、より適切な無表情遷移パターンを選択することができる。
推定部１４３は、選択部１４２によって選択された無表情遷移パターンを、取得部１４１によって取得された時系列データに合わせこむ。そして、合わせこんだ無表情遷移パターンに基づいて、真の無表情のときの仮想のマーカ位置の推定値を算出する。図９の例の場合は、無表情遷移パターンの無表情試行の終了時刻であるｔ２０経過時のマーカ位置の距離ｄ２０に基づいて、真の無表情のときの仮想のマーカ位置の推定値を算出することができる。
また、推定部１４３は、複数選択された無表情遷移パターンの各々を時系列データに合わせこみ、時系列データの特定のマーカ位置とのマーカ位置の差が最も小さい無表情遷移パターンの無表情試行時間を、最終的な無表情試行時間として選択することができる。そして、推定部１４３は、時系列データの特定のマーカ位置とのマーカ位置の差が最も小さい無表情遷移パターンに基づいて、真の無表情のときの仮想のマーカ位置の推定値を算出することができる。または、推定部１４３は、選択した最終的な無表情試行時間の終了時刻のマーカ位置を真の無表情のときのマーカ位置に決定することができる。
また、複数の無表情遷移パターンの合わせこみは、上記処理に限らず、時系列データに対して無表情遷移パターンの各々のマーカ位置を、時間方向へ平行移動、マーカ位置方向へ拡大縮小および平行移動して二乗誤差が最小になるようにしてもよい。これにより、無表情試行の開始時刻のズレや、器具４０のズレなどによる定常的なマーカ位置のズレを補正した上で、より適切な無表情遷移パターンを選択することができる。また、複数の無表情遷移パターンの合わせこみは、上記処理に限らず、分散の大きい無表情試行の開始時刻付近のマーカ位置を除いて合わせこむことにより、合わせこみの安定性を向上させるようにしてもよい。
判定部１４４は、選択部１４２によって選択された無表情遷移パターンに基づいて決定されたＡＵの判定基準と、撮像画像群のうち複数の画像の後に含まれる撮像画像に含まれるマーカ位置とに基づいて、ＡＵの発生強度を判定する。
より具体的には、判定部１４４は、取得部１４１によって取得された時系列データの終了時刻後のマーカ位置に対して、推定部１４３によって算出された推定値を基準としてマーカ位置の移動量を算出し、ＡＵの発生強度（Intensity）を判定する。また、上記処理に限らず、算出した移動量が所定の閾値を超過するかに基づいて、ＡＵの発生の有無（Occurrence）を判定するようにしてもよい。
ＡＵの発生強度の判定方法をより具体的に説明する。図１０は、実施例１にかかる発生強度の判定方法の具体例を示す図である。例えば、ＡＵ４に対応するＡＵ４ベクトルが（－２ｍｍ，－６ｍｍ）のようにあらかじめ定められているものとする。このとき、判定部１４４は、マーカ４０１の移動ベクトルとＡＵ４ベクトルの内積を計算し、ＡＵ４ベクトルの大きさで規格化する。ここで、内積がＡＵ４ベクトルの大きさと一致すれば、判定部１４４は、ＡＵ４の発生強度を５段階中の５と判定する。一方、内積がＡＵ４ベクトルの半分であれば、例えば、前述のリニアな換算ルールの場合は、判定部１４４は、ＡＵ４の発生強度を５段階中の３と判定する。
また、例えば、図１０に示すように、ＡＵ１１に対応するＡＵ１１ベクトルの大きさが３ｍｍのようにあらかじめ定められているものとする。このとき、判定部１４４は、マーカ４０２とマーカ４０３の間の距離の変動量がＡＵ１１ベクトルの大きさと一致すれば、判定部１４４は、ＡＵ１１の発生強度を５段階中の５と判定する。一方、距離の変動量がＡＵ４ベクトルの半分であれば、例えば、前述のリニアな換算ルールの場合は、判定部１４４は、ＡＵ１１の発生強度を５段階中の３と判定する。このように、判定部１４４は、選択部１４２によって特定された第１のマーカの位置および第２のマーカの位置との間の距離の変化を基に、発生強度を判定することができる。
さらに、判定部１４４は、画像処理を行った画像とＡＵの発生強度とを対応付けて出力してもよい。その場合、生成部１４５は、撮像画像からマーカを除去する画像処理を実行することによって、画像を生成する。
生成部１４５は、撮像画像群とＡＵの発生強度とを対応付けたデータセットを作成する。当該データセットを用いた機械学習を行うことにより、撮影画像群からＡＵの発生強度の推定値を算出するためのモデルを生成することができる。また、生成部１４５は、必要に応じて撮像画像群から画像処理によりマーカを除去する。マーカの除去について具体的に説明する。
生成部１４５は、マスク画像を用いてマーカを除去することができる。図１１は、実施例１にかかるマスク画像の生成方法を説明する説明図である。図１１の（ａ）は、ＲＧＢカメラ３１によって撮像された画像である。まず、生成部１４５は、あらかじめ意図的に付けられたマーカの色を抽出して代表色として定義する。そして、図１１の（ｂ）のように、生成部１４５は、代表色近傍の色の領域画像を生成する。さらに、図１１の（ｃ）のように、生成部１４５は、代表色近傍の色の領域に対し収縮、膨張などの処理を行い、マーカ除去用のマスク画像を生成する。また、マーカの色を顔の色としては存在しにくい色に設定しておくことで、マーカの色の抽出精度を向上させてもよい。
図１２は、実施例１にかかるマーカの除去方法を説明する説明図である。図１２に示すように、まず、生成部１４５は、動画から取得した静止画に対し、マスク画像を適用する。さらに、生成部１４５は、マスク画像を適用した画像を例えばニューラルネットワークに入力し、処理済みの画像を得る。なお、ニューラルネットワークは、被験者のマスクありの画像およびマスクなしの画像などを用いて訓練済みであるものとする。なお、動画から静止画を取得することにより、表情変化の途中データが得られることや、短時間で大量のデータが得られることがメリットとして生じる。また、生成部１４５は、ニューラルネットワークとして、ＧＭＣＮＮ（Generative Multi-column Convolutional Neural Networks）やＧＡＮ（Generative Adversarial Networks）を用いてもよい。
なお、生成部１４５がマーカを除去する方法は、上記のものに限られない。例えば、生成部１４５は、あらかじめ定められたマーカの形状を基にマーカの位置を検出し、マスク画像を生成してもよい。また、ＩＲカメラ３２とＲＧＢカメラ３１の相対位置のキャリブレーションを事前に行うようにしてもよい。この場合、生成部１４５は、ＩＲカメラ３２によるマーカトラッキングの情報からマーカの位置を検出することができる。
また、生成部１４５は、マーカにより異なる検出方法を採用してもよい。例えば、鼻上のマーカは動きが少なく、形状を認識しやすいため、生成部１４５は、形状認識により位置を検出してもよい。また、口横のマーカは動きが大きく、形状を認識しにくいため、生成部１４５は、代表色を抽出する方法で位置を検出してもよい。
また、生成部１４５は、無表情試行の開始時刻の一定時刻前のマーカ位置を特徴量とし、真の無表情のときのマーカ位置を正解ラベルとした機械学習によりモデルを生成する。生成部１４５は、マーカ位置の履歴、および身体的な特徴データの少なくとも１つをさらに特徴量とすることもできる。これにより、推定部１４３は、未知の被験者に対しても、生成部１４５によって生成されたモデルを格納した無表情モデルＤＢ１３３により、真の無表情のときのマーカ位置の推定値を算出することができる。また、マーカ位置の履歴など様々な特徴量を使用することで、より高精度にマーカ位置の推定値を算出することができる。なお、生成部１４５は、生成したモデルに入力した特徴量と、出力された真の無表情のときのマーカ位置の推定値を訓練データとして用いて、生成したモデルに対して再訓練を行うこともできる。
次に、図１３を用いて、実施例に係る推定システムの構成を説明する。図１３は、実施例２にかかる推定システムの構成を示す図である。図１３に示すように、推定システム２は、ＲＧＢカメラ９１、および推定装置６０を有する。
図１３に示すように、ＲＧＢカメラ９１は、人物の顔に向けられる。ＲＧＢカメラ９１は、例えば、一般的なデジタルカメラである。また、ＲＧＢカメラ９１の代わりに、またはＲＧＢカメラ９１と併せて、ＩＲカメラ９２（図示せず）を用いてもよい。
推定装置６０は、ＲＧＢカメラ９１によって撮像された画像を取得する。また、推定装置６０は、撮像画像群から取得されたＡＵの特定の発生強度とのＡＵの発生強度の差が最も小さい無表情遷移パターンを選択し、真の無表情のときのＡＵの発生強度の推定値を算出する。そして、推定装置６０は、算出した推定値を基準として、撮像画像群から取得された、無表情試行の終了時刻後のＡＵの発生強度の変化量を算出し、新たなＡＵの発生強度とする。
図１４を用いて、推定装置６０の機能構成を説明する。図１４は、実施例２にかかる推定装置の構成例を示すブロック図である。図１４に示すように、推定装置６０は、入力部６１、出力部６２、記憶部６３、および制御部６４を有する。
入力部６１は、データを入力するための装置またはインタフェースである。例えば、入力部６１は、ＲＧＢカメラ９１、マウス、およびキーボードなどである。また、出力部６２は、データを出力するための装置またはインタフェースである。例えば、出力部６２は、画面を表示するディスプレイなどである。
記憶部６３は、データや制御部６４が実行するプログラムなどを記憶する記憶装置の一例であり、例えばハードディスクやメモリなどである。記憶部６３は、無表情遷移パターンＤＢ６３１、およびモデル情報６３２を記憶する。
無表情遷移パターンＤＢ６３１は、無表情試行の開始時刻の一定時刻前のＡＵの発生強度と、無表情試行中のＡＵの発生強度との時系列パターンを格納する。
モデル情報６３２は、生成部１４５や機械学習装置２０などによって生成されたモデルを構築するためのパラメータなどである。
制御部６４は、推定装置６０全体を司る処理部であり、取得部６４１、選択部６４２、推定部６４３、補正部６４４を有する。
取得部６４１は、連続で撮像された撮像画像群から、ＡＵの発生強度を取得する。例えば、取得部６４１は、モデル情報６３２によって構築されたモデルを用いて推定対象の人物の顔が写った連続で撮影された画像群から、１つまたは複数のＡＵの発生強度を取得する。取得部６４１によって取得される撮像画像は、上述したようにＲＧＢカメラ９１によって撮像される。
また、取得部６４１は、無表情試行の開始時刻および終了時刻を取得する。これは、例えば、推定対象の人物への無表情の指示時刻の記録から取得することができる。または、取得部６４１は、推定対象のＡＵの発生強度の時系列データを参照し、ＡＵの発生強度が無表情時の発生強度に収束していることを判定することにより、無表情試行時間を検知し、顔の無表情試行の開始時刻および終了時刻を取得することもできる。
なお、複数の無表情試行時間を検知した場合、取得部６４１は、取得部６４１は、検知した無表情試行時間分の開始時刻および終了時刻を取得することもできる。そして、このように検知された複数の無表情試行時間を無表情試行時間の候補として設定することができる。
選択部６４２は、無表情遷移パターンＤＢ６３１から、無表情試行の開始時刻の一定時刻前のＡＵの特定の発生強度に対して、推定対象のＡＵの特定の発生強度とのＡＵの発生強度の差が最も小さい無表情遷移パターンを選択する。
また、選択部６４２は、複数設定された無表情試行時間の候補に基づいて、無表情遷移パターンＤＢ６３１から無表情遷移パターンを、例えば、取得部６４１によって取得された時系列データのＡＵの特定の発生強度とのＡＵの発生強度の差が小さい順に複数選択する。取得部６４１によって取得される時系列データには、無表情試行時間が複数含まれる場合もあるため、その場合は、複数の無表情試行時間の各々に対して無表情遷移パターンが選択される。
推定部６４３は、選択部６４２によって選択された無表情遷移パターンを、推定対象のＡＵの特定の発生強度の時系列データに合わせこむ。そして、推定部６４３は、合わせこんだ無表情遷移パターンに基づいて、真の無表情のときのＡＵの発生強度の推定値を算出する。
また、推定部６４３は、複数選択された無表情遷移パターンの各々を合わせこみ、時系列データのＡＵの特定の発生強度とのＡＵの発生強度の差が最も小さい無表情遷移パターンの無表情試行時間を、最終的な無表情試行時間として選択することができる。そして、推定部６４３は、時系列データのＡＵの特定の発生強度とのＡＵの発生強度の差が最も小さい無表情遷移パターンに基づいて、真の無表情のときのＡＵの発生強度の推定値を算出することができる。または、推定部６４３は、選択した最終的な無表情試行時間の終了時刻のＡＵの発生強度を真の無表情のときのＡＵの発生強度に決定することができる。
補正部６４４は、推定対象のＡＵの発生強度の時系列データの終了時刻後のＡＵの発生強度に対して、推定部６４３によって算出された推定値を基準として発生強度の変化量を算出し、必要に応じて量子化して、新たな発生強度とする。人によって、基準となる無表情状態の場合であってもＡＵの発生強度が０でないことがある。また、表情を長時間固定し続けることで、筋肉や皮膚にクセがついて戻らなくなることがある。このような場合について、無表情のときのＡＵの発生強度を推定し、既存技術で算出したＡＵの発生強度を補正することで、適切な基準に基づくＡＵの発生強度を求めることができる。また、さらに後段の処理として、ＡＵの発生強度に基づく感情推定を実施する場合は、その推定精度を向上させることができる。
また、推定装置６０は、撮像画像群とＡＵの発生強度とを対応付けたデータセットを作成することもできる。当該データセットを用いて、訓練済みモデルに対する再訓練を行うことができる。
また、推定装置６０は、補正部６４４によって算出された変化量が所定の閾値を超過するかに基づいて、アクションユニットの発生の有無（Occurrence）を判定することができる。
また、推定装置６０は、無表情試行の開始時刻の一定時刻前のＡＵの発生強度を特徴量とし、必要に応じて、ＡＵの発生強度の履歴、および各対象の身体的な特徴データの少なくとも１つをさらに特徴量とし、真の無表情のときのＡＵの発生強度をラベルとした機械学習によりモデルを生成する。これにより、推定部６４３は、当該生成されたモデルにより、真の無表情のときのＡＵの派生強度の推定値を算出することもできる。また、ＡＵの発生強度の履歴など様々な特徴量を使用することで、より高精度にＡＵの発生強度の推定値を算出することができる。
なお、推定装置６０によるＡＵの発生強度の推定値の算出や、新たなＡＵの発生強度の決定は、推定対象の人物の単一のＡＵのみならず、複数のＡＵに対して同時に実行されてよい。
図１５を用いて、判定装置１０によるＡＵの発生強度の判定処理の流れを説明する。図１５は、実施例１にかかる判定処理の流れの一例を示すフローチャートである。図１５に示すように、まず、判定装置１０の取得部１４１は、マーカを付した被験者の顔を含む連続で撮像された撮像画像群から、マーカ位置の時系列データを取得する（ステップＳ１０１）。次に、取得部１４１は、被験者の顔の無表情試行の開始時刻および終了時刻を取得する（ステップＳ１０２）。
そして、判定装置１０の選択部１４２は、無表情遷移パターンＤＢ１３２から、無表情試行の開始時刻の一定時刻前の特定のマーカ位置に対して、時系列データの特定のマーカ位置とのマーカ位置の差が最も小さい無表情遷移パターンを選択する（ステップＳ１０３）。
次に、判定装置１０の推定部１４３は、選択された無表情遷移パターンを時系列データに合わせこむ（ステップＳ１０４）。そして、推定部１４３は、合わせこんだ無表情遷移パターンに基づいて、真の無表情のときの仮想のマーカの位置の推定値を算出する（ステップＳ１０５）。
次に、判定装置１０の判定部１４４は、時系列データの終了時刻後のマーカ位置に対して、算出した推定値を基準としてマーカ位置の移動量を算出し、ＡＵの発生強度を判定する（ステップＳ１０６）。ステップＳ１０６の後、図１５に示す判定処理は終了する。
図１６を用いて、推定装置６０によるＡＵの発生強度の推定処理の流れを説明する。図１６は、実施例２にかかる推定処理の流れの一例を示すフローチャートである。図１６に示すように、まず、推定装置６０の取得部６４１は、推定対象の人物の顔を含む連続で撮像された撮像画像群から、ＡＵの発生強度を取得する（ステップＳ２０１）。次に、取得部６４１は、推定対象の人物の顔の無表情試行の開始時刻および終了時刻を取得する（ステップＳ２０２）。
そして、推定装置６０の選択部６４２は、無表情遷移パターンＤＢ１３２から、無表情試行の開始時刻の一定時刻前のＡＵの特定の発生強度に対して、時系列データのＡＵの特定の発生強度とのＡＵの発生強度の差が最も小さい無表情遷移パターンを選択する（ステップＳ２０３）。
次に、推定装置６０の推定部６４３は、選択された無表情遷移パターンを時系列データに合わせこむ（ステップＳ２０４）。そして、推定部１４３は、合わせこんだ無表情遷移パターンに基づいて、真の無表情のときのＡＵの発生強度の推定値を算出する（ステップＳ２０５）。
次に、推定装置６０の補正部６４４は、時系列データの終了時刻後のＡＵの発生強度に対して、算出した推定値を基準としてＡＵの発生強度の変化量を算出し、新たなＡＵの発生強度とする（ステップＳ２０６）。ステップＳ２０６の後、図１６に示す推定処理は終了する。
上述したように、判定装置１０は、マーカを付した顔を含む連続で撮像された撮像画像群を取得し、マーカの位置推移を示す複数のパターンから、撮像画像群のうち連続した複数の画像に含まれるマーカの位置の時系列の変化に応じた第１のパターンを選択し、第１のパターンに基づいて決定されたＡＵの判定基準と、撮像画像群のうち複数の画像の後に含まれる撮像画像に含まれるマーカの位置とに基づいて、ＡＵの発生強度を判定する処理を実行する。
これにより、より正確に、マーカの基準位置のキャリブレーション、およびＡＵの発生強度の判定を行うことができる。
また、判定装置１０により実行される発生強度を判定する処理は、第１のパターンを選択する処理は、顔の無表情試行の第１の開始時刻に基づいて、撮像画像群から、第１の開始時刻より前の第１の画像を含む複数の画像を決定し、第１の画像におけるマーカの位置に基づいて、第１のパターンを選択する、処理を含み、発生強度を判定する処理は、第１のパターンに基づいて、顔の無表情試行の第１の終了時刻より後のマーカの仮想の位置の推定値を算出し、撮像画像群における第１の終了時刻後のマーカの位置に対して、算出した推定値を基準としてマーカの位置の移動量を算出し、発生強度を判定する、処理を含む。
これにより、被験者の無表情試行時間が短くても、真の無表情状態のときの仮想のマーカ位置の推定値を算出して、より正確に、マーカの基準位置のキャリブレーション、およびＡＵの発生強度の判定を行うことができる。
また、判定装置１０は、撮像画像群においてマーカの位置が無表情時の位置に収束していることを判定することにより、無表情試行時間を検知することによって、第１の開始時刻および第１の終了時刻を取得することを実行する。
これにより、無表情試行時間をあらかじめ記録する手間を削減することができる。
また、判定装置１０により実行される推定値を算出する処理は、第１のパターンのマーカの位置を、時間方向への平行移動、マーカ位置方向への拡大縮小、およびマーカ位置方向への平行移動の少なくとも１つを実行することで、第１の画像におけるマーカの位置に合わせこみ、マーカの位置を合わせこんだ第１のパターンに基づいて、顔の無表情試行の第１の終了時刻より後のマーカの仮想の位置の推定値を算出する処理を含む。
これにより、これにより、無表情試行の開始時刻のズレなどを補正した上で、より適切な無表情遷移パターンを選択することができる。
また、判定装置１０により実行される第１のパターンを選択する処理は、複数のパターンの各々を、複数の画像における第１の開始時刻と第１の終了時刻との間のマーカの特定の位置に合わせこみ、複数のパターンのうちマーカの特定の位置との差が最も小さい第１のパターンを選択する処理を含む。
これにより、より適切な無表情遷移パターンを選択することができる。
また、判定装置１０により実行される第１のパターンを選択する処理は、顔のユーザの身体的特徴に基づいて、第１のパターンを選択する処理を含む。
これにより、より適切な無表情遷移パターンを選択することができる。
また、判定装置１０は、複数の画像の後に含まれる撮像画像と判定されたアクションユニットの判定強度とに基づいて、機械学習用のデータを生成する処理をさらに実行する。
これにより、作成されたデータセットを用いた機械学習を行い、撮影画像群からＡＵの発生強度の推定値を算出するためのモデルを生成することができる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
図１７は、実施例１および２にかかるハードウェア構成例を示す図である。図１７は、判定装置１０や機械学習装置２０、および推定装置６０のハードウェア構成を説明するためのものであるため、図１７ではこれらの装置をまとめて情報処理装置１０００として説明する。図１７に示すように、情報処理装置１０００は、通信インタフェース１０００ａ、ＨＤＤ（Hard Disk Drive）１０００ｂ、メモリ１０００ｃ、プロセッサ１０００ｄを有する。また、図１７に示した各部は、バスなどで相互に接続される。
通信インタフェース１０００ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０００ｂは、図７や図１４などに示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１０ｄは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）などである。また、プロセッサ１０ｄは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現されるようにしてもよい。プロセッサ１０ｄは、図７や図１４などに示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図７や図１４などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、判定装置１０や機械学習装置２０、および推定装置６０が有する各処理部と同様の機能を実行する。
また、情報処理装置１０００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
１ 判定システム
２ 推定システム
１０ 判定装置
１１ 入力部
１２ 出力部
１３ 記憶部
１４ 制御部
２０ 機械学習装置
３１ ＲＧＢカメラ
３２ ＩＲカメラ
４０ 器具
６０ 推定装置
６１ 入力部
６２ 出力部
６３ 記憶部
６４ 制御部
９１ ＲＧＢカメラ
１２１ 発生強度
１２２ 画像
１３１ ＡＵ情報
１３２ 無表情遷移パターンＤＢ
１３３ 無表情モデルＤＢ
１４１ 取得部
１４２ 選択部
１４３ 推定部
１４４ 判定部
１４５ 生成部
４０１、４０２、４０３ マーカ
６３１ 無表情遷移パターンＤＢ
６３２ モデル情報
６４１ 取得部
６４２ 選択部
６４３ 推定部
６４４ 補正部
１０００ 情報処理装置
１０００ａ 通信インタフェース
１０００ｂ ＨＤＤ
１０００ｃ メモリ
１０００ｄ プロセッサ

Claims (9)

  1. マーカを付した顔を含む連続で撮像された撮像画像群を取得し、
    前記マーカの位置推移を示す複数のパターンから、前記撮像画像群のうち連続した複数の画像に含まれる前記マーカの位置の時系列の変化に応じた第１のパターンを選択し、
    前記第１のパターンに基づいて決定されたアクションユニットの判定基準と、前記撮像画像群のうち前記複数の画像の後に含まれる撮像画像に含まれる前記マーカの位置とに基づいて、前記アクションユニットの発生強度を判定する
    処理をコンピュータに実行させることを特徴とする判定プログラム。
  2. 前記第１のパターンを選択する処理は、前記顔の無表情試行の第１の開始時刻に基づいて、前記撮像画像群から、前記第１の開始時刻より前の第１の画像を含む前記複数の画像を決定し、前記第１の画像における前記マーカの位置に基づいて、前記第１のパターンを選択する処理を含み、
    前記発生強度を判定する処理は、前記第１のパターンに基づいて、前記顔の無表情試行の第１の終了時刻より後の前記マーカの仮想の位置の推定値を算出し、前記撮像画像群における前記第１の終了時刻後の前記マーカの位置に対して、算出した前記推定値を基準として前記マーカの位置の移動量を算出し、前記発生強度を判定する処理を含む
    ことを特徴とする請求項１に記載の判定プログラム。
  3. 前記撮像画像群において前記マーカの位置が無表情時の位置に収束していることを判定することにより、無表情試行時間を検知することによって、前記第１の開始時刻および前記第１の終了時刻を取得することを前記コンピュータに実行させることを特徴とする請求項２に記載の判定プログラム。
  4. 前記推定値を算出する処理は、前記第１のパターンの前記マーカの位置を、時間方向への平行移動、マーカ位置方向への拡大縮小、および前記マーカ位置方向への平行移動の少なくとも１つを実行することで、前記第１の画像における前記マーカの位置に合わせこみ、前記マーカの位置を合わせこんだ前記第１のパターンに基づいて、前記顔の無表情試行の第１の終了時刻より後の前記マーカの仮想の位置の推定値を算出する処理を含むことを特徴とする請求項２に記載の判定プログラム。
  5. 前記第１のパターンを選択する処理は、前記複数のパターンの各々を、前記複数の画像における前記第１の開始時刻と前記第１の終了時刻との間の前記マーカの特定の位置に合わせこみ、前記複数のパターンのうち前記マーカの特定の位置との差が最も小さい前記第１のパターンを選択する処理を含むことを特徴とする請求項２に記載の判定プログラム。
  6. 前記第１のパターンを選択する処理は、前記顔のユーザの身体的特徴に基づいて、前記第１のパターンを選択する処理を含むことを特徴とする請求項１に記載の判定プログラム。
  7. 前記複数の画像の後に含まれる撮像画像と判定された前記アクションユニットの判定強度とに基づいて、機械学習用のデータを生成する処理を前記コンピュータにさらに実行させることを特徴とする請求項１に記載の判定プログラム。
  8. マーカを付した顔を含む連続で撮像された撮像画像群を取得する取得部と、
    前記マーカの位置推移を示す複数のパターンから、前記撮像画像群のうち連続した複数の画像に含まれる前記マーカの位置の時系列の変化に応じた第１のパターンを選択する選択部と、
    前記第１のパターンに基づいて決定されたアクションユニットの判定基準と、前記撮像画像群のうち前記複数の画像の後に含まれる撮像画像に含まれる前記マーカの位置とに基づいて、前記アクションユニットの発生強度を判定する判定部と
    を備えたことを特徴とする判定装置。
  9. マーカを付した顔を含む連続で撮像された撮像画像群を取得し、
    前記マーカの位置推移を示す複数のパターンから、前記撮像画像群のうち連続した複数の画像に含まれる前記マーカの位置の時系列の変化に応じた第１のパターンを選択し、
    前記第１のパターンに基づいて決定されたアクションユニットの判定基準と、前記撮像画像群のうち前記複数の画像の後に含まれる撮像画像に含まれる前記マーカの位置とに基づいて、前記アクションユニットの発生強度を判定する
    処理をコンピュータが実行することを特徴とする判定方法。
JP2022530404A 2020-06-09 2020-06-09 判定プログラム、判定装置、および判定方法 Active JP7396482B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/022725 WO2021250786A1 (ja) 2020-06-09 2020-06-09 判定プログラム、判定装置、および判定方法

Publications (2)

Publication Number Publication Date
JPWO2021250786A1 JPWO2021250786A1 (ja) 2021-12-16
JP7396482B2 true JP7396482B2 (ja) 2023-12-12

Family

ID=78845485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022530404A Active JP7396482B2 (ja) 2020-06-09 2020-06-09 判定プログラム、判定装置、および判定方法

Country Status (5)

Country Link
US (1) US20230046705A1 (ja)
EP (1) EP4163867A4 (ja)
JP (1) JP7396482B2 (ja)
CN (1) CN115668276A (ja)
WO (1) WO2021250786A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205289B (zh) * 2023-05-05 2023-07-04 海杰亚（北京）医疗器械有限公司 一种动物器官分割模型训练方法、分割方法及相关产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008949A (ja) 2010-06-28 2012-01-12 Nippon Telegr & Teleph Corp <Ntt> 顔表情増幅装置、表情認識装置、顔表情増幅方法、表情認識方法、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101512603B (zh) * 2006-07-28 2014-06-04 索尼株式会社 运动捕捉中的facs求解
US7961947B2 (en) * 2006-07-28 2011-06-14 Sony Corporation FACS cleaning in motion capture
JP4999570B2 (ja) * 2007-06-18 2012-08-15 キヤノン株式会社 表情認識装置及び方法、並びに撮像装置
CN102725038B (zh) * 2009-09-15 2014-09-03 索尼公司 组合多传感输入以用于数字动画
US8842933B2 (en) * 2009-11-10 2014-09-23 Sony Corporation Facial motion capture using marker patterns that accommodate facial surface
JP5391144B2 (ja) 2010-05-10 2014-01-15 日本放送協会 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008949A (ja) 2010-06-28 2012-01-12 Nippon Telegr & Teleph Corp <Ntt> 顔表情増幅装置、表情認識装置、顔表情増幅方法、表情認識方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山本 俊太 他，モーションキャプチャで得られた顔特徴点位置データを用いた表情の識別，電子情報通信学会技術研究報告 Ｖｏｌ．１１０ Ｎｏ．４５７ IEICE Technical Report，日本，社団法人電子情報通信学会，2011年02月28日，第110巻，101～106

Also Published As

Publication number Publication date
US20230046705A1 (en) 2023-02-16
EP4163867A1 (en) 2023-04-12
CN115668276A (zh) 2023-01-31
JPWO2021250786A1 (ja) 2021-12-16
WO2021250786A1 (ja) 2021-12-16
EP4163867A4 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
JP7452016B2 (ja) 学習データ生成プログラム、及び学習データ生成方法
US8515136B2 (en) Image processing device, image device, image processing method
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
JP4950787B2 (ja) 画像処理装置及びその方法
JP6816058B2 (ja) パラメータ最適化装置、パラメータ最適化方法、プログラム
US20110158540A1 (en) Pattern recognition method and pattern recognition apparatus
US11759126B2 (en) Scoring metric for physical activity performance and tracking
CN105095853B (zh) 图像处理装置及图像处理方法
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
JP7396482B2 (ja) 判定プログラム、判定装置、および判定方法
US20230368409A1 (en) Storage medium, model training method, and model training device
JP2009288917A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7318814B2 (ja) データ生成方法、データ生成プログラムおよび情報処理装置
JP7452015B2 (ja) 判定プログラム、判定方法、判定装置
JP7311046B2 (ja) 判定プログラム、判定装置、および判定方法
JP7396364B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20220398867A1 (en) Information processing apparatus and facial expression determination method
US20230130397A1 (en) Determination method and information processing apparatus
Nguyen et al. Vision-based global localization of points of gaze in sport climbing
JP6282121B2 (ja) 画像認識装置、画像認識方法およびプログラム
Majerník Reconstruction of Human Motion Trajectories to Support Human Gait Analysis in Free Moving Subjects
JP2005141305A (ja) 顔表情推定装置、顔表情推定方法および顔表情推定プログラム
Brauer Human Pose Estimation with Implicit Shape Models
JP2019098168A (ja) 肌解析方法及び肌解析システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R150 Certificate of patent or registration of utility model

Ref document number: 7396482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150