JP7354693B2 - 顔向き推定装置及び方法 - Google Patents
顔向き推定装置及び方法 Download PDFInfo
- Publication number
- JP7354693B2 JP7354693B2 JP2019156979A JP2019156979A JP7354693B2 JP 7354693 B2 JP7354693 B2 JP 7354693B2 JP 2019156979 A JP2019156979 A JP 2019156979A JP 2019156979 A JP2019156979 A JP 2019156979A JP 7354693 B2 JP7354693 B2 JP 7354693B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- fitting
- face model
- model
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
画像データから人の顔画像データを検出する顔検出部と、及び、検出された人の顔画像データに関して顔の向きの角度を推定する顔向き推定部とを備える顔向き推定装置である。前記顔向き推定部は、3次元顔モデル初期設定部と、3次元顔モデル移動(ずらし)部と、3次元顔モデル詳細フィッティング部と、3次元顔モデルフィッティングスコア算出部と、及び、3次元顔モデル統合部とを含み、
前記3次元顔モデル初期設定部は、顔画像データ上に3次元顔モデルを設定するものであり、
更に、
(1)前記3次元顔モデル移動(ずらし)部は、所与の3次元顔モデルの位置をずらし量だけ一又は複数回ずらし、詳細フィッティングのための複数の3次元顔モデルを生成し、
(2)前記3次元顔モデル詳細フィッティング部は、顔画像データに対して位置をずらすことにより生成された複数の詳細フィッティングのための三次元顔モデルを詳細フィッティングする処理を行い、
(3)前記3次元顔モデルフィッティングスコア算出部は、前記3次元顔モデル詳細フィッティング部による詳細フィッティング処理の直後の、3次元顔モデルのフィッティングスコアを算出し、
(4)前記3次元顔モデル統合部は、複数の3次元顔モデルフィッティング結果を統合して、顔の向きの角度を算出する
ものであり、
前記顔向き推定部は、上記(1)~(4)の処理を繰り返し実行し、顔の向きの角度を出力する。
画像データから人の顔を検出し、更に検出した顔についてその顔の向きを推定する技術は、これまで様々に開発されている。特許文献1は、人の顔における複数の特徴点に対応する複数の3次元位置を定める3次元顔モデルを、画像中の顔にフィッティングすることにより、画像中の顔の向きを推定する、3次元顔モデルフィッティングアルゴリズム、及び、同アルゴリズムを利用する検出装置を、開示している。
図6(a-1)に示されるように、ヨー角約-40°の顔画像に対して、ヨー角約-50°であると誤推定が生じる可能性がある。これは以下のような要因によるものである。
(要因1)ヨー角約-50°の3次元顔モデルに対しても、ヨー角約-40°の顔画像における多くの顔特徴点がフィットすること。
(要因2)顔の奥側(ここでは右側)の顔特徴点が明確でない(即ち、見辛い)ことから、ヨー角約-40°の3次元顔モデルもヨー角約-50°の3次元顔モデルも、いずれに対しても、顔の奥側の顔特徴点がフィットし難いこと。
つまり、3次元顔モデルフィッティングが結果として、局所解に陥り、誤推定を生じ、顔向き推定精度に影響を及ぼす。
(条件1)統合されたフィッティングスコアが所定の第1閾値より大きい。
(条件2)顔向きの角度の変動量が所定の第2閾値より小さい。
但し、処理を終了する(打ち切る)ためのイタレーション回数の上限を設けることがある。
本開示で利用する3次元顔モデルフィッティングのアルゴリズムについて説明する。3次元顔モデルフィッティングのアルゴリズムは、様々存在する。特許文献1に開示される3次元顔モデルフィッティングのアルゴリズムは、リアルタイム性及び高精度が求められる車載モニタリングセンサの技術分野で用いられる、一つの例である。本開示で利用する3次元顔モデルフィッティングのアルゴリズムは、特許文献1に開示される3次元顔モデルフィッティングのアルゴリズムであってもよいし、別の3次元顔モデルフィッティングのアルゴリズムであってもよい。
本開示に係る顔向き推定装置が適用可能な一例について、図2を用いて説明する。図2は、本開示に係る顔向き推定装置14の適用例を説明するための図である。
更に、ドライバモニタリングセンサ12のCPU18と、車両制御部4のECU6とは、CAN(Control Area Network)10を介して接続する。
以下、顔向き推定装置14の構成例としての実施の形態を説明する。
1.1.構成
実施の形態1に係る顔向き推定装置14の構成について、図1を用いて説明する。図1は、本実施の形態に係る顔向き推定装置14の機能構成を示すブロック図である。
(理由1)複数方向のフィッティング処理で、各々、各顔器官点の各両端の特徴(例えば、左からのフィッティングでは左側の特徴)が少なくともフィッティングされるようにするため。
(理由2)「口幅」は最大長さの器官点であり基準とされるべきものであるため。
なお、ずらし量は別の値であってもよい。
ずらすことにより詳細フィッティングのための3次元顔モデルが、例えば、M個(M≧1)生成される。
3次元顔モデルフィッティングスコア算出部34は、3次元顔モデル詳細フィッティング部32による詳細フィッティングの直後の、3次元顔モデルのフィッティングスコアを算出する。
更に、3次元顔モデル統合部36は、複数方向からの詳細フィッティングの結果を統合して、顔向きの角度を算出する。
以上のように構成される顔向き推定装置14の動作について、以下説明する。
図3は、実施の形態1に係る顔向き推定装置14の全体動作を示すフローチャートである。顔向き推定装置14の動作開始(ステップS02)後、「t」の初期化処理を行う(ステップS04)。
図4は、実施の形態1に係る顔向き推定装置14における、顔向き推定部24の顔向き推定処理(図3・ステップS10)の内容を示すフローチャートである。
図5a及び図5bは、実施の形態1に係る顔向き推定装置14における、3次元顔モデル統合部36の、M個の3次元顔モデルフィッティング結果の統合処理を示すフローチャートである。図5a及び図5bに示すフローチャートでは、M個の詳細フィッティング結果について、フィッティングスコアで重み付けして統合して、顔向きを算出する。
・「paraN」:所定のフィッティングモデルパラメータ数(定数)。
・「ModelPara[k]」:「paraN」個のフィッティングモデルパラメータのうち、k番目のフィッティングモデルパラメータ。
「フィッティングモデルパラメータ」は、例えば、3次元顔モデルを左右方向に何度回転するか、などを表すものである。
・「validModelScoreSum」:“フィッティングスコアSm≧所定の第3閾値”を満たす3次元顔モデル(以下、有効モデルと言う。)のフィッティングスコアの合計値。
・「validModelParaSum[k]」:k番目のフィッティングモデルパラメータ「ModelPara[k]」について、“フィッティングスコアSm≧所定の第3閾値”を満たす有効モデルの分だけ、フィッティングスコアSmで重み付けして、フィッティングモデルパラメータ値を合計(積算)したもの。
・「Model[m].ModelPara[k]」:m番目の3次元顔モデルにおける、k番目のフィッティングモデルパラメータ。
以上のように、本実施の形態に係る顔向き推定装置は、画像データから人の顔画像データを検出する顔検出部23と、及び、検出された人の顔画像データに関して顔の向きの角度を推定する顔向き推定部24とを備える顔向き推定装置14である。顔向き推定部24は、3次元顔モデル初期設定部26と、3次元顔モデル移動(ずらし)部30と、3次元顔モデル詳細フィッティング部32と、3次元顔モデルフィッティングスコア算出部34と、及び、3次元顔モデル統合部36とを含む。3次元顔モデル初期設定部26は、顔画像データ上に3次元顔モデルを設定するものである。更に、(1)3次元顔モデル移動(ずらし)部30は、所与の3次元顔モデルの位置をずらし量だけ一又は複数回ずらし、詳細フィッティングのための複数の3次元顔モデルを生成し、(2)3次元顔モデル詳細フィッティング部32は、顔画像データに対して位置をずらすことにより生成された複数の詳細フィッティングのための3次元顔モデルを詳細フィッティングする処理を行い、(3)3次元顔モデルフィッティングスコア算出部34は、3次元顔モデル詳細フィッティング部32による詳細フィッティング処理の直後の、3次元顔モデルのフィッティングスコアを算出し、(4)3次元顔モデル統合部36は、複数の3次元顔モデルフィッティング結果を統合して、顔の向きの角度を算出するものである。顔向き推定部14は、上記(1)~(4)の処理を繰り返し実行し、顔の向きの角度を出力する。
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
Claims (8)
- 画像データから人の顔画像データを検出する顔検出部と、及び、
検出された人の顔画像データに関して顔の向きの角度を推定する顔向き推定部と
を備える顔向き推定装置であって、
前記顔向き推定部は、
3次元顔モデル初期設定部と、
3次元顔モデル移動(ずらし)部と、
3次元顔モデル詳細フィッティング部と、
3次元顔モデルフィッティングスコア算出部と、及び、
3次元顔モデル統合部と
を含み、
前記3次元顔モデル初期設定部は、顔画像データ上に3次元顔モデルを初期配置するものであり、
更に、
(1)前記3次元顔モデル移動(ずらし)部は、所与の3次元顔モデルの位置をずらし量だけ一又は複数回ずらし、詳細フィッティングのための複数の3次元顔モデルを生成し、
(2)前記3次元顔モデル詳細フィッティング部は、顔画像データに対して位置をずらすことにより生成された複数の詳細フィッティングのための3次元顔モデルを詳細フィッティングする処理を行い、
(3)前記3次元顔モデルフィッティングスコア算出部は、前記3次元顔モデル詳細フィッティング部による詳細フィッティング処理の直後の、3次元顔モデルのフィッティングスコアを算出し、
(4)前記3次元顔モデル統合部は、複数の3次元顔モデルフィッティング結果を統合して、顔の向きの角度を算出する
ものであり、
前記顔向き推定部は、上記(1)~(4)の処理を繰り返し実行し、最終的な顔の向きの角度を出力し、
ここで、上記(1)の前記所与の3次元顔モデルは、前記繰り返しの回数iが1であるとき、前記3次元顔モデル初期設定部による初期配置を経たものであり、前記繰り返しの回数iが複数であるとき、上記(4)における前記3次元顔モデル統合部による、複数の3次元顔モデルフィッティング結果の統合の処理を、前記繰り返しの実行により(i-1)回分、経由したものである、
顔向き推定装置。 - 上記(4)における複数の3次元顔モデルフィッティング結果の統合処理を経由した3次元顔モデルに係るフィッティングスコアが、所定の第1閾値より大きく、且つ、前回の繰り返し回数における、上記(4)における顔の向きの角度からの変動値が、所定の第2の閾値より小さく、なるまで、
又は、
繰り返し回数が繰り返し上限回数を超えるまで、
実行され、
上記(1)~(4)の処理の繰り返しの実行後、最終的な顔の向きの角度を出力する、
請求項1に記載の顔向き推定装置。 - 上記(4)における、前記3次元顔モデル統合部が、複数の3次元顔モデルフィッティング結果を統合して、顔の向きの角度を算出する処理では、
複数の詳細フィッティング結果について、夫々のフィッティングスコアが所定の第3閾値以上であれば当該フィッティングスコアで重み付けして積算し、
積算後、正規化により統合値を算出して顔向きの角度を算出する、
請求項1に記載の顔向き推定装置。 - 上記(4)における、複数の3次元顔モデルフィッティング結果の統合処理を経由した3次元顔モデルに係るフィッティングスコアは、複数のフィッティングスコアのうち所定の第3閾値以上であるフィッティングスコアについての平均値である、
請求項3に記載の顔向き推定装置。 - コンピュータが実行する顔向き推定方法であって、
画像データから人の顔画像データを検出するステップと、
顔画像データ上に3次元顔モデルを初期配置するステップと、並びに、
下記(処理1)~(処理4)の処理を繰り返し実行し、最終的な顔の向きの角度を出力するステップと
を含み、
ここで、下記(処理1)の下記所与の3次元顔モデルは、前記繰り返しの回数iが1であるとき、前記初期配置するステップによる初期配置を経たものであり、前記繰り返しの回数iが複数であるとき、下記(処理4)における、複数の3次元顔モデルフィッティング結果の統合の処理を、前記繰り返しの実行により(i-1)回分、経由したものである、
顔向き推定方法。
(処理1)所与の3次元顔モデルの位置をずらし量だけ一又は複数回ずらし、詳細フィッティングのための複数の3次元顔モデルを生成する処理。
(処理2)顔画像データに対して位置をずらすことにより生成された複数の詳細フィッティングのための3次元顔モデルを詳細フィッティングする処理。
(処理3)上記(処理2)における詳細フィッティング処理の直後の、3次元顔モデルのフィッティングスコアを算出する処理。
(処理4)複数の3次元顔モデルフィッティング結果を統合して、顔の向きの角度を算出する処理。 - 上記(処理4)における、複数の3次元顔モデルフィッティング結果の統合処理を経由した3次元顔モデルに係るフィッティングスコアが、所定の第1閾値より大きく、且つ、前回の繰り返し回数における、上記(処理4)における顔の向きの角度からの変動値が、所定の第2の閾値より小さく、なるまで、
又は、
繰り返し回数が繰り返し上限回数を超えるまで、
実行され、
上記(処理1)~(処理4)の処理の繰り返しの実行後、最終的な顔の向きの角度を出力する、
請求項5に記載の顔向き推定方法。 - 上記(処理4)における、複数の3次元顔モデルフィッティング結果を統合して、顔の向きの角度を算出する処理では、
複数の詳細フィッティング結果について、夫々のフィッティングスコアが所定の第3閾値以上であれば当該フィッティングスコアで重み付けして積算し、
積算後、正規化により統合値を算出して顔向きの角度を算出する、
請求項5に記載の顔向き推定方法。 - 上記(処理4)における、複数の3次元顔モデルフィッティング結果の統合処理を経由した3次元顔モデルに係るフィッティングスコアは、複数のフィッティングスコアのうち所定の第3閾値以上であるフィッティングスコアについての平均値である、
請求項7に記載の顔向き推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019156979A JP7354693B2 (ja) | 2019-08-29 | 2019-08-29 | 顔向き推定装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019156979A JP7354693B2 (ja) | 2019-08-29 | 2019-08-29 | 顔向き推定装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021033938A JP2021033938A (ja) | 2021-03-01 |
JP7354693B2 true JP7354693B2 (ja) | 2023-10-03 |
Family
ID=74677489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019156979A Active JP7354693B2 (ja) | 2019-08-29 | 2019-08-29 | 顔向き推定装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7354693B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7433573B2 (ja) * | 2022-01-27 | 2024-02-19 | 三菱電機株式会社 | 調整装置、顔向き推定装置、および、調整方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009091029A1 (ja) | 2008-01-16 | 2009-07-23 | Asahi Kasei Kabushiki Kaisha | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム |
-
2019
- 2019-08-29 JP JP2019156979A patent/JP7354693B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009091029A1 (ja) | 2008-01-16 | 2009-07-23 | Asahi Kasei Kabushiki Kaisha | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021033938A (ja) | 2021-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7925048B2 (en) | Feature point detecting device, feature point detecting method, and feature point detecting program | |
Skocaj et al. | Weighted and robust incremental method for subspace learning | |
CN110942015B (zh) | 人群密度估计方法 | |
CN110824587B (zh) | 图像预测方法、装置、计算机设备和存储介质 | |
JP6856853B2 (ja) | 極限状況においてフォールトトレランス及びフラクチュエーションロバスト性を向上させるために、ジッタリングが起きたイメージを安定化させるプロセスで生成されたワーピングされたイメージに発生した歪曲を、ganを利用して減らすための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 | |
JP7354693B2 (ja) | 顔向き推定装置及び方法 | |
CN113221645B (zh) | 目标模型训练方法、人脸图像生成方法以及相关装置 | |
US20210117703A1 (en) | Road obstacle detection device, road obstacle detection method, and computer-readable storage medium | |
KR101869266B1 (ko) | 극한 심층학습 기반 차선 검출 시스템 및 그 방법 | |
JP2022027464A (ja) | 映像の深度推定に関する方法及び装置 | |
KR20220074715A (ko) | 이미지 처리 방법 및 장치 | |
US20180232903A1 (en) | Estimation device, estimation method, and storage medium | |
EP2128820A1 (en) | Information extracting method, registering device, collating device and program | |
US20220327728A1 (en) | Information processing apparatus, information processing method, learning method, and storage medium | |
EP4030383A1 (en) | Probabilistic sampling acceleration and corner feature extraction for vehicle systems | |
JP7259648B2 (ja) | 顔向き推定装置及び方法 | |
Skocaj et al. | Weighted Incremental Subspace Learning Ѓ | |
JP2020035290A (ja) | 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム | |
US20230252765A1 (en) | Data augmentation device, learning device, data augmentation method, and recording medium | |
JP7074723B2 (ja) | 学習装置及びプログラム | |
CN111382834B (zh) | 一种置信度比较方法及装置 | |
JP2023078578A (ja) | 画像処理装置、学習システム、および、学習方法 | |
CN113658156A (zh) | 一种去除深度图像中局外点的球体拟合方法和装置 | |
JP7454987B2 (ja) | 情報処理方法、情報処理プログラム、および情報処理装置 | |
US20220326768A1 (en) | Information processing apparatus, information processing method, learning method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7354693 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |