JP6668475B2

JP6668475B2 - 人の顔の回転角を決定するための方法およびデバイス、ならびにコンピュータ記憶媒体

Info

Publication number: JP6668475B2
Application number: JP2018527759A
Authority: JP
Inventors: ▲チェン▼杰汪
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2016-01-21
Filing date: 2017-01-09
Publication date: 2020-03-18
Anticipated expiration: 2037-01-09
Also published as: EP3407245B1; KR20180079399A; WO2017124929A1; CN106991367B; CN106991367A; EP3407245A4; JP2018537781A; EP3407245A1; US10713812B2; US20180225842A1; KR102144489B1

Description

本開示は、顔認識技術の分野に関し、より詳細には、顔回転角を決定するための方法および装置、ならびにコンピュータ記憶媒体に関する。

顔認識技術は、ビデオカメラにより撮られた画像から顔画像を認識するためのものである。ビデオカメラが顔を撮るとき、顔は、頭を上げること、頭を下げること、左に回転すること、または右に回転することなどの、頭の動きを実行する。結果として、ビデオカメラにより撮られた画像における顔と正面の顔画像の顔との間には角度が存在し、この角度が顔回転角であり、顔認識技術は、画像において顔回転角を決定する必要があり、顔回転角のみに従って画像から顔画像を認識することができる。

現在、顔回転角は、次の方法を使用することにより決定される。顔が事前に異なる回転方向への頭の動きを実行させられ、異なる回転方向における顔画像がビデオカメラを使用することにより撮られ、各回転方向における顔画像のテクスチャ特徴が別々に分析され、各回転方向が各回転方向における顔画像のテクスチャ特徴と対応付けられて対応付けを形成する。顔画像の顔回転角が決定される必要があるとき、顔画像のテクスチャ特徴が分析され、そのテクスチャ特徴に最も類似するテクスチャ特徴を求めて対応付けが検索され、最も類似するテクスチャ特徴に対応する顔回転方向が取得され、顔画像の顔回転角がその顔回転方向およびそのテクスチャ特徴に従って推定される。

テクスチャ特徴に基づいて顔回転角を決定するための従来の方法では、粗い顔回転の角度しか決定することができず、一方で具体的な顔回転角を決定することができない。その上、テクスチャ特徴分析は複雑な処理であり、テクスチャ特徴が正確に分析されないので極めて容易に不正確な顔回転角を決定する。

顔回転角が正確に決定できないという既存の技術の問題を解決するために、本発明の実施形態は、顔回転角を決定するための方法および装置、ならびにコンピュータ記憶媒体を提供する。技術的な解決法は次の通りである。

第1の態様によれば、本発明の実施形態は、顔回転角を決定するための方法を提供し、この方法は、
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得するステップであって、複数の顔特徴点の数が奇数であり、複数の顔特徴点が対称的な顔特徴点の複数のペアと1つの第1の顔特徴点とを含み、複数の顔特徴点が同一平面上にない、ステップと、
顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得するステップと、
顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の顔回転角を決定するステップとを含む。

第2の態様によれば、本発明の実施形態はさらに、顔回転角を決定するための装置を提供し、この装置は、
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得するように構成された第1の取得モジュールであって、複数の顔特徴点の数が奇数であり、複数の顔特徴点が対称的な顔特徴点の複数のペアと1つの第1の顔特徴点とを含み、複数の顔特徴点が同一平面上にない、第1の取得モジュールと、
顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点のものであり第1の取得モジュールにより取得される第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得するように構成された第2の取得モジュールと、
顔特徴点の各ペアの対称的な中点のものであり第2の取得モジュールにより取得される第1の位置情報および第1の顔特徴点のものであり第1の取得モジュールにより取得される第1の位置情報に従って、決定されることになる顔画像の顔回転角を決定するように構成された第1の決定モジュールとを含む。

第3の態様によれば、本発明の実施形態はさらに、コンピュータ記憶媒体を提供し、このコンピュータ記憶媒体はコンピュータ実行可能命令を記憶し、このコンピュータ実行可能命令は、本発明の実施形態に従って顔回転角を決定するための方法を実行するために使用される。

本発明の実施形態において提供される技術的な解決法は、次の有益な効果をもたらす。

まず、顔回転角を決定できないという問題を解決するために、対称的な顔特徴点の事前に設定された複数のペアおよび1つの第1の顔特徴点が取得され、顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報が取得され、事前に設定された線分比が顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って計算され、事前に設定された線分比と顔回転角との間の対応付けがその線分比に従って照会され、決定されることになる顔画像の顔回転角が決定される。事前に設定された線分比と顔回転角との間の対応付けは、線分比と角度との間の比較的正確な対応付けであるので、本発明の実施形態において提供される顔回転角を決定するための方法は、顔回転角を決定することの精度を大きく改善する。

本発明の実施形態の技術的な解決法をより明確に説明するために、実施形態を図示するための添付の図面が以下で簡単に紹介される。当然ながら、以下の説明における図面は本発明のいくつかの実施形態にすぎず、当業者は創造的な努力なしでこれらの添付の図面に基づいて他の図面を得ることができる。

本発明のある実施形態による、顔回転角を決定するための方法のフローチャートである。本発明のある実施形態による、顔回転角を決定するための方法のフローチャートである。本発明のある実施形態による、決定されることになる顔画像においていくつかの特徴点をタグ付けする概略図である。本発明のある実施形態による、決定されることになる顔画像において顔ピッチ角を決定するための方法のフローチャートである。本発明のある実施形態による、決定されることになる顔画像において横方向の顔回転角を決定するための方法のフローチャートである。本発明のある実施形態による、線分比と事前に設定された顔回転角との間の対応付けを決定するための方法のフローチャートである。本発明の別の実施形態による、第1の顔画像においていくつかの特徴点をタグ付けする概略図である。本発明のある実施形態による、第1の比と事前に設定された顔ピッチ角との間の対応付けを確立するプロセスの方法のフローチャートである。本発明のある実施形態による、第3の比と事前に設定された顔ピッチ角との間の対応付けを確立するプロセスの方法のフローチャートである。本発明のある実施形態による、第1の顔画像が正面の顔画像であるときの正面の顔画像の中のいくつかの特徴点の概略図である。本発明のある実施形態による、第2の比と事前に設定された横方向の顔回転角との間の対応付けを確立するプロセスの方法のフローチャートである。本発明のある実施形態による、顔回転角を決定するための装置の構造ブロック図である。本発明の別の実施形態による、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得するための装置の構造ブロック図である。本発明の別の実施形態による、決定されることになる顔画像における顔ピッチ角を決定するための装置の構造ブロック図である。本発明の別の実施形態による、決定されることになる顔画像における横方向の顔回転角を決定するための装置の構造ブロック図である。本発明の別の実施形態による、第4の線分を計算するための装置の構造ブロック図である。本発明の別の実施形態による、顔回転角を決定するための装置の構造ブロック図である。本発明の別の実施形態による、第1の比と事前に設定された顔ピッチ角との間の対応付けを確立するための装置の構造ブロック図である。本発明のさらに別の実施形態による、第3の比と事前に設定された顔ピッチ角との間の対応付けを確立するための装置の構造ブロック図である。本発明のさらに別の実施形態による、第2の比と事前に設定された横方向の顔回転角との間の対応付けを確立するための装置の構造ブロック図である。本発明のいくつかの実施形態による、電子デバイスの構造ブロック図である。

本開示の目的、技術的な解決法、および利点をより明確にするために、以下ではさらに、添付の図面を参照して本開示の実装形態を詳細に説明する。テキストにおいて言及される「電子デバイス」は、スマートフォン、タブレットコンピュータ、インテリジェントテレビジョン、電子書籍リーダー、MP3プレーヤー(Moving Picture Experts Group Audio Layer III)、MP4(Moving Picture Experts Group Audio Layer IV)プレーヤー、ラップトップポータブルコンピュータ、デスクトップコンピュータなどを含み得る。

図1は、本発明のある実施形態による、顔回転角を決定するための方法のフローチャートである。図1を参照すると、方法は次のステップを含む。

ステップ101において:決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得し、複数の顔特徴点の数が奇数であり、複数の顔特徴点が対称的な顔特徴点の複数のペアと1つの第1の顔特徴点とを含み、複数の顔特徴点が同一平面上にない。

ステップ102において:顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得する。

ステップ103において:顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の顔回転角を決定する

まとめると、この実施形態において提供される顔回転角を決定するための方法によれば、顔回転角を決定できないという問題を解決するために、対称的な顔特徴点の第1の事前に設定された複数のペアおよび1つの第1の顔特徴点が取得され、顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴の各ペアの対称的な中点の第1の位置情報が取得され、事前に設定された線分比が顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って計算され、事前に設定された線分比と顔回転角との間の対応付けがその線分比に従って照会され、決定されることになる顔画像の顔回転角が決定される。事前に設定された線分比と顔回転角との間の対応付けは、線分比と角度との間の比較的正確な対応付けであるので、本発明の実施形態において提供される顔回転角を決定するための方法は、顔回転角を決定することの精度を改善する。

図2Aは、本発明のある実施形態による、顔回転角を決定するための方法のフローチャートである。この方法では、対称的な顔特徴点の事前に設定された複数のペアおよび1つの第1の顔特徴点が取得され、決定されることになる顔画像の中の対称的な顔特徴点の事前に設定された複数のペアおよび第1の顔特徴点の座標位置情報が取得され、決定されることになる顔画像の顔回転角がその座標位置情報に従って決定される。図2Aを参照すると、方法は次のステップを含む。

ステップ200において:決定されることになる顔画像において事前に設定された複数の顔特徴点を検出する。

事前に設定された複数の顔特徴点は、顔において容易に認識される点から選択され、事前に設定された顔特徴点は、顔の器官の輪郭上に位置し、顔の器官の輪郭の変向点であり得る。たとえば、事前に設定された特徴点は、目頭、目じり、口角、眉じり(tail of a brow)、眉の頭(head of a brow)、または鼻尖であってもよく、目頭と目じりの両方が目の輪郭の変向点であり、口角は口の輪郭の変向点であり、眉じりおよび眉の頭は眉毛の輪郭の変向点であり、鼻尖は鼻の輪郭の変向点である。事前に設定された複数の特徴点のいくつかの特徴点は、左右の対称性を有する。たとえば、顔の中の2つの目頭、2つの目じり、眉毛の2つの外側の端、眉毛の2つの内側の端、および2つの口角はすべて、左右の対称性を有する。

事前に設定された複数の顔特徴点の数は奇数である。たとえば、この数は5または7であってよく、事前に設定された複数の顔特徴点は、対称的な顔特徴点の複数のペアおよび1つの残りの第1の顔特徴点を含み、複数の顔特徴点は同一平面上にない。

ある実装形態では、この実施形態において、複数の顔特徴点は5つの顔特徴点を含むことがあり、5つの顔特徴点は、対称的な顔特徴点の第1のペアと、対称的な顔特徴点の第2のペアと、1つの残りの第1の顔特徴点とを含む。この実施形態では、対称的な顔特徴点の第1のペアは2つの目頭であってよく、対称的な顔特徴点の第2のペアは2つの口角であってよく、残りの第1の顔特徴点は鼻尖である。

このステップは、まず、決定されることになる顔画像の中の顔が顔検出技術を使用することにより検出され、次いで対称的な顔特徴点の第1のペアすなわち2つの目頭、対称的な顔特徴点の第2のペアすなわち2つの口角、および残りの第1の顔特徴点すなわち鼻尖が、顔特徴点検出技術を使用することにより顔において検出される。

当然、事前に設定された顔特徴点が完全に検出された後で、検出された顔特徴点はタグ付けされ得る。図2Bを参照すると、図2Bは、この実施形態に従って、決定されることになる顔画像において特徴点をタグ付けする図である(ここで、図の中の特徴点は検出された顔特徴点を含むだけではなく、検出された対称的な顔特徴点および別の点により形成される対称的な中点も含み、以下の内容において説明される)。図2に示されるように、対称的な顔特徴点の検出された事前に設定された第1のペア、すなわち2つの目頭がC'およびD'として別々にタグ付けされ、対称的な顔特徴点の検出された事前に設定された第2のペア、すなわち2つの口角がE'およびF'として別々にタグ付けされ、1つの検出された事前に設定された残りの第1の顔特徴点、すなわち鼻尖がN'としてタグ付けされる。

ステップ201において:決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得する。

第1の位置情報は、決定されることになる顔画像が直交座標系の中に位置するときの、2次元直交座標系または3次元直交座標系における顔特徴点の座標位置である。2次元直交座標系は、別々にx軸およびy軸である2つの座標軸を使用することにより平面を表記するための方法であり、ここでx軸およびy軸は互いに垂直な2つの軸方向である。したがって、2次元直交座標系を使用することにより得られる顔特徴点の第1の位置情報の座標の形式は(x,y)である。3次元直交座標系は、別々にx軸、y軸、およびz軸である3つの座標を使用することにより空間を表記するための方法であり、ここでx軸、y軸、およびz軸は互いに垂直な3つの軸方向である。したがって、3次元直交座標系を使用することにより得られる顔特徴点の第1の位置情報の座標の形式は(x,y,z)である。

顔特徴点が検出された後で、顔特徴点の座標が自動的に取得され、ここで顔特徴点の座標の形式は(x,y)であり、位置決めの後の座標が端末に出力される。このようにして、端末は直接、位置決めの後の顔特徴点の座標位置を取得することができる。たとえば、対称的な顔特徴点の事前に設定された第1のペア(2つの目頭)の、端末により取得される座標位置は、別々にC'(x₁,y₁)およびD'(x₂,y₂)であり、対称的な顔特徴点の第2のペア(2つの口角)の、端末により取得される座標位置は、別々にE'(x₃,y₃)およびF'(x₄,y₄)であり、残りの第1の顔特徴点(鼻尖)の、端末により取得される座標位置は、N'(x₅,y₅)である。たとえば、5つの顔特徴点の取得された座標位置は別々に、C'(0,0)、D'(2,2)、E'(1,-2)、F'(2,-1)、およびN'(1.5,0)であると想定される。

ステップ202において:対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第1の位置情報に従って、対称的な顔特徴点の第1のペアの第1の対称的な中点の第1の位置情報を取得する

前述の例を例としてさらに使用すると、対称的な顔特徴点の第1のペアは2つの目頭である。2つの目頭の座標は別々にC'(x₁,y₁)およびD'(x₂,y₂)であり、対称的な顔特徴点の第1のペアの第1の対称的な中点は、点C'(x₁,y₁)およびD'(x₂,y₂)により形成される線分C'D'の中点である。図2Bに示されるように、中点はA'(x₆,y₆)としてタグ付けされ、A'(x₆,y₆)の座標位置は中点の計算式を使用して取得され得る。具体的な計算が次の式(1)および(2)に示される。

たとえば、C'(x₁,y₁)およびD'(x₂,y₂)の座標位置が別々にC'(0,0)およびD'(2,2)であるとき、点A'(x₆,y₆)の座標位置は次の式(3)および(4)を使用することにより計算される。

したがって、対称的な顔特徴点の第1のペアの第1の対称的な中点の第1の位置情報はA'(1,1)である。

ステップ203において:対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第1の位置情報に従って対称的な顔特徴点の第2のペアの第2の対称的な中点の第1の位置情報を取得する。

たとえば、対称的な顔特徴点の第2のペアは2つの口角である。2つの口角の座標は別々にE'(x₃,y₃)およびF'(x₄,y₄)であり、対称的な顔特徴点の第2のペアの第2の対称的な中点は、点E'(x₃,y₃)およびF'(x₄,y₄)により形成される線分E'F'の中点である。図2Bに示されるように、中点はB'としてタグ付けされ、B'(x₇,y₇)の座標位置は中点の計算式を使用することにより取得される。具体的な計算が次の式(5)および(6)に示される。

たとえば、点E'(x₃,y₃)およびF'(x₄,y₄)の具体的な座標がE'(1,-2)およびF'(2,-1)であるとき、第2の対称的な中点の座標は次の式(7)および(8)を使用することにより計算される。

したがって、対称的な顔特徴点の第2のペアの第2の対称的な中点の第1の位置情報はB'(1.5,-1.5)である。

ステップ204において:顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の第1のピッチ角を決定する。

決定されることになる顔画像の顔回転角は、顔ピッチ角または横方向の顔回転角であり得る。顔ピッチ角を決定するための方法および横方向の顔回転角を決定するための方法が、以下で別々に説明される。

決定されることになる顔画像の顔ピッチ角は、顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って決定される。図2Cを参照すると、方法は次のステップを含み得る。

ステップ204aにおいて:第1の対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、第1の対称的な中点および第1の顔特徴点により形成される第1の線分の長さを計算する。

対称的な顔特徴点の第1のペアの第1の対称的な中点はA'(x₆,y₆)であり、第1の顔特徴点の第1の位置情報はN'(x₅,y₅)であり、第1の対称的な中点A'(x₆,y₆)および第1の顔特徴点はN'(x₅,y₅)により形成される第1の線分A'N'の長さは、2つの点の間の距離のための式を使用して計算されることが、ステップ202からわかる。具体的な計算が次の式(9)に示される。

ステップ204bにおいて:第2の対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、第2の対称的な中点および第1の顔特徴点により形成される第2の線分の長さを計算する。

対称的な顔特徴点の第1のペアの第1の対称的な中点がB'(x₇,y₇)であり、第1の顔特徴点の第1の位置情報がN'(x₅,y₅)であり、第1の対称的な中点B'(x₇,y₇)および第1の顔特徴点N'(x₅,y₅)により形成される第1の線分B'N'の長さが2つの点の間の距離のための式を使用することにより計算されることが、ステップ203からわかる。具体的な計算が次の式(10)に示される。

ステップ204cにおいて:第2の線分の長さに対する第1の線分の長さの第1の比に従って、かつ、第1の比と顔ピッチ角との対応付けから、決定されることになる顔画像の顔ピッチ角を取得する。

第2の線分の長さB'N'に対する第1の線分の長さA'N'の第1の比が計算され、第1の比と顔ピッチ角との間の事前に確立される対応付けが第1の比に従って照会され(対応付けを確立するプロセスについては、後続のステップ302aから302eを参照されたい)、計算された第1の比に対応する顔ピッチ角が対応付けから紹介され、その顔ピッチ角が、決定されることになる顔画像の顔ピッチ角として決定される。

このステップにおいて計算される第1の比が、第1の比と顔ピッチ角との間の事前に確立された対応付けに含まれるすべての第1の比において見つからない場合、このステップにおいて計算される第1の比に最も近い第1の比が、対応付けにおけるすべての第1の比から決定され、最も近い第1の比に対応する顔ピッチ角が、このステップにおいて計算される第1の比に対応する顔ピッチ角として使用されることに留意されたい。

加えて、このステップにおいて計算される第1の比に最も近い第1の比は、次の方法を使用することにより、対応付けの中のすべての第1の比から決定され得る。

第1の比の差分を取得するために、第1の比と顔ピッチ角との間の事前に確立された対応付けに含まれる各々の第1の比と、このステップにおいて計算された第1の比に対して、減算が実行され、各々の第1の比の差分に対して絶対値演算が実行され、最小の絶対値を取得するために絶対値演算の後で取得された値が比較され、最小の絶対値に対応する第1の比(第1の比と顔ピッチ角との間の対応付けに含まれる第1の比)が取得され、この第1の比が、このステップにおいて計算される第1の比に最も近い第1の比として決定される。

ステップ205において:顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の横方向の顔回転角を決定する。

決定されることになる顔画像の横方向の顔回転角は、顔特徴点の各ペアの対称的な中点の第1の位置情報、第1の顔特徴点の第1の位置情報、および前述のプロセスを使用することにより決定される顔ピッチ角に従って決定される。図2Dを参照すると、方法は次のステップを含み得る。

ステップ205aにおいて:第1の対称的な中点の第1の位置情報、第2の対称的な中点の第1の位置情報、および第1の顔特徴点の第1の位置情報に従って、第1の顔特徴点から第3の線分までの第1の垂直距離および第3の線分の長さを計算する。

第1の対称的な中点の第1の位置情報はA'(x₆,y₆)であることがステップ202からわかる。第2の対称的な中点の第1の位置情報はB'(x₇,y₇)であることがステップ203からわかる。第1の顔特徴点の第1の位置情報はN'(x₅,y₅)であることがステップ201からわかる。第3の線分は第1の対称的な中点A'(x₆,y₆)と第2の対称的な中点B'(x₇,y₇)により形成される線分A'B'であり、第1の顔特徴点から第3の線分までの第1の垂直距離は次の方法を使用することで計算される。まず、点A'および点B'を通る直線が直線cとしてタグ付けされ、直線cの一般的な直線式が点A'と点B'の第1の位置情報に従って計算され、第1の顔特徴点N'から直線cまでの第1の垂直距離が第1の顔特徴点N'の第1の位置情報に従って計算される。詳細は次の通りである。

まず、点はA'(x₆,y₆)およびB'(x₇,y₇)を通る2点式の直線の式が、2点式の直線の式に従って取得され、2点式の直線の式は次の式(11)において示される。

前述の式は等価的に変換され、一般的な直線の式へと変換され、一般的な直線の式は次の式(12)に示される。

当然、点A'(x₆,y₆)および点B'(x₇,y₇)を通る直線cはさらに、別の方法を使用することにより計算されてよく、詳細はここでは説明されない。

次いで、第1の顔特徴点N'(x₅,y₅)から直線cまでの距離dが、点から線までの距離の式に従って計算され、具体的な計算が次の式(13)に示される。

直線cは点A'(x₆,y₆)および点B'(x₇,y₇)を通る直線であるので、第1の顔特徴点N'(x₅,y₅)から直線cまでの距離dは、第1の顔特徴点N'(x₅,y₅)から第3の線分A'B'までの第2の垂直距離である。したがって、第1の垂直距離は距離dである。

第3の線分の長さは2つの点の間の距離のための式を使用することにより取得され、具体的な計算が次の式(14)に示される。

ステップ205bにおいて:顔ピッチ角に従って、かつ顔ピッチ角と第3の比との間の対応付けから、対応する第3の比を取得する。

第3の比と顔ピッチ角との間の事前に確立された対応付けが、ステップ204において決定された顔ピッチ角に従って照会され(対応付けを確立するプロセスについては、後続のステップ303aから303fを参照されたい)、顔ピッチ角に対応する第3の比はこの対応付けから紹介され、顔ピッチ角はステップ204において決定される顔ピッチ角であり、第3の比はeとタグ付けされる。

ステップ204において決定される顔ピッチ角が、第3の比と顔ピッチ角との間の事前に確立された対応付けに含まれるすべての顔ピッチ角において見つからない場合、ステップ204において計算される顔ピッチ角に最も近い顔ピッチ角はすべての顔ピッチ角から決定され、最も近い顔ピッチ角に対応する第3の比は顔ピッチ角に対応する第3の比として使用されることに留意されたい。

加えて、ステップ204において計算された顔ピッチ角に最も近い顔ピッチ角は、次の方法を使用することによりすべての顔ピッチ角から決定され得る。

顔ピッチ角の差分を取得するために、第3の比と顔ピッチ角との間の事前に確立された対応付けに含まれる各顔ピッチ角と、ステップ204において決定された顔ピッチ角に対して減算が実行され、各々の顔ピッチ角の差分に対して絶対値演算が実行され、最小の絶対値を得るために絶対値演算の後で得られた値が比較され、最小の絶対値に対応する顔ピッチ角(第3の比と顔ピッチ角との間の対応付けに含まれる顔ピッチ角)が取得され、この顔ピッチ角が、ステップ204において計算された顔ピッチ角に最も近い顔ピッチ角として決定される。

第3の比は、決定されることになる顔画像の中の顔特徴点の第1のペアの対称的な中点および顔特徴点の第2のペアの対称的な中点により形成される線分、すなわち第3の線分A'B'である第1の値、ならびに、正面の顔画像の中の顔特徴点の第1のペアの第3の対称的な中点Aおよび正面の顔画像の中の顔特徴点の第2のペアの第4の対称的な中点Bにより形成される第4の線分ABである第2の値という、2つの値の比であることが、ステップ303d、ステップ303e、およびステップ303fからわかる。したがって、eの値は第4の線分に対する第3の線分の比であり、したがってeの値は次の式(15)を使用することにより計算される。

ステップ205cにおいて:第3の比および第3の線分の長さに従って第4の線分の長さを計算する。

第3の比が第4の線分に対する第3の線分の比であることが、ステップ205bからわかる。したがって、第4の線分の長さは第3の比に対する第3の線分の比である。したがって、第4の線分の値は次の式(16)を使用することにより計算され得る。

ステップ205dにおいて:第4の線分の長さに対する第1の垂直距離の第2の比に従って、かつ第2の比と横方向の顔回転角との対応付けから、決定されることになる顔画像の横方向の顔回転角を取得する。

このステップは次のようなものであり得る。すなわち、第4の線分ABの長さに対する第1の垂直距離dの第2の比が計算され、第2の比と横方向の顔回転角との間の事前に確立された対応付けが第2の比に従って照会され(対応付けを確立するプロセスについては、後続のステップ304aから304bを参照されたい)、計算された第2の比と同じ第2の比に対応する横方向の顔回転角が対応付けから照会され、この横方向の顔回転角が、決定されることになる顔画像の横方向の顔回転角として決定される。

このステップにおいて計算される第2の比が、第2の比と横方向の顔回転角との間の事前に確立された対応付けに含まれるすべての第2の比において見つからない場合、このステップにおいて計算される第2の比に最も近い第2の比が、この対応付けにおけるすべての第2の比から決定され、最も近い第2の比に対応する横方向の顔回転角が、このステップにおいて計算される第2の比に対応する横方向の顔回転角として使用されることに留意されたい。

加えて、このステップにおいて計算される第2の比に最も近い第2の比は、次の方法を使用することにより、対応付けの中のすべての第2の比から決定され得る。

第2の比の差分を取得するために、第2の比と横方向の顔回転角との間の事前に確立された対応付けに含まれる各々の第2の比、およびこのステップにおいて計算される第2の比に対して減算が実行され、各々の第2の比の差分に対して絶対値演算が実行され、最小の絶対値を得るために、絶対値演算の後で得られた値が比較され、最小の絶対値に対応する第2の値(第2の値と横方向の顔回転角との間の対応付けに含まれる第2の値)が得られ、この第2の値が、このステップにおいて計算される第2の比に最も近い第2の比として決定される。

ステップ206において:決定されることになる顔画像の顔回転角を取得するために、対称的な顔特徴点の任意のペアの中の各顔特徴点の第1の位置情報に従って第5の線分を決定し、第5の線分の水平線との間の角度を計算する。

第5の線分は、事前に設定された顔特徴点の中の対称的な顔特徴点の任意のペアの中の2つの顔特徴点により形成される線分である。したがって、この実施形態において第5の線分を形成する2つの点は、対称的な顔特徴点の第1のペア、すなわち2つの目頭、または対称的な顔特徴点の第2のペア、すなわち2つの口角であり得る。

顔回転角は、顔の前方の方向が常に前であるときに顔を水平方向に回転することによって得られる角度である。

たとえば、対称的な顔特徴点の任意のペアが2つの目頭C'(x₁,y₁)およびD'(x₂,y₂)であり、第5の線分は点C'(x₁,y₁)およびD'(x₂,y₂)に従って決定される線分C'D'である。当然、第5の線分は2つの口角E'(x₃,y₃)およびF'(x₄,y₄)であってよく、第5の線分は点E'(x₃,y₃)およびF'(x₄,y₄)に従って決定された線分E'F'である。

たとえば、第5の線分がC'D'である場合、第5の線分と水平線との間の角度(∠αを使用することにより表記される)を計算する具体的なプロセスは次の通りである。

まず、∠αのコサイン値が計算される。図2Dを参照すると、∠αのコサイン値を計算するための具体的な方法が次の式(17)に示される。

したがって、∠αの値は∠αの前述のコサイン値の逆コサインをとることにより得ることができ、具体的な計算方法が次の式(18)に示される。

∠αは、決定されることになる顔画像の顔回転角である。

たとえば、C'(x₁,y₁)およびD'(x₂,y₂)の座標位置が別々にC'(0,0)およびD'(2,2)であるとき、∠αを計算するプロセスは次の式(19)に示される。

したがって、∠αは45°である。

決定されることになる顔画像の顔回転角が決定されるとき、顔回転角は、対称的な顔特徴点の任意のペアの中の各顔特徴点の第1の位置情報のみに従って決定され得ることに留意されたい。したがって、実際の動作では、顔画像の顔回転角のみが決定されることが必要である場合、ステップ206は、ステップ201が完全に実行された後で直接実行され得る。

まとめると、本発明のこの実施形態において提供される顔回転角を決定するための方法によれば、顔回転角を決定できないという問題を解決するために、対称的な顔特徴点の第1の事前に設定された複数のペアおよび1つの第1の顔特徴点が取得され、顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報が取得され、顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、事前に設定された線分比が計算され、事前に設定された線分比と顔回転角との間の対応付けが線分比に従って照会され、決定されることになる顔画像の顔回転角が決定される。事前に設定された線分比と顔回転角との間の対応付けは、線分比と角度との間の比較的正確な対応付けであるので(この対応付けが比較的正確な対応付けである理由については以下の内容で論じられる)、本発明のこの実施形態において提供される顔回転角を決定するための方法は、顔回転角を決定することの精度を改善する。

決定されることになる顔画像の顔ピッチ角および横方向の顔回転角のいずれかが決定されるとき、線分比と事前に設定された顔回転角との間の対応付けが照会される必要がある。この対応付けは、決定されることになる顔画像の回転角が決定される前にすでに確立されているので、この対応付けは、決定されることになる顔画像の回転角が決定されるときに直接照会され得る。線分は、事前に設定された複数の顔特徴点の2つの顔特徴点の中点を接続することにより形成される線分、ある顔特徴点から別の直線までの垂直距離により形成される垂直な線分などである。

この実施形態では、線分比と事前に設定された顔回転角との間の3つの対応付けが確立される。第1の対応付けは第1の比と事前に設定された顔ピッチ角との間の対応付けであり、第2の対応付けは第3の比と事前に設定された顔ピッチ角との間の対応付けであり、第3の対応付けは第2の比と事前に設定された横方向の顔回転角との間の対応付けである。図3Aを参照すると、確立プロセスは次の通りである。

ステップ301において:第1の顔画像の中の事前に設定された複数の顔特徴点の第2の位置情報を取得する。

事前に設定された複数の顔特徴点の意味は、前述の事前に設定された複数の顔特徴点の意味と同じであり、詳細はここでは説明されない。

第1の顔画像は、事前に設定された顔回転角だけ顔が回転した後に撮られた顔画像である。事前に設定された顔回転角は、事前に設定された顔ピッチ角および事前に設定された横方向の顔回転角を含み、事前に設定された顔ピッチ角および事前に設定された横方向の顔回転角は一連の事前に設定された離散的な回転角であってよく、この一連の離散的な回転角の各々の2つの隣接する回転角の間の差は同じである。線分比と事前に設定された顔回転角との間の網羅的な対応付けが以下のプロセスにおいて確立されることを確実にし、対応付けが照会されたときに正確な線分比および正確な顔回転角を得ることができるように、上記の差は比較的小さく、1°、2°、または別の比較的小さい値に設定され得る。

第2の位置情報は、3次元直交座標系に顔を置くことにより得られる(3つの座標軸が使用され、3つの座標軸は別々にx軸、y軸、およびz軸であり、x軸、y軸、およびz軸は互いに直交する3つの軸方向であり、空間を表記するための方法である)。3次元直交座標系は、任意の3次元直交座標系であってよい。したがって、3次元直交座標系を使用することにより得られる顔特徴点の第2の位置情報の座標の形式は(x,y,z)である。

したがって、前述の事前に設定された顔回転角は次の方式で説明され得る。すなわち、顔ピッチ角は、正面の顔がy軸に沿って回転するがx軸またはz軸上では回転しないときに得られる顔回転角であり、横方向の顔回転角は、正面の顔がz軸に沿って回転するがx軸またはy軸上では回転しないときに得られる顔回転角である。

ある実装形態では、事前に設定された顔回転角は、次の方法を使用することにより得ることができる。すなわち、初期の顔回転角が0°に設定され、すなわち顔の前が前方であり回転角を有さず、2つの隣接する回転角の間の差が事前に設定される。したがって、第1の事前に設定された顔回転角は、2つの隣接する回転角の間の差であり、第2の事前に設定された回転角は、第1の事前に設定された顔回転角と2つの隣接する回転角の間の差とを足したものであり、第3の事前に設定された回転角は、第2の事前に設定された顔回転角と2つの隣接する回転角の間の差とを足したものであり、すべての事前に設定された顔回転角はこの方法に従って順番に取得され、事前に設定された顔回転角の量は、2つの隣接する回転角の間の事前に設定された差に対する360°の比である。

ある例として事前に設定された顔ピッチ角を使用すると、まず、顔が正面の顔に設定され、2つの隣接する顔ピッチ角の間の差が1°に事前に設定される。したがって、第1の事前に設定された顔回転角は、2つの隣接する回転角の間の差である1°であり、第2の事前に設定された回転角は、第1の事前に設定された顔回転角と2つの隣接する回転角の間の差とを足したもの、すなわち1°+1°=2°であり、第3の事前に設定された回転角が第2の事前に設定された回転角と2つの隣接する回転角の間の差とを足したもの、すなわち2°+1°=3°であり、事前に設定された顔ピッチ角はこの方法に従って順番に取得され、事前に設定された顔回転角の量は、2つの隣接する顔回転角の間の事前に設定された差である1°に対する360°の比、すなわち360である。

ある実装形態では、第1の顔画像の中の事前に設定された複数の顔特徴点の第2の位置情報は、次の方法を使用することにより得ることができる。すなわち、まず顔が正面の顔として配置され、正面の顔が各々の2つの隣接する顔回転角の間の事前に設定された角度差に従って回転され、正面の顔が事前に設定された角度差だけ毎回回転された後で、顔画像が撮られ、撮られた顔画像の事前に設定された複数の顔特徴点の座標位置が取得され、第2の位置情報としてタグ付けされる。たとえば、各々の2つの隣接する顔回転角の間の差が1°である場合、顔の画像を得るために、正面の顔が1°だけまず回転され、この場合には顔が撮られ、顔画像の事前に設定された複数の顔特徴点の座標位置が取得され、次いで顔が1°だけ回転され続け、顔の画像を得るために顔が再び撮られ、この場合は顔画像の中の事前に設定された複数の顔特徴点の座標位置が取得され、すべての事前に設定された角度だけ顔が回転され、各々の事前に設定された角度における顔特徴点の座標位置が得られるまで、前述のステップが繰り返される。

図3Bを参照すると、図3Bは、この実施形態において示される第1の顔画像の中の複数の顔特徴点を含む。図3Bに示されるように、対称的な顔特徴点の事前に設定された第1のペアの中の2つの目頭がG'およびH'として別々にタグ付けされ、対称的な顔特徴点の第2のペアの2つの口角が別々にI'およびJ'としてタグ付けされ、1つの残りの第1の顔特徴点は鼻尖でありO'としてタグ付けされる。第1の顔画像の中の事前に設定された複数の顔特徴点の第2の位置の座標は別々に、G'(x₉,y₉,z₉)、H'(x₁₀,y₁₀,z₁₀)、I'(x₁₁,y₁₁,z₁₁)、J'(x₁₂,y₁₂,z₁₂)、およびO'(x₁₃,y₁₃,z₁₃)である。

ステップ302において:事前に設定された複数の顔特徴点の第2の位置情報に従って、第1の比と事前に設定された顔ピッチ角との間の対応付けを確立する。

第1の対応付けは、第1の比と事前に設定された顔ピッチ角との間の対応付けである。図3Cを参照すると、図3Cは、第1の比と事前に設定された顔ピッチ角との間の対応付けを確立するプロセスの方法のフローチャートであり、方法は次のステップを含む。

ステップ302aにおいて:対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第2の位置情報に従って、対称的な顔特徴点の第1のペアの第5の対称的な中点の第2の位置情報を取得する。

前述の例を例としてさらに使用すると、対称的な顔特徴点の第1のペアは2つの目頭G'(x₉,y₉,z₉)およびH'(x₁₀,y₁₀,z₁₀)である。図3Bをさらに参照すると、対称的な顔特徴点の第1のペアの第5の対称的な中点は、点G'(x₉,y₉,z₉)および点H'(x₁₀,y₁₀,z₁₀)により形成される線分G'H'の中点であり、線分G'H'の中点はK'としてタグ付けされ、K'(x₁₄,y₁₄,z₁₄)の座標位置は中点の計算式を使用することにより取得され、具体的な計算プロセスが次の式(20)、(21)、および(22)に示される。

ステップ302bにおいて:対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第1の位置情報に従って、対称的な顔特徴点の第2のペアの第6の対称的な中点の第2の位置情報を取得する。

前述の例を例としてさらに使用すると、対称的な顔特徴点の第2のペアは2つの口角I'(x₁₁,y₁₁,z₁₁)およびJ'(x₁₂,y₁₂,z₁₂)である。図3Bをさらに参照すると、対称的な顔特徴点の第2のペアの第6の対称的な中点は、点I'(x₁₁,y₁₁,z₁₁)およびJ'(x₁₂,y₁₂,z₁₂)により形成される線分の中点であり、この中点はL'としてタグ付けされ、L'(x₁₅,y₁₅,z₁₅)の座標位置は中点の計算式を使用することにより取得され、具体的な計算プロセスが次の式(23)、(24)、および(25)に示される。

ステップ302cにおいて:第5の対称的な中点の第2の位置情報および第1の顔特徴点の第2の位置情報に従って、第5の対称的な中点および第1の顔特徴点により形成される第6の線分の長さを計算する。

前述の例を例としてさらに使用すると、第5の対称的な中点の第2の位置情報はK'(x₁₄,y₁₄,z₁₄)であり、第1の顔特徴点は鼻尖O'(x₁₃,y₁₃,z₁₃)であり、第5の対称的な中点および第1の顔特徴点により形成される第6の線分は、K'(x₁₄,y₁₄,z₁₄)および点O'(x₁₃,y₁₃,z₁₃)により形成される線分K'O'の長さであり、第6の線分の長さは2つの点の間の距離のための式を使用することにより計算され、具体的な計算が次の式(26)に示される。

ステップ302dにおいて:第6の対称的な中点の第2の位置情報および第1の顔特徴点の第2の位置情報に従って、第6の対称的な中点および第1の顔特徴点により形成される第7の線分の長さを計算する。

前述の例を例としてさらに使用すると、第6の対称的な中点の第2の位置情報はL'(x₁₅,y₁₅,z₁₅)であり、第1の顔特徴点は鼻尖O'(x₁₃,y₁₃,z₁₃)であり、第6の対称的な中点および第1の顔特徴点により形成される第7の線分は、L'(x₁₅,y₁₅,z₁₅)および点O'(x₁₃,y₁₃,z₁₃)により形成される線分L'O'の長さであり、第7の線分の長さは2つの点の間の距離のための式を使用することにより計算され、具体的な計算が次の式(27)に示される。

ステップ302eにおいて:第7の線分に対する第6の線分の第1の比と事前に設定された顔ピッチ角との間の対応付けを確立する。

前述の例を例としてさらに使用すると、第6の線分はK'O'であり、第7の線分はL'O'であり、したがって第1の比はL'O'に対するK'O'の比である。第1の比と事前に設定された顔ピッチ角との間の対応付けは、次の方法を使用することにより取得される。すなわち、顔が回転され、顔回転角が事前に設定された第1の顔ピッチ角になるときに顔が回転を止められ、第1の顔ピッチ角の場合、第1の第1の比を取得するために、L'O'に対するK'O'の比が計算され、第1の第1の比と事前に設定された第1の顔ピッチ角との間の対応付けが記憶され、顔が回転され続け、顔回転角が事前に設定された第2の顔ピッチ角であるときに、第2の顔ピッチ角の場合、第2の第1の比を取得するために、L'O'に対するK'O'の比が計算され、第2の第1の比と事前に設定された第2の顔ピッチ角との間の対応付けが記憶され、すべての第1の比および事前に設定された顔ピッチ角との間の対応付けが完全に記憶されるまで、前述のステップが繰り返される。

ステップ303において:事前に設定された複数の顔特徴点の第2の位置情報に従って、第3の比と事前に設定された顔ピッチ角との間の対応付けを確立する。

第2の対応付けは、第3の比と事前に設定された顔ピッチ角との間の対応付けである。図3Dを参照すると、図3Dは、第3の比と事前に設定された顔ピッチ角との間の対応付けを確立するプロセスの方法のフローチャートであり、方法は次のステップを含む。

ステップ303aにおいて:顔の正面の顔画像の中の対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第3の位置情報、および正面の顔画像の中の対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第3の位置情報を取得する。

図3Eを参照すると、図3Eは、この実施形態に示される第1の顔画像が正面の顔画像であるときの、正面の顔画像の中の複数の顔特徴点を含む。図3Eに示されるように、対称的な顔特徴点の第1のペアは2つの目頭であり、GおよびHとして別々にタグ付けされ、顔の正面の顔画像の中のGの第3の位置情報およびHの第3の位置情報はそれぞれ、G(x₁₆,y₁₆,z₁₆)およびH(x₁₇,y₁₇,z₁₇)である。対称的な顔特徴点の第2のペアは2つの口角であり、I'およびJ'として別々にタグ付けされ、正面の顔画像の中のI'の第3の位置情報およびJ'の第3の位置情報はそれぞれ、I'(x₁₈,y₁₈,z₁₈)およびJ'(x₁₉,y₁₉,z₁₉)である。

ステップ303bにおいて:対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第3の位置情報に従って、対称的な顔特徴点の第1のペアの第7の対称的な中点の第3の位置情報を取得する。

前述の例を例としてさらに使用して、図3Eをさらに参照すると、対称的な顔特徴点の第1のペアは2つの目頭G(x₁₆,y₁₆,z₁₆)およびH(x₁₇,y₁₇,z₁₇)であり、対称的な顔特徴点の第1のペアの第7の対称的な中点は、点G(x₁₆,y₁₆,z₁₆)およびH(x₁₇,y₁₇,z₁₇)により形成される線分の中点であり、この中点はKとしてタグ付けされ、K(x₁₈,y₁₈,z₁₈)の座標位置は中点の計算式を使用することにより取得され、具体的な計算が次の式(28)、(29)、および(30)に示される。

ステップ303cにおいて:対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第3の位置情報に従って、対称的な顔特徴点の第2のペアの第8の対称的な中点の第3の位置情報を取得する。

前述の例を例としてさらに使用して、図3Eをさらに参照すると、対称的な顔特徴点の第2のペアは2つの口角I(x₂₀,y₂₀,z₂₀)およびJ(x₂₁,y₂₁,z₂₁)であり、対称的な顔特徴点の第2のペアの第8の対称的な中点は、点I(x₂₀,y₂₀,z₂₀)およびJ(x₂₁,y₂₁,z₂₁)により形成される線分IJの中点であり、この中点はLとしてタグ付けされ、L(x₂₂,y₂₂,z₂₂)の座標位置は中点の計算式を使用することにより取得され、具体的な計算が次の式(31)、(32)、および(33)に示される。

ステップ303dにおいて:第5の対称的な中点の第2の位置情報および第6の対称的な中点の第2の位置情報に従って、第5の対称的な中点および第6の対称的な中点により形成される第8の線分の長さを計算する。

第5の対称的な中点の第2の位置情報はK'(x₁₄,y₁₄,z₁₄)であり、第6の対称的な中点の第2の位置情報はL'(x₁₅,y₁₅,z₁₅)であり、第5の対称的な中点K'(x₁₄,y₁₄,z₁₄)および第6の対称的な中点L'(x₁₅,y₁₅,z₁₅)により形成される第8の線分K'L'の長さは、点K'(x₁₄,y₁₄,z₁₄)から点L'(x₁₅,y₁₅,z₁₅)までの距離であり、2つの点の間の距離のための式を使用することにより計算され、具体的な計算が次の式(34)に示される。

ステップ303eにおいて:第7の対称的な中点の第3の位置情報および第8の対称的な中点の第3の位置情報に従って、第7の対称的な中点および第8の対称的な中点により形成される第9の線分の長さを計算する。

第7の対称的な中点の第3の位置情報はK(x₁₈,y₁₈,z₁₈)であり、第8の対称的な中点の第3の位置情報はL(x₂₂,y₂₂,z₂₂)であり、第7の対称的な中点K(x₁₈,y₁₈,z₁₈)および第8の対称的な中点L(x₂₂,y₂₂,z₂₂)により形成される第9の線分KLの長さは、点K(x₁₈,y₁₈,z₁₈)から点L(x₂₂,y₂₂,z₂₂)までの距離であり、2つの点の間の距離のための式を使用することにより計算され、具体的な計算が次の式(35)に示される。

ステップ303fにおいて:第9の線分に対する第8の線分の第3の比と事前に設定された顔ピッチ角との間の対応付けを確立する。

前述の例を例としてさらに使用すると、第8の線分はK'L'であり、第9の線分はKLであるので、第3の比はKLに対するK'L'の比である。第3の比と事前に設定された顔ピッチ角との間の対応付けは、次の方法を使用することにより取得される。すなわち、顔が回転され、顔回転角が事前に設定された第1の顔ピッチ角になるときに顔が回転を止められ、第1の顔ピッチ角の場合、第1の第3の比を取得するために、KLに対するK'L'の比が計算され、第1の第3の比と事前に設定された第1の顔ピッチ角との間の対応付けが記憶され、顔が回転され続け、顔回転角が事前に設定された第2の顔ピッチ角であるときに、第2の顔ピッチ角の場合、第2の第3の比を取得するために、KLに対するK'L'の比が計算され、第2の第3の比と事前に設定された第2の顔ピッチ角との間の対応付けが記憶され、すべての第3の比および事前に設定された顔ピッチ角との間の対応付けが完全に記憶されるまで、前述のステップが繰り返される。

ステップ304において:事前に設定された複数の顔特徴点の第2の位置情報に従って、第2の比と事前に設定された横方向の顔回転角との間の対応付けを確立する

第3の対応付けは、第2の比と事前に設定された横方向の顔回転角との間の対応付けである。図3Fを参照すると、図3Fは、第2の比と事前に設定された横方向の顔回転角との間の対応付けを確立するプロセスの方法フローチャートであり、方法は次のステップを含む。

ステップ304aにおいて:第5の対称的な中点の第2の位置情報、第6の対称的な中点の第2の位置情報、および第1の顔特徴点の第2の位置情報に従って、第1の顔特徴点から第8の線分までの第2の垂直距離を計算する。

第5の対称的な中点の第2の位置情報はK'(x₁₄,y₁₄,z₁₄)であることがステップ302aからわかる。第6の対称的な中点の第2の位置情報はL'(x₁₅,y₁₅,z₁₅)であることがステップ302bからわかる。第1の顔特徴点の第2の位置情報はO'(x₁₃,y₁₃,z₁₃)であることがステップ205からわかり、第1の顔特徴点O'(x₁₃,y₁₃,z₁₃)から第8の線分K'L'までの第2の垂直距離は次のプロセスを使用することにより計算される。

まず、第5の対称的な中点の第2の位置情報K'(x₁₄,y₁₄,z₁₄)および第6の対称的な中点の第2の位置情報L'(x₁₅,y₁₅,z₁₅)に従って、点K'(x₁₄,y₁₄,z₁₄)および点L'(x₁₅,y₁₅,z₁₅)を通る直線が計算され、具体的な計算は次の通りである。

まず、点K'(x₁₄,y₁₄,z₁₄)および点L'(x₁₅,y₁₅,z₁₅)を通る2点式の直線の等式が、2点式の直線の式に従って得られ、次の式(36)に示される。

前述の等式は等価的に変換され、次の式(37)に示される一般的な直線の等式へと変換される。

当然、点K'(x₁₄,y₁₄,z₁₄)および点L'(x₁₅,y₁₅,z₁₅)を通る直線はさらに、別の方法を使用することにより計算されてよく、詳細はここでは説明されない。

次いで、第1の顔特徴点O'(x₁₃,y₁₃,z₁₃)から直線aまでの距離bが、点と線の間の距離の式に従って計算され、具体的な計算が次の式(38)に示される。

直線aはK'(x₁₄,y₁₄,z₁₄)および点L'(x₁₅,y₁₅,z₁₅)を通る直線であるので、第1の顔特徴点O'(x₁₃,y₁₃,z₁₃)から直線aまでの距離bは、第1の顔特徴点O'(x₁₃,y₁₃,z₁₃)から第8の線分K'L'までの第2の垂直距離である。したがって、第2の垂直距離は距離bである。

ステップ304bにおいて:第9の線分に対する第2の垂直距離の第2の比と事前に設定された横方向の顔回転との間の対応付けを確立する。

前述の例を例としてさらに使用すると、第2の垂直距離はbであり、第9の線分はKLであるので、第2の比はKLに対するbの比である。第2の比と事前に設定された横方向の顔回転角との間の対応付けは、次の方法を使用することにより取得される。すなわち、顔が回転され、顔回転角が事前に設定された第1の横方向の顔回転角になるときに顔が回転を止められ、第1の横方向の顔回転角の場合、第1の第2の比を取得するために、KLに対するbの比が計算され、第1の第2の比と事前に設定された第1の横方向の顔回転角との間の対応付けが記憶され、顔が回転され続け、顔回転角が事前に設定された第2の横方向の顔回転角であるときに、第2の横方向の顔回転角の場合、第2の第2の比を取得するために、KLに対するbの比が計算され、第2の第2の比と事前に設定された第2の横方向の顔回転角との間の対応付けが記憶され、すべての第2の比および事前に設定された横方向の顔回転角との間の対応付けが完全に記憶されるまで、前述のステップが繰り返される。

まとめると、本発明のこの実施形態において提供される、線分比と事前に設定された顔回転角との間の対応付けを確立するための方法によれば、3次元直交座標系において、正面の顔の3Dモデルが事前に設定された角度に従って回転され、3Dモデルが事前に設定された角度だけ回転されるたびに顔特徴点の座標情報が取得され、線分比と事前に設定された顔回転角との間の対応付けが取得された座標情報に従って確立される。事前に設定された角度は比較的小さいので、対応付けにおける線分比または顔回転角は比較的正確である。その上、対応付けが事前に確立されるので、線分比または顔回転角は、顔回転角を決定するプロセスにおいて対応付けから直接取得することができ、これにより、顔回転角を決定するために必要な時間を減らし、顔回転角を決定することの効率を改善する。

本発明の装置の実施形態が以下で説明され、本発明の方法の実施形態を実行するために使用され得る。本発明の装置の実施形態において開示されない詳細については、本発明の方法の実施形態を参照されたい。

図4Aを参照すると、図4Aは、本発明のある実施形態による、顔回転角を決定するための装置の構造ブロック図である。図4Aに示されるように、顔回転角を決定するための装置は、限定はされないが、第1の取得モジュール401と、第2の取得モジュール402と、第1の決定モジュール403とを含む。

第1の取得モジュール401は、決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得するように構成され、複数の顔特徴点の数は奇数であり、複数の顔特徴点は対称的な顔特徴点の複数のペアおよび1つの第1の顔特徴点を含み、複数の顔特徴点は同一平面上にない。

第2の取得モジュール402は、顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得するように構成される。

第1の決定モジュール403は、顔特徴点の各ペアの対称的な中心のものであり第2の取得モジュール402により取得される第1の位置情報、および、第1の顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、決定されることになる顔画像の第1の回転角を決定するように構成される。

まとめると、この実施形態において提供される顔回転角を決定するための装置によれば、顔回転角を決定できないという問題を解決するために、対称的な顔特徴点の第1の事前に設定された複数のペアおよび1つの第1の顔特徴点が取得され、顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報が取得され、事前に設定された線分比が、顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って計算され、事前に設定された線分比と顔回転角との間の対応付けが線分比に従って照会され、決定されることになる顔画像の顔回転角が決定される。事前に設定された線分比と顔回転角との間の対応付けは、線分比と角度との間の比較的正確な対応付けであるので、本発明の実施形態において提供される顔回転角を決定するための方法は、顔回転角を決定することの精度を改善する。

ある実装形態では、複数の顔特徴点は5つの顔特徴点を含み、5つの顔特徴点は対称的な顔特徴点の第1のペアと、対称的な顔特徴点の第2のペアと、1つの残りの第1の顔特徴点とを含む。

図4Bを参照すると、図4Bは、本発明のある実施形態による第2の取得モジュール402の構造ブロック図である。図4Bに示されるように、第2の取得モジュール402は、限定はされないが、第1の取得サブモジュール4021および第2の取得サブモジュール4022を含む。

第1の取得サブモジュール4021は、対称的な顔特徴点の第1のペアに含まれる各顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、対称的な顔特徴点の第1のペアの第1の対称的な中点の第1の位置情報を取得するように構成される。

第2の取得サブモジュール4022は、対称的な顔特徴点の第2のペアに含まれる各顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、対称的な顔特徴点の第2のペアの第2の対称的な中点の第1の位置情報を取得するように構成される。

図4Cを参照すると、図4Cは、本発明のある実施形態による第1の決定モジュール403の構造ブロック図である。図4Cに示されるように、第1の決定モジュール403は、限定はされないが、第1の計算サブモジュール4031、第2の計算サブモジュール4032、および第3の取得サブモジュール4033を含む。

第1の計算サブモジュール4031は、第1の対称的な中点のものであり第1の取得サブモジュール4021により取得される第1の位置情報、および第1の顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、第1の対称的な中点および第1の顔特徴点により形成される第1の線分の長さを計算するように構成される。

第2の計算サブモジュール4032は、第2の対称的な中点のものであり第2の取得サブモジュール4022により取得される第1の位置情報、および第1の顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、第2の対称的な中点および第1の顔特徴点により形成される第2の線分の長さを計算するように構成される。

第3の取得サブモジュール4033は、第2の計算サブモジュール4032により計算される第2の線分の長さに対する第1の計算サブモジュール4031により計算される第1の線分の長さの第1の比に従って、かつ、第1の比と顔ピッチ角との間の対応付けから、決定されることになる顔画像の顔ピッチ角を取得するように構成される。

図4Dを参照すると、図4Dは、本発明の別の実施形態による、第1の決定モジュール403の構造ブロック図である。図4Dに示されるように、第1の決定モジュール403は、限定はされないが、第3の計算サブモジュール4034、第4の計算サブモジュール4035、および第4の取得サブモジュール4036を含む。

第3の計算サブモジュール4034は、第1の対称的な中点のものであり第1の取得サブモジュール4021により取得される第1の位置情報、第2の対称的な中点のものであり第2の取得サブモジュール4022により取得される第1の位置情報、および第1の顔特徴点のものであり第1の取得モジュール401により取得される第1の位置情報に従って、第1の顔特徴点から第3の線分までの第1の垂直距離および第3の線分の長さを計算するように構成され、第3の線分は第1の対称的な中点および第2の対称的な中点により形成される線分である。

第4の計算サブモジュール4035は、第3の計算サブモジュール4034により計算される第3の線分の長さと、決定されることになる顔画像のものであり第3の取得サブモジュール4033により取得される顔ピッチ角とに従って、第4の線分の長さを計算するように構成され、第4の線分は第3の対称的な中点と第4の対称的な中点との間の線分であり、第3の対称的な中点は正面の顔画像の中の顔特徴点の第1のペアの対称的な中点であり、第4の対称的な中点は正面の顔画像の中の顔特徴点の第2のペアの対称的な中点である。

第4の取得サブモジュール4036は、第4の計算サブモジュール4035により計算される第4の線分の長さに対する第3の計算サブモジュール4034により計算される第1の垂直距離の第2の比に従って、かつ、第2の比と横方向の顔回転角との間の対応付けから、決定されることになる顔画像の横方向の顔回転角を取得するように構成される。

図4Eを参照すると、図4Eは、本発明の別の実施形態による、第4の線分を計算する構造ブロック図である。この計算は、第4の計算サブモジュール4035によって完了される。図4Eに示されるように、第4の計算サブモジュール4035は、限定はされないが、
第3の取得サブモジュール4033により取得される顔ピッチ角に従って、かつ顔ピッチ角と第3の比との間の対応付けから、対応する第3の比を取得するように構成される、取得ユニット4035aと、
取得ユニット4035aにより取得される第3の比および第3の計算サブモジュール4034により計算される第3の線分の長さに従って第4の線分の長さを計算するように構成される、計算ユニット4035bとを含む。

図4Fを参照すると、図4Fは、本発明の別の実施形態による、顔回転角を決定するための装置の構造ブロック図である。図4Fに示されるように、装置はさらに、限定はされないが、
決定されることになる顔画像の顔回転角を取得するために、対称的な顔特徴点の任意のペアの中の各顔特徴点の第1の位置情報に従って第5の線分を決定し、第5の線分と水平線との間の角度を計算するように構成される、決定および計算モジュール404を含む。

図4Fをさらに参照すると、装置はさらに、
第1の顔画像の中の事前に設定された複数の顔特徴点の第2の位置情報を取得するように構成され、第1の顔画像が、顔が事前に設定された顔回転角だけ回転した後で撮られた顔画像である、第3の取得モジュール405と、
事前に設定された複数の顔特徴点のものであり第3の取得モジュール405により取得される第2の位置情報に従って、線分比と事前に設定された顔回転角との間の対応付けを確立するように構成される、確立モジュール406とを含む。

ある実装形態では、事前に設定された顔回転角は事前に設定された顔ピッチ角を含む。

図4Gを参照すると、図4Gは、本発明の別の実施形態による、第1の比と事前に設定された顔ピッチ角との間の対応付けを確立するための確立モジュール406の構造ブロック図である。図4Gに示されるように、確立モジュール406は、限定はされないが、第5の取得サブモジュール4061、第6の取得サブモジュール4062、第5の計算サブモジュール4063、第6の計算サブモジュール4064、および第1の確立サブモジュール4065を含む。

第5の取得サブモジュール4061は、対称的な顔特徴点の第1のペアに含まれる各顔特徴点のものであり第3の取得モジュール405により取得される第2の位置情報に従って、対称的な顔特徴点の第1のペアの第5の対称的な中点の第2の位置情報を取得するように構成される。

第6の取得サブモジュール4062は、対称的な顔特徴点の第2のペアに含まれる各顔特徴点のものであり第3の取得モジュール405により取得される第1の位置情報に従って、対称的な顔特徴点の第2のペアの第6の対称的な中点の第2の位置情報を取得するように構成される。

第5の計算サブモジュール4063は、第5の対称的な中点のものであり第5の取得サブモジュール4061により取得される第2の位置情報、および、第1の顔特徴点のものであり第3の取得モジュール405により取得される第2の位置情報に従って、第5の対称的な中点および第1の顔特徴点により形成される第6の線分の長さを計算するように構成される。

第6の計算サブモジュール4064は、第6の対称的な中点のものであり第6の取得サブモジュール4062により取得される第2の位置情報、および、第1の顔特徴点のものであり第3の取得モジュール405により取得される第2の位置情報に従って、第6の対称的な中点および第1の顔特徴点により形成される第7の線分の長さを計算するように構成される。

第1の確立サブモジュール4065は、第6の計算サブモジュール4064により計算される第7の線分に対する第5の計算サブモジュール4063により計算される第6の線分の第1の比と、事前に設定された顔ピッチ角との間の対応付けを確立するように構成される。

図4Hを参照すると、図4Hは、本発明のさらに別の実施形態による、第3の比と事前に設定された顔ピッチ角との間の対応付けを確立するための確立モジュール406の構造ブロック図である。図4Hに示されるように、確立モジュール406は、限定はされないが、第7の取得サブモジュール406a、第8の取得サブモジュール406b、第9の取得サブモジュール406c、第7の計算サブモジュール406d、第8の計算サブモジュール406e、および第2の確立サブモジュール406fを含む。

第7の取得サブモジュール406aは、顔の正面の顔画像の中の対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第3の位置情報、および正面の顔画像の中の対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第3の位置情報を取得するように構成される。

第8の取得サブモジュール406bは、対称的な顔特徴点の第1のペアに含まれる各顔特徴点のものであり第7の取得サブモジュール406aにより取得される第3の位置情報に従って、対称的な顔特徴点の第1のペアの第7の対称的な中点の第3の位置情報を取得するように構成される。

第9の取得サブモジュール406cは、対称的な顔特徴点の第2のペアに含まれる各顔特徴点のものであり第7の取得サブモジュール406aにより取得される第3の位置情報に従って、対称的な顔特徴点の第2のペアの第8の対称的な中点の第3の位置情報を取得するように構成される。

第7の計算サブモジュール406dは、第5の対称的な中点のものであり第5の取得サブモジュール4061により取得される第2の位置情報、および第6の対称的な中点のものであり第6の取得サブモジュール4062により取得される第2の位置情報に従って、第5の対称的な中点および第6の対称的な中点により形成される第8の線の長さを計算するように構成される。

第8の計算サブモジュール406eは、第7の対称的な中点のものであり第8の取得サブモジュール406bにより取得される第3の位置情報、および、第8の対称的な中点のものであり第9の取得サブモジュール406cにより取得される第3の位置情報に従って、第7の対称的な中点および第8の対称的な中点により形成される第9の線分の長さを計算するように構成される。

第2の確立サブモジュール406fは、第8の計算サブモジュール406eにより計算される第9の線分に対する第7の計算サブモジュール406dにより計算される第8の線分の第3の比と事前に設定された顔ピッチ角との間の対応付けを確立するように構成される。

ある実装形態では、事前に設定された顔回転角は事前に設定された横方向の顔回転角を含む。

図4Iを参照すると、図4Iは、本発明のさらに別の実施形態による、第2の比と事前に設定された横方向の顔回転角との対応付けを確立するための確立モジュール406の構造ブロック図である。図4Iに示されるように、確立モジュール406はさらに、限定はされないが、第9の計算サブモジュール4066および第3の確立サブモジュール4067を含む。

第9の計算サブモジュール4066は、第5の対称的な中点のものであり第5の取得サブモジュール4061により取得される第2の位置情報、第6の対称的な中点のものであり第6の取得サブモジュール4062により取得される第2の位置情報、および第1の顔特徴点のものであり第3の取得モジュール405により取得される第2の位置情報に従って、第1の顔特徴点から第8の線分までの第2の垂直距離を計算するように構成される。

第3の確立サブモジュール4067は、第8の計算サブモジュール406eにより計算される第9の線分に対する第9の計算サブモジュール4066により計算される第2の垂直距離の第2の比と事前に設定された横方向の顔回転角との間の対応付けを確立するように構成される。

本発明のこの実施形態では、顔回転角を決定するための装置は、電子デバイスを使用することにより実装され得る。装置の中の第1の取得モジュール401、第2の取得モジュール402、第1の決定モジュール403、決定および計算モジュール404、第3の取得モジュール405、確立モジュール406、ならびにモジュールに含まれるサブモジュールはすべて、実際の適用の間、装置の中の中央処理装置(CPU)、デジタル信号プロセッサ(DSP)、マイクロコントローラユニット(MCU)、またはフィールドプログラマブルゲートアレイ(FPGA)により実装され得る。

まとめると、この実施形態において提供される顔回転角を決定するための装置によれば、顔回転角を決定できないという問題を解決するために、対称的な顔特徴点の第1の事前に設定された複数のペアおよび1つの第1の顔特徴点が取得され、顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報が取得され、事前に設定された線分比は、顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って計算され、事前に設定された線分比と顔回転角との間の対応付けが線分比に従って照会され、決定されることになる顔画像の顔回転角が決定される。事前に設定された線分比と顔回転角との間の対応付けは、線分比と角度との間の比較的正確な対応付けであるので、本発明の実施形態において提供される顔回転角を決定するための方法は、顔回転角を決定することの精度を改善する。

まとめると、本発明のこの実施形態において提供される線分比と事前に設定された顔回転角との間の対応付けを確立するための装置によれば、3次元直交座標系において、正面の顔の3Dモデルが事前に設定された角度に従って回転され、3Dモデルが事前に設定された角度だけ回転されるたびに顔特徴点の座標情報が取得され、線分比と事前に設定された顔回転角との間の対応付けが取得された座標情報に従って確立される。事前に設定された角度が比較的小さいので、対応付けにおける線分比または顔回転角は比較的正確である。その上、対応付けは事前に確立されるので、線分比または顔回転角は、顔回転角を決定するプロセスにおいて対応付けから直接取得することができ、これにより、顔回転角を決定するのに必要な時間を減らし、顔回転角を決定することの効率を改善する。

前述の実施形態において提供される顔回転角を決定するための装置が顔回転角を決定するとき、機能モジュールの分割の例のみを通じて説明がなされることに留意されたい。実際の適用形態では、機能は、異なる機能モジュールにより実装されることの必要性に従って割り当てられることがあり、すなわち、電子デバイスの内部構造は、上で説明された機能のすべてまたは一部を実装するために、異なる機能モジュールへと分割される。さらに、実施形態により提供される顔回転角を決定するための装置の実施形態は、顔回転角を決定するための方法の実施形態と同じ考えに属し、方法の実施形態は、ここでは繰り返されない方法の具体的な実施のプロセスの詳細に対する参照として機能し得る。

図5を参照すると、図5は、本発明のいくつかの実施形態による、電子デバイスの構造ブロック図である。電子デバイス500は、前述の実施形態において提供されるサービス処理方法を実施するように構成される。本開示の電子デバイス500は、様々なプロセスおよび方法を完了するためにコンピュータプログラム命令を実行するように構成されるプロセッサ、情報およびプログラム命令を記憶するように構成されるランダムアクセスメモリ(RAM)および読取り専用メモリ(ROM)、データおよび情報を記憶するように構成されるメモリ、I/Oデバイス、インターフェース、アンテナなどの構成要素のうちの1つまたは複数を含み得る。

具体的には、電子デバイス500は、高周波(RF)回路510、メモリ520、入力ユニット530、ディスプレイユニット540、センサ550、オーディオ回路560、Wi-Fi(ワイヤレスフィデリティ)モジュール570、プロセッサ580、電源582、およびカメラ590などの構成要素を含み得る。図5に示される電子デバイスの構造は端末に対する限定となるものではなく、電子デバイスは図に示されるものよりも多数もしくは少数の構成要素を含んでもよく、または何らかの構成要素が組み合わされてもよく、または異なる構成要素の配置が使用されてもよいことを、当業者は理解し得る。

電子デバイス500の各構成要素部分が、図5を参照して以下で詳細に説明される。

RF回路510は、情報の受信および送信のプロセスまたは呼出しプロセスの間に信号を受信しかつ送信するように構成され得る。具体的には、RF回路は、基地局からダウンリンク情報を受信し、次いで処理のためにダウンリンク情報をプロセッサ580に送達し、関連するアップリンクデータを基地局に送信する。一般に、RF回路は、限定はされないが、アンテナ、少なくとも1つの増幅器、トランシーバ、カプラ、低雑音増幅器(LNA)、およびデュプレクサを含む。加えて、RF回路510はまた、ワイヤレス通信によりネットワークおよび別のデバイスと通信し得る。ワイヤレス通信は、限定はされないが、Global System for Mobile communications (GSM（登録商標）)、General Packet Radio Service (GPRS)、符号分割多元接続(CDMA)、広帯域符号分割多元接続(WCDMA（登録商標）)、Long Term Evolution (FTE)、電子メール、ショートメッセージングサービス(SMS)などを含む、任意の通信規格またはプロトコルを使用し得る。

メモリ520は、ソフトウェアプログラムおよびモジュールを記憶するように構成され得る。プロセッサ580は、電子デバイス500の様々な機能アプリケーションおよびデータ処理を実施するために、メモリ520に記憶されたソフトウェアプログラムおよびモジュールを実行する。メモリ520は主に、プログラム記憶エリアおよびデータ記憶エリアを含み得る。プログラム記憶エリアは、オペレーティングシステム、少なくとも1つの機能により要求されるアプリケーションプログラム(音声再生機能および画像表示機能など)などを記憶し得る。データ記憶エリアは、電子デバイス500の使用により作成されるデータ(オーディオデータおよびアドレス帳など)などを記憶し得る。加えて、メモリ520は、高速ランダムアクセスメモリを含むことがあり、少なくとも1つの磁気ディスク記憶デバイス、フラッシュメモリなどの不揮発性メモリ、または別の揮発性ソリッド記憶デバイスを含むことがある。

入力ユニット530は、入力された数字または文字の情報を受け取り、電子デバイス500のユーザ設定および機能制御に関するキー信号入力を生成するように構成され得る。具体的には、入力ユニット530は、タッチパネル531および別の入力デバイス532を含み得る。タッチパネル531はまた、タッチスクリーンと呼ばれることがあり、タッチパネル上での、またはその近くでのユーザのタッチ操作(指またはタッチペンなどの任意の適切な物体または付属品を使用することによる、タッチパネル531上での、またはその近くでのユーザの操作など)を収集し、事前に設定されたプログラムに従って対応する接続装置を駆動し得る。任意選択で、タッチパネル531は、タッチ検出装置およびタッチコントローラという2つの部分を含み得る。タッチ検出装置は、ユーザのタッチの場所を検出し、タッチ操作により生成される信号を検出し、信号をタッチコントローラに転送する。タッチコントローラは、タッチ検出装置からのタッチ情報を受信し、タッチ情報をタッチ点座標に変換し、タッチ点座標をプロセッサ580に送信する。その上、タッチコントローラは、プロセッサ580から送信されたコマンドを受信して実行することができる。加えて、タッチパネル531は、抵抗タイプ、静電容量タイプ、赤外線タイプ、および表面音波タイプなどの様々なタイプを使用することにより実装され得る。タッチパネル531に加えて、入力ユニット530はさらに、別の入力デバイス532を含み得る。具体的には、別の入力デバイス532は、限定はされないが、物理キーボード、機能のあるキー(音量制御キーまたはスイッチキーなど)、トラックボール、マウス、ジョイスティックなどのうちの1つまたは複数を含み得る。

ディスプレイユニット540は、ユーザにより入力される情報またはユーザのために提供される情報、および電子デバイス500の様々なメニューを表示するように構成され得る。ディスプレイユニット540はディスプレイパネル541を含み得る。任意選択で、ディスプレイパネル541は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)などを使用することにより構成され得る。さらに、タッチパネル531はディスプレイパネル541を覆い得る。タッチパネル531の上での、またはその近くでのタッチを検出した後、タッチパネル531は、タッチイベントのタイプを決定するために、タッチ操作をプロセッサ580に伝える。次いで、プロセッサ580が、タッチイベントのタイプに従って、対応する視覚的な出力をディスプレイパネル541上で与える。図5では、タッチパネル531およびディスプレイパネル541は電子デバイス500の入力および出力の機能を実装するための2つの別個の部分として使用されるが、いくつかの実施形態では、タッチパネル531およびディスプレイパネル541は、電子デバイス500の入力および出力の機能を実装するように統合され得る。

電子デバイス500はさらに、ジャイロスコープセンサ、磁気誘導センサ、光学センサ、モーションセンサ、および別のセンサなどの、少なくとも1つのセンサ550を含み得る。具体的には、光学センサは環境光センサおよび近接センサを含み得る。環境光センサは、環境光の明るさに従ってディスプレイパネル541の明るさを調整し得る。近接センサは、電子デバイス500が耳へと動かされるときにディスプレイパネル541および/またはバックライトをオフにし得る。1つのタイプのモーションセンサとして、加速度センサは、様々な方向(一般には三軸)における加速度の大きさを検出することができ、静止しているときには重力の大きさおよび方向を検出することができ、電子デバイスのジェスチャの適用(水平な画面と垂直な画面の切替え、関連するゲーム、磁力計のジェスチャ較正など)、関連する振動識別の機能(歩数計およびノックなど)を特定するように構成され得る。電子デバイス500において構成され得る、気圧計、湿度計、温度計、および赤外線センサなどの他のセンサは、ここではさらに説明されない。

オーディオ回路560、ラウドスピーカー561、およびマイクロフォン562は、ユーザと電子デバイス500との間のオーディオインターフェースを提供し得る。オーディオ回路560は、受信されたオーディオデータから変換された電気信号をラウドスピーカー561に送信し得る。ラウドスピーカー561は、電気信号を出力のために音声信号へと変換する。一方、マイクロフォン562は、収集された音声信号を電気信号へと変換する。オーディオ回路560は、電気信号を受信し、電気信号をオーディオデータへと変換し、オーディオデータを処理のためにプロセッサ580に出力する。次いで、プロセッサ580は、たとえば、RF回路510を使用することにより別の端末へオーディオデータを送信し、または、さらなる処理のためにオーディオデータをメモリ520に出力する。

Wi-Fiは、短距離ワイヤレス送信技術に属する。電子デバイス500は、Wi-Fiモジュール570を使用することによって、ユーザが電子メールを受信しかつ送信すること、ウェブページをブラウジングすること、ストリームメディアにアクセスすることなどを助けることができ、このことはユーザにワイヤレスブロードバンドインターネットアクセスを提供する。図5はWi-Fiモジュール570を示すが、Wi-Fiモジュール570は電子デバイス500の必須の構成要素には属さず、本開示の本質の範囲を変更することなく需要に従って省略されることが可能であることが理解され得る。

プロセッサ580は、電子デバイス500の制御センターであり、様々なインターフェースおよび線を使用することにより電子デバイス全体の様々な部分に接続する。メモリ520に記憶されたソフトウェアプログラムおよび/またはモジュールを走らせることによって、または実行することによって、およびメモリ520に記憶されているデータを呼び出すことによって、プロセッサ180は、電子デバイス500の様々な機能およびデータ処理を実行し、それにより電子デバイスに対する全体的な監視を実行する。任意選択で、プロセッサ580は1つまたは複数の処理ユニットを含み得る。好ましくは、プロセッサ580はアプリケーションプロセッサおよびモデルを統合し得る。アプリケーションプロセッサは主に、オペレーティングシステム、ユーザインターフェース、アプリケーションプログラムなどを処理する。モデムは主に、ワイヤレス通信を処理する。前述のモデムは、プロセッサ580に統合されないこともあることが理解され得る。

電子デバイス500はさらに、電力を構成要素に供給するための電源582(電池など)を含む。好ましくは、電源は、電源管理システムを使用することによってプロセッサ582に論理的に接続することができ、これにより、電源管理システムを使用することにより、充電、放電、および電力消費管理などの機能を実施する。

カメラ590は一般に、レンズ、イメージセンサ、インターフェース、デジタル信号プロセッサ、CPU、ディスプレイ画面などにより形成される。レンズは、イメージセンサの上に固定され、レンズを手動で調整することにより焦点を変更することができる。イメージセンサは、従来のカメラの「フィルム」と等価であり、画像を収集するためのカメラの心臓部である。インターフェースは、フラットケーブルおよび基板間コネクタを使用することにより、およびスプリング接続方式で、カメラを電子デバイスの主基板に接続し、収集された画像をメモリ520に送信するように構成される。デジタル信号プロセッサは、数学的な演算を使用することにより収集された画像を処理し、収集されたアナログ画像をデジタル画像へと変換し、インターフェースを使用することによりデジタル画像をメモリ520に送信する。

図には示されないが、電子デバイス500はさらに、本明細書ではさらに説明されないBluetooth（登録商標）モジュールなどを含み得る。

1つまたは複数のプロセッサ580を含むことに加えて、電子デバイス500はさらにメモリと1つまたは複数のプログラムとを含み、1つまたは複数のプログラムは、メモリに記憶され、1つまたは複数のプロセッサによって実行されるように構成される。1つまたは複数のプログラムは、
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得するステップであって、複数の顔特徴点の数が奇数であり、複数の顔特徴点が対称的な顔特徴点の複数のペアおよび1つの残りの第1の顔特徴点を含み、複数の顔特徴点が同一平面上にない、ステップ、
顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得するステップ、ならびに
顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の顔回転角を決定するステップ
という動作を実行するために使用される命令を含む。

上記は第1の可能な実装形態であることが想定され、第1の可能な実装形態を基礎として使用することにより提供される第2の可能な実装形態では、電子デバイス500のメモリはさらに、
複数の顔特徴点が5つの顔特徴点を含み、5つの顔特徴点が、対称的な顔特徴点の第1のペアと、対称的な顔特徴点の第2のペアと、1つの残りの第1の顔特徴点とを含む
ような動作を実行するために使用される命令を含む。

第2の可能な実装形態を基礎として使用することにより提供される第3の可能な実装形態では、電子デバイス500のメモリはさらに、
顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点の第1の位置情報に従って、顔特徴点の各ペアの対称的な中点の第1の位置情報を取得するステップが、
対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第1の位置情報に従って、対称的な顔特徴点の第1のペアの第1の対称的な中点の第1の位置情報を取得するステップと、
対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第1の位置情報に従って、対称的な顔特徴点の第2のペアの第2の対称的な中点の第1の位置情報を取得するステップとを含む
ような動作を実行するために使用される命令を含む。

第3の可能な実装形態を基礎として使用することにより提供される第4の可能な実装形態では、電子デバイス500のメモリはさらに、
顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の顔回転角を決定するステップが、
第1の対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、第1の対称的な中点および第1の顔特徴点により形成される第1の線分の長さを計算するステップと、
第2の対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、第2の対称的な中点および第1の顔特徴点により形成される第2の線分の長さを計算するステップと、
第2の線分の長さに対する第1の線分の長さの第1の比に従って、かつ第1の比と顔ピッチ角との間の対応付けから、決定されることになる顔画像の顔ピッチ角を取得するステップとを含む
ような動作を実行するために使用される命令を含む。

第3の可能な実装形態を基礎として使用することにより提供される第5の可能な実装形態では、電子デバイス500のメモリはさらに、
顔特徴点の各ペアの対称的な中点の第1の位置情報および第1の顔特徴点の第1の位置情報に従って、決定されることになる顔画像の顔回転角を決定するステップが、
第1の対称的な中点の第1の位置情報、第2の対称的な中点の第1の位置情報、および第1の顔特徴点の第1の位置情報に従って、第1の顔特徴点から第3の線分までの第1の垂直距離および第3の線分の長さを計算するステップであって、第3の線分が第1の対称的な中点および第2の対称的な中点により形成される線分である、ステップと、
第3の線分の長さおよび決定されることになる顔画像の顔ピッチ角に従って、第4の線分の長さを計算するステップであって、第4の線分が第3の対称的な中点と第4の対称的な中点との間の線分であり、第3の対称的な中点が正面の顔画像の中の顔特徴点の第1のペアの対称的な中点であり、第4の対称的な中点が正面の顔画像の中の顔特徴点の第2のペアの対称的な中点である、ステップと、
第4の線分の長さに対する第1の垂直距離の第2の比に従って、かつ第2の比と横方向の顔回転角との間の対応付けから、決定されることになる顔画像の横方向の顔回転角を取得するステップとを含む
ような動作を実行するために使用される命令を含む。

第5の可能な実装形態を基礎として使用することにより提供される第6の可能な実装形態では、電子デバイス500のメモリはさらに、
第3の線分の長さおよび決定されることになる顔画像の顔ピッチ角に従って、第4の線分の長さを計算するステップが、
顔ピッチ角に従って、かつ顔ピッチ角と第3の比との間の対応付けから、対応する第3の比を取得するステップと、
第3の比および第3の線分の長さに従って、第4の線分の長さを計算するステップとを含む
ような動作を実行するために使用される命令を含む。

第1から第6の可能な実装形態のいずれか1つを基礎として使用することにより提供される第7の可能な実装形態では、電子デバイス500のメモリはさらに、
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第1の位置情報を取得するステップの後で、
決定されることになる顔画像の顔回転角を取得するために、対称的な顔特徴点の任意のペアの中の各顔特徴点の第1の位置情報に従って第5の線分を決定し、第5の線分と水平線との間の角度を計算するステップをさらに含む
という動作を実行するために使用される命令を含む。

第2から第6の可能な実装形態のいずれか1つを基礎として使用することにより提供される第8の可能な実装形態では、電子デバイス500のメモリはさらに、
決定されることになる顔画像の顔回転角を決定するステップの前に、
第1の顔画像の中の事前に設定された複数の顔特徴点の第2の位置情報を取得するステップであって、第1の顔画像が、事前に設定された顔回転角だけ顔が回転した後で撮られた顔画像である、ステップ、および、
事前に設定された複数の顔特徴点の第2の位置情報に従って、線分比と事前に設定された顔回転角との間の対応付けを確立するステップをさらに含む
という動作を実行するために使用される命令を含む。

第8の可能な実装形態を基礎として使用することにより提供される第9の可能な実装形態では、電子デバイス500のメモリはさらに、
事前に設定された顔回転角が事前に設定された顔ピッチ角を含み、
事前に設定された複数の顔特徴点の第2の位置情報に従って、線分比と事前に設定された顔回転角との間の対応付けを確立するステップが、
対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第2の位置情報に従って、対称的な顔特徴点の第1のペアの第5の対称的な中点の第2の位置情報を取得するステップと、
対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第1の位置情報に従って、対称的な顔特徴点の第2のペアの第6の対称的な中点の第2の位置情報を取得するステップと、
第5の対称的な中点の第2の位置情報および第1の顔特徴点の第2の位置情報に従って、第5の対称的な中点および第1の顔特徴点により形成される第6の線分の長さを計算するステップと、
第6の対称的な中点の第2の位置情報および第1の顔特徴点の第2の位置情報に従って、第6の対称的な中点および第1の顔特徴点により形成される第7の線分の長さを計算するステップと、
第7の線分に対する第6の線分の第1の比と事前に設定された顔ピッチ角との間の対応付けを確立するステップとを含む
ように動作を実行するために使用される命令を含む。

第9の可能な実装形態を基礎として使用することにより提供される第10の可能な実装形態では、電子デバイス500のメモリはさらに、
事前に設定された複数の顔特徴点の第2の位置情報に従って、線分比と事前に設定された顔回転角との間の対応付けを確立するステップがさらに、
顔の正面の顔画像の中の対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第3の位置情報、および正面の顔画像の中の対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第3の位置情報を取得するステップと、
対称的な顔特徴点の第1のペアに含まれる各顔特徴点の第3の位置情報に従って、対称的な顔特徴点の第1のペアの第7の対称的な中点の第3の位置情報を取得するステップと、
対称的な顔特徴点の第2のペアに含まれる各顔特徴点の第3の位置情報に従って、対称的な顔特徴点の第2のペアの第8の対称的な中点の第3の位置情報を取得するステップと、
第5の対称的な中点の第2の位置情報および第6の対称的な中点の第2の位置情報に従って、第5の対称的な中点および第6の対称的な中点により形成される第8の線分の長さを計算するステップと、
第7の対称的な中点の第3の位置情報および第8の対称的な中点の第3の位置情報に従って、第7の対称的な中点および第8の対称的な中点により形成される第9の線分の長さを計算するステップと、
第9の線分に対する第8の線分の第3の比と事前に設定された顔ピッチ角との間の対応付けを確立するステップとを含む
ように動作を実行するために使用される命令を含む。

第10の可能な実装形態を基礎として使用することにより提供される第11の可能な実装形態では、電子デバイス500のメモリはさらに、
事前に設定された顔回転角が事前に設定された横方向の顔回転角を含み、
事前に設定された複数の顔特徴点の第2の位置情報に従って、線分比と事前に設定された顔回転角との間の対応付けを確立するステップがさらに、
第5の対称的な中点の第2の位置情報、第6の対称的な中点の第2の位置情報、および第1の顔特徴点の第2の位置情報に従って、第1の顔特徴点から第8の線分までの第2の垂直距離を計算するステップと、
第9の線分に対する第2の垂直距離の第2の比と事前に設定された横方向の顔回転角との間の対応付けを確立するステップとを含む
ように動作を実行するために使用される命令を含む。

本発明の前述の実施形態の順序番号は説明を目的としたものにすぎず、実施形態の選好を示すものではない。

本出願において提供されるいくつかの実施形態では、開示されるデバイスおよび方法は他の方式で実装され得ることを理解されたい。説明されたデバイスの実施形態は例示にすぎない。たとえば、ユニットの分割は論理機能の分割にすぎず、実際の実装形態では他の分割もあり得る。たとえば、複数のユニットまたは構成要素が、別のシステムへと合成もしくは統合されることがあり、または何らかの特徴が省略されもしくは実行されないことがある。加えて、構成要素間の、表示または議論された、相互の結合または直接の結合または通信接続は、何らかのインターフェースを通じて実装され得る。デバイスまたはユニット間の間接的な結合または通信接続は、電気的に、機械的に、または他の形式で実装され得る。

別個の部分として説明されるユニットは、物理的に分離していることまたは分離していないことがあり、ユニットとして表示される部分は、物理的なユニットであることもしくはそうではないことがあり、1つの場所に位置していることがあり、または複数のネットワークユニット上に分散していることがある。ユニットの一部またはすべてが、実施形態の解決法の目的を達成するための実際の必要性に従って選択され得る。

加えて、本発明の実施形態における機能ユニットは、1つの処理ユニットへとすべて統合されることがあり、またはユニットの各々が1つのユニットとして別々に独立に使用されることがあり、または2つ以上のユニットが1つのユニットへと統合されることがある。統合されたユニットは、ハードウェアの形式で実装されることがあり、または、ハードウェアとソフトウェアの機能ユニットの形式で実装されることがある。

前述の方法の実施形態を実施するためのすべてのまたはいくつかのステップは、関連するハードウェアに命令するプログラムによって完了されることがあり、前述のプログラムはコンピュータ可読記憶媒体に記憶されることがあり、実行されると、プログラムは前述の方法の実施形態を含むステップを実行することを、当業者は理解し得る。前述の記憶媒体は、取り外し可能記憶デバイス、読取り専用メモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク、または光学ディスクなどの、プログラムコードを記憶できる任意の媒体を含む。

代替的に、本開示の統合されたユニットがソフトウェア機能モジュールの形式で実装され、独立した製品として販売または使用されるとき、統合されたユニットはコンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、本発明の実施形態の技術的な解決法は基本的に、または既存の技術に寄与する部分は、ソフトウェア製品の形式で実装され得る。コンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態において説明される方法のすべてまたは一部を実行するようにコンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワークデバイスなどであり得る)に命令するためのいくつかの命令を含む。前述の記憶媒体は、取り外し可能記憶デバイス、ROM、RAM、磁気ディスク、または光学ディスクなどの、プログラムコードを記憶できる任意の媒体を含む。

前述の説明は、本発明の特定の実施形態にすぎず、本開示の保護範囲を限定することは意図されていない。本開示において開示される技術的な範囲内にあると当業者により容易に理解されるあらゆる変形または置換が、本開示の保護範囲内にあるものとする。したがって、本開示の保護範囲は添付の特許請求の範囲に従うものとする。

本発明の実施形態の技術的な解決法は、顔回転角が決定できないという問題を解決する。事前に設定された線分比と顔回転角との間の対応付けは、線分比と角度との間の比較的正確な対応付けであるので、本発明の実施形態において提供される顔回転角を決定するための方法は、顔回転角を決定することの精度を大きく改善する。

401 第1の取得モジュール
402 第2の取得モジュール
403 第1の決定モジュール
404 決定および計算モジュール
405 第3の取得モジュール
406 確立モジュール
406a 第7の取得サブモジュール
406b 第8の取得サブモジュール
406c 第9の取得サブモジュール
406d 第7の計算サブモジュール
406e 第8の計算サブモジュール
406f 第2の確立サブモジュール
500 電子デバイス
510 RF回路
520 メモリ
530 入力ユニット
531 タッチパネル
532 別の入力デバイス
540 ディスプレイユニット
541 ディスプレイパネル
550 センサ
560 オーディオ回路
561 ラウドスピーカー
562 マイクロフォン
570 Wi-Fiモジュール
580 プロセッサ
582 電源
590 カメラ
4021 第1の取得サブモジュール
4022 第2の取得サブモジュール
4031 第1の計算サブモジュール
4032 第2の計算サブモジュール
4033 第3の取得サブモジュール
4034 第3の計算サブモジュール
4035 第4の計算サブモジュール
4035a 取得ユニット
4035b 計算ユニット
4036 第4の取得サブモジュール
4061 第5の取得サブモジュール
4062 第6の取得サブモジュール
4063 第5の計算サブモジュール
4064 第6の計算サブモジュール
4065 第1の確立サブモジュール
4066 第9の計算サブモジュール
4067 第3の確立サブモジュール

Claims

電子デバイスによって実行される、顔回転角を決定するための方法であって、
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第１の位置情報を取得するステップであって、前記複数の顔特徴点が５つの顔特徴点を含み、前記５つの顔特徴点が、対称的な顔特徴点の第１のペアと、対称的な顔特徴点の第２のペアと、１つの第１の顔特徴点とを含み、前記複数の顔特徴点が同一平面上にない、ステップと、
対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点の第１の位置情報に従って、対称的な顔特徴点の前記第１のペアの第１の対称的な中点の第１の位置情報を取得するステップと、
対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点の第１の位置情報に従って、対称的な顔特徴点の前記第２のペアの第２の対称的な中点の第１の位置情報を取得するステップと、
顔特徴点の各ペアの前記対称的な中点の前記第１の位置情報および前記第１の顔特徴点の第１の位置情報に従って、前記決定されることになる顔画像の顔回転角を決定するステップと、を含み、
ここで、顔特徴点の各ペアの前記対称的な中点の前記第１の位置情報および前記第１の顔特徴点の第１の位置情報に従って、前記決定されることになる顔画像の顔回転角を決定する前記ステップが、
前記第１の対称的な中点の前記第１の位置情報、前記第２の対称的な中点の前記第１の位置情報、および前記第１の顔特徴点の前記第１の位置情報に従って、前記第１の顔特徴点から第３の線分までの第１の垂直距離および前記第３の線分の長さを計算するステップであって、前記第３の線分が前記第１の対称的な中点および前記第２の対称的な中点により形成される線分である、ステップと、
前記第３の線分の前記長さおよび前記決定されることになる顔画像の顔ピッチ角に従って、第４の線分の長さを計算するステップであって、前記第４の線分が第３の対称的な中点と第４の対称的な中点との間の線分であり、前記第３の対称的な中点が正面の顔画像の中の顔特徴点の前記第１のペアの対称的な中点であり、前記第４の対称的な中点が前記正面の顔画像の中の顔特徴点の前記第２のペアの対称的な中点である、ステップと、
前記第４の線分の前記長さに対する前記第１の垂直距離の第２の比に従って、かつ前記第２の比と横方向の顔回転角との間の対応付けから、前記決定されることになる顔画像の横方向の顔回転角を取得するステップと、
を含む方法。
顔特徴点の各ペアの前記対称的な中点の前記第１の位置情報および前記第１の顔特徴点の第１の位置情報に従って、前記決定されることになる顔画像の顔回転角を決定する前記ステップが、
前記第１の対称的な中点の前記第１の位置情報および前記第１の顔特徴点の前記第１の位置情報に従って、前記第１の対称的な中点および前記第１の顔特徴点により形成される第１の線分の長さを計算するステップと、
前記第２の対称的な中点の前記第１の位置情報および前記第１の顔特徴点の前記第１の位置情報に従って、前記第２の対称的な中点および前記第１の顔特徴点により形成される第２の線分の長さを計算するステップと、
前記第２の線分の前記長さに対する前記第１の線分の前記長さの第１の比に従って、かつ前記第１の比と顔ピッチ角との間の対応付けから、前記決定されることになる顔画像の顔ピッチ角を取得するステップと
を含む、請求項１に記載の方法。
前記第３の線分の前記長さおよび前記決定されることになる顔画像の顔ピッチ角に従って、第４の線分の長さを計算する前記ステップが、
前記顔ピッチ角に従って、かつ前記顔ピッチ角と第３の比との間の対応付けから、対応する第３の比を取得するステップと、
前記第３の比および前記第３の線分の前記長さに従って、前記第４の線分の前記長さを計算するステップと
を含む、請求項１に記載の方法。
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第１の位置情報を取得する前記ステップの後に、
前記決定されることになる顔画像の前記顔回転角を取得するために、対称的な顔特徴点の任意のペアの中の各顔特徴点の第１の位置情報に従って、第５の線分を決定し、前記第５の線分と水平線との間の角度を計算するステップ
をさらに含む、請求項１から３のいずれか一項に記載の方法。
前記決定されることになる顔画像の顔回転角を決定する前記ステップの前に、
第１の顔画像の中の前記事前に設定された複数の顔特徴点の第２の位置情報を取得するステップであって、前記第１の顔画像が事前に設定された顔回転角だけ顔が回転した後で撮られた顔画像である、ステップと、
前記事前に設定された複数の顔特徴点の前記第２の位置情報に従って、線分比と前記事前に設定された顔回転角との間の対応付けを確立するステップと
をさらに含む、請求項１から３のいずれか一項に記載の方法。
前記事前に設定された顔回転角が事前に設定された顔ピッチ角を含み、
前記事前に設定された複数の顔特徴点の前記第２の位置情報に従って、線分比と前記事前に設定された顔回転角との間の対応付けを確立する前記ステップが、
対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点の第２の位置情報に従って、対称的な顔特徴点の前記第１のペアの第５の対称的な中点の第２の位置情報を取得するステップと、
対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点の第１の位置情報に従って、対称的な顔特徴点の前記第２のペアの第６の対称的な中点の第２の位置情報を取得するステップと、
前記第５の対称的な中点の前記第２の位置情報および前記第１の顔特徴点の前記第２の位置情報に従って、前記第５の対称的な中点および前記第１の顔特徴点により形成される第６の線分の長さを計算するステップと、
前記第６の対称的な中点の前記第２の位置情報および前記第１の顔特徴点の前記第２の位置情報に従って、前記第６の対称的な中点および前記第１の顔特徴点により形成される第７の線分の長さを計算するステップと、
前記第７の線分に対する前記第６の線分の第１の比と前記事前に設定された顔ピッチ角との間の対応付けを確立するステップと
を含む、請求項５に記載の方法。
前記事前に設定された複数の顔特徴点の前記第２の位置情報に従って、線分比と前記事前に設定された顔回転角との間の対応付けを確立する前記ステップが、
顔の正面の顔画像の中の対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点の第３の位置情報、および前記正面の顔画像の中の対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点の第３の位置情報を取得するステップと、
対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点の前記第３の位置情報に従って、対称的な顔特徴点の前記第１のペアの第７の対称的な中点の第３の位置情報を取得するステップと、
対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点の前記第３の位置情報に従って、対称的な顔特徴点の前記第２のペアの第８の対称的な中点の第３の位置情報を取得するステップと、
前記第５の対称的な中点の前記第２の位置情報および前記第６の対称的な中点の前記第２の位置情報に従って、前記第５の対称的な中点および前記第６の対称的な中点により形成される第８の線分の長さを計算するステップと、
前記第７の対称的な中点の前記第３の位置情報および前記第８の対称的な中点の前記第３の位置情報に従って、前記第７の対称的な中点および前記第８の対称的な中点により形成される第９の線分の長さを計算するステップと、
前記第９の線分に対する前記第８の線分の第３の比と前記事前に設定された顔ピッチ角との間の対応付けを確立するステップと
をさらに含む、請求項６に記載の方法。
前記事前に設定された顔回転角が事前に設定された横方向の顔回転角を含み、
前記事前に設定された複数の顔特徴点の前記第２の位置情報に従って、線分比と前記事前に設定された顔回転角との間の対応付けを確立する前記ステップが、
前記第５の対称的な中点の前記第２の位置情報、前記第６の対称的な中点の前記第２の位置情報、および前記第１の顔特徴点の前記第２の位置情報に従って、前記第１の顔特徴点から前記第８の線分までの第２の垂直距離を計算するステップと、
前記第９の線分に対する前記第２の垂直距離の第２の比と前記事前に設定された横方向の顔回転角との間の対応付けを確立するステップと
をさらに含む、請求項７に記載の方法。
顔回転角を決定するための装置であって、
決定されることになる顔画像の中の事前に設定された複数の顔特徴点の第１の位置情報を取得するように構成された第１の取得モジュールであって、前記複数の顔特徴点が５つの顔特徴点を含み、前記５つの顔特徴点が、対称的な顔特徴点の第１のペアと、対称的な顔特徴点の第２のペアと、１つの第１の顔特徴点とを含み、前記複数の顔特徴点が同一平面上にない、第１の取得モジュールと、
顔特徴点の複数のペアの顔特徴点の各ペアに含まれる顔特徴点のものであり前記第１の取得モジュールにより取得される第１の位置情報に従って、顔特徴点の各ペアの対称的な中点の第１の位置情報を取得するように構成された第２の取得モジュールと、
顔特徴点の各ペアの前記対称的な中点のものであり前記第２の取得モジュールにより取得される前記第１の位置情報および前記第１の顔特徴点のものであり前記第１の取得モジュールにより取得される第１の位置情報に従って、前記決定されることになる顔画像の顔回転角を決定するように構成された第１の決定モジュールと、を含み、
ここで、前記第２の取得モジュールが、
対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点のものであり前記第１の取得モジュールにより取得される第１の位置情報に従って、対称的な顔特徴点の前記第１のペアの第１の対称的な中点の第１の位置情報を取得するように構成された第１の取得サブモジュールと、
対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点のものであり前記第１の取得モジュールにより取得される第１の位置情報に従って、対称的な顔特徴点の前記第２のペアの第２の対称的な中点の第１の位置情報を取得するように構成された第２の取得サブモジュールと、を含み、
前記第１の決定モジュールが、
前記第１の対称的な中点のものであり前記第１の取得サブモジュールにより取得される前記第１の位置情報、前記第２の対称的な中点のものであり前記第２の取得サブモジュールにより取得される前記第１の位置情報、および前記第１の顔特徴点のものであり前記第１の取得モジュールにより取得される前記第１の位置情報に従って、前記第１の顔特徴点から第３の線分までの第１の垂直距離および前記第３の線分の長さを計算するように構成された第３の計算サブモジュールであって、前記第３の線分が前記第１の対称的な中点および前記第２の対称的な中点により形成される線分である、第３の計算サブモジュールと、
前記第３の計算サブモジュールにより計算される前記第３の線分の前記長さおよび前記決定されることになる顔画像の顔ピッチ角に従って、第４の線分の長さを計算するように構成された第４の計算サブモジュールであって、前記第４の線分が第３の対称的な中点と第４の対称的な中点との間の線分であり、前記第３の対称的な中点が正面の顔画像の中の顔特徴点の前記第１のペアの対称的な中点であり、前記第４の対称的な中点が前記正面の顔画像の中の顔特徴点の前記第２のペアの対称的な中点である、第４の計算サブモジュールと、
前記第４の計算サブモジュールにより計算される前記第４の線分の前記長さに対する前記第３の計算サブモジュールにより計算される前記第１の垂直距離の第２の比に従って、かつ前記第２の比と横方向の顔回転角との間の対応付けから、前記決定されることになる顔画像の横方向の顔回転角を取得するように構成された第４の取得サブモジュールと
を含む装置。
前記第１の決定モジュールが、
前記第１の対称的な中点のものであり前記第１の取得サブモジュールにより取得される前記第１の位置情報および前記第１の顔特徴点のものであり前記第１の取得モジュールにより取得される前記第１の位置情報に従って、前記第１の対称的な中点および前記第１の顔特徴点により形成される第１の線分の長さを計算するように構成された第１の計算サブモジュールと、
前記第２の対称的な中点のものであり前記第２の取得サブモジュールにより取得される前記第１の位置情報および前記第１の顔特徴点のものであり前記第１の取得モジュールにより取得される前記第１の位置情報に従って、前記第２の対称的な中点および前記第１の顔特徴点により形成される第２の線分の長さを計算するように構成された第２の計算サブモジュールと、
前記第２の計算サブモジュールにより計算される前記第２の線分の前記長さに対する前記第１の計算サブモジュールにより計算される前記第１の線分の前記長さの第１の比に従って、かつ前記第１の比と顔ピッチ角との間の対応付けから、前記決定されることになる顔画像の顔ピッチ角を取得するように構成された第３の取得サブモジュールと
を含む、請求項９に記載の装置。
前記第４の計算サブモジュールが、
第３の取得サブモジュールにより取得される前記顔ピッチ角に従って、かつ前記顔ピッチ角と第３の比との間の対応付けから、対応する第３の比を取得するように構成された取得ユニットと、
前記取得ユニットにより取得される前記第３の比および前記第３の計算サブモジュールにより計算される前記第３の線分の前記長さに従って、前記第４の線分の前記長さを計算するように構成された計算ユニットと
を含む、請求項９に記載の装置。
前記決定されることになる顔画像の前記顔回転角を取得するために、対称的な顔特徴点の任意のペアの中の各顔特徴点の第１の位置情報に従って、第５の線分を決定し、前記第５の線分と水平線との間の角度を計算するように構成された決定および計算モジュール
をさらに含む、請求項９から１１のいずれか一項に記載の装置。
第１の顔画像の中の前記事前に設定された複数の顔特徴点の第２の位置情報を取得するように構成された第３の取得モジュールであって、前記第１の顔画像が事前に設定された顔回転角だけ顔が回転した後で撮られた顔画像である、第３の取得モジュールと、
前記事前に設定された複数の顔特徴点のものであり前記第３の取得モジュールにより取得される前記第２の位置情報に従って、線分比と前記事前に設定された顔回転角との間の対応付けを確立するように構成された確立モジュールと
をさらに含む、請求項９から１１のいずれか一項に記載の装置。
前記事前に設定された顔回転角が事前に設定された顔ピッチ角を含み、
前記確立モジュールが、
対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点のものであり前記第３の取得モジュールにより取得される第２の位置情報に従って、対称的な顔特徴点の前記第１のペアの第５の対称的な中点の第２の位置情報を取得するように構成された第５の取得サブモジュールと、
対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点のものであり前記第３の取得モジュールにより取得される第１の位置情報に従って、対称的な顔特徴点の前記第２のペアの第６の対称的な中点の第２の位置情報を取得するように構成された第６の取得サブモジュールと、
前記第５の対称的な中点のものであり前記第５の取得サブモジュールにより取得される前記第２の位置情報および前記第１の顔特徴点のものであり前記第３の取得モジュールにより取得される前記第２の位置情報に従って、前記第５の対称的な中点および前記第１の顔特徴点により形成される第６の線分の長さを計算するように構成された第５の計算サブモジュールと、
前記第６の対称的な中点のものであり前記第６の取得サブモジュールにより取得される前記第２の位置情報および前記第１の顔特徴点のものであり前記第３の取得モジュールにより取得される前記第２の位置情報に従って、前記第６の対称的な中点および前記第１の顔特徴点により形成される第７の線分の長さを計算するように構成された第６の計算サブモジュールと、
前記第６の計算サブモジュールにより計算される前記第７の線分に対する前記第５の計算サブモジュールにより計算される前記第６の線分の第１の比と前記事前に設定された顔ピッチ角との間の対応付けを確立するように構成された第１の確立サブモジュールと
を含む、請求項１３に記載の装置。
前記確立モジュールが、
顔の正面の顔画像の中の対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点の第３の位置情報、および前記正面の顔画像の中の対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点の第３の位置情報を取得するように構成された第７の取得サブモジュールと、
対称的な顔特徴点の前記第１のペアに含まれる各顔特徴点のものであり前記第７の取得サブモジュールにより取得される前記第３の位置情報に従って、対称的な顔特徴点の前記第１のペアの第７の対称的な中点の第３の位置情報を取得するように構成された第８の取得サブモジュールと、
対称的な顔特徴点の前記第２のペアに含まれる各顔特徴点のものであり前記第７の取得サブモジュールにより取得される前記第３の位置情報に従って、対称的な顔特徴点の前記第２のペアの第８の対称的な中点の第３の位置情報を取得するように構成された第９の取得サブモジュールと、
前記第５の対称的な中点のものであり前記第５の取得サブモジュールにより取得される前記第２の位置情報および前記第６の対称的な中点のものであり前記第６の取得サブモジュールにより取得される前記第２の位置情報に従って、前記第５の対称的な中点および前記第６の対称的な中点により形成される第８の線分の長さを計算するように構成された第７の計算サブモジュールと、
前記第７の対称的な中点のものであり前記第８の取得サブモジュールにより取得される前記第３の位置情報および前記第８の対称的な中点のものであり前記第９の取得サブモジュールにより取得される前記第３の位置情報に従って、前記第７の対称的な中点および前記第８の対称的な中点により形成される第９の線分の長さを計算するように構成された第８の計算サブモジュールと、
前記第８の計算サブモジュールにより計算される前記第９の線分に対する前記第７の計算サブモジュールにより計算される前記第８の線分の第３の比と前記事前に設定された顔ピッチ角との間の対応付けを確立するように構成された第２の確立サブモジュールと
をさらに含む、請求項１４に記載の装置。
前記事前に設定された顔回転角が事前に設定された横方向の顔回転角を含み、
前記確立モジュールが、
前記第５の対称的な中点のものであり前記第５の取得サブモジュールにより取得される前記第２の位置情報、前記第６の対称的な中点のものであり前記第６の取得サブモジュールにより取得される前記第２の位置情報、および前記第１の顔特徴点のものであり前記第３の取得モジュールにより取得される前記第２の位置情報に従って、前記第１の顔特徴点から前記第８の線分までの第２の垂直距離を計算するように構成された第９の計算サブモジュールと、
前記第８の計算サブモジュールにより計算される前記第９の線分に対する前記第９の計算サブモジュールにより計算される前記第２の垂直距離の第２の比と前記事前に設定された横方向の顔回転角との間の対応付けを確立するように構成された第３の確立サブモジュールと
をさらに含む、請求項１５に記載の装置。
コンピュータ実行可能命令を記憶したコンピュータ記憶媒体であって、前記コンピュータ実行可能命令が、請求項１から８のいずれか一項に記載の顔回転角を決定するための方法を実行するために使用される、コンピュータ記憶媒体。