JP6761824B2 - 身体情報分析装置およびその眉型比較補助方法 - Google Patents

身体情報分析装置およびその眉型比較補助方法 Download PDF

Info

Publication number
JP6761824B2
JP6761824B2 JP2018006441A JP2018006441A JP6761824B2 JP 6761824 B2 JP6761824 B2 JP 6761824B2 JP 2018006441 A JP2018006441 A JP 2018006441A JP 2018006441 A JP2018006441 A JP 2018006441A JP 6761824 B2 JP6761824 B2 JP 6761824B2
Authority
JP
Japan
Prior art keywords
eyebrow
feature points
mirroring
image
auxiliary line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018006441A
Other languages
English (en)
Other versions
JP2019063479A (ja
Inventor
沈軾榮
季敏▲ちょう▼
呉孝宗
Original Assignee
麗寶大數據股▲フン▼有限公司
麗寶大數據股▲ふん▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 麗寶大數據股▲フン▼有限公司, 麗寶大數據股▲ふん▼有限公司 filed Critical 麗寶大數據股▲フン▼有限公司
Publication of JP2019063479A publication Critical patent/JP2019063479A/ja
Application granted granted Critical
Publication of JP6761824B2 publication Critical patent/JP6761824B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Tourism & Hospitality (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、装置および方法に関し、特に身体情報分析装置およびその眉型比較補助方法に関する。
眉補正は、技術的難易度の高い化粧項目の1つである。眉補正が成功すれば、顔の形が他人に与える感じを変え、さらに他人に与える外観イメージを高めることができる。
また、眉補正が成功したかどうかの判断は、通常左眉と右眉の眉型が対称であるかどうかによる。
通常、使用者は鏡の前に座って眉補正を行い、またはスマートフォンのカメラおよびスクリーンを鏡の代わりにして眉補正を行う。
しかしながら、使用者が眉補正を行う場合、しばしば根拠もなく手入れ後の眉型を想像し、想像に基づいて眉補正を行うより他ない。このため、眉補正技術が高くない使用者は、しばしば眉補正速度が遅すぎ、または手入れ後の左眉と右眉が非対称になって困ることがある。
これにかんがみ、現在、経験不足の使用者がすばやく眉補正を行うのを有効に補助することができる補助装置が強く求められている。
本発明は、使用者が眉補正を行う際に現在の眉型と推奨される眉型との間の差を比較するのを補助することができる身体情報分析装置およびその眉型比較補助方法を提供する。
実施例において、眉型比較補助方法は、身体情報分析装置に応用され、身体情報分析装置のイメージ取込モジュールを制御して顔部イメージを取り込むことと、身体情報分析装置の処理ユニットを制御して顔部イメージの1側の眉毛イメージを識別することと、処理ユニットが識別された眉毛イメージに基づき眉型ミラーリングパターンを生成することと、処理ユニットが眉毛イメージの位置に基づき、顔部イメージの対称補助線から眉型ミラーリングパターンの投影位置を計算し、ここで、投影位置は顔部イメージの対称補助線に対して他側にあることと、e)身体情報分析装置のディスプレイモジュールを制御して顔部イメージを表示すると同時に、投影位置に眉型ミラーリングパターンを表示することとを含む。
実施例において、身体情報分析装置は、イメージ取込モジュールと、ディスプレイモジュールと、イメージ取込モジュールおよびディスプレイモジュールを電気接続した処理ユニットとを含む。イメージ取込モジュールは、顔部イメージを取り込むために用いられる。ディスプレイモジュールは、顔部イメージを表示すると同時に、投影位置に眉型ミラーリングパターンを表示するために用いられる。処理ユニットは、顔部イメージの1側の眉毛イメージを識別し、識別された眉毛イメージに基づき眉型ミラーリングパターンを生成し、眉毛イメージの位置に基づき、顔部イメージの対称補助線から眉型ミラーリングパターンの投影位置を計算し、ここで、投影位置は顔部イメージの対称補助線に対して他側にある。
本発明は、使用者の眉毛イメージと推奨される眉型ミラーリングパターンとを同時に表示することによって、使用者が直観的かつ正確に眉補正を行うことができるようにし、また眉補正の技術的難易度を大幅に低下させ、眉補正の成功確率を向上させることができる。
本発明の第1の実施例のシステムのフレームチャートである。 本発明の身体情報分析装置の第1の概略図である。 本発明の身体情報分析装置の第2の概略図である。 本発明の第1の実施例の身体情報分析装置のフレームチャートである。 本発明の第1の実施例の処理ユニットの概略図である。 本発明の第1の実施例の眉型比較補助方法のフローチャートである。 本発明の第2の実施例の眉型比較補助方法のフローチャートである。 本発明の第3の実施例の眉型比較補助方法の部分的フローチャートである。 顔部分析概略図である。 本発明の第1の実施例の眉型比較補助の第1の概略図である。 本発明の第1の実施例の眉型比較補助の第2の概略図である。 本発明の第1の実施例の眉型比較補助の第3の概略図である。 本発明の第2の実施例の眉型比較補助の第1の概略図である。 本発明の第2の実施例の眉型比較補助の第2の概略図である。 本発明の第2の実施例の眉型比較補助の第3の概略図である。 本発明の第3の実施例の眉型識別の第1の概略図である。 本発明の第3の実施例の眉型識別の第2の概略図である。 本発明の第3の実施例の眉型識別の第3の概略図である。 本発明の第3の実施例の眉型識別の第4の概略図である。 本発明の第4の実施例の調整前の投影位置の概略図である。 本発明の第4の実施例の調整後の投影位置の概略図である。 本発明の第5の実施例の調整前の眉型の概略図である。 本発明の第5の実施例の調整後の眉型の概略図である。
以下では、本発明の目的、方策および効果をさらによく理解するため、図面および具体的実施例を組み合わせて本発明技術方策を詳細に記述するが、本発明に添付の特許請求の範囲の保護範囲の制限とするものではない。
本発明は、身体情報分析装置(以下「分析装置」という)を公開し、分析装置は主に眉型比較補助方法(以下「比較方法」という)を実行するために用いられ、使用者が現在の眉型と推奨される眉型との間の差を軽易に比較することができるようにし、それによって使用者が眉補正を行うのを補助する。
図1を参照されたい。本発明の第1の実施例のシステムのフレームチャートである。図1の実施例において、使用者は、電子装置2を操作して分析装置1を設定することができる。
具体的には、電子装置2のメモリ(図示せず)はソフトウェア21をインストールしている。ソフトウェア21は、分析装置1と接続を確立するために用いられる(分析装置1のメーカーが開発し提供するアプリケーションプログラムなど)。また、使用者は、ソフトウェア21を操作することによって、分析装置1に各種設定動作を行うことができる(例えば、使用者のデータの入力、使用者の顔部イメージの登録および/または各種デフォルト値の設定など)。
実施例において、使用者は分析装置1の入力インターフェース(図4に示した入力インターフェース15など)を直接操作して、各種設定動作を行うこともできる。
実施例において、分析装置1の無線伝送モジュール16は、Wi−Fi通信技術、ブルートゥース(登録商標)通信技術、Zigbee(登録商標)通信技術、無線周波数(RF)通信技術、赤外線通信技術、光通信技術、音声通信技術および/またはその他の無線通信技術によって、電子装置2とデータ伝送を行うことができる。
実施例において、分析装置1は、置かれた領域内の無線ルータ3に接続することによって、無線ルータ3を経由してインターネット4に接続することができる。これによって、分析装置1は、インターネット4を経由してファームウェアの更新、データのアップロードおよびダウンロードなどの動作を行うことができる。
また、分析装置1は、インターネット4を経由して。使用者の身体情報(後述する顔部イメージ、眉毛イメージおよび/または眉型ミラーリングパターンなど)を遠隔のコンピュータ機器(図示せず)に伝送し、それによって使用者に遠隔で確認させ、またはこれによってリモートバックアップするという目的を実現することもできる。
図2および図3を合わせて参照されたい。図2は本発明の身体情報分析装置の第1の概略図であり、図3は本発明の身体情報分析装置の第2の概略図である。図2および図3の実施例の分析装置1は、使用者が身体情報(例えば、顔部、頸部または手部)の検出および分析を行いやすいように、主に使用者の寝室またはメイクルームに設置される。
分析装置1はミラースクリーン11を有する。分析装置1が起動(図2参照)すると、ミラースクリーン11によってグラフィカルユーザインターフェース(Graphical User Interface、GUI)を表示し、グラフィカルユーザインターフェースによって使用者とインタラクションを行うことができる。そのほか、分析装置1が閉じられた(図3参照)場合、ミラースクリーン11を単なる鏡として使用することによって、使用者の光学的鏡像5を反射することができる。
本発明は、主に分析装置1によって使用者が化粧動作(眉補正など)を行うのを助けるため、ミラースクリーン11はグラフィカルユーザインターフェースを表示するとともに、使用者の光学的鏡像5を反射し、それによって使用者が化粧する際に使用者の化粧した顔を分析しやすくし、同時に補助を提供することができる(後ほど詳述する)。
実施例において、分析装置1は、分析装置1上に設置され、角度の調整を受け入れることができるイメージ取込モジュール12をさらに有する。実施例において、イメージ取込モジュール12は、使用者を撮影し、それによって高解像度イメージ(例えば、顔部イメージ、頸部イメージまたは手部イメージなど)を取り込むことができ、分析装置1は、イメージによって使用者の身体情報および化粧進度を分析することができる。他の実施例において、イメージ取込モジュール12は、外部の情報(例えば、一次元コード、二次元コードなど)を取り込むことによって、情報の内容から対応するデータを取得することができる。
また、分析装置1は、イメージ取込モジュール12によって取り込まれたイメージをリアルタイムにミラースクリーン11中に表示する。これによって、たとえミラースクリーン11が閉じられなくても、使用者はリアルタイムにミラースクリーン11中で自身の電子的鏡像5を確認することができる。
さらに、分析装置1は、まず取り込まれたイメージをリアルタイム処理し(イメージ中に後述する眉型ミラーリングパターンなどのマーク、またはその他使用者が眉補正を行うのを助けるための指示画像、メッセージを追加するなど)、それから処理後のイメージをミラースクリーン11に表示することもできる。
これによって、分析装置1は、拡張現実方式(Augmented Reality、AR)によって、使用者が化粧する際に、リアルタイムにかつ直観的にミラースクリーン11上に補助情報を提供することができ、またユーザエクスペリエンスを有効に向上することができる。
実施例において、ミラースクリーン11は、使用者がミラースクリーン11を介して分析装置1にデータの入力動作を行うことができるタッチスクリーンであってもよい。
分析装置1は、複数のボタン13を備えてもよい。本実施例において、複数のボタン13は実体ボタン(button)またはタッチキー(touch key)であってもよく、限定されない。使用者は、ボタン13をトリガすることによって、上述のグラフィカルユーザインターフェースを操作し(例えば、グラフィカルユーザインターフェースを制御してトップページへ戻る、前のページまたは次のページへ移動するなど)、または分析装置1に対応する機能(例えば、ミラースクリーン11を開く、ミラースクリーン11を閉じる、イメージ取込モジュール12を起動するなど)をすばやく実行させることができる。
分析装置1は、1つまたは複数のセンサ14(例えば、温度センサ、湿度センサなど)を有してもよく、それによって分析装置1の置かれた環境の環境データを検知し、これを基に分析装置1が使用者の身体情報を検知および分析する正確さを高める。実施例において、センサ14は、モーションセンサ(motion sensor)であってもよく、分析装置1は、モーションセンサによって使用者の移動ジェスチャ(例えば、左フリック、右フリック、上フリック、下フリック、前に押すまたは後ろに引くなど)を検知することができる。このようにして使用者は、ジェスチャによって分析装置1にデータ入力動作を行うことができ、上述のミラースクリーン11またはボタン13にタッチする必要がなく、それによって指紋が残ることを防ぐ。
次いで図4を参照されたい。本発明の第1の実施例の身体情報分析装置のフレームチャートである。図4に示すように、分析装置1は、主に処理ユニット10と、処理ユニット10に電気接続されたディスプレイモジュール111と、イメージ取込モジュール12と、入力インターフェース15と、無線伝送モジュール16とを含む。
実施例において、イメージ取込モジュール12は、外部イメージ(使用者の顔部イメージなど)および外部情報を取り込むためのスチルカメラまたはビデオカメラである。分析装置1は、外部イメージを介して使用者を認識(例えば、眉毛認識、顔部認識、頸部認識または手部認識など)し、それによって使用者の眉毛、顔部、頸部もしくは手部などの部位を分析し、または外部情報の内容によって対応する動作を実行することができる。
ディスプレイモジュール111は、上述のグラフィカルユーザインターフェースを表示するために用いられる。実施例において、ディスプレイモジュール111は、ミラースクリーン11の中に取り付けられる。ディスプレイモジュール111がイネーブルされた場合、ディスプレイモジュール111の光源は、ミラースクリーン11の一方向ガラス(図示せず)を透過し、使用者の目の中に投射し、使用者がミラースクリーン11にグラフィカルユーザインターフェースを見ることができるようにすることが可能である。
ディスプレイモジュール111がディセーブルされた場合、1方向ガラスの単面透光特性のため、使用者はミラースクリーン11上に自身の光学的鏡像5のみを見ることができる。実施例において、分析装置1は、ディスプレイモジュール111の光源強度または表示領域を調整し、それによってミラースクリーン11が使用者の光学的鏡像5を反射すると同時に、グラフィカルユーザインターフェースを表示することができるようにすることも可能である。
分析装置1は、入力インターフェース15を介して使用者の外部入力を受け取り、これによって使用者は、グラフィカルユーザインターフェースとインタラクションを行い、または必要な設定動作を行うことができる。実施例において、入力インターフェース15は、上述の使用者のジェスチャ入力を検知するためのセンサ14であってもよい。
他の実施例において、入力インターフェース15は、上述の外部イメージまたは外部情報を取り込むためのイメージ取込モジュール12であってもよい。また別の実施例において、入力インターフェース15は、使用者の入力動作を受け入れることができるタッチスクリーンまたはボタン13であってもよい。さらに別の実施例において、入力インターフェース15は、外部音声情報を受け取るためのマイクであってもよい。
無線伝送モジュール16は、インターネット4に接続するために用いられる。具体的には、使用者は、インターネット4を介して遠隔から分析装置1に接続し、それによって分析装置1が記録する各種データ(例えば、身体情報)を随時調べることができる。
処理ユニット10は、ディスプレイモジュール111と、イメージ取込モジュール12と、入力インターフェース15と、無線伝送モジュール16とを接続し、処理ユニット10は、コンピュータで実行可能なプログラムコード(図示せず)を含む。コンピュータで実行可能なプログラムコードの実行によって、処理ユニット10は、本発明の比較方法をさらに実現することができる。
図5を合わせて参照されたい。本発明の第1の実施例の処理ユニットの概略図である。具体的には、処理ユニット10は、主に上述のコンピュータで実行可能なプログラムコードによって本発明の比較方法における各機能を実行することができ、さまざまな機能に応じて、上述のコンピュータで実行可能なプログラムコードを以下のいくつかの機能モジュールに区分することができる。
1.イメージ取込モジュール12が取り込んだ顔部イメージに顔部分析処理を行うための顔部分析モジュール101。具体的には、顔部分析モジュール101は、顔部イメージ中で顔部各部位のイメージ(眉毛イメージ、目イメージ、鼻イメージ、耳イメージまたは口イメージなど)を識別することができる。
実施例において、顔部分析モジュール101は、顔部イメージに顔部分析処理を行い、それによって各部位のイメージの複数の特徴点(図9参照)を識別することができる。ここで、各特徴点は、それぞれ使用者の顔部の特定部位の異なる特徴(眉毛の眉頭、眉尻または眉山、鼻の鼻梁、鼻頭または鼻翼、眼部の目頭または目尻など)に対応する。
2.対称補助線の1側にある特定部位(両眉のうちの1つ、両目のうちの1つ、鼻の左半分もしくは右半分、両耳のうちの1つ、口の左半分もしくは右半分、またはその他の外観が対称な部位など)の特徴点につきミラーリング処理を実行し、それによって対称補助線の他側にあるミラーリング特徴点を得るためのミラーリングモジュール102。ここで、得られた各ミラーリング特徴点は、特定部位の各特徴点と互いに対応する。
3.顔部イメージの対称補助線を計算するために用いられ、上述の特定部位の投影パターンの対称補助線の他側における推奨投影位置を計算することができる計算モジュール103。
4.上述の投影パターンを描画するための描画モジュール104。
実施例において、顔部分析モジュール101は、顔部イメージの1側の眉毛イメージ(左眉イメージなど)の複数の眉毛特徴点を識別する。ミラーリングモジュール102は、複数の眉毛特徴点にミラーリング処理を実行し、それによって複数のミラーリング特徴点を得る。計算モジュール103は、対称補助線を計算し、対称補助線およびミラーリング特徴点に基づいて投影位置を計算する。
ここで、投影位置と複数の眉毛特徴点とはそれぞれ対称補助線の異なる側にある。描画モジュール104は、複数のミラーリング特徴点に基づいて投影位置に眉型ミラーリングパターンを描画する。
これによって本発明は、顔部イメージの1側の対称部位(例えば、左側眉毛)に基づいて他側の対称部位(例えば、右側眉毛)を描画し、適当な位置に投影し、使用者が化粧の拠り所とすることができるようにすることが可能である。
次いで図6を参照されたい。本発明の第1の実施例の眉型比較補助方法のフローチャートである。本発明の分析装置1は、処理ユニット10によって上述のコンピュータで実行可能なプログラムコード(上述の各機能モジュール101〜104など)を実行し、さらに本発明各実施例の比較方法の各ステップを実現する。
本実施例の比較方法には、眉型比較補助機能を実現するための以下のステップが含まれる。
ステップS10:分析装置1の処理ユニット10は、イメージ取込モジュール12が使用者の顔部を撮影し、それによって使用者の顔部イメージ(図9に示された顔部イメージ51)を取り込むよう制御する。
ステップS12:処理ユニット10は、取り込まれた顔部イメージ51に顔部分析処理を実行し、それによって顔部イメージ51中で眉毛イメージを識別する。
実施例において、処理ユニット10は、顔部イメージ51の一側(左側など)の1組の眉毛イメージ(左眉毛イメージなど)のみを識別するが、これに限定されない。他の実施例において、処理ユニット10は、それぞれ顔部イメージ51の両側にある2組の眉毛イメージ(すなわち右眉毛イメージおよび左眉毛イメージ)を識別し、そのうち1つを選択して後続処理を行うこともできる。
実施例において、処理ユニット10は、顔部分析モジュール101によって顔部イメージ51を分析し、それによって顔部の複数の部位(顔輪郭、目、眉、鼻、口、耳および顔部のその他の部位など)のイメージを識別し、2組の眉毛イメージのうち1つを選択して後続処理を行う。
実施例において、前述の顔部分析処理は、顔部ランドマーク(Face Landmark)アルゴリズムによって顔部イメージ51を分析し、それによって顔部イメージ51中の顔部の特定部位を位置決めするが、それに限定されない。さらに、前述の顔部ランドマークアルゴリズムは、Dlibライブラリ(Library)を使用して実現される。
図9を参照されたい。顔部分析概略図である。顔部分析処理を実行する場合、顔部分析モジュール101は、まず顔部イメージ51中で上述の顔部ランドマークアルゴリズムによって顔部イメージ51を分析する。前述の顔部ランドマークアルゴリズムは、本技術分野における常用技術手段であり、機械学習(Machine Learning)技術に基づいて顔部イメージ51に顔部分析を行い、それによって顔部の1つまたは複数の特定部位(眉、目、鼻または耳など)の複数の特徴点6(眉山と眉頭、目尻と目頭、鼻梁と鼻翼、耳殼と耳たぶなど。例えば、68個の特徴点6または198個の特徴点6であってもよい)を識別することができる。また、前述の顔部ランドマークアルゴリズムは、さらに特定部位の複数の特徴点6を顔部イメージ51に表記することができる。
実施例において、顔部分析モジュール101は、各特徴点6が属する部位および対応する特徴に応じて、各特徴点6をナンバリングすることができる。
これによって本発明は、複数の特徴点6の番号、形状、順序などの情報に応じて、顔部イメージ51中で各部位の位置を確定し、それによって特定部位を識別することができる。
再び図6を参照されたい。次いでステップS14を実行する。処理ユニット10は、識別された(または選択された)眉毛イメージに基づき、ミラーリングモジュール102および描画モジュール104によって眉型ミラーリングパターンを生成する。
実施例において、ミラーリングモジュール102は、まず識別された(または選択された)眉毛イメージ(例えば、左側眉毛)の複数の眉毛特徴点にミラーリング処理を実行し、それによって複数のミラーリング特徴点を得る。次いで、描画モジュール104は、複数のミラーリング特徴点に基づいて眉型ミラーリングパターンを描画する。
実施例において、処理ユニット10は、計算モジュール103によって顔部イメージ51の対称補助線を計算し、さらにミラーリングモジュール102および描画モジュール104により、計算された対称補助線から眉型ミラーリングパターンを生成することができる。
ステップS16:処理ユニット10は、眉毛イメージの位置に基づき、対称補助線から眉型ミラーリングパターンの顔部イメージ51中の投影位置を計算する。実施例において、投影位置と眉毛イメージの複数の眉毛特徴点とはそれぞれ顔部イメージ51の異なる側にある。すなわち、投影位置と眉毛イメージの複数の眉毛特徴点とはそれぞれ対称補助線の両側にある。
ステップS18:処理ユニット10は、ディスプレイモジュール111が取り込まれた顔部イメージ51を表示し、それと同時に算出された投影位置に眉型ミラーリングパターンを表示するよう制御する。ここで、投影位置は顔部イメージ51上にあるため、眉型ミラーリングパターンは、顔部イメージ51と重畳する。実施例において、眉型ミラーリングパターンは、顔部イメージ51の上層に表示されるため、眉型ミラーリングパターンは、一部の顔部イメージ51を遮蔽する。実施例においては、イメージ処理によって、使用者の元々の眉毛を除去し、眉型ミラーリングパターンを残すことをさらに含む。
図10Aから10Cまでを参照されたい。図10Aは、本発明第1の実施例の眉型比較補助の第1の概略図であり、図10Bは、本発明第1の実施例の眉型比較補助の第2の概略図であり、図10Cは、本発明第1の実施例の眉型比較補助の第3の概略図である。本例において、使用者は、右眉を基準として左眉に眉補正を行う。
まず分析装置1は、顔部イメージ52を撮影し(本例は、局部の顔部イメージ撮影を例とする。顔部イメージ52は、使用者と左右反対の電子的鏡像であり、すなわち、顔部イメージ52の左眉のイメージは、実際には使用者の右眉に対応する)、撮影された顔部イメージ52中で使用者の右眉に対応する右眉毛イメージ71および使用者の左眉に対応する左眉毛イメージ72を識別し、右眉毛イメージ71を選択して処理する(図10A参照)。
次いで、分析装置1は、眉型ミラーリングパターン71’を生成し(図10B参照)、顔部イメージ52の対称補助線81を計算し(図10C参照)、対称補助線81および右眉毛イメージ71の位置から投影位置を計算する。最後に分析装置1は、顔部イメージ52を表示し、それと同時に投影位置に眉型ミラーリングパターン71’を表示する(図10C参照)。
これによって使用者は、直接分析装置1を直接見ることによって、左眉毛イメージ72と眉型ミラーリングパターン71’との間の形状および位置の差に基づいて、左眉毛の眉補正動作を行うことができ、直感的かつ正確に眉補正を行うことができ、手入れが完成した左眉毛が右眉毛と対称になることができるようにする。
実施例において、分析装置1は、眉型比較補助機能が起動している間、絶えずステップS10〜S18を繰り返し実行し、表示画面を更新することができる。これによって分析装置1は、ミラースクリーン11によって使用者のリアルタイム鏡像を表示することができる。
また、本実施例は、絶えず眉型ミラーリングパターン71’およびその投影位置を再計算するため、本実施例の眉型ミラーリングパターン71’およびその投影位置は、使用者の移動に伴い、それに対応して変動する。
例を挙げれば、使用者が左へ移動した場合、再計算された眉型ミラーリングパターン71’の投影位置は、それに対応して左寄りになり、これによって、表示された眉型ミラーリングパターン71’が顔部イメージ52中のその他の部位と一定の相対的位置を維持することができることを可能にする。
使用者が分析装置1に接近する方向に移動した場合、再生成された眉型ミラーリングパターン71’の寸法はそれに対応して拡大され、これによって、表示された眉型ミラーリングパターン71’が顔部イメージ52のその他の部位と一定の相対的比率を維持することができることを可能にし、以下同様になる。
これによって使用者は、ミラースクリーン11上で、自分のリアルタイム顔部イメージ52と推奨される眉型ミラーリングパターン71’およびその位置とを同時に見ることができ、直観的かつ正確に眉補正を行うことができ、眉補正の技術的難易度を大幅に低下させ、眉補正の成功確率を向上させることができる。
次いで図7および図11Aから11Cまでを合わせて参照されたい。図7は、本発明の第2の実施例の眉型比較補助方法のフローチャートであり、図11Aは、本発明第2の実施例の眉型比較補助の第1の概略図であり、図11Bは、本発明第2の実施例の眉型比較補助の第2の概略図であり、図11Cは、本発明第2の実施例の眉型比較補助の第3の概略図である。本実施例の比較方法には、眉型比較補助機能を実現するための以下のステップが含まれる。
ステップS200:処理ユニット10は、イメージ取込モジュール12が使用者を撮影し、それによって使用者の顔部イメージを取得するよう制御する。
ステップS202:処理ユニット10は、顔部イメージの両側のうち1つを基準側として選択する。具体的には、使用者は、まず右眉に眉補正を行い、手入れが済んでから分析装置1を使用し、手入れ後の右眉を基準側として選択し、それによって分析装置1によって、引き続き左目を手入れする。その反対も同様である。
実施例において、使用者は、分析装置1の入力インターフェース15を経由して基準側選択操作を入力することができる。ここで、前述の基準側選択操作は、顔部イメージの両側のうちの1つを選択するものである。あるいは、使用者は、電子装置2を操作して、基準側選択指令を分析装置1の無線伝送モジュール16に送信することができる。
ここで、前屈の基準側選択指令は、顔部イメージの両側のうちの1つを選択するものである。次いで、処理ユニット10は、基準側選択指令または基準側選択操作に基づいて、顔部イメージの両側のうち1つを上述の基準側として選択することができる。
ステップS204:処理ユニット10は、顔部分析モジュール101によって、顔部イメージに顔部分析処理を実行し、それによって顔部の1つまたは複数の特定部位の複数の特徴点を識別する。
実施例において、顔部分析モジュール101は、右眉毛イメージ73(第1の眉毛イメージ)の複数の眉毛特徴点61(第1の眉毛特徴点)および左眉毛イメージ74(第2の眉毛イメージ)の複数の眉毛特徴点(図示せず、以下「第2の眉毛特徴点」という)を識別し、基準側の眉毛イメージを選択し(右眉毛イメージ73を選択した場合を例とする)、複数の第1の眉毛特徴点に基づいて眉毛データセット(第1の眉毛データセット)を構築し、複数の第2の眉毛特徴点に基づいて眉毛データセット(第2の眉毛データセット)を構築する。
ここで、複数の第1の眉毛特徴点は、それぞれ右眉毛上の異なる特徴に対応し、複数の第2の眉毛特徴点は、それぞれ左眉毛上の異なる特徴に対応する。さらにここで、複数の第1の眉毛特徴点は、少なくともそれぞれ右眉毛の眉頭、眉山および眉尻に対応する3つの特徴点を含み、複数の第2の眉毛特徴点は、少なくともそれぞれ左眉毛の眉頭、眉山および眉尻に対応する3つの特徴点を含む。
実施例において、顔部分析モジュール101は、鼻イメージの複数の鼻特徴点(図11Aは、2つの鼻特徴点62、63の設定を例とした。ここで、鼻特徴点62は鼻の鼻梁に対応し、鼻特徴点63は鼻の鼻柱に対応する)を識別し、前述の複数の鼻特徴点に基づいて鼻データセットを構築することもできる。前述の複数の鼻特徴点は、対称補助線82を計算するために用いることができる。
ステップS206:処理ユニット10は、計算モジュール103により、鼻データセットに基づいて対称補助線82を計算する。
実施例において、計算モジュール103は、鼻データセットの複数の鼻特徴点62、63を通過する直線を対称補助線82とする。
実施例において、計算モジュール103は、鼻データセットの複数の鼻特徴点62、63に線形回帰演算を行い、算出された回帰線を対称補助線82とする。
実施例において、計算モジュール103は、顔部イメージの中線をそのまま対称補助線82とする。
ステップS208:処理ユニット10は、ミラーリングモジュール102により、対称補助線82に基づき第1の眉毛データセットにミラーリング処理を実行し、それによって複数のミラーリング特徴点61’を含む配列関係のミラーリングデータセットを得る。
実施例において、処理ユニット10は、ミラーリング処理を実行して、複数のミラーリング特徴点61’の配列関係を生成するのみであるが、各ミラーリング特徴点61’の位置を設定することはない。
ステップS210:処理ユニット10は、描画モジュール104によって第1の眉毛データセットの複数のミラーリング特徴点61’を接続し、眉型ミラーリングパターン73’を描画する。
ステップS212:処理ユニット10は、計算モジュール103によって第1の眉毛データセットのすべてまたは一部の眉毛特徴点61と対称補助線82との間の複数の垂直距離(第1の垂直距離)を計算する。
図11Bを参照されたい。例を挙げれば、計算モジュール103は、第1の眉毛特徴点61と対称補助線82との間の第1の垂直距離をD1と、第2の眉毛特徴点61と対称補助線82との間の第1の垂直距離をD2と、第3の眉毛特徴点61と対称補助線82との間の第1の垂直距離をD3と算出することができ、以下同様になる。
ステップS214:処理ユニット10は、ミラーリングモジュール102により、対称補助線82および算出された複数の垂直距離に基づき、対称補助線82の他側にある複数のミラーリング特徴点61’の位置を設定し、設定された複数のミラーリング特徴点61’の位置に基づき、眉型ミラーリングパターン73’の投影位置を計算する。
実施例において、位置を設定した後の複数のミラーリング特徴点61’と対称補助線との間の複数の垂直距離(第2の垂直距離)をそれぞれ複数の眉毛特徴点61と対称補助線82との間の複数の第1の垂直距離と同一に設定する。
図11Cを参照されたい。例を挙げれば、第1のミラーリング特徴点61’と対称補助線82との間の第2の垂直距離はD1であり、第2のミラーリング特徴点61’と対称補助線82との間の第2の垂直距離はD2であり、第3のミラーリング特徴点61’と対称補助線82との間の第2の垂直距離はD3であり、以下同様になる。各第2の垂直距離は、それぞれ対応する第1の垂直距離と同一である。
実施例において、各眉毛特徴点61と対応するミラーリング特徴点61’との間の接続線は、対称補助線82に垂直である。言い換えれば、各眉毛特徴点61と対応するミラーリング特徴点61’とは、顔部イメージ中で左右対称である。
前述の投影位置は、顔部イメージ中の特定領域または単一点の位置であってもよいことは、述べておくに値する。
実施例において、ミラーリングモジュール102は、複数のミラーリング特徴点61’が囲んでなる領域を投影位置とするが、これに限定されない。
他の実施例において、ミラーリングモジュール102は、複数のミラーリング特徴点61’の中心を計算し、投影位置とすることができる。あるいは、ミラーリングモジュール102は、複数のミラーリング特徴点61’のうちの1つを選択し(眉頭に対応するミラーリング特徴点61’を選択するなど)、選択されたミラーリング特徴点61’の位置を投影位置とすることができる。
実施例において、ステップS208〜S214は統合して実行してもよい。具体的には、処理ユニット10は、対称補助線82および算出された複数の垂直距離に基づいて、複数のミラーリング特徴点61’を生成し、対称補助線82の他側にある複数のミラーリング特徴点61’の位置をそのまま設定することができる(複数のミラーリング特徴点61’の位置によって、複数のミラーリング特徴点61’の間の配列関係を推測することができる)。次いで、処理ユニット10は、複数のミラーリング特徴点61’の位置に基づいて投影位置を計算し、眉型ミラーリングパターンを描画する。
ステップS216:処理ユニット10は、ディスプレイモジュール111に顔部イメージ53を表示し、投影位置に眉型ミラーリングパターン73’を表示する。
実施例において、ミラーリングモジュール102が複数のミラーリング特徴点61’の中心を投影位置とする場合、処理ユニット10は、眉型ミラーリングパターン73’の中心を投影位置にアライメントして表示する。
実施例において、ミラーリングモジュール102が複数のミラーリング特徴点61’が囲んでなる領域を投影位置とする場合、処理ユニット10は、眉型ミラーリングパターン73’を、囲んでなる領域中に表示する。
実施例において、ミラーリングモジュール102が複数のミラーリング特徴点61’のうち1つを投影位置として選択した場合、処理ユニット10は、眉型ミラーリングパターン73’の特定部位を投影位置にアライメントして表示する。
ステップS218:処理ユニット10は、使用者が眉型比較補助機能を閉じたかどうかを判断する。
具体的には使用者は、眉補正を完了した後、入力インターフェース15または電子装置2によって眉型比較補助機能を閉じることができる。
処理ユニット10が、眉型比較補助機能が閉じられたと判断した場合、眉型比較補助方法を終了する。そうでない場合、処理ユニット10は、再度ステップS200〜S216を実行する。
本発明は、垂直距離に基づいて投影位置を計算することによって、演算量を有効に減少させ、処理遅延を軽減し、表示のスムーズさを向上させ、使用者がミラースクリーン11にリアルタイムで自身の鏡像および眉型ミラーリングパターンを見ることができるようにし、さらにユーザエクスペリエンスを向上させることができる。
前述の実施例において、眉型ミラーリングパターンの投影位置と基準側の眉毛イメージの位置とは完全に左右対称である。また、眉型ミラーリングパターンの範囲および形状も基準側の眉毛イメージと完全に左右対称である。
しかしながら一般的には、人の顔の各部位は完全に左右対称であるはずはない(左目の高さと右目の高さは異なる可能性があり、鼻梁と顔部中線は完全に重ならない可能性があり、または左眉毛の太さまたは角度は右眉毛の尾形状または角度と異なる可能性があるなど)。使用者が完全に対称な眉型ミラーリングパターンおよび投影位置に基づいて眉補正を行った場合、眉補正後の左眉毛および右眉毛が過度に一致することになり、あまり自然に見えない可能性がある。
上述の問題について、本発明は、眉補正前の眉毛の形状、角度もしくは位置に基づいて眉型ミラーリングパターンの形状もしくは角度を調整し、または投影位置を調整して、眉補正後の眉毛をより自然にすることができる眉毛修飾機能をさらに提供する。
次いで図6、図8および図12Aから図14Bまでを合わせて参照されたい。図8は、本発明の第3の実施例の眉型比較補助方法の部分的フローチャートであり、図12Aは、本発明の第3の実施例の眉型識別の第1の概略図であり、図12Bは、本発明の第3の実施例の眉型識別の第2の概略図であり、図12Cは、本発明の第3の実施例の眉型識別の第3の概略図であり、図12Dは、本発明の第3の実施例の眉型識別の第4の概略図であり、図13Aは、本発明の第4の実施例の調整前の投影位置の概略図であり、図13Bは、本発明の第4の実施例の調整後の投影位置の概略図であり、図14Aは、本発明の第5の実施例の調整前の眉型の概略図であり、図14Bは、本発明の第5の実施例の調整後の眉型の概略図である。図6に示された実施例と比べて、本実施例のステップS14はステップS30〜S38をさらに含む。
本実施例は、第2の眉毛イメージ76(左眉イメージなど)に対応する第2の眉毛データセットを基準として、顔部イメージの他側(右側など)に推奨される眉型ミラーリングパターンを表示し、使用者がそれに基づき右眉を修飾することができるようにする。
本実施例のステップS14において、処理ユニット10は、顔部分析モジュール101によって顔部イメージに顔部分析処理を実行し、それによってそれぞれ対称補助線両側にある第1の眉毛イメージ75および第2の眉毛イメージ76を識別し、第1の眉毛イメージ75上に複数の第1の眉毛特徴点を設定し、それによって第1の眉毛データセットを構築し(図12A参照)、第2の眉毛イメージ76上に複数の第2の眉毛特徴点を設定し、それによって第2の眉毛データセットを構築する(図12B参照)。
また、本実施例のステップS16において、処理ユニット10は、計算モジュール103によって、調整後の複数のミラーリング特徴点の位置(後ほど詳述する)を投影位置とする。
実施例においては、ここで3つの第1の眉毛特徴点64〜66および3つの第2の眉毛特徴点67〜69は、それぞれ使用者の眉毛の眉頭、眉山および眉尻に対応する。具体的には、第1の眉毛特徴点64および第2の眉毛特徴点67は眉頭に対応し、第1の眉毛特徴点65および第2の眉毛特徴点68は眉山に対応し、第1の眉毛特徴点66および第2の眉毛特徴点69は眉尻に対応する。
図6に示された実施例と比べて、本実施例のステップS14は以下のステップを含む。
ステップS30:処理ユニット10は、計算モジュール103によって対称補助線を計算する。
ステップS32:処理ユニット10は、対称補助線に基づき、第2の眉毛データセットの複数の第2の眉毛特徴点67〜69にミラーリング処理を実行し、それによってミラーリング後の複数のミラーリング特徴点67’〜69’を得る(図12D参照)。また、処理ユニット10は、第1の眉毛データセットの複数の第1の眉毛特徴点64〜66にミラーリング処理を実行する必要はない(図12C参照)。
ステップS34:処理ユニット10は、計算モジュール103により、複数のミラーリング特徴点67’〜69’および基準としての第2の眉毛データセットに基づき、調整パラメータ群を計算する。
実施例において、前述の調整パラメータ群には、平行移動(translation)パラメータ、回転(rotation)パラメータおよびスケーリング(scaling)パラメータを含む。
実施例において、計算モジュール103は、Rigid Registrationシステムを使用してLeast−square estimationアルゴリズムを組み合わせ、前述の調整パラメータ群を計算する。Rigid RegistrationシステムおよびLeast−square estimationアルゴリズムは、本技術分野における常用技術手段であり、2つのデータ(複数の第1の眉毛特徴点64〜66と複数のミラーリング特徴点67’〜69’など)を分析し、1群の調整パラメータ群を計算することができる。
計算された調整パラメータ群を使用して、そのうち1つのデータ(例えば、複数のミラーリング特徴点67’〜69’)に変換処理を行った後、変換後のデータと他のデータとに高い相似度を持たせることができる。
ステップS36:処理ユニット10は、計算モジュール103により、対称補助線および計算された調整パラメータ群に基づき、複数のミラーリング特徴点67’〜69’(図13A参照)の位置を調整し、それによって位置調整後の複数のミラーリング特徴点67”〜69”(図13B参照)とカットしていない眉毛に対応する複数の第1の眉毛特徴点64〜66との間に高い相似度を持たせる。
実施例において、計算モジュール103は、平行移動パラメータに基づいて複数のミラーリング特徴点67’〜69’の位置を変換し、それによって複数のミラーリング特徴点67’〜69’が囲んでなるパターンを平行移動し、回転パラメータに基づいて複数のミラーリング特徴点67’〜69’の位置を変換し、それによって複数のミラーリング特徴点67’〜69’が囲んでなるパターンを回転し、またはスケーリングパラメータに基づいて複数のミラーリング特徴点67’〜69’の位置を変換し、それによって複数のミラーリング特徴点67’〜69’が囲んでなるパターンをスケーリングする。
図13A、図13B、図14Aおよび図14Bを参照されたい。図に示されたように、調整パラメータ群に基づいて位置を変換する前に、複数のミラーリング特徴点67’〜69’が囲んでなるパターン90と複数の第1の眉毛特徴点64〜66(手入れしていない眉毛に対応)が囲んでなるパターン91とにはきわめて大きな差異が存在し、これによって使用者は大幅に眉補正を行わなければならなくなる。また、眉補正後の両眉は、過度の一致によってあまり自然に見えない可能性がある。
調整パラメータ群に基づいて位置を変換した後、変換後の複数のミラーリング特徴点67”〜69”が囲んでなるパターン92とパターン91とは高い相似度を有し、これによって使用者は大幅な眉補正を行う必要はなくなる。また、眉補正後の両眉にはわずかな差異があるため、より自然に見える。
ステップS38:処理ユニット10は、描画モジュール104により、調整後の複数のミラーリング特徴点67”〜69”の位置に基づき、眉型ミラーリングパターンを描画する。
本発明は、眉毛修飾機能を有効に実現し、眉補正後の眉毛をより自然にすることができる。
もちろん本発明は、その他さまざまな実施例を有することもでき、本発明の精神およびその実質を逸脱せずに、当業者なら本発明に基づいて各種相応の変更および変形を行うことができるはずであるが、これらの相応の変更および変形は、すべて本発明に添付された特許請求の範囲の保護範囲に属するべきである。
ここで、図面の表記は以下のとおりである。
1 身体情報分析装置
10 処理ユニット
101 顔部分析モジュール
102 ミラーリングモジュール
103 計算モジュール
104 描画モジュール
11 ミラースクリーン
111 ディスプレイモジュール
12 イメージ取込モジュール
13 ボタン
14 センサ
15 入力インターフェース
16 無線伝送モジュール
2 電子装置
21 ソフトウェア
3 無線ルータ
4 インターネット
5 鏡像
51〜53 顔部イメージ
6 特徴点
61,64〜69 眉毛特徴点
61’、67’〜69’ ミラーリング特徴点
62〜63 鼻特徴点
67”〜69” 調整後のミラーリング特徴点
71〜76 眉毛イメージ
71’、73’ 眉型ミラーリングパターン
81〜82 対称補助線
90〜92 パターン
D1〜D3 垂直距離
S10〜S18 第1の眉型比較補助ステップ
S200〜S218 第2の眉型比較補助ステップ
S30〜S38 眉型ミラーリングパターン生成ステップ

Claims (13)

  1. 身体情報分析装置に応用される眉型比較補助方法であって、以下のステップ、すなわち、
    a)前記身体情報分析装置のイメージ取込モジュールを制御して顔部イメージを取り込むステップと、
    b)ユーザにより行われる基準側選択指令または基準側選択操作に基づき、前記顔部イメージにおける左右の眉毛のうち1つを選択するステップと、
    c)前記身体情報分析装置の処理ユニットを制御して前記顔部イメージ中で選択された前記側の眉毛イメージを識別するステップと、
    d)前記処理ユニットが、選択された前記側の前記眉毛イメージに対してミラーリング処理を実行し眉型ミラーリングパターンを生成するステップと、
    e)前記処理ユニットが、前記眉毛イメージの位置に基づき、前記顔部イメージの対称補助線から前記眉型ミラーリングパターンの投影位置を計算し、ここで、前記投影位置は前記顔部イメージの前記対称補助線に対して他側にあるステップと、
    f)前記身体情報分析装置のディスプレイモジュールを制御して前記顔部イメージを表示すると同時に、前記投影位置に前記眉型ミラーリングパターンを投影表示するステップとを含む眉型比較補助方法。
  2. 前記ステップ)は、ステップc1)前記顔部イメージに顔部分析処理を実行し、それによって前記眉毛イメージの複数の眉毛特徴点を識別し、ここで、前記複数の眉毛特徴点は、それぞれ眉毛の異なる特徴に対応するステップを含む、請求項1に記載の眉型比較補助方法。
  3. 前記ステップ)は、以下のステップ、すなわち、
    d1)前記対称補助線に基づき、前記複数の眉毛特徴点にミラーリング処理を実行し、それによって複数のミラーリング特徴点を得、ここで、前記複数のミラーリング特徴点と前記複数の眉毛特徴点とは、それぞれ前記対称補助線の異なる側にあるステップと、
    d2)前記複数のミラーリング特徴点を接続して、前記眉型ミラーリングパターンを描画するステップと、を含む、請求項2に記載の眉型比較補助方法。
  4. 前記ステップc1)は、鼻イメージの複数の鼻特徴点をさらに識別し、ここで、前記複数の鼻特徴点は、それぞれ鼻の異なる特徴に対応し、前記d1)の前に、ステップd0)前記複数の鼻特徴点に基づき、前記対称補助線を計算するステップをさらに含み、前記ステップ)は、前記複数の眉毛特徴点の位置に基づき、前記対称補助線から前記投影位置を計算するものである、請求項3に記載の眉型比較補助方法。
  5. 前記ステップ)は、以下のステップ、すなわち、
    e1)前記複数の眉毛特徴点と前記対称補助線との間の複数の第1の垂直距離を計算するステップと、
    e2)前記複数の第1の垂直距離に基づき、前記複数のミラーリング特徴点の位置を前記対称補助線の他側に設定し、設定後の前記複数のミラーリング特徴点の位置に基づき、前記投影位置を計算し、ここで、前記複数のミラーリング特徴点と前記対称補助線との間の複数の第2の垂直距離は、それぞれ前記複数の第1の垂直距離と同一であり、各前記眉毛特徴点と対応する各前記ミラーリング特徴点との間の接続線は、前記対称補助線に垂直である、請求項4に記載の眉型比較補助方法。
  6. 前記ステップ)は、ステップc2)前記顔部イメージに顔部分析処理を実行し、それによってそれぞれ前記顔部イメージの両側にある第1の眉毛イメージの複数の第1の眉毛特徴点および第2の眉毛イメージの複数の第2の眉毛特徴点を識別し、前記複数の第1の眉毛特徴点に基づき、第1の眉毛データセットを構築し、前記複数の第2の眉毛特徴点に基づき、第2の眉毛データセットを構築するステップを含み、ここで、前記複数の第1の眉毛特徴点は、少なくともそれぞれ1側の眉毛の眉頭、眉山および眉尻に対応する3つの前記第1の眉毛特徴点を含み、前記複数の第2の眉毛特徴点は、少なくともそれぞれ他側の眉毛の眉頭、眉山および眉尻に対応する3つの前記第2の眉毛特徴点を含む、請求項1に記載の眉型比較補助方法。
  7. 前記ステップ)は、以下のステップ、すなわち、
    d3)前記対称補助線に基づき、前記第1の眉毛データセットにミラーリング処理を実行し、それによって複数のミラーリング特徴点を得るステップと、
    d4)前記複数のミラーリング特徴点および前記第2の眉毛データセットに基づき、調整パラメータ群を計算し、ここで、前記調整パラメータ群は、平行移動パラメータ、回転パラメータおよびスケーリングパラメータを含むステップと、
    d5)前記対称補助線および前記調整パラメータ群に基づき、前記複数のミラーリング特徴点の位置を調整するステップと、
    d6)調整後の前記複数のミラーリング特徴点の位置に基づき、前記眉型ミラーリングパターンを描画するステップと、を含む、請求項に記載の眉型比較補助方法。
  8. 前記ステップ)は、調整後の前記複数のミラーリング特徴点の位置に基づき、前記投影位置を計算する、請求項に記載の眉型比較補助方法。
  9. 顔部イメージを取り込むためのイメージ取込モジュールと、
    前記顔部イメージを表示すると同時に、投影位置に眉型ミラーリングパターンを投影表示するためのディスプレイモジュールと、
    前記顔部イメージの両側のうち1つをユーザによって選択される基準側選択操作を受け入れるための入力インターフェースと、
    電子装置を接続し、前記電子装置から前記顔部イメージにおける左右の眉毛のうち1つを前記ユーザによって選択される基準側選択指令を受け入れるための無線伝送モジュールと、
    前記イメージ取込モジュール、前記ディスプレイモジュール、前記入力インターフェース及び無線伝送モジュールを電気接続し、前記顔部イメージの選択された側の眉毛イメージを識別し、選択された前記側の前記眉毛イメージに対してミラーリング処理を実行し、眉型ミラーリングパターンを生成し、前記眉毛イメージの位置に基づき、前記顔部イメージの対称補助線から前記眉型ミラーリングパターンの前記投影位置を計算し、ここで、前記投影位置は、前記顔部イメージの前記対称補助線に対して他側にある処理モジュールと、を含む身体情報分析装置。
  10. 前記処理ユニットは、顔部分析モジュールを含み、前記顔部分析モジュールは、前記顔部イメージに顔部分析処理を実行し、それによって前記眉毛イメージの複数の眉毛特徴点および鼻イメージの複数の鼻特徴点を識別し、ここで、前記複数の眉毛特徴点は、それぞれ眉毛の異なる特徴に対応し、前記複数の鼻特徴点は、それぞれ鼻の異なる特徴に対応する、請求項に記載の身体情報分析装置。
  11. 前記処理ユニットは、
    前記対称補助線に対して、前記複数の眉毛特徴点に前記ミラーリング処理を実行し、それによって複数のミラーリング特徴点を得るために用いられ、ここで、前記複数のミラーリング特徴点と前記複数の眉毛特徴点とは、それぞれ前記対称補助線の異なる側にあるミラーリングモジュールと、
    前記複数の鼻特徴点に基づき前記対称補助線を計算し、前記対称補助線および前記複数のミラーリング特徴点の位置に基づき前記投影位置を計算するための計算モジュールと、
    前記複数のミラーリング特徴点を接続して、前記眉型ミラーリングパターンを描画するための描画モジュールと、をさらに含む、請求項に記載の身体情報分析装置。
  12. 前記計算モジュールは、前記複数の眉毛特徴点と前記対称補助線との間の複数の第1の垂直距離を計算し、前記複数の第1の垂直距離に基づき、前記対称補助線の他側にある前記複数のミラーリング特徴点を計算し、前記複数のミラーリング特徴点の位置に基づき、前記投影位置を計算するものであり、ここで、前記複数のミラーリング特徴点と前記対称補助線との間の複数の第2の垂直距離は、それぞれ前記複数の第1の垂直距離と同一であり、各前記眉毛特徴点と対応する各前記ミラーリング特徴点との間の接続線は、前記対称補助線に垂直である、請求項11に記載の身体情報分析装置。
  13. 前記処理ユニットは、
    前記顔部イメージに顔部分析処理を実行し、それによってそれぞれ前記対称補助線の両側にある第1の眉毛イメージの複数の第1の眉毛特徴点および第2の眉毛イメージの複数の第2の眉毛特徴点を識別し、前記複数の第1の眉毛特徴点に基づき、第1の眉毛データセットを構築し、前記複数の第2の眉毛特徴点に基づき、第2の眉毛データセットを構築し、ここで、前記複数の第1の眉毛特徴点は、少なくともそれぞれ1側の眉毛の眉頭、眉山および眉尻に対応する3つの前記第1の眉毛特徴点を含み、前記複数の第2の眉毛特徴点は、少なくともそれぞれ他側の眉毛の眉頭、眉山および眉尻に対応する3つの前記第2の眉毛特徴点を含む顔部分析モジュールと、
    前記対称補助線に対して、前記第1の眉毛データセットに前記ミラーリング処理を実行し、それによって複数のミラーリング特徴点を得るミラーリングモジュールと、
    前記複数のミラーリング特徴点および前記第2の眉毛データセットに基づき、調整パラメータ群を計算し、前記対称補助線および前記調整パラメータ群に基づき、前記複数のミラーリング特徴点の位置を調整し、調整後の前記複数のミラーリング特徴点の位置に基づき、前記投影位置を計算し、ここで、前記調整パラメータ群は、平行移動パラメータ、回転パラメータおよびスケーリングパラメータを含む計算モジュールと、
    調整後の前記複数のミラーリング特徴点の位置に基づき、前記眉型ミラーリングパターンを描画するための描画モジュールと、を含む、請求項に記載の身体情報分析装置。
JP2018006441A 2017-09-28 2018-01-18 身体情報分析装置およびその眉型比較補助方法 Expired - Fee Related JP6761824B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710896760.9 2017-09-28
CN201710896760.9A CN109583261A (zh) 2017-09-28 2017-09-28 身体信息分析装置及其辅助比对眉型方法

Publications (2)

Publication Number Publication Date
JP2019063479A JP2019063479A (ja) 2019-04-25
JP6761824B2 true JP6761824B2 (ja) 2020-09-30

Family

ID=61691252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018006441A Expired - Fee Related JP6761824B2 (ja) 2017-09-28 2018-01-18 身体情報分析装置およびその眉型比較補助方法

Country Status (5)

Country Link
US (1) US10521648B2 (ja)
EP (1) EP3462376B1 (ja)
JP (1) JP6761824B2 (ja)
KR (1) KR102045218B1 (ja)
CN (1) CN109583261A (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109288233A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示修容区域的身体信息分析装置
WO2019142420A1 (ja) * 2018-01-22 2019-07-25 ソニー株式会社 情報処理装置および情報処理方法
CN109165571B (zh) * 2018-08-03 2020-04-24 北京字节跳动网络技术有限公司 用于插入图像的方法和装置
JP7175476B2 (ja) * 2019-10-30 2022-11-21 有限会社 ティ・アール・コーポレーション デザイン方法、眉デザインサーバ及びデザイン支援プログラム
CN110866979A (zh) * 2019-11-14 2020-03-06 联想(北京)有限公司 数据处理方法、装置、计算设备以及介质
US20210187765A1 (en) * 2019-12-18 2021-06-24 L'oreal Browblade adapter mechanism
CN111553220A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种智能设备及数据处理方法
CN111553221B (zh) * 2020-04-21 2023-10-31 海信集团有限公司 一种数据处理方法及智能设备
CN114554097A (zh) * 2022-02-28 2022-05-27 维沃移动通信有限公司 显示方法、显示装置、电子设备和可读存储介质
US11924588B2 (en) * 2022-05-19 2024-03-05 Fleek Inc. System and method for guiding eyebrow shaping with projected light

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2341231A (en) 1998-09-05 2000-03-08 Sharp Kk Face detection in an image
AUPS140502A0 (en) * 2002-03-27 2002-05-09 Seeing Machines Pty Ltd Method for automatic detection of facial features
JP2004357801A (ja) * 2003-06-02 2004-12-24 Fuji Photo Film Co Ltd 化粧用表示装置
JP4180027B2 (ja) * 2004-08-27 2008-11-12 株式会社豊田中央研究所 顔部品位置検出装置及び方法並びにプログラム
US20070047761A1 (en) * 2005-06-10 2007-03-01 Wasilunas Elizabeth A Methods Of Analyzing Human Facial Symmetry And Balance To Provide Beauty Advice
KR101363691B1 (ko) * 2006-01-17 2014-02-14 가부시키가이샤 시세이도 메이크업 시뮬레이션 시스템, 메이크업 시뮬레이션 장치,메이크업 시뮬레이션 방법 및 메이크업 시뮬레이션프로그램
JP5191665B2 (ja) * 2006-01-17 2013-05-08 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP4793823B2 (ja) * 2006-04-26 2011-10-12 株式会社メガチップス メークアップアシスト装置および眉毛描画アシスト装置
EP1865443A3 (en) 2006-06-09 2010-03-17 Samsung Electronics Co.,Ltd. Facial feature detection method and device
US20090151741A1 (en) * 2007-12-14 2009-06-18 Diem Ngo A cosmetic template and method for creating a cosmetic template
JP2009213751A (ja) * 2008-03-12 2009-09-24 Sony Ericsson Mobilecommunications Japan Inc 化粧評価プログラム、化粧評価方法および化粧評価装置
JP4760999B1 (ja) * 2010-10-29 2011-08-31 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP5656603B2 (ja) 2010-12-14 2015-01-21 キヤノン株式会社 情報処理装置、情報処理方法、およびそのプログラム
JP2013158481A (ja) 2012-02-06 2013-08-19 Seiko Epson Corp 電子鏡およびそのプログラム
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及系统
FR2995411B1 (fr) 2012-09-07 2014-09-19 Tipheret Procede et dispositif pour preparer une monture de lunettes
GB2525516B (en) * 2012-11-14 2020-04-22 Weiss Golan Biometric methods and systems for enrollment and authentication
WO2014161189A1 (en) 2013-04-03 2014-10-09 Nokia Corporation An apparatus and associated methods
JP5863930B2 (ja) * 2014-11-14 2016-02-17 レノボ・イノベーションズ・リミテッド(香港) 化粧支援装置、化粧支援方法、及びプログラム
US10292483B2 (en) * 2017-03-21 2019-05-21 Nisan Shlomov Eyebrow shaping method

Also Published As

Publication number Publication date
JP2019063479A (ja) 2019-04-25
KR102045218B1 (ko) 2019-11-15
KR20190037050A (ko) 2019-04-05
US20190095696A1 (en) 2019-03-28
CN109583261A (zh) 2019-04-05
EP3462376A1 (en) 2019-04-03
US10521648B2 (en) 2019-12-31
EP3462376B1 (en) 2020-06-17

Similar Documents

Publication Publication Date Title
JP6761824B2 (ja) 身体情報分析装置およびその眉型比較補助方法
JP6803348B2 (ja) 拡張現実を結合した身体情報分析装置およびその眉型プレビュー方法
JP6568606B2 (ja) 身体情報分析装置およびそのアイシャドウの分析方法
JP6547013B2 (ja) 生体情報解析装置及びその頬紅解析方法
JP6019947B2 (ja) ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
KR102065480B1 (ko) 신체 정보 분석 장치 및 입술 화장 분석 방법
KR102045228B1 (ko) 신체 정보 분석 장치 및 얼굴형 모의 방법
WO2012119371A1 (zh) 一种用户交互系统和方法
KR102045217B1 (ko) 인체 정보 분석장치 및 메이크업 파운데이션 분석 방법
KR102101337B1 (ko) 볼터치 구역의 표시가 가능한 신체 정보 분석 장치
US10824850B2 (en) Body information analysis apparatus capable of indicating shading-areas
RU2703327C1 (ru) Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя
US10496873B2 (en) Body information analysis apparatus and method of detecting face shape by using same
TWI554910B (zh) Medical image imaging interactive control method and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200907

R150 Certificate of patent or registration of utility model

Ref document number: 6761824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees