WO2020084842A1 - プログラム、情報処理装置、定量化方法及び情報処理システム - Google Patents

プログラム、情報処理装置、定量化方法及び情報処理システム Download PDF

Info

Publication number
WO2020084842A1
WO2020084842A1 PCT/JP2019/027052 JP2019027052W WO2020084842A1 WO 2020084842 A1 WO2020084842 A1 WO 2020084842A1 JP 2019027052 W JP2019027052 W JP 2019027052W WO 2020084842 A1 WO2020084842 A1 WO 2020084842A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
hand
moving image
face
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/027052
Other languages
English (en)
French (fr)
Inventor
瞳 遠藤
成人 豊田
雄一郎 森
義満 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Priority to JP2020552524A priority Critical patent/JP7408562B2/ja
Priority to CN201980069716.8A priority patent/CN112912925B/zh
Publication of WO2020084842A1 publication Critical patent/WO2020084842A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to a program, an information processing device, a quantification method, and an information processing system.
  • the user can see the cosmetics and makeup action used by the person in the make-up video.
  • the makeup action can be quantified from the make-up movie, the makeup action of the imitated user can be easily compared with the makeup action of the person shown in the make-up movie, which is convenient.
  • An embodiment of the present invention aims to provide a program capable of quantifying a makeup action of a person shown in moving image data.
  • one embodiment of the present invention is a program for causing a computer to analyze video data and output a quantified value of a makeup action of a person shown in the video data.
  • the computer includes: first detection means for detecting a face area in which the face of the person appears in the moving image data; second detection means for detecting a hand area in which the hand of the person appears in the moving image data; A program for operating as output means for outputting, based on the face area and the hand area, the quantified value of the makeup action of the person shown in the moving image data from the movements of the face area and the hand area.
  • FIG. 1A and 1B are configuration diagrams of an example of an information processing system according to the present embodiment.
  • the information processing system in FIG. 1A includes a single information processing device 1.
  • the information processing apparatus 1 is a PC operated by a user, a smartphone, a tablet, a dedicated device for quantifying makeup operations for home or business use, and the like.
  • one or more client terminals 2 and a server device 3 are connected via a network 4 such as the Internet.
  • the client terminal 2 is a terminal device such as a PC operated by a user, a smartphone, a tablet, or a dedicated device for quantifying makeup operation for home or business use.
  • the server device 3 performs processing related to quantification of makeup operation performed by the client terminal 2.
  • the present invention can be applied not only to the client / server type information processing system as shown in FIG. 1B but also to the single information processing apparatus 1 shown in FIG. 1A.
  • the information processing system of FIGS. 1A and 1B is an example, and it goes without saying that there are various system configuration examples according to the use and purpose.
  • the server device 3 in FIG. 1B may be distributed and configured in a plurality of computers.
  • FIG. 2 is a hardware configuration diagram of an example of the computer according to the present embodiment.
  • the computer of FIG. 2 includes an input device 501, an output device 502, an external I / F 503, a RAM 504, a ROM 505, a CPU 506, a communication I / F 507, an HDD 508, and the like, which are interconnected by a bus B.
  • the input device 501 is a keyboard or mouse used for input.
  • the output device 502 is composed of a display such as a liquid crystal or an organic EL that displays a screen, a speaker that outputs sound data such as voice or music, and the like.
  • the communication I / F 507 is an interface that connects a computer to the network 4.
  • the HDD 508 is an example of a non-volatile storage device that stores programs and data.
  • External I / F 503 is an interface with an external device.
  • the computer can read and / or write the recording medium 503a via the external I / F 503.
  • the recording medium 503a includes a DVD, an SD memory card, a USB memory, and the like.
  • the CPU 506 is an arithmetic device that realizes control and functions of the entire computer by reading programs and data from a storage device such as the ROM 505 and the HDD 508 onto the RAM 504 and executing processing.
  • the information processing device 1, the client terminal 2, and the server device 3 according to the present embodiment can realize various functions by executing a program in the computer having the above hardware configuration.
  • the hardware configuration in FIG. 2 is an example, and it goes without saying that there are various configuration examples depending on the use and purpose.
  • the computer in FIG. 2 may have a camera function capable of capturing a moving image in the input device 501.
  • a method of quantifying makeup operation for example, there is a method using a sensor.
  • a person who makes the makeup wears the sensor and has the makeup movement performed.
  • the makeup action of a person can be quantified by the data output from the sensor, but the makeup action of a person shown in a captured make-up video cannot be quantified.
  • FIGS. 3A and 3B are scatter plots of an example of measurement results.
  • FIG. 3A is a scatter diagram showing an example of the fineness of the hand action and the interlocking action of the hand and elbow for each makeup action.
  • FIG. 3B is a scatter diagram showing an example of the fineness of the hand action and the movement of the face for each makeup action.
  • the main components of the motion of the subject were the fineness of the hand motion, the hand-elbow interlocking property, and the facial motion. Therefore, in the present embodiment, the target to be acquired from the make-up moving image is the coordinate / speed of the hand and the coordinate / speed of the face.
  • Image recognition using a convolutional neural network (hereinafter, referred to as CNN) is known as a method for acquiring the coordinates / speed of the hand and the coordinates / speed of the face during the makeup operation of the person shown in the make-up moving image.
  • CNN convolutional neural network
  • the face area and the hand area can be detected from the two-dimensional image. Therefore, by tracking (tracking) the face area and the hand area detected from the frame image of the make-up video, It is possible to acquire the coordinates / speed of the hand and the coordinates / speed of the face during the makeup operation of the person in the image.
  • the details of image recognition using CNN of this embodiment will be described later.
  • FIG. 4 is a functional block diagram of an example of the information processing system according to this embodiment.
  • the information processing device 1 realizes the operation receiving unit 10, the area detecting unit 12, the quantifying unit 14, the post-processing unit 16, and the moving image data storage unit 18 by executing the program.
  • the operation receiving unit 10 receives various operations from the user.
  • the moving image data storage unit 18 stores make-up moving images.
  • the moving image data storage unit 18 may be provided outside the information processing device 1.
  • the area detection unit 12 receives the make-up moving image stored in the moving-image data storage unit 18 and the make-up moving image captured by the camera function.
  • the area detection unit 12 detects, for each frame image forming the input make-up moving image, a face area and a hand area of a person shown in the frame image as described later.
  • the quantification unit 14 acquires the coordinates / speed of the hand during the makeup operation of the person and the coordinates / speed of the face in the makeup moving image from the face area and the hand area detected by the area detection unit 12 to make up the makeup. Quantify the makeup action of the person in the video.
  • the post-processing unit 16 post-processes the processing results of the area detection unit 12 and the quantification unit 14 and outputs the processed results to the output device 502 and the like.
  • the post-processing unit 16 performs post-processing of enclosing a face area and a hand area during makeup operation of a person in a make-up moving image with a rectangle. Further, the post-processing unit 16 determines the fineness of the hand motion, the interlocking of the hand and the elbow, and the face motion from the coordinates / speed of the hand during the makeup motion of the person and the coordinates / speed of the face in the make-up moving image. Post-processing such as visual representation is performed.
  • the post-processing unit 16 can output the comparison result by quantifying and comparing the makeup action of the person shown in the two make-up videos. For example, a user who uses the information processing system according to the present embodiment quantifies and compares the makeup action of oneself and the makeup action of a person who is a good makeup artist such as a makeup artist to determine the difference from his / her makeup technique. Easy to understand. As a result, the information processing system according to the present embodiment can provide a service that improves the make technique of the user.
  • FIG. 5 is a block diagram of an example of the area detection unit.
  • the area detection unit 12 in FIG. 5 has a configuration including a framing unit 20, a face area detection unit 22, a hand area detection unit 24, and a face feature point detection unit 26.
  • the framing unit 20 provides the input make-up moving image to the face area detecting unit 22 and the hand area detecting unit 24 in units of frame images.
  • the face area detection unit 22 has a face area learning model including a face part area learning model.
  • the face area learning model included in the face area detecting unit 22 is created by machine learning using a two-dimensional image in which the face area is covered with the hand area as teacher data.
  • the teacher data in which the face region is covered by the hand region is created from a two-dimensional image in which the hand is the foreground of the face.
  • the teacher data in which the hand area is covered by the face area is such that the image of the annotated face area learning data set becomes the foreground of the annotated (created as teacher data) hand area learning data set. You may create it by pasting.
  • the face area detection unit 22 uses the face area learning model learned by performing CNN using the teacher data in a state where a part of the face area is hidden by the hand area (shielding environment) as the learning data set. A face area detection that is robust against the overlap between the face area and the hand area is realized.
  • the hand area detection unit 24 has a hand area learning model including a fingertip position area learning model.
  • the hand area learning model included in the hand area detection unit 24 is created by using a two-dimensional image of the hand under makeup as teacher data.
  • the teacher data for the hand during makeup is the annotated hand region learning data set specialized for the shape of the hand during makeup, and the annotated fingertip position region learning data set specialized for the fingertip position during makeup.
  • the hand area detection unit 24 detects a hand and fingertip position with many variations in shape during makeup operation by using a hand area learning model learned by performing CNN using the above-mentioned teacher data as a learning data set. Achieves highly accurate hand area detection.
  • the face feature point detection unit 26 also has a face feature point learning model including a face part feature point learning model.
  • the face feature point detection unit 26 detects the face feature points of the entire face by using the face feature point learning model. After that, the face feature point detection unit 26 detects the face feature points of the face part by region by using the face part feature point learning model.
  • the facial feature point detection unit 26 detects the facial feature points of the eyes included in the face parts, and corrects the positions of the facial feature points (including the contour) of the parts other than the eyes from the positions of the facial feature points of the eyes. Realizes highly accurate facial feature point detection even in low resolution and occluding environment.
  • FIG. 6 is an image diagram of an example of a process of detecting a face area of a person included in a frame image.
  • the face area detection unit 22 of the area detection unit 12 detects the face area in which the face of the person in the frame image 1000 is captured by the rectangle 1002 by using the above-described face area learning model.
  • the face area detection unit 22 detects the face part area from the area of the rectangle 1002 using the above-described face part area learning model, and corrects the rectangle ratio of the rectangle 1002 to the rectangle 1004 with the detected nose as the center.
  • the face feature point detection unit 26 detects face feature points from the area of the rectangle 1004 by using the face feature point learning model described above as a rectangular area image 1006. Further, the facial feature point detecting unit 26 detects the feature points of the face part from the rectangular area image 1006 by using the above-described face part characteristic point learning model, as in the rectangular area image 1008.
  • FIG. 7 is a flowchart of an example of face feature point detection processing.
  • step S11 the face feature point detection unit 26 of the region detection unit 12 detects face feature points from the face region (entire face) detected by the face region detection unit 22 using the above-described face feature point learning model. , Estimate head pose.
  • step S12 the face feature point detection unit 26 considers the head posture estimated in step S11, and detects the eyes detected by the face area detection unit 22 using the face part feature point learning model. Correct the position estimation of to improve the accuracy of eye position estimation.
  • step S13 the facial feature point detection unit 26 considers the estimated position of the eyes corrected in step S12, and uses the above-described face part feature point learning model to feature points (including contours) of face parts other than the eyes. Is detected, and the estimated positions of the face parts other than the eyes are corrected.
  • the process of the flowchart of FIG. 7 is effective, for example, when the outline of the face is covered by the hand.
  • FIG. 8 is an image diagram of an example of a process of detecting a hand area of a person shown in a frame image.
  • the hand area detection unit 24 of the area detection unit 12 detects the hand area in which the left and right hands of the person in the frame image 1100 are shown by the rectangle 1102 by using the above-described hand area learning model.
  • the hand area detection unit 24 uses the above-mentioned fingertip position area learning model from the area of the rectangle 1102, areas 1112 and 1114 of the left and right hands of the person of the frame image 1110, and fingertip positions 1116 and 1116 of the left and right hands of the person. 1118 is detected.
  • the information processing apparatus 1 for example, from the coordinates / speed of the hand during the makeup operation of the person and the coordinates / speed of the face during the makeup operation of the person in the make-up moving image, the fineness of the hand operation, the interlocking of the hand and the elbow, and , Face movement can be calculated and output.
  • Such fineness of hand movements, interlocking of hands and elbows, and output of facial movements are useful for research on makeup movements.
  • the information processing apparatus 1 can quantify and compare the makeup action of the person shown in the two make-up videos, the makeup action of the user who wants to learn makeup techniques and the makeup action of a person good at makeup such as a makeup artist. You can quantify and compare makeup movements.
  • the comparison result may be scored and presented to the user, or the difference in makeup action between the user and a person skilled in makeup such as a makeup artist may be visually presented to the user.
  • the information processing apparatus 1 according to the present embodiment may present the makeup technique to the user based on the comparison result so that the makeup action of the user approaches the makeup action of a person good at makeup such as a makeup artist.
  • the information processing apparatus 1 can judge the application area when applying a makeup product applied to a wide area such as cheek / foundation and give a lecture on the application range to the user.
  • the information processing apparatus 1 according to the present embodiment can perform a correct / wrong judgment of a motion and a lecture for a user when using a makeup product such as an eyeliner / eyeshadow / concealer, which is difficult to perform.
  • the information processing apparatus 1 according to the present embodiment can also give a lecture on a method of applying a hair wax (hair product), a lecture on a method of applying a skin care product, or a lecture on a massage method to a user.
  • a user having a sharp skeleton and a user having a round skeleton may have different makeup methods, such as how to apply cheeks (blusher), so that the makeup that suits the user's face may be different. You may give a lecture on the recommendation and the technique to realize the make.
  • the information processing system according to the second embodiment is the same as the information processing system according to the first embodiment except for a part, and thus the description thereof will be appropriately omitted.
  • the information processing system of the second embodiment has a configuration including the area detection unit 12 of FIG. 9 instead of the area detection unit 12 of FIG.
  • FIG. 9 is a block diagram of an example of the area detection unit.
  • the region detection unit 12 of FIG. 9 includes a framing unit 50, a skin color region extraction unit 52, a region division unit 54, a face region detection unit 56, a hand region detection unit 58, a force field calculation unit 60, and a channel calculation unit 62. Is.
  • the framing unit 50 provides the input make-up moving image to the skin color region extracting unit 52 in frame image units.
  • the skin color area extraction unit 52 extracts a skin color area from the frame image.
  • the area dividing unit 54 divides the skin color area extracted by the skin color area extracting unit 52 into candidate blobs, and further performs labeling of the candidate blobs.
  • the area dividing unit 54 provides the labeled candidate blobs to the face area detecting unit 56 and the hand area detecting unit 58.
  • the face area detection unit 56 classifies the candidate blobs of the face area (detects the face area) based on the provided label of the candidate blob (feature of the divided skin color area). Further, the hand area detection unit 58, based on the candidate blob labels (features of the divided skin color area) provided from the area division unit 54 and the face area candidate blobs classified by the face area detection unit 56, The candidate blobs in the hand area are classified (hand area is detected).
  • the face area detection unit 56 first classifies the face area candidate blobs and excludes the face area candidate blobs.
  • the hand area detection unit 58 classifies the hand area candidate blobs. Therefore, in the present embodiment, erroneous detection of the hand area can be prevented.
  • the force field calculation unit 60 determines that interference between the face area and the hand area occurs, and performs the following processing.
  • the force field calculator 60 is provided with the candidate blobs of the face area and the hand area of the previous frame (t ⁇ 1) and the labeled candidate blobs of the current frame (t).
  • the force field calculation unit 60 sets a large number of channels (Channel) in the image of the candidate blob by the force field (Force Field), as shown in FIG.
  • the channel calculation unit 62 calculates the movement distance from the previous frame for each channel, and assumes that the candidate blob of the channel having a large movement distance is the candidate blob of the moving hand. Can classify candidate blobs.
  • the force field calculation unit 60 and the channel calculation unit 62 of the area detection unit 12 perform clustering of movements that are likely to be the hand area in addition to the magnitude of the movement distance, thereby erroneously detecting candidate blobs of the hand area and the face area. Can be further prevented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

動画データを解析して、動画データに写る人物の化粧動作を定量化した値を出力するようにコンピュータを機能させるためのプログラムであって、コンピュータを、動画データから人物の顔が写る顔領域を検出する第１の検出手段、動画データから人物の手が写る手領域を検出する第２の検出手段、検出した顔領域及び手領域に基づき、顔領域及び手領域の動きから動画データに写る人物の化粧動作を定量化した値を出力する出力手段、として機能させるためのプログラムである。

Description

プログラム、情報処理装置、定量化方法及び情報処理システム
　本発明は、プログラム、情報処理装置、定量化方法及び情報処理システムに関する。
　メークの仕上がりは、使用する化粧品やメークテクニックなどによって異なることが知られている。従来、メークを行う多くのユーザは、他人のメークテクニックを目にする機会が少なかった。近年、動画サイト等のＷｅｂサイトには、メーク中の様子を撮影した動画（メーク動画）が数多く投稿されるようになった。このようなメーク動画によりユーザはメークテクニックを確認できる機会が増加した（例えば非特許文献１参照）。
"動画でレッスン"、［online］、株式会社資生堂、［平成30年4月20日検索］、インターネット〈URL:https://www.shiseido.co.jp/beauty/dictionary/lesson/index.html〉
　上記したメーク動画を視聴することにより、ユーザはメーク動画に写る人物が使用した化粧品や化粧動作を見ることができる。しかし、ユーザはメーク動画に写る人物の化粧動作を見るだけで、その人物の化粧動作を上手に真似ることが難しかった。なお、メーク動画から化粧動作を定量化することができれば、真似したユーザの化粧動作と、メーク動画に写る人物の化粧動作との比較が容易となり、便利である。
　本発明の一実施形態は、動画データに写る人物の化粧動作を定量化できるプログラムを提供することを目的とする。
　上記の課題を解決するため、本発明の一実施形態は、動画データを解析して、前記動画データに写る人物の化粧動作を定量化した値を出力するようにコンピュータを機能させるためのプログラムであって、前記コンピュータを、前記動画データから前記人物の顔が写る顔領域を検出する第１の検出手段、前記動画データから前記人物の手が写る手領域を検出する第２の検出手段、検出した前記顔領域及び前記手領域に基づき、前記顔領域及び前記手領域の動きから前記動画データに写る人物の化粧動作を定量化した値を出力する出力手段、として機能させるためのプログラムであることを特徴とする。
　本発明の一実施形態によれば、動画データに写る人物の化粧動作を定量化できる。
本実施形態に係る情報処理システムの一例の構成図である。 本実施形態に係る情報処理システムの一例の構成図である。 本実施形態に係るコンピュータの一例のハードウェア構成図である。 計測の結果の一例の散布図である。 計測の結果の一例の散布図である。 本実施形態に係る情報処理システムの一例の機能ブロック図である。 領域検出部の一例の構成図である。 フレーム画像に写る人物の顔領域を検出する処理の一例のイメージ図である。 顔特徴点検出処理の一例のフローチャートである。 フレーム画像に写る人物の手領域を検出する処理の一例のイメージ図である。 領域検出部の一例の構成図である。 顔領域検出部及び手領域検出部の処理の一例のイメージ図である。 力場計算部及びチャンネル計算部の処理の一例のイメージ図である。
　次に、本発明の実施形態について詳細に説明する。
　［第１の実施形態］
　＜システム構成＞
　図１Ａ及び図１Ｂは、本実施形態に係る情報処理システムの一例の構成図である。図１Ａの情報処理システムは単体の情報処理装置１を備えている。情報処理装置１は、ユーザが操作するＰＣ、スマートフォン、タブレット、家庭用や業務用の化粧動作を定量化する専用機器などである。
　また、図１Ｂの情報処理システムは１台以上のクライアント端末２とサーバ装置３とがインターネット等のネットワーク４を介して接続されている。クライアント端末２はユーザが操作するＰＣ、スマートフォン、タブレットなどの端末装置、家庭用や業務用の化粧動作を定量化する専用機器などである。サーバ装置３はクライアント端末２で行われる化粧動作の定量化に関する処理等を行う。
　このように、本発明は図１Ｂに示すようなクライアント・サーバ型の情報処理システムの他、図１Ａに示す単体の情報処理装置１においても適用可能である。なお、図１Ａ及び図１Ｂの情報処理システムは一例であって、用途や目的に応じて様々なシステム構成例があることは言うまでもない。例えば図１Ｂのサーバ装置３は複数のコンピュータに分散して構成してもよい。
　＜ハードウェア構成＞
　図１Ａ及び図１Ｂの情報処理装置１、クライアント端末２及びサーバ装置３は、例えば図２に示すようなハードウェア構成のコンピュータにより実現される。図２は、本実施形態に係るコンピュータの一例のハードウェア構成図である。
　図２のコンピュータは、入力装置５０１、出力装置５０２、外部Ｉ／Ｆ５０３、ＲＡＭ５０４、ＲＯＭ５０５、ＣＰＵ５０６、通信Ｉ／Ｆ５０７、及びＨＤＤ５０８などを備えており、それぞれがバスＢで相互に接続されている。
　入力装置５０１は入力に用いるキーボード、マウスなどである。出力装置５０２は、画面を表示する液晶や有機ＥＬなどのディスプレイ、音声や音楽などの音データを出力するスピーカ等で構成されている。通信Ｉ／Ｆ５０７はコンピュータをネットワーク４に接続するインターフェースである。ＨＤＤ５０８はプログラムやデータを格納している不揮発性の記憶装置の一例である。
　外部Ｉ／Ｆ５０３は、外部装置とのインターフェースである。コンピュータは外部Ｉ／Ｆ５０３を介して記録媒体５０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体５０３ａにはＤＶＤ、ＳＤメモリカード、ＵＳＢメモリなどがある。
　ＣＰＵ５０６はＲＯＭ５０５やＨＤＤ５０８などの記憶装置からプログラムやデータをＲＡＭ５０４上に読み出し、処理を実行することで、コンピュータ全体の制御や機能を実現する演算装置である。本実施形態に係る情報処理装置１、クライアント端末２及びサーバ装置３は上記したハードウェア構成のコンピュータにおいてプログラムを実行することにより各種機能を実現できる。
　なお、図２のハードウェア構成は一例であって、用途や目的に応じて様々な構成例があることは言うまでもない。例えば図２のコンピュータは、入力装置５０１に動画を撮影可能なカメラ機能を有していてもよい。
　＜化粧動作の定量化の検討＞
　化粧動作の定量化の方法としては、例えばセンサーを用いるものがある。センサーを用いる化粧動作の定量化の方法ではメークを行う人物にセンサーを装着してもらい、メーク動作を行ってもらう。センサーを用いる化粧動作の定量化の方法では、センサーから出力されたデータにより人物の化粧動作を定量化することができるが、撮影済みのメーク動画に写る人物の化粧動作を定量化できない。
　撮影済みのメーク動画を解析して、そのメーク動画に写る人物の化粧動作を定量化できれば、動画サイト等のＷｅｂサイトのメーク動画を利用でき、また、センサーなどを装着する必要がないため、自然な化粧動作の定量化が期待できる。そこで、本実施形態では撮影済みのメーク動画に写る人物の化粧動作を定量化する為に、メーク動画から取得する対象の把握と、その対象を用いた化粧動作の定量化の検討を行った。
　　《メーク動画から取得する対象の把握》
　メーク動画から取得する対象を把握するため、被験者の化粧動作中の動きをモーションキャプチャで計測した。なお、測定部位は、右手中指先端、中指根元、手の甲中央、手首中央、肘、額の計６カ所である。解析対象は、測定部位の座標（変位）と速度と加速度と角速度である。このように解析した被験者の動きの主成分は、化粧動作中の主要な動きの要素と推定できる。
　図３Ａ及び図３Ｂは計測の結果の一例の散布図である。図３Ａは化粧動作ごとの手動作の細かさ及び手と肘の連動性の一例を示す散布図である。図３Ｂは化粧動作ごとの手動作の細かさ及び顔の動きの一例を示す散布図である。図３Ａ及び図３Ｂに示したように、被験者の動きの主成分は、手動作の細かさ、手と肘の連動性、及び、顔の動き、であった。そこで、本実施形態ではメーク動画から取得する対象を、手の座標・速度と、顔の座標・速度とした。
　　《取得した対象を用いた化粧動作の定量化》
　メーク動画に写る人物の化粧動作中の手の座標・速度と、顔の座標・速度とを取得する手法としては、畳み込みニューラルネットワーク（以下、ＣＮＮと呼ぶ）を用いた画像認識がある。ＣＮＮを用いた画像認識では、二次元画像から顔領域及び手領域を検出することができるので、メーク動画のフレーム画像から検出した顔領域及び手領域をトラッキング（追跡）することで、メーク動画に写る人物の化粧動作中の手の座標・速度と、顔の座標・速度とを取得できる。なお、本実施形態のＣＮＮを用いた画像認識の詳細については後述する。
　＜ソフトウェア構成＞
　　《機能ブロック》
　本実施形態に係る情報処理システムのソフトウェア構成について説明する。なお、ここでは図１Ａに示した情報処理装置１を一例として説明する。図４は本実施形態に係る情報処理システムの一例の機能ブロック図である。情報処理装置１はプログラムを実行することにより、操作受付部１０、領域検出部１２、定量化部１４、後処理部１６及び動画データ記憶部１８を実現している。
　操作受付部１０はユーザからの各種操作を受け付ける。動画データ記憶部１８はメーク動画を記憶している。なお、動画データ記憶部１８は情報処理装置１の外部に設けられていてもよい。領域検出部１２は動画データ記憶部１８に記憶しているメーク動画やカメラ機能により撮影されたメーク動画が入力される。領域検出部１２は、入力されたメーク動画を構成するフレーム画像ごとに、そのフレーム画像に写る人物の顔領域及び手領域を後述するように検出する。
　定量化部１４は、領域検出部１２が検出した顔領域及び手領域から、メーク動画に写る人物の化粧動作中の手の座標・速度と、顔の座標・速度とを取得することで、メーク動画に写る人物の化粧動作を定量化する。後処理部１６は領域検出部１２及び定量化部１４による処理結果を、後処理して出力装置５０２等に出力する。
　例えば後処理部１６は、メーク動画に写る人物の化粧動作中の顔領域及び手領域を矩形で囲う後処理を行う。また、後処理部１６はメーク動画に写る人物の化粧動作中の手の座標・速度と、顔の座標・速度から、手動作の細かさ、手と肘の連動性、及び、顔の動きを視覚的に表す等の後処理を行う。
　また、後処理部１６は２つのメーク動画に写る人物の化粧動作を定量化して比較することにより、その比較結果を出力できる。例えば本実施形態に係る情報処理システムを利用するユーザは、自分の化粧動作とメーキャップアーティスト等のメークの上手な人物の化粧動作とを定量化して比較することにより、自分のメークテクニックとの違いを理解し易くなる。これにより、本実施形態に係る情報処理システムはユーザのメークテクニックを向上させるサービスの提供が可能となる。
　メーク動画のフレーム画像に写る人物の顔領域及び手領域を検出する図４の領域検出部１２は例えば図５に示すように構成される。図５は領域検出部の一例の構成図である。図５の領域検出部１２は、フレーム化部２０、顔領域検出部２２、手領域検出部２４及び顔特徴点検出部２６を有する構成である。
　フレーム化部２０は入力されたメーク動画をフレーム画像の単位で顔領域検出部２２及び手領域検出部２４に提供する。顔領域検出部２２は、顔パーツ領域学習モデルを含む顔領域学習モデルを有する。
　なお、顔領域検出部２２が有する顔領域学習モデルは、顔領域に手領域が被った二次元画像を教師データとして用いた機械学習により作成されている。顔領域に手領域が被った教師データは手が顔の前景となるように写った二次元画像から作成する。顔領域に手領域が被った教師データは、アノテーションされた（教師データとして作成された）手領域学習データセットに対し、アノテーションされた顔領域学習データセットの画像を、手が前景となるように貼り付けることで作成してもよい。
　顔領域検出部２２は、顔領域の一部が手領域で隠れた状態（遮蔽環境）の教師データを学習データセットに用いたＣＮＮを行うことで学習した顔領域学習モデルを利用することにより、顔領域と手領域との重なりに頑強な顔領域検出を実現する。
　手領域検出部２４は、指先位置領域学習モデルを含む手領域学習モデルを有する。手領域検出部２４が有する手領域学習モデルは、化粧中の手の二次元画像を教師データとして用いて作成されている。
　なお、化粧中の手の教師データは、化粧中の手の形に特化したアノテーションされた手領域学習データセット、及び、化粧中の指先位置に特化したアノテーションされた指先位置領域学習データセットにより作成される。手領域検出部２４は、上記の教師データを学習データセットに用いたＣＮＮを行うことで学習した手領域学習モデルを利用することにより、化粧動作中の形のバリエーションが多い手及び指先位置の検出精度の高い手領域検出を実現する。
　また、顔特徴点検出部２６は顔パーツ特徴点学習モデルを含む顔特徴点学習モデルを有する。顔特徴点検出部２６は顔特徴点学習モデルを利用することにより、顔全体の顔特徴点を検出する。その後、顔特徴点検出部２６は顔パーツ特徴点学習モデルを利用することにより、顔パーツの顔特徴点を部位別に検出する。顔特徴点検出部２６は、顔パーツに含まれる目の顔特徴点を検出し、目の顔特徴点の位置から目以外の部位の顔特徴点（輪郭を含む）の位置を修正することにより、低解像度や遮蔽環境でも高精度な顔特徴点検出を実現する。
　＜処理＞
　　《顔領域検出及び顔特徴点検出》
　領域検出部１２がフレーム画像に写る人物の顔領域を検出する処理は、例えば図６に示すように行われる。図６は、フレーム画像に写る人物の顔領域を検出する処理の一例のイメージ図である。
　領域検出部１２の顔領域検出部２２は、上記した顔領域学習モデルを利用することによりフレーム画像１０００の人物の顔が写る顔領域を矩形１００２で検出する。顔領域検出部２２は矩形１００２の領域から、上記した顔パーツ領域学習モデルを利用して顔パーツ領域を検出し、検出した鼻を中心として矩形１００２の矩形比を矩形１００４のように修正する。
　顔特徴点検出部２６は、矩形１００４の領域から、上記した顔特徴点学習モデルを利用して顔特徴点を矩形領域画像１００６のように検出する。また、顔特徴点検出部２６は矩形領域画像１００６から、上記した顔パーツ特徴点学習モデルを利用して、顔パーツの特徴点を矩形領域画像１００８のように部位別に検出する。
　なお、図５の領域検出部１２は図７のフローチャートに示すように処理することで低解像度や遮蔽環境でも高精度な顔特徴点検出を実現できる。図７は顔特徴点検出処理の一例のフローチャートである。
　ステップＳ１１において、領域検出部１２の顔特徴点検出部２６は、顔領域検出部２２が検出した顔領域（顔全体）から、上記した顔特徴点学習モデルを利用して顔特徴点を検出し、頭部姿勢を推定する。
　ステップＳ１２に進み、顔特徴点検出部２６はステップＳ１１で推定した頭部姿勢を考慮し、顔領域検出部２２が検出した目について顔パーツ特徴点学習モデルを使用して検出することで、目の位置推定を補正し、目の位置推定精度を上げる。
　ステップＳ１３に進み、顔特徴点検出部２６はステップＳ１２で補正した目の推定位置を考慮し、上記した顔パーツ特徴点学習モデルを利用して目以外の顔パーツの特徴点（輪郭を含む）を検出し、目以外の顔パーツの推定位置を修正する。図７のフローチャートの処理は、例えば手で顔の輪郭が遮蔽されていた場合に有効である。
　　《手領域検出》
　領域検出部１２がフレーム画像に写る人物の手領域を検出する処理は、例えば図８に示すように行われる。図８は、フレーム画像に写る人物の手領域を検出する処理の一例のイメージ図である。
　領域検出部１２の手領域検出部２４は、上記した手領域学習モデルを利用することでフレーム画像１１００の人物の左右の手が写る手領域を矩形１１０２で検出する。また、手領域検出部２４は、矩形１１０２の領域から、上記した指先位置領域学習モデルを利用してフレーム画像１１１０の人物の左右の手の領域１１１２及び１１１４と、左右の手の指先位置１１１６及び１１１８を検出する。
　　《出力》
　本実施形態に係る情報処理装置１は、例えばメーク動画に写る人物の化粧動作中の手の座標・速度と、顔の座標・速度から、手動作の細かさ、手と肘の連動性、及び、顔の動きを算出し、出力できる。このような手動作の細かさ、手と肘の連動性、及び、顔の動きの出力は化粧動作の研究などに有用である。
　また、本実施形態に係る情報処理装置１は２つのメーク動画に写る人物の化粧動作を定量化して比較できるので、メークテクニックを学びたいユーザの化粧動作とメーキャップアーティスト等のメークの上手な人物の化粧動作とを定量化して比較できる。比較結果は点数化してユーザに提示してもよいし、ユーザとメーキャップアーティスト等のメークの上手な人物との化粧動作の違いを視覚的にユーザに提示してもよい。さらに、本実施形態に係る情報処理装置１は比較結果に基づき、ユーザの化粧動作がメーキャップアーティスト等のメークの上手な人物の化粧動作に近づくようにメークテクニックをユーザに提示してもよい。
　例えば本実施形態に係る情報処理装置１はチーク／ファンデーションなど、広い面積に塗るメーキャップ製品塗布時の塗布面積判定及び塗布範囲のレクチャーをユーザに対して行うことができる。また、本実施形態に係る情報処理装置１はアイライナー／アイシャドウ／コンシーラーなど、テクニックが難しいメーキャップ製品使用時の動きの正誤判定及びレクチャーをユーザに対して行うことができる。さらに、本実施形態に係る情報処理装置１はヘアワックス（ヘア製品）の塗布方法のレクチャー、スキンケア製品の塗布方法のレクチャー又はマッサージ方法のレクチャーをユーザに対して行うこともできる。
　また、本実施形態に係る情報処理装置１は骨格がシャープなユーザと丸めなユーザとでチーク（頬紅）の入れ方など、メークのやり方が異なる場合があるため、ユーザの顔立ちにあったメークのリコメンドと、そのメークを実現するためのテクニックをレクチャーしてもよい。
　［第２の実施形態］
　第２の実施形態に係る情報処理システムは、一部を除いて第１の実施形態に係る情報処理システムと同様であるため、適宜説明を省略する。第２の実施形態の情報処理システムは図５の領域検出部１２に替えて、図９の領域検出部１２を備えた構成である。図９は領域検出部の一例の構成図である。図９の領域検出部１２は、フレーム化部５０、肌色領域抽出部５２、領域分割部５４、顔領域検出部５６、手領域検出部５８、力場計算部６０及びチャンネル計算部６２を有する構成である。
　フレーム化部５０は入力されたメーク動画をフレーム画像の単位で肌色領域抽出部５２に提供する。肌色領域抽出部５２はフレーム画像から肌色領域を抽出する。領域分割部５４は肌色領域抽出部５２が抽出した肌色領域を候補ブロブに分割し、更に、候補ブロブのラベリングを行う。領域分割部５４はラベル付けされた候補ブロブを顔領域検出部５６及び手領域検出部５８に提供する。
　顔領域検出部５６は提供された候補ブロブのラベル（分割された肌色領域の特徴）に基づいて、顔領域の候補ブロブを分類（顔領域を検出）する。また、手領域検出部５８は領域分割部５４から提供された候補ブロブのラベル（分割された肌色領域の特徴）と、顔領域検出部５６により分類された顔領域の候補ブロブとに基づいて、手領域の候補ブロブを分類（手領域を検出）する。
　図９の顔領域検出部５６及び手領域検出部５８は、図１０に示すように、先に顔領域検出部５６が顔領域の候補ブロブを分類し、顔領域の候補ブロブを除外して、手領域検出部５８が手領域の候補ブロブを分類する。したがって、本実施形態では手領域の誤検出を防止できる。
　力場計算部６０は顔領域検出部５６において顔領域の候補ブロブを分類できなかった場合に、顔領域と手領域との干渉が発生していると判断し、次のような処理を行う。力場計算部６０は前フレーム（ｔ－１）の顔領域及び手領域の候補ブロブと現フレーム（ｔ）のラベル付けされた候補ブロブとが提供される。
　力場計算部６０は図１１に示すように、力場（Force Field）により候補ブロブの画像内に多量のチャンネル（Channel）を設定する。チャンネル計算部６２は、前フレームからの移動距離をチャンネルごとに計算し、移動距離の大きいチャンネルの候補ブロブを、動いている手の候補ブロブであると仮定することにより、手領域及び顔領域の候補ブロブを分類できる。
　なお、領域検出部１２の力場計算部６０及びチャンネル計算部６２は移動距離の大きさに加えて、手領域らしい動きをクラスタリングしておくことで、手領域及び顔領域の候補ブロブの誤検出を更に防止できる。
　（まとめ）
　以上、本実施形態によれば、センサーなどを装着することなく、撮影済みのメーク動画に写る人物の化粧動作を定量化でき、メークテクニックの提供や教示が可能となる。本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば本実施形態では、二次元の動画データを一例として説明したが、三次元の動画データであってもよい。本実施形態によれば、二次元の動画データと同様なデータ解析、又は二次元の動画データ解析に三次元情報を組み合わせた解析により、三次元の動画データに写る人物の化粧動作を定量化でき、メークテクニックの提供や教示が可能となる。
　以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。本願は、日本特許庁に２０１８年１０月２４日に出願された基礎出願２０１８―１９９７３９号の優先権を主張するものであり、その全内容を参照によりここに援用する。
　１　　情報処理装置
　２　　クライアント端末
　３　　サーバ装置
　４　　ネットワーク
　１０　　操作受付部
　１２　　領域検出部
　１４　　定量化部
　１６　　後処理部
　１８　　動画データ記憶部
　２０　　フレーム化部
　２２　　顔領域検出部
　２４　　手領域検出部
　２６　　顔特徴点検出部
　５０　　フレーム化部
　５２　　肌色領域抽出部
　５４　　領域分割部
　５６　　顔領域検出部
　５８　　手領域検出部
　６０　　力場計算部
　６２　　チャンネル計算部

Claims (11)

  1. 　動画データを解析して、前記動画データに写る人物の化粧動作を定量化した値を出力するようにコンピュータを機能させるためのプログラムであって、
    　前記コンピュータを、
    　前記動画データから前記人物の顔が写る顔領域を検出する第１の検出手段、
    　前記動画データから前記人物の手が写る手領域を検出する第２の検出手段、
    　検出した前記顔領域及び前記手領域に基づき、前記顔領域及び前記手領域の動きから前記動画データに写る人物の化粧動作を定量化した値を出力する出力手段、
    として機能させるためのプログラム。
  2. 　前記第１の検出手段は、
    　顔領域学習モデルを用いて前記動画データから前記人物の顔領域を検出する顔領域検出手段と、
    　顔パーツ特徴点学習モデルを用いて前記顔領域から顔パーツ領域を検出する顔パーツ領域検出手段と、
    　を有し、
    　前記第２の検出手段は、
    　前記化粧動作の手領域学習モデルを用いて前記動画データから前記人物の手領域を検出する手領域検出手段と、
    　前記化粧動作の指先位置領域学習モデルを用いて前記手領域から指先位置領域を検出する指先位置領域検出手段と、
    を有することを特徴とする請求項１記載のプログラム。
  3. 　前記顔領域学習モデルは、顔領域の一部が手領域で隠れた状態の教師データを顔領域学習データセットに用いて学習した畳み込みニューラルネットワークであること
    を特徴とする請求項２記載のプログラム。
  4. 　前記手領域学習モデルは、化粧中の手の形の教師データを手領域学習データセットに用いて学習した畳み込みニューラルネットワークであり、前記指先位置領域学習モデルは、化粧中の指先の位置の教師データを指先位置領域学習データセットに用いて学習した畳み込みニューラルネットワークであること
    を特徴とする請求項２記載のプログラム。
  5. 　前記コンピュータを、
    　前記動画データから肌色領域を抽出する抽出手段、
    　前記肌色領域を分割領域に分割する分割手段、
    として更に機能させ、
    　前記第１の検出手段は、前記分割領域の特徴量に基づき、前記肌色領域から前記人物の顔が写る顔領域を検出し、
    　前記第２の検出手段は、前記分割領域の特徴量に基づき、前記人物の顔が写る顔領域として検出された前記肌色領域を除外した前記肌色領域から前記人物の手が写る手領域を検出すること
    を特徴とする請求項１記載のプログラム。
  6. 　前記コンピュータを、
    　前記第１の検出手段が前記肌色領域から前記人物の顔が写る顔領域を検出できない場合に、前記動画データを構成するフレーム画像間における前記分割領域の移動距離を検出して、移動距離の大きい前記分割領域を前記人物の手が写る手領域であると仮定する第３の検出手段、
    として更に機能させること
    を特徴とする請求項５記載のプログラム。
  7. 　前記出力手段は、前記動画データに写る人物の化粧動作を定量化した値として、化粧動作中の手の座標・速度と、顔の座標・速度とを出力すること
    を特徴とする請求項１記載のプログラム。
  8. 　前記出力手段は、２つの前記動画データに写る人物の化粧動作を定量化した値の比較結果に基づき、２つの前記動画データに写る人物の化粧動作の違いを視覚的に表した画像を出力すること
    を特徴とする請求項１記載のプログラム。
  9. 　動画データを解析して、前記動画データに写る人物の化粧動作を定量化した値を出力する情報処理装置であって
    　前記動画データから前記人物の顔が写る顔領域を検出する第１の検出手段と、
    　前記動画データから前記人物の手が写る手領域を検出する第２の検出手段と、
    　検出した前記顔領域及び前記手領域に基づき、前記顔領域及び前記手領域の動きから前記動画データに写る人物の化粧動作を定量化した値を出力する出力手段と、
    を有する情報処理装置。
  10. 　動画データを解析して、前記動画データに写る人物の化粧動作を定量化した値を出力する情報処理装置において実行される定量化方法であって、
    　前記動画データから前記人物の顔が写る顔領域を検出する第１の検出ステップと、
    　前記動画データから前記人物の手が写る手領域を検出する第２の検出ステップと、
    　検出した前記顔領域及び前記手領域に基づき、前記顔領域及び前記手領域の動きから前記動画データに写る人物の化粧動作を定量化した値を出力する出力ステップと、
    を有する定量化方法。
  11. 　ユーザからの操作を受け付けるクライアント端末と、前記クライアント端末が前記ユーザから受け付けた操作に基づき、動画データを解析して、前記動画データに写る人物の化粧動作を定量化した値を出力して前記クライアント端末に提供するサーバ装置と、を有する情報処理システムであって
    　前記サーバ装置は、
    　前記クライアント端末が前記ユーザから受け付けた操作の情報を受信する受信手段と、
    　前記ユーザから受け付けた操作に基づき、前記動画データから前記人物の顔が写る顔領域を検出する第１の検出手段と、
    　前記ユーザから受け付けた操作に基づき、前記動画データから前記人物の手が写る手領域を検出する第２の検出手段と、
    　検出した前記顔領域及び前記手領域に基づき、前記顔領域及び前記手領域の動きから前記動画データに写る人物の化粧動作を定量化した値を出力する出力手段と、
    　出力した前記値を前記クライアント端末に送信する送信手段と、
    を有する情報処理システム。
PCT/JP2019/027052 2018-10-24 2019-07-08 プログラム、情報処理装置、定量化方法及び情報処理システム Ceased WO2020084842A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020552524A JP7408562B2 (ja) 2018-10-24 2019-07-08 プログラム、情報処理装置、定量化方法及び情報処理システム
CN201980069716.8A CN112912925B (zh) 2018-10-24 2019-07-08 介质、信息处理装置、定量化方法以及信息处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018199739 2018-10-24
JP2018-199739 2018-10-24

Publications (1)

Publication Number Publication Date
WO2020084842A1 true WO2020084842A1 (ja) 2020-04-30

Family

ID=70331505

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/027052 Ceased WO2020084842A1 (ja) 2018-10-24 2019-07-08 プログラム、情報処理装置、定量化方法及び情報処理システム

Country Status (4)

Country Link
JP (1) JP7408562B2 (ja)
CN (1) CN112912925B (ja)
TW (1) TW202016881A (ja)
WO (1) WO2020084842A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114407913A (zh) * 2022-01-27 2022-04-29 星河智联汽车科技有限公司 一种车辆控制方法及装置
KR20230043285A (ko) * 2021-09-23 2023-03-31 주식회사 딥비전 딥러닝을 이용한 손 움직임 추적방법 및 장치
WO2026120733A1 (ja) * 2024-12-04 2026-06-11 日本電気株式会社 情報処理装置、情報処理方法、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002072861A (ja) * 2000-09-01 2002-03-12 Ibic Service:Kk 理容技術講習システム
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP2017208051A (ja) * 2016-05-20 2017-11-24 日本電信電話株式会社 技術支援装置、方法、プログラムおよびシステム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4404650B2 (ja) * 2004-01-30 2010-01-27 デジタルファッション株式会社 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム
EP3039990B1 (en) * 2013-08-30 2019-07-24 Panasonic Intellectual Property Management Co., Ltd. Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program
CN103488299B (zh) * 2013-10-15 2016-11-23 大连市恒芯科技有限公司 一种融合人脸和手势的智能终端人机交互方法
TWI669103B (zh) * 2014-11-14 2019-08-21 日商新力股份有限公司 資訊處理裝置、資訊處理方法及程式
WO2016121329A1 (ja) * 2015-01-29 2016-08-04 パナソニックＩｐマネジメント株式会社 画像処理装置、スタイラス、および画像処理方法
CN107924577B (zh) * 2015-10-26 2021-08-24 松下知识产权经营株式会社 化妆部位生成装置及化妆部位生成方法
CN106846403B (zh) * 2017-01-04 2020-03-27 北京未动科技有限公司 一种三维空间中手部定位的方法、装置及智能设备
CN107168527B (zh) * 2017-04-25 2019-10-18 华南理工大学 基于区域卷积神经网络的第一视角手势识别与交互方法
CN108227922A (zh) * 2017-12-31 2018-06-29 广州二元科技有限公司 一种虚拟现实的实时数字影像上妆方法
CN108594997B (zh) * 2018-04-16 2020-04-21 腾讯科技（深圳）有限公司 手势骨架构建方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002072861A (ja) * 2000-09-01 2002-03-12 Ibic Service:Kk 理容技術講習システム
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP2017208051A (ja) * 2016-05-20 2017-11-24 日本電信電話株式会社 技術支援装置、方法、プログラムおよびシステム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230043285A (ko) * 2021-09-23 2023-03-31 주식회사 딥비전 딥러닝을 이용한 손 움직임 추적방법 및 장치
KR102586144B1 (ko) 2021-09-23 2023-10-10 주식회사 딥비전 딥러닝을 이용한 손 움직임 추적방법 및 장치
CN114407913A (zh) * 2022-01-27 2022-04-29 星河智联汽车科技有限公司 一种车辆控制方法及装置
WO2026120733A1 (ja) * 2024-12-04 2026-06-11 日本電気株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
CN112912925B (zh) 2025-06-20
JPWO2020084842A1 (ja) 2021-10-07
JP7408562B2 (ja) 2024-01-05
CN112912925A (zh) 2021-06-04
TW202016881A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
US12279882B2 (en) Movement disorder diagnostics from video data using body landmark tracking
Zaletelj et al. Predicting students’ attention in the classroom from Kinect facial and body features
Le et al. Human posture recognition using human skeleton provided by Kinect
Turk et al. Perceptual interfaces
Poppe et al. AMAB: Automated measurement and analysis of body motion
Liang et al. Barehanded music: real-time hand interaction for virtual piano
Antoshchuk et al. Gesture recognition-based human–computer interaction interface for multimedia applications
JP7408562B2 (ja) プログラム、情報処理装置、定量化方法及び情報処理システム
Varona et al. Toward natural interaction through visual recognition of body gestures in real-time
Singh et al. A robust, real-time camera-based eye gaze tracking system to analyze users’ visual attention using deep learning
Aggarwal et al. Online handwriting recognition using depth sensors
Baker et al. Advanced human motion detection and precision movement measurement via mobile devices using YOLOv8, R-CNN, and augmented reality
Guerra-Segura et al. Study of the variability of the Leap Motion’s measures for its use to characterize air strokes
Ueng et al. Vision based multi-user human computer interaction
Gupta et al. Hands-free PC Control” controlling of mouse cursor using eye movement
Chang et al. Synthesis-based low-cost gaze analysis
Raees et al. THE-3DI: Tracing head and eyes for 3D interactions: An interaction technique for virtual environments
Devi et al. Ai-enhanced cursor navigator
Kaur et al. Body language decoder using python
Anwar et al. Real time eye blink detection method for android device controlling
Pradeep et al. Advancement of sign language recognition through technology using python and OpenCV
Davydenko et al. Continuous authentication with eye movement biometrics
Bose et al. Gesture based painting system
Alobaidi et al. New in-air signature datasets
Gong et al. Hidden emotion detection through analyzing facial expression

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19876950

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020552524

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19876950

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 201980069716.8

Country of ref document: CN