JP7106705B2 - 画像認識方法、装置、デバイス、コンピュータ記憶媒体、及びプログラム - Google Patents

画像認識方法、装置、デバイス、コンピュータ記憶媒体、及びプログラム Download PDF

Info

Publication number
JP7106705B2
JP7106705B2 JP2021051228A JP2021051228A JP7106705B2 JP 7106705 B2 JP7106705 B2 JP 7106705B2 JP 2021051228 A JP2021051228 A JP 2021051228A JP 2021051228 A JP2021051228 A JP 2021051228A JP 7106705 B2 JP7106705 B2 JP 7106705B2
Authority
JP
Japan
Prior art keywords
image
scale
face image
facial
wrinkle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021051228A
Other languages
English (en)
Other versions
JP2021103568A (ja
Inventor
グオ，ジジ
サン，イーペン
リウ，ジントゥオ
ハン，ジュンユ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021103568A publication Critical patent/JP2021103568A/ja
Application granted granted Critical
Publication of JP7106705B2 publication Critical patent/JP7106705B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Description

本開示は、コンピュータ技術分野に関し、特に画像処理技術分野に関する。
コンピュータ技術の発展とともに、画像処理と画像認識技術がますます智能化している。画像認識分野においては、人工知能を用いて顔認識や人体認識ができるようになっている。画像処理技術も、例えば、セキュリティーチェック、入り口の警備、ニュース、医療など、ますますより多くの分野で応用されてきている。
医療分野において、画像認識技術は、顔のしわを認識するために利用することができる。このような応用分野において，認識精度をどのように高めるかは，解決すべき問題である。
本開示は、画像認識方法、装置、デバイス及び記憶媒体を提供する。
本開示の第１態様は、画像認識方法を提供し、当該方法は、
前処理された顔画像を五官認識し、顔画像において顔の五官の位置をラベル付けし、ラベル付けされた顔画像を得ることと、
ラベル付けされた顔画像のマルチスケールの顔画像を決定し、マルチスケールの顔画像を基幹ネットワークモデルに入力して特徴抽出し、マルチスケールにおける各スケールの顔画像のしわ特徴を得ることと、
顔画像の同じ領域に位置する各スケールのしわ特徴を融合させ、顔画像のしわ認識結果を得ることとを含む。
本開示の別の態様は、画像認識装置を提供し、当該装置は、
前処理された顔画像を五官認識し、顔画像において顔の五官の位置をラベル付けし、ラベル付けされた顔画像を得るための認識モジュールと、
ラベル付けされた顔画像のマルチスケールの顔画像を決定し、マルチスケールの顔画像を基幹ネットワークモデルに入力して特徴抽出し、マルチスケールにおける各スケールの顔画像のしわ特徴を得るための特徴抽出モジュールと、
顔画像の同じ領域に位置する各スケールのしわ特徴を融合させ、顔画像のしわ認識結果を得るための融合モジュールとを含む。
本開示の別の態様は、電子デバイスを提供し、当該電子デバイスは、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサと通信接続されたメモリとを含み、
メモリは、少なくとも１つのプロセッサによって実行され得る命令を記憶し、命令が少なくとも１つのプロセッサにより実行されることにより、少なくとも１つのプロセッサが本開示のいずれかの実施形態によって提供される方法を実行する。
本開示の別の態様によれば、コンピュータ命令を記憶した非一過性コンピュータ可読記憶媒体が提供され、コンピュータ命令は、本開示のいずれかの実施形態によって提供される方法をコンピュータに実行させるために用いられる。
本開示の技術によれば、しわの認識精度を向上させることができ、認識プロセスが光照射などの外部環境からの干渉を受けない。
ここに記載された内容は、本開示の実施形態の主要なまたは重要な特徴を標識することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書でより理解しやすくなる。
添付図面は、本方案をより良く理解するためのものであり、本開示を限定するものではない。
図１は、本開示の実施形態による画像認識方法の模式図である。 図２は、本開示の実施形態による画像認識方法の具体的なシナリオにおける模式図である。 図３は、本開示のもう１つの実施形態による画像認識方法の模式図である。 図４は、本開示のもう１つの実施形態による画像認識データ処理手順の模式図である。 図５は、本開示の実施形態による画像認識装置の模式図である。 図６は、本開示のもう１つの実施形態による画像認識装置の模式図である。 図７は、本開示の実施形態による画像認識装置における特徴抽出モジュールの装置模式図である。 図８は、本開示の実施形態に係る画像認識方法を実現するための電子デバイスのブロック図である。
以下では、図面を参照し、本開示の例示的な実施形態を説明し、理解を助けるために本開示の実施形態の様々な詳細を含んでいるが、これらは単に例示的なものとみなされるべきである。したがって、当業者は、本開示の範囲および要旨から逸脱することなく、本明細書に記載の実施形態に様々な変更および修正を加えることができることを認識すべきである。以下の説明では、明瞭で簡潔にするために、公知の機能と構造の説明を省略している。
なお、衝突しない限り、本開示の実施形態および実施形態の特徴は、互いに組み合わせることができる。
図１は、本開示の実施形態による画像認識方法を示す図である。当該方法は、
前処理された顔画像を五官認識し、前記顔画像において顔の五官の位置をラベル付けし、ラベル付けされた顔画像を得るステップ１０１と、
ラベル付けされた顔画像のマルチスケールの顔画像を決定し、前記マルチスケールの顔画像を基幹ネットワークモデルに入力して特徴抽出し、マルチスケールにおける各スケールの顔画像のしわ特徴を得るステップ１０２と、
テップ１０３とを含む。
本実施形態では、前処理された顔画像は、処理が必要な顔画像が処理された後の画像でもよく、具体的には、画像正規化、背景除去、顔検出などにより得られる。前処理された顔画像を器官認識することは、顔画像から五官のある領域を見つけること、例えば眼球の領域、鼻の領域、眉毛の領域、頬の領域、口の領域などを見つけることを含む。
本実施形態において、マルチスケールの顔画像は、元のサイズの顔画像を拡大または縮小したものでもよい。例えば、顔画像を元のサイズの２分の１、４分の１または８分の１に縮小するなどして、元のサイズの顔画像、２分の１サイズの顔画像、４分の１サイズの顔画像、または８分の１サイズの顔画像などを得る。
本実施形態では、マルチスケールの顔画像を基幹ネットワークモデルに入力して特徴抽出をし、各スケールの顔画像のしわ特徴を得る。例えば、顔画像を元のサイズの２分の１、４分の１または８分の１に縮小するなどして、元のサイズの顔画像、元の２分の１サイズの顔画像、４分の１サイズの顔画像、８分の１サイズの顔画像などを得る。対応して得られたマルチスケールのしわ特徴は、元の大きさのしわ特徴、元の大きさの２分の１のしわ特徴、元の大きさの４分の１のしわ特徴、元の大きさの８分の１のしわ特徴を含む。
本実施形態では、前処理された顔画像を五官認識し、その結果に基づいてマルチスケールの顔画像を取得し、さらにマルチスケールの顔画像を基幹ネットワークモデルに入力して特徴抽出し、マルチスケールにおける各スケールの顔画像のしわ特徴を得ることができる。マルチスケールを融合するので、微細なしわも正確に認識できることを確実にし、隠されている潜在的な微細なしわを正確に分割するができ、よって認識の精度を高めることができる。本実施形態では、基幹ネットワークモデルによりパラメータ共有を行い、入力端から出力端までに、各しわの輪郭の座標及び各しわの面積を直接的に出力する。本実施形態は、マルチスケール入力とマルチスケール出力の融合したネットワーク構造を採用しており、隠されている潜在的な微細なしわを正確に分割することができ、異なる光照射環境下での顔のしわを正確に分割することができる。
一実施形態において、図２に示すように、画像認識方法は、
顔画像の画素を均一化し、均一化処理後の顔画像を得るステップ２０１と、
前記の均一化処理後の顔画像の画素分散を正規化処理し、前記前処理された顔画像を得るステップ２０２とを含む。
本実施形態では、顔画像の画素を均一化し、均一化処理後の顔画像を得ることは、具体的には、顔画像の画素値を均一化する処理を含んでもよい。設定された画素値に応じて、画素を調整し、設定された画素値より高い場合は、対応する画素値を低くし、設定された画素値より低い場合は、対応する画素値を高くする。
本実施形態では、顔検出モデルと顔キーポイント検出モデルを用いて、肌検出領域を得て、肌検出領域を均一化することと分散を正規化することによって、異なる環境における光照射の影響を除去する。顔の五官分割モデルを使って、顔の五官と肌の領域を分割して、図３に示すような肌検出マスクを得る。
しわの分割方法は、通常、光照射、肌の影、メガネなどの要素によって妨害され、画像の品質が良くない場合は、分割精度が低い。本実施形態では、顔画素を均一化処理し、均一化処理した顔画像の画素分散を正規化処理することにより、光照射、メガネの遮りなどの要因による顔の影を避けることができ、しわ認識の精度に影響を与えることを避けることができる。本実施形態は、ディープラーニングモデルに基づいて、顔の様々なタイプのしわ（額のしわ、目尻のしわ、目の下の細いしわ、ほうれい線）を正確に分割し、異なる光照射環境における顔画像に対して、優れた精度とロバスト性を有する。
本開示のもう１つの実施形態では、前記の、ラベル付けされた顔画像を基幹ネットワークモデルに入力して特徴抽出し、異なるスケールの顔画像のしわ特徴を得ることは、
前記ラベル付けされた顔画像をマルチスケールの伸縮処理を行い、前記マルチスケールの顔画像を得ることと、
前記マルチスケールの顔画像を前記基幹ネットワークモデルに入力して、前記マルチスケールにおける各スケールの顔画像のしわ特徴を得ることとを含む。
本実施形態では、顔画像をマルチスケールの伸縮処理を行うことで、マルチスケールの顔画像を得ることができる。他の実施形態では、顔画像を拡大または縮小してもよい。
本実施形態では、前記マルチスケールの顔画像を前記基幹ネットワークモデルに入力して、前記マルチスケールにおける各スケールの顔画像のしわ特徴を得ることは、具体的には、マルチスケールの顔画像を基幹ネットワークモデルに入力し、まずマルチスケールの顔画像の融合処理を行い、その後、マルチスケールの顔画像を分離し、マルチスケールの顔画像のしわ特徴を得ることを含んでもよい。
本実施形態は、マルチスケールの顔画像を基幹ネットワークモデルに入力してしわ特徴抽出と分析を行い、微細なしわの認識率を向上させることができる。
一実施形態では、画像認識方法は、前記マルチスケールの顔画像を前記基幹ネットワークモデルに入力し、顔の五官領域認識結果を得ることをさらに含む。
本実施形態では、五官領域認識プロセスは、基幹ネットワークモデルを用いて実行してもよい。
本実施形態では、基幹ネットワークモデルを用いて顔の五官領域の認識を行うことにより、五官の認識としわの認識を同時に行うことができ、しわの認識効率を向上させることができる。
一実施形態では、前記の、顔画像の同じ領域に位置する異なるスケールのしわ特徴を融合させ、顔画像のしわ認識結果を得ることは、
前記顔画像のしわ認識結果に対応する顔領域がしわが存在しない五官領域である場合は、その顔画像のしわ認識結果を無視することを含む。
本実施形態で、しわが存在しない五官領域とは、眼球など、しわの存在が明らかに不可能な顔領域を含んでもよい。
しわが存在しない五官領域でしわを検出すると、誤認識が生じた可能性があるため、認識結果を無視することができる。
本開示の実施形態は、ディープラーニングモデルに基づく端から端までの画像認識方法を提案し、顔のしわ分割に使用される。本方法は、ディープラーニングモデルを用いて深層セマンティック特徴を抽出し、モデルの検出ブランチにおいて各しわの分割輪郭を出力する。顔のしわの領域と顔の五官の位置は、相対的に固定されているため、顔の五官分割ブランチを導入して監督付きトレーニングを行い、しわの分割精度を向上させる。同時に、本開示の実施形態は、マルチスケール入力・出力マルチスケール融合のネットワーク構造を採用し、元の高解像度画像におけるセマンティック特徴を十分に利用し、画像の高層セマンティック特徴と融合して、隠されている潜在的な微細なしわを正確に分割することができる。
本開示の一例におけるモデルの枠組みは、図４に示すように、入力画像を前処理した後、異なるスケールの前処理後の画像を基幹ネットワークモデル（すなわち、図中の基幹Ｕ－Ｎｅｔネットワークモデル）に送り、当該基幹ネットワークモデルは共有の畳み込みパラメータを提供し、異なる特徴層のセマンティック情報特徴を特徴融合層に出力し、下位層のセマンティック特徴と上位層のセマンティック特徴を融合する。融合後の特徴は４つの異なるスケールの検出ブランチに送られ、４つの検出ブランチの出力結果に線形重み付けを行い、最終的なしわ分割結果を得る。出力結果は、具体的には画像であってもよく、異なるスケールでの画像出力結果に対して線形重み付けを行うことができる。トレーニングのプロセスで、五官分割マスクのブランチを導入して監督付き学習を行い、基幹ネットワークモデルにより多くの顔の五官位置情報を学習させる。全体のフレームは統一モデルを形成し、全体として端から端までのトレーニングをすることができる。本例では、基幹ネットワークモデルの畳み込み層において、異なるスケールの画像の畳み込み計算を行う。入力された画像はつなぎ合わせチャンネルでつなぎ合わせされ、つなぎ合わせされた後の画像の畳み込み計算を行い、畳み込み計算された後のつなぎ合わせ画像を畳み込み分離し、最終的に出力画像を得る。
本例では、画像前処理において、顔検出モデルと顔キーポイント検出モデルを用いて顔領域を求め、顔領域を均一化することと分散を正規化することによって、異なる環境での光照射の影響を排除する。顔の五官分割モデルを利用して顔の五官マスクを分割し、五官分割マスクをブランチタスクとして基幹ネットワークモデルパラメータを共有し、基幹ネットワークモデルにより多くの位置に関する有益な情報を学習させ、しわ分割精度を向上させる。基幹ネットワークモデルは入力画像を処理するプロセスにおいて位置関連の有用な情報を学習し、出現不可能な領域では、重みが高く、しわの出現位置が相対的に固定される。学習して位置情報をニューラルネットワークに取り入れる。
画像を前処理した後，画像をマルチスケールに引き伸ばす。顔のしわの形態は細長い型で、深いしわの幅でも通常は５ピクセルより小さい。しかも多くの隠されている潜在的な微細なしわが存在して、画像の品質がよくない情況では、このような微細なしわは検出されにくい。微細なしわでも検出できるために、本例では顔画像をマルチスケールの顔画像に変換し、すなわち元の高解像度画像を異なるサイズに拡大／縮小することで、基幹ネットワークモデルにより多くの高解像度の特徴を学習させることができる。
この例では、基幹ネットワークの基礎ネットワーク部分は、Ｒｅｓｅｔ－３４、ｉｎｃｅｐｔｉｏｎ－ｖ３、ｍｏｂｉｌｅｎｅｔ－ｖ２（モバイルネットワークモデルｖ－２）などを含むが、これらに限らず、任意の画像分類ネットワーク構造を基本として採用することができる。マルチスケールの顔画像を基幹ネットワークモデルに入力し、基幹ネットワークモデルの畳み込みニューラルネットワーク（ＣＯＮ）を通じてしわ特徴を出力し、その後、マルチスケールのしわ特徴に基礎ネットワーク構造において特徴融合（Ｆｕｓｓｉｏｎ）部分を加えて、すなわち基礎ネットワークにおけるマルチスケールの特徴を組み合わせることで、相対的なスケール不変のマルチスケール特徴を得ることができる。当該部分は、ＵＮｅｔ、ＦＰＮなどのよくある特徴組み合わせ方式を用いることができるが、これらに限らず、基幹ネットワークベースとマルチスケール特徴の使いやすさと拡張性を保証する。
この例では、４つの異なるスケールの特徴層において検出ブランチを引き出し、各ブランチはそれぞれ１つのしわ分割結果を予測し、４つの異なるスケールのしわ分割結果を線形重み付けして最終的なしわ分割結果を得る。
本開示のもう１つの実施形態は、画像認識装置を提供し、図５に示すように、当該装置は、
前処理された顔画像を五官認識し、顔画像において顔の五官の位置をラベル付けし、ラベル付けされた顔画像を得るための認識モジュール５０１と、
ラベル付けされた顔画像のマルチスケールの顔画像を決定し、マルチスケールの顔画像を基幹ネットワークモデルに入力して特徴抽出し、マルチスケールにおける各スケールの顔画像のしわ特徴を得るための特徴抽出モジュール５０２と、
顔画像の同じ領域に位置する各スケールのしわ特徴を融合させ、顔画像のしわ認識結果を得るための融合モジュール５０３とを含む。
本開示のもう１つの実施形態において、認識装置は、図６が示す第１の前処理モジュールと第２の前処理モジュールとをさらに備える。
第１前処理モジュール５０４は、人間の顔画像の画素を均一化処理し、均一化処理後の顔画像を得るために用いられる。
第２前処理モジュール５０５は、均一化処理後の顔画像の画素分散を正規化処理し、前処理された顔画像を得るために用いられる。
本開示のもう１つの実施形態において、図７が示すように、認識装置における特徴抽出モジュールは、
ラベル付けされた顔画像をマルチスケールの伸縮処理を行い、マルチスケールの顔画像を得るための処理ユニット５１２と、
マルチスケールの顔画像を基幹ネットワークモデルに入力し、マルチスケールにおける各スケールの顔画像のしわ特徴を得るための特徴獲得ユニット５２２とを含む。
本開示の実施形態は、電子デバイスおよび可読記憶媒体をさらに提供する。
図８は、本開示の実施形態による認識方法の電子デバイスのブロック図である。電子デバイスは、様々な形態のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の好適なコンピュータを表すことを目的としている。また、電子デバイスはまた、様々な形態のモバイルデバイス、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似のコンピューティングデバイスを表すことができる。本明細書に記載のコンポーネント、それらの接続及び関係、ならびにそれらの機能は、例としてのみ意図されており、本明細書に記載及び／または要求される本開示の実現を限定することを意図するものではない。
図８に示すように、１つまたは複数のプロセッサ８０１、メモリ８０２、及び各コンポーネントを接続するための、高速インターフェース及び低速インターフェースを含むインターフェースを有する。様々なコンポーネントは、異なるバスを用いて相互に接続されており、共通のマザーボード上に実装されてもよいし、必要に応じて他の方式で実装されてもよい。プロセッサは、電子デバイス内で実行される命令を処理してもよく、当該命令は、メモリにまたはメモリ上に記憶され、外部入出力装置（例えば、インターフェースに結合されたディスプレイ装置）にＧＵＩのグラフィカル情報を表示させるための命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び／または複数のバスを複数のメモリと一緒に使用してもよい。同様に、複数の電子デバイスが接続されていてもよく、個々のデバイスが必要な操作の一部を提供する（例えば、サーバアレイ、ブレードサーバのグループ、またはマルチプロセッサシステムとして）。図８は、一つのプロセッサ８０１を例としている。
メモリ８０２は、本開示によって提供される非一過性コンピュータ可読記憶媒体である。なお、メモリは、本開示により提供される認識方法を前記少なくとも１つのプロセッサに実行させるために、前記少なくとも１つのプロセッサにより実行可能な命令を記憶している。本開示の非一過性コンピュータ可読記憶媒体は、本開示によって提供される認識方法をコンピュータに実行させるために使用されるコンピュータ命令を記憶している。
メモリ８０２は、非一過性コンピュータ可読記憶媒体として、非一過性ソフトウェアプログラム、非一過性コンピュータ実行可能プログラム、及びモジュール、例えば、本開示の実施形態における認識方法に対応するプログラム命令／モジュール（例えば、図５に示す認識モジュール５０１、特徴抽出モジュール５０２、融合モジュール５０３）を格納するために使用することができる。プロセッサ８０１は、メモリ８０２に格納された非一過性ソフトウェアプログラム、命令、およびモジュールを実行することにより、サーバの各種機能アプリケーション及びデータ処理を実行して、各種機能アプリケーション及びデータ処理を実行して、上述した方法の実施形態における認識方法を実現する。
メモリ８０２は、プログラム記憶領域とデータ記憶領域とを含んでもよく、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを格納してもよく、データ記憶領域は、画像認識電子デバイスの使用により作成されたデータなどを格納してもよい。さらに、メモリ８０２は、高速ランダムアクセスメモリを含んでもよく、また、少なくとも１つのディスクメモリ装置、フラッシュメモリ装置、または他の非一過性ソリッドステートメモリ装置などの非一過性メモリを含んでもよい。いくつかの実施形態では、メモリ８０２は、プロセッサ８０１に対して相対的に遠隔に配置されたメモリを含むことが好ましく、これらの遠隔メモリは、ネットワークを介して、本実施形態の画像認識電子デバイスに接続されてもよい。前記ネットワークの例としては、インターネット、企業のイントラネット、ローカルエリアネットワーク、移動体通信ネットワーク、及びそれらの組合せが挙げられるが、これらに限定されない。
認識方法の電子デバイスは、さらに、入力装置８０３と出力装置８０４とを含むことができる。プロセッサ８０１、メモリ８０２、入力装置８０３、および出力装置８０４は、バスを介して接続されていてもよく、他の方式で接続されていてもよく、図８ではバスを介した接続を例に挙げている。
入力装置８０３は、入力された数値情報または文字情報を受信するとともに、画像認識電子デバイスのユーザ設定および機能制御に関するキー信号入力を生成することができ、例えばタッチスクリーン、キーパッド、マウス、トラックボード、タッチパッド、指示棒、１つまたは複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置を含む。出力装置８０４は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含んでもよい。当該表示装置としては、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）、プラズマディスプレイなどが挙げられるが、これらに限定されない。いくつかの実施形態では、表示装置はタッチスクリーンであってもよい。
本開示におけるシステムおよび技術に係る様々な実施形態は、デジタル電子回路システム、集積回路システム、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ、ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせによって実現されることができる。これらの様々な実施形態は、１つまたは複数のコンピュータプログラムにおいて実装されてもよく、この１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステム上で実行されてもよく、および／または解釈されてもよく、このプログラマブルプロセッサは、専用または汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置より、データと命令を受信し、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置に、データと命令を送信する。
これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードともいう）は、プログラマブルプロセッサのマシン命令を含み、プロセス指向および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／マシン言語を用いてこれらの計算プログラムを実施することができる。本開示で使用されるように、「機械可読媒体」および「コンピュータ可読媒体」という用語は、マシン命令および／またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、および／または装置（例えば、磁気ディスク、光ディスク、メモリ、編集可能論理デバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）を意味し、機械読み取り可能な信号としてのマシン命令を受信する機械可読媒体を含む。「機械読み取り可能な信号」という用語は、マシン命令および／またはデータをプログラマブルプロセッサに提供するための任意の信号を意味する。
ユーザとのイントラクションを提供するために、本開示で説明されているシステムや技術は、コンピュータ上で実施されてもよく、また、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ブラウン管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、入力をコンピュータに提供するためのキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えてもよい。他の種類の装置も、ユーザとのイントラクションを提供するために使用され得る。例えば、ユーザに提供されたフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザからの入力は、いかなる形式（音響入力、音声入力、または触覚入力を含む）で受信されてもよい。
本明細書に記載されているシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバー）、ミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースまたはウェブブラウザーを備えたユーザコンピューター。当該グラフィカルユーザインターフェースまたは当該ウェブブラウザーを介して、ユーザはここで説明するシステムおよび技術の実装とインタラクティブできる）、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムで実装されてもよい。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して相互に接続されていてもよい。通信ネットワークの例としては、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、インターネット、ブロックチェーンネットワークなどがある。
コンピュータシステムは、クライアントとサーバを含むことができる。クライアントとサーバは一般的に互いに遠隔地にあり、通常は通信ネットワークを介してインタラクティブする。クライアント－サーバ関係は、対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生成される。
本開示の実施形態に係る技術よれば、前処理された顔画像を五官認識し、その後、五官認識の結果に基づいてマルチスケールの顔画像を取得し、さらにマルチスケールの顔画像を基幹ネットワークモデルに入力して特徴抽出することにより、マルチスケールにおける各スケールの顔画像のしわ特徴を得ることができる。マルチスケールを融合するため、微細なしわも正確に認識できることを確実にし、隠されている潜在的な微細なしわを正確に分割するができ、よって認識の精度を高めることができる。本実施形態では、基幹ネットワークモデルによりパラメータ共有を行い、入力端から出力端までに、各しわの輪郭の座標及び各しわの面積を直接的に出力する。本実施形態では、マルチスケール入力とマルチスケール出力の融合したネットワーク構造を採用しており、隠されている潜在的な微細なしわを正確に分割することができ、異なる光照射環境においても顔のしわを正確に分割することができる。
上述した処理の様々なプロセスを用いて、順序を変えたり、ステップを追加または削除したりすることができることが理解されるべきである。例えば、本開示に記載の各ステップは、並行して実行されてもよく、順次実行されてもよく、異なる順序で実行されてもよく、本開示に開示された技術案の所望の結果が達成される限り、限定はしない。
上記の具体的な実施形態は、本開示の保護範囲の制限を構成するものではない。設計要件および他の要因に応じて、様々な変更、組み合わせ、サブ組み合わせおよび置換が行われ得ることは、当業者によって理解されるべきである。本開示の要旨および原則の範囲内で行われる如何なる修正、同等の代替、改良等は、すべて本開示の保護範囲に含まれる。

Claims (13)

  1. 前処理された顔画像を五官認識し、前記顔画像において顔の五官の位置をラベル付けし、ラベル付けされた顔画像を得ることと、
    ラベル付けされた顔画像のマルチスケールの顔画像を決定し、前記マルチスケールの顔画像を基幹ネットワークモデルに入力して特徴抽出し、マルチスケールにおける各スケールの顔画像のしわ特徴を得ることと、
    顔画像の同じ領域に位置する各スケールの前記しわ特徴を融合させ、顔画像のしわ認識結果を得ることとを含む画像認識方法。
  2. 前記顔画像の画素を均一化処理し、均一化処理後の顔画像を得ることと、
    前記均一化処理後の顔画像の画素分散を正規化処理し、前記前処理された顔画像を得ることとを含むことを特徴とする請求項１に記載の画像認識方法。
  3. 前記の、前記顔画像を基幹ネットワークに入力して特徴抽出し、異なるスケールの顏画像のしわ特徴を得ることは、
    前記ラベル付けされた顔画像をマルチスケールの伸縮処理を行い、前記マルチスケールの顔画像を得ることと、
    前記マルチスケールの顔画像を前記基幹ネットワークモデルに入力して、前記マルチスケールにおける各スケールの顔画像のしわ特徴を得ることとを含むことを特徴とする請求項１に記載の画像認識方法。
  4. 前記マルチスケールの顔画像を前記基幹ネットワークモデルに入力し、顔の五官領域認識結果をさらに得ることを特徴とする請求項３に記載の画像認識方法。
  5. 前記の、顔画像の同じ領域に位置する異なるスケールの前記しわ特徴を融合させ、前記顔画像のしわ認識結果を得ることは、
    前記顔画像のしわ認識結果に対応する顔領域が、しわが存在しない五官領域である場合、当該顔画像のしわ認識結果を無視することを特徴とする請求項３に記載の画像認識方法。
  6. 前処理された顔画像を五官認識し、前記顔画像において顔の五官の位置をラベル付けし、ラベル付けされた顔画像を得るための認識モジュールと、
    ラベル付けされた顔画像のマルチスケールの顔画像を決定し、前記マルチスケールの顔画像を基幹ネットワークモデルに入力して特徴抽出し、マルチスケールにおける各スケールの顔画像のしわ特徴を得るための特徴抽出モジュールと、
    顔画像の同じ領域に位置する各スケールのしわ特徴を融合させ、前記顔画像のしわ認識結果を得るための融合モジュールとを含むことを特徴とする画像認識装置。
  7. 前記顔画像の画素を均一化処理し、均一化処理後の顔画像を得るための第１前処理モジュールと、
    前記均一処理後の顔画像の画素分散を正規化処理し、前記前処理された顔画像を得るための第２の前処理モジュールとを含むことを特徴とする請求項６に記載の画像認識装置。
  8. 前記特徴抽出モジュールは、
    前記ラベル付けされた顔画像をマルチスケールの伸縮処理を行い、前記マルチスケールの顔画像を得るための処理ユニットと、
    前記マルチスケールの顔画像を前記基幹ネットワークモデルに入力し、前記マルチスケールにおける各スケールの顔画像のしわ特徴を得るための特徴獲得ユニットとを含むことを特徴とする請求項６に記載の画像認識装置。
  9. 前記マルチスケールの顔画像を前記基幹ネットワークモデルに入力して、顔の五官領域認識結果を得ることをさらに含むことを特徴とする請求項８に記載の画像認識装置。
  10. 融合モジュールは、前記顔画像のしわ認識結果に対応する顔領域が、しわが存在しない五官領域である場合、前記顔画像のしわ認識結果を無視することを含むことを特徴とする請求項８に記載の画像認識装置。
  11. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続するメモリとを含み、
    前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令が前記少なくとも１つのプロセッサにより実行されることにより、前記少なくとも１つのプロセッサが請求項１～５のいずれか１項に記載の方法を実行することを特徴とする電子デバイス。
  12. コンピュータ命令を記憶した非一過性コンピュータ可読記憶媒体であって、
    前記コンピュータ命令は、前記コンピュータに請求項１～５のいずれか１項に記載の画像認識方法を実行させるために用いられることを特徴とする非一過性コンピュータ可読記憶媒体。
  13. コンピュータにおいて、プロセッサにより実行される場合、請求項１～５のいずれか一項に記載の画像認識方法を実現することを特徴とするプログラム。
JP2021051228A 2020-06-29 2021-03-25 画像認識方法、装置、デバイス、コンピュータ記憶媒体、及びプログラム Active JP7106705B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010605404.9 2020-06-29
CN202010605404.9A CN111767846B (zh) 2020-06-29 2020-06-29 图像识别方法、装置、设备和计算机存储介质

Publications (2)

Publication Number Publication Date
JP2021103568A JP2021103568A (ja) 2021-07-15
JP7106705B2 true JP7106705B2 (ja) 2022-07-26

Family

ID=72724311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021051228A Active JP7106705B2 (ja) 2020-06-29 2021-03-25 画像認識方法、装置、デバイス、コンピュータ記憶媒体、及びプログラム

Country Status (5)

Country Link
US (1) US11687779B2 (ja)
EP (1) EP3859604A3 (ja)
JP (1) JP7106705B2 (ja)
KR (1) KR102597377B1 (ja)
CN (1) CN111767846B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364846B (zh) * 2021-01-12 2021-04-30 深圳市一心视觉科技有限公司 一种人脸活体识别方法、装置、终端设备及存储介质
CN113378696A (zh) * 2021-06-08 2021-09-10 北京百度网讯科技有限公司 图像处理方法、装置、设备及存储介质
CN113499034A (zh) * 2021-06-29 2021-10-15 普希斯(广州)科技股份有限公司 一种皮肤检测方法、系统及美容装置
CN113705565A (zh) * 2021-08-10 2021-11-26 北京中星天视科技有限公司 舰船检测方法、装置、电子设备和计算机可读介质
US11308359B1 (en) * 2021-10-27 2022-04-19 Deeping Source Inc. Methods for training universal discriminator capable of determining degrees of de-identification for images and obfuscation network capable of obfuscating images and training devices using the same
CN114120404A (zh) * 2021-11-16 2022-03-01 北京百度网讯科技有限公司 人脸识别方法和装置
CN114170662A (zh) * 2021-12-07 2022-03-11 上海瑾盛通信科技有限公司 人脸识别方法及装置、存储介质、电子设备
CN114681793B (zh) * 2022-03-16 2023-10-03 深圳市宗匠科技有限公司 射频仪、电极触点控制方法及计算机可读存储介质
CN114612994A (zh) * 2022-03-23 2022-06-10 深圳伯德睿捷健康科技有限公司 训练皱纹检测模型的方法、装置及检测皱纹的方法、装置
CN116524576B (zh) * 2023-07-03 2023-10-20 广州思林杰科技股份有限公司 基于动态视觉识别的长跑计时方法
CN116823810B (zh) * 2023-08-25 2023-11-17 之江实验室 基于联邦学习的腹部多器官动态增强分割方法及系统
CN117594202B (zh) * 2024-01-19 2024-04-19 深圳市宗匠科技有限公司 一种皱纹尺寸分析方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012243206A (ja) 2011-05-23 2012-12-10 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置および画像処理プログラム
JP2014149677A (ja) 2013-02-01 2014-08-21 Panasonic Corp 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
JP2018005434A (ja) 2016-06-30 2018-01-11 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003842A (ja) 2007-06-25 2009-01-08 Noritsu Koki Co Ltd 画像処理装置及び画像処理方法
JP5882929B2 (ja) 2013-02-26 2016-03-09 日本電信電話株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN110838124B (zh) * 2017-09-12 2021-06-18 深圳科亚医疗科技有限公司 用于分割具有稀疏分布的对象的图像的方法、系统和介质
CN111566693B (zh) * 2018-07-16 2022-05-20 荣耀终端有限公司 一种皱纹检测方法及电子设备
CN111199171B (zh) * 2018-11-19 2022-09-23 荣耀终端有限公司 一种皱纹检测方法和终端设备
CN109635882B (zh) * 2019-01-23 2022-05-13 福州大学 一种基于多尺度卷积特征提取和融合的显著物体检测方法
CN110110637A (zh) * 2019-04-25 2019-08-09 深圳市华嘉生物智能科技有限公司 一种人脸皮肤皱纹自动识别和皱纹严重程度自动分级的方法
CN110335194B (zh) * 2019-06-28 2023-11-10 广州久邦世纪科技有限公司 一种人脸变老图像处理方法
CN111009006A (zh) * 2019-12-10 2020-04-14 广州久邦世纪科技有限公司 一种基于人脸特征点的图像处理方法
CN111310705A (zh) * 2020-02-28 2020-06-19 深圳壹账通智能科技有限公司 图像识别方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012243206A (ja) 2011-05-23 2012-12-10 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置および画像処理プログラム
JP2014149677A (ja) 2013-02-01 2014-08-21 Panasonic Corp 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
JP2018005434A (ja) 2016-06-30 2018-01-11 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Choon-Ching Ng et al.，Will Wrinkle Estimate the Face Age?，2015 IEEE International Conference on Systems, Man, and Cybernetics，米国，IEEE，2015年10月09日，P.2418-2423，https://doi.org/10.1109/SMC.2015.423

Also Published As

Publication number Publication date
EP3859604A2 (en) 2021-08-04
US20210209344A1 (en) 2021-07-08
CN111767846A (zh) 2020-10-13
JP2021103568A (ja) 2021-07-15
KR102597377B1 (ko) 2023-11-01
CN111767846B (zh) 2024-08-23
EP3859604A3 (en) 2021-10-13
KR20210040300A (ko) 2021-04-13
US11687779B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
JP7106705B2 (ja) 画像認識方法、装置、デバイス、コンピュータ記憶媒体、及びプログラム
US11756332B2 (en) Image recognition method, apparatus, device, and computer storage medium
Badi et al. Hand posture and gesture recognition technology
US11403799B2 (en) Method and apparatus for recognizing face-swap, device and computer readable storage medium
CN111862031B (zh) 一种人脸合成图检测方法、装置、电子设备及存储介质
Sharma et al. Air-swipe gesture recognition using OpenCV in Android devices
Zahra et al. Camera-based interactive wall display using hand gesture recognition
Setiawan et al. Deep Belief Networks for Recognizing Handwriting Captured by Leap Motion Controller.
Mei et al. A real-time hand detection system based on multi-feature
Gaikwad et al. Recognition of American sign language using image processing and machine learning
Li et al. A novel art gesture recognition model based on two channel region-based convolution neural network for explainable human-computer interaction understanding
Banerjee et al. A review on artificial intelligence based sign language recognition techniques
Mishra et al. Recognition of hand gestures and conversion of voice for betterment of deaf and mute people
Annachhatre et al. Virtual Mouse Using Hand Gesture Recognition-A Systematic Literature Review
Yoo et al. The study of a classification technique for numeric gaze-writing entry in hands-free interface
Srividya et al. Hand Recognition and Motion Analysis using Faster RCNN
Elmagrouni et al. Approach for improving user interface based on gesture recognition
Parihar et al. Hand Gesture Recognition: A Review
Sinha et al. Real time prediction of american sign language using convolutional neural networks
Dehankar et al. Detecting centroid for hand gesture recognition using morphological computations
Rokade et al. Spelled sentence recognition using radon transform
Batra et al. Commanding Computer using gesture based patterns
Patil et al. Hand Gesture Recognition for Deaf and Dumb
Peshin et al. Check for updates
Basyuk et al. Methodological Foundations of an Information System Construction for the Recognition of Ukrainian Sign

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220713

R150 Certificate of patent or registration of utility model

Ref document number: 7106705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150