JP7296452B2 - データ検出方法、装置、コンピュータ機器及び記憶媒体 - Google Patents

データ検出方法、装置、コンピュータ機器及び記憶媒体 Download PDF

Info

Publication number
JP7296452B2
JP7296452B2 JP2021513443A JP2021513443A JP7296452B2 JP 7296452 B2 JP7296452 B2 JP 7296452B2 JP 2021513443 A JP2021513443 A JP 2021513443A JP 2021513443 A JP2021513443 A JP 2021513443A JP 7296452 B2 JP7296452 B2 JP 7296452B2
Authority
JP
Japan
Prior art keywords
image data
certificate
feature points
preset
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021513443A
Other languages
English (en)
Other versions
JP2022514136A (ja
Inventor
錦倫 黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of JP2022514136A publication Critical patent/JP2022514136A/ja
Application granted granted Critical
Publication of JP7296452B2 publication Critical patent/JP7296452B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Description

本願は、２０１９年１０月１６日に提出された、出願番号が２０１９１０９８４３４９．６号で、発明の名称が「データ検出方法、装置、コンピュータ機器及び記憶媒体」である中国特許出願の優先権を主張するものであり、その全ての内容は、参照により本願に組み込まれるものとする。
本願は、人工知能の技術分野に関し、特にデータの検出方法、装置、コンピュータ機器及び記憶媒体に関する。
証明書画像部（証明書画像データ）に対する分析は、現在の社会の生産と生活において非常に一般的であり、例えば、ある業務を取り扱う際には、証明書画像データを撮影してアップロードする必要がある。証明書画像データ（一般的に撮影された証明書画像データでは、光景の範囲が証明書本体よりも広いため、証明書本体は一般的に証明書画像データ全体を占めることはない）中の証明書本体を正確に検出することができれば、後続の証明書画像データに対する分析を向上させることができる。従来の証明書本体検出方法は、一般的に、ピクセルに基づいて検出して証明書本体の座標（例えば、マトリクス証明書本体の４つの頂点座標）を得るものであり、このような方式は、計算資源が多く消費されるとともに、ぼけた証明書に対する認識精度が低い（証明書がぼけて、その証明書本体の境界が不明瞭であるため、従来の方法で認識された証明書本体は大きくばらつく）という欠点があることを発明者は見出した。
本発明は、データの検出精度を向上させるために、データ検出方法、装置、コンピュータ機器及び記憶媒体を提供することを目的とする。
上記目的を達成するために、第１態様によれば、本願に係るデータ検出方法は、
顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得するステップと、
予め設定された姿勢修正方法によって、前記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得するステップと、
前記中間画像データを予め設定された顔特徴点検出モデルに入力して、前記顔特徴点検出モデルが出力する複数の顔特徴点を算出するステップと、
予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出し、前記複数の顔特徴点がいずれも内部にある、前記複数の顔特徴点の最小外接矩形を生成するステップと、
証明書によって所定の規格文字で予め設定された証明書タイプ取得方法によって、前記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、標準証明書画像データを呼び出すステップであって、前記標準証明書画像データのタイプは、前記指定の証明書タイプであり、標準証明書画像データには、基準矩形と基準中心位置がマークされ、前記標準証明書画像データは、前記標準姿勢で配置された証明書画像が表記されており、前記基準中心位置及び基準矩形は、それぞれ前記クラスタ中心位置及び最小外接矩形にそれぞれ対応するステップと、
前記基準矩形の面積が前記最小外接矩形の面積と等しくなるように前記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像データを取得するステップと、
前記スケールアップ・スケールダウン後の画像データにおける基準中心位置と前記中間画像データにおけるクラスタ中心位置とが重なるように前記スケールアップ・スケールダウン後の画像データと前記標準証明書画像データとをパンによって重ねて、前記中間画像データにおける重なり部分を取得するステップと、
前記中間画像データにおける前記重なり部分を前記指定の証明書画像データにおける証明書の領域を表記する証明書本体として表記するステップとを含み、
前記予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出するステップは、
予め設定された対称点分類方法によって、前記複数の顔特徴点を、それぞれが前記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割するステップと、
予め設定されたクラスタリングアルゴリズムを用いて、全ての対称特徴点の中心である第１のクラスタサブ中心と、全ての非対称特徴点の中心である第２のクラスタサブ中心とをそれぞれ算出するステップと、
前記第１のクラスタサブ中心と前記第２のクラスタサブ中心とを結ぶ線の中点位置を前記複数の顔特徴点のクラスタ中心位置として表記するステップとを含む。
第２様態によれば、本願に係るデータ検出装置は、顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得する指定の証明書画像データ取得ユニットと、
予め設定された姿勢修正方法によって、前記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得する姿勢修正ユニットと、
前記中間画像データを予め設定された顔特徴点検出モデルに入力して、前記顔特徴点検出モデルが出力する複数の顔特徴点を算出する顔特徴点取得ユニットと、
予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出し、前記複数の顔特徴点がいずれも内部にある、前記複数の顔特徴点の最小外接矩形を生成するクラスタ中心位置算出ユニットと、
証明書によって所定の規格文字で予め設定された証明書タイプ取得方法によって、前記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、標準証明書画像データを呼び出す標準証明書画像データ呼出ユニットであって、前記標準証明書画像データのタイプは、前記指定の証明書タイプであり、標準証明書画像データには、基準矩形と基準中心位置がマークされ、前記標準証明書画像データは、前記標準姿勢で配置された証明書画像が表記されており、前記基準中心位置及び基準矩形は、それぞれ前記クラスタ中心位置及び最小外接矩形にそれぞれ対応する標準証明書画像データ呼出ユニットと、
前記基準矩形の面積が前記最小外接矩形の面積と等しくなるように前記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像データを取得するスケールアップ・スケールダウン後の画像データ取得ユニットと、
前記スケールアップ・スケールダウン後の画像データにおける基準中心位置と前記中間画像データにおけるクラスタ中心位置とが重なるように前記スケールアップ・スケールダウン後の画像データと前記標準証明書画像データとをパンによって重ねて、前記中間画像データにおける重なり部分を取得する重なり部分取得ユニットと、
前記中間画像データにおける前記重なり部分を前記指定の証明書画像データにおける証明書の領域を表記する証明書本体として表記する証明書本体表記ユニットとを含み、
クラスタ中心位置算出ユニットは、
予め設定された対称点分類方法によって、前記複数の顔特徴点を、それぞれが前記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割し、
予め設定されたクラスタリングアルゴリズムを用いて、全ての対称特徴点の中心である第１のクラスタサブ中心と、全ての非対称特徴点の中心である第２のクラスタサブ中心とをそれぞれ算出し、
前記第１のクラスタサブ中心と前記第２のクラスタサブ中心とを結ぶ線の中点位置を前記複数の顔特徴点のクラスタ中心位置として表記する。
第３態様によれば、本願に係るコンピュータ機器は、コンピュータ読み取り可能な命令が記憶されているメモリと、前記コンピュータ読み取り可能な命令を実行すると、データ検出方法を実現するプロセッサとを含むコンピュータ機器であって、
前記データ検出方法は、
顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得するステップと、
予め設定された姿勢修正方法によって、前記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得するステップと、
前記中間画像データを予め設定された顔特徴点検出モデルに入力して、前記顔特徴点検出モデルが出力する複数の顔特徴点を算出するステップと、
予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出し、前記複数の顔特徴点がいずれも内部にある、前記複数の顔特徴点の最小外接矩形を生成するステップと、
証明書によって所定の規格文字で予め設定された証明書タイプ取得方法によって、前記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、標準証明書画像データを呼び出すステップであって、前記標準証明書画像データのタイプは、前記指定の証明書タイプであり、標準証明書画像データには、基準矩形と基準中心位置がマークされ、前記標準証明書画像データは、前記標準姿勢で配置された証明書画像が表記されており、前記基準中心位置及び基準矩形は、それぞれ前記クラスタ中心位置及び最小外接矩形にそれぞれ対応するステップと、
前記基準矩形の面積が前記最小外接矩形の面積と等しくなるように前記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像データを取得するステップと、
前記スケールアップ・スケールダウン後の画像データにおける基準中心位置と前記中間画像データにおけるクラスタ中心位置とが重なるように前記スケールアップ・スケールダウン後の画像データと前記標準証明書画像データとをパンによって重ねて、前記中間画像データにおける重なり部分を取得するステップと、
前記中間画像データにおける前記重なり部分を前記指定の証明書画像データの証明書本体として表記するステップとを含み、
前記予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出するステップは、
予め設定された対称点分類方法によって、前記複数の顔特徴点を、それぞれが前記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割するステップと、
予め設定されたクラスタリングアルゴリズムを用いて、全ての対称特徴点の中心である第１のクラスタサブ中心と、全ての非対称特徴点の中心である第２のクラスタサブ中心とをそれぞれ算出するステップと、
前記第１のクラスタサブ中心と前記第２のクラスタサブ中心とを結ぶ線の中点位置を前記複数の顔特徴点のクラスタ中心位置として表記するステップとを含む。
第４様態によれば、本願に係るコンピュータ読み取り可能な記憶媒体は、プロセッサによって実行されると、データ検出方法を実現するコンピュータ読み取り可能な命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記データ検出方法は、
顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得するステップと、
予め設定された姿勢修正方法によって、前記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得するステップと、
前記中間画像データを予め設定された顔特徴点検出モデルに入力して、前記顔特徴点検出モデルが出力する複数の顔特徴点を算出するステップと、
予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出し、前記複数の顔特徴点がいずれも内部にある、前記複数の顔特徴点の最小外接矩形を生成するステップと、
証明書によって所定の規格文字で予め設定された証明書タイプ取得方法によって、前記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、標準証明書画像データを呼び出すステップであって、前記標準証明書画像データのタイプは、前記指定の証明書タイプであり、標準証明書画像データには、基準矩形と基準中心位置がマークされ、
前記標準証明書画像データは、前記標準姿勢で配置された証明書画像が表記されており、前記基準中心位置及び基準矩形は、それぞれ前記クラスタ中心位置及び最小外接矩形にそれぞれ対応するステップと、
前記基準矩形の面積が前記最小外接矩形の面積と等しくなるように前記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像データを取得するステップと、
前記スケールアップ・スケールダウン後の画像データにおける基準中心位置と前記中間画像データにおけるクラスタ中心位置とが重なるように前記スケールアップ・スケールダウン後の画像データと前記標準証明書画像データとをパンによって重ねて、前記中間画像データにおける重なり部分を取得するステップと、
前記中間画像データにおける前記重なり部分を前記指定の証明書画像データの証明書本体として表記するステップとを含み、
前記予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出するステップは、
予め設定された対称点分類方法によって、前記複数の顔特徴点を、それぞれが前記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割するステップと、
予め設定されたクラスタリングアルゴリズムを用いて、全ての対称特徴点の中心である第１のクラスタサブ中心と、全ての非対称特徴点の中心である第２のクラスタサブ中心とをそれぞれ算出するステップと、
前記第１のクラスタサブ中心と前記第２のクラスタサブ中心とを結ぶ線の中点位置を前記複数の顔特徴点のクラスタ中心位置として表記するステップとを含む。
本願に係るデータ検出方法、装置、コンピュータ機器及び記憶媒体は、データの検出精度を向上させる。
本願の一実施例に係るデータ検出方法を模式的に示すフローチャートである。 本願の一実施例に係るデータ検出装置の構成を模式的に示すブロック図である。 本願の一実施例に係るコンピュータ機器の構成を模式的に示すブロック図である。
図１を参照すると、本願実施例に係るデータ検出方法は、
顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得するステップＳ１と、
予め設定された姿勢修正方法によって、上記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得するステップＳ２と、
上記中間画像データを予め設定された顔特徴点検出モデルに入力して、上記顔特徴点検出モデルが出力する複数の顔特徴点を算出するステップＳ３と、
予め設定されたクラスタリングアルゴリズムを用いて、上記複数の顔特徴点のクラスタ中心位置を算出し、上記複数の顔特徴点がいずれも内部にある、上記複数の顔特徴点の最小外接矩形を生成するステップＳ４と、
証明書によって所定の規格文字で予め設定された証明書タイプ取得方法によって、上記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、標準証明書画像データを呼び出すステップであって、前記標準証明書画像データのタイプは、前記指定の証明書タイプであり、標準証明書画像データには、基準矩形と基準中心位置がマークされ、前記標準証明書画像データは、前記標準姿勢で配置された証明書画像が表記されており、前記基準中心位置及び基準矩形は、それぞれ前記クラスタ中心位置及び最小外接矩形にそれぞれ対応するステップＳ５と、
前記基準矩形の面積が前記最小外接矩形の面積と等しくなるように前記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像データを取得するステップＳ６と、
上記スケールアップ・スケールダウン後の画像部における基準中心位置と上記中間画像データにおけるクラスタ中心位置とが重なるように上記スケールアップ・スケールダウン後の画像データと上記標準証明書画像データとをパンによって重ねて、上記中間画像データにおける重なり部分を取得するステップＳ７と、
上記中間画像データにおける上記重なり部分を上記指定の証明書画像データの証明書本体として表記するステップＳ８とを含み、
前記予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出するステップは、
予め設定された対称点分類方法によって、前記複数の顔特徴点を、それぞれが前記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割するステップと、
予め設定されたクラスタリングアルゴリズムを用いて、全ての対称特徴点の中心である第１のクラスタサブ中心と、全ての非対称特徴点の中心である第２のクラスタサブ中心とをそれぞれ算出するステップと、
前記第１のクラスタサブ中心と前記第２のクラスタサブ中心とを結ぶ線の中点位置を前記複数の顔特徴点のクラスタ中心位置として表記するステップとを含む。
上記ステップＳ１で説明したように、顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得する。一般的な証明書画像データは基本的に顔を含み、本願に係るデータ検出方法は顔検出に基づいて実現されるものであるため、顔を含む証明書画像データに用いることができ、適用性が広い。
上記ステップＳ２で説明したように、予め設定された姿勢修正方法によって、上記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得する。指定の証明書画像データは任意の姿勢で配置される可能性があるため、それを標準姿勢で配置されるように調整しないと、後続の計算に悪影響を及ぼす。したがって、予め設定された姿勢修正方法によって、上記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得する。上記標準姿勢は、任意の形式で配置された姿勢であってもよく、好ましくは、観察又は処理に最適な姿勢である（すなわち、画面内に表示される場合には、上記中間画像データの正面が画面に面している閲覧者に向く）。なお、姿勢修正方法は、例えば、予め設定された画像エッジ検出方法を用いて、上記指定の証明書画像データにおける複数のエッジを検出し、上記複数のエッジから、互いに平行でかつ等しい二本の指定のエッジ線分からなる指定のエッジペアを取得するステップと、上記指定のエッジ線分の長さが、Ｍ＝ｍａｘ（Ｍ１，Ｍ２，…，Ｍｎ）（ここで、Ｍは上記指定のエッジ線分の長さであり、Ｍ１、Ｍ２、…Ｍｎは上記複数のエッジにおける全てのエッジ線分の長さであり、上記複数のエッジには合計でｎ個のエッジ線分がある）を満たすか否かを判断するステップと、上記指定のエッジ線分の長さが、Ｍ＝ｍａｘ（Ｍ１，Ｍ２，…，Ｍｎ）を満たせば、上記指定のエッジペアが予め設定された基準直線に平行である指定姿勢で、上記指定の証明書画像データを配置して、第１の画像データを得るステップと、上記第１の画像データを予め設定された画像姿勢分類モデルに入力して、上記画像姿勢分類モデルが出力する、上記標準姿勢、上記標準姿勢に対して反時計回りに９０度回転すること、上記標準姿勢に対して反時計回りに１８０度回転すること、又は上記標準姿勢に対して反時計回りに２７０度回転することを含む分類結果を算出するステップと、上記分類結果が上記標準姿勢であるか否かを判断するステップと、上記分類結果が上記標準姿勢でなければ、上記分類結果に基づいて上記第１の画像部を回転させて、予め設定された標準姿勢で配置された中間画像データを取得するステップとを含む。
上記ステップＳ３で説明したように、上記中間画像データを予め設定された顔特徴点検出モデルに入力して、上記顔特徴点検出モデルが出力する複数の顔特徴点を算出する。上記顔特徴点検出モデルは、顔における特別な位置、例えば、対称な瞳等を検出するために用いられる。上記顔特徴点検出モデルの取得方法は、例えば、標準姿勢で配置された証明書画像部と上記標準姿勢で配置された証明書データにマークされた顔特徴点とのみからなる、予め収集されたサンプルデータを取得し、上記サンプルデータをトレーニングデータとテストデータとに分割するステップと、上記トレーニングデータを用いてランダム勾配降下法を用いて予め設定されたニューラルネットワークモデルをトレーニングして、一時的モデルを得るステップと、上記テストデータを用いて上記一時的モデルを検証し、検証が通過したか否かを判断するステップと、検証が通過すれば、上記一時的モデルを上記顔特徴点検出モデルとして表記するステップとを含む。
上記ステップＳ４で説明したように、予め設定されたクラスタリングアルゴリズムを用いて、上記複数の顔特徴点のクラスタ中心位置を算出し、上記複数の顔特徴点がいずれも内部にある、上記複数の顔特徴点の最小外接矩形を生成する。なお、上記クラスタリングアルゴリズムは、任意の実行可能なアルゴリズムであってもよく、例えば、ｋｎｎクラスタリングアルゴリズム等である。さらに、上記複数の顔特徴点のクラスタ中心位置を算出する方法は、例えば、予め設定された対称点分類方法によって、上記複数の顔特徴点を、それぞれが上記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割するステップと、予め設定されたクラスタリングアルゴリズムを用いて、全ての対称特徴点の中心である第１のクラスタサブ中心と、全ての非対称特徴点の中心である第２のクラスタサブ中心とをそれぞれ算出するステップと、上記第１のクラスタサブ中心と上記第２のクラスタサブ中心とを結ぶ線の中点位置を上記複数の顔特徴点のクラスタ中心位置として表記するステップとを含む。それによりクラスタ中心位置を取得する効率を向上させる。
上記ステップＳ５で説明したように、予め設定された証明書タイプ取得方法によって、上記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、タイプが上記指定の証明書タイプであり、基準矩形と基準中心位置がマークされ、証明書画像で埋めている標準証明書画像データを呼び出す。上記基準矩形と基準中心位置は、それぞれ上記最小外接矩形と上記クラスタ中心位置に対応し、最終的な証明書本体を確定するための根拠とする。なお、上記証明書タイプ取得方法は、例えば、予め設定された文字認識技術により、上記指定の証明書画像データを認識して、文字テキストを得るステップと、
上記文字テキストと予め記憶された複数の基準テキストとの類似度の値Ｓｉｍを、式
Figure 0007296452000001
（ここで、Ｐは上記文字テキストの用語頻度ベクトルであり、Ｋは上記基準テキストの用語頻度ベクトルであり、Ｐｉは上記文字テキストにおけるｉ番目の単語が現われる回数であり、Ｋｉは上記基準テキストにおけるｉ番目の単語が現われる回数である）により算出するステップと、上記類似度の値Ｓｉｍが予め設定された類似度の閾値よりも大きいか否かを判断するステップと、上記類似度の値Ｓｉｍが予め設定された類似度の閾値よりも大きければ、予め設定された指定の証明書画像部文字テキスト－基準テキスト－証明書タイプの対応関係に基づいて、上記指定の証明書画像データに対応する指定の証明書タイプを取得するステップとを含む。
上記ステップＳ６で説明したように、上記基準矩形の面積が上記最小外接矩形の面積と等しくなるように上記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像データを取得する。なお、上記標準証明書画像データをスケールアップ・スケールダウンする方式を採用することにより、上記標準証明書画像データの基準中心位置、基準矩形と証明書画像データの相対的比例関係をそのまま維持することができる。さらに、上記基準矩形の面積を上記最小外接矩形の面積と等しくして、スケールアップ・スケールダウン後の画像データを得ることにより、リアルな証明書画像データに対するスケールアップ・スケールダウン後の画像データの比例関係が、リアルな証明書画像データに対する上記中間画像データの比例関係と等しくなるようにする。これにより、上記スケールアップ・スケールダウン後の画像データと上記標準証明書画像データとを重ねて、証明書本体を検出することができる。
上記ステップＳ７で説明したように、上記スケールアップ・スケールダウン後の画像データにおける基準中心位置と上記中間画像データにおけるクラスタ中心位置とが重なるように上記スケールアップ・スケールダウン後の画像データと上記標準証明書画像データとをパンによって重ねて、上記中間画像データにおける重なり部分を取得する。なお、パンを用いる目的は、比例関係が再び変化して後続の検出結果に影響を与えることを防止するためである。前述した内容から分かるように、リアルな証明書画像データに対するスケールアップ・スケールダウン後の画像データの比例関係は、リアルな証明書画像データに対する上記中間画像データの比例関係と等しい。また、上記標準証明書画像データは上記標準証明書画像部データにおける証明書画像で埋めている。したがって、上記中間画像データにおける重なり部分は、証明書本体である。
上記ステップＳ８で説明したように、上記中間画像データにおける上記重なり部分を上記指定の証明書画像データの証明書本体として表記する。さらに、上記中間画像データにおける、上記証明書本体以外の領域を除去するための切り取り操作を行うことで、後続の画像部処理動作における、上記他の領域に対する無意味な処理が省略され、計算力の無駄を回避することができる。
一実施形態において、上記ステップＳ２は、
予め設定された画像エッジ検出方法を用いて、上記指定の証明書画像データにおける複数のエッジを検出し、上記複数のエッジから、互いに平行でかつ等しい二本の指定のエッジ線分からなる指定のエッジペアを取得するステップＳ２０１と、
上記指定のエッジ線分の長さが、Ｍ＝ｍａｘ（Ｍ１，Ｍ２，…，Ｍｎ）（ここで、Ｍは上記指定のエッジ線分の長さであり、Ｍ１、Ｍ２、…Ｍｎは上記複数のエッジにおける全てのエッジ線分の長さであり、上記複数のエッジには合計でｎ個のエッジ線分がある）を満たすか否かを判断するステップＳ２０２と、
上記指定のエッジ線分の長さが、Ｍ＝ｍａｘ（Ｍ１，Ｍ２，…，Ｍｎ）を満たせば、上記指定のエッジペアが予め設定された基準直線に平行である指定姿勢で、上記指定の証明書画像データを配置して、第１の画像データを得るステップＳ２０３と、
上記第１の画像データを予め設定された画像姿勢分類モデルに入力して、上記画像姿勢分類モデルが出力する、上記標準姿勢、上記標準姿勢に対して反時計回りに９０度回転すること、上記標準姿勢に対して反時計回りに１８０度回転すること、又は上記標準姿勢に対して反時計回りに２７０度回転することを含む分類結果を算出するステップＳ２０４と、
上記分類結果が上記標準姿勢であるか否かを判断するステップＳ２０５と、
上記分類結果が上記標準姿勢でなければ、上記分類結果に基づいて上記第１の画像データを回転させて、予め設定された標準姿勢で配置された中間画像データを取得するステップＳ２０６とを含む。
上述したように、予め設定された姿勢修正方法によって、上記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得することが実現される。上記画像エッジ検出方法は、例えば、上記指定の証明書画像データに対して輪郭認識を行うことにより輪郭を得て、輪郭線を上記エッジとする。上記指定の証明書画像データにおける最大の輪郭が矩形の証明書画像であるため、上記指定のエッジペアは、上記証明書画像の一対の平行辺である可能性があり、上記指定のエッジ線分の長さが、Ｍ＝ｍａｘ（Ｍ１，Ｍ２，…，Ｍｎ）を満たせば、上記指定のエッジペアが上記証明書画像の最も長い一対の平行辺であると特定できるため、上記指定のエッジペアが予め設定された基準直線に平行である指定姿勢で、上記指定の証明書画像データを配置して、第１の画像データを得る。上記第１の画像データを予め設定された画像姿勢分類モデルに入力して、上記画像姿勢分類モデルが出力する、上記標準姿勢、上記標準姿勢に対して反時計回りに９０度回転すること、上記標準姿勢に対して反時計回りに１８０度回転すること、又は上記標準姿勢に対して反時計回りに２７０度回転することを含む分類結果を算出する。上記分類結果が上記標準姿勢でなければ、上記分類結果に基づいて上記第１の画像データを回転させて、予め設定された標準姿勢で配置された中間画像データを取得することにより、上記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正する。上記画像姿勢分類モデルは、任意の実行可能なモデルであってもよく、例えば、ニューラルネットワークモデル、ｉｎｃｅｐｔｉｏｎ－ｖ３（オープンエンドモデル－Ｖ３型とも訳される）分類モデル等である。本願では、指定のエッジ線分が認識され、画像姿勢分類モデルを用いて姿勢認識が行われるので、姿勢修正の精度を確保することができ、取得された中間画像データを標準姿勢で確実に配置することを確保することができる。
一実施形態において、上記画像姿勢分類モデルは、ｉｎｃｅｐｔｉｏｎ－ｖ３分類モデルに基づいてトレーニングされたものであり、上記ステップＳ２０４の前に、
それぞれが標準姿勢で配置されるように予め設定された証明書画像データからなる所定数のトレーニングサンプルを含む第１のトレーニングセットを取得するステップＳ２０３１と、
上記第１のトレーニングセットの全ての証明書画像データを反時計回りに９０度、反時計回りに１８０度、および反時計回りに２７０度回転させることにより、対応する第２のトレーニングセット、第３のトレーニングセット及び第４のトレーニングセットを得るステップＳ２０３２と、
同じラウンドでトレーニングするときに、第１のトレーニングセット、第２のトレーニングセット、第３のトレーニングセット及び第４のトレーニングセットからそれぞれ同じ数の証明書画像データをトレーニングデータとして抽出するラウンドトレーニングの方式を採用して、予め設定されたｉｎｃｅｐｔｉｏｎ－ｖ３分類モデルをトレーニングして、上記画像姿勢分類モデルを取得するステップＳ２０３３とを含む。
上述したように、画像姿勢分類モデルを取得することが実現される。上記ｉｎｃｅｐｔｉｏｎ－ｖ３分類モデルは、Ｉｎｃｅｐｔｉｏｎ分類モデルの１種であり、ディープニューラルネットワークモデルであり、特に画像分類に適したものであり、成熟した分類モデルであるため、ここでは説明を省略する。本願は、隣接するトレーニングセット間の画像データの角度差が９０である第１のトレーニングセット、第２のトレーニングセット、第３のトレーニングセット及び第４のトレーニングセットを構築する方式を採用して、４つのトレーニングセットを形成し、かつラウンドトレーニングの方式を採用してトレーニングすることで、均一なトレーニングを確保することができ、得られた画像姿勢分類モデルが特定の姿勢の分類のみに適用されることを回避し、画像姿勢分類モデルのロバスト性を向上させることができる。
一実施形態において、上記顔特徴点検出モデルは、ニューラルネットワークモデルに基づいてトレーニングされたものであり、上記ステップＳ３の前に、
標準姿勢で配置された証明書画像部と上記標準姿勢で配置された証明書画像データにマークされた顔特徴点とのみからなる、予め収集されたサンプルデータを取得し、上記サンプルデータをトレーニングデータとテストデータとに分割するステップＳ２１と、
上記トレーニングデータを用いてランダム勾配降下法を用いて予め設定されたニューラルネットワークモデルをトレーニングして、一時的モデルを得るステップＳ２２と、
上記テストデータを用いて上記一時的モデルを検証し、検証が通過したか否かを判断するステップＳ２３と、
検証が通過すれば、上記一時的モデルを上記顔特徴点検出モデルとして表記するステップＳ２４とを含む。
上述したように、顔特徴点検出モデルを取得することが実現される。本願は、特別なトレーニングデータを利用してトレーニングを行い、上記特別なトレーニングデータは、標準姿勢で配置された証明書画像データと上記標準姿勢で配置された証明書画像データにマークされた顔特徴点とのみからなるデータである。１つの姿勢をとる証明書画像データのみを採用するので、そのトレーニングデータとトレーニング効率の両方が改善されるとともに、前述したように、上記中間画像データが標準姿勢で配置されるので、その認識結果の精度が確保される（トレーニングした顔特徴点検出モデルは、標準姿勢で配置された証明書画像データをちょうど認識することができるためである）。なお、ニューラルネットワークモデルは、例えば、ＶＧＧ－Ｆモデル、ＤＰＮ１３１モデルなどである。ランダム勾配降下法は、全てのトレーニングデータに代えて、いくつかのトレーニングデータをランダムにサンプリングすることにより、トレーニング効率をより一層向上させる。そして、上記一時的モデルを検証し、検証が通過すれば、上記一時的モデルを上記顔特徴点検出モデルとして表記する。これにより、認識精度を低下させることなく、トレーニング効率を向上させることができる。
一実施形態において、上記ステップＳ４は、
予め設定された対称点分類方法によって、上記複数の顔特徴点を、それぞれが上記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割するステップＳ４０１と、
予め設定されたクラスタリングアルゴリズムを用いて、全ての対称特徴点の中心である第１のクラスタサブ中心と、全ての非対称特徴点の中心である第２のクラスタサブ中心とをそれぞれ算出するステップＳ４０２と、
上記第１のクラスタサブ中心と上記第２のクラスタサブ中心とを結ぶ線の中点位置を上記複数の顔特徴点のクラスタ中心位置として表記するステップＳ４０３とを含む。
上述したように、予め設定されたクラスタリングアルゴリズムを用いて、上記複数の基準顔特徴点のクラスタ中心位置を算出することが実現される。顔は対称であるため、顔特徴点も対称である場合が多い。これにより、予め設定された対称点分類方法によって、上記複数の顔特徴点を、それぞれが上記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割する。上記対称軸は、実際に顔の対称軸であり、すなわち人の両眼、両鼻孔、口、耳の対称軸である。上記クラスタリングアルゴリズムは、任意の実行可能なアルゴリズムであってもよく、例えば、ＫＮＮクラスタリングアルゴリズムである。複数の顔特徴点を２つの種類に分割するため、種類ごとにクラスタ計算を行うことで、計算時間を短縮することができる。また、対称点のクラスタ計算により、最終的な第１のクラスタサブ中心が対称軸に位置するため、計算がより容易となり、計算時間がより短縮される。上記第１のクラスタサブ中心と上記第２のクラスタサブ中心とを結ぶ線の中点位置を上記複数の顔特徴点のクラスタ中心位置として表記する。それにより計算の速度が速くなる。
一実施形態において、上記ステップＳ５の前に、
タイプが上記指定の証明書タイプである、予め収集された上記標準姿勢で配置された基準証明書画像データを取得するステップＳ４１と、
上記基準証明書画像データを予め設定された顔特徴点検出モデルに入力して、上記顔特徴点検出モデルが出力する複数の基準顔特徴点を算出するステップＳ４２と、
予め設定されたクラスタリングアルゴリズムを用いて、上記複数の基準顔特徴点のクラスタ中心位置を算出し、基準中心位置として表記するステップＳ４３と、
上記複数の基準顔特徴点の最小外接矩形を生成し、上記複数の基準顔特徴点がいずれも内部にある基準矩形として表記するステップＳ４４と、
上記基準矩形と上記基準中心位置がマークされた上記基準証明書画像データを上記標準証明書画像データとして表記するステップＳ４５とを含む。
上述したように、標準証明書画像データを取得することが実現される。標準証明書画像データは、中間画像部と比較するためのものであるため、標準証明書画像部データの取得方法は、できるだけ上記中間画像データの取得方法と同じである必要がある。これにより、タイプが上記指定の証明書タイプである、予め収集された上記標準姿勢で配置された基準証明書画像データを取得し、上記基準証明書画像データを予め設定された顔特徴点検出モデルに入力して、上記顔特徴点検出モデルが出力する複数の基準顔特徴点を算出し、予め設定されたクラスタリングアルゴリズムを用いて、上記複数の基準顔特徴点のクラスタ中心位置を算出し、基準中心位置として表記し、上記複数の基準顔特徴点の最小外接矩形を生成し、上記複数の基準顔特徴点がいずれも内部にある基準矩形として表記する。それにより、得られた標準証明書画像データは上記中間画像データと比較するために用いることができる。取得された標準証明書画像データのタイプ、基準中心位置及び基準矩形が、いずれも上記中間画像部のタイプ、クラスタ中心位置及び最小外接矩形にそれぞれ対応するため、後続の証明書本体の検出精度を確保することができる。
一実施形態において、上記ステップＳ５は、
予め設定された文字認識技術により、上記指定の証明書画像データを認識して、文字テキストを得るステップＳ５０１と、
上記文字テキストと予め記憶された複数の基準テキストとの類似度の値Ｓｉｍを、式
Figure 0007296452000002
（ここで、Ｐは上記文字テキストの用語頻度ベクトルであり、Ｋは上記基準テキストの用語頻度ベクトルであり、Ｐｉは上記文字テキストにおけるｉ番目の単語が現われる回数であり、Ｋｉは上記基準テキストにおけるｉ番目の単語が現われる回数である）により算出するステップＳ５０２と、
対応する類似度の値が他の基準テキストに対応する類似度の値よりも大きい指定の基準テキストを取得するステップＳ５０３と、
予め設定された指定の証明書画像データ文字テキスト－指定の基準テキスト－証明書タイプの対応関係に基づいて、上記指定の証明書画像データに対応する指定の証明書タイプを取得するステップＳ５０４とを含む。
上述したように、予め設定された証明書タイプ取得方法によって、上記証明書画像データの指定の証明書タイプを取得することが実現される。例えば、運転免許証には運転という語句があり、身分証には身分証番号という語句があるなど、異なるタイプの証明書によって、その上の規格文字が異なり、異なるタイプの証明書に全く同じ規格文字がある可能性はないため、証明書タイプの判断根拠とすることができる。これにより、本願は、予め設定された文字認識技術により、上記指定の証明書画像データを認識して、文字テキストを得る。
上記文字テキストと予め記憶された複数の基準テキストとの類似度の値Ｓｉｍを、式
Figure 0007296452000003
（ここで、Ｐは上記文字テキストの用語頻度ベクトルであり、Ｋは上記基準テキストの用語頻度ベクトルであり、Ｐｉは上記文字テキストにおけるｉ番目の単語が現われる回数であり、Ｋｉは上記基準テキストにおけるｉ番目の単語が現われる回数である）により算出する。対応する類似度の値が他の基準テキストに対応する類似度の値よりも大きい指定の基準テキストを取得する。予め設定された指定の証明書画像データ文字テキスト－指定の基準テキスト－証明書タイプの対応関係に基づいて、上記指定の証明書画像データに対応する指定の証明書タイプを取得する。なお、上記複数の基準テキストは、異なるタイプの空白証明書を認識することにより対応して取得される。なお、上記文字テキストには必然的に全ての規格文字が含まれており、特定のタイプの証明書画像データにも同じ規格文字が含まれており、類似度の値Ｓｉｍに反映すると、上記指定の基準テキスト（すなわち、同じタイプの証明書画像データに対応する基準テキスト）に対応する類似度の値は、他の基準テキストに対応する類似度の値よりも大きい。なお、上記用語頻度ベクトルは、単語が現われる回数を成分ベクトルとして構成される。用語頻度ベクトルに基づく類似度計算方法は、対応する単語ベクトルを取得するために単語ベクトルライブラリを呼び出す必要がないため、計算速度が向上し、上記指定の証明書のタイプを迅速に取得することができる。
図２を参照すると、本願実施例に係るデータ検出装置は、
顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得する指定の証明書画像データ取得ユニット１０と、
予め設定された姿勢修正方法によって、上記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得する姿勢修正ユニット２０と、
上記中間画像データを予め設定された顔特徴点検出モデルに入力して、上記顔特徴点検出モデルが出力する複数の顔特徴点を算出する顔特徴点取得ユニット３０と、
予め設定されたクラスタリングアルゴリズムを用いて、上記複数の顔特徴点のクラスタ中心位置を算出し、上記複数の顔特徴点がいずれも内部にある、上記複数の顔特徴点の最小外接矩形を生成するクラスタ中心位置算出ユニット４０と、
予め設定された証明書タイプ取得方法によって、上記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、タイプが上記指定の証明書タイプであり、基準矩形と基準中心位置がマークされ、証明書画像で埋めている標準証明書画像データを呼び出す標準証明書画像データ呼出ユニット５０と、
上記基準矩形の面積が上記最小外接矩形の面積と等しくなるように上記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像データを取得するスケールアップ・スケールダウン後の画像部取得ユニット６０と、
上記スケールアップ・スケールダウン後の画像データにおける基準中心位置と上記中間画像データにおけるクラスタ中心位置とが重なるように上記スケールアップ・スケールダウン後の画像データと上記標準証明書画像データとをパンによって重ねて、上記中間画像データにおける重なり部分を取得する重なり部分取得ユニット７０と、
上記中間画像データにおける上記重なり部分を上記指定の証明書画像データの証明書本体として表記する証明書本体表記ユニット８０とを含む。
上記ユニットがそれぞれ実行する操作は前述の実施形態のデータ検出方法のステップと一対一に対応するため、ここでは説明を省略する。
一実施形態において、上記姿勢修正ユニット２０は、
予め設定された画像エッジ検出方法を用いて、上記指定の証明書画像データにおける複数のエッジを検出し、上記複数のエッジから、互いに平行でかつ等しい二本の指定のエッジ線分からなる指定のエッジペアを取得するエッジ検出サブユニットと、
上記指定のエッジ線分の長さが、Ｍ＝ｍａｘ（Ｍ１，Ｍ２，…，Ｍｎ）（ここで、Ｍは上記指定のエッジ線分の長さであり、Ｍ１、Ｍ２、…Ｍｎは上記複数のエッジにおける全てのエッジ線分の長さであり、上記複数のエッジには合計でｎ個のエッジ線分がある）を満たすか否かを判断する指定のエッジ線分判断サブユニットと、
上記指定のエッジ線分の長さが、Ｍ＝ｍａｘ（Ｍ１，Ｍ２，…，Ｍｎ）を満たせば、上記指定のエッジペアが予め設定された基準直線に平行である指定姿勢で、上記指定の証明書画像データを配置して、第１の画像部を得る第１の画像データ配置サブユニットと、
上記第１の画像データを予め設定された画像姿勢分類モデルに入力して、上記画像姿勢分類モデルが出力する、上記標準姿勢、上記標準姿勢に対して反時計回りに９０度回転すること、上記標準姿勢に対して反時計回りに１８０度回転すること、又は上記標準姿勢に対して反時計回りに２７０度回転することを含む分類結果を算出する分類結果取得サブユニットと、
上記分類結果が上記標準姿勢であるか否かを判断する標準姿勢判断サブユニットと、
上記分類結果が上記標準姿勢でなければ、上記分類結果に基づいて上記第１の画像部を回転させて、予め設定された標準姿勢で配置された中間画像データを取得する第１の画像部回転サブユニットとを含む。
上記サブユニットがそれぞれ実行する操作は前述の実施形態のデータ検出方法のステップと一対一に対応するため、ここでは説明を省略する。
一実施形態において、上記画像姿勢分類モデルは、ｉｎｃｅｐｔｉｏｎ－ｖ３分類モデルに基づいてトレーニングされたものであり、上記装置は、
それぞれが標準姿勢で配置されるように予め設定された証明書画像データからなる所定数のトレーニングサンプルを含む第１のトレーニングセットを取得する第１のトレーニングセット取得ユニットと、
上記第１のトレーニングセットの全ての証明書画像データを反時計回りに９０度、反時計回りに１８０度、および反時計回りに２７０度回転させて、対応する第２のトレーニングセット、第３のトレーニングセット及び第４のトレーニングセットを得る第１のトレーニングセット回転ユニットと、
同じラウンドでトレーニングするときに、第１のトレーニングセット、第２のトレーニングセット、第３のトレーニングセット及び第４のトレーニングセットからそれぞれ同じ数の証明書画像データをトレーニングデータとして抽出するラウンドトレーニングの方式を採用して、予め設定されたｉｎｃｅｐｔｉｏｎ－ｖ３分類モデルをトレーニングして、上記画像姿勢分類モデルを取得するラウンドトレーニングユニットとを含む。
上記ユニットがそれぞれ実行する操作は前述の実施形態のデータ検出方法のステップと一対一に対応するため、ここでは説明を省略する。
一実施形態において、上記顔特徴点検出モデルは、ニューラルネットワークモデルに基づいてトレーニングされたものであり、上記装置は、
標準姿勢で配置された証明書画像データと上記標準姿勢で配置された証明書画像データにマークされた顔特徴点とのみからなる、予め収集されたサンプルデータを取得し、上記サンプルデータをトレーニングデータとテストデータとに分割するサンプルデータ取得ユニットと、
上記トレーニングデータを用いてランダム勾配降下法を用いて予め設定されたニューラルネットワークモデルをトレーニングして、一時的モデルを得るランダム勾配降下トレーニングユニットと、
上記テストデータを用いて上記一時的モデルを検証し、検証が通過したか否かを判断する一時的モデル検証ユニットと、
検証が通過すれば、上記一時的モデルを上記顔特徴点検出モデルとして表記する顔特徴点検出モデル表記ユニットとを含む。
上記ユニットがそれぞれ実行する操作は前述の実施形態のデータ検出方法のステップと一対一に対応するため、ここでは説明を省略する。
一実施形態において、上記クラスタ中心位置算出ユニット４０は、
予め設定された対称点分類方法によって、上記複数の顔特徴点を、それぞれが上記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割する特徴点分割サブユニットと、
予め設定されたクラスタリングアルゴリズムを用いて、全ての対称特徴点の中心である第１のクラスタサブ中心と、全ての非対称特徴点の中心である第２のクラスタサブ中心とをそれぞれ算出するクラスタ算出サブユニットと、
上記第１のクラスタサブ中心と上記第２のクラスタサブ中心とを結ぶ線の中点位置を上記複数の顔特徴点のクラスタ中心位置として表記するクラスタ中心位置取得サブユニットとを含む。
上記サブユニットがそれぞれ実行する操作は前述の実施形態のデータ検出方法のステップと一対一に対応するため、ここでは説明を省略する。
一実施形態において、上記装置は、
タイプが上記指定の証明書タイプである、予め収集された上記標準姿勢で配置された基準証明書画像データを取得する基準証明書画像データ取得ユニットと、
上記基準証明書画像データを予め設定された顔特徴点検出モデルに入力して、上記顔特徴点検出モデルが出力する複数の基準顔特徴点を算出する基準顔特徴点取得ユニットと、
予め設定されたクラスタリングアルゴリズムを用いて、上記複数の基準顔特徴点のクラスタ中心位置を算出し、基準中心位置として表記する基準中心位置取得ユニットと、
上記複数の基準顔特徴点の最小外接矩形を生成し、上記複数の基準顔特徴点がいずれも内部にある基準矩形として表記する基準矩形取得ユニットと、
上記基準矩形及び上記基準中心位置がマークされた上記基準証明書画像データを上記標準証明書画像データとして表記する標準証明書画像データ表記ユニットとを含む。
上記ユニットがそれぞれ実行する操作は前述の実施形態のデータ検出方法のステップと一対一に対応するため、ここでは説明を省略する。
一実施形態において、上記標準証明書画像データ呼出ユニット５０は、
予め設定された文字認識技術により、上記指定の証明書画像データを認識して、文字テキストを得る指定の証明書画像データ認識サブユニットと、
上記文字テキストと予め記憶された複数の基準テキストとの類似度の値Ｓｉｍを、式
Figure 0007296452000004
（ここで、Ｐは上記文字テキストの用語頻度ベクトルであり、Ｋは上記基準テキストの用語頻度ベクトルであり、Ｐｉは上記文字テキストにおけるｉ番目の単語が現われる回数であり、Ｋｉは上記基準テキストにおけるｉ番目の単語が現われる回数である）により算出する類似度の値Ｓｉｍ算出サブユニットと、
対応する類似度の値が他の基準テキストに対応する類似度の値よりも大きい指定の基準テキストを取得する指定の基準テキスト取得サブユニットと、
予め設定された指定の証明書画像部文字テキスト－指定の基準テキスト－証明書タイプの対応関係に基づいて、上記指定の証明書画像データに対応する指定の証明書タイプを取得する指定の証明書タイプ取得サブユニットとを含む。
上記サブユニットがそれぞれ実行する操作は前述の実施形態のデータ検出方法のステップと一対一に対応するため、ここでは説明を省略する。
図３を参照すると、本願実施例に係るコンピュータ機器は、サーバであってもよく、その内部構成は図示のとおりであってもよい。該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインタフェース及びデータベースを含む。該コンピュータ機器のプロセッサは、計算及び制御能力を提供するために用いられる。該コンピュータ機器のメモリは、不揮発性記憶媒体、内部メモリを含む。該不揮発性記憶媒体には、オペレーティングシステムと、コンピュータ読み取り可能な命令と、データベースとが記憶されている。該内部メモリは、不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータ読み取り可能な命令の実行に環境を提供する。該コンピュータ機器のデータベースは、データ検出方法に用いられるデータを記憶するために用いられる。該コンピュータ機器のネットワークインタフェースは、ネットワークを介して外部の端末と通信するために用いられる。該コンピュータ読み取り可能な命令は、プロセッサによって実行されると、上述したいずれかの実施例に示されたデータ検出方法を実現する。上記プロセッサが上記データ検出方法を実行するステップは、
顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得するステップと、
予め設定された姿勢修正方法によって、上記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得するステップと、
上記中間画像データを予め設定された顔特徴点検出モデルに入力して、上記顔特徴点検出モデルが出力する複数の顔特徴点を算出するステップと、
予め設定されたクラスタリングアルゴリズムを用いて、上記複数の顔特徴点のクラスタ中心位置を算出し、上記複数の顔特徴点がいずれも内部にある、上記複数の顔特徴点の最小外接矩形を生成するステップと、
予め設定された証明書タイプ取得方法によって、上記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、タイプが上記指定の証明書タイプであり、基準矩形と基準中心位置がマークされ、証明書画像で埋めている標準証明書画像データを呼び出すステップと、
上記基準矩形の面積が上記最小外接矩形の面積と等しくなるように上記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像部を取得するステップと、
上記スケールアップ・スケールダウン後の画像部における基準中心位置と上記中間画像データにおけるクラスタ中心位置とが重なるように上記スケールアップ・スケールダウン後の画像データと上記標準証明書画像データとをパンによって重ねて、上記中間画像データにおける重なり部分を取得するステップと、
上記中間画像データにおける上記重なり部分を上記指定の証明書画像データの証明書本体として表記するステップとを含む。
当業者であれば理解できるように、図に示した構成は、本願の解決手段に関連する部分的な構成のブロック図に過ぎず、本願の解決手段が適用されるコンピュータ機器の限定を構成するものではない。
本願の一実施例に係るコンピュータ読み取り可能な記憶媒体は、不揮発性であってもよく、揮発性であってもよく、コンピュータ読み取り可能な命令が記憶されており、コンピュータ読み取り可能な命令は、プロセッサによって実行されると、上述したいずれかの実施例に示されたデータ検出方法を実現し、上記データ検出方法は、顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得するステップと、
予め設定された姿勢修正方法によって、上記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得するステップと、
上記中間画像データを予め設定された顔特徴点検出モデルに入力して、上記顔特徴点検出モデルが出力する複数の顔特徴点を算出するステップと、
予め設定されたクラスタリングアルゴリズムを用いて、上記複数の顔特徴点のクラスタ中心位置を算出し、上記複数の顔特徴点がいずれも内部にある、上記複数の顔特徴点の最小外接矩形を生成するステップと、
予め設定された証明書タイプ取得方法によって、上記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、タイプが上記指定の証明書タイプであり、基準矩形と基準中心位置がマークされ、証明書画像で埋めている標準証明書画像データを呼び出すステップと、
上記基準矩形の面積が上記最小外接矩形の面積と等しくなるように上記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像データを取得するステップと、
上記スケールアップ・スケールダウン後の画像データにおける基準中心位置と上記中間画像データにおけるクラスタ中心位置とが重なるように上記スケールアップ・スケールダウン後の画像データと上記標準証明書画像データとをパンによって重ねて、上記中間画像データにおける重なり部分を取得するステップと、
上記中間画像データにおける上記重なり部分を上記指定の証明書画像データの証明書本体として表記するステップとを含む。
当業者であれば理解できるように、上述した方法実施例の全て又は一部のフローは、コンピュータ読み取り可能な命令によって関連するハードウェアを命令することにより達成でき、上記コンピュータ読み取り可能な命令は、不揮発性のコンピュータ読み取り可能な記憶媒体に記憶されてもよく、該コンピュータ読み取り可能な命令が実行されるとき、上記各方法実施例のフローを含んでもよい。本願において提供される、及び、実施例において使用されるメモリ、記憶、データベース又は他の媒体に対するいかなる引用は、いずれも不揮発性及び／又は揮発性メモリを含むことができる。不揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電子的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含んでもよい。限定されるものではなく例示として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、二重データレートＳＤＲＡＭ（ＳＳＲＳＤＲＡＭ）、強化型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期チェーン（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、及びメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）等の様々な形態で可能である。

Claims (9)

  1. 顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得するステップと、
    予め設定された姿勢修正方法によって、前記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得するステップと、
    前記中間画像データを予め設定された顔特徴点検出モデルに入力して、前記顔特徴点検出モデルが出力する複数の顔特徴点を算出するステップと、
    予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出し、前記複数の顔特徴点がいずれも内部にある、前記複数の顔特徴点の最小外接矩形を生成するステップと、
    証明書によって所定の規格文字で予め設定された証明書タイプ取得方法によって、前記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、標準証明書画像データを呼び出すステップであって、前記標準証明書画像データのタイプは、前記指定の証明書タイプであり、標準証明書画像データには、基準矩形と基準中心位置がマークされ、前記標準証明書画像データは、前記標準姿勢で配置された証明書画像が表記されており、前記基準中心位置及び基準矩形は、それぞれ前記クラスタ中心位置及び最小外接矩形にそれぞれ対応するステップと、
    前記基準矩形の面積が前記最小外接矩形の面積と等しくなるように前記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像データを取得するステップと、
    前記スケールアップ・スケールダウン後の画像データにおける基準中心位置と前記中間画像データにおけるクラスタ中心位置とが重なるように前記スケールアップ・スケールダウン後の画像データと前記標準証明書画像データとをパンによって重ねて、前記中間画像データにおける重なり部分を取得するステップと、
    前記中間画像データにおける前記重なり部分を前記指定の証明書画像データにおける証明書の領域を表記する証明書本体として表記するステップとを含み、
    前記予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出するステップは、
    予め設定された対称点分類方法によって、前記複数の顔特徴点を、それぞれが前記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割するステップと、
    予め設定されたクラスタリングアルゴリズムを用いて、全ての対称特徴点の中心である第１のクラスタサブ中心と、全ての非対称特徴点の中心である第２のクラスタサブ中心とをそれぞれ算出するステップと、
    前記第１のクラスタサブ中心と前記第２のクラスタサブ中心とを結ぶ線の中点位置を前記複数の顔特徴点のクラスタ中心位置として表記するステップとを含む、データ検出方法。
  2. 前記予め設定された姿勢修正方法によって、前記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、前記中間画像データを取得するステップは、
    予め設定された画像エッジ検出方法を用いて、前記指定の証明書画像データにおける複数のエッジを検出し、前記複数のエッジから、互いに平行でかつ等しい二本の指定のエッジ線分からなる指定のエッジペアを取得するステップと、
    前記指定のエッジ線分の長さが、Ｍ＝ｍａｘ（Ｍ１，Ｍ２，…，Ｍｎ）（ここで、Ｍは前記指定のエッジ線分の長さであり、Ｍ１、Ｍ２、．．．Ｍｎは前記複数のエッジにおける全てのエッジ線分の長さであり、前記複数のエッジには合計でｎ個のエッジ線分がある）を満たすか否かを判断するステップと、
    前記指定のエッジ線分の長さが、Ｍ＝ｍａｘ（Ｍ１，Ｍ２，．．．，Ｍｎ）を満せば、前記指定のエッジペアが予め設定された基準直線に平行である指定姿勢で、前記指定の証明書画像データを配置して、第１の画像データを得るステップと、
    前記第１の画像データを予め設定された画像姿勢分類モデルに入力して、前記画像姿勢分類モデルが出力する、前記標準姿勢、前記標準姿勢に対して反時計回りに９０度回転すること、前記標準姿勢に対して反時計回りに１８０度回転すること、又は前記標準姿勢に対して反時計回りに２７０度回転することを含む分類結果を算出するステップと、
    前記分類結果が前記標準姿勢であるか否かを判断するステップと、
    前記分類結果が前記標準姿勢でなければ、前記分類結果に基づいて前記第１の画像データを回転させて、予め設定された前記標準姿勢で配置された中間画像データを取得するステップとを含む、請求項１に記載のデータ検出方法。
  3. 前記画像姿勢分類モデルは、ｉｎｃｅｐｔｉｏｎ－ｖ３分類モデルに基づいてトレーニングされたものであり、前記第１の画像データを予め設定された画像姿勢分類モデルに入力して、前記画像姿勢分類モデルが出力する、前記標準姿勢、前記標準姿勢に対して反時計回りに９０度回転すること、前記標準姿勢に対して反時計回りに１８０度回転すること、又は前記標準姿勢に対して反時計回りに２７０度回転することを含む前記分類結果を算出するステップの前に、
    それぞれが前記標準姿勢で配置されるように予め設定された証明書画像データからなる所定数のトレーニングサンプルを含む第１のトレーニングセットを取得するステップと、
    前記第１のトレーニングセットの全ての証明書画像データを反時計回りに９０度、反時計回りに１８０度、及び反時計回りに２７０度回転させて、対応する第２のトレーニングセット、第３のトレーニングセット及び第４のトレーニングセットを得るステップと、
    同じラウンドでトレーニングするときに、前記第１のトレーニングセット、前記第２のトレーニングセット、前記第３のトレーニングセット及び前記第４のトレーニングセットからそれぞれ同じ数の証明書画像データをトレーニングデータとして抽出するラウンドトレーニングの方式を採用して、予め設定されたｉｎｃｅｐｔｉｏｎ－ｖ３分類モデルをトレーニングして、前記画像姿勢分類モデルを取得するステップとを含む、請求項２に記載のデータ検出方法。
  4. 前記顔特徴点検出モデルは、ニューラルネットワークモデルに基づいてトレーニングされたものであり、前記中間画像データを予め設定された前記顔特徴点検出モデルに入力して、前記顔特徴点検出モデルが出力する前記複数の顔特徴点を算出するステップの前に、
    標準姿勢で配置された証明書画像データと前記標準姿勢で配置された証明書画像データにマークされた顔特徴点とのみからなる、予め収集されたサンプルデータを取得し、前記サンプルデータをトレーニングデータとテストデータとに分割するステップと、
    前記トレーニングデータを用いてランダム勾配降下法を用いて予め設定されたニューラルネットワークモデルをトレーニングして、一時的モデルを得るステップと、
    前記テストデータを用いて前記一時的モデルを検証し、検証が通過したか否かを判断するステップと、
    検証が通過すれば、前記一時的モデルを前記顔特徴点検出モデルとして表記するステップとを含む、請求項１に記載のデータ検出方法。
  5. 前記予め設定された証明書タイプ取得方法によって、前記指定の証明書画像データの前記指定の証明書タイプを取得し、かつ予め設定されたデータベースから、タイプが前記指定の証明書タイプであり、前記基準矩形と基準中心位置がマークされた標準証明書画像データを呼び出すステップの前に、
    タイプが前記指定の証明書タイプである、予め収集された前記標準姿勢で配置された基準証明書画像データを取得するステップと、
    前記基準証明書画像データを予め設定された顔特徴点検出モデルに入力して、前記顔特徴点検出モデルが出力する複数の基準顔特徴点を算出するステップと、
    予め設定されたクラスタリングアルゴリズムを用いて、前記複数の基準顔特徴点のクラスタ中心位置を算出し、基準中心位置として表記するステップと、
    前記複数の基準顔特徴点の最小外接矩形を生成し、前記複数の基準顔特徴点がいずれも内部にある基準矩形として表記するステップと、
    前記基準矩形と前記基準中心位置がマークされた前記基準証明書画像データを前記標準証明書画像データとして表記するステップとを含む、請求項１に記載のデータ検出方法。
  6. 前記予め設定された証明書タイプ取得方法によって、前記指定の証明書画像データの前記指定の証明書タイプを取得するステップは、
    予め設定された文字認識技術により、前記指定の証明書画像データを認識して、文字テキストを得るステップと、
    前記文字テキストと予め記憶された複数の基準テキストとの類似度の値Ｓｉｍを、以下の式により算出するステップと、
    ＜数式＞
    Figure 0007296452000005
    （ここで、Ｐは前記文字テキストの用語頻度ベクトルであり、Ｋは前記基準テキストの用語頻度ベクトルであり、Ｐｉは前記文字テキストにおけるｉ番目の単語が現れる回数であり、Ｋｉは前記基準テキストにおけるｉ番目の単語が現れる回数である）
    対応する類似度の値が他の基準テキストに対応する類似度の値よりも大きい指定の基準テキストを取得するステップと、
    予め設定された指定の証明書画像データ文字テキスト－指定の基準テキスト－証明書タイプの対応関係に基づいて、前記指定の証明書画像データに対応する前記指定の証明書タイプを取得するステップとを含む、請求項１に記載のデータ検出方法。
  7. 顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得する指定の証明書画像データ取得ユニットと、
    予め設定された姿勢修正方法によって、前記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得する姿勢修正ユニットと、
    前記中間画像データを予め設定された顔特徴点検出モデルに入力して、前記顔特徴点検出モデルが出力する複数の顔特徴点を算出する顔特徴点取得ユニットと、
    予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出し、前記複数の顔特徴点がいずれも内部にある、前記複数の顔特徴点の最小外接矩形を生成するクラスタ中心位置算出ユニットと、
    証明書によって所定の規格文字で予め設定された証明書タイプ取得方法によって、前記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、標準証明書画像データを呼び出す標準証明書画像データ呼出ユニットであって、前記標準証明書画像データのタイプは、前記指定の証明書タイプであり、標準証明書画像データには、基準矩形と基準中心位置がマークされ、前記標準証明書画像データは、前記標準姿勢で配置された証明書画像が表記されており、前記基準中心位置及び基準矩形は、それぞれ前記クラスタ中心位置及び最小外接矩形にそれぞれ対応する標準証明書画像データ呼出ユニットと、
    前記基準矩形の面積が前記最小外接矩形の面積と等しくなるように前記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像データを取得するスケールアップ・スケールダウン後の画像データ取得ユニットと、
    前記スケールアップ・スケールダウン後の画像データにおける基準中心位置と前記中間画像データにおけるクラスタ中心位置とが重なるように前記スケールアップ・スケールダウン後の画像データと前記標準証明書画像データとをパンによって重ねて、前記中間画像データにおける重なり部分を取得する重なり部分取得ユニットと、
    前記中間画像データにおける前記重なり部分を前記指定の証明書画像データにおける証明書の領域を表記する証明書本体として表記する証明書本体表記ユニットとを含み、
    クラスタ中心位置算出ユニットは、
    予め設定された対称点分類方法によって、前記複数の顔特徴点を、それぞれが前記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割し、
    予め設定されたクラスタリングアルゴリズムを用いて、全ての対称特徴点の中心である第１のクラスタサブ中心と、全ての非対称特徴点の中心である第２のクラスタサブ中心とをそれぞれ算出し、
    前記第１のクラスタサブ中心と前記第２のクラスタサブ中心とを結ぶ線の中点位置を前記複数の顔特徴点のクラスタ中心位置として表記する、データ検出装置。
  8. コンピュータ読み取り可能な命令が記憶されているメモリと、前記コンピュータ読み取り可能な命令を実行すると、データ検出方法を実現するプロセッサとを含むコンピュータ機器であって、
    前記データ検出方法は、
    顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得するステップと、
    予め設定された姿勢修正方法によって、前記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得するステップと、
    前記中間画像データを予め設定された顔特徴点検出モデルに入力して、前記顔特徴点検出モデルが出力する複数の顔特徴点を算出するステップと、
    予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出し、前記複数の顔特徴点がいずれも内部にある、前記複数の顔特徴点の最小外接矩形を生成するステップと、
    証明書によって所定の規格文字で予め設定された証明書タイプ取得方法によって、前記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、標準証明書画像データを呼び出すステップであって、前記標準証明書画像データのタイプは、前記指定の証明書タイプであり、標準証明書画像データには、基準矩形と基準中心位置がマークされ、前記標準証明書画像データは、前記標準姿勢で配置された証明書画像が表記されており、前記基準中心位置及び基準矩形は、それぞれ前記クラスタ中心位置及び最小外接矩形にそれぞれ対応するステップと、
    前記基準矩形の面積が前記最小外接矩形の面積と等しくなるように前記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像データを取得するステップと、
    前記スケールアップ・スケールダウン後の画像データにおける基準中心位置と前記中間画像データにおけるクラスタ中心位置とが重なるように前記スケールアップ・スケールダウン後の画像データと前記標準証明書画像データとをパンによって重ねて、前記中間画像データにおける重なり部分を取得するステップと、
    前記中間画像データにおける前記重なり部分を前記指定の証明書画像データの証明書本体として表記するステップとを含み、
    前記予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出するステップは、
    予め設定された対称点分類方法によって、前記複数の顔特徴点を、それぞれが前記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割するステップと、
    予め設定されたクラスタリングアルゴリズムを用いて、全ての対称特徴点の中心である第１のクラスタサブ中心と、全ての非対称特徴点の中心である第２のクラスタサブ中心とをそれぞれ算出するステップと、
    前記第１のクラスタサブ中心と前記第２のクラスタサブ中心とを結ぶ線の中点位置を前記複数の顔特徴点のクラスタ中心位置として表記するステップとを含む、コンピュータ機器。
  9. プロセッサによって実行されると、データ検出方法を実現するコンピュータ読み取り可能な命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記データ検出方法は、
    顔画像を含み、証明書画像が矩形状を呈する指定の証明書画像データを取得するステップと、
    予め設定された姿勢修正方法によって、前記指定の証明書画像データを予め設定された標準姿勢で配置されるように修正して、中間画像データを取得するステップと、
    前記中間画像データを予め設定された顔特徴点検出モデルに入力して、前記顔特徴点検出モデルが出力する複数の顔特徴点を算出するステップと、
    予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出し、前記複数の顔特徴点がいずれも内部にある、前記複数の顔特徴点の最小外接矩形を生成するステップと、
    証明書によって所定の規格文字で予め設定された証明書タイプ取得方法によって、前記指定の証明書画像データの指定の証明書タイプを取得し、かつ予め設定されたデータベースから、標準証明書画像データを呼び出すステップであって、前記標準証明書画像データのタイプは、前記指定の証明書タイプであり、標準証明書画像データには、基準矩形と基準中心位置がマークされ、
    前記標準証明書画像データは、前記標準姿勢で配置された証明書画像が表記されており、前記基準中心位置及び基準矩形は、それぞれ前記クラスタ中心位置及び最小外接矩形にそれぞれ対応するステップと、
    前記基準矩形の面積が前記最小外接矩形の面積と等しくなるように前記標準証明書画像データをスケールアップ・スケールダウンして、スケールアップ・スケールダウン後の画像データを取得するステップと、
    前記スケールアップ・スケールダウン後の画像データにおける基準中心位置と前記中間画像データにおけるクラスタ中心位置とが重なるように前記スケールアップ・スケールダウン後の画像データと前記標準証明書画像データとをパンによって重ねて、前記中間画像データにおける重なり部分を取得するステップと、
    前記中間画像データにおける前記重なり部分を前記指定の証明書画像データの証明書本体として表記するステップとを含み、
    前記予め設定されたクラスタリングアルゴリズムを用いて、前記複数の顔特徴点のクラスタ中心位置を算出するステップは、
    予め設定された対称点分類方法によって、前記複数の顔特徴点を、それぞれが前記証明書画像の一辺と平行な同一の対称軸に対して対称である対称特徴点と、非対称特徴点とに分割するステップと、
    予め設定されたクラスタリングアルゴリズムを用いて、全ての対称特徴点の中心である第１のクラスタサブ中心と、全ての非対称特徴点の中心である第２のクラスタサブ中心とをそれぞれ算出するステップと、
    前記第１のクラスタサブ中心と前記第２のクラスタサブ中心とを結ぶ線の中点位置を前記複数の顔特徴点のクラスタ中心位置として表記するステップとを含む、コンピュータ読み取り可能な記憶媒体。
JP2021513443A 2019-10-16 2020-06-29 データ検出方法、装置、コンピュータ機器及び記憶媒体 Active JP7296452B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910984349.6 2019-10-16
CN201910984349.6A CN111104846B (zh) 2019-10-16 2019-10-16 数据检测方法、装置、计算机设备和存储介质
PCT/CN2020/098819 WO2021073150A1 (zh) 2019-10-16 2020-06-29 数据检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
JP2022514136A JP2022514136A (ja) 2022-02-10
JP7296452B2 true JP7296452B2 (ja) 2023-06-22

Family

ID=70421465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021513443A Active JP7296452B2 (ja) 2019-10-16 2020-06-29 データ検出方法、装置、コンピュータ機器及び記憶媒体

Country Status (5)

Country Link
US (1) US11393248B2 (ja)
JP (1) JP7296452B2 (ja)
CN (1) CN111104846B (ja)
SG (1) SG11202100447PA (ja)
WO (1) WO2021073150A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104846B (zh) * 2019-10-16 2022-08-30 平安科技（深圳）有限公司 数据检测方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229181A (ja) 2004-02-10 2005-08-25 Konica Minolta Photo Imaging Inc 画像処理方法
JP2008225720A (ja) 2007-03-12 2008-09-25 Fujifilm Corp 画像トリミング装置および方法並びにプログラム
JP2018513491A (ja) 2015-04-17 2018-05-24 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． ２部グラフラベルの調査によるファイングレイン画像分類

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2004077356A1 (ja) * 2003-02-28 2006-06-08 富士通株式会社 画像結合装置、画像結合方法
JP4645301B2 (ja) * 2005-05-20 2011-03-09 富士通株式会社 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置
JP4093273B2 (ja) * 2006-03-13 2008-06-04 オムロン株式会社 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
JP4803148B2 (ja) * 2007-09-28 2011-10-26 大日本印刷株式会社 人物顔面画像についての両眼位置検出方法および検出装置
JP4947018B2 (ja) * 2008-09-12 2012-06-06 大日本印刷株式会社 顔画像の自動トリミング装置
JP6240226B2 (ja) * 2013-03-06 2017-11-29 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． スキャン範囲決定装置
US9674505B2 (en) * 2014-12-09 2017-06-06 Intel Corporation Disparity search range determination for images from an image sensor array
KR101626880B1 (ko) * 2015-11-06 2016-06-02 (주)코드원시스템 비대면 실명확인 온라인 신분증 식별 및 인식 시스템 및 방법
JP6697356B2 (ja) * 2016-09-13 2020-05-20 Kddi株式会社 所定対象のうちの特定対象における状態を識別する装置、プログラム及び方法
US10331942B2 (en) * 2017-05-31 2019-06-25 Facebook, Inc. Face liveness detection
CN107679446B (zh) * 2017-08-17 2019-03-15 平安科技（深圳）有限公司 人脸姿态检测方法、装置及存储介质
CN107633207B (zh) * 2017-08-17 2018-10-12 平安科技（深圳）有限公司 Au特征识别方法、装置及存储介质
CN108304761A (zh) * 2017-09-25 2018-07-20 腾讯科技（深圳）有限公司 文本检测方法、装置、存储介质和计算机设备
CN108009528B (zh) * 2017-12-26 2020-04-07 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
JP6973258B2 (ja) * 2018-04-13 2021-11-24 オムロン株式会社 画像解析装置、方法およびプログラム
CN109086739A (zh) * 2018-08-23 2018-12-25 成都睿码科技有限责任公司 一种无人脸数据训练的人脸识别方法和系统
CN110163211B (zh) * 2018-09-06 2023-02-28 腾讯科技（深圳）有限公司 一种图像识别方法、装置和存储介质
CN109492643B (zh) * 2018-10-11 2023-12-19 平安科技（深圳）有限公司 基于ocr的证件识别方法、装置、计算机设备及存储介质
CN109583325B (zh) * 2018-11-12 2023-06-27 平安科技（深圳）有限公司 人脸样本图片标注方法、装置、计算机设备及存储介质
CN109376684B (zh) * 2018-11-13 2021-04-06 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN111191655B (zh) * 2018-11-14 2024-04-16 佳能株式会社 对象识别方法和装置
CN111444744A (zh) * 2018-12-29 2020-07-24 北京市商汤科技开发有限公司 活体检测方法、装置以及存储介质
CN109934766B (zh) * 2019-03-06 2021-11-30 北京市商汤科技开发有限公司 一种图像处理方法及装置
CN110135268A (zh) * 2019-04-17 2019-08-16 深圳和而泰家居在线网络科技有限公司 人脸比对方法、装置、计算机设备和存储介质
CN110245612A (zh) * 2019-06-14 2019-09-17 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
CN111104846B (zh) * 2019-10-16 2022-08-30 平安科技（深圳）有限公司 数据检测方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229181A (ja) 2004-02-10 2005-08-25 Konica Minolta Photo Imaging Inc 画像処理方法
JP2008225720A (ja) 2007-03-12 2008-09-25 Fujifilm Corp 画像トリミング装置および方法並びにプログラム
JP2018513491A (ja) 2015-04-17 2018-05-24 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． ２部グラフラベルの調査によるファイングレイン画像分類

Also Published As

Publication number Publication date
SG11202100447PA (en) 2021-05-28
US20220114833A1 (en) 2022-04-14
CN111104846A (zh) 2020-05-05
WO2021073150A1 (zh) 2021-04-22
US11393248B2 (en) 2022-07-19
JP2022514136A (ja) 2022-02-10
CN111104846B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN109902630B (zh) 一种注意力判断方法、装置、系统、设备和存储介质
JP6754619B2 (ja) 顔認識方法及び装置
CN106548127B (zh) 图像识别方法
US7873189B2 (en) Face recognition by dividing an image and evaluating a similarity vector with a support vector machine
US9633044B2 (en) Apparatus and method for recognizing image, and method for generating morphable face images from original image
CN108463823B (zh) 一种用户头发模型的重建方法、装置及终端
US20210089760A1 (en) Facial expression image processing method and apparatus
CN110223322B (zh) 图像识别方法、装置、计算机设备和存储介质
CN111767900A (zh) 人脸活体检测方法、装置、计算机设备及存储介质
EP3905195A1 (en) Image depth determining method and living body identification method, circuit, device, and medium
EP3791356B1 (en) Perspective distortion correction on faces
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
GB2543123A (en) Identifying shapes in an image by comparing Bézier curves
JP7296452B2 (ja) データ検出方法、装置、コンピュータ機器及び記憶媒体
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
US11030488B1 (en) Book scanning using machine-trained model
CN112580499A (zh) 文本识别方法、装置、设备及存储介质
WO2021072883A1 (zh) 基于面部特征点检测的图片纠正方法、装置和计算机设备
CN116152608A (zh) 基于点云多模态的对比学习预训练方法、装置及介质
CN108875467B (zh) 活体检测的方法、装置及计算机存储介质
US11145037B1 (en) Book scanning using machine-trained model
CN113255700B (zh) 图像的特征图的处理方法及装置、存储介质、终端
CN114399824A (zh) 一种多角度侧面人脸矫正方法、装置、计算机设备和介质
CN112733635A (zh) 对象识别方法、装置及电子设备
CN111626244A (zh) 图像识别方法、装置、电子设备和介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230612

R150 Certificate of patent or registration of utility model

Ref document number: 7296452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150