JP7189257B2 - 特定の顔面症候群を検出するための方法、装置、および、コンピュータ可読記憶媒体 - Google Patents

特定の顔面症候群を検出するための方法、装置、および、コンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP7189257B2
JP7189257B2 JP2021067176A JP2021067176A JP7189257B2 JP 7189257 B2 JP7189257 B2 JP 7189257B2 JP 2021067176 A JP2021067176 A JP 2021067176A JP 2021067176 A JP2021067176 A JP 2021067176A JP 7189257 B2 JP7189257 B2 JP 7189257B2
Authority
JP
Japan
Prior art keywords
key
image
detection
facial
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021067176A
Other languages
English (en)
Other versions
JP2021179975A (ja
Inventor
馬旭
路建波
Original Assignee
国家衛生健康委科学技術研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国家衛生健康委科学技術研究所 filed Critical 国家衛生健康委科学技術研究所
Publication of JP2021179975A publication Critical patent/JP2021179975A/ja
Application granted granted Critical
Publication of JP7189257B2 publication Critical patent/JP7189257B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、コンピュータ支援診断分野に属し、具体的には、特定の顔面症候群を検出するための方法、装置、および、コンピュータ可読記憶媒体に関する。
本部分は、特許請求の範囲に記載の本発明の実施形態のために、背景又は上下文を提供することを意図したものである。ここでの記載は、本部分に含まれることが原因で従来技術として認められるものではない。
コンピュータ支援診断の技術は、映像学、医学画像処理技術及び他の利用可能な生理的、生化的手段により、コンピュータによる分析や計算を結合しながら、病巣の発見を補助し、診断の正確率を向上させるものである。医学画像によるコンピュータ支援診断は、データ処理を迅速に行えること、定量計算を精確に行えること、整合性がよく、再現性が高く、客観的かつ正確的な支援診断意見を臨床に提供できること、医師の経験不足又は視覚疲労等の主観的原因による誤診や診断漏れを低減すること、医師の限られた個人知識や経験を大幅に拡大して診断を更に正確的かつ科学的なものにさせること、を主な利点としている。
例えば、ダウン症候群、サラセミアなどの遺伝性疾患群のように、顔面部の発育不全を一特徴として現れている疾病が多くある。そのうち、ダウン症候群患者は、発育障害、心疾患、呼吸障害や聴力障害が発生するリスクも高くなる。しかも、当該顔面症候群の早期検出は、当該疾病の制御の面では、非常に重要なものとなる。ダウン症候群の早期検出として、出生前に、生化学的スクリーニングや細胞遺伝学的診断試験を行うこと、又は、出生後に、上向きに傾斜した目、小さくて平らな鼻、小さい耳や口、突出した舌を含む幾つかの物理的性状の存在により鑑定することによって実現されてもよい。ただし、それらの診断は、高水準の医療専門家によって慎重に行われる必要がある。
要するに、現在、顔面部の発育不全に関する顔面症候群の診断方法は、複雑で相当の時間がかかり、また、高度な経験や専門知識を必要とするものである。従って、簡単で非侵入的な、例えば、ダウン症候群又は他の顔面部形態に関する顔面症候群を自動で検出する手段の開発が課題となっている。
"Identifying facial phenotypes of genetic disorders using deep leaning" Yaron Gurovich,Yair Hanani,Omri Bar,Guy Nadav,Nicole Fleischer,Dekel Gelbman,Lina Basel-Salmon,Peter M. Krawitz,Susanne B.Kamphausen,Martin Zenker,Lynne M. Bird & Karen W. Gripp, Nature Medicine 第25巻,第60－64頁,2019年1月7日発行
上述した従来技術に存在する問題に対し、特定の顔面症候群を検出するための方法、装置、および、コンピュータ可読記憶媒体を提案しており、そのような方法、装置、および、コンピュータ可読記憶媒体によれば、上記問題を解決することが可能となる。
本発明では、以下の方案が提案されている。
第1の態様では、特定の顔面症候群を検出するための方法を提供し、この方法は、検出される対象の顔画像を取得すること、前記顔画像の少なくとも1つのキー領域画像を決定すること、前記顔画像を、トレーニングされたグローバル検出モデルに入力して、グローバル検出結果を取得すること、少なくとも1つの前記キー領域画像を、トレーニングされたローカル検出モデルに入力して、少なくとも1つのローカル検出結果を取得すること、および、前記グローバル検出結果と少なくとも1つの前記ローカル検出結果に基づき、前記検出される対象が特定の顔面症候群を有する対象検出確率を決定すること、を含む。
可能な一実施形態では、前記顔画像の少なくとも1つのキー領域画像を決定することは、前記顔画像にキー特徴点を位置決めして、前記キー特徴点を基にして前記顔画像の少なくとも1つのキー領域を決定し、前記顔画像から少なくとも1つのキー領域画像を分割することを含み、前記キー領域画像は、目領域画像、鼻領域画像、口領域画像、下顎領域画像、額領域画像、耳領域画像のうちの1つまたは複数の指定された種類を含む。
可能な一実施形態では、前記トレーニングされたローカル検出モデルは、複数のトレーニングされたローカル検出ネットワークを含み、各ローカル検出ネットワークは、指定された種類のキー領域画像に対するローカル検出を行うために用いられ、少なくとも1つの前記キー領域画像を、トレーニングされたローカル検出モデルに入力することは、各前記キー領域画像を前記ローカル検出モデルにおける対応する種類のローカル検出ネットワークに入力することを更に含む。
可能な一実施形態では、前記方法は、N種類の特定の顔面症候群を検出するために用いられ、前記グローバル検出結果は、N個のグローバル検出確率を含み、各前記ローカル検出結果は、N個のローカル検出確率を含み、前記N個のグローバル/ローカル検出確率は、前記N種類の特定の顔面症候群に一対一で対応し、前記Nが正整数である。
可能な一実施形態では、前記グローバル検出結果と少なくとも1つの前記ローカル検出結果に基づき、前記検出される対象が特定の顔面症候群を有する対象検出確率を決定することは、前記N種類の特定の顔面症候群のうちの各種類の特定の顔面症候群に対し、前記各種類の特定の顔面症候群に対応する前記グローバル検出確率と少なくとも1つの前記ローカル検出確率に基づいて、重み付け平均及び/又は重み付け投票を行うことにより、前記検出される対象が前記各種類の特定の顔面症候群を有する対象検出確率を取得することを含む。
可能な一実施形態では、検出される対象の顔画像を取得するステップの実行前に、前記方法は、トレーニングサンプル集合から顔サンプル画像と、前記顔サンプル画像に対応する、前記特定の顔面症候群に対する疾患状況を示すためのトレーニングラベルと、を取得すること、トレーニングされる第1のニューラルネットワークを用いて前記顔サンプル画像を処理して、前記顔サンプル画像に対応するグローバルトレーニング検出結果を取得すること、前記トレーニングラベルと前記グローバルトレーニング検出結果に基づき、前記トレーニングされる第1のニューラルネットワークモデルのシステム損失関数により、前記トレーニングされる第1のニューラルネットワークのシステム損失値を計算すること、前記システム損失値を基にして、前記トレーニングされる第1のニューラルネットワークの重みを補正すること、および、前記システム損失値が予め定められた条件を満足した場合、トレーニング済みの前記グローバル検出モデルを取得し、前記システム損失値が予め定められた条件を満足しない場合、前記トレーニングされる第1のニューラルネットワークに対するトレーニングを継続すること、を更に含む。
可能な一実施形態では、検出される対象の顔画像を取得するステップの実行前に、前記方法は、トレーニングサンプル集合から指定された種類のキー領域サンプル画像と、前記キー領域サンプル画像に対応する、前記特定の顔面症候群に対する疾患状況を示すためのトレーニングラベルと、を取得すること、トレーニングされる第2のニューラルネットワークを用いて前記キー領域サンプル画像を処理して、前記キー領域サンプル画像に対応するローカルトレーニング検出結果を取得すること、前記トレーニングラベルと前記ローカルトレーニング検出結果に基づき、前記トレーニングされる第2のニューラルネットワークのシステム損失関数により、前記トレーニングされる第2のニューラルネットワークのシステム損失値を計算すること、前記システム損失値を基にして、前記トレーニングされる第2のニューラルネットワークの重みを補正すること、および、前記システム損失関数が予め定められた条件を満足した場合、トレーニング済みの、前記指定された種類のキー領域画像に対してローカル検出を行うための前記ローカル検出ネットワークを取得し、前記システム損失関数が予め定められた条件を満足しない場合、前記トレーニングされる第2のニューラルネットワークに対するトレーニングを継続すること、を更に含む。
可能な一実施形態では、前記グローバル検出モデル及び/又は前記ローカル検出モデルは、残差ネットワークモデルに基づいて構築される。
可能な一実施形態では、前記顔画像にキー特徴点を位置決めした後、前記キー特徴点を基にして前記顔画像のキー輪郭曲率を計算し、前記キー輪郭曲率に基づいて前記検出される対象が特定の顔面症候群を有する検出確率を調整することをさらに含み、前記キー輪郭曲率は、目輪郭曲率、鼻輪郭曲率、口輪郭曲率、下顎輪郭曲率、額輪郭曲率、耳輪郭曲率のうちの1つまたは複数を含む。
可能な一実施形態では、前記検出される対象の顔画像に対して事前処理を行ってから、前記トレーニングされたグローバル検出モデルに入力すること、および、前記少なくとも1つのキー領域画像に対して前記事前処理を行ってから、前記トレーニングされたローカル検出モデルに入力すること、を更に含み、前記事前処理は、階調充填処理とサイズ圧縮/伸長処理を含む。
第2の態様では、特定の顔面症候群を検出するための装置を提供し、前記装置は、検出される対象の顔画像を取得するための画像取得モジュールと、前記顔画像の少なくとも1つのキー領域画像を決定するためのキー領域モジュールと、前記顔画像を、トレーニングされたグローバル検出モデルに入力して、グローバル検出結果を取得するためのグローバル検出モジュールと、少なくとも1つの前記キー領域画像を、トレーニングされたローカル検出モデルに入力して、少なくとも1つのローカル検出結果を取得するためのローカル検出モジュールと、前記グローバル検出結果と少なくとも1つの前記ローカル検出結果に基づき、前記検出される対象が特定の顔面症候群を有する検出確率を決定するための対象検出モジュールと、を備える。
第3の態様では、特定の顔面症候群を検出するための別の装置を提供し、前記装置は、少なくとも1つのプロセッサと、少なくとも1つのプロセッサと通信接続されるメモリと、を含み、メモリには、少なくとも1つのプロセッサによって実行されることができるインストラクションが記憶されており、インストラクションが少なくとも1つのプロセッサによって実行されることにより、検出される対象の顔画像を取得すること、前記顔画像の少なくとも1つのキー領域画像を決定すること、前記顔画像を、トレーニングされたグローバル検出モデルに入力して、グローバル検出結果を取得すること、少なくとも1つの前記キー領域画像を、トレーニングされたローカル検出モデルに入力して、少なくとも1つのローカル検出結果を取得すること、前記グローバル検出結果と少なくとも1つの前記ローカル検出結果に基づき、前記検出される対象が特定の顔面症候群を有する対象検出確率を決定すること、を少なくとも1つのプロセッサに実行させることができる。
第4の態様では、プログラムが記憶されており、前記プログラムがマルチコアプロセッサによって実行されると、第1の態様に記載の方法を前記マルチコアプロセッサに実行させる、コンピュータ可読記憶媒体を提供する。
本願の実施例で用いられる上記少なくとも1つの技術案によれば、以下の有益な効果を実現できる。本発明の各実施例では、トレーニング済みのグローバル検出モデルとローカル検出モデルにより、検出される対象が特定の顔面症候群を有する検出確率を決定する。それにより、複雑な測定機器を不要とし、特定の顔面症候群に対する迅速な検出を自動で完成することが可能となり、特定の顔面症候群を有する患者への初期検出の困難度を著しく低減させる。また、グローバル検出モデルとローカル検出モデルによる組合せ検出の方法によれば、検出される対象の顔画像のグローバル特徴とローカル情報を組み合わせながら総合的に検出することができ、検出の正確性が向上した。
理解すべきなのは、上記説明は、本発明の技術手段をより明瞭に理解してもらうための、本発明の技術案の概要に過ぎず、明細書の内容を基にして実施することが可能である。また、本発明の上記目的及び他の目的、特徴、及びメリットをさらに明瞭的で分かりやすくするために、以下は、特に、本発明の具体的な実施の形態を例示する。
以下の例示的な実施例の詳細を閲覧したうえで、当業者は、本明細書に記載の利点や有益な効果、および、他の利点や有益な効果を理解することができる。添付図面は、例示的な実施例の目的を示すためのものに過ぎず、本発明を制限するものとして見なされない。しかも、全ての添付図面において、同一の部材は同一の記号で示される。
添付図面において、
本発明の一実施例に係る特定の顔面症候群を検出するための方法のフローチャートである。 本発明の一実施例に係る顔画像に基づく特定の顔面症候群に対する検出の概略図である。 本発明の別の一実施例に係る特定の顔面症候群を検出するための装置の構造概略図である。 本発明の別の一実施例に係る特定の顔面症候群を検出するための装置の構造概略図である。
添付図面において、同一又は対応な部分は、同一または対応な記号で示される。
以下は、添付図面を参照しながら、本開示の例示的な実施例をより詳しく説明する。添付図面には、本開示の例示的な実施例が示されたが、本開示は、種々な形式で実現することができ、ここに記載の実施例により限られたものではないと、理解すべきである。逆に、それらの実施例を提供する目的は、本開示をさらに明瞭に理解できるようにすることであって、本開示の範囲を当業者に完全に伝えることができることである。
本発明では、理解すべきなのは、例えば、「含む」や「備える」のような用語は、本発明により開示された特徴、数字、工程、行為、部材、部分又はそれらの組み合わせの存在を示すためのものであり、1つまたは複数の他の特徴、数字、工程、行為、部材、部分又はそれらの組み合わせの存在の可能性を排除することを意図しない。
なお、説明すべきなのは、衝突しない場合、本発明における実施例及び実施例に記載の特徴は互いに組み合わされてもよい。以下は、添付図面を参照しながら、実施例を組み合わせて本願発明を詳しく説明する。
本発明の実施例は、特定の顔面症候群を検出するための方法を提供する。
図1は、本発明の一実施例に係る特定の顔面症候群を検出するための方法100のフローチャートである。当該フローでは、機器の角度からすれば、実行主体は、1つまたは複数の電子機器であってもよい。プログラムの角度からすれば、実行主体は、相応に、それらの電子機器に搭載されるプログラムであってもよい。
図1に示されるように、該方法100において、以下のステップが含まれてもよい。
ステップ101：検出される対象の顔画像を取得すること、
ステップ102：顔画像の少なくとも1つのキー領域画像を決定すること、
ステップ103：顔画像を、トレーニングされたグローバル検出モデルに入力して、グローバル検出結果を取得すること、
ステップ104：少なくとも1つのキー領域画像を、トレーニングされたローカル検出モデルに入力して、少なくとも1つのローカル検出結果を取得すること、および、
ステップ105：グローバル検出結果と少なくとも1つのローカル検出結果に基づき、検出される対象が特定の顔面症候群を有する対象検出確率を決定すること。
具体的には、ラベルが付けられた顔サンプル画像によって形成されたトレーニングサンプル集合を用いて予めトレーニングすることにより、グローバル検出モデルを取得してもよい。そのうち、ラベルは、特定の顔面症候群を有するか否かを示すために用いられてもよい。ラベルが付けられたキー領域サンプル画像によって形成されたトレーニングサンプル集合を用いて予めトレーニングすることにより、ローカル検出モデルを取得してもよい。そのうち、キー領域サンプル画像は、例えば、顔サンプル画像の目領域サンプル画像であってもよい。そのうち、ラベルは、特定の顔面症候群を有するか否かを示すために用いられてもよい。トレーニングによってグローバル検出モデルとローカル検出モデルが得られた後、撮像装置を用いて検出される対象の顔画像を収集し、顔画像をトレーニングされたグローバル検出モデルに入力し、当該グローバル検出モデルを用いて、検出される対象が特定の顔面症候群を有するグローバル検出結果を自動で検出してもよい。また、収集された顔画像から少なくとも1つのキー領域を識別するとともに、顔画像からキー領域画像、例えば、目領域画像を切り出し、その同時に、当該キー領域画像をトレーニングされたローカル検出モデルに入力し、当該ローカル検出モデルを用いて、検出される対象が特定の顔面症候群を有するローカル検出結果を自動で検出してもよい。最後に、得られたグローバル検出結果と少なくとも1つのローカル検出結果により、検出される対象が特定の顔面症候群を有する対象検出確率を総合的に判断する。
本願の実施例では、トレーニング済みのグローバル検出モデルとローカル検出モデルにより、検出される対象が特定の顔面症候群を有する検出確率を決定する。それにより、複雑な測定機器を不要とし、特定の顔面症候群に対する迅速な検出を自動で完成することが可能となり、特定の顔面症候群を有する患者への初期検出の困難度を著しく低減させる。また、グローバル検出モデルとローカル検出モデルによる組合せ検出の方法によれば、検出される対象の顔画像のグローバル特徴とローカル情報を組み合わせながら総合的に検出することができ、検出の正確性が向上した。
可能な幾つかの実施形態では、特定の顔面症候群は、具体的に、顔面部にある程度の奇形を呈している病症を指し、例えば、ダウン症候群及び/又はサラセミア顔面症候群を含んでもよい。
本発明の実施例では、特定の顔面症候群を検出するための方法は、以下の方面では、重要な意義を持っている。特定の顔面症候群についての専門知識を有しない係員による特定の顔面症候群への判断に寄与する。特定の顔面症候群についての専門知識を一部有する医師による更に迅速かつ正確な診断に寄与するとともに、診断のコストを低下させる。
可能な幾つかの実施形態では、顔画像のキー領域画像を正確に取得するために、ステップ102では、顔画像にキー特徴点を位置決めすること、キー特徴点を基にして顔画像の少なくとも1つのキー領域を決定し、顔画像から少なくとも1つのキー領域画像を分割することを更に含んでもよい。そのうち、キー領域画像は、目領域画像、鼻領域画像、口領域画像、下顎領域画像、額領域画像、耳領域画像のうちの1つまたは複数の指定された種類を含む。例えば、顔画像にエッジ輪郭点を位置決めし、エッジ輪郭点と予め定められた輪郭点（例えば、目、鼻などの輪郭）を基にしてマッチングすることにより、キー特徴点を位置決めし、位置決めされて得られたキー特徴点を基にして、コピーされた顔画像から目、鼻、口などのキー領域に対応するキー領域画像を分割してもよい。選択的に、顔画像におけるキー特徴点への位置決めの正確性を高めるために、予め構築された畳込みニューラルネットワークにより、顔画像における各キー特徴点を位置決めしてもよい。
可能な幾つかの実施形態では、トレーニングされたローカル検出モデルは、複数のトレーニングされたローカル検出ネットワークを含み、そのうち、各ローカル検出ネットワークは、指定された種類のキー領域画像に対するローカル検出を行うために用いられる。それを基にして、ステップ103では、各キー領域画像をローカル検出モデルにおける対応する種類のローカル検出ネットワークに入力することを更に含んでもよい。
例えば、図2に示されるように、ローカル検出モデルは、複数のトレーニングされたローカル検出ネットワークを含んでもよい。例えば、ローカル検出ネットワーク―目、ローカル検出ネットワーク―鼻、ローカル検出ネットワーク―口のようなものを含んでもよい。分割された目、鼻、口などのキー領域に対応するキー領域画像を、対応するローカル検出ネットワークに入力するとともに、それぞれのローカル検出結果を出力してもよい。
可能な幾つかの実施形態では、顔面部に異常を呈しているように引き起こす特定の顔面症候群が複数種類があり、例えば、ダウン症候群とサラセミア顔面症候群があるが、病症検出を項目ごとに検出すると、検出効率が低くなる。検出効果を高めるために、方法100は、検出される対象がN種類の特定の顔面症候群のうちのいずれか1つまたは複数を有するか否かを同時に検出するために用いられてもよい。そのうち、グローバル検出モデルによって出力されたグローバル検出結果は、N個のグローバル検出確率を含み、各ローカル検出ネットワークによって出力されたローカル検出結果は、N個のローカル検出確率を含み、N個のグローバル/ローカル検出確率は、N種類の特定の顔面症候群に一対一で対応し、Nが正整数である。
例えば、N種類の特定の顔面症候群がダウン症候群とサラセミア顔面症候群の2種類の特定の顔面症候群を含むと仮定すると、グローバル検出結果に含まれた2個のローカル検出確率は、例えば、ダウン症候群の8.5％、サラセミア顔面症候群の0.0％であってもよく、そのうちの1つのローカル検出結果に含まれた2個のローカル検出確率は、例えば、ダウン症候群の0.046%、サラセミア顔面症候群の0.0％であってもよい。
可能な幾つかの実施形態では、グローバル検出モデルを取得するために、ステップ101の実行前に、方法100では、トレーニングサンプル集合から顔サンプル画像と、顔サンプル画像に対応する、特定の顔面症候群に対する疾患状況を示すためのトレーニングラベルと、を取得すること、トレーニングされる第1のニューラルネットワークを用いて顔サンプル画像を処理して、顔サンプル画像に対応するグローバルトレーニング検出結果を取得すること、トレーニングラベルとグローバルトレーニング検出結果に基づき、トレーニングされる第1のニューラルネットワークのシステム損失関数により、トレーニングされる第1のニューラルネットワークのシステム損失値を計算すること、システム損失値を基にして、トレーニングされる第1のニューラルネットワークの重みを補正すること、および、システム損失値が予め定められた条件を満足した場合、トレーニング済みのグローバル検出モデルを取得し、システム損失値が予め定められた条件を満足しない場合、トレーニングされる第1のニューラルネットワークに対するトレーニングを継続すること、を更に含んでもよい。
トレーニングサンプル集合には、例えば、（1）顔トレーニング画像a：ダウン症候群100％、サラセミア顔面症候群0％、（2）顔トレーニング画像b：ダウン症候群0％、サラセミア顔面症候群100％、（3）顔トレーニング画像c：ダウン症候群0％、サラセミア顔面症候群0％……のような、トレーニングラベルが付けられた顔サンプル画像が大量に含まれる。グローバル検出モデルのトレーニング段階では、まず、当該トレーニングされる第1のニューラルネットワークモデルに上述したようなラベルが付けられた顔サンプル画像を入力し、その第1のニューラルネットワークモデルは、複数の畳込み層によって特徴を抽出するとともに、当該特徴をSoftmax層に出力することで、Softmax層において当該複数の畳込み層によって抽出された特徴に基づいて分類結果を出力してもよい。例えば、その顔サンプル画像は、予め定められた種類（例えば、ダウン症候群、サラセミア顔面症候群）に該当する検出確率は、グローバルトレーニング検出結果となる。さらに、トレーニングラベルとグローバルトレーニング検出結果とに基づいてシステム損失値を計算し、システム損失値が予め定められた条件を満足できるようになるまで、システム損失値に基づいてトレーニングされる第1のニューラルネットワークの重みを補正することにより、トレーニング済みのグローバル検出モデルが得られる。
可能な幾つかの実施形態では、ローカル検出モデルにおける各ローカル検出ネットワークを取得するために、ステップ101の実行前に、方法100では、トレーニングサンプル集合から指定された種類のキー領域サンプル画像と、キー領域サンプル画像に対応する、特定の顔面症候群に対する疾患状況を示すためのトレーニングラベルと、を取得すること、トレーニングされる第2のニューラルネットワークを用いてキー領域サンプル画像を処理して、キー領域サンプル画像に対応するローカルトレーニング検出結果を取得すること、トレーニングラベルとローカルトレーニング検出結果に基づき、トレーニングされる第2のニューラルネットワークのシステム損失関数により、トレーニングされる第2のニューラルネットワークのシステム損失値を計算すること、システム損失値を基にして、トレーニングされる第2のニューラルネットワークの重みを補正すること、および、システム損失関数が予め定められた条件を満足した場合、トレーニング済みの、指定された種類のキー領域画像に対してローカル検出を行うためのローカル検出ネットワークを取得しシステム損失関数が予め定められた条件を満足しない場合、トレーニングされる第2のニューラルネットワークに対するトレーニングを継続すること、を更に含んでもよい。
トレーニングサンプル集合には、トレーニングラベルが付けられたキー領域サンプル画像が大量に含まれてもよい。例えば、（1）キー領域サンプル画像―目部a：ダウン症候群100％、サラセミア顔面症候群0％、（2）キー領域サンプル画像―目部b：ダウン症候群0％、サラセミア顔面症候群100％、……のように、1種類には複数の目領域におけるラベルが付けられたキー領域サンプル画像が含まれるが、（1）キー領域サンプル画像―鼻部a：ダウン症候群100％、サラセミア顔面症候群0％、（2）キー領域サンプル画像―鼻部b：ダウン症候群0％、サラセミア顔面症候群100％、……のように、別の種類には複数の鼻領域におけるラベルが付けられたキー領域サンプル画像が含まれてもよい。ローカル検出モデルのトレーニング段階では、上述したトレーニングサンプル集合に含まれた複数の目領域におけるラベルが付けられたキー領域サンプル画像を用いるとともに、グローバル検出モデルと類似したトレーニング方法により、トレーニングされる第2のニューラルネットワークをトレーニングすることで、トレーニング済みのローカル検出ネットワークを取得し、当該ローカル検出ネットワークは、目の種類のキー領域画像に対するローカル検出を行うために用いられる。順次類推して、トレーニングすることにより、複数のローカル検出ネットワークを取得して上記ローカル検出モデルを構成することが可能である。
可能な幾つかの実施形態では、検出ネットワークの性能を向上させるために、グローバル検出モデル及び/又はローカル検出モデルは、残差ネットワークResnetモデルに基づいて構築される。そうすると、トレーニングされたグローバル検出モデルと各ローカル検出ネットワークは、更に高い深度を有するようになり、特徴の抽出が更に抽象で全面なものとなり、検出の識別率が向上した。
例えば、幾つかの例示では、当該グローバル検出モデル/各ローカル検出ネットワークは、複数層の畳込み層を含み、畳込み層が入力データ（例えば、顔画像/キー領域画像）に対して若干のフィルタ（即ち、畳込みカーネル）を適用することで、複数種類の特徴を抽出してもよい。フィルタごとに、1種類の特徴が抽出されることが可能となる。また、隣り合う畳込み層の間には、プール層が設けられてもよい。一方、プール層は、入力データの規模を縮減して、計算の複雑度を簡素化し、オーバーフィッティングの現象をある程度低減することができる。他方、プール層は、特徴の圧縮を行い、入力データの主な特徴を抽出することもできる。プール層は、最大値プーリング（max-pooling）、平均値プーリング（avg-pooling）、ランダムプーリングなどを含む様々な方法により、ダウンサンプリングを実現させることができるが、それらの方法によって限られない。各畳込み層の前に、バッチ化事前活性化モジュール（例えば、バッチ正規化層）と補正された線形活性化関数（即ち、ReLU活性化関数）を用いて、該畳み込み層に入力された入力データを処理し、その後、畳み込み層を用いてバッチ化事前活性化や補正された線形活性化処理が行われた後の入力データ（例えば、顔画像/キー領域画像）に対して特徴抽出処理を行うことで、入力データのローカル特徴を抽出してもよい。隣り合う2つの畳込み層の間には、Dropout技術により、トレーニング中のオーバーフィッティングを回避することで、モデルの汎化能力を向上させてもよい。グローバル検出モデル/各ローカル検出ネットワークは、さらに、全接続層と出力層を含んでもよい。全接続層は、畳込み層に接続されて、畳込み層から出力された全ての特徴を受け付けて一次元行列を出力してもよい。全接続層は、出力層に接続されてもよい。出力層は、分類器（例えば、softmax分類器）を含んでもよく、分類器が抽出された特徴に基づいて入力データ（例えば、顔画像/キー領域画像）を分類して、例えば、N種類の特定の顔面症候群に対する検出確率を出力してもよい。分類器による分類の結果は、出力層を介して出力されて、グローバル検出モデル/各ローカル検出ネットワークによる最終の出力となる。
可能な幾つかの実施形態では、グローバル検出確率とローカル検出確率による特定の顔面症候群への影響力が異なるため、異なるキー領域に対する異なるローカル検出確率からの、特定の顔面症候群への影響力も異なる。ステップ105では、N種類の特定の顔面症候群のうちの各種類の特定の顔面症候群に対し、各種類の特定の顔面症候群に対応するグローバル検出確率と少なくとも1つのローカル検出確率に基づいて、重み付け加算を行うことにより、検出される対象が各種類の特定の顔面症候群を有する対象検出確率を取得することを更に含んでもよい。
例えば、ダウン症候群に対する検出では、グローバル検出モデルに基づいてダウン症候群に対する対象の顔画像のグローバル検出確率を出力し、ローカル検出モデルを用いて目領域画像、鼻領域画像、口領域画像、下顎領域画像、額領域画像の各々に対応するローカル検出確率を出力し、例えば、グローバル検出確率の重みが50％、ローカル検出確率（目）の重みが20％、ローカル検出確率（鼻）の重みが15％、ローカル検出確率（口）の重みが5％、ローカル検出確率（下顎）の重みが5％、ローカル検出確率（額）の重みが5％であるように予め設定し、上記各確率に対して予め設定された重みで重み付け加算を行うことにより、最終的な対象確率が得られてもよい。そのうち、上記各重みは、経験値に基づいて設定されてもよく、トレーニングされて得られてもよいが、本願では、具体的に限定されていない。そうすると、異なる重みを設定することにより、検出の正確率をさらに向上させることができる。
可能な幾つかの実施形態では、検出の正確率をさらに向上させるために、顔画像にキー特徴点を位置決めした後、キー特徴点を基にして顔画像のキー輪郭曲率を計算すること、キー輪郭曲率に基づいて検出される対象が特定の顔面症候群を有する検出確率を調整することを更に含み、そのうち、キー輪郭曲率は、目輪郭曲率、鼻輪郭曲率、口輪郭曲率、下顎輪郭曲率、額輪郭曲率、耳輪郭曲率のうちの1つまたは複数を含む。
例えば、顔画像にキー特徴点が位置決めされた後、顔画像における目の輪郭、鼻の輪郭、耳の輪郭、口の輪郭などの各種類の顔面部の器官の輪郭が得られる。ダウン症候群患者の顔部の特徴には、通常、上向きに傾斜した目、小さくて平らな鼻、小さい耳や口、突出した舌が含まれる。そのため、大量のダウン症候群患者のキー輪郭曲率に基づいて基準曲率を事前に算出するとともに、検出される対象の顔画像におけるキー輪郭曲率を上記基準曲率と比較することで、検出される対象がダウン症候群を有する補充検出確率を取得し、補充検出確率に基づいてステップ105で特定された検出確率を調整してもよい。
可能な幾つかの実施形態では、不要な精度の損失を回避するために、方法100では、検出される対象の顔画像に対して事前処理を行ってから、トレーニングされたグローバル検出モデルに入力すること、および、少なくとも1つのキー領域画像に対して事前処理を行ってから、トレーニングされたローカル検出モデルに入力すること、を更に含み、事前処理は、階調充填処理とサイズ圧縮処理を含んでもよい。
例えば、ニューラルネットワークに入力される画像として、通常、224*224の大きさを有する画像に整合して裁断される必要がある。その場合、当初収集された顔画像及び/又は裁断されて得られたキー領域画像が正方形の画像でないと、まず、当初収集された顔画像及び/又は裁断されて得られたキー領域画像の外側に対して階調充填を行うことで正方形の画像にさせてから、階調充填が行われた正方形の画像を224*224の大きさを有する画像に圧縮または伸長させてもよい。そうすると、顔画像及び/又はキー領域画像に対する裁断操作を回避し、精度の損失が低減され、検出の正確性が向上した。
同じ技術思想を基にして、本発明の実施例は、特定の顔面症候群を検出するための装置をさらに提供し、上記任意の実施例で提供される特定の顔面症候群を検出するための方法を実行するために用いられる。図3は、本発明の実施例で提供される特定の顔面症候群を検出するための装置の構造概略図である。
図3に示されるように、装置300は、
検出される対象の顔画像を取得するための画像取得モジュール301と、
前記顔画像の少なくとも1つのキー領域画像を決定するためのキー領域モジュール302と、
前記顔画像を、トレーニングされたグローバル検出モデルに入力して、グローバル検出結果を取得するグローバル検出モジュール303と、
少なくとも1つの前記キー領域画像を、トレーニングされたローカル検出モデルに入力して、少なくとも1つのローカル検出結果を取得するためのローカル検出モジュール304と、
前記グローバル検出結果と少なくとも1つの前記ローカル検出結果に基づき、前記検出される対象が特定の顔面症候群を有する検出確率を決定するための対象検出モジュール305と、を備える。
本願の実施例では、トレーニング済みのグローバル検出モデルとローカル検出モデルにより、検出される対象が特定の顔面症候群を有する検出確率を決定する。それにより、複雑な測定機器を不要とし、特定の顔面症候群に対する迅速な検出を自動で完成することが可能となり、特定の顔面症候群を有する患者への初期検出の困難度を著しく低減させる。また、グローバル検出モデルとローカル検出モデルによる組合せ検出の装置によれば、検出される対象の顔画像のグローバル特徴とローカル情報を組み合わせながら総合的に検出することができ、検出の正確性が向上した。
説明すべきなのは、本願の実施例における特定の顔面症候群を検出するための装置によれば、上述したような特定の顔面症候群を検出するための方法の実施例の各過程を実現させるとともに、同様な効果や機能を達成させることができる。ここでは説明を省略する。
図4は、本発明の一実施例に係る特定の顔面症候群を検出するための装置を示し、図1に示した特定の顔面症候群を検出するための方法を実行するために用いられる。当該装置は、少なくとも1つのプロセッサと、少なくとも1つのプロセッサと通信接続されるメモリと、を含み、メモリには、少なくとも1つのプロセッサによって実行されることができるインストラクションが記憶されており、インストラクションが少なくとも1つのプロセッサによって実行されることにより、
検出される対象の顔画像を取得すること、前記顔画像の少なくとも1つのキー領域画像を決定すること、前記顔画像を、トレーニングされたグローバル検出モデルに入力して、グローバル検出結果を取得すること、少なくとも1つの前記キー領域画像を、トレーニングされたローカル検出モデルに入力して、少なくとも1つのローカル検出結果を取得すること、前記グローバル検出結果と少なくとも1つの前記ローカル検出結果に基づき、前記検出される対象が特定の顔面症候群を有する対象検出確率を決定すること、を少なくとも1つのプロセッサに実行させることができる。
本願の幾つかの実施例によれば、コンピュータが実行可能なインストラクションが記憶されており、当該コンピュータが実行可能なインストラクションは、プロセッサによって運行されると、
検出される対象の顔画像を取得すること、前記顔画像の少なくとも1つのキー領域画像を決定すること、前記顔画像を、トレーニングされたグローバル検出モデルに入力して、グローバル検出結果を取得すること、少なくとも1つの前記キー領域画像を、トレーニングされたローカル検出モデルに入力して、少なくとも1つのローカル検出結果を取得すること、前記グローバル検出結果と少なくとも1つの前記ローカル検出結果に基づき、前記検出される対象が特定の顔面症候群を有する対象検出確率を決定することを実行させるように設定されている、特定の顔面症候群を検出する方法の不揮発性コンピュータ記憶媒体を提供する。
本願における各実施例は、漸進的な方式により記述されており、各実施例間における同一や類似した部分について、相互参照すればよく、各実施例では、他の実施例との相違点に重点を置いて説明されている。特に、装置、機器及びコンピュータ可読記憶媒体の実施例について、それらが方法実施例と基本的に同じなので、それらに対する記述は簡素化され、関連部分について、方法実施例における一部の説明を参照すればよい。
本願の実施例で提供される装置、機器及びコンピュータ可読記憶媒体は、方法と一対一で対応するものである。そのため、装置、機器及びコンピュータ可読記憶媒体は、それらに対応する方法と類似した有益な技術的効果を有するものである。以上は、方法による有益な技術的効果について詳しく説明されているので、ここでは、装置、機器及びコンピュータ可読記憶媒体による有益な技術的効果の説明を省略する。
当業者であれば分かるように、本発明の実施例は、方法、システム、または、コンピュータプログラム製品として提供されてもよい。そのため、本発明は、完全ハードウェアの実施例、完全ソフトウェアの実施例、または、ソフトウェアとハードウェアの方面を組み合わせた実施例の形式が用いられてもよい。しかも、本発明は、1つまたは複数の、コンピュータ利用可能なプログラムコードを含むコンピュータ利用可能な記憶媒体（ディスクメモリ、CD-ROM、光学メモリなどを含むが、それらに限られないもの）に実施されるコンピュータプログラム製品の形式が用いられてもよい。
本発明は、本発明の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して説明していた。理解すべきなのは、コンピュータプログラムインストラクションによって、フローチャート及び／又はブロック図における各プロセス及び/又はブロックや、フローチャート及び／又はブロック図におけるプロセス及び/またはブロックの組み合わせが実現されてもよい。これらのコンピュータプログラムインストラクションを、汎用コンピュータ、専用コンピュータ、埋込型プロセッサ、または、他のプログラマブルデータ処理装置のプロセッサに提供することにより、機器を発生させ、それにより、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサによって実行されるインストラクションによれば、フローチャートにおける1つのフローまたは複数のフロー及び/又はブロック図の1つのブロックまたは複数のブロックに指定された機能を実現するための装置を発生させる。
これらのコンピュータプログラムインストラクションは、コンピュータ又は他のプログラマブルデータ処理装置を特定の方式で作動するようにガイドできるコンピュータ可読メモリに記憶されてもよい。それにより、当該コンピュータ可読メモリに記憶されたインストラクションは、インストラクション装置を含む製品を発生させ、当該インストラクション装置によれば、フローチャートにおける1つのフローまたは複数のフロー及び/又はブロック図の1つのブロックまたは複数のブロックに指定された機能が実現される。
これらのコンピュータプログラムインストラクションは、コンピュータ又は他のプログラマブルデータ処理装置にロードされてもよい。それにより、コンピュータ又は他のプログラマブル装置において、一連の操作を実行してコンピュータによって実現される処理を発生させ、さらに、コンピュータ又は他のプログラマブル装置によって実行されるインストラクションは、フローチャートにおける1つのフローまたは複数のフロー及び/又はブロック図の1つのブロックまたは複数のブロックに指定された機能を実現するためのステップを提供する。
典型的な配置では、コンピュータ機器には、1つ以上のプロセッサ（CPU）、入出力インターフェース、ネットワークインターフェース及びメモリが含まれる。
メモリは、コンピュータ可読媒体における非永久的メモリ、ランダムアクセスメモリ（RAM）及び/又は不揮発性メモリなどの形式を有するものを含んでもよく、例えば、リードオンリーメモリ（ROM）又はフラッシュメモリ（flash RAM）が考えられる。メモリは、コンピュータ可読媒体の一例である。
コンピュータ可読媒体は、永久的・非永久的、移動可能・移動不可能な媒体を含み、任意の方法又は技術によって情報の記憶が実現されてもよい。情報は、コンピュータ可読インストラクション、データ構成、プログラムのモジュール又は他のデータであってもよい。コンピュータの記憶媒体の例として、コンピュータ機器によってアクセスされ得る情報を記憶することができるような、相変化メモリ（PRAM）、スタティックランダムアクセスメモリ（SRAM）、ダイナミックランダムアクセスメモリ（DRAM）、他の種類のランダムアクセスメモリ（RAM）、リードオンリーメモリ（ROM）、電気的消去可能プログラマブル読み出し専用メモリ（EEPROM）、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読み出し専用メモリ（CD-ROM）、デジタル多用途ディスク（DVD）または他の光学記憶装置、磁気カセット、磁気テープ磁気ディスク記憶装置または他の磁気記憶装置または任意の他の非伝送媒体を含んでもよいが、それらによって制限されない。また、添付図面には、本発明方法の操作が特定の順序に従って記述されているが、しかし、それらの操作が当該特定の順序に従って実行されなければならないこと、または、示された全ての操作が実行されないと、所望の結果が実現されないことを要求したり、非明示に開示したりするためのものではない。付加的または選択的に、いくつかのステップを省略したり、複数のステップを1つのステップに合併して実行したり、及び／または、1つのステップを複数のステップに分割して実行したりすることができる。
本発明の精神と原理は、若干の具体的な実施の形態を参照して説明されているが、理解すべきなのは、本発明は、開示されている具体的な実施の形態によって限定されず、各態様の分割は、単に説明の便宜のためのものに過ぎず、これらの態様の特徴を組み合わせて利益を得ることができないことを意味しない。本発明は、添付の請求項の精神や範囲に含まれる様々な修正や同等の構成を包含することが意図される。

Claims (12)

  1. 特定の顔面症候群を検出するための方法であって、
    検出される対象の顔画像を取得すること、
    前記顔画像の少なくとも1つのキー領域画像を決定すること、
    前記顔画像を、トレーニングされたグローバル検出モデルに入力して、グローバル検出結果を取得すること、
    少なくとも1つの前記キー領域画像を、トレーニングされたローカル検出モデルに入力して、少なくとも1つのローカル検出結果を取得すること、および、
    前記グローバル検出結果と少なくとも1つの前記ローカル検出結果に基づき、前記検出される対象が特定の顔面症候群を有する対象検出確率を決定すること、を含み、
    前記顔画像の少なくとも1つのキー領域画像を決定することは、前記顔画像にキー特徴点を位置決めして、前記キー特徴点を基にして前記顔画像の少なくとも1つのキー領域を決定し、前記顔画像から少なくとも1つのキー領域画像を分割することを含み、前記キー領域画像は、目領域画像、鼻領域画像、口領域画像、下顎領域画像、額領域画像、耳領域画像のうちの1つまたは複数の指定された種類を含み、
    前記方法は、前記顔画像にキー特徴点を位置決めした後、前記キー特徴点を基にして前記顔画像のキー輪郭曲率を計算し、前記キー輪郭曲率に基づいて前記検出される対象が特定の顔面症候群を有する検出確率を調整することを更に含み、
    前記キー輪郭曲率に基づいて前記検出確率を調整することは、少なくとも1人の特定の顔面症候群を有する患者の前記キー輪郭曲率に基づいて基準曲率を予め取得し、前記検出される対象の前記キー輪郭曲率と前記基準曲率とを比較することで補充検出確率を取得し、前記補充検出確率に基づいて前記検出確率を調整することを更に含み、
    前記キー輪郭曲率は、目輪郭曲率、鼻輪郭曲率、口輪郭曲率、下顎輪郭曲率、額輪郭曲率、耳輪郭曲率のうちの1つまたは複数を含む、ことを特徴とする方法。
  2. 前記トレーニングされたローカル検出モデルは、複数のトレーニングされたローカル検出ネットワークを含み、各ローカル検出ネットワークは、指定された種類のキー領域画像に対するローカル検出を行うために用いられ、
    少なくとも1つの前記キー領域画像を、トレーニングされたローカル検出モデルに入力することは、各前記キー領域画像を前記ローカル検出モデルにおける対応する種類のローカル検出ネットワークに入力することを更に含む、ことを特徴とする請求項1に記載の方法。
  3. 前記グローバル検出モデルによって出力された前記グローバル検出結果は、N個のグローバル検出確率を含み、各前記ローカル検出ネットワークによって出力された前記ローカル検出結果は、N個のローカル検出確率を含み、前記N個のグローバル/ローカル検出確率は、前記N種類の特定の顔面症候群に一対一で対応し、前記Nが正整数である、ことを特徴とする請求項２に記載の方法。
  4. 前記グローバル検出結果と少なくとも1つの前記ローカル検出結果に基づき、前記検出される対象が特定の顔面症候群を有する対象検出確率を決定することは、
    前記N種類の特定の顔面症候群のうちの各種類の特定の顔面症候群に対し、前記各種類の特定の顔面症候群に対応する前記グローバル検出確率と少なくとも1つの前記ローカル検出確率に基づいて、重み付け加算を行うことにより、前記検出される対象が前記各種類の特定の顔面症候群を有する対象検出確率を取得することを含む、ことを特徴とする請求項3に記載の方法。
  5. 検出される対象の顔画像を取得するステップの実行前に、
    トレーニングサンプル集合から顔サンプル画像と、前記顔サンプル画像に対応する、前記特定の顔面症候群に対する疾患状況を示すためのトレーニングラベルと、を取得すること、
    トレーニングされる第1のニューラルネットワークモデルを用いて前記顔サンプル画像を処理して、前記顔サンプル画像に対応するグローバルトレーニング検出結果を取得すること、
    前記トレーニングラベルと前記グローバルトレーニング検出結果に基づき、前記トレーニングされる第1のニューラルネットワークモデルのシステム損失関数により、前記トレーニングされる第1のニューラルネットワークモデルのシステム損失値を計算すること、
    前記システム損失値を基にして、前記トレーニングされる第1のニューラルネットワークモデルの重みを補正すること、および、
    前記システム損失値が予め定められた条件を満足した場合、トレーニング済みの前記グローバル検出モデルを取得し、前記システム損失値が予め定められた条件を満足しない場合、前記トレーニングされる第1のニューラルネットワークモデルに対するトレーニングを継続すること、を更に含む、ことを特徴とする請求項1に記載の方法。
  6. 検出される対象の顔画像を取得するステップの実行前に、
    トレーニングサンプル集合から指定された種類のキー領域サンプル画像と、前記キー領域サンプル画像に対応する、前記特定の顔面症候群に対する疾患状況を示すためのトレーニングラベルと、を取得すること、
    トレーニングされる第2のニューラルネットワークを用いて前記キー領域サンプル画像を処理して、前記キー領域サンプル画像に対応するローカルトレーニング検出結果を取得すること、
    前記トレーニングラベルと前記ローカルトレーニング検出結果に基づき、前記トレーニングされる第2のニューラルネットワークのシステム損失関数により、前記トレーニングされる第2のニューラルネットワークのシステム損失値を計算すること、
    前記システム損失値を基にして、前記トレーニングされる第2のニューラルネットワークの重みを補正すること、および、
    前記システム損失関数が予め定められた条件を満足した場合、トレーニング済みの、前記指定された種類のキー領域画像に対してローカル検出を行うための前記ローカル検出ネットワークを取得し、前記システム損失関数が予め定められた条件を満足しない場合、前記トレーニングされる第2のニューラルネットワークに対するトレーニングを継続すること、を更に含む、ことを特徴とする請求項2に記載の方法。
  7. 前記グローバル検出モデル及び/又は前記ローカル検出モデルは、残差ネットワークモデルに基づいて構築される、ことを特徴とする請求項1～6のいずれか1項に記載の方法。
  8. 前記検出される対象の顔画像に対して事前処理を行ってから、前記トレーニングされたグローバル検出モデルに入力すること、および、
    前記少なくとも1つのキー領域画像に対して前記事前処理を行ってから、前記トレーニングされたローカル検出モデルに入力すること、を更に含み、
    前記事前処理は、階調充填処理とサイズ圧縮処理を含み、
    前記階調充填処理は、
    前記キー領域画像が正方形の画像でなければ、前記キー領域画像の外側に対して階調充填を行うことで当該キー領域画像を正方形の画像にする処理である、ことを特徴とする請求項1に記載の方法。
  9. 前記特定の顔面症候群は、ダウン症候群及び/又はサラセミア顔面症候群を含む、ことを特徴とする請求項1に記載の方法。
  10. 特定の顔面症候群を検出するための装置であって、
    検出される対象の顔画像を取得するための画像取得モジュールと、
    前記顔画像の少なくとも1つのキー領域画像を決定するためのキー領域モジュールであって、具体的には、前記顔画像にキー特徴点を位置決めして、前記キー特徴点を基にして前記顔画像の少なくとも1つのキー領域を決定し、前記顔画像から少なくとも1つのキー領域画像を分割するためのキー領域モジュールと、
    前記顔画像を、トレーニングされたグローバル検出モデルに入力して、グローバル検出結果を取得するためのグローバル検出モジュールと、
    少なくとも1つの前記キー領域画像を、トレーニングされたローカル検出モデルに入力して、少なくとも1つのローカル検出結果を取得するためのローカル検出モジュールと、
    前記グローバル検出結果と少なくとも1つの前記ローカル検出結果に基づき、前記検出される対象が特定の顔面症候群を有する検出確率を決定するための対象検出モジュールと、を備え、
    前記装置は、さらに、前記顔画像にキー特徴点を位置決めした後、前記キー特徴点を基にして前記顔画像のキー輪郭曲率を計算し、前記キー輪郭曲率に基づいて前記検出される対象が特定の顔面症候群を有する検出確率を調整するために用いられ、
    前記キー輪郭曲率に基づいて前記検出確率を調整することは、少なくとも1人の特定の顔面症候群を有する患者の前記キー輪郭曲率に基づいて基準曲率を予め取得し、前記検出される対象の前記キー輪郭曲率と前記基準曲率とを比較することで補充検出確率を取得し、前記補充検出確率に基づいて前記検出確率を調整することを更に含み、
    前記キー領域画像は、目領域画像、鼻領域画像、口領域画像、下顎領域画像、額領域画像、耳領域画像のうちの1つまたは複数の指定された種類を含み、
    前記キー輪郭曲率は、目輪郭曲率、鼻輪郭曲率、口輪郭曲率、下顎輪郭曲率、額輪郭曲率、耳輪郭曲率のうちの1つまたは複数を含む、ことを特徴とする装置。
  11. 特定の顔面症候群を検出するための装置であって、
    少なくとも1つのプロセッサと、少なくとも1つのプロセッサと通信接続されるメモリと、を含み、メモリには、少なくとも1つのプロセッサによって実行されることができるインストラクションが記憶されており、インストラクションが少なくとも1つのプロセッサによって実行されることにより、
    検出される対象の顔画像を取得すること、
    前記顔画像にキー特徴点を位置決めして、前記キー特徴点を基にして前記顔画像の少なくとも1つのキー領域を決定し、前記顔画像から少なくとも1つのキー領域画像を分割することを含む、前記顔画像の少なくとも1つのキー領域画像を決定すること、
    前記顔画像を、トレーニングされたグローバル検出モデルに入力して、グローバル検出結果を取得すること、
    少なくとも1つの前記キー領域画像を、トレーニングされたローカル検出モデルに入力して、少なくとも1つのローカル検出結果を取得すること、
    前記グローバル検出結果と少なくとも1つの前記ローカル検出結果に基づき、前記検出される対象が特定の顔面症候群を有する対象検出確率を決定すること、および、
    前記顔画像にキー特徴点を位置決めした後、前記キー特徴点を基にして前記顔画像のキー輪郭曲率を計算し、前記キー輪郭曲率に基づいて前記検出される対象が特定の顔面症候群を有する検出確率を調整すること、を少なくとも1つのプロセッサに実行させることができ、
    前記キー輪郭曲率に基づいて前記検出確率を調整することは、少なくとも1人の特定の顔面症候群を有する患者の前記キー輪郭曲率に基づいて基準曲率を予め取得し、前記検出される対象の前記キー輪郭曲率と前記基準曲率とを比較することで補充検出確率を取得し、前記補充検出確率に基づいて前記検出確率を調整することを更に含み、
    前記キー領域画像は、目領域画像、鼻領域画像、口領域画像、下顎領域画像、額領域画像、耳領域画像のうちの1つまたは複数の指定された種類を含み、
    前記キー輪郭曲率は、目輪郭曲率、鼻輪郭曲率、口輪郭曲率、下顎輪郭曲率、額輪郭曲率、耳輪郭曲率のうちの1つまたは複数を含む、ことを特徴とする装置。
  12. プログラムが記憶されており、前記プログラムがマルチコアプロセッサによって実行されると、請求項1～9のいずれか1項に記載の方法を前記マルチコアプロセッサに実行させる、ことを特徴とするコンピュータ可読記憶媒体。
JP2021067176A 2020-05-14 2021-04-12 特定の顔面症候群を検出するための方法、装置、および、コンピュータ可読記憶媒体 Active JP7189257B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010408194.4A CN111598867B (zh) 2020-05-14 2020-05-14 用于检测特定面部综合征的方法、装置及计算机可读存储介质
CN202010408194.4 2020-05-14

Publications (2)

Publication Number Publication Date
JP2021179975A JP2021179975A (ja) 2021-11-18
JP7189257B2 true JP7189257B2 (ja) 2022-12-13

Family

ID=72192184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021067176A Active JP7189257B2 (ja) 2020-05-14 2021-04-12 特定の顔面症候群を検出するための方法、装置、および、コンピュータ可読記憶媒体

Country Status (2)

Country Link
JP (1) JP7189257B2 (ja)
CN (1) CN111598867B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209873A (zh) * 2020-01-09 2020-05-29 杭州趣维科技有限公司 一种基于深度学习的高精度人脸关键点定位方法及系统
CN111932564B (zh) * 2020-09-24 2021-03-02 平安科技（深圳）有限公司 图片识别方法、装置、电子设备及计算机可读存储介质
CN112200802B (zh) * 2020-10-30 2022-04-26 上海商汤智能科技有限公司 图像检测模型的训练方法及相关装置、设备、存储介质
CN113033551A (zh) * 2021-03-16 2021-06-25 北京嘀嘀无限科技发展有限公司 对象检测的方法、装置、设备和存储介质
CN112967798A (zh) * 2021-03-22 2021-06-15 平安国际智慧城市科技股份有限公司 基于人脸面容的辅诊方法、装置、电子设备及存储介质
CN113705685B (zh) * 2021-08-30 2023-08-01 平安科技（深圳）有限公司 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN114240954B (zh) * 2021-12-16 2022-07-08 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008012773A (ja) 2006-07-05 2008-01-24 Konica Minolta Business Technologies Inc 印刷装置、印刷システム及び印刷制御方法並びに印刷制御プログラム
WO2012002047A1 (ja) 2010-06-30 2012-01-05 Ｎｅｃソフト株式会社 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011084788A2 (en) * 2009-12-21 2011-07-14 Sherwin Hua Insertion of medical devices through non-orthogonal and orthogonal trajectories within the cranium and methods of using
KR20130072810A (ko) * 2011-12-22 2013-07-02 삼성전자주식회사 초음파 영상을 이용하여 정중 시상면을 자동으로 검출하는 방법 및 그 장치
GB201320688D0 (en) * 2013-11-22 2014-01-08 Materialise Nv System and method for constructing a statistical shape model
JP6741750B2 (ja) * 2015-07-29 2020-08-19 ペルキネルマー ヘルス サイエンシーズ， インコーポレイテッド ３ｄ解剖画像における個々の骨格の骨の自動化されたセグメンテーションのためのシステムおよび方法
WO2017205903A1 (en) * 2016-06-01 2017-12-07 Vidi Pty Ltd An optical measuring and scanning system and methods of use
CN106384126B (zh) * 2016-09-07 2019-05-24 东华大学 基于轮廓曲率特征点和支持向量机的服装款式识别方法
CN107066932A (zh) * 2017-01-16 2017-08-18 北京龙杯信息技术有限公司 人脸识别中关键特征点的检测与定位方法
EP3432198B1 (en) * 2017-07-19 2024-04-17 Tata Consultancy Services Limited Crowdsourcing and deep learning based segmenting and karyotyping of chromosomes
CN109508685A (zh) * 2018-11-23 2019-03-22 赵雷 基于人脸识别技术的电力通信调度方法
CN110136157B (zh) * 2019-04-09 2021-03-26 华中科技大学 一种基于深度学习的三维颈动脉超声图像血管壁分割方法
CN110046595B (zh) * 2019-04-23 2022-08-09 福州大学 一种基于级联式多尺度的密集人脸检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008012773A (ja) 2006-07-05 2008-01-24 Konica Minolta Business Technologies Inc 印刷装置、印刷システム及び印刷制御方法並びに印刷制御プログラム
WO2012002047A1 (ja) 2010-06-30 2012-01-05 Ｎｅｃソフト株式会社 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Pushkar Shukla，外４名，"A deep learning frame-work for recognizing developmental disorders"，2017 IEEE Winter Conference on Applications of Computer Vision，IEEE，2017年05月15日，pp. 705-714
Yaron Gurovich，外１１名，"Identifying facial phenotypes of genetic disorders using deep learning"，Nature Medicine，Vol. 25，2019年01月07日，pp. 60-64

Also Published As

Publication number Publication date
CN111598867B (zh) 2021-03-09
JP2021179975A (ja) 2021-11-18
CN111598867A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
JP7189257B2 (ja) 特定の顔面症候群を検出するための方法、装置、および、コンピュータ可読記憶媒体
CN109447183B (zh) 预测模型训练方法、装置、设备以及介质
Sahu et al. FINE_DENSEIGANET: Automatic medical image classification in chest CT scan using Hybrid Deep Learning Framework
CN107945870B (zh) 基于深度神经网络的早产儿视网膜病变检测方法及装置
JP7462055B2 (ja) 脳の磁気共鳴画像における白質高信号域の自動セグメント化のための方法およびシステム
CN111009324B (zh) 脑网络多特征分析的轻度认知障碍辅助诊断系统及方法
WO2021115084A1 (zh) 一种基于结构磁共振影像的大脑年龄深度学习预测系统
CN114999629B (zh) 一种基于多特征融合的ad早期预测方法、系统、装置
CN111657888A (zh) 重度急性呼吸窘迫综合症预警方法及系统
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
Sreelakshmy et al. [Retracted] An Automated Deep Learning Model for the Cerebellum Segmentation from Fetal Brain Images
Chan et al. Quasi-conformal statistical shape analysis of hippocampal surfaces for Alzheimer׳ s disease analysis
Thangavel et al. EAD-DNN: Early Alzheimer's disease prediction using deep neural networks
CN116452593B (zh) 血管性认知障碍的ai评估模型的构建方法、装置及系统
CN114787816A (zh) 针对机器学习方法的数据增强
Hu et al. Automatic placenta abnormality detection using convolutional neural networks on ultrasound texture
Mirchandani et al. Comparing the Architecture and Performance of AlexNet Faster R-CNN and YOLOv4 in the Multiclass Classification of Alzheimer Brain MRI Scans
Kadam et al. A cnn-rnn based approach for simultaneous detection, identification and classification of intracranial hemorrhage
CN114926396A (zh) 一种精神障碍类磁共振图像初步筛查模型构建方法
Yanar et al. Clinical Decision Support for Early Diagnosis of Cardiomegaly by Using Deep Learning Techniques on Chest X-rays
Ding et al. Dopamine transporter spect image classification for neurodegenerative parkinsonism via diffusion maps and machine learning classifiers
Tripathi et al. Generating OCT B-Scan DME images using optimized Generative Adversarial Networks (GANs)
US20220334205A1 (en) Detection of Bio-Markers in Functional MRI Scans
CN112766333B (zh) 医学影像处理模型训练方法、医学影像处理方法及装置
RU2811260C1 (ru) Способ диагностики идиопатической нормотензивной гидроцефалии

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221201

R150 Certificate of patent or registration of utility model

Ref document number: 7189257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150