JP6999812B2 - 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法 - Google Patents

骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法 Download PDF

Info

Publication number
JP6999812B2
JP6999812B2 JP2020528374A JP2020528374A JP6999812B2 JP 6999812 B2 JP6999812 B2 JP 6999812B2 JP 2020528374 A JP2020528374 A JP 2020528374A JP 2020528374 A JP2020528374 A JP 2020528374A JP 6999812 B2 JP6999812 B2 JP 6999812B2
Authority
JP
Japan
Prior art keywords
bone
image
ray image
hand
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020528374A
Other languages
English (en)
Other versions
JP2021504816A (ja
Inventor
サイ、フゥ-ジェン
フアン、ズング-チ
イン-カイ リャオ、ケン
ユ、ジアシン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Medical University Hospital
Original Assignee
China Medical University Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Medical University Hospital filed Critical China Medical University Hospital
Publication of JP2021504816A publication Critical patent/JP2021504816A/ja
Application granted granted Critical
Publication of JP6999812B2 publication Critical patent/JP6999812B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、医療情報分析モデル、システム及び方法に関し、特に、骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法に関する。
骨年齢は、人体の生理的年齢の重要な指標の1つであり、骨の成長、発達、成熟、及び老化の基準によって人体の生理的年齢を推測する。骨年齢評価(bone age assessment;BAA)は、小児科医が小児の成長と発達を解釈するために一般的に使用する通常検査であり、異なる成長段階における骨の異なる形態発現を分析して、ヒト骨の連続的と段階的な発達状態を参照することで、更に個人の成長と発達のレベル及び成熟度を更に正確に評価し、また小児被験者の成長と発達の潜在力と性的成熟の傾向を更に評価し予測することができる。
公知の骨年齢評価法としては、低線量のX線で撮像するように、被験者の左手又は右手の指骨、中手骨、及び手根骨のX線画像を取得して、前記X線画像をGreulich and Pyle(G-P)方法とTanner-Whitehouse(TW)方法によってマップ比較で骨年齢評価を実行するものがある。G-P方法は、操業上、被験者の手骨の元のX線画像とデータベースにおける手骨X線画像とを異なる年齢別に1対1で人為的に比較するものである。TW方法は、左手のひらと左手首の手骨のX線画像における20個の関心領域(Regions of Interests;ROI)を1つずつ比較して分析して、後の評価を行うように、手骨の発達状況を9つの成熟度レベルに分けるものである。しかしながら、G-P方法によって骨年齢評価を行う場合、同じ被験者の骨年齢の評価結果は、異なる分析者の異なる比較習慣によって異なることがよくあるが、TW方法によって骨年齢の評価を行う場合に得られる骨年齢の評価結果は、より客観的であるが、採点する必要のある骨が多く、プロセスも面倒で時間がかかるため、被験者の手骨の元のX線画像を短時間で分析して、対応する骨年齢の評価結果をリアルタイムで取得することはできない。
従って、高精度で迅速に検出できる骨年齢評価及び身長予測システムを如何に開発するかは、商業的価値のある技術的な課題となる。
本発明の目的は、骨年齢評価及び身長予測の精度と感度を効果的に向上させ、骨年齢評価及び身長予測の判定時間を短くすることのできる骨年齢評価と身長予測モデル、そのシステム及びその予測方法を提供することにある。
本発明の一態様は、骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨X線画像の参照データと、を含む参照データベースを取得する工程と、標準化された複数の手骨X線画像データを取得するために、画像データ編集モジュールによって各手骨X線画像の参照データの画像サイズ及び画像の白黒コントラストを調整する画像前処理工程と、特徴選択モジュールによって標準化された複数の手骨X線画像データを分析して少なくとも1つの画像特徴値を得る特徴選択工程と、画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測するための骨年齢評価と身長予測モデルを得るトレーニング工程と、で確立される骨年齢評価と身長予測モデルを提供することにある。
前記の骨年齢評価と身長予測モデルによれば、畳み込みニューラルネットワーク学習分類子は、Inception-ResNet-v2畳み込みニューラルネットワークであってよい。
前記の骨年齢評価と身長予測モデルによれば、手骨X線画像の参照データの画像フォーマットは、デジタル医療画像通信標準規格(Digital Imaging and Communications in Medicine;DICOM)の画像フォーマットであってよい。
前記の骨年齢評価と身長予測モデルによれば、画像前処理工程は、更に、各手骨X線画像の参照データに対して画像彩度補正処理を行ってもよい。
前記の骨年齢評価と身長予測モデルによれば、骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよい。
前記の骨年齢評価と身長予測モデルによれば、各手骨X線画像の参照データは、非利き手の手骨X線画像の参照データであってよい。
本発明の別の一態様は、前段に記載の骨年齢評価と身長予測モデルを提供する工程と、生理的年齢情報及び性別情報を含む、被験者の対象手骨X線画像データを提供する工程と、標準化された対象手骨X線画像データを取得するために、画像データ編集モジュールによって対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整する前処理を、対象手骨X線画像データに対して行う工程と、前記特徴選択モジュールによって標準化された対象手骨X線画像データを分析して少なくとも1つの画像特徴値を得る工程と、前記骨年齢評価と身長予測モデルによって画像特徴値を分析して、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測する工程と、を備える骨年齢評価と身長予測方法を提供することにある。
前記の骨年齢評価と身長予測方法によれば、対象手骨X線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。
前記の骨年齢評価と身長予測方法によれば、画像データ編集モジュールは、更に、対象手骨X線画像データに対して画像彩度補正処理を行ってもよい。
前記の骨年齢評価と身長予測方法によれば、前記の対象手骨X線画像データは、非利き手の対象手骨X線画像データであってよい。
本発明の更なる一態様は、生理的年齢情報及び性別情報を含有する被験者の対象手骨X線画像データを取得するための画像キャプチャユニットと、前記画像キャプチャユニットに通信可能に接続され、プログラムを保存することに用いられ、前記プログラムが処理ユニットによって実行される場合に、被験者の手骨の発達状態、被験者の骨年齢を評価し被験者の成人身長を予測することに用いられる非一時的機械可読媒体と、を備え、且つプログラムは、骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨X線画像の参照データと、を含む参照データベースを取得するための参照データベース取得モジュールと、標準化された複数の手骨X線画像データを取得するために、各手骨X線画像の参照データの画像サイズ及び画像の白黒コントラストを調整する第1の画像データ編集モジュールと、標準化された手骨X線画像データを分析して少なくとも1つの参照画像特徴値を得るための特徴選択モジュールと、前記の参照画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、骨年齢評価と身長予測モデルを得るトレーニングモジュールと、標準化された対象手骨X線画像データを取得するために、対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整する第2の画像データ編集モジュールと、標準化された対象手骨X線画像データを分析して少なくとも1つの対象画像特徴値を得るための対象特徴選択モジュールと、前記の少なくとも1つの対象画像特徴値を骨年齢評価と身長予測モデルで分析して、対象画像特徴値重み付けデータを得、前記の少なくとも1つの対象画像特徴値重み付けデータと参照データベースとを比較して、被験者の手骨の発達状態の判定結果、被験者の骨年齢判定結果及び被験者の成人身長予測結果を出力する比較モジュールと、を含む骨年齢評価と身長予測システムを提供することにある。
前記の骨年齢評価と身長予測システムによれば、畳み込みニューラルネットワーク学習分類子は、Inception-ResNet-v2畳み込みニューラルネットワークであってよい。
前記の骨年齢評価と身長予測システムによれば、前記の対象手骨X線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよく、前記の手骨X線画像の参照データとの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。
前記の骨年齢評価と身長予測システムによれば、第1の画像データ編集モジュールは、更に、各手骨X線画像の参照データに対して画像彩度補正処理を行ってよく、第2の画像データ編集モジュールは、更に、対象手骨X線画像データに対して画像彩度補正処理を行ってよい。
前記の骨年齢評価と身長予測システムによれば、骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよい。
前記の骨年齢評価と身長予測システムによれば、各手骨X線画像の参照データは、非利き手の手骨X線画像の参照データであってよく、対象手骨X線画像データは、非利き手の対象手骨X線画像データであってよい。
前記の骨年齢評価と身長予測システムによれば、標準化された対象手骨X線画像データが骨年齢評価と身長予測モデルで分析された後、アクティブな警告通知を発行するための警告モジュールを更に含んでよい。
これにより、本発明の骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法は、手骨X線画像の参照データと対象手骨X線画像データに対して画像標準化前処理を行い、特徴選択モジュールによって分析して少なくとも1つの画像特徴値を得た後で、更に畳み込みニューラルネットワークによって画像特徴値をトレーニングして、手骨の発達状態、骨年齢及び成人身長に対して分析判断を行って、骨年齢評価と身長予測に必要な時間を効果的に短くすることができるだけでなく、公知の骨年齢評価形態における異なる分析者の特徴選択及び比較形態の異なりによる結果誤差を避けることもできる。なお、畳み込みニューラルネットワーク学習分類子を含む骨年齢評価と身長予測モデルによれば、骨年齢評価及び身長予測の精度と感度を効果的に向上させて、本発明の骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法による骨年齢判断及び身長予測の点でより効率的となるようにし、異なる被験者の成長と発達のレベルや成熟度を正確に評価して、被験者の未来の成長と発達の可能性を予測することができる。
上記の発明の内容は、読者に本開示内容を基本的に理解させるように、本開示内容の簡単な概要を提供する。本発明の内容は、本開示内容の完全な記述ではなく、また本発明実施例の重要な(又は肝心な)素子を指摘し、又は本発明の範囲を限定するものではない。
下記の添付図面の説明は、本発明の上記及び他の目的、特徴、メリット及び実施例をより分かりやすくするためのものである。
本発明の一実施形態に係る骨年齢評価と身長予測モデルの確立工程を示すフロー図である。 本発明の別の実施形態に係る骨年齢評価と身長予測方法の工程を示すフロー図である。 本発明の更なる1つの実施形態に係る骨年齢評価と身長予測システムの構造を示す模式図である。 本発明の骨年齢評価と身長予測モデルの局部確立工程を示すフロー図である。 本発明の骨年齢評価と身長予測モデルの畳み込みニューラルネットワーク学習分類子の構造を示す模式図である。 本発明の骨年齢評価と身長予測システムの適用結果を示す模式図である。
以下、本発明の各実施形態をより詳細に説明する。しかしながら、この実施形態は、様々な発明の概念の適用であってよく、様々な異なる特定の範囲で具体化されてよい。特定の実施形態は、単に説明するためのものであり、公開の範囲に限定されない。
本発明の一実施形態に係る骨年齢評価と身長予測モデル100の確立工程を示すフロー図である図1を参照されたい。骨年齢評価と身長予測モデル100は、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測することに用いられ、且つ工程110、工程120、工程130及び工程140を含む。
工程110は、骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨X線画像の参照データと、を含む参照データベースを取得することである。好ましくは、本発明の骨年齢評価と身長予測モデル100の利き手の使用頻度又は使用習慣による骨の形態変化によりその判断精度が影響されないように、前記の手骨X線画像の参照データは、非利き手の手骨X線画像の参照データであってよい。
好ましくは、各手骨X線画像の参照データの生理的年齢情報、性別情報等の基本データを手骨X線画像の参照データのヘッダー(header)に保存して、後の分析を容易にするように、前記の手骨X線画像の参照データの画像フォーマットは、デジタル医療画像通信標準規格(Digital Imaging and Communications in Medicine;DICOM)の画像フォーマットであってよい。なお、男性と女性の生理的成熟のプロセスが異なり、骨の発達形態及びその対応する生理的年齢も異なるため、本発明の骨年齢評価と身長予測モデル100は、更に異なる性別の手骨X線画像の参照データに対して別々に特徴選択工程とトレーニング工程を更に行って、性別ごとに手骨の発達状態、骨年齢及び成人身長の判断と予測を行うことができる。好ましくは、異なる性別の被験者を容易に分析できるように、前記の骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよい。
工程120は、標準化された複数の手骨X線画像データを取得するために、画像データ編集モジュールによって各手骨X線画像の参照データの画像サイズ及び画像の白黒コントラストを調整する画像前処理工程を行うことである。詳しく言えば、画像データ編集モジュールは、異なる手骨X線画像の参照データの画像サイズをそれぞれ256ピクセル(pixel)×256ピクセルに調整してから、その白黒コントラストを調整することにより、異なる手骨X線画像の参照データ同士の白黒の色度差を減らして画像の解像度を高めて、後の分析を容易にすることができる。
また、工程120において、画像データ編集モジュールは、更に各手骨X線画像の参照データに対して画像彩度補正処理を行うことができる。詳しく言えば、画像データ編集モジュールは、各手骨X線画像の参照データの画像階調度を計算し、前記の計算結果によって順に各手骨X線画像の参照データの画像ピクセルの行、列を自動的に色で補填して、グレースケールトーンを示す各手骨X線画像の参照データをカラートーンに変換し、更に後の分析の精度を向上させることができるが、本発明は前記説明と添付図面の公開した内容に限定されない。
工程130は、特徴選択モジュールによって標準化された手骨X線画像データを分析して少なくとも1つの画像特徴値を得る特徴選択工程を行うことである。詳しく言えば、本発明の骨年齢評価と身長予測モデル100は、特徴選択モジュールによって標準化された手骨X線画像データの画像情報を自動的に分析を行い、対応する画像特徴値を自動的に抽出することで、本発明の骨年齢評価と身長予測モデル100の評価と予測効率を改善する。
工程140は、前記の画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、骨年齢評価と身長予測モデル100を得るトレーニング工程を行うことである。好ましくは、前記の畳み込みニューラルネットワーク学習分類子は、Inception-ResNet-v2畳み込みニューラルネットワークであってよい。Inception-ResNet-v2畳み込みニューラルネットワークは、ImageNet視覚化データデータベースに基づいた大規模な視覚認識(Large Scale Visual Recognition)畳み込みニューラルネットワークであり、残差結合(Residual connections)の形態によって畳み込みニューラルネットワークのトレーニングの深さを効果的に拡張することができるため、更にInception-ResNet-v2畳み込みニューラルネットワークの画像分類と認識の点で相当高い精度を持つようになる。
本発明の別の実施形態に係る骨年齢評価と身長予測方法200を示す工程フロー図である図2を参照されたい。骨年齢評価と身長予測方法200は、工程210、工程220、工程230、工程240及び工程250を含む。
工程210は、前記工程110~工程140によって確立される骨年齢評価と身長予測モデルを提供することである。
工程220は、生理的年齢情報及び性別情報を含む、被験者の対象手骨X線画像データを提供することである。好ましくは、被験者の利き手の使用頻度又は使用習慣による骨の形態変化により骨年齢評価と身長予測方法200の分析精度が影響されないように、前記の対象手骨X線画像データは、非利き手の対象手骨X線画像データであってよい。
好ましくは、対象手骨X線画像データの生理的年齢情報、性別情報等の基本データを対象手骨X線画像データのヘッダーに保存して、後の分析を容易にするように、前記の対象手骨X線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。なお、男性と女性の生理的成熟のプロセスが異なり、骨の発達形態及びその対応する生理的年齢も異なるため、本発明の骨年齢評価と身長予測方法200は、それぞれ異なる性別の対象手骨X線画像データに対して性別ごとに手骨の発達状態、骨年齢及びその成人身長の評価と分析を行う。
工程230は、標準化された対象手骨X線画像データを取得するために、前記の画像データ編集モジュールによって対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整する前処理を、対象手骨X線画像データに対して行うことである。詳しく言えば、画像データ編集モジュールは、対象手骨X線画像データの画像サイズを256ピクセル×256ピクセルに調整してから、その白黒コントラストを調整することにより、画像の解像度を向上させて、後の分析を容易にする。
また、工程230において、画像データ編集モジュールは、更に対象手骨X線画像データに対して画像彩度補正処理を行うことができる。詳しく言えば、画像データ編集モジュールは、対象手骨X線画像データの画像階調度を計算し、前記の計算結果によって順に対象手骨X線画像データの画像ピクセルの行、列を自動的に色で補填して、グレースケールトーンを示す対象手骨X線画像データをカラートーンに変換し、更に後の分析の精度を向上させることができるが、本発明は前記説明と添付図面の公開した内容に限定されない。
工程240は、特徴選択モジュールによって標準化された対象手骨X線画像データを分析して少なくとも1つの画像特徴値を得ることである。詳しく言えば、本発明の骨年齢評価と身長予測方法200は、特徴選択モジュールによって標準化された対象手骨X線画像データの画像情報に対して分析を自動的に行い、対応する画像特徴値を自動的に抽出することで、本発明の骨年齢評価と身長予測方法200の評価と予測効率を改善することができる。
工程250は、前記の骨年齢評価と身長予測モデルによって画像特徴値を分析して、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測することである。
本発明の更なる1つの実施形態に係る骨年齢評価と身長予測システム300の構造を示す模式図である図3を参照されたい。骨年齢評価と身長予測システム300は、画像キャプチャユニット400及び非一時的機械可読媒体500を含む。
画像キャプチャユニット400は、生理的年齢情報及び性別情報を含む、被験者の対象手骨X線画像データを取得することに用いられる。詳しく言えば、画像キャプチャユニット400は、X線検査装置であってよく、被験者の手に低線量のX線を照射して、適切な解像度の対象手骨X線画像データを取得する。好ましくは、本発明の骨年齢評価と身長予測システム300の利き手の使用頻度又は使用習慣による骨の形態変化によりその分析精度が影響されないように、前記の対象手骨X線画像データは、非利き手の対象手骨X線画像データであってよい。好ましくは、対象手骨X線画像データの生理的年齢情報、性別情報等の基本データを対象手骨X線画像データのヘッダーに保存して、後の分析を容易にするように、前記の対象手骨X線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。
非一時的機械可読媒体500は、画像キャプチャユニット400に通信可能に接続され、プログラム(未図示)を保存することに用いられ、前記のプログラムが処理ユニット(未図示)によって実行される場合に、被験者の手骨の発達状態、被験者の骨年齢と予測被験者の成人身長を評価することに用いられ、且つ前記のプログラムが参照データベース取得モジュール510、第1の画像データ編集モジュール520、特徴選択モジュール530、トレーニングモジュール540、第2の画像データ編集モジュール550、対象特徴選択モジュール560及び比較モジュール570を含む。
参照データベース取得モジュール510は、骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨X線画像の参照データと、を含む参照データベースを取得することに用いられる。好ましくは、各手骨X線画像の参照データは、非利き手の手骨X線画像の参照データであってよく、異なる性別の被験者を容易に分析できるように、前記の骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよい。
好ましくは、各手骨X線画像の参照データの生理的年齢情報、性別情報等の基本データを手骨X線画像の参照データのヘッダーに保存して、後の分析を容易にするように、前記の手骨X線画像の参照データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。
第1の画像データ編集モジュール520は、標準化された複数の手骨X線画像データを取得するために、各手骨X線画像の参照データの画像サイズ及び画像の白黒コントラストを調整する。詳しく言えば、第1の画像データ編集モジュール520は、異なる手骨X線画像の参照データの画像サイズを256ピクセル×256ピクセルに調整してから、その白黒コントラストを調整することにより、異なる手骨X線画像の参照データ同士の白黒の色度差を減らして画像の解像度を高める。
また、第1の画像データ編集モジュール520は、更に各手骨X線画像の参照データに対して画像彩度補正処理を行うことができる。詳しく言えば、第1の画像データ編集モジュール520は、各手骨X線画像の参照データの画像階調度を計算し、前記の計算結果によって順に各手骨X線画像の参照データの画像ピクセルの行、列を自動的に色で補填して、グレースケールトーンを示す各手骨X線画像の参照データをカラートーンに変換し、更に後の分析の精度を向上させることができるが、本発明は前記説明と添付図面の公開した内容に限定されない。
特徴選択モジュール530は、標準化された手骨X線画像データを分析して少なくとも1つの参照画像特徴値を得ることに用いられる。詳しく言えば、本発明の骨年齢評価と身長予測システム300は、特徴選択モジュール530によって標準化された手骨X線画像データの画像情報を自動的に分析し、対応する画像特徴値を自動的に抽出することができる。
トレーニングモジュール540は、前記の参照画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、骨年齢評価と身長予測モデルを得ることに用いられる。好ましくは、畳み込みニューラルネットワークのトレーニングの深さを効果的に拡張し、更にトレーニングモジュール540の画像分類と認識能力を向上させるように、前記の畳み込みニューラルネットワーク学習分類子は、Inception-ResNet-v2畳み込みニューラルネットワークであってよい。
第2の画像データ編集モジュール550は、標準化された対象手骨X線画像データを取得するために、対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整する。詳しく言えば、第2の画像データ編集モジュール550は、対象手骨X線画像データの画像サイズを256ピクセル×256ピクセルに調整してから、その白黒コントラストを調整することにより、画像の解像度を向上させ、更に前記の標準化された対象手骨X線画像データを得る。好ましくは、第2の画像データ編集モジュール550は、更に対象手骨X線画像データに対して画像彩度補正処理を行い、対象手骨X線画像データの画像階調度を計算し、前記の計算結果によって順に対象手骨X線画像データの画像ピクセルの行、列を自動的に色で補填して、グレースケールトーンを示す対象手骨X線画像データをカラートーンに変換するが、本発明は前記説明と添付図面の公開した内容に限定されない。
対象特徴選択モジュール560は、標準化された対象手骨X線画像データを分析して少なくとも1つの対象画像特徴値を得ることに用いられる。詳しく言えば、対象特徴選択モジュール560は、標準化された対象手骨X線画像データの画像情報を自動的に分析して、対応する画像特徴値を自動的に抽出することができる。具体的に、対象特徴選択モジュール560は、対象手骨X線画像データにおける手のひら領域と背景領域を自動的に切断し、手のひら領域の画像をポジティブサンプルとして、手のひら領域外の画像をネガティブサンプルとして、前記のポジティブサンプルとネガティブサンプルを対象特徴選択モジュール560で処理された後で、標準化された対象手骨X線画像データの対象画像特徴値を得、後の分析を行う。
比較モジュール570は、前記の対象画像特徴値を前記の骨年齢評価と身長予測モデルで分析して、対象画像特徴値重み付けデータを得、前記の対象画像特徴値重み付けデータと前記の参照データベースとを比較して、被験者の手骨の発達状態の判定結果、被験者の骨年齢判定結果及び被験者の成人身長予測結果を出力する。
なお、男性と女性の生理的成熟のプロセスが異なり、骨の発達形態及びその対応する生理的年齢も異なるため、比較モジュール570は、更に異なる性別の被験者の標準化された対象手骨X線画像データをそれぞれ男性の骨年齢身長マップデータサブ集合又は女性の骨年齢身長マップデータサブ集合と比較して、異なる性別の被験者に対して手骨の発達状態、骨年齢及びその成人身長の分析と予測を行う。
なお、図に示されていないが、本発明の骨年齢評価と身長予測システム300は、警告モジュール(未図示)を含んでよい。標準化された対象手骨X線画像データと骨年齢身長マップデータ集合とを比較した後で、被験者の骨年齢の比較結果が生理的年齢よりも大幅に進んでいるか遅れている場合、警告モジュールは、後で容易に治療し又は他の関連する対策を実施できるように、初期段階でアクティブな警告通知を発行する。
上記の実施形態によれば、以下、具体的な試験例を提出して、添付図面に合わせて詳しく説明する。
<試験例>
一、参照データベース
本発明に用いられる参照データベースは、中国医薬大学附属病院研究倫理委員会によって収集された既往の小児科骨年齢X線画像データであり、中国医薬大学附属病院研究倫理委員会(China Medical University & Hospital Research Ethics Committee)によって承認された臨床試験案であり、番号がCMUH 107-REC2-097であった。前記の参照データベースは、2758名の男性被験者及び4462名の女性被験者、合計で7220名の被験者の手骨X線画像の参照データを含み、被験者の年齢が2歳~16歳の範囲にあり、且つ各被験者の生理的年齢情報、性別情報、カルテ番号、被験者番号等の関連データを画像データのヘッダーに保存して、後の分析を容易にするように、前記の手骨X線画像の参照データの画像フォーマットの何れもデジタル医療画像通信標準規格の画像フォーマットであった。
前記の参照データベースは、更に骨年齢身長マップデータ集合を含む。詳しく言えば、利き手の使用頻度又は使用習慣による骨の形態変化により参照データベースの信頼性が影響されないように、前記の手骨X線画像の参照データは、被験者の非利き手の手骨X線画像の参照データであり、骨年齢身長マップデータ集合は、骨成長マップ、成長曲線マップ等の参照データを含んだ。なお、異なる性別の参照被験者を分析するように、本試験例の骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよかった。
二、本発明の骨年齢評価と身長予測モデル
本発明の骨年齢評価と身長予測モデル(未図示)の局部確立工程を示すフロー図である図4を参照されたい。図4の試験例において、手骨X線画像の参照データ611a、手骨X線画像の参照データ611bと手骨X線画像の参照データ611cを例として、本発明の骨年齢評価と身長予測モデルの操作方法及び分析形態を説明した。
まず、前記の参照データベースを取った後、手骨X線画像の参照データ611a、手骨X線画像の参照データ611bと手骨X線画像の参照データ611cに対してそれぞれ画像前処理工程620を行って、サイズと彩度を標準化することで、標準化された手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cを取った。詳しく言えば、画像前処理工程620は、画像データ編集モジュール(未図示)によって手骨X線画像の参照データ611a、手骨X線画像の参照データ611bと手骨X線画像の参照データ611cの画像サイズを256ピクセル×256ピクセルに調整し、更にその白黒コントラストを調整することにより、画像の解像度を向上させて、異なる手骨X線画像の参照データ同士の黒白の色度差を減らした。
好ましくは、画像データ編集モジュールは、必要に応じて更に各手骨X線画像の参照データに対して画像彩度補正処理を行い、各手骨X線画像の参照データの画像階調度を計算し、前記の計算結果によってそれぞれ手骨X線画像の参照データ611a、手骨X線画像の参照データ611bと手骨X線画像の参照データ611cの画像ピクセルの行、列を自動的に色で補填して、カラートーンに変換し、更に後の分析の精度を向上させた。
なお、各被験者の生理的年齢情報、性別情報等の基本データが直接デジタル医療画像通信標準規格の画像フォーマットを表現する標準化された手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cのヘッダーに保存されるので、本発明の骨年齢評価と身長予測モデルは、別にラベル付け操作を人工的に実行する必要はなく、直接標準化された手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cの生理的年齢情報及び性別情報を抽出することができ、追加の分析プロセスを排除し、分析効率を向上させることに寄与した。
画像前処理工程620による標準化された前記の手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cについては、更にそれぞれ特徴選択工程630を行って、特徴選択モジュール(未図示)によって分析して少なくとも1つの画像特徴値を得た。詳しく言えば、特徴選択モジュールは、それぞれ標準化された手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cにおける手のひら領域と背景領域を切断して、手のひら領域の画像をポジティブサンプルとして、手のひら領域外の画像をネガティブサンプルとして、前記のポジティブサンプルとネガティブサンプルを特徴選択モジュールで処理してそれぞれの画像特徴値を得た。
次に、図4と図5を合せて参照すると、図5は本発明の骨年齢評価と身長予測モデルの畳み込みニューラルネットワーク学習分類子641の構造を示す模式図である。図5の試験例において、畳み込みニューラルネットワーク学習分類子641は、Inception-ResNet-v2畳み込みニューラルネットワークであり、画像特徴値に対してトレーニングと分析を行うように、複数の畳み込み層(Convolution)、複数の最大プーリング層(MaxPool)、複数の平均プーリング層(AvG-Pool)及び複数のカスケード層(Concat)を含んでよかった。
画像特徴値に対してトレーニングを行う過程中に、まず、それぞれ標準化された手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cの画像特徴値に対して2層の畳み込み層及び1層の最大プーリング層(MaxPool)処理を行って、抽出された画像特徴値の最大出力を実行し、再び前記の2層の畳み込み層と1層の最大プーリング層の出力を繰り返した後、複数の畳み込み層により並列タワー(parallel towers)トレーニングして、画像特徴値の初期トレーニング(Inception)を完成した。
前記の初期トレーニングを完成した後で、標準化された手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cの画像特徴値については、それぞれ10回(10×)、20回(20×)と10回(10×)の異なる深さ、異なるレベルと異なるアスペクトでの残差(Residual)モジュールトレーニングを行って、画像特徴値に対してトレーニングを行い収束を達成した。詳しく言えば、残差モジュールによってトレーニングすることで、畳み込みニューラルネットワーク学習分類子641が前記の画像特徴値に対して複数層のトレーニングを行った後で勾配が消える劣化現象を防ぐことができ、また畳み込みニューラルネットワーク学習分類子641のトレーニング効率を効果的に向上させることができる。
残差モジュールのディープで繰り返したトレーニングを完了した後で、順に畳み込み層、平均プーリング層、置き換えグローバル平均プーリング(Global Average Pooling 2D;GloAvePool2D)及び線形整流ユニットトレーニング層(Rectified Linear Unit;ReLU)によって収束された画像特徴値に対して最終トレーニングと処理を行って、これにより、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測した。平均プーリング層は、まず残差モジュールトレーニングが完成された画像特徴値を計算して、各画像特徴値の平均値を得てよいが、置き換えグローバル平均プーリング層は、畳み込みニューラルネットワーク学習分類子641のネットワーク構造全体に対して正則化(Regularization)処理をして、畳み込みニューラルネットワーク学習分類子641が低誤差を追求するトレーニングモードで過剰適合現象(Overfitting)が発生し、判定結果の誤差値が高くなりすぎて、骨年齢評価と身長予測モデルの結果が予想よりも信頼性が低くなることを防いでよかった。最後、線形整流ユニットトレーニング層は、更にトレーニング完成後の画像特徴値をアクティブ化し、対象画像特徴値重み付けデータ650を出力して、後の比較と分析を行った。前記の線形整流ユニットトレーニング層は、骨年齢評価と身長予測モデルの出力した対象画像特徴値重み付けデータ650がゼロに近づくか無限に近づくことを防ぐことができ、後の比較工程に有益であり、更に本発明の骨年齢評価と身長予測モデルの判断精度を更に向上させた。
三、本発明の骨年齢評価と身長予測モデルの被験者の手骨の発達状態、骨年齢と成人身長の判断への適用
本試験例において、更に、確立された骨年齢評価と身長予測モデルを、被験者の手骨の発達状態、被験者の骨年齢の判断、また被験者の成人身長の予測に用いた。その工程は、以下の通りであった。前記確立された骨年齢評価と身長予測モデルを提供した。生理的年齢情報及び性別情報を含む、被験者の対象手骨X線画像データを提供した。標準化された対象手骨X線画像データを取得するために、前記の画像データ編集モジュールによって対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整する前処理を、対象手骨X線画像データに対して行う。前記の特徴選択モジュールによって標準化された対象手骨X線画像データを分析して少なくとも1つの画像特徴値を得た。前記の骨年齢評価と身長予測モデルによって画像特徴値を分析して、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測した。
なお、前記確立された骨年齢評価と身長予測モデルは、被験者の手骨の発達状態の判定結果、被験者の骨年齢判定結果及び被験者の成人身長予測結果を更に参照データベースに統合して、骨年齢評価と身長予測モデルを最適化するように、本発明の骨年齢評価と身長予測システムに適用された。また、本発明の骨年齢評価と身長予測システムの細部構造については、図3と前文に示されるので、ここで説明しない。
本発明の骨年齢評価と身長予測システム(未図示)の適用結果700を示す模式図である図6を参照されたい。骨年齢評価と身長予測システムは、その骨年齢評価と身長予測モデルの分析を完成した後で、更に被験者の手骨の発達状態の判定結果と被験者の骨年齢判定結果を出力して、表示モジュール(未図示)に示すことができる。図6に示すように、本発明の骨年齢評価と身長予測システムの適用結果700は、結果フィールド701、結果フィールド702、結果フィールド703及び結果フィールド704を含んでよい。結果フィールド701は、被験者の生理的年齢情報、性別情報及びカルテ番号、被験者番号等の他の個人データを含む被験者の基本データを示すことができ、結果フィールド702は、画像前処理されていない被験者の対象手骨X線画像データであり、結果フィールド703は、骨年齢評価と身長予測モデルによって判断された被験者の骨年齢であり、結果フィールド704は、前記骨年齢評価と身長予測システムによって判断された被験者の骨年齢結果の前後12カ月の骨年齢マップであり、後で分析者が比較及び分析するために用いられる。
なお、図に示されていないが、本発明の骨年齢評価と身長予測システムは、被験者の手骨の発達状態の判定結果及び被験者の骨年齢判定結果を更に骨年齢身長マップデータ集合の男性の骨年齢身長マップデータサブ集合又は女性の骨年齢身長マップデータサブ集合と比較して、異なる性別の被験者に対して成人身長の予測を行い、被験者の成人身長予測結果を前記の表示モジュールに同期して出力し表示することができるが、本発明は前記の説明又は図面の公開した内容に限定されない。
また、図に示されていないが、本発明の骨年齢評価と身長予測システムは、警告モジュール(未図示)を更に含んでよい。骨年齢評価と身長予測モデルが被験者の骨年齢判定結果を出力した後で、被験者の骨年齢判断結果が被験者の生理的年齢よりも大幅に進んでいるか遅れている場合、警告モジュールは、初期段階でアクティブな警告通知を発行し、後で容易に治療し又は他の関連する対策を実施するように、結果フィールド703に赤い字で表示する。
これにより、本発明の骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法は、骨年齢評価と身長予測モデルによって自動的に被験者の対象手骨X線画像データに対して画像特徴値の抽出及びディープニューラルネットワークトレーニングして、骨年齢評価と身長予測に必要な時間を効果的に短くすることができるだけでなく、公知の骨年齢評価形態における異なる分析者の特徴選択及び比較形態の異なりによる結果誤差を避けることもできる。なお、畳み込みニューラルネットワーク学習分類子を含む骨年齢評価と身長予測モデルによれば、骨年齢評価及び身長予測の精度と感度を効果的に向上させて、本発明の骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法による骨年齢判断及び身長予測の点でより効率的となるようにし、個々の症例の骨年齢判断結果に対して、適切な治療又は関連する適用措置を実施して、小児の発育阻害又は早熟に起因する疾患の発生率を低下させることができる。
本発明は、実施形態で前述の通りに開示されたが、それらに限定されなく、業者であれば、本発明の精神と範囲から逸脱しない限り、多様の変更や修飾を加えてもよく、従って、本発明の保護範囲は、後の特許請求の範囲で指定した内容を基準とするものである。
100 骨年齢評価と身長予測モデル
110、120、130、140 工程
200 骨年齢評価と身長予測方法
210、220、230、240、250 工程
300 骨年齢評価と身長予測システム
400 画像キャプチャユニット
500 非一時的機械可読媒体
510 参照データベース取得モジュール
520 第1の画像データ編集モジュール
530 特徴選択モジュール
540 トレーニングモジュール
550 第2の画像データ編集モジュール
560 対象特徴選択モジュール
570 比較モジュール
611a、611b、611c 手骨X線画像の参照データ
620 画像前処理工程
621a、621b、621c 標準化された手骨X線画像データ
630 特徴選択工程
641 畳み込みニューラルネットワーク学習分類子
650 対象画像特徴値重み付けデータ
700 適用結果
701、702、703、704 結果フィールド

Claims (12)

  1. 骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨X線画像の参照データと、を含む参照データベースを取得する工程と、
    標準化された複数の手骨X線画像データを取得するために、画像データ編集モジュールによって各前記手骨X線画像の参照データの画像サイズ及び画像の白黒コントラストを調整し、更に、各前記手骨X線画像の参照データに対して画像彩度補正処理を行う画像前処理工程と、
    特徴選択モジュールによって前記標準化された複数の手骨X線画像データを分析して少なくとも1つの画像特徴値を得る特徴選択工程と、
    前記少なくとも1つの画像特徴値を畳み込みニューラルネットワーク学習分類子、ここにおいて前記畳み込みニューラルネットワーク学習分類子は、Inception-ResNet-v2畳み込みニューラルネットワークであり、によってトレーニングして収束を達成して、被験者の手骨の発達状態、前記被験者の骨年齢を判断して前記被験者の成人身長を予測するための骨年齢評価と身長予測モデルを得るトレーニング工程と、
    で確立されることを特徴とする骨年齢評価と身長予測モデルの確立方法
  2. 前記複数の手骨X線画像の参照データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであることを特徴とする請求項1に記載の骨年齢評価と身長予測モデルの確立方法
  3. 前記骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含むことを特徴とする請求項1に記載の骨年齢評価と身長予測モデルの確立方法
  4. 各前記手骨X線画像の参照データは、非利き手の手骨X線画像の参照データであることを特徴とする請求項1に記載の骨年齢評価と身長予測モデルの確立方法
  5. 請求項1に記載の骨年齢評価と身長予測モデルを提供する工程と、
    生理的年齢情報及び性別情報を含む、被験者の対象手骨X線画像データを提供する工程と、
    標準化された対象手骨X線画像データを取得するために、前記画像データ編集モジュールによって前記対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整し、更に、各前記手骨X線画像の参照データに対して画像彩度補正処理を行う前処理を、前記対象手骨X線画像データに対して行う工程と、
    前記特徴選択モジュールによって前記標準化された対象手骨X線画像データを分析して少なくとも1つの画像特徴値を得る工程と、
    前記骨年齢評価と身長予測モデルによって前記少なくとも1つの画像特徴値を分析して、前記被験者の手骨の発達状態、前記被験者の骨年齢を判断して前記被験者の成人身長を予測する工程と、
    を備えることを特徴とする骨年齢評価と身長予測方法。
  6. 前記対象手骨X線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであることを特徴とする請求項5に記載の骨年齢評価と身長予測方法。
  7. 前記対象手骨X線画像データは、非利き手の対象手骨X線画像データであることを特徴とする請求項5に記載の骨年齢評価と身長予測方法。
  8. 生理的年齢情報及び性別情報を含有する被験者の対象手骨X線画像データを取得するための画像キャプチャユニットと、
    前記画像キャプチャユニットに通信可能に接続され、プログラムを保存することに用いられ、前記プログラムが処理ユニットによって実行される場合に、前記被験者の手骨の発達状態、前記被験者の骨年齢を評価し前記被験者の成人身長を予測することに用いられる非一時的機械可読媒体と、
    を備え、且つ
    前記プログラムは、
    骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨X線画像の参照データと、を含む参照データベースを取得するための参照データベース取得モジュールと、
    標準化された複数の手骨X線画像データを取得するために、各前記手骨X線画像の参照データの画像サイズ及び画像の白黒コントラストを調整し、各前記手骨X線画像の参照データに対して画像彩度補正処理を行う第1の画像データ編集モジュールと、
    前記標準化された複数の手骨X線画像データを分析して少なくとも1つの参照画像特徴値を得るための特徴選択モジュールと、
    前記少なくとも1つの参照画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、骨年齢評価と身長予測モデルを得るトレーニングモジュール、ここにおいて前記畳み込みニューラルネットワーク学習分類子は、Inception-ResNet-v2畳み込みニューラルネットワークである、と、
    標準化された対象手骨X線画像データを取得するために、前記対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整し、各前記手骨X線画像の参照データに対して画像彩度補正処理を行う第2の画像データ編集モジュールと、
    前記標準化された対象手骨X線画像データを分析して少なくとも1つの対象画像特徴値を得るための対象特徴選択モジュールと、
    前記少なくとも1つの対象画像特徴値を前記骨年齢評価と身長予測モデルで分析して、対象画像特徴値重み付けデータを得、前記対象画像特徴値重み付けデータと前記参照データベースとを比較して、前記被験者の手骨の発達状態の判定結果、前記被験者の骨年齢判定結果及び前記被験者の成人身長予測結果を出力する比較モジュールと、
    を含むことを特徴とする骨年齢評価と身長予測システム。
  9. 前記対象手骨X線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであり、前記複数の手骨X線画像の参照データとの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであることを特徴とする請求項8に記載の骨年齢評価と身長予測システム。
  10. 前記骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含むことを特徴とする請求項8に記載の骨年齢評価と身長予測システム。
  11. 各前記手骨X線画像の参照データは、非利き手の手骨X線画像の参照データであり、前記対象手骨X線画像データは、非利き手の対象手骨X線画像データであることを特徴とする請求項8に記載の骨年齢評価と身長予測システム。
  12. 前記標準化された対象手骨X線画像データが前記骨年齢評価と身長予測モデルで分析された後、アクティブな警告通知を発行するための警告モジュールを更に含むことを特徴とする請求項8に記載の骨年齢評価と身長予測システム。
JP2020528374A 2018-08-01 2018-08-01 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法 Active JP6999812B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/097915 WO2020024127A1 (zh) 2018-08-01 2018-08-01 骨龄评估与身高预测模型、其系统及其预测方法

Publications (2)

Publication Number Publication Date
JP2021504816A JP2021504816A (ja) 2021-02-15
JP6999812B2 true JP6999812B2 (ja) 2022-01-19

Family

ID=69230983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020528374A Active JP6999812B2 (ja) 2018-08-01 2018-08-01 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法

Country Status (3)

Country Link
US (1) US20210142477A1 (ja)
JP (1) JP6999812B2 (ja)
WO (1) WO2020024127A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020135812A1 (en) 2018-12-29 2020-07-02 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for ossification center detection and bone age assessment
TWI772663B (zh) * 2019-08-05 2022-08-01 長佳智能股份有限公司 以個人裝置進行手骨骨齡即時判讀之系統及方法
CN111563874B (zh) * 2020-03-05 2023-04-28 北京深睿博联科技有限责任公司 骨龄评测方法和装置
US20210398280A1 (en) * 2020-06-23 2021-12-23 Vuno Inc. Bone age assessment method for bone image
KR102481112B1 (ko) * 2020-11-02 2022-12-26 사회복지법인 삼성생명공익재단 심층 학습을 이용한 성인 신장 예측 방법 및 그 시스템
KR102575890B1 (ko) * 2020-11-16 2023-09-08 본와이즈 주식회사 인공지능 시스템을 훈련시키기 위한 이미지 데이터를 처리하도록 구성되는 전자 장치
CN112801994B (zh) * 2021-02-05 2023-12-26 广东顺德工业设计研究院(广东顺德创新设计研究院) 骨龄评估方法和系统
CN113298780B (zh) * 2021-05-24 2023-09-12 云南大学 一种基于深度学习的儿童骨龄评估方法及系统
CN113362292B (zh) * 2021-05-27 2023-04-28 重庆邮电大学 一种基于可编程逻辑门阵列的骨龄评估方法及系统
KR102559654B1 (ko) * 2021-08-03 2023-07-24 가톨릭대학교 산학협력단 뇌실-복강 단락술을 위한 압력 산출 방법 및 장치
CN114387680B (zh) * 2022-03-24 2022-05-27 广东红橙云大数据有限公司 评估信息的生成方法、装置、电子设备及介质
CN115661052B (zh) * 2022-10-13 2023-09-12 高峰医疗器械(无锡)有限公司 牙槽骨的骨质检测方法、装置、设备及存储介质
CN116342516B (zh) * 2023-03-17 2024-04-16 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN116523840B (zh) * 2023-03-30 2024-01-16 苏州大学 一种基于深度学习的肺部ct图像检测系统以及方法
CN117094951A (zh) * 2023-07-25 2023-11-21 中国医学科学院北京协和医院 一种新型的自动骨龄预测算法模型
CN117524503B (zh) * 2024-01-08 2024-04-30 深圳市早知道科技有限公司 一种基于生物遗传数据的身高预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535882A (ja) 2001-07-24 2004-12-02 サンライト メディカル リミテッド 超音波を用いた骨年齢評価方法
US20140081146A1 (en) 2012-09-13 2014-03-20 Alan R. Keim Bone mineral density measurement apparatus and method
CN108334899A (zh) 2018-01-28 2018-07-27 浙江大学 基于手骨x光片骨骼和关节量化信息集成的骨龄评估方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1804868A (zh) * 2006-01-19 2006-07-19 昆明利普机器视觉工程有限公司 机器自动图像识别方法及装置
KR100942699B1 (ko) * 2007-12-10 2010-02-17 한국전자통신연구원 요골원위부 골간단 경계추출 방법 및 장치
US9848818B1 (en) * 2013-08-09 2017-12-26 O.N.Diagnostics, LLC Clinical assessment of fragile bone strength
US10242293B2 (en) * 2015-08-04 2019-03-26 The Asan Foundation Method and program for computing bone age by deep neural network
WO2018057714A1 (en) * 2016-09-21 2018-03-29 The General Hospital Corporation Systems, methods and media for automatically generating a bone age assessment from a radiograph
CN107595248A (zh) * 2017-08-31 2018-01-19 郭淳 一种检测和评价儿童生长发育状况的方法和系统
KR101977174B1 (ko) * 2017-09-13 2019-05-10 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
CN107871316B (zh) * 2017-10-19 2020-10-27 浙江工业大学 基于深度神经网络的x光片手骨兴趣区域自动提取方法
CN107767376B (zh) * 2017-11-02 2021-03-26 西安邮电大学 基于深度学习的x线片骨龄预测方法及系统
CN107895367B (zh) * 2017-11-14 2021-11-30 中国科学院深圳先进技术研究院 一种骨龄识别方法、系统及电子设备
CN107944496A (zh) * 2017-12-06 2018-04-20 电子科技大学 基于改进后的残差网络的骨龄自动化识别系统
US10825564B1 (en) * 2017-12-11 2020-11-03 State Farm Mutual Automobile Insurance Company Biometric characteristic application using audio/video analysis
DE102019208496B4 (de) * 2019-06-12 2024-01-25 Siemens Healthcare Gmbh Computerimplementierte Verfahren und Vorrichtungen zum Bereitstellen eines Differenzbilddatensatzes eines Untersuchungsvolumens und zum Bereitstellen einer trainierten Generatorfunktion
TWI772663B (zh) * 2019-08-05 2022-08-01 長佳智能股份有限公司 以個人裝置進行手骨骨齡即時判讀之系統及方法
KR102575890B1 (ko) * 2020-11-16 2023-09-08 본와이즈 주식회사 인공지능 시스템을 훈련시키기 위한 이미지 데이터를 처리하도록 구성되는 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535882A (ja) 2001-07-24 2004-12-02 サンライト メディカル リミテッド 超音波を用いた骨年齢評価方法
US20140081146A1 (en) 2012-09-13 2014-03-20 Alan R. Keim Bone mineral density measurement apparatus and method
CN108334899A (zh) 2018-01-28 2018-07-27 浙江大学 基于手骨x光片骨骼和关节量化信息集成的骨龄评估方法

Also Published As

Publication number Publication date
JP2021504816A (ja) 2021-02-15
US20210142477A1 (en) 2021-05-13
WO2020024127A1 (zh) 2020-02-06

Similar Documents

Publication Publication Date Title
JP6999812B2 (ja) 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法
TWI684997B (zh) 骨齡評估與身高預測模型之建立方法、骨齡評估與身高預測系統及骨齡評估與身高預測方法
CN109191457B (zh) 一种病理图像质量有效性识别方法
CN110503630A (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
CN112132166B (zh) 一种数字细胞病理图像智能分析方法、系统及装置
CN104484886B (zh) 一种mr图像的分割方法及装置
CN108378869B (zh) 一种从超声图像中自动测量胎儿头围长度的图像处理方法及处理系统
CN112001928B (zh) 一种视网膜血管分割方法及系统
CN109670489B (zh) 基于多实例学习的弱监督式早期老年性黄斑病变分类方法
CN108305241B (zh) 基于深度投票模型的sd-oct图像ga病变分割方法
TWI624807B (zh) 醫學影像之迭代式分析法
US9852354B2 (en) Method and apparatus for image scoring and analysis
CN111653356A (zh) 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查系统
CN111062953A (zh) 一种超声图像中甲状旁腺增生的识别方法
CN106483130A (zh) 一种水稻病害的检测方法及其自动检测装置
CN111598868B (zh) 一种肺部超声图像识别方法和系统
CN112862749A (zh) 一种骨龄图像数字化处理后自动识别方法
CN113012093A (zh) 青光眼图像特征提取的训练方法及训练系统
CN113450305A (zh) 医疗图像的处理方法、系统、设备及可读存储介质
CN114972272A (zh) 一种基于Grad-CAM的新冠肺炎病灶分割方法
CN115147636A (zh) 基于胸部x光图像肺部疾病识别和分类方法
CN114119551A (zh) 一种人脸图像质量的量化分析方法
CN114332910A (zh) 一种面向远红外图像的相似特征计算的人体部位分割方法
TWI663960B (zh) 足畸形檢測模型、足畸形檢測系統及足畸形檢測方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211222

R150 Certificate of patent or registration of utility model

Ref document number: 6999812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150