JP6999812B2 - 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法 - Google Patents

骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法 Download PDF

Info

Publication number
JP6999812B2
JP6999812B2 JP2020528374A JP2020528374A JP6999812B2 JP 6999812 B2 JP6999812 B2 JP 6999812B2 JP 2020528374 A JP2020528374 A JP 2020528374A JP 2020528374 A JP2020528374 A JP 2020528374A JP 6999812 B2 JP6999812 B2 JP 6999812B2
Authority
JP
Japan
Prior art keywords
bone
image
ray image
hand
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020528374A
Other languages
English (en)
Other versions
JP2021504816A (ja
Inventor
サイ、フゥ－ジェン
フアン、ズング－チ
イン－カイ リャオ、ケン
ユ、ジアシン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Medical University Hospital
Original Assignee
China Medical University Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Medical University Hospital filed Critical China Medical University Hospital
Publication of JP2021504816A publication Critical patent/JP2021504816A/ja
Application granted granted Critical
Publication of JP6999812B2 publication Critical patent/JP6999812B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physiology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、医療情報分析モデル、システム及び方法に関し、特に、骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法に関する。
骨年齢は、人体の生理的年齢の重要な指標の１つであり、骨の成長、発達、成熟、及び老化の基準によって人体の生理的年齢を推測する。骨年齢評価（ｂｏｎｅ ａｇｅ ａｓｓｅｓｓｍｅｎｔ；ＢＡＡ）は、小児科医が小児の成長と発達を解釈するために一般的に使用する通常検査であり、異なる成長段階における骨の異なる形態発現を分析して、ヒト骨の連続的と段階的な発達状態を参照することで、更に個人の成長と発達のレベル及び成熟度を更に正確に評価し、また小児被験者の成長と発達の潜在力と性的成熟の傾向を更に評価し予測することができる。
公知の骨年齢評価法としては、低線量のＸ線で撮像するように、被験者の左手又は右手の指骨、中手骨、及び手根骨のＸ線画像を取得して、前記Ｘ線画像をＧｒｅｕｌｉｃｈ ａｎｄ Ｐｙｌｅ（Ｇ－Ｐ）方法とＴａｎｎｅｒ－Ｗｈｉｔｅｈｏｕｓｅ（ＴＷ）方法によってマップ比較で骨年齢評価を実行するものがある。Ｇ－Ｐ方法は、操業上、被験者の手骨の元のＸ線画像とデータベースにおける手骨Ｘ線画像とを異なる年齢別に１対１で人為的に比較するものである。ＴＷ方法は、左手のひらと左手首の手骨のＸ線画像における２０個の関心領域（Ｒｅｇｉｏｎｓ ｏｆ Ｉｎｔｅｒｅｓｔｓ；ＲＯＩ）を１つずつ比較して分析して、後の評価を行うように、手骨の発達状況を９つの成熟度レベルに分けるものである。しかしながら、Ｇ－Ｐ方法によって骨年齢評価を行う場合、同じ被験者の骨年齢の評価結果は、異なる分析者の異なる比較習慣によって異なることがよくあるが、ＴＷ方法によって骨年齢の評価を行う場合に得られる骨年齢の評価結果は、より客観的であるが、採点する必要のある骨が多く、プロセスも面倒で時間がかかるため、被験者の手骨の元のＸ線画像を短時間で分析して、対応する骨年齢の評価結果をリアルタイムで取得することはできない。
従って、高精度で迅速に検出できる骨年齢評価及び身長予測システムを如何に開発するかは、商業的価値のある技術的な課題となる。
本発明の目的は、骨年齢評価及び身長予測の精度と感度を効果的に向上させ、骨年齢評価及び身長予測の判定時間を短くすることのできる骨年齢評価と身長予測モデル、そのシステム及びその予測方法を提供することにある。
本発明の一態様は、骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨Ｘ線画像の参照データと、を含む参照データベースを取得する工程と、標準化された複数の手骨Ｘ線画像データを取得するために、画像データ編集モジュールによって各手骨Ｘ線画像の参照データの画像サイズ及び画像の白黒コントラストを調整する画像前処理工程と、特徴選択モジュールによって標準化された複数の手骨Ｘ線画像データを分析して少なくとも１つの画像特徴値を得る特徴選択工程と、画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測するための骨年齢評価と身長予測モデルを得るトレーニング工程と、で確立される骨年齢評価と身長予測モデルを提供することにある。
前記の骨年齢評価と身長予測モデルによれば、畳み込みニューラルネットワーク学習分類子は、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２畳み込みニューラルネットワークであってよい。
前記の骨年齢評価と身長予測モデルによれば、手骨Ｘ線画像の参照データの画像フォーマットは、デジタル医療画像通信標準規格（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ；ＤＩＣＯＭ）の画像フォーマットであってよい。
前記の骨年齢評価と身長予測モデルによれば、画像前処理工程は、更に、各手骨Ｘ線画像の参照データに対して画像彩度補正処理を行ってもよい。
前記の骨年齢評価と身長予測モデルによれば、骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよい。
前記の骨年齢評価と身長予測モデルによれば、各手骨Ｘ線画像の参照データは、非利き手の手骨Ｘ線画像の参照データであってよい。
本発明の別の一態様は、前段に記載の骨年齢評価と身長予測モデルを提供する工程と、生理的年齢情報及び性別情報を含む、被験者の対象手骨Ｘ線画像データを提供する工程と、標準化された対象手骨Ｘ線画像データを取得するために、画像データ編集モジュールによって対象手骨Ｘ線画像データの画像サイズ及び画像の白黒コントラストを調整する前処理を、対象手骨Ｘ線画像データに対して行う工程と、前記特徴選択モジュールによって標準化された対象手骨Ｘ線画像データを分析して少なくとも１つの画像特徴値を得る工程と、前記骨年齢評価と身長予測モデルによって画像特徴値を分析して、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測する工程と、を備える骨年齢評価と身長予測方法を提供することにある。
前記の骨年齢評価と身長予測方法によれば、対象手骨Ｘ線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。
前記の骨年齢評価と身長予測方法によれば、画像データ編集モジュールは、更に、対象手骨Ｘ線画像データに対して画像彩度補正処理を行ってもよい。
前記の骨年齢評価と身長予測方法によれば、前記の対象手骨Ｘ線画像データは、非利き手の対象手骨Ｘ線画像データであってよい。
本発明の更なる一態様は、生理的年齢情報及び性別情報を含有する被験者の対象手骨Ｘ線画像データを取得するための画像キャプチャユニットと、前記画像キャプチャユニットに通信可能に接続され、プログラムを保存することに用いられ、前記プログラムが処理ユニットによって実行される場合に、被験者の手骨の発達状態、被験者の骨年齢を評価し被験者の成人身長を予測することに用いられる非一時的機械可読媒体と、を備え、且つプログラムは、骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨Ｘ線画像の参照データと、を含む参照データベースを取得するための参照データベース取得モジュールと、標準化された複数の手骨Ｘ線画像データを取得するために、各手骨Ｘ線画像の参照データの画像サイズ及び画像の白黒コントラストを調整する第１の画像データ編集モジュールと、標準化された手骨Ｘ線画像データを分析して少なくとも１つの参照画像特徴値を得るための特徴選択モジュールと、前記の参照画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、骨年齢評価と身長予測モデルを得るトレーニングモジュールと、標準化された対象手骨Ｘ線画像データを取得するために、対象手骨Ｘ線画像データの画像サイズ及び画像の白黒コントラストを調整する第２の画像データ編集モジュールと、標準化された対象手骨Ｘ線画像データを分析して少なくとも１つの対象画像特徴値を得るための対象特徴選択モジュールと、前記の少なくとも１つの対象画像特徴値を骨年齢評価と身長予測モデルで分析して、対象画像特徴値重み付けデータを得、前記の少なくとも１つの対象画像特徴値重み付けデータと参照データベースとを比較して、被験者の手骨の発達状態の判定結果、被験者の骨年齢判定結果及び被験者の成人身長予測結果を出力する比較モジュールと、を含む骨年齢評価と身長予測システムを提供することにある。
前記の骨年齢評価と身長予測システムによれば、畳み込みニューラルネットワーク学習分類子は、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２畳み込みニューラルネットワークであってよい。
前記の骨年齢評価と身長予測システムによれば、前記の対象手骨Ｘ線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよく、前記の手骨Ｘ線画像の参照データとの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。
前記の骨年齢評価と身長予測システムによれば、第１の画像データ編集モジュールは、更に、各手骨Ｘ線画像の参照データに対して画像彩度補正処理を行ってよく、第２の画像データ編集モジュールは、更に、対象手骨Ｘ線画像データに対して画像彩度補正処理を行ってよい。
前記の骨年齢評価と身長予測システムによれば、骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよい。
前記の骨年齢評価と身長予測システムによれば、各手骨Ｘ線画像の参照データは、非利き手の手骨Ｘ線画像の参照データであってよく、対象手骨Ｘ線画像データは、非利き手の対象手骨Ｘ線画像データであってよい。
前記の骨年齢評価と身長予測システムによれば、標準化された対象手骨Ｘ線画像データが骨年齢評価と身長予測モデルで分析された後、アクティブな警告通知を発行するための警告モジュールを更に含んでよい。
これにより、本発明の骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法は、手骨Ｘ線画像の参照データと対象手骨Ｘ線画像データに対して画像標準化前処理を行い、特徴選択モジュールによって分析して少なくとも１つの画像特徴値を得た後で、更に畳み込みニューラルネットワークによって画像特徴値をトレーニングして、手骨の発達状態、骨年齢及び成人身長に対して分析判断を行って、骨年齢評価と身長予測に必要な時間を効果的に短くすることができるだけでなく、公知の骨年齢評価形態における異なる分析者の特徴選択及び比較形態の異なりによる結果誤差を避けることもできる。なお、畳み込みニューラルネットワーク学習分類子を含む骨年齢評価と身長予測モデルによれば、骨年齢評価及び身長予測の精度と感度を効果的に向上させて、本発明の骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法による骨年齢判断及び身長予測の点でより効率的となるようにし、異なる被験者の成長と発達のレベルや成熟度を正確に評価して、被験者の未来の成長と発達の可能性を予測することができる。
上記の発明の内容は、読者に本開示内容を基本的に理解させるように、本開示内容の簡単な概要を提供する。本発明の内容は、本開示内容の完全な記述ではなく、また本発明実施例の重要な（又は肝心な）素子を指摘し、又は本発明の範囲を限定するものではない。
下記の添付図面の説明は、本発明の上記及び他の目的、特徴、メリット及び実施例をより分かりやすくするためのものである。
本発明の一実施形態に係る骨年齢評価と身長予測モデルの確立工程を示すフロー図である。 本発明の別の実施形態に係る骨年齢評価と身長予測方法の工程を示すフロー図である。 本発明の更なる１つの実施形態に係る骨年齢評価と身長予測システムの構造を示す模式図である。 本発明の骨年齢評価と身長予測モデルの局部確立工程を示すフロー図である。 本発明の骨年齢評価と身長予測モデルの畳み込みニューラルネットワーク学習分類子の構造を示す模式図である。 本発明の骨年齢評価と身長予測システムの適用結果を示す模式図である。
以下、本発明の各実施形態をより詳細に説明する。しかしながら、この実施形態は、様々な発明の概念の適用であってよく、様々な異なる特定の範囲で具体化されてよい。特定の実施形態は、単に説明するためのものであり、公開の範囲に限定されない。
本発明の一実施形態に係る骨年齢評価と身長予測モデル１００の確立工程を示すフロー図である図１を参照されたい。骨年齢評価と身長予測モデル１００は、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測することに用いられ、且つ工程１１０、工程１２０、工程１３０及び工程１４０を含む。
工程１１０は、骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨Ｘ線画像の参照データと、を含む参照データベースを取得することである。好ましくは、本発明の骨年齢評価と身長予測モデル１００の利き手の使用頻度又は使用習慣による骨の形態変化によりその判断精度が影響されないように、前記の手骨Ｘ線画像の参照データは、非利き手の手骨Ｘ線画像の参照データであってよい。
好ましくは、各手骨Ｘ線画像の参照データの生理的年齢情報、性別情報等の基本データを手骨Ｘ線画像の参照データのヘッダー（ｈｅａｄｅｒ）に保存して、後の分析を容易にするように、前記の手骨Ｘ線画像の参照データの画像フォーマットは、デジタル医療画像通信標準規格（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ；ＤＩＣＯＭ）の画像フォーマットであってよい。なお、男性と女性の生理的成熟のプロセスが異なり、骨の発達形態及びその対応する生理的年齢も異なるため、本発明の骨年齢評価と身長予測モデル１００は、更に異なる性別の手骨Ｘ線画像の参照データに対して別々に特徴選択工程とトレーニング工程を更に行って、性別ごとに手骨の発達状態、骨年齢及び成人身長の判断と予測を行うことができる。好ましくは、異なる性別の被験者を容易に分析できるように、前記の骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよい。
工程１２０は、標準化された複数の手骨Ｘ線画像データを取得するために、画像データ編集モジュールによって各手骨Ｘ線画像の参照データの画像サイズ及び画像の白黒コントラストを調整する画像前処理工程を行うことである。詳しく言えば、画像データ編集モジュールは、異なる手骨Ｘ線画像の参照データの画像サイズをそれぞれ２５６ピクセル（ｐｉｘｅｌ）×２５６ピクセルに調整してから、その白黒コントラストを調整することにより、異なる手骨Ｘ線画像の参照データ同士の白黒の色度差を減らして画像の解像度を高めて、後の分析を容易にすることができる。
また、工程１２０において、画像データ編集モジュールは、更に各手骨Ｘ線画像の参照データに対して画像彩度補正処理を行うことができる。詳しく言えば、画像データ編集モジュールは、各手骨Ｘ線画像の参照データの画像階調度を計算し、前記の計算結果によって順に各手骨Ｘ線画像の参照データの画像ピクセルの行、列を自動的に色で補填して、グレースケールトーンを示す各手骨Ｘ線画像の参照データをカラートーンに変換し、更に後の分析の精度を向上させることができるが、本発明は前記説明と添付図面の公開した内容に限定されない。
工程１３０は、特徴選択モジュールによって標準化された手骨Ｘ線画像データを分析して少なくとも１つの画像特徴値を得る特徴選択工程を行うことである。詳しく言えば、本発明の骨年齢評価と身長予測モデル１００は、特徴選択モジュールによって標準化された手骨Ｘ線画像データの画像情報を自動的に分析を行い、対応する画像特徴値を自動的に抽出することで、本発明の骨年齢評価と身長予測モデル１００の評価と予測効率を改善する。
工程１４０は、前記の画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、骨年齢評価と身長予測モデル１００を得るトレーニング工程を行うことである。好ましくは、前記の畳み込みニューラルネットワーク学習分類子は、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２畳み込みニューラルネットワークであってよい。Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２畳み込みニューラルネットワークは、ＩｍａｇｅＮｅｔ視覚化データデータベースに基づいた大規模な視覚認識（Ｌａｒｇｅ Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ）畳み込みニューラルネットワークであり、残差結合（Ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎｓ）の形態によって畳み込みニューラルネットワークのトレーニングの深さを効果的に拡張することができるため、更にＩｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２畳み込みニューラルネットワークの画像分類と認識の点で相当高い精度を持つようになる。
本発明の別の実施形態に係る骨年齢評価と身長予測方法２００を示す工程フロー図である図２を参照されたい。骨年齢評価と身長予測方法２００は、工程２１０、工程２２０、工程２３０、工程２４０及び工程２５０を含む。
工程２１０は、前記工程１１０～工程１４０によって確立される骨年齢評価と身長予測モデルを提供することである。
工程２２０は、生理的年齢情報及び性別情報を含む、被験者の対象手骨Ｘ線画像データを提供することである。好ましくは、被験者の利き手の使用頻度又は使用習慣による骨の形態変化により骨年齢評価と身長予測方法２００の分析精度が影響されないように、前記の対象手骨Ｘ線画像データは、非利き手の対象手骨Ｘ線画像データであってよい。
好ましくは、対象手骨Ｘ線画像データの生理的年齢情報、性別情報等の基本データを対象手骨Ｘ線画像データのヘッダーに保存して、後の分析を容易にするように、前記の対象手骨Ｘ線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。なお、男性と女性の生理的成熟のプロセスが異なり、骨の発達形態及びその対応する生理的年齢も異なるため、本発明の骨年齢評価と身長予測方法２００は、それぞれ異なる性別の対象手骨Ｘ線画像データに対して性別ごとに手骨の発達状態、骨年齢及びその成人身長の評価と分析を行う。
工程２３０は、標準化された対象手骨Ｘ線画像データを取得するために、前記の画像データ編集モジュールによって対象手骨Ｘ線画像データの画像サイズ及び画像の白黒コントラストを調整する前処理を、対象手骨Ｘ線画像データに対して行うことである。詳しく言えば、画像データ編集モジュールは、対象手骨Ｘ線画像データの画像サイズを２５６ピクセル×２５６ピクセルに調整してから、その白黒コントラストを調整することにより、画像の解像度を向上させて、後の分析を容易にする。
また、工程２３０において、画像データ編集モジュールは、更に対象手骨Ｘ線画像データに対して画像彩度補正処理を行うことができる。詳しく言えば、画像データ編集モジュールは、対象手骨Ｘ線画像データの画像階調度を計算し、前記の計算結果によって順に対象手骨Ｘ線画像データの画像ピクセルの行、列を自動的に色で補填して、グレースケールトーンを示す対象手骨Ｘ線画像データをカラートーンに変換し、更に後の分析の精度を向上させることができるが、本発明は前記説明と添付図面の公開した内容に限定されない。
工程２４０は、特徴選択モジュールによって標準化された対象手骨Ｘ線画像データを分析して少なくとも１つの画像特徴値を得ることである。詳しく言えば、本発明の骨年齢評価と身長予測方法２００は、特徴選択モジュールによって標準化された対象手骨Ｘ線画像データの画像情報に対して分析を自動的に行い、対応する画像特徴値を自動的に抽出することで、本発明の骨年齢評価と身長予測方法２００の評価と予測効率を改善することができる。
工程２５０は、前記の骨年齢評価と身長予測モデルによって画像特徴値を分析して、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測することである。
本発明の更なる１つの実施形態に係る骨年齢評価と身長予測システム３００の構造を示す模式図である図３を参照されたい。骨年齢評価と身長予測システム３００は、画像キャプチャユニット４００及び非一時的機械可読媒体５００を含む。
画像キャプチャユニット４００は、生理的年齢情報及び性別情報を含む、被験者の対象手骨Ｘ線画像データを取得することに用いられる。詳しく言えば、画像キャプチャユニット４００は、Ｘ線検査装置であってよく、被験者の手に低線量のＸ線を照射して、適切な解像度の対象手骨Ｘ線画像データを取得する。好ましくは、本発明の骨年齢評価と身長予測システム３００の利き手の使用頻度又は使用習慣による骨の形態変化によりその分析精度が影響されないように、前記の対象手骨Ｘ線画像データは、非利き手の対象手骨Ｘ線画像データであってよい。好ましくは、対象手骨Ｘ線画像データの生理的年齢情報、性別情報等の基本データを対象手骨Ｘ線画像データのヘッダーに保存して、後の分析を容易にするように、前記の対象手骨Ｘ線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。
非一時的機械可読媒体５００は、画像キャプチャユニット４００に通信可能に接続され、プログラム（未図示）を保存することに用いられ、前記のプログラムが処理ユニット（未図示）によって実行される場合に、被験者の手骨の発達状態、被験者の骨年齢と予測被験者の成人身長を評価することに用いられ、且つ前記のプログラムが参照データベース取得モジュール５１０、第１の画像データ編集モジュール５２０、特徴選択モジュール５３０、トレーニングモジュール５４０、第２の画像データ編集モジュール５５０、対象特徴選択モジュール５６０及び比較モジュール５７０を含む。
参照データベース取得モジュール５１０は、骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨Ｘ線画像の参照データと、を含む参照データベースを取得することに用いられる。好ましくは、各手骨Ｘ線画像の参照データは、非利き手の手骨Ｘ線画像の参照データであってよく、異なる性別の被験者を容易に分析できるように、前記の骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよい。
好ましくは、各手骨Ｘ線画像の参照データの生理的年齢情報、性別情報等の基本データを手骨Ｘ線画像の参照データのヘッダーに保存して、後の分析を容易にするように、前記の手骨Ｘ線画像の参照データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。
第１の画像データ編集モジュール５２０は、標準化された複数の手骨Ｘ線画像データを取得するために、各手骨Ｘ線画像の参照データの画像サイズ及び画像の白黒コントラストを調整する。詳しく言えば、第１の画像データ編集モジュール５２０は、異なる手骨Ｘ線画像の参照データの画像サイズを２５６ピクセル×２５６ピクセルに調整してから、その白黒コントラストを調整することにより、異なる手骨Ｘ線画像の参照データ同士の白黒の色度差を減らして画像の解像度を高める。
また、第１の画像データ編集モジュール５２０は、更に各手骨Ｘ線画像の参照データに対して画像彩度補正処理を行うことができる。詳しく言えば、第１の画像データ編集モジュール５２０は、各手骨Ｘ線画像の参照データの画像階調度を計算し、前記の計算結果によって順に各手骨Ｘ線画像の参照データの画像ピクセルの行、列を自動的に色で補填して、グレースケールトーンを示す各手骨Ｘ線画像の参照データをカラートーンに変換し、更に後の分析の精度を向上させることができるが、本発明は前記説明と添付図面の公開した内容に限定されない。
特徴選択モジュール５３０は、標準化された手骨Ｘ線画像データを分析して少なくとも１つの参照画像特徴値を得ることに用いられる。詳しく言えば、本発明の骨年齢評価と身長予測システム３００は、特徴選択モジュール５３０によって標準化された手骨Ｘ線画像データの画像情報を自動的に分析し、対応する画像特徴値を自動的に抽出することができる。
トレーニングモジュール５４０は、前記の参照画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、骨年齢評価と身長予測モデルを得ることに用いられる。好ましくは、畳み込みニューラルネットワークのトレーニングの深さを効果的に拡張し、更にトレーニングモジュール５４０の画像分類と認識能力を向上させるように、前記の畳み込みニューラルネットワーク学習分類子は、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２畳み込みニューラルネットワークであってよい。
第２の画像データ編集モジュール５５０は、標準化された対象手骨Ｘ線画像データを取得するために、対象手骨Ｘ線画像データの画像サイズ及び画像の白黒コントラストを調整する。詳しく言えば、第２の画像データ編集モジュール５５０は、対象手骨Ｘ線画像データの画像サイズを２５６ピクセル×２５６ピクセルに調整してから、その白黒コントラストを調整することにより、画像の解像度を向上させ、更に前記の標準化された対象手骨Ｘ線画像データを得る。好ましくは、第２の画像データ編集モジュール５５０は、更に対象手骨Ｘ線画像データに対して画像彩度補正処理を行い、対象手骨Ｘ線画像データの画像階調度を計算し、前記の計算結果によって順に対象手骨Ｘ線画像データの画像ピクセルの行、列を自動的に色で補填して、グレースケールトーンを示す対象手骨Ｘ線画像データをカラートーンに変換するが、本発明は前記説明と添付図面の公開した内容に限定されない。
対象特徴選択モジュール５６０は、標準化された対象手骨Ｘ線画像データを分析して少なくとも１つの対象画像特徴値を得ることに用いられる。詳しく言えば、対象特徴選択モジュール５６０は、標準化された対象手骨Ｘ線画像データの画像情報を自動的に分析して、対応する画像特徴値を自動的に抽出することができる。具体的に、対象特徴選択モジュール５６０は、対象手骨Ｘ線画像データにおける手のひら領域と背景領域を自動的に切断し、手のひら領域の画像をポジティブサンプルとして、手のひら領域外の画像をネガティブサンプルとして、前記のポジティブサンプルとネガティブサンプルを対象特徴選択モジュール５６０で処理された後で、標準化された対象手骨Ｘ線画像データの対象画像特徴値を得、後の分析を行う。
比較モジュール５７０は、前記の対象画像特徴値を前記の骨年齢評価と身長予測モデルで分析して、対象画像特徴値重み付けデータを得、前記の対象画像特徴値重み付けデータと前記の参照データベースとを比較して、被験者の手骨の発達状態の判定結果、被験者の骨年齢判定結果及び被験者の成人身長予測結果を出力する。
なお、男性と女性の生理的成熟のプロセスが異なり、骨の発達形態及びその対応する生理的年齢も異なるため、比較モジュール５７０は、更に異なる性別の被験者の標準化された対象手骨Ｘ線画像データをそれぞれ男性の骨年齢身長マップデータサブ集合又は女性の骨年齢身長マップデータサブ集合と比較して、異なる性別の被験者に対して手骨の発達状態、骨年齢及びその成人身長の分析と予測を行う。
なお、図に示されていないが、本発明の骨年齢評価と身長予測システム３００は、警告モジュール（未図示）を含んでよい。標準化された対象手骨Ｘ線画像データと骨年齢身長マップデータ集合とを比較した後で、被験者の骨年齢の比較結果が生理的年齢よりも大幅に進んでいるか遅れている場合、警告モジュールは、後で容易に治療し又は他の関連する対策を実施できるように、初期段階でアクティブな警告通知を発行する。
上記の実施形態によれば、以下、具体的な試験例を提出して、添付図面に合わせて詳しく説明する。
＜試験例＞
一、参照データベース
本発明に用いられる参照データベースは、中国医薬大学附属病院研究倫理委員会によって収集された既往の小児科骨年齢Ｘ線画像データであり、中国医薬大学附属病院研究倫理委員会（Ｃｈｉｎａ Ｍｅｄｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ ＆ Ｈｏｓｐｉｔａｌ Ｒｅｓｅａｒｃｈ Ｅｔｈｉｃｓ Ｃｏｍｍｉｔｔｅｅ）によって承認された臨床試験案であり、番号がＣＭＵＨ １０７－ＲＥＣ２－０９７であった。前記の参照データベースは、２７５８名の男性被験者及び４４６２名の女性被験者、合計で７２２０名の被験者の手骨Ｘ線画像の参照データを含み、被験者の年齢が２歳～１６歳の範囲にあり、且つ各被験者の生理的年齢情報、性別情報、カルテ番号、被験者番号等の関連データを画像データのヘッダーに保存して、後の分析を容易にするように、前記の手骨Ｘ線画像の参照データの画像フォーマットの何れもデジタル医療画像通信標準規格の画像フォーマットであった。
前記の参照データベースは、更に骨年齢身長マップデータ集合を含む。詳しく言えば、利き手の使用頻度又は使用習慣による骨の形態変化により参照データベースの信頼性が影響されないように、前記の手骨Ｘ線画像の参照データは、被験者の非利き手の手骨Ｘ線画像の参照データであり、骨年齢身長マップデータ集合は、骨成長マップ、成長曲線マップ等の参照データを含んだ。なお、異なる性別の参照被験者を分析するように、本試験例の骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよかった。
二、本発明の骨年齢評価と身長予測モデル
本発明の骨年齢評価と身長予測モデル（未図示）の局部確立工程を示すフロー図である図４を参照されたい。図４の試験例において、手骨Ｘ線画像の参照データ６１１ａ、手骨Ｘ線画像の参照データ６１１ｂと手骨Ｘ線画像の参照データ６１１ｃを例として、本発明の骨年齢評価と身長予測モデルの操作方法及び分析形態を説明した。
まず、前記の参照データベースを取った後、手骨Ｘ線画像の参照データ６１１ａ、手骨Ｘ線画像の参照データ６１１ｂと手骨Ｘ線画像の参照データ６１１ｃに対してそれぞれ画像前処理工程６２０を行って、サイズと彩度を標準化することで、標準化された手骨Ｘ線画像データ６２１ａ、標準化された手骨Ｘ線画像データ６２１ｂと標準化された手骨Ｘ線画像データ６２１ｃを取った。詳しく言えば、画像前処理工程６２０は、画像データ編集モジュール（未図示）によって手骨Ｘ線画像の参照データ６１１ａ、手骨Ｘ線画像の参照データ６１１ｂと手骨Ｘ線画像の参照データ６１１ｃの画像サイズを２５６ピクセル×２５６ピクセルに調整し、更にその白黒コントラストを調整することにより、画像の解像度を向上させて、異なる手骨Ｘ線画像の参照データ同士の黒白の色度差を減らした。
好ましくは、画像データ編集モジュールは、必要に応じて更に各手骨Ｘ線画像の参照データに対して画像彩度補正処理を行い、各手骨Ｘ線画像の参照データの画像階調度を計算し、前記の計算結果によってそれぞれ手骨Ｘ線画像の参照データ６１１ａ、手骨Ｘ線画像の参照データ６１１ｂと手骨Ｘ線画像の参照データ６１１ｃの画像ピクセルの行、列を自動的に色で補填して、カラートーンに変換し、更に後の分析の精度を向上させた。
なお、各被験者の生理的年齢情報、性別情報等の基本データが直接デジタル医療画像通信標準規格の画像フォーマットを表現する標準化された手骨Ｘ線画像データ６２１ａ、標準化された手骨Ｘ線画像データ６２１ｂと標準化された手骨Ｘ線画像データ６２１ｃのヘッダーに保存されるので、本発明の骨年齢評価と身長予測モデルは、別にラベル付け操作を人工的に実行する必要はなく、直接標準化された手骨Ｘ線画像データ６２１ａ、標準化された手骨Ｘ線画像データ６２１ｂと標準化された手骨Ｘ線画像データ６２１ｃの生理的年齢情報及び性別情報を抽出することができ、追加の分析プロセスを排除し、分析効率を向上させることに寄与した。
画像前処理工程６２０による標準化された前記の手骨Ｘ線画像データ６２１ａ、標準化された手骨Ｘ線画像データ６２１ｂと標準化された手骨Ｘ線画像データ６２１ｃについては、更にそれぞれ特徴選択工程６３０を行って、特徴選択モジュール（未図示）によって分析して少なくとも１つの画像特徴値を得た。詳しく言えば、特徴選択モジュールは、それぞれ標準化された手骨Ｘ線画像データ６２１ａ、標準化された手骨Ｘ線画像データ６２１ｂと標準化された手骨Ｘ線画像データ６２１ｃにおける手のひら領域と背景領域を切断して、手のひら領域の画像をポジティブサンプルとして、手のひら領域外の画像をネガティブサンプルとして、前記のポジティブサンプルとネガティブサンプルを特徴選択モジュールで処理してそれぞれの画像特徴値を得た。
次に、図４と図５を合せて参照すると、図５は本発明の骨年齢評価と身長予測モデルの畳み込みニューラルネットワーク学習分類子６４１の構造を示す模式図である。図５の試験例において、畳み込みニューラルネットワーク学習分類子６４１は、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２畳み込みニューラルネットワークであり、画像特徴値に対してトレーニングと分析を行うように、複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ）、複数の最大プーリング層（ＭａｘＰｏｏｌ）、複数の平均プーリング層（ＡｖＧ－Ｐｏｏｌ）及び複数のカスケード層（Ｃｏｎｃａｔ）を含んでよかった。
画像特徴値に対してトレーニングを行う過程中に、まず、それぞれ標準化された手骨Ｘ線画像データ６２１ａ、標準化された手骨Ｘ線画像データ６２１ｂと標準化された手骨Ｘ線画像データ６２１ｃの画像特徴値に対して２層の畳み込み層及び１層の最大プーリング層（ＭａｘＰｏｏｌ）処理を行って、抽出された画像特徴値の最大出力を実行し、再び前記の２層の畳み込み層と１層の最大プーリング層の出力を繰り返した後、複数の畳み込み層により並列タワー（ｐａｒａｌｌｅｌ ｔｏｗｅｒｓ）トレーニングして、画像特徴値の初期トレーニング（Ｉｎｃｅｐｔｉｏｎ）を完成した。
前記の初期トレーニングを完成した後で、標準化された手骨Ｘ線画像データ６２１ａ、標準化された手骨Ｘ線画像データ６２１ｂと標準化された手骨Ｘ線画像データ６２１ｃの画像特徴値については、それぞれ１０回（１０×）、２０回（２０×）と１０回（１０×）の異なる深さ、異なるレベルと異なるアスペクトでの残差（Ｒｅｓｉｄｕａｌ）モジュールトレーニングを行って、画像特徴値に対してトレーニングを行い収束を達成した。詳しく言えば、残差モジュールによってトレーニングすることで、畳み込みニューラルネットワーク学習分類子６４１が前記の画像特徴値に対して複数層のトレーニングを行った後で勾配が消える劣化現象を防ぐことができ、また畳み込みニューラルネットワーク学習分類子６４１のトレーニング効率を効果的に向上させることができる。
残差モジュールのディープで繰り返したトレーニングを完了した後で、順に畳み込み層、平均プーリング層、置き換えグローバル平均プーリング（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ ２Ｄ；ＧｌｏＡｖｅＰｏｏｌ２Ｄ）及び線形整流ユニットトレーニング層（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ；ＲｅＬＵ）によって収束された画像特徴値に対して最終トレーニングと処理を行って、これにより、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測した。平均プーリング層は、まず残差モジュールトレーニングが完成された画像特徴値を計算して、各画像特徴値の平均値を得てよいが、置き換えグローバル平均プーリング層は、畳み込みニューラルネットワーク学習分類子６４１のネットワーク構造全体に対して正則化（Ｒｅｇｕｌａｒｉｚａｔｉｏｎ）処理をして、畳み込みニューラルネットワーク学習分類子６４１が低誤差を追求するトレーニングモードで過剰適合現象（Ｏｖｅｒｆｉｔｔｉｎｇ）が発生し、判定結果の誤差値が高くなりすぎて、骨年齢評価と身長予測モデルの結果が予想よりも信頼性が低くなることを防いでよかった。最後、線形整流ユニットトレーニング層は、更にトレーニング完成後の画像特徴値をアクティブ化し、対象画像特徴値重み付けデータ６５０を出力して、後の比較と分析を行った。前記の線形整流ユニットトレーニング層は、骨年齢評価と身長予測モデルの出力した対象画像特徴値重み付けデータ６５０がゼロに近づくか無限に近づくことを防ぐことができ、後の比較工程に有益であり、更に本発明の骨年齢評価と身長予測モデルの判断精度を更に向上させた。
三、本発明の骨年齢評価と身長予測モデルの被験者の手骨の発達状態、骨年齢と成人身長の判断への適用
本試験例において、更に、確立された骨年齢評価と身長予測モデルを、被験者の手骨の発達状態、被験者の骨年齢の判断、また被験者の成人身長の予測に用いた。その工程は、以下の通りであった。前記確立された骨年齢評価と身長予測モデルを提供した。生理的年齢情報及び性別情報を含む、被験者の対象手骨Ｘ線画像データを提供した。標準化された対象手骨Ｘ線画像データを取得するために、前記の画像データ編集モジュールによって対象手骨Ｘ線画像データの画像サイズ及び画像の白黒コントラストを調整する前処理を、対象手骨Ｘ線画像データに対して行う。前記の特徴選択モジュールによって標準化された対象手骨Ｘ線画像データを分析して少なくとも１つの画像特徴値を得た。前記の骨年齢評価と身長予測モデルによって画像特徴値を分析して、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測した。
なお、前記確立された骨年齢評価と身長予測モデルは、被験者の手骨の発達状態の判定結果、被験者の骨年齢判定結果及び被験者の成人身長予測結果を更に参照データベースに統合して、骨年齢評価と身長予測モデルを最適化するように、本発明の骨年齢評価と身長予測システムに適用された。また、本発明の骨年齢評価と身長予測システムの細部構造については、図３と前文に示されるので、ここで説明しない。
本発明の骨年齢評価と身長予測システム（未図示）の適用結果７００を示す模式図である図６を参照されたい。骨年齢評価と身長予測システムは、その骨年齢評価と身長予測モデルの分析を完成した後で、更に被験者の手骨の発達状態の判定結果と被験者の骨年齢判定結果を出力して、表示モジュール（未図示）に示すことができる。図６に示すように、本発明の骨年齢評価と身長予測システムの適用結果７００は、結果フィールド７０１、結果フィールド７０２、結果フィールド７０３及び結果フィールド７０４を含んでよい。結果フィールド７０１は、被験者の生理的年齢情報、性別情報及びカルテ番号、被験者番号等の他の個人データを含む被験者の基本データを示すことができ、結果フィールド７０２は、画像前処理されていない被験者の対象手骨Ｘ線画像データであり、結果フィールド７０３は、骨年齢評価と身長予測モデルによって判断された被験者の骨年齢であり、結果フィールド７０４は、前記骨年齢評価と身長予測システムによって判断された被験者の骨年齢結果の前後１２カ月の骨年齢マップであり、後で分析者が比較及び分析するために用いられる。
なお、図に示されていないが、本発明の骨年齢評価と身長予測システムは、被験者の手骨の発達状態の判定結果及び被験者の骨年齢判定結果を更に骨年齢身長マップデータ集合の男性の骨年齢身長マップデータサブ集合又は女性の骨年齢身長マップデータサブ集合と比較して、異なる性別の被験者に対して成人身長の予測を行い、被験者の成人身長予測結果を前記の表示モジュールに同期して出力し表示することができるが、本発明は前記の説明又は図面の公開した内容に限定されない。
また、図に示されていないが、本発明の骨年齢評価と身長予測システムは、警告モジュール（未図示）を更に含んでよい。骨年齢評価と身長予測モデルが被験者の骨年齢判定結果を出力した後で、被験者の骨年齢判断結果が被験者の生理的年齢よりも大幅に進んでいるか遅れている場合、警告モジュールは、初期段階でアクティブな警告通知を発行し、後で容易に治療し又は他の関連する対策を実施するように、結果フィールド７０３に赤い字で表示する。
これにより、本発明の骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法は、骨年齢評価と身長予測モデルによって自動的に被験者の対象手骨Ｘ線画像データに対して画像特徴値の抽出及びディープニューラルネットワークトレーニングして、骨年齢評価と身長予測に必要な時間を効果的に短くすることができるだけでなく、公知の骨年齢評価形態における異なる分析者の特徴選択及び比較形態の異なりによる結果誤差を避けることもできる。なお、畳み込みニューラルネットワーク学習分類子を含む骨年齢評価と身長予測モデルによれば、骨年齢評価及び身長予測の精度と感度を効果的に向上させて、本発明の骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法による骨年齢判断及び身長予測の点でより効率的となるようにし、個々の症例の骨年齢判断結果に対して、適切な治療又は関連する適用措置を実施して、小児の発育阻害又は早熟に起因する疾患の発生率を低下させることができる。
本発明は、実施形態で前述の通りに開示されたが、それらに限定されなく、業者であれば、本発明の精神と範囲から逸脱しない限り、多様の変更や修飾を加えてもよく、従って、本発明の保護範囲は、後の特許請求の範囲で指定した内容を基準とするものである。
１００ 骨年齢評価と身長予測モデル
１１０、１２０、１３０、１４０ 工程
２００ 骨年齢評価と身長予測方法
２１０、２２０、２３０、２４０、２５０ 工程
３００ 骨年齢評価と身長予測システム
４００ 画像キャプチャユニット
５００ 非一時的機械可読媒体
５１０ 参照データベース取得モジュール
５２０ 第１の画像データ編集モジュール
５３０ 特徴選択モジュール
５４０ トレーニングモジュール
５５０ 第２の画像データ編集モジュール
５６０ 対象特徴選択モジュール
５７０ 比較モジュール
６１１ａ、６１１ｂ、６１１ｃ 手骨Ｘ線画像の参照データ
６２０ 画像前処理工程
６２１ａ、６２１ｂ、６２１ｃ 標準化された手骨Ｘ線画像データ
６３０ 特徴選択工程
６４１ 畳み込みニューラルネットワーク学習分類子
６５０ 対象画像特徴値重み付けデータ
７００ 適用結果
７０１、７０２、７０３、７０４ 結果フィールド

Claims (12)

  1. 骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨Ｘ線画像の参照データと、を含む参照データベースを取得する工程と、
    標準化された複数の手骨Ｘ線画像データを取得するために、画像データ編集モジュールによって各前記手骨Ｘ線画像の参照データの画像サイズ及び画像の白黒コントラストを調整し、更に、各前記手骨Ｘ線画像の参照データに対して画像彩度補正処理を行う画像前処理工程と、
    特徴選択モジュールによって前記標準化された複数の手骨Ｘ線画像データを分析して少なくとも１つの画像特徴値を得る特徴選択工程と、
    前記少なくとも１つの画像特徴値を畳み込みニューラルネットワーク学習分類子、ここにおいて前記畳み込みニューラルネットワーク学習分類子は、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２畳み込みニューラルネットワークであり、によってトレーニングして収束を達成して、被験者の手骨の発達状態、前記被験者の骨年齢を判断して前記被験者の成人身長を予測するための骨年齢評価と身長予測モデルを得るトレーニング工程と、
    で確立されることを特徴とする骨年齢評価と身長予測モデルの確立方法。
  2. 前記複数の手骨Ｘ線画像の参照データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであることを特徴とする請求項１に記載の骨年齢評価と身長予測モデルの確立方法。
  3. 前記骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含むことを特徴とする請求項１に記載の骨年齢評価と身長予測モデルの確立方法。
  4. 各前記手骨Ｘ線画像の参照データは、非利き手の手骨Ｘ線画像の参照データであることを特徴とする請求項１に記載の骨年齢評価と身長予測モデルの確立方法。
  5. 請求項１に記載の骨年齢評価と身長予測モデルを提供する工程と、
    生理的年齢情報及び性別情報を含む、被験者の対象手骨Ｘ線画像データを提供する工程と、
    標準化された対象手骨Ｘ線画像データを取得するために、前記画像データ編集モジュールによって前記対象手骨Ｘ線画像データの画像サイズ及び画像の白黒コントラストを調整し、更に、各前記手骨Ｘ線画像の参照データに対して画像彩度補正処理を行う前処理を、前記対象手骨Ｘ線画像データに対して行う工程と、
    前記特徴選択モジュールによって前記標準化された対象手骨Ｘ線画像データを分析して少なくとも１つの画像特徴値を得る工程と、
    前記骨年齢評価と身長予測モデルによって前記少なくとも１つの画像特徴値を分析して、前記被験者の手骨の発達状態、前記被験者の骨年齢を判断して前記被験者の成人身長を予測する工程と、
    を備えることを特徴とする骨年齢評価と身長予測方法。
  6. 前記対象手骨Ｘ線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであることを特徴とする請求項５に記載の骨年齢評価と身長予測方法。
  7. 前記対象手骨Ｘ線画像データは、非利き手の対象手骨Ｘ線画像データであることを特徴とする請求項５に記載の骨年齢評価と身長予測方法。
  8. 生理的年齢情報及び性別情報を含有する被験者の対象手骨Ｘ線画像データを取得するための画像キャプチャユニットと、
    前記画像キャプチャユニットに通信可能に接続され、プログラムを保存することに用いられ、前記プログラムが処理ユニットによって実行される場合に、前記被験者の手骨の発達状態、前記被験者の骨年齢を評価し前記被験者の成人身長を予測することに用いられる非一時的機械可読媒体と、
    を備え、且つ
    前記プログラムは、
    骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨Ｘ線画像の参照データと、を含む参照データベースを取得するための参照データベース取得モジュールと、
    標準化された複数の手骨Ｘ線画像データを取得するために、各前記手骨Ｘ線画像の参照データの画像サイズ及び画像の白黒コントラストを調整し、各前記手骨Ｘ線画像の参照データに対して画像彩度補正処理を行う第１の画像データ編集モジュールと、
    前記標準化された複数の手骨Ｘ線画像データを分析して少なくとも１つの参照画像特徴値を得るための特徴選択モジュールと、
    前記少なくとも１つの参照画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、骨年齢評価と身長予測モデルを得るトレーニングモジュール、ここにおいて前記畳み込みニューラルネットワーク学習分類子は、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２畳み込みニューラルネットワークである、と、
    標準化された対象手骨Ｘ線画像データを取得するために、前記対象手骨Ｘ線画像データの画像サイズ及び画像の白黒コントラストを調整し、各前記手骨Ｘ線画像の参照データに対して画像彩度補正処理を行う第２の画像データ編集モジュールと、
    前記標準化された対象手骨Ｘ線画像データを分析して少なくとも１つの対象画像特徴値を得るための対象特徴選択モジュールと、
    前記少なくとも１つの対象画像特徴値を前記骨年齢評価と身長予測モデルで分析して、対象画像特徴値重み付けデータを得、前記対象画像特徴値重み付けデータと前記参照データベースとを比較して、前記被験者の手骨の発達状態の判定結果、前記被験者の骨年齢判定結果及び前記被験者の成人身長予測結果を出力する比較モジュールと、
    を含むことを特徴とする骨年齢評価と身長予測システム。
  9. 前記対象手骨Ｘ線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであり、前記複数の手骨Ｘ線画像の参照データとの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであることを特徴とする請求項８に記載の骨年齢評価と身長予測システム。
  10. 前記骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含むことを特徴とする請求項８に記載の骨年齢評価と身長予測システム。
  11. 各前記手骨Ｘ線画像の参照データは、非利き手の手骨Ｘ線画像の参照データであり、前記対象手骨Ｘ線画像データは、非利き手の対象手骨Ｘ線画像データであることを特徴とする請求項８に記載の骨年齢評価と身長予測システム。
  12. 前記標準化された対象手骨Ｘ線画像データが前記骨年齢評価と身長予測モデルで分析された後、アクティブな警告通知を発行するための警告モジュールを更に含むことを特徴とする請求項８に記載の骨年齢評価と身長予測システム。
JP2020528374A 2018-08-01 2018-08-01 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法 Active JP6999812B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/097915 WO2020024127A1 (zh) 2018-08-01 2018-08-01 骨龄评估与身高预测模型、其系统及其预测方法

Publications (2)

Publication Number Publication Date
JP2021504816A JP2021504816A (ja) 2021-02-15
JP6999812B2 true JP6999812B2 (ja) 2022-01-19

Family

ID=69230983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020528374A Active JP6999812B2 (ja) 2018-08-01 2018-08-01 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法

Country Status (3)

Country Link
US (1) US20210142477A1 (ja)
JP (1) JP6999812B2 (ja)
WO (1) WO2020024127A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11367181B2 (en) * 2018-12-29 2022-06-21 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for ossification center detection and bone age assessment
TWI772663B (zh) * 2019-08-05 2022-08-01 長佳智能股份有限公司 以個人裝置進行手骨骨齡即時判讀之系統及方法
CN111563874B (zh) * 2020-03-05 2023-04-28 北京深睿博联科技有限责任公司 骨龄评测方法和装置
US20210398280A1 (en) * 2020-06-23 2021-12-23 Vuno Inc. Bone age assessment method for bone image
KR102481112B1 (ko) * 2020-11-02 2022-12-26 사회복지법인 삼성생명공익재단 심층 학습을 이용한 성인 신장 예측 방법 및 그 시스템
KR102575890B1 (ko) * 2020-11-16 2023-09-08 본와이즈 주식회사 인공지능 시스템을 훈련시키기 위한 이미지 데이터를 처리하도록 구성되는 전자 장치
CN112801994B (zh) * 2021-02-05 2023-12-26 广东顺德工业设计研究院(广东顺德创新设计研究院) 骨龄评估方法和系统
CN113298780B (zh) * 2021-05-24 2023-09-12 云南大学 一种基于深度学习的儿童骨龄评估方法及系统
CN113362292B (zh) * 2021-05-27 2023-04-28 重庆邮电大学 一种基于可编程逻辑门阵列的骨龄评估方法及系统
KR102559654B1 (ko) * 2021-08-03 2023-07-24 가톨릭대학교 산학협력단 뇌실-복강 단락술을 위한 압력 산출 방법 및 장치
CN114387680B (zh) * 2022-03-24 2022-05-27 广东红橙云大数据有限公司 评估信息的生成方法、装置、电子设备及介质
CN115661052B (zh) * 2022-10-13 2023-09-12 高峰医疗器械(无锡)有限公司 牙槽骨的骨质检测方法、装置、设备及存储介质
CN116342516B (zh) * 2023-03-17 2024-04-16 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN116523840B (zh) * 2023-03-30 2024-01-16 苏州大学 一种基于深度学习的肺部ct图像检测系统以及方法
CN117094951A (zh) * 2023-07-25 2023-11-21 中国医学科学院北京协和医院 一种新型的自动骨龄预测算法模型
CN117524503B (zh) * 2024-01-08 2024-04-30 深圳市早知道科技有限公司 一种基于生物遗传数据的身高预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535882A (ja) 2001-07-24 2004-12-02 サンライト メディカル リミテッド 超音波を用いた骨年齢評価方法
US20140081146A1 (en) 2012-09-13 2014-03-20 Alan R. Keim Bone mineral density measurement apparatus and method
CN108334899A (zh) 2018-01-28 2018-07-27 浙江大学 基于手骨x光片骨骼和关节量化信息集成的骨龄评估方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1804868A (zh) * 2006-01-19 2006-07-19 昆明利普机器视觉工程有限公司 机器自动图像识别方法及装置
KR100942699B1 (ko) * 2007-12-10 2010-02-17 한국전자통신연구원 요골원위부 골간단 경계추출 방법 및 장치
US9848818B1 (en) * 2013-08-09 2017-12-26 O.N.Diagnostics, LLC Clinical assessment of fragile bone strength
WO2017022908A1 (ko) * 2015-08-04 2017-02-09 재단법인 아산사회복지재단 심층신경망을 이용한 골 연령 산출방법 및 프로그램
US10991093B2 (en) * 2016-09-21 2021-04-27 The General Hospital Corporation Systems, methods and media for automatically generating a bone age assessment from a radiograph
CN107595248A (zh) * 2017-08-31 2018-01-19 郭淳 一种检测和评价儿童生长发育状况的方法和系统
KR101977174B1 (ko) * 2017-09-13 2019-05-10 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
CN107871316B (zh) * 2017-10-19 2020-10-27 浙江工业大学 基于深度神经网络的x光片手骨兴趣区域自动提取方法
CN107767376B (zh) * 2017-11-02 2021-03-26 西安邮电大学 基于深度学习的x线片骨龄预测方法及系统
CN107895367B (zh) * 2017-11-14 2021-11-30 中国科学院深圳先进技术研究院 一种骨龄识别方法、系统及电子设备
CN107944496A (zh) * 2017-12-06 2018-04-20 电子科技大学 基于改进后的残差网络的骨龄自动化识别系统
US10825564B1 (en) * 2017-12-11 2020-11-03 State Farm Mutual Automobile Insurance Company Biometric characteristic application using audio/video analysis
DE102019208496B4 (de) * 2019-06-12 2024-01-25 Siemens Healthcare Gmbh Computerimplementierte Verfahren und Vorrichtungen zum Bereitstellen eines Differenzbilddatensatzes eines Untersuchungsvolumens und zum Bereitstellen einer trainierten Generatorfunktion
TWI772663B (zh) * 2019-08-05 2022-08-01 長佳智能股份有限公司 以個人裝置進行手骨骨齡即時判讀之系統及方法
KR102575890B1 (ko) * 2020-11-16 2023-09-08 본와이즈 주식회사 인공지능 시스템을 훈련시키기 위한 이미지 데이터를 처리하도록 구성되는 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535882A (ja) 2001-07-24 2004-12-02 サンライト メディカル リミテッド 超音波を用いた骨年齢評価方法
US20140081146A1 (en) 2012-09-13 2014-03-20 Alan R. Keim Bone mineral density measurement apparatus and method
CN108334899A (zh) 2018-01-28 2018-07-27 浙江大学 基于手骨x光片骨骼和关节量化信息集成的骨龄评估方法

Also Published As

Publication number Publication date
WO2020024127A1 (zh) 2020-02-06
JP2021504816A (ja) 2021-02-15
US20210142477A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
JP6999812B2 (ja) 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法
TWI684997B (zh) 骨齡評估與身高預測模型之建立方法、骨齡評估與身高預測系統及骨齡評估與身高預測方法
CN109191457B (zh) 一种病理图像质量有效性识别方法
CN110503630A (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
CN112132166B (zh) 一种数字细胞病理图像智能分析方法、系统及装置
CN104484886B (zh) 一种mr图像的分割方法及装置
CN108378869B (zh) 一种从超声图像中自动测量胎儿头围长度的图像处理方法及处理系统
CN112001928B (zh) 一种视网膜血管分割方法及系统
CN109670489B (zh) 基于多实例学习的弱监督式早期老年性黄斑病变分类方法
CN108305241B (zh) 基于深度投票模型的sd-oct图像ga病变分割方法
TWI624807B (zh) 醫學影像之迭代式分析法
US9852354B2 (en) Method and apparatus for image scoring and analysis
CN111653356A (zh) 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查系统
CN111062953A (zh) 一种超声图像中甲状旁腺增生的识别方法
CN106483130A (zh) 一种水稻病害的检测方法及其自动检测装置
CN111598868B (zh) 一种肺部超声图像识别方法和系统
CN112862749A (zh) 一种骨龄图像数字化处理后自动识别方法
CN113012093A (zh) 青光眼图像特征提取的训练方法及训练系统
CN113450305A (zh) 医疗图像的处理方法、系统、设备及可读存储介质
CN114972272A (zh) 一种基于Grad-CAM的新冠肺炎病灶分割方法
CN115147636A (zh) 基于胸部x光图像肺部疾病识别和分类方法
CN114119551A (zh) 一种人脸图像质量的量化分析方法
TWI663960B (zh) 足畸形檢測模型、足畸形檢測系統及足畸形檢測方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN109711306B (zh) 一种基于深度卷积神经网络获取面部特征的方法及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211222

R150 Certificate of patent or registration of utility model

Ref document number: 6999812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150