KR20170016778A - 심층신경망을 이용한 골 연령 산출방법 및 프로그램 - Google Patents

심층신경망을 이용한 골 연령 산출방법 및 프로그램 Download PDF

Info

Publication number
KR20170016778A
KR20170016778A KR1020160025149A KR20160025149A KR20170016778A KR 20170016778 A KR20170016778 A KR 20170016778A KR 1020160025149 A KR1020160025149 A KR 1020160025149A KR 20160025149 A KR20160025149 A KR 20160025149A KR 20170016778 A KR20170016778 A KR 20170016778A
Authority
KR
South Korea
Prior art keywords
image
bone age
bone
comparison
neural network
Prior art date
Application number
KR1020160025149A
Other languages
English (en)
Other versions
KR101846370B1 (ko
Inventor
심우현
이진성
성유섭
윤희망
백정환
김상기
김현준
이예하
정규환
Original Assignee
재단법인 아산사회복지재단
주식회사 뷰노코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단, 주식회사 뷰노코리아 filed Critical 재단법인 아산사회복지재단
Publication of KR20170016778A publication Critical patent/KR20170016778A/ko
Application granted granted Critical
Publication of KR101846370B1 publication Critical patent/KR101846370B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)

Abstract

본 발명은 심층신경망을 이용한 골 연령 산출방법 및 산출프로그램에 관한 것이다.
본 발명의 일실시예에 따른 심층신경망을 이용한 골 연령 산출방법은, 골 연령 산출을 수행할 특정한 의료영상인 분석대상영상(200)을 수신하는 단계(S200); 및 하나 이상의 컴퓨터(100)에 의해, 심층신경망에 이용하여 상기 의료영상을 분석하여 골 연령을 산출하는 단계(S400);를 포함한다.
본 발명에 따르면, 특정한 인종(특히, 한국인)의 의료영상을 빅데이터로 누적한 후 분석하여 골 연령을 산출하므로, 인종에 부합하는 정확한 골 연령을 산출할 수 있다.

Description

심층신경망을 이용한 골 연령 산출방법 및 프로그램 {METHOD AND PROGRAM FOR COMPUTING BONE AGE BY DEEP NEURAL NETWORK}
본 발명은 심층신경망을 이용한 골 연령 산출방법 및 프로그램에 관한 것으로, 보다 자세하게는 특정한 신체부위에 대한 의료영상을 누적하여 형성된 빅데이터(Big data)를 심층신경망(Deep Neural network; DNN)을 이용한 딥 러닝(Deep learning) 방식으로 분석하여, 환자의 골 연령을 산출하는 방법 및 프로그램에 관한 것이다.
뼈 나이의 평가는 소아과에서 자주 진료하는 과목 중에 하나이다. 소아의 왼쪽 손을 X-Ray를 이용해 촬영한 다음 그 영상을 갖고 뼈 나이를 평가한다. 뼈 나이 평가는 소아가 정상적으로 발육하는지 확인할 수 있는 중요한 지표이다. 만약 실제 나이와 측정한 뼈 나이 사이에 큰 차이가 보이면, 뼈 성장의 비정상적인 요소(당뇨병, 유전적 질병 등)가 있는 것으로 판단해 적절한 치료를 할 수 있다. 왼쪽 손을 촬영한 X-ray 영상에서 뼈 나이를 평가하는 방법은 Atlas 매칭 방법과 TW2 매칭 방법이 있다.
Atlas 매칭 방법은 미국의 Greulich와 Pyle가 제안한 방법으로 왼쪽 손의 방사선 영상을 나이와 성별에 따라 정리한 Atlas 패턴 그룹의 방사선 영상들이 수록된 책을 갖고 평가한다. 소아의 X-ray 영상의 전체적인 모양과 가장 비슷한 영상을 의사가 직접 눈으로 Atlas 패턴 그룹에서 나온 책에서 찾아 뼈 나이를 평가한다. 현재 뼈 나이를 평가하는 의사의 76%가 이 방법을 사용하고 있다. 그러나 Atlas 매칭 방법은 의사의 숙련 정도나 사람들마다 뼈 성장의 편차가 발생하기 때문에 뼈 나이를 평가하는 과정에서 오차가 발생할 가능성이 매우 높다.
뼈 나이를 평가하는 또 다른 방법은 영국의 Tanner and Whitehouse 가 제안한 TW2 방법이 있다. 이 방법은 Atlas 매칭 방식처럼 뼈 전체 영상의 유사성을 보지 않고 왼쪽 손 각 뼈를 하나씩 TW2 그룹에서 출간된 책에 있는 영상과 비교한다. Atlas 매칭에서는 뼈 전체영상에서 유사도를 분석하는데 비해 TW2방법에서는 각각의 뼈를 분리해 특징을 분석하기 때문에 Atlas 매칭 방법에 비해 더 정확한 뼈 나이 측정이 가능하다. 그러나 Atlas 방식에 비해 뼈 나이를 평가하는데 더 많은 시간이 걸리는 단점 때문에 현재 많이 사용되지 못하고 있다.
이러한 Atlas 또는 TW2를 이용한 뼈 나이 추정 방법은 판독 전문의가 영상의 유사도를 육안으로 확인하여 뼈 나이를 평가하기 때문에 뼈 나이에 대한 신뢰성이 떨어지고, 뼈 나이를 추정하는데 많은 시간이 걸리는 단점을 갖고 있다.
이러한 문제점을 해결하기 위하여, 1972년 Stanley M.Garn은 "Metacarpophalangeal Length in the Evaluation of Skeletal Malformation," 이라는 논문을 발표하였다. 그러나 이 방법은 단순히 뼈의 절대 길이만을 측정해 뼈 나이를 평가하려고 시도하여 백인 중산층에서 제한적으로만 사용될 수 있는 방법이었다.
Atlas 패턴 그룹의 방사선 영상들이 수록된 책은 백인 기준으로 되어 있어서 백인이 아닌 인종에는 적합하지 않다. 즉, 백인 기준의 방사선 영상은 한국인 소아의 골 연령을 측정하는 정확한 기준이 되지 못하는 문제가 있으며, 현재 한국인에게 적합한 골 연령 측정을 위한 비교기준이 없는 문제가 있다.
또한, 상기 방사선 영상이 수록된 책은 오래 전에 만들어 진 것이므로, 시대 흐름에 따른 소아 발육과정의 변화를 반영하지 못하는 문제가 있다.
또한, 기존의 방식은 특정한 골 연령을 대표하는 이미지와의 비교 수행을 하므로, 특정한 소아환자에 대한 영상 내에 여러 골 연령의 특성이 포함되어 있으면 몇 살로 판단하여야 할 지 애매한 문제가 있었다.
이러한 종래의 뼈 나이 평가방법들의 불합리를 극복하고, 이러한 뼈 나이 평가방법을 프로그램적으로 구현하여 신속하면서도 정확한 뼈 나이 평가방법에 대한 요구가 높아지고 있다.
따라서, 딥 러닝을 이용한 다수의 의료영상(예를 들어, 방사선 영상) 분석을 통해 인종 및 시대의 특성에 부합하는 골 연령 판단기준을 형성하고, 특정한 환자의 정확한 골 연령을 산출하여 제공하는, 심층신경망을 이용한 골 연령 산출방법 및 프로그램을 제공하고자 한다.
본 발명의 일실시예에 따른 심층신경망을 이용한 골 연령 산출방법은, 골 연령 산출을 수행할 특정한 의료영상인 분석대상영상을 수신하는 단계; 및 하나 이상의 컴퓨터에 의해, 심층신경망에 이용하여 상기 분석대상영상을 분석하여 골 연령을 산출하는 단계;를 포함한다.
또한, 상기 분석대상영상의 신체부위를 인식하는 단계;를 더 포함할 수 있다.
또한, 상기 골 연령 산출단계는, 상기 심층신경망이 학습할 비교영상을 누적한 학습영상데이터를 생성하는 단계;를 더 포함하고, 상기 비교영상은 촬영된 신체부위의 골연령이 의료진에 의해 정상인 것으로 판단된 의료영상일 수 있다.
또한, 상기 비교영상은 특정한 골 연령으로 판단된 기존 환자의 의료영상을 더 포함할 수 있다.
또한, 상기 학습영상데이터 생성단계는, 상기 학습영상데이터를 골 연령을 기준으로 분류하여 하나 이상의 그룹을 생성하는 단계; 및 상기 그룹간 비교를 통해 세부특징을 산출하는 단계;를 포함할 수 있다.
또한, 상기 학습영상데이터 생성단계는, 각각의 상기 그룹 내 상기 세부특징의 범위를 벗어나는 특정한 비교영상을 그룹변경 또는 제외하는 단계;를 더 포함할 수 있다.
또한, 상기 골 연령 산출단계는, 상기 세부특징을 바탕으로 촬영된 신체부위 내 세부영역별 골 연령을 산출하는 것을 특징으로 할 수 있다.
또한, 상기 학습영상데이터 생성단계는, 학습할 상기 학습영상데이터의 기간범위를 제한하는 것을 특징으로 할 수 있다.
또한, 상기 세부특징에 상응하는 상기 분석대상영상 내 영역에 식별표지를 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 식별표지 표시단계는, 각각의 상기 식별표지가 표시된 영역과 가장 유사한 상기 비교영상을 탐색하여 제공하는 단계;를 포함할 수 있다.
또한, 상기 탐색된 골연령에 상응하는 대표이미지를 제공하는 단계;를 더 포함하되, 상기 대표이미지는 의료진으로부터 특정한 골연령을 대표하는 이미지로 지정되는 영상일 수 있다.
또한, 상기 하나 이상의 컴퓨터가 신체부위 모양별 대표이미지를 포함하며, 상기 분석대상영상 내의 신체부위 모양을 인식하여, 상기 신체부위 모양에 상응하는 대표이미지를 탐색하여 제공하는 것을 특징으로 할 수 있다.
또한, 특정한 신체부위가 촬영된 전체인원을 특정한 분류기준에 따라 분류한 하나 이상의 그룹에 포함된 각각의 인원수를 바탕으로, 상기 분석대상영상에 대응하여 제시되는 대표이미지의 개수를 조절하는 것을 특징으로 할 수 있다.
또한, 상기 학습영상데이터 생성단계는, 상기 비교영상을 회전 또는 크기 조절하여 복수의 비교증강영상을 생성하는 단계;를 더 포함할 수 있다.
또한, 상기 분석대상영상을 회전 또는 크기 조절하여 복수의 분석대상증강영상을 생성하는 단계;를 더 포함할 수 있다.
또한, 상기 분석대상영상 내 노이즈에 상응하는 부분을 삭제하는 단계;를 더 포함할 수 있다.
또한, 상기 대표이미지 또는 상기 분석대상영상을 바탕으로 사용자로부터 피드백데이터를 수신하되, 상기 피드백데이터는 사용자에 의해 판단된 골연령 데이터인, 피드백데이터 수신단계; 및 상기 수신된 피드백데이터를 반영하여 하나 이상의 비교영상의 골연령을 수정하는 단계;를 더 포함할 수 있다.
본 발명의 다른 일실시예에 따른 심층신경망을 이용한 골 연령 산출프로그램은, 하드웨어와 결합되어 상기 언급된 심층신경망을 이용한 골 연령 산출방법을 실행하며, 매체에 저장된다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 백인에 대한 100년 전의 기준으로 골 연령을 판단하는 것이 아니라, 특정한 인종(특히, 한국인)의 의료영상을 빅데이터로 누적한 후 분석하여 골 연령을 산출하므로, 인종에 부합하는 정확한 골 연령을 산출할 수 있다.
둘째, 의료영상을 빅데이터로 구축하여 활용하므로, 데이터가 누적됨에 따라 더욱 정확한 골 연령을 산출할 수 있는 장점이 있다.
셋째, 누적된 빅데이터를 주기적 또는 계속적으로 비교 분석하여 특정한 그룹 내에 포함된 비교영상의 공통적인 세부특징 범위를 벗어나면 제외하거나 그룹 변경을 함에 따라 더욱 정확한 골 연령 산출 기반을 구축할 수 있다.
넷째, 시대 변화에 따른 어린이들의 골격조건 변화 또는 성장속도 변화를 반영하기 위해, 적절한 시간적 범위로 특정한 그룹의 비교영상을 제한하여 과거 데이터에 의해 골 연령 산출에 오류가 발생하는 것을 방지할 수 있다.
다섯째, 본 발명의 일실시예를 통해, 누적되는 학습영상데이터를 분석하여 특정 인종(예를 들어, 한국인)에 맞는 골 연령 판단기준을 생성할 수 있다.
도 1은 본 발명의 일실시예에 따른 골 연령 산출시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 심층신경망 내의 연결구조도이다.
도 3는 본 발명의 일실시예에 따른 심층신경망을 이용한 골 연령 산출방법에 대한 순서도이다.
도 4은 본 발명의 일실시예에 따른 하나 이상의 컴퓨터가 분석대상영상의 신체부위를 인식하는 심층신경망을 이용한 골 연령 산출방법에 대한 순서도이다.
도 5는 본 발명의 일실시예에 따른 골 연령 산출결과와 함께 분석대상영상 내 세부특징에 식별표지를 표시하는 심층신경망을 이용한 골 연령 산출방법에 대한 순서도이다.
도 6는 본 발명의 일실시예에 따라 화면상에 분석대상영상 및 비교영상을 표시하는 예시도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 의료영상은, 다양한 영상촬영방법에 의해 획득된 환자의 뼈 상태정보를 확인할 수 있는 영상을 의미한다. 상기 영상촬영방법은 X선을 이용하는 X-ray 촬영뿐만 아니라 자기공명영상(Magnetic Resonance Imaging; MRI)촬영 등을 포함할 수 있다.
본 명세서에서 컴퓨터는 연산처리를 수행하여 사용자에게 결과를 시각적으로 제시할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 컴퓨터는 의료영상을 획득하거나 관찰하는 의료장비도 해당될 수 있다. 또한, 컴퓨터는 다양한 클라이언트 컴퓨터와 연결되는 서버 컴퓨터가 해당될 수 있다.
본 명세서에서 심층신경망(Deep Neural Network; DNN)은, 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미한다. 예를 들어, 심층신경망은 컨볼루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 컨볼루션 풀링 층 또는 로컬 접속 층은 영상 내 특징들을 추출하도록 구성 될 수 있다. 완전 연결 층은 영상의 특징 간의 상관 관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 컨볼루션 풀링 층에 로컬 접속 층이 이어지고, 로컬 접속 층에 완전 연결 층이 이러지는 형태인 나선형 신경망(즉, Convolutional Neural Network; CNN) 구조로 이루어질 수 있다. 또한, 심층신경망은, 예를 들어, 각 레이어의 노드들에 자신을 가르키는 엣지(edge)가 포함됨에 따라 재귀적으로 연결되는 순환형 신경망(Recurrent Neural Network; RNN) 구조로 형성될 수도 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.
본 명세서에서 분석대상영상은 골 연령을 산출하기 위해 하나 이상의 컴퓨터로 구현되는 심층신경망에 입력되는 의료영상을 의미한다. 또한, 본 명세서에서 비교영상은 분석대상영상의 골 연령을 산출하기 위해 누적되어 분석되어 공통되는 특징이 산출되는 의료영상을 의미한다. 또한, 학습영상데이터는 상기 비교영상을 누적한 누적데이터를 의미한다. 또한, 본 명세서에서 대표이미지 또는 대표영상은 의료진으로부터 특정한 골연령을 대표하는 이미지로 지정되는 영상을 의미한다.
본 명세서에서 세부특징은, 학습영상데이터의 분석을 통해 도출되는 특정한 골 연령 그룹 내 비교영상의 공통적인 특징을 의미한다. 예를 들어, 세부특징은, 특정한 신체 부위의 특정한 뼈의 길이, 인접한 뼈 사이 연결부위의 형태 등이 포함될 수 있다. 복수의 세부특징은 누적되어 골 연령을 산출하는 판단기준이 될 수 있다. 또한, 본 명세서에서 세부영역은 특정한 신체부위에 대한 의료영상 내의 특정한 세부특징에 대응되는 영역을 의미한다.
도 1은 본 발명의 일실시예에 따른 골 연령 산출시스템의 구성도이다. 도 2는 본 발명의 일실시예에 따른 심층신경망 내의 연결구조도이다. 도 3는 본 발명의 일실시예에 따른 심층신경망을 이용한 골 연령 산출방법에 대한 순서도이다. 도 4은 본 발명의 일실시예에 따른 하나 이상의 컴퓨터가 분석대상영상의 신체부위를 인식하는 심층신경망을 이용한 골 연령 산출방법에 대한 순서도이다. 도 5는 본 발명의 일실시예에 따른 골 연령 산출결과와 함께 분석대상영상 내 세부특징에 식별표지를 표시하는 심층신경망을 이용한 골 연령 산출방법에 대한 순서도이다. 도 6는 본 발명의 일실시예에 따라 화면상에 분석대상영상 및 비교영상을 표시하는 예시도면이다.
도 1 내지 도 6에는 골 연령 산출시스템(100), 분석대상영상(200), 식별표지(210), 학습영상데이터(300), 비교영상(310), 출력장치(400)가 도시된다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 심층신경망을 이용한 골 연령 산출방법 및 프로그램에 대해 설명하기로 한다.
본 발명의 실시예들은 심층신경망을 이용한 골 연령 산출방법을 구현하기 위한 시스템(이하, 골 연령 산출시스템)으로, 하나의 컴퓨터 내에서 구현될 수도 있고 복수의 컴퓨터가 연결되어 네트워크망을 통해 구현될 수도 있다. 예를 들어, 도 1에서와 같이, 상기 골 연령 산출시스템은 하나 이상의 컴퓨터(100), 출력장치(400)를 포함할 수 있다. 상기 하나 이상의 컴퓨터는 학습영상데이터를 포함하는 데이터베이스서버(110)를 포함할 수 있다. 하나 이상의 컴퓨터(100)는 분석대상영상(200)을 입력받아서 데이터베이스서버(110) 내의 학습영상데이터(210)와 비교 분석하여 골 연령을 산출하고 출력장치(400)에 제공할 수 있다. 또한, 예를 들어, 상기 골 연령 산출시스템은 하나의 컴퓨터로 구현될 수 있어서, 하나의 컴퓨터 내의 메모리(예를 들어, 하드디스크)에 학습영상데이터(300)가 저장하고 분석대상영상(200)을 획득하여 학습영상데이터(300)와 비교하여 골 연령을 산출할 수 있다.
본 발명의 심층신경망의 일실시예는, 도 2에서와 같이, 영상분석에 적합한 콘볼루셔널 신경망이는 구조로이루어질 수 있다. 상기 콘볼루셔널 신경망은, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)이 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)와 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다.
특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘볼루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수 차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.
콘볼루션 층은 입력 영상의 각 패치에 대하여 필 터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)을 취함으로 서 특징지도(Feature Map)을 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징이 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상 시킨다.
통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘볼루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성한다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있다. 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.
이와 같이, 콘볼루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-layer Perception)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.
다만, 본 발명의 실시예들에 따른 심층신경망의 구조는 이에 한정되지 아니하고, 다양한 구조의 신경망으로 형성될 수 있다.
도 3는 본 발명의 일실시예에 따른 심층신경망을 이용한 골 연령 산출방법에 대한 순서도이다.
도 3를 참조하면, 본 발명의 일실시예에 따른 심층신경망을 이용한 골 연령 산출방법은, 골 연령 산출을 수행할 특정한 의료영상인 분석대상영상(200)을 수신하는 단계(S200); 및 하나 이상의 컴퓨터(100)에 의해, 심층신경망에 이용하여 상기 의료영상을 분석하여 골 연령을 산출하는 단계(S400);를 포함한다. 본 발명의 일실시예에 따른 심층신경망을 이용한 골 연령 산출방법을 순서대로 설명한다.
골 연령 산출시스템은 분석대상영상(200)을 수신한다(S200). 상기 분석대상영상(200)은 골 연령 산출을 수행할 특정한 의료영상에 해당한다. 골 연령 산출시스템을 구축하는 하나 이상의 컴퓨터(100)는, 내부에 저장되어 있는 특정한 분석대상영상(200)을 로드할 수 있다. 예를 들어, 하나 이상의 컴퓨터(100)는 의료영상촬영장비에 의해 촬영되어 내부에 저장된 특정한 환자의 특정 신체 부위에 대한 의료영상을 불러올 수 있다. 또한, 하나 또는 그 이상의 컴퓨터는 의료영상촬영장치로부터 촬영된 분석대상영상(200)을 바로 수신할 수 있다. 또한, 하나 이상의 컴퓨터(100)가 의료영상촬영장치인 경우, 컴퓨터가 특정한 환자의 신체부위를 촬영하여 분석대상영상(200)을 획득할 수 있다.
하나 이상의 컴퓨터(100)는 심층신경망에 이용하여 분석대상영상(200)을 분석하여 골 연령을 산출한다(S400). 예를 들어, 하나 이상의 컴퓨터(100)는 빅데이터로 구축된 다수의 의료영상을 바탕으로 영상 비교를 수행하여 유사한 비교영상(310) 또는 상응하는 영상그룹을 탐색할 수 있다. 상기 탐색된 비교영상(310) 또는 상기 영상그룹에 상응하는 골 연령을 특정한 환자의 골 연령으로 산출할 수 있다.
상기 골 연령 산출단계(S400)는, 상기 심층신경망이 학습할 비교영상(310)을 누적한 학습영상데이터(300)를 생성하는 단계;를 포함할 수 있다. 하나 이상의 컴퓨터(100)에 의해 구현되는 심층신경망은 골 연령을 산출하기 위해 빅데이터에 상응하는 다수의 영상을 학습할 필요가 있다. 이를 위해, 하나 이상의 컴퓨터(100)는 골 연령 산출기준 또는 산출방식의 학습을 위한 다수의 의료영상(즉, 비교영상(310))을 누적하여야 한다.
하나 이상의 컴퓨터(100)는 병원에 방문하는 경우에 검사를 위해 촬영하는 의료영상 중에서 추출하여 학습영상데이터(300)에 해당하는 데이터베이스를 구축할 수 있다. 예를 들어, 손목이나 손가락이 아파서 방문하게 되면 방사선 영상(X-ray)을 촬영하게 된다. 이러한 병원 방문자의 특정 신체부위에 대한 의료영상은 누적되면 빅데이터를 이루게 된다. 특히, 골 연령 산출의 대상이 되는 소아의 의료영상을 축적하여 골 연령 산출에 활용할 빅데이터를 구축할 수 있다.
또한, 상기 학습영상데이터(300) 생성단계에서, 하나 이상의 컴퓨터(100)는 학습영상데이터(300)에 포함되는 비교영상(310)으로 촬영된 신체부위가 정상으로 판단된 의료영상을 분류 또는 추출하여 누적할 수 있다. 정상인 것으로 판단된 의료영상은, 검사를 위해 의료영상(예를 들어, 방사선 촬영(X-ray촬영) 영상)을 촬영하였으나 의료진에 의해 이상이 없는 것으로 판별된 사람의 의료영상이 포함할 수 있다. 또한, 정상으로 판단된 의료영상은, 다른 신체부위의 질환에 의해 의료영상을 촬영하면서 획득된 특정한 신체부위의 의료영상을 포함할 수 있다. 예를 들어, 손목 골절에 의해 방사선 촬영을 수행하면서 획득된 손 영상은 정상 영상으로 판단할 수 있으므로, 하나 이상의 컴퓨터(100)는 골 연령이 정상인 사람으로 판단하여 학습영상데이터(300)로 추출할 수 있다. 상기 정상으로 판단된 의료영상은 피검사자의 출생일을 바탕으로 골 연령이 결정될 수 있다.
또한, 상기 비교영상(310)은 특정한 골 연령으로 판단된 기존 환자의 의료영상을 더 포함할 수 있다. 예를 들어, 어린이의 성장이 일반적인 속도에 비해 빠르거나 느리다고 판단되어 골 연령 측정을 위한 방사선 촬영을 하는 경우, 피검사자의 의료영상(즉, 방사선 촬영 영상)은 특정한 골 연령으로 판단받을 수 있다. 특히, 본 발명의 일실시예에 따른 시스템이 구축되는 경우, 이미 누적된 골 연령 이미지와의 비교를 통해 분석되어 환자들의 의료영상에 대해 특정한 골 연령이 산출되어 학습영상데이터(300)에 추가될 수 있다. 이를 통해, 골연령 측정 시스템은 분석할 수 있는 비교영상(310)의 데이터 수를 다수 확보할 수 있는 장점이 있다.
또한, 상기 학습영상데이터(300) 생성단계는, 상기 학습영상데이터(300)를 골 연령을 기준으로 분류하여 하나 이상의 그룹을 생성하는 단계; 및 각 그룹의 세부특징을 산출하는 단계;를 포함할 수 있다. 즉, 하나 이상의 컴퓨터(100)는 누적된 비교영상(310)을 골 연령을 기준으로 분류하여 하나 이상의 그룹을 형성할 수 있다. 그 후, 하나 이상의 컴퓨터(100)는 각 그룹 내 세부특징을 탐색할 수 있다. 세부특징은, 특정한 신체 부위의 특정한 뼈의 길이, 인접한 뼈 사이 연결부위의 형태 등이 포함될 수 있다.
그룹 내 세부특징을 산출하는 방법의 일실시예로, 하나 이상의 컴퓨터(100)는 특정한 그룹 내의 의료영상들을 상호 비교하여, 동일 그룹 내 의료영상(또는 비교영상(310))에 포함된 공통 특징을 탐색할 수 있다. 다른 일실시예로, 하나 이상의 컴퓨터(100)는 분류된 그룹 간에 변화되는 부분을 파악하여 세부특징으로 파악할 수 있다. 구체적으로, 하나 이상의 컴퓨터(100)는 분류된 그룹을 어린이의 성장과정에 따라(즉, 골 연령 순으로) 차례대로 나열하여 인접한 시기의 그룹 간의 비교를 수행할 수 있고, 이를 통해 나이에 따라 변화하는 세부특징을 파악할 수 있다.
이를 통해, 상기 골 연령 산출단계(S400)는, 상기 세부특징을 바탕으로 촬영된 신체부위 내 세부영역별 골 연령을 산출할 수 있다. 즉, 하나 이상의 컴퓨터(100)는 상기와 같은 세부특징 산출방법에 따라 산출된 세부특징을 분석대상영상(200)의 골연령을 산출하기 위한 판단기준으로 활용할 수 있다. 빅데이터로 구축된 비교영상(310)(즉, 학습영상데이터(300)) 분석을 통해 도출된 각 그룹별 세부특징은 특정한 골 연령 기준에 해당하므로, 하나 이상의 컴퓨터(100)는 도출된 세부특징을 골 연령 판단기준으로 설정할 수 있다.
또한, 하나 이상의 컴퓨터(100)는 특정 그룹에 포함되는 하나 이상의 세부특징이 그룹 내 비교영상(310)에 등장하는 빈도 또는 비율을 산출할 수 있다. 즉, 하나의 의료영상에 여러 골 연령의 특징이 포함될 수도 있으므로, 특정 골 연령 그룹 내의 비교영상(310)에서 각 세부특징이 등장하는 비율을 바탕으로 골 연령 판단 시에 우선순위 또는 중요도를 결정할 수 있다.
또한, 상기 학습영상데이터(300) 생성단계는, 각각의 상기 그룹 내 상기 세부특징의 범위를 벗어나는 특정한 비교영상(310)을 그룹변경 또는 제외하는 단계;를 더 포함할 수 있다. 즉, 특정 그룹에 포함된 다수의 비교영상(310)을 비교하여 특정한 비교영상(310)이 상기 그룹의 세부특징으로 판단될 수 있는 범위를 넘어서는 경우, 하나 이상의 컴퓨터(100)는 범위를 벗어나는 비교영상(310)을 상기 그룹에서 제외할 수 있고, 상기 비교영상(310)이 다른 그룹의 세부특징을 포함하고 있는 것으로 판단되면 그룹변경을 수행할 수 있다. 이를 통해, 비교영상(310)이 누적되는 과정에서 계속적으로 특정한 비교영상(310)이 그룹 내에 포함되는 것이 적절한 지 여부를 판단함에 따라 각 그룹의 세부특징이 명확해져서, 특정한 분석대상영상(200)의 골 연령을 정확하게 판단할 수 있다.
또한, 상기 학습영상데이터(300) 생성단계에서, 하나 이상의 컴퓨터(100)는 획득된 다수의 의료영상을 신체부위별로 분류할 수 있다. 예를 들어, 하나 이상의 컴퓨터(100)는 입력된 각 신체부위별 기준이미지를 바탕으로 획득되는 의료영상을 분류할 수 있고, 하나 이상의 컴퓨터(100)가 별도의 기준이미지의 입력 없이 비지도 학습(unsupervised learning)에 따라 스스로 신체부위를 인식할 수 있다. 또한, 예를 들어, 하나 이상의 컴퓨터(100)는 각 의료영상에 매칭되어 있는 텍스트데이터(예를 들어, 특정한 의료영상에 대한 판독결과)를 바탕으로 상기 의료영상에 상응하는 신체부위를 판단할 수 있다. 그 후, 하나 이상의 컴퓨터(100)는 신체부위가 식별된 의료영상을 신체부위별 데이터베이스에 저장할 수 있다.
또한, 상기 학습영상데이터(300) 생성단계는, 학습할 상기 학습영상데이터(300)의 기간범위를 제한할 수 있다. 시대의 변화에 따라 어린이들의 나이별 신체조건 또는 성장속도가 달라진다. 따라서 기간이 오래된 의료영상은 현재 기준의 골 연령 산출에 오차로 작용할 수 있다. 따라서 하나 이상의 컴퓨터(100)는 특정 그룹 내에 포함된 비교영상(310)을 촬영된 시간 순서대로 비교하여, 세부특징의 판단기준을 명확하게 할 수 있는 시점을 결정하고 이후 의료영상만을 학습영상데이터(300)로 활용할 수 있다.
또한, 도 4에서와 같이, 상기 분석대상영상(200)의 신체부위를 인식하는 단계(S300);를 더 포함할 수 있다. 즉, 하나 이상의 컴퓨터(100)는 수신한 분석대상영상(200)을 분석하여 신체부위를 인식할 수 있다. 하나 이상의 컴퓨터(100)는 각 신체부위별 기준이미지 또는 기 저장된 비교영상(310)의 분석을 통해 파악된 각 신체부위의 특징정보를 바탕으로 상응하는 신체부위를 파악할 수 있고, 별도의 기준이미지의 입력 또는 기저장된 비교영상(310)의 분석결과 없이 비지도 학습(unsupervised learning)에 따라 스스로 신체부위를 인식할 수 있다. 이를 통해, 하나 이상의 컴퓨터(100)는 골 연령 산출을 위해 파악할 비교영상(310)의 범위를 한정할 수 있어서, 골 연령 산출 속도를 높일 수 있다.
또한, 도 5에서와 같이, 상기 세부특징에 상응하는 상기 분석대상영상(200) 내 영역에 식별표지(210)를 표시하는 단계(S500);를 더 포함할 수 있다. 즉, 하나 이상의 컴퓨터(100)는 골 연령을 산출하여 제공하면서 사용자에게 분석대상영상(200)을 함께 표시할 수 있고, 도 6에서와 같이 상기 분석대상영상(200)에 세부특징에 상응하는 식별표지(210)를 표시할 수 있다. 이를 통해, 사용자는 어떠한 세부특징에 의해서 하나 이상의 컴퓨터(100)가 상기 분석대상영상(200)을 해당 골 연령으로 산출하였는지를 확인할 수 있다.
또한, 상기 식별표지(210) 표시단계(S500)는, 각각의 상기 식별표지(210)가 표시된 영역과 가장 유사한 상기 비교영상(310)을 탐색하여 제공하는 단계;를 더 포함할 수 있다. 즉, 하나 이상의 컴퓨터(100)는 분석대상영상(200)에 포함된 세부특징을 포함하는 비교영상(310)을 추출하여 사용자에게 제공할 수 있다. 하나의 분석대상영상(200)에 포함된 여러 세부특징이 상이한 골 연령에 포함된 세부특징인 경우, 하나 이상의 컴퓨터(100)는 상기 분석대상영상(200) 내 각 세부특징에 대응하는 비교영상(310)을 매칭하여 제공할 수 있다. 하나 이상의 컴퓨터(100)는 상기 탐색된 비교영상(310)을 화면에 표시하면서 상기 분석대상영상(200)을 함께 표시할 수 있고, 각 세부특징에 상응하는 영역을 지정받으면 대응하는 비교영상(310)을 화면 상에 출력할 수도 있다.
또한, 하나 이상의 컴퓨터(100)는 의료진에 의해 골연령별 대표이미지를 설정받아 저장할 수 있다. 상기 대표이미지는 의료진으로부터 특정한 골연령을 대표하는 이미지로 지정되는 영상을 의미한다. 즉, 하나 이상의 컴퓨터(100)는 하나 이상의 대표이미지 그룹을 포함할 수 있다. 대표이미지 그룹(또는 대표이미지 셋(Set))은 신체부위 모양(예를 들어, 손 모양)별, 성별, 나이별로 구별되어 컴퓨터(100) 내에 저장될 수 있다. 예를 들어, 분석대상영상(200)은 촬영상황 또는 촬영목적에 따라 다양한 손 형태로 촬영될 수 있으므로, 의료진이 딥러닝을 통해 산출된 결과를 명확하고 쉽게 확인하기 위해서는, 하나 이상의 컴퓨터(100)가 분석대상영상(200)의 손형태와 유사한 대표이미지를 탐색하여 제공할 필요가 있다. 따라서, 하나 이상의 컴퓨터는 동일한 골연령에 대해서도 손 모양에 따라 의료진으로부터 대표이미지를 지정받을 수 있다.
이를 위해, 하나 이상의 컴퓨터(100)는 분석대상영상 내에 포함된 손 형태를 인식하여 가장 부합하는 손모양별 골연령이미지 그룹을 선택할 수 있다. 예를 들어, 하나 이상의 컴퓨터(100)는 분석대상영상(200)의 손모양에 부합하는 대표이미지 그룹을 추출하고, 손모양별 대표이미지 그룹 내에 포함된 복수의 대표이미지 중에서 분석대상영상(200)과 동일한 세부특징을 포함하는 골연령별 대표이미지를 선택할 수 있다.
하나 이상의 컴퓨터(100)는 분석대상영상(200)과 선별된 대표이미지를 함께 화면 상에 표시할 수 있다. 예를 들어, 하나 이상의 컴퓨터(100)는 대표이미지와 분석대상영상(200)을 나란히 또는 겹쳐서 표시할 수 있다. 이를 통해, 하나 이상의 컴퓨터(100)는 딥러닝 수행에 의해 산출된 비교영상뿐만 아니라 의료진에 의해 설정된 대표이미지를 함께 보여 줌에 따라 골연령 산출 결과에 대한 신뢰도를 높일 수 있다.
또한, 하나 이상의 컴퓨터(100)는 전체 촬영인원(즉, 모집단)을 특정한 분류기준에 따라 분류한 하나 이상의 그룹에 포함된 각각의 인원수를 바탕으로 분석대상에 대응하여 제시되는 대표이미지의 개수를 조절할 수 있다. 상기 분류기준은 나이, 성별, 지역 등이 해당될 수 있다. 또한, 하나 이상의 컴퓨터(100)는 각 그룹에 포함된 인원수에 따라 대표이미지의 개수를 조절하는 방식뿐만 아니라, 각 그룹에 포함된 인원수에 따라 예상되는 골연령 산출의 정확도(즉, 정확한 골연령이 산출될 확률값)을 바탕으로 대표이미지 개수를 조절할 수도 있다.
일실시예로, 나이(또는 연령)를 상기 분류기준으로 하여, 하나 이상의 컴퓨터(100)는 분석대상영상(200)으로 촬영되는 환자의 나이(또는 연령)에 상응하는 그룹의 인원수를 바탕으로 분석대상영상에 대응하여 제시되는 대표이미지의 개수를 조절할 수 있다. 즉, 나이에 따라 촬영하는 환자 인원 수에 차이가 있으므로, 비교영상 개수가 많은 나이(또는 연령)인 경우에는 딥러닝을 통해 정확한 골연령 산출이 가능하여 적은 개수의 대표이미지를 제시할 수 있다. 반면, 비교영상 개수가 적은 나이인 경우에는 딥러닝을 통해 산출된 결과가 부정확할 수 있으므로 많은 개수의 대표이미지를 제시할 수 있다.
예를 들어, 1세에서 10세 사이의 유아들이 X선 촬영 영상을 촬영하는 경우에 4세에서 8세 사이의 연령에서는 촬영하는 인원이 많으므로 이 나이대에 있는 환자의 정확도가 높아질 수 있고, 상대적으로 1~2세, 9~10세는 데이터가 적기 때문에 낮은 확률의 결과가 나올 수 있다. 따라서, 6살이 찍은 경우 매우 높은 신뢰도를 갖고 있는 구간이기 때문에 확률에 따른 결과를 2-3장만 보여줄 수 있고, 1살이 촬영한 경우에는 신뢰도가 낮기 때문에 그만큼 더 많은 결과(예를 들어, 5~8장)를 보여주어 의료진의 판단에 도움을 주고 의료진의 실수를 줄여줄 수 있다.
또한, 딥러닝 수행을 위해 분석대상영상 또는 비교영상의 증강시키는 단계;를 더 포함할 수 있다. 분석대상영상과 비교영상의 방향 또는 크기가 맞지 않으면, 하나 이상의 컴퓨터(100)는 분석대상영상과 비교영상을 비교하여 정확한 골연령을 산출하지 못할 수 있다.
일실시예로, 하나 이상의 컴퓨터(100)는 분석대상영상을 여러 방향으로 회전시키거나 크기를 조절(즉, 확대 또는 축소)하여 복수의 분석대상증강영상을 생성할 수 있다. 컴퓨터는 각각의 분석대상증강영상을 복수의 비교영상과 비교 수행하여 유사도가 가장 높은 비교영상을 추출하고 각각의 비교영상과의 유사도를 산출할 수 있다. 이를 통해, 특정한 분석대상증강영상과 가장 유사도가 높은 비교영상의 골연령을 결과로 산출할 수 있다.
*다른 일실시예로, 하나 이상의 컴퓨터(100)는 비교영상을 여러 방향으로 회전시키거나 크기를 조절(즉, 확대 또는 축소)하여 저장되는 비교영상을 증강시킬 수 있다(즉, 복수의 비교증강영상을 생성할 수 있다). 이를 통해, 하나 이상의 컴퓨터(100)가 다양한 촬영방향과 다양한 크기의 비교영상을 저장하고 있으므로, 하나 이상의 컴퓨터(100)는 획득되는 분석대상영상(200)을 변형 또는 조작하는 별도의 과정없이 바로 이용하여 정확한 골연령을 빠르게 산출할 수 있다.
또한, 하나 이상의 컴퓨터는 분석대상영상 내 노이즈에 상응하는 부분을 삭제하는 단계;를 더 포함할 수 있다. 상기 노이즈에 상응하는 부분은 골연령 산출에 불필요한 분석대상영상 내 영역을 의미한다. 예를 들어, 유아의 신체부위에 대해 방사선 영상 촬영을 하는 경우, 보호자 또는 의료진이 정확한 촬영을 위해 유아의 신체부위를 잡으면서 함께 촬영될 수 있다. 이 때, 보호자 또는 의료진의 신체부위가 노이즈에 상응하는 부분으로 분석대상영상 내에 포함될 수 있다. 하나 이상의 컴퓨터(100)가 분석대상영상(200)에 포함된 신체부위의 골연령을 정확하게 산출하기 위해서는 불필요한 영역인 부모 또는 의료진의 신체부위를 분석대상영상 내에서 삭제하는 과정이 필요하다.
상기 노이즈에 해당하는 부분을 삭제하는 방식의 일실시예로, 분석대상영상 내 촬영부위 외의 부분을 삭제하는 방식을 적용할 수 있다. 예를 들어, 하나 이상의 컴퓨터(100)는 분석대상영상(200)의 중심으로부터 특정범위 외의 영역을 삭제할 수 있다. 즉, 분석대상영상(200) 촬영 시에 골연령의 산출대상인 신체부위가 중심에 위치될 것이므로, 하나 이상의 컴퓨터는 중심으로부터 특정범위 외의 영역에 포함된 이미지를 노이즈에 상응하는 부분으로 판단하여 삭제할 수 있다. 또한, 예를 들어, 하나 이상의 컴퓨터(100)는 촬영대상에 해당하는 신체부위를 사용자(예를 들어, 의료진)로부터 입력받고, 분석대상영상(200) 내에 포함된 해당 신체부위를 인식하여 이외의 영역에 포함된 대상을 삭제할 수 있다.
또한, 하나 이상의 컴퓨터(100)는 사용자(예를 들어, 의료진)로부터 피드백데이터를 수신하여 재학습을 수행할 수 있다. 딥러닝을 통해 산출된 골연령 결과가 정확하지 않을 수 있으므로, 하나 이상의 컴퓨터(100)는 제시된 비교영상 또는 대표이미지가 적절한 지 의료진으로부터 피드백을 받을 수 있다.
일실시예로, 의료진이 최종적으로 판단한 골연령과 딥러닝 산출결과가 상이하면, 하나 이상의 컴퓨터(100)는 의료진이 판단한 골연령을 입력받을 수 있다. 즉, 하나 이상의 컴퓨터는, 딥러닝 알고리즘을 통해 예측된 골연령이 의료진이 판단한 골연령과 임계치 이상의 오차가 발생하면, 의료진이 판단한 골연령을 학습하여 골연령 산출알고리즘(즉, 딥러닝 알고리즘)의 정확도를 높일 수 있다.
예를 들어, 하나 이상의 컴퓨터(100)는 사용자(예를 들어, 의료진)에게 제공된 대표이미지 또는 분석대상영상을 바탕으로 사용자로부터 수신된 피드백데이터를 통해 골연령 산출에 이용된 비교영상의 골연령을 수정할 수 있다. 또한, 예를 들어, 하나 이상의 컴퓨터(100)는 의사로부터 최종적인 판단을 받은 분석대상영상을 최종 판단된 골연령의 비교영상 그룹 내에 추가할 수 있다. 이를 통해, 이미 저장된 비교영상의 골연령을 의료진의 판단을 고려하여 정확하게 수정하고 의료진에 의해 정확하게 골연령이 판단된 새로운 비교영상을 추가함에 따라 분석대상영상의 골연령 산출 정확도를 높일 수 있다.
하나 이상의 컴퓨터는 의료진으로부터 피드백데이터를 다양한 방식으로 획득할 수 있다. 예를 들어, 하나 이상의 컴퓨터는 의료진으로부터 분석대상영상의 골연령 값을 직접 입력받을 수 있고, 의료진에게 제공된 복수의 대표이미지 중에서 가장 근사한 하나의 대표이미지를 선택받음에 따라 간접적으로 골연령을 입력받을 수도 있다. 상기 피드백데이터를 입력받는 방식은 이에 한정되지 아니하고, 다양한 방식이 적용될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 심층신경망을 이용한 골 연령 산출방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 백인에 대한 100년 전의 기준으로 골 연령을 판단하는 것이 아니라, 특정한 인종(특히, 한국인)의 의료영상을 빅데이터로 누적한 후 분석하여 골 연령을 산출하므로, 인종에 부합하는 정확한 골 연령을 산출할 수 있다.
둘째, 의료영상을 빅데이터로 구축하여 활용하므로, 데이터가 누적됨에 따라 더욱 정확한 골 연령을 산출할 수 있는 장점이 있다.
셋째, 누적된 빅데이터를 주기적 또는 계속적으로 비교 분석하여 특정한 그룹 내에 포함된 비교영상의 공통적인 세부특징 범위를 벗어나면 제외하거나 그룹 변경을 함에 따라 더욱 정확한 골 연령 산출 기반을 구축할 수 있다.
넷째, 시대 변화에 따른 어린이들의 골격조건 변화 또는 성장속도 변화를 반영하기 위해, 적절한 시간적 범위로 특정한 그룹의 비교영상을 제한하여 과거 데이터에 의해 골 연령 산출에 오류가 발생하는 것을 방지할 수 있다.
다섯째, 본 발명의 일실시예를 통해, 누적되는 학습영상데이터를 분석하여 특정 인종(예를 들어, 한국인)에 맞는 골 연령 판단기준을 생성할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (18)

  1. 골 연령 산출을 수행할 특정한 의료영상인 분석대상영상을 수신하는 단계; 및
    하나 이상의 컴퓨터에 의해, 심층신경망에 이용하여 상기 분석대상영상을 분석하여 골 연령을 산출하는 단계;를 포함하는, 심층신경망을 이용한 골 연령 산출방법.
  2. 제1항에 있어서,
    상기 분석대상영상의 신체부위를 인식하는 단계;를 더 포함하는, 심층신경망을 이용한 골 연령 산출방법.
  3. 제1항에 있어서,
    상기 골 연령 산출단계는,
    상기 심층신경망이 학습할 비교영상을 누적한 학습영상데이터를 생성하는 단계;를 더 포함하고,
    상기 비교영상은,
    촬영된 신체부위의 골연령이 의료진에 의해 정상인 것으로 판단된 의료영상인, 심층신경망을 이용한 골 연령 산출방법.
  4. 제3항에 있어서,
    상기 비교영상은,
    특정한 골 연령으로 판단된 기존 환자의 의료영상을 더 포함하는, 심층신경망을 이용한 골 연령 산출방법.
  5. 제3항에 있어서,
    상기 학습영상데이터 생성단계는,
    상기 학습영상데이터를 골 연령을 기준으로 분류하여 하나 이상의 그룹을 생성하는 단계; 및
    상기 그룹간 비교를 통해 세부특징을 산출하는 단계;를 포함하는, 심층신경망을 이용한 골연결 산출방법.
  6. 제5항에 있어서,
    상기 학습영상데이터 생성단계는,
    각각의 상기 그룹 내 상기 세부특징의 범위를 벗어나는 특정한 비교영상을 그룹변경 또는 제외하는 단계;를 더 포함하는, 심층신경망을 이용한 골연결 산출방법.
  7. 제5항에 있어서,
    상기 골 연령 산출단계는,
    상기 세부특징을 바탕으로 촬영된 신체부위 내 세부영역별 골 연령을 산출하는 것을 특징으로 하는, 심층신경망을 이용한 골 연령 산출방법.
  8. 제3항에 있어서,
    상기 학습영상데이터 생성단계는,
    학습할 상기 학습영상데이터의 기간범위를 제한하는 것을 특징으로 하는, 심층신경망을 이용한 골 연령 산출방법.
  9. 제5항에 있어서,
    상기 세부특징에 상응하는 상기 분석대상영상 내 영역에 식별표지를 표시하는 단계;를 더 포함하는, 심층신경망을 이용한 골 연령 산출방법.
  10. 제9항에 있어서,
    상기 식별표지 표시단계는,
    각각의 상기 식별표지가 표시된 영역과 가장 유사한 상기 비교영상을 탐색하여 제공하는 단계;를 포함하는, 심층신경망을 이용한 골 연령 산출방법.
  11. 제1항에 있어서,
    상기 산출된 골연령에 상응하는 대표이미지를 제공하는 단계;를 더 포함하되,
    상기 대표이미지는,
    의료진으로부터 특정한 골연령을 대표하는 이미지로 지정되는 영상인, 심층신경망을 이용한 골 연령 산출방법.
  12. 제11항에 있어서,
    상기 하나 이상의 컴퓨터가 신체부위 모양별 대표이미지를 포함하며,
    상기 분석대상영상 내의 신체부위 모양을 인식하여, 상기 신체부위 모양에 상응하는 대표이미지를 탐색하여 제공하는 것을 특징으로 하는, 심층신경망을 이용한 골 연령 산출방법.
  13. 제11항에 있어서,
    특정한 신체부위가 촬영된 전체인원을 특정한 분류기준에 따라 분류한 하나 이상의 그룹에 포함된 각각의 인원수를 바탕으로, 상기 분석대상영상에 대응하여 제시되는 대표이미지의 개수를 조절하는 것을 특징으로 하는, 심층신경망을 이용한 골 연령 산출방법.
  14. 제3항에 있어서,
    상기 학습영상데이터 생성단계는,
    상기 비교영상을 회전 또는 크기 조절하여 복수의 비교증강영상을 생성하는 단계;를 더 포함하는, 심층신경망을 이용한 골 연령 산출방법.
  15. 제1항에 있어서,
    상기 분석대상영상을 회전 또는 크기 조절하여 복수의 분석대상증강영상을 생성하는 단계;를 더 포함하는, 심층신경망을 이용한 골 연령 산출방법.
  16. 제1항에 있어서,
    상기 분석대상영상 내 노이즈에 상응하는 부분을 삭제하는 단계;를 더 포함하는, 심층신경망을 이용한 골 연령 산출방법.
  17. 제11항에 있어서,
    상기 대표이미지 또는 상기 분석대상영상을 바탕으로 사용자로부터 피드백데이터를 수신하되, 상기 피드백데이터는 사용자에 의해 판단된 골연령 데이터인, 피드백데이터 수신단계; 및
    상기 수신된 피드백데이터를 반영하여 하나 이상의 비교영상의 골연령을 수정하는 단계;를 더 포함하는, 심층신경망을 이용한 골 연령 산출방법.
  18. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제17항의 방법을 실행시키기 위하여 매체에 저장된, 심층신경망을 이용한 골 연령 산출프로그램.
KR1020160025149A 2015-08-04 2016-03-02 심층신경망을 이용한 골 연령 산출방법 및 프로그램 KR101846370B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150109822 2015-08-04
KR20150109822 2015-08-04

Publications (2)

Publication Number Publication Date
KR20170016778A true KR20170016778A (ko) 2017-02-14
KR101846370B1 KR101846370B1 (ko) 2018-04-06

Family

ID=57944048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160025149A KR101846370B1 (ko) 2015-08-04 2016-03-02 심층신경망을 이용한 골 연령 산출방법 및 프로그램

Country Status (3)

Country Link
US (1) US10242293B2 (ko)
KR (1) KR101846370B1 (ko)
WO (1) WO2017022908A1 (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190060817A (ko) * 2017-04-11 2019-06-03 알리바바 그룹 홀딩 리미티드 이미지 기반의 차량 손상 판정 방법과 장치, 및 전자기기
CN109949280A (zh) * 2019-03-06 2019-06-28 上海联影智能医疗科技有限公司 图像处理方法、装置、设备存储介质及生长发育评估系统
WO2019143015A1 (ko) * 2018-01-18 2019-07-25 삼성메디슨 주식회사 의료 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 제품
WO2020027481A1 (ko) * 2018-08-03 2020-02-06 고려대학교 산학협력단 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측시스템 및 이에 의한 골밀도 예측 방법
KR20200015379A (ko) * 2018-08-03 2020-02-12 고려대학교 산학협력단 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측시스템 및 이에 의한 골밀도 예측 방법
KR20200031912A (ko) * 2018-09-17 2020-03-25 주식회사 셀바스헬스케어 성장 예측 데이터를 제공하는 컴퓨팅 장치
KR102128997B1 (ko) * 2019-03-25 2020-07-02 본와이즈 주식회사 치아의 골 연령을 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
WO2020196939A1 (ko) * 2019-03-25 2020-10-01 본와이즈 주식회사 치아의 골 연령을 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
KR20200121608A (ko) * 2019-04-16 2020-10-26 고려대학교 산학협력단 골 연령 추정 방법 및 장치
KR20210030730A (ko) * 2019-09-10 2021-03-18 계명대학교 산학협력단 의료 영상을 해석하는 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 의료 영상 분석 장치
US11049334B2 (en) 2017-04-11 2021-06-29 Advanced New Technologies Co., Ltd. Picture-based vehicle loss assessment
WO2021149918A1 (ko) * 2020-01-23 2021-07-29 고려대학교 산학협력단 골 연령 추정 방법 및 장치
KR20220007030A (ko) * 2020-07-09 2022-01-18 주식회사 크레스콤 관심영역별 골 성숙 분포를 이용한 성장 분석 예측 장치 및 방법
WO2022114819A1 (ko) * 2020-11-25 2022-06-02 가톨릭관동대학교산학협력단 Ai 골다공증 판독장치 및 방법
US11544914B2 (en) 2021-02-18 2023-01-03 Inait Sa Annotation of 3D models with signs of use visible in 2D images
KR102521958B1 (ko) * 2022-02-04 2023-04-13 김정석 골 성장성 평가 또는 예측 방법 및 시스템
US11971953B2 (en) 2021-02-02 2024-04-30 Inait Sa Machine annotation of photographic images
US11983836B2 (en) 2021-02-18 2024-05-14 Inait Sa Annotation of 3D models with signs of use visible in 2D images

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022908A1 (ko) * 2015-08-04 2017-02-09 재단법인 아산사회복지재단 심층신경망을 이용한 골 연령 산출방법 및 프로그램
US10853449B1 (en) 2016-01-05 2020-12-01 Deepradiology, Inc. Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
US9760807B2 (en) * 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
US11514465B2 (en) * 2017-03-02 2022-11-29 The Nielsen Company (Us), Llc Methods and apparatus to perform multi-level hierarchical demographic classification
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10692602B1 (en) 2017-09-18 2020-06-23 Deeptradiology, Inc. Structuring free text medical reports with forced taxonomies
US10499857B1 (en) * 2017-09-19 2019-12-10 Deepradiology Inc. Medical protocol change in real-time imaging
US10496884B1 (en) 2017-09-19 2019-12-03 Deepradiology Inc. Transformation of textbook information
US10783634B2 (en) 2017-11-22 2020-09-22 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US10799189B2 (en) 2017-11-22 2020-10-13 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
CN108470321B (zh) * 2018-02-27 2022-03-01 北京小米移动软件有限公司 照片的美颜处理方法、装置和存储介质
CN108683877B (zh) * 2018-03-30 2020-04-28 中国科学院自动化研究所 基于Spark的分布式海量视频解析系统
TWI684997B (zh) * 2018-05-29 2020-02-11 中國醫藥大學附設醫院 骨齡評估與身高預測模型之建立方法、骨齡評估與身高預測系統及骨齡評估與身高預測方法
JP6814178B2 (ja) * 2018-06-11 2021-01-13 日本電信電話株式会社 物体検出装置、方法、及びプログラム
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US20210142477A1 (en) * 2018-08-01 2021-05-13 China Medical University Hospital Bone Age Assessment And Height Prediction Model, System Thereof And Prediction Method Thereof
CN108992082A (zh) * 2018-08-21 2018-12-14 上海臻道软件技术有限公司 一种骨龄检测系统及其检测方法
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN112638238A (zh) * 2018-09-04 2021-04-09 伯尼维斯公司 骨龄评估装置、方法以及用于记录程序的记录介质
CA3115784A1 (en) 2018-10-11 2020-04-16 Matthew John COOPER Systems and methods for training machine models with augmented data
WO2020106393A2 (en) * 2018-10-23 2020-05-28 Baylor College Of Medicine Skeletal maturity determination using radiographs of portions of a hand
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11367181B2 (en) * 2018-12-29 2022-06-21 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for ossification center detection and bone age assessment
US20220101491A1 (en) * 2019-01-15 2022-03-31 Sony Interactive Entertainment Inc. Information processing apparatus
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN109984765A (zh) * 2019-03-06 2019-07-09 杭州津禾生物科技有限公司 一种骨龄评测gp2-tw评测系统
CN109961431B (zh) * 2019-03-26 2022-04-12 浙江康体汇科技有限公司 一种基于概率的骨龄计算方法
CN109948614B (zh) * 2019-03-26 2022-06-28 浙江康体汇科技有限公司 一种基于机器学习的手腕骨兴趣区域切割方法
CN110211674B (zh) * 2019-04-23 2023-06-27 平安科技（深圳）有限公司 基于机器学习模型的骨龄测试方法及相关设备
US11049240B2 (en) 2019-05-23 2021-06-29 Healthhub Co., Ltd. Method and system for assessing bone age using deep neural network
CN110503624A (zh) * 2019-07-02 2019-11-26 平安科技（深圳）有限公司 骨龄检测方法、系统、设备及可读存储介质
CN110364249A (zh) * 2019-07-15 2019-10-22 杭州依图医疗技术有限公司 用于影像分析的信息显示方法、设备和存储介质
CN110660484B (zh) * 2019-08-01 2022-08-23 平安科技（深圳）有限公司 骨龄预测方法、装置、介质及电子设备
TWI772663B (zh) * 2019-08-05 2022-08-01 長佳智能股份有限公司 以個人裝置進行手骨骨齡即時判讀之系統及方法
CN113100791A (zh) * 2020-01-13 2021-07-13 上海西门子医疗器械有限公司 X-射线医学成像方法和系统以及计算机存储介质
CN111563874B (zh) * 2020-03-05 2023-04-28 北京深睿博联科技有限责任公司 骨龄评测方法和装置
WO2022005091A1 (ko) * 2020-06-29 2022-01-06 주식회사 뷰노 골 연령 판독 방법 및 장치
WO2023085837A1 (ko) * 2021-11-11 2023-05-19 한국기초과학지원연구원 골 조직 모사체 이미지 분석을 이용한 골다공증 약물 스크리닝 방법 및 장치
KR102531759B1 (ko) * 2021-11-11 2023-05-12 한국기초과학지원연구원 골 조직 모사체 이미지 분석을 이용한 골질환 약물 스크리닝 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100715763B1 (ko) * 2006-03-15 2007-05-08 재단법인서울대학교산학협력재단 아틀라스 매칭법을 이용한 뼈 나이 평가방법
JP2008036068A (ja) 2006-08-04 2008-02-21 Hiroshima Univ 骨粗鬆症診断支援装置および方法、骨粗鬆症診断支援プログラム、骨粗鬆症診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体、骨粗鬆症診断支援用ｌｓｉ
KR100838339B1 (ko) * 2007-08-06 2008-06-13 주식회사 오스테오시스 골 연령 판정 및 성인 신장 예측방법 및 그 프로그램이 기록된 기록매체
KR100864434B1 (ko) * 2007-10-05 2008-10-20 길호석 뼈 나이 자동산출장치
KR20140046156A (ko) * 2012-10-10 2014-04-18 (주)씨에스프로바이더 디지털 Ｘ-ｒａｙ 영상 정보를 이용한 골밀도 분석 방법 및 디지털 Ｘ-ｒａｙ 영상 정보를 이용한 골밀도 분석프로그램을 기록한 컴퓨터로 판독가능한 기록매체
WO2017022908A1 (ko) * 2015-08-04 2017-02-09 재단법인 아산사회복지재단 심층신경망을 이용한 골 연령 산출방법 및 프로그램
US10252145B2 (en) * 2016-05-02 2019-04-09 Bao Tran Smart device
US10157462B2 (en) * 2016-06-27 2018-12-18 University Of Central Florida Research Foundation, Inc. System and method for image-based quantification of white and brown adipose tissue at the whole-body, organ and body-region levels
US10991093B2 (en) * 2016-09-21 2021-04-27 The General Hospital Corporation Systems, methods and media for automatically generating a bone age assessment from a radiograph
CN107767376B (zh) * 2017-11-02 2021-03-26 西安邮电大学 基于深度学习的x线片骨龄预测方法及系统

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11049334B2 (en) 2017-04-11 2021-06-29 Advanced New Technologies Co., Ltd. Picture-based vehicle loss assessment
KR20190060817A (ko) * 2017-04-11 2019-06-03 알리바바 그룹 홀딩 리미티드 이미지 기반의 차량 손상 판정 방법과 장치, 및 전자기기
WO2019143015A1 (ko) * 2018-01-18 2019-07-25 삼성메디슨 주식회사 의료 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 제품
WO2020027481A1 (ko) * 2018-08-03 2020-02-06 고려대학교 산학협력단 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측시스템 및 이에 의한 골밀도 예측 방법
KR20200015379A (ko) * 2018-08-03 2020-02-12 고려대학교 산학협력단 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측시스템 및 이에 의한 골밀도 예측 방법
KR20200031912A (ko) * 2018-09-17 2020-03-25 주식회사 셀바스헬스케어 성장 예측 데이터를 제공하는 컴퓨팅 장치
CN109949280A (zh) * 2019-03-06 2019-06-28 上海联影智能医疗科技有限公司 图像处理方法、装置、设备存储介质及生长发育评估系统
CN109949280B (zh) * 2019-03-06 2021-06-11 上海联影智能医疗科技有限公司 图像处理方法、装置、设备存储介质及生长发育评估系统
KR102128997B1 (ko) * 2019-03-25 2020-07-02 본와이즈 주식회사 치아의 골 연령을 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
WO2020196939A1 (ko) * 2019-03-25 2020-10-01 본와이즈 주식회사 치아의 골 연령을 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
US11961235B2 (en) 2019-03-25 2024-04-16 Bonewise Inc. Apparatus, method and recording medium storing instructions for determining bone age of teeth
KR20200121608A (ko) * 2019-04-16 2020-10-26 고려대학교 산학협력단 골 연령 추정 방법 및 장치
WO2021049729A1 (ko) * 2019-09-10 2021-03-18 계명대학교 산학협력단 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
KR20210030730A (ko) * 2019-09-10 2021-03-18 계명대학교 산학협력단 의료 영상을 해석하는 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 의료 영상 분석 장치
WO2021149918A1 (ko) * 2020-01-23 2021-07-29 고려대학교 산학협력단 골 연령 추정 방법 및 장치
KR20220007030A (ko) * 2020-07-09 2022-01-18 주식회사 크레스콤 관심영역별 골 성숙 분포를 이용한 성장 분석 예측 장치 및 방법
WO2022114819A1 (ko) * 2020-11-25 2022-06-02 가톨릭관동대학교산학협력단 Ai 골다공증 판독장치 및 방법
US11971953B2 (en) 2021-02-02 2024-04-30 Inait Sa Machine annotation of photographic images
US11544914B2 (en) 2021-02-18 2023-01-03 Inait Sa Annotation of 3D models with signs of use visible in 2D images
US11983836B2 (en) 2021-02-18 2024-05-14 Inait Sa Annotation of 3D models with signs of use visible in 2D images
KR102521958B1 (ko) * 2022-02-04 2023-04-13 김정석 골 성장성 평가 또는 예측 방법 및 시스템

Also Published As

Publication number Publication date
WO2017022908A1 (ko) 2017-02-09
KR101846370B1 (ko) 2018-04-06
US20180232603A1 (en) 2018-08-16
US10242293B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
KR101846370B1 (ko) 심층신경망을 이용한 골 연령 산출방법 및 프로그램
JP2023171650A (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
KR20210048523A (ko) 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체
CN111755118B (zh) 医疗信息处理方法、装置、电子设备及存储介质
CN110944577A (zh) 一种血氧饱和度的检测方法与系统
JP7057589B2 (ja) 医療情報処理システム、歩行状態定量化方法およびプログラム
Sharifi et al. Experimental and numerical diagnosis of fatigue foot using convolutional neural network
CN112274164B (zh) 脊柱侧弯预测方法、装置、电子设备和存储介质
US11531851B2 (en) Sequential minimal optimization algorithm for learning using partially available privileged information
Caesarendra et al. Automated Cobb angle measurement for adolescent idiopathic scoliosis using convolutional neural network
US20240169518A1 (en) Method and apparatus for identifying body constitution in traditional chinese medicine, electronic device, storage medium and program
KR101938361B1 (ko) X선 영상 내 체형 윤곽선 기반의 골격 상태 예측방법 및 프로그램
CN111524093A (zh) 一种异常舌象的智能筛查方法及其系统
CN109543718B (zh) 修改病种描述的方法和装置
Ghaneei et al. Customized k-nearest neighbourhood analysis in the management of adolescent idiopathic scoliosis using 3D markerless asymmetry analysis
Niri et al. A superpixel-wise fully convolutional neural network approach for diabetic foot ulcer tissue classification
Dindorf et al. Machine learning techniques demonstrating individual movement patterns of the vertebral column: The fingerprint of spinal motion
US20230360199A1 (en) Predictive data analysis techniques using a hierarchical risk prediction machine learning framework
CN115880358A (zh) 定位模型的构建方法、影像标志点的定位方法及电子设备
Lu et al. Image classification and auxiliary diagnosis system for hyperpigmented skin diseases based on deep learning
JP6501569B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN109480842B (zh) 用于诊断功能性消化不良的系统及设备
CN111466877A (zh) 一种基于lstm网络的氧减状态预测方法
Pivithuru et al. E-patient Card: An Integrated Electronic Health Recording System for Patient
Jacob et al. Brain tumor classification based on deep CNN and modified butterfly optimization algorithm

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant