KR20220001177A - 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치 및 이를 위한 방법 - Google Patents

심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치 및 이를 위한 방법 Download PDF

Info

Publication number
KR20220001177A
KR20220001177A KR1020200079181A KR20200079181A KR20220001177A KR 20220001177 A KR20220001177 A KR 20220001177A KR 1020200079181 A KR1020200079181 A KR 1020200079181A KR 20200079181 A KR20200079181 A KR 20200079181A KR 20220001177 A KR20220001177 A KR 20220001177A
Authority
KR
South Korea
Prior art keywords
layer
skeletal muscle
output
unit
ultrasound image
Prior art date
Application number
KR1020200079181A
Other languages
English (en)
Other versions
KR102436035B1 (ko
Inventor
이영한
신이랑
양재문
이지숙
Original Assignee
연세대학교 산학협력단
인제대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 인제대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020200079181A priority Critical patent/KR102436035B1/ko
Publication of KR20220001177A publication Critical patent/KR20220001177A/ko
Application granted granted Critical
Publication of KR102436035B1 publication Critical patent/KR102436035B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0858—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 골격근의 상태를 진단하기 위한 장치는 골격근에 대한 초음파 영상이 입력되면, 소정의 형식에 따라 상기 초음파 영상을 가공하는 전처리부와, 입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함하는 예측망을 통해 상기 가공된 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근에 근육감소증(Sarcopenia)이 진행되고 있는지 여부를 확률로 산출하고, 산출된 확률에 따라 근육감소증 진행 여부를 예측하는 예측부를 포함한다.

Description

심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치 및 이를 위한 방법{Apparatus and method for diagnosing skeletal muscle condition from ultrasound images using deep neural network}
본 발명은 골격근 상태 진단 기술에 관한 것으로, 보다 상세하게는, 심층신경망(DNN: Deep Neural Network)을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치 및 이를 위한 방법에 관한 것이다.
근육감소증(Sarcopenia)은 Rosenberg에 의해 1988년에 도입되었으며, 원래의 정의는 노인들의 맹장 근육 질량에 대한 근육 손실이었다. 2010년에 근육감소증의 정의는 근육량이 낮을 뿐만 아니라 근육 기능 저하되는 것으로 변경되었다. 그리고 근육감소증은 개인의 근육 강도의 차이가 있을 수 있으며 나이가 들어감에 따라 감소한다. 근육감소증을 평가하기 위해 근육량을 측정해야 하며, 이러한 근육량을 측정하기 위한 일반적인 의료 영상 양식은 이중 에너지 X-선 흡수 측정법(DXA: dual-energy X-ray absorptiometry), 컴퓨터 단층 촬영(CT: computed tomography), 자기 공명 영상(MRI: magnetic resonance imaging) 및 초음파(USG: ultrasonography)를 포함한다.
한국공개특허 제2019-0113089호 2019년 10월 08일 공개 (명칭: 근감소증 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법을 채용하는 영상 처리 장치 및 이를 이용한 영상 처리 방법)
본 발명의 목적은 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치 및 이를 위한 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시에에 따른 골격근의 상태를 진단하기 위한 장치는 골격근에 대한 초음파 영상이 입력되면, 소정의 형식에 따라 상기 초음파 영상을 가공하는 전처리부와, 입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함하는 예측망을 통해 상기 가공된 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근에 근육감소증(Sarcopenia)이 진행되고 있는지 여부를 확률로 산출하고, 산출된 확률에 따라 근육감소증 진행 여부를 예측하는 예측부를 포함한다.
상기 장치는 상기 예측부가 근육감소증을 예측하면, 상기 예측망의 상기 컨벌루션층의 출력값 및 경사도(gradient)를 비교하여 상기 초음파 영상에서 근육감소증의 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각화 영상을 생성하는 시각화부를 더 포함한다.
상기 시각화부는 상기 예측망의 연산의 결과를 수집한 후, 수학식
Figure pat00001
에 따라 뉴런 중요도 가중치를 산출하고, 수학식
Figure pat00002
에 따라 상기 시각화 영상을 생성하며, 상기
Figure pat00003
는 컨벌루션층에서 컨벌루션 연산을 수행하고 활성화함수에 의한 연산을 수행하기 전, 출력의 c번째 값이고, 상기
Figure pat00004
는 컨벌루션층의 k번째 특징지도의 좌표(i, j)의 값이고, 상기
Figure pat00005
는
Figure pat00006
가
Figure pat00007
에 대해 가지는 경사도(gradient)이고, 상기
Figure pat00008
는 상기 뉴런 중요도 가중치이고, 상기
Figure pat00009
는 상기 시각화 영상의 좌표(i, j)의 값인 것을 특징으로 한다.
상기 장치는 상기 전처리부가 상기 골격근에 대한 초음파 영상으로부터 복수의 방사성 특징을 추출하면, 입력층, 은닉층 및 출력층을 포함하는 식별망을 통해 상기 복수의 방사성 특징에 대한 연산을 수행하여 상기 골격근에 근육감소증(Sarcopenia)이 진행되고 있는지 여부를 확률로 산출하고, 산출된 확률에 따라 근육감소증 진행 여부를 식별하는 식별부를 더 포함한다.
상기 장치는 상기 전처리부가 상기 골격근에 대한 초음파 영상을 상기 소정의 형식과 다른 형식으로 상기 초음파 영상을 가공하면, 입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함하는 분류망을 통해 상기 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근이 근육에코발생도(Muscle echogenicity)의 각 등급에 속할 확률을 산출하고, 산출된 확률에 따라 상기 골격근의 근육에코발생도의 등급을 분류하는 분류부를 더 포함한다.
상기 예측망의 상기 출력층이 소프트맥스 연산을 수행하는 출력노드로 이루어진 상기 예측망의 초기 모델을 마련하고, 상기 초기 모델에 대해 공개 데이터베이스에 저장된 영상을 학습 데이터로 이용하여 초기 학습을 수행하며, 상기 초기 학습이 완료되면, 상기 예측망의 마지막 완전연결층을 초기화된 완전연결층으로 교체하고, 상기 출력층의 상기 소프트맥스 연산을 수행하는 출력노드를 시그모이드 연산을 수행하는 출력노드로 교체하여 상기 예측망의 정규 모델을 마련하고, 상기 정규 모델에 대해 학습 데이터로 초음파 영상을 이용하여 정규 학습을 수행하는 학습부를 더 포함한다.
상기 학습부는 상기 예측망에 대해 상기 정규 학습을 수행할 때, 손실함수
Figure pat00010
를 이용하여 상기
Figure pat00011
을 0으로 설정한 후, 상기 예측망의 출력값과 분류 레이블의 차이인 분류 손실이 최소가 되도록 예측망의 파라미터를 수정하는 파라미터를 수정하는 분류 손실 최적화를 수행하고, 상기
Figure pat00012
을 0.5로 설정한 후, 상기 예측망의 출력값과 분류 레이블의 차이인 분류 손실과 상기 예측망의 은닉층의 마지막층의 출력값과 은닉 레이블과의 차이인 은닉 손실을 포함하는 복합 손실이 최소가 되도록 예측망의 파라미터를 수정하는 파라미터를 수정하는 복합 손실 최적화를 수행하고, 상기 E(y, f)는 손실함수이고, 상기 yi는 출력층의 출력값이고, 상기 ei는 출력층의 출력값에 대응하는 분류 레이블이고, 상기 gij는 은닉층의 마지막층의 출력값이고, 상기 cij는 은닉층의 마지막층의 출력값에 대응하는 은닉 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스이고, 상기 j는 은닉층의 마지막층의 노드에 대응하는 인덱스이고, 상기
Figure pat00013
는 하이퍼파라미터인 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 골격근의 상태를 진단하기 위한 장치는 골격근에 대한 초음파 영상이 입력되면, 서로 다른 2개의 형식에 따라 상기 초음파 영상을 가공하고, 상기 초음파 영상으로부터 복수의 방사성 특징을 추출하는 전처리부와, 복수의 계층을 포함하는 분류망을 통해 상기 2개의 형식 중 어느 하나의 형식으로 가공된 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근의 근육에코발생도의 등급을 확률로 산출하고, 산출된 확률에 따라 상기 골격근의 근육에코발생도의 등급을 분류하는 분류부와, 복수의 계층을 포함하는 예측망을 통해 상기 2개의 형식 중 다른 하나의 형식으로 가공된 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근에 근육감소증이 진행되고 있는지 여부를 확률로 산출하고, 산출된 확률에 따라 근육감소증 진행 여부를 예측하는 예측부와, 복수의 계층을 포함하는 식별망을 통해 상기 복수의 방사성 특징에 대한 연산을 수행하여 상기 골격근에 근육감소증이 진행되고 있는지 여부를 확률로 산출하고, 산출된 확률에 따라 근육감소증 진행 여부를 식별하는 식별부를 포함한다.
상기 예측망은 입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함하며, 상기 예측부가 근육감소증을 예측하면, 상기 예측망의 상기 컨벌루션층의 출력값 및 경사도(gradient)를 비교하여 상기 초음파 영상에서 근육감소증의 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각화 영상을 생성하는 시각화부를 더 포함한다.
상기 시각화부는 상기 예측망의 연산의 결과를 수집한 후, 수학식
Figure pat00014
에 따라 뉴런 중요도 가중치를 산출하고, 수학식
Figure pat00015
에 따라 상기 시각화 영상을 생성하며, 상기
Figure pat00016
는 컨벌루션층에서 컨벌루션 연산을 수행하고 활성화함수에 의한 연산을 수행하기 전, 출력의 c번째 값이고, 상기
Figure pat00017
는 컨벌루션층의 k번째 특징지도의 좌표(i, j)의 값이고, 상기
Figure pat00018
는
Figure pat00019
가
Figure pat00020
에 대해 가지는 경사도(gradient)이고, 상기
Figure pat00021
는 상기 뉴런 중요도 가중치이고, 상기
Figure pat00022
는 상기 시각화 영상의 좌표(i, j)의 값인 것을 특징으로 한다.
상기 장치는 상기 예측망의 상기 출력층의 출력층이 소프트맥스 연산을 수행하는 상기 예측망의 초기 모델을 마련하고, 상기 초기 모델에 대해 공개 데이터베이스에 저장된 영상을 학습 데이터로 이용하여 초기 학습을 수행하며, 상기 초기 학습이 완료되면, 상기 분류망 및 상기 예측망의 은닉층의 마지막층을 초기화된 완전연결층으로 교체하고, 상기 출력층의 상기 소프트맥스 연산을 수행하는 출력노드를 시그모이드 연산을 수행하는 출력노드로 교체하여 상기 예측망의 정규 모델을 마련하고, 상기 정규 모델에 대해 학습 데이터로 초음파 영상을 이용하여 정규 학습을 수행하는 학습부를 더 포함한다.
상기 학습부는 상기 예측망에 대해 상기 정규 학습을 수행할 때, 손실함수
Figure pat00023
를 이용하여 상기
Figure pat00024
을 0으로 설정한 후, 상기 예측망의 출력값과 분류 레이블의 차이인 분류 손실이 최소가 되도록 예측망의 파라미터를 수정하는 파라미터를 수정하는 분류 손실 최적화를 수행하고, 상기
Figure pat00025
을 0.5로 설정한 후, 상기 예측망의 출력값과 분류 레이블의 차이인 분류 손실과 상기 예측망의 은닉층의 마지막층의 출력값과 은닉 레이블과의 차이인 은닉 손실을 포함하는 복합 손실이 최소가 되도록 예측망의 파라미터를 수정하는 파라미터를 수정하는 복합 손실 최적화를 수행한다.
여기서, 상기 E(y, f)는 손실함수이고, 상기 yi는 출력층의 출력값이고, 상기 ei는 출력층의 출력값에 대응하는 분류 레이블이고, 상기 gij는 은닉층의 마지막층의 출력값이고, 상기 cij는 은닉층의 마지막층의 출력값에 대응하는 은닉 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스이고, 상기 j는 은닉층의 마지막층의 노드에 대응하는 인덱스이고, 상기
Figure pat00026
는 하이퍼파라미터인 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 골격근의 상태를 진단하기 위한 방법은 예측부가 골격근에 대한 초음파 영상이 입력되면, 입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함하는 예측망을 통해 상기 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근에 근육감소증이 진행되고 있는지 여부를 확률로 산출하는 단계와, 상기 예측부가 산출된 확률에 따라 근육감소증 진행 여부를 예측하는 단계를 포함한다.
상기 방법은 상기 예측부가 근육감소증을 예측하면, 시각화부가 상기 예측망의 상기 컨벌루션층의 출력값 및 경사도(gradient)를 비교하여 상기 초음파 영상에서 근육감소증의 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각화 영상을 생성하는 단계를 더 포함한다.
상기 시각화 영상을 생성하는 단계는 상기 시각화부가 상기 예측망의 연산의 결과를 수집하는 단계와, 상기 시각화부가 수학식
Figure pat00027
에 따라 뉴런 중요도 가중치를 산출하는 단계와, 상기 시각화부가 수학식
Figure pat00028
에 따라 상기 시각화 영상을 생성하는 단계를 포함한다. 여기서, 상기
Figure pat00029
는 컨벌루션층에서 컨벌루션 연산을 수행하고 활성화함수에 의한 연산을 수행하기 전, 출력의 c번째 값이고, 상기
Figure pat00030
는 컨벌루션층의 k번째 특징지도의 좌표(i, j)의 값이고, 상기
Figure pat00031
는 상기
Figure pat00032
가 상기
Figure pat00033
에 대해 가지는 경사도(gradient)이고, 상기
Figure pat00034
는 상기 뉴런 중요도 가중치이고, 상기
Figure pat00035
는 상기 시각화 영상의 좌표(i, j)의 값인 것을 특징으로 한다.
상기 방법은 식별부가 상기 골격근에 대한 초음파 영상으로부터 추출된 복수의 방사성 특징이 입력되면, 입력층, 은닉층 및 출력층을 포함하는 식별망을 통해 상기 복수의 방사성 특징에 대한 연산을 수행하여 상기 골격근에 근육감소증이 진행되고 있는지 여부를 확률로 산출하는 단계와, 상기 식별부가 산출된 확률에 따라 근육감소증 진행 여부를 식별하는 단계를 더 포함한다.
상기 방법은 분류부가 상기 골격근에 대한 초음파 영상이 입력되면, 입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함하는 분류망을 통해 상기 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근이 근육에코발생도의 각 등급에 속할 확률을 산출하는 단계와, 상기 분류부가 상기 산출된 확률에 따라 상기 골격근의 근육에코발생도의 등급을 분류하는 단계를 더 포함한다.
상기 방법은 상기 골격근에 근육감소증이 진행되고 있는지 여부를 확률로 산출하는 단계 전, 학습부가 상기 예측망의 상기 출력층이 소프트맥스 연산을 수행하는 출력노드로 이루어진 상기 예측망의 초기 모델을 마련하는 단계와, 상기 학습부가 상기 초기 모델에 대해 공개 데이터베이스에 저장된 영상을 학습 데이터로 이용하여 초기 학습을 수행하는 단계와, 상기 학습부가 상기 예측망의 마지막 완전연결층을 초기화된 완전연결층으로 교체하고, 상기 출력층의 상기 소프트맥스 연산을 수행하는 출력노드를 시그모이드 연산을 수행하는 출력노드로 교체하여 상기 예측망의 정규 모델을 마련하는 단계와, 상기 학습부가 상기 정규 모델에 대해 학습 데이터로 초음파 영상을 이용하여 정규 학습을 수행하는 단계를 더 포함한다.
상기 정규 학습을 수행하는 단계는 상기 학습부가 손실함수
Figure pat00036
를 이용하여 상기
Figure pat00037
을 0으로 설정한 후, 상기 예측망의 출력값과 분류 레이블의 차이인 분류 손실이 최소가 되도록 예측망의 파라미터를 수정하는 파라미터를 수정하는 분류 손실 최적화를 수행하는 단계와, 상기 학습부가 상기
Figure pat00038
을 0.5로 설정한 후, 상기 예측망의 출력값과 분류 레이블의 차이인 분류 손실과 상기 예측망의 은닉층의 마지막층의 출력값과 은닉 레이블과의 차이인 은닉 손실을 포함하는 복합 손실이 최소가 되도록 예측망의 파라미터를 수정하는 파라미터를 수정하는 복합 손실 최적화를 수행하는 단계를 포함한다. 여기서, 상기 E(y, f)는 손실함수이고, 상기 yi는 출력층의 출력값이고, 상기 ei는 출력층의 출력값에 대응하는 분류 레이블이고, 상기 gij는 은닉층의 마지막층의 출력값이고, 상기 cij는 은닉층의 마지막층의 출력값에 대응하는 은닉 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스이고, 상기 j는 은닉층의 마지막층의 노드에 대응하는 인덱스이고, 상기
Figure pat00039
는 하이퍼파라미터인 것을 특징으로 한다.
본 발명에 따르면 복수의 심층신경망을 이용하여 초음파 영상으로 촬상된 근육의 상태에 대해 다양한 형태의 정보를 도출할 수 있다. 이는 2 종의 서로 다른 형식의 초음파 영상(B-mode USG 및 SWE(shear-wave elastography) USG) 및 초음파 영상(B-mode USG)로부터 추출되는 방사성 특징(B-mode USG radiomics features)을 분석하여 얻어지는 근육감소증(Sarcopenia)에 대한 확률과 같이 진단에 직관적인 정보뿐만 아니라 근육에코발생도(Muscle echogenicity) 및 시각화 영상과 같은 간접적인 정보를 포함한다. 이에 따라, 다각적이고 종합적으로 골격근의 상태를 진단 할 수 있다.
도 1은 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치의 세부적인 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치의 전처리부를 설명하기 위한 도면이다.
도 4 내지 도 6은 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치의 분류부를 설명하기 위한 도면이다.
도 7 및 도 8은 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치의 예측부를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치의 식별부를 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 골격근의 상태를 진단하도록 식별망을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 실시예에 따른 골격근의 상태를 진단하도록 분류망 및 예측망을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 실시예에 따른 골격근의 상태를 진단하도록 분류망 및 예측망에 대한 정규 학습을 수행하는 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 실시예에 따른 골격근의 상태를 진단하도록 분류망 및 예측망에 대한 정규 학습을 수행하는 방법을 설명하기 위한 벡터공간의 예이다.
도 14는 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 방법을 설명하기 위한 흐름도이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 시스템의 구성을 설명하기 위한 도면이다. 도 1을 참조하면, 본 발명의 실시예에 따른 진단 시스템은 진단장치(10) 및 진단영상장치(20)를 포함한다.
진단영상장치(20)는 기본적으로, 초음파(USG: ultrasonography) 영상을 촬영하기 위한 것이다. 본 발명의 실시예에서 진단영상장치(20)는 B 모드 초음파 영상 및 SWE 초음파 영상 양자 모두를 촬영할 수 있는 하나의 장치로 설명될 것이지만, 진단영상장치(20)는 B 모드 초음파 영상을 촬영하는 장치와 SWE 초음파 영상을 촬영하는 장치로 구분되어 2개의 장치로 구현될 수 있다.
진단장치(10)는 진단영상장치(20)로부터 초음파 영상을 입력 받고, 심층신경망, 예컨대, 심층컨벌루션신경망(DCNN: deep convolutional neural network), 다층퍼셉트론(MLP: Multi-Layer Perceptron)을 이용하여 2 종의 서로 다른 형식의 초음파 영상(B-mode USG 및 SWE USG) 및 초음파 영상(B-mode USG)로부터 추출되는 방사성 특징(B-mode USG radiomics features)을 분석하여 근육의 상태에 대해 다양한 형태의 정보를 도출하여 이를 제공하기 위한 것이다. 이러한 진단장치(10)는 인터페이스부(11), 입력부(12), 표시부(13), 저장부(14) 및 제어부(15)를 포함한다.
인터페이스부(11)는 진단영상장치(20)로부터 초음파 영상을 수신하기 위한 것이다. 인터페이스부(11)는 필요에 따라 무선 통신, 유선 통신 등을 통해 진단영상장치(20)와 연결되어 초음파 영상을 수신할 수 있다.
입력부(12)는 진단장치(10)의 각 종 기능, 동작 등을 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(15)에 전달한다. 입력부(12)는 키보드, 마우스 등을 예시할 수 있다. 입력부(12)는 전원 on/off를 위한 전원키, 문자키, 숫자키, 방향키 등을 포함할 수 있다. 입력부(12)의 기능은 표시부(13)가 터치스크린으로 구현된 경우, 표시부(13)에서 이루어질 수 있으며, 표시부(13)만으로 모든 기능을 수행할 수 있는 경우, 입력부(12)는 생략될 수도 있다.
표시부(13)는 진단장치(10)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 특히, 본 발명의 실시예에 따르면, 제어부(15)는 입력된 초음파 영상에 대한 분석을 수행하여 그 분석 결과를 제공한다. 이러한 경우, 표시부(13)는 제어부(15)의 제어에 따라 분석 결과를 표시부(13)를 통해 표시될 수 있다. 표시부(13)는 진단장치(10)의 부팅 화면, 대기 화면, 메뉴 화면, 등의 화면을 출력하는 기능을 수행한다. 이러한 표시부(13)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다.
저장부(14)는 진단장치(10)의 동작에 필요한 각 종 데이터, 애플리케이션, 진단장치(10)의 동작에 따라 구성되는 각 종 데이터를 저장하는 역할을 수행한다. 이러한 저장부(14)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 프로그램 영역은 진단장치(10)의 부팅(booting) 및 운영(operation)을 위한 운영체제(OS, Operating System), 본 발명의 실시예에 따른 애플리케이션 등을 저장할 수 있다. 데이터 영역은 본 발명의 실시예에 따른 진단을 위한 각 종 데이터를 저장할 수 있다. 저장부(14)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.
제어부(15)는 진단장치(10)의 전반적인 동작 및 진단장치(10)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(15)는 중앙처리장치(CPU: Central Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등이 될 수 있다. 또한, 제어부(15)는 추가로 이미지 프로세서(Image processor) 혹은 GPU(Graphic Processing Unit)를 더 구비할 수 있다. 이러한 제어부(15)의 구체적인 동작에 대해서는 아래에서 더 상세하게 설명될 것이다.
다음으로, 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치의 구성에 대해 보다 상세하게 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치의 세부적인 구성을 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치의 전처리부를 설명하기 위한 도면이다. 도 4 내지 도 6은 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치의 분류부를 설명하기 위한 도면이다. 도 7 및 도 8은 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치의 예측부를 설명하기 위한 도면이다. 그리고 도 9는 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치의 식별부를 설명하기 위한 도면이다.
먼저, 도 2를 참조하면, 제어부(15)는 학습부(100), 전처리부(200), 분류부(300), 예측부(400), 시각화부(500), 식별부(600) 및 리포트부(700)를 포함한다.
학습부(100)는 본 발명의 실시예에 따른 심층신경망(DNN: Deep Neural Network)을 학습시키기 위한 일련의 프로세스를 수행한다. 한편, 분류부(300), 예측부(400) 및 식별부(600)는 각각 심층신경망으로 분류망(310), 예측망(410) 및 식별망(610)을 포함한다. 학습부(100)는 이러한 분류망(310), 예측망(410) 및 식별망(610)을 학습시킨다. 이러한 학습 프로세스에 대해서는 아래에서 더 상세하게 설명하기로 한다.
도 3을 참조하면, 전처리부(200)는 진단영상장치(20)로부터 인터페이스부(11)를 통해 초음파 영상을 수신하면, 분류부(300)의 분류망(310), 예측부(400)의 예측망(410) 및 식별부(600)의 식별망(610) 중 적어도 하나에 부합하는 형식에 맞춰 수신된 초음파 영상을 가공하거나, 정보를 추출하여 가공된 초음파 영상 혹은 정보를 제공한다. 이를 위하여 전처리부(200)는 증강부(210), 영상처리부(220) 및 특징처리부(230)를 포함한다.
증강부(210)는 본 발명의 실시예에 따른 학습 데이터의 수를 증강시키기 위한 것이다. 일 실시예에 따르면, 증강부(210)는 학습용으로 마련된 초음파 영상이 입력되면, 플립핑(flipping), 시프트(shift), 쉬어(shear), 확대, 축소 및 회전 등의 변형을 통해 학습 데이터의 수를 증강시킬 수 있다.
영상처리부(220)는 진단영상장치(20)로부터 인터페이스부(11)를 통해 초음파 영상을 수신하면, 분류부(300)의 분류망(310) 및 예측부(400)의 예측망(410) 중 적어도 하나에 부합하는 형식에 맞춰 수신된 초음파 영상을 가공하고, 가공된 초음파 영상을 제공한다. 영상처리부(220)는 B 모드 및 SWE 중 어느 하나의 포맷의 초음파 영상이 입력되면, 초음파 영상의 크기를 분류망(310)의 입력층(GIL)의 크기에 맞춰 예컨대, 112x112 크기로 조정하고, DICOM(Digital Imaging and Communications in Medicine) 포맷을 이미지 파일, 예컨대, PNG, JPEG, GIF 등의 포맷으로 변환할 수 있다. 이와 같이, 영상처리부(220)는 초음파 영상에 대해 크기 조정 및 포맷 변환과 같은 가공을 수행한 후, 가공된 초음파 영상을 분류부(300)의 분류망(310)에 제공한다. 또한, 영상처리부(220)는 초음파 영상이 입력되면, B 모드 및 SWE 중 어느 하나의 포맷의 초음파 영상이 입력되면, 입력된 초음파 영상으로부터 소정의 크기, 예컨대, 84x84의 크기로 복수의 영상을 잘라내어 추출하고, 추출된 영상을 DICOM 포맷에서 이미지 파일의 포맷으로 변환할 수 있다. 초음파 영상은 높이와 너비가 서로 다르기 때문에 입력을 만들기 위해 크기를 조정하는 경우, 근육감소증을 분류하는 성능이 상당히 저하된다. 따라서 초음파 영상으로부터 소정의 크기로 잘라낸 복수의 초음파 영상을 예측망(410)의 입력층(EIL)의 크기에 맞춰 재구성한다. 그런 다음, 영상처리부(220)는 전술한 바와 같이 가공된 복수의 초음파 영상을 예측부(400)의 분류망(410)에 제공한다.
특징처리부(230)는 초음파 영상에서 방사성 특징을 추출하기 위한 것이다. 먼저, 특징처리부(230)는 B-모드 초음파 영상에서 모든 복수의 후보 방사성 특징(Radiomics features)을 추출한다. 그런 다음, 특징처리부(230)는 추출된 복수의 후보 방사성 특징으로부터 LASSO(least absolute shrinkage and selection operator) 알고리즘을 통해 루소 계수(LASSO regression coefficients)가 높은 순으로 식별망의 입력층(PIL)의 크기에 맞춰, 소정 개수, 예컨대, 30개의 방사성 특징을 도출하였다. 이러한 방사성 특징은 다음의 표 1과 같다.
Radiomic Feature Coefficients Radiomic Feature Coefficients
original_FirstOrder_Skewness 5.991432e-01 wavelet-LH_glszm_SmallAreaHighGrayLevelEmphasis 1.496917e-01
wavelet-LL_FirstOrder_Skewness 5.418939e-01 original_gldm_LargeDependenceLowGrayLevelEmphasis 1.229492e-01
wavelet-LL_glszm_GrayLevelVariance 5.129526e-01 original_glcm_Autocorrelation 1.110921e-01
original_glszm_GrayLevelVariance 4.527734e-01 wavelet-LH_glszm_GrayLevelVariance 1.080109e-01
original_ngtdm_Complexity 4.306312e-01 wavelet-LH_glrlm_LongRunEmphasis 1.019890e-01
original_glszm_SmallAreaHighGrayLevelEmphasis 3.301892e-01 wavelet-HL_glcm_Autocorrelation 9.387824e-02
wavelet-LH_FirstOrder_Skewness 2.804855e-01 wavelet-HH_gldm_LargeDependenceEmphasis 9.138463e-02
original_glrlm_RunVariance 2.628373e-01 wavelet-HL_glrlm_HighGrayLevelRunEmphasis 7.951094e-02
wavelet-LL_gldm_SmallDependenceHighGrayLevelEmphasis 2.403814e-01 wavelet-LL_glrlm_GrayLevelVariance 7.916654e-02
wavelet-LL_FirstOrder_RobustMeanAbsoluteDeviation 2.086700e-01 wavelet-LL_FirstOrder_InterquartileRange 7.887526e-02
wavelet-HH_glszm_SmallAreaHighGrayLevelEmphasis 1.927658e-01 wavelet-LL_gldm_LargeDependenceEmphasis 7.362614e-02
wavelet-LH_glrlm_RunVariance 1.841436e-01 wavelet-HH_gldm_LargeDependenceLowGrayLevelEmphasis 7.329982e-02
wavelet-LH_gldm_LargeDependenceEmphasis 1.569288e-01 original_glrlm_LongRunEmphasis 6.850687e-02
wavelet-LH_glrlm_LongRunLowGrayLevelEmphasis 1.565633e-01 original_glrlm_ShortRunHighGrayLevelEmphasis 6.227870e-02
wavelet-HL_gldm_LargeDependenceLowGrayLevelEmphasis 1.552139e-01 original_FirstOrder_InterquartileRange 6.074799e-02
다음으로, 도 4 내지 도 6을 참조하여 분류부(300)에 대해 설명한다. 전술한 바와 같이, 분류부(300)는 분류망(310)을 포함하며, 분류망(310)은 심층신경망 중 심층컨벌루션신경망(DCNN: deep convolutional neural network)이 될 수 있다. 본 발명의 분류망(310)은 복수의 계층을 포함한다. 즉, 분류망(310)은 입력층(GIL), 교번으로 반복되는 적어도 한 쌍의 컨벌루션층(GCL)과 풀링층(GPL), 적어도 하나의 완전연결층(GFL1, GFL2) 및 출력층(GOL)을 포함한다. 분류부(300)는 전처리부(200)의 영상처리부(220)로부터 골격근에 대한 초음파 영상을 수신하면, 분류망(310)을 통해 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근이 근육에코발생도(Muscle echogenicity)의 각 등급에 속할 확률을 산출하고, 산출된 확률에 따라 상기 골격근의 근육에코발생도의 등급을 분류한다. 일 실시예에 따르면, 분류망(310)은 도 4에 도시된 바와 같이, 순차로 입력층(GIL), 컨볼루션층(GCL), 풀링층(GPL), 제1 완전연결계층(GFL1), 제2 완전연결계층(GFL2) 및 출력층(GOL)을 포함한다.
컨볼루션층(GCL) 및 풀링층(GPL)은 적어도 하나의 특징영상(FM: Feature Map)으로 구성된다. 특징영상(FM)은 이전 계층의 값에 대해 가중치가 적용된 연산 수행 결과로 생성된다. 이러한 가중치는 필터 혹은 커널(W)을 통해 적용된다. 본 발명의 실시예에서 컨볼루션층(GCL)의 컨벌루션 연산은 제1 필터(W1)가 사용되며, 풀링층(PL)의 풀링 연산은 제2 필터(W2)가 사용된다.
입력층(GIL)에 전처리부(100)로부터 초음파 영상이 입력되면, 컨볼루션층(GCL)은 입력층(GIL)의 초음파 영상에 대해 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 제1 특징 영상(FM1)을 도출한다.
이어서, 풀링층(GPL)은 컨볼루션층(GCL)의 적어도 하나의 제1 특징 영상(FM1)에 대해 제2 필터(W2)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 적어도 하나의 제2 특징 영상(FM2)을 도출한다.
제1 완결연결층(GFL1)은 복수의 제1 노드(f1 내지 fm)로 이루어진다. 제1 완결연결층(GFL1)의 복수의 제1 노드(f1 내지 fm)는 풀링층(GPL)의 적어도 하나의 제2 특징영상(FM2)에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출한다.
제2 완결연결층(GFL2)은 복수의 제2 노드(g1 내지 gn)로 이루어진다. 제2 완결연결층(GFL2)의 복수의 제2 노드(f1 내지 fm)는 제1 완전연결층(GFL1)의 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출한다.
전술한 컨벌루션층(GCL)과 제1 및 제2 완결연결층(GFL1, GFL2)에서 사용되는 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 이러한 활성화함수 중 어느 하나를 선택하여 사용할 수 있다.
도 5 및 도 6을 참조하면, 출력층(GOL)은 2개의 출력노드(H, L)를 포함한다. 도 5를 참조하면, 제2 완결연결층(GFL2)의 복수의 제2 노드(g1 내지 gn) 각각은 가중치(W: weight)를 가지는 채널(점선으로 표시)로 출력층(OL)의 출력노드(H, L)와 연결된다. 다른 말로, 복수의 제2 노드(g1 내지 gn)의 복수의 제2 노드값은 가중치가 적용되어 출력노드(H, L)에 각각 입력된다. 이에 따라, 출력층(GOL)의 출력노드(H, L)는 제2 완결연결층(GFL2)의 가중치가 적용되는 복수의 제2 노드값에 대해 활성화함수에 의한 연산을 통해 입력층(GIL)으로 입력된 초음파 영상의 골격근이 근육에코발생도(Muscle echogenicity)의 각 등급(Grade)에 속할 확률을 산출한다.
한편, 도 6에 본 발명의 실시예에 따른 노드(N)가 도시되었다. 이러한 노드(N)는 분류망(310)의 출력노드(H, L) 중 어느 하나로 가정하여 설명할 것이지만, 이 노드(N)에 대한 설명은 분류망(310)에 포함된 제1 노드(f1 내지 fm), 제2 노드(f1 내지 fm) 및 출력노드(H, L)와 그 밖에 본 발명의 다른 심층신경망(410, 610)에 포함되는 모든 노드에 공통으로 적용될 수 있다.
노드(N)는 입력된 신호 x=[x1, x2, … , xn]에 가중치 w=[w1, w2, … , wn]를 적용한 후, 그 결과에 함수 F를 취한다. 여기서, 함수 F는 활성화 함수(activation function)이다. 이때, 입력이 동일한 경우에도, 출력은 가중치(W)에 따라 다른 값이 된다. 즉, 각 노드의 출력은 다음의 수학식 1과 같다.
Figure pat00040
설명되지 않은 파라미터 중 b는 임계치이며, 이러한 임계치는 수학식 1에서
Figure pat00041
의 값이 임계치 보다 작을 때 해당 노드가 활성화되지 않도록 하는 역할을 한다. 예를 들면, 노드(N)의 이전 계층의 노드가 3개라고 가정한다. 이에 따라, 해당 노드에 대해 3개의 입력(n=3) X1, X2, X3과 3개의 가중치 W1, W2, W3이 존재한다. 노드(N)는 3개의 입력 X1, X2, X3에 대응하는 가중치 W1, W2, W3을 곱한 값을 입력받고, 모두 합산한 후, 합산된 값을 전달 함수에 대입하여 출력을 산출한다. 구체적으로, 입력 [X1, X2, X3] = 0.5, -0.3, 0이라고 가정하고, 가중치 w=[W1, W2, W3] = 4, 5, 2라고 가정한다. 또한, 설명의 편의를 위하여 전달 함수는 'sgn()'이라고 가정하면, 다음과 같이 출력값이 산출된다.
x1 × w1 = 0.5 × 4 = 2
x2 × w2 = - 0.3 × 5 = -1.5
x3 × w3 = 0 × 2 = 0
2 + (-1.5) + 0 = 0.5
sgn(0.5) = 1
이와 같이, 본 발명의 심층신경망(310, 410, 610)의 어느 하나의 노드는 이전 계층의 노드값에 가중치를 적용한 값을 입력받고, 이를 합산하여 활성화함수에 따라 연산을 수행하고, 이러한 결과를 다음 계층의 입력으로 전달한다.
다시, 도 5를 참조하면, 출력층(GOL)의 2개의 출력노드(H, L) 각각은 근육에코발생도(Muscle echogenicity)의 고레벨(High grade) 및 저레벨(Low grade)에 대응한다. 즉, 제1 출력노드(H)는 고레벨(High grade)에 대응하며, 제2 출력노드(L)는 저레벨(Low grade)에 대응한다. 이에 따라, 제1 출력노드(H)의 출력값은 입력층(GIL)으로 입력된 초음파 영상의 골격근이 근육에코발생도의 고레벨(High grade)에 속할 확률이며, 제2 출력노드(L)의 출력값은 입력층(GIL)으로 입력된 초음파 영상의 골격근이 근육에코발생도의 저레벨(Low grade)에 속할 확률을 나타낸다.
이에 따라, 도 5 및 도 6을 참조하면, 출력노드(H, L) 각각은 복수의 제2 노드(g1 내지 gn)로부터 입력되는 복수의 제2 노드값 x=[x1, x2, … , xn]에 가중치 w=[w1, w2, … , wn]를 적용한 후, 그 결과에 활성화함수 F를 취하여 출력값을 산출한다. 예컨대, 제1 및 제2 출력노드(H, L) 각각의 출력값이 각각 0.789, 0.211이면, 골격근이 근육에코발생도의 고레벨(High grade)에 속할 확률이 79%이고, 저레벨(Low grade)에 속할 확률이 21%라는 것을 나타낸다. 이와 같이, 분류망(310)이 확률(0.789, 0.211)을 출력하면, 분류부(300)는 이러한 확률(0.789, 0.211)에 따라 해당 골격근이 근육에코발생도의 고레벨(High grade)에 속하는 것으로 판단할 수 있다. 그리고 분류부(300)는 분류망(310)의 출력인 확률과, 그 확률에 따른 판단, 즉, "근육에코발생도: 고레벨(High grade)"을 리포트부(700)에 제공한다.
다음으로, 도 7 및 도 8을 참조하여 예측부(400)에 대해 설명한다. 전술한 바와 같이, 예측부(400)는 예측망(410)을 포함하며, 예측망(410)은 심층신경망 중 심층컨벌루션신경망(DCNN)이 될 수 있다. 본 발명의 예측망(410)은 복수의 계층을 포함한다. 즉, 예측망(410)은 입력층(EIL), 교번으로 반복되는 적어도 한 쌍의 컨벌루션층(ECL)과 풀링층(EPL), 적어도 하나의 완전연결층(EFL1, EFL2) 및 출력층(EOL)을 포함한다. 전처리부(200)의 영상처리부(220)로부터 골격근에 대한 초음파 영상을 수신하면, 예측망(410)을 통해 초음파 영상에 대해 픽셀 단위 연산을 수행하여 초음파 영상의 골격근에 근육감소증(Sarcopenia)이 진행되고 있는지 여부를 확률로 산출하고, 산출된 확률에 따라 근육감소증 진행 여부를 예측한다.
일 실시예에 따르면, 예측망(410)은 도 7에 도시된 바와 같이, 순차로 입력층(EIL), 컨볼루션층(ECL), 풀링층(EPL), 제1 완전연결계층(EFL1), 제2 완전연결계층(EFL2) 및 출력층(EOL)을 포함한다.
컨볼루션층(ECL) 및 풀링층(EPL)은 적어도 하나의 특징영상(FM: Feature Map)으로 구성된다. 특징영상(FM)은 이전 계층의 값에 대해 가중치가 적용된 연산 수행 결과로 생성된다. 이러한 가중치는 필터 혹은 커널(W)을 통해 적용된다. 본 발명의 실시예에서 컨볼루션층(ECL)의 컨벌루션 연산은 제1 필터(W1)가 사용되며, 풀링층(PL)의 풀링 연산은 제2 필터(W2)가 사용된다.
입력층(EIL)에 전처리부(100)로부터 초음파 영상이 입력되면, 컨볼루션층(ECL)은 입력층(EIL)의 초음파 영상에 대해 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 제1 특징 영상(FM1)을 도출한다.
이어서, 풀링층(EPL)은 컨볼루션층(ECL)의 적어도 하나의 제1 특징 영상(FM1)에 대해 제2 필터(W2)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 적어도 하나의 제2 특징 영상(FM2)을 도출한다.
제1 완결연결층(EFL1)은 복수의 제1 노드(f1 내지 fm)로 이루어진다. 제1 완결연결층(EFL1)의 복수의 제1 노드(f1 내지 fm)는 풀링층(EPL)의 적어도 하나의 제2 특징영상(FM2)에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출한다.
제2 완결연결층(EFL2)은 복수의 제2 노드(g1 내지 gn)로 이루어진다. 제2 완결연결층(EFL2)의 복수의 제2 노드(f1 내지 fm)는 제1 완전연결층(EFL1)의 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출한다.
전술한 컨벌루션층(ECL)과 제1 및 제2 완결연결층(EFL1, EFL2)에서 사용되는 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 이러한 활성화함수 중 어느 하나를 선택하여 사용할 수 있다.
도 7 및 도 8을 참조하면, 출력층(EOL)은 2개의 출력노드(P, N)를 포함한다. 도 8에 도시된 바와 같이, 제2 완결연결층(EFL2)의 복수의 제2 노드(g1 내지 gn) 각각은 가중치(W: weight)를 가지는 채널(점선으로 표시)로 출력층(OL)의 출력노드(P, N)와 연결된다. 다른 말로, 복수의 제2 노드(g1 내지 gn)의 복수의 제2 노드값은 가중치가 적용되어 출력노드(P, N)에 각각 입력된다. 이에 따라, 출력층(EOL)의 출력노드(P, N)는 제2 완결연결층(EFL2)의 가중치가 적용되는 복수의 제2 노드값에 대해 활성화함수에 의한 연산을 통해 입력층(EIL)으로 입력된 초음파 영상의 골격근에 근육감소증(Sarcopenia)이 진행되고 있는지 여부를 확률로 산출한다.
도 8을 참조하면, 출력층(EOL)의 2개의 출력노드(P, N) 각각은 근육감소증(Sarcopenia)에 대해 양성(Positive) 및 음성(Negative)에 대응한다. 즉, 제1 출력노드(P)는 양성(Positive)에 대응하며, 제2 출력노드(N)는 음성(Negative)에 대응한다. 이에 따라, 제1 출력노드(P)의 출력값은 입력층(EIL)으로 입력된 초음파 영상의 골격근에서 근육감소증이 있음을 나타내는 확률이고, 제2 출력노드(L)의 출력값은 입력층(EIL)으로 입력된 초음파 영상의 골격근이 근육감소증이 없음을 나타내는 확률이다.
이에 따라, 도 7 및 도 8을 참조하면, 출력노드(P, N) 각각은 복수의 제2 노드(g1 내지 gn)로부터 입력되는 복수의 노드값에 가중치 w=[w1, w2, … , wn]를 적용한 후, 그 결과에 활성화함수 F를 취하여 출력값을 산출한다. 예컨대, 제1 및 제2 출력노드(P, N) 각각의 출력값이 각각 0.089, 0.911이면, 해당 골격근에 근육감소증이 있음을 나타내는 확률이 9%이고, 해당 골격근에 근육감소증이 없음을 나타내는 확률이 91%이다. 이와 같이, 예측망(410)이 확률(0.089, 0.911)을 출력하면, 예측부(400)는 이러한 확률(0.089, 0.911)에 따라 해당 골격근에 근육감소증이 없는 것으로 판단할 수 있다. 그리고 예측부(400)는 예측망(410)의 출력인 확률과, 그 확률에 따른 판단, 즉, "근육감소증: 음성"을 리포트부(700)에 제공한다.
한편, 도 2 및 도 7을 참조하면, 시각화부(500)는 예측망(410)을 이용하여 시각화 영상을 생성하기 위한 것이다. 시각화 영상은 입력되는 초음파 영상에서 근육감소증의 원인이 되는 영역을 도출하고, 이를 다른 영역과 구별되게 표시한 영상을 의미한다. 이러한 영상은 CAM(Class Activation Map), Grad-CAM 등이 될 수 있다. 이에 따라, 예측부(400)가 예측망(410)의 출력인 확률에 따라 근육감소증을 예측하면, 예측망(410)의 컨벌루션층(ECL)의 출력값 및 경사도(gradient)를 비교하여 초음파 영상에서 근육감소증의 원인이 되는 영역을 도출하고, 초음파 영상에서 근육감소증의 원인이 되는 영역을 다른 영역과 구분하여 표시한다. 이로써, 시각화 영상이 생성된다. 근육감소증의 원인이 되는 영역을 다른 영역과 구분하여 표시할 때, 색의 종류 및 밝기를 이용하여 표시할 수 있다. 이러한 방법에 대해 보다 상세하게 설명하기로 한다.
시각화부(500)는 먼저, 예측망(410)의 연산의 결과를 수집한 후, 다음의 수학식 2에 따라 뉴런 중요도 가중치(neuron importance weight)를 산출한다.
Figure pat00042
여기서,
Figure pat00043
는 뉴런 중요도 가중치이고,
Figure pat00044
는 컨벌루션층(ECL)에서 컨벌루션 연산을 수행하고 활성화함수에 의한 연산을 수행하기 전, 출력의 c번째 값이고,
Figure pat00045
는 컨벌루션층(ECL)의 k번째 특징지도의 좌표(i, j)의 값을 의미한다. 특히,
Figure pat00046
는
Figure pat00047
가
Figure pat00048
에 대해 가지는 경사도(gradient)를 의미한다.
이어서, 시각화부(500)는 다음의 수학식 3에 따라 시각화 영상을 생성한다.
Figure pat00049
여기서,
Figure pat00050
는 시각화 영상의 좌표(i, j)의 값을 나타낸다. 또한,
Figure pat00051
는 뉴런 중요도 가중치이고,
Figure pat00052
는 컨벌루션층(ECL)의 k번째 특징영상(FM)의 좌표(i, j)의 값을 의미한다. 이와 같이, 시각화부(500)는
Figure pat00053
를 산출한 후,
Figure pat00054
값에 따라 색을 적용함으로써, 시각화 영상을 생성할 수 있다.
도 9를 참조하여 식별부(600)에 대해 설명하기로 한다. 전술한 바와 같이, 식별부(600)는 식별망(610)을 포함하며, 식별망(610)은 심층신경망 중 다층퍼셉트론(MLP: Multilayer Perceptron)이 될 수 있다. 식별망(610)은 복수의 계층(PIL, PHL, POL)을 포함한다. 이러한 복수의 계층은 입력층(PIL), 복수의 은닉 계층(PHL: HL1 내지 HLk) 및 출력층(POL)을 포함한다.
또한, 복수의 계층(PIL, PHL, POL) 각각은 복수의 노드를 포함한다. 예컨대, 도시된 바와 같이, 입력층(PIL)은 n개의 입력노드(i1 ~ in)를 포함하며, 출력층(OL)은 2개의 출력노드(P, N)를 포함할 수 있다. 또한, 은닉층(PHL) 중 제1 은닉계층(PHL1)은 a개의 노드(h11 ~ h1a)를 포함하고, 제2 은닉계층(PHL2)은 b개의 노드(h21 ~ h2b)를 포함하고, 제k 은닉계층(PHLk)은 c개의 노드(hk1 ~ hkc)를 포함할 수 있다.
복수의 계층의 복수의 노드 모두는 연산을 가진다. 특히, 서로 다른 계층의 복수의 노드는 가중치(W: weight)를 가지는 채널(점선으로 표시)로 연결된다. 다른 말로, 어느 하나의 노드의 연산 결과는 가중치가 적용되어 다음 계층 노드의 입력이 된다. 이러한 연결 관계에 대해 앞서 도 6을 참조하여 설명하였다. 즉, 식별망(610)의 어느 한 계층의 어느 하나의 노드는 이전 계층의 노드로부터의 입력에 가중치를 적용한 값을 입력받고, 이를 합산하여 전달 함수를 취하고, 이러한 결과를 다음 계층의 입력으로 전달한다. 이에 따라, 전처리부(200)의 특징처리부(230)로부터 골격근에 대한 초음파 영상으로부터 추출된 복수의 방사성 특징(Radiomics features)이 식별망(610)의 입력층(PIL)에 입력되면, 식별망(610)은 입력된 복수의 방사성 특징에 대해 복수의 계층(PIL, PHL, POL)의 가중치가 적용되는 복수의 연산을 수행하여 골격근에 근육감소증(Sarcopenia)이 진행되고 있는지 여부를 확률로 산출하고, 산출된 확률에 따라 근육감소증 진행 여부를 식별한다.
보다 구체적으로 설명하면, 복수의 방사성 특징(Radiomics features) 각각이 식별망(610)의 입력층(PIL)의 복수의 입력노드(i1 ~ in)에 입력되면, 제1 은닉층(PHL1)의 복수의 제1 은닉노드(h11 ~ h1a) 각각은 복수의 입력노드(i1 ~ in)의 복수의 방사성 특징(Radiomics features) 각각에 가중치가 적용된 값을 입력받고(점선으로 표시), 입력된 값을 모두 합산한 후, 합산된 값에 대해 활성화함수에 따른 연산을 수행하여 복수의 제1 은닉노드값을 산출한다. 이어서, 제2 은닉층(PHL2)의 복수의 제2 은닉노드(h21 ~ h2b) 각각은 복수의 제1 은닉노드(h11 ~ h1a)의 복수의 제1 은닉노드값 각각에 가중치가 적용된 값을 입력받고(점선으로 표시), 입력된 값을 모두 합산하고, 합산된 값에 대해 활성화함수에 따른 연산을 수행하여 복수의 제2 은닉노드값을 산출한다. 이와 같은 방식으로, 은닉층(PHL) 내에서 이전의 노드값이 가중치가 적용되어 전달되고, 연산을 통해 현재의 노드값이 산출된다. 이러한 과정을 반복하여, 제k 은닉계층(PHLk)의 복수의 제k 은닉노드(hk1 ~ hkc)의 복수의 제k 은닉노드값을 산출할 수 있다.
이에 따라, 도 9를 참조하면, 출력노드(P, N) 각각은 제k 은닉계층(PHLk)의 복수의 제k 은닉노드(hk1 ~ hkc)의 복수의 제k 은닉노드값에 가중치 w=[w1, w2, … , wc×2]가 적용된 값을 입력받고(점선으로 표시), 입력된 값을 모두 합산한 후, 합산된 값에 대해 활성화함수에 따른 연산을 수행하여 출력값을 산출한다. 출력층(POL)의 2개의 출력노드(P, N) 각각은 근육감소증(Sarcopenia)에 대해 양성(Positive) 및 음성(Negative)에 대응한다. 즉, 제1 출력노드(P)는 양성(Positive)에 대응하며, 제2 출력노드(N)는 음성(Negative)에 대응한다. 이에 따라, 제1 출력노드(P)의 출력값은 입력층(PIL)으로 입력된 방사성 특징(Radiomics features)을 가지는 골격근에 근육감소증이 있음을 나타내는 확률이고, 제2 출력노드(N)의 출력값은 입력층(PIL)으로 입력된 방사성 특징을 가지는 골격근이 근육감소증이 없음을 나타내는 확률이다.
예컨대, 제1 및 제2 출력노드(P, N) 각각의 출력값이 각각 0.089, 0.911이면, 해당 골격근에 근육감소증이 있음을 나타내는 확률이 9%이고, 해당 골격근에 근육감소증이 없음을 나타내는 확률이 91%이다. 이와 같이, 식별망(610)이 확률(0.089, 0.911)을 출력하면, 식별부(600)는 이러한 확률(0.089, 0.911)에 따라 해당 골격근에 근육감소증이 없는 것으로 판단할 수 있다. 그리고 식별부(600)는 식별망(610)의 출력인 확률과, 그 확률에 따른 판단, 예컨대, "근육감소증: 음성"을 리포트부(700)에 제공한다.
다시 도 2를 참조하면, 리포트부(700)는 분류부(300), 예측부(400), 시각화부(500) 및 식별부(600) 각각으로부터 정보를 제공받고, 제공 받은 정보를 종합하여 표시부(13)를 통해 표시할 수 있다. 구체적으로, 분류부(300)는 골격근이 근육에코발생도의 고레벨(High grade)에 속할 확률 및 저레벨(Low grade)에 속할 확률, 그 확률에 따른 판단, 즉, "근육에코발생도: 고레벨(High grade)" 혹은 "근육에코발생도: 저레벨(Low grade)"을 리포트부(700)에 제공한다. 예측부(400)는 골격근에 근육감소증이 있을 확률 및 근육감소증이 없을 확률과, 그 확률에 따른 판단, "근육감소증: 양성" 혹은 "근육감소증: 음성"을 리포트부(700)에 제공한다. 시각화부(500)는 시각화 영상을 리포트부(700)에 제공한다. 그리고 식별부(600)는 골격근에 근육감소증이 있을 확률 및 근육감소증이 없을 확률과, 그 확률에 따른 판단, "근육감소증: 양성" 혹은 "근육감소증: 음성"을 리포트부(700)에 제공할 수 있다.
다음으로, 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 방법에 대해서 설명하기로 한다. 골격근의 상태를 진단하기 위해서는 심층신경망(310, 410, 610)의 학습이 요구된다. 이러한 방법에 대해서 설명하기로 한다. 먼저, 식별망(610)을 학습시키는 방법에 대해서 설명한다. 도 10은 본 발명의 실시예에 따른 골격근의 상태를 진단하도록 식별망을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 10을 참조하면, 학습부(100)는 S110 단계에서 근육감소증 여부가 알려진 환자의 초음파 영상으로부터 추출된 방사성 특징을 학습 데이터, 즉, 학습용 방사성 특징으로 마련한다. 그런 다음, 학습부(100)는 S120 단계에서 학습용 방사성 특징에 알려진 근육감소증 여부에 따라 레이블을 설정한다. 이때, 근육감소증이 있는 환자의 초음파 영상으로부터 추출된 방사성 특징에는 출력노드(P, N)에 대응하여 레이블 [1, 0]을 부여한다. 반면, 근육감소증이 없는 환자의 초음파 영상으로부터 추출된 방사성 특징에는 출력노드(P, N)에 대응하여 레이블 [0, 1]을 부여한다.
다음으로, 학습부(100)는 S130 단계에서 해당하는 학습용 방사성 특징을 식별망(610)에 입력한다. 그러면, 식별망(610)은 S140 단계에서 입력된 학습용 방사성 특징에 대해 복수의 계층(PIL, PHL, POL)의 가중치가 적용되는 복수의 연산을 수행하여 골격근에 근육감소증(Sarcopenia)이 진행되고 있는지 여부를 확률로 나타내는 출력값을 산출한다.
그러면, 학습부(100)는 S150 단계에서 손실함수를 통해 출력값과 레이블의 차이인 이진 교차 엔트로피 손실이 최소가 되도록 식별망(610)의 파라미터, 즉, 가중치(w), 임계치(b) 등을 수정하는 최적화를 수행할 수 있다.
전술한 S120 단계 내지 S150 단계는 복수의 서로 다른 학습 데이터를 이용하여 반복하여 수행되며, 이러한 반복은 평가 지표를 통해 원하는 정확도에 도달할 때까지 이루어질 수 있다.
다음으로, 본 발명의 실시예에 따른 골격근의 상태를 진단하도록 분류망 및 예측망을 학습시키는 방법을 설명하기 위한 흐름도이다. 도 11은 본 발명의 실시예에 따른 골격근의 상태를 진단하도록 분류망 및 예측망을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, 학습부(100)는 S210 단계에서 심층신경망인 분류망(310) 및 예측망(410)의 초기 모델을 마련한다. 초기 모델은 입력층(GIL/EIL), 교번으로 반복되는 적어도 한 쌍의 컨벌루션층(GCL/ECL) 및 풀링층(GPL/EPL), 적어도 하나의 완전연결층(GFL/EFL) 및 출력층(GOL/EOL)을 포함한다. 특히, 초기 모델은 출력층(GOL/EOL)의 출력노드의 활성화함수로 소프트맥스(softmax)가 선택된다. 즉, 초기 모델은 활성화함수가 소프트맥스인 출력노드를 포함한다.
그런 다음, 학습부(100)는 S220 단계에서 초기 모델에 대해 공개 데이터베이스에 저장된 영상을 학습 데이터로 이용하여 초기 학습을 수행한다. 여기서, 공개 데이터베이스에 저장된 영상은 이미지넷(ImageNet)의 데이터베이스의 이미지를 이용할 수 있다. 초기 학습은 공개 데이터베이스에 저장된 영상을 학습 데이터로 이용하여 레이블을 설정하고, 학습 데이터에 대한 초기 모델의 출력값을 산출하고, 손실함수에 따라 초기 모델의 출력값과 레이블과의 차이인 손실, 예컨대, 이진교차엔트로피 손실이 최소가 되도록 초기 모델의 파라미터를 수정하는 절차이다.
초기 학습이 완료되면, 학습부(100)는 S230 단계에서 초기 모델의 상기 예측망의 은닉층의 마지막층인 마지막 완전연결층을 초기화된 완전연결층(예컨대, GFL2/EFL2)으로 교체하고, 출력층의 소프트맥스 연산을 수행하는 출력노드를 시그모이드 연산을 수행하는 출력노드로 교체하여 초기 모델을 정규 모델로 변환한다.
이어서, 학습부(100)는 S240 단계에서 정규 모델에 대해 학습 데이터로 초음파 영상을 이용하여 정규 학습을 수행한다. 정규 학습은 초음파 영상, 즉, B 모드 초음파 영상 혹은 SWE 초음파 영상으로부터 전처리부(100)를 통해 학습용 초음파 영상을 생성하고, 학습용 초음파 영상에 대해 레이블을 설정한 후, 학습용 초음파 영상에 대해 정규 모델의 출력값을 산출하고, 손실함수에 따라 초기 모델의 출력값과 레이블과의 차이인 손실이 최소가 되도록 정규 모델의 파라미터를 수정하는 절차이다.
그러면, 전술한 정규 모델에 대한 학습 방법에 대해 보다 상세하게 설명하기로 한다. 도 12는 본 발명의 실시예에 따른 골격근의 상태를 진단하도록 분류망 및 예측망에 대한 정규 학습을 수행하는 방법을 설명하기 위한 흐름도이다. 도 13은 본 발명의 실시예에 따른 골격근의 상태를 진단하도록 분류망 및 예측망에 대한 정규 학습을 수행하는 방법을 설명하기 위한 벡터공간의 예이다.
도 12를 참조하면, 학습부(100)는 S310 단계에서 학습 데이터, 즉, 학습용 초음파 영상을 마련한다. 학습용 초음파 영상은 분류망(310)인 경우, 근육에코발생도의 등급이 알려진 환자의 초음파 영상이며, 예측망(410)인 경우, 근육감소증이 있는지 여부가 알려진 환자의 초음파 영상이다. 이와 같은, 학습용 초음파 영상이 마련되면, 학습부(100)는 다음의 수학식 4와 같은 손실함수를 이용하여 학습을 수행한다.
Figure pat00055
수학식 4에서 E(y, f)는 손실함수를 나타낸다. yi는 출력층의 출력값이고, ei는 출력층의 출력값에 대응하는 분류 레이블이다. gij는 은닉층의 마지막층의 출력값이고, cij는 은닉층의 마지막층의 출력값에 대응하는 은닉 레이블이다. i는 출력층의 노드에 대응하는 인덱스이고, j는 은닉층의 마지막층의 노드에 대응하는 인덱스이다. 그리고
Figure pat00056
는 하이퍼파라미터를 나타낸다.
학습부(100)는 S320 단계에서 분류 손실 최적화를 위한 설정을 수행한다. 이때, 학습부(100)는 하이퍼파라미터 및 분류 레이블을 설정한다. 이러한 S320 단계에서 학습부(100)는 하이퍼파라미터
Figure pat00057
는 0으로 설정한다. 이에 따라, 분류 손실을 최적화하는 학습에서 수학식 4의 손실함수는 다음의 수학식 5와 같다.
Figure pat00058
또한, S320 단계에서 학습부(100)는 분류 레이블을 설정한다. 분류망(310)인 경우, 근육에코발생도의 등급이 고레벨로 알려진 환자의 초음파 영상에는 출력노드(H, L)에 대응하여 분류 레이블 [1, 0]을 부여하고, 저레벨로 알려진 환자의 초음파 영상에는 출력노드(H, L)에 대응하여 분류 레이블 [0, 1]을 부여한다. 또한, 예측망(410)인 경우, 근육감소증이 있는 것으로 알려진 환자의 초음파 영상에는 출력노드(P, N)에 대응하여 분류 레이블 [1, 0]을 부여하고, 근육감소증이 없는 것으로 알려진 환자의 초음파 영상에는 출력노드(P, N)에 대응하여 분류 레이블 [0, 1]을 부여한다.
전술한 바와 같이 하이퍼파라미터 및 분류 레이블이 설정되면, 학습부(100)는 S330 단계에서 분류 손실을 최적화하는 학습을 수행한다. 이때, 학습부(100)는 분류망(310) 및 식별망(410)의 정규 모델에 학습용 초음파 영상을 입력한다. 그러면, 정규 모델은 학습용 초음파 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 출력값을 산출한다. 그러면, 학습부(100)는 하이퍼파라미터가 0으로 설정된 수학식 5와 같은 손실함수를 이용하여 앞서 설정된 분류 레이블과 출력층의 출력값의 차이를 나타내는 수학식 5의 손실함수의 분류 손실이 최소가 되도록 정규 모델의 파라미터를 수정하는 분류 손실 최적화를 수행한다. 이러한 분류 손실 최적화는 복수의 서로 다른 학습용 초음파 영상을 이용하여 반복하여 수행되며, 이러한 반복은 평가 지표를 통해 원하는 정확도에 도달할 때까지 이루어질 수 있다.
전술한 바와 같은 분류 손실 최적화에 따른 학습이 완료되면, 학습부(100)는 S340 단계에서 정규 모델의 분류 대상 클래스 별로 은닉벡터 중 대표벡터를 선택한다. 대표벡터를 선택하는 방법은 다음과 같다. 앞서(S330) 사용된 학습용 초음파 영상을 분류 손실 최적화가 이루어진 정규 모델에 다시 입력하여 정규 모델의 은닉층의 마지막층(예컨대, GFL2, EFL2)의 출력값을 도출한다. 도 5 및 도 8을 참조하면, 은닉층의 마지막층(예컨대, GFL2, EFL2)의 출력은 은닉벡터 G[g1, g2, g3, …, gn]이다. 학습부(100)는 복수의 은닉벡터를 소정의 벡터공간에 임베딩한다. 도 13 (A)에 소정의 벡터공간에 복수의 은닉벡터가 임베딩된 예를 도시하였다. 기본적으로, 분류 손실 최적화에 의해 벡터공간 상에서 분류선(Div)에 의해 복수의 은닉벡터 각 클래스별로 어느 정도의 구분이 이루어진다. 여기서, 분류 대상인 클래스는 분류망(310)인 경우, 근육에코발생도의 등급이 고레벨(H)인 클래스 및 저레벨(L)인 클래스를 포함하며, 예측망(410)인 경우, 근육감소증 양성(P)인 클래스 및 음성(N)인 클래스를 포함한다. 즉, 도 13의 (A)에서 제1 클래스는 분류망(310)인 경우, 근육에코발생도의 등급이 고레벨(H)인 클래스이고, 예측망(410)인 경우, 근육감소증이 양성(P)인 클래스일 수 있다. 또한, 도 13의 (A)에서 제2 클래스는 근육에코발생도의 등급이 저레벨(L)인 클래스이고, 예측망(410)인 경우, 근육감소증이 음성(N)인 클래스이다. 학습부(100)는 이러한 벡터 공간에 임베딩된 복수의 은닉벡터 중 각 클래스 별로 대표벡터를 선정할 수 있다. 대표벡터는 13의 (A)에 도시된 바와 같이, 동일한 클래스 내의 은닉벡터 중 중간값을 선정하는 것이 바람직하다.
다음으로, 학습부(100)는 S350 단계에서 복합 손실 최적화를 위한 설정을 수행한다. 이때, 학습부(100)는 하이퍼파라미터, 분류 레이블 및 은닉 레이블을 설정한다. 이러한 S350 단계에서 학습부(100)는 하이퍼파라미터
Figure pat00059
는 0.5로 설정한다. 이에 따라, 분류 손실을 최적화하는 학습에서 수학식 4의 손실함수는 다음의 수학식 6과 같다.
Figure pat00060
또한, S350 단계에서 학습부(100)는 분류 레이블 및 은닉 레이블을 설정한다. 분류 레이블의 설정은, 분류망(310)인 경우, 근육에코발생도의 등급이 고레벨로 알려진 환자의 초음파 영상에는 출력노드(H, L)에 대응하여 분류 레이블 [1, 0]을 부여하고, 저레벨로 알려진 환자의 초음파 영상에는 출력노드(H, L)에 대응하여 분류 레이블 [0, 1]을 부여한다. 또한, 예측망(410)인 경우, 근육감소증이 있는 것으로 알려진 환자의 초음파 영상에는 출력노드(P, N)에 대응하여 분류 레이블 [1, 0]을 부여하고, 근육감소증이 없는 것으로 알려진 환자의 초음파 영상에는 출력노드(P, N)에 대응하여 분류 레이블 [0, 1]을 부여한다.
특히, 은닉 레이블의 설정은, 앞서(S340) 선정한 대표벡터를 이용한다. 이에 따라, 각 클래스별로 대표벡터가 은닉 레이블로 설정된다.
전술한 바와 같이 하이퍼파라미터, 분류 레이블 및 은닉 레이블이 설정되면, 전술한 바와 같이 파라미터가 설정되면, 학습부(100)는 S360 단계에서 복합 손실을 최적화하는 학습을 수행한다. 이때, 학습부(100)는 분류망(310) 및 식별망(410)의 정규 모델에 학습용 초음파 영상을 입력한다. 그러면, 정규 모델은 학습용 초음파 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 은닉벡터 및 출력값을 산출한다. 그러면, 학습부(100)는 하이퍼파라미터가 0.5로 설정된 수학식 6과 같은 손실함수를 이용하여 수학식 6의 손실함수의 복합 손실이 최소가 되도록 정규 모델의 파라미터를 수정하는 복합 손실 최적화를 수행한다. 이러한 복합 손실은 분류 레이블과 출력층의 출력값의 차이를 나타내는 분류 손실 및 은닉 벡터와 대표 벡터와의 차이를 나타내는 은닉 손실을 포함한다. 이러한 복합 손실 최적화는 복수의 서로 다른 학습용 초음파 영상을 이용하여 반복하여 수행되며, 이러한 반복은 평가 지표를 통해 원하는 정확도에 도달할 때까지 이루어질 수 있다.
이러한 복합 손실에 의한 학습이 완료되면, 벡터 공간 상의 복수의 은닉벡터는 도 13의 (B)와 같이 분류될 수 있다. 즉, 복수의 은닉벡터는 벡터 공간 상에서 대표 벡터를 향하여 이동된다. 이에 따라, 클래스 별 구분이 보다 명확해짐을 알 수 있다. 즉, 복합 손실에 의한 학습에 의해 분류망(310) 및 예측망(410)의 분류 성능이 향상될 수 있다.
다음으로, 전술한 바와 같은 방법으로 학습이 완료된 분류망(310), 예측망(410) 및 식별망(610)을 이용하여 골격근의 상태를 진단하는 방법에 대해서 설명하기로 한다. 도 14는 본 발명의 실시예에 따른 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 방법을 설명하기 위한 흐름도이다.
도 14를 참조하면, 진단장치(10)의 전처리부(200)는 S410 단계에서 인터페이스부(11)를 통해 진단영상장치(20)로부터 초음파 영상을 입력받을 수 있다. 입력된 초음파 영상은 B 모드 초음파 영상 및 SWE 초음파 영상 중 어느 하나가 될 수 있다.
그러면, 전처리부(200)는 S420 단계에서 초음파 영상에 대한 전처리를 수행한다. 이때, 전처리부(200)는 초음파 영상의 크기를 조정하거나, 소정의 크기로 잘라낸 후, 이미지 파일 포맷으로 변환할 수 있다. 또한, 전처리부(200)는 초음파 영상으로부터 방사상 특징(Radiomics features)을 추출할 수 있다. 전처리부(200)는 전처리가 완료되면, 전처리된 초음파 영상 혹은 방사상 특징(Radiomics features)을 분류부(300), 예측부(400) 및 식별부(600)에 제공한다.
분류부(300), 예측부(400), 시각화부(500) 및 식별부(600)는 S430 단계에서 골격근에 대한 평가를 수행하여 평가 결과를 도출한다. 즉, 분류부(300)는 분류망(310)을 통해 초음파 영상에 대해 픽셀 단위 연산을 수행하여 골격근이 근육에코발생도(Muscle echogenicity)의 각 등급에 속할 확률을 산출하고, 산출된 확률에 따라 골격근의 근육에코발생도의 등급을 분류한다. 또한, 예측부(400)는 예측망(410)을 통해 초음파 영상에 대해 픽셀 단위 연산을 수행하여 골격근에 근육감소증이 진행되고 있는지 여부를 확률로 산출하고, 산출된 확률에 따라 근육감소증 진행 여부를 예측한다. 그리고 시각화부(500)는 예측망(410)의 컨벌루션층(ECL)의 출력값 및 경사도(gradient)를 비교하여 초음파 영상에서 근육감소증의 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각화 영상을 생성한다. 또한, 식별부(600)는 식별망(610)을 통해 복수의 방사성 특징에 대한 연산을 수행하여 골격근에 근육감소증이 진행되고 있는지 여부를 확률로 산출하고, 산출된 확률에 따라 근육감소증 진행 여부를 식별한다.
다음으로, 리포트부(700)는 S440 단계에서 분류부(300), 예측부(400), 시각화부(500) 및 식별부(600) 각각으로부터 정보를 제공받고, 제공 받은 정보를 종합한 종합 리포트를 표시부(13)를 통해 표시할 수 있다. 여기서, 종합 리포트는 근육에코발생도의 고레벨(High grade)에 속할 확률 및 저레벨(Low grade)에 속할 확률, 그 확률에 따른 판단, 즉, "근육에코발생도: 고레벨(High grade)" 혹은 "근육에코발생도: 저레벨(Low grade)"와, 초음파 영상을 기초로 예측되는 근육감소증이 있을 확률 및 근육감소증이 없을 확률과, 그 확률에 따른 판단, "근육감소증: 양성" 혹은 "근육감소증: 음성"과, 시각화 영상과, 방사상 특징을 기초로 식별된 근육감소증이 있을 확률 및 근육감소증이 없을 확률과, 그 확률에 따른 판단, "근육감소증: 양성" 혹은 "근육감소증: 음성"을 포함한다.
한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
10: 관제장치 20: 진단영상장치
100: 학습부 200: 전처리부
210: 증강부 220: 영상처리부
230: 특징처리부 300: 분류부
310: 분류망 400: 예측부
410: 예측망 500: 시각화부
600: 식별부 610: 식별망
700: 리포트부

Claims (19)

  1. 골격근의 상태를 진단하기 위한 장치에 있어서,
    골격근에 대한 초음파 영상이 입력되면, 소정의 형식에 따라 상기 초음파 영상을 가공하는 전처리부; 및
    입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함하는 예측망을 통해
    상기 가공된 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근에 근육감소증(Sarcopenia)이 진행되고 있는지 여부를 확률로 산출하고,
    산출된 확률에 따라 근육감소증 진행 여부를 예측하는 예측부;
    를 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 장치.
  2. 제1항에 있어서,
    상기 예측부가 근육감소증을 예측하면,
    상기 예측망의 상기 컨벌루션층의 출력값 및 경사도(gradient)를 비교하여 상기 초음파 영상에서 근육감소증의 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각화 영상을 생성하는
    시각화부;
    를 더 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 장치.
  3. 제2항에 있어서,
    상기 시각화부는
    상기 예측망의 연산의 결과를 수집한 후,
    수학식
    Figure pat00061

    에 따라 뉴런 중요도 가중치를 산출하고,
    수학식
    Figure pat00062

    에 따라 상기 시각화 영상을 생성하며,
    상기
    Figure pat00063
    는 컨벌루션층에서 컨벌루션 연산을 수행하고 활성화함수에 의한 연산을 수행하기 전, 출력의 c번째 값이고,
    상기
    Figure pat00064
    는 컨벌루션층의 k번째 특징지도의 좌표(i, j)의 값이고,
    상기
    Figure pat00065
    는
    Figure pat00066
    가
    Figure pat00067
    에 대해 가지는 경사도(gradient)이고,
    상기
    Figure pat00068
    는 상기 뉴런 중요도 가중치이고,
    상기
    Figure pat00069
    는 상기 시각화 영상의 좌표(i, j)의 값인 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 장치.
  4. 제1항에 있어서,
    상기 전처리부가 상기 골격근에 대한 초음파 영상으로부터 복수의 방사성 특징을 추출하면,
    입력층, 은닉층 및 출력층을 포함하는 식별망을 통해 상기 복수의 방사성 특징에 대한 연산을 수행하여 상기 골격근에 근육감소증(Sarcopenia)이 진행되고 있는지 여부를 확률로 산출하고,
    산출된 확률에 따라 근육감소증 진행 여부를 식별하는 식별부;
    를 더 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 장치.
  5. 제1항에 있어서,
    상기 전처리부가 상기 골격근에 대한 초음파 영상을 상기 소정의 형식과 다른 형식으로 상기 초음파 영상을 가공하면,
    입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함하는 분류망을 통해
    상기 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근이 근육에코발생도(Muscle echogenicity)의 각 등급에 속할 확률을 산출하고,
    산출된 확률에 따라 상기 골격근의 근육에코발생도의 등급을 분류하는 분류부;
    를 더 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 장치.
  6. 제1항에 있어서,
    상기 예측망의 상기 출력층이 소프트맥스 연산을 수행하는 출력노드로 이루어진 상기 예측망의 초기 모델을 마련하고, 상기 초기 모델에 대해 공개 데이터베이스에 저장된 영상을 학습 데이터로 이용하여 초기 학습을 수행하며,
    상기 초기 학습이 완료되면, 상기 예측망의 마지막 완전연결층을 초기화된 완전연결층으로 교체하고, 상기 출력층의 상기 소프트맥스 연산을 수행하는 출력노드를 시그모이드 연산을 수행하는 출력노드로 교체하여 상기 예측망의 정규 모델을 마련하고, 상기 정규 모델에 대해 학습 데이터로 초음파 영상을 이용하여 정규 학습을 수행하는 학습부;
    를 더 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 장치.
  7. 제6항에 있어서,
    상기 학습부는
    상기 예측망에 대해 상기 정규 학습을 수행할 때,
    손실함수
    Figure pat00070

    를 이용하여
    상기
    Figure pat00071
    을 0으로 설정한 후, 상기 예측망의 출력값과 분류 레이블의 차이인 분류 손실이 최소가 되도록 예측망의 파라미터를 수정하는 파라미터를 수정하는 분류 손실 최적화를 수행하고,
    상기
    Figure pat00072
    을 0.5로 설정한 후, 상기 예측망의 출력값과 분류 레이블의 차이인 분류 손실과 상기 예측망의 은닉층의 마지막층의 출력값과 은닉 레이블과의 차이인 은닉 손실을 포함하는 복합 손실이 최소가 되도록 예측망의 파라미터를 수정하는 파라미터를 수정하는 복합 손실 최적화를 수행하고,
    상기 E(y, f)는 손실함수이고,
    상기 yi는 출력층의 출력값이고,
    상기 ei는 출력층의 출력값에 대응하는 분류 레이블이고,
    상기 gij는 은닉층의 마지막층의 출력값이고,
    상기 cij는 은닉층의 마지막층의 출력값에 대응하는 은닉 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스이고,
    상기 j는 은닉층의 마지막층의 노드에 대응하는 인덱스이고,
    상기
    Figure pat00073
    는 하이퍼파라미터인 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 장치.
  8. 골격근의 상태를 진단하기 위한 장치에 있어서,
    골격근에 대한 초음파 영상이 입력되면, 서로 다른 2개의 형식에 따라 상기 초음파 영상을 가공하고, 상기 초음파 영상으로부터 복수의 방사성 특징을 추출하는 전처리부; 및
    복수의 계층을 포함하는 분류망을 통해 상기 2개의 형식 중 어느 하나의 형식으로 가공된 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근의 근육에코발생도의 등급을 확률로 산출하고, 산출된 확률에 따라 상기 골격근의 근육에코발생도의 등급을 분류하는 분류부;
    복수의 계층을 포함하는 예측망을 통해 상기 2개의 형식 중 다른 하나의 형식으로 가공된 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근에 근육감소증이 진행되고 있는지 여부를 확률로 산출하고, 산출된 확률에 따라 근육감소증 진행 여부를 예측하는 예측부; 및
    복수의 계층을 포함하는 식별망을 통해 상기 복수의 방사성 특징에 대한 연산을 수행하여 상기 골격근에 근육감소증이 진행되고 있는지 여부를 확률로 산출하고, 산출된 확률에 따라 근육감소증 진행 여부를 식별하는 식별부;
    를 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 장치.
  9. 제8항에 있어서,
    상기 예측망은
    입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함하며,
    상기 예측부가 근육감소증을 예측하면,
    상기 예측망의 상기 컨벌루션층의 출력값 및 경사도(gradient)를 비교하여 상기 초음파 영상에서 근육감소증의 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각화 영상을 생성하는
    시각화부;
    를 더 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 장치.
  10. 제9항에 있어서,
    상기 시각화부는
    상기 예측망의 연산의 결과를 수집한 후,
    수학식
    Figure pat00074

    에 따라 뉴런 중요도 가중치를 산출하고,
    수학식
    Figure pat00075

    에 따라 상기 시각화 영상을 생성하며,
    상기
    Figure pat00076
    는 컨벌루션층에서 컨벌루션 연산을 수행하고 활성화함수에 의한 연산을 수행하기 전, 출력의 c번째 값이고,
    상기
    Figure pat00077
    는 컨벌루션층의 k번째 특징지도의 좌표(i, j)의 값이고,
    상기
    Figure pat00078
    는
    Figure pat00079
    가
    Figure pat00080
    에 대해 가지는 경사도(gradient)이고,
    상기
    Figure pat00081
    는 상기 뉴런 중요도 가중치이고,
    상기
    Figure pat00082
    는 상기 시각화 영상의 좌표(i, j)의 값인 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 장치.
  11. 제8항에 있어서,
    상기 예측망의 상기 출력층의 출력층이 소프트맥스 연산을 수행하는 상기 예측망의 초기 모델을 마련하고, 상기 초기 모델에 대해 공개 데이터베이스에 저장된 영상을 학습 데이터로 이용하여 초기 학습을 수행하며,
    상기 초기 학습이 완료되면, 상기 분류망 및 상기 예측망의 은닉층의 마지막층을 초기화된 완전연결층으로 교체하고,
    상기 출력층의 상기 소프트맥스 연산을 수행하는 출력노드를 시그모이드 연산을 수행하는 출력노드로 교체하여 상기 예측망의 정규 모델을 마련하고, 상기 정규 모델에 대해 학습 데이터로 초음파 영상을 이용하여 정규 학습을 수행하는 학습부;
    를 더 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 장치.
  12. 제11항에 있어서,
    상기 학습부는
    상기 예측망에 대해 상기 정규 학습을 수행할 때,
    손실함수
    Figure pat00083

    를 이용하여
    상기
    Figure pat00084
    을 0으로 설정한 후, 상기 예측망의 출력값과 분류 레이블의 차이인 분류 손실이 최소가 되도록 예측망의 파라미터를 수정하는 파라미터를 수정하는 분류 손실 최적화를 수행하고,
    상기
    Figure pat00085
    을 0.5로 설정한 후, 상기 예측망의 출력값과 분류 레이블의 차이인 분류 손실과 상기 예측망의 은닉층의 마지막층의 출력값과 은닉 레이블과의 차이인 은닉 손실을 포함하는 복합 손실이 최소가 되도록 예측망의 파라미터를 수정하는 파라미터를 수정하는 복합 손실 최적화를 수행하고,
    상기 E(y, f)는 손실함수이고,
    상기 yi는 출력층의 출력값이고,
    상기 ei는 출력층의 출력값에 대응하는 분류 레이블이고,
    상기 gij는 은닉층의 마지막층의 출력값이고,
    상기 cij는 은닉층의 마지막층의 출력값에 대응하는 은닉 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스이고,
    상기 j는 은닉층의 마지막층의 노드에 대응하는 인덱스이고,
    상기
    Figure pat00086
    는 하이퍼파라미터인 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 장치.
  13. 골격근의 상태를 진단하기 위한 방법에 있어서,
    예측부가 골격근에 대한 초음파 영상이 입력되면, 입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함하는 예측망을 통해 상기 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근에 근육감소증이 진행되고 있는지 여부를 확률로 산출하는 단계; 및
    상기 예측부가 산출된 확률에 따라 근육감소증 진행 여부를 예측하는 단계;
    를 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 방법.
  14. 제13항에 있어서,
    상기 예측부가 근육감소증을 예측하면, 시각화부가 상기 예측망의 상기 컨벌루션층의 출력값 및 경사도(gradient)를 비교하여 상기 초음파 영상에서 근육감소증의 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각화 영상을 생성하는 단계;
    를 더 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 방법.
  15. 제14항에 있어서,
    상기 시각화 영상을 생성하는 단계는
    상기 시각화부가 상기 예측망의 연산의 결과를 수집하는 단계;
    상기 시각화부가
    수학식
    Figure pat00087

    에 따라 뉴런 중요도 가중치를 산출하는 단계;
    상기 시각화부가
    수학식
    Figure pat00088

    에 따라 상기 시각화 영상을 생성하는 단계;
    를 포함하며,
    상기
    Figure pat00089
    는 컨벌루션층에서 컨벌루션 연산을 수행하고 활성화함수에 의한 연산을 수행하기 전, 출력의 c번째 값이고,
    상기
    Figure pat00090
    는 컨벌루션층의 k번째 특징지도의 좌표(i, j)의 값이고,
    상기
    Figure pat00091
    는 상기
    Figure pat00092
    가 상기
    Figure pat00093
    에 대해 가지는 경사도(gradient)이고,
    상기
    Figure pat00094
    는 상기 뉴런 중요도 가중치이고,
    상기
    Figure pat00095
    는 상기 시각화 영상의 좌표(i, j)의 값인 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 방법.
  16. 제13항에 있어서,
    식별부가 상기 골격근에 대한 초음파 영상으로부터 추출된 복수의 방사성 특징이 입력되면, 입력층, 은닉층 및 출력층을 포함하는 식별망을 통해 상기 복수의 방사성 특징에 대한 연산을 수행하여 상기 골격근에 근육감소증이 진행되고 있는지 여부를 확률로 산출하는 단계; 및
    상기 식별부가 산출된 확률에 따라 근육감소증 진행 여부를 식별하는 단계;
    를 더 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 방법.
  17. 제13항에 있어서,
    분류부가 상기 골격근에 대한 초음파 영상이 입력되면, 입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함하는 분류망을 통해 상기 초음파 영상에 대해 픽셀 단위 연산을 수행하여 상기 골격근이 근육에코발생도의 각 등급에 속할 확률을 산출하는 단계;
    상기 분류부가 상기 산출된 확률에 따라 상기 골격근의 근육에코발생도의 등급을 분류하는 단계;
    를 더 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 방법.
  18. 제13항에 있어서,
    상기 골격근에 근육감소증이 진행되고 있는지 여부를 확률로 산출하는 단계 전,
    학습부가 상기 예측망의 상기 출력층이 소프트맥스 연산을 수행하는 출력노드로 이루어진 상기 예측망의 초기 모델을 마련하는 단계; 및
    상기 학습부가 상기 초기 모델에 대해 공개 데이터베이스에 저장된 영상을 학습 데이터로 이용하여 초기 학습을 수행하는 단계;
    상기 학습부가 상기 예측망의 마지막 완전연결층을 초기화된 완전연결층으로 교체하고, 상기 출력층의 상기 소프트맥스 연산을 수행하는 출력노드를 시그모이드 연산을 수행하는 출력노드로 교체하여 상기 예측망의 정규 모델을 마련하는 단계; 및
    상기 학습부가 상기 정규 모델에 대해 학습 데이터로 초음파 영상을 이용하여 정규 학습을 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 방법.
  19. 제18항에 있어서,
    상기 정규 학습을 수행하는 단계는
    상기 학습부가
    손실함수
    Figure pat00096

    를 이용하여
    상기
    Figure pat00097
    을 0으로 설정한 후, 상기 예측망의 출력값과 분류 레이블의 차이인 분류 손실이 최소가 되도록 예측망의 파라미터를 수정하는 파라미터를 수정하는 분류 손실 최적화를 수행하는 단계;
    상기 학습부가 상기
    Figure pat00098
    을 0.5로 설정한 후, 상기 예측망의 출력값과 분류 레이블의 차이인 분류 손실과 상기 예측망의 은닉층의 마지막층의 출력값과 은닉 레이블과의 차이인 은닉 손실을 포함하는 복합 손실이 최소가 되도록 예측망의 파라미터를 수정하는 파라미터를 수정하는 복합 손실 최적화를 수행하는 단계;
    를 포함하며,
    상기 E(y, f)는 손실함수이고,
    상기 yi는 출력층의 출력값이고,
    상기 ei는 출력층의 출력값에 대응하는 분류 레이블이고,
    상기 gij는 은닉층의 마지막층의 출력값이고,
    상기 cij는 은닉층의 마지막층의 출력값에 대응하는 은닉 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스이고,
    상기 j는 은닉층의 마지막층의 노드에 대응하는 인덱스이고,
    상기
    Figure pat00099
    는 하이퍼파라미터인 것을 특징으로 하는
    골격근의 상태를 진단하기 위한 방법.
KR1020200079181A 2020-06-29 2020-06-29 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치 및 이를 위한 방법 KR102436035B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200079181A KR102436035B1 (ko) 2020-06-29 2020-06-29 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치 및 이를 위한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200079181A KR102436035B1 (ko) 2020-06-29 2020-06-29 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치 및 이를 위한 방법

Publications (2)

Publication Number Publication Date
KR20220001177A true KR20220001177A (ko) 2022-01-05
KR102436035B1 KR102436035B1 (ko) 2022-08-24

Family

ID=79348811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200079181A KR102436035B1 (ko) 2020-06-29 2020-06-29 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치 및 이를 위한 방법

Country Status (1)

Country Link
KR (1) KR102436035B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721088A (zh) * 2023-06-20 2023-09-08 北京积水潭医院 基于深度学习的骨肉瘤图像的人工智能识别方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240064107A (ko) 2022-11-04 2024-05-13 경북대학교 산학협력단 초음파 이미지의 딥러닝에 기반하여 회전근개 파열을 분류하는 장치 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170045099A (ko) * 2015-10-16 2017-04-26 재단법인 아산사회복지재단 심층신경망을 이용한 혈류상태 분석시스템, 방법 및 프로그램
US20180146947A1 (en) * 2016-11-30 2018-05-31 MuscleSound, LLC Non-Invasive Determination of Muscle Tissue Quality and Intramuscular Fat
KR20190023003A (ko) * 2017-08-25 2019-03-07 남정림 영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법
KR20190095996A (ko) * 2018-02-08 2019-08-19 주식회사 셀바스에이아이 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스
KR20190113089A (ko) 2018-03-27 2019-10-08 울산대학교 산학협력단 근감소증 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법을 채용하는 영상 처리 장치 및 이를 이용한 영상 처리 방법
US20200129140A1 (en) * 2017-06-21 2020-04-30 Charité - Universitätsmedizin Berlin System, method, and computer program product for determining cortical bone characteristics
JP2020130596A (ja) * 2019-02-19 2020-08-31 株式会社Ｃｅｓデカルト 超音波診断装置、超音波診断プログラム及び超音波エコー画像の解析方法
WO2021048776A1 (en) * 2019-09-11 2021-03-18 Universita' Degli Studi Di Genova Method for evaluating the presence of sarcopenia by magnetic resonance or echography or computed tomography

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170045099A (ko) * 2015-10-16 2017-04-26 재단법인 아산사회복지재단 심층신경망을 이용한 혈류상태 분석시스템, 방법 및 프로그램
US20180146947A1 (en) * 2016-11-30 2018-05-31 MuscleSound, LLC Non-Invasive Determination of Muscle Tissue Quality and Intramuscular Fat
US20200129140A1 (en) * 2017-06-21 2020-04-30 Charité - Universitätsmedizin Berlin System, method, and computer program product for determining cortical bone characteristics
KR20190023003A (ko) * 2017-08-25 2019-03-07 남정림 영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법
KR20190095996A (ko) * 2018-02-08 2019-08-19 주식회사 셀바스에이아이 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스
KR20190113089A (ko) 2018-03-27 2019-10-08 울산대학교 산학협력단 근감소증 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법을 채용하는 영상 처리 장치 및 이를 이용한 영상 처리 방법
JP2020130596A (ja) * 2019-02-19 2020-08-31 株式会社Ｃｅｓデカルト 超音波診断装置、超音波診断プログラム及び超音波エコー画像の解析方法
WO2021048776A1 (en) * 2019-09-11 2021-03-18 Universita' Degli Studi Di Genova Method for evaluating the presence of sarcopenia by magnetic resonance or echography or computed tomography

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Artificial intelligence in musculoskeletal ultrasound imaing", 대한초음파의학회, Vol.40, No.1, p.30~44, 2021 *
"The role of ultrasound as a diagnostic tool for sarcopenia", The Journal of Frailty & Aging, Vol. 7, No. 4, 2018 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721088A (zh) * 2023-06-20 2023-09-08 北京积水潭医院 基于深度学习的骨肉瘤图像的人工智能识别方法及装置

Also Published As

Publication number Publication date
KR102436035B1 (ko) 2022-08-24

Similar Documents

Publication Publication Date Title
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
US10628943B2 (en) Deep learning medical systems and methods for image acquisition
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
US20190139641A1 (en) Artificial intelligence for physiological quantification in medical imaging
JP6885517B1 (ja) 診断支援装置及びモデル生成装置
CN110070540B (zh) 图像生成方法、装置、计算机设备及存储介质
CN110556178A (zh) 用于医学疗法规划的决策支持系统
US11350888B2 (en) Risk prediction for sudden cardiac death from image derived cardiac motion and structure features
US10522253B2 (en) Machine-learnt prediction of uncertainty or sensitivity for hemodynamic quantification in medical imaging
JP2022517769A (ja) 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム
KR102436035B1 (ko) 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치 및 이를 위한 방법
CN110991254B (zh) 超声图像视频分类预测方法及系统
CN113554665A (zh) 一种血管分割方法及装置
CN111666966A (zh) 医学成像中基于人工智能的材料分解
CN114897780A (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
CN112633416A (zh) 一种融合多尺度超像素的脑ct图像分类方法
CN117522891A (zh) 一种3d医学图像分割系统及方法
EP3477551B1 (en) Machine-learnt prediction of uncertainty or sensitivity for hemodynamic quantification in medical imaging
KR102464422B1 (ko) 폐 손상 진단 장치, 진단에 필요한 정보 제공 방법 및 기록매체
CN116725560B (zh) 一种基于空间扩散模型的低剂量dsa血管造影方法
Schnellbächer et al. Machine-learning-based clinical plaque detection using a synthetic plaque lesion model for coronary CTA
CN117095395B (zh) 用于心脏超声图像分割的模型训练方法、装置和分割方法
Harba et al. Improving accuracy of CADx system by hybrid PCA and backpropagation
CN118196013A (zh) 支持多医生协同监督的多任务医学图像分割方法及系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right