KR20190023003A - 영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법 - Google Patents

영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법 Download PDF

Info

Publication number
KR20190023003A
KR20190023003A KR1020170107922A KR20170107922A KR20190023003A KR 20190023003 A KR20190023003 A KR 20190023003A KR 1020170107922 A KR1020170107922 A KR 1020170107922A KR 20170107922 A KR20170107922 A KR 20170107922A KR 20190023003 A KR20190023003 A KR 20190023003A
Authority
KR
South Korea
Prior art keywords
interest
region
bone
image
wrist
Prior art date
Application number
KR1020170107922A
Other languages
English (en)
Other versions
KR101961215B1 (ko
Inventor
이병대
이무숙
곽노준
남정림
Original Assignee
남정림
서울대학교산학협력단
제주대학교 산학협력단
경기대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 남정림, 서울대학교산학협력단, 제주대학교 산학협력단, 경기대학교 산학협력단 filed Critical 남정림
Priority to KR1020170107922A priority Critical patent/KR101961215B1/ko
Publication of KR20190023003A publication Critical patent/KR20190023003A/ko
Application granted granted Critical
Publication of KR101961215B1 publication Critical patent/KR101961215B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4504—Bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Abstract

본 발명은 뼈 영상을 분석하여 뼈 나이를 판독하는 기술에 관한 것으로서, 구체적으로는 영상 처리 및 기계 학습에 기초하여 뼈 나이를 추정하는 기술에 관한 것이다. 본 발명의 실시 예에 따르면, 뼈 영상의 영상 처리를 이용하여 신속하고 객관적인 뼈 나이 판독이 가능하고, 기계 학습을 통하여 더욱 정확하고 신뢰성 있는 뼈 나이 판독이 가능하다.

Description

영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING BONE AGE BASED ON IMAGE PROCESSING AND MACHINE LEARNING}
본 발명은 뼈 영상을 분석하여 뼈 나이를 판독하는 기술에 관한 것으로서, 구체적으로는 영상 처리 및 기계 학습에 기초하여 뼈 나이를 추정하는 기술에 관한 것이다.
뼈 나이 판독은 소아의 엑스레이(X-ray) 영상을 판독함으로써 소아의 실제 나이와 뼈 나이를 비교하여 정상적으로 발육하고 있는지, 앞으로 얼마나 더 성장할 수 있는지 등을 알아 볼 수 있는 방법이다. 뼈 나이 판독에서 주로 사용되는 매칭 방법은 전체 영상에서 성장판을 기준으로 뼈 부분의 나이 별 표준 영상을 육안으로 비교해 평가하는 방법이다. 이러한 방법은 여러 개의 뼈를 직접 비교해야 하기 때문에 분석 시간도 오래 걸리고 세밀한 뼈 나이 판독이 어렵고, 검사자의 주관에 따라 뼈 나이의 판독 오차가 발생할 수 있다. 또한 뼈의 변이가 많은 경우 정확히 나이를 산출하기가 힘들다는 단점이 있다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2009-0030167호(2009.03.24)에 개시되어 있다.
본 발명은 뼈 영상의 영상 처리를 이용하여 신속하고 객관적인 뼈 나이 판독이 가능한 기술을 제공하는 것이다.
또한, 본 발명은 기계 학습을 통하여 더욱 정확하고 신뢰성 있는 뼈 나이 판독이 가능한 기술을 제공하는 것이다.
본 발명의 일 측면에 따르면, 뼈 나이 판독 장치가 제공된다.
본 발명의 일 실시 예에 따른 뼈 나이 판독 장치는 손 부분의 뼈 영상을 입력하는 뼈 영상 입력부, 입력된 손 부분의 뼈 영상에서 큰 관심영역을 추출하는 큰 관심영역 추출부, 추출한 큰 관심영역에서 작은 관심영역들을 추출하는 작은 관심영역 추출부, 추출한 각각의 작은 관심영역 영상에 대해 복수의 종류의 컨벌루션 신경망을 적용하고 앙상블을 형성하여 뼈 등급을 산출하는 뼈 등급 산출부 및 작은 관심영역의 뼈 등급을 이용하여 뼈 나이를 판독하는 뼈 나이 판독부를 포함할 수 있다.
본 발명의 일 측면에 따르면, 뼈 나이 판독 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 기록매체가 제공된다.
본 발명의 일 실시 예에 따른 뼈 나이 판독방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 기록매체는 손 부분의 뼈 영상을 입력하는 단계, 입력된 손 부분의 뼈 영상에서 큰 관심영역을 추출하는 단계, 추출한 큰 관심영역에서 작은 관심영역들을 추출하는 단계, 추출한 각각의 작은 관심영역 영상에 대해 복수의 종류의 컨벌루션 신경망을 적용하고 앙상블을 형성하여 뼈 등급을 산출하는 단계 및 작은 관심영역의 뼈 등급을 이용하여 뼈 나이를 판독하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면, 뼈 영상의 영상 처리를 이용하여 신속하고 객관적인 뼈 나이 판독이 가능하다.
또한, 본 발명의 실시 예에 따르면, 기계 학습을 통하여 더욱 정확하고 신뢰성 있는 뼈 나이 판독이 가능하다.
도 1은 본 발명의 일 실시 예에 따른 뼈 나이 판독 장치의 개념을 설명하기 위한 도면.
도 2 내지 도 8는 본 발명의 일 실시 예에 따른 뼈 나이 판독 장치의 구성을 설명하기 위한 도면들.
도 9 내지 도 21은 본 발명의 일 실시 예에 따른 뼈 나이 판독 방법을 설명하기 위한 도면들.
도 22 내지 도 24는 본 발명의 일 실시 예에 따른 더빠른 영역기초 컨벌루션 신경망 알고리즘을 설명하기 위한 도면들.
도 25 내지 도 29는 본 발명의 일 실시 예에 따른 컨벌루션 신경망의 구조 및 세부구성을 설명하기 위한 도면들.
도 30은 본 발명의 일 실시 예에 따른 뼈 등급 산출을 설명하기 위한 도면.
도 31은 본 발명의 일 실시 예에 따른 기계학습을 위한 데이터증가 방법을 설명하기 위한 도면.
도 32은 본 발명의 일 실시 예에 따른 뼈 나이 판독 방법의 정확도를 설명하기 위한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 뼈 나이 판독 장치의 개념을 설명하기 위한 도면이다.
도 1을 참조하면, 뼈 나이 판독 장치(100)는 사람의 손목뼈가 포함된 영상을 입력 받거나 사람의 손목뼈를 촬영하여, 영상 처리 및 기계 학습을 통하여 뼈 나이를 판독하여 출력할 수 있다. .
도 2 내지 도 8는 본 발명의 일 실시 예에 따른 뼈 나이 판독 장치의 구성을 설명하기 위한 도면들이다.
도 2를 참조하면, 뼈 나이 판독 장치(100)는 뼈 영상 입력부(200), 큰 관심영역 추출부(300), 작은 관심영역 추출부(400), 뼈 등급 산출부(500) 및 뼈 나이 판독부(600)를 포함할 수 있다.
뼈 영상 입력부(200)는 손 부분의 뼈 영상을 입력한다. 구체적으로, 뼈 영상 입력부(200)는 손 부분의 뼈 영역이 포함된 손 부분 뼈 영상을 촬영하거나 촬영된 뼈 영상을 입력 한다.
큰 관심영역 추출부(300)는 입력된 손 부분의 뼈 영상에서 큰 관심영역을 추출한다.
도 3을 참조하면 큰 관심영역은 손목 부위 큰 관심영역(302), 엄지 부위 큰 관심영역(304), 중지 부위 큰 관심영역(306) 및 소지 부위 큰 관심영역(308)을 포함한다.
도 4를 참조하면 큰 관심영역 추출부(300)는 손목 부위 큰 관심영역 추출부(310) 및 손가락 부위 큰 관심영역 추출부(320)를 포함한다.
손목 부위 큰 관심영역 추출부(310)는 손 부분의 뼈 영상에서 손목의 모양을 직각으로 세우기 위하여 뼈 영상을 회전시키고, 손목 부위의 상하단부 경계 및 손목의 좌우 윤곽선을 이용하여 손목 부위 큰 관심영역을 추출한다. 이하 도 5를 참조하여 더욱 상세히 설명한다.
도 5를 참조하면, 손목 부위 큰 관심영역 추출부(310)는 뼈 영상 이진화부(311), 노이즈 제거부(312), 윤곽선 표시부(313), 손목 중심선 산출부(314), 손목 영상 회전부(315) 및 손목 관심영역 추출부(316)을 포함한다.
뼈 영상 이진화부(311)는 입력된 뼈 영상을 그레이스케일(grayscale) 영상으로 변환하고 임계값을 이용하여 이진화를 수행한다.
노이즈 제거부(312)는 이진화된 영상에서 노이즈를 제거한다. 노이즈 제거부(312)는 영상의 노이즈 제거를 위하여 미디언 필터를 적용할 수 있다.
윤곽선 표시부(313)는 미디언 필터를 적용한 영상에서 윤곽선을 계산해 윤곽선을 제외한 나머지 부분을 모두 다른 색으로 변환한 손 윤곽선 영상을 생성한다.
손목 중심선 산출부(314)는 윤곽선 영상에서 각 가로축 픽셀 라인 별로 좌우측 윤곽선인 부분에 2개의 점을 검출하고, 검출된 두 점을 이용하여 계산한 각 픽셀 라인의 손목 중심점들에 가장 근사한 직선을 산출한다.
손목 영상 회전부(315)는 손목 중심 점에서 구한 직선의 기울어진 각도를 계산하여 원본 뼈 영상 하단부 경계를 기준으로 손목이 바로 서도록 영상을 회전시킨다.
손목 관심영역 추출부(316)는 손목 부위의 상하단부 경계 및 손목의 좌우 윤곽선을 이용하여 손목 부위 큰 관심영역을 추출한다. 손목 관심영역 추출부(316)는 영상을 회전시켰을 때의 손목의 양쪽 끝점의 좌표를 비교하여 y축 값이 높은 점의 좌표를 손목 부위 큰 관심영역의 하단부 경계선의 y축 좌표로 설정하고, 손 영역 중심점은 부위 큰 관심영역 상단부 경계로 설정한다. 손목 관심영역 추출부(316)는 손목의 중심으로부터 가장 가까운 2개의 X좌표를 좌우경계로 설정한다.
손가락 부위 큰 관심영역 추출부(320)는 손가락의 끝 특징점과 손가락 사이의 골 특징점을 이용하여 뼈 영상을 회전시키고, 손가락 끝 특징점 및 손 영역의 중심점을 이용하여 상하경계를 설정하고, 손가락의 양 옆 골 특징점들을 좌우 경계로 설정하여 엄지 부위 큰 관심영역, 중지 부위 큰 관심영역 및 소지 부위 큰 관심영역을 추출한다.
도 6을 참조하면, 손가락 부위 큰 관심영역 추출부(320)는 뼈 영상 특징점 추출부(322), 특징점 직선 산출부(324), 손가락 영상 회전부(326) 및 손가락 관심영역 추출부(328)을 포함한다.
뼈 영상 특징점 추출부(322)는 회전된 뼈 영상을 대상으로 컨벡스 홀(Convex Hull) 방법을 이용해 손가락의 손가락의 끝점 및 손가락 사이의 골을 찾는다.
특징점 직선 산출부(324)는 손가락의 끝점과 왼쪽 또는 오른쪽에 근접해 있는 골을 잇는 특징점 직선을 구한다.
손가락 영상 회전부(326)는 특징점 직선이 원본 뼈 영상 하단부 경계를 기준으로 직각이 되도록 뼈 영상을 회전시킨다.
손가락 관심영역 추출부(328)는 손가락 끝점과 손 영역의 중심점을 이용해 손가락 부위 큰 관심영역의 상하경계 설정하고, 양 옆 골을 이용해 손가락 부위 큰 관심영역의 좌우경계를 설정하여 손가락 관심영역을 추출한다.
작은 관심영역 추출부(400)는 추출한 큰 관심영역에서 작은 관심영역들을 추출한다. 작은 관심영역 추출부(400)는 손목 부위 큰 관심영역에서 요골(Radius) 관심영역 및 척골(Ulna) 관심영역을 추출한다. 작은 관심영역 추출부(400)는 엄지 부위 큰 관심영역에서 엄지 원위부 지골(1st Distal Phalanx) 관심영역, 엄지 근위부 지골(1st Proximal Phalanx) 관심영역 및 엄지 중수골(1st Metacarpal) 관심영역을 포함한다. 작은 관심영역 추출부(400)는 중지 부위 큰 관심영역에서 중지 원위부 지골(3rd Distal Phalanx) 관심영역, 중지 중간부 지골(3rd Middle Phalanx) 관심영역, 중지 근위부 지골(3rd Proximal Phalanx) 관심영역 및 중지 중수골(3rd Metacarpal) 관심영역을 포함한다. 작은 관심영역 추출부(400)는 소지 부위 큰 관심영역에서 소지 원위부 지골(5th Distal Phalanx) 관심영역, 소지 중간부 지골(5th Middle Phalanx) 관심영역, 소지 근위부 지골(5th Proximal Phalanx) 관심영역 및 소지 중수골(5th Metacarpal) 관심영역을 포함한다.
도 7을 참조하면, 작은 관심영역 추출부(400)는 합성곱 신경망 특징 맵 추출부(410), 세부 관심영역 학습부(420) 및 세부 관심영역 추출부(430)을 포함한다.
합성곱 신경망 특징 맵 추출부(410)는 입력된 큰 관심영역의 뼈 영상에서 공유 합성곱 층을 통하여 특징맵(Feature Map)을 추출한다. 여기서, 공유 합성곱 층은 여러 가지 신경망을 적용시킬 수 있으며, 예를 들면, ZF net을 사용할 수 있다.
세부 관심영역 학습부(420)는 큰 관심영역에서 작은 관심영역을 추출하기 위하여 학습데이터를 이용하여 학습한다. 여기서, 학습데이터는 큰 관심영역 뼈 영상과 작은 관심영역의 뼈 영상에서의 좌 상단, 우 하단 좌표를 이용할 수 있다. 세부 관심영역 학습부(420)는 학습 데이터를 부위별로 큰 관심영역을 학습시킬 수 있다.
세부 관심영역 추출부(430)는 영역 제안 신경망에서 슬라이딩 윈도우(Sliding Window) 기법을 적용하여 영상의 각 위치에 대한 연산을 수행하여 특징 벡터를 생성하고, 생성한 특징 벡터를 이용하여 후보 영역의 위치 및 크기와 후보 영역에 대해 산출한 예측점수(Score)에 기초하여 작은 관심영역을 추출한다.
뼈 등급 산출부(500)는 복수의 종류의 컨벌루션 신경망을 구축하고 앙상블을 형성하여 뼈 등급을 산출한다.
도 8을 참조하면, 뼈 등급 산출부(500)는 뼈 등급 합성곱 신경망 학습부(510) 및 뼈 등급 예측부(820)을 포함한다.
뼈 등급 합성곱 신경망 학습부(510)는 제1 컨벌루션 신경망 및 제2 컨벌루션 신경망 구조에 대해 학습데이터를 이용하여 학습을 수행한다. 여기서, 학습 데이터는 컨벌루션 신경망(CNN)으로 추출한 관심영역 뼈 영상과 임상의가 판독한 각 관심영역의 뼈 등급 정보를 사용할 수 있다.
뼈 등급 예측부(820)는 제1 컨벌루션 신경망 및 제2 컨벌루션 신경망을 구축하고 앙상블을 형성하여 뼈 등급을 예측한다. 여기서, 제1 컨벌루션 신경망은 예를 들면, 알렉스 네트(Alex net), 제2 컨벌루션 신경망은 예를 들면, 브이지지 네트(VGG net)일 수 있다.
뼈 나이 판독부(600)는 예측한 13개의 작은 관심영역의 뼈 등급을 이용하여 최종적으로 뼈 나이를 판독한다. 뼈 나이 판독 장치(100)는 예를 들면, TW3기법을 사용하여 예측한 13개의 작은 관심영역의 뼈 등급을 이용하여 RUS(Radius, Ulna and Short bones) 점수를 산출할 수 있으며, 이를 뼈 나이로 환산할 수 있다.
도 9 내지 도 22는 본 발명의 일 실시 예에 따른 뼈 나이 판독 방법을 설명하기 위한 도면들이다.
도 9를 참조하면, 단계 S910에서, 뼈 나이 판독 장치(100)는 뼈 나이 측정 대상의 손 부분의 뼈 영상을 입력한다. 일 실시 예에서, 뼈 나이 판독 장치(100)는 엑스레이, MRI, 초음파, CT 등의 기술을 이용하여 뼈 나이 측정 대상의 뼈를 촬영할 수 있다. 일 실시 예에서, 뼈 나이 판독 장치(100)는 유무선 통신, USB포트, SD카드 등을 이용하여 이미 촬영된 뼈 영상을 입력 받을 수 있다. 일 실시 예에서, 뼈 나이 판독 장치(100)는 스캐너를 이용하여 이미 출력된 뼈 영상을 입력 받을 수 있다.
단계 S920에서, 뼈 나이 판독 장치(100)는 입력된 뼈 영상에서 큰 관심영역을 추출한다. 구체적으로, 뼈 나이 판독 장치(100)는 입력된 손 부분의 뼈 영상에서 손목 부위 큰 관심영역, 엄지 부위 큰 관심영역, 중지 부위 큰 관심영역 및 소지 부위 큰 관심영역을 추출한다.
뼈 나이 판독 장치(100)는 입력된 뼈 영상에서 손목 부위 큰 관심영역을 추출하기 위해서는 입력 손 부분의 뼈 영상에서 손목 부분을 찾아야 한다. 이를 위해 첫 번째로 수행되는 과정은 영상의 회전을 통해 손목의 모양을 직각으로 세우는 과정이며 상세 동작 과정은 도 10의 순서로 이루어진다.
도 10을 참조하면, 단계 S1010에서, 뼈 나이 판독 장치(100)는 입력된 뼈 영상을 그레이스케일(grayscale) 영상으로 변환하고 임계값을 이용하여 이진화를 수행한다. 이 때 사용되는 임계 값의 예로는 영상에서 손목이 존재하는 하단부, 즉 도 11에서와 같이 영상 하단부 픽셀 값들의 평균을 이용할 수도 있다.
단계 S1020에서, 뼈 나이 판독 장치(100)는 이진화된 영상에서 노이즈를 제거하고 경계선을 완만하게 만들어준다. 뼈 나이 판독 장치(100)는 노이즈 제거를 위해서는 미디언 필터(median filter) 등 다양한 필터를 적용하여 수행 가능하다.
도 12는 원본 뼈 영상으로부터 1단계 및 2단계 과정을 거친 영상의 변화를 나타낸다. 특히 도 12는 영상의 노이즈 제거를 위한 미디언 필터를 사용한 예이다.
단계 S1030에서, 뼈 나이 판독 장치(100)는 손목 부위의 가운데 점을 검사하기 위해 손의 윤곽선 영상을 생성한다. 뼈 나이 판독 장치(100)는 미디언 필터를 적용한 영상에서 윤곽선을 계산해 윤곽선을 제외한 나머지 부분을 모두 검정색으로 변환한 영상을 생성한다. 도 13은 본 발명의 일 실시 예에 따른 손의 윤곽선을 나타낸다.
단계 S1030에서, 뼈 나이 판독 장치(100)는 윤곽선 영상 하단부의 우측에서부터 좌측으로 접근하면서 픽셀 값을 검사하여 흰색일 경우 좌표를 저장한다. 뼈 나이 판독 장치(100)는 가로축 픽셀 라인에 존재하는 윤곽선의 좌표가 되고, 영상 하단부에서 상단부 방향으로 임의의 픽셀 라인 수만큼 검사한다. 도 14는 본 발명의 일 실시 예에 따른 픽셀 라인 검사의 결과의 예시를 나타낸다.
단계 S1040에서, 뼈 나이 판독 장치(100)는 각 가로축 픽셀 라인별로 좌/우측 윤곽선인 부분에 2개의 점 (도 14의 o 표시)이 검출되며, 이 두 점을 이용하여 각 픽셀 라인의 손목 중심점을 계산한다(도 14의 x 표시). 즉 뼈 나이 판독 장치(100)는 o로 표시된 부분은 손목과 배경의 경계를 의미하며, x로 표시된 부분은 손목의 좌/우 중심선으로 해석될 수 있다. 도 14는 검사의 결과를 가시화하기 위해 점을 일정구간마다 표시하였지만, 하나의 픽셀 라인 별로 검사가 이루어질 수도 있다.
단계 S1050에서, 뼈 나이 판독 장치(100)는 손목 중심 점들을 이용하여 손목 중심 점들에 가장 근접한 직선을 구한다. 뼈 나이 판독 장치(100)는 회귀 분석, RANSAC(RANdom SAmple Consensus) 등을 이용하여 가장 근접한 직선을 구할 수 있다.
단계 S1060에서, 뼈 나이 판독 장치(100)는 손목 중심 점에서 구한 직선의 기울어진 각도를 계산하여 손목이 바로 서도록 영상을 회전시킨다. 도 15는 본 발명의 일 실시 예에 따른 손목이 직각이 되도록 회전한 결과를 나타낸다.
단계 S1070에서, 뼈 나이 판독 장치(100)는 원본 뼈 영상에서의 손목의 양쪽 끝점(도 15의 좌측 그림에서 *로 표시)과 손목을 직각으로 만들기 위해 영상을 회전시켰을 때의 손목의 양쪽 끝점(도 15의 우측 그림에서 *로 표시)의 좌표를 비교하여 y축 값이 높은 점의 좌표를 손목 부위 큰 관심영역의 하단부 경계선의 y축 좌표로 설정한다. 도 15는 본 발명의 일 실시 예에 따른 뼈 영상과 이를 왼쪽으로 일정 각도 회전한 영상을 이용한 손목 부위 큰 관심영역 하단부 경계를 설정하기 위한 예시이다. 도 15의 선은 손목 부위 큰 관심영역의 하단부 경계를 나타낸다.
단계 S1080에서, 뼈 나이 판독 장치(100)는 손 윤곽선 영상을 이용하여 손 영역의 중심점을 계산한다. 뼈 나이 판독 장치(100)는 영역 중심점을 계산하기 위해서는 예를 들면, 모멘트(Moments) 등 다양한 방법이 적용 가능하다. 뼈 나이 판독 장치(100)는 계산된 손 영역 중심점은 부위 큰 관심영역 상단부 경계로 사용한다. 도 16은 손목 부위 큰 관심영역의 상단부 경계 설정에 사용되는 중심점(+로 표시)과 상단부 경계(점선)를 나타낸다.
손목 부위 큰 관심영역 추출 방법
단계 S1090에서, 뼈 나이 판독 장치(100)는 손목 부위 큰 관심영역의 좌우 경계를 구하기 위해 우선 손목의 좌우 윤곽선을 구한다. 뼈 나이 판독 장치(100)는 가로축 픽셀 라인 별로 손목의 중심점으로부터 손목의 경계선이 나올 때까지 좌우 방향으로 접근하면서 픽셀 값을 검사한다. 도 16의 굵은 실선은 검출된 손목의 좌우 윤곽선을 나타낸다.
단계 S1100에서, 뼈 나이 판독 장치(100)는 픽셀 라인 별로 손과 배경간의 경계선이 추출되고, 해당 X 좌표를 기록한다. 뼈 나이 판독 장치(100)는 최종적으로 검사를 진행하면서 손목의 중심으로부터 가장 가까운 X좌표를 좌우에서 각각 1개씩 얻는다. 뼈 나이 판독 장치(100)는 얻은 2개의 X 좌표를 손목 부위 큰 관심영역의 좌우경계에 사용한다. 도 16은 손과 배경간의 경계선과 부위 큰 관심영역의 좌우경계를 굵은 실선과 가는 실선으로 나타낸다.
단계 S1110에서, 뼈 나이 판독 장치(100)는 상하 경계와 좌우 경계를 이용해 회전된 영상으로부터 손목 부위 큰 관심영역을 추출한다. 도 16의 사각형은 추출된 손목 부위 큰 관심영역을 나타낸다.
뼈 나이 판독 장치(100)는 손 영역의 중심점과 손목 하단의 양 끝점 중 더 위에 존재하는 점을 이용해 손목 부위 큰 관심영역의 상하경계를 구하고, 손과 배경의 경계선을 검사해 배경이 포함되지 않도록 좌우경계를 구한다.
손가락 부위 큰 관심영역 추출 방법
뼈 나이 판독 장치(100)는 손가락의 끝과 손가락 사이 사이의 골을 찾고, 각 점들을 이용해 엄지, 중지, 소지의 큰 관심영역을 추출 할 수 있다.
도 17을 참조하면, 단계 S1710에서 뼈 나이 판독 장치(100)는 회전된 뼈 영상을 대상으로 컨벡스 홀(Convex Hull) 방법을 이용해 손가락의 특징점을 찾는다.
도 18 (a)을 참조하면, 뼈 나이 판독 장치(100)는 o 표시와 x 표시 중 더 높이 위치한 점을 손가락의 끝점, * 표시를 손가락 사이의 골 등의 특징점을 찾는다.
단계 S1720에서 뼈 나이 판독 장치(100)는 도 18(b)과 같이, 큰 관심영역을 추출할 손가락의 끝점과 왼쪽 또는 오른쪽에 근접해 있는 골을 잇는 직선을 구한다.
단계 S1730에서 뼈 나이 판독 장치(100)는 도 18(c)와 같이, 직선이 영상의 아래 면에 직각이 되도록 영상을 회전시킨다.
단계 S1740에서 뼈 나이 판독 장치(100)는 픽셀 라인 별로 해당 손가락의 좌우 경계점을 구한 뒤, 두 점의 가운데 점들을 찾는다. 뼈 나이 판독 장치(100)는 손가락 끝점과, 골의 점의 중간 지점까지 검사한다. 도 18(d)은 손가락과 배경의 경계점을 굵은 실선으로 나타내고, 손가락의 가운데 점을 실선으로 나타낸다.
단계 S1750에서 뼈 나이 판독 장치(100)는 가운데 점들에 가장 근접한 직선을 찾고, 직선이 기울어진 각도를 계산해 직선을 직각이 되도록 회전시켜 해당 손가락을 바로 세운다. 도 19는 가운데 점에 가장 근접한 직선을 이용해 손가락을 직각으로 세우는 과정을 나타낸다.
단계 S1760에서 뼈 나이 판독 장치(100)는 손가락 끝점의 Y좌표와 손 영역의 중심점 Y좌표를 이용해 큰 관심영역의 상하경계 설정하고, 양 옆 골의 점 X좌표를 이용해 큰 관심영역의 좌우경계를 설정한다. 도 20은 경계에 이용된 점들을 * 표시, 손가락 부위 큰 관심영역을 실선 박스로 나타낸다.
뼈 나이 판독 장치(100)는 도 21과 같이, 손목부위, 엄지부위, 중지부위, 소지부위 등 4개의 큰 관심영역을 추출한다.
뼈 나이 판독 장치(100)는 이후 각각의 큰 관심영역은 종류별로 13개의 작은 관심영역을 추출하고, 뼈 등급 판독을 수행한다.
작은 관심영역 추출 단계
뼈 나이 판독 장치(100)는 큰 관심영역에 포함되어 있는 작은 관심영역을 추출하기 위해서는 대상 감지(Object Detection)를 위한 컨벌루션 신경망 알고리즘을 적용한다. 여기서, 컨벌루션 신경망 알고리즘은 예를 들면, 더빠른 영역기초 컨벌루션 신경망(Faster RCNN; Faster Region based Convolutional Neutral Network) 알고리즘일 수 있다.
도 22 내지 도 24는 본 발명의 일 실시 예에 따른 더빠른 영역기초 컨벌루션 신경망 알고리즘을 설명하기 위한 도면들.
도 22 및 도 23을 참조하면, 단계 S2310에서, 뼈 나이 판독 장치(100)는 입력된 큰 관심영역의 뼈 영상에서 공유 합성곱 층을 통하여 특징맵(Feature Map)을 추출한다. 여기서, 공유 합성곱 층은 여러 가지 신경망을 적용시킬 수 있으며, 예를 들면, ZF net을 사용할 수 있다.
단계 S2320에서, 뼈 나이 판독 장치(100)는 영역 제안 신경망에서 작은 관심영역 후보를 검색한다.
도 24를 참조하면, 뼈 나이 판독 장치(100)는 영역 제안 신경망의 세부 동작 내용으로 예를 들면, 슬라이딩 윈도우(Sliding Window) 기법을 적용할 수 있다.
단계 S2410에서 뼈 나이 판독 장치(100)는 슬라이딩 윈도우를 특징맵에서 순차적으로 옮겨가면서 영상의 각 위치에 대한 연산을 수행하여 특징 벡터를 생성한다. 우선, 뼈 나이 판독 장치(100)는 각 슬라이딩 윈도우를 특징맵의 중앙을 기준으로 크기비율(Scale) 및 종횡비(Aspect Ratio)가 고려된 기준 영역(Anchor Box)를 설정한다. 뼈 나이 판독 장치(100)는 예를 들면, 크기비율은 128, 256 및 512 등 3가지를 사용할 수 있으며, 종횡비는 1:1, 1:2 및 2:1 등 3가지를 사용하여 각 슬라이딩 윈도우마다 9개의 기준영역을 사용할 수 있다. 이후 뼈 나이 판독 장치(100)는 각각의 슬라이딩 윈도우에 대해 연산을 통해서 특징 벡터들을 생성한다.
단계 S2420에서 뼈 나이 판독 장치(100)는 생성한 특징 벡터를 두 개의 완전 연결 층(Fully Connected Layer)을 통해 각각 후보 영역의 위치 및 크기와 해당 후보 영역의 예측점수(Score)를 산출한다.
단계 S2430에서 뼈 나이 판독 장치(100)는 예측점수(score)가 높은 후보영역 기준으로 영역간의 교집합 넓이 및 영역간의 합집합 넓이(IoU; Intersection of Union)를 미리 설정된 기준, 예를 들면, 0.7로 설정하여 겹치는 후보 영역을 제외한다.
단계 S2440에서 뼈 나이 판독 장치(100)는 남은 후보 영역에 대해 예측점수(score)를 기준으로 상위 N개의 후보 영역을 설정한다.
다시 도 23을 참조하면, 단계 S2330에서, 뼈 나이 판독 장치(100)는 작은 관심영역에 대한 후보 영역을 관심영역 풀링(ROI Pooling)을 거치면서 일정 크기의 특징 벡터를 추출한다.
단계 S2340에서, 뼈 나이 판독 장치(100)는 추출한 특징 벡터를 완전 연결 층(Fully Connected Layer)의 입력으로 사용한다.
단계 S2350에서, 뼈 나이 판독 장치(100)는 두 개의 영역 위치 및 크기 연산을 위한 완전 연결 층을 거치면서 최종적인 영역의 크기 및 위치와 예측점수를 결정한다.
단계 S2360에서, 뼈 나이 판독 장치(100)는 최종적인 영역의 크기 및 위치와 예측점수에 기초하여 작은 관심 영역을 추출한다.
앞 서 설명한 바와 같이, 뼈 나이 판독 장치(100)는 4개의 큰 관심영역(손목 부위 큰 관심영역, 엄지 부위 큰 관심영역, 중지 부위 큰 관심영역 및 소지 부위 큰 관심영역)에서 13개의 작은 관심영역(요골(Radius) 관심영역, 척골(Ulna) 관심영역, 엄지 원위부 지골(1st Distal Phalanx) 관심영역, 엄지 근위부 지골(1st Proximal Phalanx) 관심영역, 엄지 중수골(1st Metacarpal) 관심영역, 중지 원위부 지골(3rd Distal Phalanx) 관심영역, 중지 중간부 지골(3rd Middle Phalanx) 관심영역, 중지 근위부 지골(3rd Proximal Phalanx) 관심영역, 중지 중수골(3rd Metacarpal) 관심영역, 소지 원위부 지골(5th Distal Phalanx) 관심영역, 소지 중간부 지골(5th Middle Phalanx) 관심영역, 소지 근위부 지골(5th Proximal Phalanx) 관심영역 및 소지 중수골(5th Metacarpal) 관심영역)을 추출할 수 있다.
뼈 나이 판독 장치(100)는 4개의 큰 관심영역에서 13개의 작은 관심영역을 추출하기 위하여 우선적으로 학습데이터를 이용하여 학습한다. 여기서, 학습데이터는 큰 관심영역 뼈 영상과 작은 관심영역의 뼈 영상에서의 좌 상단, 우 하단 좌표를 이용할 수 있다. 뼈 나이 판독 장치(100)는 학습 데이터를 부위별로 큰 관심영역을 학습시켜서 총 4개의 모델을 만들고 실험할 때 해당 모델을 사용하여 실험 영상에서 작은 관심영역을 추출할 수 있다.
뼈 등급 판독 단계
뼈 나이 판독 장치(100)는 뼈 등급 판독을 위해서 여러 종류의 컨벌루션 신경망(CNN: Convolution Neural Network)을 구축하고 앙상블을 형성하여 뼈 등급을 판독한다. 특히 뼈 나이 판독 장치(100)는 제1 컨벌루션 신경망 및 제2 컨벌루션 신경망을 구축할 수 있다. 여기서, 제1 컨벌루션 신경망은 예를 들면, 알렉스 네트(Alex net), 제2 컨벌루션 신경망은 예를 들면, 브이지지 네트(VGG net)일 수 있다.
도 25 내지 도 29는 본 발명의 일 실시 예에 따른 컨벌루션 신경망의 구조 및 세부구성을 설명하기 위한 도면들이다.
도 25 내지 도 27을 참조하면, 뼈 나이 판독 장치(100)는 뼈 등급 판독을 위해서 제1 컨벌루션 신경망의 구조는 아래와 같이 설정할 수 있다.
제1 컨벌루션 신경망은 제1 내지 제5 합성곱 층, 제1 내지 제3 완전 연결층 및 소프트맥스 함수를 포함할 수 있다.
제1 내지 제5 합성곱 층은 합성 곱 연산부, 합성곱 활성화 함수부 및 풀링 연산부 중 적어도 2개를 포함할 수 있다. 제1 합성곱 층은 예를 들면, 제1 합성 곱 연산부, 제2 합성곱 활성화 함수부 및 제3 풀링 연산부를 포함할 수 있다.
합성 곱 연산부는 입력된 미리 설정된 크기의 뼈 영상에 대해 합성 곱 연산을 수행한다. 합성 곱 연산부는 예를 들면, 제1 합성곱 층에서 conv7-96로 표시될 수 있으며 227×227 크기의 뼈 영상에 대해 7×7 필터 크기로 합성 곱 연산을 하여 96개의 채널을 산출할 수 있다.
합성곱 활성화 함수부는 relu로 표시될 수 있으며
Figure pat00001
를 이용한 활성화 함수를 이용한다.
풀링 연산부는 최대 값을 적용하는 풀링 연산을 뜻하며, 예를 들면, 제1 합성곱 층에서 maxpool-3-2로 표시될 수 있으며 3×3영역에 대해 최대 값을 취하고 2의 이동간격을 가질 수 있다.
제1 내지 제3 완전 연결 층은 완전 연결 연산부, 완전 활성화 함수부 및 드롭아웃부 중 적어도 1개를 포함한다.
완전 연결 연산부는 노드에 대한 연산 결과를 산출한다. 완전 연결 층은 예를 들면, FC-4096로 표시될 수 있으며, 4096개의 노드에 대한 연산 결과를 산출한다.
완전 활성화 함수부는 합성곱 활성화 함수부(2720)와 동일하며, relu로 표시될 수 있으며,
Figure pat00002
를 이용한 활성화 함수를 이용한다.
드롭아웃부는 심층 신경망의 일반화 효과를 높이기 위해 일정한 확률로 일부 노드를 0으로 만든다.
소프트맥스 함수는 소프트맥스 함수를 통해 확률 값을 결과로 얻는다.
도 28 및 도 29를 참조하면, 뼈 나이 판독 장치(100)는 뼈 등급 판독을 위해서 제2 컨벌루션 신경망의 구조는 아래와 같이 설정할 수 있다.
제2 컨벌루션 신경망은 제1 내지 제4 합성곱 층, 제1 및 제2 완전 연결층 및 소프트맥스 함수를 포함할 수 있다.
제1 내지 제4 합성곱 층은 각각 제1 및 제2 합성 곱 연산부, 제1 및 제2 합성곱 활성화 함수부 및 풀링 연산부를 포함할 수 있다.
제1 완전 연결 층은 완전 연결 연산부, 완전 활성화 함수부 및 드롭아웃부를 포함하며, 제2 완전 연결 층은 완전 연결 연산부를 포함할 수 있다.
뼈 나이 판독 장치(100)는 제1 및 제2 신경망 구조에 대해 학습데이터를 이용하여 학습을 수행한다. 여기서, 학습 데이터는 컨벌루션 신경망(CNN)으로 추출한 관심영역 뼈 영상과 임상의가 판독한 각 관심영역의 뼈 등급 정보를 사용한다. 뼈 나이 판독 장치(100)는 각 관심영역 별로 학습을 진행하여 13개의 모델을 생성하고, 신경망을 두 개 사용하기 때문에 총 26개의 모델이 생성할 수 있다.
도 30은 본 발명의 일 실시 예에 따른 뼈 등급 산출을 설명하기 위한 도면이다.
도 30을 참조하면, 뼈 나이 판독 장치(100)는 앙상블 기법을 사용하여 뼈 등급을 판독한다.
뼈 나이 판독 장치(100)는 제1 컨벌루션 신경망 및 제2 컨벌루션 신경망을 거쳐서 나오는 두 쌍의 확률들의 평균을 구하고, 그 중 가장 큰 확률을 보이는 뼈 등급을 해당 관심영역의 뼈 등급으로 예측한다.
뼈 나이 판독 장치(100)는 예를 들면, A, B, C 총 3개의 뼈 등급을 학습시켜 실험했을 경우 제1 컨벌루션 신경망 및 제2 컨벌루션 신경망을 이용하여 두 쌍의 확률을 구할 수 있다. 뼈 나이 판독 장치(100)는 그 뒤에 앙상블을 적용해 확률이 제일 높게 나온 뼈 등급을 관심영역의 뼈 등급으로 예측한다.
뼈 나이 판독 장치(100)는 예측한 13개의 작은 관심영역의 뼈 등급을 이용하여 최종적으로 뼈 나이를 판독한다. 뼈 나이 판독 장치(100)는 예를 들면, TW3기법을 사용하여 예측한 13개의 작은 관심영역의 뼈 등급을 이용하여 RUS(Radius, Ulna and Short bones) 점수를 산출할 수 있으며, 이를 뼈 나이로 환산할 수 있다.
도 31은 본 발명의 일 실시 예에 따른 기계학습을 위한 데이터증가 방법을 설명하기 위한 도면이다.
도 31을 참조하면, 뼈 나이 판독 장치(100)는 실제 뼈 등급 판독에 쓰이는 영상을 학습데이터로 사용하는데, 많은 수의 판독 영상을 구하기는 현실적으로 불가능하기 때문에 데이터 증가(Data Augmentation) 방법을 이용하여 기계학습을 수행할 수 있다.
도 31과 같이 뼈 나이 판독 장치(100)는 일정 크기로 재설정한 원본 관심영역 뼈 영상을 잘라내어 4장, 좌우로 3도 회전시킨 후 잘라내서 각각 4장을 만들고, 원본 관심영역 영상을 출력 크기로 재설정해서 1장을 만든다. 즉, 뼈 나이 판독 장치(100)는 1장의 관심영역 영상에서 총 13장의 관심영역 영상을 만들어낼 수 있다.
뼈 나이 판독 장치(100)는 컨벌루션 신경망에 사용되는 신경망의 종류에 따라 입력이미지의 사이즈 정해져 있기 때문에 이미지파일의 크기 재설정 과정이 필요한데 이 과정은 데이터 증가 과정에서 이루어 질 수 있다. 본 발명에 따른 제1 컨벌루션 신경망 및 제2 컨벌루션 신경망은 각각 227 x 227과 112 x 112 사이즈의 영상을 입력 뼈 영상으로 할 수 있다. 따라서 학습데이터를 준비할 때 특정 사이즈의 영상을 얻을 수 있도록 계산에 따라 데이터 증가 과정의 설정 값을 달리할 수 있다.
도 32은 본 발명의 일 실시 예에 따른 뼈 나이 판독 방법의 정확도를 설명하기 위한 도면이다.
도 32은 본 발명의 일 실시 예에 따른 뼈 나이 판독 방법을 이용하여 각 관심영역 별 가장 판독이 어려운 뼈 등급을 대상으로 자동 판독했을 때의 정확도를 나타낸다. 여기서, Top1 정확도는 테스트용으로 주어진 작은 관심영역의 실제 등급과 본 발명에서 자동 판독한 뼈 등급이 서로 일치하는 확률을 나타내며, Top 2 정확도는 주어진 테스트용 관심영역에 대해서 2개의 뼈 등급을 예측했을 때 그 중 하나가 실제 뼈 등급과 일치하는 확률을 나타낸다. 실험에 사용된 영상은 0세에서 19세까지의 대한민국 남녀 환아 2000여명의 왼손 X-Ray 사진을 이용하였으며, 10-Fold Validation을 이용한 실험 결과이다.
본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
200: 뼈 영상 입력부
300: 큰 관심영역 추출부
400: 작은 관심영역 추출부
500: 뼈 등급 산출부
600: 뼈 나이 판독부

Claims (20)

  1. 뼈 나이 판독 장치에 있어서,
    손 부분의 뼈 영상을 입력하는 뼈 영상 입력부;
    입력된 손 부분의 뼈 영상에서 큰 관심영역을 추출하는 큰 관심영역 추출부;
    추출한 큰 관심영역에서 작은 관심영역들을 추출하는 작은 관심영역 추출부;
    추출한 각각의 작은 관심영역 영상에 대해 복수의 종류의 컨벌루션 신경망을 적용하고 앙상블을 형성하여 뼈 등급을 산출하는 뼈 등급 산출부; 및
    작은 관심영역의 뼈 등급을 이용하여 뼈 나이를 판독하는 뼈 나이 판독부를 포함하는 뼈 나이 판독 장치.
  2. 제1 항에 있어서,
    상기 큰 관심영역 추출부는
    상기 손 부분의 뼈 영상에서 손목의 모양을 직각으로 세우기 위하여 뼈 영상을 회전시키고, 손목 부위의 상하단부 경계 및 손목의 좌우 윤곽선을 이용하여 손목 부위 큰 관심영역을 추출하는 손목 부위 큰 관심영역 추출부; 및
    손가락의 끝 특징점과 손가락 사이의 골 특징점을 이용하여 뼈 영상을 회전시키고, 손가락 끝 특징점 및 손 영역의 중심점을 이용하여 상하경계를 설정하고, 손가락의 양 옆 골 특징점들을 좌우 경계로 설정하여 엄지 부위 큰 관심영역, 중지 부위 큰 관심영역 및 소지 부위 큰 관심영역을 추출하는 손가락 부위 큰 관심영역 추출부를 포함하는 뼈 나이 판독 장치.
  3. 제2 항에 있어서,
    상기 손목 부위 큰 관심영역 추출부는
    입력된 뼈 영상을 그레이스케일 영상으로 변환하고 임계값을 이용하여 이진화를 수행하는 뼈 영상 이진화부;
    이진화된 영상에서 노이즈를 제거하는 노이즈 제거부; 및
    노이즈가 제거된 이진화된 영상에서 손 윤곽선 영상을 생성하는 윤곽선 표시부를 포함하는 뼈 나이 판독 장치.
  4. 제3 항에 있어서,
    상기 손목 부위 큰 관심영역 추출부는
    상기 손 윤곽선 영상에서 각 가로축 픽셀 라인 별로 좌우측 윤곽선인 부분에 2개의 점을 검출하고, 검출된 두 점을 이용하여 계산한 각 픽셀 라인의 손목 중심점들에 가장 근사한 직선을 산출하는 손목 중심선 산출부;
    상기 산출한 직선의 기울어진 각도를 계산하여 원본 뼈 영상 하단부 경계를 기준으로 손목이 직각이 되도록 뼈 영상을 회전한 손목 영상 회전부; 및
    손목 부위의 상하단부 경계 및 손목의 좌우 윤곽선을 이용하여 손목 부위 큰 관심영역을 추출하는 손목 관심영역 추출부를 더 포함하는 뼈 나이 판독 장치.
  5. 제2 항에 있어서,
    상기 손가락 부위 큰 관심영역 추출부는
    뼈 영상을 대상으로 컨벡스 홀 방법을 이용해 손가락의 손가락의 끝점 및 손가락 사이의 골을 찾는 뼈 영상 특징점 추출부;
    손가락의 끝점과 왼쪽 또는 오른쪽에 근접해 있는 골을 잇는 특징점 직선을 구하는 특징점 직선 산출부;
    특징점 직선이 원본 뼈 영상 하단부 경계를 기준으로 직각이 되도록 뼈 영상을 회전하는 손가락 영상 회전부; 및
    손가락 끝점과 손 영역의 중심점을 이용해 손가락 부위 큰 관심영역의 상하경계 설정하고, 양 옆 골을 이용해 손가락 부위 큰 관심영역의 좌우경계를 설정하여 손가락 관심영역을 추출하는 손가락 관심영역 추출부를 포함하는 뼈 나이 판독 장치.
  6. 제1 항에 있어서,
    상기 작은 관심영역 추출부는
    입력된 큰 관심영역의 뼈 영상에서 공유 합성곱 층을 통하여 특징맵을 추출하는 합성곱 신경망 특징 맵 추출부;
    큰 관심영역에서 작은 관심영역을 추출하기 위하여 학습데이터를 이용하여 학습하는 세부 관심영역 학습부; 및
    영역 제안 신경망에서 슬라이딩 윈도우 기법을 적용하여 영상의 각 위치에 대한 연산을 수행하여 특징 벡터를 생성하고, 생성한 특징 벡터를 이용하여 후보 영역의 위치 및 크기와 후보 영역에 대해 산출한 예측점수(Score)에 기초하여 작은 관심영역을 추출하는 세부 관심영역 추출부를 포함하는 뼈 나이 판독 장치.
  7. 제6 항에 있어서,
    상기 작은 관심 영역은
    손목 부위의 요골(Radius) 관심영역, 척골(Ulna) 관심영역, 엄지 원위부 지골(1st Distal Phalanx) 관심영역, 엄지 근위부 지골(1st Proximal Phalanx) 관심영역, 엄지 중수골(1st Metacarpal) 관심영역, 중지 원위부 지골(3rd Distal Phalanx) 관심영역, 중지 중간부 지골(3rd Middle Phalanx) 관심영역, 중지 근위부 지골(3rd Proximal Phalanx) 관심영역, 중지 중수골(3rd Metacarpal) 관심영역, 소지 원위부 지골(5th Distal Phalanx) 관심영역, 소지 중간부 지골(5th Middle Phalanx) 관심영역, 소지 근위부 지골(5th Proximal Phalanx) 관심영역 및 소지 중수골(5th Metacarpal) 관심영역 중 적어도 하나를 포함하는 뼈 나이 판독 장치.
  8. 제1 항에 있어서,
    상기 뼈 등급 산출부는
    제1 컨벌루션 신경망 및 제2 컨벌루션 신경망 구조에 대해 학습데이터를 이용하여 학습을 수행하는 뼈 등급 합성곱 신경망 학습부; 및
    추출한 각각의 작은 관심영역 영상에 대해 제1 컨벌루션 신경망 및 제2 컨벌루션 신경망을 구축하고 앙상블을 형성하여 뼈 등급을 예측하는 뼈 등급 예측부를 포함하는 뼈 나이 판독 장치.
  9. 제8 항에 있어서,
    제1 컨벌루션 신경망은 제1 내지 제5 합성곱 층, 제1 내지 제3 완전 연결층 및 소프트맥스 함수를 포함하고,
    제2 컨벌루션 신경망은 제1 내지 제4 합성곱 층, 제1 및 제2 완전 연결층 및 소프트맥스 함수를 포함하는 뼈 나이 판독 장치.

  10. 제1 항에 있어서,
    상기 뼈 나이 판독부는 TW3기법을 사용하여 예측한 13개의 작은 관심영역의 뼈 등급을 이용하여 RUS(Radius, Ulna and Short bones) 점수를 산출하고 산출된 RUS 점수를 뼈 나이로 환산하는 뼈 나이 판독 장치.
  11. 뼈 나이 판독 장치가 뼈 나이를 판독하는 방법에 있어서,
    손 부분의 뼈 영상을 입력하는 단계;
    입력된 손 부분의 뼈 영상에서 큰 관심영역을 추출하는 단계;
    추출한 큰 관심영역에서 작은 관심영역들을 추출하는 단계;
    추출한 각각의 작은 관심영역 영상에 대해 복수의 종류의 컨벌루션 신경망을 적용하고 앙상블을 형성하여 뼈 등급을 산출하는 단계; 및
    작은 관심영역의 뼈 등급을 이용하여 뼈 나이를 판독하는 단계를 포함하는 뼈 나이 판독 방법.
  12. 제11 항에 있어서,
    상기 큰 관심영역을 추출하는 단계는
    손목 부위 큰 관심영역을 추출하는 단계; 및
    엄지 부위 큰 관심영역, 중지 부위 큰 관심영역 및 소지 부위 큰 관심영역을 추출하는 단계를 포함하는 뼈 나이 판독 방법.
  13. 제12 항에 있어서,
    상기 손목 부위 큰 관심영역을 추출하는 단계는
    입력된 뼈 영상을 그레이스케일 영상으로 변환하고 임계값을 이용하여 이진화를 수행하는 단계;
    이진화된 영상에서 노이즈를 제거하는 단계; 및
    노이즈가 제거된 이진화된 영상에서 손 윤곽선 영상을 생성하는 단계를 포함하는 뼈 나이 판독 방법.
  14. 제13 항에 있어서,
    상기 손목 부위 큰 관심영역을 추출하는 단계는
    상기 손 윤곽선 영상에서 각 가로축 픽셀 라인 별로 좌우측 윤곽선인 부분에 2개의 점을 검출하고, 검출된 두 점을 이용하여 계산한 각 픽셀 라인의 손목 중심점들에 가장 근사한 직선을 산출하는 단계;
    상기 산출한 직선의 기울어진 각도를 계산하여 원본 뼈 영상 하단부 경계를 기준으로 손목이 직각이 되도록 뼈 영상을 회전하는 단계; 및
    손목 부위의 상하단부 경계 및 손목의 좌우 윤곽선을 이용하여 손목 부위 큰 관심영역을 추출하는 단계를 더 포함하는 뼈 나이 판독 방법.
  15. 제12 항에 있어서,
    상기 엄지 부위 큰 관심영역, 중지 부위 큰 관심영역 및 소지 부위 큰 관심영역을 추출하는 단계는
    뼈 영상을 대상으로 컨벡스 홀 방법을 이용해 손가락의 손가락의 끝점 및 손가락 사이의 골을 찾는 단계;
    손가락의 끝점과 왼쪽 또는 오른쪽에 근접해 있는 골을 잇는 특징점 직선을 구하는 단계;
    특징점 직선이 원본 뼈 영상 하단부 경계를 기준으로 직각이 되도록 뼈 영상을 회전하는 단계; 및
    손가락 끝점과 손 영역의 중심점을 이용해 손가락 부위 큰 관심영역의 상하경계 설정하고, 양 옆 골을 이용해 손가락 부위 큰 관심영역의 좌우경계를 설정하여 손가락 관심영역을 추출하는 단계를 포함하는 뼈 나이 판독 방법.
  16. 제11 항에 있어서,
    상기 추출한 큰 관심영역에서 작은 관심영역들을 추출하는 단계는
    입력된 큰 관심영역의 뼈 영상에서 공유 합성곱 층을 통하여 특징맵을 추출하는 단계;
    큰 관심영역에서 작은 관심영역을 추출하기 위하여 학습데이터를 이용하여 학습하는 단계; 및
    영역 제안 신경망에서 슬라이딩 윈도우 기법을 적용하여 영상의 각 위치에 대한 연산을 수행하여 특징 벡터를 생성하고, 생성한 특징 벡터를 이용하여 후보 영역의 위치 및 크기와 후보 영역에 대해 산출한 예측점수(Score)에 기초하여 작은 관심영역을 추출하는 단계를 포함하는 뼈 나이 판독 방법.
  17. 제11항에 있어서,
    상기 추출한 각각의 작은 관심영역 영상에 대해 복수의 종류의 컨벌루션 신경망을 적용하고 앙상블을 형성하여 뼈 등급을 산출하는 단계는
    제1 컨벌루션 신경망 및 제2 컨벌루션 신경망 구조에 대해 학습데이터를 이용하여 학습을 수행하는 단계; 및
    추출한 각각의 작은 관심영역 영상에 대해 제1 컨벌루션 신경망 및 제2 컨벌루션 신경망을 구축하고 앙상블을 형성하여 뼈 등급을 예측하는 단계를 포함하는 뼈 나이 판독 방법.
  18. 제17 항에 있어서,
    제1 컨벌루션 신경망은 제1 내지 제5 합성곱 층, 제1 내지 제3 완전 연결층 및 소프트맥스 함수를 포함하고,
    제2 컨벌루션 신경망은 제1 내지 제4 합성곱 층, 제1 및 제2 완전 연결층 및 소프트맥스 함수를 포함하는 뼈 나이 판독 방법.
  19. 제18 항에 있어서,
    제1 컨벌루션 신경망은 알렉스 네트(Alex net), 제2 컨벌루션 신경망은 브이지지 네트(VGG net)인 뼈 나이 판독 방법.
  20. 제 11항 내지 제19항 중 어느 하나의 뼈 나이 판독 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터가 판독 가능한 기록매체.
KR1020170107922A 2017-08-25 2017-08-25 영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법 KR101961215B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170107922A KR101961215B1 (ko) 2017-08-25 2017-08-25 영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170107922A KR101961215B1 (ko) 2017-08-25 2017-08-25 영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190023003A true KR20190023003A (ko) 2019-03-07
KR101961215B1 KR101961215B1 (ko) 2019-03-27

Family

ID=65760771

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170107922A KR101961215B1 (ko) 2017-08-25 2017-08-25 영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101961215B1 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948522A (zh) * 2019-03-18 2019-06-28 浙江工业大学 一种基于深度神经网络的x光片手骨成熟度判读方法
KR20200025889A (ko) * 2018-08-31 2020-03-10 서울대학교산학협력단 영상 복원 장치 및 방법
CN111080579A (zh) * 2019-11-28 2020-04-28 杭州电子科技大学 基于深度学习实现图像分割和分类的骨龄评估方法
WO2020196939A1 (ko) * 2019-03-25 2020-10-01 본와이즈 주식회사 치아의 골 연령을 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
KR20200121550A (ko) * 2019-04-16 2020-10-26 연세대학교 산학협력단 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스
KR20200121608A (ko) * 2019-04-16 2020-10-26 고려대학교 산학협력단 골 연령 추정 방법 및 장치
WO2021010777A1 (ko) * 2019-07-17 2021-01-21 주식회사 크레스콤 관절염 심각도 정밀 분석 장치 및 방법
KR20210097361A (ko) * 2020-01-30 2021-08-09 경기대학교 산학협력단 골 연령 자동 판독 장치 및 방법
KR20210158284A (ko) * 2020-06-23 2021-12-30 주식회사 뷰노 골 영상으로부터 골 연령을 판독하는 방법
KR20220001177A (ko) * 2020-06-29 2022-01-05 연세대학교 산학협력단 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치 및 이를 위한 방법
KR20220001403A (ko) * 2020-06-29 2022-01-05 주식회사 뷰노 골 연령 판독 방법 및 장치
KR20230008279A (ko) * 2021-07-06 2023-01-16 주식회사 크레스콤 척추염 분석 방법, 장치 및 컴퓨터 프로그램
KR102500237B1 (ko) 2022-10-13 2023-02-16 주식회사 안심엘피씨 모형을 이용한 ar/vr 발골 교육 방법, 장치 및 시스템
WO2023054967A1 (ko) * 2021-09-29 2023-04-06 주식회사 엘지생활건강 나이 추정 장치
WO2024048918A1 (ko) * 2022-08-31 2024-03-07 주식회사 크레스콤 골 성장 단계의 분석 방법, 골 성장 단계 분석 장치, 및 골 성장 단계 분석 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102043672B1 (ko) * 2019-03-29 2019-11-12 주식회사 딥노이드 딥러닝 기반의 병변 판독 시스템 및 방법
WO2022005091A1 (ko) * 2020-06-29 2022-01-06 주식회사 뷰노 골 연령 판독 방법 및 장치
US11963790B2 (en) 2020-11-19 2024-04-23 Merative Us L.P. Estimating spinal age

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060008849A (ko) * 2005-12-23 2006-01-27 학교법인 한양학원 Ｔｗ2 영상의 기하학적 특성값 정의를 이용한 뼈 나이 측정방법 및 장치
KR100715763B1 (ko) * 2006-03-15 2007-05-08 재단법인서울대학교산학협력재단 아틀라스 매칭법을 이용한 뼈 나이 평가방법
KR20090030167A (ko) * 2007-09-19 2009-03-24 한양대학교 산학협력단 골단판 영상 추출장치 및 방법
KR20160099442A (ko) * 2015-02-11 2016-08-22 경기대학교 산학협력단 뼈 나이 측정 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060008849A (ko) * 2005-12-23 2006-01-27 학교법인 한양학원 Ｔｗ2 영상의 기하학적 특성값 정의를 이용한 뼈 나이 측정방법 및 장치
KR100715763B1 (ko) * 2006-03-15 2007-05-08 재단법인서울대학교산학협력재단 아틀라스 매칭법을 이용한 뼈 나이 평가방법
KR20090030167A (ko) * 2007-09-19 2009-03-24 한양대학교 산학협력단 골단판 영상 추출장치 및 방법
KR20160099442A (ko) * 2015-02-11 2016-08-22 경기대학교 산학협력단 뼈 나이 측정 장치 및 방법

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200025889A (ko) * 2018-08-31 2020-03-10 서울대학교산학협력단 영상 복원 장치 및 방법
CN109948522A (zh) * 2019-03-18 2019-06-28 浙江工业大学 一种基于深度神经网络的x光片手骨成熟度判读方法
JP2022521136A (ja) * 2019-03-25 2022-04-06 ボンワイズインコーポレイテッド 歯の骨年齢を決定するための装置、方法及び命令を記録した記録媒体
US11961235B2 (en) 2019-03-25 2024-04-16 Bonewise Inc. Apparatus, method and recording medium storing instructions for determining bone age of teeth
WO2020196939A1 (ko) * 2019-03-25 2020-10-01 본와이즈 주식회사 치아의 골 연령을 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
KR20200121550A (ko) * 2019-04-16 2020-10-26 연세대학교 산학협력단 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스
KR20200121608A (ko) * 2019-04-16 2020-10-26 고려대학교 산학협력단 골 연령 추정 방법 및 장치
WO2020212962A3 (ko) * 2019-04-16 2021-01-07 연세대학교 산학협력단 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스
WO2021010777A1 (ko) * 2019-07-17 2021-01-21 주식회사 크레스콤 관절염 심각도 정밀 분석 장치 및 방법
CN111080579A (zh) * 2019-11-28 2020-04-28 杭州电子科技大学 基于深度学习实现图像分割和分类的骨龄评估方法
CN111080579B (zh) * 2019-11-28 2023-05-26 杭州电子科技大学 基于深度学习实现图像分割和分类的骨龄评估方法
KR20210097361A (ko) * 2020-01-30 2021-08-09 경기대학교 산학협력단 골 연령 자동 판독 장치 및 방법
KR20210158284A (ko) * 2020-06-23 2021-12-30 주식회사 뷰노 골 영상으로부터 골 연령을 판독하는 방법
KR20220001403A (ko) * 2020-06-29 2022-01-05 주식회사 뷰노 골 연령 판독 방법 및 장치
KR20220001177A (ko) * 2020-06-29 2022-01-05 연세대학교 산학협력단 심층신경망을 이용하여 초음파 영상으로부터 골격근의 상태를 진단하기 위한 장치 및 이를 위한 방법
KR20230008279A (ko) * 2021-07-06 2023-01-16 주식회사 크레스콤 척추염 분석 방법, 장치 및 컴퓨터 프로그램
WO2023054967A1 (ko) * 2021-09-29 2023-04-06 주식회사 엘지생활건강 나이 추정 장치
WO2024048918A1 (ko) * 2022-08-31 2024-03-07 주식회사 크레스콤 골 성장 단계의 분석 방법, 골 성장 단계 분석 장치, 및 골 성장 단계 분석 시스템
KR102500237B1 (ko) 2022-10-13 2023-02-16 주식회사 안심엘피씨 모형을 이용한 ar/vr 발골 교육 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR101961215B1 (ko) 2019-03-27

Similar Documents

Publication Publication Date Title
KR101961215B1 (ko) 영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법
WO2020215985A1 (zh) 医学影像分割方法、装置、电子设备和存储介质
US10452899B2 (en) Unsupervised deep representation learning for fine-grained body part recognition
Geradts et al. The image-database REBEZO for shoeprints with developments on automatic classification of shoe outsole designs
US6580821B1 (en) Method for computing the location and orientation of an object in three dimensional space
Estrada et al. Tree topology estimation
CN104969260B (zh) 用于3d计算机断层扫描的多个骨骼分割
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
US9208582B2 (en) Image analyzing system and method
JP2021002338A (ja) 画像セグメンテーション及び識別のための方法及びシステム
CN109124662B (zh) 肋骨中心线检测装置及方法
CN103908300A (zh) 诊断超声成像中的针增强
SE528068C2 (sv) Igenkänning av 3D föremål
CN107993228B (zh) 一种基于心血管oct影像的易损斑块自动检测方法和装置
KR102450931B1 (ko) 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치
WO2019196313A1 (zh) 机器人行走障碍检测方法、装置、计算机设备和存储介质
CN108052909B (zh) 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置
CN109447996A (zh) 三维图像中的手部分割
CN110634554A (zh) 脊椎影像注册方法
Feng et al. Automatic fetal face detection from ultrasound volumes via learning 3D and 2D information
Yalic et al. Automatic Object Segmentation on RGB-D Data using Surface Normals and Region Similarity.
JPH07210655A (ja) 眼科用画像処理装置
US7146048B2 (en) Representation of shapes for similarity measuring and indexing
Niemeijer et al. Automatic Detection of the Optic Disc, Fovea and Vacular Arch in Digital Color Photographs of the Retina.
US11468580B2 (en) Calculation method, computer-readable recording medium recording calculation program, and information processing apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant