KR101779800B1 - 기계학습 기반 다면적 성장 평가 방법 및 시스템 - Google Patents

Abstract

본 발명은 기계학습 기반 다면적 성장 평가 방법 및 시스템에 관한 것으로, 보다 구체적으로, 뼈 부위별로 딥러닝 기법으로 훈련시켜 뼈 부위별 성장등급과 골연령을 산출하고, 다면적 성장 관련 데이터를 자동 통합 반영하여, 성장 분석과 예측을 수행하는 방법 및 시스템에 관한 것이다.

Description

기계학습 기반 다면적 성장 평가 방법 및 시스템{SYSTEM AND METHOD FOR EVALUATING MULTIFACETED GROWTH BASED ON MACHINE LEARNING}

본 발명은 기계학습 기반 다면적 성장 평가 방법 및 시스템에 관한 것으로, 보다 구체적으로, 뼈 부위별로 딥러닝 기법으로 훈련시켜 뼈 부위별 성장등급과 골 연령을 산출하고, 다면적 성장 관련 데이터를 자동 통합 반영하여, 성장 분석과 예측을 수행하는 방법 및 시스템에 관한 것이다.

아동과 청소년의 건강한 성장은 본인에게는 물론 부모들의 지속적인 관심의 대상이다. 성장 발달 상태를 정확히 파악하고 성장 발달에 미치는 영향들을 개인별로 정밀하게 분석하고 예측하는 것은 건강한 아동 발달에 있어서 중요한 지침이 된다. 성장 상태의 평가는 다양한 산업분야와 관련된다. 대표적으로 의료 영상 분석과 아동 성장을 진단하고 의료 서비스를 제공하는 의료 분야가 관련된다. 최근 헬스케어 및 웰니스 산업 분야가 ICT 기술과 결합되어 각광받고 있으며, 개인별 맞춤형 성장 가이드를 제공하고 컨설팅하는 사업과 관련된다. 그 외에도 건강한 아동 성장 발달과 관련된 교육 분야, 다양한 분석 알고리즘을 제공하는 인공지능 분야가 관련된다.

종래 성장 발달에 관한 골연령을 평가하는 기법으로서 아틀라스(Atlas) 방식과 TW 방식이 활용되고 있다. 이들 기법들은 대상자의 손뼈 엑스레이 영상을 통해 표준 골연령 영상과 비교하여 현재의 골연령과 미래의 예상키 등을 예측한다.

상기 아틀라스 방식은 손뼈 전체의 영상을 표준 영상과 비교하여 전체적인 모양이 가장 유사한 표준 영상의 골연령으로 평가대상의 골연령을 평가한다. 대표적인 아틀라스 방식으로 GP 방법이 있다.

상기 TW 방식은 뼈 전체 영상의 유사함을 보지 않고 뼈를 이루는 각 세부 뼈 부위 별로 성장판을 포함한 뼈끝(골단) 형상 변화를 기반으로 골등급을 정한다. 즉, TW3에서는 손뼈를 구성하는 뼈 부위들의 분석을 통해 뼈 성장에 따라 A에서부터 I까지 총 9개 골등급으로 분류하고, 이를 제시된 기준에 따라 골성숙 점수로 환산한 후 통합하여 골연령을 평가한다. TW3 방식을 이용하여 골연령을 측정하고 성장을 진단하는 방법은 한국특허출원 제10-2007-0002019호에도 개시되어 있다.

그러나, 종래의 성장 평가 방법들은 다음과 같은 문제점을 갖는다. 아틀라스 방식은 영상의 전체적인 유사함만을 따지므로 평가자에 따라 또는 동일 평가자라도 평가시점에 따라 편차가 발생할 수 있어 정교하지 못하다. TW 방식은 성별과 역연령 등에 따라 다른 환산 기준을 찾아 각 부위의 골성숙 점수를 적용하므로 골연령 평가시간이 오래 걸릴 뿐만 아니라 번거롭다. 또한, 인종 등 기타 생체적인 요소가 골연령 평가에는 반영되지 않는다. 즉, 기존의 영상기반 골연령 기법들은 현시점의 골 상태에만 의존하여 골연령을 평가하고 아동 성장 발달 과정에 영향을 미치는 다면적인 성장 요소들은 고려하고 있지 않다.

본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로, 골연령 평가 시 뼈 영상 데이터 뿐만 아니라 주요 비영상 성장 데이터도 학습 및 평가 모델에 반영하여 골연령 산출시 비영상 성장 요소가 자동 반영되도록 하는 방법을 제시하는데 그 목적이 있다.

또한, 골연령 평가 결과와 다면적 성장관련 데이터를 종합적으로 분석하여 정밀하게 성장 상태를 평가하고 성장 변화를 예측하는 데 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 기계 학습 기반 다면적 성장 평가 방법은 하기 단계를 포함한다:

- 촬영 영상 데이터로부터 뼈 부위별 영상 데이터를 추출하는 단계,

- 상기 뼈 부위별 영상 데이터를 입력값으로 하여 심층신경망 함수의 파라미터를 학습을 통해 도출하는 단계,

- 상기 심층신경망 함수의 출력값으로 뼈 부위별 성장등급을 산출하는 단계,

- 골성장 등급이 기 식별된 데이터를 이용하여 심층신경망 함수의 파라미터를 보정하는 단계, 및

- 상기 뼈 부위별 성장 등급과 비영상 생체 데이터를 이용하여 골연령을 판정하는 단계.

상기 심층신경망은 하나 이상의 계층으로 된 구조이며, 복수의 계층으로 된 구조일 수 있다.

본 발명의 일 실시예에 따르면, 상기 골연령을 판정하는 단계는, 뼈 부위별 성장 등급과 비영상 생체 데이터를 포함한 N 차원(N은 2 이상의 자연수임)의 벡터를 입력값으로 심층신경망 함수의 파라미터를 도출하는 단계, 심층신경망 함수의 출력값으로 골연령을 산출하는 단계, 및 기 식별된 골연령 데이터를 이용하여 심층신경망 함수의 파라미터를 보정하는 단계를 포함한다. 상기 비영상 생체 데이터는 키, 체중, 성별, 역연령, 인종 및 이차성징발현 중 적어도 하나 이상을 포함한다.

본 발명의 일 실시예에 따르면, 상기 심층신경망 함수의 파라미터는 각 계층별 가중치 또는 바이어스값이고, 심층신경망 함수의 파라미터를 도출하는 단계는 입력값에 대한 심층신경망 함수의 출력값과 입력값의 차이를 최소화하는 값을 도출하는 것을 포함한다.

본 발명의 일 실시예에 따르면, 상기 평가 방법은 판정된 골 연령과 비영상 성장 데이터와의 상관관계 분석 또는 군집화를 수행하는 단계를 추가로 포함한다.

상기 목적을 달성하기 위한 본 발명의 일 측면은, 상술한 기계 학습 기반 다면적 성장 평가 방법이 하드웨어와 결합되어 실행되도록 매체에 저장된 컴퓨터 프로그램을 포함한다.

상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 기계 학습 기반 다면적 성장 평가 시스템은 하기를 포함한다:

- 외부 장치와 연결되어 데이터를 수신하는 데이터 수신부,

- 데이터 수신부를 통해 수신한 영상 데이터로부터 뼈 부위별 영상 데이터를 추출하고, 심층신경망 함수의 파라미터를 학습을 통해 도출하여 뼈 부위별 성장등급을 산출하는 골 성장등급 분석부,

- 뼈 부위별 성장등급과 비영상 생체 데이터를 포함한 N 차원(N은 2 이상의 자연수임)의 벡터를 입력값으로 하여 상기 심층신경망 함수의 파라미터를 조정하여 골 연령을 산출하는 골 연령 평가부.

상기 심층신경망은 하나 이상의 계층으로 된 구조이며, 복수의 계층으로 된 구조일 수 있다.

본 발명의 일 실시예에 따른 다면적 성장 평가 시스템은 생체 데이터, 생활 데이터, 환경 데이터, 유전 데이터를 포함하는 비영상 성장 데이터 중 적어도 일부를 구비한 데이터베이스, 및 골 연령과 비영상 성장 데이터와의 상관관계를 분석하고 상관관계에 따른 군집화를 수행하여 성장 변화를 예측하는 성장 분석 및 예측부를 추가로 포함한다.

본 발명의 일 실시예에 따르면, 상기 성장 분석 및 예측부는 골연령을 포함하는 M 차원(M은 2 이상의 자연수임)으로 K-Means 알고리즘을 통해 군집화를 수행한다.

본 발명의 일 실시예에 따르면, 상기 골 연령 평가부는 기 식별된 골연령 데이터를 이용하여 심층신경망 함수의 파라미터를 추가 조정하여 골연령을 산출한다. 상기 비영상 생체 데이터는 키, 체중, 성별, 역연령, 인종 및 이차성징발현 중 적어도 하나 이상을 포함한다.

본 발명의 일 실시예에 따르면, 심층신경망 함수의 파라미터는 각 계층별 가중치 또는 바이어스값이고, 상기 심층신경망 함수의 입력값과 출력값의 차이를 최소화하도록 도출된다.

본 발명은 성별, 나이, 인종 등 성장에 영향을 미치는 주요한 비영상 데이터들이 골연령 판정 모델에 포함되어 비영상 데이터들이 미치는 영향을 골연령 산정에 자동 포함하며 정교하게 골연령을 산출할 수 있다.

본 발명은 골연령과 성장 발달에 미치는 다면적 요소들 간 상관관계 분석을 통해 정밀한 성장 분석 및 예측이 가능하다.

본 발명은 골연령 판정과 성장분석이 단시간에 자동분석되어 의료전문가의 분석시간을 현저하게 감소시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 다면적 성장 평가 시스템 구성도이다.
도 2는 본 발명의 일 실시예에 따른 골 성장등급 산출 순서도이다.
도 3은 뼈 부위별 오토인코더 학습 모델이다.
도 4는 본 발명의 일 실시예에 따른 골연령 평가 순서도이다.
도 5는 본 발명의 일 실시예에 따른 성장분석 및 성장예측 프로세스이다.

상술한 목적, 특징 및 장점은 첨부된 도면과 함께 하기 설명에 의해 보다 분명해질 것이며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 다면적 성장 평가 시스템의 구성을 나타낸 도면이다.

도 1을 참조하면, 다면적 성장 평가 시스템은 영상 데이터 수신부(10), 비영상 데이터 수신부(20), 데이터베이스(30), 골 성장등급 분석부(40), 골 연령 평가부(50), 성장분석/예측부(60)를 포함한다.

영상 데이터 수신부(10)는 X-레이 촬영기와 같은 영상기기에서 촬영된 영상을 수신한다. 영상기기와 네트워크에 연결되어 촬영 영상을 자동 전송받거나 수동 입력을 통해 수신될 수 있다. 의료기관의 PACS 의료영상저장전송시스템, PC, 모바일기기를 통한 수신이 그 예이다. 수신된 영상 데이터는 뼈 성장등급이나 골연령이 기 식별된 데이터를 포함할 수 있으며 데이터베이스(30)에 저장된다.

비영상 데이터 수신부(20)는 영상 데이터가 아닌 성장 발달에 밀접한 영향이 있는 다양한 데이터를 수신한다. 입력장치를 통해 직접 입력될 수 있고 네트워크 인터페이스를 통해 다양한 통신 채널을 통해 수신되는 것이 가능하다. 온라인 입력을 통한 직접 입력, 스마트 워치, 스마트 밴드 등을 포함하는 웨어러블 기기나 생체 정보 수집 기기에서 유무선 통신을 통해 수신될 수 있다. 센서 기술/IoT 기술의 발전에 따라 데이터 수신은 다양한 방식으로 될 수 있으며 특정 방식에 국한되지 않는다. 수신된 비영상 데이터는 데이터베이스(30)에 저장되며 카테고리별로 인덱싱 또는 태그되어 저장될 수 있다.

영상 데이터 수신부(10)와 비영상 데이터 수신부(20)를 별도로 분리하여 도시하였지만 시스템 설계 방식에 따라 하나의 통신부로 통합되어 구현될 수 있음은 자명하다.

비영상 데이터의 예시는 다음과 같으며 이에 국한되지 않는다.

(1) 생체 데이터: 역연령(출생기준 나이), 키, 체중(체질량지수), 성별, 이차성징 발현, 호르몬 등

(2) 생활 데이터: 신체 활동 데이터(운동량, 총 걸음수, 칼로리 소모량 등), 수면 데이터(수면 시간, 수면의 질 등), 영양 섭취 관련 데이터(칼로리 섭취량, 영양별 섭취량 등), 스트레스 및 심리 데이터 등

(3) 환경 데이터 및 유전적 데이터: 부모님 키, 인종, 거주지역, 출생지역, 문화적 경제적 환경 등

골 성장등급 분석부(40)는 영상 데이터 수신부(10)를 통해 수신한 영상 데이터에 기초하여 뼈 성장등급을 분석하여 산출한다. 촬영 영상으로부터 뼈 부위별로 영상데이터를 추출하여 뼈 부위별 성장등급을 산출한다. 뼈의 성장등급은 뼈끝, 즉 골단이 성장하여 골을 형성해 가는 형태의 변화를 통해 각 부위 별로 골연령을 유추할 수 있는 등급이다. 뼈 성장등급 산출을 위해 다수의 뼈 부위별 영상 데이터를 통해 심층신경망의 각 계층을 학습하고 데이터베이스(30)로부터 골 성장등급이 식별된 뼈 부위 영상 데이터를 불러와 심층신경망 각 계층의 파라미터를 보정한다. 골 성장등급을 산출하는 구체적인 방식은 도 2를 통해 후술한다.

골 연령 평가부(50)는 골 성장등급 분석부(40)를 통해 산출된 뼈 부위별 성장등급을 이용하여 골 연령을 평가한다. 종래 TW 방식은 뼈 성장등급을 골성숙 점수로 환산해 골연령을 평가하는 방식이지만, 성별과 역연령에 따라 다른 환산 기준을 적용해야 하고 또한 인종에 따른 차이점을 반영하지 못하므로 정교하지 못하다. 본 발명에 따른 골 연령 평가는 데이터베이스(30)로부터 비영상 데이터, 특히 비영상 생체 데이터를 불러와 골 연령 평가 방식에 이용한다. 비영상 데이터 중 생체 데이터는 키, 체중, 성별, 역연령, 인종, 이차성징발현 등으로 골 연령에 밀접한 영향이 있는 주요 요소로서 이를 골 연령 평가 모델에 이용한다. 즉, 영상 데이터로부터 산출한 뼈 성장등급과 생체 데이터를 함께 심층 학습모델의 입력값으로 심층신경망을 학습시켜 생체 데이터가 학습 결과에 자동 반영되도록 한다. 골 연령을 평가하는 구체적인 방식은 도 4를 통해 후술한다.

성장분석/예측부(60)는 골 연령 평가부(50)를 통해 평가된 골 연령으로부터 현재 성장상태와 미래 성장 예측을 실시한다. 데이터베이스(30)에 저장된 성장 관련 다면 데이터를 활용한다. 성장 관련 다면 데이터는 비영상 성장 데이터로, 전술한 생체 데이터, 생활 데이터, 심리 관련 데이터, 기타 환경적 유전적 데이터 등을 포함하며 이에 국한되지 않는다. 평가된 골 연령을 비영상 성장 데이터들과 상관관계를 분석하고 역연령별로 군집화를 통해 비교, 분석함으로써 성장성을 분석 및 예측한다. 성장성 분석 및 예측에 관한 세부 방법은 도 5에서 기술한다.

도 2는 본 발명의 일 실시예에 따른 골 성장등급 산출 프로세스를 나타낸 도면이다.

시스템에서 영상 데이터를 수신(S41)하고 수신 영상 데이터로부터 뼈 부위별 영상데이터를 추출한다(S42). 수신 영상 데이터는 손뼈를 촬영한 엑스레이 영상일 수 있으며, 이 경우 손뼈를 구성하는 요골, 척골, 1,3,5번째 손가락 쪽의 중수골, 지절골, 중절골, 말절골 등 부위별로 영상 데이터를 추출한다.

뼈 부위별 영상 데이터에 대해 심층신경망 모델을 딥러닝 기법을 이용하여 학습을 수행한다(S43). 심층신경망은 신경망 알고리즘 중 하나 이상의 층으로 된 딥러닝 구조의 신경망을 의미한다. 이 심층 신경망에 뼈 부위별 영상데이터를 입력하여 부위별 성장등급을 출력하며, 학습을 통해 출력값, 즉 부위별 성장등급의 오류를 최소화할 수 있다. 각각의 뼈 부위별로 심층신경망을 학습하도록 할 수 있다. 심층신경망 학습은 골 성장등급이 식별되지 않은 다수의 뼈 영상 데이터를 활용하여 수행될 수 있다.

여기에서는 오직 발명의 설명을 위한 예시적인 목적으로 심층 오토인코더(Deep Autoencoder)를 활용한 심층신경망 학습 방법을 설명한다. 도 3은 뼈 부위별 오토인코더 학습 모델을 나타낸다. 심층 오토인코더 각 계층의 파라미터 인코더와 디코더를 사용하여 학습한다. 인코더를 통해 나온 결과는 해당 계층의 출력값이 되고, 이 값을 다시 디코더를 통해 나온 결과와 원래 해당 계층의 입력값의 차이를 최소화하는 과정을 통해 해당 계층을 학습시킨다.

[수식1]

수식1을 참조하면, h₁은 입력 x₀에 대한 계층1에서의 인코더 출력값이 된다. 입력 x₀는 뼈 부위별 영상데이터 중에서 샘플데이터를 선택하여 이용할 수 있다. 인코더 출력값은 해당 계층에서 추출한 입력 뼈 부위 영상에 대한 특징(feature)을 나타낸다. W₁은 계층1의 가중치이고 b₁은 바이어스다. S_e는 인코더 활성화 함수로 시그모이드 함수 또는 Tanh 함수 등을 사용할 수 있다. S_d는 디코더 활성함수이며 W₁'와 b₁'은 각각 디코더의 가중치와 바이어스다. x₀'는 디코더의 출력값이다.

[수식2]

수식2는 입력값과 출력값의 오차에 따른 비용 함수를 나타낸다. 여기에서 L(x₀ ⁽ⁱ⁾,x₀ ^(i)')는 샘플 i의 입력값과 디코더 출력값의 오차를 나타내는 함수다. 이 함수는 유클리디언 디스턴스 또는 크로스엔트로피로 구할 수 있다. 전체 비용 J는 모든 샘플의 오차 합으로 구하고 이 전체 비용을 최소화하는 가중치와 바이어스를 구한다. 최소화 과정은 경사하강법(gradient descent) 방식을 사용할 수 있다. 오토인코더로 학습할 시에 노이즈가 첨가되었을 시에도 입력값을 복구할 수 있도록 디노이징 오토인코더를 사용할 수도 있다.

이러한 과정을 다층오토인코더(stacked encoder) 기반의 심층신경망에서는 복수 계층에 걸쳐 진행한다. 즉, 계층1을 훈련시킨 후 나온 출력값 h₁은 은닉층이 되고, 이는 다음 계층2의 입력값으로 사용하여 계층2의 모델을 훈련시킨다. 각 계층의 훈련과정은 계층1의 훈련과정과 동일하므로 세부 설명은 생략한다. 이와 같은 복수 계층 심층신경망 훈련 과정은 대상 관심영역인 주요 뼈 부위별로 진행한다.

도 2로 다시 돌아가면, 위와 같은 학습 과정을 통해 심층신경망의 각 계층의 매핑함수의 파라미터를 도출한다(S44). 도출된 파라미터는 정적인 값이 아니며, 해당 파라미터를 사용했을 때 발생하는 오차를 측정한 뒤 그 오차에 기반해서 업데이트되어 최적의 값을 찾아가는 동적인 개념으로 이해되어야 한다. 이 파라미터는 가중치 또는 바이어스값이 될 수 있다. 복수의 계층으로 된 심층신경망의 마지막 계층에서는 뼈의 성장 등급을 최종 분류하고 성장 등급을 산출한다(S45). 예시적인 목적으로, 아래의 소프트맥스 함수를 통해 성장 등급을 산출할 수 있다.

[수식3]

y_i는 i번째 클래스의 출력값이고, S(y_i)는 i번째 클래스가 나올 확률이 된다. 즉, 소프트맥스 함수를 통해 관심영역에 대한 평가결과에 대한 클래스별 점수를 확률적으로 보여준다. 최대값을 보인 클래스를 해당 샘플 부위의 예측 골성장등급으로 선택한다.

이후 산출된 성장 등급은 성장 등급이 기 식별된 부위의 영상데이터로 파라미터를 보정하는 과정을 진행한다(S46). 즉, 산출된 성장등급과 기식별된 샘플 골단의 골성장등급을 비교하여 에러를 줄이기 위한 역전파(back propagation) 보정을 수행한다. 이를 통해 심층신경망 각 계층의 가중치는 학습으로 정밀 조정되고 훈련이 반복적으로 수행될수록 최적의 값으로 수렴된다. 에러에 대한 비용함수는 크로스엔트로피를 사용할 수 있다.

[수식4]

L은 실제 식별된 해당 부위의 골성장등급이고, S는 심층신경망을 통해 나온 예측 골성장 등급값이다. 이 비용함수를 최소화시키는 과정을 통해 심층신경망을 학습시킨다.

한편, 각 부위별 성장등급이 식별된 다수의 뼈 영상 데이터가 확보되었을 때에는 지도학습 기반으로 각 뼈 부위별 심층신경망을 학습시키는 것이 가능하다. 즉, 심층신경망 모델 학습을 골성장등급이 사전에 식별된 데이터로 학습하여 심층신경망의 최적의 파라미터를 도출하도록 한다. 도 2를 참조하면, S46 단계에서 시작하여 S44 단계 및 S45 단계를 순차적으로 반복적으로 수행하여 최적의 파라미터를 도출하는 프로세스이다.

세부적으로는 심층신경망은 복수의 콘볼루션 층(convolution layer)과 풀링 층(pooling layer)을 포함할 수 있다. 콘볼루션 계층은 해당 골단 영상을 일정 크기의 필터를 이용하여 필터링한다. 예시적으로, 5x5 크기의 필터를 사용하여 해당 필터 크기의 입력값과 가중치를 회귀함수에 넣고, 이를 다시 ReLU 등의 활성화 함수에 넣어 출력값을 추출한다. 이러한 필터를 이용해 골단 영상을 일정 크기씩 이동하며 전체적으로 필터링한다. 복수 개의 가중치가 다른 필터들을 사용하여 여러 개의 필터 출력값들을 생성하도록 할 수도 있다. 풀링 계층에서는 콘볼루션 층의 출력값을 풀링 계층의 필터를 이용해 샘플링하여 한 필터 내의 값들 중 최대값을 추출한다.

위와 같은 복수의 콘볼루션 층과 풀링 층들을 거쳐 마지막 계층인 완전 연결층(Fully connected layer)에서는 S45 단계에서 설명한 소프트맥스 함수를 사용하여 골등급을 분류할 수 있다. S46 단계에서 설명한 크로스엔트로피를 사용하여 에러 보정을 수행할 수 있다. 이에 대한 설명은 전술하였는바 상세 설명은 생략한다.

도 4는 본 발명의 일 실시예에 따른 골 연령 평가 프로세스를 나타낸 도면이다.

뼈 부위별 성장등급 산출값(a)과 비영상 생체 데이터(S52)를 함께 기계학습모델에 반영하여 뼈 부위별 성장등급으로부터 골 연령을 평가한다. 비영상 생체 데이터(S52)는 키, 체중, 성별, 역연령, 인종, 이차성징발현 등으로 비영상 성장 데이터 중 성장에 밀접한 주요 데이터이다. 뼈 부위별 성장등급 산출값(a)과 비영상 생체 데이터(S52)로부터 N차원(N은 2 이상의 자연수임)의 벡터를 구성한다. 이후 도 2에서 상술한 수식1의 x₀ 입력값을 이 벡터로 한다(S53). 즉, 다중회귀분석 모델을 사용한다.

이후 심층신경망 모델을 학습을 통해 입력값과 출력값의 오차 비용을 최소화하는 파라미터를 도출하고(S54), 심층신경망 최종 계층에서 골연령을 산출한다(S55). 산출된 골연령을 기 식별된 골연령 데이터로 심층신경망 계층 함수의 파라미터를 보정한다(S56).

도 2의 S43, S44, S45, S46, 수식1 내지 수식4에서 설명한 심층신경망 학습을 통한 뼈 부위별 성장등급 산출 방식이 그대로 골연령을 평가하는 데 적용될 수 있다. 수식3의 소프트맥스 함수에서 y_i 는 W⁽ⁱ⁾x 이고, W⁽ⁱ⁾는 i번째 클래스(골연령)에 대한 파라미터로서 훈련을 통해 최적의 값을 찾아간다. 수식4의 크로스엔트로피 함수에서는 다중회귀분석모델의 최종 결과값(S_i)과 기 식별된 골연령(L_i)과의 오차를 구하고 이 오차를 최소화하면서 모델을 훈련시킨다. 훈련된 골연령 모델을 통해 골연령과 함께 각 골연령의 확률분포를 소프트맥스로부터 도출할 수 있다. 이 확률분포는 세밀한 골연령 조절에 이용된다. 즉, 골연령 단계의 경계치에 있음을 나타내는 확률분포를 보이는 경우(예컨대, 인접한 골연령 두 단계에서 최대 확률값과 유사한 확률값을 나타내는 경우), 이에 기반하여 골연령을 세밀하게 분류할 수 있다. 도 4의 골연령 평가 방식은 도 2에 상세하게 설명한 내용을 반복하여 기술하지 않았으나, 도 2에서 기술한 사항이 도 4에 포함되어 이해되어야 한다.

도 5는 본 발명의 일 실시예에 따른 성장분석 및 성장예측 프로세스를 나타낸 도면이다.

산출된 골연령(b)과 비영상 성장 데이터(S62)와의 관계 분석을 통해 정교하게 현재 성장상태 분석과 미래 성장 예측을 가능케 하고, 특히 비영상 성장 데이터(S62) 요소의 변화에 따른 성장 변화를 예측할 수 있다. 비영상 성장 데이터(S62)는 데이터베이스로부터 불러올 수 있고 동일 역연령(출생기준 나이) 별로 분류할 수 있다. 역연령군의 단위는 기본적으로 1년이며, 수개월 단위 또는 수년 단위로 묶어 역연령 단계를 구분할 수도 있다. 비영상 성장 데이터(S62)는 생체 데이터 뿐만 아니라 도 1에서 기술한 생활데이터, 환경데이터, 유전데이터 등 성장에 영항을 미치는 요소를 포괄한 데이터로 이해되어야 한다.

상관관계 분석(S63)과 군집화 수행(S64)은 도 5에 순차적으로 도시되어 있으나 이는 예시적으로 도시한 것일 뿐, 군집화 수행을 먼저 수행하는 것도 가능하고 상관관계 분석과 군집화 수행이 병행될 수 있음은 물론이다.

상관관계 분석(S63)은 다중회귀분석 기법을 이용한다. 동일 역연령별로 비영상 성장 데이터(S62)를 입력값으로 하고 기 산출된 골연령 데이터(B)를 레이블로 하여 다중회귀분석 모델을 학습한다.

군집화(S64)는 각 동일 역연령군 별로 수행한다. 군집화 기준은 멀티모달 데이터의 요소들 복수 개의 조합으로 D차원의 군집화를 수행할 수 있다. 여기에 k-means 알고리즘을 이용할 수 있다. 예시적으로 현재키와 골연령을 기준으로 한 2차원 k-means 알고리즘을 설명한다. 현재키와 골연령으로 구성된 2차원 n개의 샘플데이터로 k개의 군집을 만든다. 우선 각 차원의 값을 정규화한다. c⁽ⁱ⁾={1,..,k}는 샘플데이터 i에 할당된 군집으로 1에서 k 사이의 값을 가진다.

[수식5]

u_c(i)는 군집 c⁽ⁱ⁾의 중심점이다. x⁽ⁱ⁾는 현재키와 골연령으로 이루어진 i번째 샘플데이터 벡터이다. J는 각 데이터로부터 각 소속된 군집의 중심까지의 거리로 구성된 비용함수이며 이를 최소화하는 군집을 형성하고자 하는 것이다. 우선 각 군집의 중심점을 초기화한 후, 첫번째 단계로 각 데이터로부터 군집의 중심점까지의 거리가 최소화되는 군집을 해당 데이터의 군집으로 할당한다. 두번째 단계는 각 군집별로 군집의 중심점을 재설정한다. 이는 해당 군집에 속한 데이터의 평균을 구하여 설정할 수 있다. 첫번째와 두번째 단계를 반복해서 실행하고 군집들의 중심점이 변하지 않고 수렴하면 중단한다. 각 동일 역연령군 별로 현재키와 골연령을 기준으로 군집화를 실행한 후 각 군집별로 기준 데이터와 더불어 체질량, 수면의 질 등의 비영상 데이터의 특성을 분석한다. 대표적 특성 값으로 평균과 분산을 구할 수 있다. 또 다른 예로, 체질량, 골연령, 현재키, 운동량 등을 기준으로 하여 4차원의 군집화를 수행할 수 있음은 물론이다.

다중회귀분석을 통한 상관관계 분석(S63)과 군집화 수행(S64)을 통해, 평가대상자가 속한 군집의 비영상 데이터 특성을 도출하고 동일 요소가 유지될 경우의 미래 시점의 성장예측을 수행한다. 또한, 요소들의 변화에 따른 미래 시점의 성장변화 예측을 수행한다(S64). 예시적인 목적으로, 평가대상자가 속한 군집과 골연령 및/또는 현재키가 다른 군집들과의 체질량 또는 운동량 데이터 비교를 통해 현재 평가대상자의 성장 관련 요인에 대한 상대적인 분석을 수행한다. 또한, 미래 시점, 즉 역연령이 현재 역연령보다 높은 단계에서 현재 평가대상자가 속한 군집과 유사한 특성을 가지는 군집을 파악하고 비교한다. 한편, 체질량과 운동량에 변화가 주어졌을 때 미래시점의 성장이 어떠한 방향으로 변화할지 예측할 수 있다.

이러한 분석을 통해 특정 역연령군에서 높은 골연령을 보이는 그룹, 동일 골연령을 보이는 그룹, 낮은 골연령을 보이는 그룹에 대한 생체 데이터, 생활 데이터, 환경 데이터의 상이한 특성을 파악할 수 있다. 다면적 성장 데이터 상 유사 특성을 보이는 다른 연령군의 골연령 평가 데이터를 비교 분석하여, 현재와 미래 시점의 골연령 평가 데이터의 상관성을 분석 도출한다. 유사 연령이지만 상이한 골연령 평가(현재 골연령 또는 성인 최종 예상키)를 보이는 다른 그룹들과의 비영상 데이터 특성을 비교 분석한 정보를 생성한다. 예시적으로, 동일 연령에 유사골 연령이지만 성인 최종 예상키가 상이한 그룹 간의 특성 비교를 수행하고, 새로운 사용자의 정보와 데이터 베이스에 기 수집 분석되어 군집화된 데이터와 분석 비교를 수행한다.

이로부터, 생활 데이터 또는 생체 데이터의 변화에 따른 미래 시점의 성장 변화 예측 정보를 제공할 수 있다. 또한, 발달에 상관성이 높다면 데이터 요소를 명시하고, 아동 또는 관심 사용자가 해당 요소에 관심을 유도하고 방향성을 제시할 수 있다. 즉, 상관성 분석을 통해 각 생활 및 생체정보 데이터에 영향을 줄 수 있는 생활 습관 등에 대한 개인별 맞춤형 개선 방향을 제시할 수 있다.

본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.

도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

100: 다면적 성장 평가 시스템
10: 영상 데이터 수신부 20: 비영상 데이터 수신부
30: 데이터베이스 40: 골 성장등급 분석부
50: 골연령 평가부 60: 성장분석/예측부

Claims (10)

1. 기계 학습(Machine Learning) 기반 다면적 성장 평가 방법으로서,
   영상 데이터로부터 뼈 부위별 영상 데이터를 추출하는 단계;
   상기 뼈 부위별 영상 데이터를 입력값으로 하여 심층신경망 함수의 파라미터를 학습을 통해 도출하는 단계;
   상기 심층신경망 함수의 출력값으로 뼈 부위별 성장등급을 산출하는 단계;
   골성장등급이 기 식별된 데이터를 이용하여, 상기 심층신경망 함수의 파라미터를 보정하는 단계; 및
   상기 뼈 부위별 성장등급과 비영상 생체 데이터를 이용하여 골연령을 판정하는 단계;를 포함하고,
   상기 골연령을 판정하는 단계는,
   상기 뼈 부위별 성장등급과 비영상 생체 데이터를 포함한 N 차원(N은 2 이상의 자연수임)의 벡터를 입력값으로 하여 상기 심층신경망 함수의 파라미터를 도출하는 단계;
   상기 심층신경망 함수의 출력값으로 골연령을 산출하는 단계; 및
   기 식별된 골연령 데이터를 이용하여 상기 심층신경망 함수의 파라미터를 보정하는 단계;를 포함하는 것을 특징으로 하는, 다면적 성장 평가 방법.
2. 제1항에 있어서,
   상기 비영상 생체 데이터는 키, 체중, 성별, 역연령, 인종 및 이차성징발현 중 하나 이상을 포함하는 것을 특징으로 하는 다면적 성장 평가 방법.
3. 제1항에 있어서,
   상기 심층신경망은 복수의 계층으로 된 구조이고,
   상기 심층신경망 함수의 파라미터는 각 계층별 가중치 또는 바이어스값이며,
   상기 심층신경망 함수의 파라미터를 도출하는 단계는, 상기 입력값에 대한 상기 심층신경망 함수의 출력값과 상기 입력값의 차이를 최소화하는 값을 도출하는 것을 특징으로 하는 다면적 성장 평가 방법.
4. 제1항에 있어서,
   상기 판정된 골연령과 비영상 성장 데이터와의 상관관계 분석 또는 군집화 를 수행하는 단계를 더 포함하는 것을 특징으로 하는 다면적 성장 평가 방법.
5. 하드웨어와 결합되어 제1항 내지 제4항 중 어느 한 항에 따른 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
6. 기계 학습(Machine Learning) 기반 다면적 성장 평가 시스템으로서,
   외부 장치와 연결되어 데이터를 수신하는 데이터 수신부;
   상기 데이터 수신부를 통해 수신한 영상 데이터로부터 뼈 부위별 영상 데이터를 추출하고, 심층신경망 함수의 파라미터를 학습을 통해 도출하여 뼈 부위별 성장등급을 산출하는 골 성장등급 분석부; 및
   상기 뼈 부위별 성장등급과 비영상 생체 데이터를 포함한 N 차원(N은 2 이상의 자연수임)의 벡터를 입력값으로 하여 상기 심층신경망 함수의 파라미터를 조정하고 골연령을 산출하는 골연령 평가부;를 포함하고,
   상기 골연령 평가부는 기 식별된 골연령 데이터를 이용하여 상기 심층신경망 함수의 파라미터를 추가 조정하여 골연령을 산출하는 것을 특징으로 하는, 다면적 성장 평가 시스템.
7. 제6항에 있어서,
   상기 비영상 생체 데이터, 생활 데이터, 환경 데이터, 유전 데이터를 포함하는 비영상 성장 데이터 중 하나 이상을 구비한 데이터베이스; 및
   상기 골연령과 상기 비영상 성장 데이터와의 상관관계를 분석하고 상기 상관관계에 따른 군집화를 수행하여 성장 변화를 예측하는 성장 분석 및 예측부;를 더 포함하는 것을 특징으로 하는 다면적 성장 평가 시스템.
8. 제7항에 있어서,
   상기 성장 분석 및 예측부는 골연령을 포함하는 M 차원(M은 2 이상의 자연수임)으로 K-Means 알고리즘을 통해 군집화를 수행하는 것을 특징으로 하는 다면적 성장 평가 시스템.
9. 제6항에 있어서,
   상기 비영상 생체 데이터는 키, 체중, 성별, 역연령, 인종 및 이차성징발현 중 하나 이상을 포함하는 것을 특징으로 하는 다면적 성장 평가 시스템.
10. 제6항에 있어서,
    상기 심층신경망은 복수의 계층으로 된 구조이고,
    상기 심층신경망 함수의 파라미터는 각 계층별 가중치 또는 바이어스값이고 상기 심층신경망 함수의 입력값과 출력값의 차이를 최소화하도록 도출되는 것을 특징으로 하는 다면적 성장 평가 시스템.

Images