KR20230141175A

KR20230141175A - 기계학습 기반의 경혈 위치 인식 시스템 및 그 방법

Info

Publication number: KR20230141175A
Application number: KR1020220040402A
Authority: KR
Inventors: 이병일; 이명기
Original assignee: 부경대학교 산학협력단
Priority date: 2022-03-31
Filing date: 2022-03-31
Publication date: 2023-10-10

Abstract

본 발명의 일 실시예에 따른 기계학습 기반의 경혈 위치 인식 시스템은, 대상자의 전신 또는 각 부위별 신체 영상 데이터 세트 및 인체의 표준 경혈 위치 정보를 저장하는 데이터베이스; 상기 신체 영상 데이터의 정규화를 위한 전처리를 수행하는 전처리부; 상기 전처리된 신체 영상 데이터를 CNN 학습 모델을 이용하여 경혈 위치 대상 영역을 추출하고 경혈 위치를 결정하는 특징 추출부; 상기 특징 추출부에서 추출된 신체의 대상 영역 부위의 경혈 위치를 DCGAN 학습 모델을 이용하여 학습하는 학습부; 및 상기 학습부에서 학습된 경혈 위치의 정확도를 분석하여 평가하는 분석부;를 포함하는 점에 그 특징이 있다.

Description

기계학습 기반의 경혈 위치 인식 시스템 및 그 방법{LOCATION OF THE ACUPUNCTURE POINT RECOGNITION SYSTEM BASED ON MACHINE LEARNING AND THE METHOD THEREOF}

본 발명은 기계학습 기반의 경혈 위치 인식 시스템 및 그 방법에 관한 것으로, 특히 기계학습을 이용하여 표준 경혈 위치의 데이터베이스 구축을 통해 정확한 스마트 혈위 진단을 제공할 수 있는 기계학습 기반의 경혈 위치 인식 시스템 및 그 방법에 관한 것이다.

일반적으로 침 치료를 실시하는 한의원에서는 침을 놓는 혈자리를 환자의 차트에 입력하기 위해 시술자가 자침한 혈자리를 수기로 입력하는 방법을 사용하고 있다.

하지만 이 방법은 환자에게 많은 수의 침을 사용한 경우 환자의 수가 많을수록, 혈자리 입력을 위한 시간이 많이 소요되며 정확도 또한 떨어질 수 있다.

뿐만 아니라, 임상 연구 시 발견된 침 치료의 주의점 등 지침이 실제 침 치료에 반영되고 있는지, 개별 한의원에서 이루어지는 침 치료를 모니터링할 수 없기 때문에, 침 치료로 인한 부작용이 환자에게 발생할 경우 정확한 원인 파악에 어려움이 있을 수 있다.

이에 따라, 침 시술을 받고 있는 환자의 자세를 고려해 침이 놓이는 혈자리를 영상 기반으로 정확히 인식하여, 혈자리를 손쉽고 정확하게 탐색할 수 있도록 하는 기술이 요구되고 있다.

한국공개특허 10-2021-0142042호

앞서 언급한 문제점을 해결하기 위하여, 기계학습을 이용하여 표준 경혈 위치의 데이터베이스 구축을 통해 정확한 스마트 혈위 진단을 제공할 수 있는 기계학습 기반의 경혈 위치 인식 시스템 및 그 방법을 제공한다.

여기서, 특히 상기 전처리부는 상기 신체 영상 이미지 데이터의 크기 조정, 배경 제거, 노이즈 제거 및 그레이 스케일을 포함하는 전처리를 수행하는 점에 그 특징이 있다.

여기서, 특히 상기 전처리부는 상기 신체 영상 데터에서 관심 영역을 라벨링 또는 어노테이션을 수행하는 점에 그 특징이 있다.

여기서, 특히 상기 특징 추출부는 Mask R-CNN 모델을 적용하여 대상 검출(Object detection) 및 시멘틱 세그맨테이션(Sementic segmentation)을 수행하는 점에 그 특징이 있다.

여기서, 특히 상기 대상 검출(Object detection)은 ROI(Region of interest) Align으로 경혈 위치에 해당하는 관심 영역을 검출하고, 상기 시멘틱 세그맨테이션(Sementic segmentation)은 클래스 분류 예측, 바운딩 박스에 대한 회귀분석 및 마스크 예측을 수행하여 경혈 위치를 결정하는 점에 그 특징이 있다.

여기서, 특히 상기 학습부는 DCGAN 학습 모델을 이용하여 상기 결정된 경혈 위치를 상기 데이터베이스에 저장된 인체의 표준 경혈 위치 정보와 비교하여 경혈 위치 좌표를 산출하여 학습하는 점에 그 특징이 있다.

또한, 본 발명의 일 실시예에 따른 기계학습 기반의 경혈 위치 인식 방법은, 데이터베이스에 저장된 대상자의 전신 또는 각 부위별 신체 영상 데이터 세트에서 신체 영상 데이터의 정규화를 위한 전처리를 수행하는 단계; 상기 전처리된 신체 영상 데이터를 CNN 학습 모델을 이용하여 경혈 위치 대상 영역을 추출하고 경혈 위치를 결정하는 단계; 상기 추출된 신체의 대상 영역 부위의 경혈 위치를 DCGAN 학습 모델을 이용하여 학습하는 단계; 및 상기 학습된 경혈 위치의 정확도를 분석하여 평가하는 단계;를 포함하는 점에 그 특징이 있다.

여기서, 특히 상기 전처리 단계에서 상기 신체 영상 이미지 데이터의 크기 조정, 배경 제거, 노이즈 제거 및 그레이 스케일을 포함하는 전처리를 수행하는 점에 그 특징이 있다.

여기서, 특히 상기 전처리 단계에서 상기 신체 영상 데이터에서 관심 영역을 라벨링 또는 어노테이션을 수행하는 점에 그 특징이 있다.

여기서, 특히 상기 대상 영역을 추출하고 경혈 위치를 결정하는 단계에서 Mask R-CNN 모델을 적용하여 대상 검출(Object detection) 및 시멘틱 세그맨테이션(Sementic segmentation)을 수행하는 점에 그 특징이 있다.

여기서, 특히 상기 학습하는 단계에서 DCGAN 학습 모델을 이용하여 상기 결정된 경혈 위치를 상기 데이터베이스에 저장된 인체의 표준 경혈 위치 정보와 비교하여 경혈 위치 좌표를 산출하여 학습하는 점에 그 특징이 있다.

본 발명에서 개시하고 있는 일 실시예에 따르면, 기계학습을 이용하여 표준 경혈 위치의 데이터베이스 구축을 통해 정확한 스마트 혈위 진단을 제공함으로써 환자 진료의 정확성을 보다 향상시킬 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 기계학습 기반의 경혈 위치 인식 시스템의 구성을 개략적으로 도시한 도면.
도 2는 일반적인 사람의 경혈 위치를 개략적으로 보여주는 도면.
도 3은 본 발명의 기계학습 모델을 이용하여 영상 데이터를 처리하는 예를 도시한 도면.
도 4는 본 발명의 기계학습 모델을 이용하여 경혈 위치 대상 영역을 추출하는 것을 개략적으로 보여주는 도면.
도 5는 상기 도 4의 경혈 위치를 결정하는 것을 개략적으로 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 기계학습 기반의 경혈 위치 인식 방법에 대한 순서를 개략적으로 도시한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 기계학습 기반의 경혈 위치 인식 시스템의 구성을 개략적으로 도시한 도면이고, 도 2는 일반적인 사람의 경혈 위치를 개략적으로 보여주는 도면이고, 도 3은 본 발명의 기계학습 모델을 이용하여 영상 데이터를 처리하는 예를 도시한 도면이고, 도 4는 본 발명의 기계학습 모델을 이용하여 경혈 위치 대상 영역을 추출하는 것을 개략적으로 보여주는 도면이고, 도 5는 상기 도 4의 경혈 위치를 결정하는 것을 개략적으로 도시한 도면이다.

도 1에 도시된 바와 같이, 기계학습 기반의 경혈 위치 인식 시스템(100)은 데이터베이스(110), 전처리부(120), 특징 추출부(130), 학습부(140) 및 분석부(150)를 포함하여 구성된다.

상기 데이터베이스(110)는 대상자의 전신 또는 각 부위별 신체 영상 데이터 세트 및 인체의 표준 경혈 위치 정보를 저장하게 된다.

보다 구체적으로, 상기 데이터베이스(110)는 대상자의 전신 또는 각 부위별 신체 영상 데이터 세트의 각 영상 데이터는 2차원 평면 영상으로 나타나지만 실제 사람은 3차원 공간을 차지하므로 정확한 경혈 위치를 검출하기 위해서는 2차원 영상에서 획득한 정보를 다시 3차원 영상 데이터로 표시하기 위한 원근 오차 보정 과정을 거친 신체 영상 데이터 세트를 저장할 수 있다.

여기서, 상기 신체 영상 데이터 세트의 3차원 영상으로 원근 오차 보정은 별도의 영상 시스템에서 보정하여 제공될 수 있다. 예컨대, 비수렴형 모델을 통해 획득한 스테레오 영상에서 대응점의 거리 차이(d = x_left - x_right)를 계산하여 3차원 정보인 깊이를 나타내는 변이(disparity) 값을 획득하여 보정할 수 있다.

또한, 상기 인체의 표준 경혈 위치 정보는, 도 2에 도시된 바와 같이, 인체에는 경혈도(經穴圖)라는 것이 있는데, 이는 14경락의 부위와 160여 곳의 경혈을 그린 도표를 정보를 포함한다. 여기서, 경락은 오장육부(五臟六腑)의 반응이 몸 거죽에 나타나는 경로를 말하는 것으로, 이러한 경락에 위치한 수혈을 경혈이라 한다. 경혈은 경락순행 경로상에서 기혈이 신체표면에 수주(輸注) 또는 통과하는 중점부위로 한방에서 침(鍼)을 놓거나 뜸을 뜨는 자리 또는 지압이나 수지침이 가능한 자리를 말한다.

즉, 인체의 표준 경혈 위치 정보의 상기 경혈의 흐름을 나타내는 14경락은, 수태음 폐경(手太陰肺經), 수양명 대장경(手陽明大腸經), 족양명 위경(足陽明胃經), 족태음 비경(足太陰脾經), 수소음 심경(手少陰心經), 수태양 소장경(手太陽小腸經), 족태양 방광경(足太陽膀胱經), 족소음 신경(足少陰腎經), 수궐음 심포경(手厥陰心包經), 수소 양 삼초경(手少陽三焦經), 족소양 담경(足少陽膽經), 족궐음 간경(足厥陰肝經), 임맥(任脈), 독맥(督脈)을 포함한다.

상기 수태음 폐경은 천식, 폐결핵, 갱년기 장애, 동맥경화증, 어깨관절의 류머티즘, 목구멍이나 기관지에 생긴 병, 기침, 치질, 출혈, 탈항, 편도선비대, 감기 등의 병에 효과를 나타나는 경락이다.

상기 수양명 대장경은 수태음 폐경과 음야의 한쌍 경락으로 팔의 앞면과 뒷면에 위치하면서 고혈압, 치질, 고혈압, 중풍예방, 피부병, 치통, 편도선염, 편도선 비대, 코피, 두통, 뇌일혈, 코에 생긴 병, 부스럼, 눈 병, 인후통(咽喉痛), 어깨결림, 비염, 후각마비, 축농증 등의 병에 효과가 나타나는 경락이다.

상기 족양명 위경은 거의 모든 질병과 관계가 있으며, 치통, 안면신경마비, 위암, 위궤양, 폐결핵, 장에 생긴 병, 신장병, 변비, 자궁 내막염, 대하증, 월경불순, 방광에 생긴 병, 하복부의 병, 복부의 냉증, 만 성 위 질환, 무릎 관절의 냉증, 무릎관절염, 설사 구토증, 위통 등의 병에 효과가 나타나는 경락이다.

상기 족태음 비경은 족양명 위경과 음양 한쌍의 경락으로 다리의 안과 밖에 위치해 있으며, 이는 어혈의 정화, 월경불순, 식중독, 임신중독, 결핵, 부인과 질환, 신장, 하지마비, 각기병, 당뇨병, 심한 졸음, 장 질환, 변비, 늑간 신경통, 천식, 늑막염, 유아천식 등의 병에 효과가 나타나는 경락이다.

상기 수소음 심경은 심장병, 이명(耳鳴), 변비, 류머티즘, 신경통, 편도선염, 발성 곤란등의 언어장애, 눈 의 충혈, 폐결핵, 천식, 피로회복, 심한 어깨 결림, 호흡장애, 류머티즘, 자궁출혈, 항문출혈, 팔꿈치 관 절통, 신경쇠약, 고혈압 등의 병에 효과가 나타나는 경락이다.

상기 수태양 소장경은 수소음 심경과 음양 한쌍으로 팔의 안과 밖에 위치하는데, 이는 고혈압, 심장병, 신 경통, 오십견, 이명, 혈압항진, 뇌일혈, 부인병, 척골신경통, 마비, 어깨 결림, 변비, 목이 뻣뻣해지는 증 상, 안면싱경마비 등의 병에 효과가 나타나는 경락이다.

상기 족태양 방광경은 인체의 뒤쪽 머리 꼭대기에서 발가락 끝까지 전체를 통과하는 것으로, 이는 거의 모 든 병의 시술점이 있다고 할수 있으며, 6장 6부의 경락 중 가장 길고 중요하며 혈의 수도 134로서 뇌충혈, 뇌일혈, 혈압항진, 이명, 현기증, 신경쇠약, 불면증, 코가 막히는 증상, 축농증, 두통, 머리가 무거운 증 상, 눈병, 감기, 코피, 인후통, 편도선염, 뇌막염, 고혈압, 폐결핵, 백일해, 어깨 결림, 심자판막증, 심계 항진(가슴이 두근거리면서 불안해하는 증상), 협심증(심장벽의 혈관의 경련, 경화, 폐색 등으로 일어나는 매우 심한 동통 발작의 증세), 폐렴, 늑막염, 천식, 시력감퇴, 야맹증, 담낭의 고장, 냉증, 편두통, 간장 질환, 비장질환, 위의 질환, 불면증, 건망증, 히스테리, 생식기 질환, 방광질환, 좌골 신경통, 당뇨병, 대 장질환, 설사, 변비 류머티즘, 자궁출혈, 요통 등의 병에 효과가 나타나는 경락이다.

상기 족소음 신경은 정신(精神) 중에서 정(精) 즉, 정기(精氣)를 관장하는 곳으로, 신장병, 뇌일혈, 하지 마비, 약물증독, 모든 만성병, 인후통, 편도선, 귓병, 당뇨병, 복막염, 호흡기 질환, 위장병, 부인병, 감 기, 천식, 바세도우씨병, 장 질환, 방광질환, 머리가 무거울때, 부인병, 생식기 질환, 심장병, 결핵, 신경 쇠약 등의 병에 효과가 나타나는 경락이다.

상기 수궐음 심포경 횡격막 위에 있는 모든 병, 심장병, 폐결핵, 천식, 신경쇠약, 늑막염, 유방통, 피로회 복, 기침, 팔꿈치 관절염, 류머티즘, 출혈성 질환, 손의 마비 등의 병에 효과가 나타나는 경락이다.

상기 수소양 삼초경은 모든 부인병, 갱년기 장애, 변비, 소장의 질환, 맹장, 난청, 이명, 두통, 변비, 출 혈성 질환, 월경 이상, 피로회복, 중이염, 치통, 어깨결림, 상지 신경통, 편두통, 눈병 등의 병에 효과가 나타나는 경락이다.

상기 족소양 담경은 뇌일혈, 두통, 감기, 콧병, 담낭 질환, 황달, 늑막염, 늑간 신경통, 위의 질환, 신장 병, 하복통, 좌골신경통, 하복부의 냉증, 모든 부인병, 방광질환, 편두통, 하지 신경통, 안면 신경통, 내 장 출혈, 모든 냉기에 대한 질병 등의 병에 효과가 나타나는 경락이다.

상기 족궐음 간경은 족소양 담경과 음양 한쌍으로, 근육 이완이나 경직, 경련, 졸도, 월경 폐지나 불순, 부인과 질환, 신장질환, 오줌이 자주 마려울때, 복막염, 무릎 관절염, 좌골 신경통, 간장질환, 담석증, 늑 막염, 비장질환, 경련, 만성 위의 질환 등의 병에 효과가 나타나는 경락이다.

상기 임맥은 성병 및 소화기 전질환에 영향을 주며, 여성의 임신과 관계가 있음은 물론 특히 부인병과 관 계가 깊어 불임증이나 생리이상과 전신의 기능 조절(실조증) 등의 병에 효과가 나타나는 경락이다.

상기 독맥은 아랫배에서 부터 명치에 걸쳐 떠받치는 통증과 찌르는 것 같은 통증, 목이 타는 듯한 통증, 성기의 장애를 가져오는 여러가지의 증상, 소화기와 호흡기의 장애, 몸을 앞뒤로 구부렸다 펴면 척추 통증 등의 병에 효과가 나타는 경락이다.

상기 전처리부(120)는 상기 데이터베이스(110)에 저장된 신체 영상 데이터의 정규화를 위한 전처리를 수행하게 된다.

보다 구체적으로, 상기 전처리부(120)는 상기 신체 영상 이미지 데이터의 크기 조정, 배경 제거, 노이즈 제거 및 그레이 스케일을 포함하는 전처리 과정을 수행한다.

다시 말해, 전처리부(220)에서 수행되는 전처리는 신경망 데이터를 준비하기 위한 과정으로 주어진 데이터의 품질을 향상시키는 CV 및 이미지 처리에서 중요한 역할을 하게 된다. 여기서, 전처리에는 이미지 크기 조정, 배경 제거, 노이즈 제거 및 RGB와 같은 이미지의 색 공간을 회색으로 변경하는 작업이 포함될 수 있다.

또한, 상기 전처리부(120)는 도 3에 도시된 바와 같이, 신경망 학습 모델 데이터를 준비하기 위한 과정으로 상기 신체 영상 데이터에서 관심 영역을 라벨링(labeling) 또는 신체 영상 데이터에서 경계를 정확하게 구별하는 어노테이션(annotation)을 수행하게 된다. 여기서, 라벨링(labeling)은 원천 데이터를 컴퓨터가 이해할 수 있도록 가공하는 과정을 의미한다. 특히, 빅데이터로 구축된 영상 데이터를 기반으로 딥러닝 분석을 수행하기 위해서는 영상 데이터 내에 분석 대상이 되는 관심 영역(ROI, Region Of Interest)을 설정하여야 한다. 예를 들어, 의료 영상 데이터를 분석하여 특정 신체 부위의 경혈 위치 특성을 분석하고자 하는 경우, 빅데이터로 구축된 환자 영상 데이터 각각에 관심 영역인 신체 부위의 윤곽선을 직접 그리는 과정을 수행한다.

그러나, 딥러닝 분석 수행을 위해 구축된 빅데이터 내에 다량의 영상 데이터가 포함되므로, 각 영상 데이터에 관심 영역을 그리는 라벨링 작업은 많은 수작업을 필요로 하고 소요되는 시간이 길어서, 데이터 구축에 있어 많은 시간과 비용을 소요하게 한다. 따라서, 빅데이터로 구축된 영상에 관심 영역을 라벨링하는데 소요되는 시간을 단축하기 위한 라벨링 자동화 기술을 적용하게 된다.

한편, 상기 전처리부(120)에서 신경망 학습 모델 데이터의 라벨링 또는 어노테이션을 수행하는 것으로 기술하였으나 이에 한정되지 아니하고 후술될 특징 추출부(130)에서도 처리될 수 있다.

상기 특징 추출부(130)는 도 3에 도시된 바와 같이, 상기 전처리된 신체 영상 데이터를 CNN 학습 모델을 이용하여 경혈 위치 대상 영역을 추출하고 경혈 위치를 결정하게 된다.

보다 구체적으로, 상기 특징 추출부(130)는 Mask R-CNN 모델을 적용하여 대상 검출(Object detection) 및 시멘틱 세그맨테이션(Sementic segmentation)을 수행하게 된다.

상기 대상 검출(Object detection)은 ROI(Region of interest) Align으로 경혈 위치에 해당하는 관심 영역을 검출하고, 상기 시멘틱 세그맨테이션(Sementic segmentation)은 클래스 분류 예측, 바운딩 박스에 대한 회귀분석 및 마스크 예측을 수행하여 경혈 위치를 결정하게 된다.

다시 말해, 도 4에 도시된 바와 같이, 특징 추출부(130)는 예컨대, 하지 영상 데이터에서 대상자의 하지 굴곡(curvature) 정도를 이용하여 검출기준을 기계학습할 수 있다. 또한, 배경과 객체, 즉 대상자의 하지와 다른 배경들을 구분하는 가장자리 인식 알고리즘을 이용하여 상기 검출기준을 기계학습할 수 있다.

예컨대, 도 3과 같이, 특징 추출부(130)는 하지 영상으로부터 무릎 관절부터 발바닥까지 길이, 무릎 관절부터 발목 관절 길이 또는 발목 관절에서 발바닥 길이로 설정하여 특징벡터를 추출할 수 있으며, 추출된 특징벡터를 기준으로 검출 기준을 학습할 수 있다.

상기 학습부(140)는 상기 특징 추출부에서 추출된 신체의 대상 영역 부위의 경혈 위치를 DCGAN(Deep convolutional generated adversarial net) 학습 모델을 이용하여 학습하게 된다.

보다 구체적으로, 상기 학습부(140)는 DCGAN 학습 모델을 이용하여 상기 결정된 경혈 위치를 상기 데이터베이스(110)에 저장된 인체의 표준 경혈 위치 정보와 비교하여 경혈 위치 좌표를 산출하여 학습하게 된다.

여기서, DCGAN(Deep Convolutional GAN) 학습 모델은 생성적 적대 신경망의 CNN구조로 판별자 D와 생성자 G를 구성한 모델로, 판별자 D는 이미지(예 28x28x3)를 입력으로 받아 바이너리 클래시피케이션(binary classification)을 수행하므로 CNN구조를, 생성자 G는 랜덤 벡터(random vector)(예 (100,1))를 입력으로 받아 이미지(28x28x3)을 생성해야므로 디컨볼루셔널 네트워크(deconvolutional network) 구조를 갖게 된다.

이러한, DCGAN(Deep Convolutional GAN) 학습 모델은 입력된 영상 데이터를 이전 샘플 데이터를 비교하여 경혈 위치를 찾아가기 위한 학습 모델이다.

보다 구체적으로, 상기 DCGAN(Deep Convolutional GAN) 학습 모델은 표준 경혈 위치를 포함하는 이미지를 기반으로, 상기 생성적 적대 신경망을 통해 상기 유사 이미지를 생성할 수 있다. 이를 통해, 상기 DCGAN(Deep Convolutional GAN) 학습 모델은 원본 이미지에서 표준 경혈 위치와 유사한 이미지를 생성할 수 있다. 또한, 상기 DCGAN(Deep Convolutional GAN) 학습 모델은 상기 유사 이미지를 생성하는 과정을 미리 설정된 일정 수에 도달할 때까지 반복할 수 있다.

상기 DCGAN(Deep Convolutional GAN) 학습 모델에 의해 생성된 유사 이미지를 이용하여 분류 모델을 학습하고, 상기 학습된 분류 모델을 기반으로 입력 이미지의 경혈 위치를 판단하여 분류할 수 있다.

상기 DCGAN(Deep Convolutional GAN) 학습 모델에 의해 생성된 유사 이미지가 일정 수에 도달하면, 상기 일정수의 유사 이미지를 이용하여 상기 분류 모델을 학습함으로써, 학습에 사용되는 데이터의 양을 늘리고 클래스(표준 경혈 위치)별 데이터 불균형을 해소할 수 있다.

즉, DCGAN(Deep Convolutional GAN)이란 두 개의 네트워크로 구성된 신경망 구조로 한 네트워크가 다른 네트워크와 대립하면서 학습을 진행한다. 아래의 수학식 1은 생성적 적대 신경망의 수식을 나타낸다.

[수학식 1]

상기 수학식 1에서 x~Pdata(x)는 실제 이미지에 대한 확률 분포로 생성한 이미지를 나타내고, z~Pz(z)는 노이즈를 사용하여 생성한 이미지를 나타낸다. D(x)는 판별자를 나타내며 이미지가 진짜일 확률을 의미하는 0~1 사이의 값이 나오게 된다. D(G(z))의 경우에는 생성자가 생성한 이미지를 판별자를 통해 구분한 것으로 이 역시 이미 지가 진짜일 확률을 의미하는 0~1 사이의 값을 가지게 된다.

상기 수학식 1을 최대화하기 위해서는 D(G(z))의 값은 1에 가까워야 하며 D(x)의 값은 1에 가까워야 한다. 이처럼 생성자와 판별자가 Minmax 문제를 풀어가며 학습을 하는 것이 생성적 적대 신경망의 학습 방법이다.

본 발명의 일 실시예에서, 상기 생성적 적대 신경망은 기존의 DCGAN(Deep Convolutional)와 판별자 (Discriminator)를 제외하고 모두 동일하게 설계될 수 있다. 참고로, 상기 DCGAN은 비지도학습과 CNN(Convolutional Neural Network)을 결합한 형태의 네트워크를 의미한다. 이때, 상기 판별자는 상기 원본 이미지가 표준 경혈 위치를 나타내는 것을 고려하여, 상기 기존의 DCGAN에서 컨볼루션 레이어(Convolution Layer)의 크기를 5*5에서 3*3으로 수정하여 연산량을 줄이고 메모리를 절약하며, 활성화 함수를 Relu가 아닌 Sigmoid를 사용하여 다양한 클래스의 유사 이미지를 생성하도록 설계될 수 있다.

예컨대, 도 4에 도시된 바와 같이, 상기 학습부(140)는 상기 추출된 특징에서 "ST36 족삼리" 라는 경혈 위치에 대하여 상기 대상자의 하지 길이인 무릎 관절의 위치와 발목 관절 사이를 16등분했을 때 무릎 관절에서 3/16 지점에 해당하게 된다. 즉, 상기 학습부(140)는 대상자의 하지 길이인 무릎 관절의 위치와 발목 관절의 비율을 이용하여 혈자리 위치에 대한 검출기준을 학습할 수 있다. 이를 통해, 대상자마다 하지 길이가 다르거나 형상이 달라지더라도 정확하게 혈자리 위치를 검출할 수 있게 된다.

또한, 상기 학습부(140)는 상기 검출된 경혈 위치를 표준 경혈 위치 정보와 비교하여 경혈 위치 좌표를 산출하여 다시 학습하게 된다.

상기 분석부(150)는 상기 학습부(140)에서 학습된 경혈 위치의 정확도를 분석하여 평가하게 된다. 여기서, 학습부의 기계학습 모델의 성능을 평가하고 알고리즘이나 기계학습 모델의 수정 등을 통해 최적화를 수행하는데 있어 학습데이터 량, 어노테이션 보정 등 하이퍼 파라메터에 대해 정확도가 높은 학습 모델을 결정할 수 있다.

또한, 도 6은 본 발명의 일 실시예에 따른 기계학습 기반의 경혈 위치 인식 방법에 대한 순서를 개략적으로 도시한 도면이다. 여기서, 도 6에 대한 상세한 설명은 상술한 도 1 내지 도 5를 참조하여 생략하기로 한다.

도 6에 도시된 바와 같이, 먼저, 본 발명의 기계학습 기반의 경혈 위치 인식 방법은, 데이터베이스에 저장된 대상자의 전신 또는 각 부위별 신체 영상 데이터 세트에서 신체 영상 데이터의 정규화를 위한 전처리를 수행하는 단계가 수행된다(S610).

보다 구체적으로, 전처리 단계는 상기 신체 영상 이미지 데이터의 크기 조정, 배경 제거, 노이즈 제거 및 그레이 스케일을 포함하는 과정을 수행한다.

다시 말해, 전처리는 신경망 데이터를 준비하기 위한 과정으로 주어진 데이터의 품질을 향상시키는 CV 및 이미지 처리에서 중요한 역할을 하게 된다. 여기서, 전처리에는 이미지 크기 조정, 배경 제거, 노이즈 제거 및 RGB와 같은 이미지의 색 공간을 회색으로 변경하는 작업이 포함될 수 있다.

또한, 전처리 단계는 신경망 학습 모델 데이터를 준비하기 위한 과정으로 상기 신체 영상 데이터에서 관심 영역을 라벨링(labeling) 또는 신체 영상 데이터에서 경계를 정확하게 구별하는 어노테이션(annotation)을 수행하게 된다.

그 다음, 상기 전처리된 신체 영상 데이터를 CNN 학습 모델을 이용하여 경혈 위치 대상 영역을 추출하고 경혈 위치를 결정하는 단계가 수행된다(S620). 여기서, Mask R-CNN 모델을 적용하여 대상 검출(Object detection) 및 시멘틱 세그맨테이션(Sementic segmentation)을 수행하게 된다. 상기 대상 검출(Object detection)은 ROI(Region of interest) Align으로 경혈 위치에 해당하는 관심 영역을 검출하고, 상기 시멘틱 세그맨테이션(Sementic segmentation)은 클래스 분류 예측, 바운딩 박스에 대한 회귀분석 및 마스크 예측을 수행하여 경혈 위치를 결정하게 된다.

이어서, 상기 추출된 신체의 대상 영역 부위의 경혈 위치를 DCGAN 학습 모델을 이용하여 학습하는 단계가 수행된다(S630). 여기서, DCGAN 학습 모델을 이용하여 상기 결정된 경혈 위치를 상기 데이터베이스에 저장된 인체의 표준 경혈 위치 정보와 비교하여 경혈 위치 좌표를 산출하여 학습하게 된다.

그리고, 상기 학습된 경혈 위치의 정확도를 분석하여 평가하는 단계가 수행된다(S640).

따라서, 상술한 본 발명의 기계학습을 이용하여 표준 경혈 위치의 데이터베이스 구축을 통해 정확한 스마트 혈위 진단을 제공할 수 있게 된다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

110: 데이터 베이스
120: 전처리부
130: 특징 추출부
140: 학습부
150: 분석부

Claims

대상자의 전신 또는 각 부위별 신체 영상 데이터 세트 및 인체의 표준 경혈 위치 정보를 저장하는 데이터베이스;
상기 신체 영상 데이터의 정규화를 위한 전처리를 수행하는 전처리부;
상기 전처리된 신체 영상 데이터를 CNN 학습 모델을 이용하여 경혈 위치 대상 영역을 추출하고 경혈 위치를 결정하는 특징 추출부;
상기 특징 추출부에서 추출된 신체의 대상 영역 부위의 경혈 위치를 DCGAN 학습 모델을 이용하여 학습하는 학습부; 및
상기 학습부에서 학습된 경혈 위치의 정확도를 분석하여 평가하는 분석부;를 포함하는 기계학습 기반의 경혈 위치 인식 시스템.
제1항에 있어서,
상기 전처리부는 상기 신체 영상 이미지 데이터의 크기 조정, 배경 제거, 노이즈 제거 및 그레이 스케일을 포함하는 전처리를 수행하는 것을 특징으로 하는 기계학습 기반의 경혈 위치 인식 시스템.
제1항에 있어서,
상기 전처리부는 상기 신체 영상 데이터에서 관심 영역을 라벨링 또는 어노테이션을 수행하는 것을 특징으로 하는 기계학습 기반의 경혈 위치 인식 시스템.
제1항에 있어서,
상기 특징 추출부는 Mask R-CNN 모델을 적용하여 대상 검출(Object detection) 및 시멘틱 세그맨테이션(Sementic segmentation)을 수행하는 것을 특징으로 하는 기계학습 기반의 경혈 위치 인식 시스템.
제4항에 있어서,
상기 대상 검출(Object detection)은 ROI(Region of interest) 얼라인으로 경혈 위치에 해당하는 관심 영역을 검출하고, 상기 시멘틱 세그맨테이션(Sementic segmentation)은 클래스 분류 예측, 바운딩 박스에 대한 회귀분석 및 마스크 예측을 수행하여 경혈 위치를 결정하는 것을 특징으로 하는 기계학습 기반의 경혈 위치 인식 시스템.
제1항에 있어서,
상기 학습부는 DCGAN 학습 모델을 이용하여 상기 결정된 경혈 위치를 상기 데이터베이스에 저장된 인체의 표준 경혈 위치 정보와 비교하여 경혈 위치 좌표를 산출하여 학습하는 것을 특징으로 하는 기계학습 기반의 경혈 위치 인식 시스템.
데이터베이스에 저장된 대상자의 전신 또는 각 부위별 신체 영상 데이터 세트에서 신체 영상 데이터의 정규화를 위한 전처리를 수행하는 단계;
상기 전처리된 신체 영상 데이터를 CNN 학습 모델을 이용하여 경혈 위치 대상 영역을 추출하고 경혈 위치를 결정하는 단계;
상기 추출된 신체의 대상 영역 부위의 경혈 위치를 DCGAN 학습 모델을 이용하여 학습하는 단계; 및
상기 학습된 경혈 위치의 정확도를 분석하여 평가하는 단계;를 포함하는 기계학습 기반의 경혈 위치 인식 방법.
제7항에 있어서,
상기 전처리 단계에서 상기 신체 영상 이미지 데이터의 크기 조정, 배경 제거, 노이즈 제거 및 그레이 스케일을 포함하는 전처리를 수행하는 것을 특징으로 하는 기계학습 기반의 경혈 위치 인식 방법.
제7항에 있어서,
상기 전처리 단계에서 상기 신체 영상 데이터에서 관심 영역을 라벨링 또는 어노테이션을 수행하는 것을 특징으로 하는 기계학습 기반의 경혈 위치 인식 방법.
제7항에 있어서,
상기 대상 영역을 추출하고 경혈 위치를 결정하는 단계에서 Mask R-CNN 모델을 적용하여 대상 검출(Object detection) 및 시멘틱 세그맨테이션(Sementic segmentation)을 수행하는 것을 특징으로 하는 기계학습 기반의 경혈 위치 인식 방법.
제10항에 있어서,
상기 대상 검출(Object detection)은 ROI(Region of interest) 얼라인(Align)으로 경혈 위치에 해당하는 관심 영역을 검출하고, 상기 시멘틱 세그맨테이션(Sementic segmentation)은 클래스 분류 예측, 바운딩 박스에 대한 회귀분석 및 마스크 예측을 수행하여 경혈 위치를 결정하는 것을 특징으로 하는 기계학습 기반의 경혈 위치 인식 방법.
제7항에 있어서,
상기 학습하는 단계에서 DCGAN 학습 모델을 이용하여 상기 결정된 경혈 위치를 상기 데이터베이스에 저장된 인체의 표준 경혈 위치 정보와 비교하여 경혈 위치 좌표를 산출하여 학습하는 것을 특징으로 하는 기계학습 기반의 경혈 위치 인식 방법.