KR102567138B1 - 머신러닝 기반 모발 건강 진단 방법 및 시스템 - Google Patents

Abstract

본 발명의 목적은 현미경으로 관찰하여 획득한 모발 이미지에서 모발 손상 정도를 인식하고 판단할 수 있는 머신러닝 기반 모발 건강 진단 방법 및 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법은, 주사 전자 현미경으로 촬영한 모발 손상 정도 이미지를 수집부에 의해 수집하는 제 1 단계; 수집된 상기 모발 손상 정도 이미지를 구성부에 의해 DHI(Damage Hair Image) 데이터 세트로 생성하는 제 2 단계; 생성된 DHI 데이터 세트로부터 추출부에 의해 상기 모발 손상 정도 이미지의 특징을 추출하는 제 3 단계; 추출된 상기 특징을 선택부에 의해 선택하는 제 4 단계; 선택된 상기 특징을 분류부에 의해 분류하는 제 5 단계;를 포함하는 것을 특징으로 한다.

Description

머신러닝 기반 모발 건강 진단 방법 및 시스템{METHOD AND SYSTEM FOR DIAGNOSING HAIR HEALTH BASED ON MACHINE LEARNING}

본 발명은 머신러닝 기반 모발 건강 진단 방법 및 시스템에 관한 것으로, 더욱 상세하게는 모발 이미지에서 모발 손상 정도를 인식하고 판단할 수 있는 머신러닝 기반 모발 건강 진단 방법 및 시스템에 관한 것이다.

최근, 미용실에서 모발 상태 검사와 모발 손상 여부 판단은 미용사 등 전문가의 판단에만 의존하게 된다.

이러한 판단의 기준은 대부분 미용사가 직접 모발을 만져보고 육안으로 모발을 관찰한 경험에 기반한다.

하지만, 전문적인 경험이 너무 부족하면 모발의 질을 판단하는데 오류가 발생할 수 있다.

그리고 현재의 모발 손상 판단 방식은 모발의 수분 함량, 시스틴 함량, 응고 이완, 염색 흡수법, 알칼리 용해도, 구리 흡수법, 리튬브로마이드법 흡광도, 인장강도 등을 감지하여 모발 손상 여부를 판단하기 위해 손상 정도를 결정한다.

이러한 방법에서, 화학 실험과 물리적 실험을 통해 많은 것들을 테스트해야 한다.

하지만, 이러한 종류의 모발 감지를 위한 화학적 및 물리적 방법은 복잡하고 시간이 너무 오래 걸리는 문제점이 있다.

따라서, 모발의 손상 정도를 보다 빠르고 간단하게 판단할 수 있는 방법이 요구되고 있다.

국내 공개특허공보 제10-2019-0049222호

상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명의 목적은 현미경으로 관찰하여 획득한 모발 이미지에서 모발 손상 정도를 인식하고 판단할 수 있는 머신러닝 기반 모발 건강 진단 방법 및 시스템을 제공하는 것이다.

상기 목적을 달성하기 위해, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법은, 주사 전자 현미경으로 촬영한 모발 손상 정도 이미지를 수집부에 의해 수집하는 제 1 단계; 수집된 상기 모발 손상 정도 이미지를 구성부에 의해 DHI(Damage Hair Image) 데이터 세트로 생성하는 제 2 단계; 생성된 DHI 데이터 세트로부터 추출부에 의해 상기 모발 손상 정도 이미지의 특징을 추출하는 제 3 단계; 추출된 상기 특징을 선택부에 의해 선택하는 제 4 단계; 선택된 상기 특징을 분류부에 의해 분류하는 제 5 단계;를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 상기 DHI 데이터 세트는, 상기 모발 손상 정도 이미지의 모발 샘플을 상부, 중간, 하부의 3 부분 샘플로 분류하고, 분류된 3 부분 샘플을 상기 주사 전자 현미경으로 각각 스캐닝하여 경상, 중상, 심각한 중상의 최종 샘플 데이터 세트로 생성하는 것을 특징으로 한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 상기 최종 샘플 데이터 세트의 총 양을 데이터 확장 기술을 통해 확장하고, 학습 속도가 향상되도록 상기 모발 손상 정도 이미지의 크기를 224 × 224 로 조정하는 것을 특징으로 한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 상기 추출부는 경량의 컨볼루션 신경망(CNN: Convolutional Neural Network)인 HDM-NET(Hair-Diagnosis-Mobilenet)을 통해 상기 특징을 추출하는 것을 특징으로 한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 상기 HDM-NET은, MobileNet의 내부에 깊이별 컨볼루션(depthwise convolution)과, 포인트별 컨볼루션(pointwise convolution)으로 구성된 깊이별 분리 가능한 컨볼루션(depthwise separable convolution)을 기반으로 하는 것을 특징으로 한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 상기 깊이별 분리 가능한 컨볼루션은 상기 깊이별 컨볼루션을 사용하여 입력의 각 채널당 단일 필터를 적용하고, 1 × 1 포인트별 컨볼루션을 사용하여 깊이별 레이어에서 출력의 선형 조합을 생성하는 것을 특징으로 한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 상기 HDM-NET은, 히든층이 컨볼루션 레이어, 깊이별 컨볼루션 레이어, BN(Batch Normalization) 레이어, ReLU 레이어, 포인트별 컨볼루션 레이어, BN 레이어, ReLU 레이어의 순으로 형성되는 것을 특징으로 한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 상기 HDM-NET은, 상기 MobileNet에서 깊이별 컨볼루션의 5개 레이어에서 3개의 레이어를 제거하고, 최종 에버리지 풀링을 글로벌 풀링으로 변경 후 BN을 추가하며, 상기 BN과, 상기 Relu에 대한 풀리 연결 층(Fully connected Layer)을 제거하여 과적합의 발생을 완화시키는 것을 특징으로 한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 상기 선택부는 이득 비율 알고리즘을 사용하여 상기 특징을 선택하며, 상기 이득 비율(Gain Ratio) 알고리즘에 의해 특징 벡터가 이미지 정보에서 생성될 때 속성을 선택하는 것을 특징으로 한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 상기 이득 비율 알고리즘은 정보 이득을 계산할 때, 엔트로피는 복잡성을 측정하는데 사용하고, 결정 트리는 벡터 속성을 관찰하는데 사용하는 것을 특징으로 한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 상기 분류부는 SVM(Support Vector Machine) 분류기를 사용하는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위해, 본 발명에 따른 머신러닝 기반 모발 건강 진단 시스템은, 머신러닝 기반 모발 건강 진단 방법에 의해 진단된다.

한편, 상기 목적을 달성하기 위해, 또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 시스템은, 주사 전자 현미경으로 촬영한 모발 손상 정도 이미지를 수집하는 수집부; 수집된 상기 모발 손상 정도 이미지를 DHI(Damage Hair Image) 데이터 세트로 생성하는 구성부; 생성된 DHI 데이터 세트로부터 상기 모발 손상 정도 이미지의 특징을 추출하는 추출부; 추출된 상기 특징을 선택하는 선택부; 및 선택된 상기 특징을 분류하는 분류부;를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 시스템에서, 상기 추출부는 경량의 컨볼루션 신경망(CNN: Convolutional Neural Network)인 HDM-NET(Hair-Diagnosis-Mobilenet)을 통해 상기 특징을 추출하는 것을 특징으로 한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 시스템에서, 상기 선택부는 이득 비율 알고리즘을 사용하여 상기 특징을 선택하며, 상기 이득 비율(Gain Ratio) 알고리즘에 의해 특징 벡터가 이미지 정보에서 생성될 때 속성을 선택하는 것을 특징으로 한다.

기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.

본 발명에 의하면, 현미경으로 관찰하여 획득한 모발 이미지에서 모발 손상 정도를 인식하고 판단할 수 있는 효과가 있다.

도 1은 SEM 현미경(× 800)으로 촬영한 모발 손상 정도 이미지로, 좌측에서 우측으로 손상, 고 손상, 약 손상이며, 다음 이미지는 손상된 각질을 나타내는 도면.
도 2는 모발 손상 진단 순서도.
도 3은 깊이별 컨볼루션과, 포인트별 컨볼루션의 단계를 나타내는 도면.
도 4의 (a)는 (HDM-NET + SVM)의 아키텍처이고, (b)는 Mobilenet 아키텍처인 도면.
도 5의 (a)는 MobileNet의 정확도이고, (b)는 HDM-net의 정확도이며, (c)는 MobileNet에 대해 사용된 속성 선택이고, (d)는 HDM-net에 대해 사용된 속성 선택을 나타내는 도면.

본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.

또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.

더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.

반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.

마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.

또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.

또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.

본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.

또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.

이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.

본 발명에 따른 머신러닝 기반 모발 건강 진단 방법은 5개의 단계를 포함한다.

제 1 단계에서는, 주사 전자 현미경(SEM)으로 촬영한 모발 손상 정도 이미지를 수집부에 의해 수집한다.

제 2 단계에서는, 수집된 모발 손상 정도 이미지를 구성부에 의해 DHI(Damage Hair Image) 데이터 세트로 생성한다.

제 3 단계에서는, 생성된 DHI 데이터 세트로부터 추출부에 의해 모발 손상 정도 이미지의 특징을 추출한다.

제 4 단계에서는, 추출된 상기 특징을 선택부에 의해 선택한다.

제 5 단계에서는, 선택된 상기 특징을 분류부에 의해 분류한다.

또한, 본 발명에 따른 머신러닝 기반 모발 건강 진단 시스템은 상술한 바와 같은 머신러닝 기반 모발 건강 진단 방법에 의해 진단된다.

한편, 본 발명에 따른 머신러닝 기반 모발 건강 진단 시스템은 수집부와, 구성부와, 추출부와, 선택부와, 분류부를 포함한다.

수집부는 주사 전자 현미경으로 촬영한 모발 손상 정도 이미지를 수집한다.

구성부는 수집된 모발 손상 정도 이미지를 DHI(Damage Hair Image) 데이터 세트로 생성한다.

추출부는 생성된 DHI 데이터 세트로부터 모발 손상 정도 이미지의 특징을 추출한다.

선택부는 추출된 특징을 선택한다.

분류부는 선택된 특징을 분류한다.

본 발명에 따른 머신러닝 기반 모발 건강 진단 방법 및 시스템은 향후 휴대용 기기에도 적용될 예정이며, 이는 누구 또는 언제 어디서나 용이하게 모발 손상 정도를 판단하고, 펌, 염색, 기타 미용 서비스를 받을지 여부를 결정할 수 있다.

이를 위해, 우선, 머리카락의 구성을 간단히 이해할 필요가 있다.

모발은 케라틴 80 ~ 90% 와, 수분 10 ~ 15% 로 구성되어 있다.

도 1은 SEM 현미경(× 800)으로 촬영한 모발 손상 정도 이미지로, 좌측에서 우측으로 손상, 고 손상, 약 손상이며, 다음 이미지는 손상된 각질을 나타내는 도면이다.

도 1을 참조하면, 모발의 케라틴을 더 잘 관찰하기 위해 주사 전자 현미경(SEM)을 사용하여 × 800에서 관찰한다.

다음, 도 1의 케라틴의 형태에 따라, 손상된 케라틴(흰 부분)이 모발의 일정 비율을 차지한다.

손상된 케라틴의 분포가 모발 면적의 20% 미만인 경우 모발을 손상으로 판단한다.

케라틴 단백질 분포가 모발 면적의 20 ~ 30% 를 차지할 때 모발 손상도가 높은 것으로 판단한다.

또한, 케라틴 단백질 분포가 모발 면적의 30% 이상이면 약한 데미지로 판단한다.

SEM 영상 분석과 관련하여 유역 분할 알고리즘, 전역-로컬 임계값 방법, Laplacian of Gaussian 필터 및 비최대 억제를 기반으로 개발된 분할 방법이 있다.

따라서, 현미경으로 관찰하여 획득한 모발 이미지에서 모발 손상 정도를 인식하고 판단해야 한다.

또한, 인식 및 분류를 위한 딥러닝 이미지 분류 기술을 결합한다.

경량 CNN을 사용하기 위해, 사용 가능한 매개 변수의 수를 줄이고, 작은 데이터 세트로 높은 분류 정확도를 달성하며, 수렴에 필요한 학습 시간을 줄이고, 네트워크의 복잡성을 줄여 모바일 애플리케이션을 활성화하며, 다른 휴대용 모바일 기기에도 적용 가능성을 확대할 수 있도록 설정한다.

- 재료 및 방법 -

SEM 이미지 데이터 세트(DHI 데이터 세트)

본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, DHI 데이터 세트는 모발 손상 정도 이미지의 모발 샘플을 상부, 중간, 하부의 3 부분 샘플로 분류하고, 분류된 3 부분 샘플을 주사 전자 현미경으로 각각 스캐닝하여 경상, 중상, 심각한 중상의 최종 샘플 데이터 세트로 생성한다.

딥러닝의 경우, 데이터 세트를 선택하는 것이 매우 중요하다.

모발의 손상 정도를 확인하고 판단하기 위해서는 모발 이미지에서 케라틴 단백질을 확인하고 분류해야 한다.

그러나 모발에 대한 데이터 세트에는 모발에 케라틴을 표시할 수 있는 모발 이미지 데이터가 거의 없다.

이러한 이유로 본 발명에서는 데이터 세트를 직접 수집하고 생성하였다.

이와 같이 생성된 데이터 세트는 표 1에 나타낸 바와 같이 DHI(Damage Hair Image) 데이터 세트로 명명한다.

DHI 데이터 세트는 SEM을 사용한 자체 관찰에 의해 수집된다.

데이터 수집 과정에서 관찰 및 이미지 수집을 위해 다양한 모발 샘플을 수집한다.

이와 같은 DHI 데이터 세트에는 젊은 사람부터 노인까지의 모발 샘플과, 파마 및 비파마로 처리된 모발 샘플이 포함되어 있다.

모발 샘플의 상부, 중간, 하부(뿌리에서 끝까지)를 SEM으로 각각 대조 관찰한다.

관찰 후, 샘플의 케라틴 단백질이 질서 정연하게 배열된다.

케라틴 단백질의 중간 부분은 일반적으로 소량 결핍되고, 케라틴 단백질의 하부는 심하게 결손되며, 심지어 케라틴 단백질도 완전히 결손된다.

그러나 파마 모발 샘플은 불규칙하게 분포되어, 중앙에서 케라틴이 빠진다.

시간이 지난 후, SEM을 통해 이미지를 수집하고, 이미지를 분석하고, 이미지를 정리한다.

경상, 중상, 심각한 중상에 대한 최종 샘플 데이터 이미지는 총 286장이다.

그러나 이 데이터 세트의 수는 여전히 딥러닝에 너무 적다.

따라서, 회전, 흐림, 노이즈 증가 및 기타 방법 등의 데이터 확장 기술을 통해 데이터 세트를 2900으로 확장한다.

이미지의 원본 크기는 640 × 480 이며, 신경망을 보다 편리하고 빠르게 학습 데이터로 만들기 위해 크기를 224 × 224 로 조정한다.

즉, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 최종 샘플 데이터 세트의 총 양을 데이터 확장 기술을 통해 확장하고, 학습 속도가 향상되도록 모발 손상 정도 이미지의 크기를 224 × 224 로 조정한다.

[표 1]

표 1은 모발 손상 데이터 수집 처리를 나타낸다.

- 방법론 -

최근 수년 동안, MobileNet, Googlenet 및 VggNet과 같은 딥 러닝의 인식 및 분류 네트워크가 점점 향상되었다.

이러한 네트워크는 동물, 식물, 얼굴 및 기타 분야의 인식 및 분류에서 높은 정확도를 입증하였다.

그러나 본 발명에서는 실험을 위해 작은 네트워크가 필요하며, 향후 휴대 전화나 휴대용 장치에 적용할 수 있도록 상술한 바와 같이 생성한 데이터 세트는 작은 데이터 세트이기 때문에, 학습 효과를 나쁘게 만들기 쉽고 대규모 네트워크에서는 과적합(Overfit)하기 쉽다.

따라서, VGG, ResNet보다 더 작은 모델이 필요하다.

모발 손상의 분류 및 인식 결과를 보다 정확하게 하기 위해, 모발 분류에 적합한 네트워크인 Hair-Diagnosis-Mobilenet(HDM-NET)을 이용한다.

또한, HDM-NET을 사용하여 특징을 추출하고, 특징을 선택하며, 마지막으로 SVM을 사용하여 모발 손상 이미지를 분류한다(도 2 참조).

즉, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 추출부는 경량의 컨볼루션 신경망(CNN: Convolutional Neural Network)인 HDM-NET(Hair-Diagnosis-Mobilenet)을 통해 특징을 추출한다.

도 2는 모발 손상 진단 순서도이다.

도 2를 참조하면, 본 발명에서는 단일 실험에 SVM을 사용할 뿐만 아니라 MLP(Multilayer Perceptron)과 결합된 HDM-NET과, RF(Random Forest)와, KNN(k-nearest neighbor)을 사용한다.

그리고 기존 모델인 Moblienet과 이러한 분류 방법을 결합하여 다중 그룹 제어 실험을 수행한다.

- 특징 선택 -

특징 벡터가 이미지 정보에서 생성될 때 속성을 선택한다.

이 선택의 중요성은 이미지를 분석할 때 불필요한 기능을 제거한 다음, 계산 복잡성을 줄여 예측 모델을 최적화하고 더 나은 결과를 획득하는 것이다.

속성 선택 기술은 기본 정보를 식별하는데 주로 사용된다.

여기서, 이득 비율 알고리즘을 사용하여 선택한다.

정보 이득을 계산할 때, 엔트로피는 복잡성을 측정하는데 사용되며, 결정 트리는 벡터 속성을 관찰하는데 사용된다.

이러한 방식으로 정보 획득의 성능이 향상된다.

따라서 트리를 확장할 때, 더 나은 정확도를 제공한다.

다음은 T개의 다른 카테고리를 갖는 s개의 데이터 샘플로 구성된 D(데이터) 세트이다.

수식 1은 주어진 샘플에 대한 분류 계산 정보를 나타낸다.

[수식 1]

여기서, 는 샘플이 클래스에 속할 확률이다.

값을 갖는 주어진 속성 의 엔트로피 계산은 수식 2이다.

[수식 2]

여기서, 변수 는 서브셋 의 클래스 에 속하는 샘플의 수를 나타낸다.

속성 이득 는 수식 3으로 표현된다.

[수식 3]

수식 4는 D의 데이터 세트를 파티션으로 나누어 생성된 정보값을 나타낸다.

[수식 4]

마지막으로, 이득비는 수식 (3)의 솔루션을 수식 (4)의 솔루션으로 나눈 결과로 정의된다.

속성은 이득 비율 값에 따라 순위가 지정되며, 가장 높은 값을 가진 속성이 선택된다.

- MobileNet -

MobileNet을 선택하고 개선한 이유는 MobileNet을 모바일 기기와 소형 현미경이나 모바일 카메라에 활용하여 모발 이미지를 획득하고 진단할 수 있기 때문이다.

MobileNet은 내부에 두 개의 핵심 레이어인 깊이별 컨볼루션(depthwise convolution)과, 포인트별 컨볼루션(pointwise convolution)으로 구성된 깊이별 분리 가능한 컨볼루션(depthwise separable convolution)을 기반으로 한다.

깊이별 컨볼루션은 새로운 특징을 생성하지 않고 입력을 필터링하는 단계이다.

따라서, 포인트별 컨볼루션으로 불리는 새로운 기능을 생성하는 프로세스가 결합된다.

마지막으로 두 레이어의 조합은 깊이별 분리 가능한 컨볼루션이라 한다.

이 모델은 깊이별 컨볼루션을 사용하여 입력의 각 채널당 단일 필터를 적용하고, 다음 1 × 1 컨볼루션(포인트별)을 사용하여 깊이별 레이어에서 출력의 선형 조합을 생성한다.

각 컨볼루션 이후, Batch Normalization(BN)과, Rectified Linear Unit(ReLU)을 사용한다.

도 3은 깊이별 컨볼루션과, 포인트별 컨볼루션의 단계를 나타내는 도면이다.

한편, 표 2는 컨볼루션 레이어, 깊이별 컨볼루션 레이어 다음에 BN 레이어와 ReLU 레이어, 포인트별 컨볼루션 레이어 다음에 BN과 ReLU 레이어를 나타낸다.

이후, MobileNet의 아키텍처는 글로벌 에버리지 풀링 레이어(Global Average Pooling Layer), 리세이프 레이어(Reshape Layer), 드롭 아웃 레이어(Dropout Layer), 컨볼루션 레이어, 소프트맥스 레이어(Softmax Layer), 및 리세이프 레이어를 포함하여 구성된다.

이 모델에는 다른 모델보다 매우 작은 약 400만 개의 매개 변수가 포함되어 있다.

MobileNet의 구조는 깊이별 컨볼루션 + 포인트별 컨볼루션이다.

[표 2]

환언하면, HDM-NET은, MobileNet의 내부에 깊이별 컨볼루션(depthwise convolution)과, 포인트별 컨볼루션(pointwise convolution)으로 구성된 깊이별 분리 가능한 컨볼루션(depthwise separable convolution)을 기반으로 한다.

깊이별 분리 가능한 컨볼루션은 상기 깊이별 컨볼루션을 사용하여 입력의 각 채널당 단일 필터를 적용하고, 1 × 1 포인트별 컨볼루션을 사용하여 깊이별 레이어에서 출력의 선형 조합을 생성한다.

이러한 HDM-NET은 히든층이 컨볼루션 레이어, 깊이별 컨볼루션 레이어, BN(Batch Normalization) 레이어, ReLU 레이어, 포인트별 컨볼루션 레이어, BN 레이어, ReLU 레이어의 순으로 형성된다.

- 모발 진단 모빌넷(HDM-NET) -

데이터 세트가 상대적으로 작기 때문에, 원래 모델인 MobileNet에서 테스트할 때, 과적합 문제가 발생한다.

그래서, MobileNet 모델을 기반으로 몇 가지 개선 사항을 만들었다.

MobileNet에서 깊이별 컨볼루션의 5개 레이어에서 3개의 레이어를 제거한다.

그리고 최종 에버리지 풀링을 글로벌 풀링으로 변경한 다음 Batch Normalization을 추가한다.

Relu는 일부 뉴런의 출력을 0으로 만들어 네트워크의 희소성을 유발하고, 매개 변수 간의 상호 의존성을 줄이며, 과적합의 발생을 완화한다.

따라서, Relu를 사용하며, 마지막으로 SVM에서 출력한다.

이러한 변경 후, 이 모델은 DHI 데이터 세트에서 좋은 결과를 획득한다.

새로운 구조가 추가되지 않기 때문에, 개선된 모델의 매개 변수 계산은 MobileNet과 유사하다.

표준 컨볼루션 레이어는 의 특징 맵 F를 입력하고, 의 출력 특징 맵 G를 획득한다.

여기서 DF는 입력 특징 맵의 너비와 높이를 나타내고, M은 입력 채널(입력 깊이)의 개수이다.

DG는 출력 특징 맵의 너비와 높이이고, N은 출력 채널(출력 깊이)의 개수이며, K는 깊이 컨볼루션 커널의 크기이며 표현식은 다음과 같다.

깊이별 컨볼루션 레이어의 매개 변수는 이다.

포인트별 컨볼루션 레이어의 매개 변수는 이다.

따라서, 매개 변수의 총합은 이다.

다음, 표 3은 분류기(SVM)를 사용하여 HDM-Net에 배포된 매개 변수를 나타낸다.

[표 3]

도 4의 (a)는 (HDM-NET + SVM)의 아키텍처이고, (b)는 Mobilenet 아키텍처인 도면이다.

Mobilenet에서는 매개 변수를 줄이기 위해 깊이별 컨볼루션의 3개 레이어를 제거하고, 에버리지 풀을 글로벌 에버리지 풀로 변경한다.

그리고, HDM-NET 아키텍처를 획득하기 위해, Batch Normalization 및 Relu에 대한 풀리 연결 층(Fully connected Layer)을 제거한다.

마지막으로 소프트 맥스(Softmax)를 제거하고 분류기(SVM, RF, MLP, KNN) 중 하나를 추가한다.

환언하면, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, HDM-NET은 MobileNet에서 깊이별 컨볼루션의 5개 레이어에서 3개의 레이어를 제거하고, 최종 에버리지 풀링을 글로벌 풀링으로 변경 후 BN을 추가하며, BN과, Relu에 대한 풀리 연결 층(Fully connected Layer)을 제거하여 과적합의 발생을 완화시킨다.

또한, 선택부는 이득 비율 알고리즘을 사용하여 특징을 선택하며, 이득 비율(Gain Ratio) 알고리즘에 의해 특징 벡터가 이미지 정보에서 생성될 때 속성을 선택한다.

이때, 이득 비율 알고리즘은 정보 이득을 계산할 때, 엔트로피는 복잡성을 측정하는데 사용하고, 결정 트리는 벡터 속성을 관찰하는데 사용한다.

한편, 본 발명에 따른 머신러닝 기반 모발 건강 진단 방법에서, 분류부는 SVM(Support Vector Machine) 분류기를 사용하는 것이 바람직하다.

- 실험 결과 -

분류 과정에서 가장 일반적으로 사용되는 분류기는 SVM, MLP(Multilayer Perceptron), Random Forest(RF), K-Nearest Neighbors(KNN), Radial Basis Function Network(RBFN) 및 Naive Bayes(NB)이다.

실험에서, 여러 세트의 통제된 실험을 수행했다.

4개의 실험군을 HDM-NET+SVM, HDM-NET+MLP, HDM-NET+RF, HDM-NET+KNN 및 Mobilenet+SVM, Mobilenet+MLP, Mobilenet+RF, Mobilenet+KNN 분류 프로세스와 비교 검증하였다.

HDM-NET+SVM 아키텍처의 성능과 정확성도 비교 검증하였다.

학습을 위해, 8개의 이미지 배치 사이즈와 학습률 = 0.001 인 Adam 최적화 프로그램을 사용하였다.

원본 데이터 세트에서 수집된 이미지 크기는 모두 640 × 480 이므로 학습 중 속도가 느려지고 종종 비디오 메모리가 부족하였다.

따라서, 이미지가 224 × 224 픽셀로 균일하게 축소되고, 원래 종횡비를 유지하기 위해 0으로 채워진다.

샘플 이미지 회전 및 크기 조정의 형태로 최소한의 데이터 향상 프로세스가 적용된다.

0과 1 사이의 표준 픽셀 정규화를 제외하고, 입력 이미지에 더 이상의 전처리 단계가 적용되지 않는다.

실험적 구현을 위해 Python 3.6 TensorFlow 2.1 프레임 워크에서 Keras API를 사용하였다.

학습은 1536개의 CUDA 코어, 6GB RAM 및 1455MHz의 기본 클럭 속도가 장착된 NVIDIA GeForce GTX 1660ti GPU에서 수행되었다.

표 3의 비교 분류 성능 결과는 동일한 데이터 세트 DHI에 대해 테스트한 후 HDM-NET의 정확도가 기존 CNN 네트워크에 비해 2.1% 증가했음을 보여준다.

특히, 특징 추출을 위해 HDM-NET을 사용하고, SVM, RF, MLP 및 기타 모발 특징 추출 및 분류 방법과 결합하면 Mobilenetv1과 같은 분류 방법 조합의 정확도가 일반적으로 더 높다.

다수의 실험에서, HDM-NET과 SVM을 결합하여 최종 분류 정확도가 94.8% 에 도달하여 가장 높다.

도 5의 (a)는 MobileNet의 정확도이고, (b)는 HDM-net의 정확도이며, (c)는 MobileNet에 대해 사용된 속성 선택이고, (d)는 HDM-net에 대해 사용된 속성 선택을 나타내는 도면이다.

다음, 표 4는 DHI 데이터 세트에 대한 MobileNetV1 및 HDM-NET의 결과를 나타낸다.

[표 4]

여기서, MobileNet과 HDM-net만 사용하여 실험을 완료하였다.

그리고 표 4의 다른 CNN 모델(VGG16, GoogleNet,..) 등은 정확도는 높지만 모바일 장치와 작은 현미경에서 작업하기에는 매개 변수가 너무 커서 실험에 다른 CNN 모델을 사용하지 않는다.

그래서, MobileNetV1과 HDM-NET에 대한 실험을 수행하였다.

본 발명에 따른 모델은 매개 변수가 가장 적고, 정확도가 MobileNet에 비해 약간 향상되었다.

비록 정확도가 VGG16과 같은 큰 매개 변수 모델보다 낮지만, 본 발명에 따른 모델은 모바일 장치 또는 마이크로 장치에서 작업을 완료하기가 더 용이하다.

표 5는 DHI 데이터 세트에 대한 다른 CNN 모델의 결과이다.

[표 5]

본 발명에서는 HDM-NET과 SVM의 구조를 이용하여 SEM으로 수집된 모발 이미지를 분석하고 분류한다.

HDM-NET 아키텍처가 제안되고 모발에 대한 새로운 SEM 이미지 데이터 세트가 별도로 구성되어, 다음과 같은 모발 이미지 진단에서 다른 모델의 한계를 해결한다.

즉, 일반적인 CNN 모델 학습은 많은 양의 데이터 세트를 필요로 하며, 현재 사용할 수 있는 데이터 세트는 매우 작다.

매개 변수가 너무 많은 더 큰 모델을 사용하면 훈련 효과가 좋지 않다.

Imagenet에서 획득한 사전 훈련된 모델을 마이그레이션 학습에 사용하여 데이터 세트의 부족으로 인한 좋지 않은 학습 효과의 결과를 완화시킬 수 있지만, Imagenet은 헤어에 대한 SEM 이미지가 거의 포함되어 있지 않아 효과가 좋지 않다.

따라서 개선을 위해 매개 변수가 작은 CNN 모델만 선택할 수 있다.

본 발명에서 모발의 건강을 진단하는 빠르고 용이한 방법을 제공하고, 가벼운 딥러닝 프레임 워크도 제공한다.

데이터 세트에 대한 식별 및 분류 작업이 잘 완료되었다.

그리고 매개 변수는 원래 모델보다 매우 작다다.

미래에는, 언제든지 모발 진단을 위해 휴대폰이나 휴대용 모바일 기기에 쉽게 이용될 수 있으며, 미용 산업에서 모발 관리와 같은 다른 서비스도 촉진할 것이다.

또한, 여전히 수집하고 있는 모발 건강에 대한 새로운 유형의 데이터 세트를 제공한다.

딥러닝에서는 빠른 모발 건강 이미지 진단 및 분류 작업에 대한 편의성을 제공한다.

이 방법은 모발 건강을 위한 기존의 물리적 및 화학적 진단 방법보다 빠르고 편리하다.

동시에 딥러닝 방법의 높은 정확도는 모발 건강 진단에 딥러닝의 큰 잠재력을 보여주며, 향후 휴대폰 카메라에 연결되는 초소형 현미경에도 적용될 수 있다.

또한, 모발 손상 정도를 더 관찰할 수 있다.

그리고, 현미경으로 이미지를 관찰하고 분석하는 분야에서도, 본 발명에 따른 실험은 특징 선택 과정에서 속성 선택 단계가 현미경 이미지에 대한 인식 및 분류의 정확도를 향상시키는데 도움이 된다.

이와 같이 본 발명에 의하면, 현미경으로 관찰하여 획득한 모발 이미지에서 모발 손상 정도를 인식하고 판단할 수 있는 효과가 있다.

이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

Claims (15)

1. 주사 전자 현미경으로 촬영한 모발 손상 정도 이미지를 수집부에 의해 수집하는 제 1 단계;
   수집된 상기 모발 손상 정도 이미지를 구성부에 의해 DHI(Damage Hair Image) 데이터 세트로 생성하는 제 2 단계;
   생성된 DHI 데이터 세트로부터 추출부에 의해 상기 모발 손상 정도 이미지의 특징을 추출하는 제 3 단계;
   추출된 상기 특징을 선택부에 의해 선택하는 제 4 단계;
   선택된 상기 특징을 분류부에 의해 분류하는 제 5 단계;를 포함하며,
   상기 선택부는 이득 비율(Gain Ratio) 알고리즘을 사용하여 상기 특징을 선택하고,
   상기 이득 비율 알고리즘에 의해 특징 벡터가 이미지 정보에서 생성될 때 속성을 선택하며,
   상기 이득 비율 알고리즘은 정보 이득을 계산할 때, 엔트로피는 복잡성을 측정하는데 사용하고, 결정 트리는 벡터 속성을 관찰하는데 사용하고,
   상기 이득 비율은 하기 수식 1 내지 수식 4에 의해 정의되는 것을 특징으로 하는,
   머신러닝 기반 모발 건강 진단 방법.
   - [수식 1]
   
   여기서, 는 샘플이 클래스에 속할 확률이고, 값을 갖는 주어진 속성 의 엔트로피 계산은 수식 2이며,
   [수식 2]
   
   여기서, 변수 는 서브셋 의 클래스 에 속하는 샘플의 수를 나타내고, 속성 이득 는 수식 3이고,
   [수식 3]
   
   수식 4는 D의 데이터 세트를 파티션으로 나누어 생성된 정보값이며,
   [수식 4]
   
   상기 이득 비율은 상기 수식 (3)의 솔루션을 상기 수식 (4)의 솔루션으로 나눈 결과임 -
   
2. 제 1 항에 있어서,
   상기 DHI 데이터 세트는,
   상기 모발 손상 정도 이미지의 모발 샘플을 상부, 중간, 하부의 3 부분 샘플로 분류하고, 분류된 3 부분 샘플을 상기 주사 전자 현미경으로 각각 스캐닝하여 경상, 중상, 심각한 중상의 최종 샘플 데이터 세트로 생성하는 것을 특징으로 하는,
   머신러닝 기반 모발 건강 진단 방법.
   
3. 제 2 항에 있어서,
   상기 최종 샘플 데이터 세트의 총 양을 데이터 확장 기술을 통해 확장하고,
   학습 속도가 향상되도록 상기 모발 손상 정도 이미지의 크기를 224 × 224 로 조정하는 것을 특징으로 하는,
   머신러닝 기반 모발 건강 진단 방법.
   
4. 제 1 항에 있어서,
   상기 추출부는 경량의 컨볼루션 신경망(CNN: Convolutional Neural Network)인 HDM-NET(Hair-Diagnosis-Mobilenet)을 통해 상기 특징을 추출하는 것을 특징으로 하는,
   머신러닝 기반 모발 건강 진단 방법.
   
5. 제 4 항에 있어서,
   상기 HDM-NET은,
   MobileNet의 내부에 깊이별 컨볼루션(depthwise convolution)과, 포인트별 컨볼루션(pointwise convolution)으로 구성된 깊이별 분리 가능한 컨볼루션(depthwise separable convolution)을 기반으로 하는 것을 특징으로 하는,
   머신러닝 기반 모발 건강 진단 방법.
   
6. 제 5 항에 있어서,
   상기 깊이별 분리 가능한 컨볼루션은 상기 깊이별 컨볼루션을 사용하여 입력의 각 채널당 단일 필터를 적용하고, 1 × 1 포인트별 컨볼루션을 사용하여 깊이별 레이어에서 출력의 선형 조합을 생성하는 것을 특징으로 하는,
   머신러닝 기반 모발 건강 진단 방법.
   
7. 제 6 항에 있어서,
   상기 HDM-NET은,
   히든층이 컨볼루션 레이어, 깊이별 컨볼루션 레이어, BN(Batch Normalization) 레이어, ReLU 레이어, 포인트별 컨볼루션 레이어, BN 레이어, ReLU 레이어의 순으로 형성되는 것을 특징으로 하는,
   머신러닝 기반 모발 건강 진단 방법.
   
8. 제 7 항에 있어서,
   상기 HDM-NET은,
   상기 MobileNet에서 깊이별 컨볼루션의 5개 레이어에서 3개의 레이어를 제거하고,
   최종 에버리지 풀링을 글로벌 풀링으로 변경 후 BN을 추가하며, 상기 BN과, 상기 Relu에 대한 풀리 연결 층(Fully connected Layer)을 제거하여 과적합의 발생을 완화시키는 것을 특징으로 하는,
   머신러닝 기반 모발 건강 진단 방법.
   
9. 삭제
10. 삭제
11. 제 1 항에 있어서,
    상기 분류부는 SVM(Support Vector Machine) 분류기를 사용하는 것을 특징으로 하는,
    머신러닝 기반 모발 건강 진단 방법.
    
12. 제 1 항 내지 제 8 항, 제 11 항 중 한 항에 따른 머신러닝 기반 모발 건강 진단 방법에 의해 진단되는 머신러닝 기반 모발 건강 진단 시스템.
    
13. 주사 전자 현미경으로 촬영한 모발 손상 정도 이미지를 수집하는 수집부;
    수집된 상기 모발 손상 정도 이미지를 DHI(Damage Hair Image) 데이터 세트로 생성하는 구성부;
    생성된 DHI 데이터 세트로부터 상기 모발 손상 정도 이미지의 특징을 추출하는 추출부;
    추출된 상기 특징을 선택하는 선택부; 및
    선택된 상기 특징을 분류하는 분류부;를 포함하며,
    상기 선택부는 이득 비율(Gain Ratio) 알고리즘을 사용하여 상기 특징을 선택하고,
    상기 이득 비율 알고리즘에 의해 특징 벡터가 이미지 정보에서 생성될 때 속성을 선택하며,
    상기 이득 비율 알고리즘은 정보 이득을 계산할 때, 엔트로피는 복잡성을 측정하는데 사용하고, 결정 트리는 벡터 속성을 관찰하는데 사용하고,
    상기 이득 비율은 하기 수식 1 내지 수식 4에 의해 정의되는 것을 특징으로 하는,
    머신러닝 기반 모발 건강 진단 시스템.
    - [수식 1]
    
    여기서, 는 샘플이 클래스에 속할 확률이고, 값을 갖는 주어진 속성 의 엔트로피 계산은 수식 2이며,
    [수식 2]
    
    여기서, 변수 는 서브셋 의 클래스 에 속하는 샘플의 수를 나타내고, 속성 이득 는 수식 3이고,
    [수식 3]
    
    수식 4는 D의 데이터 세트를 파티션으로 나누어 생성된 정보값이며,
    [수식 4]
    
    상기 이득 비율은 상기 수식 (3)의 솔루션을 상기 수식 (4)의 솔루션으로 나눈 결과임 -
    
14. 제 13 항에 있어서,
    상기 추출부는 경량의 컨볼루션 신경망(CNN: Convolutional Neural Network)인 HDM-NET(Hair-Diagnosis-Mobilenet)을 통해 상기 특징을 추출하는 것을 특징으로 하는,
    머신러닝 기반 모발 건강 진단 시스템.
    
15. 삭제