KR20230065414A - 전기적 촉각 센서와 엑츄에이터를 결합한 딥러닝 기반 화장품 질감 소재 인공지능 분류 시스템 - Google Patents

Abstract

화장품에 대한 촉감은 10년 전까지만 해도 보조적인 측면으로 여겨져 왔다. 하지만, 제품의 촉감은 화장품 시장에서의 성공에 영향을 끼치는 주요 요인이 되었다. 물론 화장품 기술 발전에 따라 새로운 화장품 제형의 개발 시간이 많이 줄어 다양한 제형을 개발하고 있다. 이러한 새로운 제형에 대해 제품 출시 전 감각 전문가에 의해 촉각에 대한 평가를 진행하고 있지만, 모든 소비자들을 만족시키기 위한 화장품 촉감을 구현하는 것은 매우 어려운 일이다. 화장품 제작업체들은 신제품 개발 주기 시간이 줄어들면서 후보 제품을 최종 리스트로 걸러내는데 필요한 체계적인 도구를 찾고자 했다. 기존 Tribology 테스트와 rheology 테스트를 포함한 대다수 제품의 물리적 특성 테스트에 대한 전통적인 통계 분석은 제품의 품질평가를 위한 객관적인 기준을 제공하지 않는다.
이러한 문제를 해결하고자, 센서의 Tribology 슬라이딩 테스트시 나타나는 전기 신호를 이용해 최적의 화장품을 식별하는 딥러닝 기반 분석 방법을 제안한다. raw 데이터를 입력으로 사용하는 딥 러닝 기반 방법의 결과와 실험자가 직접 추출한 화장품의 특징을 입력으로 사용하는 여러 machine learning 기반 분석 방법의 결과를 비교한다. 그 중에서도 딥러닝 모델인 ResNet이 테스트에 사용된 핸드크림을 식별하는 가장 좋은 방법임을 실험을 통해 입증됐다. 이 방법은 직접 그래프의 특징 추출 없이 원본 시계열 마찰 데이터만으로 테스트 화장품을 예측하는 첫 번째 시도이다. 해당 딥러닝을 활용한 구별 방법은 자동 제품 식별 기능을 활용해 신규 개발 후보 제품 목록을 좁힐 수 있다.

Description

전기적 촉각 센서와 액츄에이터를 결합한 딥러닝 기반 화장품 질감 소재 인공지능 분류 시스템 {Deep Learning-based Artificial Intelligence Classification System for Cosmetics Texture Materials, combining Electrical Tactile Sensor and Actuator}

본 발명은 인공신경망을 이용한 화장품 텍스쳐형태의 비 뉴우턴계 소재에 대한 촉각 측정 장치와 결합된 분류하는 장치이다. 즉, 이 발명은 인간이 느끼는 촉각 감성보다 정확하고, 높은 재현성을 가지고 있어, 인간이 느끼는 촉각 감성과 직접적 결합이 가능하며, 감별사와 같이 고감도 분류도 가능한 장치이다.

또한, 본 발명에서의 중요한 특징은 실험한 측정 데이터를 별도 처리 또는 변환 없이, 측정 값 자체를 인공신경망에 입력하여 분석을 하는 것이다. 이와 같은 특성이 화장품과 같은 초 고난도 감성 소재에 대해서, 보다 더 객관적인 감성(예, 발림성, 부드러움, 등)을 분류 할 수 있는 방법이다.

한편, 상기 언급한 바와 같이 화장품과 같은 소재는 물리 및 화학적 특성을 얻기가 매우 어렵다. 따라서 이 데이터를 확보하기 위해서는 시료에 대해 통계적 분석을 하는 것이 일반적이다. 본 발명 기술은 통계적 분석 방법과는 달리, 인공신경망을 이용하여, 사용감에 대한 연관 관계 분석이 가능한지 확인한다.

본 발명의 특징은 실시간 측정한 원본 자료(raw data)를 측정 자료에 어떠한 변환 없이, 인공신경망에 입력하여, 심지어 실험 시 발생하는 노이즈도 포함하여 실험에 사용한 화장품의 종류를 얼마나 잘 구별하는지를 살펴볼 수 있는 특징을 가지고 있다. 또한 이 발명은 화장품과 같은 텍스쳐 소재 실험 결과 분석에 새로운 방법을 제시하는 이정표가 될 것이다.

본 발명의 배경은 화장품 시장은 2009년부터 2018년까지 연평균 4%씩 성장하였으며, 특히 스킨케어 제품은 전체 화장품 시장 중 39%를 차지하며 시장 성장의 60%의 비중을 이루고 있다. 화장품 신제품 개발 과정에서 여러 후보 제품이 만들어지며, 이 제품이 출시하기에 적합한지를 판단하는 과정에 사전 교육을 받은 전문가들의 관능 평가[sensory evaluation]가 포함된다.

상기 기술한 바에 의하면 화장품 시장에서 성공에 영향을 끼치는 주요 요인으로는 사용감이 가장 큰 영향을 끼친다. 사용자들이 느끼는 화장품의 사용감은 관능 평가를 바탕으로 표현된다. 이는 관능 평가가 각 제품의 성격을 규정하는 과정에 매우 중요한 요소임을 의미한다.

이러한 관능 평가를 비용과 시간이 적게 드는 다른 방법으로 대체하기 위하여, 화장품의 물성을 측정 장비를 통해 측정한 다음, 측정된 물성 값을 이용하여 관능 평가의 결과값을 예측하는 방법이 꾸준히 시도 되었다.

상기 기술한 사용자가 느끼는 화장품에 대한 감성은 화장품의 rheology 특성 및 tribology 특성을 모두 포함한다. 대량의 화장품이 가지는 물리적 특성은 rheology로 측정되며, sliding하는 두 표면 및 그 사이의 얇은 화장품 층의 특성은 tribology로 측정된다.

따라서, 화장품을 바르는 첫 느낌은 피부의 상태보다는 제품의 rheology 특성의 영향을 받으며, 화장품을 얇게 바르기 위한 동작들이 진행되면서 마찰 특성이 나타나므로, tribology 특성의 영향을 받게 된다.

상기 기술한 화장품의 rheology 특성과 관련된 모든 연구는 측정된 화장품의 물성 값을 미리 규정된 여러 척도 값으로 변환한 다음, 이 척도 값과 각 관능 특성 값과의 관계를 통계적인 방법으로 추정하는 방식으로 연구하였다. 측정치를 변환한 입력 값으로 일부 관능 특성 출력 값의 예측이 가능하다는 특허는 있으나, 관능 평가를 대체하지 못하고 있다.

특히, 상기 기술한 비 뉴우톤 계 물질인 화장품과 같은 높은 윤활 특성과 마찰 특성 등을 다루는 tribology 연구는 극히 제한적이다.

상기 기술한 화장품의 물성 특성 값으로부터 출력 값을 추정하는 대부분의 연구는 Spearman 상관 계수를 구하거나, 선형 회귀 분석 혹은 비선형 회귀 분석을 사용하였다. 다수의 물성 특성을 이용하여 분석하는 경우, 주성분 분석(Principal Component Analysis)을 통하여 소수의 주성분(Principal Component)을 독립 변수로 선택하여 분석하였다. 연구에 따라 새로운 변수들로 변환하여 보다 나은 예측력을 보인 개발 들도 있다.

그러나, 물성 특성 값들로 만들 수 있는 조합은 기하급수적으로 많으므로, 출력 값 대부분을 예측 가능하게 하는 물성 특성 값들의 조합들을 지금과 같은 방법으로 찾아낸다면 예측력의 향상은 계속될 것으로 보이지만, 신뢰성 있는 예측력을 갖기 위해서는 앞으로도 많은 연구와 개발이 필요하다.

또한, 최근 인공신경망은 다양한 분야로 그 응용 분야를 확대하고 있으나 화장품에 대한 적용은 드물다. Nakano 등은 화장품 파운데이션을 sliding test에 적용하여 얻은 시계열 신호로부터 미리 정한 물성 특성 값들을 추출하고, 이 물성 특성 값들을 입력으로 받아 화장품의 5가지 촉각 특성 값으로 결과를 배출하는 인공신경망을 구성하였다. 이 연구가 화장품 tribology 연구 분야에서 인공신경망을 사용한 유일한 연구였다.

다층구조의 강유전성 필름 및 이를 구비하는 마찰 전기 센서 장치, 10-2021-0117082 온도 변화량 측정 센서, 10-2021-0115295 화장품 물성 측정 장치, 10-2020-0018162 다공성 구조체 및 그 제조 방법, 10-2120058

[1] Nakano, K., Horiuchi, K., Soneda, T., Kashimoto, A., Tsuchiya, R., Yokoyama, M., A Neural Network Approach to Predict Tactile Comfort of Applying Cosmetic Foundation, Tribology International, 2010, Vol. 43, No. 11, pp. 1978-1990. [2] Nakano, K., Kobayashi, K., Nakao, K., Tsuchiya, R., Nagai, Y., Tribological Method to Objectify Similarity of Vague Tactile Sensations Experienced during Application of Liquid Cosmetic Foundations. Tribology International, 2013, Vol. 63, pp. 8-13. [3] Pensι-Lhιritier, A.-M., Recent Developments in the Sensorial Assessment of Cosmetic Products: a Review, International Journal of Cosmetic Science, 2015, Vol. 37, No. 5, pp. 465-473. [4] Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy, A., Khosla, A., Bernstein, M., Berg, A. C., and Li, F.-F., ImageNet Large Scale Visual Recognition Challenge, International Journal of Computer Vision, 2015, Vol. 115, pp. 211-252.

본 발명에서 해결하고자 하는 과제는 Tribology와 온도 변화 등으로 화장품과 같은 소재를 식별하고, 사용감을 구분하는 것이다.

앞에 기술한 인공신경망은 입력과 출력으로 네트워크를 훈련시키는 과정에서 비용 함수를 최소화하는 최적화 과정을 통하여 입력 변수로부터 특성 벡터(feature vector)를 스스로 추출하는 특성을 가진다. 자동으로 특성 벡터를 추출하는 기능을 가진 컴퓨터가 물체 인식 분야에서 2015년부터 인간보다 우수해졌으며, 이는 컴퓨터의 특성 추출 능력이 인간의 특성 추출 능력보다 앞서기 시작한 것으로 해석될 수 있다.

따라서, 화장품 실험 데이터에 대해서도 실험 분석자가 출력에 영향을 끼치는 물성 특성 값들을 찾아낸 후, 그들의 최적 조합을 통계적으로 찾아내는 방법보다, 인간의 개입 없이 컴퓨터가 학습을 통하여 특성을 추출하고, 이를 바탕으로 결과를 예측할 때, 일반적인 통계적 방법보다 정확도가 높은 결과를 얻을 수 있다.

도 1은 종래 기술에 대한 장치 구성도이다. 도 1의 101은 슬라이딩 테스트 시 거리를 측정하는 장치이고, 102, 103은 수직 항력에 대한 측정거리 센서를 Young의 법칙으로 힘을 측정하는 방식으로 실험하였고, 마찰력에 대한 통계적 데이터를 얻어서 별도의 분석과 계산을 통해 화장품 소재에 대한 발림성 테스트를 하는 방식이었다.

따라서, 데이터 확보의 부정확성과 분석 시간이 오래 걸리는 문제점 등이 있다. 또한, 단순 탄성체를 활용함으로써 빠른 데이터를 얻을 수 없는 단점이 있다.

본 발명은 도 2와 같이 구성되어 있다. 장비의 201, 205는 VCA(Voice Coil Actuator)이다. 201은 수평의 힘(Fx)을 측정한다. 202는 로드셀과 압전소재이다. 203은 시료이다. 204은 Upper Silicon Tip이다, 207은 전자저울(Weight Balance)이다.

여기서 204는 피부와 유사하게 가공된 아래쪽 실리콘을 누르는 수직의 힘(Fn)을 누르는 역할을 한다. 205는 정확한 위치와 힘을 조절하기 위해 서보모터를 이용한 선형 액츄에이터의 역할을 한다. 이 장치는 PC의 인터페이스와 연결되어 작동하는 초고속 데이터 측정 장비이다.

208은 고정밀 액츄에이터이고, 209는 고정밀 액츄에이터에서 부터 가해진 특성 변화를 측정할 할 수 있는 고정밀 센서이다. 210은 피부 온도를 얻을 수 있는 온도 센서이다. 211은 모션 패턴 발생 장치이고, 212는 신호처리를 할 수 있는 선행 증폭기 전하 증폭기 진동센서 등이 포함된 측정 모듈이다. 213은 온도 측정 증폭회로이다. 214는 측정 시스템으로부터 얻어진 아날로그 신호를 디지털 프로세서 모듈이고, 215는 인공 신경망을 통한 데이터 처리 모듈이다.

상기 기술한 Tribology 실험은 다음과 같이 진행된다. 205가 정지된 상태에서 설정된 속도에 도달할 때까지 속도를 증가시키며 연속 실험한다. 마찰력은 Fn 방향으로 두 실리콘 면을 접촉시킨 후, 설정된 속도에 맞춰 Fx의 방향으로 움직이면 1kHz의 sampling rate로 시계열 데이터의 VC load[N]로 저장된다. 단, 각 속도마다 VCA의 움직이는 거리는 1초에 갈 수 있는 거리의 70%만 움직이도록 설정하여 측정한다. 도3은 tribology 실험을 통해 얻어진 시계열 데이터(time series data)의 그래프를 보여준다.

본 발명 기술은 실시간 측정한 원본 자료(raw data)를 측정 자료에 어떠한 변환 없이, 인공신경망에 입력하여, 심지어 실험 시 발생하는 노이즈도 포함하여 실험에 사용한 화장품의 종류를 얼마나 잘 구별하는 방법을 제시하고자 한다.

첫째, 초고감도 엑츄에이터 모듈이 구축되어야 한다. 본 발명의 엑츄에이터는 Tactile Electric Sensing Actuator and Neural Network(TeSAN) 기반으로 한 인공지능 프로그램과 하드웨어로 구성 되어 있다. 상세한 내용은 도 3에 기술하였다.

상기 엑츄에이터는 인간이 가지고 있는 중요한 감각인 정적 압력과 미끌림, 초고속 진동 센서, 압력 측정 기능을 가지고 있다. 그리고 감도와 속도 등은 인간 촉각 센스보다 고감도로 구성되어 있다.

TeSAN의 기본 구성은 다음과 같다.

- X, Y 및 Z 초감도 힘 및 진동 측정 센서

- 수직 항력 측정 센서

- 온도 측정 센스

- 위치 이동 모터

- 신호 수집 장치

- 상기 내용을 제어 할 수 있는 드라이버

- 수집 된 신호의 인공지능 프로그램

둘째, 딥러닝 프로세서이다. 상기 기술한 실험을 통하여 얻은 마찰력 시계열 데이터는 매 실험마다 그 값에 변화가 있다. 이러한 변화에도 불구하고, 실험 데이터를 입력으로 주었을 때, 인공신경망을 통하여 실험에 사용한 화장품을 분류하는 것이다.

따라서 주어진 문제는 시계열 분류 문제로 정의할 수 있다. 시계열 분류 문제를 해결하기 위한 알고리즘은 수백 가지가 넘는다. 최근에 여러 연구에서 입력부터 출력까지 종단 간(end-to-end) 학습이 가능한 여러 딥러닝 방법이 제안되었다. 공개된 UCR/UEA의 시계열 데이터 셋을 이용하여, 제안된 여러 딥러닝 네트워크를 비교한 연구에서 Fully Convolutional Network(FCN)와 Residual Neural Network(ResNet)가 가장 성능이 좋은 것으로 보고되었다. 이에 본 발명에서는 FCN과 ResNet을 사용하였다.

FCN은 세 개의 중첩 블록을 가지며, 각 중첩 블록은 도 4와 같이 중첩 레이어, 배치 정규화, ReLU 활성화 함수로 구성된다. 중첩 레이어의 필터의 수는 차례로 128, 256, 128을 가지며, 필터의 사이즈는 중첩 레이어 순서대로 8, 5, 3이다. 세 번째 중첩 블록의 출력은 모든 시간에 대하여 평균을 취하는 Global Average Pooling(GAP) 레이어로 입력된다. GAP 레이어의 출력은 Softmax의 입력으로 들어간다.

중첩 신경망 네트워크의 층(layer)을 더 쌓으면 성능이 향상된 아주 깊은 네트워크를 구현할 수 있다. 하지만, 실제로 어느 정도 이상 깊어진 네트워크는 오히려 Vanishing gradient 문제 때문에 역전파가 제대로 이루어지지 않아 성능이 더 떨어진다. 2015년에 발표된 ResNet에서는 입력값을 출력값에 더해주는 지름길(shortcut)을 만들어 이러한 문제를 해결하였다. 본 발명에서 사용한 ResNet은 3개의 Residual 블록과 GAP 레이어 및 Softmax로 구성되어 있다. 각 Residual 블록은 그림 4와 같이 3개의 중첩 레이어로 구성되며 블록의 출력은 그 블록의 입력과 더해져서 다음 Residual 블록의 입력이 된다. 각 블록에서 중첩 레이어의 필터 수는 동일하며, 차례로 64, 128, 128이다. 각 블록에서 필터 사이즈는 순서대로 8, 5, 3이다.

셋째, 머신러닝을 수행하는 것이다.

상기 측정장치를 이용한 Tribology 실험에서 얻은 진 원 자료(raw data)로부터 다음과 같은 5가지 특성을 추출한다. 각 특성의 정의는 도 7에 나타내었으며, 그 결과는 도 5에 나타내었다.

상기, 5가지 특성 값을 입력으로 받아, 실험에 사용된 화장품을 예측하기 위한 머신러닝 방법으로 서포트 벡터 머신(Support Vector Machine, SVM), k-최근접 이웃(k-Nearest Neighbors, k-NN) 알고리즘, 랜덤 포레스트(Random Forest, RF) 알고리즘, 그래디언트 부스팅(Gradient Boosting, GB) 알고리즘, 익스트림 그래디언트 부스팅 (eXtreme Gradient Boosting, XGBoost) 알고리즘을 이용한다.

각 머신러닝 기법은 다음과 같이 설명할 수 있다. SVM은 결정 경계(decision boundary)와 서포트 벡터 사이의 마진(margin)을 최대화하는 초평면(hyperplane) 형태의 결정 경계를 찾는 방법이다. k-NN은 파라미터 k가 주어지면 데이터 간의 거리를 기반으로 가장 가까운 k개의 데이터들의 투표를 통해 분류를 진행한다.

RF는 여러 개의 결정 트리를 생성한 다음 각 트리 예측 값 중에서 가장 많은 선택을 받은 레이블로 예측하는 앙상블 학습방법이다. GB 및 XGBoost는 모두 부스팅(boosting) 기법을 활용한다. 부스팅은 이전 단계의 분류 방법을 보완해 나가며 성능을 강화하는 방법이다. GB는 경사하강법(Gradient Descent)을 이용해 가중치의 업데이트를 반복하며 오류를 최소화하는 분류를 찾아간다. XGBoost는 GB의 속도와 성능을 개선한 방법이다.

넷째, 성능 평가 척도에 대한 결과를 확보한다.

상기 기술한, 머신러닝 및 딥러닝에서 분류(Classification) 기법은 주어진 입력 데이터를 학습하여 결과값에 따라 카테고리를 정하는 방법으로 두 개의 클래스로 분류하는 이진(binary) 분류와 셋 이상의 클래스로 분류하는 다중(multi-class) 분류로 나누어진다. 분류 문제에 대하여 모형을 적용하여 얻은 결과는 혼동 행렬(Confusion Matrix)로 요약하여 나타낸다. 도 8는 이진 분류 문제의 혼동 행렬을 나타낸다.

TP(True Positive)는 실제로 화장품 A로 실험했는데, 화장품 A로 실험한 것으로 올바르게 예측된 경우를 나타내며, FP(False Positive)는 화장품 A가 아닌 다른 화장품으로 실험했는데, 화장품 A로 실험한 것으로 잘못 예측된 경우를 나타낸다. 그리고, FN(False Negative)은 화장품 A로 실험했는데, 화장품 A가 아닌 다른 화장품으로 실험한 것으로 잘못 예측된 경우를 표현하며, TN(True Negative)은 화장품 A가 아닌 다른 화장품으로 실험했는데, 화장품 A가 아닌 화장품으로 실험한 것으로 올바르게 예측된 경우를 표현한다.

그러나, 다중 분류 문제에서 서로 다른 모형의 혼동 행렬을 비교하기는 쉽지 않으므로, 정밀도(Precision), 재현율(Recall), F1-점수(F1-score) 등의 척도를 사용하여 성능을 나타낸다. 각 class 별 sample의 수가 균형을 이루는 경우, 성능 척도의 정의와 수식은 도 9에 나타나 있다.

본 발명에서는 새로 개발한 핸드크림 신제품의 마찰 특성이 기존의 어떤 제품과 유사한지 판단하는 문제에 딥러닝 모형 및 머신러닝 모형의 적용 가능성을 검토하였다. 딥러닝 모형(FCN 및 ResNet 모형)에서는 특성 추출 없이 원자료를 입력으로 사용하였다.

머신러닝 모형(SVM, k-NN, RF, GB, XGBoost 모형)에서는 실험을 통하여 얻은 마찰 시계열 데이터로부터 5가지 특성을 추출하여 입력으로 사용하였으며, FCN, ResNet 모형에는 특성 추출 없이 원자료를 입력으로 사용하였다.

각 모형을 적용한 결과로부터 혼동 행렬을 얻고, 이로부터 3가지 성능 지표를 추출하여 비교한 결과, 3가지 성능 지표 모두에서 ResNet 모형이 가장 우수하였으며, 다음으로 RF 모형, FCN 모형 및 XGBoost 모형이 우수하였다. 이는 딥러닝의 특성 추출 능력이 인간의 특성 추출 능력보다 앞선다는 여러 연구의 결과와도 일치한다.

본 발명은 화장품의 물성 실험 결과를 새로운 특성 변수들로 변환한 후 통계적 분석을 해 왔던 기존 연구와는 달리, 원자료를 가공 없이 딥러닝 모형의 입력으로 사용하여 분석한 결과가 훨씬 우수함을 보여준 최초의 논문이다. 이는 화장품 실험 결과를 분석하는 신뢰도가 높은 새로운 방법임을 시사한다.

본 발명은 사용자의 화장품을 바르는 행동을 모방하는 것에 한계를 가진다. 사용자가 화장품을 바를 때, 본 논문처럼 가속 후 일정한 속도로 바르는 경우는 없다. 대부분의 사용자는 가속, 등속, 감속 등 접촉 속도를 달리한다.

아울러, 화장품을 바르는 부위에 따라 직선 운동, 원운동 등 다양한 패턴으로 화장품을 펴 바른다. 이러한 속도의 변화와 패턴을 반영하여 소비자의 행동을 모방하는 tribology 실험을 한다면 본 연구보다 실제 소비자 행동에 조금 더 가까운 실험 결과를 얻을 수 있을 것으로 기대된다.

도 1 종래 기술에 따른 화장품 측정장치의 구성도
도 2. TeSAN의 개략적 구조의 구성도
도 3. 화장품 시료를 TeSAN으로 얻은 결과의 시간에 따른 변화의 구성도
도 4. FCN과 ResNET의 네트워크 구조도의 구성도
도 5. 추출 특성에 대한 시간과 마찰계수 관계식
도 6. ResNET 모형을 적용한 결과에 대한 혼동 행렬
도 7. 추출 특성의 정의 파라미터의 구성표
도 8. 이진 분류 문제의 혼동 행렬의 구성표
도 9. CLASS 별 시편의 수가 균형을 이루는 경우 성능 척도의 정의와 수식
도 10. 핸드 크림에 따른 5가지 특성 값의 평균과 표준 편차
도 11. 각 모델을 수행한 결과에 대한 성능 지표
도 12. 제품 A의 마찰 시계열을 이용한 CLASSIFICATION 결과

본 발명은 초고감도 촉각 엑츄에이터와 신경망회로에 연결된 분석 장치로 부터 Tribology 원자료를 반복해서 확보를 한다. 상기 자료의 빅데이터를 확보한 후, 발명품의 수행 과정은 다음과 같다.

첫째, 시중에 판매 중인 핸드크림 9개(A ~ I)를 무작위로 골라 실험에 사용하였다. 단, 제품 A와 제품 B는 동일 회사 제품으로 향과 제형이 다른 제품이다. 그 외 제품은 서로 다른 회사 제품이다. 각 핸드크림 제품별로 6회 실험을 진행하였다. 한 핸드크림을 1회 실험한 결과로 속도와 이동 거리가 상이한 281개의 데이터 셋이 확보된다. 속도에 따른 데이터의 크기가 다르므로, 모두 동일하게 맞추기 위하여 시계열 데이터 개수를 2000개로 맞추었다. 실험을 통하여 확보한 데이터의 크기는 9 x 6 x 281 개의 데이터 셋이며, 각 데이터 셋은 2000개의 시계열 데이터로 이루어져 있다.

둘째, 시계열 데이터에 대한 알고리즘 파라미터 세팅을 한다.

FCN 및 ResNet을 사용할 때, Adam Optimizer를 사용하였으며, 학습률은 0.001이고, 만일 loss가 30 epoch 이내에 향상되지 않으면, 학습률을 0.5배 감소시키는 방법을 사용하여 90 epoch으로 훈련하였다. Google Colab에서 GPU를 사용하여 프로그램을 수행하였으며, 훈련에 필요한 시간 FCN과 ResNet은 프로세서 시 일정 시간이 소요되었다.

셋째, 결과 및 비교 분석을 하여 classification을 한다.

상기 기술한 9가지의 핸드크림을 사용하여 마찰 시계열 데이터를 얻는 실험에서 마찰 시계열 데이터로부터 어떤 핸드크림을 사용하였는지를 예측하는 문제를 SVM, k-NN, RF, GB, XGBoost, FCN, ResNet 모형을 사용하여 수행하였다. SVM, k-NN, RF, GB, XGBoost 모형의 입력 자료로 마찰 시계열 자료로부터 추출한 5가지 특성 치를 사용하였으며, 핸드크림에 따른 5가지 특성값의 평균과 표준 편차는 표 4에 나타나있다. FCN 및 ResNet 모형의 입력 자료로는 마찰 시계열 자료를 가공 없이 사용하였다. 각 모형을 수행한 결과에 대한 성능 지표를 도 11에 나타내었다.

9가지 핸드크림 제품 중에서 실험에 사용한 제품을 맞추는 문제에 대한 분석 모형의 성능을 F1 점수로 살펴보면 ResNet 모형이 0.9157로 가장 우수하였다. 다음으로 RF 모형이 0.8158이고, FCN 모형이 0.8056, XGBoost 모형이 0.7771 순서이다. 3가지 성능 지표(즉, 정밀도, 재현율, F1-점수) 모두에서 ResNet 모형이 가장 우수하였으며, RF 모형과 FCN 모형, XGBoost 모형이 다음으로 우수하였다. 머신러닝 모형보다, 딥러닝 모형이 상대적으로 우수하였다. 가장 우수한 ResNet 모형을 적용한 결과에 대한 혼동 행렬을 도 6에 나타내었다.

상기 마찰 시계열 데이터로부터 데이터 획득에 사용한 핸드크림을 신뢰성 있게 예측하는 모형을 찾아냈으므로, 이를 이용하여 신제품의 tribology 특성과 가장 유사한 특성을 갖는 기존 제품이 어떤 제품인지 예측하는 추가 분석을 실행하였다. 제품 A를 신제품이라 가정하고, 제품 B부터 제품 I를 기존 제품이라 가정하였다. 추가 분석에는 앞에서 상대적으로 우수한 모형으로 밝혀진 RF 모형, XGBoost 모형, FCN 모형 및 ResNet 모형을 사용하였다. Training data 및 Validation data로 기존 제품으로 가정한 8개 제품(B ~ I)의 마찰 시계열 데이터를 사용하고, Test data로 제품 A의 마찰 시계열 데이터를 사용하였다. 그 결과는 표 6에 나타냈다.

도 12은 RF 모형의 결과와 XGBoost 모형의 결과가 유사하고, FCN 모형의 결과와 ResNet 모형의 결과가 유사함을 보여준다. RF 모형과 XGBoost 모형은 결정 나무를 기반으로 한 후, 추가적인 방법을 사용하여 성능을 높였기 때문에 추가 실험 결과에서 서로 유사성을 가지는 것으로 보인다. RF 모형과 XGBoost 모형에서는 제품 B가 제품 A와 가장 유사했고, FCN 모형과 ResNet 모형에서는 제품 G가 가장 제품 A와 유사하다는 결과를 확인하였다. 이를 통해 새롭게 개발된 제품의 tribology 특성을 머신러닝 모형과 딥러닝 모형에 적용하여 기존의 제품 중 가장 유사성을 띠는 제품을 예측할 수 있다.

화장품의 물성 특성값으로부터 출력값을 추정하는 대부분의 연구는 Spearman 상관 계수를 구하거나, 선형 회귀 분석 혹은 비선형 회귀 분석을 사용하였다. 다수의 물성 특성을 이용하여 분석하는 경우, 주성분 분석(Principal Component Analysis)을 통하여 소수의 주성분(Principal Component)을 독립 변수로 선택하여 분석하였다. 연구에 따라 새로운 변수들로 변환하여 보다 나은 예측력을 보인 논문들도 있다. 그러나, 물성 특성값들로 만들 수 있는 조합은 기하급수적으로 많으므로, 출력값 대부분을 예측 가능하게 하는 물성 특성값들의 조합들을 지금과 같은 방법으로 찾아낸다면 예측력의 향상은 계속될 것으로 보이지만, 신뢰성 있는 예측력을 갖기 위해서는 앞으로도 많은 연구가 필요하다.

최근 인공신경망은 다양한 분야로 그 응용 분야를 확대하고 있으나 화장품에 대한 적용은 드물다. Nakano 등 [1][2]은 화장품 파운데이션을 sliding test에 적용하여 얻은 시계열 신호로부터 미리 정한 물성 특성값들을 추출하고, 이 물성 특성값들을 입력으로 받아 화장품의 5가지 촉각 특성값으로 결과를 배출하는 인공신경망을 구성하였다. 이 연구가 화장품 tribology 연구 분야에서 인공신경망을 사용한 유일한 연구이다.

상기 발명 기술 역할은 화장품 시장에서 제품화를 위한 주요 요인으로는 사용감, 배송 속도, 포장 상태, 사은품, 가격 등과 같이 많이 있다. 이 중 핵심은 화장품의 사용감이 가장 큰 영향을 끼친다.

상기 화장품의 사용감은 제품 개발자들이 기대했던 특성을 갖추고 있을 뿐만 아니라, 그 특성이 사용자도 공통적으로 인지하는지도 매우 중요하다. 일반적으로 사용자들이 느끼는 화장품의 사용감은 관능 평가를 바탕으로 표현된다. 이는 관능 평가가 각 제품의 성격을 규정하는 과정에 매우 중요한 요소임을 의미한다. 문제는 화장품과 같은 복잡하고, 매우 미묘한 소재는 관능 평가로 만으로는 정확하게 분류가 매우 어렵다. 따라서 정확하게 분류하는 것은 재정적으로 비용이 많이 소요될 뿐만 아니라, 시간도 많이 소요된다는 점이다. 게다가 화장품 구성 개별 요소의 미세한 변화에도 화장품 특성 평가를 전부 처음부터 실행해야 하기 때문에 개발 시 문제가 된다. 특히, 전문가를 통한 관능 평가[sensory evaluation]는 검사 비용 및 검사자의 상태에 따라 정확성 부족 등의 문제들을 야기 시킨다.

본 연구 결과로부터 얻어진 인공신경망 측정 시스템[TeSAN]은 다양한 분야로 그 응용 분야를 확대하고 있으며, 화장품에 대한 적용을 하고자 한다. 본 발명은 화장품 파운데이션을 sliding test에 적용하여 얻은 시계열 신호로부터 미리 정한 물성 특성값들을 추출하고, 이 물성 특성값들을 입력으로 받아 화장품의 수십가지의 촉각 특성값을 확보할 수 있는 인공신경망을 구성하였다. 이 발명은 화장품 tribology 연구 분야에서 인공신경망을 사용에 활용하고자 한다.또한,

기존의 생산 제조 산업에서 미래의 스마트 제조 산업의 검사 및 테스트할 수 있는 발명품이다.

TeSAN(Tactile Electric Sensing Actuator and Neural Network)
FCN(Fully Convolutional Network)
Resnet(Residual Neural Network)
SVM(Support Vector Machine)
k-NN(k-Nearest Neighbors)
XGBoost(Extreme Gradient Boosting)
GB(Gradient Boosting)
RF(Ramdom Forest)

Claims (1)

1. 전기적 촉각 센서와 액츄에이터를 결합한 딥러닝 기반 화장품 질감 소재 인공지능 분류 장치
   상기 전기적 촉각 전자 제어 및 측정장치로 구성되고, 인공신경망을 포함하는 텍스처 감별 장치;
   상기 전기적 엑츄에이터는 정적 및 동적 힘의 종류, 크기, 및 주파수 변화를 포함하는 운동 제어부;
   상기 전기적 촉각 센서는 정적 및 동적 힘의 종류, 크기, 온도 및 주파수 신호를 수신하는 촉각 수신 센서부;
   상기 운동 제어부의해 촉각 수신 센서부로 부터 텍스처 소재의 tribology 신호 처리 결과;
   상기 tribology 신호 처리 결과로부터 tribology 자료를 저장하고, 상기 수신된 tribology 신호를 기반으로 인공지능망에 처리를 할 수 있는 인공지능망 처리부;
   상기 인공 지능망 처리부로 부터 원자료를 직접적 딥러닝 하도록 구성된 인공지능 프로세서 및 알고리즘;
   상기 인공지능 프로세서 및 알고리즘으로 부터 화장품 텍스처 소재의 classification 하는 장치.

Images