KR20210067815A

KR20210067815A - 사용자의 건강 상태를 측정하기 위한 방법 및 이를 위한 장치

Info

Publication number: KR20210067815A
Application number: KR1020190157809A
Authority: KR
Inventors: 백수환; 박철수
Original assignee: 광운대학교 산학협력단
Priority date: 2019-11-29
Filing date: 2019-11-29
Publication date: 2021-06-08

Abstract

본 발명에 따른 사용자의 건강 상태 측정 장치는 사용자의 손톱을 포함하는 손 말단을 촬영하는 촬영부; 촬영된 이미지로부터 상기 사용자의 손톱 영역의 이미지를 추출하고, 상기 추출된 손톱 이미지로부터 상기 손톱의 색상에 관한 정보, 상기 손톱의 굴곡 패턴에 관한 정보 및 상기 손톱의 윤기에 관한 정보를 추출하고, 상기 손톱의 색상에 관한 정보에 대응하는 제 1 데이터, 상기 손톱의 굴곡 패턴에 관한 정보에 대응하는 제 2 데이터 및 상기 손톱의 윤기에 관한 정보에 대응하는 제 3 데이터를 생성하는 이미지 처리부; 및 상기 제 1 데이터, 상기 제 2 데이터 및 상기 제 3 데이터를 학습된 소정의 기계 학습 모델에 입력하여 출력 데이터를 생성하고, 상기 생성된 출력 데이터에 기초하여 상기 사용자의 건강 컨디션을 측정하는 프로세서를 포함할 수 있다.

Description

사용자의 건강 상태를 측정하기 위한 방법 및 이를 위한 장치{METHOD FOR MEASURING HEALTH CONDITION OF USER AND APPARATUS THEREFOR}

본 발명은 사용자의 건강 상태 측정에 관한 것으로, 보다 구체적으로는 기계학습 모델을 이용하여 사용자의 건강 상태를 측정하기 위한 방법 및 이를 위한 장치에 관한 것이다.

현재의 사용자의 생체 상태 측정 방식은 주로 접촉식 모델로서 피하주사, 압박, 전극부착, 구속등 위험도 높고 길고 복잡한 준비 과정 및 측정에 걸리는 시간으로 인해 불편함을 겪을 수 밖에 없는 구조이며, 일부 면역력이 약한 사용자 (혹은 환자군)에게 있어서는 병원 감염의 위험을 불러일으킬 수도 있는 위험 요소가 될 수 있다.

이러한 환경속에서 미래 측정기술로서의 '비접촉' '비고통'의 측정 모델이 지속적으로 요구되고 있는 실정이다. 이에 부흥할 만한 생체 정보 측정 장치를 통한 사용자의 생체 정보에 기반한 건강 상태 측정 혹은 체크가 필요하다. 이러한 건강 상태에는 사용자의 질병 위험도, 영양상태 등 다양한 사용자의 건강 상태가 포함될 수 있다.

이러한 종래의 접촉식 모델이 아닌 비접촉, 비고통 측정 모델로 사용자가 편리하게 건강 상태를 측정하고 또한 사용자의 건강 상태도 정확하게 예측하기 위한 장치 등을 제안하고자 한다.

본 발명에서 이루고자 하는 기술적 과제는 사용자의 건강 상태 측정 장치를제공하는 데 있다.

본 발명에서 이루고자 하는 다른 기술적 과제는 사용자의 건강 상태 측정 방법을 제공하는 데 있다.

본 발명에서 이루고자 하는 또 다른 기술적 과제는 사용자 인증 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 사용자의 건강 상태를 측정하는 장치는 사용자의 손톱을 포함하는 손 말단을 촬영하는 촬영부; 촬영된 이미지로부터 상기 사용자의 손톱 영역의 이미지를 추출하고, 상기 추출된 손톱 이미지로부터 상기 손톱의 색상에 관한 정보, 상기 손톱의 굴곡 패턴에 관한 정보 및 상기 손톱의 윤기에 관한 정보를 추출하고, 상기 손톱의 색상에 관한 정보에 대응하는 제 1 데이터, 상기 손톱의 굴곡 패턴에 관한 정보에 대응하는 제 2 데이터 및 상기 손톱의 윤기에 관한 정보에 대응하는 제 3 데이터를 생성하는 이미지 처리부; 및 상기 제 1 데이터, 상기 제 2 데이터 및 상기 제 3 데이터를 학습된 소정의 기계 학습 모델에 입력하여 출력 데이터를 생성하고, 상기 생성된 출력 데이터에 기초하여 상기 사용자의 건강 컨디션을 측정하는 프로세서를 포함할 수 있다.

상기 이미지 처리부는 상기 촬영된 이미지를 상기 사용자의 건강 측정에 사용될 수 있는 영역과 아닌 영역을 구분하여 처리하되, 상기 추출된 손톱 이미지는 상기 사용자의 건강 측정에 사용될 수 있는 영역에 해당할 수 있다. 상기 이미지 처리부는 상기 촬영된 이미지에서 상기 사용자의 손 말단이 아닌 배경은 구분하여 처리할 수 있다. 상기 생성된 출력 데이터는 상기 사용자의 영양 상태 레벨에 대한 정보를 포함할 수 있다. 상기 소정의 기계 학습 모델은 CNN(Convolutional Neural Network) 분류기를 이용하여 상기 사용자의 영양 상태를 상기 영양 상태 레벨로 출력하도록 구성될 수 있다. 상기 생성된 출력 데이터는 상기 사용자의 특정 질병 위험 레벨에 대한 정보를 더 포함할 수 있다. 상기 생성된 출력 데이터는 상기 사용자의 비타민 부족 레벨에 대한 정보를 더 포함할 수 있다.

상기 손톱의 굴곡 패턴에 관한 정보는 손톱에서의 세로줄들의 패턴에 대한 정보 및 상기 손톱에서의 세로줄들의 간격 정보를 포함할 수 있다. 상기 이미지 처리부는 상기 손톱에서의 세로줄들의 패턴 및 상기 손톱에서의 세로줄들의 간격을 추출할 수 있다. 상기 이미지 처리부는 상기 제 2 데이터를 상기 추출된 세로줄들의 패턴 및 상기 손톱에서의 세로줄들의 간격에 기초하여 생성할 수 있다.

상기 손톱의 윤기에 관한 정보는 상기 촬영된 이미지에서 상기 손톱의 큐티클(cuticle) 층에 기초한 것일 수 있다.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 사용자의 건강 상태를 측정하기 위한 방법은 사용자의 손톱을 포함하는 손 말단을 촬영하는 단계; 촬영된 이미지로부터 상기 사용자의 손톱 영역의 이미지를 추출하는 단계; 상기 추출된 손톱 이미지로부터 상기 손톱의 색상에 관한 정보, 상기 손톱의 굴곡 패턴에 관한 정보 및 상기 손톱의 윤기에 관한 정보를 추출하는 단계; 상기 손톱의 색상에 관한 정보에 대응하는 제 1 데이터, 상기 손톱의 굴곡 패턴에 관한 정보에 대응하는 제 2 데이터 및 상기 손톱의 윤기에 관한 정보에 대응하는 제 3 데이터를 생성하는 단계; 상기 제 1 데이터, 상기 제 2 데이터 및 상기 제 3 데이터를 학습된 소정의 기계 학습 모델에 입력하여 출력 데이터를 생성하는 단계; 및 상기 생성된 출력 데이터에 기초하여 상기 사용자의 건강 컨디션을 측정하는 단계를 포함할 수 있다.

상기 손톱 영역의 이미지를 추출하는 단계는 상기 촬영된 이미지를 상기 사용자의 건강 측정에 사용될 수 있는 영역과 아닌 영역을 구분하여 처리하는 단계를 포함하고, 상기 추출된 손톱 이미지는 상기 사용자의 건강 측정에 사용될 수 있는 영역에 해당할 수 있다. 상기 생성된 출력 데이터는 상기 사용자의 영양 상태 레벨에 대한 정보를 포함할 수 있다. 상기 소정의 기계 학습 모델은 CNN(Convolutional Neural Network) 분류기를 이용하여 상기 사용자의 영양 상태를 상기 영양 상태 레벨로 출력하도록 구성될 수 있다. 상기 손톱 영역의 이미지를 추출하는 단계는 상기 촬영된 이미지에서 상기 사용자의 손 말단이 아닌 배경은 구분하여 처리하는 단계를 더 포함될 수 있다. 상기 생성된 출력 데이터는 상기 사용자의 특정 질병 위험 레벨에 대한 정보를 더 포함할 수 있다. 상기 생성된 출력 데이터는 상기 사용자의 비타민 부족 레벨에 대한 정보를 더 포함할 수 있다.

상기 손톱의 윤기에 관한 정보는 상기 촬영된 이미지에서 상기 손톱의 큐티클(cuticle) 층에 기초한 것일 수 있다. 상기 손톱의 굴곡 패턴에 관한 정보는 손톱에서의 세로줄들의 패턴에 대한 정보 및 상기 손톱에서의 세로줄들의 간격 정보를 포함할 수 있다.

상기 상기 손톱의 굴곡 패턴에 관한 정보를 추출하는 단계는 상기 손톱에서의 세로줄들의 패턴 및 상기 손톱에서의 세로줄들의 간격을 추출하는 단계를 포함할 수 있다. 상기 제 2 데이터를 생성하는 단계는 상기 제 2 데이터를 상기 추출된 세로줄들의 패턴 및 상기 손톱에서의 세로줄들의 간격에 기초하여 생성하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 비접촉, 비고통 측정 장치를 이용하여 사용자가 편리하게 건강 상태도 정확하게 예측할 수 있는 효과가 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 인공신경망의 계층 구조(layer structure)를 예시한 도면이다.
도 2는 본 발명에서 제안하는 장치를 이용하기 위한 사용자의 프로세스를 설명하기 위한 예시적 도면이다.
도 3은 본 발명에 따른 사용자의 건강 상태 측정(혹은 예측)을 위한 장치의 블록도를 예시적으로 나타낸 도면이다.
도 4는 본 발명에 따른 장치(300)가 사용자의 손톱 영역을 촬영하고 이미지 처리하는 등의 과정을 설명하기 위한 예시적인 도면이다.
도 5는 촬영된 손톱의 색상에 대한 이미지 및 이미지 처리를 설명하기 위한 예시적인 도면이다.
도 6은 촬영된 손톱의 패턴에 대한 이미지 및 이미지 처리를 설명하기 위한 예시적인 도면이다.
도 7은 촬영된 손톱의 윤기에 대한 이미지 및 이미지 처리를 설명하기 위한 예시적인 도면이다.
도 8은 본 발명에 따른 장치(300)의 이미지 처리부(320)의 기능을 구체적으로 설명하기 위한 예시적인 도면이다.
도 9는 본 발명에 따른 장치(300)가 이미지 처리부(320)로부터 받은 입력값들에 기초하여 기계학습 알고리즘을 이용하여 결과를 도출하는 과정의 일 예를 도시한 도면이다.
도 10은 CNN 분류기를 통해 사용자의 건강 상태를 step으로 출력하는 것을 설명하기 위한 예시적인 도면이다.
도 11은 본 발명에 따른 사용자의 건강 상태 측정(예측)을 수행하기 위한 프로세서를 흐름도로 예시한 도면이다.
도 12는 기계 학습 알고리즘을 이용하여 본 발명에 따른 사용자의 건강 상태 측정(혹은 예측)을 위해 촬영된 사용자의 손톱 영역에 대한 정보에 대해 훈련(training) 시키고 및 테스팅(testing) 하는 프로시저를 설명하기 위한 예시적인 도면이다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.

몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.

본 발명은 머신 러닝(기계 학습) 알고리즘을 이용한 사용자의 건강 상태 체크 혹은 측정하기 위한 장치 및 그 방법에 대해 제안한다.

본 발명을 설명하기에 앞서 인공 지능(AI), 머신 러닝, 딥러닝에 대해 설명한다. 이러한 세 가지 개념의 관계를 가장 쉽게 파악하는 방법은 세 개의 동심원을 가상하면 된다. 인공 지능이 가장 큰 원이고, 그 다음이 머신 러닝이며, 현재의 인공지능 붐을 주도하는 딥 러닝이 가장 작은 원이라 할 수 있다.

인공 지능이라는 개념은 1956년 미국 다트머스 대학에 있던 존 매카시 교수가 개최한 다트머스 회의에서 처음 등장했으며, 최근 몇 년 사이 폭발적으로 성장하고 있는 중이다. 특히 2015년 이후 신속하고 강력한 병렬 처리 성능을 제공하는 GPU의 도입으로 더욱 가속화되고 있죠. 갈수록 폭발적으로 늘어나고 있는 저장 용량과 이미지, 텍스트, 매핑 데이터 등 모든 영역의 데이터가 범람하게 된 빅데이터 시대의 도래도 이러한 성장세에 큰 영향을 미쳤다.

인공 지능 - 인간의 지능을 기계로 구현

1956년 당시 인공 지능의 선구자들이 꿈꾼 것은 최종적으로 인간의 지능과 유사한 특성을 가진 복잡한 컴퓨터를 제작하는 것이었다. 이렇듯 인간의 감각, 사고력을 지닌 채 인간처럼 생각하는 인공 지능을 ‘일반 AI(General AI)’라고 하지만, 현재의 기술 발전 수준에서 만들 수 있는 인공지능은 ‘좁은 AI(Narrow AI)’의 개념에 포함된다. 좁은 AI는 소셜 미디어의 이미지 분류 서비스나 얼굴 인식 기능 등과 같이 특정 작업을 인간 이상의 능력으로 해낼 수 있는 것이 특징이다.

머신 러닝 - 인공 지능을 구현하는 구체적 접근 방식

머신 러닝은 메일함의 스팸을 자동으로 걸러주는 역할을 합니다. 한편, 머신 러닝은 기본적으로 알고리즘을 이용해 데이터를 분석하고, 분석을 통해 학습하며, 학습한 내용을 기반으로 판단이나 예측을 수행한다. 따라서 궁극적으로는 의사 결정 기준에 대한 구체적인 지침을 소프트웨어에 직접 코딩해 넣는 것이 아닌, 대량의 데이터와 알고리즘을 통해 컴퓨터 그 자체를 ‘학습’시켜 작업 수행 방법을 익히는 것을 목표로 한다. 머신 러닝은 초기 인공 지능 연구자들이 직접 제창한 개념에서 나온 것이며, 알고리즘 방식에는 의사 결정 트리 학습, 귀납 논리 프로그래밍, 클러스터링, 강화 학습, 베이지안(Bayesian) 네트워크 등이 포함된다. 그러나 이 중 어느 것도 최종 목표라 할 수 있는 일반 AI를 달성하진 못했으며, 초기의 머신 러닝 접근 방식으로는 좁은 AI 조차 완성하기 어려운 경우도 많았던 것이 사실이다.

현재 머신 러닝은 컴퓨터 비전 등의 분야에서 큰 성과를 이뤄내고 있으나, 구체적인 지침이 아니더라도 인공 지능을 구현하는 과정 전반에 일정량의 코딩 작업이 수반된다는 한계점에 봉착하였다. 가령 머신 러닝 시스템을 기반으로 정지 표지판의 이미지를 인식할 경우, 개발자는 물체의 시작과 끝 부분을 프로그램으로 식별하는 경계 감지 필터, 물체의 면을 확인하는 형상 감지, ‘S-T-O-P’와 같은 문자를 인식하는 분류기 등을 직접 코딩으로 제작해야 한다. 이처럼 머신 러닝은 ‘코딩’된 분류기로부터 이미지를 인식하고, 알고리즘을 통해 정지 표지판을 ‘학습’하는 방식으로 작동된다.

머신 러닝의 이미지 인식률은 상용화하기에 충분한 성능을 구현하지만, 안개가 끼거나 나무에 가려서 표지판이 잘 보이지 않는 특정 상황에서는 이미지 인식률이 떨어지기도 한다. 최근까지 컴퓨터 비전과 이미지 인식이 인간의 수준으로 올라오지 못한 이유는 이 같은 인식률 문제와 잦은 오류 때문이다.

딥 러닝 - 완전한 머신 러닝을 실현하는 기술

초기 머신 러닝 연구자들이 만들어 낸 또 다른 알고리즘인 인공 신경망(artificial neural network)에 영감을 준 것은 인간의 뇌가 지닌 생물학적 특성, 특히 뉴런의 연결 구조였습니다. 그러나 물리적으로 근접한 어떤 뉴런이든 상호 연결이 가능한 뇌와는 달리, 인공 신경망은 레이어 연결 및 데이터 전파 방향이 일정합니다.

예를 들어, 이미지를 수많은 타일(tile)로 잘라 신경망의 첫 번째 레이어에 입력하면, 그 뉴런들은 데이터를 다음 레이어로 전달하는 과정을 마지막 레이어에서 최종 출력이 생성될 때까지 반복합니다. 그리고 각 뉴런에는 수행하는 작업을 기준으로 입력의 정확도를 나타내는 가중치가 할당되며, 그 후 가중치를 모두 합산해 최종 출력이 결정됩니다. 정지 표지판의 경우, 팔각형 모양, 붉은 색상, 표시 문자, 크기, 움직임 여부 등 그 이미지의 특성이 잘게 잘려 뉴런에서 ‘검사’되며, 신경망의 임무는 이것이 정지 표지판인지 여부를 식별하는 것입니다. 여기서는 충분한 데이터를 바탕으로 가중치에 따라 결과를 예측하는 ‘확률 벡터(probability vector)’가 활용된다.

딥 러닝은 인공신경망에서 발전한 형태의 인공 지능으로, 뇌의 뉴런과 유사한 정보 입출력 계층을 활용해 데이터를 학습합니다. 그러나 기본적인 신경망조차 굉장한 양의 연산을 필요로 하는 탓에 딥 러닝의 상용화는 초기부터 난관에 부딪혔다. 그럼에도 불구하고 연구자들의 연구는 지속됐고, 슈퍼컴퓨터를 기반으로 딥 러닝 개념을 증명하는 알고리즘을 병렬화하는데 성공했다. 그리고 병렬 연산에 최적화된 GPU의 등장은 신경망의 연산 속도를 획기적으로 가속하며 진정한 딥 러닝 기반 인공 지능의 등장을 불러왔다.

신경망 네트워크는 ‘학습’ 과정에서 수많은 오답을 낼 가능성이 크다. 정지 표지판의 예로 돌아가서, 기상 상태, 밤낮의 변화에 관계 없이 항상 정답을 낼 수 있을 정도로 정밀하게 뉴런 입력의 가중치를 조정하려면 수백, 수천, 어쩌면 수백만 개의 이미지를 학습해야 할지도 모른다. 이 정도 수준의 정확도에 이르러서야 신경망이 정지 표지판을 제대로 학습했다고 볼 수 있다. 2012년, 구글과 스탠퍼드대 앤드류 응(Andrew NG) 교수는 1만6,000개의 컴퓨터로 약 10억 개 이상의 신경망으로 이뤄진 ‘심층신경망(Deep Neural Network)’을 구현했다. 이를 통해 유튜브에서 이미지 1,000만 개를 뽑아 분석한 뒤, 컴퓨터가 사람과 고양이 사진을 분류하도록 하는데 성공했습니다. 컴퓨터가 영상에 나온 고양이의 형태와 생김새를 인식하고 판단하는 과정을 스스로 학습하게 한 것이다.

딥 러닝으로 훈련된 시스템의 이미지 인식 능력은 이미 인간을 앞서고 있습니다. 이 밖에도 딥 러닝의 영역에는 혈액의 암세포, MRI 스캔에서의 종양 식별 능력 등이 포함된다. 구글의 알파고는 바둑의 기초를 배우고, 자신과 같은 AI를 상대로 반복적으로 대국을 벌이는 과정에서 그 신경망을 더욱 강화해 나갔다. 딥 러닝의 등장으로 인해 머신 러닝의 실용성은 강화됐고, 인공 지능의 영역은 확장됐다. 딥 러닝은 컴퓨터 시스템을 통해 지원 가능한 모든 방식으로 작업을 세분화한다. 운전자 없는 자동차, 더 나은 예방 의학, 더 정확한 영화 추천 등 딥 러닝 기반의 기술들은 우리 일상에서 이미 사용되고 있거나, 실용화를 앞두고 있다. 딥 러닝은 공상 과학에서 등장했던 일반 AI를 실현할 수 있는 잠재력을 지닌 인공 지능의 현재이자, 미래로 평가 받고 있다.

이하 딥러닝에 대해 좀 더 구체적으로 살펴본다.

딥러닝이란 인간의 신경망(Neural Network) 이론을 이용한 인공신경망(Artificial Neural Network, ANN)의 일종으로, 계층 구조(Layer Structure)로 구성하면서 입력층(Input layer)과 출력층(Output layer) 사이에 하나 이상의 숨겨진 층(Hidden layer)(이하, 중간층이라 지칭함)을 갖고 있는 심층 신경망(Deep Neural Network, DNN)을 지칭하는 기계학습(Machine Learning) 모델 또는 알고리즘의 집합입니다. 간단히 말하면, 딥러닝(Deep Learning)은 심층 계층을 가진 인공신경망이라 할 수 있다.

사람의 뇌는 250억 개의 신경세포로 구성되어 있다고 추정됩니다. 뇌는 신경세포로 이루어지며, 각각의 신경세포(뉴런, Neuron)는 신경망을 구성하는 신경세포 1개를 지칭한다. 신경세포는 1개의 세포체(cell body)와 세포체의 돌기인 1개의 축삭(Axon or nurite) 및 보통 여러 개의 수상돌기(dendrite or protoplasmic process)를 포함하고 있다. 이러한 신경세포들 간의 정보 교환은 시냅스라고 부르는 신경세포 간의 접합부를 통하여 전달됩니다. 신경세포 하나만 떼어 놓고 보면 매우 단순하지만, 이러한 신경세포들이 모이면 인간의 지능을 지닐 수 있다. 수상돌기에서 다른 신경세포들이 보내는 신호를 전달받는 부분(Input)이고 축색돌기는 세포체로부터 아주 길게 뻗어가는 부분으로 다른 신경세포에 신호를 전달하는 부분(Output)이다. 신경세포들 사이의 신호를 전달해주는 축색돌기와 수상돌기 간을 연결해주는 시냅스라는 연결부가 있는데, 신경세포의 신호를 무조건 전달하는 것이 아니라, 신호 강도가 일정한 값(임계치, Threshold) 이상이 되어야 신호를 전달하는 것이다. 즉, 각 시냅스마다 연결강도가 다를 뿐만 아니라 신호를 전달할지 말지를 결정하게 되는 것이다.

인공지능의 한 분야인 인공신경망(ANN)은 생물학(통상 인간)의 뇌 구조(신경망)를 모방하여 모델링한 수학적 모델이다. 즉, 인공신경망은 이러한 생물학적 신경세포의 정보처리 및 전달 과정을 모방하여 구현한 것이다. 인간의 뇌가 문제를 해결하는 방식과 유사하게 구현한 것으로서 신경망은 각 신경세포가 독립적으로 동작하는 하기 때문에 병렬성이 뛰어나다. 또한 많은 연결선에 정보가 분산되어 있어서 몇몇 신경세포에 문제가 발생해도 전체에 큰 영향을 주지 않으므로 일정 수준의 오류에 강하고 주어진 환경에 대한 학습 능력을 갖고 있다.

심층신경망(Deep neural network)는 인공신경망의 후손이라 볼 수 있으며, 기존의 한계를 뛰어넘어서 과거에 수많은 인공 지능 기술이 실패를 겪었던 영역에 성공 사례를 거두고 인공신경망의 최신 버전이다. 생물학적 신경망을 모방하여 인공신경망을 모델링한 내용을 살펴보면 처리 단위(Processing unit) 측면에서는 생물적인 뉴런(neurons)이 노드(nodes)로, 연결성(Connections)은 시냅스(Synapse)가 가중치(weights)로 다음 표 1과 같이 모델링 되었다.

생물학적 신경망	인공신경망
세포체	노드(node)
수상돌기	입력(input)
축삭(Axon)	출력(output)
시냅스	가중치(weight)

도 1은 인공신경망의 계층 구조(layer structure)를 예시한 도면이다.

인간의 생물학적 신경세포가 하나가 아닌 다수가 연결되어 의미 있는 작업을 하듯, 인공신경망의 경우도 개별 뉴런들을 서로 시냅스를 통해 서로 연결시켜서 복수개의 계층(layer)이 서로 연결되어 각 층간의 연결 강도는 가중치로 수정(update) 가능합니다. 이와 같이 다층 구조와 연결강도로 학습과 인지를 위한 분야에 활용됩니다.

각 노드들은 가중치가 있는 링크들로 연결되어 있고, 전체 모델은 가중치를 반복적으로 조정하면서 학습을 한다. 가중치는 장기 기억을 위한 기본 수단으로서 각 노드들의 중요도를 표현한다. 간단히 이야기하면, 인공신경망은 이들 가중치를 초기하고 훈련시킬 데이터 세트로 가중치를 갱신하여 조정하여 전체 모델을 훈련시키는 것입니다. 훈련이 완료된 후에 새로운 입력값이 들어오면 적절한 출력값을 추론해 내게 된다. 인공신경망의 학습원리는 경험의 일반화로부터 지능이 형성되는 과정이라고 보면 되고 bottom-up 방식으로 이루어지게 된다. 도 2에서 중간층이 2개 이상(즉 5~10개)일 경우를 층이 깊어진다고 보고 심층신경망(Deep Neural Netowkr)이라 하며, 이러한 심층신경망을 통해서 이루어진 학습과 추론 모델을 딥러닝이라고 지칭할 수 있다.

인공신경망은 입력과 출력을 제외하고 하나의 중간계층(통상적으로 은닉계층, 'hidden layer'라 지칭함)을 가지고 있어도 어느 정도의 역할을 수행할 수 있지만, 문제의 복잡도가 커지면 노드의 수 또는 계층의 수를 증가시켜야 한다. 이 중에서 계층의 수를 증가시켜 다층구조 모델을 가져가는 것이 효과적인데, 효율적인 학습이 불가능하고 네트워크를 학습하기 위한 계산량이 많다는 한계로 인해 활용 범위가 제한적이다.

그러나, 위와 같이 기존의 한계점이 극복됨으로써, 인공신경망은 깊은 구조(Deep Structure)를 가져갈 수 있게 되었습니다. 이로 인해 복잡하고 표현력 높은 모델을 구축할 수 있게 되어 음성인식, 얼굴인식, 물체인식, 문자인식 등 다양한 분야에서 획기적인 결과들이 발표되고 있다.

심층 신경망(Deep Neural Network, DNN)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다. 심층 신경망은 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. 예를 들어, 물체 식별 모델을 위한 심층 신경망 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현될 수 있다. 이때, 추가 계층들은 점진적으로 모인 하위 계층들의 특징들을 규합시킬 수 있다. 심층 신경망의 이러한 특징은, 비슷하게 수행된 인공신경망에 비해 더 적은 수의 유닛(unit, node)들 만으로도 복잡한 데이터를 모델링할 수 있게 해준다.

이전의 심층 신경망들은 보통 앞먹임 신경망으로 설계되어 왔지만, 최근의 연구들은 심층 학습 구조들을 순환 신경망(Recurrent Neural Network, RNN)에 성공적으로 적용했다. 일례로 언어 모델링(language modeling) 분야에 심층 신경망 구조를 적용한 사례 등이 있다. 합성곱 신경망(Convolutional Neural Network, CNN)의 경우에는 컴퓨터 비전(computer vision) 분야에서 잘 적용되었을 뿐만 아니라, 각각의 성공적인 적용 사례에 대한 문서화 또한 잘 되어 있다. 더욱 최근에는 합성곱 신경망이 자동음성인식(Automatic Speech Recognition, ASR)을 위한 음향 모델링(acoustic modeling) 분야에 적용되었으며, 기존의 모델들 보다 더욱 성공적으로 적용되었다는 평가를 받고 있다. 심층 신경망은 표준 오류역전파 알고리즘으로 학습될 수 있다. 이때, 가중치(weight)들은 아래의 등식을 이용한 확률적 경사 하강법(stochastic gradient descent)을 통하여 갱신될 수 있다.

이하, 본 발명에 따른 머신 러닝 알고리즘을 이용하여 사용자의 건강 상태를 측정 혹은 체크하기 위한 장치 및 이를 위한 방법에 대해 설명한다.

본 발명에서는 미래 측정기술로서의 '비접촉' '비고통'의 측정 모델로서 생체 정보 측정 장치를 통한 사용자(혹은 환자)의 생체 정보에 기반하여 건강 상태 측정한다. 이 때, 사용자의 '손톱'이라는 영역에서 얻을 수 있는 정보를 통해 사용자의 건강 상태 (질병 상태, 영양 상태 등)에 대한 간략한 정보를 얻을 수 있고, 이를 위한 장치 및 시스템에 대해서도 제안하고자 한다.

몸을 구성하는 요소는 많지만 모두 생명을 유지하기 위해 유기적으로 연결되어 있기 때문에 어느 한 곳에 문제가 발생하면 분명 다른 부분에도 그 영향이 나타나게 된다. 손톱도 몸의 일부이기 때문에 몸의 건강상태를 반영하게 되며, 중요한 진단근거가 될 수 있다. 손톱의 전체적인 색상을 보고, 손톱이 흰 빛을 띠고 윤기가 없는지 등을 살펴보면 된다. 손톱의 굴곡 패턴으로서 손톱에 구멍이 난 것처럼 함몰되어 있는 경우는 간질환을 의심할 수 있다.

직사광선을 통한 손톱 착상 사진을 바탕으로 한 측정법은 체외 부위중 피부나 혈액과 같이 단기간의 상황만이 드러나는 부위에 대한 시스템이 아닌 중장기적인 데이터가 조금씩 누적된 손톱에 적용된 시스템이기 때문에 좀 더 넓은 기간에 대한 사용자의 영양 상태 추적 및 예측이 가능하다. 작사광선을 활용한 카메라 혹은 그에 준하는 모듈과 이미지 프로세싱(image processing)을 위한 컴퓨터 시스템만 연결되어 구축 된다면 스마트폰이나 간단한 장비만으로 어디서든지 사용이 가능하다.

도 2는 본 발명에서 제안하는 장치를 이용하기 위한 사용자의 프로세스를 설명하기 위한 예시적 도면이다.

도 2를 참조하면, 사용자는 서비스 제공처를 방문하거나 사용자의 스마트폰 등에 앱을 설치하여 본 발명에 따른 서비스를 이용할 수 있다. 사용자는 비접촉식 모델의 기기에서 5초 이내로 사진 촬영을 한다. 장치는 사용자의 손톱 영역을 포함하는 손 말단 부위를 촬영한다. 이후 장치가 구동되고 촬영된 사용자의 손톱 영역에 대한 정보에 기초하여 사용자의 건강 상태에 대한 결과를 출력하고, 사용자는 이를 확인할 수 있다. 본 발명에 따른 사용자 건강 상태 측정을 위한 장치를 통해 사용자의 손톱 영역을 촬영한 후 결과를 확인하는데 까지 1분 이내로 걸린다.

이와 같이, 사용자가 비접촉식 모델의 장치에서 사진 촬영하면, 장치는 촬영된 정보로부터 입력 값을 생성하고, 입력 값으로부터 소정의 머신러닝 알고리즘을 통해 사용자의 건강 상태(예를 들어, 영양 상태)에 대한 기초적인 정보를 사용자에게 제공할 수 있다.

도 3은 본 발명에 따른 사용자의 건강 상태 측정(혹은 예측)을 위한 장치의 블록도를 예시적으로 나타낸 도면이다.

도 3을 참조하면, 본 발명에 따른 사용자의 건강 상태 측정(혹은 예측)을 위한 장치(300)는 촬영부(310), 이미지 처리부(320), 프로세서(330), 표시부(340) 및 통신부(350)를 포함할 수 있다. 도 3에 도시하지는 않았지만, 장치(300)는 구동 전력을 공급하고 재충전 가능한 배터리 등을 더 포함할 수 있다.

촬영부(310)는 사용자의 손톱 영역을 포함하는 손 말단을 촬영한다. 이미지 처리부(320)는 촬영된 이미지로부터 사용자의 손톱 영역의 이미지를 추출한다. 이미지 처리부(320)는 촬영된 이미지를 사용자의 건강 측정에 사용될 수 있는 영역과 아닌 영역을 구분하여 처리할 수 있다. 이때, 추출된 손톱 이미지는 사용자의 건강 측정에 사용될 수 있는 영역에 해당할 수 있다.

이미지 처리부(320)는 추출된 손톱의 이미지로부터 손톱의 색상에 관한 정보, 상기 손톱의 굴곡(curve) 패턴에 관한 정보 및 상기 손톱의 윤기에 관한 정보를 추출할 수 있다. 여기서, 손톱의 굴곡 패턴에 관한 정보는 손톱에 있는 세로줄 패턴 길이 및 세로줄 패턴들 간의 간격 정보를 포함할 수 있다. 이미지 처리부(320)는 추출된 손톱의 색상에 관한 정보에 대응하는 제 1 데이터를 입력값으로 생성하고, 추출된 손톱의 굴곡 패턴에 관한 정보에 대응하는 제 2 데이터를 입력값으로 생성하고, 추출된 손톱의 윤기에 관한 정보에 대응하는 제 3 데이터를 입력값으로 생성할 수 있다. 이미지 처리부(320)는 상기 제 2 데이터를 상기 추출된 세로줄들의 패턴 및 상기 손톱에서의 세로줄들의 간격에 기초하여 생성할 수 있다.

프로세서(330)는 상기 제 1 데이터, 제 2 데이터 및 제 3 데이터를 학습된 소정의 기계 학습 모델에 입력하여 기계 학습 알고리즘을 이용하여 출력 데이터를 생성할 수 있다. 프로세서(330)는 장치(300) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하도록 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다. 프로세서(330)에서 나온 출력 데이터는 사용자의 건강 상태에 대한 정보이다. 이 출력 데이터에 대한 구체적인 사항은 후술한다.

본 발명에 따른 사용자의 건강 상태를 측정하기 위한 장치(300)는 사용자 인터페이스로서의 표시부(340)를 포함할 수 있다. 표시부(340)는 프로세서(330)로부터 나온 사용자 건강 상태 결과에 대한 정보 등을 사용자가 확인할 수 있도록 디스플레이 형태 등으로 표시해 줄 수 있다. 즉, 표시부(340)는 사용자가 시각적으로 건강 상태에 대한 결과에 대한 정보를 인식할 수 있도록 표시해 준다. 프로세서(330)의 제어에 따라 표시부(340)는 사용자 건강 상태 결과에 대해 표시할 수 있다.

통신부(340)는 무선통신 등의 방식으로 서버(혹은 중앙분석 컴퓨터, 클라우드 등 다양한 형태가 될 수 있음) 혹은 다른 기기로 데이터를 전송하거나 수신할 수 있다. 통신부(340)는 프로세서(330)에서 산출된 사용자의 건강 상태에 대한 결과를 프로세서(330)의 제어에 따라 시스템 (서버) 등으로 전송할 수 있다.

도 4는 본 발명에 따른 장치(300)가 사용자의 손톱 영역을 촬영하고 이미지 처리하는 등의 과정을 설명하기 위한 예시적인 도면이다.

도 4는 좌측에서 우측 방향으로 3개의 영역(410, 420, 430)으로 구분하여 도시하고 있다. 도 4의 410 영역을 참고하면, 410 영역 하단에 사용자의 손 말단 부위가 있음을 알 수 있고, 410 영역의 상단은 촬영부(310)가 사용자의 손 말단 조갑를 촬영한 것이다. 촬영부(310)는 사용자의 손톱 영역을 포함하는 손 말단을 촬영한다. 여기서, 청록색으로 표시된 415 영역이 사용자의 건강 상태를 측정하는데 필요한 영역일 수 있다. 도 4에서는 415 영역을 하나만 표시하였지만 청록색으로 표시된 부분이 모두 415 영역이 될 수 있다. 이미지 처리부(320)는 촬영된 이미지에서 사용자의 건강 예측을 위해 사용될 수 있는 영역 (415 영역)과 아닌 영역을 구분하여 분리시킬 수 있다.

도 4에 도시된 420 영역을 참고하면, 이미지 처리부(320)가 촬영된 이미지에서 사용자가 건강 상태 예측에 필요한 영역(예를 들어, 415 영역)만을 특정하여 구분하여 처리할 수 있다. 이미지 처리부(320)는 촬영된 이미지에서 특정하여 이미지 요소를 추출할 수 있다. 추출된 421 영역은 손톱의 색상, 추출된 423 영역은 손톱의 윤기, 추출된 425 영역은 손톱의 굴곡 패턴에 관한 정보 등을 포함하고 있다.

이미지 처리부(320)는 추출된 이미지 영역(415)에서 손톱의 색상, 윤기, 굴곡 패턴을 추출하고, 손톱의 색상, 손톱의 윤기, 손톱의 굴곡 패턴에 대응하는 데이터를 생성하여 인공 신경망 알고리즘의 입력값들로 사용되도록 할 수 있다. 즉, 이미지 처리부(320)는 인공 신경망 알고리즘의 입력에 적합한 형태로 데이터를 생성한다.

도 4의 430 영역을 참고하면, 프로세서(320)는 이미지 처리부(320)로부터 생성된 손톱에 대한 정보에 해당하는 데이터를 입력값으로 하여 인공신경망 알고리즘 적용을 통해 사용자의 건강 상태를 측정 혹은 예측할 수 있다.

도 5는 촬영된 손톱의 색상에 대한 이미지 및 이미지 처리를 설명하기 위한 예시적인 도면이다.

도 5의 상단에 도시된 그림에서 원으로 표시된 영역에서 손톱에 검은점이 있음을 알 수 있다. 손톱에 나타나게 되는 검은 점은 손톱 밑의 출혈, 간기능 약화, 피부암 등의 원인으로 인해 발생하는 패턴이다. 도 5의 하단에 도시된 그림을 살펴보면 손톱의 색상에 대한 정보임을 알 수 있다. 예로서, 왼쪽부터 검정색 영역이 많은 데이터에 해당하는 손톱이 있고, 흰색 영역이 많은 데이터에 해당하는 손톱, 일반색 영역이 많은 데이터에 해당하는 손톱이 있을 수 있다.

이미치 처리부(320)는 촬영된 이미지에서 각 픽셀들에 대한 색상(RGB)를 통한 구분 이후에 B/N/W (검정색 영역,일반 영역,흰색 영역)으로 구분할 수 있다. 이미지 히스토그램 출력 이후 피크(peak) 이후 수렴구간, 2번째 peak 이전 수렴구간으로 자른 이후 1영역은 검은색 영역으로, 2영역은 일반영역으로, 3영역은 흰색 영역으로 구분된다.

도 6은 촬영된 손톱의 패턴에 대한 이미지 및 이미지 처리를 설명하기 위한 예시적인 도면이다.

패턴 길이(Pattern Length)의 경우 손톱에서 반복적으로 나타나게 되는 세로줄에 대한 정보이다. 이미지 처리부(320)는 이미지 처리(Image Processing) 과정에서 이러한 선(edge)의 탐색을 통해 분류하여 기록한다. 패턴 길이에서의 이미지와 같이 선 검출(edge detection)을 통해 뽑아낸 손톱의 굴곡(선)중 강건성을 가진 선(edge)들(노이즈가 아닌, 도 6에 도시된 이미지에서는 빨간 선으로 표시됨)이 방향성과 길이 속성을 가진다.

도 6의 상단에는 사용자 1의 손톱을 촬영한 이미지가 도시되어 있다. 이미지 처리부(320)는 촬영된 이미지에서 손톱 영역에 해당하는 네모 박스로 된 영역을 특정하여 추출할 수 있다. 보다 구체적으로, 이미지 처리부(320)는 세로줄 패턴 길이 y에 해당하는 손톱 영역에서 세로줄 패턴을 추출하여 세로줄 패턴에 대한 정보를 생성할 수 있다. 그리고, 이미지 처리부(320)는 세로줄 패턴 길이 y에 해당하는 손톱 영역에서 세로줄 패턴들 간의 간격들을 추출하여 세로줄 패턴들 간의 간격 정보를 생성할 수 있다.

마찬가지로 도 6의 하단에는 사용자 2의 손톱을 촬영한 이미지가 도시되어 있고 이미지 처리부(320)는 사용자의 2의 세로줄 패턴 길이 y에 해당하는 손톱 영역에서 세로줄 패턴 및 세로줄 패턴들 간의 간격들을 추출하여 세로줄 패턴에 대한 정보 및 세로줄 패턴들 간의 간격 정보를 생성할 수 있다. 도 6에 도시된 바와 같이 사용자 1 및 사용자 2의 세로줄 패턴 및 세로줄 패턴들 간의 간격도 상이함을 알 수 있다.

도 7은 촬영된 손톱의 윤기에 대한 이미지 및 이미지 처리를 설명하기 위한 예시적인 도면이다.

도 7을 참조하면, 손톱의 윤기는 손톱의 큐티클 층에 결정될 수 있다. 손톱의 윤기는 손톱의 지방층에 대한 정보를 얻기 위한 지표로서, 이미지 처리부(320)가 이미지 프로세싱 중 카메라 센서로 인한 노이즈를 제거하고 나서 굴곡을 제외한 이미지 요소들의 발생 정도에 기초하여 손톱의 윤기 정도를 결정한다.

도 8은 본 발명에 따른 장치(300)의 이미지 처리부(320)의 기능을 구체적으로 설명하기 위한 예시적인 도면이다.

도 8을 참조하면, 이미지 처리부(320)는 이미지 요소 특정 기술에 의해 사용자의 건강 상태 측정에 필요한 영역과 아닌 영역을 구분하여 처리할 수 있다. 이미지 처리부(320)는 일 예로서 IMG 필터를 이용하여 이미지 요소를 특정할 수 있다.도 8에 도시된 바와 같이, 이미지 처리부(320)는 Law image로 표시된 그림에서 손 말단이 아닌 배경 부분(도 5에서 검은색으로 표시된 영역(810))은 제거할 수 있다. 이미지 처리부(320)는 이미지 내에서 필요 없는 부분 (도 5에서 검은색 부분(810)과 같은 배경 부분)을 구분하여 제거할 수 있다.

이미지 처리부(320)는 촬영된 이미지에서 손톱의 색상, 손톱의 윤기, 손톱의 굴곡 패턴을 추출할 수 있다. 이때 손톱의 색상은 손톱의 색 분포로부터 도출되고, 손톱의 윤기는 손톱의 큐티클 층으로부터 도출될 수 있다. 이미지 처리부(320)는 반사 등으로 정확한 데이터를 얻기 힘든 부분도 제거할 수 있다. 이미지 처리부(320)는 손톱의 색상/윤기/굴곡 패턴이 모두 드러나는 영역인 820 영역을 특정하여 추출할 수 있다. 이와 같이, 이미지 처리부(320)는 주요 포인트에 대한 영역을 선택하여 추출하고, 추출된 이미지 영역으로부터 정보를 생성 혹은 도출할 수 있다.

도 9는 본 발명에 따른 장치(300)가 이미지 처리부(320)로부터 받은 입력값들에 기초하여 기계학습 알고리즘을 이용하여 결과를 도출하는 과정의 일 예를 도시한 도면이다.

합성곱 신경망 (Convolutional Neural Network, CNN)

CNN은 필터링 기법을 인공신경망에 적용함으로써 이미지를 더욱 효과적으로 처리하기 위해 (LeCun et al., 1989)에서 처음 소개되었으며, 이후에 (LeCun et al., 1998)에서 현재 딥 러닝에서 이용되고 있는 형태의 CNN이 제안되었다. 기존의 필터링 기법은 그림 1과 같이 고정된 필터를 이용하여 이미지를 처리했다. CNN의 기본 개념은 "행렬로 표현된 필터의 각 요소가 데이터 처리에 적합하도록 자동으로 학습되게 하자"는 것이다. 예를 들어, 이미지를 분류 알고리즘을 개발하고자 할 때 우리는 필터링 기법을 이용하여 분류 정확도 향상시킬 수 있을 것이다. 그러나 한 가지 문제점은 사람의 직관이나 반복적인 실험을 통해 알고리즘에 이용될 필터를 결정해야 한다는 것이다. 이러한 상황에서 CNN을 이용한다면, 알고리즘은 이미지 분류 정확도를 최대화하는 필터를 자동으로 학습할 수 있다. 일반적인 인공신경망은 affine으로 명시된 fully-connected 연산과 ReLU와 같은 비선형 활성 함수 (nonlinear activation function)의 합성으로 정의된 계층을 여러 층 쌓은 구조이다.

CNN은 도 9와 같이 콘볼루션 레이어(convolutional layer)과 풀링 계층 (pooling layer)이라고 하는 새로운 층을 fully-connected 계층 이전에 추가함으로써 원본 이미지에 필터링 기법을 적용한 뒤에 필터링된 이미에 대해 분류 연산이 수행되도록 구성된다.

본 발명에 따른 장치(300)는 입력 기반 예측 기술로서 사용자의 건강 상태 예측을 위해 손톱 영역으로부터 추출된 정보들을 입력 값으로 하여 기계학습 알고리즘을 이용하여 사용자의 건강 상태를 예측한다. 도 9에서 기술한 평가 지표로는 손톱의 색상, 손톱의 윤기, 손톱의 굴곡 패턴들이 될 수 있다. 프로세서(330)는 기계학습 모델에서 손톱의 색상, 손톱의 윤기, 손톱의 굴곡 패턴에 대응하는 데이터를 입력 레이어(input layer)에 입력한다. 프로세서(330)는 필터 레이어, 컨볼루션 레이어 등을 거쳐 CNN 분류기를 통해 사용자의 건강 상태를 step으로 출력할 수 있다. 예를 들어, 프로세서(330)는 사용자의 건강 상태로서 심장병 위험도(Heart risk state)를 0 ~ 5 중에서 어느 하나로 출력 레이어(output layer)에서 출력할 수 있다.

도 10은 CNN 분류기를 통해 사용자의 건강 상태를 step으로 출력하는 것을 설명하기 위한 예시적인 도면이다.

도 10을 참조하면, 프로세서(330)은 기계 학습 모델의 입력값들에 기초하여 소정의 학습된 알고리즘을 통해 사용자의 건강 상태 지표 (건강 위험 가능성 지표)로서 울혈성 심부전(Congestive heart failure)에 대한 지표, 간질환(Liver disease)에 대한 지표, 영양 불량(Malnutrition)에 대한 지표, 비타민 부족 가능성에 대한 지표 등를 step 으로 표시하여 출력할 수 있다.

도 11은 본 발명에 따른 사용자의 건강 상태 측정(예측)을 수행하기 위한 프로세서를 흐름도로 예시한 도면이다.

도 11을 참조하면, 촬영부(310)는 사용자의 손톱 영역을 포함하는 손 말단 부를 촬영한다(S1110). 촬영부(310)에 의해 촬영된 이미지는 데이터 베이스에 저장된 이후 이미지 처리부(320)에 의해 이미지 처리 과정을 거치게 된다(S1120).

이미지 처리부(320)는 촬영된 이미지에서 사용자의 건강 상태 분석을 위해 유의미한 영역만을 추출하는 과정을 수행한다(S1120). 이미지 처리부(320)는 비지도 학습을 통해 각 이미지를 구분화 한 이후 평가에 필요한 부분만을 선정해 다시 이미지화 시킨다. 즉, 이미지 처리부(320)는 비지도 학습을 통해 촬영된 이미지 영역을 구분하여 처리할 수 있다(S1130). 예를 들어, 이미지 처리부(320)는 촬영된 이미지에서 사용자의 건강 상태 측정에 필요한 영역(손톱 영역)과 아닌 영역을 구분하여 처리한다.

이미지 처리부(320)는 손톱 영역만을 특정하여 추출하고, 추출된 정보로부터 손톱의 색상, 굴곡 패턴, 윤기에 해당하는 데이터를 생성하되, 기계 학습 모델에 입력값을 사용하기에 적합한 형태의 데이터로 생성한다(S1140). 즉, 이미지 처리부(320)는 추출된 영역을 바탕으로 손톱의 색상, 윤기, 굴곡 패턴을 추출하여 입력에 적합한 테이블화된 데이터를 생성한다(S1140).

프로세서(330)는 생성된 입력값을 기계 학습 알고리즘(인공 신경망 알고리즘)을 이용한 분석을 통해 사용자의 건강 상태 지표를 생성한다(S1150). 프로세서(330)는 생성된 건강 상태에 대한 지표에 기초하여 사용자의 건강 상태를 측정 혹은 예측하여 건강 상태에 대한 정보를 출력할 수 있다(S1160). 혹은, 프로세서(330)는 생성된 건강 상태에 대한 지표를 기저장된 건강 상태 지표와 비교하여 사용자의 건강 상태에 대한 결과를 출력할 수도 있다(S1160). 프로세서(330)는 표시부(340)가 사용자의 건강 상태에 대한 결과를 디스플레이 등을 통해 표시하도록 제어할 수 있다. 표시부(340)는 사용자의 건강 상태에 대한 결과를 사용자가 확인할 수 있도록 표시할 수 있다(S1170).

도 12는 기계 학습 알고리즘을 이용하여 본 발명에 따른 사용자의 건강 상태 측정(혹은 예측)을 위해 촬영된 사용자의 손톱 영역에 대한 정보에 대해 훈련(training) 시키고 및 테스팅(testing) 하는 프로시저를 설명하기 위한 예시적인 도면이다.

도 12의 위 측에 도시된 도면을 참조하여 사용자의 건강 상태를 측정 혹은 예측하기 위한 기계 학습 모델을 훈련시키는 과정에 대해 설명한다.

소정의 사용자들의 손 말단 부에 대해 촬영한 이미지들을 훈련 데이터세트(training dataset)로 정한다. 그리고, 이미지 처리부(320)는 손톱 영역을 추출하고, 추출된 손톱 영역의 이미지로부터 손톱의 색상, 윤기, 굴곡 패턴에 대한 사항도 추출한다. 이미지 처리부(320)는 손톱의 색상, 윤기, 굴곡 패턴에 대응하는 데이터들을 생성하되, 기계학습 모델의 입력으로 적합한 형태의 데이터로 생성하다. 프로세서(320)는 이미지 처리부(320)가 생성한 데이터들을 입력으로 하여 사용자의 건강 상태 지표를 출력하도록 훈련하는 과정을 반복적으로 수행한다. 이러한 훈련 과정을 반복하여 라벨을 갖는 데이터베이스 특징값들을 저장할 수 있다.

도 12의 아래 측에 도시된 도면을 참조하면, 프로세서(320)는 사용자의 손톱의 색상, 윤기, 굴곡 패턴에 대해 생성된 데이터들을 입력값으로 하여 소정의 학습된 기계학습 모델을 이용하여 사용자의 건강 상태 지표를 생성하고, 사용자의 건강 상태를 측정 혹은 예측할 수 있다.

이상에서 설명한 바와 같이, 기계 학습 모델을 사용하여 사용자의 건강 상태를 측정 혹은 예측하기 위한 장치 및 그 방법에 대해 제안하였다.

이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.

프로세서(330)는 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다. 한편, 프로세서(320)는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다. 하드웨어를 이용하여 본 발명의 실시예를 구현하는 경우에는, 본 발명을 수행하도록 구성된 ASICs(application specific integrated circuits) 또는 DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays) 등이 프로세서(330)에 구비될 수 있다.

본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

사용자의 손톱을 포함하는 손 말단을 촬영하는 촬영부;
촬영된 이미지로부터 상기 사용자의 손톱 영역의 이미지를 추출하고,
상기 추출된 손톱 이미지로부터 상기 손톱의 색상에 관한 정보, 상기 손톱의 굴곡 패턴에 관한 정보 및 상기 손톱의 윤기에 관한 정보를 추출하고,
상기 손톱의 색상에 관한 정보에 대응하는 제 1 데이터, 상기 손톱의 굴곡 패턴에 관한 정보에 대응하는 제 2 데이터 및 상기 손톱의 윤기에 관한 정보에 대응하는 제 3 데이터를 생성하는 이미지 처리부; 및
상기 제 1 데이터, 상기 제 2 데이터 및 상기 제 3 데이터를 학습된 소정의 기계 학습 모델에 입력하여 출력 데이터를 생성하고,
상기 생성된 출력 데이터에 기초하여 상기 사용자의 건강 컨디션을 측정하는 프로세서를 포함하는, 사용자의 건강 상태 측정 장치.
제 1항에 있어서,
상기 이미지 처리부는 상기 촬영된 이미지를 상기 사용자의 건강 측정에 사용될 수 있는 영역과 아닌 영역을 구분하여 처리하되,
상기 추출된 손톱 이미지는 상기 사용자의 건강 측정에 사용될 수 있는 영역에 해당하는, 사용자의 건강 상태 측정 장치.
제 2항에 있어서,
상기 생성된 출력 데이터는 상기 사용자의 영양 상태 레벨에 대한 정보를 포함하는, 사용자의 건강 상태 측정 장치.
제 3항에 있어서,
상기 소정의 기계 학습 모델은 CNN(Convolutional Neural Network) 분류기를 이용하여 상기 사용자의 영양 상태를 상기 영양 상태 레벨로 출력하도록 구성되는, 사용자 건강 측정 장치.
제 2항에 있어서,
상기 이미지 처리부는 상기 촬영된 이미지에서 상기 사용자의 손 말단이 아닌 배경은 구분하여 처리하는, 사용자의 건강 상태 측정 장치.
제 3항에 있어서,
상기 생성된 출력 데이터는 상기 사용자의 특정 질병 위험 레벨에 대한 정보를 더 포함하는, 사용자의 건강 상태 측정 장치.
제 6항에 있어서,
상기 생성된 출력 데이터는 상기 사용자의 비타민 부족 레벨에 대한 정보를 더 포함하는, 사용자의 건강 상태 측정 장치.
제 1항에 있어서,
상기 손톱의 굴곡 패턴에 관한 정보는 손톱에서의 세로줄들의 패턴에 대한 정보 및 상기 손톱에서의 세로줄들의 간격 정보를 포함하는, 사용자의 건강 상태 측정 장치.
제 8항에 있어서,
상기 이미지 처리부는 상기 손톱에서의 세로줄들의 패턴 및 상기 손톱에서의 세로줄들의 간격을 추출하는, 사용자의 건강 상태 측정 장치.
제 9항에 있어서,
상기 이미지 처리부는 상기 제 2 데이터를 상기 추출된 세로줄들의 패턴 및 상기 손톱에서의 세로줄들의 간격에 기초하여 생성하는, 사용자의 건강 상태 측정 장치.
제 1항에 있어서,
상기 손톱의 윤기에 관한 정보는 상기 촬영된 이미지에서 상기 손톱의 큐티클(cuticle) 층에 기초한 것인, 사용자의 건강 상태 측정 장치.
사용자의 손톱을 포함하는 손 말단을 촬영하는 단계;
촬영된 이미지로부터 상기 사용자의 손톱 영역의 이미지를 추출하는 단계;
상기 추출된 손톱 이미지로부터 상기 손톱의 색상에 관한 정보, 상기 손톱의 굴곡 패턴에 관한 정보 및 상기 손톱의 윤기에 관한 정보를 추출하는 단계;
상기 손톱의 색상에 관한 정보에 대응하는 제 1 데이터, 상기 손톱의 굴곡 패턴에 관한 정보에 대응하는 제 2 데이터 및 상기 손톱의 윤기에 관한 정보에 대응하는 제 3 데이터를 생성하는 단계;
상기 제 1 데이터, 상기 제 2 데이터 및 상기 제 3 데이터를 학습된 소정의 기계 학습 모델에 입력하여 출력 데이터를 생성하는 단계; 및
상기 생성된 출력 데이터에 기초하여 상기 사용자의 건강 컨디션을 측정하는 단계를 포함하는, 사용자의 건강 상태 측정 방법.
제 12항에 있어서,
상기 손톱 영역의 이미지를 추출하는 단계는 상기 촬영된 이미지를 상기 사용자의 건강 측정에 사용될 수 있는 영역과 아닌 영역을 구분하여 처리하는 단계를 포함하고,
상기 추출된 손톱 이미지는 상기 사용자의 건강 측정에 사용될 수 있는 영역에 해당하는, 사용자의 건강 상태 측정 방법.
제 12항에 있어서,
상기 생성된 출력 데이터는 상기 사용자의 영양 상태 레벨에 대한 정보를 포함하는, 사용자의 건강 상태 측정 방법.
제 14항에 있어서,
상기 소정의 기계 학습 모델은 CNN(Convolutional Neural Network) 분류기를 이용하여 상기 사용자의 영양 상태를 상기 영양 상태 레벨로 출력하도록 구성된, 사용자의 건강 상태 측정 방법.
제 13항에 있어서,
상기 손톱 영역의 이미지를 추출하는 단계는 상기 촬영된 이미지에서 상기 사용자의 손 말단이 아닌 배경은 구분하여 처리하는 단계를 더 포함하는, 사용자의 건강 상태 측정 방법.
제 14항에 있어서,
상기 생성된 출력 데이터는 상기 사용자의 특정 질병 위험 레벨에 대한 정보를 더 포함하는, 사용자의 건강 상태 측정 방법.
제 17항에 있어서,
상기 생성된 출력 데이터는 상기 사용자의 비타민 부족 레벨에 대한 정보를 더 포함하는, 사용자의 건강 상태 측정 방법.
제 12항에 있어서,
상기 손톱의 윤기에 관한 정보는 상기 촬영된 이미지에서 상기 손톱의 큐티클(cuticle) 층에 기초한 것인, 사용자의 건강 상태 측정 방법.
제 12항에 있어서,
상기 손톱의 굴곡 패턴에 관한 정보는 손톱에서의 세로줄들의 패턴에 대한 정보 및 상기 손톱에서의 세로줄들의 간격 정보를 포함하는, 사용자의 건강 상태 측정 방법.
제 20항에 있어서,
상기 손톱의 굴곡 패턴에 관한 정보를 추출하는 단계는 상기 손톱에서의 세로줄들의 패턴 및 상기 손톱에서의 세로줄들의 간격을 추출하는 단계를 포함하는, 사용자의 건강 상태 측정 방법.
제 21항에 있어서,
상기 제 2 데이터를 생성하는 단계는 상기 제 2 데이터를 상기 추출된 세로줄들의 패턴 및 상기 손톱에서의 세로줄들의 간격에 기초하여 생성하는 단계를 포함하는, 사용자의 건강 상태 측정 방법.
제 12항 내지 제 22항 중 어느 한 항에 기재된 사용자의 건강 상태 측정 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.