KR20230102720A - 구강 이미지 학습 및 분류 장치 및 방법 - Google Patents

Abstract

구강 이미지 학습 및 분류 장치 및 방법에 관한 것으로, 사용자가 직접 촬영한 구강 사진을 제공하고, 상기 구강 사진이 구강 내부의 이미지를 포함하는 구강 이미지인지를 판정한 판정정보를 안내하는 사용자 단말 및 상기 사용자 단말로부터 제공되는 구강 사진을 수집하고, 수집된 구강 사진을 CNN 알고리즘으로 학습하여으로 분석하여 해당 구강 사진이 구강 이미지인지 여부를 판정해서 상기 판정 정보를 상기 사용자 단말에 제공하는 분석서버를 포함하는 구성을 마련하여, 사용자가 구강 사진을 업로드하면, 기계학습 알고리즘을 이용해서 구강 사진을 실시간 분석하여 해당 구강 사진에 구강 내부의 이미지가 포함된 구강 이미지인지를 정확하게 판정할 수 있다.

Description

구강 이미지 학습 및 분류 장치 및 방법{METHOD FOR ORAL IMAGE TRAINING AND CLASSIFICATION AND APPARATUS FOR EXECUTING THE SAME}

본 발명은 구강 이미지 학습 및 분류 방법에 관한 것으로, 더욱 상세하게는 구강 및 구강이 아닌 종류와 관련된 훈련 이미지를 기반으로 하는 이미지 분류 모델을 훈련하고, 업로드되는 이미지를 분류하는 구강 이미지 학습 및 분류 장치 및 방법에 관한 것이다.

구강 질환은 적절한 예방 치료 및 꾸준한 관리를 통해서 높은 예방 효과를 얻을 수 있으나, 많은 구강 질환 환자들은 구강 건강에 문제가 발생하지 않으면 의사에게 진단을 받거나 치료를 의뢰하지 않는 등 아직까지는 구강 예방에 대해 인식이 부족한 실정이다.

구강 질환은 기타 질병과는 다르게 그 예방법이 매우 중요하고, 스케일링과 같은 간단한 시술로도 치주질환을 예방할 수 있으며, 부정교합이 예측되는 어린이에게 간단한 예방적 치료를 시행하면, 성장기 이후 교정치료를 받지 않아도 되어 구강 건강 관리뿐 아니라, 비용적 편익도 매우 크다.

환자의 현재 구강 상태를 예측함에 있어 치과 의사나 치위생사의 주관적 견해가 아닌, 정확한 검사 및 진단 결과와 그에 따른 객관적 수치 정보가 필요하지만 구강의 건강 상태를 객관적으로 산출하는 시스템이 부재한 상황이다.

구강의 2대 질환은 충치(치아우식)와 치주질환이다.

특히, 치주염과 치은염을 포함하는 치주질환은 초기에는 동통도 없고 만성적으로 진행하기 때문에 발견이 늦어져, 치주질환을 사전에 예방하는 것은 매우 어려운 상황이다.

따라서 이러한 구강 질환의 상태를 사전에 진단하고, 이를 기반으로 구강건강 증진 및 구강질환 예방을 위한 다양한 방법들이 연구 및 제안되고 있다.

예를 들어, 하기의 특허문헌 1 내지 특허문헌 3에는 종래기술에 따른 구강건강 증진 및 구강질환 예방 기술이 개시되어 있다.

특허문헌 1은 사용자 단말기로부터 사용자의 성별, 나이, 치주질환 및 목표 설정 정보 중 적어도 하나에 대한 정보를 포함하는 사용자 조건 정보와 사용자의 가맹 의료기관에서의 치료 정보를 입력받는다. 아울러 구강 관리 용품 가맹점으로부터 구강 관리 용품에 대한 정보를 입력받는다. 이후, 사용자의 조건 정보 및 치료 정보에 대응하는 특정 카테고리에 포함되는 특정 구강 관리 용품의 정보를 사용자 단말기에 제공하여, 사용자 맞춤형 구강 관리 서비스를 제공한다.

특허문헌 2는 환자의 구강 상태를 검진하고, 환자의 구강 검진 자료를 포함하는 구강 검진 지수 산정 기준 데이터, 거주 지역 및 연령 정보를 빅데이터화한 후, 이를 분석하여 현재 시점에서 환자의 거주 지역 및 연령에 따라 구강 검진 지수 산정 기준 데이터가 구강 건강에 미치는 영향력을 판단한다. 이어, 구강 검진 지수 산정 기준데이터에 가중치를 부여하여 구강 검진 지수 산정을 위한 기준 데이터를 수치화하여 구강 건강을 관리한다.

특허문헌 3은 사용자의 개인정보, 사용자의 구강 위생 행동 데이터 및 구강 문진 데이터, 사용자가 전문 의료기관을 방문하여 생성된 구강검진 데이터를 수집한다. 이렇게 수집한 각각의 정보들을 통합 분석하여 사용자의 구강질환 위험도를 평가하고, 개인별 맞춤 서비스를 제공한다.

한편, 종래기술에 따른 구강 검진 장치는 구강 분석을 위해, 사용자가 촬영한 모든 이미지를 수락함에 따라, 잘못된 구강 검진 결과로 이어질 수 있다.

따라서 추가 분석을 진행하기 전에 사용자가 촬영한 사진이 구강 관련 사진인지를 확인하고, 구강 관련 사진만을 촬영하도록 안내할 수 있는 기술의 개발이 요구되고 있다.

대한민국 특허 대한민국 공개특허 10-2017-0050467호(2017년 5월 11일 공개) 대한민국 등록특허 10-1868979호(2018년 7월 23일 공고) 대한민국 등록특허 10-1788030호(2017년 11월 15일 공고)

본 발명의 목적은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 사용자가 구강을 촬영한 이미지를 업-로드하면, 기계학습 알고리즘을 이용한 이미지 분석을 통해 구강 관련 이미지인지를 판정하고, 판정 결과를 안내할 수 있는 구강 이미지 학습 및 분류 장치 및 방법를 제공하는 것이다.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 구강 이미지 학습 및 분류 장치는 사용자가 직접 촬영한 구강 사진을 제공하고, 상기 구강 사진이 구강 내부의 이미지를 포함하는 구강 이미지인지를 판정한 판정정보를 안내하는 사용자 단말 및 상기 사용자 단말로부터 제공되는 구강 사진을 수집하고, 수집된 구강 사진을 CNN 알고리즘으로 학습하여으로 분석하여 해당 구강 사진이 구강 이미지인지 여부를 판정해서 상기 판정 정보를 상기 사용자 단말에 제공하는 분석서버를 포함하는 것을 특징으로 한다.

또한, 상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 구강 이미지 학습 및 분류 방법은 (a) 분석서버에서 사용자 단말을 이용하여 촬영된 구강 사진을 수집하는 단계, (b) 수집된 구강 사진을 전처리해서 훈련 및 테스트 데이터로 분할하는 단계, (c) 분할된 훈련 데이터를 이용해서 분류 모델을 설계하는 단계, (d) 분할된 테스트 데이터를 이용해서 설계된 상기 분류 모델의 성능을 테스트 및 평가하는 단계 및 (e) 상기 테스트 및 평가가 수행된 분석 모델을 이용해서 수집된 구강 사진이 구강 이미지인지 여부를 판정하는 단계를 포함하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 구강 이미지 학습 및 분류 장치 및 방법에 의하면, 사용자가 구강 사진을 업로드하면, 기계학습 알고리즘을 이용해서 구강 사진을 실시간 분석하여 해당 구강 사진에 구강 내부의 이미지가 포함된 구강 이미지인지를 정확하게 판정할 수 있다는 효과가 얻어진다.

이에 따라, 본 발명에 의하면, 구강 사진을 이용해서 구강건강 상태를 판정하기 위한 추가 분석을 진행하기 이전에 촬영된 구강 사진이 구강 이미지인지를 판정해서 판정 정보를 안내할 수 있으며, 추가 분석시 구강 이미지를 제공할 수 있다는 효과가 얻어진다.

도 1은 본 발명의 바람직한 실시 예에 따른 구강 이미지 학습 및 분류 장치의 구성도,
도 2는 본 발명의 바람직한 실시 예에 따른 구강 이미지 학습 및 분류 방법을 단계별로 설명하는 흐름도,
도 3은 CNN 알고리즘에서 입력된 구강 사진을 분석해서 분류하는 과정을 설명하는 도면,
도 4는 필터를 이용해서 입력된 이미지를 컨볼류션하고 특징을 추출하는 과정을 설명하는 도면,
도 5는 1차원 벡터로 변환된 레이어를 하나의 벡터로 연결해서 구강 이미지와 비구강 이미지를 분류하는 과정을 설명하는 도면,
도 6은 구강 이미지의 존재 여부를 인식하기 위한 분류 모델을 보인 도면,
도 7은 분류 모델을 이용해서 입력 이미지를 판정하는 과정을 보인 도면.

이하 본 발명의 바람직한 실시 예에 따른 구강 이미지 학습 및 분류 장치 및 방법를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 바람직한 실시 예에 따른 구강 이미지 학습 및 분류 장치의 구성도이다.

본 발명의 바람직한 실시 예에 따른 구강 이미지 학습 및 분류 장치(10)는 도 1에 도시된 바와 같이, 사용자 단말(20)과 분석서버(30)를 포함한다.

사용자 단말(20)과 분석서버(30)는 다양한 유무선 네트워크로 연결되고, 실시간성을 갖는 통신 인터페이스가 이루어질 수 있다.

사용자 단말(20)은 구강건강 상태를 확인해보고자 하는 사용자가 사용하는 단말로서, 사용자의 구강 사진을 촬영해서 제공할 수 있다.

여기서, 사용자는 사용자 단말(20)을 이용하여 사용자 개인 정보, 문진 데이터와 일반 데이터 등을 제공할 수 있다.

사용자는 사용자 단말(20)을 통해 분석서버(30)에서 구강 이미지 또는 비구강 이미지로 판정한 결과에 대응되는 판정 정보를 수신하고, 이를 통해 자신이 촬영한 사진이 구강 이미지인지 비구강 이미지인지를 확인할 수 있다. 그래서 사용자는 비구강 이미지로 판정되면, 다시 구강 사진를 촬영해서 제공할 수 있다.

이러한 사용자 단말(20)은 스마트폰 및 스마트 패드와 같은 모바일 기기, 통신이 가능한 데스크탑 컴퓨터 및 랩탑 컴퓨터 등으로 구현될 수 있으며, 본 실시 예에서는 스마트폰으로 구현된 것으로 가정한다.

분석서버(30)는 사용자 단말(20)로부터 제공되는 구강 사진을 수집하고, 수집된 구강 사진을 기계학습 알고리즘(CNN, DNN, 기타)으로 분석하여 해당 구강 사진이 구강 내부가 포함된 구강 이미지인지 여부를 판정하는 기능을 한다.

이러한 분석서버(30)는 수집된 구강 사진의 분석을 통해 해당 구강 사진이 구강 이미지인지 비구강 이미지인지를 판정하고, 판정 정보를 사용자 단말(20)로 제공할 수 있다.

이를 위해, 분석서버(30)는 사용자 단말(20)로부터 촬영된 구강 사진을 수집하는 데이터 수집부(31), 수집된 구강 사진을 CNN(Convolutional Neural Network) 알고리즘으로 학습하고 분석하는 데이터 분석부(32), 분석된 결과에 기초해서 구강 내부의 이미지가 포함된 구강 이미지와 비구강 이미지를 분류해서 판정하는 이미지 판정부(33) 및 판정된 결과를 판정 정보로 사용자 단말(20)에 전송하는 판정 정보 제공부(34)를 포함할 수 있다.

즉, 본 실시 예에서 분석서버(30)는 이미지 분류 모델을 훈련하고 구강 이미지와 비구강 이미지를 분류할 수 있다.

이와 같은 분류 모델을 훈련시키기 위해, 분석서버(30)의 데이터 수집부(31)는 구강 내부가 포함된 구강 이미지와 비구강 이미지에 관련된 엄청난 양의 이미지 데이터를 수집한다.

데이터 분석부(32)는 텐서플로(Tensorflow) 및 케라스(Keras)와 같은 파이썬(Python) 기반 라이브러리를 사용하여 CNN 모델을 설계한다. 이를 위해, 데이터 분석부(32)는 수집된 구강 사진을 전처리해서 훈련 및 테스트 데이터로 무작위로 분할한다.

그리고 데이터 분석부(32)는 분할된 훈련 데이터를 사용하여 설계된 분류 모델이 최상의 성능을 제공하는지 확인하기 위해, 분할된 테스트 데이터를 사용하여 분류 모델을 테스트 및 평가한다.

평가 결과를 통해 분류 모델의 성능이 최적화되면, 최적화된 분류 모델은 저장되고, 이미지 판정부(33)는 최적화된 분류 모델을 이용해서 무작위의 알 수 없는 입력 이미지들을 분류하고 제작할 수 있다.

도 2는 본 발명의 바람직한 실시 예에 따른 구강 이미지 학습 및 분류 방법을 단계별로 설명하는 흐름도이다.

본 발명의 바람직한 실시 예에 따른 구강 이미지 학습 및 분류 방법은 (a) 분석서버)에서 사용자 단말을 이용하여 촬영된 구강 사진을 수집하는 단계, (b) 수집된 구강 사진을 전처리해서 훈련 및 테스트 데이터로 분할하는 단계, (c) 분할된 훈련 데이터를 이용해서 분류 모델을 설계하는 단계, (d) 분할된 테스트 데이터를 이용해서 설계된 상기 분류 모델의 성능을 테스트 및 평가하는 단계 및 (e) 상기 테스트 및 평가가 수행된 분석 모델을 이용해서 수집된 구강 사진이 구강 이미지인지 여부를 판정하는 단계를 포함한다.

그리고 본 발명의 바람직한 실시 예에 따른 구강 이미지 학습 및 분류 방법은 (f) 상기 (e)단계에서 판정된 판정 정보를 사용자 단말로 전송하는 단계를 더 포함할 수 있다.

먼저, 사용자는 자신의 구강건강 상태를 확인하고 관리하기 위해, 구강건강 관리 애플리케이션을 다운로드받아 사용자 단말(20)에 저장한다.

이어서, 사용자는 구강건강 상태를 확인하기 위해, 상기 구강건강 관리 애플리케이션을 실행하고, 구강 사진, 개인 정보 등을 제공하면서 구강건강 진단을 요청할 수 있다. 여기서, 필요에 따라 구강건강 진단을 위한 문진 데이터를 작성하여 제공할 수 있다. 문진 데이터는 문진표로서, 체크 형식으로 이루어질 수 있다. 문진표에는 교정 여부를 확인하기 위한 항목을 포함할 수 있다.

구강 사진은 구강 전체를 촬영한 사진이 바람직하며, 구강의 일부만을 촬영한 사진을 이용할 수도 있다.

또한, 상기 구강 사진은 구강 내부가 포함된 구강 이미지이거나, 구강 내부가 포함되지 않은 비구강 이미지일 수도 있다.

이에 따라, 분석서버(30)는 구강 사진의 추가 분석을 진행해서 구강건강 상태를 확인하기 이전에, 수집된 구강 사진이 구강 이미지인지 또는 비구강 이미지인지를 판정한다.

상세하게 설명하면, S10단계에서 사용자 단말(20)은 사용자의 조작에 따라 구강 사진을 촬영하고, 촬영된 구강 사진을 분석 서버(30)로 업로드한다.

그러면, 분석 서버(30)의 데이터 수집부(31)는 사용자 단말(20)로부터 수신된 구강 사진을 수집한다.

이에 따라, 데이터 분석부(32)는 수집된 구강 사진을 CNN(Convolutional Neural Network) 알고리즘으로 학습하여 수집된 구강 사진이 구강 이미지인지를 판정한다.

딥 러닝(deep learning)은 인간의 뇌 구조에서 영감을 받아 그 활동을 모방하는 일련의 알고리즘으로 구성된 머신 러닝의 한 분야이다.

상기 CNN은 컨볼루션 연산을 사용하여 변환을 수행하는 딥 러닝 기법이다.

이러한 CNN은 컨볼루션 레이어(Convolution Layer), 풀링 레이어(Pooling Layer) 및 완전 연결 레이어(Fully-Connected Layer)를 기본 레이어로 포함할 수 있다. 그리고 CNN 모델의 심층 구조에는 전체 모델 성능을 향상시키는 활성화 레이어, 표준화 레이어 및 드롭 아웃(Drop-Out) 레이어가 포함된다.

본 실시 예에서는 분류 모델의 훈련을 목적으로, 각 라벨의 많은 양의 훈련 이미지를 포함하는 구강 및 비구강 라벨/클래스와 관련된 이미지를 훈련시키는 모델/알고리즘을 개발한다. 이는 구강 및 비구강 이미지에 존재하는 다양한 특징을 학습하고 추출하는 CNN(Convolutional Neural Network)을 통해 이루어진다.

상기 CNN 알고리즘의 개발은 시간이 많이 걸리고 엄청난 양의 데이터가 필요하지나, 한 번 개발되면 프로세스가 자동화되고 빨라진다.

또한, 이 접근 방식은 개발된 솔루션을 분석서버(30)에서 검색하여 사용자 단말(20)에 대한 즉각적인 응답을 생성할 수 있다.

사용자가 구강 사진을 촬영해서 업로드하면, 분류 모델은 분석서버(30)에서 캡처한 이미지를 분석하여, 촬영한 구강 사진이 구강 또는 비구강 이미지로 판정해서 사용자에게 알려줄 수 있다.

분류 모델은 구강 사진이 구강 이미지인 경우, 추가 분석을 위해 해당 구강 사진을 승인한다.

반면, 분류 모델은 구강 사진이 비구강 이미지인 경우 사용자에게 구강 이미지가 아니라고 안내함에 따라, 사용자는 다시 구강 이미지를 촬영해서 업로드할 수 있다.

도 3은 CNN 알고리즘에서 입력된 구강 사진을 분석해서 분류하는 과정을 설명하는 도면이고, 도 4는 필터를 이용해서 입력된 이미지를 컨볼류션하고 특징을 추출하는 과정을 설명하는 도면이며, 도 5는 1차원 벡터로 변환된 레이어를 하나의 벡터로 연결해서 구강 이미지와 비구강 이미지를 분류하는 과정을 설명하는 도면이다.

도 3에는 구강 이미지와 비구강 이미지를 포함하는 다수의 구강 사진에 대해 CNN 알고리즘에서 컨볼루션 레이어와 풀링 레이어를 다수 거친 후, 완전 연결 레이어를 통해 최종적으로 판정 결과를 도출하는 과정이 예시되어 있다.

도 4에는 입력 이미지, 즉 구강 사진과 필터를 합성곱하여 컨볼루션한 결과에 대해 맥스 풀링 및 평균 풀링하는 과정이 예시되어 있다.

도 5에는 플래튼(flatten)에 의해 1차원 벡터로 변환된 이전 레이어에서 완전 연결 레이어를 거쳐 구강 이미지와 비구강 이미지로 판정하는 과정이 예시되어 있다.

도 3 내지 도 5에 도시된 바와 같이, 구강 또는 비구강 이미지가 CNN에 입력되어 전송되면, CNN 알고리즘은 다수의 컨볼루션 레이어와 풀링 레이어를 통과한 후 완전 연결 레이어를 통해 이미지 인식 결과, 즉 구강 이미지인지를 판정한 정정 정보를 출력한다.

CNN 모델을 구축하고 입력 크기 및 출력 클래스를 맞춤화하기 위해 시스템 GPU를 완전히 활용할 수 있도록, 상기한 텐서플로 및 케라스와 같은 파이썬 패키지를 사용할 수 있다. 이와 같이, 시스템 GPU를 사용하면, 훈련 속도를 높이고 훈련 시간을 단축할 수 있다.

한편, 사용자가 구강 이미지만을 촬영하도록 안내하기 위해서는 강력한 CNN 모델을 설계하는 것이 중요하다. 물론, CNN 모델들이 항상 최고의 결과를 보장하는 것은 아니다.

따라서 본 실시 예에서는 성능을 향상시키기 위해 ResNet50과 같은 사전 훈련된 모델을 활용할 수 있으며, CNN 모델이 훈련 단계에서 구강 및 비구강 이미지를 학습하도록 초기 가중치를 더할 수 있다.

이와 같이, 사전 훈련된 모델을 사용하면 예측 정확도를 높이는 동시에 성능 시간을 단축할 수 있으며, 사용자가 구강 사진을 촬영할 때 CNN 알고리즘은 촬영된 사진이 구강 이미지인지를 판정하고, 비구강 이미지인 경우에는 사용자에게 구강 이미지를 다시 촬영하도록 안내 메시지를 전송할 수 있다.

상기한 ResNet50과 같은 사전 훈련된 모델은 전이 학습의 접근 방식을 기반으로 한다.

상기 전이 학습은 완전 연결 레이어를 미세하게 조정하고, 모델을 모든 유형의 작업에 맞게 사용자 정의하여, 사전 훈련된 모델을 활용하는 것을 말한다.

이러한 전이 학습은 기본적으로 어떠한 모델도 새로운 작업의 출발점으로서 사용한다.

상기 ResNet으로 잘 알려진 심층 잔여 네트워크는 스킵 연결 또는 단축 연결로 지시된 핵심 개념을 기반으로 만들어졌으며, 상기한 스킵 연결 또는 단축 연결은 데이터와 그라데이션(gradation)이 실제 네트워크 흐름과 함께 네트워크를 통해 이동할 수 있는 대체 경로를 제공할 수 있다.

상세하게 설명하면, S12단계에서 데이더 분석부(32)는 수집된 구강 사진을 전처리해서 훈련 및 테스트 데이터로 무작위로 분할한다.

S14단계에서 데이터 분석부(32)는 분할된 훈련 데이터를 이용해서 파이썬(Python) 기반 라이브러리를 기반으로 분류 모델을 설계한다.

S16단계에서 데이터 분석부(32)는 설계된 분류 모델이 최상의 성능을 제공하는지 확인하기 위해, 분할된 테스트 데이터를 사용하여 분류 모델을 훈련 및 테스트하고, 훈련 및 테스트 결과를 평가한다.

이와 같은 평가 과정을 통해 분류 모델을 지속적으로 업그레이드 및 튜닝하는 과정을 거처 분류 모델의 성능이 최적화되면, 최적화된 분류 모델은 저장된다.

S18단계에서 이미지 판정부(33)는 최적화된 분류 모델을 이용해서 수집된 구강 사진에 대해 구강 이미지인지 비구강 이미지인지를 판정하고, 판정 정보 제공부(34)는 판정 결과를 사용자 단말로 전송한다(S20).

이때, 비구강 이미지로 판정되면, 사용자 단말(20)은 사용자에게 구강 이미지를 다시 촬영하도록 안내 메시지를 표시할 수 있다.

반면, 구강 이미지로 판정된 경우, 분석서버(30)는 해당 구강 사진으로 구강건강 상태를 확인하기 위한 추가 분석 정보로 제공한다.

도 6은 구강 이미지의 존재 여부를 인식하기 위한 분류 모델을 보인 도면이고, 도 7은 분류 모델을 이용해서 입력 이미지를 판정하는 과정을 보인 도면이다.

구강 및 비구강 이미지로 구성된 구강 사진, 즉 이미지 데이터는 CNN 블록에 입력되어 전송되며, CNN 블록은 훈련 단계에서 구강 사진로부터 다양한 특징을 추출하고 학습한다.

CNN 훈련 중, 컨볼루션 레이어는 입력된 이미지에서 특징 또는 특징 맵을 추출하고, 풀링 레이어는 특징 맵의 크기를 줄이기 위해 비선형 다운 샘플링을 수행하며, 완전 연결 레이어는 최종 컨볼루션 또는 풀링 레이어의 출력 특징 맵을 가져와서 이미지를 분류할 수 있다.

이때, 입력 이미지 대비 출력값의 크기는 도 6에 도시된 바와 같이, 크게 감소함을 명확히 확인할 수 있다.

상기한 사전 훈련된 모델로서 ResNet50은 스킵 연결로 분류 모델을 밀도가 높은 반면, 도 7에 도시된 바와 같이 얕지 않도록 만들어준다. 이러한 스킵 연결은 더 많은 특징을 추출하고 분류 모델의 성능을 향상시키는 데 도움을 줄 수 있다.

따라서 분류 모델은 훈련 및 테스트 과정을 거쳐 최적화되고, 최적화된 분류 모델은 생산 및 향후 사용을 위해, 알 수 없는 이미지들이 테스트되는 장소에 저장된다.

그리고 분류 모델은 모델 전개 API의 일부로, 사용자가 구강 이미지를 촬영하고, 촬영된 구강 사진을 분석서버(30)에 업로드할 수 있도록 한다.

상기한 바와 같은 과정을 통해, 본 발명은 사용자가 구강 사진을 업로드하면, 기계학습 알고리즘을 이용해서 구강 사진을 실시간 분석하여 해당 구강 사진에 구강 내부의 이미지가 포함된 구강 이미지인지를 정확하게 판정할 수 있다.

이에 따라, 본 발명은 구강 사진을 이용해서 구강건강 상태를 판정하기 위한 추가 분석을 진행하기 이전에 촬영된 구강 사진이 구강 이미지인지를 판정해서 판정 정보를 안내할 수 있으며, 추가 분석시 구강 이미지를 제공할 수 있다.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

본 발명은 사용자가 구강 사진을 업로드하면, 기계학습 알고리즘을 이용해서 구강 사진을 실시간 분석하여 해당 구강 사진에 구강 내부의 이미지가 포함된 구강 이미지인지를 정확하게 판정하는 구강 이미지 학습 및 분류 장치 및 방법 기술에 적용된다.

10: 구강 이미지 학습 및 분류 장치
20: 사용자 단말
30: 분석서버
31: 데이터 수집부
32: 데이터 분석부
33: 이미지 판정부
34: 판정 정보 제공부

Claims (5)

1. 구강 사진을 기계학습 알고리즘으로 분석해서 학습하고 분류하는 구강 이미지 학습 및 분류 장치로서,
   사용자가 직접 촬영한 구강 사진을 제공하고, 상기 구강 사진이 구강 내부의 이미지를 포함하는 구강 이미지인지를 판정한 판정정보를 안내하는 사용자 단말 및
   상기 사용자 단말로부터 제공되는 구강 사진을 수집하고, 수집된 구강 사진을 CNN(Convolutional Neural Network) 알고리즘으로 학습하여으로 분석하여 해당 구강 사진이 구강 이미지인지 여부를 판정해서 상기 판정 정보를 상기 사용자 단말에 제공하는 분석서버를 포함하는 것을 특징으로 하는 구강 이미지 학습 및 분류 장치.
2. 제1항에 있어서, 상기 분석서버는
   상기 사용자 단말로부터 촬영된 구강 사진을 수집하는 데이터 수집부,
   수집된 구강 사진을 CNN 알고리즘으로 학습하고 분석하는 데이터 분석부,
   분석된 결과에 기초해서 구강 이미지와 비구강 이미지를 분류해서 판정하는 이미지 판정부 및
   판정된 결과를 상기 판정 정보로 상기 사용자 단말에 전송하는 판정 정보 제공부를 포함하는 것을 특징으로 하는 구강 이미지 학습 및 분류 장치.
3. 제2항에 있어서,
   상기 데이터 분석부는 수집된 구강 사진을 전처리해서 훈련 및 테스트 데이터로 분할하하고, 분할된 훈련 데이터를 이용해서 분류 모델을 설계하며, 상기 분할된 테스트 데이터를 이용해서 설계된 상기 분류 모델의 성능을 테스트 및 평가하고,
   상기 이미지 판정부는 상기 테스트 및 평가가 수행된 분석 모델을 이용해서 수집된 구강 사진이 구강 이미지인지 여부를 판정하는 것을 특징으로 하는 구강 이미지 학습 및 분류 장치.
   
4. 제1항 내지 제3항 중 어느 한 항에 기재된 구강 이미지 학습 및 분류 장치를 이용해서 구강 사진을 기계학습 알고리즘으로 분석해서 학습하고 분류하는 구강 이미지 학습 및 분류 방법으로서,
   (a) 분석서버에서 사용자 단말을 이용하여 촬영된 구강 사진을 수집하는 단계,
   (b) 수집된 구강 사진을 전처리해서 훈련 및 테스트 데이터로 분할하는 단계,
   (c) 분할된 훈련 데이터를 이용해서 분류 모델을 설계하는 단계,
   (d) 분할된 테스트 데이터를 이용해서 설계된 상기 분류 모델의 성능을 테스트 및 평가하는 단계 및
   (e) 상기 테스트 및 평가가 수행된 분석 모델을 이용해서 수집된 구강 사진이 구강 이미지인지 여부를 판정하는 단계를 포함하는 것을 특징으로 하는 구강 이미지 학습 및 분류 방법.
5. 제4항에 있어서,
   (f) 상기 (e)단계에서 판정된 판정 정보를 상기 사용자 단말로 전송하는 단계를 더 포함하고,
   상기 분석서버는 상기 구강 사진이 구강 이미지로 판정되면, 구강건강 상태를 확인하기 위한 추가 분석 정보로 제공하며,
   상기 사용자 단말은 상기 구강 사진이 비구강 이미지로 판정되면, 구강 내부를 다시 촬영하도록 안내 메시지를 표시하는 것을 특징으로 하는 구강 이미지 학습 및 분류 방법.
   

Images