KR102267739B1

KR102267739B1 - 치아 진단 방법 및 이를 수행하기 위한 컴퓨팅 장치

Info

Publication number: KR102267739B1
Application number: KR1020200022149A
Authority: KR
Inventors: 허석모; 양성민; 김용래
Original assignee: 주식회사 딥덴탈스; 전북대학교산학협력단
Priority date: 2020-02-24
Filing date: 2020-02-24
Publication date: 2021-06-22

Abstract

치아 진단 방법 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 개시되는 일 실시예에 따른 치아 진단 방법 및 이를 수행하기 위한 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 사용자의 구강 이미지를 획득하는 단계; 상기 구강 이미지에서 치아 영역을 인식하는 단계; 상기 구강 이미지에서 인식된 각 치아 영역에서 플라그 영역을 검출하는 단계; 및 상기 치아 영역 및 상기 플라그 영역을 기반으로 상기 치아 영역에 대한 각각의 플라그 지수를 산출하는 단계를 포함한다.

Description

치아 진단 방법 및 이를 수행하기 위한 컴퓨팅 장치{METHOD FOR DENTAL DIAGNOSTIC AND COMPUTING DEVICE FOR EXECUTING THE METHOD}

본 발명의 실시예는 치아 진단 기술과 관련된다.

치주질환은 초기에 발견하고 치료하는 것이 핵심이다. 이에 치주질환의 주요 인자인 치태 즉, 치면에 형성되어 있는 플라그의 정도를 정량 혹은 정성적으로 분석하는 일은 구강 질환 예방을 위한 중요한 과정이다. 이러한 플라그 형성 정도를 파악하기 위해서 여러 가지 지수(인덱스)의 기준이 사용되고 있는데, 일반적으로 치태 지수라 불리는 플라그 인덱스(plaque index) 비교표를 사용한다.

이러한 플라그를 확인하고 인덱스를 산출하는 방법은 무색의 치태 플라그가 있는 치면을 프라크 검진액인 착색제(disclosing solution)을 이용하여 착색시키고, 착색된 부위를 직접 체크하여 전체 치면에서 착색된 치면의 개수를 퍼센트로 구한다. 환자에게 착색된 치면을 보여주고 구강위생 교육을 하며, 플라그 인덱스 지수를 알려주어, 매번 치료 후, 개선 혹은 악화 상황을 인식시킨다.

즉, 구강 질환 예방을 위한 이러한 일련의 과정을 모두 치과의사나 보조 인력이 손수 직접하는 방법을 취하고 있다. 따라서, 사용자가 스스로 구강상태를 체크하기 어려우며, 임상의의 주관적인 판단에 의존적이어서 객관성이 결여되는 문제가 있다.

한국공개특허공보 제10-2010-0094160호(2010.08.26.)

본 발명의 실시예들은 사용자가 스마트 기기를 이용하여 치아 플라그 검사를 용이하게 진단할 수 있는 치아 진단 방법 및 이를 수행하기 위한 컴퓨팅 장치를 제공하기 위한 것이다.

본 발명의 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 사용자의 구강 이미지를 획득하는 단계; 상기 구강 이미지에서 치아 영역을 인식하는 단계; 상기 구강 이미지에서 인식된 각 치아 영역에서 플라그 영역을 검출하는 단계; 및 상기 치아 영역 및 상기 플라그 영역을 기반으로 상기 치아 영역에 대한 각각의 플라그 지수를 산출하는 단계를 포함하는 방법이 제공된다.

상기 치아 영역을 인식하는 단계는 상기 구강 이미지에 필터를 통해 컨벌루션을 수행하여 특징 맵 이미지를 생성하는 단계; 상기 특징 맵 이미지에 슬라이딩 윈도우를 적용하여 바운딩 박스를 생성하는 단계; 및 상기 바운딩 박스의 각 픽셀에서 특징 값을 보정하여 각 치아 영역을 설정하는 단계를 포함할 수 있다.

상기 바운딩 박스를 생성하는 단계는 상기 특징 맵 이미지에서 슬라이딩 윈도우가 겹치지 않게 이동하면서 슬라이딩 윈도우가 이동하는 지점마다 서로 다른 크기를 가지는 복수 개의 앵커 박스를 생성하는 단계; 및 상기 복수 개의 앵커 박스에 대하여 기 설정된 바운딩 박스와의 유사성을 비교하여 유사성 점수가 가장 높은 앵커 박스를 상기 바운딩 박스로 결정하는 단계를 포함할 수 있다.

상기 플라그 영역을 검출하는 단계는 상기 구강 이미지에서 인식된 각 치아 영역에 대하여 노이즈를 제거하는 단계; 상기 노이즈가 제거된 구강 이미지의 각 치아 영역에서 플라그의 엣지를 예측하는 단계; 상기 예측된 플라그의 엣지에 대한 유효성을 판단하여 플라그의 엣지를 결정하는 단계; 및 상기 결정된 플라그의 엣지를 기반으로 플라그 영역을 검출하는 단계를 포함할 수 있다.

상기 플라그의 엣지를 예측하는 단계는 상기 각 치아 영역의 각각 픽셀에 대하여 수평방향 및 수직방향으로 각 방향의 변화도를 산출하여 각 방향의 변화도에 따라 상기 플라그의 엣지를 예측할 수 있다.

상기 플라그의 엣지를 결정하는 단계는 상기 예측된 플라그의 엣지의 픽셀 값이 제1 임계 값 이상이면 상기 플라그의 엣지로 결정하는 단계; 상기 예측된 플라그의 엣지의 픽셀 값이 상기 제1 임계 값과 제2 임계 값 사이이면 플라그의 후보 엣지로 선정하는 단계; 및 상기 플라그의 후보 엣지가 상기 결정된 플라그의 엣지와 연결된 경우에만 상기 플라그의 엣지로 결정하는 단계를 포함하며, 상기 제1 임계 값은 상기 제2 임계 값보다 클 수 있다.

상기 플라그 지수를 산출하는 단계는 상기 구강 이미지의 치아 영역으로 설정된 픽셀의 수에 대하여 상기 플라그 영역을 포함하는 픽셀의 수의 비율에 따라 플라그 지수를 산출할 수 있다.

본 발명의 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 사용자의 구강 이미지를 획득하는 단계; 상기 구강 이미지에서 치아 영역을 인식하는 단계; 상기 구강 이미지에서 인식된 각 치아 영역에서 상기 치아 영역의 각 픽셀의 RGB 값을 획득하는 단계; 상기 획득한 각 픽셀의 RGB 값이 기 설정된 기준 이상인 픽셀을 추출하여 플라그 영역을 검출하는 단계; 및 상기 치아 영역 및 상기 플라그 영역을 기반으로 상기 치아 영역에 대한 각각의 플라그 지수를 산출하는 단계를 포함하는 방법이 제공된다.

본 발명의 또 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 사용자의 구강 이미지를 획득하는 통신 모듈; 상기 구강 이미지에서 치아 영역을 인식하는 치아 인식 모듈; 상기 구강 이미지에서 인식된 각 치아 영역에서 플라그 영역을 검출하는 플라그 검출 모듈; 및 상기 치아 영역 및 상기 플라그 영역을 기반으로 상기 치아 영역에 대한 각각의 플라그 지수를 산출하는 치아 진단 모듈을 포함하는 컴퓨팅 장치가 제공된다.

상기 치아 인식 모듈은 상기 구강 이미지에 필터를 통해 컨벌루션을 수행하여 특징 맵 이미지를 생성하는 특징 맵 이미지 생성부; 상기 특징 맵 이미지에 슬라이딩 윈도우를 적용하여 바운딩 박스를 생성하는 바운딩 박스 생성부; 및 상기 바운딩 박스의 각 픽셀에서 특징 값을 보정하여 각 치아 영역을 설정하는 치아 영역 설정부를 포함할 수 있다.

상기 플라그 검출 모듈은 상기 구강 이미지에서 인식된 각 치아 영역에 대하여 노이즈를 제거하는 노이즈 제거부; 상기 노이즈가 제거된 구강 이미지의 각 치아 영역에서 플라그의 엣지를 예측하는 엣지 검출부; 및 상기 예측된 플라그의 엣지에 대한 유효성을 판단하여 플라그의 엣지를 결정하고, 상기 결정된 플라그의 엣지를 기반으로 플라그 영역을 검출하는 플라그 영역 설정부를 포함할 수 있다.

본 발명의 또 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 사용자의 구강 이미지를 획득하는 통신 모듈; 상기 구강 이미지에서 치아 영역을 인식하는 치아 인식 모듈; 상기 구강 이미지에서 인식된 각 치아 영역에서 상기 치아 영역의 각 픽셀의 RGB 값을 획득하고, 상기 획득한 각 픽셀의 RGB 값이 기 설정된 기준 이상인 픽셀을 추출하여 플라그 영역을 검출하는 플라그 검출 모듈; 및 상기 치아 영역 및 상기 플라그 영역을 기반으로 상기 치아 영역에 대한 각각의 플라그 지수를 산출하는 치아 진단 모듈을 포함하는 컴퓨팅 장치가 제공된다.

본 발명의 실시예들에 따르면, 사용자가 스마트 기기를 이용하여 직접 자신의 구강을 촬영하여 진단 결과를 받아볼 수 있고, 진단 결과에 따라 치과병원의 방문여부를 직접 결정할 수 있다.

또한, 본 발명의 실시예들에 따르면, 치과병원을 직접 방문하지 않고도 자신의 구강상태를 체크함에 따라, 평소에 구강상태를 체크함으로써 효과적인 치아관리가 가능하고, 어느 장소에서나 치아 플라그를 용이하게 진단하여 시간과 비용을 절약할 수 있다.

도 1은 본 발명의 일 실시예에 따른 치아 진단 시스템의 구성을 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 치아 진단 시스템의 스마트 기기의 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 치아 진단 시스템의 관리 서버의 구성을 나타낸 블록도
도 4는 본 발명의 일 실시예에 따른 관리 서버에서 치아 인식 모듈 및 플라그 검출 모듈의 구성을 나타낸 도면
도 5는 본 발명의 일 실시예에 따른 치아 진단 서비스가 제공되는 스마트 기기의 화면을 나타낸 도면
도 6은 본 발명의 일 실시예에 따른 치아 진단 시스템을 설명하기 위한 흐름도
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

도 1은 본 발명의 일 실시예에 따른 치아 진단 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 치아 진단 시스템의 스마트 기기의 구성을 나타낸 블록도이며, 도 3은 본 발명의 일 실시예에 따른 치아 진단 시스템의 관리 서버의 구성을 나타낸 블록도이며, 도 4는 본 발명의 일 실시예에 따른 관리 서버에서 치아 인식 모듈 및 플라그 검출 모듈의 구성을 나타낸 도면이다

도 1 내지 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 치아 진단 시스템은 스마트 기기(100) 및 관리 서버(200)를 포함할 수 있다. 스마트 기기(100) 및 관리 서버(200)는 통신 네트워크를 통해 통신 가능하게 연결된다.

한편, 관리 서버(200)에서 수행하는 기능들은 스마트 기기에 설치된 치아 진단 서비스를 제공하기 위한 어플리케이션에서 수행될 수 있다.

몇몇 실시 예들에서, 통신 네트워크는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.

스마트 기기(100)는 무선 통신을 사용할 수 있는 스마트 폰, 태블릿 PC 등으로서, 스마트 기기(100)는 촬영부(110), 통신부(120) 및 디스플레이부(130)를 포함할 수 있다.

촬영부(110)는 사용자의 구강(치아)을 촬영할 수 있다. 촬영부(110)는 스마트 기기(100) 등의 단말에 일체로 형성될 수 있다. 구체적으로, 촬영부(110)는 스마트 기기(100) 등의 단말에 일체로 형성되어 사용자의 구강을 촬영할 수 있다. 촬영부(110)는 촬영된 구강 이미지를 통신부(120)를 통하여 관리 서버(200)로 제공할 수 있다. 또한, 촬영부(110)는 프라크 검진액인 착색제(disclosing solution)을 이용하여 착색된 구강을 촬영할 수 있다. 이에 착색제가 착색된 사용자의 구강을 촬영할 수 있다.

통신부(120)는 촬영된 구강 이미지를 네트워크를 통하여 관리 서버(200)로 전송할 수 있다. 또한, 통신부(120)는 관리 서버(200)로부터 치아 진단 정보를 수신할 수 있다.

디스플레이부(130)는 통신부(120)를 통하여 관리 서버(200)로부터 수신한 치아 진단 정보를 화면에 표시할 수 있다. 디스플레이부(130)는 스마트 기기(100)의 화면을 통하여 치아 진단 정보를 출력할 수 있다. 디스플레이부(130)는 사용자의 치아 진단 정보를 스마트 기기(100) 상에서 출력할 수 있도록 가공하여 스마트 기기(100)의 화면을 통하여 출력할 수 있다. 예를 들어, 도 5와 같이, 디스플레이부(130)는 스마트 기기(100)의 화면을 통하여 사용자의 치아별 플라그 정도를 표시할 수 있으며, 사용자의 치아 플라그 지수를 제공할 수 있다.

이 때, 본 발명의 일 실시예에 따른 스마트 기기(100)는 치아 진단 서비스를 제공하기 위한 어플리케이션이 설치될 수 있다. 상기 어플리케이션은 스마트 기기(100)의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 상기 어플리케이션은 스마트 기기(100)의 프로세서에 의해 실행 가능한 명령어의 소정의 집합을 포함한다. 상기 명령어는 스마트 기기(100)의 프로세서로 하여금 예시적인 실시예에 따른 동작을 수행하게 할 수 있다. 스마트 기기(100)의 컴퓨터 판독 가능 저장 매체는 스마트 기기(100) 상에서 상기 어플리케이션과 같은 명령어 집합을 실행하기 위한 운영 체제의 컴포넌트들을 포함한다. 예를 들어, 이러한 운영 체제는 애플(Apple) 사의 iOS 또는 구글(Google) 사의 Android 일 수 있다.

여기서, 치아 진단 서비스를 제공하기 위한 어플리케이션은 사용자의 정보를 입력할 수 있는 입력 인터페이스를 제공할 수 있으며, 입력 인터페이스를 통하여 사용자 데이터를 입력 받을 수 있다. 예를 들어, 사용자의 성명, 성별, 나이 및 스마트 기기(100) 번호 등을 입력할 수 있는 입력 인터페이스를 사용자에게 제공할 수 있다.

한편, 치아 진단 서비스를 제공하기 위한 어플리케이션은 이상에서 설명한 기능 외에도 다양한 분석 처리 및 정보 제공 동작을 수행하도록 설정될 수 있다. 예를 들어, 치아 진단 서비스를 제공하기 위한 어플리케이션은 사용자의 치아 진단 정보를 기 설정된 웹 서버(예를 들어, SNS 서버)로 업로드 또는 백업하거나, 기 설정된 웹 서버로부터 사용자의 정보에 매칭되는 기 등록된 사용자의 치아 진단 정보를 획득하여 디스플레이부(130)를 통해 표시할 수 있다.

관리 서버(200)는 통신 모듈(210), 저장 모듈(220), 치아 인식 모듈(230), 플라그 검출 모듈(240) 및 치아 진단 모듈(250)을 포함할 수 있다.

본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예건대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.

통신 모듈(210)은 스마트 기기(100)로부터 촬영된 구강 이미지를 네트워크를 통하여 수신할 수 있다. 또한, 통신 모듈(210)은 스마트 기기(110)로부터 촬영된 착색제가 착색된 구강 이미지를 네트워크를 통하여 수신할 수 있다. 통신 모듈(210)은 스마트 기기(100)로부터 사용자 정보를 네트워크를 통하여 수신할 수 있다. 또한, 통신 모듈(210)은 치아 분석 정보를 스마트 기기(100)로 전송할 수 있다.

저장 모듈(220)은 통신 모듈(210)을 통하여 수신한 사용자 정보 및 촬영된 구강 이미지를 저장할 수 있다. 또한, 저장 모듈(220)은 기 촬영된 사용자의 구강 이미지를 저장할 수 있다.

치아 인식 모듈(230)은 구강 이미지로부터 치아를 인식할 수 있다. 치아 인식 모듈(230)은 특징 맵 이미지 생성부(231), 바운딩 박스 생성부(232), 및 치아 영역 설정부(233)를 포함할 수 있다.

특징 맵 이미지 생성부(231)는 구강 이미지에 필터(filter)를 통해 컨벌루션(Convolution)을 수행하여 특징 맵 이미지를 생성할 수 있다. 구체적으로, 특징 맵 이미지 생성부(231)는 구강 이미지에 필터(filter)를 적용하여 컨벌루션(Convolution)을 수행할 수 있다. 컨벌루션의 수행 결과 구강 이미지에 대한 특징 맵 이미지가 생성되게 된다. 여기서, 필터는 컨벌루션 필터일 수 있다. 치아 인식 모듈(230)은 필터를 구강 이미지의 각 픽셀에 순차적으로 적용(즉, 필터를 픽셀 단위로 이동하면서 적용)하여 구강 이미지의 각 픽셀 값을 필터의 가중치에 따라 재설정하여 특징 맵 이미지를 생성할 수 있다.

여기서, 필터는 3x3의 크기 일 수 있으나, 이에 한정되는 것은 아니다. 필터는 3x3의 각 픽셀에 가중치(예를 들어, 0 또는 1 등)가 부여될 수 있다. 컨벌루션을 수행하는 방법으로는 예를 들어, 구강 이미지의 소정 픽셀에 대해 해당 픽셀의 주변에 있는 픽셀들의 픽셀 값과 필터의 각 가중치를 곱한 후 그 총합을 해당 픽셀의 새로운 픽셀 값으로 재설정할 수 있다. 그러나, 이에 한정되는 것은 아니며, 구강 이미지의 소정 픽셀에 대해 필터에 포함되는 주변 픽셀 들의 픽셀 값 중 최대값을 해당 픽셀의 새로운 픽셀 값으로 재설정할 수도 있다.

바운딩 박스 생성부(232)는 특징 맵 이미지에 슬라이딩 윈도우(sliding window)를 적용하여 바운딩 박스(bounding box)를 생성할 수 있다. 여기서, 바운딩 박스는 촬영된 구강 이미지에서 사용자의 치아가 모두 포함되는 최소한의 사각형 영역일 수 있다.

구체적으로, 바운딩 박스 생성부(232)는 특징 맵 이미지에서 슬라이딩 윈도우가 겹치지 않게 이동(즉, 특징 맵 이미지에서 슬라이딩 윈도우 크기(예를 들어, 5x5)의 단위로 이동)하면서 슬라이딩 윈도우가 이동하는 지점마다 서로 다른 크기를 가지는 복수 개의 앵커 박스(anchor box)를 생성할 수 있다. 예를 들어, 특징 맵 이미지의 각 지점(슬라이딩 윈도우가 적용된 영역)마다 다양한 크기를 가지는 복수 개의 앵커 박스를 각각 생성할 수 있다. 여기서, 앵커 박스는 특징 맵 이미지의 각 지점에서 기 설정된 비율에 따라 생성되는 사각형 영역일 수 있다. 바운딩 박스 생성부(232)는 복수 개의 앵커 박스에 대하여 기 설정된 바운딩 박스(예를 들어, 기 저장된 구강 이미지에서 치아 영역을 추출한 실측 자료)와의 유사성을 비교(즉, 각 앵커 박스와 기 설정된 바운딩 박스 간의 크기 및 형태의 유사성을 비교)하여 유사성 점수가 가장 높은 앵커 박스를 해당 구강 이미지의 바운딩 박스로 생성할 수 있다.

치아 영역 설정부(233)는 바운딩 박스 내의 각 픽셀에서 특징 값을 보정하여 각 치아 영역을 설정할 수 있다. 구체적으로, 치아 영역 설정부(233)는 바운딩 박스의 각 픽셀에서 치아의 정확한 위치 정보를 가지도록 특징 값을 보정할 수 있다. 예를 들어, 치아 영역 설정부(233)는 바운딩 박스의 각 픽셀에 대하여 쌍선형 보간법(Bilinear Interpolation)을 수행할 수 있다. 쌍선형 보간법은 특징 맵 이미지를 정렬(align)시켜 특징 값을 보정하는 방식으로 적용될 수 있다. 이와 같이, 바운딩 박스의 각 픽셀에서 특징 값을 보정하게 되면, 치아의 정확한 위치 정보를 가지게 되어 구강 이미지에서 각 치아 영역을 설정할 수 있다.

또한, 치아 영역 설정부(233)는 바운딩 박스의 각 픽셀의 특징 값에 대해 기 설정된 가중치를 부여할 수 있다. 여기서, 기 설정된 가중치는 기 저장된 구강 이미지에서 각각 치아의 경계가 선명하게 나오도록 하기 위하여 산출한 가중치 계수일 수 있다. 이에, 치아 인식 모듈(230)은 구강 이미지로부터 각 치아 영역을 인식할 수 있다.

플라그 검출 모듈(240)은 구강 이미지에서 인식된 각 치아 영역에서 플라그를 검출할 수 있다. 플라그 검출 모듈(240)은 노이즈 제거부(241), 엣지(edge) 검출부(242) 및 플라그 영역 설정부(243)를 포함할 수 있다.

노이즈 제거부(241)는 구강 이미지에서 인식된 각 치아 영역에 대하여 노이즈(잡음)를 제거할 수 있다. 노이즈 제거부(241)는 구강 이미지에서 인식된 각 치아 영역에 대하여 스무딩(Smoothing) 처리를 수행하여 노이즈가 제거된 이미지를 얻을 수 있다. 예를 들어, 노이즈 제거부(241)는 구강 이미지에서 인식된 각 치아 영역의 각 픽셀에 가우시안 필터(예를 들어, 5x5 크기의 필터)를 적용하여 각 픽셀 값을 재설정할 수 있다. 예를 들어, 해당 픽셀 주변의 픽셀들의 평균값을 산출한 후, 산출한 평균값을 해당 픽셀의 픽셀 값으로 재정의 할 수 있다. 스무딩 처리 기법으로는 가우시안 블러(Gausiaan Blur) 기법이 사용될 수 있으나, 이에 한정되는 것은 아니다.

엣지 검출부(242)는 스무딩 처리된 구강 이미지의 각 치아 영역에서 플라그의 엣지(edge)를 예측할 수 있다. 구체적으로, 엣지 검출부(242)는 각 치아 영역의 각각 픽셀에 대하여 수평방향(X 축) 및 수직방향(Y 축)으로 각각 방향의 변화도(gradient)를 산출하여 플라그의 엣지를 예측할 수 있다. 즉, 엣지 검출부(242)는 각 픽셀에 대하여 각각 방향의 변화도를 산출하여 주변 픽셀들의 변화도와 비교하여 최대 값인 경우에는 해당 픽셀의 픽셀 값을 유지하고, 최대 값이 아닌 경우에는 해당 픽셀의 픽셀 값은 제거함으로써, 플라그의 엣지를 예측할 수 있다.

플라그 영역 설정부(243)는 예측된 플라그의 엣지에 대한 유효성을 판단하여 플라그의 엣지를 결정하고, 결정된 플라그의 엣지를 기반으로 플라그 영역을 검출할 수 있다. 구체적으로, 플라그 영역 설정부(243)는 기 설정된 임계 값을 기반으로 플라그 영역을 검출할 수 있다. 예를 들어, 플라그 영역 설정부(243)는 히스테리시스 임계값(hysteresis thresholding) 처리하여 플라그 영역을 검출할 수 있다. 여기서, 히스테리시스 임계값(hysteresis thresholding)은 연결된 에지를 얻기 위해 두 개의 임계값을 사용하는 방식으로, 두 개의 임계값은 제1 임계 값 및 제1 임계 값보다 작은 제2 임계값일 수 있다. 예측된 플라그의 엣지의 픽셀 값이 제1 임계 값 이상이면 플라그의 엣지로 결정하고, 예측된 플라그의 엣지의 픽셀 값이 제1 임계 값과 제2 임계 값 사이이면 플라그의 후보 엣지로 선정하며, 플라그의 후보 엣지가 플라그의 엣지와 연결된 경우에는 플라그의 후보 엣지를 플라그의 엣지로 결정하고, 플라그의 엣지와 연결되지 않으면 플라그의 후보 엣지를 제거함으로써, 플라그 엣지를 결정하여 플라그 영역을 검출할 수 있다.

한편, 플라그 검출 모듈(240)은 착색제가 착색된 구강 이미지에서 각 치아 영역의 픽셀의 RGB값을 획득하고, 획득한 픽셀의 RBG값이 기 설정된 기준값(예를 들어, 착색제의 색상값)이상인 픽셀을 추출하여 플라그 영역을 검출할 수 있다.

치아 진단 모듈(250)은 구강 이미지의 치아 영역 내의 플라그 영역을 기반으로 플라그 지수를 산출할 수 있다. 예를 들어, 치아 진단 모듈(250)은 구강 이미지의 치아 영역으로 설정된 픽셀의 수에 대하여 플라그 영역을 포함하는 픽셀의 수의 비율을 플라그 지수로 산출할 수 있다. 예를 들어, 도 5와 같이, 치아 진단 모듈(250)은 사용자 단말의 화면을 통하여 촬영된 구강 이미지에서 각 치아에 대한 플라그 지수를 표현할 수 있으며, 전체 치아에 대한 플라그 지수를 제공할 수 있다.

예시적인 실시예에서, 치아 진단 모듈(250)은 구강 이미지의 치아 영역 내의 기 설정된 기준값 이상인 영역을 기반으로 플라그 지수를 산출할 수 있다. 예를 들어, 치아 진단 모듈(250)은 구강 이미지의 치아 영역으로 설정된 픽셀의 수에 대하여 기 설정된 기준값 이상인 영역을 포함하는 픽셀의 수의 비율을 플라그 지수로 산출할 수 있다.

따라서, 본 발명에 따른 치아 진단 시스템은 사용자가 스마트 기기를 이용하여 직접 자신의 구강을 촬영하여 잔단 결과를 받아 볼 수 있어 치과병원을 직접 방문하지 않고도 자신의 구강상태를 체크할 수 있다.

도 6은 본 발명의 일 실시예에 따른 치아 진단 시스템을 설명하기 위한 흐름도이다. 도 6에 도시된 방법은 예를 들어, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에 의해 수행될 수 있다. 이를 위하여, 치아 진단 방법은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다.

또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

도 6을 참조하면, 관리 서버(200)는 사용자의 구강 이미지를 획득한다(S601). 구체적으로, 관리 서버(200)는 사용자의 스마트 기기(100)로부터 구강 이미지를 획득할 수 있다.

다음으로, 관리 서버(200)는 구강 이미지에서 치아 영역을 인식한다(S602). 구체적으로, 관리 서버(200)는 구강 이미지에 필터를 통해 컨벌루션을 수행하여 특징 맵 이미지를 생성하고, 특징 맵 이미지에 슬라이딩 윈도우를 적용하여 바운딩 박스를 생성하며, 바운딩 박스의 각 픽셀에서 특징 값을 보정하여 각 치아 영역을 설정할 수 있다.

다음으로, 관리 서버(200)는 구강 이미지에서 인식된 각 치아 영역에서 플라그 영역을 검출한다(S603). 구체적으로, 관리 서버(200)는 구강 이미지에서 인식된 각 치아 영역에 대하여 노이즈를 제거하고, 노이즈가 제거된 구강 이미지의 각 치아 영역에서 플라그의 엣지를 예측하며, 예측된 플라그의 엣지에 대한 유효성을 판단하여 플라그의 엣지를 결정하며, 결정된 플라그의 엣지를 기반으로 플라그 영역을 검출할 수 있다.

마지막으로, 관리 서버(200)는 치아 영역 및 플라그 영역을 기반으로 치아 영역에 대한 각각의 플라그 지수를 산출한다(S604).

도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(20)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(20)은 컴퓨팅 장치(22)를 포함한다. 일 실시예에서, 컴퓨팅 장치(22)는 스마트 기기(100)일 수 있다. 또한, 일 실시예에서, 컴퓨팅 장치(22)는 관리 서버(200)일 수 있다.

컴퓨팅 장치(22)는 적어도 하나의 프로세서(24), 컴퓨터 판독 가능 저장 매체(26) 및 통신 버스(28)를 포함한다. 프로세서(24)는 컴퓨팅 장치(22)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(24)는 컴퓨터 판독 가능 저장 매체(26)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(24)에 의해 실행되는 경우 컴퓨팅 장치(22)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(26)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(26)에 저장된 프로그램(30)은 프로세서(24)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(26)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(22)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(28)는 프로세서(24), 컴퓨터 판독 가능 저장 매체(26)를 포함하여 컴퓨팅 장치(22)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(22)는 또한 하나 이상의 입출력 장치(34)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(32) 및 하나 이상의 네트워크 통신 인터페이스(36)를 포함할 수 있다. 입출력 인터페이스(32) 및 네트워크 통신 인터페이스(36)는 통신 버스(28)에 연결된다. 입출력 장치(34)는 입출력 인터페이스(32)를 통해 컴퓨팅 장치(22)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(34)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(34)는 컴퓨팅 장치(22)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(22)의 내부에 포함될 수도 있고, 컴퓨팅 장치(22)와는 구별되는 별개의 장치로 컴퓨팅 장치(22)와 연결될 수도 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100 : 스마트 기기
110 : 촬영부
120 : 통신부
130 : 디스플레이부
200 : 관리 서버
210 : 통신 모듈
220 : 저장 모듈
230 : 치아 인식 모듈
240 : 플라그 검출 모듈
250 : 치아 진단 모듈

Claims

하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
사용자의 구강 이미지를 획득하는 단계;
상기 구강 이미지에서 바운딩 박스를 기반으로 치아 영역을 설정하는 단계;
상기 구강 이미지에서 설정된 각 치아 영역에서 플라그 영역을 검출하는 단계; 및
상기 치아 영역 및 상기 플라그 영역을 기반으로 상기 치아 영역에 대한 각각의 플라그 지수를 산출하는 단계를 포함하며,
상기 치아 영역을 설정하는 단계는,
상기 구강 이미지로부터 생성된 특징 맵 이미지에서 슬라이딩 윈도우가 겹치지 않게 이동하면서 슬라이딩 윈도우가 이동하는 지점마다 서로 다른 크기를 가지는 복수 개의 앵커 박스를 생성하는 단계; 및
상기 복수 개의 앵커 박스에 대하여 기 설정된 바운딩 박스와의 유사성을 비교하여 유사성 점수가 가장 높은 앵커 박스를 상기 바운딩 박스로 결정하는 단계를 포함하는, 방법.
삭제
삭제
청구항 1에 있어서,
상기 플라그 영역을 검출하는 단계는,
상기 구강 이미지에서 인식된 각 치아 영역에 대하여 노이즈를 제거하는 단계;
상기 노이즈가 제거된 구강 이미지의 각 치아 영역에서 플라그의 엣지를 예측하는 단계;
상기 예측된 플라그의 엣지에 대한 유효성을 판단하여 플라그의 엣지를 결정하는 단계; 및
상기 결정된 플라그의 엣지를 기반으로 플라그 영역을 검출하는 단계를 포함하는, 방법.
청구항 4에 있어서,
상기 플라그의 엣지를 예측하는 단계는,
상기 각 치아 영역의 각각 픽셀에 대하여 수평방향 및 수직방향으로 각 방향의 변화도를 산출하여 각 방향의 변화도에 따라 상기 플라그의 엣지를 예측하는, 방법.
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
사용자의 구강 이미지를 획득하는 단계;
상기 구강 이미지에서 치아 영역을 인식하는 단계;
상기 구강 이미지에서 인식된 각 치아 영역에서 플라그 엣지를 예측하여 플라그 영역을 검출하는 단계; 및
상기 치아 영역 및 상기 플라그 영역을 기반으로 상기 치아 영역에 대한 각각의 플라그 지수를 산출하는 단계를 포함하며,
상기 플라그 영역을 검출하는 단계는,
상기 예측된 플라그의 엣지의 픽셀 값이 제1 임계 값 이상이면 상기 플라그의 엣지로 결정하는 단계;
상기 예측된 플라그의 엣지의 픽셀 값이 상기 제1 임계 값과 제2 임계 값 사이이면 플라그의 후보 엣지로 선정하는 단계; 및
상기 플라그의 후보 엣지가 상기 결정된 플라그의 엣지와 연결된 경우에만 상기 플라그의 엣지로 결정하는 단계를 포함하며,
상기 제1 임계 값은, 상기 제2 임계 값보다 큰, 방법.
청구항 1에 있어서,
상기 플라그 지수를 산출하는 단계는,
상기 구강 이미지의 치아 영역으로 설정된 픽셀의 수에 대하여 상기 플라그 영역을 포함하는 픽셀의 수의 비율에 따라 플라그 지수를 산출하는, 방법.
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
사용자의 구강 이미지를 획득하는 단계;
상기 구강 이미지에서 바운딩 박스를 기반으로 치아 영역을 설정하는 단계;
상기 구강 이미지에서 설정된 각 치아 영역에서 상기 치아 영역의 각 픽셀의 RGB 값을 획득하는 단계;
상기 획득한 각 픽셀의 RGB 값이 기 설정된 기준 이상인 픽셀을 추출하여 플라그 영역을 검출하는 단계; 및
상기 치아 영역 및 상기 플라그 영역을 기반으로 상기 치아 영역에 대한 각각의 플라그 지수를 산출하는 단계를 포함하며,
상기 치아 영역을 설정하는 단계는,
상기 구강 이미지로부터 생성된 특징 맵 이미지에서 슬라이딩 윈도우가 겹치지 않게 이동하면서 슬라이딩 윈도우가 이동하는 지점마다 서로 다른 크기를 가지는 복수 개의 앵커 박스를 생성하는 단계; 및
상기 복수 개의 앵커 박스에 대하여 기 설정된 바운딩 박스와의 유사성을 비교하여 유사성 점수가 가장 높은 앵커 박스를 상기 바운딩 박스로 결정하는 단계를 포함하는, 방법.
삭제
삭제
청구항 8에 있어서,
상기 플라그 지수를 산출하는 단계는,
상기 구강 이미지의 치아 영역으로 설정된 픽셀의 수에 대하여 상기 플라그 영역을 포함하는 픽셀의 수의 비율에 따라 플라그 지수를 산출하는, 방법.
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
사용자의 구강 이미지를 획득하는 통신 모듈;
상기 구강 이미지에서 바운딩 박스를 기반으로 치아 영역을 설정하는 치아 인식 모듈;
상기 구강 이미지에서 설정된 각 치아 영역에서 플라그 영역을 검출하는 플라그 검출 모듈; 및
상기 치아 영역 및 상기 플라그 영역을 기반으로 상기 치아 영역에 대한 각각의 플라그 지수를 산출하는 치아 진단 모듈을 포함하며,
상기 치아 인식 모듈은,
상기 구강 이미지로부터 생성된 특징 맵 이미지에서 슬라이딩 윈도우가 겹치지 않게 이동하면서 슬라이딩 윈도우가 이동하는 지점마다 서로 다른 크기를 가지는 복수 개의 앵커 박스를 생성하고, 상기 복수 개의 앵커 박스에 대하여 기 설정된 바운딩 박스와의 유사성을 비교하여 유사성 점수가 가장 높은 앵커 박스를 상기 바운딩 박스로 결정하는, 컴퓨팅 장치.
삭제
삭제
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
사용자의 구강 이미지를 획득하는 통신 모듈;
상기 구강 이미지에서 바운딩 박스를 기반으로 치아 영역을 설정하는 치아 인식 모듈;
상기 구강 이미지에서 인식된 각 치아 영역에서 상기 치아 영역의 각 픽셀의 RGB 값을 획득하고, 상기 획득한 각 픽셀의 RGB 값이 기 설정된 기준 이상인 픽셀을 추출하여 플라그 영역을 검출하는 플라그 검출 모듈; 및
상기 치아 영역 및 상기 플라그 영역을 기반으로 상기 치아 영역에 대한 각각의 플라그 지수를 산출하는 치아 진단 모듈을 포함하며,
상기 치아 인식 모듈은,
상기 구강 이미지로부터 생성된 특징 맵 이미지에서 슬라이딩 윈도우가 겹치지 않게 이동하면서 슬라이딩 윈도우가 이동하는 지점마다 서로 다른 크기를 가지는 복수 개의 앵커 박스를 생성하고, 상기 복수 개의 앵커 박스에 대하여 기 설정된 바운딩 박스와의 유사성을 비교하여 유사성 점수가 가장 높은 앵커 박스를 상기 바운딩 박스로 결정하는, 컴퓨팅 장치.
삭제