KR102227439B1 - 얼굴 영역 이미지 분석 장치 및 방법 - Google Patents

얼굴 영역 이미지 분석 장치 및 방법 Download PDF

Info

Publication number
KR102227439B1
KR102227439B1 KR1020190032588A KR20190032588A KR102227439B1 KR 102227439 B1 KR102227439 B1 KR 102227439B1 KR 1020190032588 A KR1020190032588 A KR 1020190032588A KR 20190032588 A KR20190032588 A KR 20190032588A KR 102227439 B1 KR102227439 B1 KR 102227439B1
Authority
KR
South Korea
Prior art keywords
image
detailed
anatomical
face area
machine learning
Prior art date
Application number
KR1020190032588A
Other languages
English (en)
Other versions
KR20200112309A (ko
Inventor
김남국
배명수
함성원
이아름
변영화
박종하
박재우
Original Assignee
울산대학교 산학협력단
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단, 재단법인 아산사회복지재단 filed Critical 울산대학교 산학협력단
Priority to KR1020190032588A priority Critical patent/KR102227439B1/ko
Publication of KR20200112309A publication Critical patent/KR20200112309A/ko
Application granted granted Critical
Publication of KR102227439B1 publication Critical patent/KR102227439B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 방법은, 얼굴 영역의 이미지를 획득하는 단계와, 상기 얼굴 영역의 해부학적 포함 관계를 기초로 학습된 제1 기계학습 알고리즘을 이용하여 상기 이미지를 복수의 세부 이미지로 분할하는 단계와, 상기 복수의 세부 이미지 중 적어도 하나를 선택하는 입력을 수신하면, 상기 적어도 하나의 세부 이미지의 해부학적 포함 관계를 기초로 학습된 제2 기계학습 알고리즘을 이용하여, 상기 적어도 하나의 세부 이미지에 포함된 해부학적 구성을 구분하는 단계를 포함할 수 있다.

Description

얼굴 영역 이미지 분석 장치 및 방법 {METHOD AND APPARATUS FOR ANALYZING FACIAL AREA IMAGE}
본 발명은 얼굴 영역에 대한 이미지를 분석하는 방법 및 장치에 관한 것이다.
전자 기술의 발달에 따라, 전자 장치는 사회 전반에 걸쳐 다양한 범위에서 사람의 행위를 보조하는 수단으로 이용되고 있다. 이러한 전자 장치는 의료계에서도 다양하게 이용되고 있다. 의료계에서 대표적으로 이용되는 전자 장치는 비침습적인 방법으로 사람의 상태를 파악하기 위한 의료용 영상 획득 장치로서, 예를 들면, CT(computed tomography) 또는 MRI(magnetic resonance imaging)가 있을 수 있다. 의료용 영상 획득 장치를 이용하여 획득된 의학용 영상은 숙련된 의사들에 의해 판독되어 질병 진단의 보조 수단으로 사용된다.
한편, 의료용 영상의 판독 행위는 의사들, 즉, 사람의 주관적 판단에 의존하여 이루어진다. 이에 따라, 의학용 영상의 판단자인 의사의 컨디션이나 숙련도에 따라 질병의 진단에 오류가 발생할 수 있고, 이러한 오류는 의료 사고로까지 이어질 수 있는 위험이 존재한다. 따라서, 객관적이며 정확한 의학용 영상의 판독이 이루어질 수 있도록 의학용 영상에 대해 추가적인 정보, 예를 들면 의학용 영상에 포함되는 인체의 부위에 대한 정보 등이 제공될 필요가 있다.
한국등록특허 제10-1929127호 (2018년 12월 07일 등록)
본 발명이 해결하고자 하는 과제는, 의학용 영상에 대해 보다 구체적인 정보를 제공하기 위해 해부학적 포함 관계를 기초로 학습된 기계학습 알고리즘을 이용하여 얼굴 영역 이미지를 분석하는 방법 및 장치를 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 방법은, 얼굴 영역의 이미지를 획득하는 단계와, 상기 얼굴 영역의 해부학적 포함 관계를 기초로 학습된 제1 기계학습 알고리즘을 이용하여 상기 이미지를 복수의 세부 이미지로 분할하는 단계와, 상기 복수의 세부 이미지 중 적어도 하나를 선택하는 입력을 수신하면, 상기 적어도 하나의 세부 이미지의 해부학적 포함 관계를 기초로 학습된 제2 기계학습 알고리즘을 이용하여, 상기 적어도 하나의 세부 이미지에 포함된 해부학적 구성을 구분하는 단계를 포함할 수 있다.
또한, 상기 해부학적 구성을 구분하는 단계는, 상기 세부 이미지를 소정 크기로 확대하고, 상기 확대된 세부 이미지의 상기 해부학적 구성을, 상기 제2 기계학습 알고리즘을 이용하여 구분하는 단계를 포함할 수 있다.
또한, 상기 구분된 해부학적 구성이 상기 얼굴 영역의 이미지에 표시되도록 상기 세부 이미지를 복원하는 단계를 포함할 수 있다.
또한, 상기 얼굴 영역의 이미지는, CBCT(cone beam computed tomography) 이미지를 포함할 수 있다.
또한, 상기 제1 기계학습 알고리즘은, 기획득된 얼굴 영역에 대한 복수의 이미지를 포함하는 데이터베이스에 기초하여 학습되고, 상기 얼굴 영역은 두개골을 포함할 수 있다.
또한, 상기 두개골은, 두개안면(cranial facial), 상악동(maxillary sinus), 하악골(mandible)을 포함할 수 있다.
또한, 상기 제2 기계학습 알고리즘은, 상기 얼굴 영역과 관련하여 기획득된 복수의 세부 이미지를 포함하는 데이터베이스에 기초하여 학습될 수 있다.
또한, 상기 적어도 하나의 세부 이미지 중 제1 세부 이미지가 하악골을 포함하는 이미지이면, 상기 제1 세부 이미지에 포함되는 해부학적 구성은 하치조신경관(mandibular canal), 아래턱(lower jaws) 및 치아 중 적어도 하나를 포함하고, 상기 적어도 하나의 세부 이미지 중 제2 세부 이미지가 상악골을 포함하는 이미지이면, 상기 세부 이미지에 포함되는 해부학적 구성은 위턱(upper jaws) 및 치아 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 장치는, 얼굴 영역의 이미지를 획득하는 이미지 획득부와, 상기 얼굴 영역의 해부학적 포함 관계를 기초로 학습된 제1 기계학습 알고리즘을 이용하여 상기 이미지를 복수의 세부 이미지로 분할하는 이미지 분할부와, 상기 복수의 세부 이미지 중 적어도 하나를 선택하는 입력을 수신하면, 상기 적어도 하나의 세부 이미지의 해부학적 포함 관계를 기초로 학습된 제2 기계학습 알고리즘을 이용하여, 상기 적어도 하나의 세부 이미지에 포함된 해부학적 구성을 구분하는 이미지 분석부를 포함할 수 있다.
또한, 상기 이미지 분석부는, 상기 세부 이미지를 소정 크기로 확대하고, 상기 확대된 세부 이미지의 상기 해부학적 구성을, 상기 제2 기계학습 알고리즘을 이용하여 구분할 수 있다.
또한, 상기 구분된 해부학적 구성이 상기 얼굴 영역의 이미지에 표시되도록 상기 세부 이미지를 복원하는 이미지 복원부를 포함할 수 있다.
또한, 상기 얼굴 영역의 이미지는, CBCT(cone beam computed tomography) 이미지를 포함할 수 있다.
또한, 상기 제1 기계학습 알고리즘은, 기획득된 얼굴 영역에 대한 복수의 이미지를 포함하는 데이터베이스에 기초하여 학습되고, 상기 얼굴 영역은 두개골을 포함할 수 있다.
또한, 상기 두개골은, 두개안면(cranial facial), 상악동(maxillary sinus), 하악골(mandible)을 포함할 수 있다.
또한, 상기 제2 기계학습 알고리즘은, 상기 얼굴 영역과 관련하여 기획득된 복수의 세부 이미지를 포함하는 데이터베이스에 기초하여 학습될 수 있다.
또한, 상기 적어도 하나의 세부 이미지 중 제1 세부 이미지가 하악골을 포함하는 이미지이면, 상기 제1 세부 이미지에 포함되는 해부학적 구성은 하치조신경관(mandibular canal), 아래턱(lower jaws) 및 치아 중 적어도 하나를 포함하고, 상기 적어도 하나의 세부 이미지 중 제2 세부 이미지가 상악골을 포함하는 이미지이면, 상기 제2 세부 이미지에 포함되는 해부학적 구성은 위턱(upper jaws) 및 치아 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에 따른 얼굴 영역 이미지 분석 방법 및 장치는, 해부학적 포함 관계에 기초하여 학습된 기계학습 알고리즘을 이용하여 얼굴 영역의 이미지를 분석함으로써 의학용 영상에 대해 보다 정확하며 구체적인 정보를 제공할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 방법에서 이용하는 해부학적 포함 관계의 개념도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 장치의 기능 블록도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 방법의 각 단계의 흐름을 도시한다.
도 4는 본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 방법의 제1 기계학습 알고리즘의 학습에 이용되는 데이터 생성 과정의 예를 개념적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 방법의 제2 기계학습 알고리즘의 학습에 이용되는 데이터 생성 과정의 예를 개념적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 방법을 수행하여 획득된 실험 결과의 예 도시한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 포함할 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로서 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 방법에서 이용하는 해부학적 포함 관계의 개념도를 도시한다.
도 1은 구체적으로, 얼굴에 포함되는 해부학적 구성들 사이의 해부학적 포함 관계를 나타낸다. 다만, 해부학적 포함 관계는 이하에서 상술하는 바에 제한되지 않는다.
도 1을 참조하면, 얼굴은 피부, 뇌, 두개골을 포함할 수 있다. 두개골은 두개안면(cranial facial), 상악골(maxilla), 상악동(maxillary sinus), 하악골(mandible)을 포함할 수 있다. 상악골은 위턱(upper jaws)과 치아를 포함할 수 있다. 상악동은 상악골의 모양 그대로 비어있는 내부 공간을 포함할 수 있다. 하악골은 하치조신경관(mandibular canal), 아래턱(lower jaws), 및 치아를 포함할 수 있다.
이 때, 상악골에 포함되는 치아는 위쪽 치아일 수 있으며, 하악골에 포함되는 치아는 아래쪽 치아일 수 있다.
본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 장치 및 방법은 얼굴을 포함하는 얼굴 영역 이미지를 획득하면, 상술한 해부학적 포함 관계에 기초하여 얼굴 영역 이미지를 분석할 수 있다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 장치의 기능적 구성의 예를 도시한다. 이하 사용되는 '…부'등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 이하 도 2의 설명에서는 도 1과 중복되는 내용은 생략될 수 있다.
도 2를 참조하면, 얼굴 영역 이미지 분석 장치(100)는 이미지 획득부(110), 이미지 분할부(120), 이미지 분석부(130), 이미지 복원부(140)를 포함할 수 있다. 이미지 획득부(110)는 적어도 하나의 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 이는 후술할 이미지 분할부(120), 이미지 분석부(130), 이미지 복원부(140)에 있어서도 같다.
이미지 획득부(110)는 얼굴 영역 이미지를 획득할 수 있다. 얼굴 영역 이미지는 예를 들면 사람의 얼굴을 촬영하여 획득한 의학용 영상, 즉 CBCT(cone beam computed tomography)일 수 있다.
이미지 획득부(110)는 다양한 방법으로 얼굴 영역 이미지를 획득할 수 있다. 예를 들어, 이미지 획득부(110)는 의학용 이미지 촬영 장치로부터 촬영된 얼굴 영역 이미지를 수신하여 획득할 수도 있고, 직접 의학용 이미지 촬영 기능을 구비하여 얼굴 영역 이미지를 직접 촬영하여 획득할 수도 있다.
이미지 분할부(120)는 얼굴 영역의 해부학적 포함 관계를 기초로 학습된 제1 기계학습 알고리즘을 이용하여 얼굴 영역 이미지를 복수의 세부 이미지로 분할할 수 있다. 구체적으로, 이미지 분할부(120)는 획득된 얼굴 영역 이미지를 제1 기계학습 알고리즘에 입력시켜, 얼굴 영역 이미지가 해부학적 포함 관계에 따라 분할되도록 할 수 있다.
복수의 세부 이미지 각각은 얼굴에 포함되는 하위 해부학적 구성 각각에 대한 것일 수 있다. 예를 들어, 복수의 세부 이미지는 각각은 얼굴 영역 이미지의 일부로, 두개안면을 포함하는 제1 세부 이미지, 상악골을 포함하는 제2 세부 이미지, 상악동을 포함하는 제3 세부 이미지, 하악골을 포함하는 제4 세부 이미지 일 수 있다.
이미지 분석부(130)는 해부학적 포함 관계를 기초로 학습된 제2 기계학습 알고리즘을 이용하여, 선택된 세부 이미지에 포함된 해부학적 구성을 구분할 수 있다. 구체적으로, 복수의 세부 이미지 중 적어도 하나를 선택하는 입력이 수신되면, 이미지 분석부(130)는 제2 기계학습 알고리즘을 이용하여, 선택된 세부 이미지에 포함된 해부학적 구성을 구분할 수 있다.
예를 들어, 이미지 분석부(130)는 복수의 세부 이미지 중 하악골을 포함하는 이미지를 선택하는 입력을 수신하면, 제2 기계학습 알고리즘에 하악골을 포함하는 이미지를 입력시켜, 하악골을 포함하는 이미지에 하치조신경관, 아래턱, 및 치아가 구분되도록 하여 출력할 수 있다.
다른 예를 들어, 이미지 분석부(130)는 복수의 세부 이미지 중 상악골을 포함하는 이미지를 선택하는 입력을 수신하면, 제2 기계학습 알고리즘에 상악골을 포함하는 이미지를 입력시켜 상악골을 포함하는 이미지에 위턱, 및 치아가 구분되도록 하여 출력할 수 있다.
이미지 복원부(140)는 이미지 분석부(130)에 의해 구분된 해부학적 구성이 최초로 획득한 얼굴 영역 이미지 내에 포함되도록 선택된 세부 이미지를 복원할 수 있다.
구체적으로 설명하면, 이미지 분석부(130)에 의해 구분된 이미지는 최초로 획득된 얼굴 영역 이미지의 일부일 수 있고, 이에 따라, 이미지 복원부(140)는 최초로 획득된 얼굴 영역 이미지에 대해 구분된 결과가 나타나도록 세부 이미지를 얼굴 영역 이미지의 형태로 복원할 수 있다.
복원된 얼굴 영역 이미지에는 사용자의 입력에 의해 구체적으로 관찰하고자 하는 부분의 해부학적 구성이 다른 구성과 구별되게 표시될 수 있다. 예를 들어, 구분된 해부학적 구성은 컬러로 표현되거나, 지시자 아이콘을 이용하여 해당 부분이 하이라이트되도록 표시될 수 있다.
이를 통해, 질병의 진단 또는 수술을 계획하고자 하는 의사는, 얼굴 영역에 대한 의학용 영상을 이용하여 얼굴에서 관찰하고자 하는 구성의 위치, 형태 등을 보다 용이하게 파악할 수 있다.
도 3은 본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 방법의 각 단계의 흐름을 도시한다. 또한, 도 3에 도시된 방법의 각 단계는 경우에 따라 도면에 도시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다.
도 3을 참조하면, 분석 대상인 사람의 얼굴을 촬영함으로써 얼굴 영역 이미지가 획득될 수 있다(S110). 얼굴 영역 이미지는 예를 들면 의학용 영상, 즉 CBCT 이미지일 수 있다.
얼굴 영역 이미지는 복수의 세부 이미지로 분할될 수 있다(S120). 구체적으로, 얼굴 영역 이미지는 제1 기계학습 알고리즘에 기초하여 복수의 세부 이미지로 분할될 수 있다.
복수의 세부 이미지는 얼굴 영역의 해부학적 포함관계에 기초하여 분할된 얼굴 영역 이미지일 수 있다. 예를 들어, 복수의 세부 이미지는 두개안면을 포함하는 제1 세부 이미지, 상악골을 포함하는 제2 세부 이미지, 상악동을 포함하는 제3 세부 이미지, 하악골을 포함하는 제4 세부 이미지로 구성될 수 있다. 다만, 복수의 세부 이미지는 이에 제한되는 것은 아니며, 해부학적 포함 관계에서 두개안면, 상악골, 상악동, 하악골과 동일한 수준의 다른 해부학적 구성을 포함하는 다른 세부 이미지를 포함할 수도 있다.
제1 기계학습 알고리즘은, 기획득된 얼굴 영역에 대한 복수의 이미지를 포함하는 데이터베이스에 기초하여 학습된 것일 수 있다. 예를 들어, 제1 기계학습 알고리즘은 기획득된 얼굴 영역에 대한 복수의 이미지 각각을 입력으로 하고, 입력된 각각의 이미지에 대해 두개안면, 상악골, 상악동, 하악골이 표시된 이미지를 정답값으로 하여 학습된 것일 수 있다.
분할된 복수의 세부 이미지 중 하나를 선택하는 입력이 수신되면, 선택된 세부 이미지에 포함된 해부학적 구성이 구분될 수 있다(S130). 구체적으로, 분할된 복수의 세부 이미지 중 하나를 선택하는 사용자의 입력이 수신되면, 세부 이미지의 해부학적 포함 관계를 기초로 학습된 제2 기계학습 알고리즘을 이용하여 선택된 세부 이미지에 포함된 해부학적 구성이 구분될 수 있다.
제2 기계학습 알고리즘은, 얼굴 영역과 관련하여 기획득된 복수의 세부 이미지를 포함하는 데이터베이스에 기초하여 학습된 것일 수 있다.
예를 들어, 제2 기계학습 알고리즘은 기획득된 상악골을 각각 포함하는 복수의 세부 이미지를 입력으로 하고, 입력된 각각의 이미지에 대해 위턱 및 치아 중 적어도 하나가 표시된 이미지를 정답값으로 하여 학습된 것일 수 있다.
다른 예를 들면, 제2 기계학습 알고리즘은 기획득된 하악골을 각각 포함하는 복수의 세부 이미지를 입력으로 하고, 입력된 각각의 이미지에 대해 하치조신경관, 아래턱 및 치아 중 적어도 하나가 표시된 이미지를 정답값으로 하여 학습된 것일 수 있다.
도시하지는 않았으나, 경우에 따라, 복수의 세부 이미지가 분할되면, 분할된 각각의 세부 이미지에 대해 동시에 또는 순서와 무관하게 해부학적 구분이 구분될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 방법의 제1 기계학습 알고리즘의 학습에 이용되는 데이터 생성 과정의 예를 개념적으로 도시한다.
도 4의 참조번호 1a에 도시된 바와 같이, 얼굴 영역이 보다 자세히 드러나도록 기획득된 얼굴 영역 이미지를 크롭(crop) 및 확대할 수 있다. 크롭되는 영역은 예를 들면 참조번호 1a에 점선으로 표시된 영역일 수 있다. 다만, 이에 제한되는 것은 아니고 얼굴 영역이 확대되어 보다 자세히 드러나도록 하는 다양한 영역으로 크롭이 수행될 수 있다.
참조번호 1b는 크롭되어 보다 자세히 얼굴이 드러나는 이미지를 도시한다.
참조번호 1c는 크롭된 이미지를 회전하여 생성된 학습용 이미지의 예를 나타낸다. 크롭된 이미지는 기지정된 복수의 각도 별로 회전되어 학습을 위해 이용되는 다양한 이미지로 변환될 수 있다. 회전되어 생성되는 이미지는 데이터베이스에 저장되어 제1 기계학습 알고리즘의 학습을 위해 이용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 방법의 제2 기계학습 알고리즘의 학습에 이용되는 데이터 생성 과정의 예를 개념적으로 도시한다. 구체적으로, 도 5는 하악골을 포함하는 세부 이미지의 분석을 위해 제2 기계학습 알고리즘을 학습시킬 때 이용하는 데이터의 생성 과정의 예를 도시한다.
참조번호 2a는 기획득된 하악골을 포함하는 세부 이미지를 나타낸다. 참조번호 2b는 하악골을 포함하는 세부 이미지에서 하치조신경관이 하이라이트된 예를 도시하며, 참조번호 2c는 하치조신경관 이미지에 왼쪽 하치조신경관과 오른쪽 하치조신경관이 구분되도록 보다 구체화한 예를 도시한다.
학습용 데이터는 다양할수록 학습 효과가 향상되기 때문에, 다양한 데이터의 생성을 위해 기획득된 세부 이미지를 조정할 수 있다. 예를 들어, 기획득된 세부 이미지에서 하치조신경관 부분을 크롭하고, 왼쪽 하치조신경관 이미지를 대칭시켜 오른쪽 하치조신경관과 유사한 형태를 가지도록 만들 수 있다.
이에 따라, 참조번호 2d에 도시된 바와 같이 하나의 세부 이미지를 통해 오른쪽 하치조신경관에 대한 2개의 이미지가 생성될 수 있고, 생성된 이미지가 데이터베이스에 저장되어 하악골을 포함하는 세부 이미지에서 하치조신경관을 구분하도록 제2 기계학습 알고리즘을 학습시키기 위한 학습용 데이터로 이용될 수 있다.
도시하지는 않았으나, 경우에 따라, 오른쪽 하치조신경관 이미지가 대칭되어 왼쪽 하치조신경관 이미지가 2개 생성되어 제2 기계학습 알고리즘을 학습시키기 위한 학습용 데이터로 이용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 방법을 수행하여 획득된 실험 결과의 예 도시한다.
참조번호 3a는 기지정된 얼굴 영역 이미지에 대한 전문가인 의사의 분석에 의해 얼굴 영역 이미지에 포함되는 해부학적 구성을 판단한 정답 결과로서의 해부학적 구성을 나타내며, 참조번호 3b는 얼굴 영역 이미지 분석 장치(100)에 의해 기지정된 얼굴 영역 이미지를 분석하였을 때 도출되는 해부학적 구성을 나타낸다.
도 6의 참조번호 3a와 3b는 육안으로 거의 차이를 보이고 있지 않는데, 이는 얼굴 영역 이미지 분석 장치(100)가 분석하고자 하는 대상인 얼굴 영역 이미지를 정확하게 구분할 수 있음을 의미한다.
본 발명의 일 실시예에 따른 얼굴 영역 이미지 분석 장치(100) 및 방법은 해부학적 포함 관계에 기초하여 학습된 기계학습 알고리즘을 이용하여 얼굴 영역 이미지를 분석함으로써, 얼굴 영역에 포함되는 해부학적 구성이 보다 정확하게 구분되도록 할 수 있다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 얼굴 영역 이미지 분석 장치
110: 이미지 획득부
120: 이미지 분할부
130: 이미지 분석부
140: 이미지 복원부

Claims (16)

  1. 얼굴 영역의 이미지를 획득하는 단계와,
    상기 얼굴 영역에 포함된 해부학적 구성들의 해부학적 포함 관계를 기초로 학습된 제1 기계학습 알고리즘을 이용하여 상기 이미지를 상기 해부학적 구성들 중 적어도 하나를 각각 포함하는 복수의 세부 이미지로 분할하는 단계와,
    상기 복수의 세부 이미지 중 적어도 하나를 선택하는 입력을 수신하면, 상기 적어도 하나의 세부 이미지를 확대하는 단계와,
    상기 적어도 하나의 세부 이미지에 존재하는 해부학적 구성의 해부학적 세부 구성들의 해부학적 포함 관계를 기초로 학습된 제2 기계학습 알고리즘에 상기 확대된 세부 이미지를 입력하여, 상기 제2 기계학습 알고리즘의 출력으로서 상기 적어도 하나의 세부 이미지에 포함된 해부학적 세부 구성이 구분된 이미지를 출력하는 단계와,
    상기 구분된 해부학적 세부 구성이 상기 세부 이미지내에서 서로 구별된 형태로 표시되도록 상기 세부 이미지를 복원하는 단계를 포함하는
    얼굴 영역 이미지 분석 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 얼굴 영역의 이미지는,
    CBCT(cone beam computed tomography) 이미지를 포함하는
    얼굴 영역 이미지 분석 방법.
  5. 제1항에 있어서,
    상기 제1 기계학습 알고리즘은,
    기획득된 얼굴 영역에 대한 복수의 이미지를 포함하는 데이터베이스에 기초하여 학습되고,
    상기 얼굴 영역은 두개골을 포함하는
    얼굴 영역 이미지 분석 방법.
  6. 제5항에 있어서,
    상기 두개골은,
    두개안면(cranial facial), 상악골(maxilla), 상악동(maxillary sinus), 하악골(mandible)을 포함하는
    얼굴 영역 이미지 분석 방법.
  7. 제1항에 있어서,
    상기 제2 기계학습 알고리즘은,
    상기 얼굴 영역과 관련하여 기획득된 복수의 세부 이미지를 포함하는 데이터베이스에 기초하여 학습된
    얼굴 영역 이미지 분석 방법.
  8. 제1항에 있어서,
    상기 적어도 하나의 세부 이미지 중 제1 세부 이미지가 하악골을 포함하는 이미지이면, 상기 제1 세부 이미지에 포함되는 해부학적 구성은 하치조신경관(mandibular canal), 아래턱(lower jaws) 및 치아 중 적어도 하나를 포함하고,
    상기 적어도 하나의 세부 이미지 중 제2 세부 이미지가 상악골을 포함하는 이미지이면, 상기 제2 세부 이미지에 포함되는 해부학적 구성은 위턱(upper jaws) 및 치아 중 적어도 하나를 포함하는
    얼굴 영역 이미지 분석 방법.
  9. 얼굴 영역의 이미지를 획득하는 이미지 획득부와,
    상기 얼굴 영역에 포함된 해부학적 구성들의 해부학적 포함 관계를 기초로 학습된 제1 기계학습 알고리즘을 이용하여 상기 이미지를 상기 해부학적 구성들 중 적어도 하나를 각각 포함하는 복수의 세부 이미지로 분할하는 이미지 분할부와,
    상기 복수의 세부 이미지 중 적어도 하나를 선택하는 입력을 수신하면, 상기 적어도 하나의 세부 이미지를 확대하고, 상기 적어도 하나의 세부 이미지에 존재하는 해부학적 구성의 해부학적 세부 구성들의 해부학적 포함 관계를 기초로 학습된 제2 기계학습 알고리즘에 상기 확대된 세부 이미지를 입력하여, 상기 제2 기계학습 알고리즘의 출력으로서 상기 적어도 하나의 세부 이미지에 포함된 해부학적 세부 구성이 구분된 이미지를 출력하는 이미지 분석부와
    상기 구분된 해부학적 세부 구성이 상기 세부 이미지내에서 서로 구별된 형태로 표시되도록 상기 세부 이미지를 복원하는 이미지 복원부를 포함하는
    얼굴 영역 이미지 분석 장치.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서,
    상기 얼굴 영역의 이미지는,
    CBCT(cone beam computed tomography) 이미지를 포함하는
    얼굴 영역 이미지 분석 장치.
  13. 제9항에 있어서,
    상기 제1 기계학습 알고리즘은,
    기획득된 얼굴 영역에 대한 복수의 이미지를 포함하는 데이터베이스에 기초하여 학습되고,
    상기 얼굴 영역은 두개골을 포함하는
    얼굴 영역 이미지 분석 장치.
  14. 제13항에 있어서,
    상기 두개골은,
    두개안면(cranial facial), 상악골(maxilla), 상악동(maxillary sinus), 하악골(mandible)을 포함하는
    얼굴 영역 이미지 분석 장치.
  15. 제9항에 있어서,
    상기 제2 기계학습 알고리즘은,
    상기 얼굴 영역과 관련하여 기획득된 복수의 세부 이미지를 포함하는 데이터베이스에 기초하여 학습된
    얼굴 영역 이미지 분석 장치.
  16. 제9항에 있어서,
    상기 적어도 하나의 세부 이미지 중 제1 세부 이미지가 하악골을 포함하는 이미지이면, 상기 제1 세부 이미지에 포함되는 해부학적 구성은 하치조신경관(mandibular canal), 아래턱(lower jaws) 및 치아 중 적어도 하나를 포함하고,
    상기 적어도 하나의 세부 이미지 중 제2 세부 이미지가 상악골을 포함하는 이미지이면, 상기 제2 세부 이미지에 포함되는 해부학적 구성은 위턱(upper jaws) 및 치아 중 적어도 하나를 포함하는
    얼굴 영역 이미지 분석 장치.

KR1020190032588A 2019-03-21 2019-03-21 얼굴 영역 이미지 분석 장치 및 방법 KR102227439B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190032588A KR102227439B1 (ko) 2019-03-21 2019-03-21 얼굴 영역 이미지 분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190032588A KR102227439B1 (ko) 2019-03-21 2019-03-21 얼굴 영역 이미지 분석 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200112309A KR20200112309A (ko) 2020-10-05
KR102227439B1 true KR102227439B1 (ko) 2021-03-15

Family

ID=72809501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190032588A KR102227439B1 (ko) 2019-03-21 2019-03-21 얼굴 영역 이미지 분석 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102227439B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102330981B1 (ko) * 2020-12-30 2021-12-02 이마고웍스 주식회사 딥러닝을 이용한 ct 영상의 악안면골 자동 분할 방법
KR102615545B1 (ko) * 2021-07-16 2023-12-19 오스템임플란트 주식회사 상악동 영상 제공 장치와 방법 및 그 학습 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718868B1 (ko) * 2015-09-21 2017-03-22 한국과학기술연구원 자동 의료영상 분할에 의한 3차원 악안면 모델 형성 방법, 이를 수행하는 자동 영상 분할과 모델 형성 서버 및 이를 저장하는 기록매체
JP2018011958A (ja) 2016-07-21 2018-01-25 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム
JP2019500110A (ja) 2015-12-18 2019-01-10 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101929127B1 (ko) 2017-02-10 2018-12-13 연세대학교 산학협력단 의료 영상에 기반하여 상태를 진단하는 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718868B1 (ko) * 2015-09-21 2017-03-22 한국과학기술연구원 자동 의료영상 분할에 의한 3차원 악안면 모델 형성 방법, 이를 수행하는 자동 영상 분할과 모델 형성 서버 및 이를 저장하는 기록매체
JP2019500110A (ja) 2015-12-18 2019-01-10 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化
JP2018011958A (ja) 2016-07-21 2018-01-25 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
2 단계 결정트리 학습을 이용한 뇌 자기공명영상 분류, 정보과학회논문지, 소프트웨어 및 응용 34(1), 2007.01.*
Deep Geodesic Learning for segmentation and anatomical Landmarking, IEEE TRANSACTIONS ON MEDICAL IMAGING, 2018.10.
Marker-based watershed transform method for fully automatic mandibular segmentation from low-dose CBCT images, 2018.08.

Also Published As

Publication number Publication date
KR20200112309A (ko) 2020-10-05

Similar Documents

Publication Publication Date Title
JP6605249B2 (ja) 歯牙解析装置およびそのプログラム
KR101839789B1 (ko) 치과 영상의 판독 데이터 생성 시스템
JP7152455B2 (ja) セグメンテーション装置および学習モデルの生成方法
JP6830082B2 (ja) 歯科分析システムおよび歯科分析ｘ線システム
KR20210006244A (ko) 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치
KR102227439B1 (ko) 얼굴 영역 이미지 분석 장치 및 방법
EP3698719B1 (en) Mammography apparatus and program
JP2019121283A (ja) 予測モデル生成システム及び予測システム
GB2436980A (en) Apparatus for assisting diagnosis of osteoporosis
Chen et al. Missing teeth and restoration detection using dental panoramic radiography based on transfer learning with CNNs
KR102372962B1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
US20160005237A1 (en) Method and system for automatically aligning models of an upper jaw and a lower jaw
KR102244459B1 (ko) 이미징 장치를 위한 자동 프로토콜 선택
US20220358740A1 (en) System and Method for Alignment of Volumetric and Surface Scan Images
JP2019208832A (ja) 歯科分析システムおよび歯科分析ｘ線システム
US11488305B2 (en) Segmentation device
KR102279160B1 (ko) 이미지의 특이 영역 분석 방법 및 장치
US20230215001A1 (en) Method for facilitating caries detection
CN113226186B (zh) 在牙科诊断中实时可视化患者的颅颌面区域中下颌相对于上颌的移动的装置
Patel et al. Feasibility of automatic differential diagnosis of endodontic origin periapical lesions-a pilot study
Naik et al. Algorithm to detect fracture from OPG images using texture analysis
Choi et al. Automatic Detection of Inferior Alveolar Nerve Canal from Cone-Beam Computed Tomography Images for Dental Surgery Planning.
US20230051400A1 (en) System and Method for Fusion of Volumetric and Surface Scan Images
Misra et al. Segmentation of anterior tissues in craniofacial cone-beam CT images
Stancioi et al. Image Segmentation based System for Computing the Shifting of a Tooth

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant