KR100904084B1

KR100904084B1 - 컬러 분포 기반의 설태 분류 방법

Info

Publication number: KR100904084B1
Application number: KR1020070096690A
Authority: KR
Inventors: 김근호; 최은지; 유현희; 김종열; 이시우
Original assignee: 한국 한의학 연구원
Priority date: 2007-09-21
Filing date: 2007-09-21
Publication date: 2009-06-23
Also published as: KR20090030957A

Abstract

본 발명은 설태 분류 방법에 관한 것으로, 특히 설체 영상 데이터를 조명 조건이나 주변환경에 상관없이 촬영된 영상 데이터 자체만으로 컬러 분포 기반의 분석을 통해 설태를 분류하는 방법에 관한 것으로, 본 발명에 따른 컬러 분포 기반 설태 분류 방법은 설체의 RGB 영상 데이터를 HSV 영상 데이터로 변환하는 제 1 단계, 상기 HSV 영상 데이터의 전체 H 평균값을 계산하는 제 2 단계, 상기 전체 H 평균값 이상의 H값을 가지는 픽셀들의 H 평균값과 상기 전체 H 평균값 이하의 H값을 가지는 픽셀들의 H 평균값의 차이와 소정의 기준값을 비교하는 제 3 단계, 상기 제 3 단계의 비교결과 상기 차이가 상기 기준값보다 크면 상기 전체 H 평균값 이상의 H값을 가지는 픽셀들의 밀도 및 상기 픽셀들간 거리를 고려하여 그룹화하여 설태 영역을 분할하는 제 4 단계, 상기 그룹화된 설태 영역 내부에 포함된 픽셀들의 HSV 평균값에 따라 설태/설질의 종류를 분류하는 제 5 단계를 포함하여 이루어진다.

컬러 분포, 설진, 설태, 설체, 혀, HSV, 분류

Description

컬러 분포 기반의 설태 분류 방법{GROUPING METHOD OF TONGUE COATING REGION USING COLOR-BASED APPROACH}

본 발명은 설태 분류 방법에 관한 것으로, 특히 설체 영상 데이터를 조명 조건이나 주변환경에 상관없이 촬영된 영상 데이터 자체만으로 컬러 분포 기반의 분석을 통해 설태를 분류하는 방법에 관한 것이다.

한의학에서 혀는 인체의 생리, 병리 상태를 반영하는 기관으로서 다른 인체 기관과 관련된 여러 생리기능을 가지고 있으며 특히 설상(舌象)은 인체 내 각종 생리적, 병리적 변화를 객관적으로 반영한다고 알려져 있다. 때문에, 한의학에서는 혀의 상태와 여러 특징들을 진단에 있어 중요한 지표자료로 활용하고 있다.

즉, 한의학에서 혀는 점막 상피가 얇고 투명하며, 혈관과 신경이 풍부하여 변화를 명확하게 볼 수 있기 때문에 체내의 각종 변화를 반영하는 매우 분명한 표식이라 여기고 있다. 때문에 설상(舌象)은 내장의 변화를 반영하는 창문의 역할을 한다고 하여 여러 가지 변증(八綱, 六經, 三焦衛氣營血)에서도 중요한 변증지표로 삼고 있기도 하다.

혀를 진단할 때는 주로 진단자의 시각 정보에 근거하게 되는데, 혀의 색깔과 형태, 움직임, 설질과 설태 등을 주로 보게 되며, 특히, 설태라 불리는 혓바닥에 이끼처럼 덮인 물질은 그것의 색깔, 습윤 정도, 두께, 형태와 설태가 낀 범위 등을 통해 사기(邪氣)의 성질과 침입한 부위, 진액이 있고 없는 것을 가려볼 수 있다고 하여 설진에 중요한 진단요소로 이용되고 있다.

구체적으로 설 진단을 할 때에는 혀의 각 부위를 장부와 연결시켜 진단한다. 혀끝은 심폐(心肺), 혀 가운데는 비위(脾胃), 혀의 양쪽은 간담(肝膽), 혀의 뿌리 쪽은 신(腎)의 병리변화를 반영한다고 하여 각 부위별로 설태(舌苔, tongue coating)의 유무(有無), 후박(厚薄), 부니(腐?), 윤조(潤燥), 안색(顔色) 등을 먼저 보고, 그 후 설질(舌質, tongue substance)의 색택(色澤), 영고(榮枯), 비수(肥瘦), 점자(点刺), 설하이맥(舌下二脈) 등을 보아 각 신체기관의 상태를 파악하게 된다. 여기에서 설질과 설태를 포함하는 혀 영역을 설체(舌體, tongue body) 또는 설진이라고 한다.

이와 같이 혀는 신체기관의 상태를 밖으로 보여주는 중요한 기관이므로, 설진은 한의사 진단을 정량적으로 구현하기 위해서 가장 먼저 연구가 필요한 부분이다. 하지만 비침습적이고 간편한 진단방법임에도 불구하고 설진은 정량화, 표준화의 문제로 인해 널리 활용되지 못하고 있다. 광원과 같은 진단환경의 변화가 진단결과에 많은 영향을 미치게 되며, 진단자의 경험과 지식을 바탕으로 하기 때문에 객관적이고 재현성 있는 결과를 얻기가 힘들기 때문이다. 최근에 들어 비침습적 진단방법에 대한 관심이 높아지면서 설진의 이런 문제를 해결하기 위해 다양한 연구들이 진행되고 있다.

어떠한 형태의 설태를 가지고 있는지 디지털 영상을 통해 분석하기 위해서는 먼저 혀를 포함한 안면 영상에서 설체 영역을 구한 후, 설체 영역내의 설태를 파악하고 설태가 어떠한 상태인지 어떤 종류의 설태인지를 파악해야 한다.

컴퓨터 이미지를 이용해 이러한 설태를 파악하는 종래 기술에는 A novel approach based on computerized image analysis for traditional chinese medical diagnosis of the tongue(computer method and programs in biomedicine 61(2000)77-89) 이 있다.

하지만 이 경우, 컬러 CCD를 사용하여 혀의 영상을 촬영하는데, 높은 충실도를 가진 조명을 사용하여야 한다. 즉 사실적인 이미지를 얻기 위해 조명의 역할이 중요한데, 조명에 따라 다른 색의 설체가 촬영될 수 있어, 조명 조건이나 주변 환경에 따라 컬러 이미지의 색상이 달라지고 그에 따라 다른 결과가 발생될 수 있다. 즉, 조명에 따라 컬러 기준이 달라질 수 있고, 설태와 설질의 분할된 영역이 모호한 문제점이 있다.

또 다른 기술로는 Computerized tongue diagnosis based on Bayesian network(IEEE Trans. Biomedical engineering 51(10)(2004) 1803-1810) 이 있다.

이 경우에도 사용된 조명에 따라 획득된 설체 이미지의 컬러가 달라질 수 있고, 확률 분포를 이용하여 모집단 데이터 베이스의 값과 비교하여 진단을 하므로 모집단 데이터의 특성에 영향을 받기 때문에 환자 군의 빈도에 따라 분류 기준이 달라지는 문제점이 있고, 마찬가지로 설태와 설질의 분할된 영역이 모호한 문제점이 있다.

관련된 종래 발명을 더 살펴보면, 한국공개특허(공개번호 2004-0059312)인 혀영상으로부터 관심영역 추출 방법 및 혀영상을 이용한 건강 모니터링 방법 및 장치는 문턱값을 이용해 혀 영역을 분할하며, 이미 정해진 템플릿 영상과의 정합을 이용해 혀 영상을 설중, 설근, 설변, 설첨 등 위치에 따른 관심영역을 분할하도록 구성된다. 단순히 문턱값만을 이용하는 경우 정확한 혀 영역을 분할하기 어렵고, 기존의 정해진 템플릿과 정합시켜 혀의 위치에 따른 영역분할만을 이용하므로 설태영역은 추출할 수 없는 문제점이 있다.

또 다른 종래 발명으로 일본공개특허(공개번호 2005-137680) 기관색 계측 시스템 및 프로그램이 있는데, 이 발명은 혀의 XYZ 색좌표를 이용하여 혀색을 계측하도록 구성되는데, 마찬가지로 설태영역을 추출하는 것에 관한 구성이 없어 설태 영역만을 분할하고 진단할 수 없는 문제점이 있다.

본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 조명 조건이나 주변 환경에 영향을 받지 않고, 설태와 설질을 명확하게 분할하여 설태의 상태를 판별할 수 있는 컬러 분포 기반의 설태 분류 방법을 제공하는데 그 목적이 있다.

상기한 과제를 해결하기 위한 본 발명의 제 1 특징에 따른 컬러 분포 기반 설태 분류 방법은 설체의 RGB 영상 데이터를 HSV 영상 데이터로 변환하는 제 1 단계, 상기 HSV 영상 데이터의 전체 H 평균값을 계산하는 제 2 단계, 상기 전체 H 평균값 이상의 H값을 가지는 픽셀들의 H 평균값과 상기 전체 H 평균값 이하의 H값을 가지는 픽셀들의 H 평균값의 차이와 소정의 기준값을 비교하는 제 3 단계, 상기 제 3 단계의 비교결과 상기 차이가 상기 기준값보다 크면 상기 전체 H 평균값 이상의 H값을 가지는 픽셀들의 밀도 및 상기 픽셀들간 거리를 고려하여 그룹화하여 설태 영역을 분할하는 제 4 단계, 상기 그룹화된 설태 영역 내부에 포함된 픽셀들의 HSV 평균값에 따라 설태/설질의 종류를 분류하는 제 5 단계를 포함하여 이루어진다.

여기서, 상기 제 1 단계는 HSV 컬러 테이블의 H값이 0 에서 255 범위가 되도록 리사이징하는 제 1 과정, 상기 HSV 컬러 테이블의 H값이 0인 경우를 빨간색으로 설정하고, 상기 H값이 255인 경우를 보라색으로 설정하여 그 사이값들이 빨간색에서 보라색까지 연속적인 색상을 가지도록 HSV 컬러 테이블을 재구성하는 제 2 과 정, 상기 설체의 RGB 영상 데이터를 상기 재구성된 HSV 컬러 테이블을 이용하여 HSV 영상 데이터로 변환하는 제 3 과정을 포함하여 이루어진다.

또한, 상기 제 4 단계는 소정 사이즈의 마스크 필터를 사용하여 상기 전체 H 평균값 이상의 H값을 가지는 픽셀들간 밀도가 소정 기준치 이상인 픽셀들을 검출하는 제 1 과정, 상기 검출된 픽셀들간 최단 거리를 계산하는 제 2 과정, 상기 최단 거리를 고려하여 상기 검출된 픽셀들을 그룹화하여 설태 영역을 분할하는 제 3 과정을 포함하여 이루어진다.

또한, 상기 제 3 과정은 상기 최단거리가 소정 기준치보다 짧은 픽셀들을 서로 그룹화하는 과정, 상기 구룹화된 각 그룹의 무게 중심을 계산하는 과정, 상기 무게 중심을 기준으로 360도 회전하면서 그룹 내의 픽셀 중 상기 무게 중심으로부터 최원거리인 픽셀들을 서로 연결하여 설태 영역을 구획하는 과정을 포함하여 이루어진다.

또한, 상기 제 5 단계는 상기 HSV 평균값을 설태/설질 컬러 테이블과 비교하여 설태/설질의 종류를 분류한다.

또한, 상기 컬러 분포 기반의 설태 분류 방법은 상기 그룹화된 영역의 설태 종류를 전체적으로 종합하여 설체 전체가 설질이거나, 설체 전체가 설태이거나, 설태가 부분적으로 백태, 황태 또는 흑태 임을 판별하는 제 6 단계를 더 포함하여 이루어진다.

상기한 과제를 해결하기 위한 본 발명의 제 2 특징에 따른 컬러 분포 기반 설태 분류 방법은 카메라를 이용하여 설체를 포함하는 안면 영상을 획득하는 제 1 단계, 상기 안면 영상에서 설체 영역만을 추출하는 제 2 단계, 상기 설체 영역 영상을 HSV 컬러 영상으로 포맷을 변환하는 제 3 단계, 상기 설체 영역 전체 H 평균값을 구하는 제 4 단계, 상기 전체 H 평균값 이상의 픽셀들을 밀도 및 픽셀간 거리를 고려하여 인접 픽셀끼리 그룹화하는 제 5 단계, 상기 그룹화된 설태 영역 내부에 포함된 픽셀들의 HSV 평균값에 따라 설태/설질의 종류를 분류하는 제 6 단계를 포함하여 이루어진다.

본 발명에 따른 컬러 분포 기반 설태 분류 방법은 조명 조건이나 주변 환경에 따라 설태 분류 방법이 영향을 받지 않기 때문에 사진 자체의 컬러만으로도 객관적인 판별이 가능하고, 다른 데이터와 비교하여 판별하는 것이 아니라 이미지 자체만을 분석하므로 모집단 데이터의 특성이나 환자 군의 빈도에 상관없이 분류 가능하며, 설태와 설질의 분할된 영역을 명확히 할 수 있어 정확한 설태만을 추출하여 분류할 수 있는 장점이 있다.

이하, 첨부된 도면을 참조하여 본 발명의 구체적인 내용을 설명하면 다음과 같다.

도 1a는 카메라를 이용하여 획득된 설체를 포함하는 안면 영상이 도시된 도이며, 도 1b는 안면 영상에서 설체 부분만을 추출한 영상이 도시된 도이고, 도 2는 본 발명에 따른 컬러 분포 기반 설태 분류 방법이 도시된 순서도이다.

도 2를 참조하여 본 발명에 따른 컬러 분포 기반의 설태 분류 방법을 설명하면, 먼저 카메라를 이용하여 안면 영상을 획득한다.

카메라를 이용하여 설체(혀 또는 설진이라고도 함) 영역이 카메라의 중심에 오도록 하여 혀 영역을 포함하는 안면 영상을 획득한다. 이 경우 카메라는 CCD 카메라 등이 사용될 수 있다.

보다 깨끗한 안면 영상을 획득하기 위해서는 카메라를 구비하는 디지털 설진 시스템을 이용할 수 있다. 디지털 설진 시스템은 접안부를 구비하여 안면을 접안부에 밀착시키면 표준화된 광원과 디지털 카메라를 이용하여 설 영상을 획득하고 색상보정을 통해 더 정확한 영상을 얻을 수 있는 일체화된 장치다.

구체적으로 설명하면, 디지털 설진 시스템은 접안부를 구비하고 있어 안면이 접안부에 고정이 되었을 때 효과적으로 암실을 형성할 수 있도록 인체 공학적으로 설계되었고 광원을 표준화하기 위해 태양광과 가까운 색온도(5500K) 특성을 가진 스트로브 (Strobe) 조명을 사용한다.

이렇게 구성되는 디지털 설진 시스템을 이용하여 혀 영역, 즉 설체 영역이 포함된 안면 영상을 수집한다. 디지털 설진 시스템의 영상은 GUI를 이용하여 실시간으로 볼 수 있다. 이러한 디지털 설진 시스템이 없다면 안면영상을 획득하기 위해 CCD 카메라를 사용하거나 일반 카메라로 찍은 사진을 스캔하는 방법을 사용할 수도 있다.

다음으로, 도 1a와 같이 획득된 안면 영상 속에 포함된 도 1b와 같은 설체 영역만을 추출한다. 안면 영상 중 설체 영역만을 추출하는 방법은 다양한 이미지 프로세싱 방법이 사용될 수 있으며, 특정한 방법에 한정되는 것은 아니다. 또한, 본 발명에서는 미리 추출된 설체 영역의 영상만으로 설태 영역을 분류할 수도 있다.

일반적으로 카메라를 통해 획득된 영상은 RGB 컬러 포맷을 가진다. 이를 본 발명에서는 설태 영역을 용이하게 분류하기 위해 HSV 영상 데이터로 변환한다(S110).

본 발명에서는 HSV 컬러 테이블을 재구성하여 재구성된 HSV 컬러 테이블에 근거하여 HSV 영상 데이터로 변환한다.

도 3은 일반적인 HSV 컬러 테이블의 구성이 도시된 도이다. HSV 컬러는 H, S, V의 세가지 구성요소로 구성된다. H(Hue)는 색상, S(Saturation)은 채도, V(Value)는 명도를 나타낸다. 둥근 원주를 따라 0°에서 360°까지 회전하면서 연속적인 색상과 관련된 H값이 배열된다.

본 발명에서는 먼저 추출된 설체 영상 데이터를 HSV 영상 데이터로 전처리 한다. 그리고 본 발명에 사용되는 HSV 영상 데이터의 컬러 테이블은 일반적인 HSV 영상 데이터의 컬러 테이블과는 그 구성이 상이하다. 특히 H 값을 재구성하여 사용한다. 이는 조명의 영향에 상관없이 정확한 설태의 색상을 분별하기 위함이다.

도 4는 본 발명에 따른 영상 데이터 전처리 과정이 도시된 순서도이다.

구체적인 설명을 위해 먼저 HSV 영상 데이터의 컬러 테이블을 리사이징 한다(S111).

도 5a는 본 발명에 따라 HSV 컬러 테이블을 리사이징한 모습이 도시된 도이다.

도 5a를 참조하면 일반적인 HSV 컬러 테이블의 H값은 0 에서 359사이의 값을 가지나, 본 발명에서는 0 에서 255 사이의 값을 가지도록 컬러 테이블을 리사이징 한다. 리사이징된 HSV 컬러 테이블은 0에 해당하는 색상 및 255에 해당하는 색상이 모두 빨간색 계열이 된다. 즉, 빨간색 계열이 컬러 테이블의 앞쪽과 뒤쪽에 양분되어 있다.

다음으로 리사이징된 HSV컬러 테이블의 색상 배열이 빨강에서 보라색까지 연속적으로 변하도록 HSV 컬러 테이블을 재구성한다(S112). 본 발명에서는 뒤쪽의 빨간색 계열을 앞쪽으로 옮겨 빨간색에서 보라색까지 배열되도록 한다. 즉, HSV 컬러 테이블의 H값이 0인 경우 빨강색 계열이 되도록 하고, 255의 경우 보라색 계열이 되도록 한다. 컬러 테이블의 값이 연속적이므로 정확히 어떠한 값이 빨간색인지 보라색인지 명확한 기준이 명확하진 않지만 그 일 실시예로 아래와 같은 기준으로 재구성한다.

이를 위해 도 5b를 참조하자.

도 5b는 HSV 컬러 테이블에서 앞부분의 빨간색을 분리시킨 모습이 도시된 도이다.

리사이징된 직후 컬러 테이블의 색상 배열은 종래와 똑같다. 즉, 색상의 크 기만 다를뿐 그 배열은 빨간색 계열에서 시작해서 빨간색 계열까지 연속적으로 배열된다.

상기 설명한 바와 같이 본 발명에서는 빨간색 계열에서 보라색 계열까지 배열되도록 컬러 테이블을 재구성한다. 뒷부분의 빨간색 계열을 맨 앞쪽으로 보내는 방법으로 재구성하는데, 일례로 H 값이 220 이상인 큰 부분을 앞쪽으로 보내는 것이다.

즉, 리사이징된 H 값이 220 이상인 경우에는 220을 뺀다. 즉, 220 인 부분의 재구성된 후의 H값은 0 이 되는 것이다. 0 에서 219 사이인 부분의 H 값은 36을 더한다.

도 5c는 본 발명에 따라 재구성된 HSV 컬러 테이블이 도시된 도이다.

도 5c를 참조하면 뒷부분의 붉은색 계열이 앞쪽으로 위치한 것을 알 수 있다. 약간의 보라빛을 가지지만 이를 본 발명에서는 붉은색 계열로 포함시킨다.

상기와 같이 H값이 220 이후 부분을 앞쪽으로 재구성하는 것은 하나의 실시예일 뿐이므로 H값이 230 또는 240 인 부분 이후의 영역을 앞부분에 위치하도록 재구성할 수도 있다. 즉, 혀의 빨간색으로 인지되는 색을 앞부분에 위치하도록 재구성할 수도 있다.

이렇게 재구성된 HSV컬러 테이블을 이용하여 RGB 영상 데이터를 HSV 영상 데이터로 변환한다(S113). RGB 컬러값을 HSV 컬러값으로 변환하거나 다른 컬러 포맷의 영상을 HSV 컬러값으로 변환하는 변환식은 일반적으로 많이 사용되는 것이므로 이에 관한 설명은 생략한다. 다만 상기와 같이 컬러 테이블의 H값의 변화가 있으므 로 재구성된 H값을 가지도록 이를 고려하여 변환한다.

이상과 같이 HSV 컬러 포맷을 가지도록 영상 데이터를 변환한 후, 전체 설체 영역의 H값의 평균값을 구한다. 이를 편의상 전체 H 평균값이라 한다.

상기 전체 H 평균값과 설체 영역의 각 픽셀의 H 값을 비교하여, 전체 H 평균값보다 큰 H값을 가지는 픽셀들의 H 평균값(제 1 평균값)을 구한다.

다음으로, 이를 전체 H 평균값보다 더 작은 H 값을 가지는 픽셀들의 H 평균값(제 2 평균값)을 구한다.

두 평균값의 차이(제 1 평균값 - 제 2 평균값)와 소정의 기준값(threshold)을 비교한다(S130).

여기서 소정의 기준값은 특정 픽셀이 빨간색 계열이 아닌 다른색 계열인 경우 구분되기 위한 기준값이다. 이 기준값을 조절함으로써, 본 발명에서 설태영역과 설질영역을 구분하는 민감도를 조절할 수 있다.

만약 두 평균값의 차이가 상기 소정의 기준값보다 크다면, 설태 영역이 존재한다는 의미이다. 즉 설체의 색상이 일반적인 설질의 색상이 아닌 다른 색상을 가지는 부분이 존재한다는 의미이다.

만약 두 평균값의 차이가 상기 소정의 기준값보다 작다면, 설태 영역이 존재하지 않거나 모두 설태라는 의미이며, 전자는 설체 전체가 설질 영역이라는 의미로 즉, 이 경우는 설태가 없는 무태라는 의미이다.

따라서, 상기 비교결과 그 차이가 상기 기준값보다 크면 상기 전체 H 평균값 이상의 H값을 가지는 픽셀들의 밀도 및 상기 픽셀들간 거리를 고려하여 그룹화하여 설태 영역을 분할한다(S140).

즉, 전체 H 평균값 이상의 H값을 가지는 픽셀들이 설태 영역인 것이다.

일단 설태 영역이 존재한다는 것이 판별되면, 밀도와 픽셀간 최단거리를 고려하여 그룹화한다.

도 6은 본 발명에 따라 밀도 및 픽셀간 거리를 고려하여 그룹화하여 설태 영역을 분할하는 과정이 도시된 순서도이다.

도 6을 참조하면, 먼저 전체 H 평균값 이상의 H값을 가지는 픽셀 중 그 밀집도가 약한 픽셀은 설태 영역에서 제외해야 한다.

이를 위해 소정 사이즈의 마스크 필터를 사용하여 그 밀도(밀집도)가 소정 기준치 이상인 픽셀들만 검출한다(S141). 본 발명에서는 일 실시예로 그 윈도우 사이즈가 3×3인 마스크 필터를 사용하였다.

도 7은 본 발명의 일 실시예로 사용된 마스크 필터가 도시된 도이며, 도 8은 본 발명에 따라 픽셀간 최단 거리를 고려하여 그룹화하는 과정이 도시된 순서도이며, 도 9는 본 발명에 따라 픽셀들을 그룹화하는 모습이 도시된 도이다.

상기 마스크 필터를 이동시켜 가며 영상 데이터를 검사하여 상기 마스크 필터안에 전체 H 평균값 이상의 H값을 가지는 픽셀이 어느 기준 개수 이상 검출될 경우 밀집도가 높다고 보아 그룹화할 대상으로 판별한다. 만약 마스크 내에 단독으로 존재하거나 밀집도가 낮은 경우(P1, P2)에는 그룹화 대상에서 무시한다.

즉, 본 발명에서 밀도를 판별하는 일 실시예로 마스크 필터에 의해 검출되는 수에 따라 밀도를 판별한다.

다음 밀도가 높은 픽셀들간 최단 거리(R1)를 계산한다(S142).

그 후, 상기 최단 거리를 고려하여 상기 밀도가 높다고 판별된 픽셀들을 그룹화하여 설태영역을 분할한다(S143).

그룹화 하여 설태 영역을 구분하는 과정을 구체적으로 설명하면, 먼저 상기 최단거리가 소정의 기준치보다 짧은 픽셀들을 그룹화한다(S143-1).

도 9 에서는 두 개의 그룹이 예시되었다(Group1, Group2).

픽셀간 계산된 최단거리가 소정 기준치보다 긴 경우, 즉 R2 정도의 간격을 가진 픽셀끼리는 같은 그룹에 속하지 않게 된다. 따라서 그룹을 구별하는 픽셀간 간격인 상기 기준치는 R1 과 R2 사이의 값이다.

상기 기준치를 조절함으로써, 그룹별 분할 민감도를 조절할 수 있다.

일단 밀도가 높고 간격이 짧은 픽셀들을 그룹화한 뒤에는 각 그룹별로 그 경계영역을 구획한다.

이를 위해 먼저, 그룹화된 각 그룹의 무게 중심(G1, G2)을 계산한다(S143-2).

다음으로, 무게 중심(G1, G2)를 기준으로 360도 회전하면서 동일 그룹내의 픽셀 중 무게 중심(G1, G2)으로부터 최원거리인 픽셀들을 서로 연결하여 설태 영역을 구획한다(S143-3).

즉, 각 그룹별로 그 무게중심으로부터 가장 외곽에 존재하는 픽셀들을 연결하여 그룹간 경계선을 확정짓는다.

이렇게 구분된 경계선을 디스플레이 장치로 출력하면 설태 영역의 경계가 구획되어 보이게 된다.

설태 영역을 그룹화하여 그룹화도니 설태 영역 내부에 포함된 픽셀들의 HSV 평균값에 따라 설태/설질의 종류를 분류한다(S150).

이 경우 설태/설질의 종류와 관련된 HSV 값들의 범위가 분류된 설태/설질 컬러 테이블을 구비하여, 상기 HSV 평균값이 속하는 범위의 설태 종류가 해당 그룹의 설태 분류가 된다.

설태/설질 컬러 테이블은 HSV 컬러값에 따라 붉은색, 노란색, 흰색, 검은색 등의 영역으로 구분된다.

아래 표 1은 설태/설질 컬러 테이블의 일예가 도시된 도이다.

설태 종류	H	S	L
설질(붉은색 영역)	0≤H≤50
황태(노란색 영역)	50<H≤90
백태(흰색 영역)		0≤S≤40	90≤L≤100
흑태(검은색 영역)			0≤L≤20

만약, HSV 컬러 평균값이 붉은색 영역에 해당되는 경우에는 그 그룹은 설진 영역이라는 의미이며, HSV 컬러 평균값이 노란색 영역에 해당되는 경우에는 그 그룹은 설태가 황태라는 의미이다.

또한, HSV 컬러 평균값이 흰색 영역에 해당되는 경우에는 그 그룹은 설태가 백태라는 의미이고, HSV 컬러 평균값이 검은색 영역에 해당되는 경우에는 그 그룹은 설태가 흑태라는 의미이다.

여기서 그룹화 되었다는 것은 설태가 존재한다는 것이므로 특정 그룹이 붉은색 영역에 해당하는 경우는 실질적으로 거의 없을 것이다. 다만 S130 단계에서 제 1 평균값과 제 2 평균값의 차이와 비교하는 기준값이 아주 작은 경우에는 존재할 수도 있다.

이렇게 각 그룹별로 설태의 종류가 결정되면, 그룹별 설태 종류를 전체적으로 종합하여 설체 전체의 설태 종류를 분류한다(S160).

이 경우, S130 단계에서 전체 H 평균값 이상의 H값을 가지는 픽셀들의 H 평균값과 상기 전체 H 평균값 이하의 H값을 가지는 픽셀들의 H 평균값의 차이가 소정의 기준값보다 적은 경우에 설체에서 설태라고 불리울 만한 영역이 없다고 판별하고 전체 설체가 설질 영역으로만 된 무태라고 판별한다. 또한 H 평균값의 차이가 소정의 기준값보다 적은 다른 경우에 H 평균값을 판별하여 설체에서 모든 영역이 설태라고 판별할 수 있다. 설질과 설태의 H 평균값은 비교적 명확히 구분된다.

전체 그룹이 백태만으로 이루어진 경우 전체 설체가 백태라고 판별하며, 전체 그룹이 황태만으로 이루어진 경우 전체 설체가 황태라고 판별하고, 전체 그룹이 흑태만으로 이루어진 경우 전체 설체가 흑태라고 판별한다.

그룹의 일부가 황태, 백태, 흑태 등인 경우에는 혼합태라고 최종적으로 판별한다.

본 발명에서는 S130 단계에서 전체 H 평균값, 상기 전체 H 평균값 이상의 H값을 가지는 픽셀들의 H 평균값(제 1 평균값) 및 상기 전체 H 평균값 이하의 H값을 가지는 픽셀들의 H 평균값(제 2 평균값)을 이용하여 설태 유무를 판단하기 때문에 설체 영상 데이터 자체가 조명에 의해 전체적인 색감에 왜곡이 있더라도, 그 H 값의 상대적인 평가에 의해 설태가 분류되므로, 조명등에 의해 영향을 받지 않고 객관적인 판별이 가능하다.

본 발명에 의해 분류되는 설태의 형태의 일례를 사진을 통해 참조하면 도 10 내지 도 12와 같다.

도 10은 설태가 백태인 경우의 안면 영상 및 설체 영상이 도시된 도이며, 도 11은 설태가 황태인 경우의 안면 영상 및 설체 영상이 도시된 도이고, 도 12는 설태가 혼합태인 경우의 안면 영상 및 설체 영상이 도시된 도이다.

본 발명은 상기와 같은 방법으로 설체의 설태 분류를 설체의 영상 데이터만으로도 자동으로 판별할 수 있다.

이상과 같이 본 발명에 의한 컬러 분포 기반 설태 분류 방법을 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.

도 1a는 카메라를 이용하여 획득된 설체를 포함하는 안면 영상이 도시된 도이다.

도 1b는 안면 영상에서 설체 부분만을 추출한 영상이 도시된 도이다.

도 2는 본 발명에 따른 컬러 분포 기반 설태 분류 방법이 도시된 순서도이다.

도 3은 일반적인 HSV 컬러 테이블의 구성이 도시된 도이다.

도 5b는 HSV 컬러 테이블에서 앞부분의 보라색을 분리시킨 모습이 도시된 도이다.

도 7는 본 발명의 일 실시예로 사용된 마스크 필터가 도시된 도이다.

도 8은 본 발명에 따라 픽셀간 최단 거리를 고려하여 그룹화하는 과정이 도시된 순서도이다.

도 9는 본 발명에 따라 픽셀들을 그룹화하는 모습이 도시된 도이다.

도 10은 설태가 백태인 경우의 안면 영상 및 설체 영상이 도시된 도이다.

도 11은 설태가 황태인 경우의 안면 영상 및 설체 영상이 도시된 도이다.

도 12는 설태가 혼합태인 경우의 안면 영상 및 설체 영상이 도시된 도이다.

Claims

설체의 RGB 영상 데이터를 HSV 영상 데이터로 변환하는 제 1 단계;

상기 HSV 영상 데이터의 전체 H 평균값을 계산하는 제 2 단계;

상기 전체 H 평균값 이상의 H값을 가지는 픽셀들의 H 평균값과 상기 전체 H 평균값 이하의 H값을 가지는 픽셀들의 H 평균값의 차이를 기설정된 제1기준값과 비교하는 제 3 단계;

상기 제 3 단계의 비교결과 상기 차이가 상기 제1기준값보다 크면 상기 전체 H 평균값 이상의 H값을 가지는 픽셀들의 밀도 및 상기 픽셀들간 거리를 고려하여 그룹화하여 설태 영역을 분할하는 제 4 단계; 및

상기 그룹화된 설태 영역 내부에 포함된 픽셀들의 HSV 평균값에 따라 설태/설질의 종류를 분류하는 제 5 단계를 포함하여 이루어지는 컬러 분포 기반의 설태 분류 방법.
청구항 1에 있어서,

상기 제 1 단계는 HSV 컬러 테이블의 H값이 0 에서 255 범위가 되도록 리사이징하는 제 1 과정;

상기 HSV 컬러 테이블의 H값이 0인 경우를 빨간색으로 설정하고, 상기 H값이 255인 경우를 보라색으로 설정하여 그 사이값들이 빨간색에서 보라색까지 연속적인 색상을 가지도록 HSV 컬러 테이블을 재구성하는 제 2 과정; 및

상기 설체의 RGB 영상 데이터를 상기 재구성된 HSV 컬러 테이블을 이용하여 HSV 영상 데이터로 변환하는 제 3 과정을 포함하여 이루어지는 컬러 분포 기반의 설태 분류 방법.
청구항 2에 있어서,

상기 제 2 과정은 상기 제 1 과정에 의해 리사이징 된 H값이 220 이상인 경우 220을 빼고, 220 미만인 경우에는 36을 더하여 HSV 컬러 테이블을 재구성하는 것을 특징으로 하는 컬러 분포 기반의 설태 분류 방법.
청구항 1에 있어서,

상기 제 4 단계는 소정 사이즈의 마스크 필터를 사용하여 상기 전체 H 평균값 이상의 H값을 가지는 픽셀들간 밀도가 기설정된 제2기준값 이상인 픽셀들을 검출하는 제 1 과정;

상기 검출된 픽셀들간 최단 거리를 계산하는 제 2 과정; 및

상기 최단 거리를 고려하여 상기 검출된 픽셀들을 그룹화하여 설태 영역을 분할하는 제 3 과정을 포함하여 이루어지는 것을 특징으로 하는 컬러 분포 기반의 설태 분류 방법.
청구항 4에 있어서,

상기 마스크 필터의 사이즈는 3×3 픽셀인 것을 특징으로 하는 컬러 분포 기반의 설태 분류 방법.
청구항 4에 있어서,

상기 제 1 과정은 상기 전체 H 평균값 이상의 H값을 가지는 픽셀이 상기 마스크 필터에 의해 검출되는 수에 따라 밀도를 판별하는 것을 특징으로 하는 컬러 분포 기반의 설태 분류 방법.
청구항 4에 있어서,

상기 제 3 과정은 상기 최단거리가 기설정된 제3기준값보다 짧은 픽셀들을 서로 그룹화하는 과정;

상기 구룹화된 각 그룹의 무게 중심을 계산하는 과정; 및

상기 무게 중심을 기준으로 360도 회전하면서 그룹 내의 픽셀 중 상기 무게 중심으로부터 최원거리인 픽셀들을 서로 연결하여 설태 영역을 구획하는 과정을 포함하여 이루어지는 컬러 분포 기반의 설태 분류 방법.
청구항 1에 있어서,

상기 제 5 단계는 상기 HSV 평균값을 설태/설질 컬러 테이블과 비교하여 설태/설질의 종류를 분류하는 것을 특징으로 하는 컬러 분포 기반의 설태 분류 방법.
청구항 8에 있어서,

상기 설태/설질 컬러 테이블은 HSV 컬러값에 따라 붉은색, 노란색, 흰색, 블랙 영역으로 구분되는 것을 특징으로 하는 컬러 분포 기반의 설태 분류 방법.
청구항 9에 있어서,

상기 HSV 평균값이 붉은색 영역에 해당되는 경우 해당 그룹은 설질 영역으로 판별되는 것을 특징으로 하는 컬러 분포 기반의 설태 분류 방법.
청구항 9에 있어서,

상기 HSV 평균값이 노란색 영역에 해당되는 경우 해당 그룹은 황태 영역으로 판별되는 것을 특징으로 하는 컬러 분포 기반의 설태 분류 방법.
청구항 9에 있어서,

상기 HSV 평균값이 흰색 영역에 해당되는 경우 해당 그룹은 백태 영역으로 판별되는 것을 특징으로 하는 컬러 분포 기반의 설태 분류 방법.
청구항 9에 있어서,

상기 HSV 평균값이 검은색 영역에 해당되는 경우 해당 그룹은 흑태 영역으로 판별되는 것을 특징으로 하는 컬러 분포 기반의 설태 분류 방법.
청구항 1에 있어서,

상기 컬러 분포 기반의 설태 분류 방법은 상기 그룹화된 영역의 설태 종류를 전체적으로 종합하여 설체 전체가 설질이거나, 설체 전체가 설태이거나, 설태가 부분적으로 백태, 황태 또는 흑태 임을 판별하는 제 6 단계를 더 포함하여 이루어지는 컬러 분포 기반의 설태 분류 방법.
청구항 14에 있어서,

상기 제 6 단계는 상기 제 3 단계의 비교 결과 상기 차이가 상기 제1기준값보다 작거나 같은 경우 또는 상기 전체 H 평균이 상기 제1기준값보다 작은 경우에는 설체 전체가 설질이라고 판별하는 것을 특징으로 하는 컬러 분포 기반의 설태 분류 방법.
청구항 1에 있어서,

상기 컬러 분포 기반의 설태 분류 방법은 제 1 단계 이전에 설체를 포함하는 안면 전체 영상으로부터 실체 영역만을 검출하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 컬러 분포 기반의 설태 분류 방법.
카메라를 이용하여 설체를 포함하는 안면 영상을 획득하는 제 1 단계;

상기 안면 영상에서 설체 영역만을 추출하는 제 2 단계;

상기 설체 영역 영상을 HSV 컬러 영상으로 포맷을 변환하는 제 3 단계;

상기 설체 영역 전체 H 평균값을 구하는 제 4 단계;

상기 전체 H 평균값 이상의 픽셀들을 밀도 및 픽셀간 거리를 고려하여 인접 픽셀끼리 그룹화하는 제 5 단계; 및

상기 그룹화된 설태 영역 내부에 포함된 픽셀들의 HSV 평균값에 따라 설태/설질의 종류를 분류하는 제 6 단계를 포함하여 이루어지는 컬러 분포 기반의 설태 분류 방법.
청구항 17에 있어서,

상기 제 3 단계는 HSV 컬러 테이블의 H값이 0 에서 255 범위가 되도록 리사이징하는 제 1 과정;

상기 HSV 컬러 테이블의 H값이 220 이상이면 그 H 값에 220을 빼고, 220 미만이면 36을 더하여 HSV 컬러 테이블을 재구성하는 제 2 과정; 및

상기 재구성된 HSV 컬러 테이블을 이용하여 HSV 영상 데이터로 변환하는 제 3 과정을 포함하여 이루어지는 컬러 분포 기반의 설태 분류 방법.
청구항 17에 있어서,

상기 제 5 단계는 소정 사이즈의 마스크 필터를 사용하여 상기 전체 H 평균값 이상의 H값을 가지는 픽셀들간 밀도가 기설정된 제2기준값 이상인 픽셀들을 검출하는 제 1 과정;

상기 검출된 픽셀들간 최단 거리를 계산하는 제 2 과정;

상기 최단거리가 기설정된 제3기준값보다 짧은 픽셀들을 서로 그룹화하는 제 3 과정;

상기 구룹화된 각 그룹의 무게 중심을 계산하는 제 4 과정; 및

상기 무게 중심을 기준으로 360도 회전하면서 그룹 내의 픽셀 중 상기 무게 중심으로부터 최원거리인 픽셀들을 서로 연결하여 설태 영역을 구획하는 제 5 과정을 포함하여 이루어지는 컬러 분포 기반의 설태 분류 방법.
청구항 17에 있어서,

상기 컬러 분포 기반의 설태 분류 방법은 상기 그룹화된 영역의 설태 종류를 전체적으로 종합하여 설체 전체가 설질이거나, 설체 전체가 설태이거나, 설태가 부분적으로 백태, 황태 또는 흑태 임을 판별하는 제 7 단계를 더 포함하여 이루어지는 컬러 분포 기반의 설태 분류 방법.