KR101592110B1 - 눈 모양 분류 장치 및 방법 - Google Patents

눈 모양 분류 장치 및 방법 Download PDF

Info

Publication number
KR101592110B1
KR101592110B1 KR1020140101434A KR20140101434A KR101592110B1 KR 101592110 B1 KR101592110 B1 KR 101592110B1 KR 1020140101434 A KR1020140101434 A KR 1020140101434A KR 20140101434 A KR20140101434 A KR 20140101434A KR 101592110 B1 KR101592110 B1 KR 101592110B1
Authority
KR
South Korea
Prior art keywords
eye
vector
contour
image
intensity
Prior art date
Application number
KR1020140101434A
Other languages
English (en)
Inventor
장준수
도준형
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020140101434A priority Critical patent/KR101592110B1/ko
Application granted granted Critical
Publication of KR101592110B1 publication Critical patent/KR101592110B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

눈 모양 분류 방법은 제1 영상에서 눈 영역을 검출하는 단계; 상기 검출된 눈 영역을 이용하여 눈 모양을 나타내는 제1 눈 벡터를 생성하는 단계; 상기 제1 눈 벡터를 복수의 참조 클러스터 각각의 눈 벡터와 비교하는 단계 - 상기 복수의 참조 클러스터는 미리 정해진 기준에 따라 복수의 눈 모양이 분류된 것임 - ; 및 상기 비교 결과에 따라 상기 제1 눈 벡터에 대응하여 상기 복수의 참조 클러스터 중 제1 클러스터를 결정하고, 상기 제1 클러스터의 눈 모양을 상기 제1 영상의 눈 모양으로 분류하는 단계를 포함하고, 상기 제1 눈 벡터는, 상기 눈 영역의 윤곽선 강도를 나타내는 제1 윤곽선 강도 벡터 및 상기 눈 영역의 윤곽선 각도를 나타내는 제1 윤곽선 각도 벡터를 포함할 수 있다.

Description

눈 모양 분류 장치 및 방법{APPARATUS AND METHOD FOR classification of eye shape}
눈 모양 분류 장치 및 방법에 연관되며, 구체적으로는 사용자의 안면 영상을 분석하여 눈 모양을 분류하는 장치 및 방법에 연관된다.
현대 사회는 건강에 대한 관심이 나날이 증가하고 있다. 이러한 시대적인 관심과 더불어, 실시간 데이터 수집에 의한 데이터 분석 방식 및 툴이 고도화되는 등 기술이 비약적으로 발전함에 따라서, 건강 상태를 모니터링하고 개인화된 건강 관리 서비스를 제공받는 것이 가능하게 되었다.
또한, 소비자의 의식 변화에 따른 고객 요구의 다양화와 기대수준의 향상으로 건강 서비스 및 관련 시스템 이용의 편리성 및 맞춤화가 강화되고 있는 추세이며, 축적된 개인의 건강 데이터를 바탕으로 생활 습관병 예방이나 체중관리 등의 개인화(personalized) 건강관리 사업이 급속도로 성장하고 있다.
이는 과거 건강관리 서비스가 환자를 대상으로 병원이나 의료기관에서 이루어지는 질병 치료에만 국한되는 헬스케어(Healthcare) 중심으로 이루어졌다면, 최근 소비자들의 건강관리 니즈(needs)는 건강한 사람을 대상으로 하는 질병의 사전예방 및 건강유지로 선회되고 있음을 반증하는 결과이다.
최근 건강 관리에 대한 관심이 고조되면서 건강 정보를 제공하는 곳이 많지만 사용자의 눈 모양을 기초로 하여 건강 정보를 제공하는 것은 거의 없다.
따라서, 안면 영상을 이용하여 눈 특징을 나타내는 벡터를 생성하여 눈 모양을 분류하는 장치가 필요하다.
일측에 따르면, 제1 영상에서 눈 영역을 검출하는 단계; 상기 검출된 눈 영역을 이용하여 눈 모양을 나타내는 제1 눈 벡터를 생성하는 단계; 상기 제1 눈 벡터를 복수의 참조 클러스터 각각의 눈 벡터와 비교하는 단계 - 상기 복수의 참조 클러스터는 미리 정해진 기준에 따라 복수의 눈 모양이 분류된 것임 - ; 및 상기 비교 결과에 따라 상기 제1 눈 벡터에 대응하여 상기 복수의 참조 클러스터 중 제1 클러스터를 결정하고, 상기 제1 클러스터의 눈 모양을 상기 제1 영상의 눈 모양으로 분류하는 단계를 포함하고, 상기 제1 눈 벡터는, 상기 눈 영역의 윤곽선 강도를 나타내는 제1 윤곽선 강도 벡터 및 상기 눈 영역의 윤곽선 각도를 나타내는 제1 윤곽선 각도 벡터를 포함하는 눈 모양 분류 방법이 제공된다.
일실시예에 따르면, 상기 눈 영역의 윤곽선을 검출하는 단계를 더 포함할 수 있다.
다른 일실시예에 따르면, 상기 제1 영상의 픽셀 각각에 대한 강도값과 미리 정해진 제1 임계값을 이용하여 상기 제1 영상의 픽셀 각각에 대한 윤곽선 강도값을 결정하는 단계를 더 포함할 수 있다.
여기서, 상기 제1 눈 벡터를 생성하는 단계는, 상기 제1 영상의 픽셀 각각에 대한 윤곽선 강도값에 기초하여 상기 제1 윤곽선 강도 벡터 및 상기 제1 윤곽선 각도 벡터를 생성하는 것일 수 있다.
또한, 상기 눈 영역의 윤곽선을 검출하는 단계는, 상기 윤곽선 강도값을 이용하여 윤곽선을 연결하는 단계; 및 상기 연결된 윤곽선이 미리 정해진 개수 이상의 픽셀들로 연결되지 않으면 상기 연결된 윤곽선을 제거하는 단계를 포함할 수 있다.
한편, 상기 제1 눈 벡터를 복수의 참조 클러스터 각각의 눈 벡터와 비교하는 단계는, 상기 제1 눈 벡터를 상기 복수의 참조 클러스터 각각에 대한 대표 눈 벡터와 비교하고, 상기 대표 눈 벡터는 상기 복수의 참조 클러스터 각각에 포함된 눈 벡터의 평균값일 수 있다.
일실시예에 따르면, 상기 제1 영상에 포함된 눈 영역의 눈 모양과 상기 제1 클러스터의 눈 모양과의 유사도를 계산하는 단계를 더 포함할 수 있다.
여기서, 상기 유사도를 계산하는 단계는, 유클리디안 거리(Euclidean Distance) , 마할라노비스 거리(Mahalanobis distance), Manhattan 거리 및 Supremum 거리 중 적어도 하나를 이용하여 상기 유사도를 계산할 수 있다.
다른 일실시예에 따르면, 상기 제1 윤곽선 각도 벡터는, 각도 벡터 계산 대상 픽셀의 강도값 및 상기 대상 픽셀의 주변 픽셀의 강도 값의 비교 결과에 따라, 계산될 수 있다.
다른 일측에 따르면, 복수의 영상 각각에서 상기 눈 영역을 검출하는 단계; 상기 검출된 눈 영역을 이용하여 상기 복수의 영상 각각에 대해 눈 모양을 나타내는 참조 눈 벡터를 생성하는 단계; 상기 참조 눈 벡터를 미리 정해진 기준에 따라 복수의 참조 클러스터 중 하나로 분류하는 단계를 포함하고, 상기 참조 눈 벡터는, 상기 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 강도를 나타내는 참조 윤곽선 강도 벡터 및 상기 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 각도를 나타내는 참조 윤곽선 각도 벡터를 포함하는 눈 모양의 참조 클러스터 생성 방법이 제공된다.
일실시예에 따르면, 상기 복수의 영상 각각에서 검출된 눈 영역의 윤곽선을 검출하는 단계를 더 포함할 수 있다.
다른 일실시예에 따르면, 상기 참조 눈 벡터를 생성하는 단계는, 상기 복수의 영상 각각의 픽셀 각각에 대한 윤곽선 강도값에 기초하여 상기 참조 윤곽선 강도 벡터 및 상기 참조 윤곽선 각도 벡터를 생성할 수 있다.
여기서, 상기 미리 정해진 기준은, 상기 눈 모양의 윤곽선에 기초하는 것 일 수 있다.
다른 일실시예에 따르면, 상기 참조 윤곽선 각도 벡터는, 상기 복수의 영상 각각에 대한 각도 벡터 계산 대상 픽셀의 강도값 및 상기 대상 픽셀의 주변 픽셀의 강도 값의 비교 결과에 따라, 계산될 수 있다.
또 다른 일측에 따르면, 눈 영역을 포함하는 제1 영상을 획득하는 영상 획득 장치; 및 상기 제1 영상으로부터 상기 눈 영역을 검출하고, 상기 검출된 눈 영역을 이용하여 눈 모양을 나타내는 제1 눈 벡터를 생성하고, 상기 제1 눈 벡터를 복수의 참조 클러스터 각각의 눈 벡터와 비교하고, 상기 비교 결과에 따라 상기 제1 눈 벡터에 대응하여 상기 복수의 참조 클러스터 중 제1 클러스터를 결정하고, 상기 제1 클러스터의 눈 모양을 상기 제1 영상의 눈 모양으로 분류하는 프로세서를 포함하고, 상기 제1 눈 벡터는, 상기 눈 영역의 윤곽선 강도를 나타내는 제1 윤곽선 강도 벡터 및 상기 눈 영역의 윤곽선 각도를 나타내는 제1 윤곽선 각도 벡터를 포함하고, 상기 복수의 참조 클러스터는 미리 정해진 기준에 따라 복수의 눈 모양이 분류된 눈 모양 분류 장치가 제공된다.
일실시예에 따르면, 상기 프로세서는, 상기 눈 영역의 윤곽선을 검출할 수 있다.
다른 일실시예에 따르면, 상기 프로세서는, 상기 제1 영상의 픽셀 각각에 대한 강도값과 미리 정해진 제1 임계값을 이용하여 상기 제1 영상의 픽셀 각각에 대한 윤곽선 강도값을 결정할 수 있다.
또한, 상기 프로세서는, 상기 제1 영상의 픽셀 각각에 대한 윤곽선 강도값에 기초하여 상기 제1 윤곽선 강도 벡터 및 상기 제1 윤곽선 각도 벡터를 생성할 수 있다.
또 다른 일실시예에 따르면, 상기 프로세서는, 각도 벡터 계산 대상 픽셀의 강도값 및 상기 대상 픽셀의 주변 픽셀의 강도 값의 비교 결과에 따라, 상기 제1 윤곽선 각도 벡터를 계산할 수 있다.
또 다른 일측에 따르면, 복수의 영상 각각에서 눈 영역을 검출하는 영상 획득 장치; 상기 복수의 영상 각각으로부터 상기 눈 영역을 검출하고, 상기 검출된 눈 영역을 이용하여 상기 복수의 영상 각각에 대해 눈 모양을 나타내는 참조 눈 벡터를 생성하고, 상기 참조 눈 벡터를 미리 정해진 기준에 따라 복수의 참조 클러스터 중 하나로 분류하는 프로세서를 포함하고, 상기 참조 눈 벡터는, 상기 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 강도를 나타내는 참조 윤곽선 강도 벡터 및 상기 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 각도를 나타내는 참조 윤곽선 각도 벡터를 포함하는 눈 모양의 참조 클러스터 생성 장치가 제공된다.
도 1은 일실시예에 따른 눈 모양 분류 장치의 블록도이다.
도 2는 일실시예에 따라, 스케일을 변화해 가며 눈 영역의 검출을 나타낸 예시 도면이다.
도 3은 일실시예에 따라, 검출된 눈 영역 및 눈 영역에 대한 윤곽선을 나타낸 예시 도면이다.
도 4는 일실시예에 따른 눈 모양 분류 방법의 흐름을 나타낸 순서도이다.
도 5는 일실시예에 따라, 눈 벡터를 생성하는 흐름을 나타낸 순서도이다.
도 6은 일실시예에 따른 눈 모양의 참조 클러스터 생성 장치의 블록도이다.
도 7은 일실시예에 따른 눈 모양의 참조 클러스터 생성 방법의 흐름을 나타낸 순서도이다.
이하에서, 일부 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례, 새로운 기술의 출현 등에 따라 달라질 수 있다.
또한 특정한 경우는 이해를 돕거나 및/또는 설명의 편의를 위해 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
도 1은 일실시예에 따른 눈 모양 분류 장치의 블록도이다.
일실시예에 따르면, 눈 모양 분류 장치(100)는 사용자로부터 영상을 입력 받아, 입력 받은 영상으로부터 눈 영역을 검출할 수 있다. 검출된 눈 영역에서 눈 모양을 나타내는 눈 벡터를 추출하여, 눈 모양을 분류할 수 있다. 여기서 눈 벡터는 사용자의 눈 특징을 나타내는 벡터이다. 여기서, 추출된 눈 벡터는 복수의 참조의 클러스터의 눈 벡터와 비교하여 근접한 눈 벡터를 포함한 클러스터에 대응시킬 수 있다. 복수의 참조 클러스터는 복수의 눈 모양을 포함한 영상을 눈 모양에 따라 분류된 것일 수 있다. 눈 모양은 눈 형태일 수 있다. 예를 들면, 눈 모양은 둥근 눈, 찢어진 눈, 처진 눈, 날카로운 눈 등으로 분류될 수 있다.
일실시예에 따르면, 눈 모양 분류 장치(100)는 영상 획득 장치(110) 및 프로세서(120)를 포함할 수 있다. 영상 획득 장치(110)는 눈 영역을 포함하는 제1 영상을 획득할 수 있다. 영상 획득 장치(110)는 입력 인터페이스로부터 제1 영상을 입력 받을 수 있다. 여기서, 영상 획득 장치(110)는 외부로부터 제1 영상을 입력 받을 수 있고, 사용자의 눈 영역을 포함하는 안면 영상을 촬영하여 제1 영상을 획득할 수도 있다. 영상 획득 장치(110)는 카메라의 기능을 가진 장치를 포함할 수 있다.
일실시예에 따르면, 프로세서(120)는 제1 영상으로부터 눈 영역을 검출할 수 있다. 프로세서(120)는 검출된 눈 영역을 이용하여 눈 모양을 나타내는 제1 눈 벡터를 생성할 수 있다. 여기서, 제1 눈 벡터는 눈 영역의 윤곽선 강도를 나타내는 제1 윤곽선 강도 벡터 및 눈 영역의 윤곽선 각도를 나타내는 제1 윤곽선 각도 벡터를 포함할 수 있다.
또한, 프로세서(120)는 제1 눈 벡터를 복수의 참조 클러스터 각각의 눈 벡터와 비교하여 비교 결과에 따라 제1 눈 벡터에 대응하여 복수의 참조 클러스터 중 제1 클러스터를 결정할 수 있다. 복수의 참조 클러스터는 미리 정해진 기준에 따라 복수의 눈 모양이 분류된 것이다. 제1 클러스터의 눈 모양을 제1 영상의 눈 모양으로 분류할 수 있다.
일실시예에 따르면, 복수의 참조 클러스터는 제1 참조 클러스터, 제2 참조 클러스터, 제3 참조 클러스터 및 제4 참조 클러스터로 분류될 수 있다. 제1 참조 클러스터는 "A" 모양을 가진 클러스터, 제2 참조 클러스터는 "B" 모양을 가진 클러스터, 제3 참조 클러스터는 "C" 모양을 가진 클러스터, 제4 참조 클러스터는 "D" 모양을 가진 클러스터로 분류될 수 있다. 여기서 복수의 참조 클러스터는 복수 개의 눈 영역을 포함하는 영상들을 기초로 하여 분류된 것일 수 있다. 영상들 각각에서 눈 모양을 나타내는 눈 벡터가 계산되고, 계산된 눈 벡터는 미리 정해진 기준에 따라 해당 클러스터로 분류될 수 있다.
일실시예에 따르면, 프로세서(120)는 눈 영역의 윤곽선을 검출할 수 있다. 검출된 윤곽선을 이용하여 눈 영역의 윤곽선 강도를 나타내는 제1 윤곽선 강도 벡터 및 눈 영역의 윤곽선 각도를 나타내는 제1 윤곽선 각도 벡터를 생성할 수 있다. 제1 윤곽선 강도 벡터 및 제1 윤곽선 각도 벡터는 제1 영상의 픽셀 각각에 대한 윤곽선 강도값에 기초하여 생성될 수 있다. 여기서, 윤곽선 강도값은 제1 영상의 픽셀 각각에 대한 강도값과 미리 정해진 임계값을 이용하여 결정될 수 있다.
일실시예에 따르면, 제1 윤곽선 각도 벡터는 각도 벡터 계산 대상 픽셀의 강도값 및 대상 픽셀의 주변 픽셀의 강도값의 비교 결과에 따라 계산될 수 있다.
다른 일실시예에 따르면, 프로세서(120)는 제1 영상에서 눈 영역에 해당하는 윤곽선을 검출할 수 있다. 프로세서(120)는 윤곽선 강도값을 이용하여 윤곽선을 연결할 수 있다. 연결된 윤곽선에서 불필요한 부분은 제거될 수 있다. 연결된 윤곽선이 미리 정해진 개수 이상의 픽셀들로 연결되지 않으면 프로세서(120)는 연결된 윤곽선을 제거할 수 있다.
또한, 프로세서(120)는 제1 눈 벡터를 복수의 참조 클러스터 각각의 눈 벡터와 비교할 수 있다. 여기서, 제1 눈 벡터는 복수의 참조 클러스터 각각에 대한 대표 눈 벡터와 비교될 수 있다. 대표 눈 벡터는 해당 참조 클러스터에 포함된 눈 벡터의 평균값일 수 있다. 프로세서(120)는 비교 결과에 따라 제1 눈 벡터에 대응하여 복수의 참조 클러스터 중 제1 클러스터를 결정할 수 있다. 제1 클러스터의 눈 모양을 제1 영상의 눈 모양으로 분류할 수 있다.
일실시예에 따르면, 프로세서(120)는 제1 영상에 포함된 눈 영역의 눈 모양과 제1 클러스터에 해당되는 눈 모양과의 유사도를 계산할 수 있다. 여기서 유사도는 유클리디안 거리(Euclidean Distance), 마할라노비스 거리(Mahalanobis distance), Manhattan 거리 및 Supremum 거리 중 적어도 하나를 이용하여 상기 유사도를 결정할 수 있다.
이하에서는, 눈 모양 분류 장치가 수행하는 다양한 동작이나 응용들이 설명되는데, 상기 영상 획득 장치, 프로세서 중 어느 구성을 특정하지 않더라도 본 발명의 기술분야에 대한 통상의 기술자가 명확하게 이해하고 예상할 수 있는 정도의 내용은 통상의 구현으로 이해될 수 있으며, 본 발명의 권리범위가 특정한 구성의 명칭이나 물리적/논리적 구조에 의해 제한되는 것은 아니다.
도 2는 일실시예에 따라, 스케일을 변화해 가며 눈 영역의 검출을 나타낸 예시 도면이다.
일실시예에 따르면, 눈 모양 분류 장치는 눈 영역을 포함하는 영상을 입력받을 수 있다. 눈 영역을 포함하는 영상은 외부에서 촬영된 영상을 입력 받은 것일 수 있고, 눈 모양 분류 장치의 영상 획득 장치가 사용자의 안면을 촬영하여 획득 된 것일 수도 있다. 외부에서 촬영된 영상을 입력 받은 것의 경우, 영상의 해상도가 크기가 다를 수 있기 때문에 입력된 영상을 여러 스케일로 변화(210, 220, 230)시키고, 가능한 위치를 모두 탐색하여 눈 영역(240)을 검출할 수 있다.
일실시예에 따르면, 눈 모양 분류 장치는 입력된 영상에 대해 기준 윈도우를 이동시키면서 눈 영역을 검출할 수 있다. 눈 영역으로 판단된 부분에 대해서는 1로 출력하고, 눈 영역으로 판단되지 않은 부분에 대해서는 "0"으로 출력할 수 있다.
다른 일실시예에 따르면, 입력되는 정면 얼굴 영상의 정규화 여부에 따라서 눈 영역 검출을 위한 스케일과 x,y 좌표의 위치를 한정할 수 있다. 예를 들면, 정규화된 얼굴 영상이 들어오면 눈의 크기와 눈의 위치를 예측할 수 있으므로 한정된 범위를 탐색하여 눈의 영역을 검출할 수 있다.
또한, 왼쪽 눈과 오른쪽 눈의 형상이 좌우 대칭인 것으로 가정하면, 입력 영상에서 얼굴을 중심으로 어느 한 쪽 눈의 형상을 검출하면 다른 쪽의 눈의 형상을 검출할 수 있다.
일실시예에 따르면, 눈 영역에 해당하는 부분과 아닌 부분을 구분하여 눈 영역을 검출하기 위해 통계적인 데이터를 통해서 검출할 수 있다. 예를 들면, 기준 윈도우 크기에 해당하는 눈 영상을 수백에서 수천장을 준비하여 포지티브 데이터(positive data)로 지칭할 수 있다. 또한, 같은 윈도우 크기에 해당하는 눈이 아닌 영상을 준비하여 네거티브 데이터(negative data)로 지칭할 수 있다. 포지티브 데이터는 정해진 규칙에 의해서 정규화가 이루어져야 한다. 기준 윈도우 안에서 눈의 위치, 크기 등이 정해진 규칙에 의해서 통일되어야 한다. 규칙에 심하게 어긋나는 사진은 네거티브 데이터로 볼 수 있다. 여기서, 통계적 학습에 많이 사용되는 방법으로는 비올라(Viola)와 존스(Jones)에 의해서 제안된 적응 부스트 방법이 있다.
일실시예에 따르면, 눈 모양 분류 장치는 입력된 영상을 여러 스케일로 변화시키고 가능한 위치를 모두 탐색하면서 눈 영역을 검출할 수 있다.
도 3은 일실시예에 따라, 검출된 눈 영역 및 눈 영역에 대한 윤곽선을 나타낸 예시 도면이다.
일실시예에 따르면, 눈 모양 분류 장치는 입력된 영상에서 눈 영역을 검출하여 정규화된 눈 영상(310)을 획득할 수 있다. 정규화된 눈 영상은 미리 지정한 크기의 영상 윈도우에 일정한 크기와 위치에 눈이 위치하도록 한 영상이다. 눈 벡터는 정규화된 눈 영상에서 생성될 수 있다.
다른 일실시예에 따르면, 눈 모양 분류 장치는 정규화된 눈 영상에서 윤곽선을 검출(320)할 수 있다. 일예로, 눈 모양 분류 장치는 케니 에지 검출(canny edge)을 이용하여 윤곽선을 검출할 수 있다. 예를 들면, 윤곽선 검출의 결과는 이진 영상일 수 있다. 윤곽선으로 선택된 점은 "1", 윤곽선이 아닌 점은 "0"으로 나타낼 수 있다. 도 320에서 흰색 부분은 윤곽선으로 선택된 점이다.
도 4는 일실시예에 따른 눈 모양 분류 방법의 흐름을 나타낸 순서도이다.
일실시예에 따르면, 눈 모양 분류 장치는 제1 영상에서 눈 영역을 검출할 수 있다. (단계 410)
일실시예에 따르면, 눈 모양 분류 장치는 검출된 눈 영역을 이용하여 눈 모양을 나타내는 제1 눈 벡터를 생성할 수 있다. (단계 420) 제1 눈 벡터는 눈 영역의 윤곽선 강도를 나타내는 제1 윤곽선 강도 벡터 및 눈 영역의 윤곽선 각도를 나타내는 제1 윤곽선 각도 벡터를 포함할 수 있다.
일실시예에 따르면, 제1 윤곽선 강도 벡터는 수학식 1과 같이 나타낼 수 있다.
Figure 112014074642563-pat00001
제1 윤곽선 강도 벡터는 각 픽셀 위치에서의 윤곽선 강도를 나타내는 열벡터이다. 벡터의 크기는 정규화된 눈 영역 영상의 총 픽셀 개수와 같다.
일실시예에 따르면, 제1 윤곽선 각도 벡터는 수학식 4와 같이 나타낼 수 있다.
Figure 112014074642563-pat00002
제1 윤곽선 각도 벡터는 제1 영상의 각 픽셀 위치에서의 윤곽선 각도를 나타내는 열벡터이다. 벡터의 크기는 정규화된 눈 영역 영상의 총 픽셀 개수와 같다.
일실시예에 따르면, 눈 모양 분류 장치는 제1 눈 벡터를 복수의 참조 클러스터 각각의 눈 벡터와 비교할 수 있다. (단계 430) 여기서, 복수의 참조 클러스터는 미리 정해진 기준에 따라 복수의 눈 모양이 분류된 것이다.
일실시예에 따르면, 눈 모양 분류 장치는 제1 눈 벡터를 복수의 참조 클러스터 각각에 대한 대표 눈 벡터와 비교할 수 있다. 여기서, 대표 눈 벡터는 복수의 참조 클러스터 각각에 포함된 눈 벡터의 평균값일 수 있다.
일실시예에 따르면, 눈 모양 분류 장치는 비교 결과에 따라, 제1 눈 벡터에 대응하여 복수의 참조 클러스터 중 제1 클러스터를 결정하고, 제1 클러스터의 눈 모양을 제1 영상의 눈 모양으로 분류할 수 있다. (단계 440) 눈 모양 분류 장치는 제1 영상에 포함된 눈 영역의 눈 모양과 제1 클러스터의 눈 모양과의 유사도를 계산할 수 있다. 유사도는 유클리디안 거리, 마할라노비스 거리, Manhattan 거리 및 Supremum 거리 중 적어도 하나를 이용하여 계산될 수 있다.
일실시예에 따르면, 눈 모양 분류 장치는 눈 모양을 포함한 영상에 대한 제1 눈 벡터의 차수를 조정할 수 있다. 제1 눈 벡터의 차수는 매트릭스를 이용하여 조정될 수 있다. 예를 들면, 매트릭스는 PCA(Principal Component Analysis)를 이용하여 생성될 수 있다. 제1 눈 벡터
Figure 112014074642563-pat00003
에 매트릭스
Figure 112014074642563-pat00004
를 연산하여 줄어든 차수의 벡터
Figure 112014074642563-pat00005
를 생성할 수 있다.
Figure 112014074642563-pat00006
는 수학식 3과 같이 나타낼 수 있다.
Figure 112014074642563-pat00007
여기서,
Figure 112014074642563-pat00008
는
Figure 112014074642563-pat00009
의 크기이고,
Figure 112014074642563-pat00010
는
Figure 112014074642563-pat00011
의 크기이고,
Figure 112014074642563-pat00012
는
Figure 112014074642563-pat00013
의 크기이다.
Figure 112014074642563-pat00014
의 열의 개수는 제1 눈 벡터
Figure 112014074642563-pat00015
의 행 개수인
Figure 112014074642563-pat00016
이다.
Figure 112014074642563-pat00017
의 행의 개수는 r로 줄어든 차수로서 사용자에 의해 설정될 수 있다. 즉,
Figure 112014074642563-pat00018
차원 벡터
Figure 112014074642563-pat00019
가 r 차원 벡터
Figure 112014074642563-pat00020
로 변환된 것이다.
일실시예에 따르면, 눈 모양 분류 장치는
Figure 112014074642563-pat00021
를 이용하여 입력 눈 영상에 대해 복수의 참조 클러스터 각각에 대해 유사도를 계산할 수 있다.
Figure 112014074642563-pat00022
의 원소값들이 클수록 클러스터 평균과 거리가 멀기 때문에 유사도는 떨어질 수 있다. 유사도는 유클리디안 거리, 마할라노비스 거리, Manhattan 거리 및 Supremum 거리 중 적어도 하나를 이용하여 계산될 수 있다. 유클리디언 거리를 이용하면 수학식 4와 같이 벡터 놈(norm)에 반비례하는 형태로 유사도가 계산될 수 있다.
Figure 112014074642563-pat00023
일실시예에 따르면, 눈 모양 분류 장치는 입력 영상의 눈 모양을 유사도가 가장 높은 클러스터의 눈 모양으로 분류할 수 있다.
다른 일실시예에 따르면, 눈 모양 분류 장치는 복수의 참조 클러스터 각각에 대해 해당 클러스터에 속할 확률을 계산할 수 있다. 입력 영상의 눈 모양이 k번째 클러스터에 속할 확률은 수학식 5와 같이 나타낼 수 있다.
Figure 112014074642563-pat00024
도 5는 일실시예에 따라, 눈 벡터를 생성하는 흐름을 나타낸 순서도이다.
일실시예에 따르면, 눈 모양 분류 장치는 눈 영역에 해당되는 윤곽선을 검출할 수 있다. (단계 510)
일실시예에 따르면, 눈 모양 분류 장치는 제1 윤곽선 강도 벡터를 생성할 수 있다. (단계 520) 제1 윤곽선 강도 벡터는 제1 영상의 픽셀 각각에 대한 강도값과 미리 정해진 제1 임계값을 이용하여 결정될 수 있다. 예를 들면, 특정 위치에서 윤곽선 강도가 제1 임계값보다 작으면, 윤곽선 강도값을 "0"으로 할 수 있다. 윤곽선 강도가 제1 임계값보다 크면, 윤곽선 강도값을 그래도 쓰거나 미리 설정된 값으로 할 수 있다. 여기서, 윤곽선 연결 분석을 통해 윤곽선이 미리 정해진 개수 이상의 픽셀들로 연결되지 않으면, 연결된 윤곽선을 제거할 수 있다.
일실시예에 따르면, 눈 영상이 가로 a 픽셀, 세로 b 픽셀이라고 하면, 제1 윤곽선 강도 벡터는 눈 영상의 픽셀 개수인 a x b 크기이다. 예시로, 80픽셀 x 40픽셀 영상이라면 제1 윤곽선 강도 벡터는 3200인 열벡터이다. (x,y) 좌표에서 윤곽선 강도값을
Figure 112014074642563-pat00025
라 하면, 영상의 x 방향으로 먼저 탐색하면서 제1 윤곽선 강도 벡터를 생성할 수 있다. 생성된 제1 윤곽선 강도 벡터는 수학식 6과 같다. 또한, 좌표값을 (0,0)에서 시작하면, x 좌표의 범위는 0부터 a-1까지 이고, y 좌표의 범위는 0부터 b-1까지이다.
Figure 112014074642563-pat00026
또한, 영상의 y 방향으로 먼저 탐색하면서 제1 윤곽선 강도 벡터를 생성할 수 있다. 생성된 제1 윤곽선 강도 벡터는 수학식 7과 같다.
Figure 112014074642563-pat00027
일실시예에 따르면, 눈 모양 분류 장치는 영상의 각 픽셀 위치에서 소벨(sobel) 마스크를 이용하여 각 픽셀 위치에서 윤곽선 강도값을 계산할 수 있다.
일실시예에 따르면, 눈 모양 분류 장치는 제1 윤곽선 각도 벡터를 생성할 수 있다. (단계 530) 제1 윤곽선 각도 벡터는 제1 영상의 픽셀 각각에 대한 강도값과 미리 정해진 제1 임계값을 이용하여 결정될 수 있다. 또한, 제1 윤곽선 각도 벡터는 각도 벡터 계산 대상 픽셀의 강도값 및 대상 픽셀의 주변 픽셀의 강도값의 비교 결과에 따라 계산될 수 있다.
일실시예에 따르면, 제1 윤곽선 각도 벡터는 제1 윤곽선 강도 벡터와 유사하게 입력 영상의 총 픽셀 개수와 같은 열벡터이다. 입력 눈 영상의 (x,y) 좌표에서 윤곽선 각도를
Figure 112014074642563-pat00028
라 하면, 영상의 x 방향으로 탐색하면서 제1 윤곽선 각도 벡터를 생성할 수 있다. 생성된 제1 윤곽선 각도 벡터는 수학식 8과 같다. 여기서, 좌표값을 (0,0)에서 시작하면, x 좌표의 범위는 0부터 a-1까지 이고, y 좌표의 범위는 0부터 b-1까지이다.
Figure 112014074642563-pat00029
다른 일실시예에 따르면, 제1 윤곽선 각도 벡터는 영상의 y 방향으로 탐색하면서 제1 윤곽선 각도 벡터를 생성할 수 있다. 생성된 제1 윤곽선 각도 벡터는 수학식 9와 같다.
Figure 112014074642563-pat00030
일실시예에 따르면, 눈 모양 분류 장치는 영상의 각 픽셀 위치에서 소벨(sobel) 마스크를 이용하여 각 픽셀 위치에서 윤곽선 각도값을 계산할 수 있다. 윤곽선 각도값의 범위는 -180도에서 180도이다.
일실시예에 따르면, 눈 모양 분류 장치는 윤곽선 연결 성분을 분석하여 윤곽선이 미리 정해진 개수 이상의 픽셀들로 연결되지 않으면 각도값을 "0" 또는 특정값으로 설정할 수 있다.
일실시예에 따르면, 제1 눈 벡터는 제1 윤곽선 강도 벡터와 제1 윤곽선 각도 벡터를 이어 붙인 열벡터일 수 있다. 열벡터의 크기는 2 x a x b 이다. 제1 눈 벡터는 수학식 10과 같이 나타낼 수 있다.
Figure 112014074642563-pat00031
도 6은 일실시예에 따른 눈 모양의 참조 클러스터 생성 장치의 블록도이다.
일실시예에 따르면, 눈 모양의 참조 클러스터 생성 장치(600)는 복수의 영상에서 눈 영역을 검출하여 눈 모양을 분류하는 데에 참조하는 참조 클러스터를 생성할 수 있다. 참조 클러스터 생성 장치(600)는 영상 획득 장치(610) 및 프로세서(620)를 포함할 수 있다.
일실시예에 따르면, 영상 획득 장치(610)는 복수의 영상 각각에서 눈 영역을 검출할 수 있다. 영상 획득 장치(610)는 눈 영역을 검출할 수 있다. 영상 획득 장치(610)는 입력 인터페이스로부터 복수의 영상을 입력 받을 수 있다. 여기서, 영상 획득 장치(610)는 외부 장치로부터 복수의 영상을 입력 받을 수 있다. 또한, 참조 클러스터 생성 장치(600) 내에서 복수 사용자의 눈 영역을 포함하는 안면 영상을 촬영하여 복수의 영상을 획득할 수도 있다. 영상 획득 장치(610)는 카메라의 기능을 가진 장치를 포함할 수 있다.
프로세서(620)는 복수의 영상 각각으로부터 눈 영역을 검출할 수 있다. 검출된 눈 영역을 이용하여 복수의 영상 각각에 대해 눈 모양을 나타내는 참조 눈 벡터를 생성할 수 있다. 참조 눈 벡터는 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 강도를 나타내는 참조 윤곽선 강도 벡터 및 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 각도를 나타내는 윤곽선 각도 벡터를 포함할 수 있다.
일실시예에 따르면, 프로세서(620)는 참조 눈 벡터를 미리 정해진 기준에 따라 복수의 참조 클러스터 중 하나로 분류할 수 있다. 복수의 참조 클러스터는 복수의 눈 모양으로 분류된 것이다.
이하에서는, 눈 모양의 참조 클러스터 생성 장치가 수행하는 다양한 동작이나 응용들이 설명되는데, 상기 영상 획득 장치, 프로세서 중 어느 구성을 특정하지 않더라도 본 발명의 기술분야에 대한 통상의 기술자가 명확하게 이해하고 예상할 수 있는 정도의 내용은 통상의 구현으로 이해될 수 있으며, 본 발명의 권리범위가 특정한 구성의 명칭이나 물리적/논리적 구조에 의해 제한되는 것은 아니다.
도 7은 일실시예에 따른 눈 모양의 참조 클러스터 생성 방법의 흐름을 나타낸 순서도이다.
일실시예에 따르면, 참조 클러스터 생성 장치는 복수의 영상 각각에서 눈 영역을 검출할 수 있다. (단계 710)
일실시예에 따르면, 참조 클러스터 생성 장치는 검출된 눈 영역을 이용하여 복수의 영상 각각에 대해 눈 모양을 나타내는 참조 눈 벡터를 생성할 수 있다. (단계 720) 여기서, 참조 눈 벡터는 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 강도를 나타내는 참조 윤곽선 강도 벡터 및 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 각도를 나타내는 참조 윤곽선 각도 벡터를 포함할 수 있다.
일실시예에 따르면, 참조 윤곽선 강도 벡터 및 참조 윤곽선 각도 벡터는 복수의 영상 각각에 대한 윤곽선 강도값에 기초하여 생성될 수 있다.
일실시예에 따르면, 참조 클러스터 생성 장치는 복수의 영상 각각에서 눈 영역의 윤곽선을 검출할 수 있다.
일실시예에 따르면, 참조 클러스터 생성 장치는 복수의 영상 각각에 대해 참조 눈 벡터를 생성할 수 있다. 참조 눈 벡터는 참조 윤곽선 강도 벡터 및 참조 윤곽선 각도 벡터를 포함할 수 있다.
보다 구체적으로, 참조 윤곽선 강도 벡터는 영상의 픽셀 각각에 대한 강도값과 미리 정해진 임계값을 이용하여 결정될 수 있다. 윤곽선 강도가 임계값보다 크면 윤곽선 강도값을 그대로 쓰거나 미리 설정된 값으로 할 수 있다. 윤곽선 강도가 임계값보다 작으면 윤곽선 강도값을 "0"으로 할 수 있다.
또한, 참조 윤곽선 각도 벡터는 영상의 픽셀 각각에 대한 각도값과 미리 정해진 임계값을 이용하여 결정될 수 있다. 참조 윤곽선 각도 벡터는 각도 벡터 계산 대상 픽셀의 강도값 및 대상 픽셀의 주변 픽셀의 강도값의 비교 결과에 따라 계산될 수 있다.
일실시예에 따르면, 참조 클러스터 생성 장치는 참조 눈 벡터를 미리 정해진 기준에 따라 복수의 참조 클러스터 중 하나로 분류할 수 있다. (단계 730) 여기서, 미리 정해진 기준은 눈 모양의 윤곽선에 기초하여 복수의 영상 각각에 대해 해당되는 클러스터로 분류하는 기준일 수 있다.
일실시예에 따르면, 참조 클러스터 생성 장치는 복수 개의 영상에서 참조 눈 벡터를 생성하여 눈의 모양에 따라 복수의 참조 클러스터로 분류할 수 있다. 예를 들면, 복수의 참조 클러스터는 제1 클러스터, 제2 클러스터, 제3 클러스터 및 제4 클러스터로 구성될 수 있다. 제1 클러스터는 눈 모양이 "A"모양을 가진 클러스터이고, 제2 클러스터는 눈 모양이 "B"모양을 가진 클러스터이고, 제3 클러스터는 눈 모양이 "C"모양을 가진 클러스터이고, 제4 클러스터는 눈 모양이 "D" 모양을 가진 클러스터일 수 있다.
또한, 참조 클러스터 생성 장치는 복수의 참조 클러스터 각각에 대해 눈 모양을 나타내는 참조 눈 벡터의 대표 눈 벡터를 계산할 수 있다. 여기서 대표 눈 벡터는 클러스터에 포함된 벡터의 평균값일 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.
이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 제1 영상에서 눈 영역 및 상기 눈 영역의 윤곽선을 검출하는 단계;
    상기 검출된 눈 영역을 이용하여 눈 모양을 나타내는 제1 눈 벡터를 생성하는 단계;
    상기 제1 눈 벡터를 복수의 참조 클러스터 각각의 눈 벡터와 비교하는 단계 - 상기 복수의 참조 클러스터는 미리 정해진 기준에 따라 복수의 눈 모양이 분류된 것임 - ; 및
    상기 비교 결과에 따라 상기 제1 눈 벡터에 대응하여 상기 복수의 참조 클러스터 중 제1 클러스터를 결정하고, 상기 제1 클러스터의 눈 모양을 상기 제1 영상의 눈 모양으로 분류하는 단계
    를 포함하고,
    상기 제1 눈 벡터는, 상기 눈 영역의 윤곽선 강도를 나타내는 제1 윤곽선 강도 벡터 및 상기 눈 영역의 윤곽선 각도를 나타내는 제1 윤곽선 각도 벡터를 포함하는 눈 모양 분류 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 눈 영역의 윤곽선을 검출하는 단계는,
    상기 제1 영상의 픽셀 각각에 대한 강도값과 미리 정해진 제1 임계값을 이용하여 상기 제1 영상의 픽셀 각각에 대한 윤곽선 강도값을 결정하는 단계를 더 포함하는 눈 모양 분류 방법.
  4. 제3항에 있어서,
    상기 제1 눈 벡터를 생성하는 단계는,
    상기 제1 영상의 픽셀 각각에 대한 윤곽선 강도값에 기초하여 상기 제1 윤곽선 강도 벡터 및 상기 제1 윤곽선 각도 벡터를 생성하는 눈 모양 분류 방법.
  5. 제4항에 있어서,
    상기 눈 영역의 윤곽선을 검출하는 단계는,
    상기 윤곽선 강도값을 이용하여 윤곽선을 연결하는 단계; 및
    상기 연결된 윤곽선이 미리 정해진 개수 이상의 픽셀들로 연결되지 않으면 상기 연결된 윤곽선을 제거하는 단계
    를 포함하는 눈 모양 분류 방법.
  6. 제1 영상에서 눈 영역을 검출하는 단계;
    상기 검출된 눈 영역을 이용하여 눈 모양을 나타내는 제1 눈 벡터를 생성하는 단계;
    상기 제1 눈 벡터를 복수의 참조 클러스터 각각의 눈 벡터와 비교하는 단계 - 상기 복수의 참조 클러스터는 미리 정해진 기준에 따라 복수의 눈 모양이 분류된 것임 - ; 및
    상기 비교 결과에 따라 상기 제1 눈 벡터에 대응하여 상기 복수의 참조 클러스터 중 제1 클러스터를 결정하고, 상기 제1 클러스터의 눈 모양을 상기 제1 영상의 눈 모양으로 분류하는 단계
    를 포함하고,
    상기 제1 눈 벡터는, 상기 눈 영역의 윤곽선 강도를 나타내는 제1 윤곽선 강도 벡터 및 상기 눈 영역의 윤곽선 각도를 나타내는 제1 윤곽선 각도 벡터를 포함하며,
    상기 제1 눈 벡터를 복수의 참조 클러스터 각각의 눈 벡터와 비교하는 단계는,
    상기 제1 눈 벡터를 상기 복수의 참조 클러스터 각각에 대한 대표 눈 벡터와 비교하고, 상기 대표 눈 벡터는 상기 복수의 참조 클러스터 각각에 포함된 눈 벡터의 평균값인 눈 모양 분류 방법.
  7. 제1 영상에서 눈 영역을 검출하는 단계;
    상기 검출된 눈 영역을 이용하여 눈 모양을 나타내는 제1 눈 벡터를 생성하는 단계;
    상기 제1 눈 벡터를 복수의 참조 클러스터 각각의 눈 벡터와 비교하는 단계 - 상기 복수의 참조 클러스터는 미리 정해진 기준에 따라 복수의 눈 모양이 분류된 것임 - ;
    상기 비교 결과에 따라 상기 제1 눈 벡터에 대응하여 상기 복수의 참조 클러스터 중 제1 클러스터를 결정하고, 상기 제1 클러스터의 눈 모양을 상기 제1 영상의 눈 모양으로 분류하는 단계; 및
    상기 제1 영상에 포함된 눈 영역의 눈 모양과 상기 제1 클러스터의 눈 모양과의 유사도를 계산하는 단계를 포함하고,
    상기 제1 눈 벡터는, 상기 눈 영역의 윤곽선 강도를 나타내는 제1 윤곽선 강도 벡터 및 상기 눈 영역의 윤곽선 각도를 나타내는 제1 윤곽선 각도 벡터를 포함하는 눈 모양 분류 방법.
  8. 제7항에 있어서,
    상기 유사도를 계산하는 단계는,
    유클리디안 거리(Euclidean Distance), 마할라노비스 거리(Mahalanobis distance) , Manhattan 거리 및 Supremum 거리 중 적어도 하나를 이용하여 상기 유사도를 계산하는 눈 모양 분류 방법.
  9. 제7항에 있어서,
    상기 제1 윤곽선 각도 벡터는,
    각도 벡터 계산 대상 픽셀의 강도값 및 상기 대상 픽셀의 주변 픽셀의 강도 값의 비교 결과에 따라, 계산되는 눈 모양 분류 방법.
  10. 복수의 영상 각각에서 눈 영역 및 상기 눈 영역의 윤곽선을 검출하는 단계;
    상기 검출된 눈 영역을 이용하여 상기 복수의 영상 각각에 대해 눈 모양을 나타내는 참조 눈 벡터를 생성하는 단계;
    상기 참조 눈 벡터를 미리 정해진 기준에 따라 복수의 참조 클러스터 중 하나로 분류하는 단계를 포함하고,
    상기 참조 눈 벡터는, 상기 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 강도를 나타내는 참조 윤곽선 강도 벡터 및 상기 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 각도를 나타내는 참조 윤곽선 각도 벡터를 포함하는 눈 모양의 참조 클러스터 생성 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 참조 눈 벡터를 생성하는 단계는,
    상기 복수의 영상 각각의 픽셀 각각에 대한 윤곽선 강도값에 기초하여 상기 참조 윤곽선 강도 벡터 및 상기 참조 윤곽선 각도 벡터를 생성하는
    눈 모양 참조 클러스터 생성 방법.
  13. 복수의 영상 각각에서 눈 영역을 검출하는 단계;
    상기 검출된 눈 영역을 이용하여 상기 복수의 영상 각각에 대해 눈 모양을 나타내는 참조 눈 벡터를 생성하는 단계;
    상기 참조 눈 벡터를 미리 정해진 기준에 따라 복수의 참조 클러스터 중 하나로 분류하는 단계를 포함하고,
    상기 참조 눈 벡터는, 상기 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 강도를 나타내는 참조 윤곽선 강도 벡터 및 상기 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 각도를 나타내는 참조 윤곽선 각도 벡터를 포함하며,
    상기 미리 정해진 기준은, 상기 눈 모양의 윤곽선에 기초하는 눈 모양 참조 클러스터 생성 방법.
  14. 제12항에 있어서,
    상기 참조 윤곽선 각도 벡터는,
    상기 복수의 영상 각각에 대한 각도 벡터 계산 대상 픽셀의 강도값 및 상기 대상 픽셀의 주변 픽셀의 강도 값의 비교 결과에 따라, 계산되는 눈 모양 참조 클러스터 생성 방법.
  15. 눈 영역을 포함하는 제1 영상을 획득하는 영상 획득 장치; 및
    상기 제1 영상으로부터 상기 눈 영역 및 상기 눈 영역의 윤곽선을 검출하고, 상기 검출된 눈 영역을 이용하여 눈 모양을 나타내는 제1 눈 벡터를 생성하고, 상기 제1 눈 벡터를 복수의 참조 클러스터 각각의 눈 벡터와 비교하고, 상기 비교 결과에 따라 상기 제1 눈 벡터에 대응하여 상기 복수의 참조 클러스터 중 제1 클러스터를 결정하고, 상기 제1 클러스터의 눈 모양을 상기 제1 영상의 눈 모양으로 분류하는 프로세서를 포함하고,
    상기 제1 눈 벡터는, 상기 눈 영역의 윤곽선 강도를 나타내는 제1 윤곽선 강도 벡터 및 상기 눈 영역의 윤곽선 각도를 나타내는 제1 윤곽선 각도 벡터를 포함하고,
    상기 복수의 참조 클러스터는 미리 정해진 기준에 따라 복수의 눈 모양이 분류된 눈 모양 분류 장치.
  16. 삭제
  17. 제15항에 있어서,
    상기 프로세서는,
    상기 제1 영상의 픽셀 각각에 대한 강도값과 미리 정해진 제1 임계값을 이용하여 상기 제1 영상의 픽셀 각각에 대한 윤곽선 강도값을 결정하는 눈 모양 분류 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 제1 영상의 픽셀 각각에 대한 윤곽선 강도값에 기초하여 상기 제1 윤곽선 강도 벡터 및 상기 제1 윤곽선 각도 벡터를 생성하는 눈 모양 분류 장치.
  19. 제15항에 있어서,
    상기 프로세서는,
    각도 벡터 계산 대상 픽셀의 강도값 및 상기 대상 픽셀의 주변 픽셀의 강도 값의 비교 결과에 따라, 상기 제1 윤곽선 각도 벡터를 계산하는 눈 모양 분류 장치.
  20. 눈 영역을 포함하는 복수의 영상을 획득하는 영상 획득 장치;
    상기 복수의 영상 각각으로부터 상기 눈 영역 및 상기 눈 영역의 윤곽선을 검출하고, 상기 검출된 눈 영역을 이용하여 상기 복수의 영상 각각에 대해 눈 모양을 나타내는 참조 눈 벡터를 생성하고, 상기 참조 눈 벡터를 미리 정해진 기준에 따라 복수의 참조 클러스터 중 하나로 분류하는 프로세서를 포함하고,
    상기 참조 눈 벡터는, 상기 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 강도를 나타내는 참조 윤곽선 강도 벡터 및 상기 복수의 영상 각각에서 검출된 눈 영역의 윤곽선 각도를 나타내는 참조 윤곽선 각도 벡터를 포함하는 눈 모양의 참조 클러스터 생성 장치.
KR1020140101434A 2014-08-07 2014-08-07 눈 모양 분류 장치 및 방법 KR101592110B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140101434A KR101592110B1 (ko) 2014-08-07 2014-08-07 눈 모양 분류 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140101434A KR101592110B1 (ko) 2014-08-07 2014-08-07 눈 모양 분류 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101592110B1 true KR101592110B1 (ko) 2016-02-04

Family

ID=55356352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140101434A KR101592110B1 (ko) 2014-08-07 2014-08-07 눈 모양 분류 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101592110B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288023A (zh) * 2017-12-20 2018-07-17 深圳和而泰数据资源与云技术有限公司 人脸识别的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250419A (ja) 2009-04-13 2010-11-04 Seiko Epson Corp 目の様態を検出する画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250419A (ja) 2009-04-13 2010-11-04 Seiko Epson Corp 目の様態を検出する画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1:정보과학회

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288023A (zh) * 2017-12-20 2018-07-17 深圳和而泰数据资源与云技术有限公司 人脸识别的方法和装置
CN108288023B (zh) * 2017-12-20 2020-10-16 深圳和而泰数据资源与云技术有限公司 人脸识别的方法和装置

Similar Documents

Publication Publication Date Title
US11922646B2 (en) Tracking surgical items with prediction of duplicate imaging of items
US10650518B2 (en) Computer aided diagnosis (CAD) apparatus and method
CN107358149B (zh) 一种人体姿态检测方法和装置
US9363499B2 (en) Method, electronic device and medium for adjusting depth values
Tang et al. Splat feature classification with application to retinal hemorrhage detection in fundus images
US8706663B2 (en) Detection of people in real world videos and images
KR101571241B1 (ko) 안면 표현형 결정 장치 및 방법
US20120230553A1 (en) Apparatus and method for detecting eye state
JP2003030667A (ja) イメージ内で目を自動的に位置決めする方法
Do et al. Early melanoma diagnosis with mobile imaging
JP6351243B2 (ja) 画像処理装置、画像処理方法
KR20170056860A (ko) 이미지 생성 방법 및 장치
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
US9704024B2 (en) Object discriminating apparatus and method
US11727784B2 (en) Mask wearing status alarming method, mobile device and computer readable storage medium
KR20220063256A (ko) 캐빈 내부 환경의 조절 방법 및 장치
JP2019180749A (ja) 画像処理プログラム、画像処理装置、および画像処理方法
Choudhary et al. Skin lesion detection based on deep neural networks
US11036974B2 (en) Image processing apparatus, image processing method, and storage medium
Bamford Empirical comparison of cell segmentation algorithms using an annotated dataset
US9679219B2 (en) Image feature classification
JP2006130212A (ja) 異常陰影候補検出方法、および装置、ならびにプログラム
KR20170012191A (ko) 영상 처리 방법 및 영상 처리 장치
JP2014199506A (ja) 物体検出装置、物体検出方法及びプログラム
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200109

Year of fee payment: 5