KR101107308B1 - 영상 검색 및 인식 방법 - Google Patents

영상 검색 및 인식 방법 Download PDF

Info

Publication number
KR101107308B1
KR101107308B1 KR1020090103568A KR20090103568A KR101107308B1 KR 101107308 B1 KR101107308 B1 KR 101107308B1 KR 1020090103568 A KR1020090103568 A KR 1020090103568A KR 20090103568 A KR20090103568 A KR 20090103568A KR 101107308 B1 KR101107308 B1 KR 101107308B1
Authority
KR
South Korea
Prior art keywords
image
area
face
distance
eye
Prior art date
Application number
KR1020090103568A
Other languages
English (en)
Other versions
KR20110046874A (ko
Inventor
유승수
오해원
Original Assignee
한국인식산업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국인식산업(주) filed Critical 한국인식산업(주)
Priority to KR1020090103568A priority Critical patent/KR101107308B1/ko
Publication of KR20110046874A publication Critical patent/KR20110046874A/ko
Application granted granted Critical
Publication of KR101107308B1 publication Critical patent/KR101107308B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

영상 검색 및 인식 장치가 개시된다. 입력 영상에서 얼굴 영역을 검출하고 등록하고, 검출된 얼굴 영역을 기초로 얼굴 영역과 몸의 나머지 부분과의 비율관계에 따라 몸의 각 부분의 영역을 입력 영상에서 추출하여 등록하여 표준영상 데이터베이스를 구축한 후 인식 대상 영상을 입력받아 그 인식 대상 영상에서의 얼굴 영역 또는 몸의 각 부분의 특징 영역을 표준 영상 데이터베이스에 저장된 정보와 비교하여 인식 대상 영상의 사람과 동일인을 인식한다. 이로써, 집회 참석한 시위자의 위장 전후 사진을 비교 분석하여 불법 폭력 시위자를 자동으로 식별 및 검색할 수 있다.

Description

영상 검색 및 인식 방법{Method of scanning and recognizing an image}
본 발명은 영상 검색 및 인식 방법에 관한 것으로서, 보다 상세하게는 영상 내 사람을 검색하여 인식하는 방법에 관한 것이다.
종래 내용기반의 영상 검색 기술들은 깨끗한 배경에서 동일한 크기로 촬영된 이미지들 중에서 유사한 이미지를 검색하는 방법이 대부분이며 이미지 전체를 하나의 특징으로 간주하여 검색한다. 또한 종래 영상 검색 기술은 복잡한 배경에서 일정하지 않은 다양한 크기로 촬영된 이미지들에서 검출 대상이 이미지의 어느 곳에 위치하는지 크기가 얼마인지를 모르므로 다양한 크기와 위치로 검색하여야 하며 그 결과 검색 시간이 많이 소요될 뿐만 아니라, 배경을 특징으로 잘못 검색하는 에러도 늘어난다.
본 발명이 이루고자 하는 기술적 과제는, 입력된 영상으로부터 동일한 사람을 검색 및 인식할 수 있는 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 영상 검색 및 인식 방법의 일 실시예는, 입력 영상에서 얼굴 영역을 검출하고 등록하는 얼굴정보등록단계; 및 상기 검출된 얼굴 영역을 기초로 얼굴 영역과 몸의 나머지 부분과의 비율관계에 따라 몸의 각 부분의 영역을 상기 입력 영상에서 추출하여 등록하는 특징정보등록단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 영상 검색 및 인식 방법의 일 실시예는, 인식 대상 영상을 입력받는 단계; 상기 인식 대상 영상의 얼굴 영역 또는 몸의 각 부분의 특징 영역을, 다수의 영상으로부터 추출되어 데이터베이스에 미리 저장된 얼굴 영역 또는 몸의 각 부분의 특징 영역과 비교하는 단계; 및 상기 비교 결과를 출력하는 단계;를 포함한다.
본 발명에 따르면 사람의 얼굴 영역, 몸의 각 부분의 특징 영역, 사용자가 입력한 부가적인 특징 정보를 기초로 영상에서 동일한 사람을 인식 검출할 수 있다. 따라서 집회 참석한 시위자의 위장 전후 사진을 비교하여 불법 폭력 시위자를 자동으로 식별 및 검출할 수 있다.
이하에서, 첨부된 도면들을 참조하여 본 발명에 따른 영상 검색 및 인식 방법에 대해 상세히 설명한다.
도 1은 본 발명에 따른 영상 검색 및 인식 방법의 개략적인 흐름을 도시한 도면이다.
도 1을 참조하면, 먼저 입력 영상을 선택한다(S100). 입력 영상은 디지털 카메라, 캠코더, 핸드폰의 카메라 등 종래의 다양한 영상입력장치를 통해 입력받을 수 있으며, 영상의 크기나 저장되는 파일 형식은 영상입력장치의 종류에 따라 다양할 수 있다. 입력 영상은 정지영상이거나 동영상일 수 있으며, 동영상일 경우 일정 시점의 정지영상을 선택할 수 있다. 입력 영상이 선택되면 조명 등에 의해 나빠진 화질을 개선한다. 화질 개선에 대해서는 도 2를 참조하여 설명한다.
화질이 개선된 입력 영상으로부터 사람의 얼굴 영역을 검출하여 등록하고(S120), 검출된 얼굴 영역을 기초로 파악된 몸의 각 부분의 특징 영역을 추출하고 등록한다(S130). 영상으로부터 사람의 얼굴 영역을 포함한 특징을 자동으로 추출하여 저장하는 구성에 대해서는 도 3 내지 도 5를 참조하여 상세히 설명한다.
그리고 그 외 입력 영상에 나타난 사람의 다른 부가적인 특징, 예를 들어, 성별, 나이, 모자의 종류, 안경테의 종류 등의 특징을 사용자로부터 입력받아 텍스트 정보로서 등록한다(S140). 아래 표 1과 같은 부가 정보를 선택하여 등록함으로써 영상 기반의 검색뿐만 아니라 텍스트 검색을 할 수 있어 기존보다 효율적인 검색이 가능하다. 성별, 나이, 모자의 종류 등의 부가정보가 몸의 각 부분의 특징을 자동으로 추출하는 단계(S130)에서 추출될 수 있는 정보이면 당연히 그 자동화된 단계로 수행되는 것이며, 여기서 나열한 부가정보의 예는 이해를 돕고자 나열한 일 예일 뿐이다.
성별 남자 여자
나이 20대 30대 40대 50대 60대 기타
모자 야구모자 비니 기타
안경 뿔테 무테 기타
상의(외투) 점퍼 자켓 가죽 코드 기타
상의 난방 니트/스웨터 라운드T 브이넥 트레이닝 가디건/조끼
하의 청바지 트레이닝 면바지 기타
신발 운동화 구두 슬리퍼 기타
액세서리 시계 귀걸이 목걸이 머플러 기타
무늬 민무늬 체크 가로줄 세로줄 물방울 기타
특이사항
등록된 정보들은 표준영상 데이터베이스로 구축한 후 영상 검색 및 인식에 이용된다(S150).
인식 대상 영상이 입력되면 그 영상에 나타난 사람의 얼굴 영역, 몸의 각 부분의 특징 영역, 그리고 부가적인 텍스트 정보를 기초로 표준영상 데이터베이스에 등록된 정보를 검색하여(S160, S170, S180), 인식 대상 영상에 나타난 사람과 유사한 후보자를 파악하여 제시한다(S190). 사용자는 제시된 후보자들로부터 최종 동일인 여부를 파악한다(S195). 인식 대상 영상과 데이터베이스를 비교하여 후보자를 파악하는 구성에 대해서는 도 6 내지 도 9를 참조하여 상세히 설명한다.
도 2는 본 발명에 따른 영상의 화질 개선 방법의 일 예를 도시한 도면이다.
도 2를 참조하면, 조명에 의해 흐릿하게 보이는 사람들의 이미지를 WDR(Wide Dynamic Range) 기술을 적용하여 화질을 개선한 결과를 보여준다. 디지털 카메라와 같은 영상입력장치를 통해 촬영된 영상은 낮, 밤, 역광, 측광 등 다양한 조명 환경에서 촬영되므로 항상 좋은 화질일 수 없다. 따라서 본 실시예에서는 다양한 조명 환경에서 촬영되는 영상의 화질을 개선하는 알고리즘, 특히 조명 조건에 보다 독립적으로 선명한 화질을 얻기 위하여 화질개선 알고리즘인 WDR(Wide Dynamic Range) 기술을 이용한다. WDR 기술은 광역 역광 보정기능을 수행하는 기술로서, 근거리 사물과 원거리 사물의 빛의 양을 자동으로 분석 조절하여 이미지에 나타난 지역적인 사물의 선명도를 높여준다. 화질개선 알고리즘으로는 WDR 이외의 종래 다양한 화질 개선 기술이 적용될 수 있음은 물론이다.
도 3은 본 발명에 따른 도 1의 영상 검색 및 인식 방법에서 영상으로부터 사람의 특징을 자동으로 추출 분류하여 등록하는 단계들(S120, S130)의 상세 흐름도이다.
도 3을 참조하면, 먼저 입력 영상으로부터 얼굴 영역을 검출한다(S300). 영상에서 사람의 얼굴 영역은 복잡한 배경 속에서 다양한 크기와 회전된 자세를 가질 뿐만 아니라, 조명, 거리, 인종, 안경, 수염, 자세, 복수 검출 등이 고려되어야 하므로 얼굴 검출의 어려움이 있다. 영상에서 얼굴 검출을 위해 사람의 움직임을 이용하는 방법 또는 사람의 피부색을 기초로 검출하는 방법을 사용할 수 있으나 사람의 움직임을 이용하는 경우 사람이 반드시 움직여야 하고, 사람의 피부색을 이용하는 경우 조명변화와 인종, 피부색에 민감하여 검출의 어려움이 있을 수 있다. 따라서 본 실시예에서는 에이다부스트(AdaBoost, Adaptive Boost Learning Filter) 알고리즘을 이용한 다단 얼굴 분류기(Cascaded Face Classifier)를 이용하여 얼굴 영역을 검출한다.
에이다부스트를 이용한 다단 얼굴 분류기 알고리즘은 클래스 내의 변화가 매우 심한 경우에 클래스의 분류를 위해 복잡한 형태의 결정 경계(decision boundary)를 필요로 한다. 에이다부스트 알고리즘은 이러한 상황에 적합한 분류기 학습 알고리즘으로, 여러 약한 분류기(weak classifier)들의 조합을 통해 성능이 우수한 강한 분류기(strong classifier)를 생성해내는 방식이며 얼굴 검출을 위한 분류기 학습에 적합하다. 에이다부스트를 이용한 다단 얼굴 분류기 알고리즘은 영상 내의 움직임 정보와 색상 정보를 사용하지 않기 때문에 사용자에게 어떠한 제약을 주지 않고도 고속으로 얼굴검출 기능을 수행할 수 있다. 또한 영상 내의 탐색 대상의 3차원 회전을 고려한 2차원 공간에서의 학습 방법으로 속도저하 없는 정교한 분류기(classifier) 생성이 가능하므로 영상 내에서 회전된 얼굴을 검출하는데에도 적합하다.
얼굴 영역이 검출되면, 그 얼굴 영역에서 눈의 위치를 파악한다(S310). 안경착용과 얼굴회전, 눈 감음 등의 조건에서도 정확한 눈의 위치를 파악하기 위하여 다중 블록 매칭(MMF, Multi-block Matching) 기법을 사용한다. MMF는 정규화된 템플릿 매칭(Normalized Template Matching) 기법의 응용된 모델로서 검출하고자 하는 대상 패턴의 다양한 데이터베이스를 수집하고, 수집한 데이터베이스 중 대표 영상을 만든 다음 이미지 기반 템플릿 매칭(Image based Template Matching)을 수행하는 방법이다. 따라서 MMF를 이용하여 눈 이미지에 대한 다양한 크기와 조명, 회전 등을 미리 계산하여 템플릿으로 보유하고 이 템플릿을 이용하여 얼굴 영역과 템플릿 매칭을 수행함으로써 눈의 위치를 검출한다. 구체적으로 MMF 기법을 이용하여 선정된 복수 개의 눈 후보를 이용하여 가상의 얼굴 영상을 생성하고 그 중에 실제 얼굴이 들어 있는 후보를 선택해 나간다. 후보를 선택하는 과정에서 사용되는 분류기는 대규모 얼굴 DB를 대상으로 K-Mean Clustering 방식을 사용하므로 저해상도 고속 눈 검출이 가능하다. 눈의 위치가 파악되면, 파악된 눈의 위치를 기초로 얼굴 영역의 영상을 정규화한다(S320).
다음으로, 얼굴 영역 이외 사람의 다른 특징 영역을 분류 검출하여 등록한다(S330). 영상에서 사람의 얼굴 영역뿐만 아니라 타인과 구별될 수 있는 몸의 다른 부분의 특징 영역의 정보(예를 들어, 모자, 옷, 특정 무늬 등)를 검출하여 등록한다. 얼굴의 위치와 크기를 알고 있으므로 눈간 거리에 따른 얼굴 영역을 계산할 수 있고, 얼굴의 크기에 따른 머리와 몸의 위치와 크기를 추정할 수 있다. 얼굴 크기와 머리 및 몸의 비율은 도 4에 도시된 바와 같이 계산할 수 있다. 도 4를 참조하면, 눈간의 거리를 1이라고 하면, 눈에서 0.5의 비율만큼 위로 떨어진 거리에서 가로와 세로의 길이 비율을 2:1.5의 비율의 크기로 가정해서 모자의 영역을 설정하고, 눈에서 2의 비율만큼 아래로 떨어진 거리에서 가로와 세로의 길이 비율을 4:3의 비율의 크기로 가정해서 상의 영역을 구한다. 모자 영역의 경우 피부색과 검정색의 분포 합이 전체의 50% 이하인 경우에만 모자를 착용했다고 판단해서 모자의 특징을 추출하고 등록한다. 색상의 특징은 패턴 인식 분야의 가장 대표적인 클러스터링 알고리즘으로 알려진 K-mean 알고리즘을 이용하여 영상을 분할하고, 가장 큰 영역을 구해서 색상의 특징을 추출한다. 도 5는 K-mean 알고리즘을 이용하여 몸에 착용한 모자와 상의의 색상 특징을 추출하는 예를 도시한 도면이다. 도 5를 참조하면, 영상에서 RGB 색상 공간을 8등분으로 나눈 후, 각 영역의 RGB 평균값을 찾는다. 그리고 총 24개를 갖는 단일 칼라 특징 벡터를 추출하여 색상 특징을 파악한다.
영상으로부터 얼굴 영역 및 몸의 각 부분의 특징 정보가 추출되면, 이러한 정보들을 데이터베이스에 등록한다(S340, 도 1의 S150).
도 6은 본 발명에 따른 도 1의 영상 검색 및 인식 방법에서 표준 영상 DB 구축(S150) 후 DB에서 인식 대상 영상에 나타난 사람과 동일인을 비교 인식하는 각 단계(S160, S170, S180)의 상세 흐름도이다.
도 6을 참조하면, 인식 대상 영상이 입력되면(S600), 인식 대상 영상으로부터 얼굴 영역 및 몸의 각 부분의 특징 영역의 정보를 추출한다(S610). 인식 대상 영상으로부터 추출한 얼굴 및 몸 각 부분의 특징 정보와 도 3을 통해 구축된 데이터베이스에 등록된 특징 정보를 비교한다(S620). 이러한 특징 정보의 비교는 도 1에 도시된 바와 같이 크게 얼굴 비교 인식(S160), 얼굴을 제외한 몸의 각 부분의 특징 비교 인식(S170) 및 사용자가 텍스트로 등록한 정보의 비교 검색(S180)이다.
먼저, 인식 대상 영상으로부터 추출한 얼굴 영역의 특징과 데이터베이스에 저장된 특징을 비교하는 방법에 대해 살펴본다.
사람은 각자의 고유한 얼굴 특징이 있다. 따라서 사용자가 검색하려는 대상의 얼굴을 분석하여 고유의 얼굴 특징을 선택하고, 선택한 일부 영역만을 부분적으로 인식해서 등록된 사람 중에서 가장 유사한 얼굴 특징이 존재하는 후보자들을 선별한다. 도 9는 얼굴 영역을 여러 개의 블록으로 분류한 후 각 블록에서 고유 특징을 선택, 즉 얼굴의 눈 및 코 부위를 선택하고 그 선택된 부분의 특징을 기초로 후보자들을 선택하는 과정의 일 예이다.
얼굴의 일부 특징은 가려지고 일부 특징들만 보이는 경우는 전역적 특징을 이용하는 PCA(Principal Component Analysis) 알고리즘보다는 국부적인 특징을 이용한 ICA(Independent Componet Analysis) 알고리즘을 이용하여 얼굴인식을 시도하는 것이 더울 효과적이다. PCA, ICA 및 본 실시예에 따른 LS-ICA의 일 예를 도시한 도 7을 참조하면, (b) 및(c)의 ICA와 LS-ICA는 얼굴의 전체형태가 보이지 않고 얼굴의 특징을 나타내는 눈, 눈썹, 입, 코 부위 등에 대응되는 국부영역만이 현저하게 나타난다. 따라서 ICA와 LS-ICA는 국부적 특징을 갖는 기저 영상들은 영상의 작은 영역의 영향을 받기 때문에 (a)의 PCA와 같은 전역적 특징을 이용한 방법에 비해 얼굴 일부의 가림이나 국부적이 왜곡이 발생하는 얼굴 영역에 대해서 인식 성능이 우수하다. 실제로 얼굴 가림, 조명, 표정 변화가 있는 얼굴 영상에 대해서 국부적 특징을 사용한 ICA가 전역적 특징을 사용한 PCA보다 더 좋은 인식 성능을 가진다는 연구들이 보고되어왔다. 따라서 본 실시예에서는 ICA 알고리즘을 개선한 LS-ICA(Locally Salient ICA) 방법을 이용하여 얼굴 가림의 영향을 최소화하고 인식 성능을 최대화하는 기술을 제시한다.
LS-ICA 방법은 현저한 국부적 특징을 고려하기 위하여 ICA의 기저 영상 영역 중에 국부적 특징이 현저한 작은 영역을 제외한 나머지 영역을 제거하여 ICA의 국부적 정보만을 사용함으로써 얼굴의 현저한 특징에 해당하는 국부적인 영역 이외의 변형에 대해서는 영향을 받지 않도록 하는 방법이다.
예를 들어, 도 7을 참조하면, 코 부분에 가림 현상이 발생한 경우 PCA 방법은 전역적 특징을 이용하기 때문에 모든 계수(e1,e2,...en)에 영향을 받고, ICA 방법 또한 기저 영상에 전역적 특징을 조금씩 포함하므로 모든 계수(b1,b2,...,bn)에 영향을 받는다. 그러나 LS-ICA 방법은 국부적 특징에 대응하는 계수, 즉 코 부분에 대응되는 계수(b3')에만 영향을 받는다.
LS-ICA 방법은 ICA를 개선하여 클래스 분별력 크기 순으로 정렬된 ICA 기저영상내의 국부적으로 두드러진 영역에 대해서만 특징을 추출하는 방법이다. LS-ICA 방법은 부공간 투영기술에 적용되는 알고리즘과 동일한 방법으로 훈련영상으로부터 구한 선형변환행렬(Wls - ica)을 이용하여 전체 훈련 영상을 선형 변환하여 특징벡터(FT)들을 오프라인에서 구해 놓는다. 실제 얼굴 인식시 입력 영상을 Wls - ica를 이용하여 선형 변환한 특징벡터(F')와 오프라인시 미리 구해놓은 특징벡터(FT)들과 비교하여 얼굴을 인식한다. LS-ICA 방법을 구체적으로 살펴보면 다음과 같다.
첫째, 전체 훈련영상이 들어오면 히스토그램 평활화(histogram equalization) 및 정규화 등의 전처리 과정을 수행한다. 정규화 과정에서는 눈 사이의 거리가 같아지도록 얼굴 영상의 크기를 조절한다.
둘째, 훈련영상으로부터 FastICA 알고리즘을 이용하여 ICA 기저 벡터들을 생성한다. FastICA 방법은 데이터들의 상관관계(correlation)를 제거하기 위해 전처리 과정에서 백색화(whitening)를 적용한 다음 데이터들의 비가우시안(nongaussianity)을 최대화하기 위해 커토시시(kurtosis)를 적용함으로써 독립성분을 계산하게 된다. 그리고 나서 클래스 분별력 r값의 크기 순으로 정렬된 ICA 기전 벡터 행렬을 얻어낸다. 분별력 r값을 구하기 위해서, 우선 각 특징(feature)에 대한 클래스간 분산(σbetween)과 클래스내 분산(σwithin)을 각각 다음 수학식으로 구한다.
Figure 112009066517211-pat00001
여기서, M은 전체 평균, Mi는 i 번째 클래스의 평균, bij는 i번째 클래스에 속해있는 j 번째 얼굴 영상의 계수를 나타낸다.
클래스 분별력 r은 다음 수학식 2와 같이 구해진다.
Figure 112009066517211-pat00002
셋째, 클래스 분별력 순으로 정렬된 ICA 기저 영상들로부터 LS-ICA 기저 영상들을 얻어낸다. 클래스 분별력 r 값에 의해 ICA의 기저 벡터들을 정렬하는 이유는 ICA 방법을 통해 얻어진 모든 기저 벡터들을 사용하는 것이 아니라, 몇 개의 특 징만으로 표현함으로써 효율적으로 차원을 줄이기 위함이다. 도 8은 본 발명에 따른 ICA 기저 영상으로부터 LS-ICA 기저 영상을 생성하는 과정의 일 예를 도시한 도면이다. 도 8을 참조하면, (a)는 임의의 ICA 기저 영상을 나타내고, (b)는 (a)의 전체 픽셀의 평균값을 기준으로 분산(σ)에서 벗어나는 픽셀의 영역을 255로 하고, 벗어나지 않은 픽셀의 영역을 0값의 2진영상으로 변환한 영상이다. (c)와 (d)는 침식(erosion: 2x2 operator)과 팽창(dilation: 5x5 circle operator)의 모폴로지 기법을 사용하여 국부적 특징영역을 찾는 과정이며, (e)는 (a)의 전체영역에서 국부적 특징영역을 제외한 나머지 영역을 0값으로 변환하여 생성한 새로운 LS-ICA 기저 영상을 나타낸다. 이러한 LS-ICA 기저 영상들은 도 7과 같이 얼굴 영상들을 표현하는데 사용된다.
다음으로 얼굴 이외의 몸의 각 부분의 특징 영역의 정보를 기초로 사람을 인식하는 방법에 대해서 살펴본다.
영상에서 사람이 마스크 등을 착용하여 얼굴 영역을 이용하여 그 사람을 인식할 수 없는 경우에는 몸의 다른 부분의 특징 정보, 즉 모자, 상의, 신발, 옷 무늬 등을 이용하여 검색한다. 몸의 특징 영역을 이용한 인식방법은 도 3에서 설명한 바와 같이 얼굴 영역의 위치 및 크기 등을 기초로 자동으로 추출되고 추출된 부분의 특징이 분류 등록되므로 종래에 사용자가 일일이 영상을 대조하여 작업하는 것에 비해 검색속도 및 인식 성능이 향상된다. 몸의 각 부분의 특징 정보의 유사도 비교는 색상(color)을 이용하여 이루어진다.
구체적으로 색상 영상의 분류를 위하여 기존의 NxM-grams를 변형한 Color NxM-grams을 이용하여 영상 고유의 정보를 추출한 후, 유사성을 측정하여 영상을 분류하고 검색한다. 인간의 시각적 인지와 비슷하고, RGB 칼라 모델보다 더 좋은 검색 결과를 나타내는 HIS 칼라 모델을 사용하여 영상의 특징을 추출한다. 입력 영상의 RGB 칼라 모델로 구성된 좌표 값을 HIS 칼라 모델의 Hue 값을 이용하기 위하여, 영상을 HIS 칼라 모델의 색상(Hue) 값으로 변환한다. 변환된 영상의 각 화소에 해당하는 색상 값을 3개의 영역으로 나누어 0도~360도까지의 각도로 표현하며, 0도는 빨간색, 120도는 녹색, 240도는 파란색의 순수색으로 나타낸다. 빨간색, 녹색, 파란색 각각에 해당하는 각도를 중심으로 상하 60도씩 범위를 넓히면 Hue 값은 세 개의 영역으로 분리될 수 있다. 그리고 분리된 각각의 영역을 그룹화하여 영상의 각 화소들을 0,1,2로 구성된 삼진수의 값으로 표현한다. 그룹화한 값인 0,1,2로 표기된 영상에 NxM 크기의 윈도우를 적용하여 해당하는 화소의 값을 나열하면 NxM개의 열을 가지는 벡터로 Color NxM-grams를 생성한다. 색상 기반으로 한 유사도 측정은 일반적으로 영상의 히스토그램에 대하여 유크리디어 거리(Euclidean Distance)나 히스토그램 인터섹션(Histogram Intersection)과 같은 방법이 사용된다. 본 실시예에서는 히스토그램 인터섹션인 S를 사용하여 두 영상 Q와 I 사이의 유사도를 계산하며 계산식은 다음과 같다.
Figure 112009066517211-pat00003
여기서, t(j,I)은 I영상에서 color NxM-grams의 벡터 j의 총 빈도수를 나타 내고, min(t(j,Q), t(j,I))는 영상 Q와 영상 I중에서 color NxM-grams의 벡터 j의 발생빈도가 적은 영상의 빈도수를 나타낸다. 그리고 T는 color NxM-grams의 전체 수를 나타낸다.
계산된 Color NxM-grams 벡터 교차점인 S(A,B)의 범위는 0에서 1사이가 된다. 만일 Q영상과 I영상이 동일하다면 유사도가 1이 되고, 전혀 다른 영상이라면 유사도가 0이 된다.
마지막으로 얼굴 영상이나 몸의 각 부분의 특징에 대해 자동으로 분류하여 인식하는 과정과 더불어 텍스트를 비교하여 검색한다. 즉, 영상으로부터 추출한 특징을 데이터베이스에 등록하는 과정에서 도 1에서 살핀 바와 같이 사용자에 의해 영상에 나타난 사람의 부가적인 특징을 텍스트로 입력한다. 따라서 사용자는 인식 대상 영상으로부터 검색하고자 하는 사람의 성별, 나이, 모자, 안경, 상의, 하의 , 신발, 액세서리, 무늬 등의 텍스트 정보를 입력하며 기존에 등록된 정보와 비교하여 검색이 가능하다.
본 실시예에서 제시한 세 가지 검색 방법, 즉 얼굴 영역, 몸의 각 부분의 특징 영역 및 텍스트 정보의 검색 방법은 동일에 또는 순차적으로 실시될 수 있을 뿐만 아니라 검색 방법의 순서 또한 사용자에 의해 자유롭게 선택되어 이용될 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명에 따른 영상 검색 및 인식 방법의 개략적인 흐름을 도시한 도면,
도 2는 본 발명에 따른 영상의 화질 개선 방법의 일 예를 도시한 도면,
도 3은 본 발명에 따른 도 1의 영상 검색 및 인식 방법에서 영상으로부터 사람의 특징을 자동으로 추출 분류하여 등록하는 단계들의 상세 흐름도,
도 4는 눈간 거리를 기초로 일정 비율만큼 떨어진 몸의 각 부분을 파악하는 방법의 일 예를 도시한 도면,
도 5는 K-mean 알고리즘을 이용하여 몸에 착용한 모자와 상의의 색상 특징을 추출하는 예를 도시한 도면,
도 6은 본 발명에 따른 도 1의 영상 검색 및 인식 방법에서 표준 영상 DB 구축 후 DB에서 인식 대상 영상에 나타난 사람과 동일인을 비교 인식하는 각 단계의 상세 흐름도,
도 7은 PCA, ICA 및 본 발명에 따른 LS-ICA의 일 예를 도시한 도면,
도 8은 본 발명에 따른 ICA 기저 영상으로부터 LS-ICA 기저 영상을 생성하는 과정의 일 예를 도시한 도면, 그리고,
도 9는 본 발명에 따른 얼굴 인식을 위해 얼굴 영역을 여러 개의 블록으로 분류한 후 각 블록에서 고유 특징을 선택하는 일 예를 도시한 도면이다.

Claims (9)

  1. 입력 영상에서 얼굴 영역을 검출하고 저장하는 얼굴정보등록단계; 및
    상기 검출된 얼굴 영역의 눈으로부터 눈간 거리의 일정 비율만큼 눈 위쪽으로 떨어진 거리 영역을 모자 영역으로 설정하고, 상기 검출된 얼굴 영역의 눈으로부터 눈간 거리의 일정 비율만큼 아래쪽으로 떨어진 거리 영역을 상의 영역으로 설정한 후, 상기 모자 영역의 피부색과 검정색의 분포 합이 미리 설정된 일정 기준 이하인 경우 모자 착용으로 판단하여 모자의 색상과 상의 색상을 포함하는 몸의 특징을 저장하는 특징정보등록단계;를 포함하는 것을 특징으로 하는 정보등록방법.
  2. 제 1항에 있어서, 상기 얼굴정보등록단계는
    에이다부스트(AdaBoost) 알고리즘에 기초한 다단 얼굴 분류기를 이용하여 상기 영상에서 얼굴 영역을 검출하고 등록하는 단계를 포함하는 것을 특징으로 하는 정보등록방법.
  3. 제 1항에 있어서, 상기 얼굴정보등록단계는,
    에이다부스트(AdaBoost) 알고리즘에 기초한 다단 얼굴 분류기를 이용하여 상기 영상에서 얼굴 영역을 검출하는 단계;
    상기 검출된 얼굴 영역에서 다중 블록 매칭 방법을 이용하여 눈의 위치를 파악하는 단계; 및
    상기 눈의 위치를 기초로 상기 얼굴 영역의 영상을 정규화하여 등록하는 단계;를 포함하는 것을 특징으로 하는 정보등록방법.
  4. 제 1항에 있어서, 상기 특징정보등록단계는,
    상기 검출된 얼굴 영역에서 눈간 거리를 파악한 후 상기 눈간 거리의 일정비율만큼 떨어진 거리에 위치하는 몸의 각 영역의 영상을 추출하고 등록하는 단계;를 포함하는 것을 특징으로 하는 정보등록방법.
  5. 제 1항에 있어서,
    상기 영상에 대해 WDR(Wide Dyanmic Range) 기술을 적용하여 화질을 개선하는 단계;를 상기 얼굴정보등록단계 전에 더 포함하는 것을 특징으로 하는 정보등록방법.
  6. 인식 대상 영상을 입력받는 단계;
    상기 인식 대상 영상의 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역의 눈으로부터 눈간 거리의 일정비율만큼 눈 위쪽으로 떨어진 거리 영역을 모자 영역으로 설정하고, 상기 검출된 얼굴 영역의 눈으로부터 눈간 거리의 일정 비율만큼 눈 아래쪽으로 떨어진 거리 영역을 상의 영역으로 설정하고 상기 모자 영역의 피부색과 검정색의 분포 합이 미리 설정된 일정 기준 이하인 경우 모자 착용으로 판단하여 모자의 색상과 상의 색상을 포함하는 몸의 특징을 파악한 후, 다수의 영상으로부터 추출되어 데이터베이스에 미리 저장된 얼굴 영역 또는 몸의 각 부분의 특징 영역과 비교하는 단계; 및
    상기 비교 결과를 출력하는 단계;를 포함하는 것을 특징으로 하는 동일인 비교 인식 방법.
  7. 제 6항에 있어서, 상기 비교하는 단계는,
    상기 데이터베이스에 미리 저장된 영상들에 대해 ICA(Independent Component Analysis) 기저 영상들을 구하고 클래스 분별력 순으로 나열하는 단계;
    상기 클래스 분별력 순으로 소정 개수의 ICA 기저 영상들의 각각에 대해 전체 픽셀의 평균값을 기준으로 분산에서 벗어나는 영역과 벗어나지 않는 영역을 구분하고 모폴로지 기법을 적용하여 국부적 특징영역을 가지는 LS-ICA 기저 영상을 구하는 단계;
    상기 LS-ICA 기저 영상을 상기 데이터베이스 저장하는 단계; 및
    상기 인식 대상 영상의 얼굴 영역에 대하여 구한 LS-ICA 기저 영상과 상기 데이터베이스에 저장된 LS-ICA 기저 영상을 비교하는 단계;를 포함하는 것을 특징으로 하는 동일인 비교 인식 방법.
  8. 제 6항에 있어서, 상기 비교하는 단계는,
    상기 인식 대상 이미지의 상기 몸의 각 부분의 특징 영역의 색상과 상기 데이터베이스에 저장된 몸의 각 부분의 특징 영역의 색상을 기초로 유사도를 비교하는 단계;를 포함하는 것을 특징으로 하는 동일인 비교 인식 방법.
  9. 제 6항에 있어서, 상기 비교하는 단계는,
    사용자로부터 입력받은 상기 인식 대상 이미지의 부가정보와 상기 데이터베이스에 저장된 부가정보를 비교하는 단계;를 포함하는 것을 특징으로 하는 동일인 비교 인식 방법.
KR1020090103568A 2009-10-29 2009-10-29 영상 검색 및 인식 방법 KR101107308B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090103568A KR101107308B1 (ko) 2009-10-29 2009-10-29 영상 검색 및 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090103568A KR101107308B1 (ko) 2009-10-29 2009-10-29 영상 검색 및 인식 방법

Publications (2)

Publication Number Publication Date
KR20110046874A KR20110046874A (ko) 2011-05-06
KR101107308B1 true KR101107308B1 (ko) 2012-01-20

Family

ID=44238245

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090103568A KR101107308B1 (ko) 2009-10-29 2009-10-29 영상 검색 및 인식 방법

Country Status (1)

Country Link
KR (1) KR101107308B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101350221B1 (ko) * 2012-02-24 2014-01-24 주식회사 시티캣 인지모방 기법을 이용한 지능형 영상 검색 방법
KR101350220B1 (ko) * 2012-02-24 2014-01-14 주식회사 시티캣 인지모방 기법을 이용한 타겟 분류 시스템 및 방법
KR102068251B1 (ko) * 2012-04-17 2020-01-20 삼성전자주식회사 3차원 볼륨 데이터 생성 방법
KR101629832B1 (ko) * 2015-03-06 2016-06-14 인하대학교 산학협력단 얼굴영상을 이용한 연대별 멀티미디어 데이터베이스 구축장치 및 방법
CN112001282A (zh) * 2020-08-12 2020-11-27 腾讯音乐娱乐科技（深圳）有限公司 一种图像识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030062586A (ko) * 2002-01-17 2003-07-28 엘지전자 주식회사 이동 통신 환경에서의 사람 영역 추출방법
KR20050120339A (ko) * 2004-06-18 2005-12-22 엘지전자 주식회사 휴대폰에 장착된 카메라를 이용한 신원확인 장치 및 방법
KR100795160B1 (ko) 2007-03-22 2008-01-16 주식회사 아트닉스 얼굴영역검출장치 및 검출방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030062586A (ko) * 2002-01-17 2003-07-28 엘지전자 주식회사 이동 통신 환경에서의 사람 영역 추출방법
KR20050120339A (ko) * 2004-06-18 2005-12-22 엘지전자 주식회사 휴대폰에 장착된 카메라를 이용한 신원확인 장치 및 방법
KR100795160B1 (ko) 2007-03-22 2008-01-16 주식회사 아트닉스 얼굴영역검출장치 및 검출방법

Also Published As

Publication number Publication date
KR20110046874A (ko) 2011-05-06

Similar Documents

Publication Publication Date Title
Pentland et al. View-based and modular eigenspaces for face recognition
CN102799870B (zh) 基于分块一致lbp和稀疏编码的单训练样本人脸识别方法
US20080298643A1 (en) Composite person model from image collection
CN106682578B (zh) 基于眨眼检测的弱光人脸识别方法
Chaudhari et al. Face detection using viola jones algorithm and neural networks
US20090091798A1 (en) Apparel as event marker
JP2000003452A (ja) デジタル画像における顔面の検出方法、顔面検出装置、画像判定方法、画像判定装置およびコンピュ―タ可読な記録媒体
CN109558825A (zh) 一种基于数字视频图像处理的瞳孔中心定位方法
CN102194108A (zh) 一种聚类线性鉴别分析特征选择的笑脸表情识别方法
KR101107308B1 (ko) 영상 검색 및 인식 방법
Lin et al. Face detection based on skin color segmentation and neural network
Abinaya et al. A novel biometric approach for facial image recognition using deep learning techniques
Mohamed et al. Automated face recogntion system: Multi-input databases
Monwar et al. Eigenimage based pain expression recognition
Dwivedi et al. A new hybrid approach on face detection and recognition
Moorhouse et al. The nose on your face may not be so plain: Using the nose as a biometric
Niazi et al. Hybrid face detection in color images
Deepa et al. Repercussion of Expressions in Facial Age Estimation
Chai et al. Towards contactless palm region extraction in complex environment
Zhang et al. Rgb color centroids segmentation (ccs) for face detection
Alattab et al. Efficient method of visual feature extraction for facial image detection and retrieval
Monwar et al. A real-time face recognition approach from video sequence using skin color model and eigenface method
Pham-Ngoc et al. Multi-face detection system in video sequence
Patmanee et al. Effects of Preprocessing in Person Identification Using Ear Features
Al-Atrash Robust Face Recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160111

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170110

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180111

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191230

Year of fee payment: 9