KR100969298B1 - 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법 - Google Patents

얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법 Download PDF

Info

Publication number
KR100969298B1
KR100969298B1 KR1020070141198A KR20070141198A KR100969298B1 KR 100969298 B1 KR100969298 B1 KR 100969298B1 KR 1020070141198 A KR1020070141198 A KR 1020070141198A KR 20070141198 A KR20070141198 A KR 20070141198A KR 100969298 B1 KR100969298 B1 KR 100969298B1
Authority
KR
South Korea
Prior art keywords
image
person
face
relationship
face recognition
Prior art date
Application number
KR1020070141198A
Other languages
English (en)
Other versions
KR20090073294A (ko
Inventor
이영삼
임현
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020070141198A priority Critical patent/KR100969298B1/ko
Publication of KR20090073294A publication Critical patent/KR20090073294A/ko
Application granted granted Critical
Publication of KR100969298B1 publication Critical patent/KR100969298B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Abstract

본 발명은 영상정보 내에 존재하는 사람의 얼굴을 인식하고, 이를 통해 다수의 영상 내의 사람 상호관계를 추론하는 방법에 관한 것으로, 본 발명은 영상정보 내에서 얼굴을 추출하여 정지영상 혹은 다량의 정지영상을 조합한 영상집합 혹은 동영상의 한 장면에 등장하는 사람들의 관계를 분석하여, 다른 장면 간의 여러 인물 간의 관계를 파악하도록 구성되어, 얼굴인식을 통하여 다량의 영상 가운데에서 한 인물에서 다른 인물까지 관계에 이르는 방법을 알아낼 수 있고, 앞으로 그 양이 무한해질 영상에 대해서 잠재적인 인간관계 추론 방법을 제안함으로써 과학수사, 인지과학 분야에 긍정적인 기여를 할 수 있다. 본 발명은 직접적인 인간관계 뿐만 아니라 다차원의 정보, 예를 들면 집단 간의 관계, 중심인물 등의 추론까지 가능하게 한다. 또한 본 발명은, 인공지능(Artificial Intelligence), 심리학(Psychology), 뇌과학(Neuro Science) 등의 학문 분야에서 얼굴 인식을 통한 관계 추론 부분에도 기여할 수 있다.
영상, 얼굴인식, 관계 추론, 사회 모델링, 사회 관계추론, 인물 검색, 중심인물 검색

Description

얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법{Method For Social Network Analysis Based On Face Recognition In An Image or Image Sequences}
본 발명은 사람 상호관계 추론 방법에 관한 것으로, 특히 영상 정보 내에 존재하는 사람의 얼굴을 인식하고, 이를 통해 한장 혹은 다수의 영상 내의 사람 상호관계를 추론하는 방법에 관한 것이다.
근래의 통신기술의 발전은 사람 간의 의사소통과 관계기반의 활동을 상당부분 통신망을 통하여 이루어지도록 하고 있다. 인터넷 블로그나 이메일은 통신망 기반의 관계활동의 대표적인 예로 일종의 사회 관계를 표현하는 매체라고 할 수 있다. 특히 페이스 북(Facebook)이나, 국내의 싸이월드(cyworld)의 경우 텍스트 기반의 온라인 사회활동이 아닌 영상 기반의 활동이 빈번하다. 그중에서도, 사람의 얼굴이 중심이 되는 경우가 많으며 사람은 별다른 학습과정 없이도 여러 장의 사진 예시를 통하여 인물 간의 관계를 추론할 필요성이 있으며, 이러한 과정을 자동화하여 인물간의 관계를 추론하고 더 나아가 다량의 사진으로부터 인물의 군집화(grouping), 군집간의 연결인물 추정, 다량의 군집을 가장 적은 방문으로 통합할 수 있는 인물의 추정 등이 필요하다.
일반적으로 기존에는 하나의 얼굴에 대하여 지정된 입력 얼굴이 등장하는 영상의 집합을 아내는 영상검색 분야가 활발히 연구되어 왔다. 이러한 영상검색 분야는 물론 같은 얼굴인식 기술을 사용하고 있지만 확률적 계산에 의한 1:1 검색에 한정되어 있다.
관련된 종래 기술로는 신경 회로망과 은닉 마르코프 모델과의 결합을 이용한 얼굴인식 방법(한국공개특허 1999-0086440)이 있는데 이는 상이한 사람마다 각기 다수개의 얼굴 영상을 취득하여 T 개의 특징 벡터를 추출하고, 추출된 T개의 특징 벡터 중 절반을 이용하여 신경 회로망을 훈련시킴으로써 각각의 식별 대상자를 등록하고, 훈련된 신경 회로망에 상기 나머지 절반의 특징 벡터를 제공하여 상기 등록된 식별 대상자와 나머지 절반의 특징 벡터와의 관련 데이터 파일을 생성하고, 생성된 관련 데이터 파일로부터 절반의 파일 데이터를 이용하여 은닉 마르코프 모델을 훈련시켜 상기 대상자당 가장 작은 수렴값을 갖는 모델 파라미터를 생성하는 단계로 구성된다.
또한, 블록 매칭 기반 얼굴 특징 추적 방법(한국공개특허 2002-0080064)은 피사체 얼굴의 구성요소를 검출하고, 검출된 얼굴의 구성 요소의 위치정보를 검출하고, 검출되어진 위치정보를 정규화시켜 특징 벡터 궤적을 산출하여 노이즈 등을 제거하고, 표정 인식에 따른 특징 벡터의 유효 공간 정의와 양자화를 수행하여 은닉 마르코프 모델을 기준으로 표정을 인식하는 과정을 포함하여 구성된다.
상기와 같은 종래의 기술은 따라서, 주로 얼굴을 인식하는데 중점을 두고 있어 하나의 영상화면에 존재하는 다수의 인물들 간의 관계를 파악하는 것은 어려운 문제점이 있다. 또한 같은 영상 내의 인물들 간의 관계뿐만 아니라 하나의 영상화면에 존재했던 인물이 다른 영상에서 존재하는 경우 그러한 인물들 간의 연결점을 찾고 관련된 인물들 간의 관계를 파악하기에는 어려운 문제점이 있다.
본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 한장 혹은 다수의 영상정보로부터 해당 영상정보 내의 인간들 간의 상호 연결관계를 자동으로 파악하고, 이를 데이터 베이스화하여 특정 인간과 타 인간과의 관계를 용이하게 검색하게 해주는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법을 제공하는데 그 목적이 있다.
상기한 과제를 해결하기 위한 본 발명에 따른 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법은 하나 이상의 영상 정보를 입력받는 제 1 단계, 상기 입력된 영상 정보에서 얼굴을 검출하는 제 2 단계, 상기 제 2 단계에서 검출된 얼굴을 고유값으로 레이블링하여 인물을 인식하는 제 3 단계, 상기 제 3 단계에서 인식된 인물에 대해 관계 빈도 행렬의 빈도를 증가시키고 화면에 등장하는 인물들간 군집화하는 제 4 단계 및 상기 관계 빈도 행렬과 군집화된 데이터를 이용하여 다수의 인물들 간의 관계를 추정하는 제 5 단계를 포함한다.
여기서, 상기 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법은 상기 입력된 영상 정보에 포함된 모든 인물의 얼굴을 검출할 때까지 상기 제 2 단계 내지 제 3 단계를 반복한다.
상기 제 2 단계는 상기 입력된 영상으로부터 얼굴 후보 영역을 검출하는 제 1 과정 및 상기 얼굴 후보 영역 중 얼굴 크기와 피부색을 이용하여 얼굴 이외의 영 역을 필터링하는 제 2 과정을 포함한다.
상기 제 3 단계는 고유 얼굴(Eigenfaces) 인식 방법을 사용하여 인물을 인식하거나, 은닉 마르코프 모델(Hidden Markov Model)을 사용하여 인물을 인식한다.
상기 제 4 단계는 상기 제 3 단계에서 인식된 인물이 기존의 데이터 베이스에 존재하는 인물이 아닌 경우에는 이름을 포함하는 해당 인물의 식별값을 사용자로부터 입력받는 과정을 더 포함한다.
상기 제 4 단계의 관계 빈도 행렬은 행을 i로 하고 열을 j로 하는 aij를 행렬원소로 하는 행렬로, 여기서 i,j는 인물의 식별 번호이며, aij는 i 인물이 등장할 때 j 인물이 등장하는 빈도값이다.
상기 제 4 단계는 하나의 정지 영상 단위로 상기 관계 빈도 행렬을 갱신한다.
상기 제 4 단계는 상기 제 3 단계에서 인식된 인물이 기존의 데이터 베이스에 존재하는 인물이 아닌 경우에는 상기 관계 빈도 행렬의 행과 열의 전체 크기를 1씩 증가시키고 인식된 인물에 새로운 식별 번호를 부여한다.
상기 제 4 단계는 하나의 정지 영상에 포함된 인물들 상호 간에 상기 관계 빈도 행렬의 해당 빈도값을 1씩 증가시킨다.
상기 제 4 단계는 하나의 정지 영상에서 인식된 인물들끼리 하나의 그룹으로 군집화한다.
상기 제 5 단계는 서로 다른 그룹의 인물들 중 공통적으로 등장하는 인물을 연결점으로 설정하는 제 1 과정 및 상기 연결점으로 설정된 인물과 그 인물이 속하는 하나 이상의 그룹에 포함된 타 인물들 간에 상기 관계 빈도 행렬의 빈도값에 따른 관계를 추정한다.
상기와 같이 구성되는 본 발명에 따른 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법은 얼굴인식을 통하여 다량의 영상 가운데에서 한 인물에서 다른 인물까지 관계에 이르는 방법을 알아낼 수 있다. 이는 특정 사회구성원들의 관계를 직접 조사하지 않고 영상을 통하여 알아낼 수 있으며, 자신이 가진 여러 장의 영상으로부터 등장하는 인물들에 대한 관계 정보를 얻어 냄으로서 기존에 자신이 가지고 있던 관계에 대하여 인지하지 못하였던 부분을 새롭게 알아낼 수 있다. 또한, 앞으로 그 양이 무한해질 영상에 대해서 잠재적인 관계 추론 방법을 제안함으로써 과학수사, 인지과학 분야에 긍정적인 기여를 할 수 있다. 또한 본 발명은, 인공지능(Artificial Intelligence), 심리학(Psychology), 뇌과학(Neuro Science) 등의 학문 분야에도 기여할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 구체적인 구성 및 실시예를 설명하면 다음과 같다.
본 발명은 얼굴인식 방법을 이용하여 영상에서의 사람 상호관계를 알아내는 방법에 관한 것이다. 본 발명에서는 1:1 검색이 아니라 영상에서 등장하는 얼굴들을 일정 관계로 모델링하여 서로 다른 두 영상에서 교차되는 인물을 주요 특징점으로 하여 서로 만나거나 같이 영상이 등장한 적이 없더라도 교집합을 이루는 인물들을 주요 지점으로 한 인적 네트워크 구조를 밝혀낼 수 있다. 이는 사람이 뇌를 이용하여 관계를 정의하는 방법과 비슷한 것이다. 본 발명에서는 얼굴이라는 신체 주요 특징을 지정된 영상에서 검출해 내고 이를 인식하기 위하여 인공지능 알고리즘을 사용한다.
도 1은 본 발명에 따른 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법이 도시된 순서도이다.
도 1을 참조하면, 먼저 하나 이상의 영상정보를 입력받는다(S10).
입력되는 영상정보는 하나의 정지영상이거나 동영상이 될 수 있다.
다음 단계로 상기 입력된 영상 정보에서 얼굴을 검출한다(S20).
만약 입력된 영상이 정지영상인 경우에는 해당 정지영상에 등장하는 인물들의 얼굴을 검출하고, 동영상의 경우에는 각 프레임 또는 일정한 간격으로 샘플링된 다수의 정지 영상에 대하여 각 정지 영상마다 등장하는 인물들의 얼굴을 검출한다.
얼굴을 검출하는 과정은 다음과 같이 이루어진다.
입력된 영상으로부터 먼저 얼굴 후보 영역을 검출하고, 상기 얼굴 후보 영역 중에 얼굴 이외의 영역을 제거하는 필터링을 거쳐 최종적인 얼굴 영역을 검출한다.
상기 얼굴 후보 영역은 이후의 필터링 과정을 거쳐 얼굴이 아니라고 판단되거나 보다 정확한 얼굴 영역으로 다듬어진다.
이때 얼굴 후보 영역을 검출한 후에 보다 정확한 얼굴 영역을 검출하기 위해서 영상을 보정할 필요가 있다. 이 경우 상기 얼굴 후보 영역을 밝기값에 대한 분산을 이용하여 정규화 할 수 있다. 즉, 밝기 히스토그램의 평준화를 사용하여 얼굴 후보 영역에서 지나치게 어둡거나 지나치게 밝은 부분을 보정하는 것이다.
다음으로, 얼굴 후보 영역 중에서 얼굴 이외의 부분을 제거하는데, 본 발명은 일실시예로 추출된 후보 영역 중 잘못 추출된 영역을 제거하기 위하여 색영역(피부색) 기반의 필터링 방법, 크기 기반의 필터링 방법을 사용한다.
피부색 기반은 얼굴이라는 신체 특징상 영상에서 피부색이 두드러지기 때문에 검출된 얼굴 후보 영역의 피부색 확률이 일정 수치(임계치) 미만일 경우 얼굴 후보 영역으로 사용하지 않는다.
크기 기반은 우연히 얼굴 비슷한 특징을 가진 개체가 감지되더라도 영상에서 얼굴이 가질 수 있는 크기를 임계치로 설정하고 이에 미달되면 얼굴 후보 영역으로 사용하지 않는 방법을 사용한다.
즉, 소정의 기준 얼굴 크기를 정해놓고 해당 기준 얼굴 크기보다 작은 얼굴 후보 영역은 고려 대상에서 제외하거나, 얼굴 후보 영역 중 피부색 이외의 부분을 제거함으로써 보다 정확한 얼굴 영역만을 검출한다.
이렇게 얼굴 영역을 검출한 후에는 검출된 얼굴을 고유값으로 레이블링하여 인물을 인식한다(S30).
이 경우 얼굴을 인식하여 인물을 구별하는 방법에는 기존의 다양한 방법이 사용될 수 있다. 여기서 얼굴 인식은 인물 인식과 동일한 의미이다.
얼굴 인식은 얼굴 생체 정보를 통한 개인 인식의 한 방법이다. 얼굴 인식을 위해서는 먼저 하나의 영상에서 얼굴에 해당하는 영역을 상기 서술한 바와 같이 검출하고 패턴 인식기에 해당 영역에 대한 정보를 전달해 주어야 한다.
패턴 인식기는 입력된 특징으로부터 고유값을 추출하여 식별한다.
패턴인식기에 되는 특징(Feature)에 따라 다음과 같이 분류 할 수 있다.
전체적 접근법은 얼굴 영상 전체를 패턴 인식기에 전달하는 방법이다. 이 방법의 대표적인 예로는 고유 얼굴(Eigenface) 인식 방법이 있다. 고유 얼굴(Eigenface)는 선형대수에서 고유 벡터(Eigenvector)를 이용하여 같은 선형공간의 나머지 벡터를 재구성할 수 있다는 개념으로부터 도출되어, 고유 얼굴(eigenface)의 선형 조합으로 모든 얼굴을 표현 가능하다는 가정하에 얼굴인식을 수행하는 방법이다. 이를 이용하는 방법으로는, Fisherface, Support Vector Machines, Nearest Feature Lines(NFL), Independent Component Analysis 가 있다. 이들은 모두 중요 구성요소 분석(Principal Component Analysis, 이하 PCA) 를 기초로 하고 있다. PCA 는 반복적인 학습과정 중 데이터 집합을 좀더 낮은 차원으로 단순화시키는 기법이다.
다음으로, 특징기반 접근법은 얼굴 영상을 여러 가지 영상처리 기법을 통하 여 해석된 정보를 사용한다. 이 해석된 정보는 특징(Feature) 이라고 한다. 이 특징에 대한 정보는 주로 코, 눈, 간의 거리나 각도정보 등의 얼굴 구조적인 정보를 표현한다. 이 접근법의 단점은 다양한 시점에 따라 다른 구조를 지닌다는 점과 조명상황에 불변하는 특징점을 찾는 것이 어렵다는 것이다.
다음으로, 복합적인 접근법은 사람이 얼굴인식을 수행하는 것과 가장 유사한 것으로 위에서 언급한 두 가지 방법을 조합하여 사용한다. 확률적으로는 가장 높은 신뢰도를 보이지만 컴퓨터 연산양은 가장 많다.
얼굴의 인식을 위한 인공지능 알고리즘의 일례로 은닉 마르코프 모델(Hidden Markov Model)을 사용할 수 있다.
필터링을 거쳐 최종으로 얻어낸 얼굴 영역을 정규화하여 은닉 마르코프 모델(Hidden Markov Model)에 전달한다.
은닉 마르코프 모델은 얼굴 후보 영역을 분석하여 소정의 계수값을 반환하는데 이 계수값을 식별을 위한 고유값으로 이용하여 얼굴을 구분할 수 있다.
또한, 이 경우 해당 인물의 이름이나 별명 등을 사용자 인터페이스로부터 입력받을 수 있고 이를 고유값으로 하여 인물을 구별할 수 있다.
본 발명은 상기 설명한 방법에 의해 한정되지 않고 이외에 다른 여러 가지 방법을 사용하여 얼굴 이미지를 분석하여 인물을 식별할 수 있다.
이렇게 인물을 식별하면 식별된 인물이 기존의 데이터 베이스에 존재하는 인물인지 새롭게 등장한 인물인지 판단한다(S40).
만약 새롭게 인식된 인물인 경우에는 새로운 식별 번호를 부여한다(S50).
다음으로 인식된 인물에 대해 관계 빈도 행렬의 빈도값을 증가시키고 하나의 화면에 등장하는 인물들간 군집화한다(S60, S70).
상기와 같이 식별 번호가 부여된 여러 인물들 간의 관계를 파악하기 위해 본 발명은 관계 빈도 행렬을 이용한다.
관계 빈도 행렬과 관계된 파라미터들은 다음과 같다.
N 은 인식되어 저장된 인물의 수를 말하며, i 인물이 등장할 경우 j 인물이 등장할 확률 또는 빈도값인 aij=p[Rj|Ri] 로 표현되며, Ri 는 i 인물에 대한 고유값을 말하는데 은닉 마르코프 모델의 계수값이라든지 기타 설정된 인물의 이름을 말한다.
또한, 관계 빈도 행렬인 A 는 행을 i로 하고 열을 j로 하며, 행렬 요소가 aij인 행렬(N×N)이다. 여기서 i 와 j 는 모두 1 에서 N 사이의 값(1≤<i,j≤<N)이며, 상기 각 인물의 식별 번호이다.
새로운 인물이 인식될 때마다 i와 j의 최대값인 N 은 증가하게 되며, 새로운 인물은 제일 마지막 인식된 인물의 식별 번호보다 하나 더 식별 번호를 가지게 된다.
상기와 같은 파라미터들을 가지는 관계특징(Relation Feature)들은 3차원 공간에 분포하게 되는데, 각 차원의 요소는 (i, j, aij)를 가진다. 이를 그림으로 나타낸 것이 도 2 이며, 도 2는 관계 특징의 분포 예가 도시된 도이다.
행렬 A 는 한 인물에서 다른 한 인물 간의 접촉빈도를 나타내는 행렬로 이미 지에서는 등장 횟수를 의미한다.
도 3은 관계 빈도 행렬의 작성 알고리즘이 도시된 도이다.
도 3을 참조하여 관계 빈도 행렬이 어떻게 생성되고 갱신되는지 설명하겠다.
먼저 하나의 정지영상에 등장하는 인물의 얼굴을 인식하여 인식된 인물에게 순차적으로 식별 번호를 부여한다.
도 4는 임의의 제 1 영상에 등장한 인물에 식별번호가 부여된 일례가 도시된 도이며, 도 5는 제 1 영상에 등장한 인물들로 이루어진 관계 빈도 행렬의 일례가 도시된 도이다.
도 4를 참조하면, 세 명의 인물이 인식되면 이를 데이터 베이스에 저장된 인물과 일치하는지 검사하여 새로운 인물인 경우에는 이 세 명에게 고유의 식별 번호를 부여한다. 즉, 도 4에 도시된 바와 같이 1번, 2번, 3번을 부여하고 관계 빈도 행렬의 행과 열을 새롭게 검색된 인물의 수만큼 확장한다.
만약 기존에 어떠한 관계 빈도 행렬이 없었다면 도 5와 같이 새롭게 3행 3열로 이루어진 관계 빈도 행렬(A)을 생성하고, 새롭게 생성된 부분의 행렬요소는 0으로 초기화한다.
그리고 제 1 영상에 등장한 인물들끼리 교차되는 행렬요소에 빈도값을 1씩 증가시킨다. 모든 인물에 대해 이 과정이 이루어지면 도 5와 같이 완성된 관계 빈도 행렬이 만들어진다.
도 5를 참조하면, 1번, 2번, 3번 인물은 서로 각각 1 번의 빈도를 가지게 된다. 즉, 하나의 영상에 1번 등장하였다는 것을 기록한 것이다.
다음으로 새로운 제 2 영상에 대해 인식된 인물을 상기 제 1 영상에서 완성된 관계 빈도 행렬에 추가하는 방법을 설명한다.
도 6은 임의의 제 2 영상에 등장한 인물에 식별번호가 부여된 일례가 도시된 도이며, 도 7은 제 2 영상에 등장한 인물들로 이루어진 관계 빈도 행렬의 일례가 도시된 도이다.
도 6 을 참조하면, 먼저 제 2 영상 내의 인물을 인식한다. 인식된 인물을 기존의 데이터 베이스에 저장된 인물과 검색하여 새로운 인물이 누구인지 판별한다.
제 2 영상에서는 1번 인물이 기존의 인물이며, 나머지는 새롭게 인식된 인물로 가정되었기에 새롭게 인식된 인물에 새로운 식별 번호를 부여한다. 이전의 정지영상에서 3번 까지 부여하였으므로, 4번 및 5번으로 식별 번호를 부여한다.
다음으로, 관계 빈도 행렬(A)을 갱신해야 한다. 관계 빈도 행렬은 이전에 3×3 행렬이었으나, 새롭게 두 명의 인물이 등장하였으므로, 행과 열을 각각 2만큼 증가시킨다. 개개의 인물 별로 식별한 후에 관계 빈도 행렬을 갱신하는 경우에는 4번 인물에 대해 한번 행과 열을 증가시키고, 5번 인물에 대해 한번 더 행과 열을 증가시키게 되는 것이다.
도 7은 상기에서 살펴본 바와 같이 새롭게 인식된 2명의 인물에 대해 관계 빈도 행렬을 갱신한 것이다. 1번 인물은 2번, 3번, 4번, 5번 모두와 한번의 빈도값을 가지며, 2번 및 3번은 4번 및 5번과는 관계 빈도가 없음을 알 수 있다.
이렇게 관계 빈도 행렬은 다수의 정지 영상에 등장하는 다수의 인물들 간의 빈도값을 기록할 수 있다.
그리고 제 2 영상에 함께 등장한 1번, 4번, 5번 인물들에 대한 영상 정보 및 인물 정보를 그룹화하여 데이터 베이스에 저장한다.
이렇게 하나의 정지 영상에 대해 관계 빈도 행렬이 만들어지면, 정지 영상에 같이 등장한 인물끼리 군집화한다. 군집화의 제 1 실시예로는 인물들이 등장한 정지 영상의 식별값과 해당 정지영상에 등장한 인물이 누구누구였는지에 대한 정보를 그룹화하여 데이터베이스에 저장한다(S70).
군집화의 제 2 실시예로는 영상을 통해 인식된 전체 인물들을 정점(V)과 간선(E)으로 이루어진 그래프 G=(V, E)로 만들고, 상기 그래프에서 소정의 간선을 제거하여 하나 이상의 그룹으로 만들 수 있다. 구체적인 설명은 다음과 같다.
도 8은 관계 추정을 위한 두 그룹의 일례가 도시된 도이다.
일반적으로 경험에 그룹의 정의는 그룹 내의 연결은 강하고 그룹 외부로의 연결은 약한 사람들의 집합이라고 할 수 있다. 이러한 사회적 네트워크는 그래프 이론을 이용하여 표현하는 것이 해석하기 용이하다.
따라서, 하나의 사회 관계를 다음과 같이 정의한다.
그래프 G=(V, E)는 사회 관계의 전체 집합(영상에 의해 인식된 인물의 전체 집합)을 의미하며 V는 정점(인식된 개개인)을 의미하고 E는 각 정점 간의 간선(인식된 인물들간의 관계)을 의미한다.
전체 관계 집합 속에서 앞서 정의한 그룹의 정의에 기반하여 N 개의 그룹으로 나누는 것은 사회 관계 구조해석에 반드시 필요하다.
하나의 정점에서 다른 정점으로 갈 때 확률적으로 가장 많이 거치는 정점이 가장 큰 사이(betweenness) 값을 갖는 특징이 있다. 사이값은 하기의 [수학식 1]과 같이 정의된다.
Figure 112007094870784-pat00001
σst(=σts) 는 그래프 G=(V, E) 에서 정점 s∈V 에서 t∈V 로 갈 수 있는 길의 개수이며, σst(v)는 정점 s 에서 t 로의 가장 짧은 길(shortest path) 중 정점 v 를 지나는 길의 개수이다. CB(v)는 한 그래프 집합에서 하나의 정점의 영향력을 측정할 수 있는 척도인 평가함수이다.
이러한 관계는 정점 뿐만 아니라 간선에 대해서도 동일하게 적용할 수 있다. 주어진 그래프에서 σst(e)는 정점 s 에서 t 로의 길 중 간선 e를 지나가는 길의 개수이며, s, t 는 간선 e 의 양 끝에 존재하는 정점이다. 상기에서 설명한 각 정점간의 최단거리는 앞서 구한 관계 빈도 행렬을 이용하여 구한다.
간선의 사이(Betweenness)값의 정의는 하기의 [수학식 2]와 같다.
Figure 112007094870784-pat00002
여기서, CB(e)는 간선 e 를 지나는 최단거리의 개수를 의미한다. 앞서 언급한 그룹의 정의에 따르면 그룹을 결정하는 방법은 사이값이 높은 간선을 제거하는 것이다. 이는 사이값이 높은 간선 e 는 그룹간의 연결이라고 볼 수 있기 때문이다. 하지만 그룹 내부에서는 그룹간 연결보다 사이값이 낮다. 이러한 특성은 그룹을 등분하는 데 사용될 수 있다. 또한 그룹의 개수는 사이값의 크기로 내림차순 정렬된 간선들을 하나씩 제거해 나감으로써 조절할 수 있다.
도 8을 참조하면, 도 8은 분할되기 전의 두 개의 그룹을 보여주고 있는데, 왼쪽에 a 정점을 포함한 4개의 정점과 오른쪽에 b 정점을 포함한 7개의 정점 집합이 존재하는데, 간선 e 에 의해 연결되고 있다. 간선 e 는 높은 사이값을 가진다고 할 수 있다. 즉 왼쪽 그룹의 임의의 한 정점에서 오른쪽 임의의 한 정점으로 가는 경우에 간선 e가 가장 많이 사용될 수 있으므로 간선 e 의 사이값이 가장 크다. 따라서, 간선 e 를 제거하면 두 개의 그룹으로 분리할 수 있다.
상기 설명한 관계 빈도 행렬을 구성하는 과정(S60)과 군집화하는 과정(S70)들은 정지 영상에 인물 하나 하나가 인식될 때마다 매번 개별적으로 이루어질 수도 있고, 정지 영상 내의 모든 인물을 인식한 후에 모든 인물들에 대해 동시에 이루어질 수도 있다.
다음으로 상기 관계 빈도 행렬과 군집화된 데이터를 이용하여 다수의 인물들 간의 관계를 추정할 수 있다.
이를 위해서 먼저 서로 다른 그룹의 인물들 중 공통적으로 등장하는 인물들을 연결점으로 설정하고, 상기 연결점으로 설정된 인물과 그 인물이 속하는 하나 이상의 그룹에 포함된 타 인물들 간에 상기 관계 빈도 행렬의 빈도값에 따라 관계를 추정한다.
즉, 본 발명에서는 관계 빈도의 빈도값이 높을수록 두 인물 간 친밀도가 높다고 판단할 수 있다. 서로 교류하고 있는 빈도가 높을 경우 동일한 사진에 등장할 확률이 높으며, 하나의 사진에 등장하는 사람들은 서로 알고 있는 관계라고 간주하는 것이다.
관계 추정을 위해 데이터 베이스에 저장된 그룹화 정보를 검색하여 여러 그룹에서 중첩적으로 등장하는 인물을 추출하고 해당 인물이 등장하는 영상들에 관한 식별값과 해당 인물과 같이 등장하는 다른 인물들간의 관계 빈도값 등을 링크시켜 데이터 베이스에 저장한다.
본 발명은 일실시예로 사용자 인터페이스를 통해 사용자로부터 다양한 질문이나 식별자를 입력받아 데이터 베이스에 저장된 그룹화 정보와 관계 빈도 행렬에 따라 특정 인물 간의 관계를 추정하고 그 결과를 출력하도록 구성될 수 있다.
관계 빈도 행렬 A 및 군집화 정보는 그래프이론, 클러스터링 알고리즘을 통하여 다음과 같이 다양하게 해석할 수 있다.
1. 설정된 인물 i 로부터 인물 j 까지 거쳐야 할 사람의 수와 그 사람의 추정
2. 같이 등장하는 사람들의 집합을 추정
3. 추정된 사람들의 집합 간에 연결점이 되는 인물 추정
4. 각 연결점이 되는 인물중 가장 많은 그룹을 포함하는 인물 추정
이러한 해석 결과를 사용자 인터페이스를 통해 사용자에게 제공할 수 있다.
이상과 같이 본 발명에 의한 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법을 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
도 1은 본 발명에 따른 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법이 도시된 순서도,
도 2는 관계 특징의 분포 예가 도시된 도,
도 3은 관계 빈도 행렬의 작성 알고리즘이 도시된 도,
도 4는 임의의 제 1 영상에 등장한 인물에 식별번호가 부여된 일례가 도시된 도,
도 5는 제 1 영상에 등장한 인물들로 이루어진 관계 빈도 행렬의 일례가 도시된 도,
도 6은 임의의 제 2 영상에 등장한 인물에 식별번호가 부여된 일례가 도시된 도,
도 7은 제 2 영상에 등장한 인물들로 이루어진 관계 빈도 행렬의 일례가 도시된 도,
도 8은 관계 추정을 위한 두 그룹의 일례가 도시된 도이다.

Claims (18)

  1. 하나 이상의 영상 정보를 입력받는 제 1 단계;
    상기 입력된 영상 정보에서 얼굴을 검출하는 제 2 단계;
    상기 제 2 단계에서 검출된 얼굴을 고유값으로 레이블링하여 인물을 인식하는 제 3 단계;
    상기 제 3 단계에서 인식된 인물에 대해 관계 빈도 행렬의 빈도값을 증가시키고 화면에 등장하는 인물들을 군집화하는 제 4 단계; 및
    상기 관계 빈도 행렬과 군집화된 데이터를 이용하여 다수의 인물들 간의 관계를 추정하는 제 5 단계를 포함하며,
    상기 입력된 영상 정보에서 얼굴이 하나 하나 개별적으로 검출되거나, 또는 상기 입력된 영상 정보에 포함된 모든 인물의 얼굴을 검출할 때까지 상기 제 2 단계 내지 제 3 단계를 반복하는 것을 포함하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 제 1 단계에서 상기 영상 정보는 정지 영상 또는 동영상인 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  4. 청구항 1에 있어서, 상기 제 2 단계는
    상기 입력된 영상으로부터 얼굴 후보 영역을 검출하는 제 1 과정; 및
    상기 얼굴 후보 영역 중 얼굴 크기와 피부색을 이용하여 얼굴 이외의 영역을 필터링하는 제 2 과정을 포함하는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  5. 청구항 4에 있어서,
    상기 제 2 단계는 상기 제 1 과정 후에 상기 얼굴 후보 영역을 밝기값에 대한 분산을 이용하여 정규화하는 과정을 더 포함하는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  6. 청구항 1에 있어서,
    상기 제 3 단계는 고유 얼굴(Eigenfaces) 인식 방법을 사용하여 인물을 인식 하는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  7. 청구항 1에 있어서,
    상기 제 3 단계는 은닉 마르코프 모델(Hidden Markov Model)을 사용하여 인물을 인식하는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  8. 청구항 1에 있어서,
    상기 제 4 단계의 관계 빈도 행렬은 행을 i로 하고 열을 j로 하는 aij를 행렬원소로 하는 행렬로, 여기서 i,j는 인물의 식별 번호이며, aij는 i 인물이 등장할 때 j 인물이 등장하는 빈도값인 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  9. 청구항 8 에 있어서,
    상기 제 4 단계는 하나의 정지 영상 단위로 상기 관계 빈도 행렬을 갱신하는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  10. 청구항 8에 있어서,
    상기 제 4 단계는 상기 제 3 단계에서 인식된 인물이 기존의 데이터 베이스에 존재하는 인물이 아닌 경우에는 상기 관계 빈도 행렬의 행과 열의 전체 크기를 1씩 증가시키고 인식된 인물에 새로운 식별 번호를 부여하는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  11. 청구항 10에 있어서,
    상기 제 4 단계는 상기 제 3 단계에서 인식된 인물이 기존의 데이터 베이스에 존재하는 인물이 아닌 경우에는 이름을 포함하는 해당 인물의 식별값을 사용자로부터 입력받는 과정을 더 포함하는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  12. 청구항 8 또는 청구항 10에 있어서,
    상기 제 4 단계는 하나의 정지 영상에 포함된 인물들 상호 간에 상기 관계 빈도 행렬의 해당 빈도값을 1씩 증가시키는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  13. 청구항 1에 있어서,
    상기 제 4 단계는 하나의 정지 영상에서 인식된 인물들끼리 하나의 그룹으로 군집화하는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  14. 청구항 13에 있어서, 상기 제 5 단계는
    서로 다른 그룹의 인물들 중 공통적으로 등장하는 인물을 연결점으로 설정하는 제 1 과정; 및
    상기 연결점으로 설정된 인물과 그 인물이 속하는 하나 이상의 그룹에 포함된 타 인물들 간에 상기 관계 빈도 행렬의 빈도값에 따른 관계를 추정하는 제 2 과정을 포함하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  15. 청구항 14에 있어서,
    상기 제 2 과정은 두 인물 간의 친밀도 관계를 추정하는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  16. 청구항 1에 있어서,
    상기 제 4 단계는 다수의 정지 영상에서 인식된 전체 인물들을 하나 이상의 그룹으로 분할하되, 상기 관계 빈도 행렬에 근거한 두 인물 간의 최단 거리를 이용하여 소정의 두 인물 간의 간선을 끊어 하나 이상의 그룹으로 분할하는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  17. 청구항 16에 있어서, 상기 제 4 단계는
    다수의 정지 영상에서 인식된 전체 인물들을 그래프 G=(V, E)로 설정하는 제 1 과정(여기서, V는 정점, E는 간선);
    상기 관계 빈도 행렬을 이용하여 상기 그래프 G=(V, E)에서 임의의 정점 s 에서 또 다른 임의의 정점 t 로의 가장 짧은 길(shortest path) 중 임의의 간선 e를 지나는 길의 개수인 σst(e)를 구하는 제 2 과정(여기서, σst(e)=σts(e)) ;
    상기 그래프 G=(V, E)에 대해 하기의 식과 같은 평가함수의 값을 구하여 내림차순하는 제 3 과정;
    Figure 112007094870784-pat00003
    내림차순 정렬된 평가함수 값과 간선 e 를 하나의 집합으로 보고 가장 큰 평가함수 값을 가진 간선 e 를 순서대로 제거하면서 소정의 그룹의 수로 분할하여 군집화하는 제 4 과정;
    을 포함하는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
  18. 청구항 16 또는 청구항 17에 있어서,
    상기 제 5 단계는 동일한 그룹에 속한 인물들과 다른 그룹에 속한 인물들간의 관계를 추정하는 것을 특징으로 하는 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법.
KR1020070141198A 2007-12-31 2007-12-31 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법 KR100969298B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070141198A KR100969298B1 (ko) 2007-12-31 2007-12-31 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070141198A KR100969298B1 (ko) 2007-12-31 2007-12-31 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법

Publications (2)

Publication Number Publication Date
KR20090073294A KR20090073294A (ko) 2009-07-03
KR100969298B1 true KR100969298B1 (ko) 2010-07-09

Family

ID=41330459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070141198A KR100969298B1 (ko) 2007-12-31 2007-12-31 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법

Country Status (1)

Country Link
KR (1) KR100969298B1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9087059B2 (en) 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
US8670597B2 (en) 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
US9135277B2 (en) 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US20110096135A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Automatic labeling of a video session
US8977639B2 (en) 2009-12-02 2015-03-10 Google Inc. Actionable search results for visual queries
US8805079B2 (en) 2009-12-02 2014-08-12 Google Inc. Identifying matching canonical documents in response to a visual query and in accordance with geographic information
US9183224B2 (en) 2009-12-02 2015-11-10 Google Inc. Identifying matching canonical documents in response to a visual query
US9405772B2 (en) 2009-12-02 2016-08-02 Google Inc. Actionable search results for street view visual queries
US8811742B2 (en) 2009-12-02 2014-08-19 Google Inc. Identifying matching canonical documents consistent with visual query structural information
US9852156B2 (en) 2009-12-03 2017-12-26 Google Inc. Hybrid use of location sensor data and visual query to return local listings for visual query
KR101157597B1 (ko) * 2010-01-28 2012-06-19 주식회사 팬택 모바일 단말 및 모바일 단말을 이용한 인맥 형성방법
US9465993B2 (en) 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
KR101722687B1 (ko) 2010-08-10 2017-04-04 삼성전자주식회사 객체간 또는 객체와 유저간에 정보 제공 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
US9087273B2 (en) 2011-11-15 2015-07-21 Facebook, Inc. Facial recognition using social networking information
US8935246B2 (en) 2012-08-08 2015-01-13 Google Inc. Identifying textual terms in response to a visual query
KR101374164B1 (ko) * 2013-02-18 2014-03-13 명지대학교 산학협력단 얼굴 영상의 계층적 특징 분류를 이용한 진로 선택 시스템 및 그 방법
KR101839515B1 (ko) 2016-10-27 2018-03-16 에스케이플래닛 주식회사 얼굴 인식 추론 기반 서비스 시스템, 그의 얼굴 인식 추론 방법 및 기록 매체
KR101898648B1 (ko) * 2018-01-02 2018-09-13 단국대학교 산학협력단 영상 등장 인물들 사이의 상호 작용 그룹 탐지를 위한 장치 및 방법
CN113283480B (zh) * 2021-05-13 2023-09-05 北京奇艺世纪科技有限公司 一种对象识别方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302644A (ja) * 2003-03-28 2004-10-28 Sony Corp 顔識別装置、顔識別方法、記録媒体、及びロボット装置
KR20050053130A (ko) * 2003-12-02 2005-06-08 삼성전자주식회사 대용량 얼굴 인식 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302644A (ja) * 2003-03-28 2004-10-28 Sony Corp 顔識別装置、顔識別方法、記録媒体、及びロボット装置
KR20050053130A (ko) * 2003-12-02 2005-06-08 삼성전자주식회사 대용량 얼굴 인식 장치 및 방법

Also Published As

Publication number Publication date
KR20090073294A (ko) 2009-07-03

Similar Documents

Publication Publication Date Title
KR100969298B1 (ko) 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법
EP2091021A1 (en) Face authentication device
CN109190470B (zh) 行人重识别方法及装置
JP2021101384A (ja) 画像処理装置、画像処理方法およびプログラム
JP2005149506A (ja) 対象物自動認識照合方法および装置
CN111178130A (zh) 一种基于深度学习的人脸识别方法、系统和可读存储介质
Saeed Facial micro-expressions as a soft biometric for person recognition
Terhörst et al. Deep and multi-algorithmic gender classification of single fingerprint minutiae
Akhtar et al. Biometric template update under facial aging
Al-Nima Human authentication with earprint for secure telephone system
Bazazian et al. A hybrid method for context-based gait recognition based on behavioral and social traits
Sun et al. Using backpropagation neural network for face recognition with 2D+ 3D hybrid information
Liu et al. Palm-dorsa vein recognition based on independent principle component analysis
CN111738059A (zh) 一种面向无感场景的人脸识别方法
US20230230277A1 (en) Object position estimation device, object position estimation method, and recording medium
Khan et al. Introduction to face detection using eigenfaces
Mattar Principal components analysis based iris recognition and identification system
Akinci et al. A video-based eye pupil detection system for diagnosing bipolar disorder
Lalitha et al. Micro-facial expression recognition in video based on optimal convolutional neural network (MFEOCNN) algorithm
Tiwari Gabor Based Face Recognition Using EBGM and PCA
Sagiroglu et al. Artificial neural network based automatic face parts prediction system from only fingerprints
CN109214286A (zh) 基于深度神经网络多层特征融合的人脸识别方法
SR et al. Hybrid Method of Multimodal Biometric Authentication Based on Canonical Correlation with Normalization Techniques
Agrawal et al. A novel idea for age invariant face recognition
Adedeji et al. A GUI-Based Peg-Free Hand Geometry Recognition for Biometric Access Control using Artificial Neural Network

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130527

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140612

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160602

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170621

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee