KR100840021B1

KR100840021B1 - 특성 데이터를 이용하여 디지털 데이터에 포함된 인물의얼굴에 대해 인식하는 방법 및 시스템

Info

Publication number: KR100840021B1
Application number: KR1020070112389A
Authority: KR
Inventors: 류중희
Original assignee: (주)올라웍스
Priority date: 2007-11-05
Filing date: 2007-11-05
Publication date: 2008-06-20
Also published as: US8565493B2; US20090141950A1

Abstract

본 발명은 사용자가 생성한 디지털 데이터에 포함된 인물의 얼굴의 각 부위를 검출하여 획득되는 특성(feature) 데이터를 단말로부터 수신하는 단계, 복수의 인물의 각각의 얼굴의 특성 데이터가 기록되어 있는 특성 데이터 DB를 참조하여, 얼굴 인식 기술을 기초로 상기 단말로부터 수신된 특성 데이터와 비교하여 유사도가 높은 특성 데이터를 가지는 인물을 상기 특성 데이터 DB에서 검색하는 단계, 및 상기 유사도가 높은 상위 n 명의 인물에 대한 정보를 상기 단말에 제공하는 단계를 포함하는 인물 인식 방법을 개시한다. 이에 따르면, 단말에 의해 생성된 디지털 데이터에 포함된 인물 이미지의 얼굴의 특정 부위에 대한 특성 데이터만을 서버로 전송하여 처리한다는 점에서 작업 용량과 처리 시간을 감소시키는 효과를 가지며, 친밀도가 높은 사람들의 데이터베이스에만 억세스 가능하도록 제어함으로써 디지털 데이터에 포함된 인물에 대한 인식율을 높일 수 있는 효과를 달성한다.

인물 인식, 얼굴 인식, 특성 데이터, 억세스 권한

Description

특성 데이터를 이용하여 디지털 데이터에 포함된 인물의 얼굴에 대해 인식하는 방법 및 시스템{METHOD AND SYSTEM FOR RECOGNIZING FACE OF PERSON INCLUDED IN DIGITAL DATA BY USING FEATURE DATA}

본 발명은 특성 데이터(feature data)를 이용하여 디지털 데이터에 포함된 인물의 얼굴에 대해 인식하는 방법 및 시스템에 관한 것으로서, 구체적으로는 획득된 디지털 데이터에 포함된 인물의 얼굴의 각 부위를 검출하고, 검출된 각 부위의 특성 데이터와 기존에 저장된 인물들의 특성 데이터의 비교를 통해 인물의 얼굴에 대한 인식률을 향상시킬 수 있는 방법 및 시스템에 관한 것이다.

근래에 들어 디지털 카메라, 디지털 캠코더 등의 촬영 전용 디지털 기기를 비롯하여, 촬영 가능한 장치가 내장된 이동통신 단말기 및 MP3 플레이어 등의 디지털 기기가 널리 보급되면서 디지털 사진 및 동영상과 같은 디지털 데이터를 생성하는 사용자의 수가 크게 증가하게 되었다.

이에 따라, 생성되는 디지털 데이터의 양 역시 급증하게 되었으며, 방대해진 데이터의 양을 체계적으로 관리하고 이용할 수 있는 시스템 구축의 필요성이 요구되게 되었다.

이와 같은 디지털 데이터의 관리를 체계적으로 수행하고, 사용자가 보다 편리하게 디지털 데이터를 이용할 수 있도록 하기 위하여, 디지털 데이터 내의 인물 식별을 통해 태그를 부여하는 기술이 제안된 바 있으며, 보다 높은 정확도로 디지털 데이터로부터 태그를 추출하는 다양한 방법들이 시도되고 있다. 여기서, 태그란 데이터에 대한 신속한 억세스 또는 검색을 위해 디지털 데이터에 부착되는 부가 데이터로 이해될 수 있으며, 일련의 문자, 숫자, 또는 문자 및 숫자의 조합으로 이루어지는 것이 일반적이다.

이와 같이 디지털 데이터에 포함된 인물의 얼굴을 식별함으로써, 상기 디지털 데이터에 상기 식별된 인물에 대한 정보를 포함하는 태그(일명, 인물 태그)를 부착할 수 있으며, 이에 의해 디지털 데이터의 관리를 보다 체계적으로 수행할 수 있을 것이다.

많은 사용자들은 디지털 데이터를 생성한 후 생성된 디지털 데이터를 블로그, 싸이월드 등의 온라인 컨텐츠 관리 서비스를 이용하여 손쉽게 체계적으로 관리하고 있으며, 이러한 컨텐츠 관리 서비스에 로그인하여 게재한 사진 등의 디지털 데이터는 사용자 등에 의해 적절한 태그가 부착된 상태로 상기 컨텐츠 관리 서비스를 제공하는 서버로 전송되어 데이터베이스 등에 기록될 것이며, 이렇게 태그가 부착된 상태로 기록된 디지털 데이터는 향후 게재될 사진 등의 디지털 데이터에 포함될 인물의 얼굴을 식별하는데에 사용될 수 있을 것이다.

하지만, 최근의 디지털 기기들은 생성된 디지털 데이터의 화질을 좋게 만들기 위하여 화소수를 증대시키고 있고 이에 따라 생성된 디지털 데이터의 파일 용량 이 증가일로에 있기 때문에, 단말에서 생성된 디지털 데이터를 컨텐츠 관리 서버에 전송하는 경우 이미지 처리를 위해 많은 기억 용량을 필요로 할 수 있고 처리에 필요한 시간도 증가되는 등의 문제점이 있었다.

또한, 새롭게 생성된 디지털 데이터에 포함된 인물에 대해 얼굴 인식을 하기 위해 서버에 저장된 수많은 인물 사진 등과 매칭 작업을 수행해야 하므로 그 연산량이 극도로 많아지게 된다는 문제점이 있었다.

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 단말에서 생성된 디지털 데이터에 포함된 인물의 얼굴을 인식하기 위하여, 상기 얼굴의 각 부위, 예를 들면 눈, 코, 입, 귀, 머리, 턱 등의 부위의 특성 데이터 추출하여 서버로 전송함으로써, 작업 용량과 처리 시간을 감소시킬 수 있는 방법 및 시스템을 제공하는 것을 목적으로 한다.

또한, 사용자는 자신이 생성한 디지털 데이터에 포함된 인물의 얼굴의 특성 데이터에 대해서만 자신이 트레이닝(training), 즉 인물 인식이 제대로 되었는지에 대한 피드백(feedback)을 서버로 전송하는 것으로 족하고, 타사용자가 생성한 디지털 데이터에 포함된 인물의 얼굴의 특성 데이터에 대해서는 타사용자에 의해 트레이닝됨으로써 업데이팅된 데이터베이스를 쉽게 공유할 수 있으므로, 인물의 인식율을 극도로 향상시킬 수 있고 데이터베이스를 업데이트하기 위한 사용자 개개의 수고를 덜어줄 수 있는 방법 및 시스템을 제공하는 것을 목적으로 한다.

또한, 사용자는 자신과 친밀도가 높은 인물들에 대해 소위 친구 관계로 지정함으로써, 향후 상기 사용자가 입력하는 사진 등에 포함되는 인물을 인식함에 있어서, 상기 친구 관계로 지정된 인물을 대상으로 비교 작업을 수행하기 때문에, 짧은 시간 내에 보다 정확한 인물 인식을 가능하게 해 주는 방법 및 시스템을 제공하는 것을 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 기능을 수행하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, (a) 디지털 데이터에 포함된 인물의 얼굴의 각 부위를 검출하여 획득되는 특성(feature) 데이터를 단말로부터 수신하는 단계, (b) 복수의 인물의 얼굴의 각 부위의 특성 데이터가 기록되어 있는 특성 데이터 DB를 참조하여, 얼굴 인식 기술을 기초로 상기 단말로부터 수신된 특성 데이터와 비교하여, 상기 특성 데이터 DB에 기록된 상기 복수의 인물 중 유사도가 높은 상위 n 명의 인물을 결정하는 단계, 및 (c) 상기 유사도가 높은 상위 n 명의 인물에 대한 정보를 상기 단말에 제공하는 단계를 포함하는 인물 인식 방법을 제공한다.

본 발명의 다른 태양에 따르면, (a) 디지털 데이터에 포함된 인물의 얼굴 이미지를 서버가 획득하는 단계, (b) 상기 획득된 얼굴 이미지에서 특성 데이터를 추출하는 단계, 및 (c) 복수의 인물의 얼굴에 대한 특성 데이터가 기록되어 있는 특성 데이터 DB를 참조하여, 얼굴 인식 기술을 기초로 상기 획득된 얼굴 이미지에서 추출된 특성 데이터와 비교하여, 상기 특성 데이터 DB에 기록된 상기 복수의 인물 중 유사도가 높은 상위 n 명의 인물을 결정하는 단계를 포함하는 인물 인식 방법을 제공한다.

본 발명의 또 다른 태양에 따르면, 단말과 네트워크를 통해 연결되어 있는 서버에 포함된 특성 데이터 DB - 상기 특성 데이터 DB에는 복수의 인물의 얼굴에 대한 특성 데이터가 기록되어 있고 상기 복수의 인물마다 친구 관계에 있는 친구 리스트가 기록되어 있음 - 를 참조하여 인물 인식을 하기 위한 방법으로서, (a) 상 기 단말이 인물의 얼굴 이미지가 포함된 디지털 데이터를 획득하는 단계, (b) 상기 특성 데이터 DB를 참조로, 상기 단말의 사용자와 친구 관계에 있는 특정 친구 리스트를 획득하고, 상기 특성 데이터 DB에 포함된 상기 복수의 인물 중 상기 특정 친구 리스트에 포함된 인물의 얼굴에 대한 특성 데이터를 상기 서버로부터 수신하는 단계, 및 (c) 상기 획득된 디지털 데이터에 포함된 얼굴 이미지로부터 추출된 특성 데이터와 상기 서버로부터 전송받은 상기 특정 친구 리스트에 포함된 인물에 대한 특성 데이터를 비교하여, 상기 특정 친구 리스트에 포함된 인물 중 유사도가 높은 상위 n 명의 인물을 결정하는 단계를 포함하는 인물 인식 방법을 제공한다.

본 발명의 또 다른 태양에 따르면, 복수의 인물의 각각의 얼굴의 특성 데이터가 기록되어 있는 특성 데이터 DB, 사용자가 입력한 디지털 데이터에 포함된 인물의 얼굴의 각 부위를 검출하여 획득되는 특성 데이터를 단말로부터 수신하는 인터페이스부, 및 얼굴 인식 기술을 기초로 상기 단말로부터 수신된 특성 데이터와 비교하여 유사도가 높은 특성 데이터를 가지는 인물을 상기 특성 데이터 DB에서 검색하는 유사도 계산부를 포함하는 인물 인식 시스템을 제공한다.

본 발명의 또 다른 태양에 따르면, 복수의 인물의 각각의 얼굴에 대한 특성 데이터가 기록되어 있는 특성 데이터 DB, 입력된 디지털 데이터에 포함된 인물의 얼굴 이미지를 획득하고, 상기 획득된 얼굴 이미지에서 특성 데이터를 추출하는 이미지 획득부, 및 얼굴 인식 기술을 기초로 상기 획득된 얼굴 이미지에서 추출된 특성 데이터와 비교하여 유사도가 높은 특성 데이터를 가지는 인물을 상기 특성 데이터 DB에서 검색하는 유사도 계산부를 포함하는 인물 인식 시스템을 제공한다.

상기와 같이 구성된 본 발명에 따르면, 단말에 의해 생성된 디지털 데이터에 포함되어 있는 인물 이미지에서 얼굴의 눈, 코, 입, 귀 등의 얼굴의 각 부위에 대한 특성 데이터를 추출하고 이를 서버로 전송하여 처리한다는 점에서 작업 용량과 처리 시간을 감소시키는 효과를 갖는다.

또한, 사용자는 자신이 생성한 디지털 데이터에 포함된 인물의 얼굴의 특성 데이터에 대해서만 자신이 트레이닝하는 것으로 족하고, 타사용자가 생성한 디지털 데이터에 포함된 인물의 얼굴의 특성 데이터에 대해서는 타사용자가 트레이닝한 결과물인 업데이팅된 데이터베이스를 공유함으로써, 인물의 인식율을 극도로 향상시킬 수 있고 데이터베이스를 업데이트하기 위한 사용자 개개의 수고를 덜어줄 수 있는 효과를 갖는다.

또한, 사용자는 자신과 친구 관계에 있는 친밀도가 높은 인물을 대상으로 비교 작업을 수행하기 때문에, 짧은 시간 내에 보다 정확한 인물 인식을 가능하게 해 준다는 효과가 있다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일 또는 유사한 기능을 지칭한다.

[본 발명의 바람직한 실시예]

도 1은 본 발명의 일 실시예에 따른 인물 인식 시스템의 구성을 나타내는 도면이다.

도 1을 참조하면, 전체 시스템(100)은 유사도 계산부(110), 억세스 관할부(120), 특성 데이터 DB(130), 인터페이스부(140), 통신부(150) 및 제어부(160)를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 유사도 계산부(110), 억세스 관할부(120), 특성 데이터 DB(130), 인터페이스부(140) 및 통신부(150)는 그 중 적어도 일부가 서버에 포함되거나 서버와 통신하는 프로그램 모듈들일 수 있다(단, 도 1에서는 유사도 계산부(110), 억세스 관할부(120), 특성 데이터 DB(130), 인터페이스부(140), 통신부(150)가 모두 서버에 포함되어 있는 것으로 예시하고 있다).

이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 포함될 수 있으며, 물리적으로 여러 가지 공지의 기억 장치상에 저장될 수도 있다. 또한, 이러한 프로그램 모듈들은 서버와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.

디지털 데이터에 포함된 인물을 인식하기 위해서는 단말 장치를 통해 입력되는 얼굴 이미지를 데이터베이스에 기록되어 있는 기존의 이미지와 비교하는 과정이 요구되는데, 본 발명에서는 얼굴 이미지의 비교 시, 얼굴의 각 부위의 이미지를 이용하기 때문에, 사용자의 단말에서는 얼굴의 각 부위, 즉, 눈, 코, 입, 귀, 눈썹, 턱, 머리, 얼굴 윤곽 등의 이미지를 검출, 획득하여 인터페이스부(140)를 통해 서버로 전송할 필요가 있다.

사용자의 단말에서 생성된 디지털 이미지에 포함되어 있는 인물의 얼굴 이미지에서 눈, 코, 입 부위 등의 이미지를 검출하는 기술은 이하에서 설명한다.

우선, 눈의 위치를 검출하는 기술로서, Baker, S. 외 1인이 저술하고, 2004년 IJCV(Internation Journal of Computer Vision)에 게재된 논문인 "Lucas-Kanade 20 Years On: A Unifying Framework"를 예로 들 수 있다. 상기 논문은 템플릿 매칭 방법을 이용하여 인물의 얼굴이 포함된 이미지로부터 눈의 위치를 효율적으로 검출할 수 있는 방법에 대하여 기재하고 있다. 물론, 이에 한정되는 것은 아니며, 다양한 변형예에 의해 눈의 위치를 검출할 수 있을 것이다.

이와 같은 기술에 의해 검출된 눈의 위치에 기초하여 코와 입 등의 위치를 추정할 수 있으며, 추정된 위치로부터 눈, 코, 입 등의 부위에 대한 특성 데이터를 추출하여 시스템(100)으로 전송할 수 있다.

여기서, 눈, 코, 입 등의 각 부위를 검색하기 위해, P. N. Belhumeur 외 2인이 저술하고, 1997년 IEEE TRANSACTIONS ON PATTERN ALAYSIS AND MACHINE INTELLIGENCE에 게재된 논문인 "Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection"에 개시된 "선형 판별법(Linear Discriminant Analysis)" 등의 기술을 사용할 수 있을 것이다. 물론, 이에 한정되는 것은 아니며, 다양한 변형예를 적용할 수 있을 것이다.

유사도 계산부(110)는 단말로부터 전송받은 상기 추출된 특성 데이터를 특성 데이터 DB(130)에 포함된 눈, 코, 입 등에 관한 기존의 이미지와 비교하여 유사도가 높은 인물을 검색할 수 있다.

즉, 유사도 계산부(110)는 단말로부터 전송된 얼굴 각 부위의 특성 데이터를 특성 데이터 DB(130)에 저장되어 있는 얼굴의 해당 부위의 특성 데이터와 비교하여 유사한 정도를 수치화하고, 가장 수치가 높은 상위 n명의 인물을 선별하는 역할을 수행하며, 이에 의해 얼굴 인식의 정확도가 높아진다. 이에 대해서는 도 3을 참조로 이하에서 보다 자세히 설명될 것이다.

억세스 관할부(120)는 유사도 계산부(110)가 단말로부터 전송된 얼굴 각 부위의 특성 데이터를 특성 데이터 DB(130)에 저장되어 있는 얼굴의 해당 부위의 특성 데이터와 비교함에 있어서, 특성 데이터 DB(130)에 저장되어 있는 복수의 인물의 얼굴의 각 부위의 특성 데이터 중 상기 단말의 사용자와 친구 관계로 지정되어 있는 인물에 관한 특성 데이터에만 억세스(access) 가능하도록 제어해 준다. 여기서, 친구 관계라 함은 가령 상기 사용자의 메신저 주소록에 등록된 관계, 사용자와 1촌 관계, 사용자의 전화번호부에 등록된 관계 또는 이와 유사한 관계 등을 일컫는 것으로 볼 수 있으며, 이러한 친구 관계는 사용자별로 고유하게 결정될 수 있다.

따라서, 억세스 관할부(120)에 의해 유사도 계산부(110)가 억세스할 수 있는 특성 데이터 DB(130) 내의 특성 데이터의 대상이 친구 관계로 지정된 인물로만 압축되게 된다. 일반적으로 사람들이 자신과 친밀도가 높은 사람들과 보다 자주 사진을 찍는 경향을 보인다는 점을 고려할 때, 상기 사용자와 친밀도가 높은 인물들의 특성 데이터에만 억세스하도록 함으로써 디지털 데이터에 포함된 인물에 대한 인식율을 극도로 높일 수 있다.

이와 같이 사용자별로 억세스 가능한 인물에 대한 정보(즉, 상기의 친구 관계 정보)를 가질 수 있으며, 이러한 친구 관계 정보는 억세스 관할부(120) 내에 데이터베이스(미도시)의 형태로 존재할 수도 있으며, 다른 예로서 이하에서 설명될 특성 데이터 DB(130) 내에 포함되어 존재할 수도 있다.

여기서, 각종 데이터베이스는 협의의 데이터베이스뿐만 아니라, 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스도 포함하며, 단순한 로그(log)의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스에 포함된다. 특성 데이터 DB(130)는 시스템(100) 내에 포함되어 있을 수도 있으나, 시스템(100)과 통신 가능한 원격 기억 장치에 존재할 수도 있을 것이다.

구체적으로, 본 발명에 따른 일 실시예에 있어서, 특성 데이터 DB(130)는 복수의 인물의 얼굴의 각 부위에 대한 특성 데이터를 포함할 수 있다.

도 2는 특성 데이터 DB(130)의 구조에 대한 일 예로서, 도 2를 참조하면, “dongle”, “Tom”등의 ID를 가지고 있는 사용자들의 눈, 코, 입 등의 얼굴의 각 부위에 대한 이미지가 적어도 하나 기록되어 있음을 알 수 있고, 이러한 각 부위의 이미지로부터 각 부위의 특성 데이터를 쉽게 획득할 수 있을 것이다.

가령, "dongle"이라는 ID를 가지는 사용자가 인터페이스부(140)가 제공하는 사용자 인터페이스를 통해 상기 시스템(100)에 접속한 후, 디지털 카메라, 캠코더 등의 디지털 기기를 이용하여 생성된 디지털 데이터를 상기 인터페이스부(140)가 제공하는 템플릿을 이용하여 게재하는 경우, 상기 게재된 디지털 데이터에 포함된 인물의 얼굴의 각 부위를 검출하여 획득되는 각 부위의 특성 데이터가 인터페이스부(140)를 통하여 상기 시스템(100)에 전송될 수 있다.

도 2의 특성 데이터 DB(130)의 내부 구조의 일 예를 참조하면, "dongle" 이라는 ID를 가지는 사용자의 친구 리스트에는 "Tom" 이라는 ID를 가지는 사용자가 등록되어 있고, "Tom" 이라는 ID를 가지는 사용자의 친구 리스트에는 "dongle" 및 "Jane"이라는 ID를 가지는 사용자가 등록되어 있음을 알 수 있다. 따라서, "dongle" 이라는 사용자가 상기 시스템(100)에 접속하면, 억세스 관할부(120)는 "dongle" 의 친구 리스트에 등록된 친구 정보인 "Tom" 을 참조하여, 자신과 "Tom"에 관한 특성 데이터에만 억세스할 수 있는 권한을 "dongle" 에게 부여할 수 있다.

이와 같이 한정된 인물의 데이터에만 접근할 수 있도록 함으로써, 매칭 처리 속도가 현저히 빨라지고, 친밀도 높은 인물과의 비교를 통해 매칭 작업이 이루어지기 때문에 인식율 또한 매우 높아지는 장점을 구현할 수 있다.

인터페이스부(140)는 앞서 언급한 바와 같이 단말에 의해 생성된 디지털 데이터로부터 추출된 인물의 얼굴의 각 부위의 특성 데이터를 단말로부터 수신하고 그와 더불어 상기 단말의 사용자 ID를 수신하는 기능을 수행한다. 이와 같이 수신된 특성 데이터는 제어부(160)의 관할 하에 유사도 계산부(110)에 송신되어 유사도를 계산하기 위한 대상으로서 사용되고, 수신된 사용자 ID는 제어부(160)의 관할 하에 억세스 관할부(120)에 송신되어 상기 사용자 ID와 친구 관계로 지정된 인물의 특성 데이터(특성 데이터 DB(130)에 기록됨)에 대해서만 억세스할 수 있는 권한을 부여한다.

또한, 인터페이스부(140)는 추후 유사도 계산부(110)에서 계산된 유사도에 따라 높은 유사성을 갖는 것으로 알려진 상위 n 명의 후보 인물(일명, Top n 리스트)을 단말에 디스플레이하여 사용자로 하여금 Top n 리스트에 오른 인물 중 특정 인물을 선택할 수 있도록 해 준다. 만약, Top n 리스트에 해당되는 사람이 없다고 피드백이 오는 경우에는 다음 순위의 유사성을 갖는 후보 인물에 관한 정보를 단말에 디스플레이하는 기능을 수행한다.

사용자에 의해 Top n 리스트의 후보 인물 중 특정 인물이 선택되면, 상기 단말에 의해 생성된 디지털 데이터에 포함된 인물의 정체는 상기 특정 인물로 결정되며, 상기 생성된 디지털 데이터에는 "특정 인물"에 관한 인물 태그가 부여될 수 있다.

또한, 인터페이스부(140)는 상기 선택된 특정 인물에 대한 정보를 단말로부터 수신하여, 상기 생성된 디지털 데이터에 포함된 인물의 특성 데이터가 상기 특정 인물의 것임을 나타내도록, 상기 특성 데이터 DB(130)에 추가적으로 기록하도록 할 수 있다.

이와 같이, 사용자는 자신이 생성한 디지털 데이터에 포함된 인물의 얼굴의 정체를 결정함으로써, 사용자는 자신이 생성한 디지털 데이터에 포함된 인물의 특성 데이터에 대해서 자신이 트레이닝(또는 피드백)하게 된다. 마찬가지로, 타사용자가 생성한 디지털 데이터에 포함된 인물의 얼굴의 특성 데이터에 대해서는 타사용자가 직접 트레이닝하게 된다. 이와 같이 각 사용자가 자신이 생성하거나 입력하는 디지털 데이터에 대해 트레이닝하면, 특성 데이터 DB(130)에 대한 업데이트의 속도가 현저히 빠를 것이며, 이렇게 수시로 업데이팅된 데이터베이스를 공유함으로써, 인물의 인식율을 극도로 향상시킬 수 있고 데이터베이스를 업데이트하기 위한 사용자 개개의 수고를 덜어줄 수 있는 효과를 갖는다.

본 발명에 따른 제어부(160)는 유사도 계산부(110), 억세스 관할부(120), 특성 데이터 DB(130), 인터페이스부(140), 통신부(150) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 본 발명에 따른 제어부(160)는 통신부(150)를 통하여 각 구성 모듈 간에 송수신되는 신호를 제어함으로써, 유사도 계산부(110), 억세스 관할부(120), 특성 데이터 DB(130), 인터페이스부(140)에서 각각의 고유의 기능을 수행하도록 제어한다.

도 3은 유사도 계산부(110)의 내부 구성을 자세하게 도시한 도면으로서, 도 3을 참조하면, 유사도 계산부(110)는 부위별 유사도 스코어 계산부(110a), 가중치 적용부(110b), 토털 스코어 계산부(110c), Top n 리스트 제공부(110d) 등을 포함한다.

부위별 유사도 스코어 계산부(110a)는 단말로부터 수신한 얼굴 각 부위의 특성 데이터를 특성 데이터 DB(130)에 저장되어 있는 해당 부위의 특성 데이터들과 비교했을 때, 각 부위별로 어느 정도의 유사도를 가지는지 계산한다.

예를 들어, 단말로부터 눈 부위의 특성 데이터를 수신하였다면, 특성 데이터 DB(130)의 눈 부위의 특성 데이터를 참조로 양측을 매칭시켜, 눈 부위가 어느 정도 유사한지를 계산하며, 이 때 눈꺼풀의 폭과 높이, 미간의 거리, 눈썹의 폭과 길이, 눈썹의 모양 및 위치 등과 같은 특성 데이터가 참조될 것이다.

그 밖에도, 단말로부터 코 부위의 특성 데이터를 수신하였다면, 특성 데이터 DB(130)의 코 부위의 특성 데이터를 참조로 양측을 매칭시켜, 코 부위가 어느 정도 유사한지 계산하고, 이 때 코의 높이, 코의 폭, 콧등의 모양, 콧구멍의 모양 등과 같은 특성 데이터가 참조될 것이며, 귀 부위의 경우에는 귀의 지름, 높이 등의 특성 데이터가 참조되고 입 부위의 경우에는, 입의 폭과 높이, 입술의 두께, 웃을 때의 입의 모양 등의 특성 데이터가 참조될 것이다.

이와 같이 부위별로 구하여진 부위별 유사도 스코어를 합리적으로 합하여 토털 스코어를 계산하기 위하여, 유사도 계산부(110)는 가중치 적용부(110b)를 포함할 수 있다.

가중치 적용부(110b)는 각 부위별로 다른 가중치를 적용할 수 있는데, 특정 부위의 스코어가 인식율을 높이는데 있어서 보다 중요한 팩터(factor)로서 작용한다면 그 수치를 높일 수 있다. 이러한 가중치는 인물의 이미지 형성 시의 조건, 촬영 대상, 사용자의 피드백 등에 따라 다양하게 변화될 수 있다.

토털 스코어 계산부(110c)는 각 부위별 유사도 스코어에 대해 해당 가중치를 곱하여 각각의 부위별 가중치 스코어를 구한 후, 각각의 부위별 가중치를 전부 합하여 토털 스코어를 계산할 수 있으며, 토털 스코어를 높게 획득한 인물일수록, 생성된 디지털 데이터에 포함된 인물로서 판단될 가능성이 높은 인물일 것이다. 만약, 얼굴의 부위가 n 군데이고, 상기 n 개의 부위별 유사도 스코어에 할당된 가중치를 제1, 제2, ㆍㆍㆍ 제 n 가중치라고 할 때, 토털 스코어의 계산은 이하의 식에 의해 이루어질 것이다.

토털 스코어(Total Score) = (제1 가중치 * 제1 부위 + 제2 가중치 * 제2 부위 + ㆍㆍㆍ + 제n 가중치 * 제n 부위)

Top n 리스트 제공부(110d)는 특성 데이터 DB(130)에 기록된 인물 중 토털스코어가 높은 상위 n 명에 대한 리스트(일명, Top n 리스트)를 인터페이스부(140)로 제공하여 사용자의 단말에 디스플레이될 수 있도록 하며, 사용자는 인터페이스부(140)를 통해 Top n 리스트에 포함된 인물 중 한 사람을 선택함으로써, 생성된 디지털 데이터에 포함된 인물의 정체를 간편하게 결정할 수 있다.

이후, 사용자에 의해 특정 후보 인물이 선택되면 상기 특정 후보 인물에 관한 정보가 디지털 데이터의 태그로서 부착될 수 있을 것이고, 또한 가중치 적용부(110b)는 디지털 데이터에 포함된 인물의 정체로서 결정된 상기 특정 후보 인물 이 기록한 부위별 유사도 스코어 중 가장 높은 부위별 유사도 스코어에 할당된 가중치를 높여줄 수 있다. 즉, 사용자의 피드백 정보를 받음으로써, 높은 토털 스코어를 달성하는데 있어서 가장 영향력이 많은 부위로 판명된 부위에 해당되는 가중치를 높일 수 있다는 취지이며, 이로 인해 조정된 가중치 값을 사용하면 향후에 보다 인식율을 높일 수 있을 것이다. 이와 같이 사용자의 피드백을 받아 계속 진화하는 성능을 가지는 얼굴 인식기의 구현이 가능하다.

비록, 유사도 계산부(110)는 상기에서 설명한 바와 같이 부위별의 유사도를 각각 합쳐서 유사도를 계산하는 것으로 설명되었지만, 또 다른 방식도 가능함은 물론이다. 가령, 얼굴의 부위마다의 유사도를 계산하고 이를 합치는 것이 아니라, 얼굴 전체에 대해 특성 데이터를 추출하고, 상기 얼굴 전체에 대해 추출된 특성 데이터와 특성 데이터 DB(130)에 기록된 얼굴 전체에 대한 특성 데이터를 비교하여 유사도를 결정할 수 있음은 물론이다.

한편, 상기에서는 줄곧 단말에서 특성 데이터를 추출한 후, 추출된 특성 데이터를 서버 측에 전송하는 예에 대해서만 기재하였지만, 다른 예로서 서버가 이미지 자체를 획득하는 경우도 상정할 수 있다 할 것이다. 가령, 서버가 단말로부터 얼굴 이미지 자체를 전송받거나 또는 싸이월드(cyworld), 블로그(blog), 페이스북(facebook), 마이스페이스(myspace) 등의 1인 미디어에 저장된 사진 또는 뉴스 등 기타 웹서비스에 등록된 사진으로부터 얼굴 이미지를 획득하는 경우 등이 이에 해당할 것이다.

이러한 경우에도 이미지 자체로부터 특성 데이터를 추출하여 동일한 방식으 로 유사도를 판단할 수 있을 것이다. 물론, 이 때에도 유사도 판단을 위해 특성 데이터 DB(130)를 참조함에 있어서, 상기 특성 데이터 DB(130)에 기록된 복수의 인물 중 억세스 권한이 부여된 인물의 특성 데이터만을 참조할 수 있도록 함으로써 얼굴 인식율을 상당히 높일 수 있을 것이다.

한편, 본 발명의 또 다른 실시예에 있어서, 단말에 의해 획득된 디지털 데이터에 포함된 인물의 얼굴을 인식함에 있어서, 상기 단말과 네트워크를 통해 연결되어 있는 서버에 포함된 특성 데이터 DB(130)에 저장된 친구 리스트 정보를 참조하여, 해당되는 친구 리스트에 포함되는 인물에 대한 특성 데이터만을 서버로부터 수신하여 인물의 얼굴을 인식할 수 있을 것이다.

구체적으로, 단말이 인물의 얼굴 이미지가 포함된 디지털 데이터를 획득하면, 서버에 존재하는 특성 데이터 DB(130)로부터 상기 단말의 사용자와 친구 관계에 있는 특정 친구 리스트를 획득하고, 상기 특성 데이터 DB(130)에 포함된 상기 복수의 인물 중 상기 특정 친구 리스트에 포함된 인물의 얼굴에 대한 특성 데이터만을 선별하여 서버로부터 받아올 수 있으므로, 서버가 아닌 단말 내에서 매칭 작업이 수행되도록 할 수도 있을 것이다.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되 어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

도 1은 본 발명에 따른 인물 인식 시스템의 구성을 나타내는 도면이다.

도 2는 본 발명에 따른 인물 인식 시스템에 포함된 특성 데이터 DB의 구조를 예시적으로 나타내는 도면이다.

도 3은 본 발명에 따른 인물 인식 시스템에 포함된 유사도 계산부의 구성을 나타내는 도면이다.

<주요 도면 부호에 관한 간단한 설명>

110: 유사도 계산부

120: 억세스 관할부

130: 특성 데이터 DB

140: 인터페이스부

150: 통신부

160: 제어부

110a: 부위별 유사도 스코어 계산부

110b: 가중치 적용부

110c: 토털 스코어 계산부

110d: Top n 리스트 제공부

Claims

(a) 사용자의 단말과 네트워크를 통해 연결되어 있는 서버가 디지털 데이터에 포함된 인물의 얼굴의 각 부위를 검출하여 획득되는 특성(feature) 데이터를 상기 단말로부터 수신하는 단계,

(b) 상기 서버가, 복수의 인물의 얼굴의 각 부위의 특성 데이터가 기록되어 있는 특성 데이터 DB에 포함된 데이터 중 억세스(access) 권한이 부여된 인물의 특성 데이터를 참조하여, 얼굴 인식 기술을 기초로 상기 단말로부터 수신된 특성 데이터와 비교하고, 상기 특성 데이터 DB에 기록된 상기 복수의 인물 중 유사도가 높은 상위 n 명의 인물을 결정하는 단계, 및

(c) 상기 서버가 상기 유사도가 높은 상위 n 명의 인물에 대한 정보를 상기 단말에 제공하는 단계를 포함하는 인물 인식 방법.
삭제
제1항에 있어서,

상기 억세스 권한이 부여된 인물은 상기 사용자별로 고유하게 결정되는 것을 특징으로 하는 인물 인식 방법.
제3항에 있어서,

상기 억세스 권한은 상기 사용자와 메신저 주소록에 등록된 관계, 1촌 관계, 전화번호부에 등록된 관계 또는 이와 유사한 관계에 속한 인물에 대해 부여되는 것을 특징으로 하는 인물 인식 방법.
제4항에 있어서,

상기 특성 데이터는 인물의 얼굴의 각 부위인 눈, 코, 입, 귀, 눈썹, 턱, 머리, 얼굴 윤곽 중 적어도 하나를 포함하는 것을 특징으로 하는 인물 인식 방법.
제5항에 있어서,

상기 (b) 단계에서,

상기 유사도는 상기 얼굴의 각 부위별로 비교하여 계산되는 부위별 유사도를 참조로 결정되는 것을 특징으로 하는 인물 인식 방법.
제6항에 있어서,

상기 (b) 단계에서,

상기 유사도는 상기 부위별 유사도에 상기 얼굴의 해당 부위에 할당된 가중치를 반영하여 결정되는 토털 스코어에 의해 결정되는 것을 특징으로 하는 인물 인식 방법.
제7항에 있어서,

상기 얼굴의 부위가 n 군데이고, 상기 부위별 유사도에 할당된 가중치를 제1 가중치, 제2 가중치, ㆍㆍㆍ , 제n 가중치라고 할 때,

상기 토털 스코어는 (상기 제1 가중치 x 제1 부위) + (상기 제2 가중치 x 제2 부위) + ㆍㆍㆍ + (상기 제n 가중치 x 제n 부위)로 계산되는 것을 특징으로 하는 인물 인식 방법.
제8항에 있어서,

상기 (b) 단계에서,

상기 특성 데이터 DB에 기록되어 있는 상기 특성 데이터는 상기 복수의 인물의 각각의 얼굴의 각 부위마다 적어도 하나의 특성 데이터를 가지는 것을 특징으로 하는 인물 인식 방법.
제9항에 있어서,

(d) 상기 유사도가 높은 상위 n 명의 인물 중 특정 인물이 상기 사용자에 의해 선택되면, 상기 선택된 인물에 대한 정보를 이용하여 상기 디지털 데이터에 태깅하는 단계를 더 포함하는 것을 특징으로 하는 인물 인식 방법.
제10항에 있어서,

상기 (d) 단계에서 상기 특정 인물이 선택되면,

상기 단말로부터 수신된 특성 데이터가 상기 특성 데이터 DB 내에 상기 특정 인물과 관련되어 추가적으로 기록되는 것을 특징으로 하는 인물 인식 방법.
제1항에 있어서,

상기 (b) 단계에서,

상기 단말로부터 수신된 특성 데이터는 얼굴 전체에 대해 추출된 특성 데이터이며, 상기 얼굴 전체에 대해 추출된 특성 데이터와 상기 특성 데이터 DB에 기록된 얼굴 전체에 대한 특성 데이터를 비교하여 상기 유사도를 결정하는 것을 특징으로 하는 인물 인식 방법.
(a) 디지털 데이터에 포함된 인물의 얼굴 이미지를 서버가 획득하는 단계,

(b) 상기 획득된 얼굴 이미지에서 특성 데이터를 추출하는 단계, 및

(c) 복수의 인물의 얼굴에 대한 특성 데이터가 기록되어 있는 특성 데이터 DB에 포함된 데이터 중 억세스 권한이 부여된 인물의 특성 데이터를 참조하여, 얼굴 인식 기술을 기초로 상기 획득된 얼굴 이미지에서 추출된 특성 데이터와 비교하고, 상기 특성 데이터 DB에 기록된 상기 복수의 인물 중 유사도가 높은 상위 n 명의 인물을 결정하는 단계를 포함하는 인물 인식 방법.
삭제
제13항에 있어서,

상기 (a) 단계는,

상기 서버가 자신과 네트워크를 통해 연결되어 있는 단말로부터 상기 얼굴 이미지를 전송받아 획득하는 것을 특징으로 하는 인물 인식 방법.
제13항에 있어서,

상기 (a) 단계는,

상기 서버가 1인 미디어에 저장된 컨텐츠 또는 기타 웹서비스에 등록된 컨텐츠로부터 상기 얼굴 이미지를 획득하는 것을 특징으로 하는 인물 인식 방법.
제16항에 있어서,

상기 1인 미디어는 싸이월드(cyworld), 블로그(blog), 페이스북(facebook), 마이스페이스(myspace) 중 적어도 하나를 포함하는 것을 특징으로 하는 인물 인식 방법.
단말과 네트워크를 통해 연결되어 있는 서버에 포함된 특성 데이터 DB - 상 기 특성 데이터 DB에는 복수의 인물의 얼굴에 대한 특성 데이터가 기록되어 있고 상기 복수의 인물마다 친구 관계에 있는 친구 리스트가 기록되어 있음 - 를 참조하여 인물 인식을 하기 위한 방법으로서,

(a) 상기 단말이 인물의 얼굴 이미지가 포함된 디지털 데이터를 획득하는 단계,

(b) 상기 특성 데이터 DB를 참조로, 상기 단말의 사용자와 친구 관계에 있는 특정 친구 리스트를 획득하고, 상기 특성 데이터 DB에 포함된 상기 복수의 인물 중 상기 특정 친구 리스트에 포함된 인물의 얼굴에 대한 특성 데이터를 상기 서버로부터 수신하는 단계, 및

(c) 상기 획득된 디지털 데이터에 포함된 얼굴 이미지로부터 추출된 특성 데이터와 상기 서버로부터 전송받은 상기 특정 친구 리스트에 포함된 인물에 대한 특성 데이터를 비교하여, 상기 특정 친구 리스트에 포함된 인물 중 유사도가 높은 상위 n 명의 인물을 결정하는 단계를 포함하는 인물 인식 방법.
제18항에 있어서,

상기 특정 친구 리스트는 상기 사용자와 메신저 주소록에 등록된 관계, 1촌 관계, 전화번호부에 등록된 관계 또는 이와 유사한 관계에 속한 인물을 포함하는 것을 특징으로 하는 인물 인식 방법.
제19항에 있어서,

상기 (c) 단계는,

상기 획득된 디지털 데이터에 포함된 인물의 얼굴 전체에 대해서 상기 특성 데이터를 추출하는 것을 특징으로 하는 인물 인식 방법.
제20항에 있어서,

상기 특성 데이터 DB는,

상기 복수의 인물의 얼굴에 대한 특성 데이터를 기록하고 있는 제1 특성 데이터 DB, 및

상기 복수의 인물마다 상기 친구 관계에 있는 친구 리스트를 기록하고 있는 제2 특성 데이터 DB를 포함하는 것을 특징으로 하는 인물 인식 방법.
제1항, 제3항 내지 제13항, 및 제15항 내지 제21항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능 매체.
복수의 인물의 각각의 얼굴의 특성 데이터가 기록되어 있는 특성 데이터 DB,

사용자가 입력한 디지털 데이터에 포함된 인물의 얼굴의 각 부위를 검출하여 획득되는 특성 데이터를 단말로부터 수신하고는 인터페이스부,

얼굴 인식 기술을 기초로 상기 단말로부터 수신된 특성 데이터와 비교하여 유사도가 높은 특성 데이터를 가지는 인물을 상기 특성 데이터 DB에서 검색하는 유사도 계산부, 및

상기 특성 데이터 DB를 검색함에 있어서, 억세스 권한이 부여된 인물에 대한 특성 데이터만을 검색 대상으로 하도록 제어하는 억세스 관할부를 포함하는 인물 인식 시스템.
제23항에 있어서,

상기 인터페이스부는,

상기 유사도가 높은 상위 n 명의 인물에 대한 정보를 상기 단말에 제공하는 것을 특징으로 하는 인물 인식 시스템.
삭제
제24항에 있어서,

상기 억세스 관할부는,

상기 사용자별로 고유하게 상기 억세스 권한이 부여된 인물을 결정하는 것을 특징으로 하는 인물 인식 시스템.
제26항에 있어서,

상기 특성 데이터는 인물의 얼굴의 각 부위인 눈, 코, 입, 귀, 눈썹, 턱, 머리, 얼굴 윤곽 중 적어도 하나를 포함하는 것을 특징으로 하는 인물 인식 시스템.
제27항에 있어서,

상기 유사도 계산부는,

상기 얼굴의 각 부위별로 비교하여 계산되는 부위별 유사도를 참조로 상기 유사도를 계산하는 것을 특징으로 하는 인물 인식 시스템.
제28항에 있어서,

상기 유사도 계산부는,

상기 부위별 유사도에 상기 얼굴의 해당 부위에 할당된 가중치를 반영하여 계산되는 토털 스코어에 비례하도록 상기 유사도를 결정하는 것을 특징으로 하는 인물 인식 시스템.
제29항에 있어서,

상기 유사도 계산부는,

상기 얼굴의 부위가 n 군데이고, 상기 부위별 유사도에 할당된 가중치를 제1 가중치, 제2 가중치, ㆍㆍㆍ , 제n 가중치라고 할 때,

상기 토털 스코어를 (상기 제1 가중치 x 제1 부위) + (상기 제2 가중치 x 제2 부위) + ㆍㆍㆍ + (상기 제n 가중치 x 제n 부위)의 식으로 계산하는 것을 특징으로 하는 인물 인식 시스템.
제30항에 있어서,

상기 특성 데이터 DB는,

상기 복수의 인물의 각각의 얼굴의 각 부위마다 적어도 하나의 특성 데이터를 가지는 것을 특징으로 하는 인물 인식 시스템.
제31항에 있어서,

상기 인터페이스부에 의해 상기 단말에 제공된 상기 유사도가 높은 상위 n 명의 인물 중 특정 인물이 상기 사용자에 의해 선택되면,

상기 단말로부터 수신된 특성 데이터가 상기 특성 데이터 DB 내에 상기 특정 인물과 관련되어 추가적으로 기록되는 것을 특징으로 하는 인물 인식 시스템.
복수의 인물의 각각의 얼굴에 대한 특성 데이터가 기록되어 있는 특성 데이터 DB,

입력된 디지털 데이터에 포함된 인물의 얼굴 이미지를 획득하고, 상기 획득된 얼굴 이미지에서 특성 데이터를 추출하는 이미지 획득부,

얼굴 인식 기술을 기초로 상기 획득된 얼굴 이미지에서 추출된 특성 데이터와 비교하여 유사도가 높은 특성 데이터를 가지는 인물을 상기 특성 데이터 DB에서 검색하는 유사도 계산부, 및

상기 특성 데이터 DB를 검색함에 있어서, 억세스 권한이 부여된 인물에 대한 특성 데이터만을 검색 대상으로 하도록 제어하는 억세스 관할부를 포함하는 인물 인식 시스템.
삭제