KR101428715B1

KR101428715B1 - 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템 및방법

Info

Publication number: KR101428715B1
Application number: KR1020070107427A
Authority: KR
Inventors: 김용성; 김덕훈; 박희선; 이혜수
Original assignee: 삼성전자 주식회사
Priority date: 2007-07-24
Filing date: 2007-10-24
Publication date: 2014-08-11
Also published as: EP2168064A4; EP4113325A3; WO2009014323A1; EP4113325A2; US20090028393A1; EP2168064A1; US8036432B2; KR20090010855A

Abstract

인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템은 복수의 디지털 컨텐츠를 인물별로 분류하여 저장하는 데이터베이스; 상기 복수의 디지털 컨텐츠를 이용하여 복수의 노드로 이루어지는 데이터 구조를 생성하는 데이터 구조 생성부; 상기 데이터베이스에 저장할 새로운 디지털 컨텐츠의 얼굴 기술자를 추출하는 얼굴 인식부; 상기 추출된 얼굴 기술자를 이용하여 상기 새로운 디지털 컨텐츠와 상기 복수의 디지털 컨텐츠를 인물별로 분류하는 클러스터 분류부; 및 상기 분류에 따라 상기 데이터 구조를 갱신하는 데이터 구조 갱신부를 포함한다.

디지털 컨텐츠, 사진 분류, 인물, 클러스터, 얼굴 인식, 데이터베이스

Description

인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템 및 방법{System and method for saving digital contents classified with person-based clustering}

본 발명은 디지털 컨텐츠를 인물별로 분류하여 저장하는 시스템 및 방법에 관한 것으로, 더욱 상세하게는 인물별 클러스터링에 의한 디지털 컨텐츠를 분류하고, 이를 데이터베이스에 저장하는 시스템 및 방법에 관한 것이다.

최근 하드 디스크(HDD), 플래쉬 메모리(Flash memory) 등 대용량 디지털 저장장치가 보급되어 저장할 수 있는 디지털 컨텐츠의 양이 기하급수적으로 증가하고 있다.

이와 함께, 피투피(Peer to Peer), 온라인 샵(Online shop), 유씨씨(UCC; User Created Contents) 등이 활성화 됨에 따라 디지털 카메라, MP3 플레이어, 디지털 TV, PVR(Personal Video Recorder), PMP(Portable Multimedia Player) 등 디지털 컨텐츠를 다루는 멀티미디어 기기에서 다루는 디지털 컨텐츠의 종류와 양이 증가하고 있다.

이에 따라 컨텐츠를 다양한 형태로 브라우징하거나 검색하고자 하는 욕구가 증가하고 있으며, 이러한 컨텐츠 브라우징에 있어서 다양한 검색 기법이 활용되고 있다.

하지만, 메모리 기술의 발전으로 고집적/초소형 메모리의 사용이 일반화되고 있고, 화질을 크게 손상시키지 않는 디지털 영상 압축 기술이 개발됨에 따라, 멀티미디어 기기에 수많은 디지털 컨텐츠를 저장할 수 있게 되었고, 이에 따른 저장된 디지털 컨텐츠를 효과적으로 관리하기 위한 시스템 및 방법이 필요하다.

사용자들은 디지털 컨텐츠를 시간별로, 인물별로 혹은 특정한 카테고리별로 분류하여 나열하는 경향이 있다. 이렇게 구성된 디지털 컨텐츠는 사용자에 의하여 디지털 컨테츠를 브라우징 하거나 또는 타 사용자와 디지털 컨텐츠를 용이하게 공유할 수 있도록 한다. 하지만, 수많은 디지털 컨텐츠를 일일이 그룹핑하거나 라벨링하는데 소요되는 시간과 노력을 크게 불편해 했으며, 상기 분류된 디지털 컨텐츠를 타 사용자는 다시 분류하는 수고를 하였다.

이와 같이, 컨텐츠를 다양한 형태로 브라우징하거나 검색하고자 하는 욕구가 증가하고 있는데, 이중 컨텐츠에 포함된 인물 정보는 컨텐츠를 브라우징하거나 검색 하는 데 있어 주요한 단서 중 하나로 사용될 수 있다. 예를 들어, 사진을 내 사진, 아내 사진, 아들 사진, 부모님 사진, 친구 사진 등으로 분류하여 보거나 또는 비디오를 등장 인물의 출연 장면에 따라 분류하여 볼 수도 있다.

따라서, 인물별로 컨텐츠를 분류하고 이를 데이터베이스에 효율적으로 저장시키는 시스템 및 방법이 필요하다. 이와 함께, 디지털 컨텐츠가 추가되거나 삭제되는 경우에도 자동적으로 인물별로 컨텐츠를 분류하고 이를 데이터베이스에 저장시키는 시스템 및 방법이 필요하다.

본 발명은 디지털 컨텐츠의 추가 또는 삭제가 이루어지는 경우에 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템 및 방법을 제공하는데 그 목적이 있다.

이와 함께, 디지털 컨텐츠의 추가 또는 삭제가 이루어지는 경우에 클러스터 그룹핑에 의하여 플래그를 도입함으로써 인물 별로 디지털 컨텐츠를 분류하고, 이를 데이터베이스에 효율적으로 갱신하는 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템은 복수의 디지털 컨텐츠를 인물별로 분류하여 저장하는 데이터베이스; 상기 복수의 디지털 컨텐츠를 이용하여 복수의 노드로 이루어지는 데이터 구조를 생성하는 데이터 구조 생성부; 상기 데이터베이스에 저장할 새로운 디지털 컨텐츠의 얼굴 기술자를 추출하는 얼굴 인식부; 상기 추출된 얼굴 기술자를 이용하여 상기 새로운 디지털 컨텐츠와 상기 복수의 디지털 컨텐츠를 인물별로 분류하는 클러스터 분류부; 및 상기 분류에 따라 상기 데이터 구조를 갱신하는 데이터 구조 갱신부를 포함한다.

상기 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템은 복수의 디지털 컨텐츠를 이용하여 복수의 노드로 이루어지는 데이터 구조를 생성하는 데이터 구조 생성부; 상기 복수의 디지털 컨텐츠 중 일부가 삭제되는 경우에 나머지 디지털 컨텐츠를 얼굴 기술자를 이용하여 인물별로 분류하는 클러스터 분류부; 상기 분류에 따라 상기 데이터 구조를 갱신하는 데이터 구조 갱신부; 및 상기 갱신된 데이터 구조를 반영하여 상기 나머지 디지털 컨텐츠를 갱신하여 저장하는 데이터베이스를 포함한다.

상기 목적을 달성하기 위하여 본 발명의 또 다른 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법은 복수의 디지털 컨텐츠를 저장하는 데이터베이스의 스키마를 이용하여 복수의 노드로 이루어지는 데이터 구조를 생성하는 단계; 상기 데이터베이스에 저장할 새로운 디지털 컨텐츠의 얼굴 기술자를 추출하는 단계; 상기 추출된 얼굴 기술자를 이용하여 상기 새로운 디지털 컨텐츠와 상기 복수의 디지털 컨텐츠를 인물별로 분류하는 단계; 및 상기 분류에 따라 상기 데이터 구조를 갱신하는 단계를 포함한다.

상기 목적을 달성하기 위하여 본 발명의 또 다른 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법은 복수의 디지털 컨텐츠를 이용하여 복수의 노드로 이루어지는 데이터 구조를 생성하는 단계; 상기 복수의 디지털 컨텐츠 중 일부가 삭제되는 경우에 나머지 디지털 컨텐츠를 얼굴 기술자를 이용하여 인물별로 분류하는 단계; 상기 분류에 따라 상기 데이터 구조를 갱신하는 단계; 및 상기 갱신된 데이터 구조를 반영하여 상기 나머지 디지털 컨텐츠를 데이터베이스에 갱신하여 저장하는 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기한 바와 같은 본 발명의 일 실시예에 따르면, 디지털 컨텐츠가 추가 또는 삭제되는 가변적인 환경에서 디지털 컨텐츠를 인물별로 분류하고, 이를 데이터베이스에 효율적으로 반영할 수 있다.

또한, 디지털 컨텐츠가 추가 또는 삭제되는 가변적인 환경에서 복수의 디지털 컨텐츠를 인물별로 분류함으로써 사용자로 하여금 디지털 컨텐츠의 검색 및 브라우징을 용이하게 할 수 있다.

또한, 클러스터의 생성, 확장 또는 병합 등에 의하여 인물 별로 디지털 컨텐츠를 가변적으로 분류함으로써 기준 영상이 없이도 인물 별로 디지털 컨텐츠를 분류할 수 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이 다.

이하, 본 발명의 실시예들에 의하여 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템 및 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 실시예에서 사용되는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저 장하는 시스템에 대한 블록도를 보여주며, 도 2는 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서의 데이터베이스 스키마를 보여준다. 도 3은 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 데이터 구조를 보여주는 예시도이다.

도 4는 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 얼굴 인식부의 블록도이며, 도 5는 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 클러스터 분류부의 블록도를 보여준다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템(100)은 데이터 구조 생성부(120), 인물 인식부(130), 클러스터 분류부(150), 데이터 구조 갱신부(170), 데이터베이스(180) 및 컨텐츠 브라우징부(190)를 포함할 수 있다.

컨텐츠 브라우징부(190)는 상기 데이터베이스(180)에 저장된 복수의 디지털 컨텐츠를 사용자가 볼 수 있도록 상기 데이터베이스(180)의 인물별로 분류된 디지털 컨텐츠의 정보를 보여준다. 따라서, 사용자는 인물별로 분류된 정보를 디스플레이(미도시됨) 상으로 살펴봄으로써 저장된 디지털 컨텐츠를 인물별로 브라우징할 수 있다.

데이터베이스(180)는 복수의 디지털 컨텐츠를 저장한다. 디지털 컨텐츠를 사진, 동영상 등 인물 영상을 포함하는 컨텐츠를 말하며, 데이터베이스(180)는 인물별로 분류된 복수의 디지털 컨텐츠를 저장할 수 있다.

예를 들어, 본 발명의 일 실시예에서 디지털 컨텐츠를 사진이라고 하자. 사진에 대하여 인물 별로 디지털 컨텐츠를 저장하기 위하여는 도 2와 같은 스키마를 적용할 수 있다.

인물별로 분류하여 저장하기 위하여 적용되는 스키마는 컨텐츠인 사진을 저장하기 위한 사진 정보 테이블(123), 인물 정보를 저장하기 위한 인물 정보 테이블(125) 및 얼굴 정보를 저장하기 위한 얼굴 정보 테이블(127)을 포함할 수 있다. 사진 정보 테이블(123)은 컨텐츠를 고유하게 구분하기 위한 주요키(Primary key)로서 PhotoID를 저장하고, 이와 함께 컨텐츠의 파일명 등 컨텐츠와 관련된 정보를 저장한다. 인물 정보 테이블(125)은 인물을 고유하게 구분하기 위한 주요키로서 PersonID를 저장하고, 이와 함께 인물의 이름 등 인물과 관련된 정보를 저장한다. 얼굴 정보 테이블(127)은 어떤 인물이 어떤 컨텐츠의 어느 부분에 나타나는지를 저장하기 위한 테이블로 각각의 얼굴을 고유하게 구분하기 위한 주요키로서 FaceID를 저장하고, 그 얼굴이 어떤 컨텐츠에 나오는 누구인지를 구분하기 위해 Photo 테이블과 Person 테이블의 주요키를 각각 외래키(Foreign key)로 저장하고, 이와 함께 그 얼굴이 컨텐츠 내에서 나오는 위치 등 얼굴에 관련된 정보를 저장한다. 각 FaceID에는 얼굴에 대한 정량적인 값(Quantitative value)으로서 얼굴 기술자(Face Descriptor)를 포함할 수 있다.

이와 같이, 컨텐츠를 인물별로 데이터베이스에 저장하기 위하여 컨텐츠 정보 테이블, 인물 정보 테이블 및 얼굴 정보 테이블을 포함하는 스키마가 적용될 수 있다.

다시 도 1을 참조하면, 데이터 구조 생성부(120)는 데이터베이스로부터 복수의 디지털 컨텐츠를 이용하여 데이터 구조를 생성한다. 데이터 구조 생성부(120)는 데이터베이스의 스키마를 이용하여 인물별로 분류된 데이터 구조를 생성시킬 수 있다.

도 3을 참조하면, 데이터 구조 생성부(120)에 의하여 데이터베이스에 저장된 복수의 디지털 컨텐츠에 대하여 인물별로 분류되어 있는 데이터 구조를 보여준다. 예를 들어, 2차원 연결리스트(Linked list)의 데이터 구조를 사용하는 경우에는 인물별로 인물 노드(315)를 생성하면서 연결하고, 각 인물 노드에 해당 인물로 분류된 얼굴 노드(325)를 생성하여 연결한다.

이와 같이, 데이터 구조 생성부(120)는 인물별로 분류되어 있는 데이터베이스의 스키마를 이용하여 연결리스트를 생성한다.

다시 도 1을 참조하면, 인물 인식부(130)는 새로이 입력되는 디지털 컨텐츠의 영상으로부터 얼굴을 인식하는 역할을 한다. 인물 인식부(130)는 새로운 디지털 컨텐츠에 포함되어 있는 영상에서 인물을 인식하여 인물별로 분류하기 위한 얼굴 기술자를 추출한다.

일반적인 얼굴 인식(Face recognition) 방법은 크게 기준 얼굴을 미리 등록하고, 주어진 얼굴에 가장 근접하는 기준 얼굴을 매칭(Matching)시키는 방법과 기준 얼굴이 등록되지 않은 상태에서 비슷한 얼굴끼리 나누는 클러스터링(Clustering) 방법으로 나눌 수 있다.

본 발명의 일 실시예에서는 클러스터링 기법에 의하여 동일한 인물로 추정되 는 클러스터 그룹핑에 의하여 인물 별로 디지털 컨텐츠를 분류할 수 있다. 얼굴 인식 기법에 대해서는 한국공개특허 2005-0013467, 2006-0008814 및 2007-0047063에 자세히 설명되어 있다.

도 4를 참조하면, 얼굴 인식부(130)는 얼굴 추출부(210), 얼굴 정규화부(220), 특징점 추출부(230) 및 얼굴 기술자 계산부(240)를 포함할 수 있다.

얼굴 추출부(210)는 디지털 컨텐츠에 포함된 영상으로부터 얼굴 및 얼굴의 구성 요소를 추출하여 얼굴 영역을 추출한다. 얼굴 추출부(210)는 영상으로부터 대략적인 얼굴을 검출 후에 얼굴 내의 특정 구성 요소인 눈, 코, 입 등의 추출하고, 이를 바탕으로 얼굴 영역을 추출한다. 예를 들어, 두 눈의 위치가 검출되었다면, 두 눈의 거리를 구할 수 있다. 얼굴 인식을 위한 전처리 단계로서, 두 눈 사이의 거리를 기초로 입력 영상에서 얼굴 영역을 잘라내는 방법을 사용하는 것은 영상의 배경 혹은 사람의 머리 스타일의 변화 등에 대한 영향을 최소화시킬 수 있다.

얼굴 정규화부(220)는 추출된 얼굴 영역 정보를 이용하여 얼굴 영역의 크기를 정규화한다. 얼굴 영역의 크기를 정규화시킴으로써 얼굴 영역에서의 두 눈과의 거리, 눈과 코 사이의 거리 등의 얼굴 영역의 특정 생김새를 유지시킬 수 있다.

특징점 추출부(230)는 정규화된 얼굴 영역으로부터 눈과 같은 특징점들을 추출할 수 있다. 이러한 특징점들은 다수의 사람들을 대상한 실험을 통하여, 얼굴 영역에서 서로 다른 입력 얼굴 영상 간에 차이가 크게 되는 얼굴 영역 상의 점들로 선택되는 것이 바람직하다. 예를 들어, 선택된 특징점들에 대하여 가버 필터(Gobor filter)를 적용하였을 때 그 결과가 얼굴별로 명확하게 차이가 나도록 함으로써 얼 굴 인식 능력을 향상시킬 수 있는 특징점을 선택하는 것이 바람직하다.

얼굴 기술자 계산부(240)는 추출된 특징점을 이용하여 얼굴 기술자(Face descriptor)를 계산한다. 얼굴 기술자 계산은 MPEG 7에서 채택된 PCA(Principal Component Analysis), LDA(Linear Discriminate Analysis) 등이 선택되어 사용될 수 있다. 여기서, 얼굴 기술자는 추출된 특징점을 이용하여 디지털 컨텐츠에 포함된 영상에서 추출된 얼굴에 대한 측정 값(Measured value)으로서, 예를 들어 특징 벡터, 특징 행렬 등이 될 수 있다. 얼굴 기술자 계산에 대하여는 이미 언급한 한국공개특허 2005-0013467, 2006-0008814 및 2007-0047063 등에 자세히 설명되어 있으며, 얼굴 영상에서 특징점을 추출하여 얼굴 인식하는 일반적인 방법에 따라 추출되는 얼굴 기술자를 포함할 수 있다.

도 5를 참조하면, 클러스터 분류부(150)는 클러스터 그룹핑에 의하여 인물 별로 디지털 컨텐츠를 분류한다. 클러스터 분류부(150)는 얼굴 기술자 거리 비교부(310) 및 클러스터 변환부(320)를 포함할 수 있다.

얼굴 기술자 거리 비교부(310)는 얼굴 인식부(130)에 의하여 계산된 얼굴에 대한 얼굴 기술자에 대한 거리를 비교한다. 예를 들어, 얼굴 기술자를 특징 벡터 또는 특징 행렬로 나타낸다면, 기존에 데이터베이스에 저장되어 있는 디지털 컨텐츠에 포함된 영상에 대하여도 동일한 과정에 의하여 특징 벡터 또는 특징 행렬 등의 얼굴 기술자를 계산할 수 있다. 따라서, 상기 특징 벡터 또는 특징 행렬을 공간 또는 차원 속에 표시한다면 비슷한 얼굴로 인식되는 경우에는 상기 특징 벡터 또는 특징 행렬의 거리가 임계값(Threshold) 이하로 될 수 있다. 따라서, 얼굴 기술자 거리 비교부(310)는 얼굴 기술자에 대한 거리를 계산하고, 상기 거리가 임계값 이하인지 여부를 판단할 수 있다. 상기 임계값은 동일한 인물이라고 판단되는 얼굴 영상들에서 계산되는 얼굴 기술자 거리차의 최대값으로, 이는 해석(Analysis) 또는 시물레이션(Simulation) 등에 의하여 적절하게 선택될 수 있다.

클러스터 변환부(320)는 얼굴 기술자의 거리 정보를 이용하여 클러스터 별로 분류한다. 여기서 클러스터별로 분류한다는 것은 일정한 범위 내의 얼굴 기술자를 가지는 얼굴 영상에 대하여는 동일한 클러스터, 다시 말해서 동일한 인물로 판단할 수 있다.

도 6 내지 도 9는 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 클러스터 변환부에 의한 클러스터 그룹핑(Grouping)의 예를 보여준다. 여기서, 클러스터 그룹핑이란 동일한 인물이라고 판단되는 범위를 나타내는 클러스터를 생성, 확장 또는 병합하는 과정을 말한다.

도 6을 참조하면, 예를 들어 기존에 등록된 얼굴이 있는 상황에서 새로운 얼굴이 추가되었다고 하자. 이들 얼굴은 벡터 공간상의 점으로 생각할 수 있고, 이 점들 사이의 거리가 임계치(Threshold)보다 작으면 동일 인물로 분류될 수 있다. 그림 6과 같이 새로 추가된 얼굴의 임계 거리 내에 기존에 등록된 얼굴이 없으면 새로 등록된 얼굴은 미분류(Unclassified) 상태로 남게 된다.

도 7을 참조하면, 새로이 추가된 디지털 컨텐츠에 포함된 얼굴의 얼굴 기술자와 기존에 미분류로 등록되어 있던 얼굴 기술자 사이의 거리가 임계치 내로 좁혀지는 경우에는 이로 인하여 새로운 클러스터(500)가 생성된다.

다시 말해서, 새로운 클러스터(500)의 생성으로 인하여 기존의 미분류로 등록되어 있는 얼굴과 새로이 추가된 디지털 컨텐츠에 포함된 얼굴은 동일한 인물의 얼굴로 추정되어, 동일한 인물별 디지털 컨텐츠로 분류된다. 이 경우에는 새로 추가되는 디지털 컨텐츠의 얼굴은 새로 생성된 클러스터와 연관 정보를 가져야 함은 물론, 기존에 미분류로 등록되어 있던 얼굴들도 새로 생성된 클러스터와 연관 되도록 갱신(Update)되어야 한다.

도 8을 참조하면, 새로 추가되는 디지털 컨텐츠의 얼굴에 얼굴 기술자가 주위의 미분류 또는 특정 인물로 분류되는 인물(i)와의 얼굴 기술자 간의 거리가 임계치 이하로 될 수 있다. 이 경우에는 새로 추가되는 디지털 컨텐츠의 얼굴이 인물(i)와 동일 인물로 분류될 수 있고, 이와 함께 미분류 상태로 있는 다른 디지털 컨텐츠에 대하여도 인물(i)와 동일 인물로 분류될 수 있어 클러스터(500)가 확장될 수 있다.

도 9를 참조하면, 서로 다른 인물로 분류되는 인물(i)와 인물(j)의 두 개의 클러스터(470, 480)가 있는 상황에서 새로운 디지털 컨텐츠의 인식된 얼굴이 인물(i)와 인물(j)의 사이에 위치하는 경우이다. 새로운 디지털 컨텐츠의 인식된 얼굴의 거리 기술자와 인물(i) 또는 인물(j)의 거리 기술자 간의 거리가 임계치 이하에 해당되면 상기 인물(i), 인물(j) 및 새로운 디지털 컨텐츠의 인식된 얼굴은 인물로 분류될 수 있다. 이는 새로운 디지털 컨텐츠의 인식된 얼굴이 입력됨으로써 기존의 클러스터를 병합시키면서 클러스터(500)를 확장시킬 수 있다.

상기와 같이, 클러스터 분류부(150)는 클러스터 그룹핑에 의하여 클러스 터(500)를 생성, 확장 및 병합을 수행할 수 있다. 클러스터 분류부(150)에 의하여 클러스터 그룹핑에 의하여 새로이 추가되는 디지털 컨텐츠의 얼굴과 기존의 데이터베이스에 저장되어 있던 얼굴을 인물별로 분류할 수 있다. 이와 함께, 디지털 컨텐츠가 추가되는 경우뿐만 아니라 삭제되는 경우에도 클러스터 그룹핑이 적용될 수 있다. 디지털 컨텐츠가 삭제되는 경우에는 도 6 내지 도 9에서와 반대로 클러스터 그룹핑이 될 수 있다.

도 10은 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 데이터 구조 갱신부의 블록도를 보여준다.

도 10을 참조하면, 데이터 구조 갱신부(170)는 클러스터 분류부(150)에 의하여 인물별로 분류된 디지털 컨텐츠들의 데이터 구조를 갱신한다. 데이터 구조 갱신부(170)는 클러스터 분류부(150)에 의하여 클러스터가 생성, 삭제, 병합 등의 변환이 일어나는 경우를 데이터 구조에 적용시키기 위하여 플래그를 도입한다. 데이터 구조 갱신부(170)는 플래그 설정부(410) 및 데이터 구조 적용부(420)를 포함할 수 있다.

플래그 설정부(410)는 디지털 컨텐츠를 나열하는 노드에 플래그(Flag)를 설정한다. 플래그 설정부(410)는 클러스터 분류부(150)에 의하여 분류된 인물 별 클러스터 그룹핑에 따라 발생된 노드들의 변화를 반영하는 정보인 플래그를 별도의 저장소에 저장할 수도 있고, 메모리 내에 임시로 저장할 수도 있다. 플래그는 데이터 구조 적용부(420)로 하여금 데이터 구조를 자동적으로 갱신할 수 있도록 한다.

도 11은 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 플래그 설정부의 플래그 설정을 보여주면, 도 12 내지 15는 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 데이터 구조 적용부에 의하여 데이터 구조를 갱신하는 과정을 보여준다.

예를 들어, 본 발명의 일 실시예에서 디지털 컨텐츠는 사진이고, 도 3에서와 유사한 인물별로 분류된 데이터 구조를 가진다고 하자. 예를 들어, 플래그는 수정(Modified), 추가(Added), 수정없음(None) 등이 사용될 수 있으며, 설계자 또는 사용자에 의하여 다양한 플래그가 사용될 수 있다. 기본적으로, 모든 노드에는 초기 상태의 플래그인 수정없음(None)을 저장한다.

도 11을 참조하면, 데이터베이스에 저장하려고 하는 새로운 사진인 Face3-3이 입력된 후 얼굴 인식부(130) 및 클러스터 분류부(150)에 의하여 인물3에 해당하는 것으로 판단되는 경우에는 인물3 노드(1100)에 얼굴3-3 노드(1120)에 추가한다. 따라서, 인물3 노드(1100)에는 플래그(1170)를 수정(Modified)를 설정하고, 얼굴3-3 노드(1120)는 추가(Added)라는 플래그(1170)를 설정한다. 각 노드에는 관련 정보를 저장하는 정보 테이블(1150)를 포함할 수 있다. 플래그(1170)는 정보 테이블(1150)에 저장될 수도 있고, 별도의 저장소에 저장될 수도 있다.

도 12는 얼굴 노드를 단순히 추가하는 것으로서 도 6에서와 같이 새로운 얼굴이 추가되었지만 특정 인물로 판별되지 아니한 경우에는 미분류 노드(1200)의 하위에 위치하는 얼굴 노드(1220)에 추가될 수 있다. 따라서, 미분류 노드에는 플래그(1170)가 수정(Modified)이 설정되고, 얼굴 노드(1220)에는 추가(Added)가 설정된다. 데이터 구조 적용부(420)는 설정된 플래그(1170)에 따라 데이터 구조를 도 12와 같이 갱신한다.

도 13은 도 7에서와 같이 새로운 클러스터가 생성되어 인물 노드(1300)가 추가되는 경우이다. 새로운 클러스터(500)가 생성되면서 동일한 인물로 분류되는 얼굴 노드들(1310, 1320, 1330, 1220)은 새 인물 노드(1300)에 배치된다. 따라서, 플래그 설정부(410)는 인물 노드(1300)에 추가(Added)를 설정하고, 기존의 미분류 노드(1200) 하에 있는 인물 노드(1310, 1320, 1330)에 수정(Modified) 플래그를 설정하고, 새로운 얼굴 노드(1220)에는 추가(Added) 플래그를 설정한다. 데이터 구조 설정부(420)는 플래그 설정에 따라 미분류 노드(1200) 상의 얼굴 노드(1310, 1320, 1330)을 삭제하면서 새 인물 노드(1300)에 추가하는 수정 작업을 할 수 있다. 이로써 새로운 클러스터(500) 생성에 따른 플러그 설정 및 데이터 구조 적용부(420)에 의한 데이터 구조를 갱신할 수 있다. 여기서, 점선으로 처리되는 박스는 노드가 삭제되면서, 다른 위치로 변경되는 것을 의미한다.

도 14는 도 8에서와 같이 클러스터가 확장되는 경우에 플래그 설정 및 데이터 구조를 갱신하는 경우이다. 새로운 사진이 추가되면서 미분류로 남아 있는 다른 사진의 얼굴들이 동일한 인물로 분류되는 경우이다. 미분류 노드(1200)의 얼굴 노드(1410, 1320)는 인물3 노드(1400) 하의 노드(1410, 1320)로 수정되고, 새로운 사진의 얼굴 노드(1220)는 인물3 노드(1400)에 추가된다. 플래그 설정은 인물3 노드(1400)에는 수정(Modified) 플래그가 설정되고, 인물3 노드(1400) 하위의 얼굴 노드(1410, 1320)에는 수정(Modified) 플래그 및 새 얼굴 노드(1220)에는 추가(Added) 플래그가 설정된다. 상기 플래그 설정에 따라 데이터 구조를 갱신할 수 있다. 여기서, 점선으로 처리되는 박스는 노드가 삭제되면서, 다른 위치로 변경되는 것을 의미한다.

도 15는 도 9에서와 같이 클러스터가 병합되는 경우에 플래그 설정 및 데이터 구조를 갱신하는 경우이다. 새로운 사진이 추가되면서 새로운 얼굴로 인하여 기존에 다른 인물로 판별된 두 인물이 병합되는 경우이다. 예를 들어, 인물2와 인물3이 동일 인물이 되는 경우 인물2 노드(1500)에 연결되어 있는 두 개의 얼굴 노드(1510, 1520)을 인물3 노드(1400)에 연결시킨다. 이와 함께, 새로운 사진에 새 얼굴 노드(1220)도 인물3 노드(1400)에 삽입시킨다.

플래그 설정부(410)는 클러스터 병합에 따라 인물3 노드(1400) 및 얼굴 노드(1510, 1520)에 대하여는 수정 플래그를 설정하고, 새 인물 노드(1220)에 대하여는 추가 플래그를 설정한다. 상기 플래그 설정에 따라 데이터 구조를 갱신할 수 있다. 여기서, 점선으로 처리되는 박스는 노드가 삭제되면서, 다른 위치로 변경되는 것을 의미한다.

상기와 같이, 새로운 컨텐츠를 입력받아 얼굴 인식부에 의하여 얼굴 기술자를 추출하여, 이를 클러스터 분류부에 의하여 클러스터 그룹핑을 수행함으로써 인물 별로 디지털 컨텐츠를 분류할 수 있다. 상기 분류된 디지털 컨텐츠에 대하여 플래그를 설정함으로써 인물별로 분류된 디지털 컨텐츠에 대하여 효율적으로 데이터 구조를 갱신할 수 있다. 갱신된 데이터 구조에 따라 이를 데이터베이스에 저장하면서 변경된 부분만을 갱신함으로써 클러스터 그룹핑에 의한 변경 사항을 데이터베이스에 효율적으로 반영할 수 있다.

다만, 노드에 대하여 플래그를 설정하는 것은 본 발명의 일 실시예에 지나지 아니하며, 상기 얼굴 및 인물에 대한 정보 테이블 또는 미리 정의된 저장소에 플래그 설정을 저장할 수도 있다.

이와 같이, 본 발명의 일 실시예에 따르면 복수의 디지털 컨텐츠에서 인물 별로 디지털 컨텐츠를 분류함으로써 사용자로 하여금 디지털 컨텐츠의 검색 및 브라우징을 용이하게 할 수 있다. 또한, 클러스터의 생성, 확장 또는 병합 등에 의하여 인물 별로 디지털 컨텐츠를 가변적으로 분류함으로써 기준 영상이 없이도 인물 별로 디지털 컨텐츠를 분류할 수 있다.

또한, 플래그 설정에 의하여 새로운 디지털 컨텐츠가 추가되거나 또는 삭제되는 경우에도 데이터베이스에 효율적으로 반영할 수 있다.

도 16은 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법에 대한 흐름도를 보여준다.

먼저, 복수의 디지털 컨텐츠가 저장되어 있는 데이터베이스에 저장된 복수의 디지털 컨텐츠를 이용하여 인물별로 나열되는 데이터 구조를 생성한다(S1600). 예를 들어, 생성되는 데이터 구조는 2차원 연결 리스트(Linked list)가 될 수 있다. 상기 데이터베이스에 저장된 스키마를 이용하여 이미 인물별로 분류되어 있는 복수의 디지털 컨텐츠에 대한 데이터 구조를 생성한다. 예를 들어, 스키마는 도 2에서와 같이 컨텐츠 정보 테이블, 인물 정보 테이블 및 얼굴 정보 테이블을 포함할 수 있다.

데이터베이스에 저장할 새로운 디지털 컨텐츠에 포함된 얼굴 영상에 대하여 얼굴 기술자를 추출한다(S1610). 새로운 디지털 컨텐츠에 포함된 얼굴 영상에서 얼굴 기술자를 추출하기 위하여는 상기 새로운 디지털 컨텐츠에 포함된 얼굴 영상에서 얼굴을 추출하고, 추출된 얼굴에서 특징점을 추출하여 얼굴 기술자를 산출한다. 예를 들어, 얼굴 기술자는 특징 벡터가 될 수 있다.

새로운 디지털 컨텐츠와 기존의 데이터베이스에 저장된 복수의 디지털 컨텐츠를 클러스터 그룹핑에 의하여 인물별로 분류한다(S1620). 동일 인물 범위인지는 얼굴 기술자 거리 비교를 통하여 동일한 클러스터 범위 인지를 확인한다. 클러스터 그룹핑에 의하여 클러스터 생성, 클러스터 확장 또는 클러스터 병합을 할 수 있다. 이와 같이, 클러스터 그룹핑에 의하여 새로운 디지털 컨텐츠가 추가되거나 또는 기존의 디지털 컨텐츠가 삭제되는 경우에도 인물 별로 디지털 컨텐츠를 분류할 수 있다.

인물 별 분류 후에는 플래그를 설정하여 데이터 구조를 갱신할 수 있다(S1630). 예를 들어, 생성된 데이터 구조는 2차원 연결 리스트(Linked list)라면 클러스터 그룹핑에 의하여 노드의 위치가 변경되거나 새로 추가되는 경우를 나타내는 플래그를 설정한다. 예를 들어, 플래그는 추가(Added), 수정(Modified) 및 수정 없음(None) 중에 하나의 값을 가질 수 있다.

설정된 플래그에 따라서, 생성된 데이터 구조를 갱신한다. 데이터 구조가 갱신되면서 새로운 노드가 생성되거나 또는 기존의 노드가 다른 위치로 옮겨 질 수 있다.

데이터 구조 갱신 후에 갱신된 데이터 구조에 따라서 데이터베이스에 디지털 컨텐츠를 갱신하여 저장한다(S1640). 여기서, 데이터베이스에 디지털 컨텐츠를 갱신하여 저장한다는 것은 데이터베이스의 스키마를 갱신하여 저장할 수 있다. 따라서, 갱신된 스키마를 이용함으로써 저장된 디지털 컨텐츠를 인물별로 용이하게 브라우징 및 검색을 할 수 있다.

상기와 같이, 디지털 컨텐츠가 추가 또는 삭제되는 상황하에서 디지털 컨텐츠를 인물별로 분류하고, 이를 데이터베이스에 효율적으로 반영할 수 있다. 또한 클러스터의 생성, 확장 또는 병합 등에 의하여 인물 별로 디지털 컨텐츠를 분류함으로써 자동적으로 인물 별로 디지털 컨텐츠를 분류할 수 있다.

도 17은 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법에서 데이터 구조를 갱신하는 방법에 대한 흐름도를 보여준다.

예를 들어, 본 발명의 일 실시예에서 디지털 컨텐츠는 사진이면서 데이터 구조는 인물 노드를 기반으로 얼굴 노드를 연결하는 도 3과 같은 2차원 연결 리스트가 생성된다.

플래그 설정에 따른 데이터 구조의 갱신은 먼저 연결 리스트에서 첫번째 인물 노드를 선택한다(S1700). 첫번째 인물 노드에 대하여 플래그 설정이 추가(Added)인지 판단한다(S1710). 플래그 설정이 추가가 아니면, 수정(Modified)인지를 판단한다(S1720). 플래그 설정이 수정이 아니면, 마지막 인물 노드 인지를 판단한다(S1760). 마지막 인물 노드가 아니라면, 다음 인물 노드를 선택한다(S1770).

만일 플래그 설정이 추가(Added)라면, 이는 새로운 인물이 등록되었다는 의미이므로 인물 노드를 추가한다(S1730). 또는 플래그 설정이 추가가 아니고 수 정(Modified)라면 해당 인물 노드 하에 얼굴 노드를 선택한다(S1740). 얼굴 노드를 스캔하면서 플래그 설정을 판단하고, 플래그 설정에 따라 얼굴 노드를 수정 또는 추가한다(S1750). 얼굴 노드의 스캔이 종료되면, 마지막 인물 노드 인지를 판단하고(S1760), 마지막 인물 노드라면 종료한다.

상기와 같이, 연결 리스트 데이터 구조에서 플래그 설정에 따라 데이터 구조를 갱신한다. 플래그 설정에 의하여 데이터 구조를 갱신하고, 이를 데이터베이스에 변경 사항을 반영함으로써 데이터베이스에 저장된 디지털 컨텐츠를 인물별로 분류하고 효율적으로 관리할 수 있다.

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

도 1은 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에 대한 블록도이다.

도 2는 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서의 데이터베이스 스키마를 보여주는 도면이다.

도 3은 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 데이터 구조를 보여주는 예시도이다.

도 4는 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 얼굴 인식부의 블록도이다.

도 5는 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 클러스터 분류부의 블록도이다.

도 6 내지 도 9는 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 클러스터 변환부에 의한 클러스터 그룹핑(Grouping)의 예를 보여주는 도면이다.

도 10은 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 데이터 구조 갱신부의 블록도이다.

도 11은 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 플래그 설정부의 플래그 설정을 보여주는 도면이다.

도 12 내지 15는 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템에서 데이터 구조 적용부에 의하여 데이터 구조를 갱신하는 과정을 보여주는 도면이다.

도 16은 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법에 대한 흐름도이다.

도 17은 본 발명의 일 실시예에 따른 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법에서 데이터 구조를 갱신하는 방법에 대한 흐름도이다.

<도면의 주요 부분에 관한 부호의 설명>

120: 데이터 구조 생성부

130: 얼굴 인식부

150: 클러스터 분류부

170: 데이터 구조 갱신부

180: 데이터베이스

190: 컨텐츠 브라우징부

Claims

복수의 디지털 컨텐츠를 인물별로 분류하여 저장하는 데이터베이스;

상기 복수의 디지털 컨텐츠를 이용하여 복수의 노드로 이루어지는 데이터 구조를 생성하는 데이터 구조 생성부;

상기 데이터베이스에 저장할 새로운 디지털 컨텐츠의 얼굴 기술자를 추출하는 얼굴 인식부;

상기 추출된 얼굴 기술자를 이용하여 상기 새로운 디지털 컨텐츠와 상기 복수의 디지털 컨텐츠를 인물별로 분류하는 클러스터 분류부; 및

상기 분류에 따라 상기 데이터 구조를 갱신하는 데이터 구조 갱신부를 포함하는데,

상기 클러스터 분류부는

클러스터 생성, 클러스터 확장 및 클러스터 병합 중 하나에 의하여 상기 디지털 컨텐츠를 분류하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
제 1항에 있어서, 상기 얼굴 인식부는

상기 새로운 디지털 컨텐츠의 인물 영상에서 얼굴 영역을 추출하는 얼굴 추출부; 및

상기 추출된 얼굴 영역에서 특징점을 추출하는 특징점 추출부를 포함하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
제 1항에 있어서,

상기 추출된 얼굴 기술자는 상기 디지털 컨텐츠의 인물 영상에서 추출된 특 징 벡터인, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
제 3항에 있어서, 상기 클러스터 분류부는

상기 특징 벡터를 이용한 특징 벡터 거리 비교를 통하여 인물별로 상기 새로운 디지털 컨텐츠와 상기 복수의 디지털 컨텐츠를 분류하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
삭제
제 1항에 있어서, 상기 데이터 구조는

2차원 연결 리스트 데이터 구조이며,

상기 2차원 연결 리스트 데이터 구조는 인물별로 연결되는 인물 노드; 및

상기 인물 노드에 연결되어 동일한 얼굴로서 판단되는 디지털 컨텐츠의 얼굴 정보를 저장하는 얼굴 노드를 포함하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
제 1항에 있어서, 상기 데이터 구조 갱신부는

인물 노드 및 얼굴 노드의 플래그(Flag)를 설정하여 상기 새로운 디지털 컨 텐츠와 상기 복수의 디지털 컨텐츠의 데이터 구조를 갱신하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
제 7항에 있어서,

상기 플래그는 추가(Added), 수정(Modified) 및 수정 없음(None)중에 하나의 값을 가지는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
제 1항에 있어서, 상기 데이터베이스는

컨텐츠 정보 테이블, 인물 정보 테이블 및 얼굴 정보 테이블을 구비한 데이터베이스 스키마에 따라 상기 새로운 디지털 컨텐츠와 상기 복수의 디지털 컨텐츠를 저장하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
제 1항에 있어서,

상기 데이터베이스는 상기 갱신된 데이터 구조를 반영하여 상기 새로운 디지털 컨텐츠와 상기 복수의 디지털 컨텐츠를 갱신하여 저장하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
복수의 디지털 컨텐츠를 이용하여 복수의 노드로 이루어지는 데이터 구조를 생성하는 데이터 구조 생성부;

상기 복수의 디지털 컨텐츠 중 일부가 삭제되는 경우에 나머지 디지털 컨텐 츠를 얼굴 기술자를 이용하여 인물별로 분류하는 클러스터 분류부;

상기 분류에 따라 상기 데이터 구조를 갱신하는 데이터 구조 갱신부; 및

상기 갱신된 데이터 구조를 반영하여 상기 나머지 디지털 컨텐츠를 갱신하여 저장하는 데이터베이스를 포함하며, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
제 11항에 있어서, 상기 데이터 구조 갱신부는

인물 노드 및 얼굴 노드에 플래그(Flag)를 설정하여 상기 나머지 디지털 컨텐츠의 데이터 구조를 갱신하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
제 12항에 있어서,

상기 플래그는 추가(Added), 수정(Modified) 및 수정 없음(None)중에 하나의 값을 가지는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
제 11항에 있어서, 상기 데이터베이스는

컨텐츠 정보 테이블, 인물 정보 테이블 및 얼굴 정보 테이블을 구비한 데이터베이스 스키마에 따라 상기 나머지 디지털 컨텐츠를 저장하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템.
복수의 디지털 컨텐츠를 저장하는 데이터베이스의 스키마를 이용하여 복수의 노드로 이루어지는 데이터 구조를 생성하는 단계;

상기 데이터베이스에 저장할 새로운 디지털 컨텐츠의 얼굴 기술자를 추출하는 단계;

상기 추출된 얼굴 기술자를 이용하여 상기 새로운 디지털 컨텐츠와 상기 복수의 디지털 컨텐츠를 인물별로 분류하는 단계; 및

상기 분류에 따라 상기 데이터 구조를 갱신하는 단계를 포함하는데,

상기 새로운 디지털 컨텐츠와 상기 복수의 디지털 컨텐츠를 인물별로 분류하는 단계는, 클러스터 생성, 클러스터 확장 및 클러스터 병합 중 하나에 의하여 분류하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법.
제 15항에 있어서,

상기 스키마는 컨텐츠 정보 테이블, 인물 정보 테이블 및 얼굴 정보 테이블을 포함하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법.
제 15항에 있어서,

상기 갱신된 데이터 구조를 반영하여 상기 새로운 디지털 컨텐츠와 상기 복수의 디지털 컨텐츠를 상기 데이터베이스에 갱신하여 저장하는 단계를 더 포함하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법.
제 15항에 있어서, 상기 얼굴 기술자를 추출하는 단계는

상기 새로운 디지털 컨텐츠에서 얼굴 영역을 추출하는 단계; 및

상기 추출된 얼굴 영역에서 특징점을 추출하여 특징 벡터를 산출하는 단계를 포함하며,

상기 새로운 디지털 컨텐츠와 상기 복수의 디지털 컨텐츠를 인물별로 분류하는 단계는 상기 산출된 특징 벡터를 이용하여 상기 복수의 디지털 컨텐츠에 포함된 얼굴의 특징 벡터와 거리 비교를 통하여 동일 인물 클러스터 범위 인지를 판단하는 단계를 포함하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법.
삭제
제 15항에 있어서, 상기 데이터 구조를 갱신하는 단계는

인물 노드 및 얼굴 노드에 플래그(Flag)를 설정하여 상기 새로운 디지털 컨텐츠와 상기 복수의 디지털 컨텐츠의 데이터 구조를 갱신하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법.
제 20항에 있어서,

상기 플래그는 추가(Added), 수정(Modified) 및 수정 없음(None)중에 하나의 값을 가지는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법.
제 15항에 기재된 방법을 컴퓨터가 판독 가능한 프로그램으로 기록한 기록 매체.
복수의 디지털 컨텐츠를 이용하여 복수의 노드로 이루어지는 데이터 구조를 생성하는 단계;

상기 복수의 디지털 컨텐츠 중 일부가 삭제되는 경우에 나머지 디지털 컨텐츠를 얼굴 기술자를 이용하여 인물별로 분류하는 단계;

상기 분류에 따라 상기 데이터 구조를 갱신하는 단계; 및

상기 갱신된 데이터 구조를 반영하여 상기 나머지 디지털 컨텐츠를 데이터베이스에 갱신하여 저장하는 단계를 포함하며, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법.
제 23항에 있어서, 상기 나머지 디지털 컨텐츠를 인물별로 분류하는 단계는

클러스터 생성, 클러스터 확장 및 클러스터 병합 중 하나에 의하여 분류하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방법.
제 23항에 있어서, 상기 데이터 구조를 갱신하는 단계는

인물 노드 및 얼굴 노드에 플래그(Flag)를 설정하여 상기 나머지 디지털 컨텐츠의 데이터 구조를 갱신하는, 인물 별로 디지털 컨텐츠를 분류하여 저장하는 방 법.