KR101100429B1 - 포토 앨범 시스템의 반자동등록 방법 및 장치와, 이를 이용한 포토앨범 시스템 - Google Patents

Abstract

인물 DB 등록사진 수 축소 방법 및 장치, 포토 앨범 시스템의 반자동등록 방법 및 장치와, 이를 이용한 포토앨범 시스템이 개시된다. 그 포토앨범 시스템은, 사진영상 속의 특정 인물별로, 상기 사진영상과 상기 특정인물의 얼굴 특징 및 이름이 저장되는 등록 데이터베이스; 사진에 대해 얼굴특징을 추출하고, 추출된 얼굴이 있는 사진들을 상기 등록 데이터베이스에 등록하는 등록부; 등록되지 않은 새로운 사진이 입력되면 사진 내 인물의 이름을 추정하는 질의부; 및 검색할 인물 이름이 들어오면, 이름이 부여된 얼굴들 중에서 검색할 이름이 들어간 얼굴을 검색하고, 해당 얼굴이 들어간 사진을 검색하고, 상기 사진들을 보여주는 검색부를 포함하는 것을 특징으로 한다.

본 발명에 의하면, 다량의 포토 앨범(Photo Album) 사진들에 대해서, 몇 개의 사진들에 대해서만 수동으로 등록을 하면 나머지 사진들에 대하여 신속하게 등록할 수 있다. 또한, 등록된 사진들을 인물의 이름으로 신속하게 검색할 수 있으므로, 다량의 사진들을 효율적으로 관리할 수 있다.

Description

포토 앨범 시스템의 반자동등록 방법 및 장치와, 이를 이용한 포토앨범 시스템{Semi automatic enrollment method and apparatus of photo album, and photo album system using them}

도 1은 본 발명의 일실시예에 따른 포토 앨범 시스템의 블록도이다.

도 2는 등록부(120)의 보다 세부적인 구성을 블록도로 도시한 것이다.

도 3은 반자동 등록부(240)의 보다 세부적인 구성을 블록도로 도시한 것이다.

도 4는 등록DB축소부(260)의 보다 세부적인 구성을 블록도로 도시한 것이다.

도 5는 도 4의 블록도를 보다 세부적으로 도시한 것이다.

도 6은 본 발명에 의한 포토앨범 시스템의 전체적인 체계를 도시한 것이다.

도 7은 얼굴특징 추출과정을 흐름도로 도시한 것이다.

도 8은 수동등록 과정을 흐름도로 도시한 것이다.

도 9는 반자동등록 과정을 흐름도로 도시한 것이다.

도 10은 본 발명에 의한 인물 DB 등록사진수 축소방법을 흐름도로 도시한 것이다.

도 11은 도 10에 도시된 흐름도를 보다 상세히 설명한 것이다.

도 12는 본 발명에 의한 인물 DB 등록사진수 축소방법을 노드그래프를 이용하여 도시한 것이다.

도 13은 상기 질의 과정을 흐름도로 도시한 것이다.

도 14는 복수사진에 대한 인물이름 추정과정을 흐름도로 도시한 것이다.

도 15는 이름으로 사진찾기 과정을 흐름도로 도시한 것이다.

도 16은 등록에서 수동등록의 일실시예를 도시한 것이다.

도 17은 등록에서 반자동 등록에 대한 일실시예를 도시한 것이다.

도 18은 질의에서 사진 내 이름 추정의 일실시예를 도시한 것이다.

도 19는 질의에 있어서 복수 사진에 대한 인물 이름 추정의 일실시예를 도시한 것이다.

도 20은 검색에 있어서 이름으로 사진 찾기의 일실시예를 도시한 것이다.

도 21은 등록 DB 축소에 있어서, 사진 수 축소 전의 예를 도시한 것이다.

도 22는 등록 DB축소에 있어서, 사진수 축소 후의 예를 도시한 것이다.

도 23은 브라우징에 있어서 인물 사진 모두 보이기의 일실시예를 도시한 것이다.

본 발명은 포토앨범에 관한 것으로서, 특히 인물 DB 등록사진 수 축소 방법 및 장치, 포토 앨범 시스템의 반자동등록 방법 및 장치와, 이를 이용한 포토앨범 시스템에 관한 것이다.

디지털 카메라나 스캐너(Scanner) 등의 가정 내 보급으로, 개인이 소유하고 있는 사진 영상의 수가 급격히 증가하고 있다. 이러한 사진 영상들은 보통 컴퓨터의 하드디스크나 기타 저장매체에 디지털 데이터 형태로 저장되며, 이에 따라 저장된 수많은 사진 영상들 중에서 특정 인물이 포함된 사진 영상을 신속하고 용이하게 검색할 필요성이 대두되고 있다.

특정 인물이 포함된 사진 영상을 검색하기 위해서는, 각 사진 영상마다 그 사진 영상에 포함된 인물 이름에 대한 정보를 가지고 있으면 가능하지만, 이를 위해서는 각 사진 영상에 포함된 인물의 이름을 개별적으로 미리 등록하는 과정이 필요하다. 그러나 이와 같이 각 사진 영상마다 일일이 대응하는 이름을 등록하는 방법은 시간이 많이 소요될 뿐만 아니라 번거로운 작업이기도 하다.

이러한 점들을 해결하기 위해, US 2004/0264780 에는, "Face Annotation for Photo Management" 라는 발명의 명칭으로, 한 인물에 대해서 몇 장의 사진 영상만을 수동으로 등록하면, 대용량의 DB에 저장된 사진 영상들 중에서 원하는 인물이 포함된 사진을 검색할 수 있도록 지원하는 방법이 개시되어 있다.

여기에 개시되어 있는 방법은, 옷차림, 얼굴, 눈, 코, 입 등의 특징을 사용하여 사진 영상 속의 얼굴을 인식하고, 주어진 사진 영상에 대해서 후보 이름 리스트(candidate name list)를 생성하여, 사용자가 인물의 이름을 선택할 수 있도록 한다. 또한, 쿼리(query)된 사진의 얼굴로부터 특징을 추출한 후, 가장 유사한 얼굴의 이름을 보여주기도 한다.

그러나 이와 같은 방식은 주어진 사진 데이터 베이스(DB)에 대해서 네이밍(naming) 및 얼굴 등록을 용이하게 하는 기능이 없을 뿐만 아니라, 최신 사진으로 등록된 얼굴을 갱신(update) 하는 기능이 없다.

뿐만 아니라, 한 인물의 얼굴은 시간, 장소, 표정, 조명에 따라 변화가 너무 다양함으로 종래의 얼굴 인식 방법을 통해 사진에 이름을 자동 부여하는 방법은 성능에 한계가 존재한다.

본 발명이 이루고자 하는 기술적 과제는, 포토앨범시스템에서의 인물 DB 등록사진 수 축소 방법 및 장치를 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는, 포토 앨범 시스템의 반자동등록 방법 및 장치를 제공하는 것이다.

본 발명이 이루고자하는 또 다른 기술적 과제는, 등록, 질의, 검색 및 브라우징 기능을 모두 구비하며, 얼굴 인식 방법을 통해 저장된 사진 영상에 포함된 인물에 대응하는 이름을 부여하고, 부여된 이름으로 사진 영상을 신속하게 검출하여 표시하는 포토 앨범 시스템을 제공하는 것이다.

상기 기술적 과제를 이루기 위한 본 발명에 의한 인물 DB 등록사진 수 축소 방법은, 얼굴 특징간의 거리비교로 얼굴특징 클러스터링을 수행하는 단계; 상기 클러스터링된 얼굴특징들 중에서 대표특징을 선택하는 단계; 및 대표로 선택되지 않은 특징에 해당하는 얼굴사진을 얼굴DB에서 삭제하는 단계를 포함함을 특징으로 한 다.

상기 기술적 과제를 이루기 위한 본 발명에 의한 인물 DB 등록사진 수 축소 방법은, (a) 얼굴 데이터베이스에 등록된 얼굴특징을 인스턴스라 할 때, 상기 인스턴스를 노드로 표현한 노드 세트(node set)를 생성하는 단계; (b) 노드들 간의 유사도 거리(distance)를 계산하여 소정의 기준값보다 작은 노드간을 링크시켜 노드 그래프(node graph)를 생성하는 단계; (c) 상기 노드 그래프에서 각 노드의 링크섬(link sum)을 계산하는 단계; (d) 노드마다 상기 링크섬과 이전의 대표성 레벨(representative level)을 고려하여 현재의 대표성 레벨을 계산하는 단계; (e) 상기 대표성 레벨이 가장 큰 노드를 대표노드로 선택하고, 상기 대표노드 및 상기 대표노드와 직접 링크되어 있는 노드들을 상기 노드 그래프에서 제거하는 단계; (f) 남아있는 노드들에 대해 상기 (c)단계 내지 (e)단계를, 남아있는 노드가 없을 때까지 반복 수행하는 단계; 및 (g) 대표노드 이외의 노드에 해당하는 사진을 인물 DB에서 삭제하는 단계를 포함함을 특징으로 한다.

상기 (d)단계는 노드마다 상기 링크섬과 이전의 대표성레벨(representative level)을 고려하여 현재의 대표성 레벨을 수학식 1과 같이 계산함이 바람직하다.

[수학식1]

(여기서,

는 현재의 대표성 레벨을,

는 이전의 대표성 레벨을, a(0<a<1)는 aging rate을,

는 각 노드의 링크섬을 나타낸다.)

상기 기술적 과제를 이루기 위한 본 발명에 의한 인물 DB 등록사진 수 축소 장치는, 얼굴 특징간의 거리비교로 얼굴특징 클러스터링을 수행하는 얼굴특징클러스터링부; 상기 클러스터링된 얼굴특징들 중에서 대표특징을 선택하는 대표특징선택부; 및 대표로 선택되지 않은 특징에 해당하는 얼굴사진을 얼굴DB에서 삭제하는 얼굴삭제부를 포함함을 특징으로 한다.

상기 얼굴특징 클러스터링부는 얼굴 DB에 등록된 얼굴특징을 인스턴스라 할 때, 상기 인스턴스를 노드로 표현한 노드 세트(node set)를 생성하는 노드세트생성부; 및 노드들 간의 유사도 거리(distance)를 계산하여 소정의 기준값보다 작은 노드간을 링크시켜 노드 그래프(node graph)를 생성하는 노드그래프생성부를 구비하며, 상기 대표특징선택부는 상기 노드 그래프에서 각 노드의 링크섬(link sum)을 계산하는 링크섬계산부; 노드마다 상기 링크섬과 이전의 대표성레벨(representative level)을 고려하여 현재의 대표성 레벨을 계산하는 대표성레벨계산부; 및 상기 대표성 레벨이 가장 큰 노드를 대표노드로 선택하는 대표노드 선택부를 구비하며, 상기 얼굴삭제부는 상기 대표노드 및 상기 대표노드와 직접 링크되어 있는 노드들을 상기 노드 그래프에서 제거하는 노드제거부; 및 대표노드 이외의 노드에 해당하는 사진을 인물 DB에서 삭제하는 인물삭제부를 구비함이 비람직하다.

상기 대표성레벨 계산부는 노드마다 상기 링크섬과 이전의 대표성레벨(representative level)을 고려하여 현재의 대표성 레벨을 수학식 1과 같이 계산함이 바람직하다.

상기 다른 기술적 과제를 이루기 위한 본 발명에 의한 포토 앨범 시스템의 반자동등록장치는, 사진이 입력되면, 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행하는 멀티 인스턴스 검색부; 등록되지 않은 모든 영상을 질의로, 등록된 영상은 타겟으로 하여 유사도 거리가 소정의 임계값보다 낮은 얼굴들을 보여주는 유사도계산부; 및 상기 보여진 얼굴들 중에서 사용자에 의해 선택된 얼굴에 이름을 부여하여 얼굴 데이터베이스에 등록하는 얼굴DB등록부를 포함함을 특징으로 한다.

상기 다른 기술적 과제를 이루기 위한 본 발명에 의한 포토 앨범 시스템의 반자동등록 방법은, 사진이 입력되면, 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행하는 단계; 등록되지 않은 모든 영상을 질의로, 등록된 영상은 타겟으로 하여 유사도 거리가 소정의 임계값보다 낮은 얼굴들을 보여주는 단계; 및 상기 보여진 얼굴들 중에서 사용자에 의해 선택된 얼굴에 이름을 부여하여 얼굴 데이터베이스에 등록하는 단계를 포함함을 특징으로 한다.

상기 또 다른 기술적 과제를 이루기 위한 본 발명에 의한 포토 앨범 시스템은, 사진영상 속의 특정 인물별로, 상기 사진영상과 상기 특정인물의 얼굴 특징 및 이름이 저장되는 등록 데이터베이스; 사진에 대해 얼굴특징을 추출하고, 추출된 얼굴이 있는 사진들을 상기 등록 데이터베이스에 등록하는 등록부; 등록되지 않은 새로운 사진이 입력되면 사진 내 인물의 이름을 추정하는 질의부; 및 검색할 인물 이름이 들어오면, 이름이 부여된 얼굴들 중에서 검색할 이름이 들어간 얼굴을 검색하고, 해당 얼굴이 들어간 사진을 검색하고, 상기 사진들을 보여주는 검색부를 포함 하는 것을 특징으로 한다.

상기 본 발명에 의한 포토 앨범 시스템은, 얼굴 검출에 성공한 사진들을 보여주는 브라우징부를 더 포함하는 것이 바람직하다. 상기 얼굴 특징은 얼굴 위치, 눈 위치, 및 얼굴 기술자 중 적어도 어느 하나에 기초하여 결정되는 것이 바람직하다. 상기 등록부는 사진이 들어오면 얼굴특징을 추출하는 얼굴특징 추출부; 특징이 추출된 얼굴이 있는 사진들을 보여주고, 사용자에 의해 이름이 부여되면 상기 이름을 등록하는 수동등록부; 및 인물별로 멀티 인스턴스 검색을 수행하여 소정의 유사도 거리 내의 얼굴을 보여주고, 상기 얼굴에 대해 사용자에 의해 선택적으로 이름이 부여되면, 상기 이름을 등록하는 반자동등록부를 구비함이 바람직하다.

상기 반자동 등록부는 사진이 입력되면, 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행하는 멀티 인스턴스 검색부; 등록되지 않은 모든 영상을 질의로, 등록된 영상은 타겟으로 하여 유사도 거리가 소정의 임계값보다 낮은 얼굴들을 보여주는 유사도계산부; 및 상기 보여진 얼굴들 중에서 사용자에 의해 선택된 얼굴에 이름을 부여하여 얼굴 데이터베이스에 등록하는 얼굴DB등록부를 포함함이 바람직하다. 상기 등록부는 멀티 인스턴스 검색에서 인스턴스 개수를 줄이는 등록DB축소부를 더 구비함이 바람직하다.

상기 등록DB축소부는 얼굴 특징간의 거리비교로 얼굴특징 클러스터링을 수행하는 얼굴특징클러스터링부; 상기 클러스터링된 얼굴특징들 중에서 대표특징을 선택하는 대표특징선택부; 및 대표로 선택되지 않은 특징에 해당하는 얼굴사진을 얼굴DB에서 삭제하는 얼굴삭제부를 포함함이 바람직하다.

그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명에 의한 포토 앨범 시스템 및 그 시스템에서의 얼굴인식 방법을 보다 상세하게 설명한다.

본 발명에 따른 포토 앨범 시스템은, 기존의 얼굴 인식방법으로 얼굴을 인식하기에는 한 인물의 얼굴이 시간, 장소, 표정, 조명 등에 따라 변화가 너무 다양하므로, 한 인물에 대해서 다수의 얼굴을 등록하여, multi-instance search를 수행하는 방식을 사용한다. 또한, 한 인물에 대해서 등록된 얼굴을 확장하는 방법으로, 몇 개의 얼굴에 대해서만 사용자가 수동으로 등록하고, 사용자가 등록한 얼굴에 유사한 얼굴들은 사용자 확인 후에 추가 등록하도록 하며, 최근 얼굴들도 추가 등록할 수 있도록 한다. 그리고 한 인물에 대해 등록된 얼굴의 수가 너무 많아지면, 대표 얼굴 선택 방법에 의해서, 등록된 얼굴의 개수를 줄이는 방법을 사용한다.

도 1은 본 발명의 일실시예에 따른 포토 앨범 시스템의 블럭도이다. 도 1을 참조하면, 본 발명에 의한 포토 앨범 시스템은 등록데이터베이스(100), 등록부(120), 질의부(140) 및 검색부(160)를 포함하여 이루어진다. 상기 포토앨범 시스템은 브라우징부(180)를 더 구비함이 바람직하다. 도 6은 본 발명에 의한 포토앨범 시스템의 전체적인 체계를 도시한 것으로서, 등록(enrollment), 질의(query), 검색(searching) 및 브라우징(browsing)를 포함하고 있다.

상기 등록데이터베이스(100)는 사진영상 속의 특정 인물별로, 상기 사진영상과 상기 특정인물의 얼굴 특징 및 이름을 저장한다.

상기 등록부(120)는 사진에 대해 얼굴특징을 추출하고, 추출된 얼굴이 있는 사진들을 상기 등록 데이터베이스(100)에 등록한다. 상기 등록부(120)는 사용자가 몇 장의 사진만 수동으로 등록하면, 반자동으로 다량의 사진을 등록할 수 있도록 지원할 뿐만 아니라, 최신 사진으로 등록 DB를 갱신하는 기능도 지원한다.

도 2는 상기 등록부(120)의 보다 세부적인 구성을 블록도로 도시한 것으로서, 얼굴특징추출부(200), 수동등록부(220) 및 반자동등록부(240)를 포함하여 이루어진다. 상기 등록부(120)는 등록DB축소부(260)를 더 구비함이 바람직하다.

상기 얼굴특징 추출부(200)는 사진이 들어오면 얼굴특징을 추출한다. 상기 얼굴 특징은 얼굴 위치, 눈 위치, 및 얼굴 기술자 중 적어도 어느 하나에 기초하여 결정되는 것이 바람직하다. 도 7은 상기 얼굴특징 추출과정을 흐름도로 도시한 것으로서, 입력사진들이 들어오면, 사용자가 지정한 폴더 내의 모든 사진에 대해서 얼굴을 검출한다.(700단계) 그리고 나서 검출된 모든 얼굴에 대해서 눈을 검출하고(720단계), 검출된 눈으로 영상 정규화를 수행한다.(740단계) 얼굴 정규화는 검출된 얼굴 영역에서 눈과 같은 특징점을 추출하고, 이를 이용하여 영상을 인식에 적합한 크기 및 위치로 변환하는 과정을 의미한다. 이와 같은 정규화된 영상에 대해서, 얼굴 기술자(Face Descriptor)를 추출한다.(760단계) 얼굴 기술자 추출은, MPEG 7에서 채택된 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis) 등과 같은 자동 얼굴 인식 알고리즘을 사용할 수 있다. 추출된 얼굴 기술자와, 얼굴 위치, 눈 위치 등에 의해 얼굴 특징을 결정한다.

상기 수동등록부(220)는 특징이 추출된 얼굴이 있는 사진들을 보여주고, 사 용자에 의해 이름이 부여되면 상기 이름을 등록한다. 도 8은 상기 수동등록 과정을 흐름도로 도시한 것으로서, 특징이 추출된 얼굴이 있는 사진들을 thumbnail로 보여주고(800단계), 사용자가 수동으로 인물당 수 장 정도만 선택해서 이름을 부여한다.(820단계) 한 사진에 복수의 얼굴이 있으면 마우스로 선택할 수 있다.(840단계) 이름이 부여된 얼굴을 그 이름으로 등록한다.(860단계) 도 16은 수동등록의 일실시예를 도시한 것이다.

상기 반자동등록부(240)는 인물별로 멀티 인스턴스 검색(multi-instance search)을 수행하여 소정의 유사도 거리 내의 얼굴을 보여주고, 상기 얼굴에 대해 사용자에 의해 선택적으로 이름이 부여되면, 상기 이름을 등록한다.

도 3은 상기 반자동 등록부(240)의 보다 세부적인 구성을 블록도로 도시한 것으로서, 인스턴스 검색부(300), 유사도 계산부(320) 및 얼굴DB등록부(340)를 포함하여 이루어진다. 상기 인스턴스 검색부(300)는 사진이 입력되면, 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행한다. 도 17은 반자동 등록에 대한 일실시예를 도시한 것이다.

상기 유사도 계산부(320)는 등록되지 않은 모든 영상을 질의로, 등록된 영상은 타겟으로 하여 유사도 거리가 소정의 임계값보다 낮은 얼굴들을 보여준다.

상기 얼굴DB등록부(340)는 상기 보여진 얼굴들 중에서 사용자에 의해 선택된 얼굴에 이름을 부여하여 얼굴 데이터베이스에 등록한다.

도 9는 반자동등록 과정을 흐름도로 도시한 것으로서, 사진이 입력되면, 인물별로 등록된 인물 특징을 이용해서 얼굴기술자간의 거리가 threshold보다 낮은 얼굴들을 선택한다.(900단계) 상기 threshold의 값은 사용자가 입력가능하다. 사용자가 수정할 필요가 있으면 수정한 후(920단계), 얼굴특징에 이름을 부여한다.(940단계) 그리고 나서 인물을 등록한다.(960단계) 즉 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행한다. 등록되지 않은 모든 영상을 쿼리(query)로, 등록된 영상은 target으로 하여 유사도(similarity) 거리가 threshold 보다 낮은 얼굴들을 보여준다. 사용자는 잘못 retrieval된 영상은 삭제하고 제대로 retrieval 된 영상에 대해서만 데이터 베이스에 추가 등록할 수 있다. 이를 통해서 하나의 이름으로 등록된 얼굴의 수가 획기적으로 확장되고 얼굴인식 성능이 증가한다. Threshold를 조절하여 false rejection과 false alarm의 비율을 조절할 수 있다.

상기 등록DB축소부(260)는 멀티 인스턴스 검색에서 인스턴스 개수를 줄인다. 멀티 인스턴스 검색에서 인스턴스가 너무 많이 늘어날 때에는 인스턴스를 축소할 필요가 있다. 유사한 모델을 중복 사용할 필요가 없으며, 인스턴스가 많으면 검색시간이 증가한다. 또한 최근 모델로 update할 필요가 있다. 상기 등록DB축소부(260)는 주어진 distance threshold에 따라 오래된 대표는 탈락되도록 하며, representative level 개념을 넣어서 이전 set에서 대표성이 있는 것은 다음 set에도 선택될 가능성이 높도록 한다. 자주 사용하면 멀티 인스턴스 검색의 성능이 저하될 수 있다. 상기 등록DB축소부(260)는 인물 DB 등록 사진수 축소 장치로서 그 자체로서도 하나의 발명이 될 수 있다.

도 4는 상기 등록DB축소부(260)의 보다 세부적인 구성을 블록도로 도시한 것 으로서, 얼굴특징 클러스터링부(400), 대표특징 선택부(420) 및 얼굴삭제부(440)를 포함하여 이루어진다. 상기 얼굴특징 클러스터링부(400)는 얼굴 특징간의 거리비교로 얼굴특징 클러스터링을 수행한다. 상기 대표특징선택부(420)는 상기 클러스터링된 얼굴특징들 중에서 대표특징을 선택한다. 상기 얼굴삭제부(440)는 대표로 선택되지 않은 특징에 해당하는 얼굴사진을 얼굴DB에서 삭제한다.

도 5는 상기 도 4의 블록도를 보다 세부적으로 도시한 것으로서, 상기 얼굴특징 클러스터링부(400)는 노드 세트 생성부(500) 및 노드그래프 생성부(510)를 구비한다. 상기 노드세트생성부(500)는 얼굴 데이터베이스에 등록된 얼굴특징을 인스턴스라 할 때, 상기 인스턴스를 노드로 표현한 노드 세트(node set)를 생성한다. 상기 노드그래프생성부(510)는 노드들 간의 유사도 거리(distance)를 계산하여 소정의 기준값보다 작은 노드간을 링크시켜 노드 그래프(node graph)를 생성한다.

상기 대표특징선택부(420)는 링크섬계산부(520), 대표성 레벨 계산부(530) 및 대표노드 선택부(540)를 구비한다. 상기 링크섬계산부(520)는 상기 노드 그래프에서 각 노드의 링크섬(link sum)을 계산한다. 상기 대표성레벨 계산부(530)는 노드마다 상기 링크섬과 이전의 대표성레벨(representative level)을 고려하여 현재의 대표성 레벨을 계산한다. 상기 대표노드 선택부(540)는 상기 대표성 레벨이 가장 큰 노드를 대표노드로 선택한다.

상기 얼굴삭제부(440)는 노드제거부(550) 및 인물삭제부(560)를 구비한다. 상기 노드제거부(550)는 상기 대표노드 및 상기 대표노드와 직접 링크되어 있는 노드들을 상기 노드 그래프에서 제거한다. 상기 인물삭제부(560)는 대표노드 이외의 노드에 해당하는 사진을 인물 DB에서 삭제한다.

도 10은 본 발명에 의한 인물 DB 등록사진수 축소방법을 흐름도로 도시한 것이다. 먼저, 얼굴 특징간의 거리비교로 얼굴특징 클러스터링을 수행한다.(1000단계) 그리고 나서 상기 클러스터링된 얼굴특징들 중에서 대표특징을 선택하고(1010단계), 대표로 선택되지 않은 특징에 해당하는 얼굴사진을 얼굴DB에서 삭제한다.(1020단계)

도 11은 도 10에 도시된 흐름도를 보다 상세히 설명한 것으로서, 먼저 얼굴 데이터베이스에 등록된 얼굴특징을 인스턴스라 할 때, 상기 인스턴스를 노드로 표현한 노드 세트(node set)를 생성한다.(1100단계) 시간 t에서의 노드 세트는 t-1 에서의 대표성 노드(representative node)와 새로 추가된 노드로 구성되어 있다. (T = distance에 대한 threshold, 새로 추가된 노드의 representative level,

a = aging rate(0<a<1), 예를 들어 a = 0.9))

노드들 간의 유사도 거리(distance)를 계산하여 소정의 기준값보다 작은 노드간을 링크시켜 노드 그래프(node graph)를 생성한다.(1110단계) 예를 들어 노드들 간의 distance 가 T 보다 작은 것은 link를 연결한다. 상기 노드 그래프에서 각 노드의 링크섬(link sum)을 계산한다.(1120단계) 즉 노드들 마다 link sum을 구한다. (recursive link도 포함한다.) 노드마다 상기 링크섬과 이전의 대표성 레벨(representative level)을 고려하여 현재의 대표성 레벨을 계산한다.(1130단계) 상기 대표성 레벨이 가장 큰 노드를 대표노드로 선택하고, 상기 대표노드 및 상기 대표노드와 직접 링크되어 있는 노드들을 상기 노드 그래프에서 제거한다.(1140단 계) 남아있는 노드들에 대해 상기 (c)단계 내지 (e)단계를, 남아있는 노드가 없을 때까지 반복 수행한다.(1150단계) 대표노드 이외의 노드에 해당하는 사진을 인물 DB에서 삭제한다.(1160단계)

상기 1130단계는 노드마다 상기 링크섬과 이전의 대표성레벨(representative level)을 고려하여 현재의 대표성 레벨을 수학식 1과 같이 계산할 수 있다.

[수학식1]

여기서,

는 현재의 대표성 레벨을,

는 이전의 대표성 레벨을, a(0<a<1)는 aging rate을,

는 각 노드의 링크섬을 나타낸다. 도 12는 상술한 본 발명에 의한 인물 DB 등록사진수 축소방법을 노드그래프를 이용하여 도시한 것이다. 도 21은 등록 DB 축소에 있어서, 사진 수 축소 전의 예를 도시한 것이며, 도 22는 등록 DB축소에 있어서, 사진수 축소 후의 예를 도시한 것이다.

한편, 도 1에 도시된 상기 질의부(140)는 등록되지 않은 새로운 사진이 입력되면 사진 내 인물의 이름을 추정한다. 질의는 등록되지 않은 새로운 사진이 입력되었을 때 그 얼굴의 이름을 알아 맞춘다. 질의(query)의 얼굴과 등록된 모든 얼굴과의 distance를 구해서 distance가 가장 작은 얼굴의 이름을 디스플레이한다. 한 사진에 복수의 얼굴이 있으면 각 얼굴에 대해서 같은 작업을 반복한다. 추측된 이름이 틀릴 경우 수정할 수 있다. 도 13은 상기 질의 과정을 흐름도로 도시한 것으로서, 사진이 입력되면 얼굴특징을 추출한다.(1300단계) 얼굴기술자 간의 distance 가 가장 작은 얼굴의 이름을 표시한다.(1310단계) 필요하면, 사용자에 의해 수정되고(1320단계), 얼굴특징에 이름을 부여한다.(1330단계) 그리고 나서 인물을 등록한다.(1340단계) 도 18은 질의에서 사진 내 이름 추정의 일실시예를 도시한 것이다.

또한 상기 질의부(140)는 복수 사진에 대한 인물 이름을 추정할 수도 있다. 예를 들어, 디지털 카메라에서 사진을 찍은 후 사진들을 한꺼번에 한 개의 폴더에 옮기는 경우에는 여러 장에 대해서 인물이름을 추정해서 thumbnail로 보여준다. 인물의 이름들은 얼굴 바로 밑에 보여준다. 틀릴 경우 더블 클릭으로 선택해서 수정할 수 있다. 도 14는 복수사진에 대한 인물이름 추정과정을 흐름도로 도시한 것으로서, 사진이 입력되면 얼굴특징을 추출한다.(1400단계) 등록된 모든 인물특징을 참조하여, 얼굴기술자 간의 distance가 가장 작은 얼굴의 이름을 파악한다.(1410단계) 사진들을 thumbnail로 배열하고 추정된 이름을 표시한다.(1420단계) 추측된 이름이 틀릴 경우, 필요에 따라 사용자가 수정가능하다.(1430단계) 얼굴특징에 이름을 부여하고(1440단계), 인물을 등록한다.(1450단계) 도 19는 질의에 있어서 복수 사진에 대한 인물 이름 추정의 일실시예를 도시한 것이다.

최신사진 등록을 위해서는, 등록되지 않은 사진들에 대해서 질의(사진 내 인물의 이름을 추정하거나 복수의 사진에 대한 인물이름을 추정)를 수행한 후에, 최신 얼굴들을 등록할 수 있다.

상기 검색부(160)는 검색할 인물 이름이 들어오면, 이름이 부여된 얼굴들 중에서 검색할 이름이 들어간 얼굴을 검색하고, 해당 얼굴이 들어간 사진을 검색하고, 상기 사진들을 보여준다. 주어진 이름의 모든 얼굴들을 보여준다. 이미 "이름 부여"가 끝난 사진들만 보여주기 때문에 에러가 없다. 일반 검색엔진처럼 "김정배" 뿐만 아니라 "김정배&황원준"이나 "김정배┃황원준"으로도 검색할 수 있다.

도 15는 이름으로 사진찾기 과정을 흐름도로 도시한 것으로서, 검색할 인물이름이 입력되면 이름이 부여된 얼굴들을 참조하여 검색할 이름이 들어간 얼굴을 파악한다.(1500단계) 해당 얼굴이 들어간 사진을 파악하여(1520단계), 사진들을 thumbnail로 배열한다.(1540단계) 도 20은 검색에 있어서 이름으로 사진 찾기의 일실시예를 도시한 것이다.

상기 브라우징부(180)는 얼굴 검출에 성공한 사진들을 thumbnail로 보여준다. 도 23은 브라우징에 있어서 인물 사진 모두 보이기의 일실시예를 도시한 것이다.

본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

본 발명에 의하면, 다량의 포토 앨범(Photo Album) 사진들에 대해서, 몇 개의 사진들에 대해서만 수동으로 등록을 하면 나머지 사진들에 대하여 신속하게 등록할 수 있다. 또한, 등록된 사진들을 인물의 이름으로 신속하게 검색할 수 있으므로, 다량의 사진들을 효율적으로 관리할 수 있다.

Claims (17)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 사진이 입력되면, 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행하는 멀티 인스턴스 검색부;

   등록되지 않은 모든 영상을 질의로, 등록된 영상은 타겟으로 하여 유사도 거리가 소정의 임계값보다 낮은 얼굴들을 보여주는 유사도계산부; 및

   상기 보여진 얼굴들 중에서 사용자에 의해 선택된 얼굴에 이름을 부여하여 얼굴 데이터베이스에 등록하는 얼굴DB등록부를 포함함을 특징으로 하는 포토 앨범 시스템의 반자동등록장치.
8. 사진이 입력되면, 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행하는 단계;

   등록되지 않은 모든 영상을 질의로, 등록된 영상은 타겟으로 하여 유사도 거 리가 소정의 임계값보다 낮은 얼굴들을 보여주는 단계; 및

   상기 보여진 얼굴들 중에서 사용자에 의해 선택된 얼굴에 이름을 부여하여 얼굴 데이터베이스에 등록하는 단계를 포함함을 특징으로 하는 포토 앨범 시스템의 반자동등록 방법.
9. 사진영상 속의 특정 인물별로, 상기 사진영상과 상기 특정인물의 얼굴 특징 및 이름이 저장되는 등록 데이터베이스;

   사진에 대해 얼굴특징을 추출하고, 추출된 얼굴이 있는 사진들을 상기 등록 데이터베이스에 등록하는 등록부;

   등록되지 않은 새로운 사진이 입력되면 사진 내 인물의 이름을 추정하는 질의부; 및

   검색할 인물 이름이 들어오면, 이름이 부여된 얼굴들 중에서 검색할 이름이 들어간 얼굴을 검색하고, 해당 얼굴이 들어간 사진을 검색하고, 상기 사진들을 보여주는 검색부를 포함하는 것을 특징으로 하는 포토 앨범 시스템.
10. 제9항에 있어서,

    얼굴 검출에 성공한 사진들을 보여주는 브라우징부를 더 포함하는 것을 특징으로 하는 포토 앨범 시스템.
11. 제9항에 있어서, 상기 얼굴 특징은

    얼굴 위치, 눈 위치, 및 얼굴 기술자 중 적어도 어느 하나에 기초하여 결정되는 것을 특징으로 하는 포토 앨범 시스템.
12. 제9항에 있어서, 상기 등록부는

    사진이 들어오면 얼굴특징을 추출하는 얼굴특징 추출부;

    특징이 추출된 얼굴이 있는 사진들을 보여주고, 사용자에 의해 이름이 부여되면 상기 이름을 등록하는 수동등록부; 및

    인물별로 멀티 인스턴스 검색을 수행하여 소정의 유사도 거리 내의 얼굴을 보여주고, 상기 얼굴에 대해 사용자에 의해 선택적으로 이름이 부여되면, 상기 이름을 등록하는 반자동등록부를 구비함을 특징으로 하는 포토앨범 시스템.
13. 제12항에 있어서, 상기 반자동 등록부는

    사진이 입력되면, 등록된 얼굴들을 이용해서 인물별로 멀티 인스턴스 검색을 수행하는 멀티 인스턴스 검색부;

    등록되지 않은 모든 영상을 질의로, 등록된 영상은 타겟으로 하여 유사도 거리가 소정의 임계값보다 낮은 얼굴들을 보여주는 유사도계산부; 및

    상기 보여진 얼굴들 중에서 사용자에 의해 선택된 얼굴에 이름을 부여하여 얼굴 데이터베이스에 등록하는 얼굴DB등록부를 포함함을 특징으로 하는 포토 앨범 시스템.
14. 제9항에 있어서, 상기 등록부는

    멀티 인스턴스 검색에서 인스턴스 개수를 줄이는 등록DB축소부를 더 구비함을 특징으로 하는 포토앨범 시스템.
15. 제14항에 있어서, 상기 등록DB축소부는

    얼굴 특징간의 거리비교로 얼굴특징 클러스터링을 수행하는 얼굴특징클러스터링부;

    상기 클러스터링된 얼굴특징들 중에서 대표특징을 선택하는 대표특징선택부; 및

    대표로 선택되지 않은 특징에 해당하는 얼굴사진을 얼굴DB에서 삭제하는 얼굴삭제부를 포함함을 특징으로 하는 포토앨범 시스템.
16. 제15항에 있어서, 상기 얼굴특징 클러스터링부는

    얼굴 DB에 등록된 얼굴특징을 인스턴스라 할 때, 상기 인스턴스를 노드로 표현한 노드 세트(node set)를 생성하는 노드세트생성부; 및

    노드들 간의 유사도 거리(distance)를 계산하여 소정의 기준값보다 작은 노드간을 링크시켜 노드 그래프(node graph)를 생성하는 노드그래프생성부를 구비하며,

    상기 대표특징선택부는

    상기 노드 그래프에서 각 노드의 링크섬(link sum)을 계산하는 링크섬계산 부;

    노드마다 상기 링크섬과 이전의 대표성레벨(representative level)을 고려하여 현재의 대표성 레벨을 계산하는 대표성레벨계산부;

    상기 대표성 레벨이 가장 큰 노드를 대표노드로 선택하는 대표노드 선택부를 구비하며,

    상기 얼굴삭제부는

    상기 대표노드 및 상기 대표노드와 직접 링크되어 있는 노드들을 상기 노드 그래프에서 제거하는 노드제거부; 및

    대표노드 이외의 노드에 해당하는 사진을 인물 DB에서 삭제하는 인물삭제부를 구비함을 특징으로 하는 포토앨범 시스템.
17. 제8항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images