KR20100129783A - 디지털 영상 컬렉션에 자동 얼굴 인식 기능을 통합하는 방법 및 장치 - Google Patents

디지털 영상 컬렉션에 자동 얼굴 인식 기능을 통합하는 방법 및 장치 Download PDF

Info

Publication number
KR20100129783A
KR20100129783A KR1020107024606A KR20107024606A KR20100129783A KR 20100129783 A KR20100129783 A KR 20100129783A KR 1020107024606 A KR1020107024606 A KR 1020107024606A KR 20107024606 A KR20107024606 A KR 20107024606A KR 20100129783 A KR20100129783 A KR 20100129783A
Authority
KR
South Korea
Prior art keywords
face
image
images
face image
user
Prior art date
Application number
KR1020107024606A
Other languages
English (en)
Other versions
KR101618735B1 (ko
Inventor
하트비그 아담
요하네스 스테펜스
키이쓰 키요하라
하트무트 니벤
브라이언 웨스트팔
토비아스 맥누슨
개빈 도우티
헨리 벤자민
마이클 호로비츠
홍-키엔 케네쓰 옹
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20100129783A publication Critical patent/KR20100129783A/ko
Application granted granted Critical
Publication of KR101618735B1 publication Critical patent/KR101618735B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

디지털 영상 컬렉션으로부터 얼굴 영상 데이터베이스를 생성하고 갱신하는 방법과 장치가 개시된다. 디지털 영상 컬렉션 중에서 검출된 얼굴 세트는 이 얼굴에 관련된 데이터와 함께 얼굴 영상 데이터베이스에 저장된다. 제1 세트 내의 각 얼굴에 대한 적어도 하나의 얼굴 인식 템플릿이 계산되고, 이 세트 내의 영상들은 이 얼굴 인식 템플릿에 따라서 유사 그룹으로 그룹화된다. 다른 실시예는 디지털 영상 컬렉션에서 검출된 복수의 얼굴에 이름을 할당하는 네이밍 툴이다. 얼굴 영상 데이터베이스는 디지털 영상 컬렉션 중의 영상에서 검출된 얼굴 영상에 관련된 데이터를 저장한다. 그 외에도 네이밍 툴은 그래픽 유저 인터페이스, 디지털 영상 컬렉션의 영상에서 얼굴을 검출하고 이 검출된 얼굴에 관련된 데이터를 얼굴 영상 데이터베이스에 저장하는 얼굴 검출 모듈, 얼굴 영상 데이터베이스 내의 각 얼굴 영상에 대한 적어도 하나의 얼굴 인식 템플릿을 계산하는 얼굴 인식 모듈, 및 유사한 얼굴 영상이 하나의 유사 그룹에 속하도록 각자의 템플릿에 따라서 얼굴 영상 데이터베이스 내의 얼굴 영상들을 그룹화하는 유사성 그루핑 모듈을 포함할 수 있다.

Description

디지털 영상 컬렉션에 자동 얼굴 인식 기능을 통합하는 방법 및 장치{METHOD AND APPARATUS TO INCORPORATE AUTOMATIC FACE RECOGNITION IN DIGITAL IMAGE COLLECTIONS}
본 발명은 일반적으로 디지털 영상 컬렉션에 관한 것으로, 특히 디지털 영상 컬렉션 내에서의 자동 얼굴 인식 기능 이용에 관한 것이다.
디지털 카메라, 값싼 디지털 스토리지, 그리고 인터넷을 통한 광대한 네트워크 연결은 여러 곳에 분산되어 있는 사진 컬렉션들의 수, 크기 및 접근성에 있어서 커다란 성장을 이룩해 왔다. 그러나 디지털 사진과 디지털 사진 컬렉션의 이용성이 증가함에 따라 특정 사진 또는 특정 특징을 갖고 있는 사진을 찾는 것은 점점 더 복잡하고 번거롭게 되어 가고 있다.
개인들은 자신의 사진 컬렉션을 폴더에 앨범 번호별로 또는 날짜별로 정리할 수 있다. 그러나 개인들은 종종 이들 폴더 전체에 걸쳐 사진에 액세스하고자 하는 수가 있다. 예를 들면, 컬렉션에서 특정 개인의 사진들을 찾고자 할 수 있다. 사진 내용에 기초한 그와 같은 검색 활동을 용이하게 하기 위해서는 여러 가지 기술이 이용될 수 있다. 그러한 기술 중 한 가지는 각 사진마다 하나 이상의 키워드를 가지고 태그를 붙이는 것(tagging)이다.
일반적으로 사진마다 태그를 붙이는 일은 태그나 태그어를 수동적으로 제공하는 사용자에 의해 수행된다. 그 외에도 이와 같은 태그는 날짜. 앨범 또는 폴더 정보와 같은 각 사진에 관련된 정보로부터 도출될 수 있다. 그러나 이러한 방식들은 상당한 사용자 입력을 요하며 일반적으로는 큰 디지털 사진 컬렉션에는 잘 맞지 않는다. 자동 얼굴 인식 기법을 이용한 자동 사진 태깅은 큰 사진 컬렉션의 포괄적인 태깅을 달성할 수 있는 유망한 접근 방식이다.
자동 얼굴 인식은 일반적으로 2 단계, 즉 얼굴 검출 단계와 얼굴 인식 단계로 작용한다. 전자는 일반적인 얼굴 특징에 기초하여 사진 내의 얼굴을 자동적으로 검출하는 것으로 달성될 수 있다. 후자는 검출된 얼굴을 미리 인식된 하나 이상의 얼굴 영상과 비교하는 것을 포함할 수 있다. 두 번째 단계의 정확도는 새로이 검출된 얼굴이 비교될 수 있는 특정 얼굴의 식별된 확인된 영상이 여러 개인 경우에 커진다.
큰 디지털 영상 컬렉션에서의 자동 얼굴 인식의 유효성은 사용자에 의해 식별되고 확인되는 각 사람의 얼굴 영상의 수가 충분치 못해 다양하지 못하고 또는 식별이 잘못됨에 따라 제한될 수 있다. 사용자가 디지털 사진 컬렉션에 들어있는 얼굴을 식별하고 확인할 수 있도록 해주는 현재 이용될 수 있는 인터페이스는 사용자가 많은 얼굴 영상을 한 번에 식별하는 것을 더 쉽게 하려고 한다. 예컨대 어떤 인터페이스는 사용자에게 특정의 식별된 사람에 속할 가능성이 있는, 하나 이상의 열로 배열된 얼굴 영상을 제시하고 사용자에게 그 시스템 생성 분류를 받아들일 것인지 아니면 거부할 것인지 묻을 수 있다. 또 다른 인터페이스는 사용자에게 사진 속의 새로 검출된 특정 얼굴에 대한 하나 이상의 네이밍(naming) 옵션을 제시할 수 있다. 첫 번째 경우에서는, 예컨대 사용자는 그 수록된 컬렉션에 속하지 않는 각 개별 얼굴을 삭제하도록 되어 있다. 두 번째 경우에서는 사용자는 각 개별 영상에 어떤 이름을 붙이도록 되어 있다. 위 경우 둘 다에 있어서 영상을 삭제하고 개별 영상에 이름을 붙이는 것은 여전히 번거로운 일이다. 자동 얼굴 인식이 전체 디지털 사진 컬렉션에 걸쳐 수행될 수 있도록 복수의 영상을 한 번에 식별하는 일을 편리하고 효율적으로 만들기 위해서는 더욱 사용하기 쉽고 효율적인 방법이 필요하다.
사용자는 상기 처리 중 많은 부분을 자동화할 수 있는 유연한 능력을 필요로 한다. 특정인의 더욱 다양한 영상에 영향을 주는 자동 얼굴 인식 기능은 검출된 얼굴 영상을 사용자 확인을 위해 분류 정리를 더욱 잘 할 수 있고, 따라서 사용자에게는 확인 과정이 더욱 쉽게 되어 수많은 영상의 태깅이 용이하게 될 수 있다.
<개요>
본 발명의 실시예들은 디지털 영상 컬렉션의 구성에 자동 얼굴 인식 기능을 통합하는 것에 관한 것이다. 일 실시예에서 디지털 영상 컬렉션으로부터 얼굴 영상 데이터베이스를 생성하고 갱신하는 방법이 구현된다. 디지털 영상 컬렉션 중의 영상들에서 얼굴 영상들이 검출된다. 검출된 얼굴 영상들은 이 검출된 얼굴 영상 각각에 대해 계산된 얼굴 인식 템플릿에 기초하여 유사 그룹들로 그룹화된다. 이 검출된 얼굴 영상은 유사 그룹으로 사용자에게 표시되며, 표시된 유사 그룹들 각각에서의 개별 얼굴 영상을 확인하거나 거부하기 위해 사용자 입력이 수신된다. 유사 그룹 각각은 사용자 입력에 기초하여 갱신되고, 갱신된 유사 그룹은 얼굴 영상 데이터베이스에 저장된다.
다른 실시예에서 사용자로부터 예컨대 사람 이름과 같은 주제명이 수신된다. 얼굴 영상 데이터베이스에 저장된 얼굴 영상의 적어도 하나의 이름이 붙여진 유사 그룹 중의 제1 얼굴 영상 세트가 검색되며, 이 경우에 검색된 유사 그룹과 연관된 이름은 사용자가 제공한 주제명과 실질적으로 일치한다. 연관된 이름을 갖지 않고 제1 얼굴 영상 세트의 얼굴 인식 템플릿과 실질적으로 일치하는 얼굴 인식 템플릿을 가진 얼굴 영상 데이터베이스 내의 유사 그룹 중에서 제2 얼굴 영상 세트가 검색된다. 이 제1 세트와 제2 세트는 그래픽 유저 인터페이스에서 클러스터로 표시된다. 제2 세트의 표시된 유사 그룹 내의 개별 얼굴 영상의 멤버쉽을 확인하거나 거부하기 위해 사용자 입력이 수신되고, 제2 세트는 이 사용자 입력에 따라서 갱신된다. 일 실시예에서 제1 세트는 클러스터로 표시되고, 제2 세트는 각 유사 그룹을 클러스터로 하여 표시된다. 다른 실시예에서 제1 세트는 그래픽 유저 인터페이스의 제1 영역에 표시되고, 제2 세트는 제1 세트와의 유사성 순서로 배열된 영상을 가진 제2 영역에 표시된다.
다른 실시예는 디지털 영상 컬렉션에서 검출된 복수의 얼굴에 이름을 할당하는 네이밍 툴을 포함한다. 얼굴 영상 데이터베이스는 디지털 영상 컬렉션 중의 영상에서 검출된 얼굴 영상에 관한 데이터를 저장한다. 그 외에도 네이밍 툴은 그래픽 유저 인터페이스, 디지털 영상 컬렉션의 영상에서 얼굴을 검출하고 이 검출된 얼굴에 관한 데이터를 얼굴 영상 데이터베이스에 저장하는 얼굴 검출 모듈, 얼굴 영상 데이터베이스 내의 각 얼굴 영상에 대한 적어도 하나의 얼굴 인식 템플릿을 계산하는 얼굴 인식 모듈, 및 유사한 얼굴 영상이 하나의 유사 그룹에 속하도록 각자의 템플릿에 따라서 얼굴 영상 데이터베이스 내의 얼굴 영상들을 그룹화하는 유사성 그루핑 모듈을 포함할 수 있다.
또 다른 실시예는 디지털 영상 컬렉션 중의 디지털 영상에 접근하는 방법을 포함한다. 이 시스템은 주제명을 얻고, 주제명이 할당된 얼굴 영상 데이터베이스 내의 얼굴 영상 세트를 선택하고, 디지털 영상 컬렉션 중에서 이 선택된 얼굴 영상과 연관되어 있는 디지털 영상을 찾는다. 일 실시예에서 이 찾아낸 디지털 영성은 개인맞춤 슬라이드쇼로서 표시될 수 있다.
또 다른 실시예는 복수의 소스 영상을 이용하는 사람의 영상을 검색하는 방법을 포함한다. 이 시스템은 주제명을 수신하고, 주제명이 할당된 얼굴 영상 데이터베이스 중에서 얼굴 영상 세트를 선택하고, 이 선택된 얼굴 영상 세트를 이용하는 얼굴 인식 기능을 가지고 하나 이상의 디지털 영상 컬렉션을 검색한다.
또 다른 실시예는 디지털 영상 컬렉션 내의 영상 세트에 접근을 제한하는 방법을 포함한다. 사용자는 주제명이 할당된 얼굴 영상에 접근할 수 있도록 인증된다. 이 주제명이 할당된 얼굴 영상 세트가 선택되고, 사용자는 영상 컬렉션 내의 이들 영상에 접근하는 것이 허용된다.
본 발명의 여러 가지 실시예의 구조와 동작은 물론 본 발명의 추가적인 실시예, 특성 및 이점들은 첨부도면을 참조로 하기에 상세히 설명한다.
도 1은 본 발명의 실시예의 시스템도.
도 2는 본 발명의 일 실시예에서 얼굴 영상 데이터베이스를 새로 검출된 얼굴을 가지고 갱신하는 방법을 보여주는 도.
도 3은 일 실시예에서 앨범 기반 탐색을 이용한 얼굴 네이밍 방법을 보여주는 도.
도 4는 일 실시예에서 앨범 기반 탐색에 기초한 얼굴 네이밍의 그래픽 유저 인터페이스(GUI)의 예시도.
도 5는 본 발명의 일 실시예에서 사용자에게 유사 그룹에 이름을 붙일 가장 가까운 이름 선택을 제시하는 방법을 보여주는 도.
도 6은 본 발명의 실시예에 따른, 유사 그룹 내의 얼굴 영상에 이름을 붙이는데 이용될 수 있는 슬라이드 필름 GUI 기반 네이밍 툴의 예시도.
도 7은 일 실시예에서 사용자가 지정한 주제의 아직 이름이 붙여지지 않은 얼굴 영상에 이름을 붙이는 방법을 보여주는 도.
도 8은 일 실시예에서 사용자가 지정한 주제명의 아직 이름이 붙여지지 않은 얼굴 영상에 이름을 붙이는 GUI 예시도.
도 9는 일 실시예에서 일 영역에 있는 주제에 할당된 영상과 다른 영역에 있는 이름이 붙여질 유사한 영상을 보여주고 선택하는 방법을 보여주는 도.
도 10은 일 실시예에서 사용자가 지정한 주제명의 아직 이름이 붙여지지 않은 얼굴 영상에 이름을 붙이는 다른 GUI 예시도.
도 11은 본 발명의 실시예에 따라서 수동 지원 얼굴 검출을 수행하는 GUI 예시도.
도 12는 본 발명의 실시예에 따라서 수동 지원 얼굴 검출을 수행하는 방법을 보여주는 도.
도 13은 본 발명의 실시예에 따라서 개인맞춤 슬라이드쇼를 표시하는 방법을 보여주는 도.
도 14는 본 발명의 실시예에 따라서 영상 컬렉션에서 주체를 검색하는 방법을 보여주는 도.
도 15는 본 발명의 실시예에 따라서, 사용자의 얼굴을 포함할 가능성이 있는 영상이 영상 컬렉션에 추가될 때에 사용자에게 통지하는 방법을 보여주는 도.
도 16은 본 발명의 실시예에 따라서 영상 컬렉션의 일부에의 사용자 접근을 제한하는 방법을 보여주는 도.
본 발명의 특징과 이점들은 도면을 참조한 하기의 상세한 설명으로부터 더욱 명백하게 드러날 것이다. 도면에서 동일한, 기능적으로 유사한 그리고/또는 구조적으로 유사한 구성요소에 대해서는 동일 도면부호를 병기한다. 일반적으로 어떤 구성요소가 처음 나타나는 도면은 해당 도면부호 내에 최좌측 자리수로 나타낸다.
여기서는 구체적인 응용을 위한 예시적인 실시예들을 참조로 본 발명을 설명하지만 본 발명에 이에 한정되는 것은 아니다. 당업자라면 본 발명의 교시에 따라서 본 발명의 범위 내에 있는 추가적인 변형, 응용 및 실시예와 본 발명이 이용될 수 있는 추가 분야가 무엇인지를 잘 알 것이다.
도 1은 본 발명의 실시예에 따라서 디지털 영상 컬렉션에 자동 얼굴 인식 기능을 통합하는 시스템(100)을 도시한 도이다. 서버(101)가 네트워크(130)를 통해 클라이언트(120)에 연결된다. 서버(101)는 소프트웨어 모듈들(102)을 포함할 수 있다. 이 서버는(101)는 얼굴 검출(106), 얼굴 인식(105), 유사 그룹 작성 및 유지(104), 및 서버측의 영상 레이아웃 생성(103)을 위한 모듈들; 얼굴 영상 데이터베이스(108); 및 디지털 영상 컬렉션(107)을 포함할 수 있다. 일 실시예에서 서버(101)는 하나의 컴퓨팅 플랫폼일 수 있으며, 소프트웨어 모듈(102)과 데이터베이스(107, 108)는 그 플랫폼상에 구현될 수 있다.
다른 실시예에서 서버(101)는 하나 이상의 네트워크에 의해 연결된 복수의 컴퓨팅 플랫폼일 수 있다. 소프트웨어 모듈(102)과 데이터베이스(107, 108)는 서버(101)를 구성하는 컴퓨팅 플랫폼들에 걸쳐 분산될 수 있으며, 모듈(102)과 데이터베이스(107, 108) 간의 통신은 몇 가지 메시징 메커니즘, 예컨대 HTTP, UDP, TCP, IP 또는 이들의 조합을 이용하여 이루어질 수 있다. 예컨대 서버(101)는 웹 클라이언트나 브라우저로부터의 요구를 수신하고 이에 응답하는 웹 서버; 사용자를 위한 영상 관리와 자동 얼굴 인식 기능을 가지며 상기 웹 서버로부터 커맨드를 수신하는 독립된 애플리케이션 서버; 및 상기 애플리케이션 서버와 통신하여 디지털 영상 컬렉션(107)과 얼굴 영상 데이터베이스(108)를 작동시키는 하나 이상의 데이터베이스 서버로 구성될 수 있다. 이들 웹 서버, 애플리케이션 서버 및 데이터베이스 서버의 사용을 결합한 시스템은 당업계에 주지되어 있다.
모듈(103-106)은 본 발명의 실시예들을 구현하는 기능들을 갖고 있다. 당업자라면 본 발명의 기능을 달성하는 데는 도면부호 102로 나타낸 모듈 수보다 더 많거나 적은 수의 모듈을 소프트웨어로 구현할 수 있음을 잘 알 것이다. 모듈(103-106) 각각은 예컨대 Java, C++ 및 C(이에 한정되지 않음)와 같은 하나의 컴퓨터 프로그래밍 언어 또는 이들의 조합을 이용하여 구현될 수 있다.
일부 실시예에서 각 데이터베이스(107, 108)는 하나 이상의 서로 연결된 데이터베이스를 포함할 수 있다. 예컨대 디지털 영상 컬렉션(107)은 한 명 여러 명의 사용자가 소유할 수 있는 복수의 분산된 디지털 영상 컬렉션 집합을 포함할 수 있다. 예컨대 이 컬렉션들은 한 명 이상의 사용자의 디지털 사진 앨범을 포함할 수 있다. 현재 이용가능한 예는 구글의 PICASA 웹 기반 디지털 사진 서비스에서의 사용자 앨범 세트일 수 있다. 여기서는 데이터베이스라고 하지만, 당업자는 디지털 영상 컬렉션(107)이 원하는 영상을 찾아낼 수 있는 능력을 수반한 디지털 영상 저장 메커니즘으로 구현될 수 있음을 잘 알 것이다.
얼굴 영상 데이터베이스(108)는 엔트리 세트를 포함할 수 있다. 이 경우에 각 엔트리는 컬렉션(107) 내의 영상 내의 얼굴(여기서는 얼굴 영상이라 함)에 대응한다. 데이터베이스(108) 내의 엔트리는 얼굴 영상, 이 얼굴 영상이 검출된 컬렉션(107) 내의 대응 영상에 대한 포인터, 할당된 이름에 대한 태그 값을 포함하는 하나 이상의 태그 값, 하나 이상의 얼굴 인식 값, 및 유사 그룹의 식별자를 포함할 수 있다. 태그와 유사 그룹에 대해서는 뒤에 더 자세히 설명한다.
여기서 사용된 "태그"는 얼굴 영상을 식별하거나 기술하는데 사용된 단어나 구 또는 기타 다른 데이터를 말한다. "얼굴 인식 값"은 얼굴 영상 내의 단일 얼굴 표지에 할당된 수치, 또는 개별 얼굴 표지를 포함하는 요소(factor)에 기초하여 계산된 합계값에 할당된 수치이다. 그러므로 데이터베이스(108)의 엔트리에서의 하나 이상의 얼굴 인식 값은 소정의 얼굴 표지와 합계값 세트에 대한 개별 수치를 포함할 수 있다. 문헌에 기재되어 있는 몇 가지 얼굴 인식 표지 평가 메커니즘들 어느 것도 데이터베이스(108) 내의 얼굴 영상에 얼굴 인식 값을 할당하는데 이용될 수 있다. 이들 얼굴 영상 엔트리들 각각에서의 이들 얼굴 인식 값들 중 하나 이상, 예컨대 개별 표지 얼굴 인식 값들의 합계값을 유사 그룹을 구성하기 위한 각 영상의 대표값으로 생각할 수 있다. 이 대표값은 이후로는 "얼굴 인식 템플릿(template)"이라 한다. 다른 실시예에서는 각 엔트리에서의 몇 개의 얼굴 인식 값을 값 벡터로 생각할 수 있으며, 그 벡터에 대해 계산된 대응 값은 대응 얼굴 영상에 대한 대표 얼굴 인식 템플릿으로 이용될 수 있다. 또 다른 실시예에서는 얼굴 인식 템플릿은 그 자체가 얼굴 표지에 대한 개별 얼굴 인식 값들로 구성된 벡터일 수 있다.
일부 실시예에서 얼굴 영상 데이터베이스(108) 내의 엔트리는 얼굴 영상을 포함하지 않을 수 있고, 그 대신에 엔트리는 컬렉션(107) 내의 각자의 영상 내의 얼굴 영상의 위치 파라미터를 포함할 수 있다. 예컨대 위치 파라미터는 원하는 얼굴 영상을 둘러싸는 직사각형의 하단 좌측 코너와 상단 우측 코너에 대한 픽셀 카운트를 이용하여 2차원적으로 규정될 수 있다. 데이터베이스(108)의 각 엔트리에 포함된, 컬렉션(107) 내의 대응 영상에 대한 포인트는 여러 가지 형태로 구현될 수 있다. 예컨대 이 포인터는 컬렉션(107)에로의 인덱스, 대응 영상에의 메모리 참조 부호, 또는 컬렉션(107) 내의 영상에 대한 참조 부호를 재이용하는(hash) 어떤 표에 대한 인덱스와 같은 간접 참조 부호일 수 있으나 이에 한정되는 것은 아니다.
여기서 사용된 "유사 그룹"은 소정 범위 내에 있는 얼굴 인식 템플릿 값을 가진 영상 세트이다. 예컨대 2개의 얼굴 영상 간의 유사성은 이 2개의 대응 얼굴 인식 값들 간의 유클리드 거리에 따라 계량될 수 있다. 얼굴 영상의 유사 그룹은 대응 얼굴 인식 템플릿을 이용하여 클러스터링 프로세스에 따라 작성될 수 있다. 예컨대, 유사 그룹 작성에는 예컨대 k 평균 군집화(k-means clustering)나 c 평균 군집화와 같은 주지의 클러스터링 기법을 이용할 수 있다. 유사 그룹은 한 사람의 얼굴 영상들을 그룹핑하는 것을 의도한다.
얼굴 검출 모듈(106)은 많은 프로그래밍 언어들 중 하나, 예컨대 C를 이용하여 소프트웨어로 구현될 수 있다. 모듈(106)은 영상들, 즉 사용자에 의해 특정된 영상들을 조사하여 이들 영상 내의 얼굴을 검출한다. 예컨대, 사용자가 컬렉션(107)에 디지털 사진 앨범을 추가하는 경우에, 일실시예에서 얼굴 검출 모듈(106)은 그 앨범 내의 각 디지털 사진을 조사하여 얼굴을 검출할 수 있다. 얼굴이 검출되면, 모듈(106)은 그 검출된 얼굴을 둘러싸는 영역, 예컨대 그 검출된 얼굴 영상을 둘러싸는 직사각형 영역을 디지털 카피하여 이를 얼굴 영상 데이터베이스(108) 내의 해당 엔트리에 저장할 수 있다. 컬렉션(107)에서 검출된 새로운 얼굴에 대해서는 얼굴 인식 모듈(106)은 얼굴 영상 데이터베이스(108) 내에 새로운 엔트리를 생성하거나 생성하도록 될 수 있다. 자동 얼굴 인식이 영상 내의 모든 얼굴을 검출하지는 못하는 경우가 있을 수 있다. 그러므로 일부 실시예에서 사용자는 특별히 얼굴 검출 모듈(106)을 기동시켜 특정 영상을 처리할 수 있다. 이에 대해서는 수동 지원 얼굴 검출과 관련하여 후술한다.
당업계에는 여러 가지 얼굴 검출 기법이 있다. 본 발명의 목적에 이용될 수 있는 주지의 얼굴 검출 기법으로는 예컨대 미국특허 제6,917,703호에 개시된 가버 제트 기반 신경망(neural networks on gabor jets)을 이용한 미국특허 제6,222,939호에 개시된 EBGM(elastic bunch graph matching) 기법과, 미국특허 제7,099,510호에 개시된 부스티드 프리미티브 특징(boosted primitive feature) 이용 얼굴 검출 기법이 있다. 당업자라면 이들 기법들 중 몇 가지를 모듈(106)에 이용하여 본 발명과 일관성을 유지하면서 컬렉션(107)의 영상 내의 얼굴을 검출할 수 있음을 잘 알 것이다.
얼굴 인식 모듈(105)은 데이터베이스(108) 내의 얼굴 영상을 평가하여 소정의 얼굴 표지 세트에 얼굴 인식 값을 할당한다. 또한 모듈(105)은 데이터베이스(108) 내의 얼굴 영상에 대한 대표 얼굴 인식 템플릿을 계산한다. 전술한 바와 같이 얼굴 인식 템플릿은 단일 값이거나 값 벡터일 수 있다. 본 기술분야에서는 본 발명의 실시예들에서 이용될 수 있는 얼굴 인식 알고리즘이 몇 가지 공지되어 있다. 예컨대 「"M. Turk and A. Pentland, "Eigenfaces for Recognition", Journal of Cognitive Neuroscience, Vol.3, No.1, 1991, pp.71-86」에 기재된 주성분 분석을 통해 얻은 아이젠페이스들(eigenfaces)로 정의된 서브스페이스에서의 얼굴 영상 투영에 따라 템플릿 값들이 발생될 수 있다. 다른 예시적인 기법으로는 미국특허 제6,301,370호에 개시된 얼굴 영상의 로컬 특징으로부터 도출된 가버 제트들로 구성된 템플릿을 생성하는 기법이 있을 수 있다.
유사 그룹 모듈(104)은 얼굴 검출 모듈(105)에 의해 얼굴 인식 템플릿이 할당된 얼굴 영상 데이터베이스(108) 내의 얼굴 영상의 처리를 포함한다. 이 모듈(104)은 얼굴 인식 템플릿이 할당된 얼굴 영상을, 소정의 얼굴 인식 템플릿 값 또는 값 범위에 따라서 유사 그룹으로 그룹화할 수 있다. 유사 그룹은 이상적으로는 한 개인의 영상들을 그룹화한 것이다. 실제로는 유사 그룹의 효능은 얼굴 인식 템플릿을 포함하는 몇 가지 요소의 실제 정확도와 유사 그룹을 정하는 값의 한계에 따라 달라진다.
서버측 영상 레이아웃 생성 모듈(103)은 얼굴 영상 데이터베이스(108)와 그래픽 유저 인터페이스(GUI)(121) 간의 인터페이스의 서버측 성분을 포함한다. 클라이언트측 영상 레이아웃 생성 모듈(123)과 서버측 영상 레이아웃 생성 모듈(103)은 서로 결합되면 사용자 입력을 용이하게 하고, 클라이언트(120)와 서버(101) 간에 데이터베이스(108)로부터의 얼굴 영상과 컬렉션(107)으로부터의 영상을 서로 교환할 수 있는 기능을 가질 수가 있다. 그 외에도 서버측 모듈(103)은 데이터베이스(108)로부터 얼굴 영상을 선택하여 검색해 내고, 데이터베이스(108) 내의 엔트리에서 참조된 컬렉션(107)으로부터 영상을 검색해 내고, 그리고 클라이언트(120)에서 원하는 사용자 활동을 가능하게 하기 위해 유사 그룹 모듈(104), 얼굴 인식 모듈(105) 및 얼굴 검출 모듈(106)과 대화할 수 있는 기능을 가질 수 있다.
클라이언트(120)는 GUI(121), 하나 이상의 입력 장치(122) 및 클라이언트측 영상 레이아웃 생성 모듈(123)을 포함할 수 있다. 클라이언트(120)는 서버(101)와 동일한 컴퓨팅 플랫폼 또는 다른 컴퓨팅 플랫폼에 상주할 수 있다. 당업자라면 도면부호 100에는 도시되지 않은 다른 소프트웨어와 하드웨어를 이용하여 본 발명의 기능을 달성할 수 있음을 잘 알 것이다. GUI(121)는 컴퓨터 모니터와 그 관련 디스플레이 소프트웨어 및 하드웨어를 포함할 수 있다. 입력 장치(122)는 키보드, 마우스 또는 기타 다른 입력 기구를 포함할 수 있다. 클라이언트측 영상 레이아웃 생성 모듈(123)은 전술한 기능 이외에도, GUI(121)에서의 디스플레이를 위해 데이터베이스(108)로부터의 얼굴 영상과 컬렉션(107)으로부터의 영상을 처리하는 기능과, GUI(121)의 성능과 이 GUI(121)와의 사용자 인터랙션을 최적화하는데 필요한 기능도 가질 수 있다.
당업자라면 클라이언트측 영상 레이아웃 생성 모듈(123)은 몇 가지 프로그래밍 언어들 중 하나, 예컨대 클라이언트(120)가 Java 기능을 지원하는 경우에 Java로 구현될 수 있음을 잘 알 것이다. 서버측 영상 레이아웃 생성 모듈도 전술한 바와 같이 서버 소프트웨어 모듈(102)과 관련하여 여러 가지 언어들 중 하나를 이용하여 구현될 수 있지만, 구현 언어와 소프트웨어 플랫폼은 클라이언트측 영상 레이아웃 생성 모듈(123)과 서버측 영상 레이아웃 생성 모듈(103) 각자의 인터랙션을 가능하도록 선택될 수 있다. 예컨대 일 실시예에서 본 발명이 인터랙티브 웹 애플리케이션을 포함할 수 있는 경우에 모듈(123, 103)은 그와 같은 애플리케이션에 대해 특별히 맞춤 작성된 언어, 예컨대 비동기 AJAX(Asynchronous JavaScript and XML)로 구현될 수 있다.
도 2는 일부 실시예에서 새로 검출된 얼굴을 가지고 얼굴 영상 데이터베이스(108)를 갱신하는 단계들을 보여주는 플로우차트(200)이다. 이 플로우차트(200)에 따른 프로세스는 일반적으로 서버(101)에서 실행된다. 단계(201)에서, 얼굴 검출 모듈(106)은 디지털 영상 컬렉션(107)에 새로 추가된 영상을 처리한다. 얼굴 검출 모듈(106)은 여러 가지 메커니즘을 통해, 예컨대 새로운 디지털 사진 앨범이 컬렉션(107)에 추가될 때마다 얼굴 검출 모듈(108)을 발동시키는 소프트웨어 트리거를 구현함으로써 그 새로운 영상을 처리하도록 발동될 수 있다. 얼굴 검출 모듈(106)에 대해서는 얼굴 검출 모듈(106)을 포함하는 서버 소프트웨어 모듈(102)의 기능과 관련하여 위에서 자세히 설명했었다.
단계(202)에서, 새로운 영상 컬렉션(107)에서 검출된 각 얼굴에 대해 얼굴 영상 데이터베이스(108) 내에 대응 엔트리가 생성된다. 이들 엔트리는 얼굴 검출 모듈(106) 소프트웨어에 의해 생성될 수 있다. 얼굴 검출 모듈(106)에 관하여 전술한 바와 같이 데이터베이스(108)의 엔트리는 검출된 얼굴 영상의 디지털 카피를 포함할 수도 하지 않을 수도 있다.
단계(203)에서, 얼굴 인식 모듈(105)은 얼굴 영상 데이터베이스(108) 내의 새로이 추가된 얼굴 영상을 처리할 수 있다. 이 모듈(105)에 의한 처리에 대해서는 얼굴 인식 모듈(105)을 포함하는 서버측 소프트웨어 모듈(102)과 관련하여 위에서 자세히 설명했었다. 단계(203)에서, 얼굴 인식 모듈(105)의 기능은 소정 얼굴 표지 세트에 값을 할당하는 것과 얼굴 영상 각각에 대해 얼굴 인식 템플릿을 생성하는 것을 포함할 수 있다.
단계(204)에서, 유사 그룹 모듈(104)은 얼굴 영상 데이터베이스(108) 내의 얼굴 영상을 처리한다. 모듈(104)에 의한 처리에 대해서는 유사 그룹 모듈(104)을 포함하는 서버측 소프트웨어 모듈(102)의 기능과 관련하여 위에서 자세히 설명했었다. 유사 그룹은 한 개인에 속하는 얼굴 영상들을 그룹화하려는 것이다. 이를 위해 유사 그룹 모듈(104)은 얼굴 인식 템플릿의 소정 범위와 얼굴 인식 템플릿의 생성 정확도에 의존할 수 있다. 유사 그룹 모듈(104)에 의해 처리가 완료되면, 데이터베이스(108) 내의 얼굴 영상에는 얼굴 인식 값과 얼굴 인식 템플릿이 할당되었으며 더욱이 유사 그룹으로의 잠정적인 그루핑이 할당되었다.
일부 실시예에서 사용자가 얼굴 영상들에 이름을 붙일 수 있도록 하는 일은 개략적으로 2가지 방향에서 진행될 수 있다. 즉 사용자는 앨범에 따라 얼굴에 이름을 붙이거나 사람 이름을 특정하여 얼굴에 이름을 붙일 수 있다. 도 3은 일 실시예에서 앨범에 따라 얼굴 영상에 이름을 붙이는 단계를 보여주는 플로우차트(300)이다. 예컨대 이 실시예에서 사용자는 그 앨범 내의 영상마다 얼굴마다 얼굴 영상에 이름을 붙이는 것을 선택했었다. 단계(301)에서, 사용자가 그 영상들에서 발생하는 얼굴들에 이름을 붙이기 위해 처리하기를 원하는 하나 이상의 앨범을 특정할 수 있다. 단계(301)에 앞서, 사용자가 앨범에 따라 얼굴에 이름을 붙이는 것을 선택하는 한 가지 이상의 단계(미도시)가 있을 수 있을 수 있는데, 이 경우에 사용자에게 먼저 컬렉션(107) 주의 가용 앨범 리스트가 제시될 수 있다. 단계(302)에서는, 단계(301)에서 수신된 입력에 따라서 앨범이 선택되어 처리된다. 예컨대 앨범은 사용자가 지정한 순서로 처리될 수 있다. 예컨대 앨범이 하나 선택되면 모듈(103)은 컬렉션(107) 내의 그 선택된 앨범에 액세스하고, 그 선택된 앨범 내의 각 영상에 대해서 그 영상에 대응하는 데이터베이스(108) 내의 얼굴 영상을 찾아낼 수 있다. 이렇게 찾아낸 얼굴 영상은 그 선택된 앨범 내의 영상들에 대해 제1 세트로 그룹화된다. 단계(303 내지 305)는 이 제1 세트를 생성하는 것에 관련된 동작을 보여준다. 사용자가 지정한 앨범들 내의 영상들을 처리하는데 있어 단계(302 내지 307)가 반복되어 제1 세트의 얼굴 영상을 생성한다. 단계(307)에서의 처리 루프를 완료한 후에 발생되는 제1 세트의 얼굴 영상은 사용자가 지정한 앨범 내의 검출된 얼굴을 포함한다.
단계(308)에서, 제1 세트의 얼굴 영상이 유사 그룹에 따라서 분류된다. 이 분류는 이상적으로는 단계(301)에서 사용자가 지정한 앨범 내의 영상에서 발생하는 일인의 얼굴 영상들을 그룹화하는 것일 것이다. 그러나 전술한 바와 같이 유사 그룹의 자동 생성은 일인의 영상들을 유사 그룹으로 그룹화하고 일인의 얼굴 영상들을 단일 유사 그룹으로 그룹화하는 데는 완전히 정확한 것은 아닐 수 있다.
단계(309 내지 311)에서, 제1 세트의 얼굴 영상은 유사 그룹으로서 GUI(121) 상에 표시된다. 예컨대 유사 그룹은 도 4에 도시된 바와 같이 일렬로 또는 한 프레임(401)으로 표시될 수 있으며, 사용자 입력이(404)이 이용될 수 있다. 사용자 입력은 예컨대 도 4에 도시된 바와 같이 체크 박스(403)를 통해 각 표시된 얼굴 영상을 표시된 유사 그룹에 속하는 것으로 선택하거나 선택 해제하는데 이용될 수 있다. 또한 각 유사 그룹에 이름을 붙이기 위한 사용자 입력은 마찬가지로 도 4에 도시된 바와 같이 첫 번째의 몇 개의 가장 가까운 이름의 풀다운 리스트(402)에 의해 가능하게 될 수 있다. 예컨대 표시된 유사 그룹을 식별하는 이름을 선택하기를 원하는 가장 가까운 이름의 리스트는 그 표시된 유사 그룹으로부터의 얼굴 인식 템플릿 값과 비교해 가까운 범위 내의 유사 그룹의 이미 이름이 붙여진 얼굴 영상으로부터 도출될 수 있다. 도 5는 일 실시예에서 가장 가까운 이름 선택 리스트를 생성하는 전술한 방법의 플로우차트이다. 도 5에 도시된 프로세스에 대해 이후에 더 자세히 설명한다. 당업자라면 그와 같은 가장 가까운 이름의 풀다운 리스트를 생성하는데는 여러 가지 다른 기법도 이용될 수 있음을 잘 알 것이다.
단계(312, 313)에서, 사용자 입력은 표시된 얼굴 영상 각각이 해당 유사 그룹 내에 포함되고 각 표시된 유사 그룹에 대한 이름이 포함되도록 모아진다. 단계(314)에서, 얼굴 영상 데이터베이스는 단계(312, 313)에서 모아진 사용자 입력에 기초하여 갱신된다. 데이터베이스(108) 내의 엔트리에 대한 갱신은 일부 실시예에서는 얼굴 인식 템플릿의 갱신을 포함할 수 있다. 이 갱신은 일부 얼굴 영상에 대한 할당된 태그의 변경 및/또는 할당된 유사 그룹의 변경도 포함할 수 있다. 도 6은 얼굴 영상 세트(또는 이들 얼굴 영상의 섬네일 추출(thumbnail extract))이 슬라이드 필름 형태(601)로 표시된 그래픽 유저 인터페이스(600)의 다른 예를 보여준다. 슬라이드 필름 형태로 표시된 얼굴 영상은 각 얼굴 영상 그룹의 대표 영상을 포함할 수 있다. 이 슬라이드 필름은 선택된 그루핑 레벨에서 가용 대표 얼굴 영상 전부를 볼 수 있도록 양 방향으로 스크롤될 수 있다. 예컨대 도 6에 도시된 바와 같이 슬라이드 필름(601)은 모든 가용 앨범 내의 각 유사 그룹의 대표 영상을 표시할 수 있다. 슬라이드 필름(601) 내의 섬네일 영상은 의미있는 순서로 배열될 수 있다. 예컨대 이 섬네일은 확인할 대부분의 얼굴 영상을 가진 클러스터의 섬네일 영상을 표시함으로써 사용자가 얼굴 영상 클러스터에 이름을 붙이고 이를 확인하고, 그 다음에 그 슬라이드 필름에 다른 섬네일을 그 첫 번째 표시된 클러스터와의 유사 순서로 배치할 수 있도록 배치될 수 있다. 그러면 사용자는 그 슬라이드 필름(601) 내의 섬네일 영상들 중 하나를 선택하여 해당 유사 그룹(602) 내의 얼굴 영상을 표시할 수 있다. 그러면 사용자는, 예컨대 도 6에서 유사 그룹(602) 얼굴 영상 각각의 바로 아래에 있는 것과 같은 해당 박스를 체크하므로써 이들 영상 각각이 현재 지정된 유사 그룹 내에 배치되어 있는 것을 확인할 수 있다. 또한 도 6에 도시된 바와 같이 사용자는 그 유사 그룹에 대해 이름을 지정하거나 현재 지정되는 이름을 확인할 수 있다. 그 외에도, 도 6에 도시된 바와 같이, 네이밍 선택 제안이 제시될 수 있다. 이 제안(603)은 얼굴 영상 데이터베이스(108)에서 얻을 수 있는 이미 이름이 붙여진 영상에 기초할 수 있다.
단계(314)의 종료 시에 컬렉션(107) 내의 사용자 지정 앨범 내의 해당 영상을 가졌던 데이터베이스(108) 내의 얼굴 영상은 특정 유사 그룹 내의 그 포함과 태그 이름에 대해 갱신되었다. 사용자에 의해 확인된 주제명(subject name) 태그를 가진 얼굴 영상은 여기서는 "이미 이름이 붙은" 얼굴 영상이라 한다.
도 5는 선택된 유사 그룹에 대해 가능한 이름 리스트를 생성하는 프로세스(500)를 보여준다. 단계(501)에서, 그 선택된 유사 그룹에 대한 얼굴 인식 템플릿이 결정된다. 전술한 바와 같이 각 유사 그룹은 대응 얼굴 인식 템플릿을 가질 수 있다. 단계(502)에서, 얼굴 영상 데이터베이스(108) 내에서 얻을 수 있는 이미 이름이 붙은 얼굴 영상을 포함하는 유사 그룹이 검색된다. 소정 범위 내에 얼굴 인식 템플릿을 가진 유사 그룹은 그 유사 그룹 내의 이미 이름이 붙은 영상으로부터 이름을 얻는데 이용될 수 있다. 단계(503)에서, 단계(502)에서 얻은 소정 수의 이름까지는 그 선택된 유사 그룹에 대한 가능한 선택으로서 리스트될 수 있다. 이러한 리스팅은 그 선택된 유사 그룹의 얼굴 인식 템플릿과 이미 이름이 붙은 얼굴 영상을 가진 각자의 유사 그룹 간의 차이를 포함한 여러 가지 기준에 따라서 정렬된다.
사용자가 얼굴 영상에 이름을 붙이는 것을 선택할 수 있는 다른 방식은 사용자 이름을 지정하고 어떤 특정 컬렉션 내의 영상들(예컨대 시스템에 의해 초기에 선택된 컬렉션(107)의 서브세트)을 그 특정 사용자에 속하는 것으로 확인하는 것이다. 도 7에서의 플로우차트(700)는 일 실시예에서 사용자가 일인에 속하는 얼굴 영상에 이름을 붙일 수 있는 일련의 단계이다.
단계(701)에서, 시스템은 사용자로부터의 입력으로서 주제명을 수신한다. 예컨대 사용자는 GUI(121)를 이용하여 사용자가 얼굴 영상에 이름을 붙이고자 하는 주제명을 타이핑하거나 시스템 생성 리스트 중에서 선택할 수 있다. 그러면, 예컨대 클라이언트측 영상 레이아웃 모듈(123)은 사용자 지정 주제명을 서버측 영상 레이아웃 생성 모듈(103)에 보낼 수 있다. 이 주제명을 수신한 다음에, 예컨대 단계(702)에서처럼, 서버측 모듈(103)은 사용자가 지정한 주제명과 일치하는 데이터베이스(108) 내의 이미 이름이 붙은 얼굴 영상 세트(여기서는 제2 세트라 함)를 생성할 수 있다. 그 후, 단계(703)에서, 모듈(103)은 그 제2 세트 내의 얼굴 영상에 대응하는 하나 이상의 얼굴 인식 템플릿 값을 결정할 수 있다. 예컨대 데이터베이스(108)에서 현재 범주화된 바와 같이 제2 세트 내의 얼굴 영상은 비록 이 영상들에 단일 주제명이 지정되어 있을 수 있지만 복수의 유사 그룹에 속한다. 이 유사 그룹 각각은 그 그룹을 정의하는 자신의 얼굴 인식 템플릿 값 범위를 가질 수 있다. 단계(703)에서, 얼굴 인식 템플릿 범위 세트가 결정된다. 단계(704)에서는 단계(703)에서 결정된 얼굴 인식 템플릿 범위를 이용하여 얼굴 인식 템플릿 값 중에서 단계(703)에서 선택된 값에 가장 가까운 아직 이름이 붙여지지 않은 얼굴 영상 세트(제3 세트라 함)를 선택한다. 그 후, 단계(705)에서, 제2 세트 내의 얼굴 영상(이미 이름이 붙은 얼굴 영상)과 제3 세트 내의 얼굴 영상(이름이 붙여지지 않은 얼굴 영상)은 GUI 상에 배열된다. 예컨대 일부 실시예에서 제2 세트는 하나의 영상 클러스터로 배열될 수 있고, 제3 세트는 각 클러스터가 유사 그룹에 대응하는 복수의 클러스터로 배열될 수 있다. 일부 실시예에서 제3 세트의 클러스터는 제2 세트의 얼굴 영상의 클러스터에의 근접이 각자의 얼굴 인식 템플릿의 근접을 나타내도록 GUI 상에 구성될 수 있다. 도 8은 일 실시예에서 플로우차트(700)에 따라 발생된 GUI(800)이다. 예컨대 제2 세트에서의 영상을 가진 클러스터(801)와 제3 세트의 클러스터(802 내지 808)는 도 8에 도시된 바와 같이 배열될 수 있다. 단계(707)에서, 사용자 입력은 표시된 유사 그룹 내의 각 표시된 얼굴 영상을 포함하는 것으로 수신되고, 또 사용자 입력은 지정된 주제명으로 갱신될 영상 세트 내의 각 표시된 얼굴 영상을 포함하는 것으로 수신된다. 단계(708)에서, 데이터베이스(108)는 사용자 입력에 따라서 갱신된다. 예컨대 데이터베이스(108)의 해당 엔트리는 그 엔트리로부터 그 지정된 주제명을 할당하거나 삭제함으로써 갱신될 수 있으며, 엔트리의 유사 그룹 정보도 갱신될 수 있다.
다른 실시예에서, 도 9의 플로우차트(900)의 프로세스를 이용하면 사용자는 주제명에 따라서 얼굴 영상에 이름을 붙일 수 있다. 단계(901 내지 903)는 플로우차트(700)의 단계(701 내지 704)에 대응하며 비슷한 설명이 적용된다. 단계(901)에서, 이미 이름이 붙여진 얼굴 영상 세트(이후 제4 세트라 함)가 생성된다. 단계(903)에서, 아직 이름이 붙여지지 않은 얼굴 영상 세트(이후 제5 세트라 함)가 생성된다. 단계(904)에서, GUI의 일 영역에 제4 세트가 표시된다. 단계(905)에서, 제5 세트가 GUI의 별도의 영역에 표시되는데, 이 영역에서는 개별 얼굴 영상들이 제4 세트에 유사성이 작은 순서로 배열될 수 있다. 도 10은 일 실시예에서 플로우차트(900)에 따른 GUI의 예를 보여준다. 이 실시예에서 얼굴 영상의 제4 및 제5 세트는 서로 다른 탭부착 시트에 표시되는데, 도 10에서 보는 바와 같이 한 번에 하나 만이 보이도록 할 수 있다(1001). 단계(906)에서, 어떤 개별 얼굴 영상에 특정 주제명이 할당되어야 하는가에 대한 사용자 입력이 수신된다. 단계(907)에서, 사용자 입력에 따라서 데이터베이스(108)가 갱신된다. 예컨대 사용자가 선택했던 아직 이름이 붙여지지 않은 얼굴 영상 각각은 이제는 그 주제명으로 갱신될 수 있다. 마찬가지로 이미 이름이 붙여진 얼굴 영상의 탭부착 시트 내의 얼굴 영상마다, 대응 엔트리는 사용자가 주제명을 제거하도록 표시하였다면 그렇게 되도록 갱신될 수 있다. 도 6은 사용자가 지정한 하나 이상의 이름에 따라서 유사 클러스터를 표시하고 이에 이름을 붙이는데 이용될 수 있는 사용자 인터페이스를 보여준다.
어떤 상황에서는 일부 얼굴에 대해서는 얼굴 검출 프로세스 자체가 실패할 수 있다. 예컨대 얼굴 검출 모듈(106)은 컬렉션(107) 내의 영상의 하나 이상의 얼굴을 검출하지 못할 수 있다. 이 경우에, 일 실시예에서 본 발명은 얼굴 검출 프로세스를 수동으로 지원하는 기능을 제공한다. 도 11은 일 실시예에서 수동 지원 얼굴 검출의 GUI 성분의 예를 보여준다. 예컨대 사용자는 시스템에 의해 검출 인식된, 사용자가 원하는 각 얼굴 주위에 경계 영역, 예컨대 경계 박스(1101)를 그릴 수 있다. 게다가, 도면부호 1102로 나타낸 바와 같이, 사용자는 추가적인 기술적(descriptive) 데이터, 예컨대 그와 같은 영상에 대한 주제명을 표시하거나 입력할 수 있다. 도 12는 이 프로세스를 설명하는 플로우차트(1200)를 보여준다. 단계(1201, 1202)에서, 컬렉션(107) 중의 한 영상이 GUI에 나타나고 사용자는 하나 이상의 얼굴 주위에 경계 영역을 정할 수 있다. 단계(1203)에서, 이 경계 영역은 예컨대 얼굴 검출 모듈(106)에 의해 처리된다. 당업자라면 이 얼굴 검출 기법은 자동 얼굴 검출에는 물론 이를 약간 변형하면 수동 지원 얼굴 검출에도 이용될 수 있음을 잘 알 것이다. 예컨대 수동 지원의 경우에 얼굴 검출 소프트웨어는 단순히 그 정해진 영역 내에서 식별된 얼굴 표지 특성에 큰 가중치를 부가할 수 있다. 단계(1204)에서 얼굴이 검출되면, 단계(1205)에서 사용자는 추가 정보, 예컨대 데이터베이스(108) 내의 얼굴 영상에 붙일 주제명을 제공할 수 있다. 단계(1206)에서, 얼굴 데이터베이스(108)는 그 검출된 얼굴 정보는 물론 주제명을 포함할 수 있는 그 사용자 제공 정보를 가지고 갱신된다.
다른 실시예에서 성별 검출을 이용하여 얼굴 인식과 네이밍 프로세스를 지원한다. 영상에서의 성별 검출 방법은 당업계에 잘 알려져 있다. 성별 검출을 이용하여 클러스터에 이미 할당된 얼굴 영상의 성별을 판단할 수 있다. 클러스터 내의 얼굴 영상의 성별을 판단하고 나면 시스템은 그 정보를 이용하여 영상 검출 결과를 새로이 추가된 영상에 적용할 수 있다. 예컨대 시스템은 새로운 얼굴 영상이 클러스터에 추가된 경우에 사용자를 막거나 사용자에게 경고할 수 있고, 새로운 영상의 성별과 클러스터에 이미 있는 영상의 성별은 일치하지 않는다. 다른 실시예에서 클러스터 내의 영상에 이미 태그가 붙어 있는 경우에 딕셔너리 룩업(dictionary lookup)을 이용하여 클러스터 내의 얼굴 영상의 성별을 판단할 수 있다.
다른 실시예에서 본 발명은 여러 가지 실체(entity)에 의해 유지되는 얼굴 영상의 컬렉션들을 통합하는 시스템을 제공한다. 얼굴 영상 컬렉션들이 서로 다른 실체들에 의해 따로따로 유지되는 경우에는 특정인의 얼굴 영상에는 그 별개의 컬렉션들 간에 서로 다르게 태그가 부착될 수 있다. 예컨대 제1 컬렉션을 가진 사용자는 John Smith의 얼굴 영상에 "John Smith" 태그를 부착할 수 있고, 제2 컬렉션을 가진 다른 사용자는 John Smith의 얼굴 영상에 "J. Smith" 태그를 부착할 수 있다. 그러면 이 2개의 컬렉션을 단순히 합치면 그 합쳐진 컬렉션 내의 여러 가지 태그 아래에 동일인이 나타나게 될 수 있다. 본 발명은 영상 템플릿들의 비교 시에 추가 정보 요소들을 비교함으로써 별개의 컬렉션들의 얼굴 영상을 통합하는 방법을 제공한다. 예컨대 2개의 컬렉션이 통합되고 있는 경우에 영상 템플릿에, 얼굴 특징, 영상으로부터 검출된 성별, 사전(dictionary) 검색에서 검출된 성별, 지정된 이름/태그, 나이, 인종, 포즈, 액세서리, 지리적 좌표 및 시각(이용가능한 경우), 및 기타 다른 알고 있는 얼굴 영상과 동시 발생하는 것과 같은 정보 요소들 중 일부 또는 전부가 포함될 수 있지만, 이에 한정되는 것은 아니다. 통합된 컬렉션 내의 얼굴 영상에 할당될 태그는 정보 요소 세트를 비교하는 여러 가지 방식으로 결정될 수 있다. 예컨대 각 정보 요소에는 수치가 할당될 수 있고, 태그들은 일치하는 정보 요소들이 소정 수치 한계를 초과하는 경우에는 자동적으로 결정되고, 일치하는 정보 요소들이 이 한계를 초과하지 않는 경우에는 수동적으로 개입하여 반자동적으로 결정될 수 있다.
응용례
일 실시예에서 본 발명은 얼굴 영상 데이터베이스(108)와 그 관련 정보를 이용하여 사용자 맞춤 서비스를 제공한다. 예컨대 도 13은 개인맞춤 슬라이드쇼를 구현하는 플로우차트(1300)를 보여준다. 단계(1301)에서, 사용자는 주제명을 지정하고, 이에 따라서, 단계(1302)에서, 시스템은 해당 얼굴 영상을 탐색한다. 그 다음에, 단계(1303 내지 1305)에서, 시스템은 탐색된 얼굴 영상 각각에 대해서 컬렉션(107) 내의 해당 영상을 찾아내고 이를 GUI(121)에서 사용자에게 표시해 준다. 플로우차트(1300)를 이용하여 사용자는 그 지정된 주제명에 해당하는 얼굴 영상을 가진 컬렉션(107) 내의 영상 전부 또는 일부를 표시할 수 있다. 일부 실시예에서 컬렉션(107) 내의 각 영상 내의 얼굴 영상에 대한 정보를 이용하여 그 해당 영상의 표시 시에 이들 얼굴 영상에 대한 특수 효과를 구현할 수 있다. 예컨대 컬렉션(107) 내의 해당 영상 표시 시에 어떤 얼굴에 대해 데이터베이스(108)에 저장된 위치 파라미터를 이용하여, 그 표시 시에 그 얼굴의 경계를 찾아내는 추가 계산 없이, 그 영상의 그 영역을 줌인, 즉 확대할 수 있다.
다른 실시예에서 데이터베이스(108)를 이용하여 특정인과 비슷한 영상을 가진 외부의 영상 컬렉션을 검색할 수 있다. 도 14는 단계(1401)에서 사용자로부터 주제명을 수신하고 단계(1402)에서 일치하는 이름이 지정된 데이터베이스(108) 내의 얼굴 영상 세트를 식별하는 프로세스의 플로우차트(1400)이다. 또한 단계(1402)에서, 시스템은 단계(1403)에서의 검색에 이용될 수 있는, 그 선택된 얼굴 영상에 대응하는 하나 이상의 얼굴 인식 템플릿을 결정할 수 있다. 단계(1403)에서, 외부의 영상 컬렉션을 검색하여 단계(1402)에서 선택된 얼굴 영상들 중 하나에 대한 얼굴 인식 템플릿면에서 충분히 가까운 얼굴 영상을 포함하는 영상을 식별할 수 있다. 예컨대 이 검색은 각 영상에 대한 얼굴 검출, 이어서 소정 얼굴 표지 세트에 대한 값을 결정하는 얼굴 인식, 그리고 단계(1402)에서 선택된 얼굴 영상들 중 하나 이상에 대한 매칭 프로세스를 포함할 수 있다. 일 실시예에서 일치하는 얼굴 영상을 찾으면 사용자는 자동 생성 메시지, 예컨대 자동 생성 e메일이나 텍스트 메시지를 포함하는 수단을 통해 사용자의 등록된 연락 주소로 통지를 받는다. 다른 실시예에서 이 일치하는 얼굴 영상을 가진 영상은 컬렉션(107)에 포함될 수 있다.
다른 실시예에서 주체는 자신의 영상이 표시되는 것 및/또는 자신의 영상이 이름과 같은 식별 정보를 가지고 표시되는 것에 이의를 제기할 수 있다. 도 15는 일 실시예에서 사용자 이의 시스템에서의 동작에 대한 예시적인 플로우차트(1500)를 보여준다. 단계(1501)에서, 한 사용자, 예컨대 주체 X에 관련된 표시 이벤트가 발생한다. 표시 이벤트는 주체 X의 얼굴 영상을 가진 영상의 영상 컬렉션(107)에의 추가 및/또는 주체 X의 정보를 가진 영상의 태깅을 포함할 수 있다. 주체 X는 미리 정해진 특성을 가진 표시 이벤트가 발생할 때에 통지를 받도록 미리 등록되어 있다. 단계(1502)에서, 주체 X의 선호도를 포함하는 구성 정보에 기초하여 주체 X에게 그 표시 이벤트가 통지되어야 한다고 결정될 수 있다. 단계(1503)에서, 주체 X에 통지가 전송된다. 통지는 e메일 메시지를 포함하는 임의의 형태로 주체 X의 가용 주소로 또는 인스턴트 메시지 형태로 주체 X의 하나 이상의 가용 주소로 전달될 수 있다. 이 메시지는 링크, 예컨대 주체 X가 추가 정보를 얻거나 그리고/또는 자신의 이의를 등록할 것으로 예상되는 웹 페이지로의 URL(uniform resource locator)을 포함할 수 있다.
통지가 전송되고 나면, 단계(1504)에서, 주체 X로부터 응답이 수신될 수 있다. 이 응답은 그 통지 메시지에서 전송되었던 URL을 방문하는 주체 X를 포함할 수 있다. 단계(1505)에서, 통지가 전송되도록 했던 영상 및/또는 태그는 주체 X에 표시되어, 주체 X는 자신의 이의에 기초가 되는 충분한 정보를 갖게 된다. 예컨대 일부 실시예에서 주체 X의 태그와 일치하는 태그를 가진 컬렉션(107) 내의 모든 영상이 표시될 수 있고, 일부 다른 실시예에서는 X에의 통지를 유발했던 표시 이벤트의 직접적인 원인이었던 영상과 태그만이 표시될 수 있다. 단계(1506)에서, X의 입력이 수신된다. 주체 X는 일련의 체크박스 또는 기타 다른 입력 수단을 이용하여 자신의 입력을 등록할 수 있다. 이 수신된 입력은 영상 삭제 여부, 특정 태그 표시 여부, 태그 변형, X가 통지될 문제의 영상의 소스를 원하는지 여부, 그리고 X가 문제의 영사의 소스를 통지받기를 원하는지 여부에 관한 X의 선택을 포함할 수 있다. 단계(1507)에서, X의 입력 선택은 X 자신이 요구된 서비스를 수신할 권한이 있는지 또는 이를 수신할 수 있는지 여부를 판단하기 위해 확인될 수 있다. 예컨대 소정 기준 세트를 만족하는 사용자만이 영상 삭제를 요구할 수 있다. X가 영상의 삭제 또는 태그 정부의 삭제나 변형을 요구하는 것으로 확인되면, 단계(1508)에서, 컬렉션(107)과 얼굴 영상 데이터베이스(108)에서 그러한 변경이 이루어진다. 예컨대 X가 자신으로 태그된 영상의 자동 삭제를 요구할 권한이 있다면 그 영상과 그 관련 태그다 컬렉션(107) 및/또는 데이터베이스(108)로부터 삭제될 수 있다. X의 권한 정도에 따라서 X는 영상 삭제를 요구할 수 있고, 컬렉션(107)의 소유자가 영상을 수동으로 삭제할 수 있는 로그 엔트리가 만들어질 수 있다. 또한 X의 권한에 따라서 요청된 태그 변경은 자동으로 이루어지거나 뒤에 고려하기 위해 로그될 수 있다. 단계(1509)에서, X가 적당한 권한을 갖고 있다면 X에게 문제의 영상을 얻었던 위치가 통지될 수 있다. 마지막으로 단계(1510)에서, 문제의 영상의 소스에게 X의 이의가 통지될 수 있다. 예컨대 X의 이의와 문제의 영상을 포함하는 소스에게 e메일이 자동적으로 발생될 수 있다.
또 다른 실시예는 사용자가 영상 컬렉션에 접근하는 것을 제한하기 위해 데이터베이스(108) 내의 정보를 이용할 수 있다. 예컨대 사용자는 자신의 얼굴 영상을 가진 컬렉션(107) 내의 영상에만 접근할 수 있다. 또는 사용자는 자신의 얼굴 영상 또는 한 명 이상의 다른 사람의 얼굴 영상을 포함하는 앨범 세트에 접근할 수 있다. 예컨대 일 실시예에서 앨범은 소정의 기준 세트를 만족하는 사용자에게만 배분된 공유키에 기초하여 관리될 수 있다. 도 16의 플로우차트(1600)는 일 실시예에서 그러한 제한된 접근을 구현하는 단계들을 보여준다. 단계(1601)에서, 사용자는 자신의 얼굴 영상을 가진 영상에 접근할 수 있도록 인증될 수 있다. 마찬가지로 일부 실시예에서 사용자는 한 명 이상의 다른 사람의 영상에 접근할 수 있도록 인증될 수 있다. 한 명 이상의 다른 사람의 영상에 접근할 수 있는 사용자 권한은 예컨대 사용자 식별자, 미리 정해진 사용자 그룹, 및/또는 앨범, 영상 또는 주제명 당 설정된 접근권에 기초하여 시스템에 접근할 수 있는 구성 파일에서 정해질 수 있다. 단계(1602)에서, 일치하는 주제명을 가진 데이터베이스(108) 내의 이미 이름이 붙여진 얼굴 영상이 검색될 수 있다. 단계(1603)에서, 단계(1602)에서 검색된 얼굴 영상에만 기초하여 컬렉션(107)에 접근할 수 있다. 예컨대 사용자가 컬렉션(107) 내의 영상에의 접근을 시도할 때마다, 단계(1602)에서 검색된 얼굴 영상이 컬렉션(107) 내의 그 선택된 영상을 참조하는 것을 보장함으로써 그 접근이 유효하게 된다.
다른 실시예에서 본 발명은 사용자가 얼굴 영상에 태그를 할당함에 따라 사용자가 태그되는 사람의 얼굴 영상을 포함하는 영상에 대한 원하는 노출 정도(즉 접근 레벨) 그리고/또는 그 사람에 대해 지정된 하나 이상의 태그의 표시 여부를 지정할 수 있도록 해준다. 일부 실시예에서 영상 세트가 일반인, 소정의 사용자 그룹, 또는 영상 소유자에게만 표시될 수 있도록 여러 가지 레벨의 허가가 접근 레벨로 설정될 수 있다. 이 접근 레벨에 따라서 동일 영상이 선택된 태그의 존부에 상관없이 표시될 수 있다. 또한 영상이 태그되면 태깅 애플리케이션은 다른 애플리케이션과 인터랙션하여 정보를 교환할 수 있다. 예컨대 하나 이상의 얼굴 영상의 태깅 중에 태깅 애플리케이션은 연락처 리스트 애플리케이션 또는 e메일 시스템과 인터랙션하여 어느 하나 또는 양 애플리에이션에게 유용할 수 있는 정보를 교환할 수 있다.
발명의 상세한 설명 부분(개요와 요약서 부분은 아님)은 청구범위를 해석하는데 이용되는 것임을 잘 알아야 한다. 개요와 요약서 부분은 발명자가 생각하는 본 발명의 바람직한 실시예를 전부는 아니고 한 가지 이상을 설명하는 것일 수는 있으나 본 발명과 첨부 청구범위를 한정하는 것은 아니다.
본 발명은 특정 기능들과 이들의 관계의 구현을 예시하는 기능 블록들을 가지고 설명하였다. 이들 기능 블록들의 경계는 여기서는 설명 편의상 임의로 정하였다. 특정 기능들과 그 관계가 적절히 수행될 수 있다면 다른 경계도 정해질 수 있다.
특정 실시예에 대한 상기 설명은 본 발명의 일반적인 특성들을 충분히 보여주었으며, 따라서 본 기술분야의 기술 내의 지식을 적용함으로써 불필요한 시행착오적 실험없이 그리고 본 발명의 일반적인 개념에서 벗어남이 없이 그러한 특정 실시예들을 여러 분야에서 다양하게 변형 및/또는 개작될 수 있다. 그러므로 그와 같은 개작이나 변형은 여기서 제시된 교시와 지침에 따라서 개시된 실시예의 등가물의 의미와 범위 내에 있는 것이다. 여기서 사용된 어법과 전문 용어는 발명 설명을 위한 것이고 한정적 의미를 갖지 않으며, 따라서 본 명세서에서의 그러한 전문 용어와 어법은 본 발명의 교시와 지침에 따라서 당업자가 해석해야 할 것을 잘 알아야 한다.
본 발명의 폭과 범위는 전술한 바람직한 실시예에 의해 한정되는 것이 아니라 하기의 청구범위와 그 등가물에 따라서만 정해져야 한다.

Claims (24)

  1. 디지털 영상 컬렉션으로부터 얼굴 영상 데이터베이스를 생성하고 갱신하는 방법에 있어서,
    (a) 상기 디지털 영상 컬렉션 중의 영상들 내의 제1 얼굴 영상 세트를 검출하는 단계;
    (b) 상기 제1 얼굴 영상 세트를 유사 그룹들로 그룹화하는 단계 - 상기 유사 그룹들의 각각 내에 얼굴 영상들의 얼굴 인식 템플릿들이 소정 범위 내에 있음 - ;
    (c) 상기 유사 그룹들 중 하나 이상을 그래픽 유저 인터페이스에 표시하는 단계 - 상기 유사 그룹들의 각각은 실질적으로 독립적으로 표시됨 - ;
    (d) 상기 표시된 유사 그룹들 중 하나 이상 내의 개별 얼굴 영상들을 확인하거나 거부하기 위해 사용자 입력을 수신하는 단계; 및
    (e) 상기 표시된 유사 그룹들 중 하나 이상을 상기 사용자 입력으로 갱신하는 단계
    를 포함하는 얼굴 영상 데이터베이스 생성 및 갱신 방법.
  2. 제1항에 있어서,
    (f) 상기 갱신된 유사 그룹들을 상기 얼굴 영상 데이터베이스에 저장하는 단계를 더 포함하는 얼굴 영상 데이터베이스 생성 및 갱신 방법.
  3. 제2항에 있어서,
    (g) 상기 표시된 유사 그룹들 중 하나 이상에 대해 주제명을 수신하는 단계; 및
    (h) 상기 표시된 유사 그룹들 중 하나 이상을 상기 주제명으로 갱신하는 단계
    를 더 포함하는 얼굴 영상 데이터베이스 생성 및 갱신 방법.
  4. 제3항에 있어서,
    상기 단계(g)는 사용자가 각 엔트리가 이름과 얼굴 영상 중 적어도 한 가지를 갖는 엔트리 리스트 중에서 상기 표시된 유사 그룹들 중 적어도 하나에 대한 이름을 선택할 수 있도록 하는 단계를 포함하고, 상기 엔트리 각각은 이름과 관련된 하나 이상의 얼굴 영상들에 대응하고, 상기 엔트리 리스트는 상기 표시된 유사 그룹들 중 적어도 하나와의 유사성에 따라서 정렬되는 얼굴 영상 데이터베이스 생성 및 갱신 방법.
  5. 제2항에 있어서,
    상기 단계(c)는,
    (i) 상기 하나 이상의 유사 그룹들 각각 중의 대표 얼굴 영상들을 선택가능한 필름 스트립 레이아웃으로 표시하는 단계;
    (ii) 사용자 입력에 기초하여 대표 얼굴 영상을 선택하는 단계; 및
    (iii) 상기 선택된 대표 얼굴 영상에 대응하는 적어도 하나의 유사 그룹의 얼굴 영상들을 표시하는 단계
    를 포함하는 얼굴 영상 데이터베이스 생성 및 갱신 방법.
  6. 디지털 영상들의 컬렉션으로부터 얼굴 영상 데이터베이스를 갱신하는 방법에 있어서,
    (a) 사용자로부터 주제명을 수신하는 단계;
    (b) 상기 얼굴 영상 데이터베이스에 저장된 얼굴 영상들의 적어도 하나의 이름이 붙여진 유사 그룹 중에서 제1 얼굴 영상 세트를 검색하는 단계 - 상기 적어도 하나의 유사 그룹과 연관된 이름은 상기 주제명과 실질적으로 일치함 - ;
    (c) 상기 제1 세트에 대한 제1 얼굴 인식 템플릿을 결정하는 단계;
    (d) 상기 얼굴 영상 데이터베이스 내의 하나 이상의 이름이 붙여지지 않은 유사 그룹들 중에서 제2 얼굴 영상 세트를 검색하는 단계 - 상기 이름이 붙여지지 않은 유사 그룹들은 연관된 이름을 갖지 않으며, 상기 이름이 붙여지지 않은 유사 그룹들의 얼굴 인식 템플릿들은 상기 제1 얼굴 인식 템플릿과 실질적으로 일치함 - ;
    (e) 상기 제1 세트를 그래픽 유저 인터페이스에 표시하는 단계;
    (f) 상기 제2 세트를 상기 그래픽 유저 인터페이스에 표시하는 단계;
    (g) 상기 제2 세트와 연관된 사용자 입력을 수신하는 단계; 및
    (h) 상기 사용자 입력에 따라서 상기 제2 세트를 갱신하는 단계
    를 포함하는 얼굴 영상 데이터베이스 갱신 방법.
  7. 제6항에 있어서,
    상기 단계(e)는,
    (i) 클러스터로 배열된 상기 제1 세트를 상기 그래픽 유저 인터페이스에 표시하는 단계를 포함하는 얼굴 영상 데이터베이스 갱신 방법.
  8. 제7항에 있어서,
    상기 단계(f)는,
    (i) 상기 제2 세트의 각 유사 그룹이 별도의 클러스터로 배열된 상태에서 상기 제2 세트를 상기 그래픽 유저 인터페이스에 표시하는 단계를 포함하는 얼굴 영상 데이터베이스 갱신 방법.
  9. 제6항에 있어서,
    상기 사용자 입력 수신 단계는,
    (i) 상기 사용자 입력에 기초하여 하나 이상의 얼굴 영상들을 거부하는 단계 -상기 거부된 하나 이상의 얼굴 영상들에는 상기 주제명이 할당되지 않음 -;
    (ii) 상기 사용자 입력에 기초하여 상기 제2 세트의 하나 이상의 유사 그룹들을 거부하는 단계 -상기 거부된 하나 이상의 유사 그룹들에는 상기 주제명이 할당되지 않음 -; 및
    (iii) 상기 사용자 입력에 기초하여 상기 제2 세트의 하나 이상의 유사 그룹들을 확인하는 단계
    중 하나 이상을 더 포함하는 얼굴 영상 데이터베이스 갱신 방법.
  10. 제6항에 있어서,
    상기 단계(h)는,
    (i) 상기 사용자 입력에 기초하여 상기 주제명을 상기 제2 세트의 유사 그룹들의 얼굴 영상들에 할당하는 단계를 더 포함하는 얼굴 영상 데이터베이스 갱신 방법.
  11. 제6항에 있어서,
    상기 단계(e)는,
    (i) 상기 제1 세트를 상기 그래픽 유저 인터페이스의 제1 영역에 표시하는 단계를 포함하는 얼굴 영상 데이터베이스 갱신 방법.
  12. 제11항에 있어서,
    상기 단계(f)는,
    (i) 상기 제1 세트와의 유사성에 따라서 정렬된 상기 제2 세트를 상기 그래픽 유저 인터페이스의 제2 영역에 표시하는 단계를 포함하는 얼굴 영상 데이터베이스 갱신 방법.
  13. 디지털 영상 컬렉션에서 검출된 복수의 얼굴에 이름들을 할당하는 네이밍 툴(naming tool)에 있어서,
    (a) 상기 디지털 영상 컬렉션 중의 영상들에서 검출된 얼굴 영상들에 관한 데이터를 저장하도록 구성된 얼굴 영상 데이터베이스;
    (b) 적어도 하나의 그래픽 유저 인터페이스;
    (c) 상기 데이터와 상기 영상 중 어느 하나 또는 이 둘 다를 상기 적어도 하나의 그래픽 유저 인터페이스를 통해 조작 가능하게 하여주는 적어도 하나의 사용자 입력 장치;
    (d) 상기 디지털 영상 컬렉션의 영상들에서 얼굴들을 검출하고 또한 상기 검출된 얼굴들에 관한 데이터를 상기 얼굴 영상 데이터베이스에 저장하도록 구성된 얼굴 검출 모듈;
    (e) 상기 얼굴 영상 데이터베이스 내의 각 얼굴 영상에 대한 적어도 하나의 얼굴 인식 템플릿을 계산하도록 구성된 얼굴 인식 모듈;
    (f) 실질적으로 유사한 얼굴 영상들이 하나의 유사 그룹에 속하도록 개개의 얼굴 인식 템플릿들에 따라서 상기 얼굴 영상 데이터베이스 내의 얼굴 영상들을 그룹화하도록 구성된 유사성 랭킹(ranking) 모듈; 및
    (g) 유사 그룹들에 따라서 상기 얼굴 영상들을 레이아웃(layout)하도록 구성된 표시 레이아웃 생성 모듈
    을 포함하고,
    상기 적어도 하나의 사용자 입력 장치, 상기 적어도 하나의 그래픽 유저 인터페이스, 상기 디지털 영상 컬렉션 및 상기 얼굴 영상 데이터베이스는 상기 얼굴 검출 모듈, 상기 얼굴 인식 모듈, 상기 유사성 랭킹 모듈 및 상기 표시 레이아웃 생성 모듈에 통신가능하게 연결된 네이밍 툴.
  14. 디지털 영상 컬렉션 중의 디지털 영상들에 접근(access)하는 방법에 있어서,
    (a) 주제명을 수신하는 단계;
    (b) 얼굴 영상 데이터베이스 내의 제1 얼굴 영상 세트를 선택하는 단계- 상기 제1 세트 내의 얼굴 영상들에는 상기 주제명이 할당됨 - ; 및
    (c) 상기 디지털 영상 컬렉션 중에서 디지털 영상들을 찾는 단계 - 상기 디지털 영상들은 상기 제1 얼굴 영상 세트와 이미 연관됨 -
    를 포함하는 디지털 영상 접근 방법.
  15. 제14항에 있어서,
    (d) 상기 디지털 영상들을 표시하는 단계; 및
    (e) 상기 얼굴 영상 데이터베이스에 저장된 데이터를 이용하여 하나 이상의 표시된 디지털 영상들 내의 적어도 하나의 얼굴에 대한 특수 효과들을 표시하는 단계
    를 더 포함하는 디지털 영상 접근 방법.
  16. 제14항에 있어서,
    (d) 사용자가 상기 주제명이 할당된 얼굴 영상들에 접근할 수 있도록 사용자를 인증하는 단계; 및
    (e) 상기 사용자가 상기 제1 세트와 이미 연관된 상기 디지털 영상 컬렉션 내의 영상들에 접근하는 것을 허용하는 단계
    를 더 포함하는 디지털 영상 접근 방법.
  17. 다중 소스 영상을 이용하여 사람의 영상들을 검색하는 방법에 있어서,
    (a) 주제명을 수신하는 단계;
    (b) 상기 주제명이 할당된 얼굴 영상 데이터베이스 내의 제1 얼굴 영상 세트를 선택하는 단계; 및
    (c) 하나 이상의 디지털 영상 컬렉션들을 검색하는 단계 - 상기 검색은 상기 제1 얼굴 영상 세트를 이용하는 자동 얼굴 인식을 포함함 -
    를 포함하는 영상 검색 방법.
  18. 제17항에 있어서,
    (d) 일치 영상이 찾아진 경우에 경보를 발생하는 단계 - 상기 일치 영상은 상기 제1 얼굴 영상 세트 내의 적어도 하나의 얼굴 영상과 실질적으로 일치하는 얼굴 영상을 포함함 - 를 더 포함하는 영상 검색 방법.
  19. 제18항에 있어서,
    (e) 사용자를 상기 주제명과 연관시키는 단계를 더 포함하는 영상 검색 방법.
  20. 제19항에 있어서,
    상기 경보 발생 단계는,
    (i) 일치 영상을 찾는 단계- 상기 일치 영상은 상기 제1 얼굴 영상 세트 내의 적어도 하나의 얼굴 영상과 실질적으로 일치하는 얼굴 영상을 포함함 - ;
    (ii) 게시(posted) 영상에서 미리 정해진 표시 이벤트들의 유형들 중 적어도 하나를 검출하는 단계 - 상기 게시된 영상은 상기 적어도 하나의 얼굴 영상과 실질적으로 일치하는 일치 얼굴 영상을 포함함 - ;
    (iii) 상기 사용자에게 상기 미리 정해진 표시 이벤트들의 유형들 중 상기 적어도 하나를 통지하는 단계; 및
    (iv) 상기 사용자로부터 입력 선택을 수신하는 단계
    를 포함하는 영상 검색 방법.
  21. 제20항에 있어서,
    (f) 상기 입력 선택에 기초하여 상기 게시 영상을 하나 이상의 위치들에서 자동적으로 삭제하는 단계를 더 포함하는 영상 검색 방법.
  22. 제20항에 있어서,
    (f) 상기 입력 선택에 기초하여 상기 게시 영상에 할당된 하나 이상의 태그들을 변경하는 단계를 더 포함하는 영상 검색 방법.
  23. 제20항에 있어서,
    (f) 상기 입력 선택에 기초하여 상기 적어도 하나의 영상들을 가진 하나 이상의 소스들에 통지하는 단계를 더 포함하는 영상 검색 방법.
  24. 제20항에 있어서,
    상기 일치 영상을 찾는 단계는,
    (i) 상기 적어도 하나의 영상에서 얼굴 영상을 검출하는 단계;
    (ii) 상기 주제명을 나타내는 얼굴 영상을 결정하는 단계; 및
    (iii) 상기 주제명과 상기 사용자 중 하나 이상을 연관시키는 태그를 상기 적어도 하나의 영상에 할당하는 단계
    를 포함하는 영상 검색 방법.
KR1020107024606A 2008-04-02 2009-04-01 디지털 영상 컬렉션에 자동 얼굴 인식 기능을 통합하는 방법 및 장치 KR101618735B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US4188308P 2008-04-02 2008-04-02
US61/041,883 2008-04-02
US5051408P 2008-05-05 2008-05-05
US61/050,514 2008-05-05

Publications (2)

Publication Number Publication Date
KR20100129783A true KR20100129783A (ko) 2010-12-09
KR101618735B1 KR101618735B1 (ko) 2016-05-09

Family

ID=40886267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107024606A KR101618735B1 (ko) 2008-04-02 2009-04-01 디지털 영상 컬렉션에 자동 얼굴 인식 기능을 통합하는 방법 및 장치

Country Status (6)

Country Link
US (2) US8358811B2 (ko)
EP (3) EP2281248A1 (ko)
JP (2) JP2011516966A (ko)
KR (1) KR101618735B1 (ko)
CN (1) CN101990667B (ko)
WO (1) WO2009123711A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480256B1 (ko) * 2013-12-13 2015-01-09 계명대학교 산학협력단 얼굴 영역의 위치를 고려한 화상 통신 장치 및 그 방법
WO2015102126A1 (ko) * 2013-12-30 2015-07-09 주식회사 시어스랩 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
US10142414B2 (en) 2015-04-21 2018-11-27 Xiaomi Inc. Method and device for sharing picture
KR20190143527A (ko) 2018-06-08 2019-12-31 부산대학교 산학협력단 머신 러닝을 통한 영상 인식을 위한 장치 및 방법

Families Citing this family (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8447077B2 (en) 2006-09-11 2013-05-21 Validity Sensors, Inc. Method and apparatus for fingerprint motion tracking using an in-line array
DE602005022900D1 (de) 2004-10-04 2010-09-23 Validity Sensors Inc Fingerabdruckerfassende konstruktionen mit einem substrat
US9721148B2 (en) 2007-12-31 2017-08-01 Applied Recognition Inc. Face detection and recognition
CA2711143C (en) 2007-12-31 2015-12-08 Ray Ganong Method, system, and computer program for identification and sharing of digital images with face signatures
US9639740B2 (en) 2007-12-31 2017-05-02 Applied Recognition Inc. Face detection and recognition
KR101618735B1 (ko) 2008-04-02 2016-05-09 구글 인코포레이티드 디지털 영상 컬렉션에 자동 얼굴 인식 기능을 통합하는 방법 및 장치
CN103402070B (zh) 2008-05-19 2017-07-07 日立麦克赛尔株式会社 记录再现装置及方法
WO2009155368A1 (en) * 2008-06-17 2009-12-23 Jostens, Inc. System and method for yearbook creation
US9141863B2 (en) * 2008-07-21 2015-09-22 Facefirst, Llc Managed biometric-based notification system and method
US20100115036A1 (en) * 2008-10-31 2010-05-06 Nokia Coporation Method, apparatus and computer program product for generating a composite media file
US8457366B2 (en) 2008-12-12 2013-06-04 At&T Intellectual Property I, L.P. System and method for matching faces
US9210313B1 (en) 2009-02-17 2015-12-08 Ikorongo Technology, LLC Display device content selection through viewer identification and affinity prediction
US9727312B1 (en) 2009-02-17 2017-08-08 Ikorongo Technology, LLC Providing subject information regarding upcoming images on a display
US10706601B2 (en) 2009-02-17 2020-07-07 Ikorongo Technology, LLC Interface for receiving subject affinity information
US20110044512A1 (en) * 2009-03-31 2011-02-24 Myspace Inc. Automatic Image Tagging
JP2010259064A (ja) * 2009-04-03 2010-11-11 Olympus Imaging Corp 表示装置及び撮像装置
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
US8649602B2 (en) * 2009-08-18 2014-02-11 Cyberlink Corporation Systems and methods for tagging photos
JP5503921B2 (ja) * 2009-08-21 2014-05-28 ソニーモバイルコミュニケーションズ， エービー 情報端末、情報端末の情報制御方法及び情報制御プログラム
US8503739B2 (en) * 2009-09-18 2013-08-06 Adobe Systems Incorporated System and method for using contextual features to improve face recognition in digital images
US20110148857A1 (en) * 2009-12-23 2011-06-23 Microsoft Corporation Finding and sharing of digital images based on shared face models
US8416997B2 (en) * 2010-01-27 2013-04-09 Apple Inc. Method of person identification using social connections
US8645287B2 (en) 2010-02-04 2014-02-04 Microsoft Corporation Image tagging based upon cross domain context
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US20110243397A1 (en) 2010-03-30 2011-10-06 Christopher Watkins Searching digital image collections using face recognition
US8495057B2 (en) 2010-05-17 2013-07-23 Microsoft Corporation Image searching with recognition suggestion
US20120030575A1 (en) * 2010-07-27 2012-02-02 Cok Ronald S Automated image-selection system
US8270684B2 (en) * 2010-07-27 2012-09-18 Google Inc. Automatic media sharing via shutter click
JP5653131B2 (ja) 2010-08-25 2015-01-14 キヤノン株式会社 オブジェクト認識装置およびその認識方法
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images
US8630494B1 (en) 2010-09-01 2014-01-14 Ikorongo Technology, LLC Method and system for sharing image content based on collection proximity
US8774528B2 (en) * 2010-09-24 2014-07-08 Kodak Alaris Inc. Method of selecting important digital images
US8824748B2 (en) * 2010-09-24 2014-09-02 Facebook, Inc. Auto tagging in geo-social networking system
JP5509335B2 (ja) * 2010-09-30 2014-06-04 富士通フロンテック株式会社 登録プログラム、登録装置、および登録方法
US8744196B2 (en) * 2010-11-26 2014-06-03 Hewlett-Packard Development Company, L.P. Automatic recognition of images
US20120328168A1 (en) * 2011-01-31 2012-12-27 Andrea Dailey System and Method for Yearbook Creation
US9251854B2 (en) 2011-02-18 2016-02-02 Google Inc. Facial detection, recognition and bookmarking in videos
AU2012219277B2 (en) * 2011-02-18 2016-10-20 Google Llc Facial recognition
US20120213404A1 (en) 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
KR101770262B1 (ko) * 2011-03-16 2017-08-22 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US8782136B1 (en) 2011-03-28 2014-07-15 Google Inc. System and method for providing access to data objects based on proximity
US9317530B2 (en) 2011-03-29 2016-04-19 Facebook, Inc. Face recognition based on spatial and temporal proximity
US8631084B2 (en) 2011-04-29 2014-01-14 Facebook, Inc. Dynamic tagging recommendation
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
US20120314916A1 (en) * 2011-06-13 2012-12-13 Reagan Inventions, Llc Identifying and tagging objects within a digital image
US8831294B2 (en) 2011-06-17 2014-09-09 Microsoft Corporation Broadcast identifier enhanced facial recognition of images
US9195679B1 (en) 2011-08-11 2015-11-24 Ikorongo Technology, LLC Method and system for the contextual display of image tags in a social network
US9147047B1 (en) * 2011-08-11 2015-09-29 West Corporation Image capture to enforce remote agent adherence
US8548207B2 (en) 2011-08-15 2013-10-01 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
US8903138B1 (en) 2011-09-06 2014-12-02 Google Inc. Face recognition using pre-templates
US8593452B2 (en) * 2011-12-20 2013-11-26 Apple Inc. Face feature vector construction
US9135410B2 (en) * 2011-12-21 2015-09-15 At&T Intellectual Property I, L.P. Digital rights management using a digital agent
US20140133713A1 (en) * 2011-12-29 2014-05-15 Intel Corporation Method, Apparatus, and Computer-Readable Recording Medium for Authenticating a User
US9202105B1 (en) 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
CN108073948A (zh) * 2012-01-17 2018-05-25 华为技术有限公司 一种照片分类管理方法、服务器、装置及系统
US20130198836A1 (en) * 2012-01-31 2013-08-01 Google Inc. Facial Recognition Streamlined Login
US8824750B2 (en) 2012-03-19 2014-09-02 Next Level Security Systems, Inc. Distributive facial matching and notification system
US8666123B2 (en) 2012-04-26 2014-03-04 Google Inc. Creating social network groups
US8891883B2 (en) 2012-05-15 2014-11-18 Google Inc. Summarizing a photo album in a social network system
US20140233811A1 (en) * 2012-05-15 2014-08-21 Google Inc. Summarizing a photo album
KR101964348B1 (ko) * 2012-05-18 2019-04-01 삼성전자주식회사 미디어 기기에서의 콘텐츠 정렬 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
US9483556B1 (en) 2012-05-25 2016-11-01 Google Inc. Aggregating photos captured at an event
US8855369B2 (en) 2012-06-22 2014-10-07 Microsoft Corporation Self learning face recognition using depth based tracking for database generation and update
US9665773B2 (en) * 2012-06-25 2017-05-30 Google Inc. Searching for events by attendants
US9391792B2 (en) 2012-06-27 2016-07-12 Google Inc. System and method for event content stream
JP6071288B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6071287B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20140056489A1 (en) * 2012-08-22 2014-02-27 Google Inc. System and method for sharing media
US8856541B1 (en) 2013-01-10 2014-10-07 Google Inc. Liveness detection
US9396384B2 (en) 2013-03-13 2016-07-19 Intel Corporation User authentication via image manipulation
US9405771B2 (en) * 2013-03-14 2016-08-02 Microsoft Technology Licensing, Llc Associating metadata with images in a personal image collection
US9449216B1 (en) * 2013-04-10 2016-09-20 Amazon Technologies, Inc. Detection of cast members in video content
US9721175B2 (en) 2013-05-08 2017-08-01 Jpmorgan Chase Bank, N.A. Systems and methods for high fidelity multi-modal out-of-band biometric authentication through vector-based multi-profile storage
US9760785B2 (en) 2013-05-08 2017-09-12 Jpmorgan Chase Bank, N.A. Systems and methods for high fidelity multi-modal out-of-band biometric authentication
US10235508B2 (en) * 2013-05-08 2019-03-19 Jpmorgan Chase Bank, N.A. Systems and methods for high fidelity multi-modal out-of-band biometric authentication with human cross-checking
US10032091B2 (en) * 2013-06-05 2018-07-24 Emotient, Inc. Spatial organization of images based on emotion face clouds
CN105593901B (zh) 2013-06-28 2020-06-12 日本电气株式会社 训练数据生成设备、方法和程序以及人群状态识别设备、方法和程序
US10389673B2 (en) 2013-08-01 2019-08-20 Jp Morgan Chase Bank, N.A. Systems and methods for electronic message prioritization
US9892576B2 (en) 2013-08-02 2018-02-13 Jpmorgan Chase Bank, N.A. Biometrics identification module and personal wearable electronics network based authentication and transaction processing
US9910865B2 (en) 2013-08-05 2018-03-06 Nvidia Corporation Method for capturing the moment of the photo capture
US20150066941A1 (en) * 2013-08-30 2015-03-05 U-Me Holdings LLC Photo cataloging, storage and retrieval using relationships between people
US20150085146A1 (en) * 2013-09-23 2015-03-26 Nvidia Corporation Method and system for storing contact information in an image using a mobile device
US9829480B2 (en) 2013-09-26 2017-11-28 Alcohol Monitoring Systems, Inc. Remote breath alcohol monitor
CN103593650B (zh) * 2013-10-28 2017-01-25 浙江大学 一种基于表情识别系统生成艺术图像的方法
US9569656B2 (en) 2013-12-06 2017-02-14 Google Inc. Local real-time facial recognition
CN103646199B (zh) * 2013-12-26 2016-06-15 中国电子科技集团公司第三研究所 一种基于九宫格密码和人脸图像的身份验证方法
US9635108B2 (en) 2014-01-25 2017-04-25 Q Technologies Inc. Systems and methods for content sharing using uniquely generated idenifiers
US10121060B2 (en) * 2014-02-13 2018-11-06 Oath Inc. Automatic group formation and group detection through media recognition
US9268793B2 (en) * 2014-03-12 2016-02-23 Google Inc. Adjustment of facial image search results
CN104933391B (zh) * 2014-03-20 2018-08-10 联想(北京)有限公司 用于进行面部识别的方法和装置、以及电子设备
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9639742B2 (en) 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US9519826B2 (en) 2014-05-08 2016-12-13 Shutterfly, Inc. Automatic image product creation for user accounts comprising large number of images
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
KR102223205B1 (ko) 2014-06-11 2021-03-08 삼성전자주식회사 이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9460493B2 (en) 2014-06-14 2016-10-04 Microsoft Technology Licensing, Llc Automatic video quality enhancement with temporal smoothing and user override
US20150362989A1 (en) * 2014-06-17 2015-12-17 Amazon Technologies, Inc. Dynamic template selection for object detection and tracking
US9373179B2 (en) 2014-06-23 2016-06-21 Microsoft Technology Licensing, Llc Saliency-preserving distinctive low-footprint photograph aging effect
WO2015200350A1 (en) 2014-06-24 2015-12-30 Google Inc. Ranking and selecting images for display from a set of images
US10915618B2 (en) 2014-08-28 2021-02-09 Facetec, Inc. Method to add remotely collected biometric images / templates to a database record of personal information
CA2902093C (en) 2014-08-28 2023-03-07 Kevin Alan Tussy Facial recognition authentication system including path parameters
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
CN104284252A (zh) * 2014-09-10 2015-01-14 康佳集团股份有限公司 一种自动生成电子相册的方法
KR102024867B1 (ko) 2014-09-16 2019-09-24 삼성전자주식회사 예제 피라미드에 기초하여 입력 영상의 특징을 추출하는 방법 및 얼굴 인식 장치
US20160092082A1 (en) * 2014-09-29 2016-03-31 Apple Inc. Visualizing Relationships Between Entities in Content Items
US10121056B2 (en) 2015-03-02 2018-11-06 International Business Machines Corporation Ensuring a desired distribution of content in a multimedia document for different demographic groups utilizing demographic information
US9507996B2 (en) 2015-03-02 2016-11-29 International Business Machines Corporation Ensuring a desired distribution of images in a multimedia document utilizing facial signatures
US10445391B2 (en) 2015-03-27 2019-10-15 Jostens, Inc. Yearbook publishing system
US9448704B1 (en) 2015-04-29 2016-09-20 Dropbox, Inc. Navigating digital content using visual characteristics of the digital content
AU2016291660B2 (en) 2015-07-15 2021-10-21 15 Seconds of Fame, Inc. Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams
CN106371551A (zh) * 2015-07-20 2017-02-01 深圳富泰宏精密工业有限公司 人脸表情操作系统、方法及电子装置
CN106453209B (zh) * 2015-08-07 2020-01-21 阿里巴巴集团控股有限公司 一种身份验证方法和装置
CN105224838B (zh) * 2015-09-28 2018-02-09 广东欧珀移动通信有限公司 一种基于人脸识别的用户权限控制方法和系统
EP3274878A1 (en) 2015-09-28 2018-01-31 Google LLC Sharing images and image albums over a communication network
US10320861B2 (en) 2015-09-30 2019-06-11 Google Llc System and method for automatic meeting note creation and sharing using a user's context and physical proximity
CN108369652A (zh) 2015-10-21 2018-08-03 15秒誉股份有限公司 用于面部识别应用中的误判最小化的方法和设备
WO2017078793A1 (en) 2015-11-04 2017-05-11 Shutterfly, Inc. Automatic image product creation for user accounts comprising large number of images
CN105426485A (zh) * 2015-11-20 2016-03-23 小米科技有限责任公司 图像合并方法和装置、智能终端和服务器
CN105608425B (zh) * 2015-12-17 2019-02-15 小米科技有限责任公司 对照片进行分类存储的方法及装置
SG10201601838TA (en) * 2016-03-09 2017-10-30 Trakomatic Pte Ltd Method and system for visitor tracking at a pos area
US10127945B2 (en) 2016-03-15 2018-11-13 Google Llc Visualization of image themes based on image content
US10198625B1 (en) 2016-03-26 2019-02-05 Videomining Corporation Association of unique person to a mobile device using repeat face image matching
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
WO2018015988A1 (ja) * 2016-07-19 2018-01-25 株式会社オプティム 人物画特定システム、人物画特定方法及びプログラム
US10083358B1 (en) 2016-07-26 2018-09-25 Videomining Corporation Association of unique person to point-of-sale transaction data
US9996773B2 (en) * 2016-08-04 2018-06-12 International Business Machines Corporation Face recognition in big data ecosystem using multiple recognition models
US10614436B1 (en) 2016-08-25 2020-04-07 Videomining Corporation Association of mobile device to retail transaction
WO2018045358A1 (en) 2016-09-05 2018-03-08 Google Llc Generating theme-based videos
JP2018081402A (ja) * 2016-11-15 2018-05-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2018106663A1 (en) * 2016-12-06 2018-06-14 Ebay Inc. Anchored search
US11222227B2 (en) 2017-01-25 2022-01-11 Chaim Mintz Photo subscription system and method using biometric identification
US10095915B2 (en) 2017-01-25 2018-10-09 Chaim Mintz Photo subscription system and method using biometric identification
US10432728B2 (en) 2017-05-17 2019-10-01 Google Llc Automatic image sharing with designated users over a communication network
US11169661B2 (en) * 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
WO2019040654A1 (en) * 2017-08-22 2019-02-28 Incode Technologies, Inc. APPARATUS AND METHOD FOR CONFIGURABLE AUTOMATED IMAGE DISTRIBUTION
CN109947965B (zh) * 2017-09-04 2023-09-05 阿里巴巴集团控股有限公司 对象识别、数据集合的更新、数据处理方法与装置
CN108170750A (zh) * 2017-12-21 2018-06-15 深圳英飞拓科技股份有限公司 一种人脸数据库更新方法、系统及终端设备
US11735018B2 (en) 2018-03-11 2023-08-22 Intellivision Technologies Corp. Security system with face recognition
CN112074827A (zh) * 2018-04-27 2020-12-11 上海趋视信息科技有限公司 图像归档的系统和方法
CN109101542B (zh) * 2018-07-02 2021-02-02 深圳市商汤科技有限公司 图像识别结果输出方法及装置、电子设备和存储介质
US10936856B2 (en) 2018-08-31 2021-03-02 15 Seconds of Fame, Inc. Methods and apparatus for reducing false positives in facial recognition
CN111125391A (zh) * 2018-11-01 2020-05-08 北京市商汤科技开发有限公司 数据库更新方法和装置、电子设备、计算机存储介质
CN111125390A (zh) * 2018-11-01 2020-05-08 北京市商汤科技开发有限公司 数据库更新方法和装置、电子设备、计算机存储介质
US20200151453A1 (en) * 2018-11-08 2020-05-14 International Business Machines Corporation Reducing overlap among a collection of photographs
EP3871117A4 (en) * 2018-12-07 2022-07-06 Microsoft Technology Licensing, LLC PROVIDING PRIVACY LABELED IMAGES
CN109753920B (zh) * 2018-12-29 2021-09-17 深圳市商汤科技有限公司 一种行人识别方法及装置
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
US11010596B2 (en) 2019-03-07 2021-05-18 15 Seconds of Fame, Inc. Apparatus and methods for facial recognition systems to identify proximity-based connections
US11283937B1 (en) 2019-08-15 2022-03-22 Ikorongo Technology, LLC Sharing images based on face matching in a network
US11341351B2 (en) 2020-01-03 2022-05-24 15 Seconds of Fame, Inc. Methods and apparatus for facial recognition on a user device
EP4055504A1 (en) * 2020-01-06 2022-09-14 Google LLC Privacy controls for sharing embeddings for searching and indexing media content
CN111797746A (zh) * 2020-06-28 2020-10-20 北京小米松果电子有限公司 人脸识别方法、装置及计算机可读存储介质
CN112817503B (zh) * 2021-01-18 2024-03-26 陈林斌 电子相框的智能显示方法、电子相框及可读存储介质
US11750666B2 (en) * 2021-04-22 2023-09-05 Bank Of America Corporation Dynamic group session data access protocols
WO2023129561A1 (en) * 2021-12-28 2023-07-06 Woods Jeremiah Consumption of a video feed from a remotely located camera device

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222939B1 (en) 1996-06-25 2001-04-24 Eyematic Interfaces, Inc. Labeled bunch graphs for image analysis
US6301370B1 (en) 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US7634662B2 (en) * 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US6606398B2 (en) 1998-09-30 2003-08-12 Intel Corporation Automatic cataloging of people in digital photographs
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
JP2002207741A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像データ検索装置、画像データ検索方法、画像データ検索プログラムおよび画像データ検索プログラムを記録したコンピュータ読み取り可能な記録媒体
US6917703B1 (en) 2001-02-28 2005-07-12 Nevengineering, Inc. Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network
US8086867B2 (en) * 2002-03-26 2011-12-27 Northrop Grumman Systems Corporation Secure identity and privilege system
US20030210808A1 (en) 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
AU2003282943A1 (en) * 2002-10-11 2004-05-04 Digimarc Corporation Systems and methods for recognition of individuals using multiple biometric searches
JP3809823B2 (ja) * 2003-02-24 2006-08-16 日本電気株式会社 人物情報管理システムおよび人物情報管理装置
US7286723B2 (en) * 2003-06-27 2007-10-23 Hewlett-Packard Development Company, L.P. System and method for organizing images
US7274822B2 (en) * 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
JP2005032163A (ja) * 2003-07-11 2005-02-03 Nec Commun Syst Ltd 顔照合システム
JP2005080216A (ja) * 2003-09-03 2005-03-24 Casio Comput Co Ltd 画像処理装置、画像処理方法及びそのプログラム
US7822233B2 (en) 2003-11-14 2010-10-26 Fujifilm Corporation Method and apparatus for organizing digital media based on face recognition
WO2005055138A2 (en) * 2003-11-26 2005-06-16 Yesvideo, Inc. Statical modeling of a visual image for use in determining similarity between visual images
KR100601997B1 (ko) 2004-10-12 2006-07-18 삼성전자주식회사 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치
JP4267584B2 (ja) * 2005-02-28 2009-05-27 株式会社東芝 機器制御装置及びその方法
JP2006244279A (ja) * 2005-03-04 2006-09-14 Mitsubishi Electric Corp 画像分類装置
US7646895B2 (en) * 2005-04-05 2010-01-12 3Vr Security, Inc. Grouping items in video stream images into events
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
JP2007026316A (ja) * 2005-07-20 2007-02-01 Yamaha Motor Co Ltd 画像管理装置、ならびに画像管理用コンピュータプログラムおよびそれを記録した記録媒体
JP2007052646A (ja) * 2005-08-18 2007-03-01 Fujifilm Holdings Corp 画像検索装置、画像プリント装置、プリント注文システム、店頭プリント端末装置、撮像装置、画像検索プログラム及び方法
US7920745B2 (en) * 2006-03-31 2011-04-05 Fujifilm Corporation Method and apparatus for performing constrained spectral clustering of digital image data
US7907755B1 (en) * 2006-05-10 2011-03-15 Aol Inc. Detecting facial similarity based on human perception of facial similarity
CN100511230C (zh) * 2006-05-29 2009-07-08 北京万网志成科技有限公司 基于网页页面文本的图像检索及显示方法
US7684651B2 (en) * 2006-08-23 2010-03-23 Microsoft Corporation Image-based face search
KR101618735B1 (ko) 2008-04-02 2016-05-09 구글 인코포레이티드 디지털 영상 컬렉션에 자동 얼굴 인식 기능을 통합하는 방법 및 장치
US8036417B2 (en) * 2008-06-11 2011-10-11 Eastman Kodak Company Finding orientation and date of hardcopy medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480256B1 (ko) * 2013-12-13 2015-01-09 계명대학교 산학협력단 얼굴 영역의 위치를 고려한 화상 통신 장치 및 그 방법
WO2015102126A1 (ko) * 2013-12-30 2015-07-09 주식회사 시어스랩 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
US10142414B2 (en) 2015-04-21 2018-11-27 Xiaomi Inc. Method and device for sharing picture
KR20190143527A (ko) 2018-06-08 2019-12-31 부산대학교 산학협력단 머신 러닝을 통한 영상 인식을 위한 장치 및 방법

Also Published As

Publication number Publication date
EP2618290A2 (en) 2013-07-24
EP2281248A1 (en) 2011-02-09
KR101618735B1 (ko) 2016-05-09
EP2618289A3 (en) 2014-07-30
JP2014222519A (ja) 2014-11-27
EP2618289A2 (en) 2013-07-24
US8897508B2 (en) 2014-11-25
CN101990667B (zh) 2013-08-28
JP5869054B2 (ja) 2016-02-24
WO2009123711A1 (en) 2009-10-08
CN101990667A (zh) 2011-03-23
US20130251217A1 (en) 2013-09-26
US8358811B2 (en) 2013-01-22
US20090252383A1 (en) 2009-10-08
EP2618290A3 (en) 2014-08-06
JP2011516966A (ja) 2011-05-26

Similar Documents

Publication Publication Date Title
US8358811B2 (en) Method and apparatus to incorporate automatic face recognition in digital image collections
US20220269715A1 (en) Facial based image organization and retrieval method
US8473525B2 (en) Metadata generation for image files
US9507778B2 (en) Summarization of media object collections
AU2014384636B2 (en) Systems and methods for ephemeral eventing
US9721148B2 (en) Face detection and recognition
KR100803769B1 (ko) 미디어 아이템들을 클러스터링 및 조회하기 위한 방법
US9530075B2 (en) Presentation and organization of content
US8731308B2 (en) Interactive image selection method
WO2015070320A1 (en) Face detection and recognition
US9002120B2 (en) Interactive image selection method
US10013639B1 (en) Analyzing digital images based on criteria
de Figueirêdo et al. PhotoGeo: a photo digital library with spatial-temporal support and self-annotation
EP2704028A1 (en) Migration of tags across entities in management of personal electronically encoded items
EP2704026A1 (en) Clustering of personal electronically encoded items
EP2704027A1 (en) Analysis and proposal creation for management of personal electronically encoded items

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190412

Year of fee payment: 4