KR20110124223A

KR20110124223A - 얼굴들을 상관시킴으로써 디지털 이미지들을 구조화하기

Info

Publication number: KR20110124223A
Application number: KR1020117018418A
Authority: KR
Inventors: 그레그 길리; 조슈아 데이비드 파간스; 니킬 바트; 쟝-프랑수아 알부제; 시메온 레이퍼; 티모시 비. 마틴; 그레고리 찰스 린들리
Original assignee: 애플 인크.
Priority date: 2009-01-05
Filing date: 2010-01-04
Publication date: 2011-11-16
Also published as: JP2012514795A; GB2480177B; CN102365645B; AU2010203220B2; US20100172550A1; JP5403838B2; WO2010078553A3; EP2384484A2; US9495583B2; KR101346539B1; AU2010203220A1; WO2010078553A2; GB201113493D0; GB2480177A; CN102365645A

Abstract

이미지들을 구조화하기 위한 컴퓨터 구현 방법은 사람 얼굴의 표현을 포함하는 이미지를 수신하는 단계; 사람 얼굴이 사람 얼굴을 포함하는 하나 이상의 프로파일 이미지들과 연관된 저장된 얼굴 프로파일에 대응할 가능성을 표시하는 상관값을 생성하는 단계; 수신된 이미지와 생성된 상관값을 평가(evaluating)하여 평가 결과에 따라, 이미지가 저장된 얼굴 프로파일에 대응하는지를 결정하는 단계; 수신된 이미지를 저장된 얼굴 프로파일과 연관(associating)시키는 단계; 및 연관의 표시(indication)를 저장하는 단계를 포함한다.

Description

얼굴들을 상관시킴으로써 디지털 이미지들을 구조화하기{ORGANIZING DIGITAL IMAGES BY CORRELATING FACES}

관련 출원들에 대한 교차 참조

본 출원은 2009년 5월 5일자로 출원된 미국 출원 번호 제12/436,069호 및 2009년 1월 5일자로 출원된 미국 가출원 번호 제61/142,606호의 이득을 주장한다.

기술분야

본 개시는 이미지들에 표현된 하나 이상의 얼굴들을 상관시킴으로써, 디지털 이미지들과 같은 이미지들을 구조화하는 것에 관한 것이다.

포토그래피(photography)는 인기있는 취미이다. 디지털 포토그래피를 통해 생성된 디지털 이미지들을 포함하는 이미지들이 일반적이다. 이미지들은 또한 그래픽 편집 소프트웨어(예를 들어, 이미지 편집 또는 드로잉(drawing) 소프트웨어), 비디오 장비, 렌더링 시스템들, 스캐너들, 토모그래피 스캐너들(tomography scanners), 및 전파 망원경들(radio telescopes)에 의해 생성될 수 있다.

이미지들은 종종 사람들, 특히, 사람들의 얼굴들을 표현한다. 얼굴 검출은 이미지들이 하나 이상의 얼굴들을 표현하는지를 결정하는 것에 관한 것이다. 얼굴 인식(또는 인식)은 이미지에 표현된 사람을 식별하는 것에 관한 것이다. 인식은 그래픽 얼굴로부터 선택된 얼굴 특징들을 얼굴 데이터베이스와 비교함으로써 실현될 수 있다. 얼굴 인식 알고리즘은 이미지로부터 얼굴 특징들에 대응하는 랜드마크들을 추출함으로써 얼굴들을 식별할 수 있다. 예를 들어, 알고리즘은 상대 위치, 사이즈, 및 눈, 코, 광대뼈 및 턱의 모양을 분석할 수 있다. 인식 알고리즘은 아이겐페이스(eigenface), 피셔페이스(fisherface), 히든 마르코프 모델(Hidden Markov model), 및 뉴런 동기화된 다이나믹 링크 매칭(neuronal motivated dynamic link matching)을 포함한다.

본 개시는 얼굴들을 상관시킴으로써 디지털 이미지들과 같은 이미지들을 구조화하기 위한 기술들 및 기법들을 설명한다.

여기에 설명된 기법들을 구현하는 시스템들은 사용자들이 컴퓨터 판독 가능한 저장 디바이스에 저장된 매체와 같은 이미지들을 구조화할 수 있게 한다. 이미지들은 매체에 나타나는 하나 이상의 얼굴들의 상관(correlation)에 기초하여, 논리적으로 및/또는 물리적으로, 특정 저장 장소에 자동으로 할당될 수 있다. 예를 들어, 특정 개인에 대응하는 앨범은 그 개인을 표현하는 디지털 이미지들로 자동으로 채워질 수 있다. 앨범에 포함된 이미지들이 상관되어야 하는 정도는 사용자 사양(user specifications)에 기초하는 등 달라질 수 있다.

일반적으로, 본 명세서에 설명된 요지의 일 양태는 이미지들을 구조화하기 위한 컴퓨터 구현 방법으로 구체화될 수 있고, 컴퓨터 구현 방법은 사람 얼굴의 표현을 포함하는 이미지를 수신하는 단계; 사람 얼굴이 사람 얼굴을 포함하는 하나 이상의 프로파일 이미지들과 연관된 저장된 얼굴 프로파일에 대응할 가능성을 표시하는 상관값을 생성하는 단계; 수신된 이미지와 생성된 상관값을 평가(evaluating)하여 평가 결과에 따라, 이미지가 저장된 얼굴 프로파일에 대응하는지를 결정하는 단계; 수신된 이미지를 저장된 얼굴 프로파일과 연관(associating)시키는 단계; 및 연관의 표시(indication)를 저장하는 단계를 포함한다. 요지의 양태들은 또한 시스템들, 컴퓨터 프로그램 제품들, 및 관련된 프로세스들 및 장치로 구현될 수 있다.

이들 및 다른 구현들이 다음의 특징들 중 하나 이상을 옵션으로 포함할 수 있다. 상관값은 이미지가 다른 저장된 얼굴 프로파일에 대응하는 것을 표시할 수 있고, 평가는 이미지의 제1 메타데이터 및 하나 이상의 프로파일 이미지의 제2 메타데이터를 평가하는 것을 포함할 수 있다. 방법은 어드레스 북 애플리케이션(address book application)으로부터 하나 이상의 프로파일 이미지들 및 하나 이상의 프로파일 이미지들과 연관된 프로파일 정보를 취득하는 단계; 및 하나 이상의 프로파일 이미지들 및 프로파일 정보에 기초하여 저장된 얼굴 프로파일을 생성하는 단계를 포함할 수 있다. 방법은 또한 평가에 기초하여, 사람 얼굴이 저장된 얼굴 프로파일에 대응한다는 확인을 위해 사용자를 프롬프트(prompting)하는 단계; 및 프롬프트에 응답하여, 사람 얼굴이 저장된 얼굴 프로파일에 대응한다는 확인을 수락하는 단계를 포함할 수 있다. 수락하는 것은 긍정 응답 옵션 및 부정 응답 옵션을 갖는 사용자 인터페이스를 통해 수락하는 것을 포함할 수 있다.

구현들은 또한 다음의 특징들 중 하나 이상을 옵션으로 포함할 수 있다. 방법은 이미지가 사람 얼굴을 표현할 가능성이 90 퍼센트보다 낮음을 표시하는 검출 정보에 액세스하는 단계; 이미지가 피부톤 색 및 선명한 이미지 디테일을 묘사하는 것을 구축하는 단계; 및 구축에 기초하여, 이미지가 사람 얼굴을 표현하는 것을 확인하는 단계를 포함할 수 있다. 방법은 또한 검출 정보, 이미지, 또는 상관값 중 하나 이상에 기초하여 키 이미지(key image)로서 이미지를 선택하는 단계; 및 저장된 얼굴 프로파일을 위한 아이콘으로서 키 이미지를 디스플레이하는 단계를 포함할 수 있다. 이미지는 이미지의 선명도 표시, 캡처 일자, 또는 이미지 해상도 중 하나 이상을 포함할 수 있다. 검출 정보는 사람 얼굴로부터 이미지에 묘사된 다른 사람 얼굴까지의 거리, 또는 이미지에 대한 사람 얼굴의 각도 중 하나 이상을 포함할 수 있다. 사람 얼굴은 제1 사람 얼굴을 포함할 수 있고, 방법은 이미지에 표현된 제2 사람 얼굴과 저장된 얼굴 프로파일 사이의 잠재적 관련성(potential correspondence)을 도출하는 단계; 및 저장된 얼굴 프로파일에 대응하는 제1 사람 얼굴 및 상관값에 기초하여 도출된 잠재적 관련성을 무시하는 단계를 포함할 수 있다.

방법은 또한 사람 얼굴들을 표현하는 선별되지 않은(unsorted) 이미지들, 선별되지 않은 이미지 정보, 및 사람 얼굴들이 저장된 얼굴 프로파일에 대응할 가능성을 표시하는 선별되지 않은 상관값들을 수신하는 단계; 초기 상관값 임계값을 구축하는 단계; 초기 상관값 임계값 및 선별되지 않은 상관값들에 기초하여 선별되지 않은 이미지들을 그룹화하는 단계; 함께 그룹화된 선별되지 않은 이미지들의 양 및 선별되지 않은 이미지들의 그룹들의 총 개수에 기초하여 수정된 상관 임계값을 도출하는 단계; 수정된 상관 임계값 및 선별되지 않은 상관값들에 기초하여 선별되지 않은 이미지들을 재그룹화하는 단계; 및 재그룹화에 기초하여 선별되지 않은 이미지들의 하나 이상의 그룹들을 저장된 얼굴 프로파일과 연관시키는 단계를 포함할 수 있다. 저장된 얼굴 프로파일은 제1 저장된 얼굴 프로파일을 포함할 수 있고, 사람 얼굴은 제1 사람 얼굴을 포함할 수 있다. 방법은, 제1 저장된 얼굴 프로파일 및 제2 저장된 얼굴 프로파일을 사용자 인터페이스에 제시(presenting)하는 단계 - 제2 저장된 얼굴 프로파일은 제2 사람 얼굴을 표현하는 하나 이상의 이미지들을 포함함 -; 제1 저장된 얼굴 프로파일을 제2 저장된 얼굴 프로파일과 연관시키는 표시를 사용자 인터페이스에 수신하는 단계; 및 제1 저장된 얼굴 프로파일 및 제2 저장된 얼굴 프로파일로부터 하나 이상의 프로파일 이미지들을 포함하는 결합된 앨범을 생성하는 단계를 포함할 수 있다.

본 명세서에 설명된 기법들은 다음의 잠재적인 이점들 중 하나 이상을 실현하도록 구현될 수 있다. 얼굴들을 상관시키는 것은 이미지들을 폴더들 또는 앨범들과 같은 하나 이상의 저장 구조들로 자동으로 선별하는 것을 허용하도록 구현될 수 있다. 또한, 요지는 그래픽 얼굴 정의(definition) 또는 프로파일이 정의되지 않은 새로운 개인을 식별하는 것을 허용하도록 구현될 수 있다. 또한, 요지는 부가적인 이미지들의 개인과의 연관에 기초하여, 정의 또는 프로파일과 같은, 얼굴들을 상관시키는 데 이용되는 기준을 개선하는 것을 허용하도록 구현될 수 있다.

하나 이상의 구현들의 상세는 첨부 도면들 및 하기의 설명 부분에서 설명된다. 다른 특징들 및 이점들은 설명 및 도면들로부터, 그리고 청구항들로부터 명백해질 것이다.

도 1은 그래픽 얼굴들(graphical faces)을 상관시키는 것에 대한 예시적인 개요를 도시한다.
도 2는 그래픽 얼굴들을 상관시키기 위한 예시적인 시스템을 도시한다.
도 3a는 예시적인 상관 프로세스를 도시하는 흐름도이다.
도 3b는 적응 상관 임계값(adaptive correlation threshold)을 설정하기 위한 예시적인 프로세스를 도시하는 흐름도이다.
도 3c는 인식(recognition)을 테스트하기 위한 예시적인 프로세스를 도시하는 흐름도이다.
도 4a는 예시적인 검출 제거 프로세스(detection elimination process)를 도시하는 흐름도이다.
도 4b는 예시적인 상관 제거 프로세스를 도시하는 흐름도이다.
도 5는 상관된 얼굴들을 디스플레이하기 위한 예시적인 사용자 인터페이스의 도면이다.
도 6a는 사용자 입력을 수신하기 위한 예시적인 사용자 인터페이스의 도면이다.
도 6b는 사용자 입력을 수신하기 위한 예시적인 사용자 인터페이스의 도면이다.
도 6c는 사용자 입력을 수신하기 위한 예시적인 사용자 인터페이스의 도면이다.
도 7은 앨범을 생성하기 위한 예시적인 사용자 인터페이스의 도면이다.
도 8은 사용자 입력을 수신하기 위한 예시적인 사용자 인터페이스의 도면이다.
도 9는 예시적인 상관 기법들을 도시하는 도면이다.
도 10은 앨범 커버의 선택을 도시하는 도면이다.
동일한 참조 기호들은 명세서 및 도면들에 걸쳐서 동일한 요소들을 표시한다.

얼굴들을 상관시킴으로써 이미지들을 구조화하는 것은 이미지들에 걸쳐서 동일한 사람의 표현들(representations)을 연관시키는 것을 포함한다. 매체에 표현된 사람들에 의해 이미지들을 구조화하는 것은 몇몇 잠재적 이점을 제공한다. 예를 들어, 이러한 구조화 방식(organizational scheme)은 이미지 시스템의 사용자들에 대해 직관적일 수 있어, 사용자들이 시스템의 기능을 신속하게 이해할 수 있게 한다. 또한, 많은 이미지들을 수동으로 구조화하는 부담이 실질적으로 제거 또는 감소될 수 있다. 또한, 이미지들은 이미지들에 표현된 사람에 기초하여 정확하게 그룹화될 수 있다. 이미지들을 정확하게 그룹화하는 것은 사용자들에 의한 이미지들의 접근성, 구조화 및 유용성을 향상시킬 수 있다.

도 1은 그래픽 얼굴들을 상관시키는 것에 대한 예시적인 개요를 도시한다. 일반적으로, 이미지들은 카메라로부터 컴퓨터로 전송될 수 있다. 컴퓨터는 상관 시스템(correlation system)을 포함할 수 있다. 상관 시스템은 동일한 개인의 이미지들을 그룹화함으로써 이미지들을 상관시킬 수 있다.

디지털 카메라(102)는 디지털 이미지들을 캡처하기 위한 카메라이다. 디지털 카메라(102)는 전자 이미지 센서를 통해 이미지들을 레코딩함으로써 비디오 또는 스틸 이미지들, 또는 둘다를 캡처할 수 있다. 디지털 카메라(102)는 스탠드-얼론 디지털 카메라일 수 있거나 몇몇 디바이스들 중 임의의 것에 통합될 수 있다. 예를 들어, 디지털 카메라(102)는 PDA(personal digital assistant), 모바일 폰, 또는 웹캠에 통합될 수 있다. 또한, 디지털 카메라(102)는 착탈식 저장 매체를 이용하여 캡처된 이미지 데이터를 저장할 수 있다. 예를 들어, 디지털 카메라(102)는 착탈식 플래시 메모리 디바이스(예를 들어, 콤팩트플래시 및 시큐어 디지털 카드들)에 이미지들을 저장할 수 있다. 디지털 카메라(102)는 이미지들을 다양한 포맷으로(예를 들어, 미가공 포맷으로 또는 JPEG(joint photographic experts group)의 표준에 따라) 레코딩할 수 있다. 디지털 카메라(102)는 또한 컴퓨터와 통신하기 위한 하나 이상의 인터페이스들을 포함할 수 있다. 예를 들어, 디지털 카메라(102)는 USB(universal serial bus) 또는 FireWire와 같은 유선 인터페이스, 및/또는 적외선 또는 무선 주파수와 같은 무선 인터페이스를 포함할 수 있다.

이미지(104)는 디지털 카메라(예를 들어, 디지털 카메라(102))에 의해 생성된 디지털 이미지이다. 이미지(104)는 얼굴을 표현한다. 이미지(104)는 또한 다른 항목들의 표현들을 포함할 수 있다. 예를 들어, 이미지(104)는 랜드마크 앞에 서 있는 사람의 이미지일 수 있고, 빌딩, 나무, 하늘 등을 표현할 수 있다. 또한, 이미지(104)는 압축 포맷(예를 들어, JPEG), 또는 비압축 포맷(예를 들어, RAW)과 같은 다양한 포맷으로 저장될 수 있다. 이미지(104)는 그래픽 데이터 및 메타데이터를 포함할 수 있다. 메타데이터는 교환 이미지 파일 포맷 사양(exchangeable image file format(Exif) specification)에 따를 수 있다. Exif 데이터는 이미지(104)에 대한 조리개, 노출 시간, 일시, 장소 및 다른 정보를 포함할 수 있다.

디지털 카메라(102)는 이미지들을 캡처할 수 있다. 예를 들어, 이미지들(106, 108, 및 110)은 이미지(104)와 같은 다른 이미지들일 수 있다. 이미지들(106, 108, 및 110) 각각은 또한 그래픽 얼굴을 표현할 수 있다.

컴퓨터 시스템(112)은 디지털 카메라(102)와 같은 디지털 카메라로부터 전송된 이미지들을 수신하도록 구성될 수 있다. 컴퓨터 시스템(112)은 컴퓨터(예를 들어, 데스크톱, 랩톱, 서버 등), 모바일 전화기(예를 들어, 블랙베리), PDA, 또는 다른 이러한 디바이스일 수 있다. 컴퓨터 시스템(112)은 하나 이상의 소프트웨어 애플리케이션을 실행하도록 구성되는 하드웨어를 포함할 수 있다. 또한, 컴퓨터 시스템(112)은 RAM(random access memory), 플래시 메모리, 및 하드 드라이브와 같은 전자 저장 매체를 포함할 수 있다. 또한, 컴퓨터 시스템(112)은 이미지들과 같은 디지털 정보를 수신할 수 있는 하나 이상의 통신 인터페이스를 포함할 수 있다. 하나 이상의 통신 인터페이스는 유선 또는 무선일 수 있다.

상관 시스템(114)은 이미지들에 표현된 그래픽 얼굴들을 상관시키도록 구성될 수 있다. 상관 시스템(114)은 컴퓨터 시스템(예를 들어, 컴퓨터 시스템(112))에서 실행되는 소프트웨어, 컴퓨터 시스템에 포함된 하드웨어, 또는 그의 조합으로 구현될 수 있다. 상관 시스템(114)은 이미지들(예를 들어, 디지털 이미지들)에 액세스하고, 이미지들과 연관된 데이터를 분석하고, 결정된 2개 이상의 이미지들을 상관시켜서 공통 그래픽 얼굴을 표현할 수 있다. 예를 들어, 디지털 이미지들은 분석될 수 있고, 동일한 사람을 포함하는 이미지들은 이미지 그룹을 형성하기 위해 서로 연관될 수 있다.

상관 시스템(114)은 이미지들(104, 106, 108, 및 110)을 처리하여 하나 이상의 이미지 그룹들을 생성할 수 있다. 이미지 그룹(116)은 디지털 이미지들을 포함하며, 디지털 이미지들 각각은 동일한 개인에 대응하는 얼굴을 표현한다. 이미지 그룹(116)과 같은 이미지 그룹은 매우 큰 이미지 그룹(예를 들어, 수백개 또는 수천개의 이미지들), 작은 이미지 그룹(예를 들어, 수개 또는 수십개의 이미지들), 또는 심지어 단일 이미지일 수 있다. 또한, 동일한 이미지는 다수의 이미지 그룹들에 속할 수 있다. 예를 들어, 잭이라는 이름의 사람과 메리라는 이름의 다른 사람을 포함하는 이미지는 잭과 연관된 이미지 그룹 및 메리와 연관된 상이한 이미지 그룹에 둘다 포함될 수 있다.

이미지 그룹(118)은 하나의 이미지만을 포함한다. 이미지 그룹(118)은 개인이 하나의 이미지에만 표현되거나, 이미지에 얼굴이 나타난 개인이 아직 상관 시스템(114)에 정의되지 않았거나, 또는 이미지 내의 개인이 상관 시스템(114)에 이미 정의된 어떤 사람으로서 인식되지 않기 때문과 같은 다양한 이유로 하나의 이미지만을 포함할 수 있다. 유사하게, 이미지 그룹(120)은 또한 하나의 이미지만을 포함할 수 있다.

동작에서, 이미지들(104, 106, 108, 110)은 카메라(102)로부터 컴퓨터 시스템(112)으로 전송될 수 있다. 상관 시스템(114)은 컴퓨터 시스템(112)에서 실행되고 예를 들어, 사용자로부터 수신된 커맨드에 응답하여 또는 자동으로 이미지들의 전송에 응답하여, 이미지들(104, 106, 108, 110)을 처리할 수 있다. 상관 시스템(114)은 이미지(106) 및 이미지(110)가 동일한 사람에 대응하는 얼굴들을 표현한다고 결정할 수 있고, 따라서 이미지(106) 및 이미지(110)를 이미지 그룹(116)에 함께 그룹화할 수 있다. 이미지 그룹(116)은 또한 동일한 사람을 표현하는 컴퓨터 시스템(112)에 이미 저장된 이미지들을 포함할 수 있다. 또한, 상관 시스템(114)은 이미지(104) 및 이미지(108)와 같은 이미지 내의 하나 이상의 얼굴들을 인식하지 않을 수 있고, 따라서 이미지 그룹(118) 및 이미지 그룹(120)과 같은 단일 이미지만을 포함하는 이미지 그룹들을 생성할 수 있다. 인식되지 않은 얼굴을 포함하는 이미지들은 싱글톤들(singletons)이라고 불릴 수 있다. 일부 구현들에서, 상관 시스템(114)은 싱글톤들 중 일부 또는 전부를 이미지 그룹에 그룹화할 수 있다.

도 2는 그래픽 얼굴들을 상관시키기 위한 예시적인 시스템(200)을 도시한다. 상관시키는 것은 다양한 하드웨어 및 소프트웨어 컴포넌트들을 수반할 수 있다. 이미지들 및 식별 정보와 같은 입력이 수신되어 디지털 이미지들에 표현된 얼굴들을 상관시키는 데 이용될 수 있다. 또한, 상관 프로세스의 결과들은 부가적인 입력을 수신하고 부가적인 상관을 수행함으로써 반복적으로 향상될 수 있다.

도 2에 도시된 바와 같이, 시스템(200)은 디지털 카메라(202)를 포함할 수 있다. 디지털 카메라(202)는 도 1의 디지털 카메라(102)와 유사할 수 있다.

컴퓨터 시스템(204)은 도 1의 컴퓨터 시스템(112)과 유사할 수 있다. 또한, 컴퓨터 시스템(204)은 네트워크(예를 들어, 네트워크(206))를 통해 정보를 수신하고 전송하기 위해 하드웨어 및 소프트웨어를 포함할 수 있다. 컴퓨터 시스템(204)은 또한 저장소 디바이스(예를 들어, 저장소(210))에 정보를 전송하고 저장소 디바이스(예를 들어, 저장소(210))로부터 정보를 수신하도록 구성될 수 있다.

상관 시스템(212)은 디지털 이미지들에 나타나는 얼굴들을 상관시키도록 구성될 수 있다. 상관 시스템(212)은 소프트웨어 및/또는 하드웨어 컴포넌트들을 포함할 수 있다. 또한, 상관 시스템(212)은 스탠드 얼론 소프트웨어 애플리케이션일 수 있거나 또는 더 큰 소프트웨어 애플리케이션의 부분으로서 구현될 수 있다. 상관 시스템(212)은 백그라운드에서 실행되도록 구성될 수 있다. 대안적으로 또는 부가적으로, 상관 시스템(212)은 사용자가 하나 이상의 관리 및/또는 프로세싱 기능들을 액티브하게 수행할 수 있게 하는 사용자 인터페이스(214)를 포함할 수 있다.

사용자 인터페이스(214)는 예를 들어, 원격 사용자로부터 입력을 수신하기 위한 그래픽 사용자 인터페이스(GUI), 커맨드 라인 인터페이스, 택틸(tactile) 인터페이스, 또는 네트워크 인터페이스일 수 있다. 사용자 인터페이스(214)는 디지털 이미지들을 포함하는 데이터 및 커맨드들의 입력 및 출력을 위한 메커니즘들을 포함할 수 있다. 예를 들어, 사용자는 상관 시스템(212)을 조작하기 위해 커맨드들 및 다른 정보를 입력할 수 있다. 사용자 인터페이스(214)는 또한 하나 이상의 인터페이스 스크린들에 걸쳐서 사용자에게 정보를 출력할 수 있다.

사용자 입력 모듈(216)은 외부 소스로부터 입력을 수신, 저장, 및 처리하도록 구성될 수 있다. 예를 들어, 사용자 입력 모듈(216)은 사용자로부터 입력을 수신하여 디지털 이미지 내의 사람을 식별한다. 식별(identification)은 동일한 사람의 다른 이미지들을 식별시에 후속하여 이용될 수 있다. 또한, 입력은 관련 정보를 갖는 다른 애플리케이션들로부터 수신될 수 있다. 예를 들어, 어드레스 북 애플리케이션으로부터의 데이터가 이용될 수 있다. 데이터는 이미지들, 이름들, 이메일 주소 등을 포함할 수 있다. 데이터는 이름들로 시스템을 시드(seed)하는 데 이용될 수 있다. 사용자가 사람들을 식별하고 있을 때, 시스템은 어드레스 북으로부터 이름들을 제안(suggest)할 수 있다. 또한, 데이터는 이름이 붙은 얼굴들로 시스템을 시드하는 데 이용될 수 있다. 데이터는 이름들과 얼굴들 사이의 연관들(associations)을 포함할 수 있다. 이롭게도, 데이터는 사용자들이 누군가를 긍정적으로 식별하기 전에 사용자들에게 이름들을 제안하는 것을 시작하는 데 이용될 수 있다(예를 들어, 사용자는 어드레스 북 내의 연락처(contact)의 이미지를 가질 수 있고, 정보는 그 연락처를 표현하는 이미지들을 제안하는 데 이용될 수 있다).

사용자 입력은 또한 원격 서버(208)(예를 들어, 웹사이트)로부터 네트워크(206)(예를 들어, 인터넷)를 통해 수신될 수 있다. 예를 들어, 사용자가 소셜 네트워크 사이트(예를 들어, 페이스북)에 이미지들을 업로드하는 경우, 사용자 및 사용자의 친구들은 이미지들 내의 얼굴들을 식별할 수 있다. 식별들은 입력으로서 수신되고 이미지들을 상관하는 데 이용될 수 있다. 네트워크를 통해 수신된 입력에 상이한 레벨의 신뢰(confidence)가 할당될 수 있다(예를 들어, 사용자에 의한 식별들은 사용자의 친구들에 의한 식별들보다 더 신뢰성 있게 의존될 수 있다).

전처리 모듈(218)은 이미지를 얼굴 분석 엔진(220)에 전달하기 전에 이미지를 처리하도록 구성될 수 있다. 전처리 모듈(218)은 얼굴 분석 엔진(220)의 성능을 향상시킬 수 있는 규칙들 및 휴리스틱(heuristics)을 적용하는 것을 포함하는 기능들을 수행할 수 있다. 예를 들어, 전처리 모듈(218)은 이미지에 개인이 한번만 나타날 수 있는 것을 서술하는 규칙을 적용할 수 있다.

얼굴 분석 엔진(220)은 이미지들에 표현된 하나 이상의 얼굴을 검출하고 인식하도록 구성될 수 있다. 얼굴 분석 엔진(220)은 이미지 및 설정들을 수신할 수 있고, 이미지가 사람에 대응하는 얼굴을 표현하는지를 검출할 수 있다. 설정들은 예를 들어, 얼굴 분석 엔진(220)이 (예를 들어, 후처리 모듈(222)에) 검출에 관한 정보를 제공하기 전에 검출에 관해 가져야 하는 신뢰의 레벨을 표시하는 임계값들과 같은, 얼굴 분석 엔진(220)의 동작에 영향을 미치는 파라미터들을 포함할 수 있다.

또한, 얼굴 분석 엔진(220)은 또한 얼굴들이 동일한 사람에 속하는지를 결정하기 위해 그래픽 얼굴을 다른 그래픽 얼굴들과 비교함으로써 얼굴들을 상관시킬 수 있다. 얼굴 분석 엔진(220)은 아이겐페이스(eigenface) 또는 피셔페이스(fisherface)와 같은 알고리즘들, 또는 얼굴 인식을 수행하기 위한 신경망(neural network)과 같은 기법들을 이용하도록 구성될 수 있다. 또한, 얼굴 분석 엔진(220)은 OKAO Vision 스위트의 일리노이주 샴버그(Schaumburg)의 OMRON Corp.에 의해 제공되는 툴들과 같은 얼굴 분석 툴들의 라이브러리로서 구현될 수 있다.

후처리 모듈(222)은 얼굴 분석 엔진(220)으로부터 정보를 수신하도록 구성될 수 있다. 또한, 후처리 모듈(222)은 엔진(220)의 성능을 향상시키기 위해 엔진(220)으로부터 수신된 입력에 기초하여 규칙들을 적용할 수 있다. 예를 들어, 후처리 모듈(222)은 얼굴 분석 엔진(220)에 의해 얼굴인 것으로 단언된(asserted) 이미지의 부분이 피부톤인지 또는 선명하게 보이는지를 결정하기 위해 이미지를 분석할 수 있다. 조건들 중 하나 또는 둘다가 실패한 경우, 모듈(222)은 얼굴의 검출을 무시할 수 있다. 피부톤 및 선명도는 도 4와 관련하여 하기에서 더 완전하게 논의된다. 또한, 모듈(222)은 후처리에 기초하여 새로운 설정들로 다시 처리하기 위해 엔진(220)에 정보를 다시 제출할 수 있다.

귀납(induction) 모듈(224)은 얼굴이 속할 수 있는 사람에 관해 어느 정도 지식을 갖고 추측하기 위해 귀납적 추론을 이용할 수 있다. 예를 들어, (예를 들어, 후처리 모듈(222)로부터 수신된 바와 같이) 귀납 모듈(224)이 2개의 이미지가 동일한 사람의 얼굴을 표현한다고 생각하고 (예를 들어, 사용자 입력 모듈(216)로부터 수신된 바와 같이) 사용자가 하나의 이미지에서 사람을 식별하는 경우, 귀납 모듈(224)은 다른 이미지가 또한 동일한 사람에 대한 것임을 귀납할 수 있다.

상관 모듈(226)은 디지털 이미지들에 나타나는 얼굴들을 상관시키기 위해 상관 시스템(212)에 포함된 다른 모듈들 중 하나 이상에 의해 제공된 정보를 이용하도록 구성될 수 있다. 상관 프로세스는 이미지들에 표현된 얼굴들에 기초하여 이미지들을 그룹들로 구조화하는 것을 포함할 수 있다. 특히, 특정 개인에게 알려진 또는 특정 개인에게 속하는 것으로 생각되는 시스템에 액세스가능한 이미지들 전부를 포함하는 그룹이 형성될 수 있다.

도 3은 예시적인 상관 프로세스(300)를 도시하는 흐름도이다. 상관 프로세스(300)는 반복적으로 상관 임계값을 조절하여 수락 가능한 수의 그룹들의 이미지들을 생성한다. 그룹들은 "버킷들(buckets)"이라고 불릴 수 있다. 각각의 버킷은 동일한 사람을 표현하는 것으로 생각되는 이미지들을 포함할 수 있다. 상관 임계값이 매우 높게 설정되면, 프로세스(300)는 이미지들이 동일한 사람의 얼굴을 표현한다고 실질적으로 확신하지 않는 한 2개의 이미지를 상관시키지 않을 것이다. 그러므로, 상관 임계값이 매우 높게 설정되면, 동일한 개인의 어떤 이미지들이 상관되지 않을 가능성이 있기 때문에 각각에 더 적은 이미지들을 갖는 더 많은 버킷이 생성될 것이다. 상관 임계값이 매우 낮게 설정되면, 프로세스(300)는 동일한 사람에 대응하지 않을 수 있는 얼굴들을 빈번하게 상관시킬 수 있다. 그러므로, 상관 임계값을 낮은 값으로 설정하면, 각각에 더 많은 이미지들을 갖는 더 적은 버킷들을 만들 수 있다. 그러나, 동일한 개인에 대응하는 얼굴을 표현하지 않는 2개의 이미지가 상관될 가능성은 증가된다. 이상적으로는, 버킷은 동일한 사람의 가능한 많은 이미지를 포함할 것이고, 그 사람을 표현하지 않는 이미지는 거의 포함하지 않거나 전혀 포함하지 않을 것이다.

얼굴들을 표현하는 이미지들이 수신될 수 있다(302). 또한, 임계값은 디폴트값으로 설정될 수 있다(304). 디폴트값은 중간값(intermediate value)일 수 있다. 일단 디폴트값이 설정되면, 동일한 사람의 얼굴을 표현하는 것으로 생각되는 이미지들은 단일 버킷과 연관되도록 이미지들이 상관될 수 있다(306). 그 다음 생성된 버킷들의 수가 수락가능한지가 결정될 수 있다(308). 버킷들의 수가 수락가능하면(예를 들어, 이미지들만큼 많은 버킷들이 실질적으로 존재하지 않고 이미지들의 수에 비해 매우 적은 버킷들이 존재하지 않으면), 프로세스(300)는 너무 많은 싱글톤들이 남아있는지를 결정할 수 있다(310). 싱글톤들은 프로세스(300)가 대응하는 사람을 식별할 수 없는 하나 이상의 얼굴을 포함하는 이미지들일 수 있다. 너무 많은 싱글톤들을 가지는 것은, 임계값이 너무 높게 설정되어 있다는 신호 및 그에 따라 얼굴들이 동일한 사람의 얼굴들을 포함하는 다른 이미지들과 적절하게 상관되어 있지 않다는 신호일 수 있다.

너무 적은 버킷이 존재한다고 결정되면, 임계값은 증가될 수 있다(314). 임계값을 증가시키는 것은 프로세스(300)가 버킷의 얼굴들이 동일한 사람에 속한다는 부가적인 신뢰를 갖도록 요구한다. 일단 임계값이 증가되면, 프로세스(300)는 한번 더 이미지들의 상관을 수행한다(306).

너무 많은 버킷이 존재한다고 결정되면, 임계값은 감소될 수 있다(316). 또한, 프로세스(300)가 310에서 너무 많은 싱글톤들이 존재한다고 결정한 경우(예를 들어, 버킷에 이미지를 할당하는 데 요구되는 신뢰도가 너무 높다고 표시하는 경우), 임계값은 또한 감소될 수 있다(316). 임계값을 감소시키는 것은, 프로세스(300)가 더 낮은 신뢰도에 기초하여 이미지들을 상관시킬 수 있게 한다. 일단 임계값이 감소되면, 프로세스(300)는 한번 더 이미지들의 상관을 수행한다(306).

(예를 들어, 이미지들의 총 수에 대해) 수락가능한 수의 싱글톤들이 존재한다고 결정되면, 프로세스(300)는 사용자 입력을 수신함으로써 계속할 수 있다(312). 예를 들어, 사용자 입력은 하나 이상의 이미지들에 표현되는 얼굴들에 관한 정보를 포함할 수 있다.

도 3b는 적응 상관 임계값을 설정하기 위한 예시적인 프로세스(350)를 도시하는 흐름도이다. 상관 신뢰를 위한 임계값이 버킷 기초로 설정될 수 있다. 처음에, 임계값은 중간값(moderate value)으로 설정될 수 있다(352). 버킷 사이즈는 증가할 수 있다(354). 예를 들어, 더 많은 이미지들이 시스템에 부가될 수 있거나, 이미지들 내의 더 많은 얼굴들이 주어진 개인으로서 식별될 수 있다. 버킷 사이즈가 증가함에 따라, 임계값은 증가될 수 있어(356) 특정 버킷에 대한 얼굴들을 상관시키는 것이 (더 낮은 임계값에 비해) 더 어려워질 수 있다.

도 3c는 잠재적 상관을 테스트하기 위한 예시적인 프로세스(370)를 도시하는 흐름도이다. 버킷에 대한 이미지 내의 얼굴의 잠재적 상관이 검사될 수 있다(372). 검사는 잠재적 상관을 위한 신뢰값이 주어진 버킷에 이미지를 포함하기 위한 임계값 요건 바로(예를 들어, 약간) 아래에 있는지를 결정하는 것을 포함할 수 있다(374). 신뢰값이 임계값 바로 아래에 있는 경우, 메타데이터 테스트가 실행될 수 있다(376). 테스트는 예를 들어, 소스 이미지의 히스토그램, 노출값, 및 캡처 일시를 비교하는 것을 포함할 수 있다. 시간상 함께 가까이 촬영되고 유사한 히스토그램 및 노출값들을 갖는 이미지들은 동일한 주제(subject matter) 및 사람들을 포함할 수 있다. 메타데이터가 유사하다고 결정되면(378)(예를 들어, 이미지가 버킷 내에 이미 존재하는 다른 이미지들과 동일한 시간에 촬영되었다고 표시하면), 얼굴은 버킷과 상관될 수 있다(382). 전체 이미지의 히스토그램을 비교하는 것에 부가하여 또는 그 대신에, 이미지가 다수의 얼굴들을 표현할 때, 단지 얼굴 영역의 히스토그램이 테스트를 위해 이용될 수 있다.

한편, 신뢰값이 (예를 들어, 10%와 같은 미리 결정된 설정에 비해) 임계값 바로 아래에 있지 않은 것으로 결정되면, 또는 다시 말하면 신뢰값이 임계값보다 상당히 아래에 있는 것으로 결정되면, 상관은 무시될 수 있다. 또한, 메타데이터가 유사하지 않다고 결정되면(378), 상관은 또한 무시될 수 있다(380).

도 4a는 예시적인 검출 제거 프로세스(400)를 도시하는 흐름도이다. 일부 예들에서, 검출 엔진은 추정상 얼굴(즉, 검출)을 표현하지만 실제로는 얼굴을 표현하지 않는 이미지의 영역을 검출한다. 프로세스(400)는 이러한 거짓-긍정 검출들(false-positive detections)을 제거할 수 있다.

검출 제거 프로세스(400)는 검출 신뢰를 수신함으로써 개시될 수 있다(402). 검출 신뢰는 분석 엔진에 의해 제공된 값일 수 있고, 엔진이 실제로 얼굴인 검출에 대해 어느 정도 신뢰하는지를 표시한다.

프로세스(400)는 선명도 및 피부톤에 대한 검출을 테스트함으로써 계속한다(404). 선명도는 얼굴이 이미지에서 선명하게 나타나는지를 분석하는 것을 포함할 수 있다. 흐릿함(blurriness)은 액츄얼(actual) 또는 분명한(apparent) 선명도 중 어느 하나 또는 둘다의 결핍으로부터 생길 수 있다. 예를 들어, 액츄얼 선명도의 결핍은 사진이 촬영된 시간에 부적절한 카메라 초점 또는 카메라 또는 주체의 이동으로부터 생길 수 있다. 분명한 선명도는 이미지의 첨예도(acutance)(즉, 에지 콘트라스트)를 가리킬 수 있다. 첨예도는 공간에 대한 휘도의 파생(derivative)의 진폭과 관련된다. 첨예도가 더 높은 이미지는 더 선명하게 나타날 수 있고, 이미지가 첨예도가 더 낮은 이미지보다 더 높은 해상도 또는 액츄얼 선명도를 갖지 않더라도 사용자에게 더 관심을 끌 수 있다. 언샤프 마스킹(unsharp masking)과 같은 이미지 처리 기법들은 이미지들에서 첨예도를 증가시킬 수 있지만 동시에 액츄얼 선명도를 감소시킬 수 있다. 액츄얼 및 분명한 선명도 중 어느 하나 또는 둘다를 평가하여 검출이 흐릿한지를 결정할 수 있다.

프로세스(400)는 또한 검출이 잠재적 피부톤을 표현하는지를 결정할 수 있다(404). 피부톤은 예를 들어, 주체의 색소, 조명 및 카메라 노출에 의해 이미지들에서 결정되는 바와 같은 사람의 피부 색의 범위에 대응하는 색일 수 있다. 예를 들어, 밝은 녹색을 표현하는 검출은 얼굴에 대응할 것 같지 않다.

프로세스(400)는 검출 신뢰가 비교적 높은지를 결정함으로써 계속한다(406). 결정은 검출 신뢰를 표현하는 값을 미리 결정된 값들과 비교하는 것에 기초할 수 있다. 예를 들어, 1000은 검출이 얼굴을 표현하는 최고 신뢰를 표현할 수 있다. 800보다 높은 신뢰값들은 높다고 결정될 수 있다.

검출 신뢰가 높으면, 프로세스(400)는 계속하며, 검출이 유효한지에 대한 평가(412)를 예상하여, 신뢰에 비해 적게 선명도 및 피부톤 테스트들을 가중화한다(weight)(408). 검출 신뢰가 높으면, 프로세스(400)는 계속하며, 또한, 검출이 유효한지에 대한 평가(412)를 예상하여, 신뢰에 비해 많게 선명도 및 피부톤 테스트들을 가중화한다(410).

프로세스(400)는 검출이 유효한지를 결정함으로써 계속한다(412). 결정은 신뢰값 및 선명도 및 피부톤 테스트들의 결과들에 기초하여 행해질 수 있다. 신뢰값이 높은 것으로 결정되면(406), 선명도 및 피부톤 테스트들은 결정에서 적게 가중화될 수 있다(408). 반대로, 신뢰값이 낮은 것으로 결정되면(406), 선명도 및 피부톤 테스트들은 결정에서 많게 가중화될 수 있다(410). 예시적인 프로세스(400)는 검출 신뢰가 높은 것(406)에 대해서 이진 결정을 이용하지만, 일부 구현들은 상대값들에 기초하여 그래픽 테스트들의 결과들 및 검출 신뢰를 비례하여 감안할 수 있다. 결과는 그래픽 테스트들에 주어진 가중치가 의존하는 슬라이딩 스케일(sliding scale)일 수 있고, 여기서 검출 신뢰는 저(low)에서 고(high)로의 스케일에 의존한다(예를 들어, 최고 신뢰에서, 테스트는 신뢰에 비해 매우 적게 가중화된다).

선명도 및 피부톤 테스트들에 부가하여, 일부 구현들은 검출이 올바른지를 결정함에 있어서 다른 인자들을 이용할 수 있다. 예를 들어, 검출 엔진은 검출된 얼굴이 이미지에 대해 나타나는 각도에 관한 정보를 제공할 수 있다. 이미지가 다수의 얼굴을 표현하고, 얼굴들 중 하나가 다른 얼굴들에 대해 뒤집힌(upside down) 경우, 뒤집힌 검출은 유효하다고 고려될 가능성이 없을 수 있다. 올바른 검출을 고려하여 드물게 발생하는 환경과 같은 다른 인자들은 결정에 영향을 미칠 수 있다.

프로세스(400)는 유효하지 않은 것으로 결정된(412) 검출을 제거(414)함으로써 계속한다. 제거는 예를 들어, 메모리로부터 검출을 삭제하는 것, 검출을 억제 표시(suppression indication)와 연관시키는 것, 또는 거짓 긍정들(false positives)의 리스트에 검출을 저장하는 것을 포함할 수 있다.

검출이 유효한 것으로 결정된 경우(412) 또는 무효 검출이 제거된 후(414), 프로세스(400)는 종료된다.

도 4b는 예시적인 상관 제거 프로세스(450)를 도시하는 흐름도이다. 이미지는 이미지가 다른 이미지들을 또한 나타내는 개인에 대응하는 얼굴을 표현한다는 표시들에 기초하여 다른 이미지들과 상관될 수 있다. 상관들을 검사하는 것은 발생할 가능성이 없는 상황들을 밝히고 상관들을 제거하기 위한 근거를 제공할 수 있다. 이롭게도, 가능성이 없는 것으로 결정된 상관들을 제거하는 것은 사용자들에게 제공된 정보의 품질을 향상시킬 수 있다. 예를 들어, 동일한 이미지에 나타나는 2개의 얼굴은 동일한 개인에 상관될 수 있다. 이미지들은 동일한 개인에 대응하는 2개의 얼굴들을 드물게 표현하기 때문에, (예를 들어, 식별 신뢰 스코어(identification confidence score)에 의해 결정되는 바와 같이) 가능성이 적은 상관을 제거하는 것은 무효일 것 같은 상관을 제거하는 결과를 가져올 수 있다. 그러므로, 제거는 전반적으로 상관들의 정확성을 향상시킬 수 있다.

상관 제거 프로세스(450)는 얼굴들을 상관시킴으로써 개시될 수 있다(452). 일반적으로, 얼굴들을 상관시키는 것은 얼굴을 잠재적으로 식별하는 이미지 내의 특징들을 추출하는 것을 포함할 수 있다. 특징들은 그 다음에 어느 얼굴들이 동일한 사람에 대응하는지를 식별하기 위해 다른 얼굴들의 특징들과 비교될 수 있다. 특히, 상관시키는 것은 2개 이상의 얼굴에 동일한 얼굴 키(예를 들어, 고유 식별자)를 부여하는 것을 포함할 수 있다. 잠재적으로, 동일한 얼굴 키를 갖는 각각의 얼굴은 동일한 개인에 대응한다. 동일한 얼굴 키를 갖는 얼굴들의 그룹은 버킷이라고 칭할 수 있다. 상관시키는 것은 또한 얼굴에 대한 원조 이미지를 식별하기 위해 각각의 얼굴에 이미지 키를 부여하는 것을 포함할 수 있다. 일부 구현들에서, 얼굴들을 상관시키는 것(402)은 이미지별로 발생한다. 그렇게 하는 것은 버킷들이 업데이트되기 전에 무효 상관들이 제거될 수 있게 할 수 있다.

얼굴들을 상관시키는 것은 또한 사용자에 의해 행해질 수 있다. 예를 들어, 사용자는 그래픽 얼굴을 식별할 수 있다. 얼굴은 이미 상이한 개인의 것으로 생각되고 사용자에 의해 제공된 정보와 부합하지 않는 버킷에 그룹화될 수 있다.

상관들은 검사될 수 있다(454). 상관들을 검사하는 것은 얼굴 키들과 이미지 키들을 비교하는 것을 포함할 수 있다. 검사에 의해 결과적으로 가능성이 없는 상관들을 발견할 수 있다. 특정 상관들이 가능성이 없다고 결정되면(456), 상관들은 제거될 수 있다(458). 제거는 메모리로부터 상관을 삭제하는 것, 상관을 억제 표시와 연관시키는 것, 또는 거짓 긍정들의 리스트에 상관을 저장하는 것을 포함할 수 있다. 상관이 가능성이 없는 것이 아니라고 결정된 경우(456) 또는 가능성이 없는 상관들이 제거된 경우(458), 프로세스(450)는 종료된다.

예를 들어, 얼굴들을 상관시키는 것은 동일한 이미지로부터의 2개의 얼굴들에 동일한 얼굴 키가 할당되게 하는 결과를 가져올 수 있다. 이미지가 동일한 개인에 대응하는 2개의 얼굴들을 표현하는 경우가 드물기 때문에, 가능성이 적은 상관(예를 들어, 신뢰값에 의해 결정됨)은 제거될 수 있다. 또한, (예를 들어, 상관 시스템에 의해 할당되는 바와 같이) 얼굴이 버킷에 속하지만, 그 후 사용자에 의해 제거되는 경우, 버킷에 남아있는 얼굴들은 또한 잘못 상관될 수 있고, 예를 들어 재평가될 수 있다.

도 5는 상관된 얼굴들을 디스플레이하기 위한 예시적인 사용자 인터페이스(502)의 도면이다. 사용자는 사용자 인터페이스(502)에 디스플레이된 하나 이상의 이미지들에 묘사된 얼굴들에 관한 정보를 제공할 수 있다. 사용자에 의해 제공된 이러한 긍정 식별(positive identification)은 하나 이상의 개인들의 이미지들을 그룹화하는 것에 기초할 수 있다. 또한, 상관 시스템은 사용자가 정보를 제공하지 않은 다른 이미지들이 미지의 개인을 표현할 가능성이 있다고 결정할 수 있다. 이미지들을 긍정으로 식별된 이미지들의 그룹에 부가하기보다는, 상관된 이미지들은 사용자 인터페이스의 별개의 영역에 제공될 수 있다. 이롭게도, 사용자는 상관 시스템의 결정들을 수락할 필요가 없는 동시에 자동 상관의 이득을 얻을 수 있다.

사용자 인터페이스(502)는 사용자가 상관 시스템으로부터 정보를 수신할 수 있게 한다. 사용자 인터페이스(502)는 사용자에게 제시되는 그래픽, 텍스트, 및/또는 청각 정보를 포함할 수 있고, 사용자로부터 제어 시퀀스들(예를 들어, 컴퓨터 키보드를 이용한 키스트로크, 컴퓨터 마우스의 이동, 및 터치스크린을 이용한 선택)이 수신되는 메커니즘을 포함할 수 있다. 사용자 인터페이스(502)는 그래픽 사용자 인터페이스(GUI)일 수 있고, 컴퓨터 키보드 및 마우스와 같은 디바이스들을 통해 입력을 수락할 수 있고, 컴퓨터 디스플레이(예를 들어, 액정 디스플레이(LCD) 모니터)와 같은 하나 이상의 출력 디바이스 상에 그래픽 출력을 제공할 수 있다. 사용자 인터페이스(502)는 또한 웹 기반 사용자 인터페이스 또는 웹 사용자 인터페이스(WUI)일 수 있고, 인터넷을 통해 전송되고 웹 브라우저(예를 들어, 마이크로소프트 인터넷 익스플로러)를 이용하여 사용자에 의해 보여지는 웹 페이지들을 생성함으로써 입력을 수락하고 출력을 제공할 수 있다. 사용자 인터페이스(502)는 또한 다른 형태의 출력을 햅틱 피드백으로 보조하거나 대체하는 택틸 인터페이스를 포함하도록 구현될 수 있다. 사용자 인터페이스(502)는 또한 결합된 입력 및 출력 디바이스로서 터치스크린 디스플레이를 이용하는 터치 인터페이스일 수 있거나, 터치 인터페이스를 포함할 수 있다.

사용자 인터페이스(502)에 표현된 메뉴(516)는 사용자가 상관 시스템의 얼굴-디스플레이 기능(face-display functionality)에 액세스하는 방법을 제공할 수 있다. 예를 들어, 사용자는 메뉴(516)에서 얼굴들 옵션(518)을 클릭할 수 있고 시스템(도시되지 않음)에 이미 이용가능한 개인들의 리스트를 받는다. 또한, 사용자는 개인의 얼굴을 포함하는 이미지들을 보기 위해 개인들의 리스트로부터 개인을 선택할 수 있다. 또한, 얼굴들 옵션(518)이 선택될 때, 사용자 인터페이스는 시스템에 표현된 개인들 중 하나 이상을 디스플레이할 수 있다.

사용자 인터페이스(502)의 얼굴 디스플레이 영역(512)은 주어진 개인과 연관된 하나 이상의 이미지를 포함할 수 있다. 예시적인 얼굴 디스플레이 영역(512)은 제임스라는 이름이 붙은 개인과 연관되고, 제임스에 대응하는 2개의 이미지(504 및 506)를 포함한다. 영역(512)은 개인의 0(예를 들어, 개인에 대한 프로파일이 생성되었지만 어떠한 대응하는 이미지들도 식별되지 않은 경우), 1, 또는 많은 이미지들을 포함할 수 있다. 또한, 이미지들(504 및 506) 중 하나 또는 둘다는 제임스로서 사용자에 의해 긍정적으로 식별된 얼굴들을 포함할 수 있다. 얼굴들이 사용자에 의해 긍정적으로 식별되는 것에 부가하여, 영역(512)은 또한 사용자로부터의 입력 없이 상관 시스템에 의해 식별된 얼굴들(예를 들어, 높은 신뢰도로 시스템에 의해 식별된 얼굴들)을 포함할 수 있다.

상관 디스플레이 영역(514)은 상관 시스템이 얼굴 디스플레이 영역(512)에 포함된 이미지들에 디스플레이된 동일한 개인을 표현할 가능성이 있다고 결정한 하나 이상의 이미지들을 포함할 수 있다. 사용자는 제임스에 대응하는 이미지들 중 하나 이상을 긍정적으로 식별할 수 있다. 사용자는 또한 각각의 이미지의 각각의 얼굴을 긍정적으로 식별할 필요 없이 개인의 이미지들을 더 많이 보는 편리한 방법으로서 영역(514)에 시스템 식별 이미지들을 단순히 남길 수 있다. 이것은 사용자가 그들의 컴퓨터에 수천개의 이미지들을 가질 수 있다고 고려할 때 상당한 시간 절약을 허용할 수 있다. 예를 들어, 사용자가 제임스에 대응하는 것으로서 이미지(508)의 얼굴을 결코 긍정적으로 식별하지 않았더라도 이미지(508)는 제임스의 다른 이미지들과 함께 디스플레이되는 제임스의 이미지일 수 있다. 대안적으로, 이미지(510)는 제임스가 아닌 얼굴을 표현할 수 있고, 사용자는 제임스의 것이 아닌 것으로 얼굴을 부정적으로 식별할 수 있다. 이러한 방법으로, 다수의 결정을 올바르게 행하는 상관 시스템들에 대해, 사용자는 일부 얼굴들을 긍정적으로 식별하고 나서 후속하여 맞지 않는 이미지들을 단지 부정적으로 식별함으로써 부가적인 시간 절약을 할 수 있다.

상관 디스플레이 영역(514)을 위한 이미지들은 버킷들을 이용하여 선택될 수 있다. 예를 들어, 버킷의 얼굴이 긍정적으로 식별되면, 버킷의 남아있는 얼굴들은 상관 디스플레이 영역(514)에 디스플레이될 수 있는데, 그 이유는 남아있는 얼굴들은 동일한 개인에 대응한다고 생각되기 때문이다.

도 6a는 사용자 입력을 수신하기 위한 예시적인 사용자 인터페이스(602)의 도면이다. 일반적으로, 시스템이 이미지에서 얼굴을 찾았다는 것과 시스템이 그 얼굴에 대응하는 사람을 잠재적으로 식별했다는 것을 둘다 표시하는 사용자 인터페이스가 제공될 수 있다.

사용자 인터페이스(602)는 사람(606)의 얼굴을 포함하는 이미지를 디스플레이할 수 있다. 직사각형 또는 다른 그러한 윤곽과 같은 마커(604)를 이용하여 이미지에서 얼굴이 있는 것으로 생각되는 곳을 표시할 수 있다. 사용자 인터페이스(602)는 사람의 신원(예를 들어, 제임스)을 확인하거나 또는 그렇지 않으면 정보를 식별하는 것을 제공하는 대화 상자(608)를 통해 입력을 제공하도록 사용자를 프롬프트(prompt)할 수 있다. 일부 구현들에서, 대화 상자(608)는 사용자가 얼굴이 제임스에 속하는지를 표시할 수 있도록 "예" 옵션(610) 및 "아니오" 옵션(612)을 포함할 수 있다. 상관 시스템이 묘사된 사람(606)의 신원에 관해 매우 신뢰할 때 확인 옵션들(610 및 612)만을 제공하는 대화 상자(608)가 제공될 수 있다. 사용자가 옵션들(610 및 612) 중 하나를 선택할 때, 상관 시스템은 미래에 더 정확한 상관을 수행하기 위해 정보를 이용할 수 있다(즉, 그것으로부터 학습할 수 있다). 시스템은 또한 새로운 정보에 기초하여 이미 행해진 결정들을 재평가할 수 있다.

도 6b는 사용자 입력을 수신하기 위한 예시적인 사용자 인터페이스(652)의 도면이다. 일반적으로, 사용자 인터페이스(652)는 시스템이 이미지에서 얼굴을 찾았다고 표시하도록 그리고 얼굴의 하나 이상의 잠재적인 신원들을 제안하도록 구성될 수 있다.

사용자 인터페이스(652)는 사람(656)의 얼굴을 포함하는 이미지를 디스플레이할 수 있다. 마커(654)를 이용하여 이미지에서 얼굴이 위치된 것으로 생각되는 곳을 표시할 수 있다. 사용자 인터페이스(652)는 얼굴이 아직 식별되지 않았음을 표시하고 시스템에 하나 이상의 잠재적인 매치들(matches)의 이름들을 제안하는 대화 상자(658)를 통해 사용자로부터 입력을 요청할 수 있다. 예를 들어, 대화 상자(658)는 이름 및 제임스와 연관된 작은 썸네일(thumbnail) 또는 다른 그러한 아이콘을 도시하는 선택가능한 "제임스" 옵션(660)을 포함할 수 있다. 시스템이 또한 얼굴이 윌리엄에 속할 수 있다고 생각하는 경우, 선택가능한 윌리엄 옵션(662)이 제공될 수 있다. 이미지에 묘사된 사람이 아직 시스템에 식별되지 않은 경우, 새로운 사람 생성 옵션(664)이 제공될 수 있다. 새로운 사람 생성 옵션(664)을 선택하면, 사용자는 후속하여 이미지들을 그룹화하는 데 이용될 수 있는 프로파일을 생성하기 위해 이미지에 대응하는 개인의 이름 및 임의의 다른 정보를 입력할 수 있다. 대화 상자(608)는 또한 사용자가 표현된 개인에 대응하는 입력을 제공하기를 원하지 않는 경우에 무시 옵션(668)을 포함할 수 있다.

도 6c는 사용자 입력을 수신하기 위한 예시적인 사용자 인터페이스(672)의 도면이다. 일반적으로, 사용자 인터페이스(672)는 얼굴의 신원에 관한 입력을 수신하도록 구성될 수 있다.

사용자 인터페이스(672)는 사람(676)의 얼굴을 포함하는 이미지를 디스플레이할 수 있다. 얼굴은 상관 시스템에 의해 또는 사용자에 의해 이미지에 배치될 수 있다. 예를 들어, 사용자는 시스템이 이미지에서 얼굴을 발견하지 않은 경우에 사람(676)의 얼굴을 클릭할 수 있다. 이러한 경우, 시스템은 자동 인식을 위해 생기는 정보를 갖지 않을 것이다. 그러나, 사용자에 의한 얼굴의 위치의 표시 후에, 시스템은 그 위치를 이용하여 분석 프로세스를 재-실행할 수 있다. 프로세스는 사용자가 얼굴이 영역에 존재한다고 표시하였기 때문에 잠재적으로 얼굴의 존재에 관해 적은 신뢰를 요구할 수 있다. 얼굴은 또한 예를 들어, 사용자 입력 없이 시스템에 로드되는 것에 응답하여 시스템에 의해 검출될 수 있다.

마커(674)는 이미지에서 특정 얼굴을 표시하는 데 이용될 수 있다. 마커(674)는 이미지가 다수의 얼굴을 표현할 때 얼굴을 다른 얼굴들과 구별할 수 있다. 사용자는 마커(674)와 연관된 X(680)를 클릭함으로써 마커(674)를 끝낼 수 있다. 사용자는 예를 들어, 시스템이 얼굴을 실제로 표현하지 않는 어떤 것을 얼굴로서 올바르지 않게 식별할 때 마커(674)를 끝내고자 할 수 있다.

사용자 인터페이스(672)는 대화 상자(678)를 통해 사용자로부터 입력을 요구할 수 있다. 예를 들어, 시스템은 개인이 시스템에 알려져 있지 않을 때 입력을 요구할 수 있다. 사용자가 텍스트 상자(682)에 타이핑하기 시작할 때, 시스템은 사용자가 타이핑한 것과 매칭되는 시스템의 사람들을 나열하는 옵션 메뉴(684)를 제공할 수 있다. 예를 들어, 사용자가 텍스트 상자(682)에 "ja"를 타이핑하면, 시스템은 "Jack" 및 "James"를 나열하는 옵션 메뉴(684)를 제공할 수 있으며, 그 이유는 두 이름이 사용자에 의해 타이핑된 "ja"와 매칭되기 때문이다. 사용자는 그 다음에 이름에 의해 사람(676)을 식별하기 위해, 잭이라는 이름(686)과 같은 이름들 중 하나를 클릭할 수 있다. 대화 상자(678)는 예를 들어 사용자가 얼굴 마커(674)와 연관된 X(680)를 클릭함으로써 사용자가 이름을 입력하지 않고 끝낼 수 있다. 대화 상자(678)는 또한 상단 우측 코너의 X(도시되지 않음)와 같은, 끝내기 위한 메커니즘을 포함할 수 있다.

도 7은 하나 이상의 앨범을 생성하기 위한 예시적인 사용자 인터페이스(702)의 도면이다. 앨범은 특정 개인 또는 개인들의 그룹과 같은, 주제에 기초하는 이미지들의 그룹일 수 있다. 예를 들어, 부모는 두 아이들을 보여주는 이미지들의 앨범(즉, "앤드(and)" 앨범)을 만들 수 있다. 그러므로, 앨범의 각각의 이미지는 두 아이들을 표현한다. 추가로, 부모는 또한 두 아이들 중 어느 한 명을 보여주는 이미지들의 앨범(즉, "오어(or)" 앨범)을 만들 수 있다. 그러므로, 앨범의 각각의 이미지는 두 아이들 중 적어도 한 명을 표현한다.

사용자 인터페이스(702)는 사용자가 사용자 인터페이스(702) 내에서 네비게이트(navigate)할 수 있도록 구성된 메뉴(704)를 포함할 수 있다. 사용자 인터페이스(702)는 또한 2개의 식별된 개인들(708 및 710)과 같은 하나 이상의 개인들을 포함할 수 있다. 제임스 앨범(708)은 그의 이름, "제임스" 및 그가 사진에 나와 있는 이미지들(예를 들어, 사진들)의 수, 즉 14를 제공하는 정보(712)를 가지고 도시된다. 제임스 앨범(708)을 위한 커버 이미지(713)가 또한 디스플레이될 수 있다. 커버 이미지는 검출된 얼굴의 이미지 품질 또는 이미지가 보여진 횟수와 같은 하나 이상의 기준에 기초하여 자동으로 선택되거나 사용자에 의해 선택될 수 있다. 버트 앨범(710)이 유사하게 그의 이름 및 앨범에 포함된 이미지들(예를 들어, 사진들)의 수를 제공하는 정보(714)를 가지고 도시된다.

동작에서, 제임스 앨범(708) 및 버트 앨범(710) 둘다로부터의 이미지들을 포함하는 새로운 스마트 앨범을 생성하기 위해서, 사용자는 제임스 앨범(708)을 메뉴의 스마트 앨범 영역(706)으로 드래그(716)해서 제임스 앨범(708)을 드롭할 수 있다. 사용자는 또한 버트 앨범(710)을 스마트 앨범 영역(706)으로 드래그(718)해서 마찬가지로 거기에 버트 앨범(710)을 드롭할 수 있다. 앨범들(708 및 710)을 둘다 드래그함으로써, 시스템은 두 사람을 함께 포함하는 사진들의 앨범 또는 어느 한 사람을 포함하는 사진들의 앨범을 생성할 수 있다. 이름 붙은 개인과 연관된 앨범이 스마트 앨범 영역(706)에 드롭될 때, 한 타입의 앨범 또는 다른 타입의 앨범이 디폴트로 생성될 수 있다. 대안적으로, 사용자는 생성될 앨범의 타입을 선택하도록 프롬프트될 수 있다.

도 8은 사용자 입력을 수신하기 위한 예시적인 사용자 인터페이스(802)의 도면이다. 일반적으로, 상관 시스템은 동일한 사람을 함께 단일 버킷에 표현하는 것으로 생각되는 이미지들을 그룹화할 수 있다. 동일한 사람의 이미지들을 각각 포함하는 2개의 버킷들을 결합하는 것과 같이, 버킷들을 수정하기 위한 사용자 인터페이스(802)가 제공될 수 있다. 일부 구현들은 도 8에 도시된 버킷 개념을 포함하지만 버킷들을 수정하거나 달리 버킷들과 상호작용하기 위한 사용자 인터페이스(예를 들어, 사용자 인터페이스(802))를 포함하지 않는다.

사용자 인터페이스(802)는 사용자 인터페이스(802)를 네비게이트하기 위한 메뉴(818)를 포함할 수 있다. 메뉴(818)에서 버킷 옵션(820)을 선택함으로써, 하나 이상의 버킷들을 수정하기 위한 인터페이스(802)가 디스플레이되게 할 수 있다. 예를 들어, 상관 프로세스는 3개의 버킷(804, 806 및 808)을 생성할 수 있다. 사용자는 특정 사람(예를 들어, 제임스)의 이미지들을 갖는 것으로서 제1 버킷(804)을 식별할 수 있다. 인터페이스(802)는 이름 및 제1 버킷(804)의 이미지들(예를 들어, 사진들)의 수와 같은 이름 붙은 개인에 관한 정보(810)를 디스플레이할 수 있다. 제1 버킷(804)은 또한 개인을 디스플레이하는 아이콘(822)을 포함할 수 있다. 유사하게, 인터페이스(802)는 제2 버킷(806)에 대응하는 아이콘(824) 및 정보(812)와 제3 버킷(808)에 대응하는 아이콘(826) 및 정보(814)를 디스플레이할 수 있다.

동작에서, 사용자는 제3 버킷(808)을 제1 버킷(804)과 같은 다른 버킷으로 드래그(816)하여 버킷들을 병합할 수 있다. 2개의 이미지 그룹들을 통합하는 것에 부가하여, 제1 버킷(804)을 제3 버킷(808)과 병합하는 것은 또한 시스템에 부가적인 정보를 제공할 수 있다. 예를 들어, 시스템은 제3 버킷(808)에 포함된 부가적인 이미지들에 기초하여 제임스와 연관된 인식 기준을 개선할 수 있다. 2개의 버킷들이 모순되게 이름 붙여진 경우, 표준 병합 규칙들이 이용될 수 있다(예를 들어, 사용자에게 결과로 생긴 병합된 버킷을 위해 어느 이름이 올바른지를 선택하도록 요구하는 것)

도 9는 예시적인 상관 기법들을 도시한 도면이다. 이미지들을 버킷들로 그룹화함으로써, 상관 시스템은 버킷의 개별 멤버들에 관해 알려진 정보로부터 전체적으로 버킷에 관해 결정하기 위해 귀납 추론을 이용할 수 있다.

이미지들의 그룹(902)이 상관 시스템에 의해 처리될 수 있다. 이미지들의 그룹(902)은 개인들의 얼굴들을 표현할 수 있다. 상관 프로세스(904) 동안, 이미지들의 그룹(902)은 분할되어 버킷들(906, 908 또는 910)에 할당될 수 있다. 이미지들의 그룹(902)의 각각의 이미지는 버킷들(906, 908, 및 910) 중 하나와 같은 버킷에 할당된다. 잠재적으로, (예를 들어, 이미지가 둘 이상의 사람들을 표현하는 경우) 이미지들의 그룹(902) 중 하나 이상이 복수의 버킷들에 할당될 수 있다.

상관(904) 후에, 버킷 A(906)은 이미지 1(912), 이미지 3(914), 이미지 4(916), 및 이미지 5(918)를 포함한다. 이미지들 각각은 임계 신뢰 레벨에 기초하여 동일한 개인의 얼굴을 표현한다. 또한, 버킷 B(908)는 이미지 2(920), 이미지 6(922), 및 이미지 8(924)을 포함한다. 부가적으로, 버킷 C(910)는 이미지 7(926) 및 이미지 9(928)를 포함한다. 버킷들(906, 908, 및 910) 각각은 동일한 상관 기준에 기초하여 생성될 수 있다.

동작에서, 상관 시스템은 사용자에게 이미지 1(912)을 제시(930)할 수 있다. 사용자는 이미지 1(912)을 보도록 요구할 수 있거나 또는 이미지 1(912)로 프롬프트될 수 있다. 일단 이미지 1(912)이 제시되었다면, 사용자는 응답할 수 있다(934). 응답하는 것은 예를 들어, 사용자 인터페이스를 통해 사용자에게 제시된 대화 상자(예를 들어, 도 6b에 도시된 대화 상자(658))에서 옵션을 클릭하는 것을 포함할 수 있다. 응답하는 것은 또한 이미지 1(912)에서의 얼굴의 긍정 식별(ID)(932)을 포함할 수 있다. 긍정 ID(932)는 그 다음에 예를 들어, 이미지 3(914)이 동일한 개인의 것이라고 결정하는 데 이용될 수 있다. 그러므로, 구축된 신뢰 레벨에 기초하여, 버킷의 하나의 이미지의 식별은 그 버킷의 남아있는 이미지들의 각각을 식별하는 데 이용될 수 있다. 유사하게, 상관 시스템은 사용자에게 이미지 7(926)을 제시할 수 있다(942). 사용자는 응답하고(946) 이미지 7(926)의 얼굴의 긍정 ID(944)를 제공할 수 있다. 긍정 ID(944)는 그 다음에 예를 들어, 이미지 9(928)가 식별(944)에서 신원이 확인된 동일한 개인의 것이라고 결정하는 데 이용될 수 있다.

또한, 상관 시스템은 사용자에게 이미지 2(920)를 제시할 수 있다(936). 사용자는 응답하고(940), 이미지 2(920)의 얼굴이 특정 개인의 것이 아니라고 표시하는 부정 ID(938)를 제공한다. ID(938)는 이미지 6(922)은 또한 식별된(938) 개인의 것이 아니라고 결정하는 데 이용될 수 있다.

상관 시스템은 또한 추가 결정을 하기 위해 사용자에 의해 제공되는 긍정 및 부정 정보 중 하나 또는 둘다를 결합할 수 있다. 예를 들어, 긍정 ID들(932 및 944)이 동일한 개인에 대한 것이면, 이미지 9(928) 및 이미지 3(914)은 잠재적으로 동일한 개인이라고 결정될 수 있다. 또한, 부정 ID(938)가 긍정 ID(932)와 동일한 개인에 대한 것이면, 이미지 6(922)은 이미지 3(914)에 도시된 동일한 개인이 아닐 가능성이 있다고 결정될 수 있다.

도 10은 앨범 커버의 선택을 도시하는 도면이다. 앨범은 주제에 기초한 이미지들의 그룹일 수 있다. 예를 들어, 이름 붙은 개인은 개인의 모든 이미지들(1034)의 앨범(1002)을 가질 수 있다. 사용자는 앨범으로부터 이미지들(1004) 중 하나(예를 들어, 앨범을 그래픽적으로 식별하는 데 이용되는 이미지)를 커버로 선택할 수 있다. 대안적으로, 앨범 커버는 제1 이미지와 같이, 앨범(1002)으로부터 자동으로 선택될 수 있다. 그러나, 사용자가 이미지를 선택하지 않았을 때, 제1 이미지는 커버로 사용하기 위한 사람의 최상의 표현이 아닐 수 있다. 그러므로, 만족스러운 커버 이미지는 사용자 입력 없이 이미지들을 특징화하는(characterizing) 데이터에 기초하여 선택될 수 있다. 일부 구현들에서, 커버 이미지는 또한 앨범과 연관된 개인의 얼굴을 강조하기 위해 자동으로 크롭(crop) 될 수 있다.

동작에서, 커버는 앨범(1002)의 이미지들(1034)에 관해 알려진 정보를 이용하여 선택될 수 있다. 예를 들어, 이미지(1004)는 이미지 데이터(1006)를 포함할 수 있다. 그래픽 데이터(1012), 메타데이터(1020), 및 분석 데이터(1028)와 같은 복수의 타입의 이미지 데이터(1006)가 존재할 수 있다. 그래픽 데이터(1012)는 이미지의 해상도(1008) 및 이미지에 표현된 얼굴의 선명도(1010)를 포함할 수 있다. 더 높은 해상도의 이미지는 낮은 해상도의 이미지보다 더 잘 볼 수 있다. 유사하게, 선명한(예를 들어, 초점이 맞는) 얼굴은 흐린 얼굴보다 더 잘 볼 수 있다.

메타데이터(1020)는 이미지가 촬영된 일자(1014), 등급(1016), 및 웹 포스팅의 로그(1018)를 포함할 수 있다. 일자(1014)는 이미지가 앨범의 다른 이미지들에 대해 그리고 시간적으로 비교적 최근의 것인지를 결정하는 데 이용될 수 있다. 등급(1016)은 이미지의 하나 이상의 사용자 평가를 표시하는 등급일 수 있다. 웹 포스팅 로그(1018)는 예를 들어, 사용자가 소셜 네트워크 웹사이트에 이미지를 업로드하는 것에 관한 정보를 포함할 수 있으며, 이것은 또한 사용자가 이미지에 대해 더 높게 생각하는 것을 표시할 수 있다.

분석 데이터(1028)는 이미지(1004)에서의 다른 얼굴들로부터의 거리(1022), (예를 들어, 인식 또는 검출의) 신뢰(1024), 및 얼굴 각도(1026)를 포함할 수 있다. 거리(1022)는 얼굴이 커버를 위해 자동으로 크롭 될 때 도움을 줄 수 있다. 얼굴이 하나 이상의 다른 얼굴에 매우 근접한 경우, 자동 크롭에 의해 다른 누군가의 얼굴의 일부분이 커버에 표현되게 되거나 또는 주체의 얼굴이 매우 타이트하게 크롭될 수 있다. 신뢰(1024)는 얼굴이 문제의 주체에 실제로 대응할 가능성을 표시할 수 있다. 그러므로, 앨범 커버는 사용자에 의해 긍정적으로 식별된 얼굴보다는 주체의 얼굴을 표현하기 위해 상관 시스템에 의해 결정된 이미지일 수 있다. 또한, 이미지가 사용자에 의해 긍정적으로 식별되더라도, 신뢰(1024)는 이미지가 앨범(1002)의 다른 것들과 얼마나 근접하게 상관되었는지를 평가함으로써 이미지가 개인을 표현하는지를 결정하는 것을 도울 수 있다. 또한, 얼굴 각도(1026)는 예를 들어, 옆모습(profile)보다는 뷰어와 바로 마주보고 있는 얼굴을 선택하는 것을 돕는 데 이용될 수 있다.

앨범의 다양한 이미지들(1034)은 예를 들어, 이미지들의 각각에 대한 이미지 데이터의 성분들을 이용하여 비교될 수 있다(1030). 비교(1030)에 기초하여, 시각적으로 흥미를 끌고 이미지들(1034)의 그룹을 표현하는 커버가 선택될 수 있다(1032).

본 명세서에 설명된 요지 및 기능 동작들의 구현들은 전자 회로, 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어, 또는 그의 조합들 또는 등가물들로 구현될 수 있다. 요지는 머신 판독 가능한 저장 디바이스 또는 머신 판독 가능한 저장 매체를 포함하는, 디바이스 또는 매체에 유형으로 구체화되는 하나 이상의 컴퓨터 프로그램들과 같은 하나 이상의 컴퓨터 프로그램 제품들로서 구현될 수 있다. 머신 판독 가능하다는 것은 광을 이용하여 판독 가능한 기질(substrate)에 행해진 광학적으로 판독 가능한 물리적 마크들을 수반하는 것과 같은 광학적으로 판독 가능하다는 것을 포함한다. 머신 판독 가능하다는 것은 또한 자기적으로 해석 가능한 저장, 또는 자기화 가능한 재료에 행해진 물리적 패턴들을 수반하는 레코딩을 포함한다. 컴퓨터 프로그램 제품들은 하나 이상의 프로세서 또는 컴퓨터를 포함하는 데이터 처리 장치의 동작을 제어하기 위해 또는 그에 의한 실행을 위해 이용될 수 있다. 데이터 처리 장치는 하드웨어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 및 오퍼레이팅 시스템 중 임의의 것을 포함할 수 있다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드라고도 알려짐)은 컴파일 또는 인터프리트 언어를 포함하는 프로그래밍 언어로 기입될 수 있고, 스탠드 얼론 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛으로서 포함하는 다양한 형태로 배치될 수 있다. 컴퓨터 프로그램은 반드시 파일에 대응하지는 않는다. 컴퓨터 프로그램은 다른 프로그램들 또는 데이터를 홀드하는 파일의 일부분에, 문제의 프로그램에 전용인 단일 파일에, 또는 복수의 코디네이트된(coordinated) 파일들(예를 들어, 하나 이상의 모듈, 서브-프로그램, 또는 코드의 부분들)에 저장될 수 있다. 컴퓨터 프로그램은 한 사이트(site)에서 또는 복수의 사이트에 걸쳐 분산되고 네트워크 또는 네트워크들의 인터네트워크(예를 들어, 인터넷)와 같은 통신 네트워크에 의해 상호접속된 복수의 컴퓨터 또는 하나의 컴퓨터 상에서 실행될 수 있다.

본 명세서에 설명된 프로세스들 및 로직 플로우들은 입력 데이터에 대해 동작하고 출력을 생성하는 컴퓨터 프로그램 제품들에 의해 수행될 수 있다. 컴퓨터 프로그램 제품의 실행에 적합한 프로세서들은 범용 및 특수용 마이크로프로세서들, 및 하나 이상의 컴퓨터 프로세서들을 포함한다. 프로세서는 판독 전용 메모리, 랜덤 액세스 메모리, 또는 둘다로부터 명령어들 및 데이터를 수신하고, 검색하고, 실행할 수 있다.

컴퓨터는 명령어들을 실행하기 위한 프로세서 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스를 포함할 수 있다. 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들어, 자기, 광자기 디스크, 또는 광 디스크를 포함할 수 있거나, 이로부터 데이터를 수신하거나 이에 데이터를 전송하거나 둘다를 하도록 동작가능하게 결합될 수 있다. 컴퓨터는 모바일 전화기, 디지털 카메라, 디지털 스캐너, 디지털 비디오 레코더, PDA(personal digital assistant), 모바일 오디오 플레이어, 또는 GPS(Global Positioning System) 수신기와 같은 다른 디바이스로 구체화될 수 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하기에 적합한 머신 판독 가능한 저장 디바이스들 또는 저장 매체는 반도체 메모리 디바이스들(예를 들어, EPROM, EEPROM, 및 플래시 메모리 디바이스들)과 같은 불휘발성 메모리, 자기 디스크(예를 들어, 내부 하드 디스크 또는 착탈식 디스크), 광자기 디스크, 및 CD-ROM 및 DVD-ROM 디스크를 포함할 수 있다. 프로세서 및 메모리는 특수용 로직 회로에 의해 보조되거나 또는 거기에 통합될 수 있다.

사용자 상호작용은 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스, 예를 들어, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터 및 사용자가 입력을 제공할 수 있는 임의의 형태의 입력 디바이스, 예를 들어, 키보드 및 포인팅 디바이스, 예를 들어, 마우스 또는 트랙볼을 갖는 컴퓨터 또는 다른 디바이스에서 구현될 수 있다. 다른 종류의 디바이스들이 사용자에게 또한 상호작용을 제공하는 데 이용될 수 있고, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백, 예를 들어, 시각적 피드백, 청각적 피드백, 또는 햅틱 피드백일 수 있고, 사용자로부터의 입력은 청각, 음성, 또는 햅틱 입력을 포함하여 임의의 형태로 수신될 수 있다.

다수의 구현들이 본원에 개시되었다. 그렇기는 하지만, 청구항들의 사상 및 범위로부터 벗어나지 않고 다양한 수정이 행해질 수 있다는 것을 이해할 것이다. 따라서, 다른 구현들은 다음의 청구항들의 범위 내에 있다.

Claims

이미지들을 구조화하기 위한 컴퓨터 구현 방법(computer-implemented method)으로서,
사람 얼굴의 표현(representation)을 포함하는 이미지를 수신하는 단계;
상기 사람 얼굴이 사람 얼굴을 포함하는 하나 이상의 프로파일 이미지와 연관된 저장된 얼굴 프로파일에 대응할 가능성을 표시하는 상관값을 생성하는 단계;
상기 수신된 이미지 및 상기 생성된 상관값을 평가하여, 상기 평가의 결과에 따라, 상기 이미지가 상기 저장된 얼굴 프로파일에 대응하는지를 결정하는 단계;
상기 수신된 이미지를 상기 저장된 얼굴 프로파일과 연관시키는 단계; 및
상기 연관의 표시(indication)를 저장하는 단계
를 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 상관값은 상기 이미지가 다른 저장된 얼굴 프로파일에 대응하는 것을 표시하며, 평가하는 단계는 상기 이미지의 제1 메타데이터 및 상기 하나 이상의 프로파일 이미지의 제2 메타데이터를 평가하는 단계를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 어드레스 북 애플리케이션(address book application)으로부터 상기 하나 이상의 프로파일 이미지 및 상기 하나 이상의 프로파일 이미지와 연관된 프로파일 정보를 취득하는 단계; 및
상기 하나 이상의 프로파일 이미지 및 상기 프로파일 정보에 기초하여 상기 저장된 얼굴 프로파일을 생성하는 단계
를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 평가에 기초하여, 상기 사람 얼굴이 상기 저장된 얼굴 프로파일에 대응한다는 확인을 위해 사용자를 프롬프트(prompting)하는 단계; 및
상기 프롬프트에 응답하여, 상기 사람 얼굴이 상기 저장된 얼굴 프로파일에 대응한다는 확인을 수락하는 단계
를 더 포함하는 컴퓨터 구현 방법.
제4항에 있어서, 수락하는 단계는 긍정 응답 옵션 및 부정 응답 옵션을 갖는 사용자 인터페이스를 통해 수락하는 단계를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 이미지가 사람 얼굴을 표현할 가능성이 90 퍼센트보다 낮음을 표시하는 검출 정보에 액세스하는 단계;
상기 이미지가 피부톤 색들 및 선명한 이미지 디테일들을 묘사하는 것을 구축하는 단계; 및
상기 구축에 기초하여, 상기 이미지가 사람 얼굴을 표현하는 것을 확인하는 단계
를 더 포함하는 컴퓨터 구현 방법.
제6항에 있어서, 상기 검출 정보, 상기 이미지, 또는 상기 상관값 중 하나 이상에 기초하여 키 이미지(key image)로서 상기 이미지를 선택하는 단계; 및
상기 저장된 얼굴 프로파일을 위한 아이콘으로서 상기 키 이미지를 디스플레이하는 단계
를 더 포함하는 컴퓨터 구현 방법.
제7항에 있어서, 상기 이미지는 상기 이미지의 선명도 표시, 캡처 날짜, 또는 이미지 해상도 중 하나 이상을 포함하는 컴퓨터 구현 방법.
제7항에 있어서, 상기 검출 정보는 상기 사람 얼굴로부터 상기 이미지에 묘사된 다른 사람 얼굴까지의 거리, 또는 상기 이미지에 대한 상기 사람 얼굴의 각도 중 하나 이상을 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 사람 얼굴은 제1 사람 얼굴을 포함하고,
상기 컴퓨터 구현 방법은,
상기 이미지에 표현된 제2 사람 얼굴과 상기 저장된 얼굴 프로파일 사이의 잠재적 관련성(potential correspondence)을 도출하는 단계; 및
상기 저장된 얼굴 프로파일에 대응하는 상기 제1 사람 얼굴 및 상기 상관값에 기초하여 상기 도출된 잠재적 관련성을 무시하는 단계
를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 사람 얼굴들을 표현하는 선별되지 않은(unsorted) 이미지들, 선별되지 않은 이미지 정보, 및 상기 사람 얼굴들이 상기 저장된 얼굴 프로파일에 대응할 가능성을 표시하는 선별되지 않은 상관값들을 수신하는 단계;
초기 상관값 임계값을 구축하는 단계;
상기 초기 상관값 임계값 및 상기 선별되지 않은 상관값들에 기초하여 상기 선별되지 않은 이미지들을 그룹화하는 단계;
함께 그룹화된 선별되지 않은 이미지들의 양 및 선별되지 않은 이미지들의 그룹들의 총 개수에 기초하여 수정된 상관 임계값을 도출하는 단계;
상기 수정된 상관 임계값 및 상기 선별되지 않은 상관값들에 기초하여 상기 선별되지 않은 이미지들을 재그룹화하는 단계; 및
상기 재그룹화에 기초하여 선별되지 않은 이미지들의 하나 이상의 그룹을 상기 저장된 얼굴 프로파일과 연관시키는 단계
를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 저장된 얼굴 프로파일은 제1 저장된 얼굴 프로파일을 포함하고, 상기 사람 얼굴은 제1 사람 얼굴을 포함하고,
상기 컴퓨터 구현 방법은,
상기 제1 저장된 얼굴 프로파일 및 제2 저장된 얼굴 프로파일을 사용자 인터페이스에 제시하는 단계 - 상기 제2 저장된 얼굴 프로파일은 제2 사람 얼굴을 표현하는 하나 이상의 이미지를 포함함 -;
상기 제1 저장된 얼굴 프로파일을 상기 제2 저장된 얼굴 프로파일과 연관시키는 표시를 상기 사용자 인터페이스에 수신하는 단계; 및
상기 제1 저장된 얼굴 프로파일 및 상기 제2 저장된 얼굴 프로파일로부터 하나 이상의 프로파일 이미지를 포함하는 결합된 앨범을 생성하는 단계
를 더 포함하는 컴퓨터 구현 방법.
시스템으로서,
사용자 인터페이스 디바이스;
실행 가능한 소프트웨어 명령어들 및 이미지 데이터를 저장하도록 동작가능한 저장 디바이스; 및
상기 사용자 인터페이스 디바이스 및 상기 저장 디바이스와 상호작용하도록동작가능한 하나 이상의 컴퓨터
를 포함하고,
상기 하나 이상의 컴퓨터는,
사람 얼굴의 표현을 포함하는 이미지를 수신하는 동작;
상기 사람 얼굴이 사람 얼굴을 포함하는 하나 이상의 프로파일 이미지와 연관된 저장된 얼굴 프로파일에 대응할 가능성을 표시하는 상관값을 생성하는 동작;
상기 수신된 이미지 및 상기 생성된 상관값을 평가하여, 상기 평가의 결과에 따라, 상기 이미지가 상기 저장된 얼굴 프로파일에 대응하는지를 결정하는 동작; 및
상기 수신된 이미지를 상기 저장된 얼굴 프로파일과 연관시켜서, 상기 사용자 인터페이스 디바이스를 이용하여 디스플레이하는 동작
을 수행하도록 동작가능한 시스템.
제13항에 있어서, 데이터를 수신하도록 동작가능한 외부 입력을 더 포함하고, 상기 외부 입력은 상기 외부 입력을 통해 상기 하나 이상의 프로파일 이미지 및 상기 하나 이상의 프로파일 이미지와 연관된 프로파일 정보를 취득하는 동작을 포함하는 입력 동작들을 수행하도록 동작가능한 시스템.
제14항에 있어서, 상기 동작들은 상기 취득된 하나 이상의 프로파일 이미지 및 상기 프로파일 정보에 기초하여 상기 저장된 얼굴 프로파일을 생성하는 동작을 더 포함하는 시스템.
제14항에 있어서, 상기 외부 입력은 어드레스 북 애플리케이션으로부터 상기 하나 이상의 프로파일 이미지 및 상기 프로파일 정보를 취득하기 위한 어드레스 북 애플리케이션 어댑터를 포함하는 시스템.
제13항에 있어서, 상기 동작들은,
상기 결정에 기초하여, 상기 사람 얼굴이 상기 저장된 얼굴 프로파일에 대응한다는 확인을 위해 상기 사용자 인터페이스 디바이스를 통해 사용자를 프롬프트하는 동작; 및
상기 프롬프트에 응답하여, 상기 사람 얼굴이 상기 저장된 얼굴 프로파일에 대응한다는 확인을 상기 사용자 인터페이스 디바이스를 통해 수락하는 동작
을 더 포함하는 시스템.
제13항에 있어서, 상기 동작들은,
상기 이미지 또는 상기 상관값 중 하나 이상에 기초하여 키 이미지로서 상기 이미지를 선택하는 동작; 및
상기 저장된 얼굴 프로파일과 연관하여 아이콘으로서 상기 키 이미지를 디스플레이하는 동작
을 더 포함하는 시스템.
제18항에 있어서, 상기 이미지는 상기 이미지의 선명도 표시, 캡처 날짜, 또는 이미지 해상도 중 하나 이상을 포함하는 시스템.
제13항에 있어서, 상기 사람 얼굴은 제1 사람 얼굴을 포함하고,
상기 동작들은,
상기 이미지에 표현된 제2 사람 얼굴과 상기 저장된 얼굴 프로파일 사이의 잠재적 관련성(potential correspondence)을 도출하는 동작; 및
상기 저장된 얼굴 프로파일에 대응하는 상기 제1 사람 얼굴 및 상기 상관값에 기초하여 상기 도출된 잠재적 관련성을 무시하는 동작
을 더 포함하는 시스템.
제13항에 있어서, 상기 사람 얼굴들이 상기 저장된 얼굴 프로파일에 대응할 가능성을 표시하는 연관된 상관값들을 갖는 사람 얼굴들을 표현하는 선별되지 않은 이미지들을 수신하는 동작;
초기 상관값 임계값을 구축하는 동작;
상기 초기 상관값 임계값 및 상기 연관된 상관값들에 기초하여 상기 선별되지 않은 이미지들을 그룹화하는 동작;
함께 그룹화된 선별되지 않은 이미지들의 개수 및 선별되지 않은 이미지들의 그룹들의 총 개수에 기초하여 수정된 상관 임계값을 도출하는 동작;
상기 수정된 상관 임계값 및 상기 선별되지 않은 상관값들에 기초하여 상기 선별되지 않은 이미지들을 재그룹화하는 동작; 및
상기 재그룹화에 기초하여 선별되지 않은 이미지들의 하나 이상의 그룹을 상기 저장된 얼굴 프로파일과 연관시키는 동작
을 더 포함하는 시스템.
제13항에 있어서, 상기 저장된 얼굴 프로파일은 제1 저장된 얼굴 프로파일을 포함하고, 상기 사람 얼굴은 제1 사람 얼굴을 포함하고, 상기 시스템은,
상기 제1 저장된 얼굴 프로파일 및 제2 저장된 얼굴 프로파일을 상기 사용자 인터페이스 디바이스를 통해 제시하는 동작 - 상기 제2 저장된 얼굴 프로파일은 제2 사람 얼굴을 표현하는 하나 이상의 이미지를 포함함 -;
상기 제1 저장된 얼굴 프로파일을 상기 제2 저장된 얼굴 프로파일과 연관시키는 표시를 상기 사용자 인터페이스 디바이스를 통해 수신하는 동작; 및
상기 제1 저장된 얼굴 프로파일 및 상기 제2 저장된 얼굴 프로파일로부터 하나 이상의 프로파일 이미지를 포함하는 결합된 앨범을 생성하는 동작
을 더 포함하는 시스템.
얼굴들을 상관시킴으로써 이미지들을 구조화하기 위한 컴퓨터 판독 가능한 명령어들을 갖는 컴퓨터 이용 가능한 매체를 포함하는 컴퓨터 프로그램 제품으로서,
상기 컴퓨터 프로그램 제품은, 컴퓨터 시스템으로 하여금,
사람 얼굴을 포함하는 이미지를 수신하게 하고,
상기 사람 얼굴이 얼굴 프로파일에 대응할 가능성을 표시하는 상관값을 생성하게 하고,
상기 이미지 및 상기 얼굴 프로파일을 이용하여, 상기 이미지가 상기 얼굴 프로파일에 대응한다고 결정하게 하고,
상기 이미지를 상기 얼굴 프로파일과 연관하여 저장하게 하도록 구성된 컴퓨터 판독 가능한 명령어 디바이스들을 포함하는 컴퓨터 프로그램 제품.
제23항에 있어서, 상기 컴퓨터 시스템으로 하여금,
상기 사람 얼굴이 상기 얼굴 프로파일에 대응한다는 확인을 위해 사용자를 프롬프트하게 하고,
프롬프트에 응답하여, 상기 사람 얼굴이 상기 얼굴 프로파일에 대응한다는 확인을 수락하게 하도록 구성된 컴퓨터 판독 가능한 명령어들을 더 포함하는 컴퓨터 프로그램 제품.
제23항에 있어서, 상기 사람 얼굴은 제1 사람 얼굴을 포함하고, 상기 컴퓨터 프로그램은, 상기 컴퓨터 시스템으로 하여금,
상기 이미지에 표현된 제2 사람 얼굴과 상기 얼굴 프로파일 사이의 잠재적 관련성을 도출하게 하고,
상기 얼굴 프로파일에 대응하는 상기 제1 사람 얼굴 및 상기 상관값에 기초하여 상기 도출된 잠재적 관련성을 무시하게 하도록 구성된 컴퓨터 판독 가능한 명령어들을 더 포함하는 컴퓨터 프로그램 제품.
제23항에 있어서, 상기 컴퓨터 시스템으로 하여금,
사람 얼굴들을 표현하는 선별되지 않은 이미지들, 선별되지 않은 이미지 정보, 및 상기 사람 얼굴들이 상기 얼굴 프로파일에 대응할 가능성을 표시하는 선별되지 않은 상관값들을 수신하게 하고,
초기 상관값 임계값을 구축하게 하고,
상기 초기 상관값 임계값 및 상기 선별되지 않은 상관값들에 기초하여 상기 선별되지 않은 이미지들을 그룹화하게 하고,
함께 그룹화된 선별되지 않은 이미지들의 양 및 선별되지 않은 이미지들의 그룹들의 총 개수에 기초하여 수정된 상관 임계값을 도출하게 하고,
상기 수정된 상관 임계값 및 상기 선별되지 않은 상관값들에 기초하여 상기 선별되지 않은 이미지들을 재그룹화하게 하고,
상기 재그룹화에 기초하여 선별되지 않은 이미지들의 하나 이상의 그룹을 상기 얼굴 프로파일과 연관시키게 하도록 구성된 컴퓨터 판독 가능한 명령어들을 더 포함하는 컴퓨터 프로그램 제품.
제23항에 있어서, 상기 얼굴 프로파일은 제1 얼굴 프로파일을 포함하고, 상기 사람 얼굴은 제1 사람 얼굴을 포함하고, 상기 컴퓨터 프로그램은,
상기 제1 얼굴 프로파일 및 제2 얼굴 프로파일을 사용자 인터페이스에 제시하게 하고 - 상기 제2 얼굴 프로파일은 제2 사람 얼굴을 표현하는 하나 이상의 이미지를 포함함 -;
상기 제1 얼굴 프로파일을 상기 제2 얼굴 프로파일과 연관시키는 표시를 상기 사용자 인터페이스에서 수신하게 하고,
상기 제1 얼굴 프로파일 및 상기 제2 얼굴 프로파일로부터 하나 이상의 프로파일 이미지를 포함하는 결합된 앨범을 생성하게 하도록 구성된 컴퓨터 판독 가능한 명령어들을 더 포함하는 컴퓨터 프로그램 제품.
제23항에 있어서, 상기 컴퓨터 시스템으로 하여금,
상기 사람 얼굴을 표현하는 하나 이상의 프로파일 이미지를 수신하게 하고,
상기 하나 이상의 프로파일 이미지를 상기 얼굴 프로파일과 연관시키게 하도록 구성된 컴퓨터 판독 가능한 명령어들을 더 포함하는 컴퓨터 프로그램 제품.
제28항에 있어서, 결정하게 하는 것은, 상기 상관값이 상기 이미지가 상기 얼굴 프로파일 이외의 것에 대응한다는 것 및 제1 메타데이터를 포함하는 상기 이미지 정보가 상기 하나 이상의 프로파일 이미지와 연관된 제2 메타데이터에 대응한다는 것을 표시한다고 결정하게 하는 것을 포함하는 컴퓨터 프로그램 제품.
제28항에 있어서, 상기 컴퓨터 시스템으로 하여금,
외부 소스로부터 상기 하나 이상의 프로파일 이미지 및 상기 하나 이상의 프로파일 이미지와 연관된 프로파일 정보를 취득하게 하고,
상기 하나 이상의 프로파일 이미지 및 상기 프로파일 정보에 기초하여 상기 얼굴 프로파일을 생성하게 하도록 구성된 컴퓨터 판독 가능한 명령어들을 더 포함하는 컴퓨터 프로그램 제품.
제30항에 있어서, 상기 외부 소스는 사용자 인터페이스를 포함하는 컴퓨터 프로그램 제품.
제30항에 있어서, 상기 외부 소스는 어드레스 북 애플리케이션을 포함하는 컴퓨터 프로그램 제품.
제23항에 있어서, 상기 이미지가 사람 얼굴을 표현할 가능성이 90 퍼센트보다 낮음을 표시하는 검출 정보에 액세스하는 것;
상기 이미지가 피부톤 색들 및 선명한 이미지 디테일들을 묘사하는 것을 구축하는 것; 및
상기 구축에 기초하여, 상기 이미지가 사람 얼굴을 표현하는 것을 확인하는 것을 더 포함하는 컴퓨터 프로그램 제품.
제33항에 있어서, 상기 컴퓨터 시스템으로 하여금,
상기 이미지 정보, 상기 검출 정보, 또는 상기 상관값 중 하나 이상에 기초하여 키 이미지로서 상기 이미지를 선택하게 하고,
상기 얼굴 프로파일과 연관하여 아이콘으로서 상기 키 이미지를 디스플레이하게 하도록 구성된 컴퓨터 판독 가능한 명령어들을 더 포함하는 컴퓨터 프로그램 제품.
제33항에 있어서, 상기 이미지 정보는 캡처 날짜를 포함하는 컴퓨터 프로그램 제품.
제33항에 있어서, 상기 검출 정보는 상기 이미지에 대한 상기 사람 얼굴의 각도를 포함하는 컴퓨터 프로그램 제품.