KR101387147B1 - 얼굴 인식을 이용한 이미지 식별 - Google Patents

얼굴 인식을 이용한 이미지 식별 Download PDF

Info

Publication number
KR101387147B1
KR101387147B1 KR1020097013584A KR20097013584A KR101387147B1 KR 101387147 B1 KR101387147 B1 KR 101387147B1 KR 1020097013584 A KR1020097013584 A KR 1020097013584A KR 20097013584 A KR20097013584 A KR 20097013584A KR 101387147 B1 KR101387147 B1 KR 101387147B1
Authority
KR
South Korea
Prior art keywords
images
face
named entity
image
faces
Prior art date
Application number
KR1020097013584A
Other languages
English (en)
Other versions
KR20090088424A (ko
Inventor
제이 야그닉
Original Assignee
구글 잉크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 잉크. filed Critical 구글 잉크.
Publication of KR20090088424A publication Critical patent/KR20090088424A/ko
Application granted granted Critical
Publication of KR101387147B1 publication Critical patent/KR101387147B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

본 발명의 방법은 명명된 엔티티를 식별하고, 그 명명된 엔티티와 연관된 이미지들을 검색하며, 검색된 이미지들에서 얼굴들을 검출하기 위하여 검색된 이미지들에 대해 얼굴 검출을 수행하기 위해 얼굴 검출 알고리즘을 이용하는 것을 포함한다. 검색된 이미지들로부터 적어도 하나의 대표 얼굴 이미지가 식별되며, 이 대표 얼굴 이미지를 이용하여 적어도 하나의 명명된 엔티티를 나타내는 하나 이상의 추가 이미지들을 식별한다.

Description

얼굴 인식을 이용한 이미지 식별{IDENTIFYING IMAGES USING FACE RECOGNITION}
본 개시물은 이미지 인식에 관한 것이다.
유명인과 같은 사람들의 이름은 월드 와이드 웹("웹")과 같은 광범위한 콘텐츠 컬렉션 검색에서 인기 있는 쿼리(query)이다. 종래의 검색 시스템에서, 사람에 대한 쿼리에 응답하는 검색 결과들은 그 쿼리에서 식별되는 사람의 이미지를 포함할 수 있다. 검색 결과들이, 쿼리에 응답하여 적합한 콘텐츠를 식별하고 반환시키도록, 콘텐츠는 검색 쿼리와 연관되어야 한다. 예를 들어, 사람의 이름을 포함하는 검색 쿼리와 연관된 이미지들을 식별하기 위해서는, 그 사람의 이름을 포함하기 위해 메타데이터, 태그 등과 같은 것들을 통해 이미지들이 그 사람에 대해 키잉(key)되는 것이 요구된다. 안타깝게도, 비디오 콘텐츠로부터의 스크린 샷 및 사진을 포함하여, 웹을 통해 입수 가능한 것들과 같은 광범위한 컬렉션에 있는 이미지들은 통상적으로 키잉되어 있지 않으며 사진에 있는 사람의 이름과 연관된 정보를 포함하지 않을 수 있다. 이에 따라, 종래의 검색 시스템은 개인의 이름을 포함하는 검색 쿼리에 응답하여 이러한 키잉되어 있지 않은(un-keyed) 이미지들을 식별할 수 없다.
일 양태에 따라, 방법이 개시된다. 이 방법은, 적어도 하나의 명명된 엔티티(named entity)를 식별하고, 적어도 하나의 명명된 엔티티와 연관된 이미지들을 검색하며, 검색된 이미지들에서 얼굴을 검출하기 위해 검색된 이미지들에 대해 얼굴 검출을 수행하는 것을 포함하는데, 상기 얼굴 검출은 얼굴 검출 알고리즘을 이용하여 수행된다. 이 방법은, 검색된 이미지들로부터 적어도 하나의 대표 얼굴 이미지를 식별하고, 적어도 하나의 명명된 엔티티를 나타내는 하나 이상의 추가 이미지들을 식별하기 위해 그 적어도 하나의 대표 얼굴 이미지를 이용하는 것을 더 포함할 수 있다.
아래의 특징들 중 하나 이상이 또한 포함될 수 있다. 이 방법은, 적어도 하나의 명명된 엔티티를 포함하는, 사용자로부터의 검색 쿼리를 수신하는 것을 포함할 수 있고, 그 검색 쿼리에 기초하여, 하나 이상의 추가 이미지들을 포함하는 검색 결과를 발생시키는 것을 포함할 수 있다. 적어도 하나의 명명된 엔티티는 사람의 이름일 수 있다. 적어도 하나의 명명된 엔티티를 식별하는 것은, 쿼리 로그 또는 웹 문서로부터 적어도 하나의 명명된 엔티티를 식별하는 것을 포함할 수 있다. 또한, 적어도 하나의 명명된 엔티티와 연관된 이미지들을 검색하는 것은, 적어도 하나의 명명된 엔티티와 연관된 복수의 이미지들을 식별하기 위하여 이미지 검색을 실행하는 것을 포함할 수 있다.
이 방법은 또한, 검색된 이미지들에서 검출된 얼굴에 대해 얼굴 매칭을 수행하는 것을 포함할 수 있는데, 이 얼굴 매칭을 수행하는 것은, 적어도 하나의 명명된 엔티티와 연관된 특정한 얼굴 이미지에 매치되는 얼굴들을 식별하기 위해 각각의 검출된 얼굴을 각각의 검출된 다른 얼굴과 비교하는 것을 포함한다. 특정한 얼굴 이미지에 매치되는 얼굴의 수가 또한 결정될 수 있다. 또한, 이 방법은, 특정한 얼굴 이미지에 매치되는 얼굴들의 미리 결정된 수를 문턱값과 비교하는 것, 및/또는 검색된 이미지들에서 검출된 가장 많은 수의 다른 얼굴에 매치되는, 검색된 이미지들에서 검출된 얼굴을 판정하는 것을 포함할 수 있다.
적어도 하나의 명명된 엔티티와 연관된 특정한 얼굴 이미지에 매치되는 검출된 얼굴 각각을 포함하는, 얼굴 이미지의 트레이닝 세트(training set)가 발생될 수 있다. 그 얼굴 이미지의 트레이닝 세트로부터 하나 이상의 얼굴 모델들이 발생될 수 있으며, 이 얼굴 모델들은 적어도 하나의 명명된 엔티티의 명칭의 적어도 일부로 라벨링될 수 있다. 하나 이상의 추가 이미지들을 식별하기 위해 적어도 하나의 얼굴 모델이 이용될 수 있는데, 이는 하나 이상의 추가 이미지들을 식별하기 위해 얼굴 모델과 한 컬렉션의 이미지들을 비교하는 것을 포함할 수 있다. 추가로, 이 방법은, 하나 이상의 추가 이미지들을 적어도 하나의 명명된 엔티티와 연관시키는 것을 포함할 수 있다.
일반적 양태 및 특정 양태는, 시스템, 방법, 컴퓨터 프로그램, 또는 상기 시스템, 방법, 및 컴퓨터 프로그램의 임의의 조합을 이용하여 구현될 수 있다.
이제 첨부한 도면들에 대한 참조가 행해질 것이며, 이 도면들은 반드시 실측대로 도시된 것은 아니다.
도 1은 예증적 실시예에 따른 예시적 이미지 식별 시스템을 보여주는 도면이다.
도 2는 예증적 실시예에 따른 도 1의 이미지 식별 시스템의 서버를 보여주는 도면이다.
도 3은 예증적 실시예에 따른 도 1의 이미지 식별 시스템의 요소들을 도시한 기능 블럭도이다.
도 4는 예증적 실시예에 따른 예시적 이미지 식별 시스템에 의해 구현되는 방법을 보여주는 블럭 흐름도이다.
도 5는 예증적 실시예에 따른 예시적 이미지 식별 시스템에 의해 구현되는 방법을 보여주는 블럭 흐름도이다.
본 개시물은, 실시예 전체가 아닌 그 일부가 도시되어 있는 첨부한 도면을 참조하여 이후부터 더 완전히 기술될 것이다. 실제로, 이러한 실시예들은 많은 상이한 형태로 구현될 수 있으며, 본 명세서에 기술되는 실시예들로 한정되는 것으로 간주되어서는 안된다. 유사한 참조 번호는 전반적으로 유사한 요소를 언급한다.
후속하여, 개인 또는 다른 식별 가능한 이미지 요소와 연관된 이미지들을 식별하고, 이미지에 나타난 개인(또는 요소)의 이름으로 그 식별된 이미지를 라벨링할 수 있는 시스템, 방법, 및 컴퓨터 프로그램 제품이 기술된다. 예로서, 사람의 이름과 연관된 이미지 검색, 및 동일한 사람과 연관된 추가 이미지를 식별하는데 사용될 수 있는 얼굴 모델을 구축하기 위해 검색 결과들을 이용하는 것을 제공하는 실시예들이 기술된다. 이는 메타데이터, 태그, 또는 이미지로 사람을 식별하는 다른 정보와 사전에 연관되어 있지 않았던 이미지들의 식별을 허용한다. 이미지의 라벨링은, 유명인의 이름을 포함하는 사용자 쿼리와 같은, 사용자 쿼리에 대한 포괄적인 검색 결과를 제공하는 기능을 제공한다. 본 명세서에 기술되는 실시예들은 자동화될 수 있으며, 또한 최신의 데이터베이스 및/또는 이미지 기록을 유지하는데 이용될 수 있다. 여기서 참조되는 바와 같이, 이미지들은 .jpegs, .gifs., .bmps 등과 같은 정지 사진, 및 비디오로부터 취해진 스크린 샷 또는 정지 이미지를 포함한다. 추가로, 본 개시물이 웹 사이트에 관련된 검색에 초점을 맞추지만, 실시예들은 또한 임의의 기계 판독 가능한 문서 또는 기계 저장 가능한 문서를 검색하는데 적용될 수 있다.
도 1을 참조하면, 예증적 실시예에 따른 예시적 이미지 식별 시스템(100)이 도시된다. 시스템(100)은 하나 이상의 네트워크(140)들을 통해 서버(120)와 통신하는 클라이언트들(110a, 110b, 110c, ... 11Ox)을 포함한다. 클라이언트들(110a, 110b, 110c, ... 11Ox)은 개인 컴퓨터, 무선 텔레폰, 개인 휴대 정보 단말기(PDA), 랩탑 컴퓨터, 또는 다른 종류의 컴퓨테이션, 통신, 또는 전자 장치와 같은 장치, 이러한 장치들 중 하나 상에서 실행되는 스레드 또는 프로세스, 및/또는 이러한 장치들 중 하나에 의해 실행 가능한 객체를 포함할 수 있다. 복수의 클라이언트들(110a, 110b, 110c, ... 11Ox) 및 단일 서버(120)가 도 1에 도시되어 있지만, 더 많은 서버 그리고 더 많거나 또는 더 적은 클라이언트들이 존재할 수 있다. 예를 들어, 서버(120)가 컴퓨터 프로세서 및/또는 서버의 네트워크와 같은 몇몇 장치들 을 대신할 수 있도록, 서버(120)에 의해 수행되는 기능들 중 일부는 하나 이상의 다른 서버들에 의해 수행될 수 있다. 추가로, 몇몇 실시예들에서, 클라이언트는 서버(120)의 기능을 수행할 수 있고, 서버(120)는 클라이언트 기능을 수행할 수 있다.
이미지 식별 시스템(100)은 또한, 하나 이상의 네트워크(140)들을 통해 서버(120)와 통신할 수 있는, 하나 이상의 웹 문서들(145, 150) 및 검색 쿼리 로그(155)를 포함한다. 웹 문서들(145, 150) 및/또는 검색 쿼리 로그(155)는 하나 이상의 서버 또는 컴퓨터(도시 생략) 상에 존재할 수 있다. 일 실시예에 따라, 웹 문서들(145, 150) 및/또는 검색 쿼리 로그(155) 중 하나 이상은 클라이언트들(110a, 110b, 110c, ... 11Ox) 중 하나 이상의 클라이언트 상에 존재할 수 있다. 웹 문서들(145, 150) 및 검색 쿼리 로그(155)는 사용자의 검색 쿼리의 객체일 수 있는 사람의 이름을 포함할 수 있다. 웹 문서들은 또한, 검색 쿼리의 객체인 사람의 사진을 포함할 수 있는 이미지를 포함할 수 있다. 이미지들은 텍스트, 메타데이터, 태그, 또는 이미지의 콘텐츠를 식별하는 다른 정보, 예컨대 사진 속의 사람 또는 사람들의 아이덴티티(즉, 이름)와 연관될 수 있거나 또는 연관되지 않을 수도 있다.
서버(120)는 정보를 수집, 처리, 유지, 관리하고 및/또는 사용자에게 검색 결과를 제공하는 하나 이상의 서버들을 포함할 수 있다. 예시적 실시예에서, 서버(120)는 사람과 같은 명명된 엔티티와 연관된 이미지들을 검색하는 이미지 수집 시스템(125)을 포함할 수 있으며, 이러한 이미지들은 클라이언트들(110a, 110b, 110c, ... 11Ox)의 웹 문서 액세스와 함께 보여질 수 있다. 서버(120)는 또한, 얼 굴 검출 시스템(135)을 포함할 수 있다. 얼굴 검출 시스템(135)은 얼굴 검출 알고리즘을 실행할 수 있고, 이미지들을 식별하고 그 이미지들을 명명된 엔티티와 연관시키기 위하여 추가 프로세스를 수행할 수 있다. 서버(120)는 또한, 명명된 엔티티를 포함하는 검색 쿼리와 같은, 사용자로부터의 검색 쿼리를 수신하고, 검색 결과를 사용자에게 제공하는 쿼리 시스템(127)을 포함할 수 있다. 일 실시예에 따라, 검색 쿼리의 객체인 명명된 엔티티를 나타내는 이미지들이 원래는 텍스트, 메타데이터, 태그, 또는 사용자에 의해 제출된 검색 쿼리에 응답하는 적합한 결과로서 이미지를 식별하는 다른 정보와 연관되지 않을지라도, 검색 결과는 그 이미지를 포함한다.
네트워크(들)(140)은 하나 이상의 근거리 통신망(LAN), 광역 통신망(WAN), 공중 교환 텔레폰 네트워크(PSTN, Public Switched Telephone Network)와 같은 텔레폰 네트워크, 인트라넷, 인터넷, 및/또는 다른 종류의 네트워크를 포함할 수 있다. 클라이언트들(110a, 110b, 110c, ... 11Ox), 서버(120), 웹 문서(145, 150), 및/또는 검색 쿼리 로그(155)는 무선, 유선, 또는 광 접속 또는 다른 접속을 통해 네트워크(들)(140)에 접속할 수 있다. 대안적인 실시예에서, 도 1에 도시된 장치들 중 하나 이상은 그 장치들 중 다른 한 장치에 직접적으로 접속된다. 예를 들어, 일 실시예에서, 검색 쿼리 로그(155) 또는 하나 이상의 클라이언트들(110a, 110b, 110c, ... 11Ox)은 서버(120)에 직접적으로 접속될 수 있다.
도 2는 예증적 실시예에 따른 도 1의 서버(120)를 도시한다. 서버(120)는 버스(210), 프로세서(220), 메인 메모리(230), 판독 전용 메모리(ROM)(240), 저장 장 치(250), 하나 이상의 입력 장치(260), 하나 이상의 출력 장치(270), 및 통신 인터페이스(280)를 포함할 수 있다. 서버 컴포넌트들은, 전체적으로 또는 부분적으로, 이미지 수집 시스템(125), 얼굴 검출 시스템(135), 및/또는 쿼리 시스템(127)을 구현할 수 있다.
버스(210)는 서버(120)의 컴포넌트들 사이의 통신을 허용하는 하나 이상의 경로들을 포함할 수 있다. 프로세서(220)는 임의의 종류의 종래의 프로세서, 마이크로프로세서, 또는 명령어를 번역하고 실행하는 처리 로직을 포함한다. 메인 메모리(230)는 랜덤 액세스 메모리(RAM), 또는 정보 및 프로세서(220)에 의해 실행되기 위한 명령어를 저장하는 다른 종류의 동적 저장 장치를 포함할 수 있다. ROM(240)은 종래의 ROM 장치, 또는 예컨대 운영체계를 포함하여, 정적 정보 및 프로세서(220)에 의해 사용되기 위한 명령어들을 저장하는 다른 한 가지 형태의 정적 저장 장치를 포함할 수 있다. 추가로, 저장 장치(250)는 자기 기록 매체 및/또는 광 기록 매체 및 그에 대응하는 드라이브를 포함할 수 있다.
서버(120)는 또한, 키보드, 마우스, 펜, 음성 인식과 같은, 사용자가 서버(120)에 정보를 입력하는 것을 허용하는 하나 이상의 종래의 메커니즘 및/또는 생체 인식(biometric) 메커니즘 등을 갖는 입력 장치(260)를 포함할 수 있다. 출력 장치(270)는 디스플레이, 프린터, 스피커 등과 같은, 사용자에게 정보를 출력하는 하나 이상의 종래의 메커니즘을 포함한다. 통신 인터페이스(280)는 서버(120)가 다른 장치 및/또는 시스템과 통신하는 것을 가능하게 하는 임의의 트랜시버 유형의 메커니즘을 포함할 수 있다. 예를 들어, 통신 인터페이스(280)는 네트워크(들 )(140)과 같은 하나 이상의 네트워크들을 통해 다른 장치 또는 시스템과 통신하기 위한 메커니즘을 포함할 수 있다.
구동시, 서버(120)는 이미지 및 얼굴 모델을 포함하여, 개개의 웹 문서들과 연관된 데이터를 저장할 수 있고, 클라이언트들(110a, 110b, 110c, ... 11Ox)로부터의 입력에 기초하여 검색을 수행할 수 있다. 서버(120)는 또한, 사람의 이름과 연관된 이미지들을 검색할 수 있고, 검색 결과를 이용하여, 동일한 사람과 연관된 추가 이미지들을 식별하는데 사용될 수 있는 얼굴 모델을 구축할 수 있다. 이는 메타데이터, 태그, 또는 이미지로 사람을 식별하는 다른 콘텐츠와 사전에 연관되지 않은 이미지들에 대한 서버의 자동화된 식별을 용이하게 하고, 서버(120)가 사용자 쿼리에 대한 포괄적인 검색 결과를 제공하는 것을 허용한다. 서버(120)는 또한, 최신의 데이터베이스, 및/또는 얼굴 모델 비교를 이용하여 개인과 연관된 바와 같이 식별된 이미지들의 기록을 자동으로 유지할 수 있다.
일 실시예에서, 서버(120)는 메모리(230)와 같은 컴퓨터 판독 가능한 매체에 포함된 소프트웨어 명령어들을 실행하는 프로세서(220)에 응답하여 이러한 동작들을 수행한다. 소프트웨어 명령어는 데이터 저장 장치(250)와 같은 다른 컴퓨터 판독 가능한 매체로부터, 또는 통신 인터페이스(280)를 통해 다른 장치로부터 메모리(230)로 판독될 수 있다. 메모리(230)에 포함된 소프트웨어 명령어는 프로세서(220)로 하여금 본 개시물에 기술되어 있는 프로세스들을 수행하게 한다. 대안으로서, 본 개시물에 부합하는 프로세스들을 구현하기 위해 하드와이어드 회로가 소프트웨어 명령어 대신에 사용되거나 또는 소프트웨어와 조합하여 사용될 수 있다. 따라서, 실시예들은 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 한정되지 않는다.
도 3은 예증적 실시예에 따른, 도 1에 도시되어 있는 이미지 식별 시스템(100)의 요소들의 블럭도이다. 서버(120)는 이미지 수집 시스템(125), 얼굴 검출 시스템(135), 및 쿼리 시스템(127)을 포함할 수 있다. 도 3에 도시된 로직 블럭들은 소프트웨어, 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 또한, 기능 블럭 각각은 하나 이상의 컴퓨터 프로세서, 스레드, 및/또는 객체를 나타낼 수 있다. 대안적인 실시예들에서, 도 3의 블럭들 중 하나에 의해 수행되는 기능들은 다른 블럭에 의해 수행될 수 있다는 것을 또한 이해해야 한다. 또 다른 실시예에서, 단일 로직 블럭/처리 장치는 이미지 수집 시스템(125), 얼굴 검출 시스템(135), 및 쿼리 시스템(127)의 기능 모두를 수행할 수 있다.
서버(120)는 명명된 엔티티 검색 요청과 같은 쿼리 요청을 서버(120)에 제출하기 위해, 하나 이상의 사용자들에 의해 이용될 수 있는 쿼리 시스템(127)을 포함한다. 예를 들어, 쿼리 시스템(127)은 "존 도우"라는 이름의 사람의 이미지들에 대한 사용자 요청을 수신할 수 있다. 쿼리 시스템(127)에 의해 수신된 쿼리들은 검색 쿼리 로그(370)에 저장된다. 일 실시예에 따라, 도 3에는 서버(120)의 외부에 있는 것으로 도시되어 있지만, 검색 쿼리 로그(370)는 서버(120) 내에 위치될 수도 있다.
이미지 수집 시스템(125), 더 자세하게는 명명된 엔티티 검출기(375)는 하나 이상의 웹 문서들(345, 350, 355, 360, 365 (예컨대, 웹 페이지)) 및/또는 검색 쿼 리 로그(370)에서 식별될 수 있는 개인의 이름과 같은, 명명된 엔티티를 식별하도록 동작 가능하다. 예를 들어, 예증적인 예에서, 명명된 엔티티 검출기(375)는 이름 '존 도우'가 텍스트, 메타데이터, 또는 3개의 웹 문서(345, 350, 355)의 다른 콘텐츠 및 검색 쿼리 로그(370)에 포함되어 있다고 식별할 수 있다. 일단 식별되면, 명명된 엔티티들은, 명명된 엔티티 검출기(375), 이미지 데이터베이스(385), 또는 이미지 수집 시스템(125) 또는 서버(120)의 내부 또는 외부에 있는 하나 이상의 다른 데이터베이스 내에 저장될 수 있다. 일 실시예에 따라, 명명된 엔티티 검출기(375)는, 웹 문서에서의 명명된 엔티티의 최소 발생 수, 또는 (예컨대, 명명된 엔티티를 포함하는 쿼리의 퍼센티지 또는 총 개수에 기초하는) 검색 쿼리 로그에서의 명명된 엔티티의 랭킹과 같은, 하나 이상의 문턱값들을 충족하는 명명된 엔티티만을 식별하도록 동작 가능하며, 이는 이미지 수집 시스템(125)에 의해 식별되는 명명된 엔티티의 수를, 예컨대 오직 인기 있는 명명된 엔티티로만 제한시키는 역할할 수 있다.
이미지 수집 시스템(125) 내의 이미지 검색 모듈(380)은 명명된 엔티티 검출기(375)에 의해 식별된 명명된 엔티티들과 연관된 이미지를 수집하도록 동작 가능하다. 이미지들은 사진들(347, 352, 357)을 포함하는 하나 이상의 웹 문서들(345, 350, 355), 비디오 캡처 스크린 샷을 포함하는 하나 이상의 웹 문서들(360, 365), 이미지 및/또는 비디오 콘텐츠의 데이터 저장소, 및 네트워크(들)(140)을 통해 이미지 수집 시스템(125)에 의해 액세스 가능한 이미지들을 저장하는 임의의 다른 위치로부터 수집될 수 있다. 이미지 검색 모듈(380)은, 메타데이터, 태그, 또는 이미 지가 명명된 엔티티와 연관된다고 확정적으로 식별하는 다른 콘텐츠를 포함하는 이미지들을 검색하는 것을 포함하는 이미지 수집을 수행한다. 예를 들어, 이미지 검색 모듈(380)은 웹 문서(345) 상의 '존 도우'의 사진(347), 및 웹 문서(350) 상의 '존 도우'의 사진(352)을 식별하고 검색하도록 동작 가능한데, 여기서 개개의 사진(347, 352) 각각은 '존 도우'를 식별하는 메타데이터를 포함한다. 이미지 검색 모듈(380)은 명명된 엔티티 검출기(375)에 의해 식별되는 각각의 명명된 엔티티에 대한 이미지들을 검색할 수 있다. 이미지 수집 시스템(125)에 의해 수집된 이미지들은 이미지 데이터베이스(385) 및/또는 이미지 수집 시스템(125) 또는 서버(120)의 내부 또는 외부에 있는 하나 이상의 다른 데이터베이스 내에 저장될 수 있다. 다른 실시예에 따라, 이미지 검색 모듈(380)은 전체 이미지를 검색하는 대신, 이미지 데이터베이스에서의 이미지들의 위치를 저장할 수 있는데, 이는 데이터를 보유하는데 필요한 저장량을 감소시킬 수 있다.
얼굴 검출 시스템(135), 더 자세하게는 얼굴 검출 모듈(390)은 이미지 수집 시스템(125)에 의해 검색된(또는 식별된) 이미지들에 대해 검출(예컨대, 얼굴 검출)을 수행하도록 동작 가능하다. 검색된 이미지들에서 얼굴들을 식별하기 위하여 검색된 이미지들에 대해 얼굴 검출이 수행되며, 얼굴 검출은 얼굴 검출 모듈(390)의 하나 이상의 종래의 얼굴 검출 알고리즘에 의해 실행될 수 있다. 얼굴 검출 모듈(390)에 의해 검출된 얼굴들은 얼굴 검출 데이터베이스(395), 또는 얼굴 검출 시스템(135) 또는 서버(120)의 내부 또는 외부에 있는 하나 이상의 다른 데이터베이스에 저장될 수 있다. 예를 들어, 웹 문서들(345, 352)로부터 검색된 개개의 사진 들(347, 352)에 있는 '존 도우'의 얼굴들(즉, 얼굴 이미지들)이 식별되고 얼굴 검출 데이터베이스(395)에 저장될 수 있다.
얼굴 검출 모듈(390)은 매치되는 다른 요소들(예컨대, 얼굴)을 식별하기 위해 검출된 이미지 요소들(예컨대, 얼굴)을 서로 비교하도록 또한 동작 가능하다. 이 프로세스는 특정 엔티티, 예컨대 유명인에 부합하는 이미지의 식별을 허용한다. 검출된 얼굴들을 서로 비교하는 것은, (이미지 검색 모듈(380)에 의해 식별된 바와 같이) 명명된 엔티티와 연관되지만 명명된 엔티티의 얼굴 이미지를 포함하는데 실패하거나 또는 명명된 엔티티의 얼굴을 포함한 것이 확인될 수 없는 이미지를 제외하고서는 이롭다. 일 실시예에서, 이를 달성하기 위해, 명명된 엔티티에 대한 얼굴들 모두가 서로 비교된다.
일 실시예에 따라, 각각의 특정한 얼굴에 매치되는 얼굴들의 수는, 얼굴 검출 모듈(390)에 의해 결정되며, 각각의 특정한 검출된 얼굴에 대한 투표 카운트(vote count)로서 얼굴 검출 모듈(390)에 의해 저장될 수 있다. 가장 높은 투표 카운트를 갖는 특정한 얼굴은 명명된 엔티티에 대한 대표 얼굴, 예컨대 그 특정한 얼굴에 연관되어 있는 사람에 대한 대표 얼굴로서 라벨링될 수 있다. 예를 들어, 하나 이상의 웹 문서들로부터 검색된 15개의 '존 도우'의 이미지들에서 10개의 얼굴들이 검출된다면, 10개의 얼굴들 중 하나는, 그것이 더 많은 수의 나머지 9개의 얼굴에 매치되기 때문에 대표 얼굴로서 라벨링될 것이다. 예증적 예로서, 한 세트의 10개의 얼굴에서 '존 도우'의 제1 얼굴은, 제3 얼굴, 제5 얼굴, 및 제7 얼굴에 매치될 수 있지만, 나머지 얼굴들은 하나 미만의 다른 얼굴에 매치되는 것으로 판 단된다. 이와 같은 예에서, 제1 얼굴은 '존 도우'의 대표 얼굴로 라벨링될 수 있다. 얼굴 대 얼굴 매칭은, 주성분분석(PCA, Principal Component Analysis), 독립성분분석(ICA, Independent Component Analysis), 선형판별분석(LDA, Linear Discriminant Analysis) 등과 같은 외형 기반의 얼굴 인식 방법에 의해 실행될 수 있다. EBGM(Elastic Bunch Graph Matching) 등과 같은 국부적 특징 기반의 얼굴 매칭 알고리즘이 또한 사용되거나 또는 대안으로서 사용될 수 있다. 일 실시예에 따라, 매치가 식별되기 전에 얼굴들은 얼마나 유사해야 하는지 지시하기 위해 매칭 프로세스와 연관된 유사성(similarity) 문턱값들이 변경될 수 있다.
일 실시예에 따라, 얼굴 검출 모듈(390)은 대표 얼굴에 매치되는 얼굴들 모두를 이용하여 각각의 명명된 엔티티에 대해 얼굴들의 트레이닝 세트를 발생시킨다. 한 세트의 10개의 얼굴에서의 '존 도우'의 제1 얼굴이 대표 얼굴로서 식별되는 상기 예증적 예에서, 3개의 다른 매칭 얼굴들(즉, 제3 얼굴, 제5 얼굴, 제7 얼굴)은 대표 얼굴과 함께 트레이닝 세트에 추가된다. 하나 이상의 이미지들로부터의 트레이닝 세트의 초기 발생 이후, 트레이닝 세트는 얼굴 검출 모듈(390)에 의해 증대될 수 있다. 예를 들어, 트레이닝 세트는 추가의 얼굴들이 검출된 후에 증대될 수 있다. 다른 실시예에 따라, 명명된 엔티티와 연관된 임의의 검출된 얼굴 이미지들과 같은, 큰 세트의 얼굴 이미지들로부터 트레이닝 세트가 발생될 수 있다.
명명된 엔티티에 대해 얼굴 모델을 구축하기 위해 얼굴 검출 모듈(390)에 의해 트레이닝 세트가 사용된다. 상술한 예증적 예의 연장선에서, 얼굴 검출 모듈(390)에 의해 검출된 '존 도우'의 한 얼굴이 대표 얼굴로서 라벨링될 수 있고, 대표 얼굴에 매치되는 모든 얼굴들이 명명된 엔티티 '존 도우'로 라벨링된 얼굴 모델을 구축하는데 이용될 수 있다. 일 실시예에 따라, 얼굴 모델은 트레이닝 세트로부터의 얼굴들의 총합으로부터 구축된 합성(composite) 모델이다. 트레이닝 세트로부터 복합 얼굴 이미지를 발생시키는데 클러스터 계수(cluster coefficient)가 이용되는 종래의 클러스터 분석 기술을 이용하여 얼굴 모델이 구축될 수 있다. 예를 들어, 클러스터 내의 모든 포인트들에 대한 최소치/중위치/최대치와 같은, 거리 기준을 이용하는 방법, 또는 최상위 'k'의 가장 근접한 이웃포인트(neighbor)들을 취하고 상기 'k'의 주요 클러스터를 분류된 사람으로서 취함으로써 합성 투표를 이용하는 방법을 포함하여, 포인트 투 클러스터(point to cluster) 거리 및 분류 방법이 이용될 수 있다. 다른 실시예에 따라, 예를 들어, 클래스의 변화를 캡처하기 위해 지향형 PCA(OPCA, Oriented PCA) 또는 핵심부(Kernel) OPCA를 이용하고 그 변화에 기초하여 새로운 특징 투사(feature projection)를 계산함으로써 복합(complex) 모델이 구축될 수 있다.
다른 실시예에 따라, 대표 얼굴을 식별하고 대표 얼굴에 매치되는 얼굴들을 이용하여 트레이닝 세트를 확립하는 대신에, 검출된 얼굴들에서 대표 클러스터를 식별하기 위해 클러스터링 알고리즘이 이용될 수 있는데, 이 대표 클러스트는 문턱값 전반에 충분한 밀도를 갖는 클러스터이다. 트레이닝 세트를 발생시키기 위하여 단일의 대표 얼굴이 선택될 필요가 없도록, 충분한 밀도를 갖는 각각의 클러스터로부터 대표 이미지들이 취해질 수 있다. 이는, 사진이 다양한 포즈, 조명 차이, 대상의 나이(subject age) 등을 포함하는 웹 상에 있는 것과 같은 광범위한 이미지 컬렉션에서 발견되는 상이한 범위의 이미지들에도 불구하고 이미지 캡처링 허용시 이점이 될 수 있다. 이는, 많은 샘플들(즉, 클러스터)로부터의 대표 이미지들의 그룹화를 허용하며, 그렇지 않다면, 대표 이미지들은, 상술한 얼굴 매칭 방법을 이용하는 얼굴 매칭을 이용하여 그룹화되지 않을 것이다.
다른 실시예에 따라, 특정인과 연관된 이미지들을 식별하기 위해, 얼굴 매칭 알고리즘을 트레이닝하기 위한 초기 트레이닝 세트로서 선택되고 라벨링된 한 세트의 얼굴들을 이용하여 얼굴 검출 모듈(390)에 의해 얼굴 매칭이 수행될 수 있다. 이후부터, 이미지들이 상이한 클러스터에 존재할 수 있을지라도, 특정인에 대한 잠재적 매치 이미지인 한 세트의 이미지들을 식별하기 위하여, 웹 상에 있는 것과 같은 한 컬렉션의 이미지들에서 식별되는 얼굴들이 클러스터링 기술을 이용하여 조사되고 비교될 수 있다. 그 다음, 얼굴 매칭 알고리즘이 새로운 데이터로 업데이트되는데, 이는, 다양한 포즈, 조명 차이, 대상의 나이 등을 포함하는 사진과 같은 이미지들의 다양성(diversity)에 대한 큰 불변성(invariance)을 얼굴 매칭 알고리즘에 제공한다. 그 다음, 얼굴 매칭 알고리즘은 추가 이미지들을 조사할 수 있고, 각각의 특정 개인에 대해 한 세트의 이미지들이 수집될 때까지 프로세스를 반복하는데, 여기서 반복적인 접근 방식은 얼굴 검출 모듈이 사람에 대해 매치되는 얼굴들을 식별할 것이라는 확률을 증가시킬 수 있다.
이미지 수집 시스템(125) 및 얼굴 검출 시스템(135)을 이용하여, 서버(120)는 웹 문서의 이미지들을 자동으로 식별할 수 있고, 그러한 이미지들에서 검출된 얼굴들로 얼굴 모델을 업데이트할 수 있다. 이미지들을 자동으로 식별하기 위해 얼 굴 모델을 이용하는 것은, 사람의 상호작용의 필요성 없이, 그리고 각각의 식별된 이미지가 메타데이터, 태그, 또는 이미지를 명명된 엔티티와 연관시키는 다른 콘텐츠와 연관될 것을 요구하지 않고, 유명인과 같은 명명된 엔티티와 연관된 이미지의 수집 및 유지를 허용한다.
예증적 예시로서, 이미지 검색 모듈(380)은 웹(345) 상에 '존 도우'의 사진(347)이 존재하고, 웹 문서(350) 상에 '존 도우'의 다른 사진(352)이 존재하는지를 식별할 수 있는데, 여기서 개개의 사진(347, 352) 각각은 '존 도우'를 식별하는 메타데이터를 포함한다. 웹 문서(355) 상의 제3 사진(357)은 텍스트, 메타데이터 등을 통해 임의의 개인으로 라벨링되거나 또는 그와 연관될 수 없기 때문에, 종래의 검색 알고리즘은 그 사진(357)을 '존 도우'와 연관된 것으로서 식별할 수 없다. 예컨대 상술한 기술을 이용하여 '존 도우'에 대해 구축된 얼굴 모델을 이용하면, 얼굴 검출 시스템(135)은 모델 얼굴과 매치되는 것으로서 제3 사진(357)을 식별할 수 있다. 매치 결과로서, 얼굴 검출 모듈은 명명된 엔티티(즉, '존 도우')로 제3 이미지를 라벨링할 수 있으며, 여기서 이미지 및 그 이미지의 라벨은 얼굴 검출 데이터베이스(395) 내에 저장될 수 있다. 이후부터, 쿼리 '존 도우'에 대한 검색 결과를 요청하는 사용자 쿼리들은 그 검색 결과에 3개의 사진들(347, 352, 357) 모두를 포함할 것이다.
일 실시예에 따라, 이미지 수집 시스템(125), 얼굴 검출 시스템(135), 및 쿼리 시스템(127)은 2개 이상의 서버(120)들 사이로 분산될 수 있다. 또 다른 실시예에 따라, 이미지 수집 시스템(125), 얼굴 검출 시스템(135), 및/또는 쿼리 시스 템(127)의 기능들 중 일부 또는 모두는, 서버(120) 또는 하나 이상의 추가 컴퓨터 처리 시스템에 의해 실행 가능한 프로그램 명령어들을 포함하는 프로그램 코드에 의해 수행될 수 있다. 추가로, 일 실시예에 따라, 이미지 수집 데이터베이스(385) 및/또는 얼굴 검출 데이터베이스(395)는 서버(120)의 외부에 있을 수 있으며, 이미지 관련 데이터를 저장하기 위해 하나 또는 수 개의 데이터베이스들을 포함할 수 있다.
일 실시예에 따라, 검색 쿼리 로그(370)에서 식별되는 검색 쿼리들에서 식별되는 인기 있는 명명된 엔티티들에 대해 서버(120)에 의해 자동으로 그리고 정례적으로 얼굴 모델이 구축될 수 있다. 예를 들어, 얼굴 모델은, 인기 있는 쿼리에 대한 응답 제공시, 검색을 위해 최신의 이미지 데이터베이스가 유지되도록, 30일과 같은 소정의 기간 후에 관례적으로 업데이트될 수 있다. 기존의 모델에 대한 업데이트 동안에, 필요하다면, 각각의 얼굴 모델을 생성하는데 사용된 트레이닝 세트에 추가 이미지들을 추가시킴으로써 얼굴 모델이 더 정교화된다. 이는 웹 또는 다른 데이터 컬렉션에 추가될 수 있는 새로운 이미지들을 효과적으로 식별하기 위해 정확한 최신의 모델을 유지하도록 역할한다.
도 4는 예증적 실시예에 따른 도 1의 시스템에 의해 구현되는 예시적 방법을 도시한다. 이미지 검색은 유명인의 이름과 같은 명명된 엔티티에 대해 수행된다(블럭 405). 그 명명된 엔티티와 연관된 이미지들이 검색되며(블럭 410), 검색된 이미지들에서 얼굴을 검출하기 위해 검색된 이미지들에 대해 얼굴 검출이 수행된다(블럭 415). 얼굴 검출이 완료된 후에, 검색된 이미지로부터 대표 얼굴이 식별된다(블 럭 420). 그 다음, 대표 얼굴을 이용하여 명명된 엔티티를 나타내는 추가 이미지들을 식별한다(블럭 425). 일 실시예에 따라, 명명된 엔티티를 나타내는 추가 이미지들은, 그들이 메타데이터, 태그, 또는 그들의 식별 이전에 이미지와 명명된 엔티티를 연관시키는 다른 정보를 포함하지 않더라도 식별된다.
도 5는 다른 예증적 실시예에 따른 도 1의 시스템에 의해 구현되는 다른 예시적 방법을 도시한다. 명명된 엔티티들은 검색 쿼리 로그 및/또는 웹 문서(예컨대, 웹 페이지)로부터 식별된다(블럭 505). 일 실시예에 따라, 이 식별은, 웹 문서 및/또는 검색 쿼리에 등장하는 아이덴티티를 갖는 사람과 같은 인기 있는 명명된 엔티티의 리스트를 지속적으로 업데이트하기 위해 서버(120)에 의해 자동으로 수행된다. 각각의 명명된 엔티티에 대해 이미지 검색이 수행된다(블럭 510). 일 실시예에 따라, 서버(120)의 이미지 수집 시스템(125) 내에 존재하는 이미지 검색 모듈(380)에 의해 이미지 검색이 수행될 수 있다. 추가로, 일 실시예에 따라, 오직 인기 있는 명명된 엔티티에 대한 이미지들만 검색되도록, 이미지 검색은, 명명된 엔티티의 발생 횟수와 같은 특정 문턱값을 충족하는 인기 있는 명명된 엔티티에 대해서만 수행될 수 있다. 그 다음, 각각의 명명된 엔티티와 연관된 이미지들이 검색된다(블럭 515).
각각의 명명된 엔티티와 연관된 이미지들의 검색에 이어서, 만약 있다면, 각각의 검색된 이미지들에서 얼굴들을 검출하기 위해 검색된 이미지들에 대해 얼굴 검출이 수행된다(블럭 520). 일 실시예에 따라, 이는 얼굴 검출 시스템(135) 내의 얼굴 검출 알고리즘과 같은 얼굴 검출 알고리즘에 의해 수행될 수 있다. 검출된 얼 굴들을 이용하여, 그 다음 각각의 명명된 엔티티에 대해 유사한 얼굴들을 식별하기 위해 검출된 얼굴들 각각에 대해 얼굴 매칭이 수행된다(블럭 525). 각각의 명명된 엔티티에 대해, 특정 얼굴에 매치되는 검출된 얼굴들의 수가 결정된다(블럭 530). 일 실시예에 따라, 각각의 얼굴에 대해 카운트가 유지되는데, 이 카운트는 그 얼굴에 매칭되는 얼굴들의 수를 식별한다. 가장 높은 카운트를 갖는 얼굴, 즉 가장 많은 수의 매치되는 얼굴들을 갖는 검출된 얼굴이 결정되고, 연관된 명명된 엔티티의 대표 얼굴로서 라벨링된다(블럭 535). 일 실시예에 따라, 얼굴 검출 모듈(390)에 의해 카운트가 발생될 수 있다. 대표 얼굴에 매치되는 얼굴들을 이용하여, 명명된 엔티티에 대해 트레이닝 얼굴 세트를 발생 또는 증대한다(블럭 540). 다른 얼굴에 매치되는 검출된 얼굴들의 수가, 6 또는 7 카운트와 같은 문턱값을 초과하는 경우, 그 열굴은 명명된 엔티티의 대표 얼굴로서 사용될 수 있으며, 대표 얼굴에 매치되는 얼굴들에 대해 트레이닝 세트가 발생될 수 있다(블럭 545, 535, 540).
각각의 명명된 엔티티에 대해 각각의 트레이닝 세트로부터 얼굴 모델들이 구축되며, 명명된 엔티티로 라벨링된다(블럭 550). 일 실시예에 따라, 얼굴 검출 모듈(390)에 의해 얼굴 모델이 구축된다. 각각의 명명된 엔티티에 대해 모델들이 생성된 후에, 이 모델들은 수집된 이미지들과 비교되고, 매치되는 이미지들은 명명된 엔티티로 라벨링된다. 수집된 이미지들은 웹 문서, 비디오, 데이터베이스, 또는 다른 소스로부터 수집된 이미지들을 포함할 수 있고, 메타데이터, 태그, 또는 그 이미지들을 특정한 명명된 엔티티와 연관되는 것으로서 식별하는 다른 정보를 갖지 않은 이미지들을 포함할 수 있다(블럭 555).
본 특허 명세서에서 기술된 장치, 방법, 흐름도, 및 구조 블럭도는, 컴퓨터 처리 시스템에 의해 실행 가능한 프로그램 명령어들을 포함하는 프로그램 코드를 포함하는 컴퓨터 처리 시스템으로 구현될 수 있다. 다른 실시예들 또한 이용될 수 있다. 추가로, 특정 방법 및/또는 구조적 수단을 기술하는, 본 특허 명세서에 상술된 흐름도 및 구조 블럭도 또한 대응하는 소프트웨어 구조 및 알고리즘, 및 이들의 등가물을 구현하는데 이용될 수 있다.
상술된 바와 같은 본 발명의 양태들은 도면에 도시된 실시예에서 많은 상이한 형태의 소프트웨어, 펌웨어, 및 하드웨어로 구현될 수 있다는 것이 당업자에게는 자명할 것이다. 본 발명의 원리들에 부합하는 양태들을 구현하는데 이용되는 실제 소프트웨어 코드 또는 특수화된 제어 하드웨어는 본 발명을 제한하지 않는다. 따라서, 이러한 양태들의 동작 및 거동은 특정한 소프트웨어 코드를 참조하지 않고 기술되었다. 본 명세서의 기술에 기초한 양태들을 구현하기 위한 소프트웨어 및 제어 하드웨어를 설계할 수 있다는 것을 당업자는 이해할 것이다.

Claims (33)

  1. 방법에 있어서,
    적어도 하나의 명명된 엔티티(named entity)를 식별하는 단계;
    상기 적어도 하나의 명명된 엔티티와 연관된 한 세트의 세 개 이상의 이미지들을 검색하는 단계로서, 상기 세트에서 이미지들 각각은 상기 명명된 엔티티의 명칭의 적어도 일부를 포함하는 연관된 문자 설명(textual description)을 포함하는 것인, 검색 단계;
    상기 검색된 이미지들에서 얼굴들을 검출하기 위해 상기 검색된 이미지들에 대해, 얼굴 검출 알고리즘을 이용하여 수행되는 얼굴 검출을 수행하는 단계;
    검출된 얼굴을 다른 검출된 얼굴들에 각각 비교하는 것을 포함하는, 상기 검색된 이미지들로부터의 적어도 하나의 대표 얼굴 이미지를 식별하는 단계로서, 상기 대표 얼굴 이미지를 식별하는 단계는 가장 많은 수의 다른 검출된 얼굴들에 매치되는, 상기 검출된 얼굴을 포함하는 이미지로서 대표 얼굴 이미지를 식별하는 단계를 포함하는 것인, 대표 얼굴 이미지 식별 단계; 및
    상기 세트에 포함되지 않은 이미지들로부터 상기 적어도 하나의 명명된 엔티티를 나타내는 하나 이상의 추가 이미지들을 식별하기 위해 상기 적어도 하나의 대표 얼굴 이미지를 이용하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 적어도 하나의 명명된 엔티티를 포함하는, 사용자로부터의 검색 쿼리(query)를 수신하는 단계를 더 포함하는 방법.
  3. 제2항에 있어서, 상기 검색 쿼리에 기초하여, 상기 하나 이상의 추가 이미지들을 포함하는 검색 결과들을 발생시키는 단계를 더 포함하는 방법.
  4. 제1항에 있어서, 상기 적어도 하나의 명명된 엔티티는 사람인 것인, 방법.
  5. 제4항에 있어서, 상기 적어도 하나의 명명된 엔티티를 식별하는 단계는, 쿼리 로그 또는 웹 문서로부터 상기 적어도 하나의 명명된 엔티티를 식별하는 단계를 포함하는 것인, 방법.
  6. 제1항에 있어서, 상기 적어도 하나의 명명된 엔티티와 연관된 이미지들을 검색하는 단계는, 상기 적어도 하나의 명명된 엔티티와 연관된 모든 이미지들을 식별하기 위해 이미지 검색을 실행하는 단계를 포함하는 것인, 방법.
  7. 제1항에 있어서, 상기 적어도 하나의 명명된 엔티티와 연관된 특정한 얼굴 이미지에 매치되는 얼굴들을 식별하기 위해 각각의 검출된 얼굴을 각각의 검출된 다른 얼굴과 비교함으로써 상기 검색된 이미지들에서 검출된 얼굴들에 대해 얼굴 매칭을 수행하는 단계를 더 포함하는 방법.
  8. 제7항에 있어서, 상기 특정한 얼굴 이미지에 매치되는 얼굴들의 수를 결정하는 단계를 더 포함하는 방법.
  9. 제8항에 있어서, 상기 특정한 얼굴 이미지에 매치되는 얼굴들의 상기 결정된 수를 문턱값과 비교하는 단계를 더 포함하는 방법.
  10. 제7항에 있어서, 상기 검색된 이미지들에서 가장 많은 수의 다른 검출된 얼굴들에 매치되는, 상기 검색된 이미지들에서 상기 검출된 얼굴을 결정하는 단계를 더 포함하는 방법.
  11. 제10항에 있어서, 상기 적어도 하나의 명명된 엔티티와 연관된 상기 특정한 얼굴 이미지에 매치되는 상기 검출된 얼굴들 각각을 포함하는, 얼굴 이미지들의 트레이닝 세트(training set)를 발생시키는 단계를 더 포함하는 방법.
  12. 제11항에 있어서, 상기 얼굴 이미지들의 트레이닝 세트로부터 적어도 하나의 얼굴 모델을 발생시키는 단계를 더 포함하는 방법.
  13. 제12항에 있어서, 상기 적어도 하나의 명명된 엔티티의 명칭의 적어도 일부로 상기 적어도 하나의 얼굴 모델을 라벨링하는 단계를 더 포함하는 방법.
  14. 제12항에 있어서, 하나 이상의 추가 이미지들을 식별하기 위해 상기 적어도 하나의 대표 얼굴 이미지를 이용하는 단계는, 상기 하나 이상의 추가 이미지들을 식별하기 위해 상기 적어도 하나의 얼굴 모델을 이용하는 단계를 포함하는 것인, 방법.
  15. 제14항에 있어서, 상기 하나 이상의 추가 이미지들을 식별하기 위해 상기 적어도 하나의 얼굴 모델을 이용하는 단계는, 상기 하나 이상의 추가 이미지들을 식별하기 위해 상기 얼굴 모델을 한 컬렉션의 이미지들과 비교하는 단계를 포함하는 것인, 방법.
  16. 제15항에 있어서, 상기 하나 이상의 추가 이미지들을 상기 적어도 하나의 명명된 엔티티와 연관시키는 단계를 더 포함하는 방법.
  17. 시스템에 있어서,
    적어도 하나의 명명된 엔티티를 식별하는 이미지 수집 시스템;
    상기 적어도 하나의 명명된 엔티티와 연관된 한 세트의 세 개 이상의 이미지들을 검색하는 서버로서, 상기 세트에서 이미지들 각각은 상기 명명된 엔티티의 명칭의 적어도 일부를 포함하는 연관된 문자 설명을 포함하는 것인, 서버;
    상기 검색된 이미지들에서 얼굴들을 검출하기 위해 상기 검색된 이미지들에 대해 얼굴 검출을 수행하는 얼굴 검출 시스템;
    검출된 얼굴을 다른 검출된 얼굴들에 각각 비교하기 위한 수단을 포함하는, 상기 검색된 이미지들로부터의 적어도 하나의 대표 얼굴 이미지를 식별하기 위한 수단으로서, 상기 대표 얼굴 이미지를 식별하는 것은 가장 많은 수의 다른 검출된 얼굴들에 매치되는, 상기 검출된 얼굴을 포함하는 이미지로서 대표 얼굴 이미지를 식별하는 것을 포함하는 것인, 대표 얼굴 이미지 식별 수단; 및
    상기 세트에 포함되지 않은 이미지들로부터 상기 적어도 하나의 명명된 엔티티를 나타내는 하나 이상의 추가 이미지들을 식별하기 위해 상기 적어도 하나의 대표 얼굴 이미지를 이용하기 위한 수단
    을 포함하는 시스템.
  18. 제17항에 있어서, 상기 적어도 하나의 명명된 엔티티를 포함하는, 사용자로부터의 검색 쿼리를 수신하기 위한 수단을 더 포함하는 시스템.
  19. 제18항에 있어서, 상기 검색 쿼리에 기초하여, 상기 하나 이상의 추가 이미지들을 포함하는 검색 결과들을 발생시키기 위한 수단을 더 포함하는 시스템.
  20. 제17항에 있어서, 상기 적어도 하나의 명명된 엔티티는 사람인 것인, 시스템.
  21. 제20항에 있어서, 상기 적어도 하나의 명명된 엔티티를 식별하는 이미지 수집 시스템은, 쿼리 로그 또는 웹 문서로부터 상기 적어도 하나의 명명된 엔티티를 식별하기 위한 수단을 포함하는 것인, 시스템.
  22. 제17항에 있어서, 상기 서버는, 상기 적어도 하나의 명명된 엔티티와 연관된 모든 이미지들을 식별하기 위해 이미지 검색을 실행하기 위한 수단을 포함하는 것인, 시스템.
  23. 제17항에 있어서, 상기 적어도 하나의 명명된 엔티티와 연관된 특정한 얼굴 이미지에 매치되는 얼굴들을 식별하기 위해 각각의 검출된 얼굴을 각각의 검출된 다른 얼굴과 비교함으로써 상기 검색된 이미지들에서 검출된 얼굴들에 대해 얼굴 매칭을 수행하기 위한 수단을 더 포함하는 시스템.
  24. 제23항에 있어서, 상기 특정한 얼굴 이미지에 매치되는 얼굴들의 수를 결정하기 위한 수단을 더 포함하는 시스템.
  25. 제24항에 있어서, 상기 특정한 얼굴 이미지에 매치되는 얼굴들의 상기 결정된 수를 문턱값과 비교하기 위한 수단을 더 포함하는 시스템.
  26. 제23항에 있어서, 상기 검색된 이미지들에서 가장 많은 수의 다른 검출된 얼굴들에 매치되는, 상기 검색된 이미지들에서 상기 검출된 얼굴을 결정하기 위한 수단을 더 포함하는 시스템.
  27. 제26항에 있어서, 상기 적어도 하나의 명명된 엔티티와 연관된 상기 특정한 얼굴 이미지에 매치되는 상기 검출된 얼굴들 각각을 포함하는, 얼굴 이미지들의 트레이닝 세트를 발생시키기 위한 수단을 더 포함하는 시스템.
  28. 제27항에 있어서, 상기 얼굴 이미지들의 트레이닝 세트로부터 적어도 하나의 얼굴 모델을 발생시키기 위한 수단을 더 포함하는 시스템.
  29. 제28항에 있어서, 상기 적어도 하나의 명명된 엔티티의 명칭의 적어도 일부로 상기 적어도 하나의 얼굴 모델을 라벨링하기 위한 수단을 더 포함하는 시스템.
  30. 제28항에 있어서, 하나 이상의 추가 이미지들을 식별하기 위해 상기 적어도 하나의 대표 얼굴 이미지를 이용하기 위한 수단은, 상기 하나 이상의 추가 이미지들을 식별하기 위해 상기 적어도 하나의 얼굴 모델을 이용하기 위한 수단을 포함하는 것인, 시스템.
  31. 제30항에 있어서, 상기 하나 이상의 추가 이미지들을 식별하기 위해 상기 적어도 하나의 얼굴 모델을 이용하기 위한 수단은, 상기 하나 이상의 추가 이미지들을 식별하기 위해 상기 얼굴 모델을 한 컬렉션의 이미지들과 비교하기 위한 수단을 포함하는 것인, 시스템.
  32. 제31항에 있어서, 상기 하나 이상의 추가 이미지들을 상기 적어도 하나의 명명된 엔티티와 연관시키기 위한 수단을 더 포함하는 시스템.
  33. 컴퓨터 판독 가능한 저장 매체에 있어서, 하나 이상의 프로세서들에 의해 실행될 때, 상기 프로세스들로 하여금,
    적어도 하나의 명명된 엔티티를 식별하고;
    상기 적어도 하나의 명명된 엔티티와 연관된 한 세트의 세 개 이상의 이미지들을 검색하고, 상기 세트에서 이미지들 각각은 상기 명명된 엔티티의 명칭의 적어도 일부를 포함하는 연관된 문자 설명을 포함하고;
    상기 검색된 이미지들에서 얼굴들을 검출하기 위해 상기 검색된 이미지들에 대해, 얼굴 검출 알고리즘을 이용하여 수행되는 얼굴 검출을 수행하고;
    검출된 얼굴을 다른 검출된 얼굴들에 각각 비교하는 것을 포함하는, 상기 검색된 이미지들로부터의 적어도 하나의 대표 얼굴 이미지를 식별하고, 상기 대표 얼굴 이미지를 식별하는 것은 가장 많은 수의 다른 검출된 얼굴들에 매치되는, 상기 검출된 얼굴을 포함하는 이미지로서 대표 얼굴 이미지를 식별하는 것을 포함하고;
    상기 세트에 포함되지 않은 이미지들로부터 상기 적어도 하나의 명명된 엔티티를 나타내는 하나 이상의 추가 이미지들을 식별하기 위해 상기 적어도 하나의 대표 얼굴 이미지를 이용하도록 하는 명령어를 포함하는 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 저장 매체.
KR1020097013584A 2006-12-01 2007-11-29 얼굴 인식을 이용한 이미지 식별 KR101387147B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/566,075 US8085995B2 (en) 2006-12-01 2006-12-01 Identifying images using face recognition
US11/566,075 2006-12-01
PCT/US2007/085950 WO2008067475A1 (en) 2006-12-01 2007-11-29 Identifying images using face recognition

Publications (2)

Publication Number Publication Date
KR20090088424A KR20090088424A (ko) 2009-08-19
KR101387147B1 true KR101387147B1 (ko) 2014-04-21

Family

ID=39468276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097013584A KR101387147B1 (ko) 2006-12-01 2007-11-29 얼굴 인식을 이용한 이미지 식별

Country Status (9)

Country Link
US (3) US8085995B2 (ko)
EP (1) EP2100260B1 (ko)
JP (1) JP5037627B2 (ko)
KR (1) KR101387147B1 (ko)
CN (1) CN101601053B (ko)
AU (1) AU2007325117B2 (ko)
BR (1) BRPI0719735A2 (ko)
CA (1) CA2671091C (ko)
WO (1) WO2008067475A1 (ko)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801864B2 (en) 2005-11-28 2010-09-21 Commvault Systems, Inc. Systems and methods for using metadata to enhance data identification operations
US20200257596A1 (en) 2005-12-19 2020-08-13 Commvault Systems, Inc. Systems and methods of unified reconstruction in storage systems
US7707224B2 (en) 2006-11-03 2010-04-27 Google Inc. Blocking of unlicensed audio content in video files on a video hosting website
CA2685870A1 (en) 2007-05-03 2008-11-13 Google Inc. Monetization of original digital content contributions
US8094872B1 (en) * 2007-05-09 2012-01-10 Google Inc. Three-dimensional wavelet based video fingerprinting
US8611422B1 (en) 2007-06-19 2013-12-17 Google Inc. Endpoint based video fingerprinting
CN101398832A (zh) * 2007-09-30 2009-04-01 国际商业机器公司 利用人脸检测的图像搜索方法和系统
CN104866553A (zh) 2007-12-31 2015-08-26 应用识别公司 利用脸部签名来标识和共享数字图像的方法、系统和计算机程序
US9639740B2 (en) 2007-12-31 2017-05-02 Applied Recognition Inc. Face detection and recognition
US9721148B2 (en) 2007-12-31 2017-08-01 Applied Recognition Inc. Face detection and recognition
US8014573B2 (en) * 2008-01-03 2011-09-06 International Business Machines Corporation Digital life recording and playback
US9105298B2 (en) * 2008-01-03 2015-08-11 International Business Machines Corporation Digital life recorder with selective playback of digital video
US8005272B2 (en) * 2008-01-03 2011-08-23 International Business Machines Corporation Digital life recorder implementing enhanced facial recognition subsystem for acquiring face glossary data
US9270950B2 (en) * 2008-01-03 2016-02-23 International Business Machines Corporation Identifying a locale for controlling capture of data by a digital life recorder based on location
US7894639B2 (en) * 2008-01-03 2011-02-22 International Business Machines Corporation Digital life recorder implementing enhanced facial recognition subsystem for acquiring a face glossary data
US9164995B2 (en) * 2008-01-03 2015-10-20 International Business Machines Corporation Establishing usage policies for recorded events in digital life recording
US8538943B1 (en) * 2008-07-24 2013-09-17 Google Inc. Providing images of named resources in response to a search query
AU2008264197B2 (en) * 2008-12-24 2012-09-13 Canon Kabushiki Kaisha Image selection method
US8396325B1 (en) * 2009-04-27 2013-03-12 Google Inc. Image enhancement through discrete patch optimization
US8611695B1 (en) * 2009-04-27 2013-12-17 Google Inc. Large scale patch search
US8391634B1 (en) 2009-04-28 2013-03-05 Google Inc. Illumination estimation for images
US8385662B1 (en) 2009-04-30 2013-02-26 Google Inc. Principal component analysis based seed generation for clustering analysis
US20110066431A1 (en) * 2009-09-15 2011-03-17 Mediatek Inc. Hand-held input apparatus and input method for inputting data to a remote receiving device
US20110078097A1 (en) * 2009-09-25 2011-03-31 Microsoft Corporation Shared face training data
CN102035930A (zh) * 2009-09-29 2011-04-27 宏达国际电子股份有限公司 图像的应用操作方法及系统
JP5554987B2 (ja) * 2009-12-28 2014-07-23 キヤノン株式会社 オブジェクト識別装置及びその制御方法
US8416997B2 (en) * 2010-01-27 2013-04-09 Apple Inc. Method of person identification using social connections
US8311337B2 (en) 2010-06-15 2012-11-13 Cyberlink Corp. Systems and methods for organizing and accessing feature vectors in digital images
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images
US8798393B2 (en) 2010-12-01 2014-08-05 Google Inc. Removing illumination variation from images
US8515183B2 (en) 2010-12-21 2013-08-20 Microsoft Corporation Utilizing images as online identifiers to link behaviors together
JP5795650B2 (ja) * 2011-02-18 2015-10-14 グーグル・インク 顔認識
US9317530B2 (en) 2011-03-29 2016-04-19 Facebook, Inc. Face recognition based on spatial and temporal proximity
JP5830784B2 (ja) * 2011-06-23 2015-12-09 サイバーアイ・エンタテインメント株式会社 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム
US8625887B2 (en) * 2011-07-13 2014-01-07 Google Inc. Systems and methods for matching visual object components
JP5932035B2 (ja) * 2011-08-04 2016-06-08 グーグル インコーポレイテッド 検索結果を伴う知識パネルを提供すること
US8548207B2 (en) 2011-08-15 2013-10-01 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
KR101861698B1 (ko) 2011-08-18 2018-05-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US8917913B2 (en) * 2011-09-22 2014-12-23 International Business Machines Corporation Searching with face recognition and social networking profiles
GB2495978A (en) * 2011-10-28 2013-05-01 Maurizio Pilu Smartphone application
US9087273B2 (en) 2011-11-15 2015-07-21 Facebook, Inc. Facial recognition using social networking information
US8971591B2 (en) * 2011-12-09 2015-03-03 Google Technology Holdings LLC 3D image estimation for 2D image recognition
US9256620B2 (en) * 2011-12-20 2016-02-09 Amazon Technologies, Inc. Techniques for grouping images
US9202105B1 (en) 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
US8676814B2 (en) * 2012-02-16 2014-03-18 Yahoo! Inc. Automatic face annotation of images contained in media content
US8660307B2 (en) 2012-03-29 2014-02-25 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US8761442B2 (en) 2012-03-29 2014-06-24 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9092675B2 (en) 2012-03-29 2015-07-28 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9275285B2 (en) 2012-03-29 2016-03-01 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US8942468B1 (en) 2012-04-17 2015-01-27 Google Inc. Object recognition
TW201344546A (zh) * 2012-04-20 2013-11-01 Primax Electronics Ltd 相片資料夾之代表縮圖之自動選擇方法及自動選擇系統
US8938119B1 (en) 2012-05-01 2015-01-20 Google Inc. Facade illumination removal
US8892523B2 (en) 2012-06-08 2014-11-18 Commvault Systems, Inc. Auto summarization of content
CN102722660B (zh) * 2012-06-29 2016-04-20 广州供电局有限公司 空气击穿电压的预测方法与装置
US10509963B2 (en) * 2012-12-20 2019-12-17 Microsoft Technology Licensing, Llc Discovering authoritative images of people entities
US9679224B2 (en) * 2013-06-28 2017-06-13 Cognex Corporation Semi-supervised method for training multiple pattern recognition and registration tool models
JP2015032253A (ja) * 2013-08-06 2015-02-16 ソニー株式会社 情報処理装置および情報処理方法
US20150104004A1 (en) 2013-10-10 2015-04-16 Elwha Llc Methods, systems, and devices for delivering image data from captured images to devices
US20150106195A1 (en) 2013-10-10 2015-04-16 Elwha Llc Methods, systems, and devices for handling inserted data into captured images
US10013564B2 (en) 2013-10-10 2018-07-03 Elwha Llc Methods, systems, and devices for handling image capture devices and captured images
US10185841B2 (en) 2013-10-10 2019-01-22 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy beacons
US9799036B2 (en) 2013-10-10 2017-10-24 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy indicators
US10346624B2 (en) * 2013-10-10 2019-07-09 Elwha Llc Methods, systems, and devices for obscuring entities depicted in captured images
CN103514443B (zh) * 2013-10-15 2016-12-07 中国矿业大学 一种基于lpp特征提取的单样本人脸识别迁移学习方法
CN103519687B (zh) * 2013-10-30 2017-05-24 宁波源丰消防设备有限公司 制热饮水机设备
CN104639823A (zh) * 2013-11-14 2015-05-20 索尼公司 图像形成方法、装置以及电子设备
US9147061B1 (en) 2013-11-22 2015-09-29 Google Inc. Multi-level authentication
US9251427B1 (en) * 2014-08-12 2016-02-02 Microsoft Technology Licensing, Llc False face representation identification
US10915618B2 (en) 2014-08-28 2021-02-09 Facetec, Inc. Method to add remotely collected biometric images / templates to a database record of personal information
CA2902093C (en) 2014-08-28 2023-03-07 Kevin Alan Tussy Facial recognition authentication system including path parameters
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US9697432B2 (en) 2014-12-09 2017-07-04 International Business Machines Corporation Generating support instructions by leveraging augmented reality
US10547610B1 (en) * 2015-03-31 2020-01-28 EMC IP Holding Company LLC Age adapted biometric authentication
US10691314B1 (en) 2015-05-05 2020-06-23 State Farm Mutual Automobile Insurance Company Connecting users to entities based on recognized objects
US9704020B2 (en) * 2015-06-16 2017-07-11 Microsoft Technology Licensing, Llc Automatic recognition of entities in media-captured events
CN105320406A (zh) * 2015-11-06 2016-02-10 深圳市金立通信设备有限公司 一种图片管理方法及终端
CN107015998A (zh) 2016-01-28 2017-08-04 阿里巴巴集团控股有限公司 一种图片处理方法、装置和智能终端
CN105786986A (zh) * 2016-02-16 2016-07-20 广东欧珀移动通信有限公司 照片的查找方法及装置
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
US10540516B2 (en) 2016-10-13 2020-01-21 Commvault Systems, Inc. Data protection within an unsecured storage environment
JP6727097B2 (ja) * 2016-10-24 2020-07-22 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
KR102299847B1 (ko) 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
US10642886B2 (en) * 2018-02-14 2020-05-05 Commvault Systems, Inc. Targeted search of backup data using facial recognition
CN108763373A (zh) * 2018-05-17 2018-11-06 厦门美图之家科技有限公司 人脸图像检索方法及装置
CN109034218B (zh) * 2018-07-11 2021-02-02 东软集团股份有限公司 模型训练方法、装置、设备及存储介质
CN109635277B (zh) * 2018-11-13 2023-05-26 北京合享智慧科技有限公司 一种获取实体信息的方法及相关装置
CN109684498A (zh) * 2018-12-21 2019-04-26 北京贝思科技术有限公司 图像分析算法模型的运行方法、通用平台及存储介质
US10762607B2 (en) 2019-04-10 2020-09-01 Alibaba Group Holding Limited Method and device for sensitive data masking based on image recognition
CN110209812B (zh) * 2019-05-07 2022-04-22 北京地平线机器人技术研发有限公司 文本分类方法和装置
CN110287356A (zh) * 2019-05-16 2019-09-27 罗普特科技集团股份有限公司 一种用于人脸识别算法引擎的评测、调用方法和系统
AU2020329148A1 (en) * 2019-08-09 2022-03-17 Clearview Ai, Inc. Methods for providing information about a person based on facial recognition
US11552914B2 (en) * 2019-10-06 2023-01-10 International Business Machines Corporation Filtering group messages
US11880411B2 (en) * 2020-02-12 2024-01-23 Home Depot Product Authority, Llc Named entity recognition in search queries
KR102619275B1 (ko) * 2020-12-02 2024-01-02 울산과학기술원 객체 검색 모델 및 그 학습 방법
US11755638B2 (en) 2021-02-19 2023-09-12 Samsung Electronics Co., Ltd. Method of personalized image and video searching based on a natural language query, and an apparatus for the same
CN113656561A (zh) * 2021-10-20 2021-11-16 腾讯科技（深圳）有限公司 实体词识别方法、装置、设备、存储介质及程序产品
US11644960B1 (en) * 2021-11-22 2023-05-09 Citrix Systems, Inc. Image data augmentation using user interface element attributes
US11625665B1 (en) * 2022-03-29 2023-04-11 Todd Martin Contactless authorized event entry and item delivery system and method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038333A (en) 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US264780A (en) * 1882-09-19 Siemens
US5012522A (en) 1988-12-08 1991-04-30 The United States Of America As Represented By The Secretary Of The Air Force Autonomous face recognition machine
EP1066572A1 (en) 1998-03-04 2001-01-10 The Trustees of Columbia University in the City of New York Method and system for generating semantic visual templates for image and video retrieval
WO2002019137A1 (en) 2000-08-29 2002-03-07 Imageid Ltd. Indexing, storage & retrieval of digital images
KR100422709B1 (ko) * 2001-10-05 2004-03-16 엘지전자 주식회사 영상 의존적인 얼굴 영역 추출방법
US6853739B2 (en) 2002-05-15 2005-02-08 Bio Com, Llc Identity verification system
US7172113B2 (en) 2002-09-16 2007-02-06 Avery Dennison Corporation System and method for creating a display card
US7274822B2 (en) 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
JP4741808B2 (ja) * 2004-03-25 2011-08-10 Ｎｅｃパーソナルプロダクツ株式会社 情報処理装置、プログラム
JP4313738B2 (ja) * 2004-08-18 2009-08-12 日本電信電話株式会社 画像検索装置および方法、そのプログラム及び記録媒体
JP4553300B2 (ja) * 2004-09-30 2010-09-29 Ｋｄｄｉ株式会社 コンテンツ識別装置
JP4577774B2 (ja) * 2005-03-08 2010-11-10 Ｋｄｄｉ株式会社 スポーツ映像の分類装置およびログ生成装置
FR2884007A1 (fr) 2005-03-29 2006-10-06 France Telecom Procede d'identification de visages a partir d'images de visage, dispositif et programme d'ordinateur correspondants
US20080097981A1 (en) * 2006-10-20 2008-04-24 Microsoft Corporation Ranking images for web image retrieval

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038333A (en) 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system

Also Published As

Publication number Publication date
AU2007325117A1 (en) 2008-06-05
BRPI0719735A2 (pt) 2013-12-10
JP5037627B2 (ja) 2012-10-03
EP2100260A4 (en) 2010-02-17
CN101601053B (zh) 2012-11-14
AU2007325117B2 (en) 2012-10-11
CN101601053A (zh) 2009-12-09
CA2671091C (en) 2015-11-24
US20120093375A1 (en) 2012-04-19
US9053357B2 (en) 2015-06-09
CA2671091A1 (en) 2008-06-05
US20080130960A1 (en) 2008-06-05
EP2100260A1 (en) 2009-09-16
US20160224826A1 (en) 2016-08-04
US9552511B2 (en) 2017-01-24
EP2100260B1 (en) 2012-05-23
WO2008067475A1 (en) 2008-06-05
US8085995B2 (en) 2011-12-27
JP2010511938A (ja) 2010-04-15
AU2007325117A2 (en) 2009-07-09
KR20090088424A (ko) 2009-08-19

Similar Documents

Publication Publication Date Title
KR101387147B1 (ko) 얼굴 인식을 이용한 이미지 식별
Boididou et al. Verifying information with multimedia content on twitter: a comparative study of automated approaches
US11074434B2 (en) Detection of near-duplicate images in profiles for detection of fake-profile accounts
US8498455B2 (en) Scalable face image retrieval
Wang et al. Web image re-ranking usingquery-specific semantic signatures
US11080316B1 (en) Context-inclusive face clustering
US20110116690A1 (en) Automatically Mining Person Models of Celebrities for Visual Search Applications
Zhang et al. Context-based person identification framework for smart video surveillance
CN111444387A (zh) 视频分类方法、装置、计算机设备和存储介质
L Fernandes et al. A novel decision support for composite sketch matching using fusion of probabilistic neural network and dictionary matching
Carvalho et al. Detecting relevant tweets in very large tweet collections: The London Riots case study
Suchitra et al. Dynamic multi-attribute priority based face attribute detection for robust face image retrieval system
Xiao et al. A new method for pornographic video detection with the integration of visual and textual information
CN117493645B (zh) 一种基于大数据的电子档案推荐系统
Kasthuri et al. A survey on face annotation techniques
Yermakov et al. CNN Based Predictor of Face Image Quality
Lin et al. Face search in a big data system
KR20230140849A (ko) 영상 컨텐츠 추천 장치 및 방법
CN115935953A (zh) 虚假新闻检测方法、装置、电子设备及存储介质
Veena et al. Cluster graph based model for extracting and searching algorithm in bigdata
Sanjeev Web Scale Image Retrieval based on Image Text Query Pair and Click Data
Bagherjeiran et al. Estimating Missing Features to Improve Multimedia Information Retrieval
Zezula et al. Similarity search in large collections of biometric data
Vartak et al. Cloud based CBIR SaaS Model using Hybrid Wavelet Type I & Type II based Texture Feature Extraction
BRPI0719735B1 (pt) Método implementado em computador e sistema de computador para recuperação de imagens associadas com uma entidade nomeada, usando uma imagem de face representativa

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180330

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190329

Year of fee payment: 6