KR20180105636A - 얼굴 인식 애플리케이션들에서 긍정 오류를 최소화하기 위한 방법들 및 장치 - Google Patents
얼굴 인식 애플리케이션들에서 긍정 오류를 최소화하기 위한 방법들 및 장치 Download PDFInfo
- Publication number
- KR20180105636A KR20180105636A KR1020187014387A KR20187014387A KR20180105636A KR 20180105636 A KR20180105636 A KR 20180105636A KR 1020187014387 A KR1020187014387 A KR 1020187014387A KR 20187014387 A KR20187014387 A KR 20187014387A KR 20180105636 A KR20180105636 A KR 20180105636A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- data
- image
- location
- video stream
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 81
- 230000001815 facial effect Effects 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims description 112
- 238000012545 processing Methods 0.000 claims description 23
- 238000009877 rendering Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 33
- 230000006855 networking Effects 0.000 description 14
- 230000004044 response Effects 0.000 description 9
- 230000001413 cellular effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000004020 conductor Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Images
Classifications
-
- C—CHEMISTRY; METALLURGY
- C07—ORGANIC CHEMISTRY
- C07K—PEPTIDES
- C07K16/00—Immunoglobulins [IGs], e.g. monoclonal or polyclonal antibodies
- C07K16/40—Immunoglobulins [IGs], e.g. monoclonal or polyclonal antibodies against enzymes
-
- G06K9/00288—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
- A61K39/00—Medicinal preparations containing antigens or antibodies
- A61K39/395—Antibodies; Immunoglobulins; Immune serum, e.g. antilymphocytic serum
- A61K39/39591—Stabilisation, fragmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
- A61K47/00—Medicinal preparations characterised by the non-active ingredients used, e.g. carriers or inert additives; Targeting or modifying agents chemically bound to the active ingredient
- A61K47/06—Organic compounds, e.g. natural or synthetic hydrocarbons, polyolefins, mineral oil, petrolatum or ozokerite
- A61K47/26—Carbohydrates, e.g. sugar alcohols, amino sugars, nucleic acids, mono-, di- or oligo-saccharides; Derivatives thereof, e.g. polysorbates, sorbitan fatty acid esters or glycyrrhizin
-
- C—CHEMISTRY; METALLURGY
- C07—ORGANIC CHEMISTRY
- C07K—PEPTIDES
- C07K16/00—Immunoglobulins [IGs], e.g. monoclonal or polyclonal antibodies
- C07K16/18—Immunoglobulins [IGs], e.g. monoclonal or polyclonal antibodies against material from animals or humans
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G06K9/00765—
-
- G06K9/6215—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G06K2209/27—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medicinal Chemistry (AREA)
- Data Mining & Analysis (AREA)
- Organic Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Genetics & Genomics (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Pharmacology & Pharmacy (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Epidemiology (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- General Chemical & Material Sciences (AREA)
- Oil, Petroleum & Natural Gas (AREA)
- Mycology (AREA)
- Microbiology (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Medical Informatics (AREA)
Abstract
장치는, 사용자 디바이스로부터 위치 데이터를 수신할 수 있고, 위치 데이터를 얼굴 인식 데이터 또한 저장하는 사용자 프로파일 데이터 구조에 저장할 수 있는 프로세서를 포함할 수 있다. 프로세서는 또한 적어도 하나의 이미지를 수신할 수 있고, 적어도 하나의 이미지 내의 특성들의 세트에 적어도 부분적으로 기초하여 위치를 식별할 수 있다. 프로세서는, 데이터베이스에 저장된 각각의 사용자 프로파일 데이터 구조에 대해, 해당 사용자 프로파일 데이터 구조의 위치 데이터를 위치와 비교할 수 있다. 프로세서는, 사용자 프로파일 데이터 구조의 위치 데이터와 위치가 매칭할 때, 얼굴 인식을 수행하여, 사용자 프로파일 데이터 구조와 연관된 사용자가 적어도 하나의 이미지에서 식별될 수 있는지 여부를 결정할 수 있다. 그 후, 사용자가 식별될 수 있으면, 프로세서는 적어도 하나의 이미지를 사용자 프로파일 데이터 구조와 연관시킬 수 있다.
Description
<관련 출원에 대한 상호 참조>
본 출원은 2015년 10월 21일자로 출원되고, 발명의 명칭이 "METHODS AND APPARATUS FOR FALSE POSITIVE MINIMIZATION IN FACIAL RECOGNITION APPLICATIONS"인 미국 특허 가출원 제62/244,419호의 우선권 및 그 이익을 주장한다. 상기 출원의 전체 내용은 본 명세서에 명시적으로 참조로 포함된다.
본 명세서에서 설명되는 실시예들은 일반적으로 얼굴 인식 및 비디오 분석에 관한 것으로, 보다 구체적으로는 얼굴 인식 애플리케이션들에서 긍정 오류(false positive)를 최소화하기 위한 장치들 및 방법들에 관한 것이다.
카메라들, 태블릿들, 스마트폰들 등과 같은 전자 디바이스들의 가용성 및 능력의 증가로 인해, 일부 사람들은 자신들의 경험들에 대한 사진들을 찍고/찍거나 비디오를 캡쳐할 수 있게 되었다. 예를 들어, 스마트폰들, 태블릿들 및/또는 다른 유사한 디바이스들에 카메라들을 포함시키고 이들을 개선시킴으로써, 해당 디바이스들이 사진들(예를 들어, 사진 데이터, 이미지 데이터 등) 및 비디오들(예를 들어, 비디오 스트림 데이터)을 찍는 데 사용되는 일이 증가하게 되었다. 일부 사람들은 자신들의 경험들에 대해 사진들 및/또는 비디오들을 찍기가 더 쉬워지긴 했지만, 일부 예들에서는, 원하는 당사자들을 포함(다르게는 사진 또는 비디오를 찍는 사람을 포함)시키는 데 여전히 어려움들이 있을 수 있다. 또한, 사람은 일반적으로 사진 및/또는 비디오를 찍을 기회를 기억해야 하고/하거나 가져야 하고, 이에 실패하면 기회를 잃게 될 수 있다.
일부 예들에서, 스포츠 이벤트들, 콘서트들, 랠리들, 졸업식들 등과 같은 장소들(venues) 및/또는 이벤트들은 참석자들의 사진들 및/또는 비디오를 찍을 수 있는 카메라들을 가지고 있다. 그러나, 일부 예들에서, 사진들 및/또는 비디오 스트림을 분석하는 것, 파싱하는 것 및/또는 이들을 다른 방식으로 사용 가능하게 하는 것은 상대적으로 많은 양의 자원들을 사용할 수 있고/있거나, 부정확할 수 있고/있거나, 연관된 맥락형 데이터 등을 제공하는 데 실패할 수 있다. 보다 구체적으로, 일부 예들에서는, 사진들에서 사람을 식별하기 위해 얼굴 인식만을 사용하는 것으로 인해 긍정 오류들이 획득되는 바람에, 사진에서 검출되는 특정 인물이 실제로 사진에 캡쳐된 위치에 있었음을 검증하는 것이 어려울 수 있다.
따라서, 예를 들어, 공개 이벤트들에서 긍정 오류들을 최소화하기 위해 맥락형 및 위치 데이터를 사용하기 위한 개선된 장치들 및 방법들에 대한 필요성이 존재한다.
일부 구현들에서, 장치는 메모리 및 메모리에 동작 가능하게 연결된 프로세서를 포함할 수 있다. 프로세서는 제1 시간에 사용자 디바이스로부터 위치 데이터를 수신할 수 있고, 위치 데이터를 사용자 프로파일 데이터 구조에 저장할 수 있다. 사용자 프로파일 데이터 구조는 2차원 얼굴 인식 분석, 3차원 얼굴 인식 분석, 또는 컨볼루션 신경망(convolutional neural nets)(CNN) 중 적어도 하나에 기초하여, 사용자와 연관된 사용자 디바이스의 사용자의 얼굴 인식 데이터를 포함할 수 있다. 프로세서는 제1 시간과 상이한 제2 시간에 이미지 캡쳐 디바이스로부터 적어도 하나의 이미지를 수신할 수 있다. 프로세서는 수신된 적어도 하나의 이미지 내의 특성들의 세트에 적어도 부분적으로 기초하여 위치를 식별할 수 있고, 사용자 프로파일 데이터 구조를 포함하는 복수의 사용자 프로파일 데이터 구조들을 데이터베이스로부터 리트리브할 수 있다. 프로세서는, 복수의 사용자 프로파일 데이터 구조들 중 각각의 사용자 프로파일 데이터 구조에 대해, 해당 사용자 프로파일 데이터 구조의 위치 데이터를 위치와 비교할 수 있다. 프로세서는, 사용자 프로파일 데이터 구조의 위치 데이터와 위치가 서로의 미리 결정된 거리 내에 있을 때, 사용자 프로파일 데이터 구조와 연관된 사용자가 적어도 하나의 이미지에서 식별될 수 있는지 여부를 결정할 수 있다. 예를 들어, 프로세서는 2차원 얼굴 인식 분석, 3차원 얼굴 인식 분석 또는 CNN 중 적어도 하나에 기초하여 사용자의 얼굴 인식 데이터에 대해 적어도 하나의 이미지를 분석하여, 얼굴 인식 신뢰 스코어를 식별할 수 있다. 그 후, 프로세서는 얼굴 인식 신뢰 스코어가 미리 결정된 기준을 충족시키는 것에 기초하여, 적어도 하나의 이미지를 사용자 프로파일 데이터 구조와 연관시킬 수 있다.
도 1a는 실시예에 따른 인식 시스템의 개략도이다.
도 1b는 다른 실시예에 따른 인식 시스템의 개략도이다.
도 2는 도 1의 인식 시스템에 포함된 호스트 디바이스의 개략도이다.
도 3은 실시예에 따른 비디오 인식 시스템의 사용 방법을 예시하는 흐름도이다.
도 4는 다른 실시예에 따른 비디오 인식 시스템의 사용 방법을 예시하는 흐름도이다.
도 5는, 실시예에 따라, 미디어 내의 맥락형 정보를 캡쳐하는 이미지 캡쳐 디바이스의 예시이다.
도 6은, 실시예에 따라, 미디어 내의 맥락형 정보 및 위치 데이터를 사용하여, 미디어 내의 사용자를 식별하는 것을 예시하는 논리 흐름도이다.
도 1b는 다른 실시예에 따른 인식 시스템의 개략도이다.
도 2는 도 1의 인식 시스템에 포함된 호스트 디바이스의 개략도이다.
도 3은 실시예에 따른 비디오 인식 시스템의 사용 방법을 예시하는 흐름도이다.
도 4는 다른 실시예에 따른 비디오 인식 시스템의 사용 방법을 예시하는 흐름도이다.
도 5는, 실시예에 따라, 미디어 내의 맥락형 정보를 캡쳐하는 이미지 캡쳐 디바이스의 예시이다.
도 6은, 실시예에 따라, 미디어 내의 맥락형 정보 및 위치 데이터를 사용하여, 미디어 내의 사용자를 식별하는 것을 예시하는 논리 흐름도이다.
일부 구현들에서, 장치는 메모리 및 메모리에 동작 가능하게 연결된 프로세서를 포함할 수 있다. 프로세서는 제1 시간에 사용자 디바이스로부터 위치 데이터를 수신할 수 있고, 위치 데이터를 사용자 프로파일 데이터 구조에 저장할 수 있다. 사용자 프로파일 데이터 구조는 2차원 얼굴 인식 분석, 3차원 얼굴 인식 분석, 또는 컨볼루션 신경망(CNN) 중 적어도 하나에 기초하여, 사용자와 연관된 사용자 디바이스의 사용자의 얼굴 인식 데이터를 포함할 수 있다. 프로세서는 제1 시간과 상이한 제2 시간에 이미지 캡쳐 디바이스로부터 적어도 하나의 이미지를 수신할 수 있다. 프로세서는 수신된 적어도 하나의 이미지 내의 특성들의 세트에 적어도 부분적으로 기초하여 위치를 식별할 수 있고, 사용자 프로파일 데이터 구조를 포함하는 복수의 사용자 프로파일 데이터 구조들을 데이터베이스로부터 리트리브할 수 있다. 프로세서는, 복수의 사용자 프로파일 데이터 구조들 중 각각의 사용자 프로파일 데이터 구조에 대해, 해당 사용자 프로파일 데이터 구조의 위치 데이터를 위치와 비교할 수 있다. 프로세서는, 사용자 프로파일 데이터 구조의 위치 데이터와 위치가 서로의 미리 결정된 거리 내에 있을 때, 사용자 프로파일 데이터 구조와 연관된 사용자가 적어도 하나의 이미지에서 식별될 수 있는지 여부를 결정할 수 있다. 예를 들어, 프로세서는 2차원 얼굴 인식 분석, 3차원 얼굴 인식 분석 또는 CNN 중 적어도 하나에 기초하여 사용자의 얼굴 인식 데이터에 대해 적어도 하나의 이미지를 분석하여, 얼굴 인식 신뢰 스코어를 식별할 수 있다. 그 후, 프로세서는 얼굴 인식 신뢰 스코어가 미리 결정된 기준을 충족시키는 것에 기초하여, 적어도 하나의 이미지를 사용자 프로파일 데이터 구조와 연관시킬 수 있다.
본 명세서에서 설명되는 실시예들은 얼굴 인식 데이터 및 위치 정보에 기초하여 미디어 내의 사용자를 검출하는 것에 관한 것이다. 일부 실시예들에서, 이미지 분석 방법은 호스트 디바이스에서, 그리고 네트워크를 통해 클라이언트 디바이스로부터 위치에서의 사용자 체크-인들을 나타내는 신호를 수신하는 단계를 포함한다. 사용자는 자신의 모바일 디바이스를 통해 체크인할 수 있다. 이미지 캡쳐 디바이스는 사용자를 포함할 수 있는 미디어(예를 들어, 사진들, 비디오들, 오디오 및/또는 유사한 컨텐츠)를 캡쳐할 수 있다. 호스트 디바이스는 미디어가 캡쳐되었던 특정 위치를 결정하기 위해 (예를 들어, 이미지 프로세싱 기술들을 통해 미디어를 프로세싱한 후에) 미디어의 풍경 및/또는 다른 배경 정보를 사용할 수 있다. 호스트 디바이스는 또한, 예를 들어, 이미지 캡쳐 디바이스의 위치 및/또는 미디어가 검출하는 위치를 검증하기 위해 이미지 캡쳐 디바이스에 대한 위치 정보를 수신할 수 있다. 호스트 디바이스는 미디어에서 검출된 위치와 체크인한 사용자들의 위치 데이터를 매칭시켜, 미디어가 캡쳐되었던 위치와 가까운 위치에서 어떤 사용자들이 체크인했는지를 결정할 수 있다. 그 후, 호스트 디바이스는 미디어에 대해 이미지 프로세싱을 수행하여, 미디어의 위치와 가까운 위치에서 체크인한 사용자들이 미디어에 나타나는지 여부를 결정할 수 있다. 호스트 디바이스는 호스트 디바이스가 미디어에서 검출하는 사용자들에게 통지들을 전송할 수 있다. 이러한 방식으로, 호스트 디바이스는 특정 미디어 파일에서 검색할 사용자들의 수를 감소시키고, 사용자의 위치 및 사용자의 출연 모두를 미디어로부터 획득된 데이터에 연결함으로써 긍정 오류들을 감소시킬 수 있다.
본 명세서에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 맥락상 명확하게 달리 지시하지 않는 한 복수의 지시 대상들을 포함한다. 따라서, 예를 들어, "모듈"이라는 용어는 단일 모듈 또는 모듈들의 결합을 의미하도록 의도되고, "네트워크"는 하나 이상의 네트워크 또는 이들의 결합을 의미하도록 의도된다.
본 명세서에서 사용되는 바와 같이, "모듈"이라는 용어는, 예를 들어, 메모리, 프로세서, 전기 트레이스들, 광 커넥터들, 소프트웨어(하드웨어에서 실행) 등을 포함할 수 있는 동작 가능하게 연결된 전기 컴포넌트들의 임의의 어셈블리 및/또는 세트를 지칭한다. 예를 들어, 프로세서에서 실행되는 모듈은 하드웨어 기반 모듈(예를 들어, 필드 프로그래머블 게이트 어레이(field-programmable gate array)(FPGA), 주문형 집적 회로(application specific integrated circuit)(ASIC), 디지털 신호 프로세서(digital signal processor)(DSP)) 및/또는 해당 모듈과 연관된 하나 이상의 특정 기능을 수행할 수 있는 소프트웨어 기반 모듈(예를 들어, 메모리에 저장되고/되거나 프로세서에서 실행되는 컴퓨터 코드의 모듈)의 임의의 결합일 수 있다.
본 명세서에서 설명되는 실시예들 및 방법들은 얼굴 인식 데이터를 사용하여, (1) 비디오 스트림에서 등록된 사용자(예를 들어, 얼굴 인식 데이터가 미리 결정된 사람)의 하나 이상의 이미지를 검색하고, (2) 사용자와 연관된 클라이언트 디바이스(예를 들어, 스마트폰, 태블릿, 컴퓨터, 웨어러블 전자 디바이스 등)에 맥락형 데이터를 포함한 비디오 스트림을 제공할 수 있다. 얼굴 인식은 일반적으로 사람의 얼굴의 하나 이상의 이미지를 분석하여, 예를 들어, 그 사람의 얼굴 구조(예를 들어, 광대뼈, 턱 끝, 귀, 눈, 턱, 코, 헤어 라인 등)의 현저한 특징들을 결정한 다음, 현저한 특징들과 연관되고/되거나 다르게는 현저한 특징들을 표현하는 정성적 및/또는 정량적 데이터 세트를 정의하는 것을 포함한다. 한 가지 접근법은, 예를 들어, 사람의 얼굴의 현저한 특징들과 연관된 데이터를 추출하고, 기하학적 및/또는 좌표 기반 정보를 포함하는 데이터 세트를 정의하는 것을 포함한다(예를 들어, 얼굴 인식 데이터의 3차원(3-D) 분석). 다른 접근법은, 예를 들어, 이미지 데이터를 정성적인 값들로 정제하고, 이들 값들을 템플릿들 등과 비교하는 것을 포함한다(예를 들어, 얼굴 인식 데이터의 2차원(2-D) 분석). 일부 예들에서, 다른 접근법은 3-D 분석과 2-D 분석의 임의의 적절한 조합을 포함할 수 있다.
일부 얼굴 인식 방법들 및/또는 알고리즘들은 아이겐페이스(Eigenface)들(예를 들어, 얼굴 인식과 연관된 아이겐벡터(Eigenvector))을 사용하는 주성분 분석(Principal Component Analysis), 선형 판별 분석(Linear Discriminate Analysis), 피셔페이스 알고리즘(Fisherface algorithm)을 사용하는 탄성 번치 그래프 매칭(Elastic Bunch Graph Matching), 은닉 마르코프 모델(Hidden Markov model), 텐서(tensor) 표현을 사용하는 다중선형 부분공간 학습(Multilinear Subspace Learning), 신경 동기 부여 동적 링크 매칭(neuronal motivated dynamic link matching), 컨볼루션 신경망(CNN) 등 또는 이들의 조합을 포함한다. 본 명세서에서 설명되는 실시예들 및/또는 방법들 중 임의의 것은 위에서 설명된 바와 같은 임의의 적절한 얼굴 인식 방법 및/또는 알고리즘 또는 이들의 조합을 사용 및/또는 구현할 수 있다.
도 1a는 실시예에 따른 비디오 인식 시스템(100)의 개략도이다. 일부 예들에서, 비디오 인식 시스템(100)(본 명세서에서 "시스템"으로도 지칭됨)은 얼굴 인식 데이터에 적어도 부분적으로 기초하여 사용자의 비디오 스트림을 제시하는 데 사용될 수 있다. 시스템(100)의 적어도 일부는, 예를 들어, 메모리에 저장되고 전자 디바이스(예를 들어, 호스트 디바이스, 서버 또는 서버들의 그룹, 퍼스널 컴퓨터(PC), 네트워크 디바이스 등) 등의 프로세서에서 실행되는 명령어들의 세트 또는 코드에 의해 표현 및/또는 설명될 수 있다. 예를 들어, 일부 실시예들에서, 호스트 디바이스는 사용자와 연관된 얼굴 인식 데이터를 등록하기 위한 요청과 연관된 신호를 수신할 수 있고, 이에 응답하여, 얼굴 인식 데이터를 데이터베이스에 저장할 수 있다. 유사하게, 호스트 디바이스는 비디오 스트림 데이터와 연관된 신호를 수신할 수 있다. 일부 예들에서, 호스트 디바이스의 하나 이상의 프로세서는 호스트 디바이스의 메모리에 저장되고 비디오 스트림 데이터를 분석하는 것과 연관된 명령어들의 세트 또는 코드를 실행하여, 얼굴 인식 데이터 및/또는 위치 정보(랜드마크 데이터 등)에 적어도 부분적으로 기초하여, 사용자의 하나 이상의 이미지가 비디오 스트림에 존재하는지를 결정할 수 있다. 이미지들이 비디오 스트림 데이터에서 발견되는 경우, 하나 이상의 프로세서는 비디오 스트림 데이터의 연관된 부분을 분리할 수 있다. 또한, 하나 이상의 프로세서는 (1) 시간, 위치, 이벤트 등과 같은 맥락형 데이터를 비디오 스트림 데이터와 연관시키고, (2) 사용자의 맥락형 비디오 스트림을 정의하기 위한 명령어들의 세트 또는 코드를 실행할 수 있다. 그 후, 하나 이상의 프로세서는, 사용자와 연관된 클라이언트 디바이스에, (예를 들어, 클라이언트 디바이스 상에 인스턴스화되는 인터페이스에 맥락형 비디오 스트림을 그래픽으로 렌더링시킴으로써) 사용자의 맥락형 비디오 스트림을 클라이언트 디바이스의 디스플레이 상에 제시하라는 명령을 나타내는 신호를 전송할 수 있다.
시스템(100)은 데이터베이스(140)와 통신하는 호스트 디바이스(110), 클라이언트 디바이스(150) 및 이미지 캡쳐 시스템(160)을 포함한다. 호스트 디바이스(110)는 데이터베이스(140), 클라이언트 디바이스(150) 및 이미지 캡쳐 시스템(160)과 전자 통신하는 서버 또는 서버들의 그룹, 네트워크 관리 디바이스, 퍼스널 컴퓨터(PC), 프로세싱 유닛 등과 같은 임의의 적절한 호스트 디바이스일 수 있다. 예를 들어, 이 실시예에서, 호스트 디바이스(110)는, 여기에서 더 상세하게 설명되는 바와 같이, 네트워크(105)를 통해 데이터베이스(140), 클라이언트 디바이스(150) 및 이미지 캡쳐 시스템(160)과 전자 통신하는 (실질적으로 동일한 위치 및/또는 시설에 배치되거나 둘 이상의 위치에 분산된) 서버 또는 서버들의 그룹일 수 있다.
클라이언트 디바이스(150)는 PC, 랩탑, 컨버터블 랩탑, 태블릿, PDA(personal digital assistant), 스마트폰, 웨어러블 전자 디바이스(예를 들어, 스마트 시계 등) 등과 같은 임의의 적절한 디바이스일 수 있다. 도 1에 도시되지는 않았지만, 일부 실시예들에서, 클라이언트 디바이스(150)는 적어도 메모리, 프로세서, 통신 인터페이스, 디스플레이 및 하나 이상의 입력을 포함하는 전자 디바이스일 수 있다. 메모리, 프로세서, 통신 인터페이스, 디스플레이 및 입력(들)은 그 사이에서 신호들이 전송될 수 있도록 서로 접속되고/되거나 전기적으로 연결될 수 있다. 예를 들어, 일부 실시예들에서, 메모리는 랜덤 액세스 메모리(RAM), 메모리 버퍼, 하드 드라이브, 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM) 등일 수 있다. 프로세서는 범용 프로세서(GPP), 중앙 처리 장치(CPU), 가속 처리 장치(APU), 그래픽 프로세서 유닛(GPU), 주문형 집적 회로(ASIC) 등과 같이 (예를 들어, 메모리에 저장된) 명령어들의 세트 또는 코드를 실행하도록 구성된 임의의 적절한 프로세싱 디바이스일 수 있다. 이러한 프로세서는 PC 애플리케이션, 모바일 애플리케이션, 인터넷 웹브라우저, (네트워크를 통해) 셀룰러 및/또는 무선 통신 등을 사용하는 것과 연관된, 메모리에 저장된 명령어들의 세트 또는 코드를 실행할 수 있다. 보다 구체적으로, 프로세서는, 여기에서 더 상세하게 설명되는 바와 같이, 호스트 디바이스(110)에 얼굴 인식 데이터를 전송하는 것 및/또는 호스트 디바이스(110)로부터 얼굴 인식 데이터 및/또는 맥락형 비디오 스트림 데이터를 수신하는 것과 연관된, 메모리에 저장된 명령어들의 세트 또는 코드를 실행할 수 있다.
클라이언트 디바이스(150)의 통신 인터페이스는 하나 이상의 네트워크 인터페이스 카드 등과 같이 호스트 디바이스(110)와 통신하는 자원을 배치할 수 있는 임의의 적절한 모듈 및/또는 디바이스일 수 있다. 이러한 네트워크 인터페이스 카드는, 예를 들어, 클라이언트 디바이스(150)를 네트워크(예를 들어, 네트워크(105)) 등을 통해 호스트 디바이스(110)와 통신하게 할 수 있는 이더넷 포트, WiFi® 무선, 블루투스® 무선, 근거리 통신(near field communication)(NFC) 무선 및/또는 셀룰러 무선을 포함할 수 있다. 이와 같이, 통신 인터페이스는 네트워크(105)를 통해 호스트 디바이스(110)와 전자 통신하는 것과 연관되어 프로세서에 신호들을 전송하고/하거나 이로부터 신호들을 수신할 수 있다.
클라이언트 디바이스(150)의 디스플레이는, 예를 들어, 시스템(100)의 임의의 적절한 부분(예를 들어, 웹페이지, PC 애플리케이션, 모바일 애플리케이션 등과 연관된 그래픽 사용자 인터페이스(GUI))을 그래픽으로 표현할 수 있는 CRT(cathode ray tube) 모니터, LCD(liquid crystal display) 모니터, LED(light emitting diode) 모니터 등일 수 있다. 일부 실시예들에서, 이러한 디스플레이는 햅틱 사용자 입력을 수신하도록 구성된 터치 스크린일 수 있고/있거나, 이를 포함할 수 있다. 일부 예들에서, 디스플레이는, 여기에서 더 상세하게 설명되는 바와 같이, 얼굴 인식 프로세스와 연관된 데이터 및/또는 비디오 스트림과 연관된 데이터를 그래픽으로 표현하도록 구성될 수 있다.
클라이언트 디바이스(150)의 입력(들)은, 하나 이상의 입력(예를 들어, 사용자 입력)을 수신할 수 있고 하나 이상의 입력과 연관되어 프로세서에 신호들을 전송하고/하거나 그로부터 신호들을 수신할 수 있는 임의의 적절한 모듈 및/또는 디바이스일 수 있다. 일부 실시예들에서, 입력(들)은 포트들, 플러그들 및/또는 디바이스와 전자 통신하게 배치되도록 구성된 다른 인터페이스들일 수 있고/있거나, 이를 포함할 수 있다. 예를 들어, 그러한 입력은 USB(universal serial bus) 포트, IEEE(Institute of Electrical and Electronics Engineers) 1394(파이어와이어(FireWire)) 포트, 썬더볼트(Thunderbolt) 포트, 라이트닝(Lightning) 포트 등일 수 있다. 일부 실시예들에서, 디스플레이는 햅틱 사용자 입력을 수신하도록 구성된 터치 스크린 등에 포함될 수 있다.
일부 실시예들에서, 입력은 카메라 및/또는 다른 이미징 디바이스일 수 있다. 예를 들어, 일부 실시예들에서, 그러한 카메라는 (예를 들어, 스마트폰들, 태블릿들, 랩탑들 등에서와 같이) 클라이언트 디바이스(150)에 통합될 수 있고/있거나, (예를 들어, 위에서 설명된 것들과 같은) 포트 등을 통해 클라이언트 디바이스(150)와 통신할 수 있다. 카메라는, 예를 들어, 스마트폰 또는 태블릿에 포함된 웹캠 또는 전향(forward facing) 카메라(예를 들어, 디스플레이와 실질적으로 동일한 방향을 가리키는 카메라)와 같은 임의의 적절한 이미징 디바이스일 수 있다. 이러한 방식으로, 사용자는 클라이언트 디바이스(150)를 조작하여 카메라로 하여금 이미지(예를 들어, 사진) 또는 비디오를 캡쳐하게 할 수 있다. 또한, 일부 예들에서, 디스플레이는 카메라에 의해 캡쳐된 이미지와 연관된 데이터를 그래픽으로 렌더링하도록 구성될 수 있다. 예로서, 일부 실시예들에서, 클라이언트 디바이스(150)는 전향 카메라를 포함하는 스마트폰, 태블릿 또는 웨어러블 전자 디바이스일 수 있다. 일부 예들에서, 사용자는 클라이언트 디바이스(150)를 조작하여 카메라를 통해 자신의 사진 또는 비디오를 찍을 수 있다(예를 들어, "셀피(selfie)"로도 알려짐).
일부 예들에서, 클라이언트 디바이스(150)에 포함된 카메라(예를 들어, 입력)는 사용자의 얼굴의 이미지를 캡쳐하는 데 사용될 수 있고, 이 이미지는 차례로 사용자와 연관된 얼굴 인식 데이터를 등록하는 데 사용될 수 있다. 구체적으로, 사용자는 클라이언트 디바이스(150)를 조작하여 카메라가 사용자의 얼굴의 이미지를 캡쳐하게 할 수 있다. 일부 예들에서, 디스플레이는 지시, 프레임, 경계, 가이드 및/또는 데이터의 임의의 다른 적절한 그래픽 표현을 그래픽으로 렌더링하도록 구성될 수 있으며, 이는 사용자의 얼굴의 이미지에 대한 원하는 정렬과 연관된 지시를 사용자에게 제공할 수 있다. 일단 카메라가 원하는 이미지를 캡쳐하면, 프로세서는 사용자의 얼굴의 이미지와 연관된 데이터를 수신 및/또는 리트리브할 수 있고, 차례로 얼굴 인식 프로세스의 적어도 일부와 연관된 (예를 들어, 메모리에 저장된) 명령어들의 세트 또는 코드를 실행할 수 있다. 예를 들어, 일부 예들에서, 프로세서는 디스플레이 상에 그래픽으로 렌더링된 지시, 프레임, 경계 등과 사용자의 얼굴의 캡쳐된 이미지 간의 정렬을 검증하는 것과 연관된 명령어들의 세트 또는 코드를 실행할 수 있다. 일부 예들에서, 여기에서 더 상세하게 설명되는 바와 같이, 클라이언트 디바이스(150)는 정렬이 검증될 때, 호스트 디바이스(110)에 사용자의 이미지를 표현하는 데이터와 연관된 신호를 네트워크(105)를 통해 전송하도록 구성될 수 있고, 이에 응답하여, 호스트 디바이스(110)는, 데이터에 대해 임의의 적절한 얼굴 인식 프로세스 또는 프로세스들을 수행할 수 있다.
이미지 캡쳐 시스템(160)은 이미지 데이터를 캡쳐하도록 구성된 임의의 적절한 디바이스 또는 디바이스들일 수 있고/있거나, 이를 포함할 수 있다. 예를 들어, 이미지 캡쳐 시스템(160)은 이미지(예를 들어, 사진)를 캡쳐하고/하거나 비디오 스트림을 레코딩하도록 구성된 하나 이상의 카메라 및/또는 이미지 레코딩 디바이스일 수 있고/있거나, 이를 포함할 수 있다. 일부 실시예들에서, 이미지 캡쳐 시스템(160)은 서버, 퍼스널 컴퓨터, 데이터 스토리지 디바이스(예를 들어, 네트워크 결합 스토리지(network attached storage)(NAS) 디바이스, 데이터베이스 등) 등과 같은 중앙 컴퓨팅 디바이스와 통신하는 다수의 카메라들을 포함할 수 있다. 이러한 실시예들에서, 카메라들은 자율적일 수 있고(예를 들어, 사용자 프롬프트 및/또는 입력 없이 이미지 데이터를 캡쳐할 수 있고), 각각 (예를 들어, 유선 또는 무선 접속, 포트, 직렬 버스, 네트워크 등을 통해) 중앙 컴퓨팅 디바이스에 이미지 데이터를 전송할 수 있고, 중앙 컴퓨팅 디바이스는 차례로 이미지 데이터를 메모리 및/또는 다른 데이터 스토리지 디바이스에 저장할 수 있다. 또한, 중앙 컴퓨팅 디바이스는 (예를 들어, 네트워크(105)를 통해) 호스트 디바이스(110)와 통신할 수 있고, 호스트 디바이스(110)에 이미지 데이터의 적어도 일부를 전송하도록 구성될 수 있다. 이러한 중앙 컴퓨팅 디바이스는, 도 1에서는 네트워크(105)를 통해 호스트 디바이스(110)와 통신하는 것으로 도시되어 있지만, 다른 실시예들에서는, 호스트 디바이스(110)에 포함될 수 있고/있거나, 그 일부일 수 있고/있거나, 다르게는 이에 연결될 수 있다. 또 다른 실시예들에서, 카메라들은 그러한 중앙 컴퓨팅 디바이스 없이 (예를 들어, 네트워크(105)를 통해) 호스트 디바이스(110)와 통신할 수 있다.
일부 실시예들에서, 이미지 캡쳐 시스템(160)은, 예를 들어, 스포츠 경기장, 테마 파크, 극장 및/또는 임의의 다른 적절한 장소와 같은 장소 등과 연관될 수 있고/있거나, 이에 의해 소유될 수 있다. 다른 실시예들에서, 이미지 캡쳐 시스템(160)은 소정 장소 내에서 또는 소정 장소에서 사용되지만, 상이한 엔티티(예를 들어, 스포츠 이벤트에서의 텔레비전 카메라와 같이 소정 장소 내에서 또는 소정 장소에서 이미지 캡쳐 시스템(160)을 사용하도록 면허가 부여되고/되거나 다른 방식으로 인가된 엔티티)에 의해 소유될 수 있다. 또 다른 실시예들에서, 이미지 캡쳐 시스템(160)은 카메라들 또는 레코더들로서 사용될 수 있는 스마트폰들, 태블릿들 등과 같은 임의의 수의 클라이언트 디바이스들(예를 들어, 사용자 디바이스들) 등을 포함할 수 있다. 이러한 실시예들에서, 클라이언트 디바이스들 중 적어도 일부의 클라이언트 디바이스들은 (예를 들어, 위에서 설명된 바와 같이) 호스트 디바이스(110) 및/또는 장소와 연관된 중앙 컴퓨팅 디바이스와 통신할 수 있다.
예를 들어, 일부 실시예들에서, 클라이언트 디바이스(150)에 통합된 카메라는, 도 1b에 도시된 바와 같이, 이미지 캡쳐 시스템(160)의 적어도 일부를 형성 및/또는 포함할 수 있다. 이러한 방식으로, 사용자는 클라이언트 디바이스(150)를 조작하여 사진 및/또는 비디오 레코딩을 캡쳐할 수 있고, 이에 응답하여, 클라이언트 디바이스(150)는 호스트 디바이스(110)에 사진(예를 들어, 이미지 데이터, 사진 데이터 등) 및/또는 비디오 레코딩 데이터를 업로드 및/또는 다른 방식으로 전송할 수 있다. 일부 예들에서, 사진 및/또는 비디오 레코딩 데이터는 임의의 적절한 시간 동안 클라이언트 디바이스(150) 상에 저장될 수 있고, 나중에 호스트 디바이스(110)에 업로드 및/또는 전송될 수 있다. 또한, 사진 및/또는 비디오 레코딩 데이터가 호스트 디바이스(110)에 전송된 후에, 사진 및/또는 비디오 레코딩 데이터는 클라이언트 디바이스(150) 상에 저장될 수 있다. 즉, 사진 및/또는 비디오 레코딩 데이터를 전송하는 것이 클라이언트 디바이스(150)로부터 사진 및/또는 비디오 레코딩 데이터를 삭제 및/또는 제거하지 않는다(예를 들어, 데이터의 사본이 호스트 디바이스(110)에 전송된다). 따라서, 도 1b에 도시된 바와 같이, 이미지 캡쳐 시스템(160)은 특정 이벤트 및/또는 장소와 연관될 필요가 없다. 그러한 예들에서, 사용자는 클라이언트 디바이스(150)(예를 들어, 클라이언트 디바이스(150)의 애플리케이션)를 조작하여, 클라이언트 디바이스(150)에 통합된 카메라 및/또는 레코딩 디바이스(예를 들어, 이미지 캡쳐 시스템(160))를 통해 사용자에 의해 생성되는 컨텐츠(예를 들어, 사진들, 이미지 데이터, 사진 데이터, 비디오 스트림 데이터 등)를 캡쳐할 수 있다.
일부 예들에서, 이미지 캡쳐 시스템(160)은 장소 및/또는 이벤트와 연관된 이미지 데이터를 캡쳐하도록 구성된다. 즉, 이미지 캡쳐 시스템(160)은 미리 결정된, 알려진 및/또는 주어진 맥락 내에서 이미지 데이터를 캡쳐하도록 구성된다. 예를 들어, 일부 예들에서, 이미지 캡쳐 시스템(160)은, 경기장 등에 설치되고 경지장의 후원자들, 게스트들, 출연자들 등과 연관된 이미지 데이터를 캡쳐하도록 구성되는 하나 이상의 이미지 캡쳐 디바이스(예를 들어, 카메라 및/또는 비디오 레코더)를 포함할 수 있다. 이러한 방식으로, 이미지 캡쳐 시스템(160)은 경기장 및/또는 경기장에서 발생하는 이벤트의 맥락 내에서 이미지 데이터를 캡쳐하도록 구성된다. 따라서, 캡쳐된 이미지 데이터는, 예를 들어, "맥락형 이미지 데이터"일 수 있다. 즉, 이미지 데이터는 맥락형 데이터와 연관된다. 여기에서 더 상세하게 설명되는 바와 같이, 호스트 디바이스(110)는 이미지 캡쳐 시스템(160)으로부터의 이미지 데이터 및/또는 비디오 스트림 데이터, 및 임의의 적절한 데이터 소스 등으로부터의 맥락과 연관된 데이터(예를 들어, 경기장 및/또는 경기장에서 발생하는 이벤트와 연관된 "맥락형 데이터" 및/또는 임의의 다른 적절한 맥락형 및/또는 메타데이터)를 수신할 수 있고; 맥락형 데이터를, 예를 들어, 이미지 데이터와 연관시킬 수 있고; 예를 들어, 클라이언트 디바이스(150)의 사용자와 연관된 사용자-특정 맥락형 이미지 및/또는 사용자-특정 맥락형 비디오 스트림을 정의할 수 있고; 클라이언트 디바이스(150)에 사용자와 연관된 사용자-특정 맥락형 이미지 및/또는 사용자-특정 맥락형 비디오 스트림을 전송할 수 있다.
위에서 설명된 바와 같이, 클라이언트 디바이스(150) 및 이미지 캡쳐 시스템(160)은 하나 이상의 네트워크를 통해 호스트 디바이스(110)와 통신할 수 있다. 예를 들어, 도 1a에 도시된 바와 같이, 클라이언트 디바이스(150) 및 이미지 캡쳐 시스템(160)은 자신의 통신 인터페이스 및 네트워크(105)를 통해 호스트 디바이스(110)와 통신할 수 있다. 네트워크(105)는, 예를 들어, LAN(local area network), VLAN(virtual local area network)과 같은 가상 네트워크, WAN(wide area network), MAN(metropolitan area network), WiMAX(worldwide interoperability for microwave access network), 셀룰러 네트워크, 인터넷, 및/또는 유선 및/또는 무선 네트워크로서 구현되는 임의의 다른 적절한 네트워크와 같은 임의의 타입의 네트워크일 수 있다. 예로서, 네트워크(105)는 IEEE(Institute of Electrical and Electronics Engineers) 802.11 표준("WiFi®"로도 알려짐)에 기초한 WLAN(wireless local area network)로서 구현될 수 있다. 또한, 네트워크(105)는, 예를 들어, LAN 또는 WLAN 및 인터넷과 같은 임의의 타입의 네트워크들의 결합을 포함할 수 있다. 일부 실시예들에서, 클라이언트 디바이스(150)는 네트워크(105)와 유사한 것일 수도 있고 상이한 것일 수도 있는 중간 네트워크들 및/또는 대체 네트워크들(도시 생략)을 통해 호스트 디바이스(110) 및 네트워크(105)와 통신할 수 있다. 이와 같이, 클라이언트 디바이스(150)는 공통 네트워크를 사용하여 호스트 디바이스(110)에 송신될 수도 송신되지 않을 수도 있는 (예를 들어, 위에서 설명된 네트워크들 중 임의의 네트워크와 연관된) 다수의 통신 모드들을 사용하여 호스트 디바이스(110)에 데이터를 전송하고/하거나 이로부터 데이터를 수신할 수 있다. 예를 들어, 클라이언트 디바이스(150)는 셀룰러 네트워크 및 인터넷(예를 들어, 네트워크(105))을 통해 호스트 디바이스(110)에 접속된 모바일 전화(예를 들어, 스마트폰)일 수 있다.
일부 예들에서, 네트워크는, 예를 들어, 피어 네트워킹 세션 등을 용이하게 할 수 있다. 그러한 예들에서, 피어 네트워킹 세션은, 예를 들어, 각각이 공통 특성을 공유하는 클라이언트 디바이스들 및/또는 임의의 다른 적절한 전자 디바이스를 포함할 수 있다. 예를 들어, 일부 예들에서, 피어 네트워킹 세션은 장소, 이벤트, 위치 등의 미리 결정된 근접도 내에 있는 임의의 적절한 클라이언트 디바이스(예를 들어, 데이터베이스(140)에 등록된 전자 디바이스 등)를 포함할 수 있다. 예를 들어, 일부 예들에서, 그러한 피어 네트워킹 세션은 소정 장소(예를 들어, 스포츠 이벤트)에 존재하는 임의의 수의 등록된 클라이언트 디바이스들을 포함할 수 있다. 일부 예들에서, 피어 네트워킹 세션은 사용자 및/또는 클라이언트 디바이스와 연관된 맥락형 데이터에 기초하여 자동으로 확립될 수 있다. 다른 예들에서, 피어 네트워킹 세션은 하나 이상의 사용자가 소정 장소 등에서 "체크-인(checking-in)" 및/또는 다른 방식으로 자신의 존재를 알리는 것(예를 들어, 사용자의 존재를 "스쿼크(squawk)"하는 것)에 기초하여 자동으로 확립될 수 있다. 일부 예들에서, 사용자는 사용자가 이벤트 등(예를 들어, 스포츠 이벤트, 콘서트, 결혼식, 생일 파티, 모임 등)에 도착한 시간에, 등록 시에, 이미지 또는 비디오 스트림을 캡쳐할 때 등등의 시간에 "체크-인"할 수 있다. 또한, "체크-인"은, 예를 들어, 지형-위치 데이터, 날짜 및 시간 데이터, 개인 또는 사용자 식별 데이터 등과 같은 정보를 식별하는 것을 포함할 수 있다. 일부 구현들에서, 사용자는 또한 그들의 클라이언트 디바이스(150) 상의 애플리케이션을 통해 맥락형 비디오 스트림 데이터가 캡쳐된 이벤트들 및/또는 위치들을 검색할 수 있다. 사용자는 검색으로부터 리턴되는 이벤트 및/또는 위치들에 ""체크-인"할 수 있다. 본 명세서에 설명되는 바와 같이, 이벤트 및/또는 위치에 체크인하면 해당 이벤트 및/또는 위치와 연관된 맥락형 비디오 스트림 데이터의 프로세싱을 개시할 수 있어, 예를 들어, 사용자가 맥락형 비디오 스트림 데이터와 매칭될 수 있는지 여부를 결정할 수 있다.
다른 예들에서, 사용자는, 예를 들어, 미리 결정된 사용자들의 세트 또는 그룹을 포함하는 피어 네트워킹 세션을 수동으로 확립할 수 있다. 일부 예들에서, 그러한 피어 네트워킹 세션들은 공중 네트워크들, 사설 네트워크들 및/또는 다르게는 제한된 액세스 네트워크들일 수 있다. 예를 들어, 일부 예들에서, 사용자는 네트워킹 세션에 참여하라고 요청할 수 있고/있거나, 네트워킹 세션에 참여하라는 초대 등을 수신할 수 있다. 일부 예들에서, 피어 네트워킹 세션을 확립하는 것은, 예를 들어, 피어 네트워킹 세션에 포함된 사용자들 사이의 통신(예를 들어, 그룹 채팅 세션들 등) 및/또는 이미지 및/또는 비디오 데이터의 공유를 용이하게 할 수 있다.
호스트 디바이스(110)는 데이터베이스(140), 클라이언트 디바이스(150) 및/또는 이미지 캡쳐 시스템(160)에 데이터를 전송하고/하거나 이로부터 데이터를 수신하도록 구성된 임의의 적절한 디바이스일 수 있다. 일부 실시예들에서, 호스트 디바이스(110)는, 예를 들어, 서버 디바이스(예를 들어, 웹서버 디바이스), 네트워크 관리 디바이스, 관리자 디바이스 등으로서 기능할 수 있다. 일부 실시예들에서, 호스트 디바이스(110)는 동일한 블레이드, 랙 및/또는 설비 내에 또는 그 위에 함께 하우징되거나 또는 다수의 블레이드들, 랙들 및/또는 설비들 내에 또는 그 위에 분산된 서버들 또는 디바이스들의 그룹일 수 있다. 호스트 디바이스(110)는 적어도 메모리(115), 프로세서(120) 및 통신 인터페이스(125)를 포함한다(예를 들어, 도 2 참조). 일부 실시예들에서는, 메모리(115), 프로세서(120) 및 통신 인터페이스(125) 간에 신호들이 전송될 수 있도록, 메모리(115), 프로세서(120) 및 통신 인터페이스(125)가 접속 및/또는 전기적으로 연결된다. 호스트 디바이스(110)는 또한 사용자 데이터, 얼굴 인식 데이터, (예를 들어, 시간, 위치, 장소, 이벤트 등과 연관된) 맥락형 데이터, 비디오 스트림들 등을 저장하도록 구성된 데이터베이스(140)를 포함할 수 있고/있거나, 다르게는 이에 동작 가능하게 연결될 수 있다.
메모리(115)는, 예를 들어, RAM, 메모리 버퍼, 하드 드라이브, 데이터베이스, ROM, EPROM, EEPROM 등일 수 있다. 일부 예들에서, 호스트 디바이스(110)의 메모리(115)는 하나 이상의 얼굴 인식 액션들을 수행하는 데 사용되고/되거나 하나 이상의 적절한 통신 모드를 사용하여 적어도 하나의 디바이스(예를 들어, 클라이언트 디바이스(150))와 데이터를 통신(예를 들어, 전송 및/또는 수신)하는 데 사용되는 명령어들의 세트 또는 코드를 포함한다. 프로세서(120)는, 예를 들어, GPP, CPU, APU, GPU, 네트워크 프로세서, 프론트-엔드 프로세서, ASIC, FPGA 등과 같은 임의의 적절한 프로세서일 수 있다. 따라서, 프로세서(120)는 메모리(115)에 저장된 명령어들의 세트, 모듈들 및/또는 코드를 수행 및/또는 실행하도록 구성될 수 있다. 예를 들어, 프로세서(120)는, 그 중에서도, (예를 들어, 클라이언트 디바이스(150)로부터) 얼굴 인식 데이터를 수신하는 것, 얼굴 인식 데이터를 분석하는 것, 얼굴 인식 데이터를 등록 및/또는 저장하는 것, (예를 들어, 이미지 캡쳐 시스템(160)으로부터) 비디오 스트림 데이터를 수신하는 것, 비디오 스트림 데이터를 분석하고 비디오 스트림 데이터를 얼굴 인식 데이터와 비교하는 것, (예를 들어, 클라이언트 디바이스(150)에) 비디오 스트림 데이터를 전송하는 것, 비디오 스트림 데이터의 특성들(예를 들어, 비디오 스트림 데이터에 포함된 배경 랜드마크 및/또는 배경 풍경 데이터 등과 같은 것에 기초하여 결정된 위치 정보 등)을 수신 및/또는 분석하는 것, 및/또는 본 명세서에서 추가로 설명되는 바와 같은 임의의 다른 적절한 프로세스와 연관된 명령어들의 세트 및/또는 모듈들을 실행하도록 구성될 수 있다. 통신 인터페이스(125)는 호스트 디바이스(110)를 데이터베이스(140), 클라이언트 디바이스(150), 이미지 캡쳐 디바이스(160), 및/또는 네트워크(105)와 통신하는 임의의 다른 적절한 디바이스 및/또는 서비스(예를 들어, 얼굴 인식 데이터, 비디오 스트림들 등과 같은 데이터를 수집하고/하거나 적어도 일시적으로 저장하도록 구성된 임의의 디바이스)와 통신하게 할 수 있는 임의의 적절한 디바이스일 수 있다. 일부 실시예들에서, 통신 인터페이스(125)는, 예를 들어, 네트워크 인터페이스 카드(network interface card)(NIC)들, 이더넷 인터페이스들, 광 캐리어(optical carrier)(OC) 인터페이스들, 비동기 전송 모드(asynchronous transfer mode)(ATM) 인터페이스들, 및/또는 무선 인터페이스들(예를 들어, WiFi® 무선, 블루투스® 무선, NFC 무선 등)과 같은 하나 이상의 유선 및/또는 무선 인터페이스를 포함할 수 있다.
다시 도 1a로 돌아가서, 호스트 디바이스(110)와 연관된 데이터베이스(140)는, 예를 들어, 관계형 데이터베이스, 객체 데이터베이스, 객체-관계형 데이터베이스, 계층형 데이터베이스, 네트워크 데이터베이스, 엔티티-관계 데이터베이스, 구조화 질의어(structured query language)(SQL) 데이터베이스, 확장성 마크업 언어(extensible markup language)(XML) 데이터베이스, 디지털 레포지토리, 미디어 라이브러리, 클라우드 서버 또는 스토리지 등과 같은 임의의 적절한 데이터베이스일 수 있다. 일부 실시예들에서, 호스트 디바이스(110)는 통신 인터페이스(125)를 통해 임의의 적절한 네트워크(예를 들어, 네트워크(105))를 통해 데이터베이스(140)와 통신할 수 있다. 이러한 실시예들에서, 데이터베이스(140)는 네트워크(105) 및/또는 임의의 다른 네트워크(들)를 통해 호스트 디바이스(110)와 통신할 수 있는 네트워크 결합 스토리지(network attached storage)(NAS) 디바이스에 포함될 수도 있고 또는 이에 의해 저장될 수도 있다. 다른 실시예들에서, 데이터베이스는 호스트 디바이스(110)의 메모리(115)에 저장될 수 있다. 또 다른 실시예들에서, 데이터베이스는 케이블, 버스, 서버 랙 등을 통해 호스트 디바이스(110)에 동작 가능하게 연결될 수 있다.
데이터베이스(140)는 비디오 인식 시스템(100)과 연관된 데이터를 저장하고/하거나 적어도 일시적으로 유지할 수 있다. 예를 들어, 일부 예들에서, 데이터베이스(140)는 사용자 프로파일들과 연관되고/되거나 이를 다른 방식으로 표현하는 데이터, 자원 리스트들, 얼굴 인식 데이터, 모드들 및/또는 방법들, (예를 들어, 시간, 위치, 장소, 이벤트 등과 연관된) 맥락형 데이터, 비디오 스트림들 또는 그 일부들, 위치 정보(랜드마크 데이터 등) 등을 저장할 수 있다. 다시 말해서, 데이터베이스(140)는 시스템(100)에 의해 얼굴 이미지 데이터가 등록된 사용자들(예를 들어, "등록된 사용자들")과 연관된 데이터를 저장할 수 있다. 일부 실시예들에서, 데이터베이스(140)는 관계형 데이터베이스일 수 있고/있거나 이를 포함할 수 있으며, 여기서 데이터는 관계 모델에 따라, 예를 들어, 테이블들, 행렬들, 벡터들 등으로 저장될 수 있다. 예로서, 일부 예들에서, 호스트 디바이스(110)는 비디오 또는 이미지 소스(예를 들어, 이미지 캡쳐 시스템(160))로부터 수신된 비디오 스트림 데이터, 및 비디오 스트림 데이터와 연관된 맥락형 데이터를 데이터베이스(140)에 저장하도록 구성될 수 있다. 일부 예들에서, 비디오 스트림 데이터 및 이와 연관된 맥락형 데이터는, 여기에서 더 상세하게 설명되는 바와 같이, 맥락형 비디오 스트림 등을 집합적으로 정의할 수 있다. 다른 예들에서, 비디오 스트림 데이터는 맥락형 데이터 등 없이 데이터베이스(140)에 저장될 수 있다.
일부 구현들에서, 사용자 프로파일들은 비디오 스트림 데이터에 액세스하는 사용자들에 관한 정보를 포함하는 사용자 프로파일 데이터 구조들일 수 있다. 예를 들어, 사용자 프로파일 데이터 구조는 사용자 프로파일 식별자, 얼굴 인식 데이터(예를 들어, 사용자를 맥락형 비디오 스트림 데이터로부터의 이미지와 매칭시키는 데 사용될 수 있는 사용자의 이미지로부터 획득된 데이터(예를 들어, 얼굴 특성 데이터)), 데이터베이스(140)에 저장된 맥락형 비디오 스트림 데이터 구조들과 연관되고 사용자와 연관된 식별자들의 리스트, (예를 들어, 친구 및/또는 연락처로서) 사용자와 연관되는 다른 사용자들의 사용자 프로파일 데이터 구조들과 연관된 식별자들의 리스트, 사용자 위치 데이터 등을 포함할 수 있다.
일부 구현들에서, 사용자들은 이들이 맥락형 비디오 스트림 데이터에 액세스하는 애플리케이션 내에서 서로를 친구들로서 추가할 수 있다. 예를 들어, 제1 사용자 프로파일과 연관된 사용자가 제2 사용자 프로파일과 연관된 다른 사용자의 연락처일 때, 사용자들은 또한 서로와 자동으로 연관될 수 있다. 예를 들어, 클라이언트 디바이스를 동작시키는 사용자는 클라이언트 디바이스에 저장된 연락처들의 리스트 및/또는 다른 연락처 정보를 가질 수 있다. 애플리케이션은 연락처 정보를 리트리브하여 들여오기할 수 있고, 연락처 정보를 데이터베이스의 적어도 하나의 사용자 프로파일의 정보와 매칭시킬 수 있고, 해당 적어도 하나의 사용자 프로파일을 해당 사용자와 자동으로 연관시킬 수 있다. 일부 구현들에서, 사용자들은 각각의 사용자의 각각의 사용자 프로파일 내에 친구들 및/또는 연락처들의 리스트(예를 들어, 특정 사용자의 친구들로서 추가되는 사용자 프로파일들의 식별자들의 리스트)를 저장함으로써 서로와 연관될 수 있다. 사용자가 친구 및/또는 연락처를 추가하면, 사용자는 친구 및/또는 연락처가 맥락형 비디오 스트림 데이터를 레코딩 및/또는 수신할 때 등의 경우에 자동으로 통지받을 수 있다. 일부 구현들에서, 호스트 디바이스(110)는 또한 (예를 들어, 사용자의 친구들 및/또는 연락처들이 맥락형 비디오 스트림 데이터 내에서 발견될 수 있는지 여부를 결정하기 위해) 사용자들 간에 저장된 관계를 사용하여, 사용자와 연관된 맥락형 비디오 스트림 데이터를 자동으로 프로세싱할 수 있다. 예를 들어, 맥락형 비디오 스트림 데이터가 수신될 때, 친구 및/또는 연락처가 사용자와 연관될 때 등의 경우, 호스트 디바이스(110)는 사용자의 친구들 및/또는 연락처들과 연관된 얼굴 이미지 데이터가 맥락형 비디오 스트림 데이터와 매칭될 수 있는지 여부를 결정하기 위해 맥락형 비디오 스트림 데이터를 자동으로 프로세싱할 수 있다.
호스트 디바이스(110)가 데이터베이스(140)(예를 들어, 단일 데이터베이스)를 포함하고/하거나 다르게는 이에 동작 가능하게 연결되는 것으로 도 1을 참조하여 도시되고 설명되었지만, 일부 실시예들에서, 호스트 디바이스(110)는 임의의 수의 데이터베이스들에 동작 가능하게 연결될 수 있다. 그러한 데이터베이스들은 시스템(100)과 연관된 데이터 세트의 적어도 일부를 저장하도록 구성될 수 있다. 예를 들어, 일부 실시예들에서, 호스트 디바이스(110)는 사용자 데이터, 사용자 프로파일들 등을 수신하고 적어도 일시적으로 저장하도록 구성된 제1 데이터베이스, 및 비디오 스트림 데이터 및 비디오 스트림 데이터와 연관된 맥락형 데이터를 수신하고 적어도 일시적으로 저장하도록 구성된 제2 데이터베이스에 동작 가능하게 연결될 수 있고/있거나, 다르게는 이와 통신할 수 있다. 일부 실시예들에서, 호스트 디바이스(110)는 클라이언트 디바이스(150) 및/또는 이미지 캡쳐 시스템(160) 내에 또는 그 위에 저장되는 데이터베이스에 동작 가능하게 연결될 수 있고/있거나, 다르게는 이와 통신할 수 있다. 다시 말해서, 데이터베이스의 적어도 일부는 클라이언트 디바이스(150) 및/또는 이미지 캡쳐 시스템(160) 내에 구현될 수 있고/있거나, 이에 의해 저장될 수 있다. 이러한 방식으로, 호스트 디바이스(110), 일부 예들에서는, 데이터베이스(140)는, (예를 들어, 네트워크(105)를 통해) 호스트 디바이스(110)와 통신하면서, 물리적으로 호스트 디바이스(110)와 상이한 위치에 배치될 수 있는 임의의 수의 데이터베이스들과 통신할 수 있다.
일부 실시예들에서, 데이터베이스(140)는 검색 가능한 데이터베이스 및/또는 레포지토리일 수 있다. 예를 들어, 일부 예들에서, 데이터베이스(140)는 사용자와 연관된 비디오 스트림 데이터(예를 들어, 맥락형 비디오 스트림 데이터)를 저장할 수 있다. 일부 예들에서, 사용자는 데이터베이스(140)를 검색하여 데이터베이스(140)에 저장된 사용자와 연관된 하나 이상의 맥락형 비디오 스트림을 리트리브할 수 있고/있거나 볼 수 있다. 일부 예들에서, 사용자는 자신의 사용자 프로파일과 연관된 비디오 스트림들(예를 들어, 사용자-특정 맥락형 비디오 스트림들 등)을 업데이트, 편집, 삭제 및/또는 추가하기 위한 제한된 액세스 및/또는 권한들을 가질 수 있다. 일부 예들에서, 사용자는, 예를 들어, 해당 사용자와 연관된 사용자-특정 비디오 스트림들과 연관된 허가들 및/또는 액세스를 업데이트 및/또는 수정할 수 있다. 예를 들어, 일부 예들에서, 사용자는 사용자와 연관된 데이터를 재배포, 공유 및/또는 저장할 수 있다. 다른 예들에서, 사용자는 사용자-특정 데이터 등에 대한 액세스를 차단할 수 있다. 일부 예들에서, 사용자는 (예를 들어, 사용자와 연관될 수도 있고 연관되지 않을 수도 있는) 사용자와 다른 방식으로 공유되는 컨텐츠, 데이터 및/또는 비디오 스트림들을 재배포 및/또는 공유할 수 있다.
도 2로 돌아가면, 위에서 설명된 바와 같이, 호스트 디바이스(110)의 프로세서(120)는 특정 모듈들을 실행하도록 구성될 수 있다. 모듈들은, 예를 들어, 하드웨어 모듈들, 메모리(115)에 저장되고/되거나 프로세서(120)에서 실행되는 소프트웨어 모듈들 및/또는 이들의 임의의 결합일 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 프로세서(120)는 분석 모듈(121), 데이터베이스 모듈(122), 프리젠테이션 모듈(123) 및 위치 모듈(124)을 포함 및/또는 실행한다. 도 2에 도시된 바와 같이, 분석 모듈(121), 데이터베이스 모듈(122), 프리젠테이션 모듈(123) 및 위치 모듈은 접속될 수 있고/있거나 전기적으로 연결될 수 있다. 이와 같이, 분석 모듈(121), 데이터베이스 모듈(122), 프리젠테이션 모듈(123) 및 위치 모듈(124) 사이에서 신호들이 전송될 수 있다.
분석 모듈(121)은, 프로세서(120)(또는 그 일부)에 의해 실행될 수 있고 사용자의 얼굴 인식과 연관된 데이터 및/또는 비디오 스트림을 수신 및/또는 수집하는 것과 연관된 명령어들의 세트를 포함한다. 보다 구체적으로, 분석 모듈(121)은 통신 인터페이스(125)에 동작 가능하게 연결될 수 있고/있거나 다르게는 이와 통신할 수 있고, 이로부터 데이터를 수신할 수 있다. 그러한 데이터는, 예를 들어, 사용자(예를 들어, 얼굴 인식 정보, 프로파일 정보, 선호도들, 활동 로그들, 위치 정보, 연락처 정보, 달력 정보, 소셜 미디어 활동 정보 등), 장소(예를 들어, 위치 데이터, 자원 데이터, 이벤트 스케줄), 이벤트 등과 연관될 수 있다. 여기에서 더 상세하게 설명되는 바와 같이, 분석 모듈(121)은 얼굴 인식과 연관된 임의의 수의 프로세스들을 수행 및/또는 실행하기 위한 요청 및/또는 명령과 연관된 신호를 통신 인터페이스(125)로부터 수신할 수 있다.
일부 예들에서, 분석 모듈(121)은 실질적으로 실시간으로 통신 인터페이스(125)로부터 데이터를 수신할 수 있다. 즉, 일부 예들에서, 시스템(100)에 포함된 전자 디바이스(예를 들어, 클라이언트 디바이스(150))는 사용자에 의해 조작되어 사용자의 얼굴 인식과 연관된 데이터를 정의 및/또는 업데이트할 수 있고, 일단 데이터가 정의 및/또는 업데이트되면, 네트워크(105)를 통해 호스트 디바이스(110)에 데이터를 전송할 수 있다. 따라서, 통신 인터페이스(125)는 데이터를 수신하면 분석 모듈(121)에 신호를 전송할 수 있고, 분석 모듈(121)은 전자 디바이스에 의해 정의 및/또는 업데이트되고 나서 매우 짧은 시간 기간 후에 데이터를 수신한다. 다른 실시예들에서, 분석 모듈(121)은, 예를 들어, 집성(aggregation) 프로세스, 현재 및/또는 예측되는 프로세서, 메모리 및/또는 네트워크 부하 등에 기초하여, 미리 결정된 레이트 등으로 통신 인터페이스(125)로부터 데이터를 수신할 수 있다.
위에서 설명된 바와 같이, 분석 모듈(121)은 얼굴 인식 프로세스 등과 연관된 데이터를 수신, 집성, 분석, 소팅, 파싱, 변경 및/또는 업데이트하도록 구성될 수 있다. 특히, 일부 예들에서, 사용자는 (여기에서 더 상세하게 설명되는 바와 같이) 클라이언트 디바이스(150)를 조작하여 자신의 얼굴의 하나 이상의 이미지 또는 비디오 스트림을 캡쳐할 수 있고, 차례로, 예를 들어, 네트워크(105)를 통해 호스트 디바이스(110)에 이미지 데이터와 연관되고/되거나 이를 표현하는 신호들을 전송할 수 있다. 일부 예들에서, 통신 인터페이스(125)는 이미지 데이터를 수신할 수 있고, 연관된 신호를 분석 모듈(121)에 전송할 수 있다. 수신 시, 분석 모듈(121)은 이미지 데이터를 어그레이트, 분석, 소팅, 업데이트, 파싱 및/또는 다른 방식으로 프로세싱하는 것과 연관된 (예를 들어, 분석 모듈(121) 및/또는 메모리(115)에 저장된) 명령어들의 세트 또는 코드를 실행할 수 있다. 보다 구체적으로, 분석 모듈(121)은, 예를 들어, 아이겐페이스들(예를 들어, 얼굴 인식과 연관된 아이겐벡터)을 사용하는 주성분 분석, 선형 판별 분석, 피셔페이스 알고리즘을 사용하는 탄성 번치 그래프 매칭, 은닉 마르코프 모델, 텐서 표현을 사용하는 다중선형 부분공간 학습, 신경 동기 부여 동적 링크 매칭, 컨볼루션 신경망(CNN) 등 또는 이들의 조합과 같은 임의의 적절한 얼굴 인식 프로세스 및/또는 알고리즘을 수행할 수 있다. 일부 구현들에서, 사용자가 호스트 디바이스(110)에 제공하는 이미지 데이터는 분석 모듈(121)을 통해 사용자를 식별하기 위해 후속 얼굴 인식 프로세스들에서 사용될 수 있다.
분석 모듈(121)은, 사용자의 이미지 데이터, 및 예를 들어, 사진, 비디오 레코딩 및/또는 오디오 레코딩, 개인 및/또는 식별 정보(예를 들어, 이름, 나이, 성별, 생일, 취미들 등), 달력 정보, (예를 들어, 사용자 및/또는 사용자의 친구들, 가족, 동료들 등과 연관된) 연락처 정보, 디바이스 정보(예를 들어, MAC(media access control) 어드레스, IP(Internet Protocol) 어드레스 등), 위치 정보(예를 들어, 현재 위치 데이터 및/또는 과거 위치 데이터), 소셜 미디어 정보(예를 들어, 프로파일 정보, 사용자 이름, 패스워드, 친구들 또는 연락처 리스트들 등) 및/또는 임의의 다른 적절한 정보 또는 데이터와 같은 사용자와 연관된 임의의 다른 적절한 정보 또는 데이터를 포함하는 사용자 프로파일 등을 정의할 수 있다. 이와 같이, 분석 모듈(121)은, 여기에서 더 상세하게 설명되는 바와 같이, 데이터베이스(140)에 사용자 프로파일 데이터를 저장하라는 명령을 나타내는 신호를 데이터베이스 모듈(122)에 전송할 수 있다.
일부 예들에서, 분석 모듈(121)은 비디오 스트림 데이터(또는 예를 들어, 사진으로부터의 이미지 데이터)를 수신할 수 있고, 비디오 스트림 데이터를 분석 및/또는 프로세싱하여, 비디오 스트림 데이터의 일부가 사용자의 이미지 데이터의 임의의 적절한 부분과 매칭하는지를 결정하도록 구성될 수 있다. 즉, 분석 모듈(121)은 이전에 저장된 사용자 이미지 데이터를 비디오 스트림에 포함된 데이터가 비교되는 템플릿으로서 사용할 수 있다. 달리 말하면, 분석 모듈(121)은 이전에 저장된 사용자 이미지 데이터에 적어도 부분적으로 기초하여 비디오 스트림 데이터에 대한 얼굴 인식 프로세스 및/또는 분석을 수행한다. 일부 실시예들에서, 호스트 디바이스(110), 특히, 통신 인터페이스(125)는 이미지 캡쳐 시스템(160)으로부터 직접적으로 (예를 들어, 네트워크(105)를 통해 하나 이상의 카메라로부터) 또는 간접적으로 (예를 들어, 네트워크(105)를 통해 컴퓨팅 디바이스(이것이 차례로 하나 이상의 카메라와 통신함)로부터) 비디오 스트림 데이터를 수신한다. 일부 실시예들에서, 분석 모듈(121)은 비디오 스트림 데이터를 그것의 개별 프레임들(예를 들어, 비디오 스트림 동안의 미리 결정된 시간에서의 정지 이미지)로 분리, 파싱, 소팅 및/또는 다른 방식으로 분해하는 것에 적어도 부분적으로 기초하여 비디오 스트림 데이터를 분석 및/또는 프로세싱하도록 구성될 수 있다. 이와 같이, 분석 모듈(121)은 이전에 저장된 사용자 이미지 데이터에 대해 비디오 스트림 프레임에 포함된 데이터를 비교 및/또는 분석할 수 있다.
일부 예들에서, 분석 모듈(121)은 또한 비디오 스트림 데이터를 분석하여, 예를 들어, 위치, 장소, 시간, 동시발생 이벤트(예를 들어, 득점하는 스포츠 팀이, 예를 들어, "키스 캠(kiss cam)"에 캡쳐되는 것 등) 및/또는 임의의 다른 적절한 맥락형 정보와 같이 비디오 스트림과 연관된 맥락형 정보를 결정할 수 있다. 일부 예들에서, 분석 모듈(121)은 비디오 스트림의 적어도 일부를 맥락형 데이터와 매칭, 집성 및/또는 다르게는 연관시키도록 구성될 수 있다. 예를 들어, 일부 예들에서, 비디오 스트림 데이터는, 예를 들어, 스포츠 이벤트에서의 사용자를 표현할 수 있다. 그러한 예들에서, 맥락형 데이터는, 예를 들어, 스포츠 이벤트 또는 게임의 비디오 스트림일 수 있고, 시간, 위치, 장소, 팀들 등과 연관된 데이터를 포함할 수 있다. 이와 같이, 분석 모듈(121)은 비디오 스트림 데이터 및 맥락형 데이터가 실질적으로 동시발생하도록 (예를 들어, 실질적으로 동일한 시간과 연관된 데이터를 발생시키고/시키거나 캡쳐하도록) 비디오 스트림 데이터와 맥락형 데이터를 집성하도록 구성될 수 있다. 다른 예들에서, 맥락형 데이터는 임의의 다른 적절한 맥락과 연관된 데이터를 포함할 수 있다. 일부 예들에서, 분석 모듈(121)은 비디오 스트림을 특정 사용자에게 추가로 연결하기 위해, 비디오 스트림과 연관된 맥락형 정보를 사용자의 위치에 관한 데이터와 함께 사용하도록 구성될 수 있다. 분석 모듈(121)은, 비디오 스트림에 포함된 데이터를 이전에 저장된 사용자 이미지 데이터와 비교하기 전에, 맥락형 정보를 사용자의 위치와 비교하도록 구성될 수 있다(자세한 내용은 도 5 및 도 6 참조).
분석 모듈(121)이 비디오 스트림 내의 데이터의 적어도 일부가 기준을 충족시키는 것으로(예를 들어, 미리 결정되고/되거나 허용 가능한 확률로 이전에 저장된 사용자 이미지 데이터와 매칭하는 것으로) 결정하는 경우, 분석 모듈(121)은 이미지 및/또는 비디오 스트림 데이터의 적어도 일부를 데이터베이스(140)에 저장하고 해당 데이터를 이전에 저장된 사용자 이미지 데이터와 연관시키고/시키거나 다르게는 해당 데이터를 저장하라는 명령을 나타내는 하나 이상의 신호를 데이터베이스 모듈(122)에 전송할 수 있다. 일부 예들에서, 분석 모듈(121)은, 개별 프레임들이 데이터베이스(140)에 저장되도록 신호들을 데이터베이스 모듈(122)에 전송할 수 있고, 이 프레임들은 차례로 후속적으로 리트리브되고 프로세싱되어 비디오 스트림을 정의할 수 있다. 다른 예들에서, 분석 모듈(121)은 비디오 스트림 데이터의 일부가 데이터베이스(140)에 저장되도록 하나 이상의 신호를 데이터베이스 모듈(122)에 전송할 수 있다. 즉, 분석 모듈(121)은 (위에서 설명된 바와 같이 분리 또는 분해된) 개별 프레임들로부터 적어도 부분적으로 비디오 스트림을 재정의하고/하거나 재구성할 수 있다.
일부 예들에서, 호스트 디바이스(110)는 (예를 들어, 이미지 캡쳐 시스템(160)으로부터, 네트워크(105) 및 통신 인터페이스(125)를 통해) 비디오 스트림 데이터를 수신할 수 있고, 분석 모듈(121) 및/또는 도 2에 도시되지 않은 임의의 다른 적절한 모듈은 (방금 설명된) 얼굴 인식 프로세스를 수행하기 전에 하나 이상의 사전-프로세싱 및/또는 사전-소팅 프로시져들을 수행할 수 있다. 예를 들어, 일부 실시예들에서, 분석 모듈(121)(또는 다른 모듈)은 비디오 스트림 데이터를 분석하여, 예를 들어, 위치, 시간, 이벤트 등과 같은 식별 정보 및/또는 맥락형 정보를 포함한 데이터 세트를 결정 및/또는 정의할 수 있다. 일단 정의되면, 분석 모듈(121)은 (예를 들어, 데이터베이스(140) 등에 질의하라는 명령을 나타내는 신호를 데이터베이스 모듈(122)에 전송하는 것을 통해) 데이터베이스(140)에 저장된 사용자 데이터를 분석하여, 사용자와 연관된 데이터의 일부가 비디오 스트림과 연관된 맥락형 정보를 포함한 데이터 세트와 매칭하는 것과 같은 기준(들)을 충족시키는지를 결정할 수 있다.
일부 예들에서, 기준(들)은 임의의 적절한 방식(예를 들어, 십진수, 백분율 등과 같은 값)으로 표현되는 신뢰 레벨 및/또는 매칭 임계치와 연관될 수 있다. 예를 들어, 일부 예들에서, 기준(들)은 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 70% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 75% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 80% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 85% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 90% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 95% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 97.5% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 99% 매칭, 또는 그 사이의 임의의 백분율과 같은 임계치 등일 수 있다.
일부 예들에서, 사용자와 연관된 데이터는, 예를 들어, 달력 데이터, 위치 데이터, 선호도 데이터 등을 포함할 수 있다. 예를 들어, 데이터가 기준을 충족시키지 않는 경우, 분석 모듈(121)은 해당 사용자와 연관된 데이터가, 예를 들어, 얼굴 인식 프로세스로부터 배제될 수 있다는 지시를 정의할 수 있다. 이러한 방식으로, 사전-프로세싱 및/또는 사전-소팅은 얼굴 인식 프로세스 동안의 프로세싱 부하 등의 양을 감소시킬 수 있다. 위에서는 사용자 데이터에 대해 데이터베이스(140)에 질의하는 것으로 설명되었지만, 일부 실시예들에서, 호스트 디바이스(110)는 사용자와 연관된 디바이스(예를 들어, 클라이언트 디바이스(150))에 해당 디바이스와 연관된 위치 데이터 등에 대한 요청을 나타내는 신호를 전송할 수 있다. 분석 모듈(121)은, 위치 데이터(예를 들어, 이미지 또는 비디오 등 내의 랜드마크 및/또는 배경 풍경 등과 같은 위치 정보 및/또는 특성들을 사용하는 디바이스의 글로벌 포지셔닝 서비스(global positioning service)(GPS) 데이터) 등을 수신하면, 위에서 설명된 바와 같이, 위치 데이터가 비디오 스트림과 연관된 위치 데이터와 매칭하는지를 결정할 수 있다.
예로서, 일부 예들에서, 분석 모듈(121)은 스포츠 이벤트로부터, 예를 들어, 경기장과 연관된 위치 데이터를 또한 포함하는 비디오 스트림 데이터를 수신할 수 있다. 이에 응답하여, 분석 모듈(121)은 사용자와 연관된 클라이언트 디바이스(예를 들어, 클라이언트 디바이스(150))로부터의 위치 데이터에 대한 요청을 전송할 수 있다. 예를 들어, 비디오 스트림과 연관된 위치 데이터와 클라이언트 디바이스와 연관된 위치 데이터가 실질적으로 유사하고/하거나(예를 들어, 비디오 스트림과 연관된 위치 데이터와 클라이언트 디바이스와 연관된 위치 데이터가 비디오 스트림의 소스 및 클라이언트 디바이스가 서로의 미리 결정된 거리 내에 있고/있거나 있었음을 나타내고/나타내거나), 클라이언트 디바이스와 연관된 위치 데이터가 미리 결정된 범위의 위치 데이터 값들 등 내에 있는 경우, 분석 모듈(121)은 신뢰 스코어를 증가시킬 수 있고/있거나, 다르게는 임계치를 충족시키고/시키거나 다르게는 기준(들)을 충족시키는 데 기여하는 것으로 결과를 고려할 수 있다. 위치 데이터는, 예를 들어, GPS에 기초한 지형-위치 데이터, (예를 들어, NFC 검증, 블루투스 검증, 셀룰러 삼각 측량, 인지 네트워크 스위칭 및/또는 프로토콜들 등을 통한) 네트워크 위치 및/또는 데이터, "체크-인"과 같은 소셜 네트워크 데이터 등일 수 있다. 예를 들어, 위치 모듈(124)은 위치 데이터를 프로세싱하여, 비디오 스트림 및/또는 사용자의 위치를 식별하고, 데이터를 분석 모듈(121)에 제공하여, 분석 모듈(121)이 신뢰 스코어를 수정하게 할 수 있다. 이러한 방식으로, 신뢰 스코어는 위치 데이터에 기초하여 계산될 수 있다.
다른 구현들에서, 위치 모듈(124)은 위치 데이터를 프로세싱할 수 있고, 비디오 스트림과 연관된 위치 데이터와 사용자와 연관된 위치 데이터가 실질적으로 유사할 때(예를 들어, 비디오 스트림과 연관된 위치 데이터와 클라이언트 디바이스와 연관된 위치 데이터가 비디오 스트림의 소스와 클라이언트 디바이스가 서로의 미리 결정된 거리 내에 있고/있거나 있었음을 나타낼 때), 프로세싱된 위치 데이터를 분석 모듈(121)에 제공할 수 있다. 그 후, 분석 모듈(121)은 위치 데이터 및 비디오 스트림의 얼굴 인식 분석에 기초하여 신뢰 스코어를 생성 및/또는 수정할 수 있다. 이러한 방식으로, 신뢰 스코어는, 비디오 스트림과 연관된 위치 데이터와 사용자와 연관된 위치 데이터가 실질적으로 유사한 것으로 결정될 때에는 생성 및/또는 수정될 수 있고, 비디오 스트림과 연관된 위치 데이터와 사용자와 연관된 위치 데이터가 실질적으로 유사하지 않을 때에는 생성 및/또는 수정되지 않을 수 있다. 또한, 이러한 방식으로, 신뢰 스코어는 위치 데이터 분석 및 얼굴 인식 분석 모두의 결과로서 계산될 수 있다. 위치 모듈(124)에 대한 더 상세한 설명은 적어도 도 5 및 도 6에서 알 수 있다. 이러한 방식으로, 호스트 디바이스(110)는 (예를 들어, 분석 모듈(121)을 통해), 예를 들어, 비디오 스트림 데이터가 캡쳐되었던 위치에 대한 클라이언트 디바이스의 근접도를 결정할 수 있다.
비록 위치 데이터를 분석하는 것으로 설명되었지만, 다른 예들에서, 분석 모듈(121)은 임의의 적절한 소스, 활동, 위치, 패턴, 구매 등과 연관된 데이터를 분석할 수 있다. 예를 들어, 일부 예들에서, 분석 모듈(121)은 장소와 연관된 티켓 판매를 분석할 수 있다. 다른 예들에서, 분석 모듈(121)은 소셜 미디어 게시물들, 코멘트들, 좋아요들 등을 분석할 수 있다. 일부 예들에서, 분석 모듈(121)은 (위에서 설명된 바와 같이) 사용자와 연관된 데이터를 수집 및/또는 분석할 수 있고, 예를 들어, 그 중에서도, 사용자 식별 데이터, 얼굴 인식 데이터, 클라이언트 디바이스 데이터, 구매 데이터, 인터넷 웹브라우징 데이터, 위치 데이터, 소셜 미디어 데이터, 선호도 데이터 등을 포함할 수 있는 사용자 프로파일을 정의할 수 있다. 따라서, 사용자의 프로파일 데이터는 임계치 스코어, 값 및/또는 지시자와 관련되어 평가될 수 있는 신뢰 스코어, 값 및/또는 지시자를 결정하기 위해 분석되어, 사용자 데이터 및/또는 비디오 스트림 데이터가 기준(들)을 충족시키는지를 결정할 수 있다. 따라서, 이러한 실시예들에서, 비-얼굴 인식 데이터(예를 들어, 티켓 판매 데이터, 소셜 미디어 게시물들, 및/또는 비디오 또는 이미지 내의 개인의 의상, 이미지 내의 랜드마크들과 같은 위치 데이터, 배경 풍경 데이터 등과 같은 특성들)는 얼굴 인식 데이터를 확증하고 및/또는 신뢰 스코어를 증가/감소시키는 데 사용될 수 있다.
위에서는 분석 모듈(121)이 비디오 스트림 데이터를 분석하여 얼굴 인식 데이터 및 비디오 스트림과 연관된 맥락형 데이터를 정의하는 것으로 설명되었지만, 다른 실시예들에서는, 얼굴 인식 프로세스와 맥락형 데이터 프로세스가 별개로 및/또는 독립적으로 수행될 수 있다. 예를 들어, 일부 실시예들에서, 분석 모듈(121)은 얼굴 인식 프로세스를 수행하도록 구성될 수 있고, 상이한 모듈, 프로세서, 디바이스, 서버 등이 맥락형 데이터 프로세스를 수행하도록 구성될 수 있다. 예를 들어, 위치 모듈(124)은 위치 데이터, 이미지의 특성들 등에 기초하여 이미지 및/또는 비디오 스트림의 분석을 수행할 수 있다. 따라서, 동일한 모듈에 의해 수행되는 얼굴 인식 프로세스 및 맥락형 데이터 프로세스와 비교할 때, 비디오 스트림 데이터를 분석하는 시간이 감소될 수 있고/있거나, 프로세싱 부하가 분산될 수 있다.
위에서 설명된 바와 같이, 데이터베이스 모듈(122)은 데이터베이스(140)를 모니터링하고/하거나 이에 저장된 데이터를 업데이트하는 것과 연관된 프로세서(120)(또는 그 일부)에 의해 실행되는 명령어들의 세트를 포함한다. 예를 들어, 데이터베이스 모듈(122)은 프로세서(120)로 하여금 분석 모듈(121)로부터 수신된 얼굴 인식 데이터의 적어도 일부로 데이터베이스(140)에 저장된 데이터를 업데이트하게 하는 명령어들을 포함할 수 있다. 보다 구체적으로, 데이터베이스 모듈(122)은, 예를 들어, 분석 모듈(121)로부터 사용자와 연관된 사용자 이미지 데이터를 수신할 수 있고, 이에 응답하여, 사용자 이미지 데이터를 데이터베이스(140)에 저장할 수 있다. 일부 예들에서, 데이터베이스 모듈(122)은 분석 모듈(121)로부터 데이터베이스(140)에 질의하기 위한 요청을 나타내는 신호를 수신하여, 데이터베이스(140)에 저장되고 사용자에 대한 사용자 이미지 데이터와 연관된 데이터가 위에서 설명된 바와 같이 비디오 스트림 데이터의 임의의 적절한 부분과 매칭하는지를 결정할 수 있다. 예를 들어, 비디오 스트림 데이터의 적어도 일부가 기준(들)(이하, 간략함을 위해 "기준"이라고 하며, 이것이 다수의 "기준들"을 제외하는 것은 아님)을 충족시키는 경우, 데이터베이스 모듈(122)은 데이터베이스(140)에 저장되고 해당 사용자와 연관된 데이터를 업데이트하도록 구성될 수 있다. 즉, 비디오 스트림 데이터의 적어도 일부가 미리 결정된 확률 내에서 사용자 이미지 데이터와 매칭하는 경우 등이다. 그러나, 비디오 스트림 데이터가 데이터베이스(140)에 저장된 사용자 이미지 데이터와 매칭하지 않는 경우, 데이터베이스 모듈(122)은, 예를 들어, 다음 엔트리(예를 들어, 다음 사용자와 연관된 데이터)에 대해 데이터베이스(140)에 질의할 수 있고/있거나, 다르게는 데이터베이스(140)를 업데이트하지 않을 수 있다. 또한, 데이터베이스 모듈(122)은 관계 기반 방식(예를 들어, 데이터베이스(140)가 관계형 데이터베이스 등일 수 있음) 및/또는 임의의 다른 적절한 방식으로 데이터베이스(140)에 데이터를 저장하도록 구성될 수 있다.
프리젠테이션 모듈(123)은, 위에서 설명된 바와 같이, 얼굴 인식 프로세스 동안에 기준을 충족시키는 비디오 스트림 데이터의 적어도 일부를 표현하는 맥락형 비디오 스트림 및/또는 프리젠테이션을 정의하는 것과 연관된 프로세서(또는 그 일부)에 의해 실행되는 명령어들의 세트를 포함한다. 보다 구체적으로, 프리젠테이션 모듈(123)은 이벤트, 장소, 위치 등에서 (예를 들어, 얼굴 인식을 통해) 식별된 사용자를 표현하는 맥락형 비디오 스트림 및/또는 프리젠테이션을 정의하도록 구성될 수 있다. 일단 맥락형 비디오 스트림이 정의되면, 프리젠테이션 모듈(123)은 통신 인터페이스(125)에 맥락형 비디오 스트림과 연관된 신호를 전송할 수 있고, 통신 인터페이스(125)는 차례로 (예를 들어, 네트워크(105)를 통해) 클라이언트 디바이스(150)에 맥락형 비디오 스트림을 그 디스플레이 상에 그래픽으로 렌더링하라는 명령을 나타내는 신호를 전송할 수 있다.
위에서는 호스트 디바이스(110)의 프리젠테이션 모듈(123) 및/또는 다른 부분이 클라이언트 디바이스(150)에 맥락형 비디오 스트림을 클라이언트 디바이스(150)의 디스플레이 상에 제시하라는 명령을 나타내는 신호를 전송하는 것으로 설명하였지만, 다른 예들에서, 프리젠테이션 모듈(123)은 맥락형 비디오 스트림을 정의할 수 있고, 데이터베이스(140)에 맥락형 비디오 스트림을 저장하라는 명령을 나타내는 신호를 데이터베이스 모듈(122)에 전송할 수 있다. 그러한 예들에서, 맥락형 비디오 스트림과 연관된 데이터는 데이터베이스(140)에 저장될 수 있고/있거나, 다르게는 데이터베이스(140)에 저장된 사용자 데이터와 연관될 수 있다. 일부 예들에서, 호스트 디바이스(110)는, 클라이언트 디바이스(150)(및/또는 임의의 다른 적절한 디바이스)로부터의 요청에 응답하여, 데이터베이스(140)로부터 맥락형 비디오 스트림을 리트리브할 수 있다. 보다 구체적으로, 일부 실시예들에서, 사용자는 클라이언트 디바이스(150)를 조작하여 인터넷상의 웹페이지에 액세스할 수 있다. 인증된 후에(예를 들어, 크리덴셜들 등을 입력한 후에), 사용자는 맥락형 비디오 스트림에 대한 액세스에 대한 요청이 클라이언트 디바이스(150)로부터 호스트 디바이스(110)로 전송되도록 웹페이지와 상호 작용할 수 있다. 따라서, 호스트 디바이스(110)(예를 들어, 데이터베이스 모듈(122))는 데이터베이스(140)로부터 맥락형 비디오 스트림을 리트리브할 수 있고, 클라이언트 디바이스(150)에, (예를 들어, 인터넷 및 웹페이지를 통해 맥락형 비디오 스트림을 렌더링함으로써) 맥락형 비디오 스트림을 디스플레이 상에 제시 시에 동작 가능한 신호를 전송할 수 있다. 다시 말해서, 맥락형 비디오 스트림은 "클라우드" 상에 저장되고, 웹브라우저 및 인터넷을 통해 액세스될 수 있다.
위에서는 분석 모듈(121), 데이터베이스 모듈(122) 및 프리젠테이션 모듈(123)이 호스트 디바이스(110)에서 저장 및/또는 실행되는 것으로 설명되었지만, 다른 실시예들에서, 모듈들 중 임의의 모듈들은, 예를 들어, 클라이언트 디바이스(150) 및/또는 이미지 캡쳐 시스템(160)에서 저장 및/또는 실행될 수 있다. 예를 들어, 일부 실시예들에서, 클라이언트 디바이스(150)는 (예를 들어, 네이티브 애플리케이션으로서) 프리젠테이션 모듈을 포함, 정의 및/또는 저장할 수 있다. 프리젠테이션 모듈은 호스트 디바이스(110)의 프리젠테이션 모듈(123)과 실질적으로 유사하거나 동일할 수 있다. 이러한 실시예들에서, 클라이언트 디바이스(150)의 프리젠테이션 모듈은 호스트 디바이스(110)에서 다른 방식으로 포함 및/또는 실행되는 프리젠테이션 모듈(123)의 기능을 대체할 수 있다. 따라서, 클라이언트 디바이스(150)의 프리젠테이션 모듈은, 예를 들어, 맥락형 비디오 스트림과 연관된 데이터 세트를 수신할 수 있고, 수신시, 클라이언트 디바이스(150)의 디스플레이 상에 제시되는 프리젠테이션을 정의할 수 있다.
도 3은 실시예에 따른 맥락형 비디오 스트림을 정의하는 방법(300)을 예시하는 흐름도이다. 방법(300)은, 단계(302)에서, 호스트 디바이스에서, 네트워크를 통해 클라이언트 디바이스로부터, 사용자와 연관된 얼굴 이미지 데이터를 등록하기 위한 요청을 나타내는 신호를 수신하는 단계를 포함한다. 예를 들어, 일부 실시예들에서, 네트워크는, 예를 들어, 도 1을 참조하여 위에서 설명된 네트워크(105)와 같은 임의의 적절한 네트워크 또는 네트워크들의 결합일 수 있다. 호스트 디바이스는 도 1 및 도 2를 참조하여 위에서 설명된 호스트 디바이스(110)와 실질적으로 유사하거나 동일할 수 있다. 유사하게, 클라이언트 디바이스는 도 1 및 도 2를 참조하여 위에서 설명된 클라이언트 디바이스(150)와 실질적으로 유사하거나 동일할 수 있다. 일부 예들에서, 클라이언트 디바이스는 초기 얼굴 이미지 데이터를 캡쳐하도록 구성될 수 있고, 초기 얼굴 이미지 데이터를 호스트 디바이스에 전송할 수 있다. 구체적으로, 일부 실시예들에서, 클라이언트 디바이스는 임의의 적절한 방식으로 사용자의 얼굴 이미지 또는 이미지들을 캡쳐하도록 구성될 수 있다. 따라서, 호스트 디바이스는 클라이언트 디바이스로부터 얼굴 이미지 데이터를 수신할 수 있고, 사용자 및/또는 사용자의 얼굴 이미지 데이터를 등록하는 것과 연관된 임의의 적절한 프로세스 등을 수행할 수 있다.
방법(300)은, 단계(304)에서, 사용자와 연관된 얼굴 인식 데이터를 등록하고, 얼굴 인식 데이터를 호스트 디바이스와 통신하는 데이터베이스에 저장하는 단계를 포함한다. 데이터베이스는, 예를 들어, 도 1을 참조하여 위에서 설명된 데이터베이스(140)와 같은 임의의 적절한 데이터베이스일 수 있다. 얼굴 인식 데이터의 등록은 위에서 설명된 것들과 같은 얼굴 인식과 연관된 임의의 적절한 프로세스, 방법 및/또는 알고리즘을 포함할 수 있다. 일부 예들에서, 호스트 디바이스는 얼굴 인식에 기초하여 사용자 이미지 데이터 등을 정의하도록 구성될 수 있고, 사용자 이미지 데이터의 적어도 일부를 데이터베이스에 저장할 수 있다.
단계(306)에서, 호스트 디바이스는 이벤트 및/또는 위치와 연관된 맥락형 비디오 스트림 데이터를 수신한다. 호스트 디바이스는 도 1을 참조하여 위에서 설명된 이미지 캡쳐 시스템(160)과 같은 이미지 캡쳐 시스템(예를 들어, 카메라 및/또는 클라이언트 디바이스)으로부터 맥락형 비디오 스트림 데이터를 수신할 수 있다. 보다 구체적으로, 호스트 디바이스는 직접적으로 (예를 들어, 네트워크를 통해 하나 이상의 카메라로부터) 또는 간접적으로 (예를 들어, 네트워크를 통해 컴퓨팅 디바이스(이것은 차례로 하나 이상의 카메라와 통신함)로부터) 맥락형 비디오 스트림 데이터를 수신할 수 있다.
일례에서, 카메라는 맥락형 비디오 스트림 데이터를 레코딩할 수 있고, 맥락형 비디오 스트림 데이터를 호스트 디바이스에 전송할 수 있다. 다른 예에서, 사용자는 사용자에 의해 동작되는 클라이언트 디바이스 상에서 실행되는 애플리케이션을 통해 (예를 들어, 클라이언트 디바이스 상에서 실행되는 애플리케이션 내의 사용자-생성 컨텐츠(User-Generated Content)(UGC) 인터페이스를 통해) 비디오를 레코딩할 수 있다. (예를 들어, UGC 인터페이스에서 "레코딩(Record)" 및/또는 유사한 버튼을 클릭함으로써) 애플리케이션을 통해 레코딩을 개시함으로써, 사용자는 맥락형 비디오 스트림을 레코딩할 수 있으며, 이와 함께 클라이언트 디바이스는 위치 데이터(예를 들어, 지형위치(geolocation), 근거리 통신(NFC)으로부터의 데이터, 다른 디바이스들과의 블루투스 통신으로부터의 데이터, 셀룰러 삼각측량, 이벤트 및/또는 위치 체크-인 데이터, 및/또는 네트워크 Wi-Fi 접속 정보)를 맥락형 비디오 스트림과 연관시킬 수 있다. 구체적으로, 맥락형 비디오 스트림은 위치 데이터로 태그될 수 있고/있거나, 위치 데이터를 캡슐화하는 데이터 구조와 연관될 수 있다.
단계(308)에서, 맥락형 비디오 스트림 데이터가 분석되어, 맥락형 비디오 스트림 데이터가 맥락형 비디오 스트림 데이터에서의 얼굴 이미지 데이터의 얼굴 인식과 연관된 기준을 충족시키는지를 결정할 수 있다. 예를 들어, 호스트 디바이스는 맥락형 비디오 스트림 데이터(예를 들어, 사진으로부터의 이미지 데이터)를 수신할 수 있고, 맥락형 비디오 스트림 데이터를 분석 및/또는 프로세싱하여, 맥락형 비디오 스트림 데이터의 일부가 얼굴 이미지 데이터의 임의의 적절한 부분과 매칭하는지를 결정할 수 있다. 즉, 호스트 디바이스는 얼굴 이미지 데이터를 맥락형 비디오 스트림에 포함된 데이터가 비교되는 템플릿으로서 사용할 수 있다. 다른 말로 하면, 호스트 디바이스는 얼굴 이미지 데이터에 적어도 부분적으로 기초하여 맥락형 비디오 스트림 데이터에 대해 얼굴 인식 프로세스 및/또는 분석을 수행한다. 일부 예들에서, 기준은, 예를 들어, 미리 결정된 및/또는 허용 가능한 확률을 갖는 얼굴 이미지 데이터와 맥락형 비디오 스트림 데이터 간의 매칭과 연관될 수 있다. 일부 실시예들에서, 호스트 디바이스는 맥락형 비디오 스트림 데이터를 그 개별 프레임들(예를 들어, 비디오 스트림 동안의 미리 결정된 시간에서의 정지 이미지)로 분리, 파싱, 소팅 및/또는 다른 방식으로 분해하는 것에 적어도 부분적으로 기초하여 맥락형 비디오 스트림 데이터를 분석 및/또는 프로세싱하도록 구성될 수 있다. 이와 같이, 호스트 디바이스는 얼굴 이미지 데이터에 대해 맥락형 비디오 스트림 프레임에 포함된 데이터를 비교 및/또는 분석할 수 있다.
일부 예들에서, 맥락형 비디오 스트림 데이터의 분석은 또한, 예를 들어, 위치, 장소, 시간, 동시발생 이벤트(예를 들어, 득점하는 스포츠 팀이, 예를 들어, "키스 캠(kiss cam)"에 캡쳐되는 것 등), 이미지 내의 랜드마크들 및/또는 임의의 다른 적절한 맥락형 정보와 같이 비디오 스트림과 연관된 맥락형 정보를 결정하도록 맥락형 비디오 스트림 데이터를 분석하는 것을 포함한다. 일부 예들에서, 호스트 디바이스는 비디오 스트림의 적어도 일부를 맥락형 데이터와 매칭, 집성 및/또는 다르게는 연관시키도록 구성될 수 있다. 예를 들어, 일부 예들에서, 비디오 스트림 데이터는, 예를 들어, 스포츠 이벤트에서의 사용자를 표현할 수 있다. 그러한 예들에서, 맥락형 데이터는, 예를 들어, 스포츠 이벤트 또는 게임의 비디오 스트림일 수 있고, 시간, 위치, 장소, 팀들 등과 연관된 데이터를 포함할 수 있다. 이와 같이, 호스트 디바이스는 비디오 스트림 데이터 및 맥락형 데이터가 실질적으로 동시발생하도록 (예를 들어, 실질적으로 동일한 시간과 연관된 데이터를 발생시키고/시키거나 캡쳐하도록) 비디오 스트림 데이터와 맥락형 데이터를 집성하도록 구성될 수 있다. 다른 예들에서, 맥락형 데이터는 임의의 다른 적절한 맥락과 연관된 데이터를 포함할 수 있다.
단계(310)에서, 맥락형 비디오 스트림 데이터에서의 얼굴 이미지 데이터의 얼굴 인식과 연관된 기준이 충족될 때, 사용자의 맥락형 비디오 스트림이 정의된다. 예를 들어, 호스트 디바이스가 맥락형 비디오 스트림 내의 데이터의 적어도 일부가 기준을 충족시키는 것으로(예를 들어, 미리 결정되고/되거나 허용 가능한 확률까지 얼굴 이미지 데이터가 매칭하는 것으로) 결정할 때, 호스트 디바이스는 사용자의 맥락형 비디오 스트림을 정의할 수 있고, 사용자의 맥락형 비디오 스트림을 데이터베이스에 저장할 수 있다. 사용자의 맥락형 비디오 스트림이 정의되었으면, 단계(312)에서, 호스트 디바이스는 (예를 들어, 클라이언트 디바이스 상에 인스턴스화되는 인터페이스에 맥락형 비디오 스트림을 그래픽으로 렌더링함으로써) 클라이언트 디바이스의 디스플레이 상에 사용자의 맥락형 비디오 스트림을 제시하라는 명령을 나타내는 신호를 전송한다. 예를 들어, 일부 실시예들에서, 호스트 디바이스는, 클라이언트 디바이스에, 네트워크를 통해, 사용자의 맥락형 비디오 스트림을 클라이언트 디바이스의 디스플레이 상에 제시 시에 동작 가능한 신호를 전송할 수 있다. 다른 실시예들에서, 호스트 디바이스는 (예를 들어, 데이터베이스 등에) 맥락형 비디오 스트림을 저장할 수 있고, 클라이언트 디바이스(및/또는 임의의 다른 적절한 디바이스)로부터의 요청에 응답하여, 데이터베이스로부터 사용자의 맥락형 비디오 스트림을 리트리브하도록 구성될 수 있다. 보다 구체적으로, 일부 실시예들에서, 사용자는 클라이언트 디바이스를 조작하여 인터넷상의 웹페이지에 액세스할 수 있다. 인증된 후에 (예를 들어, 크리덴셜 등을 입력한 후에), 사용자는 맥락형 비디오 스트림에 대한 액세스에 대한 요청이 클라이언트 디바이스로부터 호스트 디바이스로 전송되도록 웹페이지와 상호 작용할 수 있다. 따라서, 호스트 디바이스는 데이터베이스로부터 맥락형 비디오 스트림을 리트리브할 수 있고, 클라이언트 디바이스에, (예를 들어, 인터넷 및 웹페이지를 통해 맥락형 비디오 스트림을 그래픽으로 렌더링함으로써) 맥락형 비디오 스트림을 디스플레이 상에 제시 시에 동작 가능한 신호를 전송할 수 있다. 다시 말해서, 맥락형 비디오 스트림은 "클라우드"에 저장되고, 웹브라우저 및 인터넷을 통해 액세스될 수 있다.
다른 구현들에서, 맥락형 비디오 스트림이 기준을 충족시킬 때(예를 들어, 맥락형 비디오 스트림이 사용자의 얼굴 이미지 데이터를 미리 결정된 확률로 매칭시킬 때 등), 호스트 디바이스는 맥락형 비디오 스트림 데이터를 자동으로 사용자에게 전송할 수 있다. 예를 들어, 일부 구현들에서, 사용자는 해당 사용자에 대한 사용자 위치 데이터를 추적하는 애플리케이션을 인스턴스화하는 클라이언트 디바이스를 동작시킬 수도 있다. (예를 들어, 자율 카메라 및/또는 다른 사용자와 같은) 이미지 캡쳐 디바이스가 맥락형 비디오 스트림 데이터를 레코딩할 때, 호스트 디바이스는 맥락형 비디오 스트림의 얼굴 분석 및 사용자와 연관된 얼굴 이미지 데이터에 기초하여 맥락형 비디오 스트림 데이터가 사용자와 매칭하는 것으로 결정할 수 있다. 사용자의 클라이언트 디바이스는 또한 사용자 및 클라이언트 디바이스와 연관된 위치 데이터를 호스트 디바이스에 전송할 수 있다. 호스트 디바이스는 얼굴 분석 및 위치 정보 모두를 사용하여 사용자가 맥락형 비디오 스트림에 나타날 확률을 세분화할 수 있다. 사용자가 맥락형 비디오 스트림에 나타날 확률이 기준을 충족시키는 경우(예를 들어, 미리 결정된 임계치를 초과하는 경우 등), 호스트 디바이스는 맥락형 비디오 스트림 데이터를 사용자에게 전송할 수 있다. 대안적으로, 호스트 디바이스는, 사용자의 위치 정보가 맥락형 비디오 스트림의 위치 정보와 실질적으로 유사할 때에는 확률이 계산되도록 위치 정보에 기초하여 맥락형 비디오 스트림을 사전-필터링할 수 있고, 맥락형 비디오 스트림의 위치 데이터가 사용자의 위치 정보와 실질적으로 유사하지 않을 때에는 확률을 계산하지 않는다.
다른 구현들에서, 맥락형 비디오 스트림이 기준을 충족시킬 때(예를 들어, 맥락형 비디오 스트림이 사용자의 얼굴 이미지 데이터를 미리 결정된 확률로 매칭시킬 때 등), 호스트 디바이스는 맥락형 비디오 스트림 데이터를 저장하고, 사용자의 비디오와의 상호작용에 기초하여, 맥락형 비디오 스트림 데이터를 사용자와 연관시킬 수 있다. 예를 들어, 일부 구현들에서, 사용자는 사용자와 연관된 클라이언트 디바이스 상에 인스턴스화되는 애플리케이션에 액세스하여, 맥락형 비디오 스트림 데이터를 검색하고/하거나 이에 액세스할 수 있다. 사용자는, 예를 들어, 해당 사용자와 연관된 다른 사용자의 사용자 프로파일 내에서 맥락형 비디오 스트림 데이터를 볼 수 있고/있거나, 애플리케이션의 인터페이스 내에서 보기 위해 맥락형 비디오 스트림 데이터를 검색할 수 있다. 사용자가 애플리케이션 내의 맥락형 비디오 스트림 데이터에 액세스할 때, 애플리케이션은 사용자가 해당 맥락형 비디오 스트림 데이터에 액세스하고 있음을 나타내는 신호를 호스트 디바이스에게 전송할 수 있다. 호스트 디바이스는 맥락형 비디오 스트림 데이터의 얼굴 분석이 해당 사용자와 연관된 얼굴 이미지 데이터에 기초하여 수행되었는지 여부를 자동으로 결정할 수 있고, 사용자의 얼굴 이미지 데이터가 맥락형 비디오 스트림 데이터와 이전에 비교되지 않은 경우, 사용자의 얼굴 이미지 데이터에 기초하여, 맥락형 비디오 스트림 데이터의 얼굴 분석을 자동으로 수행할 수 있다. 이러한 방식으로, 호스트 디바이스는, 사용자들이 맥락형 비디오 스트림 데이터에 액세스하려고 시도할 때까지, 맥락형 비디오 스트림 데이터를 지연 프로세싱하여, 맥락형 비디오 스트림 데이터 내의 사용자들을 식별할 수 있다.
일부 예들에서, 사용자는 이벤트를 검색할 수 있고, 해당 이벤트에 이벤트 후에 "체크-인"할 수 있다. 예를 들어, 사용자는 (예를 들어, 이벤트들의 리스트를 보는 것에 의해, 지도 상에서 이벤트들의 위치를 보는 것 등에 의해) 이벤트를 식별할 수 있고, 이벤트를 선택할 수 있다. 사용자의 이벤트 선택에 기초하여, 호스트 디바이스는 해당 사용자의 얼굴 이미지 데이터에 기초하여 해당 이벤트와 연관된 비디오 스트림들 및/또는 이미지들의 얼굴 분석을 수행할 수 있다. 호스트 디바이스가 (예를 들어, 미리 결정된 확률로) 사용자를 포함하는 비디오 스트림 및/또는 이미지를 식별하는 경우, 호스트 디바이스는 그러한 비디오 스트림들 및/또는 이미지들을 사용자에게 제공할 수 있다.
위에서는 방법(300)이 비디오 스트림들, 이미지 데이터, 맥락형 데이터 등을 전송하고/하거나 수신하고 하나 이상의 사용자에게 사용자-특정 비디오 스트림들 및/또는 이미지 데이터를 제시하고/하거나 이들과 공유하는 것으로서 설명되었지만, 시스템은 비디오 스트림 데이터 및/또는 이미지 데이터가 임의의 적절한 방식으로 캡쳐되고, 임의의 적절한 디바이스에 의해 분석되고, 임의의 적절한 사용자 또는 사용자 디바이스에 전송되고/되거나 이들과 공유될 수 있도록 배열될 수 있다는 점이 이해되어야 한다. 예로서, 일부 예들에서, 사용자는 사용자 디바이스(예를 들어, 클라이언트 디바이스(150)와 같은 클라이언트 디바이스)를 조작하여 사용자의 얼굴 이미지를 캡쳐할 수 있다. 예를 들어, (예를 들어, 사용자 또는 클라이언트 디바이스가 스마트폰 또는 다른 모바일 또는 웨어러블 전자 디바이스일 때) 사용자는 모바일 애플리케이션을 열 수 있고, 클라이언트 디바이스의 카메라를 통해 얼굴 이미지(예를 들어, "셀피")를 캡쳐할 수 있다. 다시 말해서, 사용자는 애플리케이션을 통해 클라이언트 디바이스의 카메라를 제어하여 셀피를 캡쳐할 수 있다. 이러한 셀피는 애플리케이션이 사용자의 얼굴 인식 데이터(예를 들어, 얼굴 피쳐 특성들)를 식별할 수 있도록 사용자를 등록하기 위해 제공될 수 있다. 이 얼굴 인식 데이터는 이후에 수신되는 비디오들 및/또는 이미지들에서 사용자를 식별하는 데 사용될 수 있다.
일부 예들에서, 사용자는 애플리케이션을 통해 컨텐츠(예를 들어, 이미지 데이터 및/또는 비디오 스트림)를 캡쳐할 수 있다. 위에서 설명된 바와 같이, 컨텐츠는, 예를 들어, 스포츠 이벤트 등에서의 1명 이상의 사람과 같이 주어진 맥락 내의 1명 이상의 사람의 비디오 스트림일 수 있다. 일부 예들에서, 사용자에 의해 캡쳐된(예를 들어, 생성된) 컨텐츠는 시간, 날짜, 위치, 장소, 이벤트 등과 같은 맥락형 데이터와 연관될 수 있고/있거나, 다르게는 데이터 및/또는 메타데이터로 태그될 수 있다. 다른 예들에서, 사용자에 의해 생성된 컨텐츠는 맥락형 데이터와 연관될 필요가 없다. 사용자에 의해 생성된 컨텐츠(예를 들어, 비디오 스트림 데이터 등)는 클라이언트 디바이스 또는 호스트 디바이스를 통해 얼굴 인식 및/또는 다른 이미지 분석을 통해 분석되어, 임의의 등록된 사용자(예를 들어, 데이터베이스에 사용자 프로파일이 저장된 임의의 사용자)의 존재를 결정할 수 있다. 등록된 사용자가 비디오 스트림에서 식별되는 경우, 사용자, 클라이언트 디바이스 및/또는 호스트 디바이스는 식별된 사용자들 중 하나 이상의 사용자와 연관된 사용자-특정 비디오 스트림을 정의할 수 있다. 그 후, 사용자, 클라이언트 디바이스 및/또는 호스트 디바이스는 각각의 식별된 사용자와 사용자-특정 비디오 스트림을 공유할지 여부를 결정할 수 있다. 일부 예들에서, 사용자-특정 비디오 스트림(들)의 공유는 사용자 프로파일 및/또는 선호도에 기초하여 및/또는 모바일 애플리케이션 또는 계정 내의 설정 등에 기초하여 자동적일 수 있다. 다른 예들에서, 사용자-특정 비디오 스트림(들)의 공유는 사용자로부터의 수동 또는 다른 입력에 기초할 수 있다(예를 들어, 선택 등에 기초할 수 있다). 또 다른 예들에서, 사용자-특정 비디오 스트림(들)의 공유는 피어 네트워킹 세션에 기초할 수 있으며, 여기서 각각의 사용자(또는 피어 네트워킹 세션에서 사용되는 각각의 클라이언트 디바이스)는 사용자-특정 비디오 스트림을 수신한다. 이러한 방식으로, 사용자에 의해 생성된 컨텐츠(예를 들어, 사용자에 의해 캡쳐된 비디오 스트림 및/또는 이미지 데이터)는 본 명세서에서 설명된 것들과 유사한 방식으로 캡쳐, 분석 및/또는 공유될 수 있다.
도 4는, 실시예에 따라, 예를 들어, 사용자와 연관된 모바일 디바이스에 맥락형 비디오 스트림을 제시하는 방법을 예시하는 흐름도이다. 일부 예들에서, 비디오 파일(들) 및/또는 사진 파일(들)이 미디어 업로더(485)에 업로드될 수 있다. 미디어 업로더(485)는, 예를 들어, 도 1a, 도 1b 및 도 2를 참조하여 위에서 설명된 호스트 디바이스(110)와 같이 비디오 및/또는 이미지 파일들을 수신 및/또는 프로세싱하도록 구성된 임의의 적절한 디바이스일 수 있다. 그 후, 마스터 비디오 및/또는 사진 파일이 마스터 미디어 스토리지(486)에 저장된다. 마스터 미디어 스토리지(486)는 임의의 적절한 스토리지 디바이스일 수 있다. 예를 들어, 마스터 미디어 스토리지(486)는 미디어 업로더(485)에 포함된 메모리에 포함될 수 있고/있거나 그 일부일 수 있다. 다른 실시예들에서, 마스터 미디어 스토리지(486)는, 예를 들어, 도 1a 및 도 1b를 참조하여 위에서 설명된 데이터베이스(140)와 같은 데이터베이스 등일 수 있다.
일부 예들에서, 마스터 비디오 파일은 마스터 미디어 스토리지(486)로부터 비디오 인코더(487)로 전송될 수 있다. 비디오 인코더(487)는 마스터 비디오 파일을 하나 이상의 원하는 포맷으로 변환하도록 구성된 임의의 적절한 디바이스 또는 디바이스의 일부일 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 비디오 인코더(487)는 마스터 비디오 파일을 얼굴 인식 비디오 및 모바일 호환가능 비디오 파일로 변환할 수 있으며, 이들 각각은 마스터 미디어 스토리지(486)에 저장된다. 그 후, 여기에서 더 상세하게 설명되는 바와 같이, 하나 이상의 얼굴 인식 비디오 파일 및/또는 사진 파일의 리스트가 워크플로우 컨덕터(488)에 전송되며, 워크플로우 컨덕터(488)는 파일들이 후속적으로 프로세싱되는 순서를 우선순위화, 조직 및/또는 다른 방식으로 제어할 수 있고, 얼굴 인식 비디오 파일(들) 및/또는 사진 파일(들)의 프로세싱을 개시할 때 동작 가능한 신호를 얼굴 검출 및 매칭 프로세서(491)(예를 들어, 도 2를 참조하여 위에서 설명된 분석 모듈(121)과 같은, 예를 들어, 프로세서, 모듈, 디바이스 등)에 전송할 수 있다. 또한, 여기에서 더 상세하게 설명되는 바와 같이, 워크플로우와 연관된 지시가 워크플로우 컨덕터(488)로부터 데이터베이스(493)로 전송될 수 있고, 데이터베이스(493)는 워크플로우와 연관된 지시를 저장할 수 있고, 지시와 연관된 데이터를 웹서비스 프로세서(494)(예를 들어, 인터넷 웹사이트 서비스 제공자, 프로세서, 모듈 및/또는 디바이스)에 전송할 수 있다.
도 4에 도시된 바와 같이, 여기에서 더 상세하게 설명되는 바와 같이, 모바일 호환가능 비디오 파일은 마스터 미디어 스토리지(486)로부터 비디오 클립 커터(489)로 전송되고, 비디오 클립 커터(489)는 또한 인식 이벤트들과 연관된 데이터를 수신할 수 있다. 여기에서 더 상세하게 설명되는 바와 같이, 마스터 비디오 파일 또는 사진 파일은 마스터 미디어 스토리지(486)로부터 썸네일 리사이저(490)로 전송되고, 썸네일 리사이저(490)는 또한 인식 이벤트들과 연관된 데이터를 수신할 수 있다. 얼굴 인식 비디오 또는 사진 파일(들)은 마스터 미디어 스토리지(486)로부터 얼굴 검출 및 매칭 프로세서(491)로 전송되고, 얼굴 검출 및 매칭 프로세서(491)는 차례로 임의의 적절한 얼굴 인식 프로세스를 수행하여 인식 이벤트들을 정의할 수 있다. 또한, 얼굴 검출 및 매칭 프로세서(491)는 워크플로우 컨덕터(488)에 의해 정의된 우선순위 및/또는 순서에 따라 얼굴 인식 비디오 및/또는 사진 파일을 분석 및/또는 프로세싱할 수 있다.
위에서 설명된 바와 같이, 인식 이벤트들과 연관된 데이터는 그 후 얼굴 검출 및 매칭 프로세서(491)로부터 비디오 클립 커터(489) 및 썸네일 리사이저(490)로 전송될 수 있다. 비디오 클립 커터(489)는, 모바일 호환가능 비디오 파일을 수신할 수 있고 얼굴 인식 비디오 및/또는 사진 내에서 사용자의 인식 이벤트들과 연관된 비디오 클립을 후속적으로 트리밍, 잘라내기, 추출, 분리 및/또는 다른 방식으로 정의할 수 있는 임의의 적절한 프로세서, 모듈 및/또는 디바이스일 수 있다. 그 후, 사용자의 인식 이벤트와 연관된 비디오 클림은 비디오 클립 커터(489)로부터 모바일 호환가능 미디어 스토리지(492)로 전송될 수 있다. 썸네일 리사이저(490)는, 마스터 비디오 및/또는 사진 파일(들)을 수신할 수 있고 후속적으로 하나 이상의 썸네일(예를 들어, 상대적으로 작은 파일 사이즈를 갖는 작은 이미지들로서, 이들은 차례로 더 큰 이미지 및/또는 비디오와 연관될 수 있고/있거나 이를 나타낼 수 있음)을 정의할 수 있는 임의의 적절한 프로세서, 모듈 및/또는 디바이스일 수 있다. 이 실시예에서, 썸네일들은 인식 이벤트들과 연관될 수 있고/있거나 이를 나타낼 수 있고, 썸네일 리사이저(490)로부터 모바일 호환가능 미디어 스토리지(492)로 전송될 수 있다.
도 4에 도시된 바와 같이, 비디오 클립들 및 썸네일들은 모바일 호환가능 미디어 스토리지(492)로부터, 예를 들어, 하나 이상의 모바일 애플리케이션 및/또는 웹사이트(495)로 전송될 수 있다. 예를 들어, 일부 예들에서, 비디오 클립들 및 썸네일들은 인터넷 서버 등으로 전송될 수 있고, 인터넷 서버는 차례로 비디오 클립들 및 썸네일들을 웹사이트 등에 제시할 수 있다. 다른 예들에서, 비디오 클립들 및 썸네일들은 사용자와 연관된 클라이언트 디바이스로 전송될 수 있고, (예를 들어, 모바일 애플리케이션이 열리고, 선택되고, 실행될 때, 등등) 클라이언트 디바이스는 차례로 비디오 클립들 및 썸네일들을 디스플레이 상에 제시할 수 있다. 또한, (위에서 설명된) 워크플로우의 지시와 연관된 메타데이터(예를 들어, 사용자 아이덴티티, 이벤트의 아이덴티티, 이벤트의 위치, 클라이언트 디바이스의 위치 등) 등이 웹서비스 프로세서(494)로부터 모바일 애플리케이션 및/또는 웹사이트들(495)로 전송될 수 있다. 이러한 방식으로, 사용자의 비디오 클립 및 이와 연관된 임의의 맥락형 및/또는 메타데이터는 모바일 애플리케이션 및/또는 웹사이트를 통해 사용자에게 전송되고/되거나 사용자에 의해 액세스될 수 있다.
도 5는, 실시예에 따라, 미디어 내의 맥락형 정보를 캡쳐하는 이미지 캡쳐 시스템(560)(예를 들어, 도 1에 도시된 이미지 캡쳐 시스템(160)과 유사)의 예시이다. 처음에, 이미지 캡쳐 시스템(560)은 소정 장소의 이미지들 및/또는 비디오를 캡쳐할 수 있다. 이미지 캡쳐 시스템(560)은 장소의 이미지들 및/또는 비디오 내에서 배경 랜드마크들, 벽들, 바닥, 디자인 요소들, 가구 등의 고유한 피쳐들과 같은 특성들을 식별할 수 있다. 이미지 캡쳐 시스템(560)은 이러한 특성들(여기서는, 랜드마크 데이터 및/또는 정보로도 지칭됨)을 호스트 디바이스(510)에 전송할 수 있고, 호스트 디바이스(510)는 이 정보를 (예를 들어, 데이터베이스 내에) 저장할 수 있다. 호스트 디바이스(510)는 장소의 위치 정보와 연관된 이 정보를 저장할 수 있다. 유사하게 언급하자면, 호스트 디바이스(510)는 랜드마크 정보가 장소 내에서 랜드마크의 위치와 연관되도록 이를 저장할 수 있다.
(도 1 내지 도 4에서 설명된 바와 같은) 일부 구현들에서, 이미지 캡쳐 시스템(560)은 사용자(502)를 포함하는 미디어(예를 들어, 비디오 스트림, 사진들 및/또는 다른 미디어)를 캡쳐할 수 있다. 사용자(502)는, 예를 들어, 모바일 디바이스가 장소와 연관된 신호 및/또는 Wi-Fi 네트워크를 검출할 때, 위치 데이터(506)(예를 들어, 글로벌 포지셔닝 시스템(GPS) 좌표, 액세스 포인트의 범위 내에 있음을 나타내는 Wi-Fi 신호, NFC 신호 정보, iBeacon의 범위 내에 있음을 나타내는 블루투스 통신, 셀룰러 삼각측량 정보, 컨텐츠 캡쳐 지점으로부터의 거리를 추정하는 인지 네트워크 스위칭 및 프로토콜 정보, 좌석 번호 또는 섹션과 같이 장소 내의 포지션과 연관된 위치 데이터, 및/또는 유사한 위치 데이터)를 호스트 디바이스(110)에 전송하도록 구성된 모바일 애플리케이션을 포함하는 모바일 디바이스(504)를 사용할 수 있다. 일부 구현들에서, 모바일 애플리케이션은 iBeacon(및/또는 다른 디바이스들로 정보를 송신하도록 구성된 유사한 디바이스)과 상호 작용하도록 구성될 수 있고, 위치 데이터(예를 들어, iBeacon 식별자, 모바일 디바이스 GPS 데이터 및/또는 다른 그러한 정보)를 호스트 디바이스(110)에 전송하도록 구성될 수 있다.
이미지 캡쳐 시스템(160)에 의해 캡쳐된 미디어(508)(예를 들어, 사진들, 비디오들 및/또는 관련 미디어 파일들)는 사용자(502)의 이미지 또는 비디오뿐만 아니라, 장면의 배경(510)의 빌딩들, 장소 피쳐들, 객체들, 배경 랜드마크들 및/또는 다른 양태들을 포함할 수 있다. 예를 들어, 미디어는 사용자(502)뿐만 아니라, 스포츠 경기장에서의 사용자(502) 옆의 좌석들, 미디어의 배경에 있고 (예를 들어, 장소 내의) 특정 위치와 연관된 랜드마크들, 사인들 및/또는 다른 이러한 정보(예를 들어, 벽들, 바닥, 디자인 요소들, 가구 등의 고유한 피쳐들)를 포함할 수 있다. 호스트 디바이스(110)는 사용자의 위치 데이터를 갖는 배경을 사용하여, 사용자(502)가 미디어에 나타날 가능성이 있는 것을 추가로 검증할 수 있다. 보다 구체적으로, 일부 예들에서, 호스트 디바이스(510)의 분석 모듈(예를 들어, 도 2에 도시된 분석 모듈(121)과 유사)은 비디오 스트림에 대해 이미지 프로세싱을 수행하여, 예를 들어, 비디오 스트림으로부터 풍경 및/또는 다른 배경, 사람이 아닌 데이터(랜드마크 데이터로도 지칭됨)를 추출할 수 있다. 예를 들어, 분석 모듈은 이미지 프로세싱 기술들을 사용하여 미디어에서 좌석 번호(200)를 검출할 수 있다. 호스트 디바이스(510)의 위치 모듈(예를 들어, 도 2에 도시된 124와 유사)은 (예를 들어, 이전에 저장된 위치 이미지들의 메타데이터, 키워드들 및/또는 이미지 프로세싱을 사용하여) 추출된 데이터를 데이터베이스 내의 위치 데이터와 매칭시켜, 비디오 스트림의 위치를 추정할 수 있다. 예를 들어, 위치 모듈은 좌석 번호(200)를 사용하여, 사용자(502)가 미디어에서 앉아 있는 것으로 보이는 좌석(514)을 추정할 수 있고, 장소 내의 좌석의 위치에 기초하여 미디어가 캡쳐되었던 대략적인 위치를 결정할 수 있다. 다른 예로서, 위치 모듈은 비디오 스트림의 랜드마크 데이터를 호스트 디바이스(510)에 의해 이전에 캡쳐되고 저장된 이미지들 및/또는 비디오와 비교할 수 있다. 호스트 디바이스(510)에 의해 저장된 위치와 랜드마크 데이터 간의 연관으로 인해, 호스트 디바이스(510)는 비디오 스트림의 위치를 식별할 수 있다.
일부 예들에서, 사용자는 또한 장소에 체크인할 수 있다. 구체적으로, 사용자의 모바일 디바이스는 사용자에 대한 위치 정보(예를 들어, 사용자의 모바일 디바이스의 GPS 좌표, iBeacon에 대한 식별자, NFC 태그, 셀룰러 네트워크, Wi-Fi 및/또는 다른 네트워크, 및/또는 모바일 디바이스에 근접한 모바일 디바이스 등)를 포함하는 메시지를 전송할 수 있다. 위치 모듈은 사용자의 계정 데이터에 위치 데이터를 저장할 수 있다. 위치 모듈이 비디오 스트림의, 그리고 사용자의 위치를 결정한 후, 위치 모듈은 좌석(208)을 사용자의 모바일 디바이스에 의해 제공된 위치 데이터와 비교하여, 사용자(502)가 좌석(208)에 실제로 앉아있었을 공산을 결정할 수 있다. 예를 들어, 위치 모듈은 가장 최근의 위치 데이터가 미디어의 추정된 위치에 가깝게 매칭하는(예를 들어, 가장 최근의 위치 데이터가 미디어의 추정된 위치로부터 미리 결정된 미터 수 내에 있는 등의) 사용자들의 레코드들을 리트리브할 수 있다. 리트리브된 각각의 사용자 레코드에 대해, 분석 모듈은, 예를 들어, 비교를 위해 사용자의 이미지 데이터를 사용하여 미디어에 대해 얼굴 인식을 수행하여, 사용자가 미디어에서 나타나는지 여부를 결정할 수 있다. 이 정보에 기초하여, 호스트 디바이스는 특정 위치에서 이미지가 미디어에 캡쳐될 수 있었던 사용자들의 리스트를 결정할 수 있고, 이 감소된 사용자들의 풀로부터, 미디어 내의 사람들과 사용자들의 리스트 내의 사용자들(502) 중 임의의 사용자 사이에 긍정적인 매칭이 이루어졌는지 여부를 결정할 수 있다. 일부 예들에서는, 이미지에 대해 얼굴 인식이 수행되어, 감소된 사용자들의 풀(예를 들어, 랜드마크 정보 및/또는 사용자 디바이스 위치 정보에 기초하여, 일반적인 영역 내에 있는 것으로 식별된 사용자들) 중 어느 사용자들이 미디어에서 식별되는지를 식별할 수 있다. 얼굴 인식을 사용할 때, 랜드마크 데이터 및 사용자 디바이스 위치 정보를 사용하여 사용자들의 풀을 감소시키면 긍정 오류의 수를 감소시킨다. 일부 구현들에서, 호스트 디바이스는 얼굴 인식 분석 및 위치 데이터를 사용하여, 비디오 스트림을 데이터베이스에서 저장할지 및/또는 폐기할지(예를 들어, 삭제할지 및/또는 저장하지 않을지)를 결정할 수 있다. 다른 구현들에서, 호스트 디바이스는 비디오 스트림이 특정 사용자와 매칭될 수 있는지 여부에 상관없이 비디오 스트림을 저장할 수 있다. 호스트 디바이스는, 사용자 디바이스 위치 및 사용자와 연관된 얼굴 인식 데이터가 랜드마크 및/또는 다른 위치 데이터와 결합하여 사용될 때, 비디오 스트림을 특정 사용자와 연관시켜, 사용자가 비디오 스트림에서 식별될 수 있는지 여부를 결정할 수 있다.
도 6은, 실시예에 따라, 미디어 내의 맥락형 정보 및 위치 데이터를 사용하여, 미디어 내의 사용자를 식별하는 것을 예시하는 논리 흐름도이다. 일부 구현들에서, 예를 들어, 단계(602)에서, 사용자의 모바일 디바이스(504)는 (예를 들어, (도 1에 도시된) 호스트 디바이스(110)에 위치 데이터 및/또는 iBeacon 식별자들을 전송함으로써) 장소 및/또는 다른 위치에 "체크-인"할 수 있다. 이것은 장소 및/또는 비디오 인식 시스템과 연관된 호스트 디바이스(예를 들어, 도 1의 호스트 디바이스(110))에게 사용자가 장소 내 및/또는 이벤트에 있다는 지시를 제공할 수 있다. 또한, 이것은 장소 내 및/또는 이벤트에서 사용자의 위치의 지시를 제공할 수 있다. 일부 구현들에서, 모바일 디바이스(504)는 디바이스 상에 저장된 모바일 애플리케이션을 통해 호스트 디바이스(110)에게 업데이트된 GPS 데이터를 주기적으로 전송하도록 구성될 수 있고/있거나, 모바일 디바이스(504)가 iBeacon, Wi-Fi 핫 스팟 및/또는 유사한 디바이스에 근접하게 들어올 때에는, 호스트 디바이스(110)에게 위치 데이터를 전송하라고 프롬프트될 수 있다. 호스트 디바이스(110)는 위치 데이터를 데이터베이스(140)에 저장할 수 있다(단계(604)).
일부 구현들에서는, 사용자의 모바일 디바이스가 체크인하는 대신에, 장소에 있는 티켓 판매 및/또는 티켓 프로세싱 디바이스가 호스트 디바이스(110)에게 사용자가 장소에서의 특정 이벤트에 대한 티켓을 구입 및/또는 사용한 것, 티켓이 구입 및/또는 교환되었던 시간 등을 나타내는 메시지를 전송할 수 있다. 다른 구현들에서, 사용자의 위치는, 예를 들어, 사용자에 대해 이전에 저장된 위치 데이터에 기초하여, 사용자가 특정 장소들에서의 이벤트들에 대해 구입한 티켓들에 기초하여, 및/또는 기타에 기초하여 추론될 수 있다.
단계(606)에서, (도 1에 도시된) 이미지 캡쳐 시스템(160)은 미디어를 캡쳐할 수 있고(예를 들어, 비디오 영상(video footage)을 레코딩하는 것 및/또는 적어도 하나의 사진을 캡쳐하는 것을 포함하되, 이에 제한되지 않음), 단계(608)에서, 미디어를 (도 1에 도시된) 호스트 디바이스(110)에 전송할 수 있다. 이미지 캡쳐 시스템(160)은 또한 호스트 디바이스(110)에 자신의 위치 데이터(예를 들어, 이미지 캡쳐 시스템(160)에 대한 GPS 좌표 등)를 전송할 수 있다. 단계(610)에서, 호스트 디바이스(110)는 (예를 들어, 미디어의 풍경 및/또는 배경의 랜드마크 데이터를 사용하여) 미디어에서 위치를 식별할 수 있다. 예를 들어, 일부 구현들에서, 호스트 디바이스(110)는 (예를 들어, 도 1에 도시된 분석 모듈(121)을 통해) 이미지 인식 프로세싱 기술들을 사용하여, 배경에서의 특정 객체들(좌석들, 지역 랜드마크들 등)을 검출하고/하거나, 배경에서의 식별 정보(예를 들어, 사인들, 좌석 번호들, 장소 피쳐들 등)를 검출하고/하거나, (예를 들어, 이미지 캡쳐 시스템의 위치 및/또는 사용자(502)에 대한 미디어 내의 객체들의 사이즈를 사용하여 거리를 추정함으로써) 이미지 캡쳐 디바이스(160)와 사용자(502) 사이의 거리를 추정할 수 있다. 호스트 디바이스(110)는 (예를 들어, 위치 모듈(124)을 통해) 식별 정보, 객체들 및/또는 거리를 사용하여 미디어에서 캡쳐된 위치를 식별할 수 있다. 예를 들어, 분석 모듈(121)이 스포츠 경기장에서의 좌석 번호를 검출하는 경우, 위치 모듈(124)은 이미지 캡쳐 시스템의 위치 데이터를 사용하여 이미지 캡쳐 시스템(160)이 어느 스포츠 경기장에 위치하는지를 결정할 수 있고, 장소의 지도 및/또는 다른 데이터를 리트리브하여, 그 좌석 번호를 갖는 좌석이 장소에서 어디에 위치하는지를 결정할 수 있다. 다른 예로서, 위치 모듈(124)은 국가 랜드마크(예를 들어, 유명한 동상) 및/또는 주 사인(state sign)을 검출할 수 있고, 국가 랜드마크 및/또는 주 사인에 대해 알려진 위치 데이터에 기초하여 사용자에 대한 GPS 위치를 결정할 수 있다. 이미지 캡쳐 디바이스(160)가 위치 데이터를 제공하는 경우, 위치 모듈(124)은 이미지 캡쳐 디바이스로부터의 위치 데이터에 기초하여 검출된 위치를 검증할 수 있다.
일부 구현들에서, 위치 모듈(124)은 또한 호스트 디바이스(110)에 이전에 저장된 다른 미디어에 기초하여 위치를 결정할 수 있다. 예를 들어, 이미지 캡쳐 시스템(160)은 유명한 동상을 포함하는 비디오를 레코딩할 수 있고, 위치 모듈(124)은 동상에 대한 GPS 좌표를 결정하고, 상기 좌표를, 예를 들어, 데이터베이스(140)에 저장된 바와 같은 비디오 데이터에 대한 메타데이터로서 저장할 수 있다. 이미지 캡쳐 디바이스(160)가 나중에 동상을 또 포함하는 후속 미디어를 전송하는 경우, 위치 모듈(124)은 본 명세서에서 개시되는 것들과 유사한 이미지 프로세싱 기술들을 사용하여 이전에 수신된 비디오 데이터를 사용하여 동상의 아이덴티티를 검출할 수 있고, 이전의 비디오 데이터를 사용하여 (예를 들어, 비디오 데이터와 함께 저장된 메타데이터 등을 통해) 동상의 위치를 결정할 수 있다. 다른 예를 들면, 위치 모듈은 장소 내의 랜드마크들과 장소 내의 위치를 연관시키는 랜드마크들의 사전-캡쳐된 이미지 데이터를 사용하여, 미디어에서 캡쳐된 장소 내의 위치를 식별할 수 있다.
그 후, 단계(612)에서, 위치 모듈(124)은 데이터베이스(140)에서 사용자들에 대한 사용자 위치 데이터(예를 들어, GPS 데이터, iBeacon 데이터, 티켓 구매 데이터 등)를 리트리브할 수 있다. 각각의 사용자에 대해(단계(614)), 단계(616)에서, 호스트 디바이스는 사용자의 위치 데이터를 장소 내 및/또는 이벤트의 위치에 매핑시킬 수 있다. 예를 들어, 사용자 위치 데이터가 사용자가 특정 스포츠 경기장에 있음을 나타내는 경우, 위치 모듈(124)은, 예를 들어, 장소의 지도 및/또는 유사한 데이터를 사용하여 사용자의 위치 데이터를 장소 내의 위치에 매핑시킬 수 있다. 그 후, 단계(618)에서, 위치 모듈(124)은 장소에서의 사용자의 위치가 미디어에서 식별된 위치 모듈(124)의 위치와 매칭하는지 여부를 결정할 수 있다. 예를 들어, 호스트 디바이스(110)는 미디어에서 검출된 좌석 번호가 사용자 모바일 디바이스의 체크-인 메시지에서 식별된 iBeacon에 가까운 좌석 번호와 매칭하는지 여부, 및/또는 좌석 번호가 사용자의 티켓과 연관된 좌석 번호에 근접한지 여부를 결정할 수 있다. 두 위치가 매칭하지 않는 경우, 위치 모듈(124)은 사용자가 미디어가 레코딩되었던 위치에 있지 않을 가능성이 있다고 결정하고, 단계(620)에서, 위치 모듈(124)은 다음 사용자의 위치 데이터를 분석할 수 있다.
두 위치가 매칭하는 경우, (예를 들어, 도 2에 도시된) 분석 모듈(121)은, 예를 들어, 사용자의 이전에 저장된 이미지 데이터 및 이미지 캡쳐 시스템(160)으로부터 수신된 미디어를 사용하여 미디어에 대해 얼굴 인식을 수행할 수 있다(단계(622)). 분석 모듈(121)이 사용자와 미디어 내의 사람 간의 매칭을 검출하는 경우(단계(624)), 호스트 디바이스는 (예를 들어, 미디어가 레코딩되었던 위치, 사용자와 연관된 식별자 및/또는 다른 정보와 같은 메타데이터를 포함하여) 미디어를 저장할 수 있다(단계(626)). 그 후, 호스트 디바이스(110)는 (예를 들어, 이메일, 텍스트(예를 들어, 단문 메시지 서비스(Short Message Service)(SMS) 및/또는 멀티미디어 메시징 서비스(Multimedia Messaging Service)(MMS)) 메시지, 모바일 디바이스 애플리케이션 통지 등을 통해) 사용자에게 이미지 캡쳐 시스템(160)이 사용자를 포함하는 미디어를 캡쳐했음을 통지할 수 있다. 그 후, 사용자는 미디어에 액세스할 수 있다. 두 위치가 매칭하지 않는 경우, 분석 모듈은 얼굴 인식을 수행하지 않을 수 있고, 사용자를 미디어와 매칭시키는 프로세스를 종료할 수 있다.
일부 구현들에서, 위치 모듈(124)은 미디어에 대해 얼굴 인식을 수행하기 전에 위치 분석을 수행할 수 있다. 다른 구현들에서, 호스트 디바이스(110)는 미디어에 대해 얼굴 인식을 수행한 후에 위치 분석을 수행할 수 있다. 얼굴 인식 전에 위치 분석을 수행하면 행해지는 비교 횟수를 감소시킬 수 있고(따라서, 얼굴 인식을 수행하는 데 사용되는 시간과 자원의 양을 감소시킬 수 있고), 데이터베이스(140)로부터 리트리브되고 프로세싱되는 데이터의 양을 감소시킬 수 있다. 이것은 또한 얼굴 인식 프로세스로부터 생성되는 긍정 오류들의 수도 감소시킬 수 있는데, 왜냐하면 얼굴 인식 분석이 그 위치가 이미지의 위치와 매칭하는 개인들에 대해서는 수행되고, 그 위치가 이미지의 위치와 매칭하지 않는 개인들에 대해서는 수행되지 않을 수 있기 때문이다.
일부 예들에서, 미디어의 랜드마크 데이터에 의해 식별되는 위치 정보에 기초하여 얼굴 인식 신뢰 스코어가 계산될 수 있다. 예를 들어, 미디어의 랜드마크는 비디오가 장소의 특정 부분의 것임을 나타내고, 사용자의 디바이스는 사용자가 장소의 해당 부분 내에 있음을 나타내는 경우, 사용자가 미디어 내에 있을 신뢰 스코어는 증가될 수 있다. 반대로, 미디어의 랜드마크는 비디오가 장소의 특정 부분의 것임을 나타내고, 사용자의 디바이스는 사용자가 장소의 해당 부분 내에 있지 않음을 나타내는 경우, 사용자가 미디어 내에 있을 신뢰 스코어는 감소될 수 있다. 따라서, 랜드마크 데이터는 얼굴 인식이 수행되는 개인들의 수를 제한하지 않으면서, 사용자들의 신뢰 스코어에 영향을 줌으로써 긍정 오류들을 감소시킬 수 있다.
위에서는 사용자의 디바이스로부터 수신되는 위치 정보 및 이미지 및/또는 비디오의 랜드마크 데이터로부터 도출되는 위치 정보가 얼굴 인식과 함께 사용되는 것으로 설명되었지만, 다른 실시예들에서는, 얼굴 인식 없이 사용되어도, 비디오에서 사용자를 식별할 수 있다. 구체적으로, 예를 들어, (예를 들어, 도 2에 도시된) 위치 모듈은 비디오 내의 정보를 사용하여 (예를 들어, 미디어의 풍경 및/또는 배경의 정보를 사용하여) 비디오의 위치를 결정할 수 있다. 사용자 디바이스가 사용자가 해당 특정 위치에 있다고 나타내는 경우, 사용자는 비디오에 포함되는 것으로 식별될 수 있다. 그 후, 위에서 설명된 바와 같이, 비디오는 사용자에게 제공될 수 있다.
위에서는 이미지 캡쳐 디바이스로부터 위치 정보(예를 들어, 장소에서의 포지션)를 수신하는 것으로 설명되었지만, 다른 실시예들에서는, 이러한 위치 정보가 수신되지 않고, 이미지 캡쳐 디바이스의 위치가 (예를 들어, 미디어의 풍경 및/또는 배경의 정보를 사용하여) 미디어의 랜드마크 데이터에만 기초하여 식별될 수 있다. 이러한 실시예들에서는, 비디오 인식 시스템(예를 들어, 도 1의 비디오 인식 시스템(100))과 연관되지 않은 이미지 캡쳐 디바이스들, 및/또는 비디오 인식 시스템과 통신 가능하게 연결되지 않은 이미지 캡쳐 디바이스들이 이미지들 및/또는 비디오들을 캡쳐하는 데 사용될 수 있다. 이러한 이미지들의 위치는 이미지 캡쳐 디바이스에 의해 제공되는 (이미지 자체 이외의) 위치 특정 데이터 없이 식별될 수 있다.
다양한 실시예들이 위에서 설명되었지만, 이들은 제한이 아닌 단지 예로서 제시되었다는 점이 이해되어야 한다. 예를 들어, 실시예들 및 방법들은 본 명세서에서 이벤트 등에서의 사용자의 맥락형 비디오 스트림을 정의하고, 맥락형 비디오 스트림을 클라이언트 디바이스에 전송하고/하거나, 다르게는 예를 들어, 웹브라우저 및 인터넷을 통해 맥락형 비디오 스트림에 액세스하는 것을 허용하는 것으로 설명되었지만, 다른 실시예들에서, 호스트 디바이스는 사용자와 연관된 임의의 수의 맥락형 비디오 스트림들을 데이터베이스에 저장할 수 있다. 일부 예들에서, 호스트 디바이스는 사용자의 임의의 수의 맥락형 비디오 스트림들을 포함할 수 있는 사용자 프로파일 등을 정의하도록 구성될 수 있다. 일부 예들에서, 사용자는 모바일 애플리케이션, 컴퓨터 애플리케이션, 웹브라우저 및 인터넷 등을 통해 자신의 사용자 프로파일에 액세스할 수 있다. 또한, 일부 예들에서, 사용자는 상이한 사용자와 및/또는 소셜 미디어 사이트를 통해 사용자의 임의의 수의 맥락형 비디오 스트림들을 공유할 수도 있고, 다르게는 이를 공유하도록 호스트 디바이스에 요청할 수 있다. 일부 예들에서, 사용자는 자신의 사용자 프로파일의 일부에 대한 액세스를 허용하여, 다른 사용자들이 그 안에 포함된 맥락형 비디오 스트림들을 볼 수 있게 할 수 있다.
특정 예들이 위에서 특별히 설명되었지만, 본 명세서에 설명된 실시예들 및 방법들은 임의의 적절한 방식으로 사용될 수 있다. 예를 들어, 위에서는 시스템(100)이 스포츠 이벤트에서의 사용자의 맥락형 비디오 스트림을 정의하는 것으로 설명되었지만, 다른 실시예들에서, 본 명세서에서 설명된 방법들은 임의의 적절한 설정, 장소, 경기장, 이벤트 등에서, 예를 들어, 얼굴 인식 및 비디오 분석을 사용하여 개인을 식별하는 데 사용될 수 있다. 예를 들어, 일부 실시예들에서, 위에서 설명된 방법들은 콘서트, 랠리, 졸업식, 파티, 쇼핑몰, 사업장 등에서 맥락형 비디오 스트림을 캡쳐하는 데 사용될 수 있다. 일례에서, 호스트 디바이스는, 예를 들어, 졸업식으로부터 맥락형 비디오 스트림을 수신할 수 있다. 일부 예들에서, 위에서 설명된 바와 같이, 호스트 디바이스는 졸업생(및/또는 임의의 개인 및/또는 사용자)을 식별하기 위해 임의의 적절한 얼굴 인식 및/또는 비디오 분석을 수행할 수 있다. 또한, 호스트 디바이스는 졸업생과 연관된 사용자 프로파일, 단상을 걸어가는 학생들의 순서, 졸업생의 클라이언트 디바이스와 연관된 위치 데이터 및/또는 임의의 다른 적절한 데이터와 같은 맥락형 정보를 분석하도록 구성될 수 있다. 이와 같이, (예를 들어, 데이터가 기준(들)을 충족시킬 때) 호스트 디바이스는 졸업생의 아이덴티티를 검증하기 위해 데이터를 분석할 수 있고, 예를 들어, 졸업생이 졸업장 등을 받으러 단상을 걸어갈 때, 졸업생의 맥락형 비디오 스트림을 정의할 수 있다. 다른 예들에서, 호스트 디바이스는 졸업생의 가족 또는 친구를 식별할 수 있고, 유사한 방식으로 졸업생의 맥락형 비디오 스트림을 정의할 수 있다.
위에서는 실시예들이 특정 디바이스들 및/또는 디바이스의 특정 부분들에서 수행되는 것으로 설명되었지만, 다른 실시예들에서, 본 명세서에 설명된 실시예들 및/또는 방법들 중 임의의 것은 임의의 적절한 디바이스 상에서 수행될 수 있다. 예를 들어, 위에서는 맥락형 비디오 스트림들이 얼굴 인식 및/또는 이미지 분석을 위해 호스트 디바이스(예를 들어, 호스트 디바이스(110))에 전송되는 것으로 설명되었지만, 다른 실시예들에서는, 임의의 적절한 분석이 클라이언트 디바이스 상에서 또는 클라이언트 디바이스에서 수행될 수 있다. 예를 들어, 일부 예들에서, 사용자는 클라이언트 디바이스의 카메라를 통해 비디오 스트림(예를 들어, 맥락형 비디오 스트림)을 캡쳐할 수 있고, 이에 응답하여, 클라이언트 디바이스는 비디오를 분석하여 비디오 스트림에서 임의의 수의 등록된 사용자들 등을 식별할 수 있다. 일부 예들에서, 분석은 컨볼루션 신경망을 통해 (예를 들어, 메모리에 저장되고 시스템 애플리케이션과 연관된) 클라이언트 디바이스에 전송될 수 있고/있거나 이에 저장될 수 있다. 일부 예들에서, 위에서 설명된 바와 같이, 분석은, 예를 들어, 사용자의 연락처 리스트, 친구 리스트, 확립된 커넥션들 등에 기초하여 사전-프로세싱 및/또는 사전-소팅될 수 있다. 일부 예들에서, 위에서 설명된 바와 같이, 클라이언트 디바이스는 사용자-특정 비디오 스트림을 임의의 식별된 사용자에게 전송할 수 있다. 다른 실시예들에서, 클라이언트 디바이스는 분석된 비디오 스트림 및/또는 사용자-특정 비디오 스트림(들)을 호스트 디바이스(110) 및/또는 데이터베이스(140)에 업로드 및/또는 전송할 수 있다.
위에서는 비디오 스트림들 및/또는 이미지 데이터가 "맥락형"인 것으로 설명되었지만, 비디오 스트림 데이터 및/또는 이미지 데이터는 "맥락형 데이터"와 무관하고/하거나 이와 연관되지 않을 수 있다는 점이 이해되어야 한다. 예를 들어, 일부 예들에서, 사용자는 비디오 스트림 및/또는 이미지를 캡쳐할 수 있고, 비디오 스트림 및/또는 이미지 데이터와 연관된 맥락형 데이터를 정의 및/또는 전송하지 않고 프로세싱하기 위해 비디오 스트림 및/또는 이미지를 업로드할 수 있다. 일부 예들에서, 호스트 디바이스 등(예를 들어, 호스트 디바이스(110))은 사용자에 의해 생성된 비디오 스트림 및/또는 이미지 데이터를 수신할 수 있고, 이에 응답하여, 데이터에 대한 하나 이상의 얼굴 인식 프로세스 및/또는 임의의 다른 적절한 분석을 수행하여, 예를 들어, 맥락형 데이터와 무관한 사용자-특정 비디오 스트림 또는 사용자-특정 이미지를 정의할 수 있다.
실시예들이 구체적으로 도시되고 설명되었지만, 형태 및 세부 사항의 다양한 변경들이 이루어질 수 있다는 것이 이해될 것이다. 다양한 실시예들이 특정 피쳐들 및/또는 컴포넌트들의 조합들을 갖는 것으로 설명되었지만, 다른 실시예들은 위에서 논의된 실시예들 중 임의의 것으로부터 임의의 피쳐들 및/또는 컴포넌트들의 조합을 갖는 것이 가능하다.
위에서 설명된 방법들 및/또는 이벤트들이 특정 순서로 발생하는 특정 이벤트들 및/또는 절차들을 나타내는 경우, 특정 이벤트들 및/또는 절차들의 순서는 수정될 수 있다. 또한, 특정 이벤트들 및/또는 절차들은 위에서 설명된 바와 같이 순차적으로 수행될 수 있을 뿐만 아니라, 가능한 경우, 병렬 프로세스에서 동시에 수행될 수도 있다. 특정 얼굴 인식 방법이 특정 실시예들에 따라 위에서 설명되었지만, 일부 예들에서는, 얼굴 인식 방법들 중 임의의 것이 결합, 보강, 강화될 수 있고/있거나, 다르게는 얼굴 인식 데이터의 세트에 대해 집합적으로 수행될 수 있다. 예를 들어, 일부 예들에서, 얼굴 인식 방법은 아이겐벡터들, 아이겐페이스들 및/또는 다른 2-D 분석뿐만 아니라, 예를 들어, 다수의 2-D 이미지들의 3-D 재구성과 같은 임의의 적절한 3-D 분석을 사용하여 얼굴 인식 데이터를 분석하는 단계를 포함할 수 있다. 일부 예들에서, 2-D 분석 방법과 3-D 분석 방법을 사용하면, 예를 들어, 다른 방식으로 3-D 분석 단독으로부터 또는 2-D 분석 단독으로부터 결과를 얻는 경우보다 자원들(예를 들어, 프로세싱 디바이스들)에 대한 부하가 더 적으면서 더 정확한 결과들을 산출할 수 있다. 일부 예들에서, 얼굴 인식은 컨볼루션 신경망들(CNN)을 통해, 및/또는 임의의 적절한 2차원(2-D) 및/또는 3차원(3-D) 얼굴 인식 분석 방법들과 결합된 CNN을 통해 수행될 수 있다. 또한, 예를 들어, 리던던시, 에러 체크, 부하 밸런싱 등을 위해 다수의 분석 방법들의 사용이 사용될 수 있다. 일부 예들에서, 다수의 분석 방법들을 사용하면 시스템이 그 안에 포함된 특정 데이터에 적어도 부분적으로 기초하여 얼굴 인식 데이터 세트를 선택적으로 분석하게 할 수 있다.
본 명세서에서 설명된 일부 실시예들은 컴퓨터에 의해 구현되는 다양한 동작들을 수행하기 위한 명령어들 또는 컴퓨터 코드를 갖는 비일시적 컴퓨터-판독가능 매체(비일시적 프로세서-판독가능 매체로도 지칭될 수 있음)를 갖는 컴퓨터 스토리지 제품에 관한 것이다. 컴퓨터-판독가능 매체(또는 프로세서-판독가능 매체)는 일시적인 전파 신호들 자체(예를 들어, 공간 또는 케이블과 같은 송신 매체를 통해 정보를 운반하는 전파 전자기파)를 포함하지 않는다는 점에서 비일시적이다. 매체 및 컴퓨터 코드(코드라고도 지칭될 수 있음)는 특정 목적이나 목적들을 위해 설계되고 제작된 것들일 수 있다. 비일시적 컴퓨터-판독가능 매체의 예들은 하드 디스크들, 플로피 디스크들 및 자기 테이프와 같은 자기 스토리지 매체; 컴팩트 디스크/디지털 비디오 디스크(CD/DVD)들, 콤팩트 디스크-판독 전용 메모리(CD-ROM)들 및 홀로그래픽 디바이스들과 같은 광학 스토리지 매체; 광 디스크들과 같은 광-자기 스토리지 매체; 반송파 신호 프로세싱 모듈들; 및 주문형 집적 회로(ASIC)들, 프로그래머블 로직 디바이스(PLD)들, 판독-전용 메모리(ROM) 및 랜덤-액세스 메모리(RAM) 디바이스들과 같이 프로그램 코드를 저장 및 실행하도록 특별히 구성되는 하드웨어 디바이스들을 포함하지만, 이에 제한되지 않는다. 본 명세서에서 설명된 다른 실시예들은, 예를 들어, 본 명세서에서 논의된 명령어들 및/또는 컴퓨터 코드를 포함할 수 있는 컴퓨터 프로그램 제품에 관한 것이다.
본 명세서에서 설명된 일부 실시예들 및/또는 방법들은 (하드웨어 상에서 실행되는) 소프트웨어, 하드웨어, 또는 이들의 결합에 의해 수행될 수 있다. 하드웨어 모듈들은, 예를 들어, 범용 프로세서, 필드 프로그래머블 게이트 어레이(FPGA) 및/또는 주문형 집적 회로(ASIC)를 포함할 수 있다. (하드웨어 상에서 실행되는) 소프트웨어 모듈들은 C, C++, Java™, Ruby, Visual Basic™ 및/또는 기타 객체-지향형, 절차적 또는 기타 프로그래밍 언어를 포함한 다양한 소프트웨어 언어들(예를 들어, 컴퓨터 코드) 및 개발 툴들로 표현될 수 있다. 컴퓨터 코드의 예들은 마이크로-코드 또는 마이크로-명령어들, 컴파일러에 의해 생성되는 것과 같은 머신 명령어들, 웹서비스를 생성하는 데 사용되는 코드, 및 인터프리터를 사용하여 컴퓨터에 의해 실행되는 상위-레벨 명령어들을 포함하는 파일들을 포함하지만, 이에 제한되지 않는다. 예를 들어, 실시예들은 명령적 프로그래밍 언어들(예를 들어, C, Fortran 등), 함수 프로그래밍 언어들(Haskell, Erlang 등), 논리 프로그래밍 언어들(예를 들어, Prolog), 객체-지향 프로그래밍 언어들(예를 들어, Java, C++ 등) 또는 다른 적절한 프로그래밍 언어들 및/또는 개발 툴들을 사용하여 구현될 수 있다. 컴퓨터 코드의 추가적인 예들은 제어 신호들, 암호화된 코드 및 압축된 코드를 포함하지만, 이에 제한되지 않는다.
Claims (20)
- 장치로서,
메모리; 및
상기 메모리에 동작 가능하게 연결된 프로세서 - 상기 프로세서는 제1 시간에 사용자 디바이스로부터 위치 데이터를 수신하도록 구성되고, 상기 프로세서는 상기 위치 데이터를 사용자 프로파일 데이터 구조에 저장하도록 구성되고, 상기 사용자 프로파일 데이터 구조는 2차원 얼굴 인식 분석, 3차원 얼굴 인식 분석, 또는 컨볼루션 신경망(convolutional neural nets)(CNN) 중 적어도 하나에 기초하여, 사용자와 연관된 사용자 디바이스의 사용자의 얼굴 인식 데이터를 포함하고, 상기 프로세서는 상기 제1 시간과 상이한 제2 시간에 이미지 캡쳐 디바이스로부터 적어도 하나의 이미지를 수신하도록 구성됨 -
를 포함하고,
상기 프로세서는 상기 수신된 적어도 하나의 이미지 내의 특성들의 세트에 적어도 부분적으로 기초하여 위치를 식별하도록 구성되고, 상기 프로세서는 상기 사용자 프로파일 데이터 구조를 포함하는 복수의 사용자 프로파일 데이터 구조들을 데이터베이스로부터 리트리브하도록 구성되고, 상기 프로세서는, 상기 복수의 사용자 프로파일 데이터 구조들 중 각각의 사용자 프로파일 데이터 구조에 대해, 해당 사용자 프로파일 데이터 구조의 위치 데이터를 상기 위치와 비교하도록 구성되고,
상기 프로세서는, 상기 사용자 프로파일 데이터 구조의 위치 데이터와 상기 위치가 서로의 미리 결정된 거리 내에 있을 때, 2차원 얼굴 인식 분석, 3차원 얼굴 인식 분석 또는 CNN 중 적어도 하나에 기초하여 상기 사용자의 얼굴 인식 데이터에 대해 상기 적어도 하나의 이미지를 분석하여 얼굴 인식 신뢰 스코어를 식별함으로써, 상기 사용자 프로파일 데이터 구조와 연관된 사용자가 상기 적어도 하나의 이미지에서 식별될 수 있는지 여부를 결정하도록 구성되고, 상기 프로세서는 상기 얼굴 인식 신뢰 스코어가 미리 결정된 기준을 충족시키는 것에 기초하여 상기 적어도 하나의 이미지를 상기 사용자 프로파일 데이터 구조와 연관시키도록 구성되는 장치. - 제1항에 있어서, 상기 위치 데이터는 iBeacon 데이터, 글로벌 포지셔닝 서비스(Global Positioning Service)(GPS) 데이터, 좌석 식별자 또는 Wi-Fi 네트워크 식별자 중 적어도 하나인 장치.
- 제1항에 있어서, 상기 사용자는 제1 사용자이고, 제1 이미지 캡쳐 디바이스는 자율 카메라 또는 상기 제1 사용자와 상이한 제2 사용자와 연관된 사용자 클라이언트 디바이스 중 하나인 장치.
- 제1항에 있어서, 상기 프로세서는,
상기 적어도 하나의 이미지에 대해 이미지 프로세싱을 수행하는 것;
상기 이미지 프로세싱에 기초하여 적어도 하나의 장소 랜드마크(venue landmark)를 식별하는 것; 및
상기 장소 랜드마크의 위치를 결정함으로써 상기 위치를 식별하는 것
에 의해, 상기 위치를 식별하도록 구성되는 장치. - 제1항에 있어서, 상기 사용자의 얼굴 인식 데이터는 상기 사용자 프로파일 데이터 구조와 연관된 상기 사용자의 사진에 관한 데이터를 포함하는 장치.
- 제1항에 있어서, 상기 사용자가 상기 적어도 하나의 이미지에서 식별될 수 있으면, 상기 적어도 하나의 이미지는 상기 데이터베이스에 저장되는 장치.
- 방법으로서,
제1 시간에, 사용자 디바이스로부터 사용자 위치 데이터를 수신하는 단계;
상기 사용자 위치 데이터를 데이터베이스 내의 사용자 프로파일 데이터 구조에 저장하는 단계;
상기 제1 시간과 상이한 제2 시간에, 이미지 캡쳐 디바이스로부터 적어도 하나의 이미지를 수신하는 단계;
상기 적어도 하나의 이미지 내의 특성들의 세트에 적어도 부분적으로 기초하여 위치를 식별하는 단계;
상기 데이터베이스에 저장된 복수의 사용자 프로파일 데이터 구조들 중 각각의 사용자 프로파일 데이터 구조의 사용자 위치 데이터를 상기 위치와 비교하는 단계 - 상기 사용자 프로파일 데이터 구조는 상기 복수의 사용자 프로파일 데이터 구조들에 저장됨 -; 및
상기 복수의 사용자 프로파일 데이터 구조들 중 상기 사용자 프로파일 데이터 구조의 사용자 위치 데이터가 상기 위치와 매칭할 때,
상기 적어도 하나의 이미지에 대해 상기 사용자 프로파일 데이터 구조 내의 얼굴 인식 데이터를 분석하는 단계; 및
상기 적어도 하나의 이미지가 상기 얼굴 인식 데이터와 매칭할 때, 상기 사용자 프로파일 데이터 구조와 연관된 것으로서 상기 적어도 하나의 이미지를 저장하는 단계
를 포함하는 방법. - 제7항에 있어서, 상기 사용자 위치 데이터는 iBeacon 데이터, 글로벌 포지셔닝 서비스(GPS) 데이터, 좌석 번호 또는 Wi-Fi 네트워크 식별자 중 적어도 하나인 방법.
- 제7항에 있어서,
상기 얼굴 인식 데이터를 상기 적어도 하나의 이미지와 비교하기 전에, 상기 적어도 하나의 이미지를 사전-프로세싱하여 맥락형 정보를 결정하는 단계
를 추가로 포함하고,
상기 맥락형 정보는 장소 이름, 상기 적어도 하나의 이미지가 캡쳐되었던 시간, 또는 상기 적어도 하나의 이미지가 캡쳐되었을 때 발생했던 동시발생 이벤트 중 적어도 하나를 포함하는 방법. - 제7항에 있어서,
상기 얼굴 인식 데이터와 상기 적어도 하나의 이미지의 비교에 기초하여, 상기 적어도 하나의 이미지에 대한 신뢰 레벨을 계산하는 단계; 및
상기 신뢰 레벨이 미리 결정된 임계치를 초과할 때, 상기 적어도 하나의 이미지가 상기 얼굴 인식 데이터와 매칭하는 것으로 결정하는 단계
를 추가로 포함하는 방법. - 제7항에 있어서, 상기 적어도 하나의 이미지는 상기 적어도 하나의 이미지를 포함하는 비디오 또는 사진 중 하나이며, 상기 방법은,
상기 적어도 하나의 이미지가 비디오인 경우, 상기 비디오를 일련의 이미지들로 분할하여, 상기 얼굴 인식 데이터가 상기 적어도 하나의 이미지와 비교될 때, 상기 얼굴 인식 데이터가 상기 일련의 이미지들 중의 각각의 이미지와 비교되도록 하는 단계
를 추가로 포함하는 방법. - 제7항에 있어서,
상기 적어도 하나의 이미지가 상기 얼굴 인식 데이터와 매칭할 때, 상기 사용자 디바이스에서 상기 적어도 하나의 이미지를 그래픽으로 렌더링하기 위한 신호를 전송하는 단계
를 추가로 포함하는 방법. - 제7항에 있어서, 상기 위치를 식별하는 단계는 상기 적어도 하나의 이미지에 포함된 배경 풍경 또는 배경 랜드마크에 적어도 부분적으로 기초하여 상기 위치를 식별하는 단계를 포함하는 방법.
- 제7항에 있어서, 상기 방법은,
상기 적어도 하나의 이미지가 상기 복수의 사용자 프로파일 데이터 구조들 중 적어도 하나의 사용자 프로파일 데이터 구조의 얼굴 인식 데이터와 매칭하지 않으면, 상기 적어도 하나의 이미지를 폐기하는 단계
를 추가로 포함하는 방법. - 장치로서,
메모리; 및
상기 메모리에 동작 가능하게 연결된 프로세서 - 상기 프로세서는 적어도 하나의 이미지를 획득하도록 구성되고, 상기 프로세서는 상기 적어도 하나의 이미지 내의 특성들의 세트를 식별하도록 구성되고, 상기 프로세서는, 상기 특성들의 세트와 데이터베이스에 저장된 랜드마크 위치 데이터를 비교하는 것에 기초하여, 상기 적어도 하나의 이미지가 캡쳐되었던 위치를 식별하도록 구성됨 -
를 포함하고,
상기 프로세서는 복수의 클라이언트 디바이스들 중 클라이언트 디바이스들의 세트를 선택하도록 구성되고, 상기 클라이언트 디바이스들의 세트 중 각각의 클라이언트 디바이스는 해당 클라이언트 디바이스와 연관된 사용자 위치 데이터가 상기 위치의 미리 결정된 거리 내에 있는 것에 기초하여 선택되고,
상기 프로세서는, 상기 적어도 하나의 이미지 및 상기 클라이언트 디바이스와 연관된 얼굴 인식 데이터의 분석에 기초하여, 상기 클라이언트 디바이스들의 세트 내의 클라이언트 디바이스를 상기 적어도 하나의 이미지와 매칭시키도록 구성되고, 상기 프로세서는 상기 적어도 하나의 이미지가 상기 클라이언트 디바이스에서 렌더링되게 신호를 전송하도록 구성되는 장치. - 제15항에 있어서, 상기 분석은 상기 적어도 하나의 이미지에서 상기 얼굴 인식 데이터와 연관된 사용자를 검출하기 위한 상기 적어도 하나의 이미지의 얼굴 인식 분석인 장치.
- 제15항에 있어서, 상기 특성들의 세트는 장소 랜드마크 또는 배경 풍경 중 적어도 하나를 포함하는 장치.
- 제15항에 있어서,
상기 프로세서는 상기 적어도 하나의 이미지를 저장하고, 상기 적어도 하나의 이미지를 상기 클라이언트 디바이스와 연관된 얼굴 인식 데이터와 연관시키도록 추가로 구성되는 장치. - 제15항에 있어서, 상기 클라이언트 디바이스는, 상기 적어도 하나의 이미지의 신뢰 레벨이 미리 결정된 기준을 충족시킬 때, 상기 적어도 하나의 이미지와 매칭되고, 상기 신뢰 레벨은 상기 적어도 하나의 이미지와 상기 얼굴 인식 데이터의 분석에 기초하여 결정되는 장치.
- 제15항에 있어서, 상기 적어도 하나의 이미지는 상기 적어도 하나의 이미지를 포함하는 비디오 또는 사진 중 적어도 하나인 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562244419P | 2015-10-21 | 2015-10-21 | |
| US62/244,419 | 2015-10-21 | ||
| PCT/US2016/058189 WO2017070519A1 (en) | 2015-10-21 | 2016-10-21 | Methods and apparatus for false positive minimization in facial recognition applications |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180105636A true KR20180105636A (ko) | 2018-09-28 |
Family
ID=58557907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187014387A KR20180105636A (ko) | 2015-10-21 | 2016-10-21 | 얼굴 인식 애플리케이션들에서 긍정 오류를 최소화하기 위한 방법들 및 장치 |
Country Status (11)
| Country | Link |
|---|---|
| US (2) | US10654942B2 (ko) |
| EP (1) | EP3365838A4 (ko) |
| JP (2) | JP6850291B2 (ko) |
| KR (1) | KR20180105636A (ko) |
| CN (1) | CN108369652A (ko) |
| AU (1) | AU2016342028B2 (ko) |
| BR (1) | BR112018007979A2 (ko) |
| CA (1) | CA3040856C (ko) |
| IL (1) | IL258817B (ko) |
| SG (2) | SG10201912947XA (ko) |
| WO (1) | WO2017070519A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020256294A1 (en) * | 2019-06-19 | 2020-12-24 | Samsung Electronics Co., Ltd. | Methods and systems for dynamic and incremental face recognition |
| KR20230138172A (ko) * | 2022-03-23 | 2023-10-05 | 전남대학교산학협력단 | 비대면 소통 플랫폼 맞춤형 영상 합성 방법 |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6504453B2 (ja) * | 2015-07-01 | 2019-04-24 | カシオ計算機株式会社 | 画像送信装置、画像送信方法及びプログラム |
| EP3323083A4 (en) | 2015-07-15 | 2019-04-17 | 15 Seconds Of Fame, Inc. | APPARATUS AND METHODS FOR FACIAL RECOGNITION AND VIDEO ANALYSIS FOR IDENTIFYING INDIVIDUALS IN CONTEXTUAL VIDEO STREAMS |
| CN105095873B (zh) * | 2015-07-31 | 2018-12-18 | 小米科技有限责任公司 | 照片共享方法、装置 |
| SG10201912947XA (en) | 2015-10-21 | 2020-02-27 | 15 Seconds Of Fame Inc | Methods and apparatus for false positive minimization in facial recognition applications |
| CN106096009A (zh) * | 2016-06-23 | 2016-11-09 | 北京小米移动软件有限公司 | 消息生成方法及装置 |
| US10140675B2 (en) * | 2016-11-28 | 2018-11-27 | Google Llc | Image grid with selectively prominent images |
| CN108876944A (zh) | 2017-05-12 | 2018-11-23 | 阿里巴巴集团控股有限公司 | 一种车载支付的方法和装置 |
| WO2019083508A1 (en) * | 2017-10-24 | 2019-05-02 | Hewlett-Packard Development Company, L.P. | FACIAL RECOGNITION BASED ON CONTEXTUAL INFORMATION |
| KR102433393B1 (ko) * | 2017-12-12 | 2022-08-17 | 한국전자통신연구원 | 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법 |
| JP6975666B2 (ja) * | 2018-03-20 | 2021-12-01 | 株式会社日立ソリューションズ・クリエイト | 人物特定システム及び人物特定方法 |
| US10311459B1 (en) * | 2018-04-04 | 2019-06-04 | Capital One Services, Llc | User recognition based user experience platform |
| US10936856B2 (en) * | 2018-08-31 | 2021-03-02 | 15 Seconds of Fame, Inc. | Methods and apparatus for reducing false positives in facial recognition |
| US10810403B2 (en) * | 2018-10-30 | 2020-10-20 | AMI Holdings Limited | Apparatus and method for coordinating the matching and initial communications between individuals in a dating application |
| US11012387B2 (en) | 2018-10-30 | 2021-05-18 | AMI Holdings Limited | Apparatus and method for matching individuals during an ephemeral time period based upon voting and matching criteria |
| CN111428516B (zh) * | 2018-11-19 | 2022-08-19 | 腾讯科技（深圳）有限公司 | 一种信息处理的方法以及装置 |
| US11010596B2 (en) * | 2019-03-07 | 2021-05-18 | 15 Seconds of Fame, Inc. | Apparatus and methods for facial recognition systems to identify proximity-based connections |
| US11335060B2 (en) * | 2019-04-04 | 2022-05-17 | Snap Inc. | Location based augmented-reality system |
| WO2020211923A1 (en) * | 2019-04-15 | 2020-10-22 | Telefonaktiebolaget Lm Ericsson (Publ) | Mobile communications device and application server |
| CN110276777B (zh) * | 2019-06-26 | 2022-03-22 | 山东浪潮科学研究院有限公司 | 一种基于深度图学习的图像分割方法及装置 |
| US11283937B1 (en) * | 2019-08-15 | 2022-03-22 | Ikorongo Technology, LLC | Sharing images based on face matching in a network |
| WO2021084519A1 (en) * | 2019-11-01 | 2021-05-06 | Aerial Technologies Inc. | System for multi-path 5g and wi-fi motion detection |
| JP7092104B2 (ja) * | 2019-11-07 | 2022-06-28 | 日本電気株式会社 | 認証装置、認証システム、認証方法及びコンピュータプログラム |
| US11341351B2 (en) | 2020-01-03 | 2022-05-24 | 15 Seconds of Fame, Inc. | Methods and apparatus for facial recognition on a user device |
| EP3855348A1 (en) * | 2020-01-27 | 2021-07-28 | Microsoft Technology Licensing, LLC | Error management |
| US20210256174A1 (en) * | 2020-02-13 | 2021-08-19 | Best Apps, Llc | Computer aided systems and methods for creating custom products |
| US11907521B2 (en) * | 2021-01-28 | 2024-02-20 | Samsung Electronics Co., Ltd. | Augmented reality calling interface |
Family Cites Families (180)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5144685A (en) * | 1989-03-31 | 1992-09-01 | Honeywell Inc. | Landmark recognition for autonomous mobile robots |
| US5694546A (en) | 1994-05-31 | 1997-12-02 | Reisman; Richard R. | System for automatic unattended electronic information transport between a server and a client by a vendor provided transport software with a manifest list |
| US6532345B1 (en) | 1994-08-02 | 2003-03-11 | L. N. C. J. Limited | Imaging system and method |
| WO1998010358A1 (en) | 1996-09-04 | 1998-03-12 | Goldberg David A | Method and system for obtaining person-specific images in a public venue |
| US6819783B2 (en) | 1996-09-04 | 2004-11-16 | Centerframe, Llc | Obtaining person-specific images in a public venue |
| US20030118216A1 (en) | 1996-09-04 | 2003-06-26 | Goldberg David A. | Obtaining person-specific images in a public venue |
| US6142876A (en) | 1997-08-22 | 2000-11-07 | Cumbers; Blake | Player tracking and identification system |
| US7330875B1 (en) | 1999-06-15 | 2008-02-12 | Microsoft Corporation | System and method for recording a presentation for on-demand viewing over a computer network |
| JP3955170B2 (ja) | 2000-07-03 | 2007-08-08 | 富士フイルム株式会社 | 画像検索システム |
| JP3992909B2 (ja) | 2000-07-03 | 2007-10-17 | 富士フイルム株式会社 | 本人画像提供システム |
| US6745186B1 (en) | 2000-08-17 | 2004-06-01 | Eastman Kodak Company | Product and method for organizing and searching digital images |
| WO2002019137A1 (en) | 2000-08-29 | 2002-03-07 | Imageid Ltd. | Indexing, storage & retrieval of digital images |
| US7376276B2 (en) | 2000-08-29 | 2008-05-20 | Imageid Ltd | Indexing, storage and retrieval of digital images |
| US6591068B1 (en) | 2000-10-16 | 2003-07-08 | Disney Enterprises, Inc | Method and apparatus for automatic image capture |
| US7321387B2 (en) | 2001-07-30 | 2008-01-22 | Eastman Kodak Company | System and method for offering imaging services of a customer and participants at a live entertainment event |
| GB2380556A (en) | 2001-10-05 | 2003-04-09 | Hewlett Packard Co | Camera with vocal control and recording |
| US8321231B2 (en) | 2001-11-07 | 2012-11-27 | Toshiba Global Commerce Solutions Holding Corporation | Method and apparatus for providing customized souvenir images |
| JP2003317100A (ja) | 2002-02-22 | 2003-11-07 | Matsushita Electric Ind Co Ltd | 情報端末装置、認証システム、及び登録・認証方法 |
| GB2386276B (en) | 2002-03-09 | 2004-09-08 | Rx Technology Europ Ltd | Image capture and retrieval apparatus |
| US7494061B2 (en) | 2006-06-30 | 2009-02-24 | Evercom Systems, Inc. | Systems and methods for identity verification using continuous biometric monitoring |
| US7620218B2 (en) | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
| US7636365B2 (en) | 2004-05-13 | 2009-12-22 | Korea Advanced Institute Of Science And Technology (Kaist) | Smart digital modules and smart digital wall surfaces combining the same, and context aware interactive multimedia system using the same and operation method thereof |
| JP4789511B2 (ja) | 2004-06-04 | 2011-10-12 | キヤノン株式会社 | 状況モニタリング装置及び状況モニタリングシステム |
| US8832138B2 (en) | 2004-06-17 | 2014-09-09 | Nokia Corporation | System and method for social network search operations |
| US7532811B2 (en) | 2004-07-13 | 2009-05-12 | David Andrew Sauder | System and method for capturing, associating and distributing photographic images |
| WO2006022977A2 (en) | 2004-07-23 | 2006-03-02 | Digimarc Corporation | Facial database methods and systems |
| US7848566B2 (en) | 2004-10-22 | 2010-12-07 | Carnegie Mellon University | Object recognizer and detector for two-dimensional images using bayesian network based classifier |
| US7840980B2 (en) | 2004-11-04 | 2010-11-23 | Koninklijke Philips Electronics N.V. | Incorporation of lead actor information for TV recommenders |
| US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| US20060171603A1 (en) | 2005-01-31 | 2006-08-03 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Resampling of transformed shared image techniques |
| WO2006091869A2 (en) | 2005-02-25 | 2006-08-31 | Youfinder Intellectual Property Licensing Limited Liability Company | Automated indexing for distributing event photography |
| US7023367B1 (en) | 2005-03-10 | 2006-04-04 | National Semiconductor Corporation | Current steering digital to analog converter with improved dynamic linearity |
| US7765231B2 (en) | 2005-04-08 | 2010-07-27 | Rathus Spencer A | System and method for accessing electronic data via an image search engine |
| US20060229063A1 (en) | 2005-04-12 | 2006-10-12 | Microsoft Corporation | Systems and methods automatically updating contact information |
| US8260674B2 (en) | 2007-03-27 | 2012-09-04 | David Clifford R | Interactive image activation and distribution system and associate methods |
| US7966223B2 (en) | 2005-04-15 | 2011-06-21 | David Clifford R | Interactive image activation and distribution system and associated methods |
| EP1875402A2 (en) | 2005-04-15 | 2008-01-09 | Clifford R. David | Interactive image activation and distribution system and associated methods |
| WO2007011709A2 (en) | 2005-07-18 | 2007-01-25 | Youfinder Intellectual Property Licensing Limited Liability Company | Manually-assisted automated indexing of images using facial recognition |
| JP2007052646A (ja) | 2005-08-18 | 2007-03-01 | Fujifilm Holdings Corp | 画像検索装置、画像プリント装置、プリント注文システム、店頭プリント端末装置、撮像装置、画像検索プログラム及び方法 |
| US7945653B2 (en) | 2006-10-11 | 2011-05-17 | Facebook, Inc. | Tagging digital media |
| US7907755B1 (en) | 2006-05-10 | 2011-03-15 | Aol Inc. | Detecting facial similarity based on human perception of facial similarity |
| US7783085B2 (en) | 2006-05-10 | 2010-08-24 | Aol Inc. | Using relevance feedback in face recognition |
| US7403643B2 (en) | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| US7684651B2 (en) | 2006-08-23 | 2010-03-23 | Microsoft Corporation | Image-based face search |
| US8315463B2 (en) | 2006-11-14 | 2012-11-20 | Eastman Kodak Company | User interface for face recognition |
| US20080260212A1 (en) | 2007-01-12 | 2008-10-23 | Moskal Michael D | System for indicating deceit and verity |
| US20080201327A1 (en) | 2007-02-20 | 2008-08-21 | Ashoke Seth | Identity match process |
| WO2008109172A1 (en) | 2007-03-07 | 2008-09-12 | Wiklof Christopher A | Recorder with retrospective capture |
| US9075808B2 (en) | 2007-03-29 | 2015-07-07 | Sony Corporation | Digital photograph content information service |
| JP2008250830A (ja) * | 2007-03-30 | 2008-10-16 | Toshiba Corp | 出欠確認システムおよび出欠確認方法 |
| US8189880B2 (en) | 2007-05-29 | 2012-05-29 | Microsoft Corporation | Interactive photo annotation based on face clustering |
| US8014572B2 (en) | 2007-06-08 | 2011-09-06 | Microsoft Corporation | Face annotation framework with partial clustering and interactive labeling |
| KR101378372B1 (ko) | 2007-07-12 | 2014-03-27 | 삼성전자주식회사 | 디지털 이미지 처리장치, 그 제어방법 및 제어방법을실행시키기 위한 프로그램을 저장한 기록매체 |
| US8144944B2 (en) | 2007-08-14 | 2012-03-27 | Olympus Corporation | Image sharing system and method |
| US20090074258A1 (en) | 2007-09-19 | 2009-03-19 | James Cotgreave | Systems and methods for facial recognition |
| KR101382499B1 (ko) | 2007-10-22 | 2014-04-21 | 삼성전자주식회사 | 영상 태깅 방법 및 이를 사용하는 영상 재생 장치. |
| US7391886B1 (en) | 2008-01-09 | 2008-06-24 | International Business Machines Corporation | Digital camera with image tracking system |
| KR101432177B1 (ko) | 2008-01-21 | 2014-08-22 | 삼성전자주식회사 | 휴대용 장치 및 그 사진처리방법, 이를 포함하는사진처리시스템 |
| US8180112B2 (en) | 2008-01-21 | 2012-05-15 | Eastman Kodak Company | Enabling persistent recognition of individuals in images |
| US7953690B2 (en) | 2008-01-25 | 2011-05-31 | Eastman Kodak Company | Discovering social relationships from personal photo collections |
| CA2716335A1 (en) | 2008-02-22 | 2009-08-27 | Stephen C. Bono | Systems and methods for secure workgroup management and communication |
| WO2009116049A2 (en) | 2008-03-20 | 2009-09-24 | Vizi Labs | Relationship mapping employing multi-dimensional context including facial recognition |
| JP2011516966A (ja) | 2008-04-02 | 2011-05-26 | グーグル インコーポレイテッド | デジタル画像集合内に自動顔認識を組み込む方法および装置 |
| US8406531B2 (en) * | 2008-05-15 | 2013-03-26 | Yahoo! Inc. | Data access based on content of image recorded by a mobile device |
| US8284990B2 (en) | 2008-05-21 | 2012-10-09 | Honeywell International Inc. | Social network construction based on data association |
| US20100036875A1 (en) | 2008-08-07 | 2010-02-11 | Honeywell International Inc. | system for automatic social network construction from image data |
| US9646025B2 (en) * | 2008-05-27 | 2017-05-09 | Qualcomm Incorporated | Method and apparatus for aggregating and presenting data associated with geographic locations |
| US20090316961A1 (en) | 2008-06-21 | 2009-12-24 | Microsoft Corporation | Method for tagging image content |
| JP2010009389A (ja) * | 2008-06-27 | 2010-01-14 | Toshiba Corp | 辞書情報登録装置、辞書情報登録方法、顔認証装置および入退場管理システム |
| JP5049899B2 (ja) | 2008-06-30 | 2012-10-17 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| WO2010006367A1 (en) | 2008-07-16 | 2010-01-21 | Imprezzeo Pty Ltd | Facial image recognition and retrieval |
| US8204437B1 (en) | 2008-08-08 | 2012-06-19 | Srr Patent Holdings, Llc | Wireless image distribution system and method |
| JP5436559B2 (ja) * | 2008-09-02 | 2014-03-05 | エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ（エーペーエフエル） | ポータブル・デバイス上での画像アノテーション |
| US8457366B2 (en) | 2008-12-12 | 2013-06-04 | At&T Intellectual Property I, L.P. | System and method for matching faces |
| US8442922B2 (en) | 2008-12-24 | 2013-05-14 | Strands, Inc. | Sporting event image capture, processing and publication |
| US9495583B2 (en) | 2009-01-05 | 2016-11-15 | Apple Inc. | Organizing images by correlating faces |
| US8254699B1 (en) | 2009-02-02 | 2012-08-28 | Google Inc. | Automatic large scale video object recognition |
| US8782709B2 (en) | 2009-02-19 | 2014-07-15 | Hulu, LLC | Method and apparatus for providing a program guide having search parameter aware thumbnails |
| US8289130B2 (en) | 2009-02-19 | 2012-10-16 | Apple Inc. | Systems and methods for identifying unauthorized users of an electronic device |
| US20100216441A1 (en) | 2009-02-25 | 2010-08-26 | Bo Larsson | Method for photo tagging based on broadcast assisted face identification |
| US8886206B2 (en) | 2009-05-01 | 2014-11-11 | Digimarc Corporation | Methods and systems for content processing |
| US8392957B2 (en) | 2009-05-01 | 2013-03-05 | T-Mobile Usa, Inc. | Automatic content tagging, such as tagging digital images via a wireless cellular network using metadata and facial recognition |
| US8325999B2 (en) | 2009-06-08 | 2012-12-04 | Microsoft Corporation | Assisted face recognition tagging |
| US20110013810A1 (en) | 2009-07-17 | 2011-01-20 | Engstroem Jimmy | System and method for automatic tagging of a digital image |
| US20110022529A1 (en) | 2009-07-22 | 2011-01-27 | Fernando Barsoba | Social network creation using image recognition |
| US8670597B2 (en) | 2009-08-07 | 2014-03-11 | Google Inc. | Facial recognition with social network aiding |
| US8510383B2 (en) | 2009-09-14 | 2013-08-13 | Clixtr, Inc. | Method for providing event based media streams |
| US20110066431A1 (en) | 2009-09-15 | 2011-03-17 | Mediatek Inc. | Hand-held input apparatus and input method for inputting data to a remote receiving device |
| US8438484B2 (en) * | 2009-11-06 | 2013-05-07 | Sony Corporation | Video preview module to enhance online video experience |
| US8386620B2 (en) | 2009-12-15 | 2013-02-26 | Apple Inc. | Ad hoc networking based on content and location |
| US8416997B2 (en) | 2010-01-27 | 2013-04-09 | Apple Inc. | Method of person identification using social connections |
| US20110188742A1 (en) | 2010-02-02 | 2011-08-04 | Jie Yu | Recommending user image to social network groups |
| US9465993B2 (en) | 2010-03-01 | 2016-10-11 | Microsoft Technology Licensing, Llc | Ranking clusters based on facial image analysis |
| US20110211737A1 (en) | 2010-03-01 | 2011-09-01 | Microsoft Corporation | Event Matching in Social Networks |
| US8957981B2 (en) | 2010-03-03 | 2015-02-17 | Intellectual Ventures Fund 83 Llc | Imaging device for capturing self-portrait images |
| US20110238755A1 (en) | 2010-03-24 | 2011-09-29 | Hameed Khan | Proximity-based social networking |
| US20110257985A1 (en) * | 2010-04-14 | 2011-10-20 | Boris Goldstein | Method and System for Facial Recognition Applications including Avatar Support |
| JP5810452B2 (ja) | 2010-05-16 | 2015-11-11 | アクセス ビジネス グループ インターナショナル リミテッド ライアビリティ カンパニー | インパクト分析や影響追跡を含むマルチメディアのためのデータ収集、追跡及び分析手法 |
| US20110307399A1 (en) | 2010-06-09 | 2011-12-15 | Brian Holmes | Live Event Social Networking System |
| JP5545084B2 (ja) | 2010-07-08 | 2014-07-09 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US8270684B2 (en) | 2010-07-27 | 2012-09-18 | Google Inc. | Automatic media sharing via shutter click |
| US9202091B2 (en) | 2010-09-02 | 2015-12-01 | Intelleflex Corporation | RFID reader with camera, video, and/or audio capture device |
| US8824748B2 (en) * | 2010-09-24 | 2014-09-02 | Facebook, Inc. | Auto tagging in geo-social networking system |
| US8928760B2 (en) | 2010-12-07 | 2015-01-06 | Verizon Patent And Licensing Inc. | Receiving content and approving content for transmission |
| US8341145B2 (en) | 2010-12-20 | 2012-12-25 | Microsoft Corporation | Face recognition using social data |
| EP2676222B1 (en) | 2011-02-18 | 2018-09-19 | Google LLC | Facial recognition |
| CA2829597C (en) | 2011-03-07 | 2015-05-26 | Kba2, Inc. | Systems and methods for analytic data gathering from image providers at an event or geographic location |
| US9317530B2 (en) | 2011-03-29 | 2016-04-19 | Facebook, Inc. | Face recognition based on spatial and temporal proximity |
| US20120265758A1 (en) | 2011-04-14 | 2012-10-18 | Edward Han | System and method for gathering, filtering, and displaying content captured at an event |
| US8918463B2 (en) | 2011-04-29 | 2014-12-23 | Facebook, Inc. | Automated event tagging |
| US8631084B2 (en) | 2011-04-29 | 2014-01-14 | Facebook, Inc. | Dynamic tagging recommendation |
| US8971924B2 (en) | 2011-05-23 | 2015-03-03 | Apple Inc. | Identifying and locating users on a mobile network |
| US8891832B2 (en) * | 2011-06-03 | 2014-11-18 | Facebook, Inc. | Computer-vision-assisted location check-in |
| US9082235B2 (en) | 2011-07-12 | 2015-07-14 | Microsoft Technology Licensing, Llc | Using facial data for device authentication or subject identification |
| US10089327B2 (en) | 2011-08-18 | 2018-10-02 | Qualcomm Incorporated | Smart camera for sharing pictures automatically |
| US8885960B2 (en) | 2011-10-05 | 2014-11-11 | Microsoft Corporation | Linking photographs via face, time, and location |
| US9131147B2 (en) | 2011-10-07 | 2015-09-08 | Fuji Xerox Co., Ltd. | System and method for detecting and acting on multiple people crowding a small display for information sharing |
| US9143601B2 (en) | 2011-11-09 | 2015-09-22 | Microsoft Technology Licensing, Llc | Event-based media grouping, playback, and sharing |
| US9087273B2 (en) | 2011-11-15 | 2015-07-21 | Facebook, Inc. | Facial recognition using social networking information |
| US9280708B2 (en) | 2011-11-30 | 2016-03-08 | Nokia Technologies Oy | Method and apparatus for providing collaborative recognition using media segments |
| US8723962B2 (en) | 2011-12-13 | 2014-05-13 | International Business Machines Corporation | Camera based information exchange mechanism |
| EP2834774A4 (en) | 2012-04-01 | 2016-06-08 | Intel Corp | ANALYSIS OF HUMAN COMMUNICATIONS IN GESTURE |
| US9407860B2 (en) | 2012-04-06 | 2016-08-02 | Melvin Lee Barnes, JR. | System, method and computer program product for processing image data |
| US9137246B2 (en) | 2012-04-09 | 2015-09-15 | Brivas Llc | Systems, methods and apparatus for multivariate authentication |
| US9179021B2 (en) | 2012-04-25 | 2015-11-03 | Microsoft Technology Licensing, Llc | Proximity and connection based photo sharing |
| US20140342330A1 (en) | 2013-05-17 | 2014-11-20 | Gary A. Freeman | Cameras for Emergency Rescue |
| US8849041B2 (en) | 2012-06-04 | 2014-09-30 | Comcast Cable Communications, Llc | Data recognition in content |
| US8710751B2 (en) | 2012-07-26 | 2014-04-29 | Polestar Electric Industries Co., Ltd. | LED string with a capability to maintain a current path and LED unit thereof |
| US9204247B2 (en) | 2012-08-13 | 2015-12-01 | Google Inc. | Proximity-based notifications for photos |
| US8560625B1 (en) | 2012-09-01 | 2013-10-15 | Google Inc. | Facilitating photo sharing |
| US9141848B2 (en) | 2012-09-04 | 2015-09-22 | Intel Corporation | Automatic media distribution |
| AU2012101375A4 (en) | 2012-09-06 | 2012-10-18 | Oracle Recording's | FutureNetID |
| US10027727B1 (en) | 2012-11-21 | 2018-07-17 | Ozog Media, LLC | Facial recognition device, apparatus, and method |
| US10019136B1 (en) | 2012-11-21 | 2018-07-10 | Ozog Media, LLC | Image sharing device, apparatus, and method |
| US10027726B1 (en) | 2012-11-21 | 2018-07-17 | Ozog Media, LLC | Device, apparatus, and method for facial recognition |
| US20150347827A1 (en) | 2012-12-19 | 2015-12-03 | Fanpics, Llc | Image capture, processing and delivery at group events |
| US9712800B2 (en) | 2012-12-20 | 2017-07-18 | Google Inc. | Automatic identification of a notable moment |
| US9411831B2 (en) | 2013-03-01 | 2016-08-09 | Facebook, Inc. | Photo clustering into moments |
| US20140267618A1 (en) | 2013-03-15 | 2014-09-18 | Google Inc. | Capturing and Refocusing Imagery |
| US20140350840A1 (en) | 2013-05-23 | 2014-11-27 | Cellco Partnership D/B/A Verizon Wireless | Crowd proximity device |
| WO2014194488A1 (en) | 2013-06-05 | 2014-12-11 | Intel Corporation | Karaoke avatar animation based on facial motion data |
| JP2015015570A (ja) * | 2013-07-04 | 2015-01-22 | 株式会社ニコン | 画像管理システム、画像管理装置および画像管理プログラム |
| US9104907B2 (en) | 2013-07-17 | 2015-08-11 | Emotient, Inc. | Head-pose invariant recognition of facial expressions |
| US20160205358A1 (en) | 2013-08-29 | 2016-07-14 | Fanpics, Llc | Imaging attendees at event venues |
| US20150062334A1 (en) | 2013-08-29 | 2015-03-05 | FanPix, LLC | Systems and Methods for Image Capture and Distribution in Venues |
| US20150066920A1 (en) | 2013-09-04 | 2015-03-05 | Google Inc. | Media clip sharing on social networks |
| US9807161B2 (en) | 2013-09-16 | 2017-10-31 | Axis Ab | Distributed events in an access control system |
| JP5935777B2 (ja) | 2013-09-17 | 2016-06-15 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
| US10460151B2 (en) | 2013-09-17 | 2019-10-29 | Cloudspotter Technologies, Inc. | Private photo sharing system, method and network |
| US9569656B2 (en) | 2013-12-06 | 2017-02-14 | Google Inc. | Local real-time facial recognition |
| US9773162B2 (en) | 2013-12-12 | 2017-09-26 | Evernote Corporation | User discovery via digital ID and face recognition |
| US20150172787A1 (en) | 2013-12-13 | 2015-06-18 | Amazon Technologies, Inc. | Customized movie trailers |
| US9007420B1 (en) | 2014-01-10 | 2015-04-14 | Securus Technologies, Inc. | Verifying presence of authorized persons during an electronic visitation |
| US10121060B2 (en) * | 2014-02-13 | 2018-11-06 | Oath Inc. | Automatic group formation and group detection through media recognition |
| US9189682B2 (en) | 2014-02-13 | 2015-11-17 | Apple Inc. | Systems and methods for sending digital images |
| US20150227780A1 (en) | 2014-02-13 | 2015-08-13 | FacialNetwork, Inc. | Method and apparatus for determining identity and programing based on image features |
| US9858601B2 (en) * | 2014-03-05 | 2018-01-02 | Ricoh Co., Ltd. | Grouping users based on user profiles |
| US9852364B2 (en) | 2014-03-19 | 2017-12-26 | Hulu, LLC | Face track recognition with multi-sample multi-view weighting |
| US20150304436A1 (en) | 2014-04-16 | 2015-10-22 | Facebook, Inc. | Nearby Friend Notifications on Online Social Networks |
| US9396354B1 (en) | 2014-05-28 | 2016-07-19 | Snapchat, Inc. | Apparatus and method for automated privacy protection in distributed images |
| US9420315B2 (en) | 2014-06-17 | 2016-08-16 | Bruce Melanson | Systems and methods for sharing video data via social media |
| US9531998B1 (en) | 2015-07-02 | 2016-12-27 | Krush Technologies, Llc | Facial gesture recognition and video analysis tool |
| US20160026870A1 (en) | 2014-07-23 | 2016-01-28 | Orcam Technologies Ltd. | Wearable apparatus and method for selectively processing image data |
| US10264175B2 (en) | 2014-09-09 | 2019-04-16 | ProSports Technologies, LLC | Facial recognition for event venue cameras |
| US20160071101A1 (en) | 2014-09-09 | 2016-03-10 | Tyson York Winarski | Selfie financial security transaction system |
| US9516472B2 (en) | 2014-10-10 | 2016-12-06 | Verizon Patent And Licensing Inc. | Method and system for evaluating a user response to a presence based action |
| US20160150124A1 (en) | 2014-11-24 | 2016-05-26 | Kyocera Document Solutions Inc. | Image Forming Apparatus with User Identification Capabilities |
| US20160182816A1 (en) | 2014-12-23 | 2016-06-23 | Ebay Enterprise, Inc. | Preventing photographs of unintended subjects |
| US20160191434A1 (en) | 2014-12-24 | 2016-06-30 | Blue Yonder Labs Llc | System and method for improved capture, storage, search, selection and delivery of images across a communications network |
| EP3323083A4 (en) | 2015-07-15 | 2019-04-17 | 15 Seconds Of Fame, Inc. | APPARATUS AND METHODS FOR FACIAL RECOGNITION AND VIDEO ANALYSIS FOR IDENTIFYING INDIVIDUALS IN CONTEXTUAL VIDEO STREAMS |
| SG10201912947XA (en) | 2015-10-21 | 2020-02-27 | 15 Seconds Of Fame Inc | Methods and apparatus for false positive minimization in facial recognition applications |
| US9668002B1 (en) | 2015-11-19 | 2017-05-30 | Amazon Technologies, Inc. | Identification of live streaming content |
| US10679058B2 (en) | 2016-01-06 | 2020-06-09 | Orcam Technologies Ltd. | Wearable apparatus and methods for processing images to identify contextual situations |
| KR102233175B1 (ko) | 2017-01-05 | 2021-03-29 | 한국전자통신연구원 | 특징배우 결정 및 특징배우 출연확률 기반 영상 식별 방법 및 장치 |
| US10572767B2 (en) | 2017-04-12 | 2020-02-25 | Netflix, Inc. | Scene and shot detection and characterization |
| US10885396B2 (en) | 2017-05-24 | 2021-01-05 | Amazon Technologies, Inc. | Generating composite images using audio/video recording and communication devices |
| US10664688B2 (en) | 2017-09-20 | 2020-05-26 | Google Llc | Systems and methods of detecting and responding to a visitor to a smart home environment |
| KR102433393B1 (ko) | 2017-12-12 | 2022-08-17 | 한국전자통신연구원 | 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법 |
| US10778412B2 (en) | 2017-12-28 | 2020-09-15 | Intel Corporation | Multi-domain convolutional neural network |
| US20190034716A1 (en) | 2017-12-28 | 2019-01-31 | Intel Corporation | Privacy-preserving demographics identification |
-
2016
- 2016-10-21 SG SG10201912947XA patent/SG10201912947XA/en unknown
- 2016-10-21 BR BR112018007979A patent/BR112018007979A2/pt not_active Application Discontinuation
- 2016-10-21 CA CA3040856A patent/CA3040856C/en active Active
- 2016-10-21 SG SG11201803263WA patent/SG11201803263WA/en unknown
- 2016-10-21 EP EP16794804.1A patent/EP3365838A4/en active Pending
- 2016-10-21 JP JP2018520402A patent/JP6850291B2/ja active Active
- 2016-10-21 WO PCT/US2016/058189 patent/WO2017070519A1/en active Application Filing
- 2016-10-21 KR KR1020187014387A patent/KR20180105636A/ko not_active Application Discontinuation
- 2016-10-21 CN CN201680074728.6A patent/CN108369652A/zh active Pending
- 2016-10-21 AU AU2016342028A patent/AU2016342028B2/en active Active
- 2016-10-21 US US15/299,934 patent/US10654942B2/en active Active
-
2018
- 2018-04-20 IL IL258817A patent/IL258817B/en unknown
-
2020
- 2020-05-04 US US16/865,878 patent/US11286310B2/en active Active
-
2021
- 2021-03-05 JP JP2021035004A patent/JP7091504B2/ja active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020256294A1 (en) * | 2019-06-19 | 2020-12-24 | Samsung Electronics Co., Ltd. | Methods and systems for dynamic and incremental face recognition |
| US11423694B2 (en) | 2019-06-19 | 2022-08-23 | Samsung Electronics Company, Ltd. | Methods and systems for dynamic and incremental face recognition |
| KR20230138172A (ko) * | 2022-03-23 | 2023-10-05 | 전남대학교산학협력단 | 비대면 소통 플랫폼 맞춤형 영상 합성 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017070519A1 (en) | 2017-04-27 |
| JP6850291B2 (ja) | 2021-03-31 |
| US10654942B2 (en) | 2020-05-19 |
| EP3365838A1 (en) | 2018-08-29 |
| SG10201912947XA (en) | 2020-02-27 |
| US20200262931A1 (en) | 2020-08-20 |
| SG11201803263WA (en) | 2018-05-30 |
| JP7091504B2 (ja) | 2022-06-27 |
| BR112018007979A2 (pt) | 2019-11-12 |
| JP2021099852A (ja) | 2021-07-01 |
| IL258817A (en) | 2018-06-28 |
| AU2016342028B2 (en) | 2020-08-20 |
| JP2018536929A (ja) | 2018-12-13 |
| AU2016342028A1 (en) | 2018-06-07 |
| US20170116466A1 (en) | 2017-04-27 |
| CN108369652A (zh) | 2018-08-03 |
| CA3040856C (en) | 2024-01-02 |
| US11286310B2 (en) | 2022-03-29 |
| CA3040856A1 (en) | 2017-04-27 |
| EP3365838A4 (en) | 2019-08-28 |
| IL258817B (en) | 2021-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11286310B2 (en) | Methods and apparatus for false positive minimization in facial recognition applications | |
| US10900772B2 (en) | Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams | |
| JP7224442B2 (ja) | 顔認識において偽陽性を低減するための方法および装置 | |
| US11010596B2 (en) | Apparatus and methods for facial recognition systems to identify proximity-based connections | |
| US11341351B2 (en) | Methods and apparatus for facial recognition on a user device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |