KR20220108153A

KR20220108153A - 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들

Info

Publication number: KR20220108153A
Application number: KR1020227023062A
Authority: KR
Inventors: 산드로 푀즈; 토마스 디셀라어스
Original assignee: 구글 엘엘씨
Priority date: 2020-01-06
Filing date: 2020-01-06
Publication date: 2022-08-02
Also published as: JP7448664B2; CN114930324A; EP4055504A1; US11995119B2; JP2022553453A; WO2021141568A1; US20210209248A1

Abstract

본 문서는 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들을 가능하게 하는 기법들 및 시스템들을 설명한다. 사용자의 얼굴의 이미지들의 세트가 획득되고 머신 러닝 모델(122)이 이미지들의 세트에 적용되어 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트(124)를 생성한다. 미디어 스토리지(116, 136)에 저장된 미디어 콘텐츠가 미디어 콘텐츠에 머신 러닝 모델(122)을 적용함으로써 인덱싱되어, 미디어 콘텐츠에 나타낸 하나 이상의 얼굴을 식별하는 인덱싱된 미디어 정보(118)를 제공한다. 사용자를 묘사하는 이미지들 또는 비디오들에 대해 미디어 콘텐츠에 쿼리하는 다른 사용자에 의한 인덱싱된 미디어 정보(118)에의 액세스가, 사용자에 의해 다른 사용자와 공유되는 디지털 키(112)에 기초하여 제어되고, 여기서 디지털 키(112)는 사용자 특정 데이터세트(124)와 연관되고, 사용자 특정 데이터세트(124)는 사용자를 묘사하는 이미지들 또는 비디오들을 식별하기 위해 사용가능하다.

Description

미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들

딥 러닝 모델(deep-learning model)들은 주어진 사용자의 얼굴에 대한 다수의 입력 이미지들과 같은 상이한 타입들의 입력들에 대한 임베딩(embedding)들을 생성할 수 있다. 임베딩은, 이미지를 표현하는 n차원 벡터이고, 사람의 다수의 이미지들에 기초하여 상기 사람의 시각적 외관을 표현하기 위해 머신 러닝 기법들에 의해 사용될 수 있다. 임베딩들은 미디어 콘텐츠, 예컨대 이미지들, 비디오들, 또는 오디오 콘텐츠에서 사람을 식별하는 데 사용가능한 모델을 생성하기 위해 여러 상이한 애플리케이션들에서 사용될 수 있다. 애플리케이션에 따라, 임베딩들은, 예를 들어, 사용자의 얼굴, 사용자의 몸, 사용자의 지문, 또는 심지어 사용자의 음성을 캡처하는 데 사용될 수 있다. 이들 임베딩들은 강력한 툴이지만, 이들은 사용자의 민감한 데이터를 식별할 수 있다.

본 문서는 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어(privacy control)들을 가능하게 하는 기법들 및 시스템들을 설명한다. 본 명세서에서 설명되는 기법들은, 사용자가, 사용자들의 제한된 화이트리스팅된 세트에의 사용자의 얼굴의 임베딩에 기초하여 검색 및 인덱싱 피처들에의 액세스를 제공하게 하고 이에 후속하여 이들 사용자들 중 하나 이상으로부터의 액세스를 취소하게 한다.

기법들 및 시스템들은, 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위해 프라이버시를 제어하는 방법을 포함한다. 이 방법은, 제1 사용자의 얼굴의 이미지들의 세트를 획득하는 단계, 및 이미지들의 세트에 머신 러닝 모델(machine-learned model)을 적용하여 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트를 생성하는 단계를 포함한다. 그 후에, 미디어 스토리지(media storage)에 저장된 미디어 콘텐츠가 사용자 특정 데이터세트에 기초하여 인덱싱되어, 미디어 콘텐츠에 나타낸 하나 이상의 얼굴을 식별하는 인덱싱된 정보를 제공한다. 제1 사용자를 묘사하는 이미지들 또는 비디오들에 대해 미디어 콘텐츠에 쿼리(query)하는 제2 사용자에 의한 인덱싱된 정보에의 액세스가, 제1 사용자에 의해 제2 사용자와 공유되는 디지털 키에 기초하여 제어되고, 여기서 디지털 키는 사용자 특정 데이터세트와 연관되고, 사용자 특정 데이터세트는 제1 사용자를 묘사하는 이미지들 또는 비디오들을 식별하기 위해 사용가능하다.

디지털 키들은 단지 "클라우드에", 예컨대 서비스 제공자 시스템 또는 그 서비스 제공자 시스템과 연관된 다른 보안 온라인 스토리지에 저장될 수도 있고, 사용자의 디바이스들에는 저장되지 않을 수도 있다. 서비스 제공자 시스템은 사용자들에 대한 개인화된 미디어 콜렉션(media collection)들의 온라인 스토리지를 제공할 수도 있다. 이들 개인화된 미디어 콜렉션들은 계정 기반이고 안전하게 암호화될 수도 있다. 그러한 구현에서, 사용자는 이들의 계정에 로그인하기 위해 사용자 크리덴셜(user credential)들을 제공한 후에, 이들의 계정에 기초하여 서비스 제공자 시스템을 통해 검색 쿼리를 개시할 수 있다. 이러한 방식으로, 공유된 디지털 키들은 어떠한 실제 사용자 디바이스들과도 공유되지 않으며 그에 따라 위조들 및 복사본들로부터 더 안전해질 수도 있다. 추가로, 특정 사용자에 대해 검색가능한 개인화된 미디어 콜렉션이 그 사용자의 계정에 연결될 수도 있는데, 이는 다른 미디어 콜렉션들을 비인가된 검색들로부터 보호한다.

사용자들의 개인화된 미디어 콜렉션들이 인덱싱될 수도 있고, 서비스 제공자 시스템은 각각의 미디어 콜렉션에 대해 인덱싱된 정보를 별개로 저장할 수도 있다. 상이한 사용자들의 인덱싱된 정보가 별개로 저장되게 하면 비인가된 액세스에 대한 추가 보안 레벨(예를 들어, 제1 사용자의 인덱싱된 정보에의 허용된 액세스가 제2 사용자의 인덱싱된 정보에 비인가된 액세스를 하게 됨)을 제공할 수 있다.

이 개요는 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들에 관한 단순화된 개념들을 소개하기 위해 제공되는데, 이는 상세한 설명 및 도면들에서 아래에 추가로 설명된다. 이 개요는 청구된 대상물의 본질적인 피처들을 식별하도록 의도된 것도 아니고, 청구된 대상물의 범주를 결정함에 있어서의 사용을 위해 의도된 것도 아니다.

미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들의 하나 이상의 양태의 세부사항들이 다음의 도면들을 참조하여 본 문서에 설명된다. 동일한 번호들은 동일한 피처들 및 컴포넌트들을 지칭하도록 도면들 전반에 걸쳐 사용된다:
도 1은 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들을 위한 기법들이 구현될 수 있는 예시적인 환경을 예시한다.
도 2는 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들을 구현할 수 있는 전자 디바이스의 예시적인 구현을 예시한다.
도 3은 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들의 예시적인 구현을 예시한다.
도 4는 본 명세서에서 설명되는 기법들에 따른 사용자 특정 검색 쿼리들의 예시적인 검색 결과들을 묘사한다.
도 5는 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위해 프라이버시를 제어하기 위한 예시적인 방법을 묘사한다.
도 6은, 사용자 특정 검색 쿼리들에 대한 미디어 콘텐츠에의 액세스를 제어하기 위한 방법을 포함하는, 도 5의 방법의 추가 세부사항들을 설명한다.
도 7은, 추가 데이터에 기초하여 사용자 특정 데이터세트를 업데이트하는 방법을 포함하는, 도 5의 방법의 추가 세부사항들을 설명한다.
도 8은, 데이터 제거에 기초하여 사용자 특정 데이터세트를 업데이트하는 방법을 포함하는, 도 5의 방법의 추가 세부사항들을 설명한다.
도 9는 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위해 프라이버시를 제어하기 위한 예시적인 방법을 묘사한다.
도 10은 도 1 내지 도 9를 참조하여 설명된 바와 같은 임의의 타입의 클라이언트, 서버, 및/또는 전자 디바이스로서 구현될 수 있거나, 또는 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들을 가능하게 하는 기법들이 구현될 수도 있는 예시적인 컴퓨팅 시스템을 예시한다.

개관

본 문서는 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들을 가능하게 하는 기법들 및 시스템들을 설명한다. 얼굴 임베딩들과 같은, 사용자의 임베딩들을 공유하면 다른 사용자가 임의적인 데이터에서 사용자의 얼굴을 검출하게 할 수 있는데, 이는 바람직하지 않을 수도 있다. 예를 들어, 유출된 임베딩은 누구나 그것을 사용하여 공개 비디오 스트림(public video stream)들에서 사용자의 얼굴을 검출하게 할 수도 있다. 본 문서에서 설명되는 기법들은 미디어 콘텐츠에 묘사된 특정 사용자에 대해 검색하는 것에 대한 액세스를 제어하기 위한 소프트웨어 기반 솔루션을 제공한다. 특히, 이 기법들은, 사용자가, 사용자들의 제한된 화이트리스팅된 세트에의 사용자의 얼굴의 임베딩에 기초하여 검색 및 인덱싱 피처들에의 액세스를 제공하게 하고 이에 후속하여 사용자들 중 하나 이상에의 액세스를 취소하게 한다.

양태들에서, 미디어 콘텐츠를 검색 및 인덱싱하기 위한 얼굴 임베딩 공유를 위한 프라이버시 제어들을 위한 방법이 설명된다. 이 방법은, 서비스 제공자 시스템에 의해, 제1 사용자의 얼굴의 이미지들의 세트를 획득하는 단계, 및 이미지들의 세트에 머신 러닝 모델을 적용하여 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트를 생성하는 단계가 수행된다. 이 방법은 또한, 서비스 제공자 시스템이, 미디어 스토리지에 저장된 미디어 콘텐츠에 머신 러닝 모델을 적용함으로써 미디어 콘텐츠를 인덱싱하여, 미디어 콘텐츠에 나타낸 하나 이상의 얼굴을 식별하는 인덱싱된 정보를 제공하는 단계를 포함한다. 추가적으로, 이 방법은, 서비스 제공자 시스템이, 애플리케이션 프로그래밍 인터페이스에 의해, 제1 사용자를 묘사하는 이미지들 또는 비디오들에 대해 미디어 콘텐츠에 쿼리하는 제2 사용자에 의한 인덱싱된 정보에의 액세스를 제어하는 단계를 포함한다. 액세스는 제1 사용자에 의해 제2 사용자와 공유되는 디지털 키에 기초하여 제어된다. 디지털 키는 사용자 특정 데이터세트와 연관된다. 사용자 특정 데이터세트는 제1 사용자를 묘사하는 이미지들 또는 비디오들을 미디어 콘텐츠에서 식별하기 위해 인덱싱된 정보와 함께 사용가능하다.

이들은 설명된 기법들 및 디바이스들이 미디어 콘텐츠의 검색 및 인덱싱 또는 얼굴-임베딩 공유를 위한 프라이버시 제어들을 가능하게 하는 데 사용될 수도 있는 방법의 몇몇 예들에 불과하다. 다른 예들 및 구현들이 본 문서 전반에 걸쳐 설명된다. 본 문서는 이제 예시적인 동작 환경을 참조하고, 그 후에 예시적인 디바이스들, 방법들, 및 시스템들이 설명된다.

동작 환경

도 1은 미디어 콘텐츠를 검색 및 인덱싱하기 위한 얼굴-임베딩 공유를 위한 프라이버시 제어들을 가능하게 하는 기법들이 구현될 수 있는 예시적인 환경(100)을 예시한다. 예시적인 환경(100)은, 네트워크(106)를 통해 서비스 제공자 시스템(104)과 통신하도록 구성되는 전자 디바이스(102)(예를 들어, 사용자 디바이스)를 포함한다. 전자 디바이스(102)는 프라이버시 제어 모듈(108), 임베딩 모듈(110), 하나 이상의 디지털 키(112), 및 미디어 콘텐츠(114)를 포함한다.

서비스 제공자 시스템(104)은 미디어 스토리지(116), 인덱싱된 미디어 정보(118), 저장 서비스 모듈(120), 머신 러닝 모델(122), 하나 이상의 사용자 특정 데이터세트(124), 및 검색 관리자 모듈(126)을 포함하는 것으로서 예시되어 있다. 저장 서비스 모듈(120)은 전자 디바이스(102)에 의해 제공되는 미디어 콘텐츠(114)(예를 들어, 이미지 데이터, 비디오 데이터, 오디오 데이터 등)에 머신 러닝 모델(122)을 적용할 수 있다. 머신 러닝 모델(122)(예를 들어, 콘볼루션 뉴럴 네트워크(convolutional neural network))은 미디어 콘텐츠(114)에 묘사된 사용자에 대한 사용자 특정 데이터세트(124)를 생성하기 위해 미디어 콘텐츠(114)로부터 임베딩들을 생성하기 위해 머신 러닝 기법들을 사용하여 트레이닝된다. 예를 들어, 미디어 콘텐츠(114)는, 전자 디바이스(102)의 사용자의 얼굴과 같은, 사용자의 이미지들의 세트를 포함할 수도 있다. 저장 서비스 모듈(120)은 범용 얼굴 검출 알고리즘을 실행하여 이미지들에서 얼굴의 얼굴 경계를 검출할 수 있다. 그 후에, 머신 러닝 모델(122)을 사용하여, 저장 서비스 모듈(120)은 사용자에 대한 사용자 특정 데이터세트(124)를 생성하기 위해 이미지들에서 발견되는 실질적으로 모든 얼굴들에 대한 임베딩들(임베딩 벡터들이라고도 또한 지칭됨)을 컴퓨팅한다. 사용자 특정 데이터세트(124)는, 사용자의 얼굴을 표현하는 하나 이상의 n차원 벡터이다. 사용자 특정 데이터세트(124)는 사용자를 위해 안전하게 암호화된 "클라우드에" 저장되고 다른 디바이스들에 의해 액세스불가능하다.

저장 서비스 모듈(120)은 인덱싱된 미디어 정보(118)를 생성하기 위해, 미디어 스토리지(116)에서, 예컨대 미디어 스토리지(116)에서의 이미지들 또는 비디오들에서 보이는 사용자들을 식별함으로써 미디어 스토리지(116)를 인덱싱할 수 있다. 보안을 위해, 저장 서비스 모듈(120)은 클라우드에(예를 들어, 서비스 제공자 시스템(104)에) 사용자 특정 데이터세트(124)를 저장하기로 동의 및 선택한 이들 사용자들만을 단지 식별한다. 사용자 특정 데이터세트(124)에의 액세스는 사용자의 동의 없이 임의의 다른 사용자 또는 디바이스에 허용되지 않는다는 것에 주목한다.

전자 디바이스(102)의 사용자는 미디어 스토리지(116)에서 사용자의 이미지들에 대해 검색하기 위해 서비스 제공자 시스템(104)에 대한 검색 쿼리를 개시할 수 있다. 전자 디바이스(102)는 인덱싱된 미디어 정보(118)에 액세스하고 사용자의 사용자 특정 데이터세트(124)와 실질적으로 매칭하는 임베딩 정보에 대해 검색하기 위해 검색 관리자 모듈(126)에서 애플리케이션 프로그래밍 인터페이스(application programming interface)(API)(128)를 호출한다. 매칭하는 임베딩 정보에 기초하여, 검색 관리자 모듈(126)은, 사용자를 묘사하는 대응하는 이미지들을 미디어 스토리지(116)에서 위치결정할 수 있다. 그 후에, 결과적인 이미지들이 디스플레이 디바이스(130)를 통해 디스플레이 애플리케이션에서 전자 디바이스(102)에 제시된다.

전자 디바이스(102)의 사용자는 사용자에 대응하는 인덱싱된 미디어 정보(118)에의 액세스를 하나 이상의 다른 사용자(예를 들어, 가족, 친구들 등)과 공유할 수도 있다. 이것은 다른 사용자들이 사용자 특정 쿼리들로 미디어 스토리지(116)에 쿼리하게 한다. 일 예에서, 사용자-B는 서비스 제공자 시스템(104)의 미디어 스토리지(116)에서 사용자-A(전자 디바이스(102)의 사용자)의 이미지들을 발견하기 위해, 이들의 사용자 디바이스(132)에서 사용자 특정 쿼리를 개시한다. 그러나, 머신 러닝 모델(122)도 또는 사용자 특정 데이터세트(124)도 사용자-B와 공유되지 않는다. 그 대신에, 사용자-B는, 사용자-A의 사용자 특정 데이터세트(124)에 대응하는, 사용자-A에 의해 이전에 제공된 디지털 키를 갖는다. 사용자-B는 검색 관리자 모듈(126)에 디지털 키를 제공한다. 검색 관리자 모듈(126)의 API(128)는 사용자-A의 사용자 특정 데이터세트(124)를 식별하기 위해 디지털 키를 사용한다. API(128)는 매칭하는 임베딩들 및 그 매칭하는 임베딩들에 대응하는 인덱스 정보를 식별하기 위해 사용자의 사용자 특정 데이터세트(124)에서의 임베딩들을 인덱싱된 미디어 정보(118)와 비교한다. API(128)는 식별된 인덱스 정보를 사용하여, 사용자-A를 묘사하는, 미디어 스토리지(116)로부터의, 대응하는 이미지들 또는 비디오들을 위치결정한다. 그 후에, API(128)는 디스플레이를 위해 대응하는 이미지들을 사용자-B의 사용자 디바이스(132)에 반환할 수 있다.

일부 양태들에서, 사용자-B는 사용자-A의 사용자 특정 쿼리들로 상이한 이미지 또는 비디오 코퍼스(corpus)에 쿼리하기를 원할 수도 있다. 예를 들어, 사용자-B는 미디어 스토리지(136)에서의 사용자-A의 이미지들에 대해 미디어 저장 서비스(134)에 쿼리할 수도 있다. 대안적으로, 사용자-B는 사용자 디바이스(132)에서의 로컬 스토리지(도시되지 않음)에 쿼리할 수도 있다. 어느 경우든, 사용자-B는 API(128)에 대한 쿼리를 개시하는데, 이때 쿼리는, 검색할 특정 이미지 또는 비디오 코퍼스(예를 들어, 사용자 디바이스(132)의 로컬 스토리지 또는 미디어 스토리지(136))의 위치의 식별 및 사용자-A에 의해 공유된 디지털 키를 포함한다. 이들 코퍼스들이 아직 저장 서비스 모듈(120)에 의해 인덱싱되지 않은 경우, API(128)는 콘텐츠를 인덱싱하기 위해 특정 이미지 또는 비디오 코퍼스에 머신 러닝 모델(122)을 적용(또는 적용하기 위해 저장 서비스 모듈(120)을 호출)한다. 서비스 제공자 시스템(104)의 저장 서비스 모듈(120)은 결과적인 인덱싱된 정보를 인덱싱된 미디어 정보(118)에 보유한다. 그 후에, 검색 관리자 모듈(126)은 결과적인 인덱싱된 정보를 사용자 특정 데이터세트(124)와 비교하여, 특정 이미지 또는 비디오 코퍼스(예를 들어, 사용자 디바이스(132)의 로컬 스토리지 또는 미디어 스토리지(136))에서의 어떤 이미지들이 사용자-A를 포함하는지를 식별하고 사용자-B에 대한 결과들을 사용자 디바이스(132)에 제공할 수 있다.

일부 양태들에서, 전자 디바이스(102)는 머신 러닝 모델(122), 또는 머신 러닝 모델(122)의 인스턴스를 포함할 수도 있다. 임베딩 모듈(110)은 미디어 콘텐츠(114)에서 전자 디바이스(102)에 의해 캡처 및/또는 저장된 이미지들의 세트에 머신 러닝 모델(122)을 적용하여 사용자 특정 데이터세트(124)(예를 들어, 임베딩들의 세트)를 생성할 수 있다. 일부 양태들에서, 이미지들의 세트는, 근적외선 카메라를 사용하여, 예컨대 사용자의 얼굴의 근적외선 이미지 데이터를 캡처하고 개인 식별가능 정보를 포함하는 일 없이 수치 방식으로 사용자의 고유 얼굴 피처들을 표현하는 임베딩들(n-차원 수벡터(n-dimensional numerical vector)들)을 생성하는 얼굴 인증 시스템(예를 들어, 얼굴 잠금해제 애플리케이션)에 의해 캡처되는 이미지들일 수도 있다. 그 후에, 전자 디바이스(102)는 임베딩들(예를 들어, 사용자 특정 데이터세트(124))을 서비스 제공자 시스템(104)에 송신(예를 들어, 업로드)하여 그것을 "클라우드에" 저장할 수 있다. 하나의 예에서, 전자 디바이스(102) 또는 서비스 제공자 시스템(104)은 얼굴의 3차원(3D) 표현을 생성한 후에 얼굴 임베딩들을 위한 입력 데이터로서 사용할 수 있다.

프라이버시 제어 모듈(108)은 인가된 사용자들과 공유하기 위한 디지털 키들(112)을 생성하도록 구성된다. 공유된 키(예를 들어, 디지털 키(112))를 갖는 인가된 사용자들만이 단지, 사용자를 묘사하는 특정 이미지들 또는 비디오들을 이미지 또는 비디오 코퍼스로부터 식별하기 위해 인덱싱된 미디어 정보(118)에 액세스하도록 API(128)를 호출할 수 있다.

사용자 특정 데이터세트(124)가 다른 사용자들에게 직접적으로 노출되지 않기 때문에(다른 사용자들에게 승인된 유일한 액세스는 검색 쿼리들에 대한 인덱싱된 콘텐츠에 대한 것이다), 승인된 액세스는 취소될 수 있다. 전자 디바이스(102)의 사용자-A는 특정 사용자(예를 들어, 사용자-B)와 이전에 공유된 디지털 키를 삭제함으로써 공유된 액세스를 취소하도록 선택할 수 있다. 그 후에, 다음에 사용자-B가 사용자-A를 묘사하는 이미지들 또는 비디오들에 대한 검색을 개시할 때에, 결과들이 제공되지 않는다.

본 개시내용 전반에 걸쳐, 컴퓨팅 시스템(예를 들어, 전자 디바이스(102), 클라이언트 디바이스, 서버 디바이스, 서비스 제공자 시스템(104), 컴퓨터, 또는 다른 타입의 컴퓨팅 시스템)이 사용자와 연관된 정보(예를 들어, 레이더, 관성, 및 얼굴 인식 센서 데이터, 이미지들), 예컨대 앞서 언급된 얼굴 이미지들을 분석할 수도 있는 예들이 설명된다. 그러나, 컴퓨팅 시스템은 컴퓨팅 시스템이 데이터를 사용하기 위해 컴퓨팅 시스템의 사용자로부터 명시적 허가를 받은 후에만 정보를 단지 사용하도록 구성될 수 있다. 개별 사용자들은, 센서 데이터를 이용하여 프로그램들이 행할 수 있거나 또는 행할 수 없는 것에 대한 지속적인 제어를 가질 수도 있다. 예를 들어, 전자 디바이스(102)가 (예를 들어, 다른 디바이스에서 실행되는 모델을 트레이닝시키기 위해) 센서 데이터를 다른 디바이스와 공유하기 전에, 전자 디바이스(102)는 데이터에 임베딩된 임의의 사용자 식별 정보 또는 디바이스 식별 정보가 제거된다는 것을 보장하기 위해 센서 데이터를 미리 처리할 수도 있다. 따라서, 사용자는, 사용자 및 사용자의 디바이스에 관한 정보가 수집되는지 여부, 그리고 그러한 정보가, 수집된 경우, 컴퓨팅 디바이스 및/또는 원격 컴퓨팅 시스템에 의해 사용될 수도 있는 방법에 대한 제어를 가질 수도 있다.

본 명세서에서 설명되는 예들은 사용자의 얼굴을 묘사하는 이미지 데이터에 관한 것이지만, 본 명세서에서 설명되는 기법들은 또한, 사용자에 대응하는 데이터에 대한 미디어 콘텐츠를 검색하는 데 사용될 수 있는 대응하는 임베딩을 생성하기 위해 다른 타입들의 데이터에 대해 구현될 수 있다. 일부 예시적인 다른 타입들의 입력은, 음성 데이터, 실질적인 전신 이미지들, 지문 데이터, 홍채 스캔 데이터, 비디오 데이터 등을 포함할 수도 있다. 음성 데이터로부터 생성된 임베딩들이 사용되어, 사용자가 말하는 비디오들 또는 오디오 파일들, 또는 비디오들 또는 오디오 파일들 내의 오디오 세그먼트들을 발견할 수 있다. 하나의 예에서, 이들 기법들은 레코딩되는 회의 동안, 특정 사람이 언제 말하는지 또는 회의 동안 상이한 시간들에서 누가 말하고 있는지를 식별하는 데 사용될 수 있다. 사용자의 전신 이미지들로부터 생성된 임베딩들이 사용되어, 사용자를, 이들의 걸음걸이 또는 이들이 이동하는 방법에 기초하여 식별할 수 있다. 이들 기법들은 얼굴 인증을 위해서도 또한 사용될 수 있다. 예를 들어, 회사가 얼굴 인증을 사용하고 사용자에 대한 사용자 특정 데이터세트를 갖는 경우, 그러면 보안 건물에 들어가기 위해 얼굴 스캐닝으로 API에 액세스하도록 디지털 키가 사용자에게 제공될 수 있다. 또 다른 예에서, 이들 기법들을 사용하여, 사용자는 얼굴 잠금해제 애플리케이션을 위해 새로운 전자 디바이스를 트레이닝시키도록 요구되지 않을 수도 있다. 오히려, 디지털 키가 새로운 전자 디바이스에 제공될 수 있는데, 이는 새로운 전자 디바이스가 얼굴 잠금해제를 위해 사용자를 인증하기 위한 사용자 특정 데이터세트에 액세스하도록 API를 호출하게 한다.

더 상세하게는, 미디어 콘텐츠를 검색 및 인덱싱하기 위한 얼굴 임베딩 공유를 위한 프라이버시 제어들을 구현할 수 있는 전자 디바이스(102)의 예시적인 구현(200)을 예시하는 도 2를 고려한다. 도 2의 전자 디바이스(102)는 스마트폰(102-1), 태블릿(102-2), 랩톱(102-3), 데스크톱 컴퓨터(102-4), 컴퓨팅 워치(computing watch)(102-5), 컴퓨팅 스펙터클(computing spectacle)들(102-6), 게이밍 시스템(102-7), 홈 자동화 및 제어 시스템(102-8), 및 전자레인지(102-9)를 포함하는 다양한 예시적인 디바이스들로 예시되어 있다. 전자 디바이스(102)는 또한 텔레비전들, 엔터테인먼트 시스템들, 오디오 시스템들, 자동차들, 드론들, 트랙 패드들, 드로잉 패드들, 넷북들, 전자 판독기(e-reader)들, 홈 보안 시스템들, 및 다른 홈 어플라이언스들과 같은 다른 디바이스들을 포함할 수 있다. 전자 디바이스(102)는 착용가능하거나, 착용가능하지 않지만 이동가능하거나, 또는 비교적 이동불가능(예를 들어, 데스크톱들 및 어플라이언스들)할 수 있다는 것에 주목한다.

전자 디바이스(102)는, 메모리 매체들 및 저장 매체들을 포함하는 하나 이상의 컴퓨터 판독가능 매체(204) 및 하나 이상의 컴퓨터 프로세서(202)를 또한 포함한다. 컴퓨터 판독가능 매체들(204) 상의 컴퓨터 판독가능 명령어들로서 구현되는 애플리케이션들 및/또는 운영 체제(206)는 본 명세서에서 설명되는 기능성들의 일부 또는 전부를 제공하기 위해 컴퓨터 프로세서들(202)에 의해 실행될 수 있다. 예를 들어, 컴퓨터 판독가능 매체들(204)은 프라이버시 제어 모듈(108), 임베딩 모듈(110), 미디어 콘텐츠(114), 머신 러닝 모델(122), 및 보안 저장 유닛(208)을 포함할 수 있다. 임베딩 모듈(110)은 머신 러닝 모델(122)을 호출할 수 있다. 프라이버시 제어 모듈(108)은, 미디어 스토리지에서 사용자 특정 검색들을 인가하는 디지털 키들(112)에의 액세스를 제어(예를 들어, 승인, 취소)할 수 있다.

보안 저장 유닛(208)은, (얼굴 인증 데이터, 패스워드/패스코드 정보, 지문 데이터 등을 포함하는) 전자 디바이스(102)를 잠금해제하기 위한 제어들과 같은 프라이버시 제어들을 위해 사용되는 보안 데이터(예를 들어, 사용자 크리덴셜들)를 저장하도록 구성된다. 이 보안 데이터는 얼굴 인증, 패스워드/패스코드 인증, 지문 인증, 음성 인증 등을 사용하여 전자 디바이스(102)를 잠금해제하기 위해 사용자를 인증하는 데 사용될 수 있지만, 사용자에 관한 개인 정보는 보안 데이터에 의해 획득될 수 없다. 구체적으로는, 보안 데이터에 의해 사용자가 식별될 수 없다. 오히려, 보안 데이터는 전화를 잠금해제하려고 시도하는 사용자로부터 수신된 데이터가 전자 디바이스(102)에 대한 보안을 설정한 사용자를 표현하는 저장된 프로파일 데이터(예를 들어, 사용자 특정 데이터세트(124))와 매칭하는지 여부를 단순히 결정하는 데 사용된다. 일 예에서, 사용자의 얼굴의 캡처된 이미지들로부터 생성된 임베딩들은 사용자의 얼굴 피처들의 수벡터 표현들이다. 이들 임베딩들은, 얼굴 인증 시도 동안 캡처된 이미지들로부터 생성된 새로운 임베딩들과의 비교를 위해 단순히 사용되어 매치를 위치결정한다. 다른 구현들에서, 이들 임베딩들은, 전자 디바이스(102)의 카메라에 의해 캡처되거나 또는 (다른 디바이스로부터 획득되는) 미디어 콘텐츠(114)에 저장되는, 사용자의 얼굴을 묘사하는 이미지들로부터 생성된 새로운 임베딩들과의 비교를 위해 사용된다.

전자 디바이스(102)는 또한 네트워크 인터페이스(210)를 포함할 수도 있다. 전자 디바이스(102)는 유선, 무선, 또는 광학 네트워크들을 통해 데이터를 통신하기 위해 네트워크 인터페이스(210)를 사용할 수 있다. 제한이 아닌 예로서, 네트워크 인터페이스(210)는 근거리 네트워크(local-area-network)(LAN), 무선 근거리 네트워크(wireless local-area-network)(WLAN), 개인 영역 네트워크(personal-area-network)(PAN), 광역 네트워크(wide-area-network)(WAN), 인트라넷, 인터넷, 피어-투-피어 네트워크(peer-to-peer network), 포인트-투-포인트 네트워크(point-to-point network), 또는 메시 네트워크(mesh network)를 통해 데이터를 통신할 수도 있다.

인증 시스템(212)의 다양한 구현들은 시스템-온-칩(System-on-Chip)(SoC), 하나 이상의 집적 회로(Integrated Circuit)(IC), 임베딩된 프로세서 명령어들을 갖거나 또는 메모리에 저장되는 프로세서 명령어들에 액세스하도록 구성되는 프로세서, 임베딩된 펌웨어를 갖는 하드웨어, 다양한 하드웨어 컴포넌트들을 갖는 인쇄 회로 보드, 또는 이들의 임의의 조합을 포함할 수 있다. 일 예에서, 인증 시스템(212)은, 보안 모드에서, 사용자로부터 수신된 인증 데이터를, 전자 디바이스(102)를 잠금해제하기 위해 사용자를 인증하기 위한 보안 저장 유닛(208)에 저장된 보안 데이터와 비교할 수 있다. 일부 양태들에서, 인증 시스템(212)은 카메라 시스템으로부터 획득된 이미지 데이터를 사용하여 인증 데이터를 생성하고, 인증 데이터를 보안 저장 유닛(208)에 제공하여, 보안 저장 유닛(208)이, 인증 데이터를 저장된 보안 데이터와 비교하고 매치가 있는지를 결정하는 것을 가능하게 한다.

전자 디바이스(102)는, 이미지 데이터를 캡처하도록 구현되는 카메라 시스템(214)을 또한 포함한다. 이미지 데이터는 사용자의 얼굴과 같은 객체의 3차원 심도 맵(three-dimensional depth map)을 생성하는 데 사용가능할 수도 있다. 컬러 카메라(예를 들어, 적-녹-청(Red-Green-Blue)(RGB) 카메라 또는 근적외선(near-infrared)(NIR) 카메라)를 포함하는 임의의 적합한 카메라 시스템이 사용될 수도 있다. 카메라 시스템(214)은 전자 디바이스(102) 내에 집적되거나, 또는 그렇지 않으면 이와 연관될 수도 있다. 양태들에서, 카메라 시스템(214)은 전자 디바이스(102)에 무선으로 연결될 수도 있다.

전자 디바이스(102)는 또한 하나 이상의 센서(216)를 포함할 수 있다. 하나 이상의 센서(216)는 오디오 센서(예를 들어, 마이크로폰), 터치-입력 센서(예를 들어, 터치스크린), 이미지-캡처 디바이스(예를 들어, 카메라 또는 비디오-카메라), 근접 센서들(예를 들어, 용량성 센서(capacitive sensor)들), 또는 주변광 센서들(예를 들어, 광검출기)과 같은 다양한 센서들 중 임의의 것을 포함할 수 있다.

전자 디바이스(102)는 또한 디스플레이 디바이스(130)를 포함할 수 있다. 디스플레이 디바이스(130)는 터치스크린, 액정 디스플레이(liquid crystal display)(LCD), 박막 트랜지스터(thin film transistor)(TFT) LCD, IPS(in-place switching) LCD, 용량성 터치스크린 디스플레이, 유기 발광 다이오드(organic light emitting diode)(OLED) 디스플레이, 능동 매트릭스 유기 발광 다이오드(active-matrix organic light-emitting diode)(AMOLED) 디스플레이, 수퍼 AMOLED 디스플레이 등과 같은 임의의 적합한 디스플레이 디바이스를 포함할 수 있다.

전자 디바이스(102)는 또한 얼굴 검출기(218)를 포함할 수 있다. 얼굴 검출기(218)는 이미지에서 하나 이상의 얼굴 각각의 얼굴 경계를 검출할 수 있다. 얼굴 경계를 검출함으로써, 얼굴 검출기(218)는, 임베딩 모듈(110)에 의해 프로세싱되는 이미지 데이터의 양을 제한한다. 구현들에서, 얼굴 검출기(218)는 컴퓨터 판독가능 매체들(204) 상의 컴퓨터 판독가능 명령어들로서 구현되고 컴퓨터 프로세서들(202)에 의해 실행되어 이미지에서 개개의 얼굴들의 얼굴 경계를 검출할 수 있다.

이러한 그리고 다른 능력들 및 구성들뿐만 아니라, 도 1 및 도 2의 엔티티(entity)들이 작용하고 상호작용하는 방식들이 아래에 더욱 상세히 제시된다. 이들 엔티티들은 추가로 분할, 조합 등이 될 수도 있다. 도 1의 환경(100), 도 2 내지 도 4의 구현들(200, 300, 및 400), 및 도 5 내지 도 9의 상세한 방법들은 설명된 기법들을 채용하는 것이 가능한 많은 가능한 환경들 및 디바이스들의 일부를 예시한다.

도 3은 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들의 예시적인 구현(300)을 예시한다. 도 3은 서비스 제공자 시스템(104) 및 다수의 전자 디바이스들(102), 예를 들어, 디바이스-A(302), 디바이스-B(304), 및 디바이스-C(306)를 예시한다. 예시된 예에서, 디바이스들 각각은 상이한 사용자에 대응하는데, 예를 들어, 디바이스-A(302)는 사용자-A(308)에 대응하고, 디바이스-B는 사용자-B(310)에 대응하며, 디바이스-C는 사용자-C(312)에 대응한다.

디바이스들 각각은 대응하는 사용자의 이미지 또는 비디오 검색들에 대한 액세스를 제어하기 위한 프라이버시 제어 모듈(108)의 인스턴스로 구현될 수도 있다. 이 예시적인 구현(300)에서, 디바이스-A(302)의 사용자-A(308)는 서비스 제공자 시스템(104)에 사용자 특정 데이터세트(124)(예를 들어, 데이터세트-A(314))를 저장하는 것으로 선택하였다. 데이터세트-A(314)는, 디바이스-A(302)에 의해 제공되거나 또는 서비스 제공자 시스템(104)에서의 미디어 스토리지(116)에 저장된 것 중 어느 하나, 또는 이들 양측 모두로 된, 사용자-A(308)의 이미지들의 세트에 적용되는 머신 러닝 모델(122)에 기초하여 생성된다.

서비스 제공자 시스템(104)은 사용자들에 대한 개인화된 미디어 콜렉션들의 온라인 스토리지를 제공한다. 이들 개인화된 미디어 콜렉션들은 계정 기반이고 미디어 스토리지(116)에서 안전하게 암호화될 수도 있다. 각각의 사용자는, 상이한 폴더들 또는 하위 폴더들에서 조직화되는 이미지들 및 비디오들과 같은 하나 이상의 개인화된 미디어 콜렉션을 가질 수도 있다. 개인화된 미디어 콜렉션들은 계정 기반이기 때문에, 사용자는 임의의 적합한 전자 디바이스를 사용하여 이들의 계정에 로그인하고 이미지들 및/또는 비디오들을 업로드하여 개인화된 미디어 콜렉션을 생성할 수도 있다. 예시된 예의 단순성을 위해, 각각의 사용자는 하나의 전자 디바이스 및 하나의 개인화된 미디어 콜렉션과 함께 예시되어 있다. 예를 들어, 미디어 스토리지(116)는, 사용자-A(308)에 의해 업로드된 미디어 콜렉션-A(318), 사용자-B(310)에 의해 업로드된 미디어 콜렉션-B(320), 및 사용자-C(312)에 의해 업로드된 미디어 콜렉션-C(322)를 포함한다.

사용자를 묘사하는 미디어 콘텐츠에 대해 검색하기 위한 사용자 특정 데이터세트(124)에의 액세스를 공유하기 위해, 대응하는 프라이버시 제어 모듈(108)은 대응하는 디지털 키(112)를 제공할 수 있다. 액세스가 공유되는 각각의 사용자에 대해 새로운 키가 생성된다(예를 들어, 10명의 사용자들 각각에 대해 10개의 상이한 키들이 생성됨). 특정 사용자에 대한 액세스를 취소하기 위해, 프라이버시 제어 모듈(108)은 이들의 대응하는 키를 삭제한다. 예시된 예에서, 디바이스-A(302) 및/또는 서비스 제공자 시스템(104)은 사용자-A(308)에 대한 디지털 키들(112)의 세트(예를 들어, 키들(A1, A2, ..., An)을 포함하는 소유된 키들(324))를 저장한다. 또한, 디지털 키들(112)의 세트(예를 들어, 키들(B1, B2, ..., Bn)을 포함하는 소유된 키들(326))는 디바이스-B(304) 및 서비스 제공자 시스템(104)에 의해 저장된다. 일부 구현들에서, 단지 서비스 제공자 시스템(104)만이 각각의 사용자에 대한 디지털 키들(112)을 저장하고 디지털 키들(112)의 관리가 계정 기반이어서, 사용자는 공유된 키들을 관리하기 위해 서비스 제공자 시스템(104)에서 이들의 계정에 로그인할 수도 있다.

추가로 예시된 바와 같이, 사용자-A(308)는 제1 키(A1)(공유된 키들(328)로 예시됨)를 디바이스-B(304)와 그리고 제2 키(A2)(공유된 키들(330)로 예시됨)를 디바이스-C(306)와 공유하였다. 유사하게, 디바이스-B(304)는 키 B1을 디바이스-C(306)와 공유하였지만 디바이스-A(302)에 어떠한 키들도 제공하지 않았다. 예시된 예에서, 디바이스-C(306)는 어떠한 키들도 소유하지 않는데, 이는 사용자-C(312)가 서비스 제공자 시스템(104)에 사용자 특정 데이터세트를 저장하는 것으로 선정하지 않았고, 따라서, 디바이스-C(306)에 대해 디지털 키들이 생성되지 않았기 때문이다. 대안적으로, 디지털 키들(112)은 단지 "클라우드에", 예컨대 서비스 제공자 시스템(104) 또는 그 서비스 제공자 시스템(104)과 연관된 다른 보안 온라인 스토리지에 저장될 수도 있고, 사용자의 디바이스들에는 저장되지 않을 수도 있다. 그러한 구현에서, 사용자는 이들의 계정에 로그인하기 위해 사용자 크리덴셜들을 제공한 후에, 이들의 계정에 기초하여 서비스 제공자 시스템(104)을 통해 검색 쿼리를 개시할 수 있다. 이러한 방식으로, 공유된 디지털 키들(112)은 임의의 사용자 디바이스들과 공유되지 않으며 그에 따라 위조들 및 복사본들로부터 더 안전해질 수도 있다. 추가로, 특정 사용자에 대해 검색가능한 미디어 콜렉션은 그 사용자의 계정에 연결될 수도 있는데, 이는 다른 미디어 콜렉션들을 비인가된 검색들로부터 보호한다.

사용자-B(310)가 사용자-A(308)의 이미지들 및/또는 비디오들에 대해 이들의 개인화된 미디어 콜렉션-B(320)를 검색하기를 원한다고 가정한다. 사용자-B(310)는 디바이스-B(304)에 검색 쿼리를 입력한다. 그 후에, 디바이스-B(304)는 서비스 제공자 시스템(104)에서 API(128)를 호출하고 공유된 키 A1 및 미디어 콜렉션-B(320)의 표시를 API(128)에 제공한다. 미디어 콜렉션-B(320)가 아직 인덱싱되지 않았을 경우, API(128)는 미디어 콜렉션-B(320)에 머신 러닝 모델(122)을 적용하여 대응하는 인덱싱된 정보를 생성할 수 있다. 서비스 제공자 시스템(104)은, 다른 미디어 콜렉션들에 대응하는 다른 인덱싱된 정보와는 별개로, 대응하는 인덱싱된 정보를 인덱싱된 미디어 정보(118)에 저장할 수 있다. 상이한 사용자들의 인덱싱된 정보가 별개로 저장되게 하면 비인가된 액세스에 대한 추가 보안 레벨(예를 들어, 제1 사용자의 인덱싱된 정보에의 허용된 액세스가 제2 사용자의 인덱싱된 정보에 비인가된 액세스를 하게 됨)을 제공할 수 있다.

API(128)는 공유된 키 A1을 사용하여 사용자-A(308)의 데이터세트-A(314)에 액세스하고 데이터세트-A(314)에서의 임베딩들을 미디어 콜렉션-B(320)에 대응하는 인덱싱된 미디어 정보(118)와 비교한다. API가 미디어 콜렉션-B(320)에 대응하는 인덱싱된 미디어 정보(118)에서 매칭하는 임베딩들을 위치결정하는 경우, API(128)는 미디어 콜렉션-B(320)에서 대응하는 이미지들 및/또는 비디오들을 식별하고 이들 이미지들 및/또는 비디오들을 검색 쿼리에 대한 결과들로서 디바이스-B(304)에 반환한다. 결과들은 이미지들 및/또는 비디오들에서 어떤 얼굴 또는 사람이 사용자-A(308)인지를 식별하지 못한다. 그러한 식별 정보가 없으면, 사용자-B(310)는 데이터세트-A(314)의 복사본을 만들 수 없다. 결과들은, 사용자-A(308)를 묘사하는 이미지들 및/또는 비디오들만을 단지 표시한다.

일부 구현들에서, 서비스 제공자 시스템(104)은, 심지어 사용자-A(308)가 사용자-B(310)의 미디어 콜렉션-B(320)에의 액세스를 가질 수도 없더라도, 사용자-B(310)에 의한 검색 쿼리의 결과들을 사용하여 사용자-A(308)에 대한 데이터세트-A(314)를 업데이트할 수도 있다. 사용자 특정 데이터세트(124)가 클수록, 사용자 특정 검색 쿼리의 결과들이 더 정확해질 수도 있다.

사용자-C(312)는 사용자-A(308)와 사용자-B(310) 중 하나 또는 이들 양측 모두에 의한 이미지들에 대한 검색 쿼리를 개시할 수도 있는데, 이는 공유된 키들(330) A2 및 B1이 디바이스-C(306)와 공유되었기 때문이다. 사용자-C(312)가 사용자-A(308) 또는 사용자-B(310) 중 어느 하나의 사용자의 이미지들에 대한 검색 쿼리를 개시한다고 가정한다. 프라이버시 제어 모듈(108)은 키들 A2 및 B1 양측 모두를 API(128)에 제공하고, API(128)는 대응하는 데이터세트들(예를 들어, 데이터세트-A(314) 및 데이터세트-B(316))을 식별한다. API(128)는 이들 데이터세트들을 사용자-C(312)의 미디어 콜렉션-C(322)에 대응하는 인덱싱된 미디어 정보(118)와 비교한다. 매칭하는 임베딩들에 기초하여, 서비스 제공자 시스템(104)은 사용자-A(308)와 사용자-B(310) 중 하나 또는 이들 양측 모두를 나타내는 이미지들을 미디어 콜렉션-C(322)로부터 식별하는 검색 결과들을 반환한다.

사용자-B(310)가 디지털 키(예를 들어, 소유된 키들(326) 중 하나)를 사용자-A(308)와 공유하지 않았다는 것에 주목한다. 그 결과, 사용자-A(308)는 검색 쿼리들에 대한 데이터세트-B(316)를 사용하도록 허용되지 않는다. 더 구체적으로는, 사용자-A(308)가 미디어 콜렉션-A(318)에서 사용자-B(310)의 이미지들에 대한 검색 쿼리를 개시하는 경우, 서비스 제공자 시스템(104)은 어떠한 결과들도 반환하지 않는다. 디바이스-A(302)가 API(128)에 적절한 디지털 키를 제공하지 않았기 때문에, API(128)는 인덱싱된 미디어 정보(118)와의 비교를 위해 어떤 사용자 특정 데이터세트(124)를 사용할지를 식별하는 것이 가능하지 않다.

유사하게, 사용자-A(308)가 사용자-C(312)로부터의 데이터세트-A(314)에의 액세스를 취소하는 것으로 선정하는 경우, 사용자-A(308)는 프라이버시 제어 모듈(108)로 하여금 서비스 제공자 시스템(104)에서(그리고 디바이스-A(302)에서) 이전에 공유된 키 A2를 삭제하게 하기 위한 커맨드를 입력할 수 있다. 그 후에, 디바이스-C(306)가, 키 A2를 사용하여, 사용자-A(308)를 나타내는 이미지들 또는 비디오들에 대한 미디어 콜렉션-C(322)의 후속 쿼리 검색을 수행할 때, 서비스 제공자 시스템(104)은 유사한 검색 쿼리들이 결과들을 이전에 제공하였는지 여부에 관계없이 결과들을 반환하지 않는다. 이에 따라, 디바이스-C는 사용자-A(308)를 묘사하는 이미지들 또는 비디오들에 대한 사용자 특정 검색을 수행하는 것이 본질적으로 차단된다.

추가로 예시된 예에서, 사용자-C(312)는 서비스 제공자 시스템(104)에서 사용자 특정 데이터세트(124)를 저장하는 것으로 선정하지 않았다. 그에 따라, 디바이스-A(302)도 또는 디바이스-B(304)도 사용자-C(312)의 이미지들 및/또는 비디오들에 대한 검색 쿼리의 결과들을 획득할 수 없다.

도 3에 예시된 예를 계속하면, 도 4는 본 명세서에서 설명되는 기법들에 따른, 사용자 특정 검색 쿼리들의 예시적인 검색 결과들을 묘사한다. 도 4에서, 인덱스(400)는 예시적인 인덱싱된 정보(예를 들어, 인덱싱된 미디어 정보(118))를 포함하는데, 이는, 이미지 A(402)가 사용자-A(308) 및 사용자-B(310)를 포함함, 이미지 B가 사용자-B(310)를 포함함, 그리고 비디오 C(404)가 프레임들 X-Y에 사용자-A(308)를 그리고 프레임들 Q-Z에 사용자-B(310)를 포함함을 표시한다.

디바이스-C(306)의 사용자-C(312)는 "사용자-A를 갖는 이미지들 및/또는 비디오들"에 대한 검색 쿼리를 검색 바(406)에 입력한다. 디바이스-C(306)는 적절한 공유된 키들(예를 들어, 도 3의 공유된 키들(330)에 도시된 키 A2)과 함께 API(128)에 검색 쿼리를 송신한다. API(128)는 공유된 키 A2를 사용하여 대응하는 사용자 특정 데이터세트(124)(예를 들어, 데이터세트-A(314))를 식별하여 인덱스(400)와 비교한다. 이 비교에 기초하여, API(128)는 이미지 A(402) 및 비디오 C(404)를 포함하는 검색 결과들(408)을 반환한다.

다른 예에서, 디바이스-A(302)의 사용자-A(308)는 "사용자-B를 갖는 비디오들"에 대한 검색 쿼리를 검색 바(410)에 입력한다. 여기서, 검색 페인(search pane)(412)에 결과들이 제공되지 않는데, 이는 디바이스-A(302)가, 검색 쿼리로, 사용자-B(310)의 데이터세트-B(316)에 대응하는 공유된 키, 예컨대 사용자-B(310)의 소유된 키들(326) 중 하나의 키의 복사본을 제공할 수 없기 때문이다.

예시적인 방법들

도 5 내지 도 8은 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위해 프라이버시를 제어하기 위한 예시적인 방법들(500, 600, 700, 및 800)을 묘사한다. 이들 방법들은 서비스 제공자 시스템(104)에 의해 수행될 수 있는데, 이 서비스 제공자 시스템은 사용자 특정 쿼리를 사용하여 이미지 또는 비디오 코퍼스를 검색하는 것에 대한 액세스를 제어하기 위해 검색 관리자 모듈(126)을 사용한다. 도 5는 사용자 특정 데이터세트에 기초하여 미디어 콘텐츠를 인덱싱하는 방법을 묘사한다. 도 6은, 사용자 특정 검색 쿼리들에 대한 미디어 콘텐츠에의 액세스를 제어하기 위한 방법(600)을 포함하는, 도 5의 방법(500)의 추가 세부사항들을 설명한다. 도 7은, 추가 데이터에 기초하여 사용자 특정 데이터세트를 업데이트하는 방법(700)을 포함하는, 도 5의 방법(500)의 추가 세부사항들을 설명한다. 도 8은, 데이터 제거에 기초하여 사용자 특정 데이터세트를 업데이트하는 방법(800)을 포함하는, 도 5의 방법(500)의 추가 세부사항들을 설명한다.

방법들(500, 600, 700, 및 800)은 수행되는 동작들을 특정하는 블록들의 세트들로서 도시되어 있지만, 개개의 블록들에 의한 동작들을 수행하기 위해 도시된 순서 또는 조합들로 반드시 제한되지는 않는다. 추가로, 동작들 중 임의의 하나 이상은 광범위한 추가 및/또는 대체 방법들을 제공하기 위해 반복, 조합, 재조직화, 또는 링크될 수도 있다. 다음의 논의의 부분들에서, 도 1의 예시적인 동작 환경(100) 또는 도 2 내지 도 4에 상세화된 바와 같은 엔티티들 또는 프로세스들에 대한 참조가 이루어질 수도 있는데, 이들에 대한 참조는 단지 예로서만 이루어진다. 기법들은 하나의 디바이스 상에서 동작하는 하나의 엔티티 또는 다수의 엔티티들에 의한 수행으로 제한되지 않는다.

502에서, 서비스 제공자 시스템은 제1 사용자의 얼굴의 이미지들의 세트를 획득한다. 예를 들어, 서비스 제공자 시스템(104)은 전자 디바이스(102)로부터 이미지들의 세트를 획득할 수 있다.

504에서, 서비스 제공자 시스템은 이미지들의 세트에 머신 러닝 모델을 적용하여 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트를 생성한다. 예를 들어, 서비스 제공자 시스템(104)은 이미지들의 세트에 머신 러닝 모델(122)을 적용하여 전자 디바이스(102)의 사용자에 대한 사용자 특정 데이터세트(124)를 생성할 수 있다.

506에서, 서비스 제공자 시스템은, 미디어 스토리지에 저장된 미디어 콘텐츠에 머신 러닝 모델을 적용함으로써 미디어 콘텐츠를 인덱싱하여, 미디어 콘텐츠에 나타낸 하나 이상의 얼굴을 식별하는 인덱싱된 정보를 제공한다. 예를 들어, 서비스 제공자 시스템(104)은 사용자 특정 데이터세트(124)를 미디어 스토리지(116)에서의 미디어 콘텐츠에 적용하고 전자 디바이스(102)의 사용자를 묘사하는 이미지들 또는 비디오들을 식별함으로써 서비스 제공자 시스템(104)에 저장된 미디어 스토리지(116)를 인덱싱할 수 있는데, 이 전자 디바이스는 인덱싱된 미디어 정보(118)를 제공한다.

508에서, 서비스 제공자 시스템은 제1 사용자를 묘사하는 이미지들 또는 비디오들에 대해 미디어 콘텐츠에 쿼리하는 제2 사용자에 의한 인덱싱된 정보에의 액세스를 제어한다. 예를 들어, 서비스 제공자 시스템(104)은 인덱싱된 미디어 정보(118)에의 액세스를 제어하기 위한 검색 관리자 모듈(126)을 구현할 수 있다. 검색 관리자 모듈은 API(128)를 포함하는데, 이 API는 사용자 디바이스(예를 들어, 전자 디바이스(102), 사용자 디바이스(132))와 서비스 제공자 시스템(104)에 저장된 보안 데이터 사이에서 중재자로서의 역할을 한다. 제2 사용자가 인가된 디지털 키를 제공하는 경우, API(128)는 인덱싱된 미디어 정보(118)에 액세스하고, 디지털 키에 대응하는 사용자 특정 데이터세트(124)를 사용하여, 인덱싱된 미디어 정보(118)에서 매칭하는 임베딩들을 식별하는데, 이 매칭하는 임베딩들은, 제1 사용자를 묘사하는 미디어 스토리지(116)에서의 특정 이미지들 또는 비디오들을 표시한다. 방법(500)은 도 6 내지 도 8과 관련하여 각각 설명된 방법들(600, 700, 또는 800) 중 임의의 하나로 임의로 진행할 수도 있다.

도 6은, 사용자 특정 검색 쿼리들에 대한 미디어 콘텐츠에의 액세스를 제어하는 방법(600)을 포함하는, 도 5에 묘사된 방법(500)의 추가 세부사항들을 설명한다. 602에서, 서비스 제공자 시스템은 제1 사용자를 묘사하는 미디어 콘텐츠로부터의 이미지들 또는 비디오들에 대한 검색 쿼리를 수신한다. 예를 들어, 서비스 제공자 시스템(104)은 전자 디바이스(102)의 제1 사용자를 묘사하는 이미지들 또는 비디오들에 대한 검색 쿼리를 요청한 사용자 디바이스(132)로부터 수신한다. 검색 쿼리는, 전자 디바이스(102)의 제1 사용자에 의해 요청한 사용자 디바이스(132)의 제2 사용자와 이전에 공유되었던 디지털 키를 포함한다. 검색 쿼리는 특정 미디어 스토리지의 표시(예를 들어, 미디어 스토리지(116), 미디어 저장 서비스(134)에서의 미디어 스토리지(136), 사용자 디바이스(132)에서의 로컬 스토리지에서의 개인화된 미디어 콜렉션)를 또한 포함한다.

604에서, 서비스 제공자 시스템은, 애플리케이션 프로그래밍 인터페이스(API)를 갖는 검색 관리자 모듈을 사용하여, 검색 쿼리가 인가된 디지털 키를 갖는지 여부를 결정한다. 예를 들어, API(128)는 검색 쿼리에 제공된 디지털 키가 제1 사용자와 연관된 디지털 키들(112) 중 하나와 매칭하는지 여부를 결정한다.

API가 디지털 키가 인가되지 않는다고 결정하는 경우(604에서 "아니오"), 그러면 606에서 서비스 제공자 시스템은 검색 쿼리에 결과들을 반환하지 않는다. 예를 들어, 디지털 키(112)는 제1 사용자로부터의 입력에 기초하여 삭제되었을 수도 있는데, 이는 디지털 키(112)가 더 이상 검색에 대해 인가되지 않게 되는 결과로 된다. 일부 경우들에서, 검색 쿼리는 디지털 키를 포함하지 않을 수도 있다.

API가 디지털 키가 인가된다고 결정하는 경우(604에서 "예"), 그러면 608에서, API는 디지털 키에 기초하여 사용자 특정 데이터세트를 식별한다. 예를 들어, API(128)는 디지털 키(112)를 사용하여, 미디어 스토리지(116)에서 어떤 얼굴을 검색할지에 관한 표시를 제공하는 제1 사용자에 대한 사용자 특정 데이터세트(124)를 위치결정한다.

610에서, API는 사용자 특정 데이터세트에 기초하여 미디어 콘텐츠로부터의 이미지들 또는 비디오들 중 어떤 것이 제1 사용자를 묘사하는지를 식별하기 위해 인덱싱된 정보에 액세스한다. 예를 들어, API(128)는 인덱싱된 미디어 정보(118)와의 비교를 위해 사용자 특정 데이터세트(124)에서의 얼굴 임베딩들을 사용한다. 인덱싱된 미디어 정보(118)는, 미디어 스토리지(116)에서의 얼굴들과 연관된 임베딩들을 포함한다. 이에 따라, 사용자 특정 데이터세트(124)에서의 얼굴 임베딩들과 매칭하는 인덱싱된 미디어 정보(118)에서의 임베딩들은 API(128)를 제1 사용자를 묘사하는 미디어 스토리지에서의 이미지들 또는 비디오들로 지향시킨다.

612에서, 서비스 제공자 시스템은 제1 사용자를 묘사하는 미디어 콘텐츠로부터의 식별된 이미지들 또는 비디오들을 포함하는 검색 결과들을 제공한다. 예를 들어, 서비스 제공자 시스템(104)은 검색 쿼리에 대한 검색 결과들로서 제1 사용자를 묘사하는 식별된 이미지들 또는 비디오들을, 요청한 사용자 디바이스(132)에, 송신한다.

도 7은, 추가 데이터에 기초하여 사용자 특정 데이터세트를 업데이트하는 방법(700)을 포함하는, 도 5의 방법(500)의 추가 세부사항들을 설명한다. 702에서, 서비스 제공자 시스템은 제1 사용자의 전자 디바이스로부터 하나 이상의 추가 이미지를 수신한다. 예를 들어, 전자 디바이스(102)는, 클로즈업 사진 또는 전신 사진과 같은, 사용자의 얼굴을 묘사하는 하나 이상의 새로운 이미지를 업로드할 수도 있다.

704에서, 서비스 제공자 시스템은 하나 이상의 추가 이미지에 머신 러닝 모델을 적용하여 하나 이상의 새로운 얼굴 임베딩을 생성한다. 706에서, 서비스 제공자 시스템은 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트에 하나 이상의 새로운 얼굴 임베딩을 추가하여 사용자 특정 데이터세트를 업데이트한다. 추가 임베딩들은 사용자 특정 데이터세트를 개선시켜, 임베딩들이 적은 경우보다 더 정확한 결과들(예를 들어, 이미지들 또는 비디오들에서의 사용자의 더 정확한 식별)을 가능하게 할 수 있다. 그 후에, 방법(700)은 인덱싱된 정보에의 액세스를 제어하기 위해 도 5의 508로 되돌아간다.

도 8은, 데이터 제거에 기초하여 사용자 특정 데이터세트를 업데이트하는 방법(800)을 포함하는, 도 5의 방법(500)의 추가 세부사항들을 설명한다. 802에서, 서비스 제공자 시스템은 사용자 특정 데이터세트를 생성하기 위해 이전에 사용된 이미지들의 세트로부터 하나 이상의 이미지를 삭제하라는 입력을 제1 사용자로부터 수신한다. 예를 들어, 제1 사용자는 사용자 특정 데이터세트(124)를 생성하는 데 사용된 이미지들 중 하나 이상을 제거 또는 삭제하는 것으로 선택할 수도 있다. 사용자가 특정 이미지를 싫어할 수도 있거나 또는 이미지가, 더 이상 사용자의 현재 얼굴 피처들의 양호한 표현이 아닌 오래된 이미지일 수도 있다.

804에서, 서비스 제공자 시스템은, 제1 사용자로부터의 입력에 기초하여, 이미지들의 세트로부터 하나 이상의 이미지를 삭제하여 이미지들의 서브세트를 제공한다. 예를 들어, 서비스 제공자 시스템(104)의 저장 서비스 모듈(120)은 제거를 위해 사용자에 의해 선택된 이미지들을 삭제한다.

806에서, 서비스 제공자 시스템은 이미지들의 서브세트에 머신 러닝 모델을 적용함으로써 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트를 업데이트하여 업데이트된 사용자 특정 데이터세트를 제공한다. 이미지들의 세트가 감소될 때 사용자 특정 데이터세트(124)를 업데이트하기 위해, 저장 서비스 모듈(120)은 사용자 특정 데이터세트(124)를 재생성할 수 있다. 대안적으로, 저장 서비스 모듈(120)은 삭제된 이미지에 대응하는 임베딩을 사용자 특정 데이터세트(124)로부터 삭제할 수 있다. 다수의 삭제된 이미지들의 경우, 사용자 특정 데이터세트(124)로부터 다수의 대응하는 임베딩들이 삭제될 수 있다. 그 후에, 방법(700)은 인덱싱된 정보에의 액세스를 제어하기 위해 도 5의 508로 되돌아간다. 적어도 일부 양태들에서, 방법들(700 및 800)은 사용자 특정 데이터세트를 생성하는 데 사용된 이미지들의 추가와 제거 양측 모두에 기초하여 사용자 특정 데이터세트가 업데이트될 수 있도록 조합될 수 있다.

도 9는 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위해 프라이버시를 제어하기 위한 예시적인 방법(900)을 묘사한다. 방법(900)은 전자 디바이스(102)에 의해 수행될 수 있는데, 이 전자 디바이스는 사용자 특정 쿼리를 사용하여 이미지 또는 비디오 코퍼스를 검색하는 것에 대한 액세스를 제어하기 위해 프라이버시 제어 모듈(108)을 사용한다.

방법(900)은 수행되는 동작들을 특정하는 블록들의 세트로서 도시되어 있지만, 개개의 블록들에 의한 동작들을 수행하기 위해 도시된 순서 또는 조합들로 반드시 제한되지는 않는다. 추가로, 동작들 중 임의의 하나 이상은 광범위한 추가 및/또는 대체 방법들을 제공하기 위해 반복, 조합, 재조직화, 또는 링크될 수도 있다. 다음의 논의의 부분들에서, 도 1의 예시적인 동작 환경(100) 또는 도 2 내지 도 4에 상세화된 바와 같은 엔티티들 또는 프로세스들에 대한 참조가 이루어질 수도 있는데, 이들에 대한 참조는 단지 예로서만 이루어진다. 기법들은 하나의 디바이스 상에서 동작하는 하나의 엔티티 또는 다수의 엔티티들에 의한 수행으로 제한되지 않는다.

902에서, 전자 디바이스는 전자 디바이스의 제1 사용자의 이미지들의 세트를 캡처한다. 예를 들어, 전자 디바이스(102)의 제1 사용자는 카메라 시스템(214)을 사용하여 이미지들(예를 들어, "셀피(selfie)들")을 캡처할 수도 있다. 이미지들은 카메라 시스템(214)의 컬러 카메라를 사용하여 캡처될 수도 있다. 대안적으로, 이미지들은, 예컨대 인증 시스템(212)의 얼굴 인증 프로세스 동안, 카메라 시스템(214)의 근적외선 카메라를 사용하여 캡처될 수 있다.

904에서의 하나의 옵션에 따르면, 전자 디바이스는 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트의 클라우드 저장 및 생성을 위해 서비스 제공자 시스템에 이미지들의 세트를 송신한다. 예를 들어, 전자 디바이스(102)는 미디어 스토리지(116)에서의 보안 저장을 위해 이미지들의 세트를 서비스 제공자 시스템(104)에 업로드한다.

904에서 이미지들의 세트를 서비스 제공자 시스템에 송신하는 것에 대한 대안으로서, 906에서 전자 디바이스는 임의로 이미지들의 세트에 머신 러닝 모델을 적용하여 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트를 생성할 수도 있다. 예를 들어, 전자 디바이스(102)는, 전자 디바이스(102)에 저장되는 머신 러닝 모델(122)을 이미지들의 세트에 적용할 수도 있다. 머신 러닝 모델(122)은, 전자 디바이스(102)를 잠금해제하기 위해 등록된 임베딩들에 대해 사용자를 인증하기 위해 사용자의 캡처된 이미지들로부터 얼굴 임베딩들을 생성하는 데 사용되는 얼굴 인증 시스템(예를 들어, 인증 시스템(212))의 일부일 수도 있다. 머신 러닝 모델(122)은 이미지들의 세트에 기초하여 얼굴 임베딩들의 사용자 특정 데이터세트(124)를 생성할 수 있다.

908에서, 전자 디바이스는 클라우드 저장을 위해 서비스 제공자 시스템에 사용자 특정 데이터세트를 송신한다. 예를 들어, 전자 디바이스(102)는 서비스 제공자 시스템(104)에 이미지들의 세트보다는 오히려 사용자 특정 데이터세트(124)를 송신할 수도 있다.

910에서, 904로부터 진행하든 또는 908로부터 진행하든 간에, 전자 디바이스는 사용자 특정 데이터세트와 연관된 디지털 키를 제2 사용자와 공유하여, 제2 사용자가, 제1 사용자를 묘사하는 이미지들 또는 비디오들에 대해 서비스 제공자 시스템에서 사용자 특정 이미지 검색을 호출하는 것을 가능하게 한다. 전자 디바이스(102)의 사용자는 디지털 키(112)를 친구와 공유하여, 친구가, 사용자를 묘사하는 이미지들 또는 비디오들에 대해 미디어 스토리지(116)를 검색하는 것을 가능하게 할 수 있다. 사용자의 각각의 친구마다, 상이한 디지털 키가 제공된다.

912에서, 전자 디바이스는 서비스 제공자 시스템이 제2 사용자와 이전에 공유된 디지털 키를 삭제하도록 요청함으로써 사용자 특정 이미지 검색에 대한 액세스를 취소한다. 예를 들어, 전자 디바이스(102)의 사용자는 친구와 공유되었던 디지털 키를 삭제함으로써, 친구에게 이전에 제공된 액세스를 취소할 수 있다. 결과적으로, 친구는, 사용자를 묘사하는 이미지들 또는 비디오들을 발견하기 위해 사용자의 사용자 특정 데이터세트(124)를 사용하여 검색을 수행하도록 더 이상 인가되지 않는다.

일반적으로, 본 명세서에서 설명되는 컴포넌트들, 모듈들, 방법들, 및 동작들 중 임의의 것은 소프트웨어, 펌웨어, 하드웨어(예를 들어, 고정 로직 회로부), 수동 프로세싱, 또는 이들의 임의의 조합을 사용하여 구현될 수 있다. 예시적인 방법들의 일부 동작들은 컴퓨터 프로세싱 시스템에 대해 로컬 및/또는 원격인 컴퓨터 판독가능 저장 메모리 상에 저장되는 실행가능 명령어들의 일반적인 맥락에서 설명될 수도 있고, 구현들은 소프트웨어 애플리케이션들, 프로그램들, 함수들 등을 포함할 수 있다. 대안적으로 또는 추가적으로, 본 명세서에서 설명되는 임의의 기능성은, 필드 프로그래밍가능 게이트 어레이(Field-programmable Gate Array)(FPGA)들, 주문형 집적 회로(Application-specific Integrated Circuit)(ASIC)들, 주문형 표준 제품(Application-specific Standard Product)(ASSP)들, 시스템-온-칩 시스템(SoC)들, 복합 프로그래밍가능 로직 디바이스(Complex Programmable Logic Device)(CPLD)들 등과 같은(그리고 제한 없음) 하나 이상의 하드웨어 로직 컴포넌트에 의해 적어도 부분적으로 수행될 수 있다.

예시적인 컴퓨팅 시스템

도 10은 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들을 구현하기 위해 이전의 도 1 내지 도 9를 참조하여 설명된 바와 같은 임의의 타입의 클라이언트, 서버, 및/또는 전자 디바이스로서 구현될 수 있는 예시적인 컴퓨팅 시스템(1000)의 다양한 컴포넌트들을 예시한다.

컴퓨팅 시스템(1000)은, 디바이스 데이터(1004)(예를 들어, 레이더 데이터, 인증 데이터, 참조 데이터, 수신된 데이터, 수신되고 있는 데이터, 브로드캐스트를 위해 스케줄링되는 데이터, 및 데이터의 데이터 패킷들)의 유선 및/또는 무선 통신을 가능하게 하는 통신 디바이스들(1002)을 포함한다. 디바이스 데이터(1004) 또는 다른 디바이스 콘텐츠는 디바이스의 구성 설정들, 디바이스 상에 저장된 미디어 콘텐츠, 및/또는 디바이스의 사용자와 연관된 정보(예를 들어, 레이더 필드(radar field) 내의 사람의 아이덴티티(identity) 또는 맞춤형 에어 제스처 데이터(customized air gesture data))를 포함할 수 있다. 컴퓨팅 시스템(1000) 상에 저장된 미디어 콘텐츠는 임의의 타입의 레이더, 생체인식, 오디오, 비디오, 및/또는 이미지 데이터를 포함할 수 있다. 컴퓨팅 시스템(1000)은, 인간 발언들, 레이더 필드와의 상호작용들, 터치 입력들, 사용자 선택가능한 입력들 또는 상호작용들(명시적 또는 암시적), 메시지들, 음악, 텔레비전 미디어 콘텐츠, 레코딩된 비디오 콘텐츠, 및 임의의 콘텐츠 및/또는 데이터 소스로부터 수신되는 임의의 다른 타입의 오디오, 비디오, 및/또는 이미지 데이터와 같은, 임의의 타입의 데이터, 미디어 콘텐츠, 및/또는 입력들이 수신될 수 있게 하는 하나 이상의 데이터 입력(1006)을 포함한다.

컴퓨팅 시스템(1000)은, 직렬 및/또는 병렬 인터페이스, 무선 인터페이스, 임의의 타입의 네트워크 인터페이스, 모뎀 중 임의의 하나 이상으로서, 그리고 임의의 다른 타입의 통신 인터페이스로서 구현될 수 있는 통신 인터페이스들(1008)을 또한 포함한다. 통신 인터페이스들(1008)은, 다른 전자, 컴퓨팅, 및 통신 디바이스들이 데이터를 컴퓨팅 시스템(1000)과 통신하게 하는 통신 네트워크와 컴퓨팅 시스템(1000) 사이의 연결 및/또는 통신 링크들을 제공한다.

컴퓨팅 시스템(1000)은, 컴퓨팅 시스템(1000)의 동작을 제어하기 위해 그리고 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들을 위한, 또는 이 프라이버시 제어들이 구현될 수 있는 기법들을 가능하게 하기 위해 다양한 컴퓨터 실행가능 명령어들을 프로세싱할 수 있는 하나 이상의 프로세서(1010)(예를 들어, 마이크로프로세서들, 제어기들, 또는 다른 제어기들 등 중의 임의의 것)를 포함한다. 대안적으로 또는 추가적으로, 컴퓨팅 시스템(1000)은, 1012에서 일반적으로 식별되는 프로세싱 및 제어 회로들과 관련하여 구현되는 하드웨어, 펌웨어, 또는 고정 로직 회로부 중 임의의 하나 또는 이들의 조합으로 구현될 수 있다. 도시되지 않았지만, 컴퓨팅 시스템(1000)은, 디바이스 내의 다양한 컴포넌트들을 커플링하는 시스템 버스 또는 데이터 전송 시스템을 포함할 수 있다. 시스템 버스는, 메모리 버스 또는 메모리 제어기, 주변기기 버스, 범용 직렬 버스, 및/또는 다양한 버스 아키텍처들 중 임의의 것을 이용하는 프로세서 또는 로컬 버스와 같은 상이한 버스 구조체들 중 임의의 하나 또는 이들의 조합을 포함할 수 있다.

컴퓨팅 시스템(1000)은, (단순한 신호 송신과는 대조적으로) 영구적 및/또는 비일시적 데이터 저장을 가능하게 하는 하나 이상의 메모리 디바이스와 같은 컴퓨터 판독가능 매체들(1014)을 또한 포함하는데, 그 예들로는 랜덤 액세스 메모리(random access memory)(RAM), 비휘발성 메모리(예를 들어, 판독 전용 메모리(read-only memory)(ROM), 플래시 메모리, EPROM, EEPROM 등 중의 임의의 하나 이상), 및 디스크 저장 디바이스를 포함한다. 디스크 저장 디바이스는 하드 디스크 드라이브, 레코딩가능 및/또는 재기입가능 콤팩트 디스크(compact disc)(CD), 임의의 타입의 디지털 다기능 디스크(digital versatile disc)(DVD) 등과 같은 임의의 타입의 자기 또는 광학 저장 디바이스로서 구현될 수 있다. 컴퓨팅 시스템(1000)은 또한 대용량 저장 매체 디바이스(저장 매체)(1016)를 포함할 수 있다.

컴퓨터 판독가능 매체들(1014)은, 디바이스 데이터(1004)뿐만 아니라, 다양한 디바이스 애플리케이션들(1018) 및 컴퓨팅 시스템(1000)의 동작 양태들과 관련된 임의의 다른 타입들의 정보 및/또는 데이터를 저장하기 위한 데이터 저장 메커니즘들을 제공한다. 예를 들어, 운영 체제(1020)는 컴퓨터 판독가능 매체들(1014)을 갖는 컴퓨터 애플리케이션으로서 유지되고 프로세서들(1010) 상에서 실행될 수 있다. 디바이스 애플리케이션들(1018)은, 임의의 형태의 제어 애플리케이션, 소프트웨어 애플리케이션, 신호 프로세싱 및 제어 모듈들, 특정 디바이스에 고유한 코드, 추상화 모듈, 에어 제스처 인식 모듈, 및 다른 모듈들과 같은 디바이스 관리자를 포함할 수도 있다. 디바이스 애플리케이션들(1018)은, 저장 서비스 모듈(120) 또는 검색 관리자 모듈(126)과 같은, 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들을 구현하기 위한 시스템 컴포넌트들, 엔진들, 모듈들, 또는 관리자들을 또한 포함할 수도 있다. 컴퓨팅 시스템(1000)은 또한 하나 이상의 머신 러닝 시스템을 포함하거나 또는 이들에의 액세스를 가질 수도 있다.

일부 예들이 아래에 설명되어 있다:

예 1. 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위해 프라이버시를 제어하는 방법으로서, 이 방법은, 서비스 제공자 시스템에 의해: 제1 사용자의 얼굴의 이미지들의 세트를 획득하는 단계; 이미지들의 세트에 머신 러닝 모델을 적용하여 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트를 생성하는 단계; 미디어 스토리지에 저장된 미디어 콘텐츠에 머신 러닝 모델을 적용함으로써 미디어 콘텐츠를 인덱싱하여, 미디어 콘텐츠에 나타낸 하나 이상의 얼굴을 식별하는 인덱싱된 정보를 제공하는 단계; 및 애플리케이션 프로그래밍 인터페이스에 의해, 제1 사용자를 묘사하는 이미지들 또는 비디오들에 대해 미디어 콘텐츠에 쿼리하는 제2 사용자에 의한 인덱싱된 정보에의 액세스를 제어하는 단계가 수행되고, 액세스는 제1 사용자에 의해 제2 사용자와 공유되는 디지털 키에 기초하여 제어되고, 디지털 키는 사용자 특정 데이터세트와 연관되고, 사용자 특정 데이터세트는 제1 사용자를 묘사하는 이미지들 또는 비디오들을 미디어 콘텐츠에서 식별하기 위해 인덱싱된 정보와의 비교를 위해 사용가능한, 방법.

예 2. 예 1에 있어서, 사용자 특정 데이터세트는 안전하게 암호화되고 제2 사용자에 의해 액세스불가능한, 방법.

예 3. 임의의 선행하는 예에 있어서, 이미지들의 세트는 복수의 컬러 이미지들을 포함하는, 방법.

예 4. 임의의 선행하는 예에 있어서, 제1 사용자를 묘사하는 미디어 콘텐츠로부터의 이미지들 또는 비디오들에 대한 검색 쿼리를 수신하는 단계 - 검색 쿼리는, 사용자 특정 데이터세트와 연관된 디지털 키를 포함함 -; 애플리케이션 프로그래밍 인터페이스에 의해 그리고 디지털 키를 사용하여, 미디어 콘텐츠로부터의 이미지들 또는 비디오들 중 어떤 것이 제1 사용자를 묘사하는지를 식별하기 위해 인덱싱된 정보에 액세스하는 단계; 및 제1 사용자를 묘사하는 미디어 콘텐츠로부터의 식별된 이미지들 또는 비디오들을 포함하는 검색 결과들을 제공하는 단계를 더 포함하는, 방법.

예 5. 예 4에 있어서, 디지털 키에 기초하여 사용자 특정 데이터세트를 식별하는 단계; 및 사용자 특정 데이터세트에서 하나 이상의 얼굴 임베딩과 매칭하는 하나 이상의 임베딩에 대한 인덱싱된 정보를 검색하는 단계를 더 포함하는, 방법.

예 6. 예 4 또는 예 5에 있어서, 식별된 비디오들은, 제1 사용자의 얼굴을 묘사하는 식별된 비디오에서의 하나 이상의 프레임을 포함하는, 방법.

예 7. 임의의 선행하는 예에 있어서, 미디어 스토리지는 제3자 엔티티에 의해 소유되는, 방법.

예 8. 임의의 선행하는 예에 있어서, 제1 사용자의 전자 디바이스로부터 하나 이상의 추가 이미지를 수신하는 단계; 및 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트를: 하나 이상의 추가 이미지에 머신 러닝 모델을 적용하여 하나 이상의 새로운 얼굴 임베딩을 생성하는 것; 및 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트에 하나 이상의 새로운 임베딩을 추가하는 것에 의해 업데이트하는 단계를 더 포함하는, 방법.

예 9. 임의의 선행하는 예에 있어서, 제1 사용자로부터의 사용자 입력에 기초하여, 사용자 특정 데이터세트를 생성하기 위해 이전에 사용된 이미지들의 세트로부터 하나 이상의 이미지를 삭제하는 단계 - 삭제하는 단계는 이미지들의 서브세트를 제공함 -; 및 이미지들의 서브세트에 머신 러닝 모델을 적용함으로써 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트를 업데이트하여 업데이트된 사용자 특정 데이터세트를 생성하는 단계를 더 포함하는, 방법.

예 10. 임의의 선행하는 예에 있어서, 이미지들의 세트에서 각각의 얼굴의 얼굴 경계를 검출하기 위해 얼굴 검출기를 사용하는 단계를 더 포함하는, 방법.

예 11. 임의의 선행하는 예에 있어서, 제1 사용자에 의해 다른 사용자들과 공유되는 디지털 키들의 세트를 유지하는 단계를 더 포함하고, 디지털 키들의 세트에서의 각각의 디지털 키는 상이한 사용자와 공유되는, 방법.

예 12. 임의의 선행하는 예에 있어서, 미디어 콘텐츠는, 제2 사용자와 연관된 미디어 콜렉션을 포함하고; 방법은, 제1 사용자를 묘사하는 이미지들 또는 비디오들에 대해 제2 사용자와 연관된 미디어 콜렉션을 검색하는 단계를 더 포함하는, 방법.

예 13. 임의의 선행하는 예에 있어서, 제1 사용자에 의해 제2 사용자와 공유되는 디지털 키를 삭제하기 위한 사용자 선택을 수신하는 단계; 제2 사용자의 전자 디바이스로부터 후속 검색 쿼리를 수신하는 단계 - 후속 검색 쿼리는, 제1 사용자에 의해 공유된 디지털 키를 포함함 -; 및 디지털 키가 제1 사용자에 대한 사용자 특정 데이터세트와 연관된 디지털 키들의 세트에 포함되지 않는다는 결정에 기초하여 검색 쿼리에 결과들을 반환하지 않는 단계를 더 포함하는, 방법.

예 14. 임의의 선행하는 예에 있어서, 제1 사용자를 묘사하는 미디어 콘텐츠로부터의 이미지들 또는 비디오들에 대한 제2 검색 쿼리를 제3 사용자로부터 수신하는 단계 - 제2 검색 쿼리는, 사용자 특정 데이터세트와 연관된 디지털 키를 포함하지 않음 -; 및 제2 검색 쿼리에 결과들을 반환하지 않는 단계를 더 포함하는, 방법.

예 15. 서비스 제공자 시스템으로서, 미디어 스토리지; 미디어 스토리지에 저장되는 데이터를 관리하기 위한 저장 서비스 모듈; 특정 사용자들에 대한 얼굴 임베딩들의 사용자 특정 데이터세트들을 생성하기 위한 머신 러닝 모델; 및 임의의 선행하는 예의 방법을 구현하기 위한 프로세서 및 메모리를 포함하는, 서비스 제공자 시스템.

결론

미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들을 가능하게 하기 위한 기법들 및 이 프라이버시 제어들을 가능하게 하는 장치들의 구현들이 피처들 및/또는 방법들에 특정된 언어로 설명되었지만, 첨부된 청구범위의 대상이, 설명된 특정 피처들 또는 방법들로 반드시 제한되지는 않는다는 것이 이해되어야 한다. 오히려, 미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩들을 공유하기 위한 프라이버시 제어들의 예시적인 구현들으로서 특정 피처들 및 방법들이 개시된다.

Claims

미디어 콘텐츠를 검색 및 인덱싱하기 위한 임베딩(embedding)들을 공유하기 위해 프라이버시(privacy)를 제어하는 방법으로서, 상기 방법은, 서비스 제공자 시스템에 의해:
제1 사용자의 얼굴의 이미지들의 세트를 획득하는 단계;
상기 이미지들의 세트에 머신 러닝 모델(machine-learned model)을 적용하여 상기 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트를 생성하는 단계;
미디어 스토리지(media storage)에 저장된 미디어 콘텐츠에 상기 머신 러닝 모델을 적용함으로써 상기 미디어 콘텐츠를 인덱싱하여, 상기 미디어 콘텐츠에 나타낸 하나 이상의 얼굴을 식별하는 인덱싱된 정보를 제공하는 단계; 및
애플리케이션 프로그래밍 인터페이스에 의해, 상기 제1 사용자를 묘사하는 이미지들 또는 비디오들에 대해 상기 미디어 콘텐츠에 쿼리(query)하는 제2 사용자에 의한 상기 인덱싱된 정보에의 액세스를 제어하는 단계
가 수행되고,
상기 액세스는 상기 제1 사용자에 의해 상기 제2 사용자와 공유되는 디지털 키에 기초하여 제어되고, 상기 디지털 키는 상기 사용자 특정 데이터세트와 연관되고, 상기 사용자 특정 데이터세트는 상기 제1 사용자를 묘사하는 이미지들 또는 비디오들을 상기 미디어 콘텐츠에서 식별하기 위해 상기 인덱싱된 정보와의 비교를 위해 사용가능한, 방법.
제1항에 있어서,
상기 사용자 특정 데이터세트는 안전하게 암호화되고 상기 제2 사용자에 의해 액세스불가능한, 방법.
제1항 또는 제2항에 있어서,
상기 이미지들의 세트는 복수의 컬러 이미지들을 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 사용자를 묘사하는 상기 미디어 콘텐츠로부터의 이미지들 또는 비디오들에 대한 검색 쿼리를 수신하는 단계 - 상기 검색 쿼리는 상기 사용자 특정 데이터세트와 연관된 디지털 키를 포함함 -;
상기 애플리케이션 프로그래밍 인터페이스에 의해 그리고 상기 디지털 키를 사용하여, 상기 미디어 콘텐츠로부터의 이미지들 또는 비디오들 중 어떤 것이 상기 제1 사용자를 묘사하는지를 식별하기 위해 상기 인덱싱된 정보에 액세스하는 단계; 및
상기 제1 사용자를 묘사하는 상기 미디어 콘텐츠로부터의 식별된 이미지들 또는 비디오들을 포함하는 검색 결과들을 제공하는 단계
를 더 포함하는, 방법.
제4항에 있어서,
상기 디지털 키에 기초하여 상기 사용자 특정 데이터세트를 식별하는 단계; 및
상기 사용자 특정 데이터세트에서 하나 이상의 얼굴 임베딩과 매칭하는 하나 이상의 임베딩에 대한 인덱싱된 정보를 검색하는 단계
를 더 포함하는, 방법.
제4항 또는 제5항에 있어서,
상기 식별된 비디오들은 상기 제1 사용자의 얼굴을 묘사하는 식별된 비디오에서의 하나 이상의 프레임을 포함하는, 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 미디어 스토리지는 제3자 엔티티(third-party entity)에 의해 소유되는, 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 사용자의 전자 디바이스로부터 하나 이상의 추가 이미지를 수신하는 단계; 및
상기 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트를:
상기 하나 이상의 추가 이미지에 상기 머신 러닝 모델을 적용하여 하나 이상의 새로운 얼굴 임베딩을 생성하는 것; 및
상기 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트에 상기 하나 이상의 새로운 임베딩을 추가하는 것
에 의해 업데이트하는 단계
를 더 포함하는, 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 제1 사용자로부터의 사용자 입력에 기초하여, 상기 사용자 특정 데이터세트를 생성하기 위해 이전에 사용된 이미지들의 세트로부터 하나 이상의 이미지를 삭제하는 단계 - 상기 삭제하는 단계는 이미지들의 서브세트를 제공함 -; 및
상기 이미지들의 서브세트에 상기 머신 러닝 모델을 적용함으로써 상기 제1 사용자에 대한 얼굴 임베딩들의 사용자 특정 데이터세트를 업데이트하여 업데이트된 사용자 특정 데이터세트를 생성하는 단계
를 더 포함하는, 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 이미지들의 세트에서 각각의 얼굴의 얼굴 경계를 검출하기 위해 얼굴 검출기를 사용하는 단계를 더 포함하는, 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 제1 사용자에 의해 다른 사용자들과 공유되는 디지털 키들의 세트를 유지하는 단계를 더 포함하고,
상기 디지털 키들의 세트에서의 각각의 디지털 키는 상이한 사용자와 공유되는, 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 미디어 콘텐츠는 상기 제2 사용자와 연관된 미디어 콜렉션(media collection)을 포함하고;
상기 방법은 상기 제1 사용자를 묘사하는 이미지들 또는 비디오들에 대해 상기 제2 사용자와 연관된 미디어 콜렉션을 검색하는 단계를 더 포함하는, 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 제1 사용자에 의해 상기 제2 사용자와 공유되는 디지털 키를 삭제하기 위한 사용자 선택을 수신하는 단계;
상기 제2 사용자의 전자 디바이스로부터 후속 검색 쿼리를 수신하는 단계 - 상기 후속 검색 쿼리는 상기 제1 사용자에 의해 공유된 디지털 키를 포함함 -; 및
상기 디지털 키가 제1 사용자에 대한 사용자 특정 데이터세트와 연관된 디지털 키들의 세트에 포함되지 않는다는 결정에 기초하여 상기 검색 쿼리에 결과들을 반환하지 않는 단계
를 더 포함하는, 방법.
제1항 내지 제13항 중 어느 한 항에 있어서,
상기 제1 사용자를 묘사하는 상기 미디어 콘텐츠로부터의 이미지들 또는 비디오들에 대한 제2 검색 쿼리를 제3 사용자로부터 수신하는 단계 - 상기 제2 검색 쿼리는 상기 사용자 특정 데이터세트와 연관된 디지털 키를 포함하지 않음 -; 및
상기 제2 검색 쿼리에 결과들을 반환하지 않는 단계
를 더 포함하는, 방법.
서비스 제공자 시스템으로서,
미디어 스토리지;
상기 미디어 스토리지에 저장되는 데이터를 관리하기 위한 저장 서비스 모듈;
상기 특정 사용자들에 대한 얼굴 임베딩들의 사용자 특정 데이터세트들을 생성하기 위한 머신 러닝 모델; 및
제1항 내지 제14항 중 어느 한 항의 방법을 구현하기 위한 프로세서 및 메모리
를 포함하는, 서비스 제공자 시스템.