KR20220145424A - 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측 - Google Patents

검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측 Download PDF

Info

Publication number
KR20220145424A
KR20220145424A KR1020227036225A KR20227036225A KR20220145424A KR 20220145424 A KR20220145424 A KR 20220145424A KR 1020227036225 A KR1020227036225 A KR 1020227036225A KR 20227036225 A KR20227036225 A KR 20227036225A KR 20220145424 A KR20220145424 A KR 20220145424A
Authority
KR
South Korea
Prior art keywords
user
objects
digital images
frequency
digital media
Prior art date
Application number
KR1020227036225A
Other languages
English (en)
Other versions
KR102574279B1 (ko
Inventor
로버트 로즈
쿤 카오
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority to KR1020237029582A priority Critical patent/KR20230132601A/ko
Publication of KR20220145424A publication Critical patent/KR20220145424A/ko
Application granted granted Critical
Publication of KR102574279B1 publication Critical patent/KR102574279B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/144—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서에서는, 사용자에 대한 잠재적인 관련성이 있는 주제를 예측/결정하기 위해 사용자에 의해 검색 및/또는 생성된 디지털 미디어 파일을 활용하기 위한 구현예가 설명된다. 다양한 구현예에서, 클라이언트 디바이스를 사용하여 사용자에 의해 생성 및/또는 검색된 디지털 미디어 파일(들)은 디지털 미디어 파일(들)에서 검출된 객체(들)를 나타내는 출력을 생성하기 위해 일부 경우 클라이언트 디바이스에 로컬적인 트레이닝된 기계 학습 모델(들)에 입력으로 적용될 수 있다. 디지털 미디어 파일(들) 자체를 제공하지 않고, 표시된 객체(들)를 나타내는 데이터가 원격 컴퓨팅 시스템에 제공될 수 있다. 일부 구현예에서, 표시된 객체(들)와 연관된 정보가 검색되어 사용자에게 선제적으로 출력될 수 있다. 일부 구현예에서, 디지털 미디어 파일의 코퍼스에서 객체가 발생하는 빈도는 검출된 객체가 잠재적으로 사용자와 관련될 가능성을 결정할 때 고려될 수 있다.

Description

검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측{PREDICTING TOPICS OF POTENTIAL RELEVANCE BASED ON RETRIEVED/CREATED DIGITAL MEDIA FILES}
디바이스 전송되는 데이터를 제어하는데 유용한 정보는 문서(특히 클라우드 기반 문서), 캘린더, 명시적 사용자 선호도 등과 같은 다양한 상이한 소스로부터 결정될 수 있다. 그러나 정보 소스에 대한 액세스를 제어하는 것이 바람직할 수 있다.
*본 개시는 일반적으로 사용자에 의해 검색 및/또는 생성된 디지털 미디어 파일을 활용하기 위한 방법, 장치 및 컴퓨터 판독가능 매체(일시적 및 비일시적)에 관한 것이다. 다양한 구현예에서, 디지털 사진, 디지털 비디오, 디지털 오디오 파일 등과 같은 사용자에 의해 생성/검색된 디지털 미디어 파일은 이러한 디지털 미디어 파일에 표현된 하나 이상의 객체를 검출하기 위해 다양한 기술을 사용하여 분석될 수 있다. "객체"는 사람, 장소 또는 사물을 포함할 수 있다. 특정 사람(예: 유명인), 고유한 객체(예: 호프 다이아몬드와 같은 악명 높은 객체) 등과 같은 일부 고유한 객체는, 대안적으로, 여기서 및/또는 다른 곳에서(특히, 지식 그래프의 맥락에서) "엔티티(entity)"로 언급될 수 있다. 대체 가능한 객체와 같은 대부분의 객체는 유형 또는 클래스를 가질 수 있거나/있고, 다양한 계층의 구성원일 수 있다(예: Granny Smith 사과-> 사과-> 과일-> 식물-> 생명체). 이러한 검출된 객체에 기초하여, 단독으로 또는 다른 사용자 관심 신호와 결합하여, 잠재적 관련 주제(예: 사용자 관심사)가 결정되고 사용자에게 관련 정보를 제공하는데 사용될 수 있다.
다양한 기술이 디지털 미디어 파일에 표현된 객체를 검출하기 위해 사용자에 의해 작동되는 클라이언트 디바이스에서 로컬적으로 구현될 수 있다. 이러한 검출된 객체를 나타내는 데이터는, 원격 컴퓨팅 시스템이 검출된 객체가 사용자와 관련이 있을 가능성이 있는 주제인지 여부를 결정할 수 있게 하기 위해, - 기본 디지털 미디어 파일을 제공하지 않고 - 클라이언트 디바이스에 의해 원격 컴퓨팅 서버(예: 클라우드)에 제공될 수 있다. 예를 들어, 일부 구현예에서, 하나 이상의 트레이닝된 기계 학습 모델이 클라이언트 디바이스에 로컬적으로 저장될 수 있다. 클라이언트 디바이스에서 생성/캡처된 디지털 미디어를 나타내는 데이터는 하나 이상의 객체를 나타내는 출력을 생성하기 위해 트레이닝된 기계 학습 모델에 입력으로(클라이언트 디바이스에서 로컬적으로) 적용될 수 있다. 이 출력은, 예를 들어, 하나 이상의 클라이언트 디바이스에서 사용자와 연관된 잠재적인 관련된 콘텐츠를 선제적으로 제시하기 위해 위에서 설명한대로 사용될 수 있다.
본 명세서에 설명된 기술은 다양한 기술적 이점을 발생시킨다. 예를 들어, 사용자에 의해 생성 및/또는 검색된 디지털 미디어 파일에서 객체를 검출하기 위해 로컬, 온-디바이스 모델을 사용하면, 사용자의 디지털 미디어 파일(특히 사용자가 만든 것으로 매우 사적인 것으로 간주되는 것)을 클라우드에 노출하지 않고도, 원격 서버로 하여금 사용자의 디지털 미디어 파일과 연관된 정보를 사용하게 할 수 있다. 또한 로컬, 온-디바이스 모델을 사용하면, 잠재적인 관련 주제와 연관된 정보를 제공하는데 사용되는 데이터를 클라이언트 디바이스에 의해 전송되게 할 수 있으며, 여기서, 데이터는 디지털 미디어 파일이 전송되는 경우보다 네트워크 대역폭을 덜 소비한다. 이는, 예를 들어, 클라이언트 디바이스가 제한된 대역폭 네트워크 연결을 사용하고 관련 정보가 클라이언트 디바이스에 보다 빠르게 제공되게 할 수 있는 상황에서 유용할 수 있다(예: 더 높은 대역폭의 네트워크 연결을 사용하기 위해 클라이언트 디바이스를 기다릴 필요 없음).
다른 예로, 사용자와 잠재적인 관련성이 있는 주제를 식별하고 이러한 주제를 사용하여 사용자에게 제시되는 콘텐츠를 획득/생성/큐레이팅하는 것은 사용자가 원하는 콘텐츠에 도달하는데 필요한 입력을 줄일 수 있다. 예를 들어, 본 명세서에 설명된 기술을 사용하여 식별된 주제를 기반으로 검색 결과의 순위를 매기는 것은 사용자가 더 적은 입력으로 원하는 것을 더 빨리 찾을 수 있도록 하여 네트워크 대역폭, 메모리, 배터리 전력 등과 같은 컴퓨팅 리소스를 절약할 수 있다. 이를 위해, 다양한 구현예에서, 사용자와 잠재적인 관련성이 있는 주제(예: 사용자의 프로필과 연관됨)는 향후 사용을 위해 사용자와 관련하여 메모리(예: 사용자에 의해 작동되는 하나 이상의 클라이언트 디바이스 및/또는 클라우드에 있는 메모리)에 유지될 수 있다. 다른 예로서, 사용자에 의해 생성되거나 적어도 편집된 디지털 미디어 파일은 사용자에 의해 수동적으로 검색(예: 보기, 재생 등)되는 디지털 미디어 파일, 다른 사용자와 공유된 파일 또는 검색 기록과 같은 기타 신호(더 많은 핵심 관심사보다는 과거 관심사를 나타낼 수 있음)보다 사용자의 관심을 더 잘 나타낼 수 있다. 결과적으로, 본 명세서에 설명된 기술은 사용자와 관련성이 높은 주제를 식별하고 사용자 경험을 개선할 수 있다.
일 양태에서, 하나 이상의 프로세서에 의해 구현되는 방법은: 상기 클라이언트 디바이스로 사용자에 의해 생성된 하나 이상의 디지털 미디어 파일을 획득하는 단계; 상기 하나 이상의 디지털 미디어 파일을 상기 클라이언트 디바이스에 로컬적인 하나 이상의 트레이닝된 기계 학습 모델에 입력으로 적용하는 단계, 상기 하나 이상의 트레이닝된 기계 학습 모델은 상기 하나 이상의 디지털 미디어 파일 각각에서 검출된 하나 이상의 객체를 나타내는 출력을 생성하며; 상기 하나 이상의 디지털 미디어 파일을 제공하지 않고 상기 표시된 하나 이상의 객체를 나타내는 데이터를 원격 컴퓨팅 시스템에 제공하는 단계; 동일한 원격 컴퓨팅 시스템 또는 다른 원격 컴퓨팅 시스템으로부터 상기 표시된 하나 이상의 객체와 연관된 정보를 수신하는 단계; 및 상기 표시된 하나 이상의 객체와 연관된 정보를 상기 동일한 클라이언트 디바이스 또는 상기 사용자에 의해 작동되는 다른 클라이언트 디바이스에서 사용자에게 선제적으로 출력하는 단계를 포함할 수 있다.
다양한 구현예에서, 상기 제공은 원격 컴퓨팅 시스템으로 하여금 상기 식별된 하나 이상의 객체에 기초하여 검색 쿼리를 작성하게 할 수 있고, 상기 표시된 하나 이상의 객체와 연관된 정보는 작성된 검색 쿼리에 대한 응답인 정보를 포함할 수 있다.
다양한 구현예에서, 상기 방법은, 상기 원격 컴퓨팅 시스템으로부터 상기 검색 쿼리를 수신하는 단계; 및 발행에 응답하여 상기 검색 쿼리에 대한 응답인 정보를 수신하기 위해, 상기 검색 쿼리를 발행하는 단계를 더 포함할 수 있다. 다양한 구현예에서, 상기 원격 컴퓨팅 시스템은 상기 작성된 검색 쿼리에 대한 응답인 정보를 획득하기 위해 상기 작성된 검색 쿼리 자체를 사용할 수 있다.
다양한 구현예에서, 상기 원격 컴퓨팅 시스템은 상기 표시된 하나 이상의 객체를 나타내는 데이터에 기초하여 사용자와 잠재적으로 관련된 하나 이상의 주제를 결정할 수 있고, 상기 표시된 하나 이상의 객체와 연관된 정보는 데이터베이스에서 상기 하나 이상의 관심과 관련된 정보를 포함할 수 있다.
다른 양태에서, 사용자에 의해 작동되는 하나 이상의 클라이언트 디바이스로부터 하나 이상의 디지털 미디어 파일을 나타내는 데이터를 수신하는 단계; 상기 하나 이상의 디지털 미디어 파일을 나타내는 데이터에 기초하여 상기 하나 이상의 디지털 미디어 파일 각각에서 검출된 하나 이상의 객체를 식별하는 단계; 사용자 집단에 의해 제공되는 디지털 미디어 파일의 코퍼스에서 상기 하나 이상의 객체 각각의 빈도를 결정하는 단계; 대응하는 빈도에 기초하여 하나 이상의 객체를 선택하는 단계; 상기 선택된 하나 이상의 객체에 기초하여 사용자와 잠재적으로 관련성이 있는 하나 이상의 주제를 식별하는 단계; 상기 식별된 하나 이상의 주제에 기초하여 검색 쿼리를 작성하는 단계; 및 상기 작성된 검색 쿼리에 대한 응답인 정보가 사용자에 의해 작동되는 하나 이상의 상기 클라이언트 디바이스에서 선제적으로 출력되게 하는 단계를 포함하는 컴퓨터 구현 방법을 제공할 수 있다.
다양한 구현예에서, 상기 하나 이상의 디지털 미디어 파일을 나타내는 데이터는 하나 이상의 디지털 이미지를 포함할 수 있고, 상기 하나 이상의 객체를 식별하는 것은 하나 이상의 디지털 이미지에 대해 이미지 인식을 수행하여 상기 하나 이상의 디지털 이미지를 식별하는 것을 포함할 수 있다. 다양한 구현예에서, 상기 하나 이상의 디지털 미디어 파일을 나타내는 데이터는 하나 이상의 오디오 파일을 포함할 수 있고, 상기 하나 이상의 객체를 식별하는 것은 하나 이상의 객체를 식별하기 위해 하나 이상의 오디오 파일에 대한 오디오 분석을 수행하는 것을 포함할 수 있다.
다양한 구현예에서, 상기 하나 이상의 디지털 미디어 파일을 나타내는 데이터는 하나 이상의 디지털 미디어 파일로부터 추출된 하나 이상의 특징 벡터 또는 감소된 차원 임베딩을 포함할 수 있다. 다양한 구현예에서, 상기 선택은 상기 하나 이상의 디지털 미디어 파일에서 상기 하나 이상의 객체의 위치에 더 기초할 수 있다.
다양한 구현예에서, 상기 선택은 상기 하나 이상의 디지털 미디어 파일에서 상기 하나 이상의 객체의 초점의 측정에 더 기초할 수 있다. 다양한 구현예에서, 상기 선택은 상기 하나 이상의 클라이언트 디바이스로부터 수신된 상기 하나 이상의 디지털 미디어 파일과 관련된 위치 좌표에 더 기초할 수 있다. 다양한 구현예에서, 상기 선택은 상기 사용자가 상기 하나 이상의 클라이언트 디바이스로부터 수신된 상기 하나 이상의 디지털 미디어 파일을 생성 또는 검색했는지 여부에 더 기초할 수 있다.
구현예는 사용자에 의해 검색 및/또는 생성된 디지털 미디어 파일을 활용하여 사용자와 잠재적인 관련성이 있는 주제(예를 들어, 그들의 관심사 또는 가까운 타인의 관심사, 사용자 선호도 등)를 예측/결정할 수 있다. 다양한 구현예에서 해당 주제와 연관된 정보 및/또는 데이터가 사용자에게 선제적으로 제공될 수 있다. 일 양태에서, 사용자에 의해 생성/검색된 디지털 미디어 파일(들)에서 검출된 객체는 사용자와 잠재적인 관련성의 주제(들)를 식별하기 위해 다양한 용도로 활용될 수 있다. 사용자 집단에 의해 획득된 디지털 사진의 코퍼스 중에서 흔히 볼 수 있는 사용자의 디지털 사진(및/또는 디지털 비디오)에서 검출된 배경 및/또는 부수적인 객체, 예를 들어, 가구, 나무, 풍경 등은 사용자의 관심을 크게 나타내지 않을 수 있다. 대조적으로, 디지털 사진의 코퍼스에서 더 적은 빈도로 접하는 덜 일반적인 객체는 사용자의 관심을 더 잘 나타낼 수 있다. 사용자에 의해 촬영된 여러 디지털 사진에서 이러한 덜 일반적인 객체가 검출되는 경우 특히 그렇다. 예를 들어, 사용자 집단이 획득한 디지털 사진의 코퍼스에서 버번 병이 특히 일반적이지 않은 경우, 버번 병이 특정 사용자의 디지털 사진에서 많이 사용된다는 사실은 버번 또는 적어도 버번 병에 대한 사용자의 관심을 나타낼 가능성이 높다. 대안으로, 이 사실은 장식용 병 또는 기타 특이한 병에 대한 사용자의 관심을 나타낼 수 있다. 그리고 다른 종류의 병(예: 버번 병, 스카치 병, 와인 병, 약병 등)의 사진이 여러 장 있으면 병에 대한 일반적인 관심을 나타낼 수 있다. 또 다른 예로서, 하나 이상의 버번 병이 사용자의 사진에 나타나지만 사용자가 증류소의 사진을 보거나 생성하는 경우(예: 증류소 투어 중) 및/또는 버번 라벨의 사진을 보거나 생성하는 경우, 이것들은 집합적으로 버번에 대한 일반적인 관심을 나타내는 강력한 신호일 수 있다.
사용자와 잠재적인 관련성이 있는 주제가 여기에 설명된 기술을 사용하여 식별되면, 이러한 식별된 주제는 다양한 목적으로 사용될 수 있다. 일부 구현예에서, 식별된 주제와 연관된 정보는 획득되고, 예를 들어, 스마트폰의 터치 스크린에 표시되는 알림 "카드"또는 "타일"로, 사용자가 사람 대 컴퓨터 대화 세션, 수신 텍스트 메시지 등에 참여하는 자동화된 어시스턴트로부터의 출력 등으로 사용자에게 선제적으로 "푸시"되거나 제시될 수 있다. 일부 구현예에서, 사용자와 잠재적인 관련성이 있는 주제는 검색 쿼리를 작성하기 위해, 예를 들어, 사용자가 운영하는 클라이언트 디바이스 또는 "클라우드"라고 불리는 것을 형성하는 원격 컴퓨팅 서버에 의해 사용될 수 있다. 이 검색 쿼리에 대한 응답인 정보를 획득하여 사용자에게 푸시할 수 있다. 추가적으로 또는 대안적으로, 일부 구현예에서, 하나 이상의 사용자 주제는 상기 주제가 잠재적으로 사용자와 관련이 있다고 결정되면 사용자에게 자동으로 제시되는 다양한 미리 결정된 콘텐츠(예를 들어, 선별된 컨텐츠)와 함께 데이터베이스에서 연관될 수 있다.
이와 같은 구현을 통해 사용자 자신이 알지 못하는 사용자와 연관된 잠재적 인 주제를 식별할 수 있다. 예를 들어, 한 아버지가 가족의 디지털 사진 및/또는 디지털 비디오를 여러 장 획득했다고 가정한다. 또한 그의 자녀 중 한 명이 특정 유형의 객체와 상호 작용하는 이러한 디지털 미디어 파일에서 일관되게 묘사된다고 가정한다. 예를 들어, 한 사진에서는 아들이 장난감 오토바이를 가지고 놀고 있고, 다른 사진에서는 아들이 오토바이를 묘사한 셔츠를 입고 있고, 다른 예에서는 아들이 삼촌의 오토바이 위에서 포즈를 취하고 있다. 어떤 이유로 아버지가 아들의 오토바이에 대한 관심을 의식적으로 인식하지 못하더라도 본 명세서에 설명된 기술을 통해 아들의 관심사이기 때문에 "오토바이"라는 주제가 아버지와 관련이 있음을 식별할 수 있다(아버지가 오토바이에 전혀 관심이 없더라도 오토바이에 대한 아들의 관심은 적어도 아버지와 관련이 있을 수 있다). 결과적으로 오토바이와 연관된 정보가 아버지에게 푸시될 수 있다. 예를 들어, 아들의 생일이 다가오면 아버지는 아들을 위한 오토바이 관련 선물에 대한 정보를 받을 수 있다.
다른 구현예는 전술 한 방법 중 하나 이상과 같은 방법을 수행하기 위해 프로세서에 의해 실행 가능한 명령어를 저장하는 비일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 또 다른 구현은 메모리 및 상기 설명된 방법 중 하나 이상과 같은 방법을 수행하기 위해 메모리에 저장된 명령어를 실행하도록 동작할 수 있는 하나 이상의 프로세서를 포함하는 시스템을 포함할 수 있다.
전술한 개념 및 본 명세서에 더 상세히 설명된 추가 개념의 모든 조합은 본 명세서에 개시된 주제의 일부인 것으로 고려된다는 것을 이해해야 한다. 예를 들어, 본 개시의 끝에 나타나는 청구된 주제의 모든 조합은 여기에 개시된 주제의 일부인 것으로 고려된다.
도 1은 본 개시의 양태들을 선택하는 것이 구현될 수 있는 예시적인 환경을 예시한다.
도 2, 도 3 및 도 4는 다양한 구현에 따라 본 명세서에 설명된 기술이 사용될 수 있는 예시적인 시나리오를 도시한다.
도 5는 본 명세서에 설명된 기술의 수행 후에 콘텐츠가 어떻게 선제적으로 출력될 수 있는지의 예를 개략적으로 보여준다.
도 6은 본 개시의 선택된 양태들을 수행하는 예시적인 방법을 예시하는 흐름도를 도시한다.
도 7은 본 개시의 선택된 양태들을 수행하는 예시적인 방법을 예시하는 다른 흐름도를 도시한다.
도 8은 컴퓨터 시스템의 예시적인 아키텍처를 개략적으로 도시한다.
도 1은 디지털 미디어 파일의 사용자의 생성 및/또는 검색(예를 들어, 소비)으로부터 정보가 결정될 수 있는 예시적인 환경을 도시한다. 상기 예시적인 환경은 클라이언트 디바이스(106) 및 클라우드 기반 시스템(102)을 포함한다. 클라우드 기반 시스템(102)은, 예를 들어, 네트워크(도시되지 않음)를 통해 통신하는 하나 이상의 컴퓨터에서 구현될 수 있다. 클라우드 기반 시스템(102)은 본 명세서에 설명된 시스템, 구성 요소 및 기술이 구현될 수 있는 시스템의 예 및/또는 본 명세서에 설명된 시스템, 구성 요소 및 기술이 인터페이싱할 수 있는 시스템의 예일 수 있다. 본 명세서에서 "클라우드 기반 시스템"에서 대부분 구현되는 것으로 설명되었지만, 개시된 기술은 실제로 이메일 시스템, 문자 메시지 시스템, 소셜 네트워킹 시스템, 음성 메일 시스템, 생산성 시스템, 엔터프라이즈 소프트웨어, 검색 엔진 등 다양한 목적을 제공하는 시스템에서 수행될 수 있다.
사용자는 클라이언트 디바이스(106)를 통해 클라우드 기반 시스템(102)과 상호 작용할 수 있다. 다른 컴퓨터 디바이스는 추가 클라이언트 디바이스 및/또는 클라우드 기반 시스템(102)의 제공자와 제휴한 웹 사이트를 위한 서비스를 구현하는 하나 이상의 서버를 포함하지만 이에 제한되지 않는 클라우드 기반 시스템(102)과 통신할 수 있다. 그러나, 간결함을 위해, 예는 클라이언트 디바이스(106)의 맥락에서 설명된다.
클라이언트 디바이스(106)는 LAN(Local Area Network)과 같은 네트워크 또는 인터넷과 같은 WAN(Wide Area Network)(일반적으로 112로 표시된 하나 이상의 네트워크)을 통해 클라우드 기반 시스템(102)과 통신하는 컴퓨터일 수 있다. 클라이언트 디바이스(106)는, 예를 들어, 데스크탑 컴퓨팅 디바이스, 랩톱 컴퓨팅 디바이스, 태블릿 컴퓨팅 디바이스, 모바일 전화 컴퓨팅 디바이스, 사용자 차량의 컴퓨팅 디바이스(예를 들어, 차량 내 통신 시스템, 차량용 엔터테인먼트 시스템, 차량용 내비게이션 시스템), 음성 인터랙티브 개인용 디지털 어시스턴트("자동 어시스턴트"라고도 함)를 작동하는 독립형 인터랙티브 스피커 또는 컴퓨팅 디바이스(예를 들어, 컴퓨팅 디바이스를 갖는 사용자의 시계, 컴퓨팅 디바이스를 갖는 사용자의 안경, 웨어러블 음악 플레이어)를 포함하는 사용자의 웨어러블 장치일 수 있다. 추가 및/또는 대체 클라이언트 디바이스가 제공될 수 있다.
클라이언트 디바이스(106)는 다양한 소프트웨어 및/또는 하드웨어 구성 요소를 포함할 수 있다. 예를 들어, 도 1에서, 클라이언트 디바이스(106)는 비전 센서(107) 및 마이크로폰(108)을 포함한다. 비전 센서(107)는 디지털 카메라, 수동 적외선("PIR") 센서, RGBd 센서, 입체 카메라 등과 같은 다양한 형태를 취할 수 있다. 비전 센서(106)는, 하나 이상의 디지털 이미지를, 예를 들어, 독립형 디지털 이미지로서 및/또는 디지털 비디오를 형성하는 일련의 디지털 이미지 프레임으로서 캡처하도록, 예를 들어, 사용자(도시되지 않음)에 의해 작동될 수 있다. 마이크로폰(108)은 사용자에 의한 발화와 같은 다양한 사운드를 캡처하도록, 예를 들어 사용자에 의해, 작동될 수 있다. 일부 시나리오에서, 비전 센서(107) 및 마이크로폰(108)은, 예를 들어 비디오 레코딩과 같은 멀티미디어 오디오/비주얼 디지털 미디어 파일을 캡처하기 위해 함께 사용될 수 있다.
클라이언트 디바이스(106)는 또한 다양한 소프트웨어를 실행할 수 있다. 예를 들어, 도 1에 도시 된 구현예에서, 클라이언트 디바이스(106)는 미디어 클라이언트(109) 및 객체 인식 클라이언트(110)를 실행한다. 다양한 구현예에서, 미디어 클라이언트(109)는 디지털 미디어 파일을 생성 및/또는(예를 들어, 소비를 위해) 검색하도록, 예를 들어 사용자에 의해, 동작 가능할 수 있다. 본 명세서에서 사용된 바와 같이, "디지털 미디어 파일"은 디지털 이미지(예를 들어, 사진), 디지털 비디오(사운드 포함 또는 제외), 컴퓨터 지원 디자인("CAD") 파일, 오디오 파일(예: 노래, 팟 캐스트 등) 등을 포함할 수 있다. 일부 구현예에서, 클라이언트 디바이스(106)는 예를 들어, 다수의 상이한 유형의 디지털 미디어 파일에 대해 다수의 미디어 클라이언트(109)를 실행할 수 있다. 그러나, 간결함과 단순함을 위해, 본 명세서에서 언급된 구현은 단일 미디어 클라이언트(109)가 설치된 것으로 설명될 것이다. 일부 구현예에서, 미디어 클라이언트(109)를 사용하여 생성된 디지털 미디어 파일은, 예를 들어, 온라인 저장 엔진(120)에 의해 하나 이상의 클라우드 저장 데이터베이스(122)에 안전 및/또는 보안 저장을 위해, 클라우드 기반 시스템(102)에 업로드(예를 들어, 백업, 전송)될 수 있다. 추가적으로 또는 대안 적으로, 온라인 저장 엔진(120)은, 사용자가 소셜 네트워크 계정에 업로드하거나 공유하는 디지털 미디어 파일이 여기에 설명된 기술을 사용하여 분석될 수 있도록, 소셜 네트워크의 일부를 형성할 수 있다.
객체 인식 클라이언트(110)는 미디어 클라이언트(109)를 사용하여 검색 및/또는 생성되는 디지털 미디어 파일에 표현되는 객체를 인식하도록 구성될 수 있다. 일부 구현예에서, 모든 객체 인식은 클라우드 기반 시스템(102)에서 수행될 수 있으며, 이 경우 객체 인식 클라이언트(110)는 클라이언트 디바이스(106)에 설치되지 않을 수 있다. 그러나, 일부 구현예에서, 객체 인식 클라이언트(110)는 사용자의 프라이버시를 보존하기 위해 클라이언트 디바이스(106)에 설치될 수 있다. 예를 들어, 일부 구현예에서, 객체 인식 클라이언트(110)는 "온-디바이스"객체 인식 모델 데이터베이스(111)에 대한 액세스를 가질 수 있다("인덱스"및 "데이터베이스"라는 용어는 본 명세서에서 상호 교환적으로 사용됨). 온-디바이스 모델 데이터베이스(111)는 하나 이상의 객체 인식 모듈 및/또는 디지털 미디어 파일에 표현된 객체를 검출하기 위해 및/또는 하나 이상의 검출된 객체를 나타내는 출력을 제공하기 위해, 예를 들어, 객체 인식 클라이언트(110)가 사용할 수 있는 모델을 저장할 수 있다. 따라서, 객체가 검출된 디지털 미디어 파일의 원시 데이터가 아니라 이러한 모델에 의해 생성된 데이터가 클라우드 기반 시스템(102)에 제공될 수 있다. 객체 인식이 수행되는 방법의 예는 아래에 설명된다.
일부 구현예에서, 클라이언트 디바이스(106) 및 클라우드 기반 시스템(102)은 각각 데이터 및 소프트웨어 애플리케이션의 저장을 위한 메모리, 데이터에 액세스하고 애플리케이션을 실행하기 위한 프로세서 및 네트워크(112)를 통한 통신을 용이하게 하는 컴포넌트를 포함한다. 클라이언트 디바이스(106) 및/또는 클라우드 기반 시스템(102)에 의해 수행되는 동작은 다수의 컴퓨터 시스템에 분산될 수 있다. 클라우드 기반 시스템(102)은 예를 들어 네트워크를 통해 서로 결합된 하나 이상의 위치에 있는 하나 이상의 컴퓨터에서 실행되는 컴퓨터 프로그램으로서 구현될 수 있다.
다양한 구현예에서, 클라우드 기반 시스템(102)은 온라인 저장 엔진(120), 객체 인식 엔진(124), 객체 빈도 엔진(128), 주제 식별 엔진(132) 및/또는 지식 그래프 엔진(136)을 포함할 수 있다. 일부 구현예에서 하나 이상의 엔진들(120, 124, 128, 132 및/또는 136)은 결합 및/또는 생략될 수 있다. 일부 구현예에서, 하나 이상의 엔진들(120, 124, 128, 132 및/또는 136)은 클라우드 기반 시스템(102)과 분리된 구성 요소에서 구현될 수 있다. 일부 구현예에서, 하나 이상의 엔진들(120, 124, 128, 132 및/또는 136) 또는 그것들의 작동 부분은 클라이언트 디바이스(106)에 의해 실행되는 구성 요소에서 구현될 수 있다.
본 명세서에서 "데이터베이스" 및 "인덱스"라는 용어는 어느 데이터 모음을 지칭하기 위해 상호 교환 가능하고 광범위하게 사용된다. 데이터베이스 및/또는 인덱스의 데이터는 특정 방식으로 구조화할 필요가 없으며 하나 이상의 지리적 위치에 있는 저장 장치에 저장할 수 있다. 따라서, 예를 들어, 인덱스(111, 122, 126, 130, 134, 138)는 다수의 데이터 콜렉션을 포함할 수 있으며, 이들 각각은 다르게 구성되고 액세스될 수 있다.
이제 클라우드 기반 시스템(102)으로 넘어 가면, 다양한 구현예에서, 온라인 저장 엔진(120)은, 디지털 미디어 파일과 같은, 사용자의 다양한 유형의 디지털 콘텐츠를 종종 "클라우드 스토리지"로 지칭되는 클라우드 스토리지(122)에 저장하도록 구성될 수 있다. 예를 들어, 사용자는 사용자에 의해 작동되는 다수의 클라이언트 디바이스(106) 사이에서 데이터를 동기화하는 온라인 프로파일을 가질 수 있다. 이 동기화는 온라인 저장 엔진(120)에 의해, 예를 들어, 클라우드 저장 장치(122)에 동기화될 모든 사용자의 디지털 콘텐츠의 사본을 저장함으로써, 용이해질 수 있다. 사용자는, 예를 들어, 콘텐츠를 직접 업로드하는 것 및/또는 클라우드 스토리지 용으로 지정된 하나 이상의 클라이언트 디바이스(106) 상의 저장 폴더(들)에 그 컨텐츠를 저장함으로써, 온라인 저장 엔진(120)이 클라우드 저장 장치(122)에 디지털 콘텐츠를 의도적으로 저장하게 할 수 있다. 추가적으로 또는 대안적으로, 일부 구현예에서, 사용자의 다양한 디지털 콘텐츠는, 예를 들어, 온라인 저장 엔진(120)에 의해, 자동 백업 프로세스의 일부로서 인덱스(122)에 자동으로 저장될 수 있다. 예를 들어, 일부 클라우드 컴퓨팅 서비스 제공 업체는 사용자에게 디지털 사진, 비디오 또는 기타 디지털 미디어 파일의 무료 또는 유료 자동 백업을 제공한다.
객체 인식 클라이언트(110)와 같이, 객체 인식 엔진(124)은 디지털 미디어 파일에 표현된 객체를 식별하도록 구성될 수 있다. 그러나, 객체 인식 클라이언트(110)는 리소스가 제한된 클라이언트 디바이스(106)에서 동작하므로, 제한된 기능을 가질 수 있다. 예를 들어, 일부 구현예에서, 제한된 수의 온 디바이스 객체 인식 모델이 온 디바이스 모델 인덱스(111)에 저장될 수 있다. 대조적으로, 객체 인식 엔진(124)은 객체 인식을 수행하기 위해 클라우드의 사실상 무한한 자원을 활용할 수 있을 수 있으며, 따라서 객체 인식 클라이언트(110)보다 훨씬 더 능력 있고 강력할 수 있다. 예를 들어, 객체 인식 엔진(124)은 객체 인식 클라이언트(110)에 이용 가능한 온-디바이스 인덱스(111)보다 훨씬 더 큰 객체 인식 모듈 및/또는 모델의 인덱스(126)에 액세스 할 수 있다. 일부 구현예에서, 객체 인식 클라이언트(110)가 디지털 미디어 파일에서 하나 이상의 객체를 검출/인식할 수 없거나 적어도 충분한 확신을 가지고 이들을 인식할 수 없는 경우, 디지털 미디어 파일(또는, 이를 나타내는 데이터의 일부 변형)은 객체 인식 분석을 수행하기 위해 객체 인식 엔진(124)에 제공될 수 있다.
객체 인식 및/또는 검출는, 예를 들어, 객체 인식 클라이언트(110) 및/또는 객체 인식 엔진(124)에 의해, 다양한 상이한 기술을 사용하여 수행될 수 있다. 일부 구현예에서, 온 디바이스 모델 인덱스(111) 및/또는 클라우드 기반 모델 인덱스(126)는, 예를 들어, 하나 이상의 비전 센서(예: 107)에 의해 획득된 비전 및/또는 깊이 데이터 사용하여, 객체 유형에 대한 추론을 제공하기 위해 사용 및 / 또는 트리거되는 객체 모델(예 : 컴퓨터 지원 설계 또는 "CAD"기반)을 포함 할 수 있다. 추가적으로 또는 대안적으로, 온 디바이스 모델 인덱스(111) 및/또는 클라우드 기반 모델 인덱스(126)는 2D 패턴 또는 하나 이상의 비전 센서(예: 107)에 의해 캡처 된 2D 이미지 데이터(예: 비디오 프레임)의 일부에 매칭되는 객체의 프로파일을 포함할 수 있다. 또 다른 구현예에서, 온 디바이스 모델 인덱스(111) 및/또는 클라우드 기반 모델 인덱스(126)는 객체 유형에 대한 추론을 제공하기 위해 객체 인식 클라이언트(110) 및/또는 객체 인식 엔진(124)에 의해 구현/트리거될 수 있는 루틴(예: 상태 머신)을 포함할 수 있다. 일부 구현예에서, 객체 인식 클라이언트(110) 및/또는 객체 인식 엔진(124)은, 예를 들어, 이미지의 배경(예: 거리 표지판 또는 상점 앞), 이미지에 묘사된 의복 등에 포함된 텍스트를 인식하기 위해 광학 문자 인식("OCR")을 사용하여, 디지털 이미지에서 텍스트 콘텐츠를 검출할 수 있다.
일부 구현예에서, 하나 이상의 기계 학습 모델은 디지털 미디어 파일에서 검출된 하나 이상의 객체를 나타내는 출력을 생성하도록 트레이닝될 수 있다. 예를 들어, 하나 이상의 컨볼루션 신경망("CNN")은, 디지털 이미지 파일(개별 사진 또는 비디오 프레임)을 기반으로, 디지털 미디어 파일에서 검출된 하나 이상의 객체를 나타내는 출력을 생성하도록 트레이닝될 수 있으며, 일부 경우에는 이러한 검출된 객체와 연관된 신뢰도를 생성할 수 있다.
비 제한적인 예로서, CNN은 디지털 이미지의 코퍼스를 사용하여 트레이닝될 수 있으며, 각각은 디지털 이미지에서 표현되는 하나 이상의 객체로 레이블이 지정된다. 각 트레이닝 예제는 출력을 생성하기 위해 CNN을 통해 입력으로 적용될 수 있다. 그런 다음 출력은 차이 또는 오류를 결정하기 위해 학습 예제와 연관된 레이블과 비교될 수 있다. 이 오류를 기반으로, 역 전파, 경사 하강 법 등과 같은 다양한 기술을 CNN 훈련에 사용할 수 있다. 학습되면(예 : 수백 또는 수천 개의 학습 예제 사용) 레이블이 지정되지 않은 디지털 이미지가 CNN 전체에 입력으로 적용되어 디지털 이미지에서 검출 된 하나 이상의 물체를 나타내는 출력을 생성할 수 있으며, 일부 경우에는 출력의 신뢰도 측정을 생성할 수 있다.
(개별 디지털 사진이든 디지털 비디오 프레임이든) 디지털 이미지에서 물체를 인식하는 것 외에도, 일부 구현예에서, 객체 인식 클라이언트(110) 및/또는 객체 인식 엔진(124)은 디지털 오디오 콘텐츠(독립형이든 수반되는 디지털 비디오이든)에서 객체(또는 보다 일반적으로, 주제)를 검출하도록 구성될 수 있다. 예를 들어, 일부 구현예에서, 객체 인식 클라이언트(110) 및/또는 객체 인식 엔진(124)은 오디오 데이터에서 객체의 언급을 검출하기 위해 음성 인식과 같은 기술을 사용할 수 있다. 일부 구현예에서, 온-디바이스 모델 인덱스(111) 및/또는 클라우드 기반 모델 인덱스(126)는 오디오 데이터에서 다양한 객체의 언급을 검출하도록 트레이닝된 하나 이상의 기계 학습 모델과 같은 하나 이상의 모델을 저장할 수 있다. 추가적으로 또는 대안 적으로, 일부 구현예에서, 객체 인식 클라이언트(110) 및/또는 객체 인식 엔진(124)은 오디오 데이터로부터 음성 인식 출력(즉, 텍스트)을 생성하기 위해 음성-텍스트 처리를 이용하고, 그런 다음 언급된 객체 또는 보다 일반적으로 사용자가 관심을 가질 수 있는 주제를 식별하기 위해 자연어 처리, 엔티티 태그 지정 등과 같은 기술을 사용하여 텍스트를 분석한다.
주제 식별 엔진(132)은, 다양한 신호에 기초하여, 하나 이상의 사용자와 잠재적인 관련성이 있는 하나 이상의 주제를 식별하도록 구성될 수 있다. 일부 구현예에서, 예를 들어 클라이언트 디바이스가 고 대역폭 데이터 컨넥션에 연결된 경우 클라이언트 디바이스에서 정보 캐싱, 순위 검색 결과, 대체 검색어 제안 생성, 디지털 콘텐츠 선택 및 제시, 미디어/레스토랑/기타 추천 등을 포함하되 이에 국한되지 않는, 다양한 목적으로 나중에 사용할 수 있도록, 이러한 주제는, 예를 들어 적용 가능한 사용자와 관련한 사용자 관심 인덱스(134)에 저장될 수 있다. 이러한 신호는 다양한 형태를 취할 수 있으며 다양한 소스에서 올 수 있다. 일부 구현예에서, 주제 식별 엔진(132)은 사용자에 의해 생성 및/또는 검색된 디지털 미디어 파일에 대해 객체 인식 클라이언트(110) 및/또는 객체 인식 엔진(124)에 의해 수행되는 분석에 기초하여 사용자에게 잠재적 인 관심 또는 관련성 있는 주제를 식별할 수 있다. 예를 들어, 객체 인식 엔진(124)이 사용자에 의해 캡처 된 다수의 디지털 사진에서 클래식 자동차의 다수의 표현을 검출한다고 가정하자. 사용자가 클래식 자동차에 대한 관심을 명시적으로 나타내지 않은 경우에도, 이러한 검출는, 사용자가 클래식 자동차에 잠재적으로 관심이 있을 수 있음을 결정하기 위해, 예를 들어 주제 식별 엔진(132)에 의해, 사용될 수 있다.
디지털 미디어 파일에서 객체가 검출된다는 사실 외에도 디지털 미디어 파일의 다양한 다른 속성, 그리고 해당 파일에서 검출된 객체의 역할 또는 중요성도 주제 식별 엔진(132)에 의해 고려될 수 있다. 일부 구현예에서, 디지털 이미지 내에서 검출된 객체의 돌출부는 결정될 수 있고(예를 들어, 110/124에서) 사용자와 연관된 주제로서 물체의 잠재력에 가중치를 부여하는 데 사용될 수 있다. 예를 들어, 이미지 내에서 검출 된 물체의 위치, 전체 이미지에 대한 검출 된 물체의 크기, 이미지에서 검출 된 다른 물체에 대한 검출 된 물체의 크기, 다른 물체에 대한 물체의 초점 측정 검출 된 객체(예 : 다른 검출 된 객체에 비해 객체가 얼마나 흐릿한 지), 하나 이상의 이미지에서 특정 유형의 객체의 수(예 : 사진에 묘사 된 3 개의 사과가 하나의 사과보다 관련성이 더 높을 수 있음), 다른 유사한 데이터 포인트는 예를 들어, 물체 인식 클라이언트(110) 및/또는 물체 인식 엔진(124)에 의해 제공될 수 있고, 검출된 물체의 돌출 측정을 결정할 때(예를 들어, 주제 식별 엔진(132)에 의해) 고려될 수 있다. 일부 구현예에서, 객체(보다 일반적으로 대상에서 결정된 주제)가 사용자와 잠재적으로 관련성이 있다고 간주되어야 하는지 여부(또는 그 정도)를 결정하기 위해, 특정 검출된 객체의 돌출의 측정값이, 예를 들어, 주제 식별 엔진(132)에 의해, 하나 이상의 임계 값 및/또는 다른 검출된 객체와 연관된 하나 이상의 기타 돌출 측정값과 비교될 수 있다.
예를 들어, 특정 유형의 자동차가, 이미지의 중간, 전경 등과 같은, 하나 이상의 디지털 이미지에 눈에 띄게 표시되는 경우, 검출된 자동차(보다 일반적으로 여기에서 파생된 주제)가 사용자의 관심을 끌 가능성이 매우 높을 수 있다. 반대로, 객체가 디지털 이미지의 배경에서 검출되거나 측면에서 벗어 났거나 이미지에서 완전히 묘사되지 않은 경우(예: 상단, 측면 등에서 잘림), 디지털 미디어 파일에서 객체의 표현이 단순히 우연적 및/또는 부수적일 수 있기 때문에 객체에 대한 잠재적인 사용자의 관심을 덜 받을 수 있다. 일부 구현예에서, 주제 식별 엔진(132)은, 디지털 이미지에서 검출된 임의의 개별 객체가 너무 많이 가중되지 않도록, 특정 디지털 미디어 파일에서 얼마나 많은 객체가 검출되는지 고려할 수 있다. 이러한 일부 구현예에서, 디지털 이미지에서 검출된 객체의 돌출은, 이미지 내의 객체의 총 수와 함께, 예를 들어 주제 식별 엔진(132)에 의해, 고려될 수 있다. 예를 들어 주어진 디지털 이미지에서 많은 수의 객체가 검출되었지만 특정 객체가 다른 검출된 객체보다 훨씬 더 두드러진 특징을 보이는 경우, 그 특정 객체는 주제 식별 엔진(132)에 의해 더 많이 가중치가 부여될 수 있다.
추가적으로 또는 대안적으로, 일부 구현예에서, 주제 식별 엔진(132)은 디지털 미디어 콘텐츠와 연관된 메타 데이터에 기초하여 식별할 수 있다. 예를 들어, 사용자가 특정 디지털 사진에 디지털 사진에 표시된 객체를 설명하는 파일 이름을 제공한다고 가정한다. 이 메타 데이터는 하나 이상의 주제에 대한 사용자 관심을 제안할 수 있는 신호(단독으로 또는 다른 신호와 결합하여)로서, 예를 들어 주제 식별 엔진(132)에 의해, 사용될 수 있다. 일부 구현예에서, 사용자가 하나 이상의 주제를 식별하는 메타 데이터를 명시 적으로 정의하는데 시간을 할애한다는 사실은 해당 주제에 대한 사용자의 잠재적인 관심을 매우 확증할 수 있다. 다른 사용 가능한 메타 데이터는, 예를 들어 디지털 미디어 파일이 클라이언트 디바이스(106) 및/또는 클라우드 스토리지(122)에 저장되는 폴더를 포함할 수 있다. 예를 들어, "새의 사진"이라는 제목의 폴더에 많은 수의 이미지가 저장되면, 주제 식별 엔진(132)은 새의 주제에 대한 사용자의 관심을 추정할 수 있다. 다른 예로서, 일부 구현예에서, 사용자에 의해 소비된(예를 들어, 스트리밍 된) 미디어와 연관된 메타 데이터는 주제 식별 엔진(132)에 의해 고려될 수 있다. 예를 들어, 사용자가 시청하는 온라인 스트리밍 비디오와 연관된 제목, 홍보 문구, 설명, 출연진, 제작진 또는 기타 메타 데이터는, 사용자와 잠재적으로 관련성이 있는 주제를 식별하는 데 사용될 수 있다.
추가적으로 또는 대안적으로, 일부 구현예에서, 주제 식별 엔진(132)은 시간에 따른 하나 이상의 디지털 미디어 파일과 사용자의 상호 작용의 특성에 기초하여 주제를 식별할 수 있다. 예를 들어 사용자가 라이브러리에서 특정 디지털 이미지를 반복적으로 여는 경향이 있는 경우(라이브러리의 다른 이미지보다 더 많이), 주제 식별 엔진(132)은 특정 이미지에 표현된 객체가 잠재적으로 사용자와 관련이 있다고 결정할 수 있으며, 특히 잘 보이지 않는 다른 이미지가 동일한 대상을 묘사하지 않는 경우 더 그럴 수 있다. 여기에는 응용 프로그램 캐시에 저장된 디지털 이미지가 포함될 수 있다. 예를 들어, 사용자가 판매용 자동차를 나열하는 특정 웹 페이지를 반복적으로 다시 방문하고 웹 페이지에 자동차 사진이 포함되어 있다고 가정한다. 해당 사진이 캐시에서 웹 브라우저로 로드되면(사진을 다시 다운로드하지 않고), 사용자가 사진을 다시 본 것으로 간주될 수 있으며, 이로 인해 사진의 객체가 잠재적 관련성이 있는 것으로 식별될 수 있다.
사용자에 의해 생성/검색된 디지털 미디어 파일에서 검출된 객체에 추가로 또는 대신에, 다양한 구현예에서 주제 식별 엔진(132)에 의해 다양한 다른 신호가 사용될 수 있다. 일부 구현예에서, 사용자의 검색 쿼리 이력, 브라우징 이력, 명시적으로 제공된 개인 선호 사항 등과 같은 신호는, 사용자가 관심을 가질 수 있는 하나 이상의 주제를 식별하는데, 예를 들어 주제 식별 엔진(132)에 의해, 사용될 수 있다. 추가적으로 또는 대안적으로, 일부 구현예에서, 사용자의 이메일/문자 메시지의 콘텐츠, 사용자의 소셜 미디어 프로필의 콘텐츠, 사용자의 캘린더의 콘텐츠 및 다양한 다른 애플리케이션 데이터와 같은 신호는, 사용자와 잠재적인 관련성이 있는 주제를 식별하는데, 예를 들어 주제 식별 엔진(132)에 의해, 사용될 수 있다. 다양한 구현예에서, 사용자에게 잠재적 인 관련성이 있는 이전에 식별된 주제 자체가 새로운 잠재적인 관련성 있는 주제를 식별하는 데 사용될 수 있다. 예를 들어 사용자가 스키, 눈 덮인 봉우리, 아이스 스케이트 사진을 찍고 겨울 장비 이미지를 본다고 가정한다(예: 온라인 쇼핑 중). 이로 인해 사용자는 상대적으로 좁은 주제 인 "스키 타기", "산악 타기", "아이스 스케이트" 및 "겨울 장비"와 관련될 수 있다. 일부 구현예에서, 이러한 주제는 "겨울 스포츠"와 같은 주제 계층 구조(예를 들어, 지식 그래프 엔진(136)로부터 결정됨)보다 높은 다른 주제를 식별하기 위해, 예를 들어 주제 식별 엔진(132)에 의해, 집합적으로 고려될 수 있다.
다양한 구현예에서, 사용자는 여기에 설명된 기술로 신호로서 사용되는 다양한 데이터를 옵트(opt) 인 및/또는 옵트 아웃 할 수 있는 능력을 가질 수 있음을 이해해야 한다. 예를 들어, 일부 구현예에서, 기본 사용자 프로필 설정은 주제 식별 엔진(132)에 사용 가능한 신호가 거의 없거나 전혀 없을 수 있다. 사용자가 각 신호(또는 신호 그룹)에 대한 권한을 명시적으로 제공하는 경우에만 주제 식별 엔진(132)이 주제 식별 목적을 위해 이러한 신호에 대한 액세스를 얻을 수 있다.
주제 식별 엔진(132)에 의해 다양한 유형의 신호가 다르게 가중될 수 있다. 예를 들어, 사용자가 만든 디지털 미디어 파일에서 검출된 객체는, 사용자가 단순히 소비(예: 보기, 재생 등)하기 위해 검색하는 디지털 미디어 파일에서 검출된 객체보다, 해당 객체와 연관된 주제에 대한 잠재적인 사용자 관심을 더 많이 확인할 수 있다. 유사하게, 일부 구현예에서 사용자에 의해 상호 작용하는 디지털 미디어 파일에서 검출된 객체에 할당된 가중치의 계층이 있을 수 있다. 예를 들어, 사용자가 만든 디지털 미디어 파일에서 검출된 객체에 가장 많은 가중치가 할당될 수 있다. 예를 들어, 다른 사용자에 의해 사용자와 공유되는 디지털 미디어 파일에서 검출된 객체에는 중간 무게가 할당될 수 있다. 예를 들어 웹 검색의 일부로 사용자가 인터넷을 통해 검색하는 디지털 미디어 파일에서 검출된 객체에는 최소 가중치가 할당될 수 있다. 가중치의 "계층 구조"의 일부로 간주될 수 있는 다른 요소는 사용자가 특정 디지털 미디어 파일을 소비 한 시간, 사용자가 디지털 미디어 파일을 "완료"했는지 여부(예: 전체 노래 또는 비디오 재생), 사용자가 디지털 미디어 파일을 편집했는지 여부, 사용자가 디지털 미디어 파일을 공유했는지 여부 등을 포함하나, 이에 국한되지 않는다.
일부 구현예에서, 특정 주제가 사용자와 관련성이 있는지 여부/얼마나 많은지를 결정하기 위해 다양한 신호가 조합되어 분석될 수 있다. 예를 들어, 일부 구현예에서, 사용자가 생성 한 디지털 미디어 파일에서 객체의 검출만으로는 사용자가 관심을 가질 수 있는 주제를 식별하기 위해 검출된 객체의 사용을 보증하기에 충분하지 않을 수 있다. 그러나, 다른 신호가 초기 사용자 생성 디지털 미디어 파일 신호를 확증하는 경우, 검출된 객체는 사용자가 관심을 가질 수 있는 하나 이상의 주제를 식별하는데 사용될 수 있다.
일부 구현예에서, 주제에 대한 잠재적인 사용자 관심의 신호는, 그 주제와 연관된 객체가 사용자 집단에 의해 생성/검색된 디지털 미디어 콘텐츠에 걸쳐 공통적인지 여부에 기초하여 가중치가 부여될 수 있다. 예를 들어, 도 1에서, 객체 빈도 엔진(128)은 사용자 집단에 의해 검색 및/또는 생성된 디지털 미디어 파일(예를 들어, 인덱스 130 또는 심지어 인덱스 122에 저장됨)의 코퍼스에 걸쳐 하나 이상의 객체의 빈도를 결정하도록 구성될 수 있다. 이러한 일부 구현예에서, 상기 코퍼스에서 객체가 발생하는 빈도는 잠재적인 관심의 주제를 식별할 때 객체가 얼마나 많이 가중치를 받는지에 반비례할 수 있다. 예를 들어, 책상이나 테이블과 같은 가구는, 이미지의 코퍼스에서 매우 흔할 수 있다. 따라서, 특정 사용자가 테이블이나 책상을 캡처하는 하나 이상의 디지털 사진을 찍는다고 해서, 사용자가 "책상" 또는 "테이블"이라는 주제에 관심이 있다는 것을 반드시 암시하는 것은 아니다. 오히려, 이러한 평범한 가구의 존재는 단순히 디지털 사진에 부수적일 수 있다.
일부 구현예에서, 용어 빈도 역 문서 빈도 또는 "TF-IDF"와 같은 다양한 수치 통계는 이용되어 검출된 물체가 주제 식별에 영향을 미치는지 여부 및/또는 양을 결정하기 위해 주제 식별 엔진(132) 및/또는 객체 빈도 엔진(128)에 의해 사용될 수 있다. 예를 들어, 일부 구현예에서, TD-IDF는, 특정 주제가 사용자와 잠재적으로 관련성이 있는 것으로 식별되는지 여부에 영향을 미치는 특정 검출된 객체("TF-IDF"의 "용어"로 사용될 수 있음)의 양을 결정하기 위해, 예를 들어 객체 빈도 엔진(128)에 의해 사용될 수 있다.
지식 그래프 엔진(136)은 지식 그래프(138)에 대한 액세스를 제공하도록 구성될 수 있다. 다양한 구현예에서, 지식 그래프(138)는 공지된 엔티티(및 일부 경우에 엔티티 속성)를 나타내는 노드뿐만 아니라 노드를 연결하고 엔티티 간의 관계를 나타내는 에지를 포함할 수 있다. 예를 들어, "바나나"노드는 "과일"노드에(예를 들어, 아이로서) 연결될 수 있으며, 차례로 연결되어 "생산" 및/또는 "음식"노드에(예를 들어, 아이로서) 연결될 수 있다. 또 다른 예로, "가상 카페"라는 레스토랑은 주소, 제공되는 음식 유형, 시간, 연락처 정보 등과 같은 속성도 포함하는 노드로 표시될 수 있다. "가상 카페"노드는 일부 구현예에서 에지(예를 들어, 자식-부모 관계를 나타냄)에 의해, "레스토랑"노드, "비즈니스"노드, 레스토랑이 위치한 도시 및/또는 주를 나타내는 노드 등 하나 이상의 다른 노드에 연결될 수 있다.
다양한 구현예에서, 주제 식별 엔진(132)은, 사용자가 관심을 가질 수 있는 하나 이상의 주제를 식별하기 위해, 지식 그래프 엔진(136)으로부터 획득된 정보와 함께 이전에 언급된 신호 중 하나 이상을 활용할 수 있다. 예를 들어, 사용자가 캡처 및/또는 검색 한 여러 디지털 사진에서 다양한 종류의 객체가 검출되었다고 가정한다. 다양한 구현예에서, 지식 그래프 엔진(136)은 그 종들이 모두 특정 속의 계층 구조에 속하고, 여러 다른 종의 발생이 속에 대한 잠재적인 관심을 입증한다고 결정할 수 있다.
다른 예로, 사용자가 복수의 디지털 비디오를 본다고 가정한다. 이들 디지털 비디오 각각은 지식 그래프(138)로 표현될 수 있고, 관련 엔티티(예를 들어, 배우, 제작자, 출연진 등)에 연결될 수 있다. 다양한 구현예에서, 지식 그래프 엔진(136)은, 사용자가 여러 디지털 동영상을 시청 한 경우, 사용자가 관심을 가질 수 있는 하나 이상의 주제(예: 사용자가 관심을 가질 수 있는 영화 및/또는 장르, 사용자가 관심을 가질 수 있는 장소 등)에 기초하여, 예측하기 위해 지식 그래프(138)의 다양한 엔티티 관계를 이용할 수 있다.
또 다른 예로, 사용자가 어느 날 밤 축구 경기를 본 다음 또 다른 밤 야구 경기를 본 다음 3 일 밤 농구 경기에서 디지털 사진을 찍는다고 가정한다. 다양한 구현예에서, 주제 식별 엔진(132)은, 예를 들어, 이러한 이벤트 각각과 관련된 팀과 같은 엔티티 또는 이벤트 자체에 기초하여, 사용자가 예를 들어 프로 스포츠에 폭 넓은 관심을 가지고 있다고 결정할 수 있다. 모든 팀이 동일한 도시 출신이라면, 일부 구현예에서, 주제 식별 엔진(132)은 그 도시를 사용자가 관심을 가질 수 있는 주제로 식별할 수 있다.
도 2는 사용자에게 잠재적인 관련성 또는 관심을 갖는 하나 이상의 주제를 다양한 신호(2501-N)에 기초하여 식별하기 위해 기술이 사용될 수 있는 하나의 예시적인 시나리오를 도시한다. 도 2에서, 제 1 신호(2501)는 클라이언트 디바이스(106)의 비전 센서(107)를 사용하여 사용자에 의해 캡처 된 디지털 이미지의 형태를 취한다. 이 디지털 이미지는 예를 들어 온라인 저장 엔진(120)에 의해 클라우드 기반 저장 장치(122)에 저장될 수 있다. 업로드 프로세스의 일부로서, 디지털 이미지는 하나 이상의 객체를 검출하기 위해, 예를 들어, 객체 인식 클라이언트(110) 및/또는 객체 인식 엔진(124)에 의해 분석될 수 있다. 도 2의 예에서는 첫 번째 디지털 이미지에서 한 쌍의 왜가리 새가 검출된다. 일부 구현예에서, 이것만으로 "새", "물새", "왜가리"등과 같은 주제를 사용자와 잠재적으로 관련이 있는 것으로 식별하기 위해 주제 식별 엔진(132)에 충분할 수 있다. 그러나 다른 구현예에서는 추가 확증이 필요할 수 있다.
사용자가 이후에 대머리 독수리에 대한 디지털 비디오를 본다고 가정한다. 다양한 구현예에서, 디지털 비디오의 이러한 사실 및/또는 양태은, 사용자에 대한 잠재적 관련성의 주제(들)를 식별하기 위한 또 다른 신호(250N-1)로서, 예를 들어, 주제 식별 엔진(132)에 의해, 사용될 수 있다. 예를 들어, 독수리와 왜가리 모두 "새"이므로, "새"는 사용자가 관심을 가질 수 있는 주제로 식별될 수 있다. 추가적으로 또는 대안적으로, 조류 관련 검색("AVIARYSUPPLIES")을 수행하는 사용자의 형태를 취하는 또 다른 신호(250N)는, 새에 대한 사용자의 관심을 더욱 확증하기 위해 분석될 수 있다.
도 3은 본 명세서에 설명된 기술이 사용자와 잠재적으로 관련된 주제를 식별하기 위해 사용될 수 있는 다른 예시적인 시나리오를 도시한다. 도 3은, 예를 들어 스마트 폰 형태의 클라이언트 디바이스(106)를 사용하여, 사용자에 의해 캡처 된 디지털 사진(350)을 도시한다. 이 예에서, 디지털 사진(350)은 전자 레인지(3561), 오븐(3562), 테이블(3563) 및 테이블(3563) 위에 공중 드론(3564)을 포함하는 주방을 캡처한다. 이러한 4 개의 객체 및 디지털 사진(350) 내의 각각의 위치는, 예를 들어 물체 인식 클라이언트(110) 및/또는 물체 인식 엔진(124)에 의해, 검출될 수 있다. 이 데이터는, 사용자와 잠재적으로 관련성이 있는 하나 이상의 주제를 식별하기 위해, 예를 들어 주제 식별 엔진(132)에 의해, 사용될 수 있다.
일부 구현예에서, 주제 식별 엔진(132)은 디지털 미디어 파일에서 검출된 각 객체가 해당 객체가 예외적인지 여부(따라서 잠재적 관련 주제를 식별하는 데 사용해야 하는지)를 결정할 때 특정 주제 또는 속에 속하는지 또는 단지 디지털 미디어 파일에 부수적인지 여부를 고려할 수 있다. 예를 들어, 도 3에서, 예를 들어 지식 그래프 엔진(136) 및/또는 객체 빈도 엔진(128)의 도움으로, 주제 식별 엔진(132)은 검출된 객체 중 3 개(3561, 3562 및 3563)가 부엌에서 상대적으로 공통적이라고 결정할 수 있다. 따라서, 이러한 객체의 존재는 디지털 사진(350)이 이러한 객체에 대한 사용자의 잠재적인 관심이 아니라, 주방에서 캡처 되었음을 암시할 뿐이다. 그러나, 공중 드론(3564)은(즉, 관련되지 않은) 다른 검출된 객체(3561-3)와 다르다. 더욱이, 공중 드론은 디지털 사진(350)에서 상대적으로 눈에 띄게 표시된다. 공중 드론은 오븐(3562)과 테이블(3563) 보다 "앞"(또는 그에 대해 전경)에 있다. 또한 공중 드론은 디지털 사진(350)의 중앙 영역에 비교적 가깝고 초점이 맞춰져 있다. 따라서, 일부 구현 예에서, 주제 식별 엔진(132)은 공중 드론(3564)이 공중 드론과 같은 주제에 대한 사용자 관심을 입증한다고 결정할 수 있다. 이러한 잠재적인 관심은 공중 드론과 관련된 사용자의 검색 쿼리, 공중 드론과 관련된 사용자가 시청 한 비디오 등과 같은, 다른 신호에 의해 더욱 확증될 수 있다.
도 4는 본 명세서에 설명된 기술이, 이 예에서 사용자가 알지 못하는 사용자와 잠재적으로 관련이 있는 하나 이상의 주제를 식별하기 위해, 사용될 수 있는 또 다른 시나리오를 도시한다. 이 예에서, 사용자는, 예를 들어 클라이언트 디바이스(106)의 비전 센서(107)를 사용하여, 사용자 아들의 첫 번째 디지털 사진(4501)을 획득한다. 아들이 " Ω "라는 상징이 그려진 티셔츠를 입고 있는 것을 볼 수 있다. 예를 들어, 이 기호는 아들이 즐기는 음악가가 사용하는 기호 일 수 있다. 기호 및 경우에 따라 아들의 신원이, 예를 들어, 객체 인식 클라이언트(110) 및/또는 객체 인식 엔진(124)에 의해, 검출될 수 있다. 이러한 데이터는, 예를 들어, 지식 그래프 엔진(136)의 도움으로 주제 식별 엔진(132)에 의해, 기호가 특정 음악가에 해당하는지 결정하는 데 사용될 수 있다.
이후, 사용자는 아들을 다시 한 번 묘사하는 또 다른 디지털 이미지(4502)를 획득한다. 이번에는 아들이 같은 상징이 아닌 다른 티셔츠를 입고 있다. 그러나, 현재 아들의 컴퓨터 화면에 동일한 기호가 표시되며, 동일한 기호는 위에서 설명한대로 검출될 수 있다. 사용자 아들의 다수의 이미지에 걸친 기호 "Ω"의 존재는, 기호 "Ω"와 연관된 음악가의 주제가 잠재적으로 사용자와 관련이 있음을 결정하기 위해, 예를 들어, 주제 식별 엔진(132)에 의해, 사용될 수 있다. 예를 들어, 아들의 생일이 다가오면, 아버지에게 상기 음악가의 예정된 투어 날짜를 선제적으로 알릴 수 있다.
주제(들)가 사용자와 잠재적으로 관련이 있는 것으로 식별되면, 그들은 다양한 목적으로 사용될 수 있다. 일부 구현예에서, 사용자에게 제공되는 검색 결과의 순위를 매기고/매기거나 사용자에게 제공되는 대안적인 쿼리 제안을 작성하기 위해, 사용자와 잠재적인 관련성이 있는 주제가 사용될 수 있다. 추가적으로 또는 대안적으로, 일부 구현예에서, 사용자 입력을 명확하게 하기 위해 사용자와 잠재적인 관련성이 있는 주제가 사용될 수 있다. 사용자가 특정 클라이언트 디바이스(106)에서 실행되는 개인용 디지털 어시스턴트에게 "John"이라는 연락처를 호출하도록 요청한다고 가정한다. 사용자의 연락처 목록에 여러 "Johns"가 있을 수 있다. 사용자로부터 명확한 입력을 요청하는 대신, 다양한 구현예에서, 사용자에 의해 생성 및/또는 검색된 하나 이상의 디지털 미디어 파일(예를 들어, 사진, 음성 메일, 비디오 등)은, 본 명세서에서 언급한 바와 같이, 사용자와 잠재적인 관련성이 있는 주제로서, 사용자가 가장 많이 언급하는 "John"을 식별하기 위해 분석될 수 있다. 추가적으로 또는 대안적으로, 여기에 설명된 기술을 사용하여 결정된 주제는 사용자가 소비할 미디어를 추천하는데 사용될 수 있다.
일부 구현예에서, 본 명세서에 설명된 기술을 사용하여 결정된 주제(들)는 콘텐츠를 사용자에게 선제적으로 제시하는데 사용될 수 있다. 예를 들어, 도 5에서, 스마트 워치의 형태를 취하는 클라이언트 디바이스(506)는 사용자에게 콘텐츠를 선제적으로(즉, 사용자의 요청없이) 제공하기 위해 사용되고 있다. 이 예에서, 본 명세서에 설명된 기술은 사용자에 의해 생성 및/또는 검색된 디지털 미디어 콘텐츠로부터 사용자가 새에 관심이 있음을 결정하는데 사용되었다. 따라서, 사용자에게는 근처에 있는 조류 관찰자의 박람회를 추천하는 첫 번째 "카드" 또는 "타일"과 근처에 있는 새와 연관된 영화를 추천하는 두 번째 "카드"또는 "타일"이 제공된다. 다양한 구현예에서, 이러한 카드/타일은, 선택될 경우 사용자가 더 많은 정보를 얻고 예약 등을 가능하게 하는 적절한 사용자 인터페이스를 시작하는 선택 가능한 딥 링크 일 수 있다.
다양한 구현예에서, 본 명세서에 설명된 기술을 사용하여 제시된 콘텐츠에 대한 사용자의 참여는, 본 명세서에 설명된 기술을 사용하여 식별된 주제를 확증 및/또는 반박하는 데 사용될 수 있다. 예를 들어, 사용자가 스와이프하거나 도 5의 카드를 무시한다고 가정한다. 이는 새에 대한 잠재적 인 사용자 관심을 시사하는 본 명세서에 설명된 기술에도 불구하고 사용자가 실제로 새에 관심이 없음을 시사할 수 있다. 결과적으로, 주제 식별 엔진(132)은 예를 들어 사용자 관심 데이터베이스(134)로부터 주제 "새"를 제거하거나 강등시킬 수 있다.
이제 도 6을 참조하면, 본 개시의 선택된 양태들을 구현하기 위한 예시적인 방법(600)이 설명된다. 편의상, 흐름도의 동작은 동작을 수행하는 시스템을 참조하여 설명한다. 이 시스템에는 다양한 컴퓨터 시스템의 다양한 구성 요소가 포함될 수 있다. 예를 들어, 일부 동작은 클라이언트 디바이스(106)에서 수행될 수 있는 반면, 다른 동작은 클라우드 기반 시스템(102)의 하나 이상의 구성 요소에 의해 수행될 수 있다. 더욱이, 방법(600)의 동작이 특정 순서로 도시되지만, 이것은 제한하는 것을 의미하지 않는다. 하나 이상의 작업을 다시 정렬하거나 생략하거나 추가할 수 있다.
블록 602에서, 시스템은, 예를 들어 온라인 저장 엔진(120)을 통해, 사용자에 의해 작동되는 하나 이상의 클라이언트 디바이스(예를 들어, 106)로부터 하나 이상의 디지털 미디어 파일을 나타내는 데이터를 수신할 수 있다. 일부 구현예에서, 이 데이터는, 예를 들어 사용자가 백업 목적으로(의식적으로 또는 자동으로) 업로드하는, 원시 디지털 미디어 파일 자체 일 수 있다. 추가적으로 또는 대안적으로, 일부 구현예에서 이것은, 감소된 차원 임베딩 등과 같은, 검출된 객체를 나타내는 클라이언트 디바이스에서 로컬적으로 생성된 데이터를 포함할 수 있다. 이러한 디지털 미디어 파일은 사용자가 사용하기 위해 생성 및/또는 검색되었다.
블록 604에서, 시스템은, 예를 들어, 객체 인식 클라이언트(110) 및/또는 객체 인식 엔진(124)을 통해, 하나 이상의 디지털 미디어 파일을 나타내는 데이터를 기반으로, 하나 이상의 디지털 미디어 파일 각각에서 검출된 하나 이상의 객체를 식별할 수 있다. 예를 들어, 객체 인식 엔진(124)은 하나 이상의 표현된 객체를 검출하기 위해 디지털 미디어 파일에 대해 다양한 유형의 객체 인식(이전에 설명됨)을 수행할 수 있다.
블록 606에서, 시스템은, 예를 들어 객체 빈도 엔진(128)을 통해, 사용자 집단이 제공하는 디지털 미디어 파일(예: 130)의 코퍼스에 걸쳐 블록 604에서 검출된 하나 이상의 객체 각각의 빈도수를 결정할 수 있다. 위에서 언급한 바와 같이, TF-IDF와 같은 다양한 통계는, 일반적으로 검출된 객체가 얼마나 흔하게 검출되는지, 따라서 사용자와 잠재적인 관련성이 있는 주제를 식별하는데 사용되는지 여부 및/또는 얼마나 많이 사용되는지를 결정하기 위해, 사용될 수 있다. 매우 일반적인 객체는 사용자가 관심을 갖는 유용한 신호가 아니라, 사실상 노이즈 일 수 있다.
블록 608에서, 시스템은, 블록 606에서 결정된 대응 빈도에 기초하여, 잠재적인 관심 주제를 식별하는데 사용되어야 하는 객체 중 하나 이상을 선택할 수 있다. 예를 들어, 가구, 나무 등과 같은 평범한 객체는, 예를 들어, 이러한 평범한 객체는 사용자의 디지털 미디어 콘텐츠에서 자주 발생하고/발생하거나 덜 평범한 다른 객체없이 디지털 미디어 파일에서 두드러지게 표시되는 경우(예: 사용자가 다른 물체 없이 나무 사진을 많이 찍은 경우)가 아니면, 사용자의 관심 주제를 식별하는데 사용되지 않을 수 있다.
블록 610에서, 시스템은 블록 608에서 선택된 하나 이상의 객체에 기초하여, 사용자와 잠재적으로 관련된 하나 이상의 주제를, 예를 들어 주제 식별 엔진(132)에 의해, 식별할 수 있다. 블록 612에서, 시스템은 식별된 하나 이상의 주제에 기초하여 검색 쿼리를 작성할 수 있다. 예를 들어 사용자의 디지털 사진에서 '새'와 '물새'라는 주제가 식별된 경우, 그런 다음, 반응형 콘텐츠를 얻기 위해 "새 물새"와 같은 검색 쿼리가 작성되어 검색 엔진에 제출될 수 있다. 일부 구현예에서 반응형 콘텐츠는 본 명세서에 설명된 기술을 사용하여 식별된 주제 및/또는 다른 주제에 기초하여 순위가 매겨질 수 있다.
블록 614에서, 시스템은 작성된 검색 쿼리에 대한 응답인 정보가 사용자에 의해 작동되는 하나 이상의 클라이언트 디바이스에서 선제적으로 출력되게 할 수 있다. 이러한 선제적 콘텐츠의 비 제한적인 예는, 도 5에 도시되어 있다. 선제적 콘텐츠의 추가 예에는, 문자 메시지(예: SMS 또는 MMS), 소셜 미디어 메시지(예: 사용자 피드), 개인용 디지털 어시스턴트로부터 자연어 출력, 예를 들어, 사용자와 개인용 디지털 어시스턴트 사이의 기존 인간 대 컴퓨터 대화 중에 또는 그렇지 않으면 이메일 메시지, 팝업 창(예: 안드로이드 토스트), 레스토랑 추천(예: 레스토랑 예약 및/또는 리뷰 앱에서 제공됨), 디지털 미디어 추천(예: 디지털 미디어 앱의 일부로 제공됨) 등이 포함되며, 이에 국한되지는 않는다.
이제 도 7을 참조하면, 다양한 구현에 따라 클라이언트 디바이스(106)에서 전체적으로 또는 부분적으로 구현될 수 있는 다른 예시적인 방법(700)이 도시되어 있다. 편의상, 흐름도의 동작은 동작을 수행하는 시스템을 참조하여 설명한다. 이 시스템은 다양한 컴퓨터 시스템, 특히 클라이언트 디바이스(106)의 다양한 구성 요소를 포함할 수 있지만, 하나 이상의 동작은 클라우드 기반 시스템(102)의 하나 이상의 구성 요소에 의해 추가적으로 또는 대안 적으로 수행될 수 있다. 더욱이, 방법(700)의 동작이 특정 순서로 도시되지만, 이것은 제한하는 것을 의미하지 않는다. 하나 이상의 작업을 다시 정렬하거나 생략하거나 추가할 수 있다.
블록 702에서, 시스템은 클라이언트 디바이스를 사용하여 사용자에 의해 생성된 하나 이상의 디지털 미디어 파일을 획득할 수 있다. 예를 들어, 일부 구현예에서, 사용자가 디지털 사진을 찍는 순간, 그 디지털 사진을 나타내는 데이터는 휘발성 및/또는 비 휘발성 메모리에 저장될 수 있다. 블록 704에서, 시스템은, 예를 들어 객체 인식 클라이언트(110)를 통해, 클라이언트 디바이스에 로컬적인 하나 이상의 트레이닝된 기계 학습 모델에 입력으로 하나 이상의 디지털 미디어 파일을 적용할 수 있다. 예를 들어, 객체 인식 클라이언트(110)는 온-디바이스 모델 인덱스(111)에 저장된 하나 이상의 트레이닝된 기계 학습 모델(예를 들어, CNN)에 걸쳐 하나 이상의 디지털 미디어 파일을 적용할 수 있다. 다양한 구현예에서, 하나 이상의 트레이닝된 기계 학습 모델은 하나 이상의 디지털 미디어 파일 각각에서 검출된 하나 이상의 객체를 나타내는 출력을 생성할 수 있다.
블록 706에서, 시스템(예를 들어, 클라이언트 디바이스(106))은 하나 이상의 디지털 미디어 파일 자체를 제공하지 않고 클라우드 기반 시스템(102)과 같은 원격 컴퓨팅 시스템에 표시된 하나 이상의 객체를 나타내는 데이터를 제공할 수 있다. 따라서 블록 706에서 제공되는 데이터는 디지털 미디어 파일 자체와 상이 할 수 있으며, 예를 들어 디지털 미디어 파일로부터 추출된 특징의 벡터 형태, 디지털 미디어 파일에 기초하여 생성된 감소된 차원 임베딩 등을 취할 수 있다. 예를 들어, 원시 디지털 사진 데이터를 클라우드 기반 시스템(102)에 제공하는 대신, 클라이언트 디바이스(106)는 하나 이상의 CNN에서 생성된 출력을 클라우드 기반 시스템(102)에 제공할 수 있다. 이 출력은, 예를 들어 하나 이상의 물체 예측 및 해당 신뢰도 측정을 포함할 수 있다(예: 물체가 고양이 일 확률 70 %, 객체가 개일 확률 10 %, 물체가 원숭이 일 확률 5 % 등). 특히, 사용자의 디지털 미디어 파일을 포함하는 원시 데이터를 클라우드 기반 시스템(102)에 노출하는 대신, 이러한 데이터를 클라우드 기반 시스템(102)에 제공하면 디지털 미디어 파일이 사용자가 사적이거나 민감하다고 간주하는 정보를 포함하는 범위까지 사용자의 사생활을 보존할 수 있다.
블록 708에서, 시스템은 표시된 하나 이상의 객체와 연관된 정보를, 동일한 원격 컴퓨팅 시스템 또는 다른 원격 컴퓨팅 시스템으로부터 수신할 수 있다. 예를 들어, 클라이언트 디바이스(106)는 하나 이상의 주제로부터 추론된 하나 이상의 객체 및/또는 주제와 연관된 정보를, 클라우드 기반 시스템(102) 또는 다른 원격 컴퓨팅 시스템(예를 들어, 도 6의 블록 612에서 작성된 검색 쿼리에 응답하는 검색 결과를 반환하는 검색 엔진)으로부터, 수신할 수 있다. 다양한 구현예에서, 객체 자체(예를 들어, 그들의 클래스 또는 유형)는, 예를 들어 주제 식별 엔진(132)에 의해, 잠재적으로 사용자와 관련이 있는 것으로 간주되는 "주제"를 형성할 수 있다.
블록 710에서, 시스템은 표시된 하나 이상의 객체와 연관된 정보를 사용자에게, 예를 들어, 디지털 미디어 파일을 생성하는 데 사용된 동일한 클라이언트 디바이스(106) 또는 사용자에 의해 작동되는 클라이언트 디바이스의 조정된 "생태계"의 다른 클라이언트 디바이스와 같이, 사용자에 의해 작동되는 다른 클라이언트 디바이스에서, 선제적으로 출력할 수 있다. 예를 들어 사용자가 스마트폰을 사용하여 사진을 캡처했다고 가정한다. 사용자가 관심을 가질 수 있는 하나 이상의 주제가 본 명세서에 설명된 기술을 사용하여 사진에서 식별된 후, 잠재적 인 관심 주제와 연관된 출력은, 예를 들어, 스마트 시계 또는 스마트 TV의 카드 또는 타일로, 사용자의 다른 클라이언트 디바이스에 표시될 수 있다. 선제적 출력의 일부 예는 도 5에 제공되었으며, 도 6의 블록 614와 관련하여 설명되었다.
선제적 출력의 또 다른 예로서, 사용자가 이전에 사용자가 준비 및/또는 소비한 식사의 여러 디지털 사진을 소셜 미디어에 게시했다고 가정한다. 본 명세서에 설명된 기술은 소셜 미디어에 게시된 디지털 사진으로부터 요리에 대한 사용자의 잠재적인 관심을 식별하기 위해 사용될 수 있다. 이제, 사용자가 나중에 예를 들어 독립형 대화형 스피커를 통해 자동화된 비서와 음성 기반 인간 대 컴퓨터 대화에 참여한다고 가정한다. 또한, 사용자가 자동화된 어시스턴트를 통해 참여할 수 있지만, 사용자가 알지 못하는 요리 관련 타사 애플리케이션 또는 "에이전트"가 있다고 가정한다. 요리에 대한 사용자의 인지된 관심에 따라 자동화된 어시스턴트는 사용자에게 제 3 자 에이전트를 선제적으로 소개할 수 있다. 예를 들어, 자동화된 비서가 "소셜 미디어 계정에 식사 사진을 여러 장 게시했다. 여러 가지 레시피를 기꺼이 추천하는 제 친구가 있다."와 같은 음성 자연어 출력을 제공할 수 있다. 어떤 경우에는, 제 3 자 상담원이 "안녕하세요. 어떤 재료를 가지고 있는지, 어떤 기분인지 알려 주시면 조리법을 제안해 드리겠다."와 같은 말을 할 수도 있다.
도 8은 예시적인 컴퓨터 시스템(810)의 블록도이다. 컴퓨터 시스템(810)은 일반적으로 버스 서브시스템(812)을 통해 다수의 주변 장치와 통신하는 적어도 하나의 프로세서(814)를 포함한다. 이러한 주변 장치는 예를 들어 메모리 서브시스템(825) 및 파일 저장 서브시스템(826), 사용자 인터페이스 출력 디바이스(820), 사용자 인터페이스 입력 디바이스(822) 및 네트워크 인터페이스 서브시스템(816)을 포함하는 저장 서브시스템(824)을 포함할 수 있다. 입력 및 출력 디바이스는 컴퓨터 시스템(810)과 사용자 상호 작용을 허용한다. 네트워크 인터페이스 서브시스템(816)은 외부 네트워크에 대한 인터페이스를 제공하고 다른 컴퓨터 시스템의 대응하는 인터페이스 장치에 연결된다.
사용자 인터페이스 입력 디바이스(822)는 키보드, 마우스, 트랙볼, 터치 패드 또는 그래픽 태블릿과 같은 포인팅 장치, 스캐너, 디스플레이에 통합된 터치 스크린, 음성 인식 시스템, 마이크 및/또는 기타 유형의 입력 디바이스와 같은 오디오 입력 디바이스를 포함할 수 있다. 일반적으로, "입력 디바이스"라는 용어의 사용은 컴퓨터 시스템(810) 또는 통신 네트워크에 정보를 입력하는 모든 가능한 유형의 장치 및 방법을 포함하도록 의도된다.
사용자 인터페이스 출력 디바이스(820)는 디스플레이 서브시스템, 프린터, 팩스 기계, 또는 오디오 출력 디바이스와 같은 비 시각적 디스플레이를 포함할 수 있다. 디스플레이 서브시스템은 음극선 관(CRT), 액정 디스플레이(LCD)와 같은 평판 장치, 프로젝션 장치, 또는 가시적 이미지를 생성하기 위한 다른 메커니즘을 포함할 수 있다. 디스플레이 서브시스템은 또한 오디오 출력 디바이스를 통해 비 시각적 디스플레이를 제공할 수 있다. 일반적으로, "출력 디바이스"라는 용어의 사용은 모든 가능한 유형의 장치 및 컴퓨터 시스템(810)에서 사용자 또는 다른 기계 또는 컴퓨터 시스템으로 정보를 출력하는 방법을 포함하도록 의도된다.
저장 서브시스템(824)은 본 명세서에 설명된 모듈의 일부 또는 전부의 기능을 제공하는 프로그래밍 및 데이터 구성을 저장한다. 예를 들어, 스토리지 서브시스템(824)은 방법(600, 700)의 선택된 측면을 수행 및/또는 객체 추천 클라이언트(110), 온라인 저장 엔진(120), 객체 인식 엔진(124), 객체 빈도 엔진(128), 주제 식별 엔진(132) 및/또는 지식 그래프 엔진(136) 중 하나 이상을 구현하기 위한 로직을 포함할 수 있다.
이러한 소프트웨어 모듈은 일반적으로 프로세서(814)에 의해 단독으로 또는 다른 프로세서와 결합하여 실행된다. 저장 서브시스템에서 사용되는 메모리(825)는 프로그램 실행 동안 명령어 및 데이터를 저장하기위한 메인 랜덤 액세스 메모리(RAM)(830) 및 고정 명령어가 저장되는 읽기 전용 메모리(ROM)(832)를 포함하는 다수의 메모리를 포함할 수 있다. 파일 저장 서브시스템(824)은 프로그램 및 데이터 파일에 대한 영구 저장을 제공할 수 있으며, 하드 디스크 드라이브, 플로피 디스크 드라이브와 연관된 이동식 미디어, CD-ROM 드라이브, 광학 드라이브 또는 이동식 미디어 카트리지를 포함할 수 있다. 특정 구현의 기능을 구현하는 모듈은 저장 서브시스템(824)의 파일 저장 서브시스템(824)에 의해 또는 프로세서(들)(814)에 의해 액세스 가능한 다른 기계에 저장될 수 있다.
버스 서브시스템(812)은 컴퓨터 시스템(810)의 다양한 구성 요소 및 서브시스템이 의도한대로 서로 통신할 수 있도록 하는 메커니즘을 제공한다. 버스 서브시스템(812)이 단일 버스로 개략적으로 도시되어 있지만, 버스 서브시스템의 대안적인 구현은 다중 버스를 사용할 수 있다.
컴퓨터 시스템(810)은 워크 스테이션, 서버, 컴퓨팅 클러스터, 블레이드 서버, 서버 팜, 또는 임의의 다른 데이터 처리 시스템 또는 컴퓨팅 디바이스를 포함하는 다양한 유형일 수 있다. 컴퓨터 및 네트워크의 끊임없이 변화하는 특성으로 인해, 도 8에 도시된 컴퓨터 시스템(810)의 설명은, 일부 구현을 설명하기 위한 특정 예로서 만 의도된다. 컴퓨터 시스템(810)의 많은 다른 구성이 도 8에 도시된 컴퓨터 시스템보다 더 많거나 적은 구성 요소를 가질 수 있다.
본 명세서에 설명된 시스템이 사용자에 대한 개인 정보를 수집하거나 개인 정보를 사용할 수 있는 상황에서, 사용자는 프로그램이나 기능이 사용자 정보(예: 사용자의 소셜 네트워크, 소셜 활동 또는 활동, 직업, 사용자의 선호도 또는 사용자의 현재 지리적 위치에 대한 정보)를 수집할지 여부를 제어하거나, 또는 사용자와 더 관련이 있을 수 있는 콘텐츠 서버로부터 콘텐츠를 수신할지 여부 및/또는 방법을 제어할 수 있는 기회를 제공받을 수 있다. 또한 특정 데이터는 저장 또는 사용되기 전에 하나 이상의 방법으로 처리되어 개인 식별 정보가 제거될 수 있다. 예를 들어, 사용자에 대한 개인 식별 정보를 확인할 수 없도록 사용자의 신원을 처리하거나, 사용자의 특정 지리적 위치를 확인할 수 없도록, 사용자의 지리적 위치를 일반화하여 지리적 위치 정보(예: 도시, 우편 번호 또는 주 수준)를 얻을 수 있다. 따라서, 사용자는 사용자에 대한 정보 수집 및/또는 사용 방법을 제어할 수 있다.
여러 구현이 여기에 설명되고 설명되었지만, 기능을 수행하고 /하거나 결과 및/또는 여기에 설명된 하나 이상의 이점을 얻기 위한 다양한 다른 수단 및/또는 구조가 활용될 수 있고, 그리고 그러한 각각의 변형 및/또는 수정은 여기에 설명된 구현의 범위 내에 있는 것으로 간주된다. 보다 일반적으로, 본 명세서에 설명된 모든 매개 변수, 치수, 재료 및 구성은 예시적인 것이며, 실제 매개 변수, 치수, 재료 및/또는 구성은 교시가 사용되는 특정 응용 또는 응용에 의존할 것임을 의미한다. 당업자는 단지 일상적인 실험을 사용하여 본 명세서에 설명된 특정 구현에 대한 많은 등가물을 인식하거나 확인할 수 있을 것이다. 따라서, 전술한 구현은 단지 예로서 제시된 것이며, 첨부된 청구 범위 및 그 균등 물의 범위 내에서 구현이 구체적으로 설명되고 청구된 것과 달리 실행될 수 있다는 것을 이해해야 한다. 본 개시 내용의 구현은 본 명세서에 기재된 각각의 개별적인 특징, 시스템, 물품, 재료, 키트 및/또는 방법에 관한 것이다. 또한, 그러한 기능, 시스템, 기사, 재료, 키트 및/또는 방법이 서로 일치하지 않는 경우, 둘 이상의 이러한 특징, 시스템, 물품, 재료, 키트 및/또는 방법의 임의의 조합은 본 개시 내용의 범위 내에 포함된다.

Claims (15)

  1. 하나 이상의 프로세서를 사용하여 구현되는 방법으로서,
    사용자에 의해 동작되는 하나 이상의 클라이언트 디바이스로부터 하나 이상의 디지털 이미지를 나타내는 데이터를 수신하는 단계;
    하나 이상의 프로세서에 의해 하나 이상의 디지털 이미지를 나타내는 데이터의 이미지 인식 프로세싱을 수행함으로써 하나 이상의 디지털 이미지 각각에서 검출된 하나 이상의 객체를 식별하는 단계;
    사용자 집단에 의해 제공되는 디지털 이미지의 코퍼스에 걸쳐 하나 이상의 객체 각각이 발생하는 빈도를 결정하는 단계;
    하나 이상의 객체가 코퍼스에 걸쳐 발생하는 빈도에 기초하여 사용자와 잠재적으로 관련성이 있는 하나 이상의 토픽을 식별하는 단계, 주어진 객체가 코퍼스에 걸쳐 발생하는 빈도는 토픽이 객체로부터 식별되는 가능성과 반비례 관계이며;
    식별된 하나 이상의 토픽에 기초하여 검색 쿼리를 작성하는 단계; 및
    작성된 검색 쿼리에 응답하는 정보가 사용자에 의해 동작되는 하나 이상의 클라이언트 디바이스에서 선제적으로 출력되게 하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서, 하나 이상의 디지털 이미지를 나타내는 데이터는 하나 이상의 디지털 이미지로부터 추출된 하나 이상의 특징 벡터 또는 감소된 차원 임베딩을 포함하는, 방법.
  3. 청구항 1에 있어서, 상기 사용자와 잠재적으로 관련성이 있는 하나 이상의 주제는 상기 하나 이상의 디지털 이미지에서 상기 하나 이상의 객체의 포지션에 기초하여 추가로 식별되는, 방법.
  4. 청구항 1에 있어서, 상기 사용자와 잠재적으로 관련성이 있는 하나 이상의 주제는 상기 하나 이상의 디지털 이미지에서 상기 하나 이상의 객체의 초점 측정치에 기초하여 추가로 식별되는, 방법.
  5. 청구항 1에 있어서, 상기 사용자와 잠재적으로 관련성이 있는 하나 이상의 주제는 사용자가 하나 이상의 클라이언트 디바이스로부터 수신된 하나 이상의 디지털 이미지를 생성 또는 검색했는지 여부에 기초하여 추가로 식별되는, 방법.
  6. 하나 이상의 프로세서 및 상기 하나 이상의 프로세서와 동작가능하게 연결된 메모리를 포함하는 시스템으로서, 상기 메모리는 명령어들을 저장하며, 상기 명령어들은 하나 이상의 프로세서에 의한 상기 명령어들의 실행에 응답하여, 상기 하나 이상의 프로세서로 하여금 동작들을 수행하게 하며, 상기 동작들은:
    사용자에 의해 동작되는 하나 이상의 클라이언트 디바이스로부터 하나 이상의 디지털 이미지를 나타내는 데이터를 수신하는 동작;
    하나 이상의 프로세서에 의해 하나 이상의 디지털 이미지를 나타내는 데이터의 이미지 프로세싱을 수행함으로써 하나 이상의 디지털 이미지 각각에서 검출된 하나 이상의 객체를 식별하는 동작;
    사용자 집단에 의해 제공되는 디지털 이미지의 코퍼스에 걸쳐 하나 이상의 객체 각각이 발생하는 빈도를 결정하는 동작;
    코퍼스에 걸쳐 하나 이상의 객체의 빈도에 기초하여 사용자와 잠재적으로 관련성이 있는 하나 이상의 토픽을 식별하는 동작, 코퍼스에 걸친 주어진 객체의 빈도는 토픽이 객체로부터 식별되는 가능성과 반비례 관계이며;
    식별된 하나 이상의 토픽에 기초하여 검색 쿼리를 작성하는 동작; 및
    작성된 검색 쿼리에 응답하는 정보가 사용자에 의해 동작되는 하나 이상의 클라이언트 디바이스에서 선제적으로 출력되게 하는 동작을 포함하는, 시스템.
  7. 청구항 6에 있어서, 하나 이상의 디지털 이미지를 나타내는 데이터는 하나 이상의 디지털 이미지로부터 추출된 하나 이상의 특징 벡터 또는 감소된 차원 임베딩을 포함하는, 시스템.
  8. 청구항 6에 있어서, 상기 사용자와 잠재적으로 관련성이 있는 하나 이상의 주제는 상기 하나 이상의 디지털 이미지에서 상기 하나 이상의 객체의 포지션에 기초하여 추가로 식별되는, 시스템.
  9. 청구항 6에 있어서, 상기 사용자와 잠재적으로 관련성이 있는 하나 이상의 주제는 상기 하나 이상의 디지털 이미지에서 상기 하나 이상의 객체의 초점 측정치에 기초하여 추가로 식별되는, 시스템.
  10. 청구항 6에 있어서, 상기 사용자와 잠재적으로 관련성이 있는 하나 이상의 주제는 사용자가 하나 이상의 클라이언트 디바이스로부터 수신된 하나 이상의 디지털 이미지를 생성 또는 검색했는지 여부에 기초하여 추가로 식별되는, 시스템.
  11. 명령어들을 포함하는 적어도 하나의 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은 하나 이상의 프로세서에 의한 명령어들의 실행에 응답하여, 상기 하나 이상의 프로세서로 하여금 동작들을 수행하게 하는 하며, 상기 동작들은:
    사용자에 의해 동작되는 하나 이상의 클라이언트 디바이스로부터 하나 이상의 디지털 이미지를 나타내는 데이터를 수신하는 동작;
    하나 이상의 디지털 이미지를 나타내는 데이터에 기초하여 하나 이상의 디지털 이미지 각각에서 검출된 하나 이상의 객체를 식별하는 동작;
    사용자 집단에 의해 제공되는 디지털 이미지의 코퍼스에 걸쳐 하나 이상의 객체 각각이 발생하는 빈도를 결정하는 동작;
    코퍼스에 걸쳐 하나 이상의 객체의 빈도에 기초하여 사용자와 잠재적으로 관련성이 있는 하나 이상의 토픽을 식별하는 동작, 코퍼스에 걸친 주어진 객체의 빈도는 토픽이 객체로부터 식별되는 가능성과 반비례 관계이며;
    식별된 하나 이상의 토픽에 기초하여 검색 쿼리를 작성하는 동작; 및
    작성된 검색 쿼리에 응답하는 정보가 사용자에 의해 동작되는 하나 이상의 클라이언트 디바이스에서 선제적으로 출력되게 하는 동작을 포함하는, 적어도 하나의 비일시적 컴퓨터 판독가능 매체.
  12. 청구항 11에 있어서, 상기 사용자와 잠재적으로 관련성이 있는 하나 이상의 주제는 상기 하나 이상의 디지털 이미지에서 상기 하나 이상의 객체의 초점 측정치에 기초하여 추가로 식별되는, 적어도 하나의 비일시적 컴퓨터 판독가능 매체.
  13. 청구항 1에 있어서, 상기 결정하는 단계는 용어 빈도 역 문서 빈도("TF-IDF")를 적용하는 단계를 포함하는, 방법.
  14. 청구항 6에 있어서, 상기 하나 이상의 객체 각각이 코퍼스에 걸쳐 발생하는 빈도는 용어 빈도 역 문서 빈도("TF-IDF")의 적용을 통해 결정되는, 시스템.
  15. 청구항 11에 있어서, 상기 하나 이상의 객체 각각이 코퍼스에 걸쳐 발생하는 빈도는 용어 빈도 역 문서 빈도("TF-IDF")의 적용을 통해 결정되는, 적어도 하나의 비일시적 컴퓨터 판독가능 매체.
KR1020227036225A 2018-06-21 2019-06-20 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측 KR102574279B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237029582A KR20230132601A (ko) 2018-06-21 2019-06-20 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/014,730 US10860642B2 (en) 2018-06-21 2018-06-21 Predicting topics of potential relevance based on retrieved/created digital media files
US16/014,730 2018-06-21
PCT/US2019/038152 WO2019246348A1 (en) 2018-06-21 2019-06-20 Predicting topics of potential relevance based on retrieved/created digital media files
KR1020207035649A KR102457665B1 (ko) 2018-06-21 2019-06-20 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207035649A Division KR102457665B1 (ko) 2018-06-21 2019-06-20 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237029582A Division KR20230132601A (ko) 2018-06-21 2019-06-20 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측

Publications (2)

Publication Number Publication Date
KR20220145424A true KR20220145424A (ko) 2022-10-28
KR102574279B1 KR102574279B1 (ko) 2023-09-04

Family

ID=67441583

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020237029582A KR20230132601A (ko) 2018-06-21 2019-06-20 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측
KR1020227036225A KR102574279B1 (ko) 2018-06-21 2019-06-20 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측
KR1020207035649A KR102457665B1 (ko) 2018-06-21 2019-06-20 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237029582A KR20230132601A (ko) 2018-06-21 2019-06-20 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207035649A KR102457665B1 (ko) 2018-06-21 2019-06-20 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측

Country Status (5)

Country Link
US (3) US10860642B2 (ko)
JP (3) JP6930041B1 (ko)
KR (3) KR20230132601A (ko)
CN (1) CN112313643A (ko)
WO (1) WO2019246348A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10884981B1 (en) * 2017-06-19 2021-01-05 Wells Fargo Bank, N.A. Tagging tool for managing data
US10936630B2 (en) * 2018-09-13 2021-03-02 Microsoft Technology Licensing, Llc Inferring topics with entity linking and ontological data
US11341207B2 (en) * 2018-12-10 2022-05-24 Ebay Inc. Generating app or web pages via extracting interest from images
US11308110B2 (en) * 2019-08-15 2022-04-19 Rovi Guides, Inc. Systems and methods for pushing content
US11386144B2 (en) 2019-09-09 2022-07-12 Adobe Inc. Identifying digital attributes from multiple attribute groups within target digital images utilizing a deep cognitive attribution neural network
US11580994B2 (en) * 2020-01-30 2023-02-14 Google Llc Speech recognition
US20210311611A1 (en) * 2020-04-06 2021-10-07 Google Llc Dynamic multi-axis graphical user interface
CN113051379B (zh) * 2021-02-24 2023-08-04 南京审计大学 一种知识点推荐方法、装置、电子设备及存储介质
US11874808B1 (en) * 2021-06-23 2024-01-16 Amazon Technologies, Inc. Enhanced user profile management across multiple devices
KR20240025384A (ko) * 2022-08-18 2024-02-27 삼성전자주식회사 사용자 맞춤형 메타버스 컨텐츠를 제공하는 전자 장치 및 그 제어 방법
WO2024053846A1 (en) * 2022-09-07 2024-03-14 Samsung Electronics Co., Ltd. A method and device for personalised image segmentation and processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751805B2 (en) * 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
KR20160091488A (ko) * 2015-01-23 2016-08-03 정영규 모델 생성을 이용한 객체 자동 검출 방법 및 시스템
US20160350332A1 (en) * 2015-05-29 2016-12-01 International Business Machines Corporation Individualized on-demand image information acquisition
WO2017071969A1 (en) * 2015-10-30 2017-05-04 Philips Lighting Holding B.V. Commissioning of a sensor system

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5758257A (en) 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
JPH0926970A (ja) 1994-12-20 1997-01-28 Sun Microsyst Inc 情報を検索するコンピュータによる実行方法及び装置
US20020123928A1 (en) 2001-01-11 2002-09-05 Eldering Charles A. Targeting ads to subscribers based on privacy-protected subscriber profiles
US6701362B1 (en) 2000-02-23 2004-03-02 Purpleyogi.Com Inc. Method for creating user profiles
CA2349914C (en) 2000-06-09 2013-07-30 Invidi Technologies Corp. Advertising delivery method
CA2428545C (en) 2000-11-20 2011-02-22 British Telecommunications Public Limited Company Method of managing resources
US20020174134A1 (en) 2001-05-21 2002-11-21 Gene Goykhman Computer-user activity tracking system and method
US7181488B2 (en) * 2001-06-29 2007-02-20 Claria Corporation System, method and computer program product for presenting information to a user utilizing historical information about the user
US9256685B2 (en) 2005-03-31 2016-02-09 Google Inc. Systems and methods for modifying search results based on a user's history
WO2007002728A2 (en) 2005-06-28 2007-01-04 Claria Corporation Method and system for controlling and adapting a media stream
US10949773B2 (en) * 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
JP4909033B2 (ja) * 2006-11-30 2012-04-04 富士通株式会社 番組検索装置
US7991715B2 (en) * 2007-12-27 2011-08-02 Arbor Labs, Inc. System and method for image classification
US9123061B2 (en) * 2010-03-24 2015-09-01 Disney Enterprises, Inc. System and method for personalized dynamic web content based on photographic data
US9037600B1 (en) * 2011-01-28 2015-05-19 Yahoo! Inc. Any-image labeling engine
US9058611B2 (en) * 2011-03-17 2015-06-16 Xerox Corporation System and method for advertising using image search and classification
US9135631B2 (en) 2011-08-18 2015-09-15 Facebook, Inc. Computer-vision content detection for sponsored stories
US9672496B2 (en) 2011-08-18 2017-06-06 Facebook, Inc. Computer-vision content detection for connecting objects in media to users
US8943015B2 (en) 2011-12-22 2015-01-27 Google Technology Holdings LLC Hierarchical behavioral profile
US20140019546A1 (en) * 2012-07-13 2014-01-16 Telibrahma Convergent Communications Pvt. Ltd. Method and system for creating a user profile to provide personalized results
US10691743B2 (en) * 2014-08-05 2020-06-23 Sri International Multi-dimensional realization of visual content of an image collection
US9710545B2 (en) * 2012-12-20 2017-07-18 Intel Corporation Method and apparatus for conducting context sensitive search with intelligent user interaction from within a media experience
US20150058079A1 (en) * 2013-08-26 2015-02-26 Google Inc. Detecting trends from images uploaded to a social network
US11853377B2 (en) * 2013-09-11 2023-12-26 See-Out Pty Ltd Image searching method and apparatus
US20160292299A1 (en) * 2014-01-29 2016-10-06 Google Inc. Determining and inferring user attributes
US20150365725A1 (en) * 2014-06-11 2015-12-17 Rawllin International Inc. Extract partition segments of personalized video channel
EP3238015A4 (en) * 2014-12-22 2019-01-23 Robert Bosch GmbH VISUAL CONTEXT SENSITIVE SYSTEM BASED ON A FIRST PERSON CAMERA
US9594980B1 (en) * 2015-01-19 2017-03-14 Ricoh Co., Ltd. Image acquisition user interface for linear panoramic image stitching
JP5996748B1 (ja) * 2015-09-04 2016-09-21 株式会社リクルートホールディングス オーダー処理システム、オーダー処理方法
JP2017059156A (ja) * 2015-09-18 2017-03-23 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9984075B2 (en) 2015-10-06 2018-05-29 Google Llc Media consumption context for personalized instant query suggest
KR20180069813A (ko) * 2015-10-16 2018-06-25 알리바바 그룹 홀딩 리미티드 타이틀 표시 방법 및 장치
US10282431B1 (en) * 2015-12-18 2019-05-07 A9.Com, Inc. Image similarity-based group browsing
US10706098B1 (en) * 2016-03-29 2020-07-07 A9.Com, Inc. Methods to present search keywords for image-based queries
US10109051B1 (en) * 2016-06-29 2018-10-23 A9.Com, Inc. Item recommendation based on feature match
US10083379B2 (en) * 2016-09-27 2018-09-25 Facebook, Inc. Training image-recognition systems based on search queries on online social networks
US20180101540A1 (en) * 2016-10-10 2018-04-12 Facebook, Inc. Diversifying Media Search Results on Online Social Networks
US20180181667A1 (en) * 2016-12-23 2018-06-28 0934781 BC Ltd System and method to model recognition statistics of data objects in a business database
US10503775B1 (en) * 2016-12-28 2019-12-10 Shutterstock, Inc. Composition aware image querying
US10043109B1 (en) * 2017-01-23 2018-08-07 A9.Com, Inc. Attribute similarity-based search
US11194856B2 (en) * 2017-03-07 2021-12-07 Verizon Media Inc. Computerized system and method for automatically identifying and providing digital content based on physical geographic location data
CN111295669A (zh) * 2017-06-16 2020-06-16 马克波尔公司 图像处理系统
US20190188285A1 (en) * 2017-12-19 2019-06-20 Facebook, Inc. Image Search with Embedding-based Models on Online Social Networks
US10817749B2 (en) * 2018-01-18 2020-10-27 Accenture Global Solutions Limited Dynamically identifying object attributes via image analysis
US10191921B1 (en) * 2018-04-03 2019-01-29 Sas Institute Inc. System for expanding image search using attributes and associations
US11176589B2 (en) * 2018-04-10 2021-11-16 Ebay Inc. Dynamically generated machine learning models and visualization thereof
US20210232577A1 (en) * 2018-04-27 2021-07-29 Facet Labs, Llc Devices and systems for human creativity co-computing, and related methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751805B2 (en) * 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
KR20160091488A (ko) * 2015-01-23 2016-08-03 정영규 모델 생성을 이용한 객체 자동 검출 방법 및 시스템
US20160350332A1 (en) * 2015-05-29 2016-12-01 International Business Machines Corporation Individualized on-demand image information acquisition
WO2017071969A1 (en) * 2015-10-30 2017-05-04 Philips Lighting Holding B.V. Commissioning of a sensor system

Also Published As

Publication number Publication date
KR102457665B1 (ko) 2022-10-24
US20190392055A1 (en) 2019-12-26
JP2023179583A (ja) 2023-12-19
KR102574279B1 (ko) 2023-09-04
US11580157B2 (en) 2023-02-14
JP2021192241A (ja) 2021-12-16
US11971925B2 (en) 2024-04-30
KR20230132601A (ko) 2023-09-15
KR20210005733A (ko) 2021-01-14
JP2021525433A (ja) 2021-09-24
CN112313643A (zh) 2021-02-02
US20210064653A1 (en) 2021-03-04
WO2019246348A1 (en) 2019-12-26
JP6930041B1 (ja) 2021-09-01
US10860642B2 (en) 2020-12-08
US20230153346A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
KR102457665B1 (ko) 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측
US11778028B2 (en) Automatic image sharing with designated users over a communication network
US11209442B2 (en) Image selection suggestions
US20180101540A1 (en) Diversifying Media Search Results on Online Social Networks
US9183282B2 (en) Methods and systems for inferring user attributes in a social networking system
US11126682B1 (en) Hyperlink based multimedia processing
KR102437640B1 (ko) 이미지 선택 제안들
US10579666B2 (en) Computerized cognitive recall assistance
US20200167613A1 (en) Image analysis enhanced related item decision
US9578258B2 (en) Method and apparatus for dynamic presentation of composite media
EP3306555A1 (en) Diversifying media search results on online social networks
JP6882534B2 (ja) 不適切なコンテンツを有するビデオの、検索ログの処理による特定
US20210065407A1 (en) Context aware dynamic image augmentation
CN117076148A (zh) 生成和呈现特定于消息传递线程且基于内容的效果

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant