KR20210031401A - 온라인 제품 카탈로그들에 대한 자동 이미지 선택 - Google Patents

온라인 제품 카탈로그들에 대한 자동 이미지 선택 Download PDF

Info

Publication number
KR20210031401A
KR20210031401A KR1020200115257A KR20200115257A KR20210031401A KR 20210031401 A KR20210031401 A KR 20210031401A KR 1020200115257 A KR1020200115257 A KR 1020200115257A KR 20200115257 A KR20200115257 A KR 20200115257A KR 20210031401 A KR20210031401 A KR 20210031401A
Authority
KR
South Korea
Prior art keywords
image
item
probability score
feature data
listing
Prior art date
Application number
KR1020200115257A
Other languages
English (en)
Inventor
아르논 다간
이도 구이
알렉산더 누스
라파엘 브릴
노아 시모니 바질라이
아비노암 오메르
얀 라도빌스키
에이나브 이타마르
가디 미클레스
Original Assignee
이베이 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이베이 인크. filed Critical 이베이 인크.
Publication of KR20210031401A publication Critical patent/KR20210031401A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

온라인 제품 카탈로그들에 대한 자동 이미지 선택을 위한 시스템들, 방법들, 및 비일시적 컴퓨터 판독가능 매체들이 개시된다. 이미지 선택 시스템은 온라인 마켓플레이스에 포스팅되는 리스팅들에 포함되는 아이템의 이미지들에 대한 특징 데이터를 수집한다. 이미지 선택 시스템은 각각의 이미지가 아이템을 표현하는데 적절한 추정된 확률을 표시하는 확률 점수들을 결정하기 위해 머신 러닝 모델 내에 입력으로서 특징 데이터를 사용한다. 머신 러닝 모델은 이미지를 표현하기 위해 적절한지를 표시하기 위해 라벨링되었던 아이템의 한 세트의 트레이닝 이미지들에 기초하여 트레이닝된다. 이미지 선택 시스템은 확률 점수들을 비교하고 비교에 기초하여 아이템을 스톡 이미지로서 표현하기 위해 이미지를 선택한다.

Description

온라인 제품 카탈로그들에 대한 자동 이미지 선택{AUTOMATIC IMAGE SELECTION FOR ONLINE PRODUCT CATALOGS}
본 개시의 실시예들은 일반적으로 이미지들에 관한 것으로, 보다 구체적으로, 온라인 제품 카탈로그들에 대한 자동 이미지 선택에 관한 것이다.
아이템 또는 아이템들의 카테고리를 표현하기 위해 스톡 이미지를 선택하는 것은 인간에 의해 수동으로 현재 수행되고 있다. 예를 들어, 인간 검토자는 아이템에 대한 다양한 판매자들에 의해 포스팅되는 이미지들의 그룹으로부터 스톡 이미지를 선택한다. 시간 및 자원 집약적인 것에 더하여, 이러한 프로세스는 각각의 인간 검토자가 적절한 스톡 이미지를 구성하고 결정할 때 그들의 개인 선호도들에 의존하는 것에 관한 상이한 의견들을 가질 수 있기 때문에 불일치된 결과들을 제공한다.
반드시 축척에 따라 도시되는 것은 아닌 도면들에서, 비슷한 번호들은 상이한 도면들에서 유사한 구성요소들을 설명할 수 있다. 상이한 문자 접미사들을 갖는 비슷한 번호들은 유사한 구성요소들의 상이한 예들을 표현할 수 있다. 일부 실시예들은 첨부 도면들의 도해들에서 제한이 아닌 예로서 예시된다.
도 1은 일부 예시적 실시예들에 따른 온라인 제품 카탈로그들에 대한 자동 이미지 선택을 제공하는 시스템 구성을 도시한다.
도 2는 일부 예시적 실시예들에 따른 이미지 선택 시스템의 블록도이다.
도 3은 일부 예시적 실시예들에 따른 모델 트레이닝 모듈의 블록도이다.
도 4는 일부 예시적 실시예들에 따른 머신 러닝 모델을 트레이닝하는 흐름도이다.
도 5는 일부 예시적 실시예들에 따른 머신 러닝 모델을 사용하여 이미지를 분류하는 흐름도이다.
도 6은 일부 예시적 실시예들에 따른 머신 러닝 모델을 사용하여 이미지를 선택하는 방법을 도시하는 순서도이다.
도 7은 일부 예시적 실시예들에 따른 온라인 마켓플레이스 상의 판매를 위해 제안되는 아이템들의 리스트 및 대응하는 스톡 이미지들을 제시하는 사용자 인터페이스를 도시하는 스크린샷이다.
도 8은 본원에 설명되는 다양한 하드웨어 아키텍처들과 함께 사용될 수 있는 대표적 소프트웨어 아키텍처를 예시하는 블록도이다.
도 9는 머신 판독가능 매체(예를 들어, 머신 판독가능 저장 매체)로부터 명령어들을 판독하고 본원에 논의되는 방법들 중 임의의 하나 이상을 수행할 수 있는, 일부 예시적 실시예들에 따른 머신의 구성요소들을 예시하는 블록도이다.
이하의 기재에서, 설명의 목적들을 위해, 다양한 상세들은 본 발명의 다양한 실시예들의 철저한 이해를 제공하기 위해 제시된다. 그러나, 본 대상은 이러한 구체적 상세들을 갖지 않거나, 약간의 변경들을 가지고 실시될 수 있다는 점이 본 기술분야의 통상의 기술자에게 분명할 것이다.
명세서에서 "하나의 실시예" 또는 "일 실시예"에 대한 참조는 실시예와 관련하여 설명되는 특정 특징, 구조 또는 특성이 본 대상의 적어도 하나의 실시예에 포함되는 것을 의미한다. 따라서, 명세서 도처의 다양한 위치에 나타나는 구 "하나의 실시예에서" 또는 "일 실시예에서"의 출현들은 반드시 동일한 실시예를 모두 지칭하는 것은 아니다.
설명의 목적들을 위해, 구체적 구성들 및 상세들은 본 대상의 철저한 이해를 제공하기 위해 제시된다. 그러나, 설명되는 대상의 실시예들은 본원에 설명된 바와 같이, 본원에 제시되는 구체적 상세들 없이, 또는 다양한 조합들로 실시될 수 있다는 점이 본 기술분야의 통상의 기술자에게 분명할 것이다. 더욱이, 널리 공지된 특징들은 설명된 실시예들을 모호하게 하지 않도록 생략되거나 단순화될 수 있다. 다양한 예들은 이러한 설명 도처에서 주어질 수 있다. 이들은 구체적 실시예들의 설명들일 뿐이다. 청구항들의 범위 또는 의미는 주어진 예들에 제한되지 않는다.
온라인 제품 카탈로그들에 대한 자동 이미지 선택을 위한 시스템들, 방법들, 및 비일시적 컴퓨터 판독가능 매체들이 개시된다. 온라인 마켓플레이스는 아이템들을 온라인으로 구매하고 판매할 능력을 사용자들에게 제공한다. 예를 들어, 온라인 마켓플레이스는 판매자들이 판매를 위해 제안하고 있는 아이템들을 설명하는 리스팅들을 온라인 마켓플레이스에 판매자들이 포스팅하는 것을 허용한다. 구매자들은 포스팅된 리스팅들을 브라우징하고 그들이 원하는 리스트된 아이템들을 구입할 수 있다. 각각의 리스팅은 판매를 위해 리스트되는 아이템의 이미지들을 포함할 수 있다. 예를 들어, 판매자는 아이템의 이미지들을 캡처하고 리스팅에 포함되는 이미지들을 온라인 마켓플레이스로 업로드할 수 있다. 구매자들은 리스트된 아이템을 구입할지를 평가할 때 이러한 포스팅된 이미지들을 볼 수 있다.
구체적 아이템들을 식별할 시에 구매자들을 원조하기 위해, 온라인 마켓플레이스는 온라인 마켓플레이스에 의한 판매를 위해 리스트되는 개별 아이템들 또는 아이템들의 카테고리의 리스트를 제공할 수 있다. 예를 들어, 온라인 마켓플레이스는 스마트폰들과 같은, 아이템 카테고리들을 리스트할 뿐만 아니라, 스마트폰(예를 들어, 아이폰 X, 삼성 갤럭시 등)의 특정 제조 및 모델과 같은, 개별 아이템들을 리스트할 수 있다. 각각 리스트된 개별 아이템 또는 아이템들의 카테고리는 온라인 마켓플레이스로 하여금 판매를 위한 카테고리 내에 개별 아이템 또는 아이템들을 제안하는 리스팅들을 구매자에게 제시하기 위해 구매자에 의해 선택가능할 수 있다.
각각 리스트된 개별 아이템 또는 아이템들의 카테고리는 아이템 또는 아이템들의 카테고리를 표현하는 스톡 이미지를 할당받을 수 있다. 앞서 설명된 바와 같이, 이러한 프로세스는 인간 검토자들에 의해 수동으로 현재 수행되며, 이는 비효율적이고 인간 검토자들의 가변 개인 선호도들에 기초하여 불일치된 결과들을 제공한다. 이러한 문제를 완화하기 위해, 온라인 마켓플레이스는 개별 아이템(예를 들어, 제품) 또는 아이템들의 카테고리를 표현하기 위한 이미지의 적절성을 예측하기 위해 트레이닝되는 머신 러닝 모델의 사용을 통해 이미지 선택 프로세스를 자동화하는 이미지 선택 시스템을 이용한다.
머신 러닝 모델은 한 세트의 트레이닝 이미지들 및 대응하는 특징 데이터에 기초하여 트레이닝된다. 트레이닝 이미지들은 이미지가 아이템 및/또는 아이템들의 카테고리를 표현하는데 적절한지를 표시하기 위해 라벨링 및/또는 태깅되었던 온라인 마켓플레이스에 포스팅되는 이전 및/또는 현재 리스팅들로부터의 이미지들을 포함한다. 대응하는 특징 데이터는 이미지 및/또는 이미지를 포함한 리스팅을 설명하는 다양한 특징들의 조합을 포함할 수 있다. 예를 들어, 특징 데이터는 리스팅 내의 아이템을 설명하는 아이템 특징들(예를 들어, 가격, 아이템을 리스트하기 위해 사용되는 툴), 아이템의 판매자를 설명하는 판매자 특징들(예를 들어, 리스팅들의 수 또는 판매 성과), 아이템의 카테고리를 설명하는 카테고리 특징들(예를 들어, 카테고리로 판매되는 아이템들), 및 이미지 자체를 설명하는 이미지 특징들(예를 들어, 크기, 콘트라스트, 휘도 또는 각도)을 포함할 수 있다.
결과적인 트레이닝된 머신 러닝 모델은 상기 리스트된 특징들에 기초하여 이미지에 대한 확률 값을 출력한다. 즉, 머신 러닝 모델은 아이템의 이미지를 입력으로서 수신하고 이미지가 아이템 또는 아이템들의 카테고리를 표현하는데 적절한 추정된 확률을 표시하는 확률 점수를 출력한다. 이미지 선택 시스템은 온라인 마켓플레이스에 포스팅되는 리스팅들에 포함되는 아이템의 다수의 이미지에 대한 확률 점수들을 발생시키기 위해 머신 러닝 모델을 사용하고 결과적인 확률 점수들에 기초하여 아이템 또는 아이템들의 카테고리를 표현하기 위해 이미지들 중 하나를 선택한다. 예를 들어, 이미지 선택 시스템은 가장 높은 확률 점수를 갖는 이미지를 선택할 수 있다. 온라인 마켓플레이스는 이미지 선택 시스템에 의해 선택되는 이미지를 아이템 및/또는 아이템들의 카테고리에 대한 스톡 이미지로서 할당한다.
도 1은 일부 예시적 실시예들에 따른 온라인 제품 카탈로그들에 대한 자동 이미지 선택을 제공하는 예시적 시스템 구성(100)을 도시한다. 도시된 바와 같이, 다수의 디바이스(즉, 클라이언트 디바이스(102), 클라이언트 디바이스(104), 온라인 마켓플레이스 시스템(106) 및 이미지 선택 시스템(108))는 통신 네트워크(110)에 연결되고 통신 네트워크(110)의 사용을 통해 서로 통신하도록 구성된다. 통신 네트워크(110)는 근거리 통신망(local area network)("LAN"), 예컨대 인트라넷, 광역 통신망(wide area network)("WAN"), 예컨대 인터넷, 또는 그것의 임의의 조합을 포함하는, 임의의 타입의 네트워크이다. 게다가, 통신 네트워크(110)는 공공 네트워크, 사설 네트워크, 또는 그것의 조합일 수 있다. 통신 네트워크(110)는 하나 이상의 유선 통신 링크, 하나 이상의 무선 통신 링크, 또는 그것의 임의의 조합을 포함하는, 하나 이상의 서비스 제공자와 연관되는 임의의 수의 통신 링크들을 사용하여 구현된다. 추가적으로, 통신 네트워크(110)는 임의의 수의 프로토콜들을 사용하여 포맷되는 데이터의 전송을 지원하도록 구성된다.
다수의 컴퓨팅 디바이스는 통신 네트워크(110)에 연결될 수 있다. 컴퓨팅 디바이스는 다른 컴퓨팅 디바이스들과 네트워크 통신할 수 있는 임의의 타입의 일반 컴퓨팅 디바이스이다. 예를 들어, 컴퓨팅 디바이스는 개인 컴퓨팅 디바이스 예컨대 데스크톱 또는 워크스테이션, 비즈니스 서버, 또는 휴대용 컴퓨팅 디바이스, 예컨대 랩톱, 스마트폰, 또는 태블릿 개인용 컴퓨터(Personal Computer)(PC)일 수 있다. 컴퓨팅 디바이스는 도 9에 도시된 머신(900)의 특징들, 구성요소들, 및 주변장치들의 일부 또는 전부를 포함할 수 있다.
다른 컴퓨팅 디바이스들과의 통신을 용이하게 하기 위해, 컴퓨팅 디바이스는 컴퓨팅 디바이스와 네트워크 통신하는 다른 컴퓨팅 디바이스로부터 요청, 데이터 등과 같은 통신을 수신하고 통신을 컴퓨팅 디바이스 상에 실행하는 적당한 처리 모듈에 따라 전달하도록 구성되는 통신 인터페이스를 포함한다. 통신 인터페이스는 또한 컴퓨팅 디바이스와 네트워크 통신하는 다른 컴퓨팅 디바이스들에 통신을 송신(예를 들어, 데이터를 전송)한다.
시스템(100)에서, 사용자들은 온라인 마켓플레이스 시스템(106)에 의해 제공되는 서비스들을 이용하기 위해 직접 및/또는 간접 통신에 의해 통신 네트워크(110)에 연결되는 클라이언트 디바이스들(102 및 104)의 사용을 통해 온라인 마켓플레이스 시스템(106)과 상호작용한다. 온라인 마켓플레이스 시스템(106)은 사용자들이 판매를 위한 아이템들을 포스팅하고 다른 사용자들에 의한 판매를 위해 포스팅되는 아이템들을 구입할 수 있게 하는 온라인 마켓플레이스를 제공한다. 예를 들어, 온라인 마켓플레이스 서비스(160)는 판매를 위해 경매되는 아이템들 및/또는 설정된 가격으로 판매를 위해 리스트되는 아이템들을 포함할 수 있다.
도시된 시스템(100)이 2개의 클라이언트 디바이스(102, 104)만을 포함하지만, 이것은 설명의 용이성만을 위한 것이고 제한적이도록 의미되지 않는다. 본 기술분야의 통상의 기술자는 시스템(100)이 임의의 수의 클라이언트 디바이스들(102, 104)을 포함할 수 있는 것을 이해할 것이다. 게다가, 온라인 마켓플레이스 시스템(106)은 임의의 수의 클라이언트 디바이스들(102, 104)로부터 연결들을 동시에 허용하고 이 디바이스들과 상호작용할 수 있다. 온라인 마켓플레이스 시스템(106)은 여러가지 상이한 타입들의 클라이언트 디바이스들(102, 104), 예컨대 데스크톱 컴퓨터들; 이동 컴퓨터들; 이동 통신 디바이스들, 예를 들어, 이동 전화들, 스마트폰들, 태블릿들; 스마트 텔레비전들; 셋톱 박스들; 및/또는 임의의 다른 네트워크 가능 컴퓨팅 디바이스들로부터 연결들을 지원한다. 그러므로, 클라이언트 디바이스들(102 및 104)은 가변 타입, 능력들, 운영 체제들 등일 수 있다.
사용자는 클라이언트 디바이스들(102 및 104) 상에 설치되는 클라이언트 측 애플리케이션을 통해 온라인 마켓플레이스 서비스(106)와 상호작용한다. 일부 실시예들에서, 클라이언트 측 애플리케이션은 온라인 마켓플레이스 시스템(106)에 특정한 구성요소를 포함한다. 예를 들어, 구성요소는 독립형 애플리케이션, 하나 이상의 애플리케이션 플러그인, 및/또는 브라우저 확장일 수 있다. 그러나, 사용자들은 또한 클라이언트 디바이스들(102 및 104) 상에 상주하고 온라인 마켓플레이스 시스템(106)과 통신하도록 구성되는, 웹 브라우저와 같은, 제3자 애플리케이션을 통해 온라인 마켓플레이스 시스템(106)과 상호작용할 수 있다. 어느 하나의 경우에, 클라이언트 측 애플리케이션은 사용자가 온라인 마켓플레이스 시스템(106)과 상호작용하도록 사용자 인터페이스(UI)를 제시한다. 예를 들어, 사용자는 파일 시스템과 통합되는 클라이언트 측 애플리케이션을 통해 또는 웹 브라우저 애플리케이션을 사용하여 디스플레이되는 웹페이지를 통해 온라인 마켓플레이스 시스템(106)과 상호작용한다.
온라인 마켓플레이스 시스템(106)은 사용자들(예를 들어, 판매자들)이 판매를 위한 아이템들을 제안하는 리스팅들을 발생 및 포스팅할 수 있고, 다른 사용자들(예를 들어, 구매자들)이 포스팅된 리스팅들을 보고 원한다면 제안된 아이템들을 구입하는 것을 선택할 수 있는 온라인 마켓플레이스(예를 들어, 이베이, 아마존)를 용이하게 하도록 구성되는 하나 이상의 컴퓨팅 디바이스이다. 예를 들어, 온라인 마켓플레이스 시스템(106)은 사용자들이 온라인 마켓플레이스 서비스(106)에 포스팅되는 아이템 리스팅들을 볼 수 있는 사용자 인터페이스를 제공한다. 각각의 아이템 리스팅은 판매를 위해 리스트되는 아이템 또는 아이템들을 설명하는 상세들을 제공할 수 있다. 예를 들어, 아이템 리스팅은 아이템 설명(예를 들어, 서면 설명), 이미지들, 판매 가격, 현재 입찰 가격, 남아 있는 경매 시간 등을 포함할 수 있다.
온라인 마켓플레이스 시스템(106)은 사용자가 아이템을 구입하고 그리고/또는 아이템에 입찰할 수 있게 하는 기능성을 추가로 제공할 수 있다. 예를 들어, 온라인 마켓플레이스 시스템(106)은 사용자가 구입을 완료하기 위해 재무(예를 들어, 신용 카드 번호, 은행 계좌 번호) 및 개인 정보(예를 들어, 발송 주소, 청구서 주소 등)를 제공할 뿐만 아니라, 아이템 구입, 입찰 등을 선택하기 위해 사용할 수 있는 사용자 인터페이스 요소들(예를 들어, 버튼, 텍스트 필드들 등)을 제공할 수 있다.
온라인 마켓플레이스 상에 판매를 위한 아이템을 리스트하기 위해, 사용자는 온라인 마켓플레이스 시스템(106)에 사용자 계정을 생성한다. 사용자 계정은 사용자의 개인 정보(예를 들어, 설명, 주소, 이메일 주소, 전화 번호 등) 및 재무 정보(예를 들어, 신용 카드 정보, 은행 계좌 정보 등)를 포함할 수 있다. 사용자가 사용자 계정을 생성했으면, 사용자는 이때 온라인 마켓플레이스 상에 판매를 위한 아이템을 리스트하는 것을 포함하는, 온라인 마켓플레이스 시스템(106)의 기능성을 이용하기 위해 그들의 사용자 계정을 사용할 수 있다. 온라인 마켓플레이스 시스템(106)은 사용자가 리스팅을 위한 데이터를 제공할 뿐만 아니라 새로운 리스팅을 생성할 수 있게 하는 리스팅 인터페이스를 사용자들에게 제공한다. 예를 들어, 리스팅 인터페이스는 가격, 설명 등과 같은, 리스팅을 위한 지정된 정보를 제공하도록 사용자를 재촉하는 데이터 필드들을 포함할 수 있다. 리스팅 인터페이스는 또한 사용자가 완료된 리스팅을 제출 및/또는 포스팅할 뿐만 아니라 아이템들의 이미지들을 업로드할 수 있게 하는, 버튼들과 같은 사용자 인터페이스 요소들을 포함할 수 있다. 즉, 사용자는 사용자가 리스팅 인터페이스에 포함되는 데이터 필드들을 채운 후에 리스팅을 포스팅할 수 있다.
구체적 아이템들을 식별할 시에 구매자들을 원조하기 위해, 온라인 마켓플레이스 시스템(106)은 온라인 마켓플레이스 시스템(106)에 의한 판매를 위해 리스트되는 개별 아이템들 또는 아이템들의 카테고리의 리스트를 제공할 수 있다. 예를 들어, 온라인 마켓플레이스 시스템(106)은 아이템 카테고리들의 리스트(예를 들어, 스마트폰들, 악기들 등), 및/또는 개별 아이템들(예를 들어, 아이폰 X, 삼성 갤럭시, 펜더 스트라토캐스터, 깁슨 SG 등)을 포함하는 사용자 인터페이스를 제공할 수 있다. 각각 리스트된 개별 아이템 또는 아이템들의 카테고리는 판매를 위한 구체적 아이템 또는 아이템들의 카테고리를 제안하는 개별 리스팅들의 제시를 야기하기 위해 사용자 인터페이스 내에서 선택가능할 수 있다. 예를 들어, 구매자는 판매를 위한 다양한 악기들(예를 들어, 기타들, 드럼들, 키보드들 등)을 제안하는 온라인 마켓플레이스 시스템(106)에 포스팅되는 리스팅들이 제시되도록 악기들에 대한 아이템 카테고리를 선택할 수 있다. 대안적으로, 구매자는 판매를 위한 펜더 스트라토캐스터들을 제안하는 리스팅들만이 제시되도록 개별 아이템 펜더 스트라토캐스터를 선택할 수 있다.
각각 리스트된 개별 아이템 또는 아이템들의 카테고리는 아이템 또는 아이템들의 카테고리를 표현하는 스톡 이미지를 할당받을 수 있다. 스톡 이미지는 개별 아이템 또는 아이템들의 카테고리를 식별하는 구매자들을 위한 시각 보조를 제공한다. 앞서 설명된 바와 같이, 스톡 이미지를 선택하고 할당하는 프로세스는 인간 검토자들에 의해 수동으로 현재 수행된다. 이러한 프로세스는 비효율적일 뿐만 아니라 불일치된 결과들을 야기한다. 예를 들어, 스톡 이미지들을 수동으로 할당하는 것은 인간 검토자들이 다수의 이미지를 수동으로 보고 등급화하는 것을 필요로 하며, 이는 느리고 지루한 프로세스이다. 게다가, 인간 검토자들에 의해 제공되는 등급들은 인간 검토자들의 가변 개인 선호도들에 기초하여 불일치될 수 있다. 예를 들어, 한명의 검토자가 스톡 이미지로서 적절한 것으로 믿는 이미지는 다른 검토자에 의해 부적절한 것으로 간주될 수 있다.
이러한 문제를 완화하기 위해, 온라인 마켓플레이스 시스템(106)은 이미지 선택 프로세스를 자동화하기 위해 이미지 선택 시스템(108)의 기능성을 이용한다. 이미지 선택 시스템(108)이 온라인 마켓플레이스 시스템(106)과 별도로 도시되지만, 이것은 설명의 용이성을 위한 것이고 제한적이도록 의미되지 않는다. 일부 실시예에서, 이미지 선택 시스템(108)의 기능성의 일부 또는 전부는 온라인 마켓플레이스 시스템(106)의 일부로 통합된다.
이미지 선택 시스템(108)은 개별 아이템(예를 들어, 제품) 또는 아이템들의 카테고리를 표현하기 위한 이미지의 적절성을 예측하기 위해 트레이닝되는 머신 러닝 모델의 사용을 통해 아이템 또는 아이템들의 카테고리에 대한 스톡 이미지들을 선택한다. 즉, 머신 러닝 모델은 아이템 또는 아이템들의 카테고리를 입력으로서 식별하는 이미지 및 데이터를 수신하고 이미지가 아이템 또는 아이템들의 카테고리를 얼마나 적절히 표현하는 것인지를 표시하는 확률 점수를 출력한다. 비교적 더 높은 확률 점수를 할당받은 이미지는 비교적 더 낮은 확률 점수를 할당받은 이미지보다 아이템 또는 아이템들의 카테고리를 표현하기 위한 스톡 이미지로서 더 잘 적합해지는 것으로 결정된다.
이미지 선택 시스템(108)은 온라인 마켓플레이스 시스템(106)에 포스팅되는 리스팅들에 포함되는 아이템 또는 아이템들의 카테고리의 다수의 이미지에 대한 확률 점수들을 결정할 수 있다. 그 다음, 이미지 선택 시스템(108)은 결정된 확률 점수들에 기초하여 아이템 또는 아이템들의 카테고리에 대한 스톡 이미지인 이미지들 중 하나를 선택할 수 있다. 예를 들어, 이미지 선택 시스템(108)은 가장 높은 확률 점수를 갖는 이미지 또는 미리 결정된 임계 점수 위의 확률 점수를 할당받은 이미지를 선택할 수 있다.
이미지 선택 시스템(108)은 다수의 아이템 및/또는 아이템들의 카테고리들에 대해 이러한 프로세스를 반복할 수 있다. 예를 들어, 이미지 선택 시스템(108)은 각각의 아이템 및/또는 아이템들의 카테고리에 대한 세트들의 이미지들을 위한 확률 점수들을 결정하고 결정된 확률 점수들에 기초하여 각각의 아이템 및/또는 아이템들의 카테고리에 대한 스톡 이미지를 선택할 수 있다.
이미지 적절성은 다양한 인자들, 예컨대 이미지 휘도, 콘트라스트, 해상도, 배경 색, 워터마크들 또는 그래피티 텍스트의 존재, 문제의 아이템이 이미지와 분명히 구별가능한지 등에 기초할 수 있다. 예를 들어, 이미지 적절성은 최소 및 최대 크기 범위를 정의하는 것과 같이, 이미지의 크기에 기초할 수 있다. 각도 뷰는 이미지 적절성에 대한 다른 인자, 예컨대 캡처된 아이템 또는 제품이 무엇인가의 양호한 이해를 각도가 제공하는지 및 각도가 최적 뷰를 제공하는지이다. 배경은 또한 인자일 수 있다. 예를 들어, 지저분하거나 너무 복잡한 배경들은 이미지에서 캡처되는 아이템을 산만하게 할 수 있다. 따라서, 백색 또는 황백색과 같은, 단색인 간단하고 평범한 배경들이 바람직할 수 있다. 다른 인자들은 이미지가 박스 또는 다른 패키징을 포함하는지 또는 인간이 볼 수 있거나 부분적으로 볼 수 있는지를 포함할 수 있다. 워터마크들 또는 그래피티는 허용가능할 수 있지만, 또한 적절성을 결정할 때 고려될 수 있는 인자이다. 고려될 수 있는 다른 인자들은 다수의 이미지가 있는지 또는 이미지 내에 뷰들이 있는지, 이미지가 흐릿한지/선명한지, 이미지가 잘렸는지 등이다.
이미지의 시각적 양태들에만 기초하여 이미지들을 평가하는 인간 검토자들과 대조적으로, 이미지 선택 시스템(108)에 의해 사용되는 머신 러닝 모델은 이미지뿐만 아니라, 아이템 또는 아이템들의 카테고리, 이미지를 포함한 리스팅, 및 리스팅을 포스팅한 판매자를 설명하는 다양한 타입들의 데이터의 조합을 고려한다. 예를 들어, 특징 데이터는 리스팅과 연관된 가격, 아이템을 리스팅하기 위해 판매자에 의해 사용되는 툴, 아이템이 유효한 일수들, 리스팅이 수용했던 뷰들의 수 등과 같은, 이미지를 포함한 리스팅을 설명하는 아이템 특징들을 포함할 수 있다. 특징 데이터는 또한 판매자에 의해 포스팅되는 리스팅들의 수, 판매자의 이력 판매 성과, 판매자에 의해 포스팅되는 리스팅들에 대한 뷰들의 평균 수 등과 같은, 리스팅을 포스팅한 판매자를 설명하는 판매자 특징들을 포함할 수 있다. 특징 데이터는 또한 카테고리로 판매되는 아이템들의 수, 아이템의 이력 판매 성과, 아이템이 판매 전에 리스트되는 평균 일수들 등과 같은, 아이템 또는 아이템의 카테고리를 설명하는 카테고리 특징들을 포함할 수 있다. 특징 데이터는 또한 이미지의 크기, 콘트라스트, 휘도, 아이템이 도시되는 각도, 이미지에서의 아이템의 크기, 이미지 내의 아이템의 크기 등과 같은 이미지 자체를 설명하는 이미지 특징들을 포함할 수 있다.
이미지 선택 시스템(108)은 온라인 마켓플레이스 시스템(106)으로부터 각각의 이미지에 대한 특징 데이터의 이러한 조합을 수집한다. 이미지 선택 시스템(108)은 각각의 이미지와 연관되는 확률 점수를 결정하기 위해 머신 러닝 모델 내로 입력으로서 수집된 특징 데이터를 제공한다.
유사하게, 이미지 선택 시스템(108)은 한 세트의 트레이닝 이미지들 및 특징 데이터의 조합에 기초하여 머신 러닝 모델을 트레이닝한다. 트레이닝 이미지들은 온라인 마켓플레이스 시스템(106)에 포스팅되는 이전 및/또는 현재 리스팅들로부터의 이미지들을 포함한다. 이미지 선택 시스템(108)은 온라인 마켓플레이스 시스템(106)으로부터 트레이닝 이미지들에 대한 특징 데이터의 조합을 수집한다. 각각의 트레이닝 이미지는 이미지가 아이템 및/또는 아이템들의 카테고리를 표현하는데 적절한지를 표시하기 위해 (예를 들어, 인간 검토자에 의해) 추가적으로 라벨링 및/또는 태깅된다.
도 2는 일부 예시적 실시예들에 따른 이미지 선택 시스템(108)의 블록도이다. 불필요한 상세로 대상을 모호하게 하는 것을 회피하기 위해, 대상의 이해를 전달하는 것에 적절하지 않은 다양한 기능 구성요소들(예를 들어, 모듈들)은 도 2로부터 생략되었다. 그러나, 통상의 기술자는 다양한 추가적 기능 구성요소들이 본원에 구체적으로 설명되지 않은 추가적 기능성을 용이하게 하기 위해 이미지 선택 시스템(108)에 의해 지원될 수 있는 것을 용이하게 인식할 것이다. 더욱이, 도 2에 도시된 다양한 기능 모듈들은 단일 컴퓨팅 디바이스 상에 상주할 수 있거나 클라우드 기반 아키텍처들에 사용되는 것들과 같은 다양한 배열들 내의 수개의 컴퓨팅 디바이스에 걸쳐 분산될 수 있다.
도시된 바와 같이, 이미지 선택 시스템(108)은 데이터 수집 모듈(202), 확률 점수 결정 모듈(204), 이미지 선택 모듈(206), 출력 모듈(208), 모델 트레이닝 모듈(210), 및 데이터 저장소(212)를 포함한다.
데이터 수집 모듈(202)은 아이템 또는 아이템들의 카테고리를 표현하기 위해 스톡 이미지를 선택하도록 이미지 선택 시스템(108)에 의해 사용되는 데이터를 수집한다. 앞서 설명된 바와 같이, 데이터 수집 모듈(202)은 이미지가 아이템 또는 아이템들의 카테고리를 스톡 이미지로서 표현하는데 적합해지는 추정된 확률을 표시하는 확률 점수를 출력하는 머신 러닝 모델을 사용한다. 머신 러닝 모델은 이미지에 대한 확률 점수를 결정하기 위해 상이한 타입들의 특징 데이터의 조합을 사용한다. 예를 들어, 특징 데이터는 리스팅과 연관된 가격, 아이템을 리스팅하기 위해 판매자에 의해 사용되는 툴, 아이템이 유효한 일수들, 리스팅이 수용했던 뷰들의 수 등과 같은, 이미지를 포함한 리스팅을 설명하는 아이템 특징들을 포함할 수 있다. 특징 데이터는 또한 판매자에 의해 포스팅되는 리스팅들의 수, 판매자의 이력 판매 성과, 판매자에 의해 포스팅되는 리스팅들에 대한 뷰들의 평균 수 등과 같은, 리스팅을 포스팅한 판매자를 설명하는 판매자 특징들을 포함할 수 있다. 특징 데이터는 또한 카테고리로 판매되는 아이템들의 수, 아이템의 이력 판매 성과, 아이템이 판매 전에 리스트되는 평균 일수들 등과 같은, 아이템 또는 아이템의 카테고리를 설명하는 카테고리 특징들을 포함할 수 있다. 특징 데이터는 또한 이미지의 크기, 콘트라스트, 휘도, 아이템이 도시되는 각도, 이미지에서의 아이템의 크기, 이미지 내의 아이템의 크기 등과 같은 이미지 자체를 설명하는 이미지 특징들을 포함할 수 있다.
데이터 수집 모듈(202)은 온라인 마켓플레이스 시스템(106)으로부터 머신 러닝 모델에 의해 사용되는 특징 데이터를 수집한다. 예를 들어, 데이터 수집 모듈(202)은 특징 데이터를 요청하기 위해 온라인 마켓플레이스 시스템(106)과 통신한다. 이미지 선택 시스템(108)이 온라인 마켓플레이스 시스템(106)의 일부로서 포함되는 실시예들에서, 데이터 수집 모듈(202)은 데이터 저장소(212)로부터 특징 데이터를 수집할 수 있으며, 이 저장소는 온라인 마켓플레이스 시스템(106)에 대한 사용자 프로파일 및 리스팅 데이터를 저장한다. 데이터 수집 모듈(202)은 아이템 또는 아이템들의 카테고리의 다수의 이미지에 대한 한 세트의 특징 데이터를 수집할 수 있다. 데이터 수집 모듈(202)은 수집된 특징 데이터를 확률 점수 결정 모듈(204)에 제공한다.
확률 점수 결정 모듈(204)은 이미지가 아이템 또는 아이템들의 카테고리를 스톡 이미지로서 표현하는데 적절한 추정된 확률을 표시하는 확률 점수를 결정하기 위해 머신 러닝 모델 내로 입력으로서 이미지와 연관된 특징 데이터를 사용한다. 확률 점수 결정 모듈(204)에 의해 수행되는 분류 프로세스는 도 5와 관련하여 아래에 보다 많이 상세히 설명된다. 확률 점수 결정 모듈(204)은 아이템 또는 아이템들의 카테고리의 다수의 이미지에 대해 이러한 프로세스를 반복하며, 이는 아이템들의 카테고리의 아이템의 이미지들에 대한 한 세트의 확률 점수들을 야기한다.
이미지 선택 모듈(206)은 아이템들의 카테고리의 아이템의 이미지들에 대한 세트의 확률 점수들에 기초하여 아이템 또는 아이템들의 카테고리를 스톡 이미지로서 표현하기 위해 이미지를 선택한다. 예를 들어, 이미지 선택 모듈(206)은 가장 높은 확률 점수를 갖는 이미지를 선택할 수 있다. 다른 예로서, 이미지 선택 모듈(206)은 임계 확률 점수들을 초과하는 확률 점수를 갖는 이미지를 선택할 수 있다.
출력 모듈(208)은 아이템 또는 아이템들의 카테고리에 대한 스톡 이미지인 이미지 선택 모듈(206)에 의해 선택되는 이미지를 식별하는 데이터를 온라인 마켓플레이스 시스템(106)에 제공한다. 그 다음, 온라인 마켓플레이스 시스템(106)은 온라인 마켓플레이스 시스템(106)의 사용자들에 대한 리스트에 아이템 또는 아이템들의 카테고리를 포함할 때 식별된 이미지를 스톡 이미지로서 할당할 수 있다.
모델 트레이닝 모듈(210)은 이미지 선택 시스템(108)에 의해 사용되는 머신 러닝 모델을 트레이닝한다. 앞서 설명된 바와 같이, 머신 러닝 모델은 한 세트의 트레이닝 이미지들 및 다양한 연관된 특징 데이터를 사용하여 트레이닝된다. 트레이닝 이미지들은 온라인 마켓플레이스 시스템(106)에 이전에 포스팅된 이력 리스팅들로부터의 이미지들을 포함할 수 있다. 각각의 트레이닝 이미지는 트레이닝 이미지가 아이템 또는 아이템들의 카테고리를 표현하는데 적절한지의 여부를 표시하기 위해 인간 검토자에 의해 라벨링되거나 태깅될 수 있다. 예를 들어, 각각의 트레이닝 이미지는 이미지가 아이템 또는 아이템들의 카테고리를 표현하는데 적절한지의 여부를 표시하기 위해 1 또는 0으로 태깅될 수 있다. 다른 예로서, 더 넓은 범위 값들(예를 들어, 0 내지 5)은 이미지가 아이템 또는 아이템들의 카테고리를 표현하는데 적절한 레벨을 표시하기 위해 사용될 수 있다.
모델 트레이닝 모듈(210)은 머신 러닝 모델을 발생(예를 들어, 트레이닝, 검증 및 테스팅)하기 위해 라벨링된 트레이닝 이미지들 및 연관된 특징 데이터를 사용한다. 이러한 프로세스는 도 3 및 도 4와 관련하여 아래에 보다 많이 상세히 설명된다. 결과적인 머신 러닝 모델은 이미지가 주어진 아이템 또는 아이템들의 카테고리를 표현하는데 적절한 추정된 확률을 표시하는 주어진 입력 이미지를 위한 확률 점수를 제공한다.
도 3은 일부 예시적 실시예들에 따른 모델 트레이닝 모듈(210)의 블록도이다. 불필요한 상세로 대상을 모호하게 하는 것을 회피하기 위해, 대상의 이해를 전달하는 것에 적절하지 않은 다양한 기능 구성요소들(예를 들어, 모듈들)은 도 3으로부터 생략되었다. 그러나, 통상의 기술자는 다양한 추가적 기능 구성요소들이 본원에 구체적으로 설명되지 않은 추가적 기능성을 용이하게 하기 위해 모델 트레이닝 모듈(210)에 의해 지원될 수 있는 것을 용이하게 인식할 것이다. 더욱이, 도 3에 도시된 다양한 기능 모듈들은 단일 컴퓨팅 디바이스 상에 상주할 수 있거나 클라우드 기반 아키텍처들에 사용되는 것들과 같은 다양한 배열들 내의 수개의 컴퓨팅 디바이스에 걸쳐 분산될 수 있다.
도시된 바와 같이, 모델 트레이닝 모듈(210)은 트레이닝 데이터 액세싱 모듈(302), 트레이닝 데이터 할당 모듈(304), 트레이닝 모듈(306), 검증 모듈(308), 및 테스팅 모듈(310)을 포함한다.
트레이닝 데이터 액세싱 모듈(302)은 머신 러닝 모델을 발생시키기 위해 사용되는 트레이닝 데이터(예를 들어, 라벨링된 트레이닝 이미지들 및 대응하는 특징 데이터)에 액세스한다. 트레이닝 데이터 액세싱 모듈(302)은 데이터 저장소(212) 및/또는 온라인 마켓플레이스 시스템(106)으로부터의 트레이닝 데이터에 액세스할 수 있다. 트레이닝 데이터는 구체적 아이템 또는 아이템들의 카테고리와 각각 연관되는 다수의 세트의 트레이닝 데이터를 포함할 수 있다. 즉, 각각의 세트의 트레이닝 데이터는 아이템들의 지정된 카테고리 내에 있는 지정된 아이템 또는 아이템들을 도시하는 이미지들을 포함한다. 각각의 세트의 트레이닝 데이터는 각각의 아이템 또는 아이템들의 카테고리에 대한 확률 점수들을 결정하기 위해 머신 러닝 모델을 트레이닝하는데 별도로 사용된다.
트레이닝 데이터 할당 모듈(304)은 세트의 트레이닝 데이터와 연관하는 아이템 또는 아이템들의 카테고리에 대한 머신 러닝 모델을 트레이닝, 검증 또는 테스팅하기 위해 각각의 세트의 트레이닝 데이터로부터 트레이닝 데이터를 할당한다. 일부 실시예들에서, 트레이닝 데이터 할당 모듈(304)은 검증 및 테스팅을 위한 머신 러닝 모델 및 더 작은 퍼센티지를 트레이닝하기 위해 트레이닝 데이터의 다수를 할당한다. 예를 들어, 트레이닝 데이터 할당 모듈(304)은 머신 러닝 모델을 트레이닝하기 위한 트레이닝 데이터의 80% 및 머신 러닝 모델의 각각의 검증 및 테스팅에 대한 트레이닝 데이터의 10%를 할당할 수 있다.
트레이닝 모듈(306)은 트레이닝을 위해 할당되는 트레이닝 데이터에 기초하여 머신 러닝 모델을 트레이닝한다. 일부 실시예들에서, 트레이닝 모듈(306)은 트레이닝 데이터의 시각 및 텍스트 특징들을 분리하고 분리된 시각 및 텍스트 특징들을 사용하여 머신 러닝 모델 내에서 분리된 모델들을 트레이닝한다. 예를 들어, 하나의 모델은 시각 특징들에 기초하여 확률 점수를 출력하는 반면에, 다른 모델은 텍스트 특징들에 기초하여 확률 점수를 출력한다. 트레이닝 모듈(306)은 시각 특징들에 기초하여 발생되는 확률 점수 및 텍스트 특징들에 기초하여 발생되는 확률 점수에 기초하여 이미지에 대한 최종 확률 점수를 발생시키는 결합기를 트레이닝한다. 트레이닝 모듈(306)에 의해 수행되는 트레이닝 흐름은 도 4와 관련하여 보다 많이 상세히 논의된다.
검증 모듈(308)은 머신 러닝 모델의 트레이닝 동안 검증 프로세스를 수행한다. 검증 프로세스는 트레이닝된 모델의 파라미터들을 조정하기 위해 검증을 위해 할당되는 세트의 트레이닝 데이터를 사용한다. 예를 들어, 검증 모듈(308)은 교차 검증 또는 다른 다양한 유사한 모델 검증 기술들을 사용할 수 있다. 검증 프로세스는 머신 러닝 모델이 얼마나 정확히 수행할지를 추정하기 위해 검증에 할당되는 트레이닝 데이터를 사용한다. 머신 러닝 모델은 머신 러닝 모드를 추가로 미세 조정하기 위해 검증 프로세스의 결과들에 기초하여 조절될 수 있다.
테스팅 모듈(310)은 머신 러닝 모델의 트레이닝 동안 사용되지 않는 트레이닝 데이터(예를 들어, 테스팅에 할당되는 트레이닝 데이터)를 사용하여 발생된 머신 러닝 모델의 성능을 테스팅한다. 테스팅 모듈(310)은 확률 점수들을 발생시키기 위해 발생된 머신 러닝 모델 내로 입력으로서 이러한 트레이닝 데이터를 사용한다. 그 다음, 테스팅 모듈(310)은 머신 러닝 모델이 얼마나 잘 수행하고 있는지를 평가하기 위해 결과적인 확률 점수들을 인간 제공 라벨들과 비교한다. 예를 들어, 테스팅 모듈(310)은 더 높은 퍼센티지의 이미지들이 인간 제공 라벨들과 일치하는 확률 점수들을 할당받으면 머신 러닝 모델이 잘 수행하고 있는 것을 결정한다. 테스팅 모듈(310)은 머신 러닝 모델을 추가로 개선할 시의 사용을 위해 피드백을 트레이닝 모듈(306) 및/또는 검증 모듈(308)에 제공할 수 있다.
도 4는 일부 예시적 실시예들에 따른 머신 러닝 모델을 트레이닝하는 흐름도이다. 불필요한 상세로 대상을 모호하게 하는 것을 회피하기 위해, 대상의 이해를 전달하는데 적절하지 않은 다양한 상세들은 도 4로부터 생략되었다. 그러나, 통상의 기술자는 다양한 추가적 상세가 본원에 구체적으로 설명되지 않은 추가적 기능성을 용이하게 하기 위해 트레이닝 모듈(306)에 의해 수행될 수 있는 것을 용이하게 인식할 것이다.
도시된 바와 같이, 트레이닝 모듈(306)은 머신 러닝 모델을 트레이닝하기 위해 트레이닝 데이터를 사용한다. 트레이닝 데이터는 리스팅, 아이템, 판매자 등에 관한 데이터와 같은, 연관된 데이터뿐만 아니라, 인간 검토자들에 의해 라벨링되었던 아이템들의 이미지들을 포함한다. 트레이닝 모듈(306)은 트레이닝 데이터(402)를 시각 트레이닝 데이터 및 텍스트 트레이닝 데이터로 분할한다. 시각 트레이닝 데이터는 이미지 자체로부터 유도되는 것들과 같은, 이미지의 시각 특징들에 기초하는 반면, 텍스트 트레이닝 데이터는 리스팅, 판매자 프로파일 등으로부터 데이터와 같은, 텍스트 특징들을 포함한다.
트레이닝 모듈(306)은 컨볼루션 신경망을 트레이닝(404)하기 위해 인간 검토자들에 의해 할당되는 시각 트레이닝 데이터 및 대응하는 라벨들을 사용한다. 컨볼루션 신경망은 시각 트레이닝 데이터에 기초하여 시각 특징들을 출력한다. 트레이닝 모듈(306)은 시각 분류기를 트레이닝(408)하기 위해 컨볼루션 신경망에 의해 출력되는 결과적인 시각 특징들을 사용한다. 예를 들어, 시각 분류기는 베이지안 분류기일 수 있다. 시각 분류기는 시각 특징들에 기초하여 확률 점수들을 출력한다.
트레이닝 모듈(306)은 텍스트 특징 추출기를 트레이닝(406)하기 위해 인간 검토자들에 의해 할당되는 텍스트 트레이닝 데이터 및 대응하는 라벨들을 사용한다. 텍스트 특징 추출기는 텍스트 트레이닝 데이터에 기초하여 텍스트 특징들을 출력한다. 트레이닝 모듈(306)은 텍스트 분류기를 트레이닝(410)하기 위해 컨볼루션 신경망에 의해 출력되는 결과적인 텍스트 특징들을 사용한다. 예를 들어, 텍스트 분류기는 베이지안 분류기일 수 있다. 텍스트 분류기는 텍스트 특징들에 기초하여 확률 점수들을 출력한다.
트레이닝 모듈(306)은 결합기(412)를 트레이닝하기 위해 인간 검토자들에 의해 할당되는 대응하는 라벨들과 함께 결과적인 시각 및 텍스트 기반 확률 점수들을 사용한다. 결합기(412)는 시각 및 텍스트 기반 확률 점수들에 기초하여 최종 확률 점수를 발생시킨다.
도 5는 일부 예시적 실시예들에 따른 머신 러닝 모델을 사용하여 이미지를 분류하는 흐름도이다. 불필요한 상세로 대상을 모호하게 하는 것을 회피하기 위해, 대상의 이해를 전달하는데 적절하지 않은 다양한 상세들은 도 5로부터 생략되었다. 그러나, 통상의 기술자는 다양한 추가적 상세가 본원에 구체적으로 설명되지 않는 추가적 기능성을 용이하게 하기 위해 확률 점수 결정 모듈(204)에 의해 수행될 수 있는 것을 용이하게 인식할 것이다.
도시된 바와 같이, 확률 점수 결정 모듈(204)은 확률 점수(514)를 출력하는 머신 러닝 모델로 입력 데이터(502)를 제공한다. 입력 데이터(502)는 온라인 마켓플레이스 시스템(106)에 의해 포스팅되는 리스팅에 포함된 이미지, 아이템 또는 아이템들의 카테고리를 식별하는 데이터, 및 이미지와 연관된 다른 데이터, 예컨대 리스팅, 아이템, 판매자, 카테고리 등을 설명하는 데이터를 포함한다. 확률 점수 결정 모듈(204)은 입력 데이터(502)를 시각 입력 데이터 및 텍스트 입력 데이터로 분할한다. 시각 입력 데이터는 이미지 자체로부터 유도되는 것들과 같은 이미지의 시각 특징들에 기초하는 반면, 텍스트 입력 데이터는 리스팅, 판매자 프로파일 등으로부터의 데이터와 같은, 텍스트 특징들을 포함한다.
확률 점수 결정 모듈(204)은 컨볼루션 신경망(504) 내로 입력으로서 시각 입력 데이터를 사용한다. 컨볼루션 신경망(504)은 시각 트레이닝 데이터에 기초하여 시각 특징들을 출력한다. 그 다음, 확률 점수 결정 모듈(204)은 시각 분류기(508) 내로 입력으로서 컨볼루션 신경망(504)에 의해 출력되는 결과적인 시각 특징들을 사용한다. 차례로, 시각 분류기(508)는 입력 데이터의 시각 특징들에 기초하여 확률 점수를 출력한다.
확률 점수 결정 모듈(204)은 텍스트 특징 추출기(506) 내로 입력으로서 텍스트 입력 데이터를 사용한다. 텍스트 특징 추출기(506)는 텍스트 트레이닝 데이터에 기초하여 텍스트 특징들을 출력한다. 그 다음, 확률 점수 결정 모듈(204)은 텍스트 분류기(510) 내로 입력으로서 텍스트 특징 추출기(506)에 의해 출력되는 결과적인 텍스트 특징들을 사용한다. 차례로, 텍스트 분류기(510)는 입력 데이터의 텍스트 특징들에 기초하여 확률 점수를 출력한다. 확률 점수 결정 모듈(204)은 결합기(512) 내로 입력으로서 결과적인 시각 및 텍스트 기반 확률 점수들을 사용한다. 결합기(512)는 시각 및 텍스트 기반 확률 점수들에 기초하여 최종 확률 점수를 발생시킨다.
도 6은 일부 예시적 실시예들에 따른 머신 러닝 모델을 사용하여 이미지를 선택하는 방법(600)을 도시하는 순서도이다. 방법(600)은 방법(600)의 동작들이 이미지 선택 시스템(108)에 의해 부분적으로 전적으로 수행될 수 있도록 하나 이상의 프로세서에 의한 실행을 위한 컴퓨터 판독가능 명령어들로 구체화될 수 있으며; 따라서, 방법(600)은 이와 관련하여 예로서 아래에 설명된다. 그러나, 방법(600)의 동작들의 적어도 일부는 다양한 다른 하드웨어 구성들 상에 전개될 수 있고 방법(600)은 이미지 선택 시스템(108)에 제한되도록 의도되지 않는다는 점이 이해될 것이다.
동작(602)에서, 데이터 수집 모듈(202)은 아이템의 제1 이미지에 대한 한 세트의 특징 데이터를 수집한다. 데이터 수집 모듈(202)은 온라인 마켓플레이스 시스템(106)으로부터 특징 데이터를 수집한다. 예를 들어, 데이터 수집 모듈(202)은 특징 데이터를 요청하기 위해 온라인 마켓플레이스 시스템(106)과 통신한다. 이미지 선택 시스템(108)이 온라인 마켓플레이스 시스템(106)의 일부로서 통합되는 실시예들에서, 데이터 수집 모듈(202)은 데이터 저장소(212)로부터 특징 데이터를 수집할 수 있으며, 이 저장소는 온라인 마켓플레이스 시스템(106)에 대한 사용자 프로파일 및 리스팅 데이터를 저장한다.
동작(604)에서, 데이터 수집 모듈(202)은 아이템의 제2 이미지에 대한 한 세트의 특징 데이터를 수집한다.
동작(606)에서, 확률 점수 결정 모듈(204)은 제1 이미지에 대한 특징 데이터에 기초하여 제1 이미지에 대한 확률 점수를 결정한다. 확률 점수 결정 모듈(204)은 확률 점수를 출력하는 머신 러닝 모델 내로 입력으로서 제1 이미지에 대한 특징 데이터를 사용한다. 결과적인 확률 점수는 제1 이미지가 아이템 또는 아이템들의 카테고리를 스톡 이미지로서 표현하는데 적절한 추정된 확률을 표시한다.
동작(608)에서, 확률 점수 결정 모듈(204)은 제2 이미지에 대한 특징 데이터에 기초하여 제2 이미지에 대한 확률 점수를 결정한다. 예를 들어, 확률 점수 결정 모듈(204)은 머신 러닝 모델 내로 입력으로서 제2 이미지에 대한 특징 데이터를 사용한다. 결과적인 확률 점수는 제2 이미지가 아이템 또는 아이템들의 카테고리를 표현하는데 적절한 추정된 확률을 표시한다.
동작(610)에서, 이미지 선택 모듈(206)은 제1 확률 점수 및 제2 확률 점수에 기초하여 아이템을 표현하기 위해 제1 이미지를 선택한다. 이미지 선택 모듈(206)은 아이템들의 카테고리의 아이템의 이미지들에 대한 세트의 확률 점수들에 기초하여 아이템 또는 아이템들의 카테고리를 스톡 이미지로서 표현하기 위해 이미지를 선택한다. 예를 들어, 이미지 선택 모듈(206)은 가장 높은 확률 점수를 갖는 이미지를 선택할 수 있다. 다른 예로서, 이미지 선택 모듈(206)은 임계 확률 점수들을 초과하는 확률 점수를 갖는 이미지를 선택할 수 있다.
도 7은 일부 예시적 실시예들에 따른 온라인 마켓플레이스 상의 판매를 위해 제안되는 아이템 카테고리들의 리스트 및 대응하는 스톡 이미지들을 제시하는 사용자 인터페이스(700)이다. 도시된 바와 같이, 아이템들(702, 706, 710)의 각각 리스트된 카테고리는 아이템들의 카테고리를 표현하는 이미지(704, 708, 712)와 함께 제시된다. 예를 들어, 아이템들 "컴퓨터 모니터들"(702)의 리스트된 카테고리는 컴퓨터 모니터의 이미지(704)와 함께 제시된다. 다른 예로서, 리스트된 카테고리 "데스크톱 컴퓨터들"(706)은 데스크톱 컴퓨터의 이미지(708)와 함께 제시된다. 마찬가지로, 리스트된 카테고리 "휴대 전화"(710)는 휴대 전화의 이미지(712)와 함께 제시된다. 아이템들(702, 706, 710)의 각각 리스트된 카테고리는 판매를 위한 아이템들(702, 706, 710)의 카테고리 내에 아이템들을 제안하는 리스팅의 제시를 야기하기 위해 선택가능할 수 있다. 예를 들어, 컴퓨터 모니터를 구입하는 것에 관심이 있는 사용자는 판매를 위한 컴퓨터 모니터들을 제안하는 온라인 마켓플레이스에 포스팅되는 리스팅들이 제시되도록 리스트된 카테고리 "컴퓨터 모니터들"(702)을 선택할 수 있다. 마찬가지로, 데스크톱 컴퓨터를 구입하는 것에 관심이 있는 사용자는 판매를 위한 데스크톱 컴퓨터들을 제안하는 온라인 마켓플레이스에 포스팅되는 리스팅들이 제시되도록 리스트된 카테고리 "데스크톱 컴퓨터"(706)를 선택할 수 있다.
소프트웨어 아키텍처
도 8은 본원에 설명되는 다양한 하드웨어 아키텍처들과 함께 사용될 수 있는 예시적 소프트웨어 아키텍처(806)를 예시하는 블록도이다. 도 8은 소프트웨어 아키텍처(806)의 비제한적 예이고 많은 다른 아키텍처가 본원에 설명되는 기능성을 용이하게 하기 위해 구현될 수 있다는 점이 이해될 것이다. 소프트웨어 아키텍처(806)는 다른 것들 중에서, 프로세서들(904), 메모리(914), 및 (입력/출력)(input/output) I/O 구성요소들(918)을 포함하는 도 9의 머신(900)과 같은 하드웨어 상에 실행될 수 있다. 대표적 하드웨어 계층(852)은 예시되고 예를 들어, 도 9의 머신(900)을 표현할 수 있다. 대표적 하드웨어 계층(852)은 연관된 실행가능 명령어들(804)을 갖는 처리 유닛(854)을 포함한다. 실행가능 명령어들(804)은 본원에 설명되는 방법들, 구성요소들 등의 구현을 포함하는, 소프트웨어 아키텍처(806)의 실행가능 명령어들을 표현한다. 하드웨어 계층(852)은 또한 메모리 및/또는 저장 모듈들(메모리/저장소)(856), 이 모듈들은 또한 실행가능 명령어들(804)을 갖는다. 하드웨어 계층(852)는 또한 다른 하드웨어(858)를 포함할 수 있다.
도 8의 예시적 아키텍처에서, 소프트웨어 아키텍처(806)는 각각의 계층이 특정 기능성을 제공하는 계층들의 스택으로서 개념화될 수 있다. 예를 들어, 소프트웨어 아키텍처(806)는 운영 체제(802), 라이브러리들(820), 프레임워크들/미들웨어(818), 애플리케이션들(816), 및 표현 계층(814)과 같은 계층들을 포함할 수 있다. 사용 중에, 계층들 내의 애플리케이션들(816) 및/또는 다른 구성요소들은 소프트웨어 스택을 통해 API 호출들(808)을 불러내고 API 호출들(808)에 응답하여 메시지들(812)과 같은 응답을 수신할 수 있다. 예시되는 계층들은 본질적으로 대표적이고 모든 소프트웨어 아키텍처들은 모든 계층들을 갖는 것은 아니다. 예를 들어, 일부 이동 또는 특수 목적 운영 체제들은 프레임워크들/미들웨어(818)를 제공하지 않을 수 있는 반면에, 다른 것들은 그러한 계층을 제공할 수 있다. 다른 소프트웨어 아키텍처들은 추가적 또는 상이한 계층들을 포함할 수 있다.
운영 체제(802)는 하드웨어 자원들을 관리하고 공통 서비스들을 제공할 수 있다. 운영 체제(802)는 예를 들어, 커널(822), 서비스들(824), 및 드라이버들(826)을 포함할 수 있다. 커널(822)은 하드웨어 및 다른 소프트웨어 계층들 사이의 추상화 계층으로서의 역할을 할 수 있다. 예를 들어, 커널(822)은 메모리 관리, 프로세서 관리(예를 들어, 스케줄링), 구성요소 관리, 네트워킹, 보안 설정들 등에 책임이 있을 수 있다. 서비스들(824)은 다른 소프트웨어 계층들을 위한 다른 공통 서비스들을 제공할 수 있다. 드라이버들(826)은 기본 하드웨어를 제어하거나 이 하드웨어와 상호작용할 책임이 있다. 예를 들어, 드라이버들(826)은 하드웨어 구성에 따라, 디스플레이 드라이버들, 카메라 드라이버들, Bluetooth® 드라이버들, 플래시 메모리 드라이버들, 직렬 통신 드라이버들(예를 들어, 범용 직렬 버스(Universal Serial Bus)(USB) 드라이버들), Wi-Fi® 드라이버들, 오디오 드라이버들, 전력 관리 드라이버들 등을 포함한다.
라이브러리들(820)은 애플리케이션들(816) 및/또는 다른 구성요소들 및/또는 계층들에 의해 사용되는 공통 인프라스트럭처를 제공한다. 라이브러리들(820)은 다른 소프트웨어 구성요소들이 기본 운영 체제(802) 기능성(예를 들어, 커널(822), 서비스들(824) 및/또는 드라이버들(826))과 직접 인스페이스하는 것보다 더 용이한 방식으로 작업들을 수행하는 것을 허용하는 기능성을 제공한다. 라이브러리들(820)은 메모리 할당 기능들, 스트링 조작 기능들, 수학 기능들 등과 같은 기능들을 제공할 수 있는 시스템 라이브러리들(844)(예를 들어, C 표준 라이브러리)을 포함할 수 있다. 게다가, 라이브러리들(820)은 API 라이브러리들(846) 예컨대 미디어 라이브러리들(예를 들어, 다양한 미디어 포맷 예컨대 MPEG4, H.264, MP3, AAC, AMR, JPG, PNG의 제시 및 조작을 지원하는 라이브러리들), 그래픽스 라이브러리들(예를 들어, 디스플레이 상에 그래픽 콘텐츠로 2D 및 3D를 렌더링하기 위해 사용될 수 있는 OpenGL 프레임워크), 데이터베이스 라이브러리들(예를 들어, 다양한 관계 데이터베이스 기능들을 제공할 수 있는 SQLite), 웹 라이브러리들(예를 들어, 웹 브라우징 기능성을 제공할 수 있는 WebKit) 등을 포함할 수 있다. 라이브러리들(820)은 또한 많은 다른 API를 애플리케이션들(816) 및 다른 소프트웨어 구성요소들/모듈들에 제공하기 위해 매우 다양한 다른 라이브러리들(848)을 포함할 수 있다.
프레임워크들/미들웨어(818)(또한 때때로 미들웨어로 지칭됨)는 애플리케이션들(816) 및/또는 다른 소프트웨어 구성요소들/모듈들에 의해 사용될 수 있는 상위 레벨 공통 인프라스트럭처를 제공한다. 예를 들어, 프레임워크들/미들웨어(818)는 다양한 그래픽 사용자 인터페이스(graphic user interface)(GUI) 기능들, 고레벨 자원 관리, 고레벨 위치 서비스들 등을 제공할 수 있다. 프레임워크들/미들웨어(818)는 애플리케이션들(816) 및/또는 다른 소프트웨어 구성요소들/모듈들에 의해 사용될 수 있는 다른 API들의 넓은 스펙트럼을 제공할 수 있으며, 그의 일부는 특정 운영 체제(802) 또는 플랫폼에 특정할 수 있다.
애플리케이션들(816)은 내장 애플리케이션들(838) 및/또는 제3자 애플리케이션들(840)을 포함한다. 대표적 내장 애플리케이션들(838)의 예들은 연락처 애플리케이션, 브라우저 애플리케이션, 북 리더 애플리케이션, 위치 애플리케이션, 미디어 애플리케이션, 메시징 애플리케이션, 및/또는 게임 애플리케이션을 포함할 수 있지만, 이들에 제한되지 않는다. 제3자 애플리케이션들(840)은 특정 플랫폼의 벤더와 다른 엔티티에 의해 ANDROID™ 또는 IOS™ 소프트웨어 개발 키트(software development kit)(SDK)를 사용하여 개발되는 애플리케이션을 포함할 수 있고, IOS™, 및 ANDROID™, WINDOWS® 전화, 또는 다른 모바일 운영 체제들과 같은 모바일 운영 체제 상에 실행하는 모바일 소프트웨어일 수 있다. 제3자 애플리케이션들(840)은 본원에 설명되는 기능성을 용이하게 하기 위해 모바일 운영 체제(예컨대 운영 체제(802))에 의해 제공되는 API 호출들(808)을 불러낼 수 있다.
애플리케이션들(816)은 시스템의 사용자들과 상호작용하기 위해 사용자 인터페이스들을 생성하도록 내장 운영 체제 기능들(예를 들어, 커널(822), 서비스들(824) 및/또는 드라이버들(826)), 라이브러리들(820), 및 프레임워크들/미들웨어(818)를 사용할 수 있다. 대안적으로, 또는 추가적으로, 일부 시스템들에서, 사용자와의 상호작용들은 표현 계층(814)과 같은 표현 계층을 통해 발생할 수 있다. 이러한 시스템들에서, 애플리케이션/구성요소 "로직"은 사용자와 상호작용하는 애플리케이션/구성요소의 양상들로부터 분리될 수 있다.
도 9는 머신 판독가능 매체(예를 들어, 머신 판독가능 저장 매체)로부터 명령어들을 판독하고 본원에 논의되는 방법들 중 임의의 하나 이상을 수행할 수 있는, 일부 예시적 실시예들에 따른 머신(900)의 구성요소들을 예시하는 블록도이다. 구체적으로, 도 9는 컴퓨터 시스템의 예시적 형태로 머신(900)의 도해적 표현을 도시하며, 그것 내에서 머신(900)이 본원에 논의되는 방법들 중 임의의 하나 이상을 수행하게 하기 위한 명령어들(910)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행가능 코드)이 실행될 수 있다. 그와 같이, 명령어들(910)은 본원에 설명되는 모듈들 또는 구성요소들을 구현하기 위해 사용될 수 있다. 명령어들(910)은 일반적인, 프로그래밍되지 않은 머신(900)을 설명된 방식으로 설명된 및 예시된 기능들을 수행하기 위해 프로그래밍되는 특정 머신(900)으로 변환한다. 대안 실시예들에서, 머신(900)은 독립형 디바이스로 동작하거나 다른 머신들에 결합(예를 들어, 네트워킹)될 수 있다. 네트워킹된 전개에서, 머신(900)은 서버-클라이언트 네트워크 환경 내의 서버 머신 또는 클라이언트 머신의 용량으로, 또는 피어 투 피어(또는 분산형) 네트워크 환경 내의 피어 머신으로서 동작할 수 있다. 머신(900)은 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스(set-top box)(STB), 개인 휴대 정보 단말기(personal digital assistant)(PDA), 엔터테인먼트 미디어 시스템, 휴대 전화, 스마트폰, 이동 디바이스, 웨어러블 디바이스(예를 들어, 스마트 워치), 스마트 홈 디바이스(예를 들어, 스마트 기기), 다른 스마트 디바이스들, 웹 기기, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 명령어들(910)을 순차적으로 또는 달리 실행할 수 있는 임의의 머신(900)을 포함할 수 있지만, 이들에 제한되지 않으며, 명령어들은 머신(900)에 의해 취해질 액션들을 지정한다. 게다가, 단일 머신(900)만이 예시되지만, 용어 "머신"은 또한 본원에 논의되는 방법들 중 임의의 하나 이상을 수행하기 위해 명령어들(910)을 개별적으로 또는 공동으로 실행하는 머신들의 집합을 포함하도록 취해질 것이다.
머신(900)은 프로세서들(904), 메모리/저장소(906), 및 I/O 구성요소들(918)을 포함할 수 있으며, 이는 예컨대 버스(902)를 통해 서로 통신하도록 구성될 수 있다. 메모리/저장소(906)는 메모리(914), 예컨대 메인 메모리, 또는 다른 메모리 저장소, 및 저장 유닛(916)을 포함할 수 있으며, 둘 모두는 예컨대 버스(902)를 통해 프로세서들(904)에 액세스가능하다. 저장 유닛(916) 및 메모리(914)는 본원에 설명되는 방법들 또는 기능들 중 임의의 하나 이상을 구체화하는 명령어들(910)을 저장한다. 명령어들(910)은 또한 머신(900)에 의한 그것의 실행 동안, 메모리(914) 내에, 저장 유닛(916) 내에, 프로세서들(904) 중 적어도 하나 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 그것의 임의의 적절한 조합 내에, 전적으로 또는 부분적으로 상주할 수 있다. 따라서, 메모리(914), 저장 유닛(916), 및 프로세서들(904)의 메모리는 머신 판독가능 매체들의 예들이다.
I/O 구성요소들(918)은 입력을 수신하고, 출력을 제공하고, 출력을 생성하고, 정보를 송신하고, 정보를 교환하고, 측정들을 캡처하는 등 하는 매우 다양한 구성요소들을 포함할 수 있다. 특정 머신(900)에 포함되는 구체적 I/O 구성요소들(918)은 머신의 타입에 의존할 것이다. 예를 들어, 이동 전화들과 같은 휴대용 머신들은 터치 입력 디바이스 또는 다른 그러한 입력 메카니즘들을 포함할 가능성이 있을 반면에, 헤드리스 서버 머신은 그러한 터치 입력 디바이스를 포함하지 않을 가능성이 있을 것이다. I/O 구성요소들(918)은 도 9에 도시되지 않은 많은 다른 구성요소들을 포함할 수 있다는 점이 이해될 것이다. I/O 구성요소들(918)은 단지 이하의 논의를 단순화하기 위해 기능성에 따라 그룹화되고 그룹화는 결코 제한되지 않는다. 다양한 예시적 실시예들에서, I/O 구성요소들(918)은 출력 구성요소들(926) 및 입력 구성요소들(928)을 포함할 수 있다. 출력 구성요소들(926)은 시각 구성요소들(예를 들어, 디스플레이 예컨대 플라즈마 디스플레이 패널(plasma display panel)(PDP), 발광 다이오드(light emitting diode)(LED) 디스플레이, 액정 디스플레이(liquid crystal display)(LCD), 프로젝터, 또는 음극선관(cathode ray tube)(CRT)), 음향 구성요소들(예를 들어, 스피커들), 햅틱 구성요소들(예를 들어, 진동 모터, 저항 메커니즘), 다른 신호 발생기들 등을 포함할 수 있다. 입력 구성요소들(928)은 영숫자 입력 구성요소들(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성되는 터치 스크린, 광전 키보드, 또는 다른 영숫자 입력 구성요소들), 포인트 기반 입력 구성요소들(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 다른 포인팅 기구), 촉각 입력 구성요소들(예를 들어, 물리 버튼, 터치들 또는 터치 제스처들의 위치 및/또는 힘을 제공하는 터치 스크린, 또는 다른 촉각 입력 구성요소들), 오디오 입력 구성요소들(예를 들어, 마이크로폰) 등을 포함할 수 있다.
추가 예시적 실시예들에서, I/O 구성요소들(918)은 다수의 다른 구성요소 중에서 생체측정 구성요소들(930), 모션 구성요소들(934), 환경 구성요소들(936), 또는 포지션 구성요소들(938)을 포함할 수 있다. 예를 들어, 생체측정 구성요소들(930)은 표현들(예를 들어, 손 표현들, 얼굴 표현들, 음성 표현들, 몸 제스처들, 또는 눈 추적)을 검출하고, 생체신호들(예를 들어, 혈압, 심박수, 체온, 땀, 또는 뇌파들)을 측정하고, 사람(예를 들어, 보이스 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌전도 기반 식별)을 식별하는 등하는 구성요소들을 포함할 수 있다. 모션 구성요소들(934)은 가속도 센서 구성요소들(예를 들어, 가속도계), 중력 센서 구성요소들, 회전 센서 구성요소들(예를 들어, 자이로스코프) 등을 포함할 수 있다. 환경 구성요소들(936)은 예를 들어, 조명 센서 구성요소들(예를 들어, 광도계), 온도 센서 구성요소들(예를 들어, 주위 온도를 검출하는 하나 이상의 온도계), 습도 센서 구성요소들, 압력 센서 구성요소들(예를 들어, 기압계), 음향 센서 구성요소들(예를 들어, 배경 잡음을 검출하는 하나 이상의 마이크로폰), 근접 센서 구성요소들(예를 들어, 인근 객체들을 검출하는 적외선 센서들), 가스 센서들(예를 들어, 안전을 위해 유해 가스들의 농도들을 검출하거나 대기에서 오염물들을 측정하는 가스 검출 센서들), 또는 주위 물리 환경에 대하는 표시들, 측정들, 또는 신호들을 제공할 수 있는 다른 구성요소들을 포함할 수 있다. 포지션 구성요소들(938)은 위치 센서 구성요소들(예를 들어, GPS 수신기 구성요소), 고도 센서 구성요소들(예를 들어, 고도가 유도될 수 있는 공기 압력을 검출하는 고도계들 또는 기압계들), 배향 센서 구성요소들(예를 들어, 자기계들) 등을 포함할 수 있다.
통신은 매우 다양한 기술들을 사용하여 구현될 수 있다. I/O 구성요소들(918)은 머신(900)을 결합(924) 및 결합(922) 각각을 통해 네트워크(932) 또는 디바이스들(920)에 결합하도록 동작가능한 통신 구성요소들(940)을 포함할 수 있다. 예를 들어, 통신 구성요소들(940)은 네트워크(932)와 인터페이스하기 위해 네트워크 인터페이스 구성요소 또는 다른 적절한 디바이스를 포함할 수 있다. 추가 예에서, 통신 구성요소들(940)은 유선 통신 구성요소들, 무선 통신 구성요소들, 셀룰러 통신 구성요소들, 근접장 통신(near field communication)(NFC) 구성요소들, Bluetooth® 구성요소들(예를 들어, 저전력 Bluetooth®), Wi-Fi® 구성요소들, 및 다른 양상을 통해 통신을 제공하는 다른 통신 구성요소들을 포함할 수 있다. 디바이스들(920)은 다른 머신 또는 매우 다양한 주변 디바이스들 중 어느 것(예를 들어, USB를 통해 결합되는 주변 디바이스)일 수 있다.
더욱이, 통신 구성요소들(940)은 식별자들을 검출하거나 식별자들을 검출하도록 동작가능한 구성요소들을 포함할 수 있다. 예를 들어, 통신 구성요소들(940)은 무선 주파수 식별(radio frequency identification)(RFID) 태그 리더 구성요소들, NFC 스마트 태그 검출 구성요소들, 광학 리더 구성요소들(예를 들어, 일차원 바 코드들 예컨대 통일 상품 코드(Universal Product Code)(UPC) 바 코드, 다차원 바 코드들 예컨대 신속 응답(Quick Response)(QR) 코드, 아즈텍 코드, 데이터 매트릭스, 데이터글립, 맥시코드, PDF417, 울트라 코드, UCC RSS-2D 바 코드, 및 다른 광 코드들을 검출하는 광학 센서), 또는 음향 검출 구성요소들(예를 들어, 태그 오디오 신호들을 식별하는 마이크로폰들)을 포함할 수 있다. 게다가, 인터넷 프로토콜(Internet Protocol)(IP) 지리위치를 통한 위치, Wi-Fi® 신호 삼각측량을 통한 위치, 특정 위치를 표시할 수 있는 NFC 비컨 신호를 검출하는 것을 통한 위치 등과 같은, 다양한 정보는 통신 구성요소들(940)을 통해 유도될 수 있다.
용어 해석
"캐리어 신호"는 이러한 맥락에서 머신(900)에 의한 실행을 위한 명령어들(910)을 저장, 인코딩, 또는 반송할 수 있는 임의의 무형 매체를 지칭하고, 그러한 명령어들(910)의 통신을 용이하게 하는 디지털 또는 아날로그 통신 신호들 또는 다른 무형 매체를 포함한다. 명령어들(910)은 네트워크 인터페이스 디바이스를 통한 전송 매체를 사용하여 그리고 다수의 널리 공지된 전송 프로토콜 중 임의의 하나를 사용하여 네트워크(932)를 통해 송신되거나 수신될 수 있다.
"클라이언트 디바이스"는 이러한 맥락에서 하나 이상의 서버 시스템 또는 다른 클라이언트 디바이스들로부터 자원들을 획득하기 위해 통신 네트워크(932)에 인터페이스되는 임의의 머신(900)을 지칭한다. 클라이언트 디바이스는 이동 전화, 데스크톱 컴퓨터, 랩톱, PDA들, 스마트폰들, 태블릿들, 울트라 북들, 넷북들, 랩톱들, 멀티프로세서 시스템들, 마이크로프로세서 기반 또는 프로그램가능 소비자 전자장치들, 게임 콘솔들, STB들, 또는 사용자가 네트워크(932)에 액세스하기 위해 사용할 수 있는 임의의 다른 통신 디바이스일 수 있거나, 이들에 제한되지 않는다.
"통신 네트워크"는 이러한 맥락에서 애드혹 네트워크, 인트라넷, 엑스트라넷, 가상 사설 네트워크(virtual private network)(VPN), 근거리 통신망(local area network)(LAN), 무선 LAN(WLAN), 광역 통신망(wide area network)(WAN), 무선 WAN(WWAN), 대도시 통신망(metropolitan area network)(MAN), 인터넷, 인터넷의 일부, 공중 교환 전화망(Public Switched Telephone Network)(PSTN)의 일부, 기존 전화 서비스(plain old telephone service)(POTS) 네트워크, 휴대 전화 네트워크, 무선 네트워크, Wi-Fi® 네트워크, 다른 타입의 네트워크, 또는 2개 이상의 그러한 네트워크의 조합일 수 있는 네트워크(932)의 하나 이상의 부분을 지칭한다. 예를 들어, 네트워크(932) 또는 네트워크(932)의 일부는 무선 또는 셀룰러 네트워크를 포함할 수 있고 결합은 코드 분할 다중 접속(Code Division Multiple Access)(CDMA) 연결, 이동 통신 세계화 시스템(Global System for Mobile communications)(GSM) 연결, 또는 다른 타입의 셀룰러 또는 무선 결합일 수 있다. 이러한 예에서, 결합은 다양한 타입들의 데이터 전송 기술 중 어느 것, 예컨대 단일 캐리어 라디오 전송 기술(1xRTT), 에볼루션 데이터 최적화(Evolution-Data Optimized)(EVDO) 기술, 일반 패킷 라디오 서비스(General Packet Radio Service)(GPRS) 기술, 에지(Enhanced Data rates for GSM Evolution)(EDGE) 기술, 3G를 포함하는 제3세대 파트너십 프로젝트(third Generation Partnership Project)(3GPP), 제4세대 무선(4G) 네트워크들, 범용 이동 통신 시스템(Universal Mobile Telecommunications System)(UMTS), 고속 패킷 액세스(High Speed Packet Access)(HSPA), 와이맥스(Worldwide Interoperability for Microwave Access)(WiMAX), 롱텀 에볼루션(Long Term Evolution)(LTE) 표준, 다양한 표준 설정 조직들에 의해 정의되는 다른 것들, 다른 장거리 프로토콜들, 또는 다른 데이터 전송 기술을 구현할 수 있다.
"머신 판독가능 매체"는 이러한 맥락에서 명령어들(910) 및 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 구성요소, 디바이스 또는 다른 유형 매체들을 지칭하고 랜덤 액세스 메모리(random-access memory)(RAM), 판독 전용 메모리(read-only memory)(ROM), 버퍼 메모리, 플래시 메모리, 광학 매체들, 자기 매체들, 캐시 메모리, 다른 타입들의 저장소(예를 들어, 소거가능 프로그램가능 판독 전용 메모리(erasable programmable read-only memory)(EEPROM)), 및/또는 그것의 임의의 적절한 조합을 포함할 수 있지만, 이들에 제한되지 않는다. 용어 "머신 판독가능 매체"는 명령어들(910)을 저장할 수 있는 단일 매체 또는 다수의 매체(예를 들어, 집중형 또는 분산형 데이터베이스, 또는 연관된 캐시들 및 서버들)를 포함하도록 취해져야 한다. 용어 "머신 판독가능 매체"는 또한 명령어들(910)이 머신(900)의 하나 이상의 프로세서(904)에 의해 실행될 때, 머신(900)으로 하여금 본원에 설명되는 방법들 중 임의의 하나 이상을 수행하게 하도록, 머신(900)에 의한 실행을 위한 명령어들(910)(예를 들어, 코드)을 저장할 수 있는, 임의의 매체, 또는 다수의 매체의 조합을 포함하도록 취해질 것이다. 따라서, "머신 판독가능 매체"는 다수의 저장 장치 또는 디바이스를 포함하는 "클라우드 기반" 저장 시스템들 또는 저장 네트워크들뿐만 아니라, 단일 저장 장치 또는 디바이스를 지칭한다. 용어 "머신 판독가능 매체"는 신호들 자체를 배제한다.
"구성요소"는 이러한 맥락에서 특정 처리 또는 제어 기능들의 분할 또는 모듈화를 제공하는 함수 또는 서브루틴 호출들, 브랜치 포인트들, API들, 또는 다른 기술들에 의해 정의되는 경계들을 갖는 디바이스, 물리 엔티티, 또는 로직을 지칭한다. 구성요소들은 머신 프로세스를 수행하기 위해 다른 구성요소들과 그들의 인터페이스들을 통해 조합될 수 있다. 구성요소는 다른 구성요소들과의 사용을 위해 디자인되는 패키지형 기능 하드웨어 유닛 및 관련 기능들 중 특정 기능을 통상 수행하는 프로그램의 일부일 수 있다. 구성요소들은 소프트웨어 구성요소들(예를 들어, 머신 판독가능 매체 상에 구체화되는 코드) 또는 하드웨어 구성요소들을 구성할 수 있다. "하드웨어 구성요소"는 특정 동작들을 수행할 수 있는 유형의 유닛이고 특정 물리적 방식으로 구성되거나 배열될 수 있다. 다양한 예시적 실시예들에서, 하나 이상의 컴퓨터 시스템(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 구성요소(예를 들어, 프로세서 또는 프로세서들(904)의 그룹)는 본원에 설명되는 바와 같이 특정 동작들을 수행하도록 동작하는 하드웨어 구성요소로서 소프트웨어(예를 들어, 애플리케이션(816) 또는 애플리케이션 부분)에 의해 구성될 수 있다. 하드웨어 구성요소는 또한 기계적으로, 전자적으로, 또는 그것의 임의의 적절한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 구성요소는 특정 동작들을 수행하도록 영구적으로 구성되는 전용 회로 또는 로직을 포함할 수 있다. 하드웨어 구성요소는 특수 목적 프로세서, 예컨대 필드 프로그램가능 게이트 어레이(field-programmable gate array)(FPGA) 또는 주문형 집적 회로(application specific integrated circuit)(ASIC)일 수 있다. 하드웨어 구성요소는 또한 특정 동작들을 수행하도록 소프트웨어에 의해 일시적으로 구성되는 프로그램가능 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 구성요소는 일반 목적 프로세서(904) 또는 다른 프로그램가능 프로세서(904)에 의해 실행되는 소프트웨어를 포함할 수 있다. 그러한 소프트웨어에 의해 구성되면, 하드웨어 구성요소들은 구성된 기능들을 수행하도록 고유하게 맞춤화되는 구체적 머신들(900)(또는 머신(900)의 구체적 구성요소들)이 되고 더 이상 일반 목적 프로세서들(904)이 아니다. 하드웨어 구성요소를 기계적으로, 전용 및 영구적으로 구성된 회로에서, 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성됨)에서 구현하는 결정은 비용 및 시간 고려사항에 의해 추진될 수 있다는 점이 이해될 것이다. 따라서, 구 "하드웨어 구성요소"(또는 "하드웨어에 의해 구현된 구성요소")는 유형의 엔티티를 포함하는 것으로 이해되며, 특정 방식으로 동작하도록 또는 본원에 설명되는 특정 동작들을 수행하도록 물리적으로 구성되거나, 영구적으로 구성(예를 들어, 하드와이어)되거나, 일시적으로 구성(예를 들어, 프로그래밍)되는 엔티티이어야 한다. 하드웨어 구성요소들이 일시적으로 구성(예를 들어, 프로그래밍)되는 실시예들을 고려하면, 하드웨어 구성요소들 각각은 제 시간에 임의의 하나의 인스턴스로 구성되거나 인스턴스화될 필요가 없다. 예를 들어, 하드웨어 구성요소는 특수 목적 프로세서가 되도록 소프트웨어에 의해 구성되는 일반 목적 프로세서(904)를 포함하는 경우, 일반 목적 프로세서(904)는 상이한 시간들에 각각 상이한 특수 목적 프로세서들(예를 들어, 상이한 하드웨어 구성요소들을 포함함)로서 구성될 수 있다. 따라서, 소프트웨어는 예를 들어, 하나의 시간 인스턴스에 특정 하드웨어 구성요소를 구성하고 상이한 시간 인스턴스에 상이한 하드웨어 구성요소를 구성하기 위해, 특정 프로세서 또는 프로세서들(904)을 구성한다. 하드웨어 구성요소들은 다른 하드웨어 구성요소들에 정보를 제공하고, 이 구성요소들로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 구성요소들은 통신 결합되는 것으로 간주될 수 있다. 다수의 하드웨어 구성요소가 동시에 존재하는 경우, 통신들은 하드웨어 구성요소들 중 2개 이상 사이에서 또는 2개 이상 중에서 신호 전송을 통해(예를 들어, 적당한 회로들 및 버스들(902)을 이용하여) 달성될 수 있다. 다수의 하드웨어 구성요소가 상이한 시간들에 구성되거나 인스턴스화되는 실시예들에서, 그러한 하드웨어 구성요소들 사이의 통신들은 예를 들어, 다수의 하드웨어 구성요소가 액세스할 수 있는 메모리 구조체들에서 정보의 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 구성요소는 동작을 수행하고 그것이 통신 결합되는 메모리 디바이스에 그러한 동작의 출력을 저장할 수 있다. 그 다음, 추가 하드웨어 구성요소는 저장된 출력을 검색하고 처리하기 위해 메모리 디바이스에 나중에 액세스할 수 있다. 하드웨어 구성요소들은 또한 입력 또는 출력 디바이스들과의 통신들을 개시할 수 있고, 자원(예를 들어, 정보의 집합)을 조작할 수 있다. 본원에 설명되는 예시적 방법들의 다양한 동작들은 관련 동작들을 수행하도록 (예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 영구적으로 구성되는 하나 이상의 프로세서(904)에 의해, 적어도 부분적으로, 수행될 수 있다. 일시적으로 구성되든지 또는 영구적으로 구성되든지, 그러한 프로세서들(904)은 본원에 설명되는 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서에 의해 구현되는 구성요소들을 구성할 수 있다. 본원에 사용된 바와 같이, "프로세서에 의해 구현되는 구성요소"는 하나 이상의 프로세서(904)를 사용하여 구현되는 하드웨어 구성요소를 지칭한다. 유사하게, 본원에 설명되는 방법들은 적어도 부분적으로 프로세서에 의해 구현될 수 있으며, 특정 프로세서 또는 프로세서들(904)은 하드웨어의 일 예이다. 예를 들어, 방법의 동작들의 적어도 일부는 하나 이상의 프로세서(904) 또는 프로세서에 의해 구현되는 구성요소들에 의해 수행될 수 있다. 더욱이, 하나 이상의 프로세서(904)는 또한 "클라우드 컴퓨팅" 환경에서 또는 "서비스형 소프트웨어"(software as a service)(SaaS)로서 관련 동작들의 성능을 지원하기 위해 동작될 수 있다. 예를 들어, 동작들의 적어도 일부는 (프로세서들(904)을 포함하는 머신들(900)의 예들로서) 컴퓨터들의 그룹에 의해 수행될 수 있으며, 이러한 동작들은 네트워크(932)(예를 들어, 인터넷)를 통해 그리고 하나 이상의 적당한 인터페이스(예를 들어, API)를 통해 액세스가능하다. 동작들 중 어떤 것의 성능은 단일 머신(900) 내에만 상주하는 것이 아니라, 다수의 머신(900)에 걸쳐 전개되는, 프로세서들(904) 중에 분산될 수 있다. 일부 예시적 실시예들에서, 프로세서들(904) 또는 프로세서에 의해 구현되는 구성요소들은 단일 지리적 위치에(예를 들어, 홈 환경, 사무실 환경, 또는 서버 팜 내에) 위치될 수 있다. 다른 예시적 실시예들에서, 프로세서들(904) 또는 프로세서에 의해 구현되는 구성요소들은 다수의 지리적 위치에 걸쳐 분산될 수 있다.
"프로세서"는 이러한 맥락에서 제어 신호들(예를 들어, "커맨드들", "조작 코드들", "머신 코드" 등)에 따라 데이터 값들을 조작하고 머신(900)을 동작시키도록 인가되는 대응하는 출력 신호들을 생성하는 임의의 회로 또는 가상 회로(실제 프로세서 상에 실행하는 로직에 의해 에뮬레이션되는 물리 회로)를 지칭한다. 프로세서(904)는 예를 들어, 중앙 처리 유닛(central processing unit)(CPU), 축소 명령 집합 컴퓨팅(reduced instruction set computing)(RISC) 프로세서, 복잡 명령 집합 컴퓨팅(complex instruction set computing)(CISC) 프로세서, 그래픽스 처리 유닛(graphics processing unit)(GPU), 디지털 신호 프로세서(digital signal processor)(DSP), ASIC, 무선 주파수 집적 회로(radio-frequency integrated circuit)(RFIC) 또는 그것의 임의의 조합일 수 있다. 프로세서는 또한 명령어들(910)을 동시에 실행할 수 있는 2개 이상의 독립 프로세서(904)(때때로 "코어들"로 지칭됨)를 갖는 멀티 코어 프로세서일 수 있다.

Claims (20)

  1. 방법으로서,
    제1 아이템에 대한 제1 리스팅의 일부로서 포함되는 제1 이미지에 대한 제1 세트의 특징 데이터를 수집하는 단계 - 상기 제1 세트의 특징 데이터는 상기 제1 이미지를 설명하는 이미지 특징들 및 상기 제1 아이템에 대한 제1 리스팅을 포스팅한 제1 사용자를 설명하는 사용자 특징들을 포함함 - ;
    머신 러닝 모델 내에 입력으로서 상기 제1 세트의 특징 데이터를 사용함으로써 상기 제1 이미지에 대한 제1 확률 점수를 결정하는 단계 - 상기 제1 확률 점수는 상기 제1 이미지가 상기 제1 아이템을 표현하는데 적절한 추정된 확률을 표시하며, 상기 머신 러닝 모델은 상기 제1 아이템의 한 세트의 트레이닝 이미지들 및 상기 세트의 트레이닝 이미지들과 연관된 세트들의 특징 데이터에 기초하여 트레이닝되었음 - ;
    상기 제1 아이템에 대한 제2 리스팅의 일부로서 포함되는 제2 이미지에 대한 제2 세트의 특징 데이터를 수집하는 단계 - 상기 제2 세트의 특징 데이터는 상기 제2 이미지를 설명하는 이미지 특징들 및 상기 제1 아이템에 대한 제2 리스팅을 포스팅한 제2 사용자를 설명하는 사용자 특징들을 포함함 - ;
    상기 머신 러닝 모델 내에 입력으로서 상기 제2 세트의 특징 데이터를 사용함으로써 상기 제2 이미지에 대한 제2 확률 점수를 결정하는 단계 - 상기 제2 확률 점수는 상기 제2 이미지가 상기 제1 아이템을 표현하는데 적절한 추정된 확률을 표시함 - ; 및
    상기 제1 아이템을 표현하기 위해 적어도 상기 제1 확률 점수 및 상기 제2 확률 점수의 비교에 기초하여 상기 제1 이미지를 선택하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제1 아이템을 표현하기 위해 상기 제1 이미지를 선택하는 단계는,
    적어도 상기 제1 확률 점수 및 상기 제2 확률 점수의 비교에 기초하여, 상기 제1 확률 점수가 상기 제2 확률 점수보다 더 큰 것을 결정하는 단계를 포함하는, 방법.
  3. 제1항에 있어서, 상기 제1 이미지에 대한 제1 세트의 특징 데이터는 또한 상기 제1 아이템을 설명하는 아이템 특징들을 포함하는, 방법.
  4. 제1항에 있어서, 상기 제1 이미지에 대한 제1 세트의 특징 데이터는 또한 상기 제1 아이템이 포함되는 아이템들의 카테고리를 설명하는 카테고리 특징들을 포함하는, 방법.
  5. 제1항에 있어서, 상기 세트의 트레이닝 이미지들로부터의 각각의 트레이닝 이미지는 상기 각각의 트레이닝 이미지가 상기 제1 아이템을 표현하는데 적절한지를 표시하기 위해 라벨링되는, 방법.
  6. 제1항에 있어서,
    상기 제1 아이템에 대한 제3 리스팅의 일부로서 포함되는 제3 이미지에 대한 제3 세트의 특징 데이터를 수집하는 단계 - 상기 제3 세트의 특징 데이터는 상기 제3 이미지를 설명하는 이미지 특징들 및 상기 제1 아이템에 대한 제3 리스팅을 포스팅한 제3 사용자를 설명하는 사용자 특징들을 포함함 - ; 및
    상기 머신 러닝 모델 내에 입력으로서 상기 제3 세트의 특징 데이터를 사용함으로써 상기 제3 이미지에 대한 제3 확률 점수를 결정하는 단계 - 상기 제3 확률 점수는 상기 제3 이미지가 상기 제1 아이템을 표현하는데 적절한 추정된 확률을 표시하며, 적어도 상기 제1 확률 점수 및 상기 제2 확률 점수의 비교는 또한 상기 제3 확률 점수를 포함함 - 를 추가로 포함하는, 방법.
  7. 제1항에 있어서, 상기 제1 이미지는 상기 제1 아이템을 포함하는 아이템들의 카테고리를 표현함으로써 상기 제1 아이템을 표현하기 위해 선택되는, 방법.
  8. 시스템으로서,
    하나 이상의 컴퓨터 프로세서; 및
    명령어들을 저장하는 하나 이상의 컴퓨터 판독가능 매체를 포함하며, 상기 명령어들은 상기 하나 이상의 컴퓨터 프로세서에 의해 실행될 때, 상기 시스템으로 하여금 동작들을 수행하게 하고, 상기 동작들은,
    제1 아이템에 대한 제1 리스팅의 일부로서 포함되는 제1 이미지에 대한 제1 세트의 특징 데이터를 수집하는 동작 - 상기 제1 세트의 특징 데이터는 상기 제1 이미지를 설명하는 이미지 특징들 및 상기 제1 아이템에 대한 제1 리스팅을 포스팅한 제1 사용자를 설명하는 사용자 특징들을 포함함 - ;
    머신 러닝 모델 내에 입력으로서 상기 제1 세트의 특징 데이터를 사용함으로써 상기 제1 이미지에 대한 제1 확률 점수를 결정하는 동작 - 상기 제1 확률 점수는 상기 제1 이미지가 상기 제1 아이템을 표현하는데 적절한 추정된 확률을 표시하며, 상기 머신 러닝 모델은 상기 제1 아이템의 한 세트의 트레이닝 이미지들 및 상기 세트의 트레이닝 이미지들과 연관된 세트들의 특징 데이터에 기초하여 트레이닝되었음 - ;
    상기 제1 아이템에 대한 제2 리스팅의 일부로서 포함되는 제2 이미지에 대한 제2 세트의 특징 데이터를 수집하는 동작 - 상기 제2 세트의 특징 데이터는 상기 제2 이미지를 설명하는 이미지 특징들 및 상기 제1 아이템에 대한 제2 리스팅을 포스팅한 제2 사용자를 설명하는 사용자 특징들을 포함함 - ;
    상기 머신 러닝 모델 내에 입력으로서 상기 제2 세트의 특징 데이터를 사용함으로써 상기 제2 이미지에 대한 제2 확률 점수를 결정하는 동작 - 상기 제2 확률 점수는 상기 제2 이미지가 상기 제1 아이템을 표현하는데 적절한 추정된 확률을 표시함 - ; 및
    상기 제1 아이템을 표현하기 위해 적어도 상기 제1 확률 점수 및 상기 제2 확률 점수의 비교에 기초하여 상기 제1 이미지를 선택하는 동작
    을 포함하는, 시스템.
  9. 제8항에 있어서, 상기 제1 아이템을 표현하기 위해 상기 제1 이미지를 선택하는 동작은,
    적어도 상기 제1 확률 점수 및 상기 제2 확률 점수의 비교에 기초하여, 상기 제1 확률 점수가 상기 제2 확률 점수보다 더 큰 것을 결정하는 동작을 포함하는, 시스템.
  10. 제8항에 있어서, 상기 제1 이미지에 대한 제1 세트의 특징 데이터는 또한 상기 제1 아이템을 설명하는 아이템 특징들을 포함하는, 시스템.
  11. 제8항에 있어서, 상기 제1 이미지에 대한 제1 세트의 특징 데이터는 또한 상기 제1 아이템이 포함되는 아이템들의 카테고리를 설명하는 카테고리 특징들을 포함하는, 시스템.
  12. 제8항에 있어서, 상기 세트의 트레이닝 이미지들로부터의 각각의 트레이닝 이미지는 상기 각각의 트레이닝 이미지가 상기 제1 아이템을 표현하는데 적절한지를 표시하기 위해 라벨링되는, 시스템.
  13. 제8항에 있어서, 상기 동작들은,
    상기 제1 아이템에 대한 제3 리스팅의 일부로서 포함되는 제3 이미지에 대한 제3 세트의 특징 데이터를 수집하는 동작 - 상기 제3 세트의 특징 데이터는 상기 제3 이미지를 설명하는 이미지 특징들 및 상기 제1 아이템에 대한 제3 리스팅을 포스팅한 제3 사용자를 설명하는 사용자 특징들을 포함함 - ; 및
    상기 머신 러닝 모델 내에 입력으로서 상기 제3 세트의 특징 데이터를 사용함으로써 상기 제3 이미지에 대한 제3 확률 점수를 결정하는 동작 - 상기 제3 확률 점수는 상기 제3 이미지가 상기 제1 아이템을 표현하는데 적절한 추정된 확률을 표시하며, 적어도 상기 제1 확률 점수 및 상기 제2 확률 점수의 비교는 또한 상기 제3 확률 점수를 포함함 - 을 추가로 포함하는, 시스템.
  14. 제8항에 있어서, 상기 제1 이미지는 상기 제1 아이템을 포함하는 아이템들의 카테고리를 표현함으로써 상기 제1 아이템을 표현하기 위해 선택되는, 시스템.
  15. 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은 하나 이상의 컴퓨팅 디바이스의 하나 이상의 컴퓨터 프로세서에 의해 실행될 때, 상기 하나 이상의 컴퓨팅 디바이스로 하여금 동작들을 수행하게 하고, 상기 동작들은,
    제1 아이템에 대한 제1 리스팅의 일부로서 포함되는 제1 이미지에 대한 제1 세트의 특징 데이터를 수집하는 동작 - 상기 제1 세트의 특징 데이터는 상기 제1 이미지를 설명하는 이미지 특징들 및 상기 제1 아이템에 대한 제1 리스팅을 포스팅한 제1 사용자를 설명하는 사용자 특징들을 포함함 - ;
    머신 러닝 모델 내에 입력으로서 상기 제1 세트의 특징 데이터를 사용함으로써 상기 제1 이미지에 대한 제1 확률 점수를 결정하는 동작 - 상기 제1 확률 점수는 상기 제1 이미지가 상기 제1 아이템을 표현하는데 적절한 추정된 확률을 표시하며, 상기 머신 러닝 모델은 상기 제1 아이템의 한 세트의 트레이닝 이미지들 및 상기 세트의 트레이닝 이미지들과 연관된 세트들의 특징 데이터에 기초하여 트레이닝되었음 - ;
    상기 제1 아이템에 대한 제2 리스팅의 일부로서 포함되는 제2 이미지에 대한 제2 세트의 특징 데이터를 수집하는 동작 - 상기 제2 세트의 특징 데이터는 상기 제2 이미지를 설명하는 이미지 특징들 및 상기 제1 아이템에 대한 제2 리스팅을 포스팅한 제2 사용자를 설명하는 사용자 특징들을 포함함 - ;
    상기 머신 러닝 모델 내에 입력으로서 상기 제2 세트의 특징 데이터를 사용함으로써 상기 제2 이미지에 대한 제2 확률 점수를 결정하는 동작 - 상기 제2 확률 점수는 상기 제2 이미지가 상기 제1 아이템을 표현하는데 적절한 추정된 확률을 표시함 - ; 및
    상기 제1 아이템을 표현하기 위해 적어도 상기 제1 확률 점수 및 상기 제2 확률 점수의 비교에 기초하여 상기 제1 이미지를 선택하는 동작
    을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  16. 제15항에 있어서, 상기 제1 아이템을 표현하기 위해 상기 제1 이미지를 선택하는 동작은,
    적어도 상기 제1 확률 점수 및 상기 제2 확률 점수의 비교에 기초하여, 상기 제1 확률 점수가 상기 제2 확률 점수보다 더 큰 것을 결정하는 동작을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  17. 제15항에 있어서, 상기 제1 이미지에 대한 제1 세트의 특징 데이터는 또한 상기 제1 아이템을 설명하는 아이템 특징들을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  18. 제15항에 있어서, 상기 제1 이미지에 대한 제1 세트의 특징 데이터는 또한 상기 제1 아이템이 포함되는 아이템들의 카테고리를 설명하는 카테고리 특징들을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  19. 제15항에 있어서, 상기 세트의 트레이닝 이미지들로부터의 각각의 트레이닝 이미지는 상기 각각의 트레이닝 이미지가 상기 제1 아이템을 표현하는데 적절한지를 표시하기 위해 라벨링되는, 비일시적 컴퓨터 판독가능 매체.
  20. 제15항에 있어서, 상기 동작들은,
    상기 제1 아이템에 대한 제3 리스팅의 일부로서 포함되는 제3 이미지에 대한 제3 세트의 특징 데이터를 수집하는 동작 - 상기 제3 세트의 특징 데이터는 상기 제3 이미지를 설명하는 이미지 특징들 및 상기 제1 아이템에 대한 제3 리스팅을 포스팅한 제3 사용자를 설명하는 사용자 특징들을 포함함 - ; 및
    상기 머신 러닝 모델 내에 입력으로서 상기 제3 세트의 특징 데이터를 사용함으로써 상기 제3 이미지에 대한 제3 확률 점수를 결정하는 동작 - 상기 제3 확률 점수는 상기 제3 이미지가 상기 제1 아이템을 표현하는데 적절한 추정된 확률을 표시하며, 적어도 상기 제1 확률 점수 및 상기 제2 확률 점수의 비교는 또한 상기 제3 확률 점수를 포함함 - 을 추가로 포함하는, 비일시적 컴퓨터 판독가능 매체.
KR1020200115257A 2019-09-10 2020-09-09 온라인 제품 카탈로그들에 대한 자동 이미지 선택 KR20210031401A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/566,121 2019-09-10
US16/566,121 US11113575B2 (en) 2019-09-10 2019-09-10 Automatic image selection for online product catalogs

Publications (1)

Publication Number Publication Date
KR20210031401A true KR20210031401A (ko) 2021-03-19

Family

ID=74851233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200115257A KR20210031401A (ko) 2019-09-10 2020-09-09 온라인 제품 카탈로그들에 대한 자동 이미지 선택

Country Status (3)

Country Link
US (2) US11113575B2 (ko)
KR (1) KR20210031401A (ko)
CN (1) CN112560887A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220165515A (ko) * 2021-06-08 2022-12-15 고려대학교 산학협력단 카탈로그 이미지의 데이터 추출 시스템 및 카탈로그 이미지의 데이터 추출 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10990950B2 (en) * 2019-02-25 2021-04-27 Walmart Apollo, Llc Systems and methods of product recognition through multi-model image processing
US11113575B2 (en) 2019-09-10 2021-09-07 Ebay Inc. Automatic image selection for online product catalogs
US11281975B1 (en) * 2019-09-24 2022-03-22 PerceptiLabs AB Creating and modifying machine learning models in a model training engine
US20210142334A1 (en) * 2019-11-08 2021-05-13 Ul Llc Technologies for using machine learning to determine product certification eligibility
US11586691B2 (en) * 2020-05-21 2023-02-21 Meta Platforms, Inc. Updating a profile of an online system user to include an affinity for an item based on an image of the item included in content received from the user and/or content with which the user interacted
KR102396323B1 (ko) * 2021-03-05 2022-05-10 쿠팡 주식회사 전자 장치 및 그의 정보 제공 방법
US11907508B1 (en) * 2023-04-12 2024-02-20 Adobe Inc. Content analytics as part of content creation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856380B1 (en) 2006-12-29 2010-12-21 Amazon Technologies, Inc. Method, medium, and system for creating a filtered image set of a product
US8196030B1 (en) * 2008-06-02 2012-06-05 Pricewaterhousecoopers Llp System and method for comparing and reviewing documents
US8675957B2 (en) 2010-11-18 2014-03-18 Ebay, Inc. Image quality assessment to merchandise an item
US10565518B2 (en) * 2015-06-23 2020-02-18 Adobe Inc. Collaborative feature learning from social media
US10838984B2 (en) * 2016-08-18 2020-11-17 Ebay Inc. Browse node creation using frequent pattern mining
US11113575B2 (en) 2019-09-10 2021-09-07 Ebay Inc. Automatic image selection for online product catalogs

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220165515A (ko) * 2021-06-08 2022-12-15 고려대학교 산학협력단 카탈로그 이미지의 데이터 추출 시스템 및 카탈로그 이미지의 데이터 추출 방법

Also Published As

Publication number Publication date
CN112560887A (zh) 2021-03-26
US11113575B2 (en) 2021-09-07
US20210397894A1 (en) 2021-12-23
US20210073583A1 (en) 2021-03-11
US11699101B2 (en) 2023-07-11

Similar Documents

Publication Publication Date Title
US11699101B2 (en) Automatic image selection for online product catalogs
US11809692B2 (en) Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image
US20170004557A1 (en) Data recommendation and prioritization
US20210264507A1 (en) Interactive product review interface
US20210374825A1 (en) Generating relationship data from listing data
CN112106094A (zh) 基于效用的价格指导
US20210365885A1 (en) Concurrent queuing and delivery in an online marketplace
US11756105B2 (en) System and methods for message timing optimization
KR20220149624A (ko) 거래 피드백의 처리
CN112825180A (zh) 经验证的视频评论
CN113196328B (zh) 草稿完成系统
US20200234362A1 (en) Managing products at a physical marketplace
US11715119B2 (en) Geographic recommendation platform
US20210312540A1 (en) Offer recommendations for unsuccesful buyers
US20200342488A1 (en) Automated offer management
US20220391961A1 (en) Bundled listing generation
US20220245692A1 (en) Multi-variant offer generation system
US20220414660A1 (en) Transaction compliance determination using machine learning
US11783212B1 (en) Software service platform and graphical user interface (GUI) for determining and presenting rule-based conclusions
US11514506B2 (en) Listing conversion estimation and optimization
US20210312520A1 (en) Multi-party negotiation in an online marketplace
US20240289865A1 (en) Techniques for generating product recommendations using machine learning and image analyses

Legal Events

Date Code Title Description
A201 Request for examination