KR102326652B1

KR102326652B1 - 스팸 게시물을 검출하는 기법

Info

Publication number: KR102326652B1
Application number: KR1020207027894A
Authority: KR
Inventors: 칸나다산 마노즈쿠마르 랑가사미; 아징크야 고라크나스 케일
Original assignee: 이베이 인크.
Priority date: 2015-12-29
Filing date: 2016-12-28
Publication date: 2021-11-17
Also published as: KR20180100159A; KR20200115679A; US20170186032A1; US20220122122A1; US20240046306A1; KR102163505B1; CN108431854B; WO2017117194A1; US11830031B2; CN108431854A; EP3398150A1; US11244349B2

Abstract

다양한 예시적인 실시예에서, 스팸 검출 시스템을 사용하여 스팸 게시물을 판정하는 시스템 및 방법이 제시된다. 이 스팸 검출 시스템은 장치로부터, 아이템의 이미지 및 아이템에 대한 아이템 속성을 수신한다. 또한, 스팸 검출 시스템은 수신된 이미지에 기초하여 이미지 속성을 추출하고, 아이템 속성과 이미지 속성을 비교한다. 또한, 스팸 검출 시스템은 비교에 기초하여 신뢰도 점수를 계산한다. 더 나아가, 스팸 검출 시스템은 신뢰도 점수가 사전결정된 임계치를 넘어서는 것에 기초하여 아이템 속성이 부정확한 것으로 판정한다. 아이템 속성이 부정확한 것으로 판정된 것에 응답하여, 스팸 검출 시스템은 장치의 디스플레이 상에 통지가 제시되게 한다.

Description

스팸 게시물을 검출하는 기법{DETECTION OF SPAM PUBLICATION}

본 출원은 2015년 12월 29일자로 출원된 미국 특허출원 일련번호 제14/983,074호의 우선권의 이익을 주장하며, 이 미국 특허출원은 그 전체가 본원에서 참고로 인용된다.

본 개시의 실시예는 일반적으로 데이터 처리의 기술 분야, 구체적으로는 게시물의 정확성을 결정하는 것에 관한 것이다. 특히, 스팸 게시물을 검출하는 기술이 설명되나 이에 국한되지 않는다.

일반적으로, 게시물은 온라인 마켓플레이스에 게재될 수 있다. 일부 경우, 게시물은 온라인 마켓플레이스의 아이템 리스팅(item listing)일 수 있다. 온라인 마켓플레이스는 구매 및 판매할 아이템에 대한 리스팅 서비스를 제공할 수 있다. 예를 들어, 판매자는 마켓플레이스에서 판매할 아이템을 리스팅할 수 있다. 또한, 구매자는 온라인 마켓플레이스의 웹 사이트를 탐색하고 아이템을 구매할 수 있다.

온라인 마켓플레이스는 판매자가 온라인 마켓플레이스에 아이템의 이미지를 업로드하고, 아이템에 대한 아이템 속성을 입력하고, 아이템에 대한 다른 제품 정보를 입력함으로써 아이템을 리스팅할 수 있게 해준다. 정확한 아이템 속성(예를 들어, 제품 정보)과 정확한 이미지를 구비한 아이템은 판매될 가능성이 높다.

첨부된 다양한 도면은 단지 본 개시의 예시적인 실시예를 도시하고 있을 뿐 그 범위를 제한하는 것으로 간주되어서는 안된다.
도 1은 일부 예시적인 실시예에 따른 네트워크 시스템을 나타내는 블록도이다.
도 2는 도 1의 클라이언트-서버 시스템의 적어도 일부를 형성하는 다수의 모듈을 포함하는 도 1의 스팸 검출 시스템의 예시적인 실시예를 나타내는 블록도이다.
도 3은 일부 실시예에 따라 스팸 검출 시스템을 사용하여 아이템 속성의 정확성을 결정하는 예시적인 프로세스 다이어그램을 도시한다.
도 4는 일부 실시예에 따라 스팸 검출 시스템에 의해 머신 학습 모델을 트레이닝하기 위한 예시적인 프로세스를 도시한다.
도 5는 일부 실시예에 따라 스팸 검출 시스템을 사용하는 예시적인 판매 흐름 프로세스의 일례를 도시한다.
도 6은 일부 실시예에 따라 스팸 검출 시스템을 사용하는 예시적인 검색 흐름 프로세스를 도시한다.
도 7은 일부 실시예에 따라 판매용으로 리스팅된 아이템과 관련된 정보의 정확성을 결정하는 예시적인 방법을 도시하는 흐름도이다.
도 8은 일부 실시예에 따라 도 7에서 정보의 정확성을 판정하기 위해 사용된 신뢰도 점수를 계산하는 예시적인 방법을 도시하는 흐름도이다.
도 9는 머신 판독가능 매체로부터 명령어를 판독하고 본 명세서에서 설명된 임의의 하나 이상의 방법을 수행할 수 있는 일부 예시적인 실시예에 따른 머신의 컴포넌트들을 나타내는 블록도이다.

이하의 설명은 예시적인 실시예를 구현하는 시스템, 방법, 기술, 명령어 시퀀스 및 컴퓨팅 머신 프로그램 제품을 포함한다. 이하의 설명에서, 설명을 위해, 본 명세서에서 논의된 주제의 다양한 실시예에 대한 이해를 제공하기 위해 다수의 특정 세부사항이 설명된다. 그러나, 본 발명의 주제의 실시예가 이러한 특정 세부사항없이도 실시될 수 있음은 당업자에는 자명할 것이다. 일반적으로, 잘 알려진 명령어 인스턴스, 프로토콜, 구조 및 기술은 반드시 상세하게 설명될 필요는 없다.

일부 실시예에 따르면, 게시 시스템은 이 게시 시스템의 사용자에 의해 생성된 게시물을 포함한다. 사용자는 게시 시스템에 콘텐츠를 리스팅할 수 있다. 예를 들어, 판매자는 게시 시스템에서 아이템 리스팅을 생성함으로써 판매할 아이템을 리스팅할 수 있다. 아이템 리스팅은 게시물의 일 예이다. 판매자는 판매할 아이템(예를 들어, 제품)을 리스팅함으로써 온라인 마켓플레이스에서 판매 경험을 시작할 수 있다. 판매자는 온라인 마켓플레이스에 의해 지정된 카테고리 계층의 미리 정의된 리스트로부터 아이템의 제품 카테고리를 선택할 수 있다. 온라인 마켓플레이스에서 제품 카테고리는 그룹화된 계층적 분류로 제품 리스팅의 조직을 나타낼 수 있다. 또한, 일부 예에서, 카테고리 선택 후, 판매자는 제품 제목, 설명 또는 아이템 속성(예를 들어, 브랜드, 모델, 색상, 스타일)을 입력한다. 또한, 판매자는 아이템의 이미지를 업로드하고, 판매할 아이템의 판매 가격을 선택할 수 있다.

아이템이 리스팅되면, 사용자는 온라인 마켓플레이스에서 아이템을 검색하고 구매할 수 있다. 구매자를 위한 쇼핑 경험은 검색 쿼리를 발행하거나 온라인 마켓플레이스의 제품 카탈로그를 검색함으로써 시작될 수 있다. 구매자는 어느 경우든 구매자의 기준에 일치하는 아이템 리스트를 볼 수 있는데, 이는 검색 시도로 지칭될 수 있다. 일부 경우, 구매자는 자유 형식 텍스트를 갖는 쿼리를 사용하여 검색 기준을 입력할 수 있다. 검색 기준은 애플리케이션 서버가 검색 결과를 제공할 수 있게 해주는 것일 수 있다. 검색 기준은 구매자의 위치, 제품 카테고리, 제품 속성, 브랜드, 색상 등을 포함할 수 있다. 검색 기준에 기초하여, 제품 리스팅은 저장소 또는 저장소 색인에서 애플리케이션 서버에 의해 검색된다. 또한, 제품 리스팅은 검색 컨텍스트(예를 들어, 검색 기준)에 존재하는 다양한 요인에 기초하여 순위가 매겨질 수 있고, 순위가 매겨진 제품 리스팅은 검색 결과 페이지에 정렬된 리스트로서 사용자에게 디스플레이된다.

일부 경우, 검색 결과 페이지는 제품 설명 페이지의 요약된 버전의 리스트로 간주될 수도 있다. 예를 들어, 구매자는 검색 결과 페이지에 있는 제품 리스팅 중 하나를 클릭함으로써 제품 설명 페이지로 이동할 수 있다. 구매자는 주어진 검색 컨텍스트에 대해 검색 결과 페이지와 제품 설명 페이지 사이를 앞뒤로 탐색할 수 있다.

기존의 온라인 마켓플레이스에서, 스팸 리스팅은 동일 판매자가 중복 리스팅을 입력하게 되면 간단하게 식별된다. 온라인 마켓플레이스는 판매자가 동일한 아이템을 리스팅하지 못하도록 하거나 검색 결과 페이지에서 아이템의 순위를 떨어트리려 시도한다.

또한, 판매자의 대다수가 제품에 대한 유효한 정보를 제공하지만, 판매용으로 리스팅된 아이템에 대한 부정확한 정보를 실수로 또는 의도적으로 제공하는 특정 비율의 판매자도 존재한다. 스팸 아이템 리스팅은 부정확한, 오도된 또는 거짓된 제품 정보를 갖는 임의의 아이템 리스팅을 포함할 수 있다.

판매자가 판매용으로 리스팅된 아이템에 대한 부정확한 정보를 실수로 또는 의도적으로 제공하는 경우, 스팸 아이템 리스팅의 세 가지 다른 예가 온라인 마켓플레이스에서 발생할 수 있다. 제1 예에서, 판매자는 브랜드 X의 사진을 게시하고 브랜드 Y를 이용하여 제품 정보를 채우게 되면, 구매자가 브랜드 Y를 검색했을 때 검색 엔진을 조작하거나 이용하여 아이템을 반환한다. 제2 예에서, 판매자가 제품에 대한 제품 정보를 실제로 제공하지만, 제품의 제품 액세서리의 잘못된 이미지를 업로드한다. 제3 예에서, 판매자는 실제 제품의 카테고리에 제품 액세서리를 리스팅한다. 제3 예를 계속해서, 판매자는 스마트폰 케이스 카테고리에 아이템을 리스팅하는 대신 실제 스마트폰 카테고리에 판매용 스마트폰 케이스를 리스팅할 수 있다.

일부 실시예에 따르면, 본원에서 설명된 기술들은 스팸 검출 프레임워크(예를 들어, 스팸 검출 시스템)를 도입함으로써 잘못된 리스팅을 감소시킬 수 있다. 스팸 검출 프레임워크는 아이템을 리스팅할 때 받은 아이템 이미지를 사용하여 아이템의 아이템 속성을 확인할 수 있다. 또한, 스팸 검출 프레임워크로부터의 결정에 기초하여, 리스팅된 아이템과 관련된 검색 순위가 수정될 수 있다. 검색 순위는 사용자로부터의 검색 요청에 기초하여 검색 결과를 반환하는 데 사용될 수 있다.

일부 경우, 스팸 검출 프레임워크는 판매자에 의해 업로드된 이미지로부터 정보를 추출하고 머신 학습 및 자연 언어 처리 기술을 사용하여, 업로드된 이미지로부터 이미지 속성을 결정한다. 이미지 속성은 판매자에 의해 입력된 아이템 속성(예를 들어, 제품 설명)과 비교될 수 있다. 또한, 스팸 검출 프레임워크는 아이템 속성이 부정확할(예를 들어, 스팸일) 가능성을 나타내는 신뢰도 점수를 계산할 수 있다.

신뢰도 점수는 아이템 속성과 이미지 속성의 중첩을 나타낼 수 있다. 또한, 신뢰도 점수는 추출된 이미지 속성과 판매자가 제공한 아이템 속성에 기초하여 아이템을 스팸 또는 비스팸으로 분류하는 데 사용될 수 있다. 예를 들어, 신뢰도 점수가 사전결정된 임계치를 넘어서는 경우(예를 들어, 신뢰도 점수가 사전결정된 임계치보다 높거나, 신뢰도 점수가 사전결정된 소정의 임계치보다 낮은 경우), 아이템 속성과 이미지 속성의 중첩은 낮은데, 이는 아이템 속성이 부정확할 가능성을 증가시킨다. 또한, 신뢰도 점수가 높으면, 아이템은 스팸 리스팅으로 표시될 수 있다.

도 1을 참조하면, 고수준 클라이언트-서버 기반 네트워크 아키텍처(105)의 예시적인 실시예가 도시되어 있다. 네트워크 기반 게시 시스템(142) 또는 지불 시스템(144)의 예시적인 형태의 네트워크 시스템(102)은 네트워크(104)(예를 들어, 인터넷 또는 광역 네트워크(WAN))를 통해 서버 측 기능을 하나 이상의 사용자 장치(110)(또한 "클라이언트 장치"로 지칭됨)에 제공한다. 도 1은 예를 들어 웹 클라이언트(112), 클라이언트 애플리케이션(114), 및 사용자 장치(110)상에서 실행되는 프로그래매틱 클라이언트(116)를 도시한다. 네트워크(104)의 하나 이상의 부분은 애드혹 네트워크, 인트라넷, 엑스트라넷, 가상 사설망(VPN), 근거리 통신망(LAN), 무선 LAN(WLAN), 광역 통신망(WAN), 무선 WAN(WWAN), MAN(Metropolitan Area Network), 인터넷의 일부, PSTN(Public Switched Telephone Network)의 일부, 셀룰러 전화 네트워크, 무선 네트워크, WiFi 네트워크, WiMax 네트워크, 다른 유형의 네트워크, 또는 둘 이상의 이러한 네트워크의 조합일 수 있다.

사용자 장치(110)는 이동 전화, 데스크탑 컴퓨터, 랩탑, PDA, 스마트폰, 태블릿, 울트라북, 넷북, 랩탑, 멀티 프로세서 시스템, 마이크로프로세서 기반 또는 프로그램가능 소비자 전자기기, 게임 콘솔, 셋톱 박스, 또는 사용자가 네트워크 시스템(102)에 액세스하기 위해 이용할 수 있는 임의의 다른 통신 장치를 포함할 수 있다. 일부 실시예에서, 사용자 장치(110)는 (예를 들어, 사용자 인터페이스의 형태로) 정보를 디스플레이하는 디스플레이 모듈을 포함할 수 있다. 또 다른 예시적인 실시예에서, 사용자 장치(110)는 터치 스크린, 가속도계, 자이로스코프, 카메라, 마이크로폰, GPS(Global Positioning System) 장치 등 중 하나 이상을 포함할 수 있다. 사용자 장치(110)는 네트워크 시스템(102) 내에서 아이템을 포함한 트랜잭션을 수행하기 위해 사용자(106)에 의해 사용되는 장치일 수 있다. 일 실시예에서, 네트워크 시스템(102)은 제품 리스팅에 대한 요청에 응답하고, 네트워크 기반 마켓플레이스에서 이용가능한 제품의 제품 리스팅(예를 들어, 아이템 리스팅)을 포함하는 게시물을 공개하고 이러한 마켓플레이스 트랜잭션에 대한 지불을 관리하는 는 네트워크 기반 마켓플레이스이다.

각각의 사용자 장치(110)는 웹 브라우저, 메시징 애플리케이션, 전자 메일(이메일) 애플리케이션, 전자 상거래 사이트 애플리케이션(마켓플레이스 애플리케이션으로도 지칭됨) 등과 같은 하나 이상의 애플리케이션("앱"으로도 지칭됨)을 포함할 수 있으나, 이에 국한되지는 않는다. 일부 실시예에서, 전자 상거래 사이트(예를 들어, 온라인 마켓플레이스) 애플리케이션이 주어진 사용자 장치(110)에 포함되어 있는 경우, 이 애플리케이션은 사용자 인터페이스, 및 기능들 중 일부를 로컬로 제공하되, 이 애플리케이션은 로컬로 이용가능하지 않은 데이터 또는 프로세싱 기능에 대해, (예를 들어, 판매가능한 아이템의 데이터베이스에 액세스하거나, 사용자를 인증하거나, 또는 지불 방법을 확인하기 위해) 필요에 따라 네트워크 시스템(102)과 통신하도록 구성된다. 반대로, 전자 장치 사이트 애플리케이션이 사용자 장치(110)에 포함되어 있지 않으면, 사용자 장치(110)는 자신의 웹 브라우저를 사용하여 네트워크 시스템(02) 상에서 호스트되는 전자 상거래 사이트(또는 그 변형예)에 액세스할 수 있다.

하나 이상의 사용자(106)는 사람, 머신, 또는 사용자 장치(110)와 상호 작용하는 다른 수단일 수 있다. 예시적인 실시예에서, 사용자(106)는 네트워크 아키텍처(105)의 일부는 아니지만, 사용자 장치(110) 또는 다른 수단을 통해 네트워크 아키텍처(105)와 상호작용할 수 있다. 예를 들어, 사용자(106)는 사용자 장치(110)에 입력(예를 들어, 터치 스크린 입력 또는 영숫자 입력)을 제공하고, 입력은 네트워크(104)를 통해 네트워크 시스템(102)으로 전달된다. 이 경우, 네트워크 시스템(102)은, 사용자(106)로부터 입력을 수신하는 것에 응답하여, 사용자(106)에게 제시될 정보를 네트워크(104)를 통해 사용자 장치(110)에 전달한다. 이러한 식으로, 사용자(106)는 사용자 장치(110)를 사용하여 네트워크 시스템(102)과 상호작용한다.

애플리케이션 프로그램 인터페이스(API) 서버(120) 및 웹 서버(122)는 각각 하나 이상의 애플리케이션 서버(140)에 연결되어 프로그래매틱 및 웹 인터페이스를 제공한다. 애플리케이션 서버(140)는 게시 시스템(142), 지불 시스템(144), 및 스팸 검출 시스템(150)을 호스팅하며, 이들 각각은 하나 이상의 모듈 또는 애플리케이션을 포함할 수 있고, 또한 이들 각각은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로서 구현될 수 있다. 애플리케이션 서버(140)는 이어서 정보 저장 저장소(예를 들어, 아이템 데이터베이스(126), 판매자 데이터베이스(127), 리스팅 데이터베이스(128), 오프라인 순위 데이터베이스)에 대한 액세스를 용이하게하는 하나 이상의 데이터베이스 서버(124)에 연결되는 것으로 도시되어 있다. 일부 예에서, 데이터베이스 서버(124)는 도 6에서 후술되는 바와 같이 오프라인 순위 데이터베이스에 액세스할 수 있다.

일부 예에서, 리스팅 데이터베이스(128)는 게시될 정보(예를 들어, 게시물 또는 리스팅)를 게시 시스템(142)에 저장하는 저장 장치이다. 리스팅 데이터베이스(128)는 예시적인 실시예에 따라 이력 가격 데이터와 같은, 온라인 마켓플레이스에 현재 리스팅되어 있는 아이템에 대한 정보를 포함한다.

아이템 데이터베이스(126)는 특정 아이템에 대한 아이템 속성을 포함할 수 있다. 예를 들어, 아이템 데이터베이스(126)는 특정 아이템에 대한 제품 정보 및 제품 설명을 포함할 수 있다.

판매자 데이터베이스(127)는 온라인 마켓플레이스에서의 각 판매자의 판매자 정보를 저장한다. 판매자 정보는 이전 거래를 기반으로 한 판매자의 등급, 판매자가 받은 긍정적인 피드백의 수, 수신된 부정적 피드백의 수, 구매자 또는 잠재 구매자와의 소통 메시지, 이전에 판매된 아이템의 수, 올바르게 배송된 아이템의 수, 요청되거나 제공된 환불 횟수, 또는 기타 파생된 정보를 포함할 수 있다. 예를 들어, 다른 파생 정보에는 구매자의 피드백을 기반으로 한 정서 분석이 포함될 수 있다. 정서 분석은 구매자의 피드백을 결정하는 데 사용되는 텍스트 인식 기술을 기반으로 할 수 있다.

또한, 하나 이상의 벤더 서버(130)상에서 실행되는 벤더 애플리케이션(132)은 API 서버(120)에 의해 제공되는 프로그래매틱 인터페이스를 통해 네트워크 시스템(102)에 대한 프로그래매틱 액세스를 갖는 것으로 도시된다. 예를 들어, 네트워크 시스템(102)으로부터 검색된 정보를 이용하는 벤더 애플리케이션(132)은 벤더에 의해 호스팅되는 웹 사이트상의 하나 이상의 특징 또는 기능을 지원한다. 예를 들어, 벤더 웹 사이트는 네트워크 시스템(102)의 관련 애플리케이션에 의해 지원되는 하나 이상의 판촉, 마켓플레이스 또는 지불 기능을 제공한다.

게시 시스템(142)은 네트워크 시스템(102)에 액세스하는 사용자(106)에게 다수의 게시 기능 및 서비스를 제공한다. 마찬가지로 지불 시스템(144)은 지불 및 거래를 수행하거나 용이하게 하는 많은 기능을 제공한다. 게시 시스템(142) 및 지불 시스템(144) 모두가 도 1에서는 네트워크 시스템(102)의 일부를 형성하는 것으로 도시되어 있지만, 대안적인 실시예에서, 각각의 시스템(142, 144)은 네트워크 시스템(102)과는 분리되고 별개인 서비스의 일부를 형성할 수 있음을 알 것이다. 일부 실시예에서, 지불 시스템(144)은 게시 시스템(142)의 일부를 형성할 수 있다.

스팸 검출 시스템(150)은 게시물에 리스팅된 아이템의 이미지로부터 추출된 이미지 정보를 사용하여 다양한 스팸 검출 기술을 수행하도록 동작가능한 기능을 제공한다. 예를 들어, 스팸 검출 시스템(150)은 아이템의 이미지를 수신하고 수신 이미지로부터 이미지 속성을 추출한다. 추출된 이미지 속성을 사용하여, 스팸 검출 시스템(150)은 판매자에 의해 입력된 아이템 속성이 정확한지 또는 부정확한지 여부를 판정한다. 아이템 속성의 정확성을 결정하기 위한 정보의 일부는 아이템 데이터베이스(126), 판매자 데이터베이스(127), 리스팅 데이터베이스(128) 또는 벤더 서버(130)로부터 획득될 수 있다.

또한, 스팸 검출 시스템(150)은 이벤트에 대응하는 통지 서비스를 제공한다. 예를 들어, 스팸 검출 시스템(150)은 아이템 속성이 부정확하다는 판정에 기초하여 사용자(106)에게 통지를 보낼 수 있다. 아이템 속성은 아이템 속성과 연관된 계산 된 신뢰도 점수가 소정의 임계치를 넘었을 때 부정확할 수 있다. 따라서, 스팸 검출 시스템(150)은 통지 이벤트(예를 들어, 신뢰도 점수가 소정의 임계치를 넘었을 때)를 검출하는 것에 응답하여, 사용자(106)와 관련된 사용자 장치(110)에 통지 메시지를 제공한다. 예시적인 실시예에서, 통지 메시지는 아이템 속성 또는 아이템 리스팅 정보를 업데이트하라는 통지를 사용자(106)에게 제공하는 텍스트, 그래픽 또는 청각적 메시지를 포함한다.

또한, 도 1에 도시된 클라이언트-서버 기반 네트워크 아키텍처(100)는 클라이언트-서버 아키텍처를 사용하지만, 본 발명은 당연히 이러한 아키텍처에 국한되지 않으며, 예를 들어 분산형 또는 피어 투 피어 아키텍처 시스템도 동등하게 채용할 수 있다. 게시 시스템(142), 지불 시스템(144), 또는 스팸 검출 시스템(150)은 반드시 네트워킹 기능을 가질 필요는 없는 독립형 소프트웨어 프로그램으로서 구현될 수도 있다. 예를 들어, 스팸 검출 시스템(150)은 네트워킹 기능을 갖지 않을 때 애플리케이션 서버(140)에 대한 액세스없이 부정확한 아이템 속성을 결정할 수 있다.

예시적인 실시예에서, 웹 클라이언트(112)는 웹 서버(122)에 의해 지원되는 웹 인터페이스를 통해 스팸 검출 시스템(150)에 액세스한다. 유사하게, 프로그래매틱 클라이언트(116)는 API 서버(120)에 의해 제공되는 프로그래매틱 인터페이스를 통해 스팸 검출 시스템(150)에 의해 제공되는 다양한 서비스 및 기능에 액세스한다. 프로그래매틱 클라이언트(116)는 예를 들어, 판매자가 네트워크 시스템(102)상의 리스팅을 오프라인으로 저작 및 관리할 수 있게 하고, 프로그래매틱 클라이언트(116)와 네트워크 시스템(102) 사이에서 배치 모드 통신을 수행할 수 있게 하는 는 판매자 애플리케이션(예를 들어, 캘리포니아 산호세의 eBay® Inc에 의해 개발된 터보 리스터 애플리케이션)일 수 있다.

도 2는 도 1의 네트워크 아키텍처(100)의 적어도 일부를 형성하는 다수의 모듈을 포함하는 도 1의 스팸 검출 시스템(150)의 예시적인 실시예를 나타내는 블록도이다. 도시된 스팸 검출 시스템(150)의 모듈(210-270)은 애플리케이션 인터페이스 모듈(210), 데이터 저장 인터페이스 모듈(220), 이미지 추출 모듈(230), 비교 모듈(240), 리스팅 생성 모듈(250), 신뢰도 점수 계산 모듈(260) 및 통지 관리 모듈(270)을 포함한다. 일부 실시예에서, 스팸 검출 시스템(150)의 컴포넌트는 도 1의 애플리케이션 서버(140)에 포함된다. 그러나, 대안적인 실시예들에서, 후술되는 스팸 검출 시스템(150)의 하나 이상의 컴포넌트는 추가적으로 또는 대안적으로, 도 1의 사용자 장치(110) 또는 벤더 서버(130) 중 하나 이상과 같은 다른 장치에 포함된다. 또한, 스팸 검출 시스템(150)은 온라인 마켓플레이스 이외의 시스템에 배치된다.

스팸 검출 시스템(150)의 모듈(210-270)은 서버 머신들 간의 통신을 가능하게 하도록 통신가능하게 결합된 전용 또는 공유 서버 머신 상에서 호스팅된다. 하나 이상의 모듈(210-270)은 하나 이상의 데이터 센터에 배치된다. 각각의 모듈(210-270)은 다른 모듈(210-270) 및 다양한 데이터 소스에 통신가능하게 연결되어, 정보가 스팸 검출 시스템(150)의 모듈(210-270) 사이에서 전달되도록 하거나 또는 모듈(210-270)이 공통 데이터를 공유하고 액세스할 수 있게 한다.

애플리케이션 인터페이스 모듈(210)은 스팸 검출 시스템(150)과 사용자 장치(110), 벤더 서버(130) 및 네트워크(104)에 접속된 다른 장치 간의 데이터 통신을 용이하게 하는 하드웨어 구현 모듈이다. 특히, 애플리케이션 인터페이스 모듈(210)은 하나 이상의 사용자 장치(110)와 인터페이싱하기 위한 사용자 대면(user-facing) 그래픽 사용자 인터페이스(GUI)를 제공하여, 양방향 인터페이스를 제공한다. 예를 들어, 애플리케이션 인터페이스 모듈(210)은 API 서버(120)와 인터페이스하여 사용자 장치(110)에 프로그래매틱 인터페이스를 제공하거나 웹 인터페이스를 사용자 장치(110)에 제공한다. 이와 같이, 애플리케이션 인터페이스 모듈(210)은 스팸 검출 시스템(150)과 사용자 장치(110) 사이에서 기능, 웹 페이지, 데이터, 코드 또는 다른 웹 리소스의 제공을 용이하게 한다.

동작 중에, 스팸 검출 시스템(150)은 (예를 들어, 애플리케이션 인터페이스 모듈(210)을 통해) 하나 이상의 사용자 장치(110)로부터 데이터를 수신한다. 사용자 장치(110)로부터 수신된 데이터는 이하에서 보다 자세히 설명되는 바와 같이, 예를 들어 이미지, 아이템 속성, 다른 아이템 정보와 관련된 다수의 입력 또는 요청; 인증; 사용자 계정의 생성 또는 편집; 리스팅 데이터베이스(128)의 추가, 제거 또는 편집; 또는 데이터 공유(예를 들어, 선택된 아이템 또는 통지의 공유)에 대응한다.

데이터 저장 인터페이스 모듈(220)은 스팸 검출 시스템(150)에 대한 데이터에 액세스하는 것을 용이하게 하는 하드웨어 구현 모듈이다. 일 실시예에서, 데이터 저장 인터페이스 모듈(220)은 도 1의 아이템 데이터베이스(126), 판매자 데이터베이스(127) 및 리스팅 데이터베이스(128)와 인터페이싱하여 하나 이상의 사용자 계정, 벤더 계정, 이전에 리스팅된 아이템 또는 현재 리스팅된 아이템에 액세스한다.

이미지 추출 모듈(230)은 수신된 이미지로부터 이미지 속성을 추출하는 하드웨어 구현 모듈이다. 추출 기법은 도 3, 도 4 및 도 8에서 더 설명된다. 동작시에, 이미지 추출 모듈(230)은 도 1의 사용자 장치(110) 또는 벤더 서버(130)(이에 국한되지 않음)와 같은 장치로부터 판매용으로 리스팅된 아이템과 관련된 이미지를 수신한다.

비교 모듈(240)은 추출된 이미지 속성을 판매자로부터 수신된 아이템 속성과 비교하여 아이템 리스팅의 정확성을 결정하는 하드웨어 구현 모듈이다. 비교 기법은 도 3 내지 도 8에서 더 설명된다. 동작시, 비교 모듈(240)은 비교를 수행하기 위해 사용자 장치(110)로부터 아이템 속성 및 이미지 추출 모듈(230)로부터 이미지 속성을 수신한다.

리스팅 생성 모듈(250)은 온라인 마켓플레이스상의 리스팅의 자동 생성을 용이하게 하는 하드웨어 구현 모듈이다. 부정확한 아이템 속성을 업데이트하라는 수신된 표시 또는 아이템 리스팅이 스팸이 아니라는 판정에 기초하여, 리스팅 생성 모듈(250)은 온라인 마켓플레이스상의 아이템에 대한 리스팅을 생성한다. 도 7은 리스팅 생성 모듈(250)에 의해 수행되는 동작을 더 설명한다.

신뢰도 점수 계산 모듈(260)은 비교 모듈(240)에 의해 수행된 비교에 기초하여 신뢰도 점수를 계산하는 하드웨어 구현 모듈이다. 신뢰도 점수 계산 모듈(260)은 검색 요청에 응답하여 온라인 마켓플레이스 내의 아이템 리스팅에 대해 순위를 설정할 수도 있다. 신뢰도 점수 계산을 위한 기술은 도 7 및 도 8에 더 설명된다.

통지 관리 모듈(270)은 아이템 속성이 부정확하거나 아이템 리스팅이 스팸이라는 판정과 관련된 사용자 통지를 제공하는 것을 용이하게 하는 하드웨어 구현 모듈이다. 동작시에, 통지 관리 모듈(270)은 그 판정에 기초하여 아이템 리스팅 또는 아이템 속성을 업데이트하라는 통지를 사용자 장치(110)에 전송한다. 아이템 리스팅 또는 아이템 속성을 업데이트하라는 표시가 사용자 장치(110)로부터 수신되면, 통지 관리 모듈(270)은 온라인 마켓플레이스에서 정확한 아이템 속성을 갖는 아이템 리스팅을 리스팅하라는 신호를 리스팅 생성 모듈(250)에 보낸다.

스팸 리스팅의 검출

종래의 스팸 검출 기술은 아이템 텍스트 정보와, 아이템이 리스팅되는 카테고리를 기반으로 한다. 그러나, 종래의 스팸 검출 기술은 잘못 귀인된(misattributed) 제품을 필터링할 수 없다. 또한, 아이템 이미지와 아이템 속성 간의 잠재적인 불일치는 아이템 텍스트 정보를 기반으로 하는 종래의 스팸 검출 기술을 사용해서는 해결되지 않을 수 있다.

도 3은 일부 실시예에 따라 스팸 검출 시스템(150)을 사용하여 아이템 속성의 정확도를 결정하는 예시적인 프로세스(300)를 도시한다. 예시적인 실시예에서, 스팸 리스팅은 결정된 이미지 속성과 판매자에 의해 전송된 수신된 아이템 속성을 비교함으로써 식별된다. 동작(310)에서, 사용자(예를 들어, 판매자)는 판매 프로세스를 시작하기 위해 이미지를 업로드 할 수 있다. 스팸 검출 시스템(150)은 이미지 추출 모듈(230)을 사용하여 판매자로부터 업로드된 이미지를 수신하고, 업로드 된 이미지로부터 이미지 속성(320)을 결정(예를 들어, 추출)한다. 또한, 일부 예에서, 애플리케이션 인터페이스 모듈(210)을 사용하는 스팸 검출 시스템(150)은 동작(330)에서 판매자로부터 아이템 속성을 수신할 수 있다. 예를 들어, 판매자는 게시물을 생성할 때 아이템 속성을 입력할 수 있다.

예시적인 실시예에서, 동작(320)에서 결정된 이미지 속성은 이미지 추출 기술을 사용하여 얻어진다. 이미지 추출 기술은 SIFT(scale-invariant feature transform) 알고리즘 기법을 사용하는 것, 이미지 그래디언트 기법, 머신 비전 알고리즘(예컨대, 이미지넷(ImageNet))을 사용하는 것, 또는 이미지 데이터베이스를 사용하는 것을 포함할 수 있다. 이미지 속성은 판매용으로 리스팅된 아이템의 아이템 속성에 대응할 수 있다.

예시적인 실시예에서, 스팸 검출 시스템(150)은 동작(340)에서 비교 모듈(240)을 사용하여, 아이템 속성을 추출된 이미지 속성과 비교함으로써 판매자에 의해 제공된 아이템 속성의 정확성을 결정한다. 이미지 속성은 동작(320)에서 이미지 추출 모듈(230)에 의해 결정된 제품 속성, 아이템 제목, 아이템 설명, 아이템 색상, 아이템 브랜드 등을 포함할 수 있다. 이미지 속성은 사전 트레이닝된 언어 모델을 사용하여 결정(예를 들어, 예측)될 수 있다. 사전 트레이닝된 언어 모델의 예로는 반복적인 신경망(NN) 모델, LSTM(long-short term memory) 모델, HMM(hidden markov model) 등이 있다. 또한, 이미지 속성은 아이템과 관련된 아이템 카테고리를 포함할 수 있다. 사전 트레이닝된 언어 모델은 CNN(convolutional neural networks) 모델, SVM(Support Vector Machine) 또는 로지스틱 회귀 모델과 같이 사전 트레이닝된 분류자에 기초하여 아이템을 예측할 수 있다.

마찬가지로, 아이템 속성은 판매자가 입력한 제품 속성, 아이템 제목, 아이템 설명, 아이템 색상, 아이템 브랜드 등을 포함할 수 있다.

또한, 이미지 속성과 아이템 속성을 비교함으로써, 스팸 검출 시스템(150)은 아이템 리스팅이 스팸인지 여부 또는 판매자로부터 수신된 아이템 속성이 부정확한지 여부를 결정(예를 들어, 예측)한다. 일부 예에서, 아이템 속성 및 이미지 속성을 사용하는 리스팅의 정확도의 결정은 동작(340)에서 계산된 신뢰도 점수(예를 들어, 중첩 점수)에 기초한다. 신뢰도 점수는 도 2의 신뢰도 점수 계산 모듈(260)에 의해 계산될 수 있다. 신뢰도 점수(예를 들어, 중첩 점수)는 이미지 속성을 아이템 속성과 비교함으로써 계산될 수 있다. 비교 및 신뢰도 계산은 기본 유사성 측정 또는 머신 학습 분류자에 기초할 수 있다. 기본 유사성 측정은 코사인 유사성, 해싱 함수, 자카드(Jaccard) 유사성 등을 포함할 수 있다. 앞서 언급했듯이, 머신 학습 분류자는 SVM 모델, 로지스틱 회귀 모델, 신경망 모델 등을 기반으로 할 수 있다.

이어서, 신뢰도 점수를 사용하여, 스팸 검출 시스템(150)은 동작(350)에서 판매자로부터 수신된 아이템 속성의 정확도를 결정할 수 있다. 예를 들어, 신뢰도 점수가 사전결정된 임계치를 넘었을 때(예를 들어, 그 임계치보다 높거나 낮을 때), 아이템 속성은 부정확한 것으로 결정된다.

더욱이, 스팸 검출 시스템(150)은 머신 학습 모델에 기초하여 액세서리 오염, 아이템의 잘못된 귀인(misattribution) 또는 아이템에 대한 부정확한 이미지와 같은, 리스팅된 아이템에 존재하는 스팸의 유형을 식별하도록 트레이닝된다. 스팸 검출 시스템(150)에 의해 사용되는 머신 학습 모델을 트레이닝하는 프로세스는 도 4에서 더 설명된다.

도 4는 일부 실시예에 따라, 스팸 검출 시스템(150)에 의한 머신 학습 모델을 트레이닝하기 위한 예시적인 프로세스(400)를 도시한다. 프로세스(400)는 아이템 속성 정확성 트레이닝(405) 및 스팸 검출 트레이닝(455)을 포함한다.

아이템 정보 트레이닝(405) 예에서, 스팸 검출 시스템(150)은 이미지(410)로부터 이미지 속성(420)을 추출한다. 전술한 바와 같이, 이미지(410)는 아이템 리스팅을 생성할 때 판매자에 의해 업로드될 수 있다. 또한, 스팸 검출 시스템(150)은 복수의 아이템 속성(430) 중에서 아이템 속성(440)을 선택한다. 전술한 바와 같이, 복수의 아이템 속성은 사용자가 게시물을 생성할 때 입력될 수 있다. 예를 들어, 아이템 속성은 아이템 리스팅을 만들 때 판매자에 의해 입력될 수 있다. 이어서, 동작(450)에서 스팸 검출 시스템(150)은 머신 학습 모델을 트레이닝시켜서 선택된 아이템 속성의 정확성을 결정한다. 예를 들어, 추출된 이미지 속성은 제1 브랜드 이름에 대한 로고일 수 있고, 선택된 아이템 속성은 제2 브랜드 이름일 수 있다. 제1 브랜드 이름이 제2 브랜드 이름과 상이하다면, 스팸 검출 시스템(150)은 선택된 아이템 속성이 부정확하다고 결정할 수 있다. 대안으로, 추출된 이미지 속성은 제1 브랜드 이름에 대한 로고일 수 있고, 선택된 아이템 속성은 제1 브랜드 이름일 수 있다. 추출된 이미지 속성 및 선택된 아이템 속성이 동일하다면, 스팸 검출 시스템(150)은 선택된 아이템 속성이 정확한 것으로 판정할 수 있다.

스팸 검출 트레이닝(455) 예에서, 스팸 검출 시스템(150)은 동작(460)에서 이미지 속성을 수신한다. 또한, 스팸 검출 시스템(150)은 동작(470)에서 아이템 속성을 수신한다. 이어서, 동작(480)에서 스팸 검출 시스템(150)은 분류자를 트레이닝하여 아이템 리스팅이 스팸이거나 또는 아이템 속성이 부정확할 가능성을 결정한다. 일부 경우, 스팸 검출 시스템(150)은 유사성 측정 기술을 사용하여 아이템 리스팅이 스팸이거나 또는 아이템 속성이 부정확할 가능성을 결정할 수 있다.

전자 상거래 플랫폼에 프레임워크를 통합

일부 실시예에 따르면, 스팸 검출 시스템(150)은 온라인 마켓플레이스의 판매 흐름 프로세스 및 온라인 마켓플레이스의 검색 흐름 프로세스에 통합될 수 있다. 도 5는 일부 실시예에 따라, 스팸 검출 시스템(150)을 사용하는 판매 흐름 프로세스(500)의 예를 도시한다. 도 6은 일부 실시예에 따라, 스팸 검출 시스템(150)을 이용하는 예시적인 검색 흐름 프로세스(600)를 도시한다.

판매 흐름 프로세스(500) 예에서, 판매자는 판매를 위해 마켓플레이스에 아이템을 리스팅한다. 동작(510)에서, 판매자는 판매를 위해 리스팅될 아이템의 이미지를 캡처한다. 예를 들어, 이미지는 사용자 장치(110)(예를 들어, 랩탑, 스마트 폰, 카메라 및 태블릿)를 사용하여 캡처될 수 있다.

동작(520)에서, 판매자는 아이템의 이미지 및 아이템 속성(예컨대, 제목, 아이템 카테고리, 브랜드, 모델, 크기, 색상)을 애플리케이션 서버(140)에 업로드함으로써 아이템 리스팅을 생성한다. 이미지 및 아이템 속성은 사용자 장치(110)로부터 애플리케이션 서버(140)에 의해 수신될 수 있다. 리스팅 생성 모듈(250)은 이미지 및 아이템 속성을 취하여 아이템 리스팅을 생성한다.

동작(530)에서, 생성된 아이템 리스팅은 스팸 검출 시스템(150)으로 전송되어 생성된 리스팅이 스팸인지 여부를 판정한다. 예를 들어, 스팸 검출 시스템(150)에 의해 이미지 속성(예를 들어, 제목, 아이템 카테고리 및 아이템 속성)이 추출되어 사용자에 의해 입력된 아이템 속성의 정확성을 결정하기 위해 머신 학습 모델로 전송된다. 이미지 속성과 아이템 속성은 스팸 검출 시스템(150)에 의해 비교되어 리스팅이 스팸인지 여부를 판정한다. 또한, 스팸 검출 시스템(150)은 판매자에 의해 입력된 아이템 속성의 정확성을 판정한다. 후술되는 바와 같이, 도 7은 예시적인 실시예에 따라, 아이템 리스팅이 스팸인지 여부를 판정하는 예시적인 방법을 도시하는 흐름도이다.

동작(530)에서, 생성된 아이템 리스팅이 스팸이 아닌 것으로 판정되면, 동작(540)에서 게시 시스템(142) 또는 스팸 검출 시스템(150)은 아이템 리스팅이 온라인 마켓플레이스 상에 리스팅되게 한다. 대안적으로, 동작(530)에서, 생성된 아이템 리스팅이 스팸인 것으로 판정되면, 동작(550)에서, 게시 시스템(142) 또는 스팸 검출 시스템(150)은 게시물이 온라인 마켓플레이스에서 생성된 리스팅 상에 게시되는 것을 방지한다. 또한, 동작(550) 이후에, 동작(560)에서 스팸 검출 시스템(150)은 룰 엔진 예측 모델을 사용하여 스팸 카테고리를 판정할 수 있다. 룰 엔진 예측 모델은 생성된 리스팅으로부터 수신되거나 파생된 정보에 기초하여 업데이트된다. 예를 들어, 룰 엔진 예측 모델은 이미지, 아이템 속성(예를 들어, 브랜드, 색상) 또는 카테고리 리스팅이 부정확한지를 결정할 수 있다. 예측된 부정확 한 정보의 통지는 통지 관리 모듈(270)을 사용하여 판매자에게 전송된다. 판매자는 애플리케이션 서버(140)가 스팸 분류자를 제거하고 온라인 마켓플레이스에 아이템 리스팅을 게시하기 위해 부정확한 정보를 교정할 수 있다.

종래의 시스템에서 종종 스팸 리스팅이 검색 결과에 나타나면, 고객 경험이 약화될 수 있다. 따라서, 본 명세서에서 설명된 기법을 사용하여, 스팸 검출 시스템(150)은 스팸 리스팅을 검출하고, 사용자(106)에게 디스플레이된 최종 순위 결과로부터 스팸 아이템을 강등시키거나 제거한다.

이제 도 6을 참조하면, 검색 흐름(600) 예에서, 사용자(예를 들어, 구매자)는 동작(610)에서 구매할 아이템을 검색할 수 있다. 검색 요청은 다른 사용자 장치(605)를 사용하여 사용자에 의해 전송된다. 다른 사용자 장치(605)는 사용자 장치(110)와 유사할 수 있지만 구매자에 의해 사용될 수 있다. 동작(620)에서, 애플리케이션 서버(140)는 검색 요청에 기초하여 사용자에게 보여질 아이템의 최상위 리스트를 식별하기 위해 검색 모델을 실행시킬 수 있다. 이어서, 스팸 검출 시스템(150)은 아이템의 최상위 리스트로부터의 이미지에 기초하여 각 아이템 리스팅을 스팸으로 또는 스팸이 아닌 것으로 분류한다. 검색 결과는 아이템의 순위에 기초할 수 있는데, 동작(630)에서 스팸 리스팅은 순위에서 강등되거나 검색 결과로부터 제거될 수 있다. 예를 들어, 스팸 검출 시스템(150)은 도 5 및 도 7에 기술된 방법에 기초하여 온라인 마켓플레이스 상에서 판매용으로 리스팅된 아이템을 스팸 리스팅으로서 분류할 수 있다. 아이템이 스팸으로 분류되면, 런타임 검색 모델은 이 정보를 사용하여 아이템의 최상위 리스트에서 아이템을 강등시키거나 제거할 수 있다. 이와 달리, 스팸 검출 시스템(150)은 검색 프로세스를 신속하게 하기 위해 동작(650)에서 오프라인 랭킹 프로세스를 저장할 수 있다. 예를 들어, 게시물은 순위를 부여받고 오프라인 순위 데이터베이스에 저장될 수 있다. 오프라인 순위 데이터베이스를 사용하여 각각의 리스팅된 아이템의 정확성을 오프라인으로 결정하여 런타임 검색 결과를 신속하게 얻을 수 있다.

동작(640)에서, 애플리케이션 서버(140)는 모델 특징 계산 기술을 사용하여 사용자에게 검색 결과 순위를 제시한다. 예를 들어, 사용자가 온라인 마켓플레이스에 존재하는 아이템들의 리스트를 탐색하기 위해 검색 요청(예를 들어, 검색 질의)을 발행하면, 검색 엔진은 요인들 및 사전 트레이닝된 머신 학습 모델들에 기초하여 아이템들의 순위 리스트를 반환한다. 앞서 동작(630)에서 설명된 바와 같이, 스팸 리스팅은 동작(640)에서 제시된 검색 결과로부터 강등되거나 제거될 수 있다.

도 7은 예시적인 실시예에 따라, 판매용으로 리스팅된 아이템과 연관된 정보의 정확성을 결정하는 방법(700)을 예시하는 흐름도이다. 이 실시예에서, 방법(700)은 이미지 및 아이템 속성을 수신하는 동작(710), 이미지 속성을 추출하는 동작(720), 아이템 속성 및 이미지 속성에 기초하여 신뢰도 점수를 계산하는 동작(730), 아이템 속성이 부정확하다는 것을 신뢰도 점수에 기초하여 결정하는 동작(740), 비교에 기초하여 통지를 제시하는 동작((750) 등을 포함한다. 예시적인 방법(700)은 설명을 위해 특정 모듈에 의해 수행되는 것으로서 아래에서 설명될 것이다. 그러나, 예시적인 방법(700)의 동작은 도 2 및 도 9에 도시된 임의의 수의 모듈에 의해 임의의 적절한 순서로 수행될 수 있다는 것을 이해할 것이다. 달리 명시하지 않는 한, 단수의 표현은 본 명세서 특허 문서에서 일반적인 바와 같이 둘 이상의 인스턴스를 포함하는 것으로 사용된다. 마지막으로, 본 명세서에서 사용된 바와 같이, 접속사 "또는"은 달리 구체적으로 언급되지 않는 한, "및/또는"과 같은 비-배타적인 "또는"을 의미한다.

예시적인 실시예에서, 방법(700)은 동작(710)에서 시작하는데, 이 동작(710)에서, 스팸 검출 시스템(150)은 온라인 마켓플레이스에서 판매를 위해 리스팅될 아이템에 대한 이미지(예를 들어, 도 3의 업로드된 이미지(310))를 사용자 장치(110)로부터 수신한다. 또한, 스팸 검출 시스템(150)은 아이템에 대한 아이템 속성(예컨대, 도 3의 아이템 속성(330))을 수신한다. 일부 예에서, 이미지 또는 아이템 속성은 네트워크(104)에 연결된 벤더 서버(130) 또는 다른 장치로부터 수신될 수 있다. 예를 들어, 이미지 또는 아이템 속성은 사용자 장치(110), 사용자 장치(110)상의 API, 사용자(106), 벤더 서버(130) 또는 네트워크에 의해 전송될 수 있다. 일부 예에서, 이미지 및 아이템 속성은 도 2의 애플리케이션 인터페이스 모듈(210)에 의해 수신된다.

일부 예에서, 아이템 속성은 카테고리 분류자를 포함한다. 예를 들어, 판매자는 스마트폰 케이스를 스마트폰 카테고리에 잘못 리스팅할 수 있다. 방법(700) 및 방법(800)에서 더 설명된 바와 같이, 신뢰도 점수에 기초하여, 스팸 검출 시스템(150)은 케이스에 대한 정확한 카테고리 분류자는 스마트폰 액세서리인 것으로 결정할 수 있다.

동작(720)에서, 스팸 검출 시스템(150)은 동작(710)에서 수신된 이미지에 기초하여 이미지 속성을 추출한다. 동작(320 및 340)은 동작(720)에서 수행된 추출의 예를 기술한다. 일부 예에서, 추출은 도 2의 이미지 추출 모듈(230)에 의해 수행된다.

동작(730)에서, 스팸 검출 시스템(150)은 프로세서를 사용하여, 아이템 속성과 이미지 속성의 비교에 기초하여 신뢰도 점수를 계산한다. 이미지 속성은 동작(720)에서 획득될 수 있고, 아이템 속성은 동작(710)에서 수신될 수 있다. 예를 들어, 비교는 오버랩 기술을 사용하여, 이미지 속성과 아이템 속성이 동일하거나 유사할 가능성을 결정한다. 일부 경우, 이미지 속성과 일치되도록 하기 위한 아이템 속성이 속할 수 있는 범위가 있다. 마찬가지로, 아이템 속성과 일치되도록 하기 위한 이미지 속성이 속할 수 있는 범위가 있다. 예를 들어, 이미지 속성이 제1 브랜드 이름에 대한 로고인 것으로 결정되고, 아이템 속성이 제2 브랜드 이름인 경우, 계산된 신뢰도 점수는 아이템 속성이 부정확하다는 것을 나타내기 위해 높을 수 있다(예를 들어, 0.1보다 높을 수 있다). 이와 달리, 이미지 속성이 제1 브랜드 이름에 대한 로고인 것으로 결정되고, 아이템 속성이 제1 브랜드 이름인 경우, 계산된 신뢰도 점수는 아이템 속성이 정확하다는 것을 나타내기 위해 낮을 수 있다(예를 들어, 0.1보다 낮을 수 있다). 또한, 신뢰도 점수가 제2 사전결정된 임계치(예를 들어, 0.5)보다 높은 경우, 리스팅은 스팸인 것으로 판정될 수 있다.

도 3의 프로세스(300)는 신뢰도 점수를 계산하기 위해 이미지 속성과 아이템 속성을 비교하는 기술을 설명한다. 또한, 도 8의 방법(800)은 일부 실시예에 따라 신뢰도 점수를 계산하기 위한 기법을 더 설명한다. 프로세서는 신뢰도 점수 계산 모듈(260)에 포함될 수 있다. 일부 경우, 프로세서는 도 9에서 나중에 설명될 프로세서(902)일 수 있다. 일부 경우, 비교는 오버랩 기법을 기반으로 한다.

동작(740)에서, 스팸 검출 시스템(150)은 신뢰도 점수가 사전결정된 임계치를 넘어서는 것에 기초하여 아이템 속성은 부정확한 것으로 판정한다. 예를 들어, 제1 사전결정된 임계치가 0.1이고 신뢰도 점수가 0.1보다 높으면, 스팸 검출 시스템(150)은 아이템 속성을 부정확한 것으로 분류한다. 일부 예에서, 아이템 속성이 부정확하면, 아이템 리스팅은 도 6의 동작(630)에 도시된 바와 같이 검색 결과 순위에서 단순히 강등될 수 있다. 일부 예에서, 동작(740)에서의 결정은 도 2의 비교 모듈(240) 및 신뢰도 점수 계산 모듈에 의해 수행된다.

또한, 신뢰도 점수가 제2 사전결정된 임계치를 넘었을 때, 리스팅은 스팸 리스팅으로서 분류될 수 있다. 일 실시예에서, 동작(740)에서 제2 사전결정된 임계치는 사전결정된 임계치보다 높다. 동작(740)의 예를 계속하면, 제2 사전결정된 임계치가 0.5이고 신뢰도 점수가 0.5보다 높을 때, 스팸 검출 시스템(150)은 아이템 리스팅을 스팸으로 분류할 수 있다. 일부 예에서, 아이템 리스팅이 스팸으로 분류되면, 아이템 리스팅은 도 6의 동작(630)에 도시된 바와 같이 검색 결과 순위에서 제거될 수 있다.

또한, 동작(740)에서의 결정은 아이템 리스팅과 관련된 부정확한 정보의 유형을 더 결정할 수 있다. 잘못된 정보 유형에는 잘못된 이미지, 잘못된 아이템 카테고리, 잘못된 아이템 속성(예컨대, 브랜드 이름, 색상) 등이 포함될 수 있다.

동작(740)에서 아이템 속성이 부정확하다는 판정에 응답하여, 동작(750)에서 스팸 검출 시스템(150)은 사용자 장치(110)의 디스플레이 상에 통지가 표시되게 한다. 예를 들어, 통지는 이미지 속성에 기초하여 부정확한 아이템 속성을 제시된 속성으로 수정하도록 하는 사용자 장치(110)의 사용자(106)로의 메시지를 포함할 수 있다. 일부 예에서, 통지 메시지는 도 2의 통지 관리 모듈(270)에 의해 전송된다.

일부 경우, 통지는, 이미지가 부정확하다는 것, 판매용으로 리스팅된 아이템과 관련된 리스팅 카테고리가 부정확하다는 것, 아이템과 연관된 브랜드가 부정확하다는 것, 또는 아이템과 관련된 색상이 올바르지 않다는 것을 나타낼 수 있다.

일부 예에서, 통지는 아이템 속성을 새로운 속성으로 변경하기 위한 요청을 포함한다. 또한, 스팸 검출 시스템(150)은 아이템 속성을 새로운 속성으로 변경하라는 응답을 수신하고, 수신된 확인에 기초하여 아이템 속성을 새로운 속성으로 변경하거나, 또는 온라인 시장에 새로운 속성을 갖는 판매용으로 리스팅된 아이템을 게시할 수 있다. 예를 들어, 새로운 속성은 이미지 속성에 기초할 수 있다. 이와 달리, 새로운 속성은 제안된 아이템 속성(예를 들어, 이웃 속성)에 기초하며, 제안된 아이템 속성은 판매용으로 리스팅된 아이템과 유사한 판매용으로 리스팅된 또 다른 아이템으로부터 도출된다. 판매용으로 리스팅된 아이템과 유사한 판매용으로 리스팅된 또 다른 아이템은 데이터 저장 인터페이스 모듈(220)을 사용하여 아이템 데이터베이스(126)에서 액세스될 수 있다.

일부 예에서, 스팸 검출 시스템(150)은 아이템 속성을 새로운 속성으로 변경하는 것에 대한 거부를 수신할 수 있고, 수신된 거부에 따라 온라인 마켓플레이스에서 판매용으로 리스팅된 아이템을 제거한다.

일부 경우, 스팸 검출 시스템(150)은 또 다른 장치로부터 검색 요청을 수신하도록 더 구성될 수 있으며, 검색 요청은 아이템 속성과 관련된다. 스팸 검출 시스템(150)은 검색 요청에 응답하여 아이템 속성과 연관된 검색 결과- 이 검색 결과는 아이템의 리스트를 가짐 -를 생성하고, 판매용으로 리스팅된 아이템의 아이템 속성이 부정확하다는 판정에 기초하여, 판매용으로 리스팅된 아이템을 아이템의 리스트로부터 제거한다. 예를 들어, 게시 시스템(142)을 사용하는 스팸 검출 시스템(150)은 검색 결과를 생성할 수 있다. 게시 시스템(142)은 검색 결과를 생성할 수 있고, 스팸 검출 시스템(150)은 판매용으로 리스팅된 아이템을 아이템의 리스트로부터 제거하거나 강등시킴으로써 검색 결과를 업데이트할 수 있다.

또한, 통지 관리 모듈(270)은 부정확한 아이템 속성을 업데이트하라는 사용자 장치(110)로부터 수신된 표시에 기초하여 아이템 리스팅이 생성되고 있고 온라인 마켓플레이스 상에 자동으로 게재되고 있음을 사용자(106)에게 통지할 수 있다. 통지 메시지는 문자 메시지, 전화 통화, 전자 메일 및 기타 유형의 메시지일 수 있으나, 이에 국한되지는 않는다. 또한, 스팸 검출 시스템(150)은 사용자 장치(110)의 디스플레이 상에 통지 메시지가 제시되게 할 수 있다.

또한, 통지 관리 모듈(270)은 동작(740)에서의 판정에 기초하여 아이템 리스팅과 관련된 부정확한 정보의 타입을 사용자 장치(110)에 제시할 수 있다. 부정확한 정보의 타입은 부정확한 이미지, 부정확한 아이템 카테고리, 부정확한 아이템 속성(예컨대, 브랜드 이름, 색상) 등을 포함할 수 있다.

일부 예에서, 스팸 검출 시스템(150)은 아이템 리스팅을 업데이트하라는 사용자 장치(110)로부터의 수신된 표시에 응답하여, 업데이트된 아이템 정보를 사용하여 온라인 마켓플레이스 상에 아이템에 대한 리스팅을 생성할 수 있다.

일부 예에서, 사용자(106)는 웹 사이트 또는 온라인 마켓플레이스의 애플리케이션을 통해 인증 프로세스를 개시한다. 예시적인 실시예에서, 사용자(106)는 다수의 추가 또는 대안적인 방식으로 인증 요청을 생성함을 알 수 있을 것이다. 예를 들어, 온라인 마켓플레이스는 스팸 검출 시스템(150)에 연결되어, 사용자(106)가 리스팅 서비스를 위해 서명하려 할 때, 온라인 마켓플레이스는 사용자(106)를 인증을 위해 스팸 검출 시스템(150)으로 이동시킨다. 즉, 예시적인 실시예에서, 스팸 검출 시스템(150)은 벤더 서버(130)의 온라인 마켓플레이스 대신에 사용자(106)를 인증하기 위한 웹 페이지를 사용자(106)에게 제공한다. 따라서, 스팸 검출 시스템(150)은 사용자(106)에게 인증 요청을 직접 프롬프트하고, 인증 요청을 받아들이고, 인증 요청을 처리하며, 벤더 서버(130)에 인증 결과(예를 들어, 합격 또는 불합격)를 제공한다. 다른 예에서, 사용자 장치(110)상에서 실행되는 애플리케이션(예를 들어, 모바일 장치 또는 데스크탑 컴퓨터용 소프트웨어 애플리케이션)은 사용자(106)를 인증하기 위한 GUI를 사용자(106)에게 제공한다. 이 애플리케이션은 스팸 검출 시스템(150)에 대한 직접 액세스를 제공하기 위한 온라인 마켓플레이스 전용의 소프트웨어 애플리케이션에 대응한다. 스팸 검출 시스템(150)은 애플리케이션으로부터 인증 데이터를 수신하고, 애플리케이션 데이터를 처리하며, 그 결과를 애플리케이션에 반환한다.

도 8은 도 7의 동작(730)에서 사용된 신뢰도 점수를 계산하는 예시적인 방법(800)을 도시하는 흐름도이다. 신뢰도 점수는 일부 실시예에 따라 도 7의 정보의 정확성을 판정하는데 사용된다. 방법(800)은 설명을 위해 특정 모듈에 의해 수행되는 것으로서 아래에서 설명될 것이다. 그러나, 방법(800)의 동작은 도 2에 도시된 임의의 수의 모듈에 의해 임의의 적절한 순서로 수행될 수 있음을 알 것이다.

동작(810)에서, 스팸 검출 시스템(150)은 데이터 저장 인터페이스 모듈(220)을 사용하여, 판매자 데이터베이스(127), 아이템 데이터베이스(126) 또는 리스팅 데이터베이스(128)에서 추가 정보에 액세스한다.

리스팅 데이터베이스(128)는 판매 가격 데이터를 갖는 가격 데이터베이스를 포함할 수 있다. 판매 가격 데이터는 품질, 상태 또는 위치에 기초한 아이템의 가격 범위 및 평균 가격을 포함할 수 있다. 예를 들어, 판매 가격 데이터는 리스팅된 아이템에 대한 과거 판매 가격 정보를 포함할 수 있다. 또한, 판매 가격 데이터는 지난 12개월 또는 다른 시간 프레임 동안의 판매 가격 정보를 포함할 수 있다. 시간 프레임은 스팸 검출 시스템(150)에 의해 미리 결정되거나 또는 사용자(106)에 의해 선택될 수 있다.

일부 예에서, 스팸 검출 시스템(150)은 사용자 식별자를 사용하여, 판매자 데이터베이스(127)로부터 판매자에 관한 판매자 정보에 액세스한다. 예를 들어, 사용자 식별자는 방법(700)의 동작(710)에서 수신된 다른 정보와 함께 사용자 장치(110)로부터 수신될 수 있다. 전술한 바와 같이, 판매자 데이터베이스(127) 내의 판매자 정보는 이전 거래에 기초한 판매자 등급, 판매자가 수신한 긍정 피드백의 수, 수신된 부정적인 피드백의 수, 구매자 또는 잠재적인 구매자와의 통신 메시지, 이전에 판매된 아이템의 수, 올바르게 배송된 아이템의 수, 요청되거나 제공된 환불 횟수 또는 기타 파생 정보를 포함한다. 예를 들어, 다른 파생 정보는 구매자의 피드백을 기반으로 한 정서 분석을 포함할 수 있다. 정서 분석은 구매자의 피드백을 결정하는 데 사용되는 텍스트 인식 기술을 기반으로 할 수 있다.

또한, 리스팅 데이터베이스(128)는 특정 아이템에 대한 제품 정보 및 제품 설명을 포함할 수 있다. 일부 실시예에 따르면, 스팸 검출 시스템(150)은 동작(710)에서 수신된 아이템 속성의 정확성을 결정하기 위해 유사하게 리스팅된 아이템의 아이템 속성을 사용할 수 있다. 또한, 스팸 검출 시스템(150)은 동작(810)에서 아이템 데이터베이스(126)로부터 액세스된 정보에 기초하여 판매용으로 리스팅된 아이템에 대한 제안된 아이템 속성을 제안할 수 있다.

동작(820)에서, 스팸 검출 시스템(150)은 액세스된 정보에 기초하여 신뢰도 점수를 업데이트할 수 있다. 신뢰도 점수는 판매자 정보(예컨대, 판매자의 평판 점수), 제안된 아이템 속성 또는 제안된 가격에 따라 업데이트될 수 있다. 동작(820)은 신뢰도 점수 계산 모듈(260)에 의해 구성된 프로세서에 의해 수행될 수 있다. 일부 경우, 프로세서는 도 9에서 후술되는 프로세서(902)일 수 있다.

일부 경우, 스팸 검출 시스템(150)은 판매자 데이터베이스(127)로부터, 아이템을 리스팅하는 판매자의 판매자 정보를 액세스할 수 있다. 또한, 스팸 검출 시스템(150)은 판매자 정보에 기초하여 신뢰도 점수를 업데이트할 수 있다. 판매자 정보는 긍정적인 피드백, 고객과의 메시지 수, 나쁜 구매자 경험, 이전에 판매된 아이템의 수, 환불 요청 수, 올바르게 배송된 아이템 등과 관련된 정보를 포함할 수 있다.

일부 예에서, 스팸 검출 시스템(150)은 아이템 데이터베이스(126)로부터, 판매용으로 리스팅된 아이템에 대한 제안된 아이템 속성을 액세스할 수 있고, 제안된 아이템 속성에 기초하여 신뢰도 점수를 업데이트할 수 있다. 일부 경우, 제안된 아이템 속성은 유사한 아이템 리스팅으로부터 얻어진다. 예를 들어, 판매용으로 리스팅된 아이템은 제1 브랜드 이름을 가진 지갑이고, 유사한 아이템 리스팅은 동일한 제1 브랜드 이름을 갖는 유사한 지갑에 대한 또 다른 아이템 리스팅이다. 제안된 아이템 속성은 유사한 아이템 리스팅의 설명으로부터 얻어질 수 있다. 따라서, 제안된 아이템 속성이 아이템 속성과 유사한 경우, 아이템 속성이 부정확하다는 신뢰도 점수는 감소된다. 이와 달리, 제안된 아이템 속성이 아이템 속성과 유사하지 않은 경우, 아이템 속성이 부정확하다는 신뢰도 점수는 증가한다.

일부 예에서, 스팸 검출 시스템(150)은 리스팅 데이터베이스(128) 또는 가격 데이터베이스로부터, 판매용으로 리스팅된 아이템에 대한 제안된 가격에 액세스하고 제안된 가격에 기초하여 신뢰도 점수를 업데이트할 수 있다. 제안된 가격은 유사한 아이템 리스팅에 대한 평균 가격 또는 가격 범위를 포함할 수 있다. 예를 들어, 판매용으로 리스팅된 아이템이 스마트폰으로 분류되었지만, 그 가격이 온라인 마켓플레이스에 리스팅된 유사한 스마트폰의 평균 가격보다 낮은 경우(예컨대, 가격 범위를 벗어난 경우), 아이템 속성(예컨대, 아이템 카테고리)이 부정확하다는 신뢰도 점수는 감소한다. 가격이 가격 범위를 벗어나면, 리스팅된 아이템은 실제 스마트폰 대신 스마트폰 케이스로 판단되므로 잘못된 카테고리에 속할 수 있다.

일부 예에서, 스팸 검출 시스템(150)은 오프라인 순위 데이터베이스로부터, 아이템 속성과 관련된 스팸 검출 분류자에 액세스할 수 있고, 비교는 스팸 검출 분류자에 더 기초한다. 예를 들어, 도 6의 오프라인 순위 데이터베이스(650)는 아이템 속성 또는 아이템 리스팅과 연관된 스팸 검출 분류자를 포함할 수 있다.

도 9는 머신 판독 가능 매체(922)(예를 들어, 비일시적 머신 판독 가능 매체, 머신 판독 가능 저장 매체, 컴퓨터 판독 가능 저장 매체, 또는 이들의 임의의 적절한 조합)로부터 명령어(924)를 판독할 수 있고, 본원에서 논의된 방법들 중 하나 이상을 전체적으로 또는 부분적으로 수행할 수 있는, 일부 예시적인 실시예에 따른 머신(900)의 컴포넌트를 도시하는 블록도이다. 구체적으로, 도 9는 컴퓨터 시스템(예를 들어, 컴퓨터)의 예시적인 형태의 머신(900)을 도시하고, 이 머신 내에서 머신(900)으로 하여금 본원에 설명된 방법들 중 임의의 하나 이상을 수행하게 하기 위한 명령어(924)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행 가능 코드)가 전체적으로 또는 부분적으로 실행될 수 있다. 스팸 검출 시스템(150)은 머신(900)의 일 예일 수 있다.

대안적인 실시예에서, 머신(900)은 독립형 장치로 동작하거나 다른 머신들에 접속(예를 들어, 네트워크화)될 수 있다. 네트워크 구성에서, 머신(900)은 서버-클라이언트 네트워크 환경 내에서 서버 머신 또는 클라이언트 머신의 역할로 동작할 수 있거나, 분산형(예컨대, 피어-투-피어) 네트워크 환경에서 피어 머신으로 동작할 수 있다. 머신(900)은 서버 컴퓨터, 클라이언트 컴퓨터, 퍼스널 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셀룰러 전화, 스마트폰, 셋톱 박스(STB), 개인용 디지털 보조기(PDA), 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 해당 머신에 의해 취해질 작업을 순차적으로 아니면 다르게 실행하는 명령어(924)를 실행할 수 있는 임의의 머신일 수 있다. 또한, 단지 하나의 머신이 도시되어 있지만, "머신"이라는 용어는 또한 본원에서 논의된 방법들 중 하나 이상의 전부 또는 일부를 수행하기 위해 개별적으로 또는 공동으로 명령어(924)를 실행하는 임의의 머신들의 집합을 포함하는 것으로 여겨져야 한다.

머신(900)은 프로세서(902)(예를 들어, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 무선 주파수 직접 회로(RFIC), 또는 이들의 임의의 적합한 조합), 주 메모리(904), 및 정적 메모리(906)를 포함할 수 있고, 이들은 버스(908)를 통해 서로 통신하도록 구성된다. 프로세서(902)는 명령어(924)의 일부 또는 전부에 의해 일시적으로 또는 영구적으로 구성 가능한 마이크로회로를 포함함으로써 프로세서(902)는 본원에 설명된 방법들 중 임의의 하나 이상을 전체적으로 또는 부분적으로 수행하도록 구성될 수 있다. 예를 들어, 프로세서(902)의 하나 이상의 마이크로회로의 세트는 본원에 설명된 하나 이상의 모듈(예를 들어, 소프트웨어 모듈)을 실행하도록 구성될 수 있다.

머신(900)은 그래픽 디스플레이(910)(예를 들어, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 음극선관(CRT) 또는 그래픽 또는 비디오를 디스플레이할 수 있는 임의의 다른 디스플레이)를 포함할 수 있다. 머신(900)은 또한 영숫자 입력 장치(912)(예를 들어, 키보드 또는 키패드), 커서 제어 장치(914)(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 안구 추적 장치, 또는 다른 포인팅 기기), 저장 유닛(916), 오디오 생성 장치(918)(예를 들어, 사운드 카드, 증폭기, 스피커, 헤드폰 잭, 또는 이들의 임의의 적절한 조합), 및 네트워크 인터페이스 장치(920)를 포함할 수 있다.

저장 유닛(916)은 본원에 설명된 임의의 하나 이상의 방법 또는 기능을 구현하는 명령어(924)가 저장되는 머신 판독 가능 매체(922)(예를 들어, 유형의 및 비일시적 머신 판독 가능 저장 매체)를 포함한다. 명령어(924)는 또한 머신(900)에 의해 실행되기 전 또는 실행되는 동안 주 메모리(904) 내에, 프로세서(902)(예를 들어, 프로세서의 캐시 메모리) 내에, 또는 둘 모두 내에 완전히 또는 적어도 부분적으로 상주할 수 있다. 따라서, 메모리(904) 및 프로세서(902)는 머신 판독가능 매체(예를 들어, 유형의 및 비 일시적 머신 판독가능 매체)로 간주될 수 있다. 명령어(924)는 네트워크 인터페이스 장치(920)를 거쳐 네트워크(34)를 통해 전송되거나 수신될 수 있다. 예를 들어, 네트워크 인터페이스 장치(920)는 임의의 하나 이상의 전송 프로토콜(예컨대, 하이퍼텍스트 전송 프로토콜(HTTP))을 사용하여 명령어(924)를 전달할 수 있다.

머신 판독가능 매체(922)는 자기 또는 광학 디스크 저장 장치, 플래시 메모리와 같은 고체 상태 저장 장치, 또는 그 밖의 다른 비휘발성 메모리 장치 또는 장치들을 포함할 수 있다. 컴퓨터 판독가능 저장 매체(922)에 저장된 컴퓨터 판독가능 명령어(924)는 소스 코드, 어셈블리 언어 코드, 오브젝트 코드, 또는 하나 이상의 프로세서(902)에 의해 해석되는 또 다른 명령어 포맷을 갖는다.

일부 예시적인 실시예들에서, 머신(900)은 스마트폰 또는 태블릿 컴퓨터와 같은 휴대용 컴퓨팅 장치일 수 있고, 하나 이상의 추가 입력 컴포넌트(930)(예를 들어, 센서 또는 게이지(gauge))를 갖는다. 이러한 입력 컴포넌트(930)의 예는 이미지 입력 컴포넌트(예를 들어, 하나 이상의 카메라), 오디오 입력 컴포넌트(예를 들어, 마이크로폰), 방향 입력 컴포넌트(예를 들어, 나침반), 위치 입력 컴포넌트(예를 들어, 범지구 위치결정 시스템(GPS) 수신기), 배향 컴포넌트(예를 들어, 자이로스코프), 및 움직임 검출 컴포넌트(예를 들어, 하나 이상의 가속도계), 고도 검출 컴포넌트(예를 들어, 고도계), 및 가스 검출 컴포넌트(예를 들어, 가스 센서)를 포함한다. 이러한 입력 컴포넌트들 중 하나 이상에 의해 수집된 입력은 본원에 설명된 모듈들 중 임의의 모듈에 의한 사용을 위해 액세스되거나 이용될 수 있다.

본원에 사용된 "메모리"라는 용어는 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 머신 판독 가능 매체(922)를 지칭하고, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리 및 캐시 메모리를 포함한다. 머신 판독 가능 매체(922)는 예시적인 실시예에서 단일 매체인 것으로 도시되어 있지만, "머신 판독 가능 매체"라는 용어는 명령어(924)를 저장할 수 있는 단일 매체 또는 복수의 매체(예를 들어, 중앙 집중형 또는 분산형 데이터베이스, 또는 연관된 캐시)를 포함하는 것으로 여겨져야 한다. 용어 "머신 판독가능 매체"는 또한 머신(900)에 의해 실행되는 명령어(924)를 저장할 수 있는 임의의 매체 또는 복수의 매체의 조합을 포함하는 것으로 여겨져야 하고, 이로써 명령어(924)는 머신(900)의 하나 이상의 프로세서(902)(예를 들어, 프로세서(902))에 의해 실행될 때, 머신(900)으로 하여금 본원에 설명된 방법들 중 임의의 하나 이상의 방법을 전체적으로 또는 부분적으로 수행하게 한다. 따라서, "머신 판독가능 매체"는 복수의 저장 장치 또는 디바이스를 포함하는 클라우드 기반 저장 시스템 또는 저장 네트워크뿐만 아니라 단일 저장 장치 또는 디바이스를 지칭한다. 따라서, "머신 판독가능 매체"라는 용어는 고체 상태 메모리, 광학 매체, 자기 매체, 또는 이들의 임의의 적합한 조합의 형태의 하나 이상의 유형의(예를 들어, 비일시적) 데이터 저장소를 포함하는 것으로 여겨져야 하지만 이로 제한되는 것은 아니다.

전술한 설명은 설명을 목적으로 특정 실시예를 참조하여 설명되었다. 그러나, 전술한 예시적인 논의는 본 개시에 대한 완전한 설명은 아니며 본 개시를 개시된 그 형태로 제한하려는 것도 아니다. 전술한 내용을 고려하여 많은 수정 및 변형이 가능하다. 실시예는 본 개시 및 그 실제 응용의 원리를 가장 잘 설명하여, 당업자가 본 개시 및 의도된 특정 용도에 적합한 다양한 변형을 갖는 다양한 실시예를 활용할 수 있도록 선택 및 설명되었다.

본 명세서 전체에서, 복수의 인스턴스가 단일 인스턴스로 기술된 컴포넌트, 동작 또는 구조를 구현할 수 있다. 하나 이상의 방법의 개별 동작이 별개의 동작으로 도시되고 설명되지만, 개별 동작 중 하나 이상은 동시에 수행될 수 있으며, 동작은 도시된 것과 다른 순서로 수행될 수 있다. 예시적인 구성에서 별개의 컴포넌트로 제시된 구조 및 기능은 결합된 구조 또는 컴포넌트로 구현될 수 있다. 유사하게, 단일 컴포넌트로서 제공된 구조 및 기능은 개별 컴포넌트들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 본 명세서의 주제의 범위 내에 있다.

본원에서 특정 실시예는 로직 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하는 것으로 설명된다. 모듈은 소프트웨어 모듈(예를 들어, 송신 매체를 포함하는 머신 판독가능 매체 상에 저장되는 또는 이와 달리 구현 또는 반송되는 코드), 또는 하드웨어 모듈, 또는 이들의 임의의 조합을 구성할 수 있다. "하드웨어 모듈"은 특정 동작을 수행할 수 있는 유형의(예를 들어, 비일시적) 유닛이고 특정 물리적 방식으로 구성 또는 배치될 수 있다. 다양한 예시적인 실시예들에서, 하나 이상의 컴퓨터 시스템(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템(예를 들어, 프로세서 또는 프로세서(902)의 그룹)의 하나 이상의 하드웨어 모듈은, 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 본원에 설명된 바와 같은 특정 동작을 수행하도록 동작하는 하드웨어 모듈로서 구성될 수 있다.

일부 실시예들에서, 하드웨어 모듈은 기계적으로, 전자적으로, 또는 이들의 임의의 적절한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 특정 동작을 수행하도록 영구적으로 구성된 전용 회로 또는 로직을 포함할 수 있다. 예를 들어, 하드웨어 모듈은 필드 프로그램 가능 게이트 어레이(Field-Programmable Gate Array: FPGA) 또는 ASIC과 같은 특수 목적 프로세서일 수 있다. 하드웨어 모듈은 또한 특정 동작을 수행하기 위해 소프트웨어에 의해 일시적으로 구성되는 프로그램 가능 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 모듈은 범용 프로세서(902) 또는 다른 프로그램 가능 프로세서(902) 내에 포함된 소프트웨어를 포함할 수 있다. 하드웨어 모듈을 기계적으로 구현할지, 전용이고 영구적으로 구성된 회로에서 구현할지, 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성됨)에서 구현할지에 대한 결정은 비용 및 시간을 고려하여 행해질 수 있다는 점을 이해할 것이다.

따라서, "하드웨어 모듈"이라는 문구는 유형의 엔티티를 포괄하는 것으로 이해되어야 하며, 이러한 유형의 엔티티는 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 하드와이어드(hardwired)), 또는 일시적으로 구성되어(예를 들어, 프로그램되어) 특정 방식으로 동작하거나 본원에 설명된 특정 동작을 수행한다. 본원에 사용되는, "하드웨어 구현 모듈"은 하드웨어 모듈을 지칭한다. 하드웨어 모듈들이 일시적으로 구성되는(예를 들어, 프로그램되는) 실시예들을 고려하면, 하드웨어 모듈들의 각각은 어느 한 시점에 구성되거나 인스턴스화될 필요가 없다. 예를 들어, 하드웨어 모듈이 특수 목적 프로세서가 되도록 소프트웨어에 의해 구성된 범용 프로세서(902)를 포함하는 경우, 범용 프로세서(902)는 상이한 시간에 (예를 들어, 상이한 하드웨어 모듈을 포함하는) 상이한 특수 목적 프로세서로 각각 구성될 수 있다. 따라서, 소프트웨어(예를 들어, 소프트웨어 모듈)는, 예를 들어, 하나의 시간 인스턴스에서 특정 하드웨어 모듈을 구성하고 다른 시간 인스턴스에서 다른 하드웨어 모듈을 구성하도록 하나 이상의 프로세서(902)를 구성할 수 있다.

하드웨어 모듈은 다른 하드웨어 모듈에 정보를 제공하고 그 다른 하드웨어 모듈로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 모듈들은 통신 가능하게 연결된 것으로 고려될 수 있다. 동시에 다수의 하드웨어 모듈이 존재하는 경우, 통신은 2개 이상의 하드웨어 모듈들 사이의 신호 송신을 (예를 들어, 적절한 회로 및 버스를 통해) 통해 달성될 수 있다. 복수의 하드웨어 모듈이 상이한 시간에 구성되거나 인스턴스화되는 실시예들에서, 그러한 하드웨어 모듈들 사이의 통신은, 예를 들어, 복수의 하드웨어 모듈이 액세스하는 메모리 구조 내의 정보의 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 모듈은 동작을 수행하고 해당 동작의 출력을 통신 가능하게 연결된 메모리 장치에 저장할 수 있다. 그 이후, 추가의 하드웨어 모듈이 저장된 출력을 검색하고 처리하기 위해 메모리 장치에 액세스할 수 있다. 하드웨어 모듈은 입력 또는 출력 장치와의 통신을 개시할 수도 있고, 리소스(예를 들어, 정보의 모음)에 대해 동작할 수 있다.

본원에 설명된 예시적인 방법의 다양한 동작은 관련 동작을 수행하도록 (예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 영구적으로 구성된 하나 이상의 프로세서(902)에 의해 적어도 부분적으로 수행될 수 있다. 일시적으로 구성되던 또는 영구적으로 구성되던, 그러한 프로세서(902)는 본원에 설명된 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서로 구현된 모듈을 구성할 수 있다. 본원에서 사용되는 "프로세서로 구현된 모듈"은 하나 이상의 프로세서(902)를 사용하여 구현된 하드웨어 모듈을 지칭한다.

유사하게, 본원에 설명된 방법들은 적어도 부분적으로 프로세서로 구현될 수 있고, 프로세서(902)는 하드웨어의 일례이다. 예를 들어, 방법의 동작들 중 적어도 일부는 하나 이상의 프로세서(902) 또는 프로세서로 구현된 모듈에 의해 수행될 수 있다. 본 명세서에서 사용되는 "프로세서로 구현된 모듈"은 하드웨어가 하나 이상의 프로세서(902)를 포함하는 하드웨어 모듈을 지칭한다. 또한, 하나 이상의 프로세서(902)는 또한 "클라우드 컴퓨팅" 환경에서 또는 "서비스로서의 소프트웨어(SaaS)"로서 관련 동작의 성능을 지원하도록 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부는 컴퓨터(예를 들어, 프로세서(902)를 포함하는 머신)의 그룹에 의해 수행될 수 있고, 이러한 동작들은 네트워크(104)(예를 들어, 인터넷) 및 하나 이상의 적절한 인터페이스(예를 들어, 애플리케이션 프로그램 인터페이스(API))를 통해 액세스 가능하다.

특정 동작들의 실행은 단일 머신 내에 상주할 뿐만 아니라 다수의 머신들에 걸쳐 배치되는 하나 이상의 프로세서(902) 사이에서 분산될 수 있다. 일부 예시적인 실시예에서, 하나 이상의 프로세서(902) 또는 프로세서로 구현된 모듈은 단일 지리적 위치(예를 들어, 가정 환경, 사무실 환경 또는 서버 팜 내)에 위치할 수 있다. 다른 예시적인 실시예들에서, 하나 이상의 프로세서(902) 또는 프로세서로 구현된 모듈은 다수의 지리적 위치에 걸쳐 분산될 수도 있다.

이하에서 번호가 매겨진 예가 실시예이다.

1. 방법으로서,

장치로부터, 아이템에 대한 이미지를 수신하는 단계와,

아이템에 대한 아이템 속성을 수신하는 단계와,

수신된 이미지에 기초하여 이미지 속성을 추출하는 단계- 이미지 속성은 아이템 속성과 연관됨 -와,

아이템 속성과 이미지 속성을 비교하는 단계와,

프로세서를 사용하여, 상기 비교에 기초하여 신뢰도 점수를 계산하는 단계와,

신뢰도 점수가 사전결정된 임계치를 넘어서는 것에 기초하여 아이템 속성이 부정확한 것으로 판정하는 단계와,

아이템 속성이 부정확한 것으로 판정된 것에 응답하여, 장치의 디스플레이 상에 통지가 제시되게 하는 단계를 포함한다.

2. 예 1의 방법으로서,

판매자 데이터베이스로부터, 아이템을 리스팅하는 판매자의 판매자 정보에 액세스하는 단계와,

판매자 정보에 기초하여 신뢰도 점수를 업데이트하는 단계를 더 포함한다.

3. 예 1 또는 예 2의 방법으로서,

아이템 데이터베이스로부터, 판매용으로 리스팅된 아이템에 대한 제안된 아이템 속성에 액세스하는 단계와,

제안된 아이템 속성에 기초하여 신뢰도 점수를 업데이트하는 단계를 더 포함한다.

4. 예 1 내지 예 3 중 어느 하나의 방법으로서,

가격 데이터베이스로부터, 판매용으로 리스팅된 아이템에 대한 제안된 가격에 액세스하는 단계와,

제안된 가격에 기초하여 신뢰도 점수를 업데이트하는 단계를 더 포함한다.

5. 예 1 내지 예 3 중 어느 하나의 방법으로서,

아이템 속성은 카테고리 분류자이다.

6. 예 1 내지 예 4 중 어느 하나의 방법으로서,

상기 비교는 오버랩 기법에 기초한다.

7. 예 1 내지 예 5 중 어느 하나의 방법으로서,

오프라인 순위 데이터베이스로부터, 아이템 속성과 연관된 스팸 검출 분류자에 액세스하는 단계를 더 포함하되, 상기 비교는 스팸 검출 분류자에 더 기초한다.

8. 예 1 내지 예 7 중 어느 하나의 방법으로서,

상기 통지는 아이템 속성을 새로운 속성으로 변경하라는 요청을 포함한다.

9. 예 8의 방법으로서,

아이템 속성을 새로운 속성으로 변경한다는 확인을 수신하는 단계와,

수신된 확인에 기초하여 아이템 속성을 새로운 속성으로 변경하는 단계와,

새로운 속성을 갖는 아이템에 대한 게시물을 게시하는 단계를 더 포함한다.

10. 예 8 또는 예 9의 방법으로서,

새로운 속성은 이미지 속성에 기초한다.

11. 예 8 내지 예 10 중 어느 하나의 방법으로서,

새로운 속성은 이웃 속성에 기초하며, 이 이웃 속성은 상기 아이템과 유사한 다른 아이템으로부터 유도된다.

12. 예 8 내지 예 11 중 어느 하나의 방법으로서,

아이템 속성을 새로운 속성으로 변경하는 것에 대한 거부를 수신하는 단계와,

수신된 거부에 기초하여 아이템의 게시물을 제거하는 단계를 더 포함한다.

13. 예 1 내지 예 12 중 어느 하나의 방법으로서,

제2 장치로부터, 아이템 속성과 연관된 검색 요청을 수신하는 단계와,

검색 요청에 응답하여 아이템 속성과 연관된 검색 결과를 생성하는 단계 - 상기 검색 결과는 아이템들의 복수의 게시물을 포함함 -와,

아이템에 대한 아이템 속성이 부정확한 것으로 판정된 것에 기초하여 검색 결과로부터 아이템에 대한 게시물을 제거하는 단계를 더 포함한다.

14. 예 1 내지 예 13 중 어느 하나의 방법으로서,

상기 통지는 이미지가 부정확함을 나타낸다.

15. 예 1 내지 예 14 중 어느 하나의 방법으로서,

상기 통지는 아이템과 연관된 리스팅 카테고리가 부정확함을 나타낸다.

16. 예 1 내지 예 15 중 어느 하나의 방법으로서,

상기 통지는 아이템과 연관된 브랜드가 부정확하거나 아이템과 연관된 색상이 부정확함을 나타낸다.

17. 머신의 하나 이상의 프로세서에 의해 실행될 때, 상기 머신으로 하여금 동작들을 수행하게 하는 명령어를 포함하는 머신 판독가능 저장 매체로서,

상기 동작들은

장치로부터, 아이템에 대한 이미지를 수신하는 동작과,

아이템에 대한 아이템 속성을 수신하는 동작과,

수신된 이미지에 기초하여 이미지 속성을 추출하는 동작- 이미지 속성은 아이템 속성과 연관됨 -과,

아이템 속성과 이미지 속성을 비교하는 동작과,

프로세서를 사용하여, 상기 비교에 기초하여 신뢰도 점수를 계산하는 동작과,

신뢰도 점수가 사전결정된 임계치를 넘어서는 것에 기초하여 아이템 속성이 부정확한 것으로 판정하는 동작과,

아이템 속성이 부정확한 것으로 판정된 것에 응답하여, 장치의 디스플레이 상에 통지가 제시되게 하는 동작을 포함한다.

18. 예 17의 저장 매체로서,

상기 동작들은

판매자 데이터베이스로부터, 판매자 정보에 액세스하는 동작과,

아이템 데이터베이스로부터, 판매용으로 리스팅된 아이템에 대한 제안된 아이템 속성에 액세스하는 동작과,

리스팅 데이터베이스로부터, 판매용으로 리스팅된 아이템에 대한 제안된 가격에 액세스하는 동작과,

판매자 정보, 제안된 아이템 속성 또는 제안된 가격에 기초하여 신뢰도 점수를 업데이트하는 동작을 더 포함한다.

19. 시스템으로서,

하나 이상의 프로세서를 구비한 스팸 검출 시스템을 포함하되,

상기 스팸 검출 시스템은 적어도,

장치로부터, 아이템에 대한 이미지 및 아이템 속성을 수신하고,

수신된 이미지에 기초하여 이미지 속성을 추출하고- 이미지 속성은 아이템 속성과 연관됨 -,

아이템 속성과 이미지 속성을 비교하고,

상기 비교에 기초하여 신뢰도 점수를 계산하고,

신뢰도 점수가 사전결정된 임계치를 넘어서는 것에 기초하여 아이템 속성이 부정확한 것으로 판정하며,

아이템 속성이 부정확한 것으로 판정된 것에 응답하여, 장치의 디스플레이 상에 통지가 제시되게 하도록 구성된다.

20. 예 19의 시스템으로서,

스팸 검출 시스템은

판매자 데이터베이스로부터, 판매자 정보에 액세스하고,

아이템 데이터베이스로부터, 판매용으로 리스팅된 아이템에 대한 제안된 아이템 속성에 액세스하고,

리스팅 데이터베이스로부터, 판매용으로 리스팅된 아이템에 대한 제안된 가격에 액세스하며,

판매자 정보, 제안된 아이템 속성 또는 제안된 가격에 기초하여 신뢰도 점수를 업데이트하도록 더 구성된다.

21. 예 1 내지 예 16 중 어느 하나의 방법을 수행하기 위한 수단을 포함하는 장치.

22. 실행되는 경우 예 1 내지 예 16 중 어느 하나의 방법을 수행하는 머신 판독가능 명령어를 반송하는 머신 판독가능 매체.

본 명세서에서 논의된 주제의 일부는 머신 메모리(예를 들어, 컴퓨터 메모리) 내에 비트 또는 2진 디지털 신호로서 저장된 데이터에 대한 동작들의 알고리즘 또는 기호 표현과 관련하여 제공될 수 있다. 이러한 알고리즘 또는 기호 표현은 데이터 처리 기술 분야에서 통상의 지식을 가진 자가 그들의 작업 내용을 통상의 지식을 가진 다른 자에게 전달하기 위해 사용되는 기법의 예이다. 본 명세서에서 사용되는 "알고리즘"은 원하는 결과를 유도하는 동작 또는 유사한 처리의 자기-일관된 시퀀스이다. 이러한 맥락에서, 알고리즘 및 동작은 물리량에 대한 물리적 조작을 수반한다. 반드시 그럴 필요는 없지만 통상적으로, 그러한 양은 머신에 의해 저장, 액세스, 전송, 결합, 비교 또는 다르게 조작될 수 있는 전기, 자기 또는 광학 신호의 형태를 취할 수 있다. 주로 이러한 신호를 "데이터", "콘텐츠", "비트", "값", "요소", "기호", "문자", "용어", "숫자", "수치" 등과 같은 단어를 사용하여 지칭하는 것이 일반적으로 공통된 이유로 인해 편리하다. 그러나, 이 단어들은 단지 편리한 표현일 뿐이며 적절한 물리적인 양과 연관되어야 한다.

다르게 명시되지 않는 한, "처리", "컴퓨팅", "계산", "결정", "제시", "디스플레이" 등과 같은 단어를 사용하는 본 명세서에서의 설명은 하나 이상의 메모리(예를 들어, 휘발성 메모리, 비휘발성 메모리, 또는 이들의 임의의 적절한 조합), 레지스터, 또는 정보를 수신, 저장, 전송 또는 디스플레이하는 다른 머신 컴포넌트 내에서 물리적(예를 들어, 전기적, 자기적 또는 광학적) 양으로서 표현되는 데이터를 조작 또는 변환하는 머신(컴퓨터)의 동작 또는 처리를 지칭할 수 있다. 또한, 특별히 언급하지 않는 한, 본 명세서에서 사용되는 단수의 표현은 특허 문헌에서 일반적인 바와 같이 둘 이상의 인스턴스를 포함하도록 사용된다. 끝으로, 본 명세서에서 사용된 바와 같이, "또는"은 달리 구체적으로 언급되지 않는 한, "및/또는"과 같이 비-배타적인 "또는"을 의미한다.

102: 네트워크 시스템
105: 네트워크
105: 고수준 클라이언트-서버 기반 네트워크 아키텍처
106: 하나 이상의 사용자
110: 사용자 장치
130: 벤더 서버

Claims

장치로부터, 아이템에 대한 이미지를 수신하는 단계와,
상기 아이템에 대한 아이템 속성을 수신하는 단계 - 상기 아이템 속성은 판매자에 의해 입력됨 - 와,
상기 수신된 이미지에 기초하여 이미지 속성을 추출하는 단계- 상기 이미지 속성은 상기 아이템 속성과 연관됨 -와,
상기 아이템 속성과 상기 이미지 속성을 비교하는 단계와,
프로세서를 사용하여, 상기 비교에 기초하여 신뢰도 점수를 계산하는 단계와,
상기 신뢰도 점수에 기초하여 상기 아이템 속성이 부정확한지 여부를 판정하는 단계를 포함하고,
상기 신뢰도 점수는 하나 이상의 데이터베이스로부터 액세스되는 정보에 기초하여 업데이트되는
방법.
제1항에 있어서,
판매자 데이터베이스로부터, 상기 아이템을 리스팅하는 판매자의 판매자 정보에 액세스하는 단계와,
상기 판매자 정보에 기초하여 상기 신뢰도 점수를 업데이트하는 단계를 더 포함하는
방법.
제1항에 있어서,
아이템 데이터베이스로부터, 판매용으로 리스팅된 상기 아이템에 대한 제안된 아이템 속성에 액세스하는 단계와,
상기 제안된 아이템 속성에 기초하여 상기 신뢰도 점수를 업데이트하는 단계를 더 포함하는
방법.
제1항에 있어서,
가격 데이터베이스로부터, 판매용으로 리스팅된 상기 아이템에 대한 제안된 가격에 액세스하는 단계와,
상기 제안된 가격에 기초하여 상기 신뢰도 점수를 업데이트하는 단계를 더 포함하는
방법.
제1항에 있어서,
상기 아이템 속성은 카테고리 분류자(a category classifier)인
방법.
제1항에 있어서,
상기 비교는 오버랩 기법에 기초하는
방법.
제1항에 있어서,
오프라인 순위 데이터베이스로부터, 상기 아이템 속성과 연관된 스팸 검출 분류자에 액세스하는 단계를 더 포함하되, 상기 비교는 상기 스팸 검출 분류자에 더 기초하는
방법.
제1항에 있어서,
제2 장치로부터, 상기 아이템 속성과 연관된 검색 요청을 수신하는 단계와,
상기 검색 요청에 응답하여 상기 아이템 속성과 연관된 검색 결과를 생성하는 단계- 상기 검색 결과는 아이템의 복수의 게시물을 포함함 -와,
상기 아이템에 대한 아이템 속성이 부정확한 것으로 판정된 것에 기초하여 상기 검색 결과로부터 상기 아이템에 대한 게시물을 제거하는 단계를 더 포함하는
방법.
머신의 하나 이상의 프로세서에 의해 실행되는 경우, 상기 머신으로 하여금 제1항 내지 제8항 중 어느 한 항의 방법을 수행하게 하는 명령어를 포함하는 머신 판독가능 저장 매체.
시스템으로서,
하나 이상의 프로세서를 구비한 스팸 검출 시스템을 포함하되,
상기 스팸 검출 시스템은 적어도,
장치로부터, 아이템에 대한 이미지 및 아이템 속성을 수신하고 - 상기 아이템 속성은 판매자에 의해 입력됨 -,
상기 수신된 이미지에 기초하여 이미지 속성을 추출하고 - 상기 이미지 속성은 상기 아이템 속성과 연관됨 -,
상기 아이템 속성과 상기 이미지 속성을 비교하고,
상기 비교에 기초하여 신뢰도 점수를 계산하고,
상기 신뢰도 점수에 기초하여 상기 아이템 속성이 부정확한지 여부를 판정하도록 구성되며,
상기 신뢰도 점수는 하나 이상의 데이터베이스로부터 액세스되는 정보에 기초하여 업데이트되는
시스템.
제10항에 있어서,
상기 스팸 검출 시스템은
판매자 데이터베이스로부터, 판매자 정보에 액세스하고,
아이템 데이터베이스로부터, 판매용으로 리스팅된 상기 아이템에 대한 제안된 아이템 속성에 액세스하고,
리스팅 데이터베이스로부터, 판매용으로 리스팅된 상기 아이템에 대한 제안된 가격에 액세스하며,
상기 판매자 정보, 상기 제안된 아이템 속성 또는 상기 제안된 가격에 기초하여 상기 신뢰도 점수를 업데이트하도록 더 구성된
시스템.
제1항 내지 제8항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는 장치.