KR102127191B1 - 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 - Google Patents

Abstract

본 발명은 서비스 서버가, 사용자 디바이스에 상품 정보를 제공하는 방법에 대한 것으로, 온라인 마켓에서 판매되는 상품 정보를 수집하고, 상기 상품을 설명하는 상품 이미지에 대한 데이터베이스를 구성하는 A 단계; 사용자 디바이스에 표시된 페이지에 대한 쿼리를 수신하면, 상기 쿼리로부터 레이블을 추출하고, 상기 레이블을 기준으로 상기 데이터베이스를 검색하여 상기 페이지에 포함된 상품과 유사한 추천 상품을 결정하는 B 단계를 포함하는 것을 특징으로 한다.

Description

쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 {METHOD, APPARATUS AND COMPUTER PROGRAM FOR PROVIDING SHOPPING INFORMATIONS}

본 발명은 쇼핑 정보를 제공하는 방법 및 장치에 대한 것이다. 보다 구체적으로 본 발명은, 사용자 디바이스에 표시되어 있는 이미지에 매칭되는 쇼핑 정보를 제공하는 광고 플랫폼 시스템에 대한 것이다.

컴퓨터 처리 기술의 급속한 발달로, 최근 인터넷 기반의 광고계는 광고에 사용자 속성을 반영하여 배포하도록 발전하고 있다. 광고 컨텐츠가 광고사에서 사용자로 일방향으로 전달되는 것이 아니라, 사용자의 관심 영역을 추측하여 관심 아이템에 대한 광고가 제공되도록 하는 것이다.

예를 들어 해당 사용자의 구매 이력, 검색 이력 등을 기반으로 사용자의 관심 아이템을 추측하고, 이를 바탕으로 광고가 제공될 수 있다. 사용자가 종래 온라인으로 옥수수와 우유를 구매했다면 해당 사용자에게 옥수수, 우유에 대한 광고를 제공하거나 또는 사용자가 종래 선글라스에 대해 검색했다면, 해당 사용자에게는 선글라스와 관련된 광고를 제공하는 것이다.

그러나 이러한 광고는 노출 시점의 다른 컨텐츠를 고려하지 않는 문제가 있다. 옥수수와 우유를 기존에 구매한 사용자라고 하더라도 패션 잡지 컨텐츠를 열람하고 있는 상황에서 옥수수와 우유에 대한 광고가 표시되면, 해당 사용자에 대한 광고 효과는 미미할 것이다. 즉, 결과적으로 사용자의 해당 시점의 관심사와 무관한 광고가 제공될 수 있다.

한편, 특정 업체의 웹사이트 열람 중 관련성이 전혀 없는 광고가 표시되는 것은 해당 업체의 브랜드 이미지에 부정적인 영향을 끼칠 수 있다. 웹사이트 운영자는 광고사와 계약을 맺고, 자신의 웹사이트에 광고 영역을 제공하면서 수익을 얻을 수 있는데, 해당 광고 영역에 자신의 컨텐츠와 전혀 무관한 아이템에 대한 광고가 탑재되는 것을 우려할 수 있다.

예를 들어 패션 잡지 웹사이트에서 패션 관련 컨텐츠와 함께 옥수수와 우유에 대한 광고가 표시되면 해당 패션 잡지 브랜드 이미지에 좋지 않은 영향을 끼칠 수 있다. 따라서 브랜드 이미지를 중요하게 생각하는 업체는 웹사이트의 광고 영역을 제공하지 않으며, 광고 시장이 축소되는 문제가 발생할 수 있다.

본 발명은 상기와 같은 문제를 해결하기 위한 것으로, 사용자 디바이스에 표시된 이미지와 매칭되는 쇼핑 정보를 제공하는 광고 플랫폼을 제공하는 것을 목적으로 한다.

나아가 본 발명은 이미지 기반으로 매칭 상품을 검색하며, 이미지 검색 결과 값의 정확도를 높이기 위한 필터링 방법을 제공하는 것을 목적으로 한다.

본 발명의 실시예를 따르는 서비스 서버가, 사용자 디바이스에 상품 정보를 제공하는 방법은, 온라인 마켓에서 판매되는 상품 정보를 수집하고, 상기 상품을 설명하는 상품 이미지에 대한 데이터베이스를 구성하는 A 단계; 사용자 디바이스에 표시된 페이지에 대한 쿼리를 수신하면, 상기 쿼리로부터 레이블을 추출하고, 상기 레이블을 기준으로 상기 데이터베이스를 검색하여 상기 페이지에 포함된 상품과 유사한 추천 상품을 결정하는 B 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예를 따르는 서비스 서버가, 사용자 디바이스에 상품 정보를 제공하는 방법은, 온라인 마켓에서 판매되는 상품 정보를 수집하고, 상기 상품을 설명하는 상품 이미지의 유사도를 기준으로 수집된 상품을 적어도 하나 이상의 그룹으로 분류하고, 상기 그룹 별로 상기 그룹의 특징을 설명하는 레이블을 추출하는 단계; 상기 레이블을 텍스트 형태로 변환하고, 변환된 텍스트 레이블을 해당 그룹에 포함되는 상품에 태깅하여 데이터베이스를 구성하는 단계; 및 사용자 디바이스에 표시된 페이지에 대한 쿼리를 텍스트 형태로 수신하면, 상기 데이터베이스의 상기 텍스트 레이블을 검색하여 추천 상품을 결정하는 단계를 포함하는 것을 특징으로 한다.

나아가 본 발명의 실시예를 따르는 사용자 디바이스가 상품 정보를 표시하는 방법은, 디스플레이된 페이지에 포함된 이미지에 대한 검색이 가능한 경우, 검색 아이콘을 표시하는 A 단계; 상기 검색 아이콘에 대해 사용자 선택 입력을 수신하면, 선택된 검색 아이콘에 해당하는 이미지 객체에 해당하는 영역을 다른 영역보다 하이라이팅하여 표시하는 B 단계; 및 상기 이미지 객체와 유사한 추천 상품 정보를 표시하기 위한 추천 상품 영역을 상기 디스플레이된 페이지 상위에 레이어드하여 표시하는 C단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 사용자 디바이스에서 표시된 이미지를 기반으로, 표시된 이미지와 관련성이 높은 상품이 추천되어 광고의 타겟 노출율이 대폭 상승하는 효과가 있다. 나아가 본 발명에 따르면 이미지의 레이블을 추출하는 프로세싱 과정에서 상품 추천 대상이 아닌 객체들을 필터링할 수 있어 이미지 검색의 신뢰도를 높일 수 있는 효과가 있다.

도 1는 본 발명의 실시예를 따라 광고를 제공하는 플랫폼 시스템을 설명하기 위한 순서도
도 2는 본 발명의 실시예에 따라 상품 정보 및 상품 설명 이미지에 대한 데이터베이스를 구축하는 과정을 설명하기 위한 순서도
도 3은 쿼리 이미지를 기준으로 추천 상품을 결정하는 과정을 설명하기 위한 순서도
도 4는 디스플레이된 이미지에 검색 아이콘을 표시하고, 추천 상품을 광고하는 사용자 인터페이스를 예시하기 위한 도면

본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다.

이하에서는 상품 정보가 표시되는 사용자 장치가 모바일 디바이스인 것으로 전제하고 설명하지만 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 전자 장치는 데스크탑, 스마트폰, 테블릿 PC 등 상품 검색을 요청하고 검색 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하는 개념으로 이해되어야 한다.

또한 본 명세서에서 상품의 개념은 유형의 재화에 한정되지 않음을 주의해야 한다. 즉, 본 명세서에서 상품은 유형의 물건 뿐 아니라 판매 가능한 무형의 서비스를 포함하는 개념으로 이해되어야 한다.

나아가 본 명세서에서 전자 장치에 표시된 페이지 (displayed page in an electronic device)라는 용어는, 사용자의 스크롤에 따라 화면에 즉시 표시될 수 있도록 전자장치에 로딩된 화면 및/또는 상기 화면 내부의 컨텐츠 등을 포함하는 개념으로 이해될 수 있다. 예를 들어 모바일 디바이스의 디스플레이에서, 수평 또는 수직 방향으로 길게 연장되어 사용자의 스크롤에 따라 표시되는 어플리케이션의 실행 화면 전체가 상기 페이지의 개념에 포함될 수 있으며, 카메라 롤 중인 화면 역시 상기 페이지의 개념에 포함될 수 있다.

한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다. 그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.

도 1는 본 발명의 실시예를 따라 광고를 제공하는 플랫폼 시스템을 설명하기 위한 순서도이다.

단계 110에서 서비스 서버 (10)는 상품 정보를 수집하고, 특히 상품 이미지에 대한 데이터베이스를 구축할 수 있다. 본 발명의 실시예를 따르면 이미지를 기반으로 광고 아이템이 결정되기 때문에, 서비스 서버(10)는 다른 상품 정보와 별도로 검색 대상인 상품 이미지에 대한 데이터베이스를 구축하는 것이다.

한편 본 발명의 실시예를 따르는 서비스 서버는 상품 추천을 위한 이미지 검색에 노이즈로 작용할 수 있는 이미지는 제외하고 상품 이미지 데이터 베이스를 구성할 수 있다.

예를 들어 판매 상품이 모자인데, 상품 설명 이미지에 모자와 여성 상의가 포함되어 있는 경우, 여성 상의에 대한 이미지 쿼리에 모자 상품에 대한 응답이 제공될 수 있어, 이러한 노이즈는 제외하고 상품 이미지 데이터베이스를 작성할 수 있다.

본 발명의 실시예를 따르는 서비스 서버에서 상품 정보 및 상품 이미지에 대한 데이터베이스를 구축하고, 상품 이미지를 필터링하는 보다 구체적인 설명은 첨부된 도 2에 대한 설명과 함께 후술된다.

도 2의 단계 210에서 서비스 서버는 상품 정보를 수집할 수 있다.

예를 들어 서비스 서버는 크롤러, 파서, 인덱서를 구비하여, 온라인 상점의 웹 문서를 수집하고, 웹 문서에 포함된 상품 이미지 및 상품명, 가격 등 텍스트 정보에 접근할 수 있다.

예를 들어 크롤러는 온라인 상점의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로 상품 정보와 관련된 데이터를 서비스 서버로 전달할 수 있다. 이때 파서는 크롤링 과정 중에 수집된 웹 문서를 해석하여 페이지에 포함된 상품 이미지, 상품 가격, 상품명 등 상품 정보를 추출하며, 인덱서는 해당 위치와 의미를 색인할 수 있다.

한편 서비스 서버는 온라인 상점의 웹사이트로부터 상품 정보를 수집하고 색인할 수 있지만, 미리 등록된 온라인 상점의 서버로부터 상품 정보를 수신할 수도 있다.

단계 220에서 서비스 서버는 수집된 상품 이미지를 프로세싱할 수 있다. 이는 상품명이나 판매 카테고리 등 텍스트 정보에만 의존하지 않고, 상품 이미지를 기준으로 해당 상품을 레이블링하고 나아가 이미지의 유사도를 기준으로 상품을 분류하기 위한 것이다.

이를 위해 서비스 서버는 상품 이미지의 특징을 추출하고, 검색을 효율성을 위해 이미지들의 특징 정보를 구조화 (indexing)할 수 있다.

보다 구체적으로 서비스 서버는 상품 이미지들의 특징 영역을 탐지(Interest Point Detection)할 수 있다. 특징 영역이란, 이미지들 사이의 동일 유사 여부를 판단하기 위한 이미지의 특징에 대한 기술자, 즉 특징 기술자(Feature Descriptor)를 추출하는 주요 영역을 말한다.

본 발명의 실시예에 따르면 이러한 특징 영역은 이미지가 포함하고 있는 윤곽선, 윤곽선 중에서도 코너 등의 모퉁이, 주변 영역과 구분되는 블롭(blob), 이미지의 변형에 따라 불변하거나 공변하는 영역, 또는 주변 밝기보다 어둡거나 밝은 특징이 있는 극점일 수 있으며 이미지의 패치(조각) 또는 이미지 전체를 대상으로 할 수 있다.

나아가 서비스 서버는 특징 영역에서 특징 기술자를 추출(Descriptor Extraction)할 수 있다. 특징 기술자는 이미지의 특징들을 벡터 값으로 표현한 것이다.

본 발명의 실시예에 따르면, 이러한 특징 기술자는 해당 이미지에 대한 특징 영역의 위치, 또는 특징 영역의 밝기, 색상, 선명도, 그라디언트, 스케일 또는 패턴 정보를 이용하여 계산할 수 있다. 예를 들어 특징 기술자는 특징 영역의 밝기 값, 밝기의 변화 값 또는 분포 값 등을 벡터로 변환하여 계산할 수도 있다.

한편 본 발명의 실시예에 따르면 이미지에 대한 특징 기술자는 위와 같이 특징 영역에 기반한 지역 기술자(Local Descriptor) 뿐 아니라, 전역 기술자(Global descriptor), 빈도 기술자(Frequency Descriptor), 바이너리 기술자(Binary Descriptor) 또는 신경망 기술자(Neural Network descriptor)로 표현될 수 있다.

보다 구체적으로, 특징 기술자는 이미지 전체 또는 이미지를 임의의 기준으로 분할한 구역 각각, 또는 특징 영역 각각의 밝기, 색상, 선명도, 그라디언트, 스케일, 패턴 정보 등을 벡터값으로 변환하여 추출하는 전역 기술자 (Global descriptor)를 포함할 수 있다.

예를 들어 특징 기술자는 미리 구분한 특정 기술자들이 이미지에 포함되는 횟수, 종래 정의된 색상표와 같은 전역적 특징의 포함 횟수 등을 벡터값으로 변환하여 추출하는 빈도 기술자 (Frequency Descriptor), 각 기술자들의 포함 여부 또는 기술자를 구성하는 각 요소 값들의 크기가 특정값 보다 크거나 작은지 여부를 비트 단위로 추출한 뒤 이를 정수형으로 변환하여 사용하는 바이너리 기술자 (Binary descriptor), 신경망(Neural Network)의 레이어에서 학습 또는 분류를 위해 사용되는 영상정보를 추출하는 신경망 기술자(Neural Network descriptor)를 포함할 수 있다.

특히 본 발명의 실시예를 따르면, 상품 이미지로부터 추출한 특징 정보 벡터를 낮은 차원으로 변환할 수 있다. 예를 들어 인공신경망을 통해 추출된 특징 정보는 4만 차원 고차원 벡터 정보에 해당하며, 검색에 요구되는 리소스를 고려하여 적정한 범위의 낮은 차원 벡터로 변환하는 것이 적절하다.

상기 특징 정보 벡터의 변환은 PCA 등의 알고리즘을 이용할 수 있으며, 낮은 차원 벡터로 변환된 특징 정보는 해당 상품 이미지에 인덱싱 될 수 있다.

나아가 서비스 서버는 프로세싱된 상품 설명 이미지를 기준으로 머신 러닝의 기법을 적용하여 상품들을 적어도 하나 이상의 그룹으로 분류하고, 상품 그룹마다 의미, 즉 레이블을 추출할 수 있다. (단계 230)

본 발명의 제 1 실시예를 따르면, 서비스 서버는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 상품 이미지 내의 객체를 분류하고, 해당 객체의 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.

본 발명의 제 2 실시예를 따르면, 서비스 서버는 각 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 상품 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. 나아가 서비스 서버는 해당 상품이 어느 그룹에도 포함 되지 않으면 해당 상품을 포함하는 새로운 그룹을 생성할 수도 있다.

상기 제 1 실시예와 제 2 실시예에 따르면, 서비스 서버는 제 1 그룹은 여성 하의 제 2 그룹은 스커트, 제 3 그룹은 원피스 등으로 레이블링 할 수 있으며, 그 하위 그룹으로서 스타일(반팔, 긴팔 등), 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등)을 추가로 레이블링 할 수 있고, 이미지 객체로부터 상품의 의미를 확률적으로 계산하고 이를 해당 그룹의 상품에 레이블링 할 수 있다.

본 발명의 제 3 실시예를 따르면, 서비스 서버는 별도의 학습 없이 상품 이미지 특징들의 동일 유사 여부를 기준으로 상품 그룹들을 복수의 레이어로 형성된 계층 구조로 형성할 수 있다. 나아가 상품 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 해당 객체가 특정 상품 그룹에 포함될 확률을 계산할 수 있다.

이 경우, 해당 그룹에서 추출할 수 있는 레이블을 실제 인간이 인식할 수 있는 개념과 연결하기 위해서는 추가 분석이 필요할 수 있다. 예를 들어 서비스 서버가 이미지 프로세싱을 통해 3개의 그룹으로 상품을 분류하고, 제 1 그룹의 특징에 대한 A, 제 2 그룹의 특징에 대한 B, 제 3 그룹의 특징에 대한 C 라는 레이블을 추출한 경우, A, B, C가 예를 들어 각각 여성 상의, 블라우스, 체크 무늬를 의미함을 해석할 필요가 있다.

이와 같은 머신 러닝을 기법을 사용하는 경우, 서비스 서버는 검색 결과에 대한 피드백을 수집하고, 피드백 정보를 이용하여 레이어들의 거리와 가중치 값을 업데이트 할 수 있다 즉, 상품 그룹들의 분류 및/또는 해당 상품 그룹에 포함되는 상품 구성의 적합성에 대한 피드백이 제공되면 이를 이용하여 상기 학습 모델의 파라미터 또는 가중치를 업데이트 할 수 있다.

단계 240은 상품 설명 이미지를 필터링하는 단계이다. 이는 이미지 검색에 노이즈로 작용할 수 있는 상품 이미지는 제외하고 상품 이미지 데이터베이스를 구성하기 위한 것이다.

보다 구체적으로 서비스 서버는 상품 이미지에서 추출된 레이블과 상품 정보에서 획득한 상품 카테고리 정보를 비교하여 상품 이미지의 필터링 여부를 결정할 수 있다. 특정 상품에 대해 다수의 이미지가 존재하고, 그중 하나의 이미지에서 추출한 레이블과 해당 상품의 판매 카테고리가 상이하면 해당 이미지 또는 해당 이미지 내의 특정 객체는 필터링할 수 있다.

예를 들어, A 상품에 대한 제 1 내지 제 3 상품 이미지가 존재하고, 제 1 상품 이미지에서는 (여성 상의, 재킷), 제 2 상품 이미지에서는 (여성 상의, 재킷) 및 (선글라스, 라운드), 제 3 상품 이미지에서는 (선글라스, 라운드) 라는 레이블이 추출된 경우를 고려할 수 있다. 이때 A 상품의 판매 카테고리가 “선글라스”이라면, 서비스 서버는 제 1 상품 이미지는 제외하고, 제 2, 제 3 상품 이미지 만으로 상품 이미지 데이터베이스를 구성할 수 있다.

이러한 필터링은 이미지 검색의 노이즈를 줄이기 위한 것이다. 위의 예에서 A 상품이 실제로 선글라스에 대한 것인데 제 1 내지 3 상품 설명 이미지를 모두 포함하여 데이터베이스를 구성하면, 쿼리 이미지가 재킷인 경우에도 제 1 상품 이미지와 유사하다고 판단하여 선글라스에 대한 A 상품이 추천되기 때문에 검색의 정확도가 떨어질 수 있기 때문에 제 1 상품 이미지를 필터링하는 것이다.

단계 250에서 서비스 서버는 추출된 레이블을 텍스트로 변환하여 해당 상품에 태깅할 수 있다. 이는 이미지 기반으로 추출한 레이블에 대한 텍스트 검색을 지원하기 위한 것이다.

예를 들어 상품 설명 이미지에서 추출한 레이블이 파란색, 체크 무늬, 폴로티이면 서비스 서버는 해당 상품에 파란색, 체크 무늬, 폴로티라는 레이블을 태깅하고 사용자가 “체크무늬 폴로티”를 검색하면 태그 기반으로 먼저 검색하여 해당 상품을 추천할 수 있다. 이러한 기능을 이용하면 상품 판매자가 해당 상품에 체크 무늬 또는 폴로티에 대한 태그를 붙여 놓지 않은 경우에는 검색되지 않던 상품이 추천 상품으로 제공될 수 있는 효과가 있다.

다시 도 1에 대한 설명으로 복귀하면, 단계 120에서 서비스 서버 (10)는 광고 영역을 제공하는 웹사이트 서버 (20)로부터 광고 영역을 특정하기 위한 탬플릿을 수신할 수 있다. 상기 탬플릿을 통해 웹사이트 서버가 해당 웹사이트에서 광고가 표시되는 영역을 특정하면, 서비스 서버는 광고 영역에 대한 광고를 표시하기 위한 광고 SDK를 설계하여 웹사이트 서버에 전달할 수 있다. (단계 130) 이후 웹사이트 서버는 상기 광고 SDK를 자신의 웹사이트에 탑재할 것이다.

도 1에 도시된 예시는 상기 광고 플랫폼이 웹사이트에 SDK 형태로 동작하는 실시예에 대한 것이나, 본 발명은 이에 한정되지 않는다. 즉, 본 발명의 실시예를 따르는 광고 플랫폼은 모바일 디바이스에 설치되는 어플리케이션 또는 플러그인, 엑티브엑스, 광고 모듈 등의 형식일 수 있고 데스크탑에 설치되는 소프트웨어 또는 웹 브라우징 툴에 설치되는 익스텐션 프로그램일 수 있다.

이후 사용자 디바이스가 상기 웹사이트 서버에 접속하여 미리 특정된 또는 신규 컨텐츠를 접근하면 (단계 140), 쇼핑 SDK가 실행될 것이다. (단계 150)

상기 쇼핑 SDK는 쇼핑 정보를 문의하기 위한 쿼리를 생성하여 서비스 서버에 전달할 수 있다. (단계 160)

상기 쿼리는 쇼핑 정보를 서비스 서버에 문의하기 위한 것으로, URL, 이미지, 텍스트 등의 형태를 예시할 수 있다

예를 들어 사용자 디바이스의 쇼핑 SDK는 웹 브라우저의 기록 로그를 포함하는 쿼리를 서비스 서버에게 전송할 수 있다. 상기 기록 로그에는 웹 브라우저의 브라우징 실행 히스토리가 포함될 수 있으며, 특히 해당 시점에 실행한 웹 페이지의 URL 정보, 즉 웹사이트 서버 (20)가 제공하는 웹 페이지의 URL정보를 쿼리로 전송할 수도 있다.

나아가 사용자 디바이스는 웹페이지의 URL에 포함된 이미지, 동영상, 텍스트 데이터를 추출하고, 추출한 데이터를 쿼리로 전송할 수도 있다. 나아가 URL, 텍스트, 이미지 또는 동영상 데이터를 추출할 수 없는 경우 스크린샷을 추출하여 쿼리로 전송할 수 있다.

본 발명의 선호되는 실시예를 따르면 사용자 디바이스는 사용자가 검색을 요청한 이미지 내의 객체를 추출하여 쿼리로 전송할 수 있으며, 나아가 사용자가 입력한 검색어를 쿼리로 전송할 수도 있다.

이를 위해 사용자 디바이스는 디스플레이된 페이지에 대한 검색이 가능한지 여부를 먼저 판단하고, 검색 가능한 경우에만 검색 또는 결과 아이콘을 표시하도록 동작할 수 있다. 상기 실시예를 따르면 상품 검색이 가능한 경우 이 사실을 사용자에게 검색 아이콘 등을 이용해 알리고 사용자가 아이콘을 선택할 시에만 쿼리를 전송하기 때문에 쿼리를 전송하고 처리하는데 소요되는 리소스가 경감되는 효과가 있다.

보다 구체적으로 사용자 디바이스는 해당 시점에 표시된 페이지에 포함됨 이미지의 개수, 상기 이미지 각각의 크기, 상기 이미지 각각의 형태, 상기 페이지의 텍스트, 이미지 추출 가능 여부 및/또는 URL의 형태, 주소 등을 이용하여 상기 페이지에 포함된 컨텐츠에 대한 검색이 가능한지 여부를 판단하고 가능한 경우에만 검색 아이콘을 해당 페이지에 표시할 수 있다.

검색 아이콘을 표시하는 구체적인 사용자 인터페이스는 첨부된 도 4에 대한 설명과 함께 후술된다.

한편, 단계 170에서 서비스 서버는 수신한 쿼리를 기반으로 상품 정보를 검색할 수 있다.

예를 들어 서비스 서버는 쿼리로 텍스트를 수신한 경우, 해당 텍스트와 일치하는 태그 값을 가지는 상품을 검색할 수 있다. 본 발명의 실시예를 따르면 상기 태그는 상품 이미지로부터 추출한 레이블일 수 있다. 따라서 사용자가 검색어, 즉 텍스트 기반으로 검색을 요청한 경우에도, 판매자가 임의로 기재한 상품 설명이 아니라 상품 이미지를 기반으로 검색될 수 있다. 즉, 상품 설명 이미지에서 추출한 레이블과 검색어를 비교하기 때문에 검색의 정확도가 대폭 향상되는 효과가 있다.

본 발명의 선호되는 실시예를 따르면 서비스 서버는 쿼리로 이미지를 수신하고 쿼리 이미지와 데이터베이스의 상품 이미지를 비교하여, 영상의 특징 정보가 동일 또는 유사하거나 레이블의 구성이 상호 대응되는 상품을 추천 상품으로 결정할 수 있다. 이를 위해 서비스 서버는 쿼리 이미지를 프로세싱하는 보다 구체적인 설명은 첨부된 도 3에 대한 설명과 함께 후술된다.

도 3은 쿼리 이미지를 기준으로 추천 상품을 결정하는 과정을 설명하기 위한 도면이다.

단계 310에서 서비스 서버는 쿼리 이미지를 수신하고, 상기 쿼리 이미지에 다수의 객체가 포함된 경우 객체들 각각을 분할하여 인식할 수 있다. (단계 320)

단계 330 내지 단계 350은 해당 쿼리 이미지에 포함된 다수의 객체에서 추천 대상이 아닌 이미지를 필터링하기 위한 단계이다.

단계 330에서 서비스 서버는 쿼리 이미지에 포함된 이미지를 분류하는 과정에서 사전에 학습된 신경망 모델의 확률적 신뢰도를 기반으로 필터링할 수 있다.

예를 들어 서비스 서버가 패션 아이템에 한정하여 상품을 추천하는 경우, 패션 아이템이 아닌 이미지 객체들은, 예를 들어 자동차, 잔디, 건물, 도로, 의자 등은 제외하고 쿼리 객체들을 프로세싱하는 것이 효율적일 것이다. 나아가 쿼리 이미지에 패션 아이템과 관련된 객체가 존재하지 않는다면 해당 쿼리 이미지는 상품 추천을 위한 검색 과정을 진행할 필요가 없을 것이다.

따라서 본 발명은 포함 조건 및/또는 불포함 조건을 기반으로 쿼리 이미지를 필터링하는 방법을 제안한다.

보다 구체적으로, 서비스 서버는 쿼리 이미지에서 미리 특정된 이미지 패턴, 즉 포함 조건 패턴이 존재하는지 여부를 검색하고, 존재하지 않으면 해당 쿼리 이미지를 필터링할 수 있다. (단계 340)

예를 들어, 패션 아이템을 추천하는 앞의 예에서, 전신, 상반신, 하반신 등 사람 몸의 형태에 대한 패턴을 미리 특정하고, 쿼리 이미지에서 사람의 몸이 존재하지 않는 경우에는 해당 쿼리 이미지는 추천 대상이 아닌 것으로 판단할 수 있다. 나아가 쿼리 이미지에 사람의 몸이 존재하는 경우라도, 전체 쿼리 이미지에서 사람 몸 객체의 위치, 형태 등을 고려하여 중요도가 떨어지는 경우에는 해당 쿼리 이미지는 추천 대상이 아닌 것으로 판단할 수 있다.

나아가 서비스 서버는 쿼리 이미지에서 미리 특정된 이미지 패턴, 즉 불포함 조건 패턴이 존재하는지 여부를 검색하고, 존재하지 않는 경우에 해당 쿼리 이미지를 필터링할 수도 있다. (단계 350)

예를 들어 패션 아이템을 추천하는 앞의 예에서, 자동차, 잔디, 건물, 도로, 의자 등 추천 대상이 아닌 객체들의 형태에 대한 패턴을 미리 특정하고 쿼리 이미지에서 상기 패턴을 주요하게 포함하면 해당 쿼리 이미지를 필터링 할 수 있다.

나아가 본 발명의 추가적인 실시예를 따르면, 쿼리 이미지에서 인식가능한 객체들이 해당 쿼리 이미지에서 차지하는 위치나 형태 등을 고려하여 해당 객체의 중요도를 계산하고, 특정 범위 이상의 중요도를 가지는 객체들만 대상으로 상기 포함 조건 패턴, 불포함 조건 패턴과 유사도를 계산하는 방식으로 필터링할 수도 있다.

비록 도 3에서 단계 340 및 단계 350은 연속적인 과정으로 도시되어 있지만 이는 예시에 불과하다. 즉, 본 발명의 실시예를 따르면 단계 340, 350은 별개의 독립적인 과정으로 진행될 수 있으며, 생략할 수도 있다.

단계 360에서 서비스 서버는 쿼리 이미지를 프로세싱할 수 있다. 이는 상품 이미지 데이터베이스와 비교하여 이미지의 동일 유사 여부를 판단하기 위한 것으로, 서비스 서버는 쿼리 이미지 프로세싱을 전술한 도 2와 실질적으로 동일한 방식으로 진행할 수 있다.

예를 들어 서비스 서버는 쿼리 이미지의 특징값을 추출하고 데이터베이스를 생성하기 위해 머신 러닝의 기법을 적용하여 생성한 인공 신경망 모델을 통해 해당 쿼리 이미지와 같은 그룹에 속하거나 대응되는 상품 이미지들을 추출할 수 있다.

이때 서비스 서버는 데이터베이스에서 복수의 레이어에 분포된 상품 그룹들이 요구하는 가중치를 반영하여 쿼리 이미지의 특징 값을 가공하고, 쿼리 이미지와 일정 범위 이내의 거리 값을 가지는 상품 그룹을 적어도 하나 이상 계산할 수 있다.

또한 이때 서비스 서버는 쿼리 이미지의 의미와 데이터베이스 내의 상품이 직접적으로 연관되지 않더라도 사전에 상호 대응되는 그룹 또는 레이블을 설정할 수 있다. 예를 들어 쿼리 이미지로부터 추출된 객체의 그룹 또는 레이블이 남자, 칙칙한 얼굴, 수염일 경우 서비스 서버는 해당 객체에 대응하도록 사전에 설정된 수염 관리도구, 면도기 및 스킨케어 프로그램 등을 추천할 수 있다.

다시 도 1에 대한 설명으로 복귀하면, 단계 170에서 추천 상품을 검색한 서비스 서버는 단계 180에서 상품 노출의 우선순위를 고려하여 추천 상품 중 노출 상품, 즉 광고 상품을 결정할 수 있다. 상기 우선 순위는 이미지 특징의 유사도, 그룹 및/또는 레이블의 유사도 또는 상기 서비스 서버와 제휴를 맺은 광고주의 상품인지 여부를 예시할 수 있다.

이후 서비스 서버는 광고 상품에 대한 정보를 사용자 디바이스에 제공할 수 있으며 (단계 190) 사용자 디바이스는 미리 특정된 광고 영역에 해당 상품을 표시할 수 있다.

사용자 디바이스에 광고 상품을 표시하는 보다 구체적인 사용자 디바이스는 첨부된 도 4에 대한 설명과 함께 후술된다.

도 4는 디스플레이된 이미지에 검색 아이콘을 표시하고, 추천 상품을 광고하는 사용자 인터페이스를 예시하기 위한 도면이다.

도 4a 같은 이미지가 사용자 디바이스에 표시된 경우, 사용자 디바이스는 해당 이미지를 쿼리로 서비스 서버에 전송하고, 서비스 서버 검색 대상 객체로 401, 402, 403, 404를 결정하고, 해당 객체와 유사한 상품들을 추천 상품으로 결정할 수 있다.

이 경우 사용자 디바이스는 410과 같은 검색 아이콘을 401, 402, 403, 404 인근에 오버레이하여 표시할 수 있다. 상기 검색 아이콘은 추천 상품에 대한 URL로 링크하거나 검색된 결과의 리스트를 표시하는 기능을 제공할 수 있다.

한편 도 4a와 같은 예에서 415와 같은 세부 설명 아이콘을 사용자가 선택하면, 도 4b와 같이 검색 아이콘이 확장되면서 405, 406, 407, 408과 같은 추천 상품에 대한 정보 카드가 표시될 수 있다. 상기 추천 상품 정보 카드는 해당 객체로부터 서비스 서버가 추출한 레이블, 추천 상품의 상품명, 추천 상품의 가격 및 추천 상품의 대표 이미지 등을 포함할 수 있다.

한편, 본 발명의 다른 실시예를 따르면 추천 상품 정보 카드는 도 4c에 도시된 421 내지 426과 같이 해당 객체에 대한 레이블만으로 제공될 수도 있다.

도 4c에서 사용자가 426 검색 아이콘을 선택한 경우, 사용자 디바이스는 도 4d와 같은 화면으로 전환하여 해당 객체와 유사한 상품에 대한 정보를 표시할 수 있다.

본 발명의 다른 실시예를 따르면 추천 상품 정보는 쿼리 이미지 위에 레이어드하여 표시될 수 있다.

예를 들어 도 4e에서 420과 같은 컨텐츠가 사용자 디바이스에 표시된 경우, 사용자 디바이스는 430과 같은 검색 아이콘을 표시할 수 있다.

사용자가 430을 선택하면, 도 4f와 같이 420을 쿼리 이미지 영역 (432)과 다른 영역의 명암을 구분하여 처리하고 433과 같은 추천 상품을 표시하기 위한 상위 레이어를 420 위에 생성할 수 있다.

보다 구체적으로, 검색 아이콘은 사용자 선택을 받기 전까지 깜박거리면서 적어도 하나 이상 표시될 수 있으며, 사용자가 다수의 검색 아이콘 중 어느 하나를 선택하면, 선택된 아이콘에 해당하는 이미지 객체 영역이 다른 영역보다 하이라이팅되어 표시될 수 있다.

이때 상기 하이라이팅은 검색 아이콘을 중심으로 해당 객체의 엣지 영역으로 확산하여 표시될 수 있으며, 해당 객체의 엣지를 포함하는 최소의 사각형 형태 또는 해당 객체를 크롭(crop)한 하나 이상의 레이어드된 아이콘 형태로 표시될 수도 있다.

이때 사용자가 433 레이어를 선택하고 수직 방향의 드래그 제스처를 입력하면, 사용자 제스처의 방향과 속도에 따라 상기 433 레이어가 길게 연장되거나 짧게 단축될 수 있다. 도 4g는 433 레이어, 즉, 추천 상품 레이어가 420 레이어를 완전히 잠식하여 표시된 경우를 예시하고 있다.

도 4g는 수직 방향으로 확장될 수 있는 레이어를 예시하고 있지만 본 발명은 이에 한정되지 않는다. 즉, 추천 상품 표시 레이어는 가로 방향으로 확장될 수도 있다. 이경우 사용자가 433 레이어를 선택하고 수평 방향의 드래그 제스처를 입력하면, 사용자 제스처의 방향과 속도에 따라 상기 433 레이어는 고정된 형태로 433 레이어에 포함되는 컨텐츠가 수평 방향으로 이동하여 표시될 수 있다.

나아가 본 발명의 실시예를 따르는 추천 상품 영역은 도 4f와 같이 원본 컨텐츠 상위에 레이어드하여 표시될 수 있지만, 원본 컨텐츠와 일체로 표시될 수도 있다. 즉, 본 발명의 실시예에 따르는 광고 플랫폼은 해당 컨텐츠 탬플릿에서 임의의 영역을 미리 특정하여 추천 상품 영역으로 지정할 수 있기 때문에 지정된 영역에서 추천 상품 정보를 표시할 수도 있다.

나아가 추천 상품 영역은 도 4h와 같이 선택된 이미지 객체에서 추출할 수 있는 레이블 (472, 473, 474) 을 적어도 하나 이상 표시하는 카테고리 영역 (470), 추천 상품들의 썸네일 이미지 (482, 485)를 표시하는 추천 상품 이미지 링크 영역 (480)을 포함하여 구성될 수 있다.

도 5는 본 발명의 다른 실시예를 따르는 상품 정보 표시 사용자 인터페이스의 예시이다.

본 발명의 실시예를 따르면 도 5a에 도시된 바와 같이 사용자 디바이스에 표시된 이미지가 검색 대상이 되며, 상기 이미지는 이를 실행한 어플리케이션의 종류를 불문한다. 즉, 상기 이미지는 갤러리, 웹브라우징 어플리케이션은 물론 기타 다른 어플리케이션을 통해 표시될 수 있다.

도 5b는 본 발명의 실시예를 따르는 어플리케이션이 노티 패널에 호출하여 스크린샷 생성 및/또는 카메라 촬영 기능을 활성화하는 사용자 인터페이스의 예시이다. 사용자는 도 5b에 도시된 바와 같이 노티 패널에 생성된 스크린샷 생성 아이콘 및/또는 카메라 촬영 아이콘을 선택하여 검색 대상 이미지를 생성할 수 있다.

도 5c는 디스플레이된 이미지 중 검색 가능한 이미지 객체를 특정하여 표시하는 사용자 인터페이스의 예시이다. 본 발명의 실시예를 따르는 서비스 서버는 사용자 디바이스로부터 수신한 쿼리에서 검색 가능한 이미지 객체를 특정하고, 관련 정보를 사용자 디바이스에 제공할 수 있으며, 사용자 디바이스는 표시된 이미지에 검색 가능한 이미지 객체들을 하이라이팅하여 표시할 수 있다. 사용자는 도 5c에 도시된 바와 같이 하이라이팅된 이미지 객체 중, 검색을 요청할 객체를 선택할 수 있다.

도 5d는 추천 상품 정보를 제공하는 사용자 인터페이스의 예시이다. 추천 상품은 대표 상품 이미지에 대한 썸네일 형태로 제공될 수 있다. 특정 썸네일을 사용자가 선택하면, 세부 상품 설명 페이지가 생성될 수 있다.

본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (4)

1. 서비스 서버가, 사용자 디바이스에 상품 정보를 제공하는 방법에 있어서,
   온라인 마켓에서 판매되는 상품 정보를 수집하고, 상기 상품 정보는 상기 상품을 설명하는 상품 이미지를 포함하며, 상기 상품에 대한 데이터베이스를 구성하는 A 단계; 및
   사용자 디바이스에 표시된 페이지에 대한 쿼리를 수신하면, 상기 쿼리로부터 상기 쿼리에 포함된 쿼리 이미지의 특징을 설명하는 레이블을 추출하고, 상기 레이블을 이용하여 상기 데이터베이스를 검색하여 상기 페이지에 포함된 상품과 유사한 추천 상품을 결정하는 B 단계를 포함하며,
   상기 A 단계는,
   임의의 상품에 대해 적어도 하나 이상의 상품 이미지 및 상기 온라인 마켓 운영자에 의해 미리 설정된 상기 상품의 카테고리 정보를 수집하는 단계; 및
   상기 상품 이미지에서 이미지 특징 기술자를 추출하고, 상기 이미지 특징 기술자를 낮은 차원의 벡터로 변환하여 이미지 벡터를 생성하고, 이미지의 의미를 설명하는 레이블에 해당하는 상품 이미지의 특징을 미리 학습한 신경망 모델에 상기 이미지 벡터를 적용하여 상기 상품 이미지의 레이블을 적어도 하나 이상 추출하는 단계를 포함하고,
   상기 B 단계는,
   상기 쿼리 이미지에서 생성한 쿼리 이미지 벡터를 상기 신경망 모델에 적용하여 상기 쿼리 이미지의 레이블을 적어도 하나 이상 추출하는 단계; 및
   상기 쿼리 이미지의 레이블과 상기 데이터베이스에서 온라인 마켓 운영자에 의해 미리 설정된 상기 카테고리 정보를 비교하여, 상기 쿼리 이미지의 레이블과 상기 카테고리 정보가 상이하면, 상기 쿼리 이미지를 필터링하는 단계를 포함하는 것을 특징으로 하는 상품 정보 제공 방법.
2. 서비스 서버가, 사용자 디바이스에 상품 정보를 제공하는 방법에 있어서,
   온라인 마켓에서 판매되는 상품 정보를 수집하고, 상기 상품을 설명하는 상품 이미지로부터 상기 상품의 카테고리, 스타일, 무늬의 형태, 재질, 색상 및 추상적 느낌 중 적어도 하나 이상을 설명하는 레이블을 추출하는 A 단계;
   상기 레이블을 텍스트 형태로 변환하고, 변환된 텍스트 레이블을 해당 그룹에 포함되는 상품에 태깅하여 데이터베이스를 구성하는 B 단계; 및
   사용자 디바이스에 표시된 페이지에 대한 쿼리를 텍스트 형태로 수신하면, 상기 데이터베이스의 상기 텍스트 레이블을 검색하여 추천 상품을 결정하는 C 단계를 포함하며,
   상기 A 단계는,
   임의의 상품에 대해 적어도 하나 이상의 상품 이미지 및 상기 온라인 마켓 운영자에 의해 미리 설정된 상기 상품의 카테고리 정보를 수집하는 단계; 및
   상기 상품 이미지에서 이미지 특징 기술자를 추출하고, 상기 이미지 특징 기술자를 낮은 차원의 벡터로 변환하여 이미지 벡터를 생성하고, 이미지의 의미를 설명하는 레이블에 해당하는 상품 이미지의 특징을 미리 학습한 신경망 모델에 상기 이미지 벡터를 적용하여 상기 상품 이미지의 레이블을 적어도 하나 이상 추출하는 단계를 포함하고,
   상기 C 단계는,
   상기 텍스트 쿼리와 상기 온라인 마켓 운영자에 의해 미리 설정된 상기 상품의 카테고리 정보를 비교하여, 상기 텍스트 쿼리와 상기 카테고리 정보가 상이하면, 상기 쿼리를 필터링하는 단계를 포함하는 것을 특징으로 하는 상품 정보 제공 방법.
3. 광고를 표시하는 방법에 있어서,
   서비스 서버가, 상품 추천 대상이 되는 이미지 객체의 대표 패턴을 적어도 하나 이상 설정하는 단계;
   상기 서비스 서버가, 사용자 디바이스에 디스플레이된 이미지를 포함하는 쿼리를 수신하면, 상기 쿼리에 포함된 이미지 객체와 상기 대표 패턴을 비교하고, 상기 쿼리에 포함된 이미지 객체와 상기 대표 패턴이 상이하면, 상기 쿼리를 필터링하는 a 단계;
   상기 서비스 서버가, 상기 쿼리에 포함된 이미지 객체와 상기 대표 패턴이 유사하면, 상기 쿼리에 포함된 이미지 객체들을 적어도 하나 이상 추출하고, 상기 이미지 객체와 유사한 상품 이미지를 포함하는 추천 상품 정보를 상기 사용자 디바이스에 전송하는 b 단계; 및
   상기 사용자 디바이스가, 상기 추천 상품 정보를 표시하는 c 단계를 포함하며,
   상기 a 단계는,
   상기 쿼리에서 추출한 이미지 객체들과 상기 대표 패턴의 유사도를 계산하는 단계; 및
   상기 쿼리에서 유사도가 설정 범위 이하인 이미지 객체를 상기 쿼리로부터 필터링하는 단계를 포함하며,
   상기 설정하는 단계는,
   임의의 상품에 대해 적어도 하나 이상의 상품 이미지 및 온라인 마켓 운영자에 의해 미리 설정된 상기 상품의 카테고리 정보를 수집하는 단계; 및
   상기 상품 이미지에서 이미지 특징 기술자를 추출하고, 상기 이미지 특징 기술자를 낮은 차원의 벡터로 변환하여 이미지 벡터를 생성하고, 이미지의 의미를 설명하는 레이블에 해당하는 상품 이미지의 특징을 미리 학습한 신경망 모델에 상기 이미지 벡터를 적용하여 상기 상품 이미지의 레이블을 적어도 하나 이상 추출하는 단계를 포함하고
   상기 a 단계는,
   상기 쿼리에 포함된 이미지에서 생성한 쿼리 이미지 벡터를 상기 신경망 모델에 적용하여 상기 쿼리의 레이블을 적어도 하나 이상 추출하는 단계; 및
   상기 쿼리의 레이블과 데이터베이스에서 온라인 마켓 운영자에 의해 미리 설정된 상기 카테고리 정보를 비교하여, 상기 레이블과 상기 카테고리 정보가 상이하면, 상기 쿼리를 필터링하는 단계를 포함하는 것을 특징으로 하는 광고 표시 방법.
4. 서비스 서버가, 상품 추천 대상이 되는 이미지 객체의 대표 패턴을 적어도 하나 이상 설정하는 단계;
   상기 서비스 서버가, 사용자 디바이스에 디스플레이된 이미지를 포함하는 쿼리를 수신하는 단계;
   상기 서비스 서버가, 상기 쿼리에 포함된 이미지 객체들을 적어도 하나 이상 추출하고, 추출한 이미지 객체들과 상기 대표 패턴의 유사도를 계산하고, 상기 유사도가 설정 범위 이하이면 상기 쿼리를 필터링하는 단계;
   상기 쿼리에 포함된 이미지 객체의 특징을 설명하는 레이블을 추출하고, 상기 레이블을 기준으로 상품 정보 데이터베이스를 검색하여, 상기 이미지 객체와 유사한 상품 이미지를 포함하는 추천 상품 정보를 상기 사용자 디바이스에 전송하는 단계; 및
   상기 사용자 디바이스가, 상기 추천 상품 정보를 표시하는 단계를 포함하고,
   상기 쿼리를 필터링하는 단계는,
   상기 쿼리에서 추출한 이미지 객체들과 상기 대표 패턴의 유사도가 설정 범위 이하인 이미지 객체를 상기 쿼리로부터 필터링하는 단계를 포함하며,
   상기 설정하는 단계는,
   임의의 상품에 대해 적어도 하나 이상의 상품 이미지 및 온라인 마켓 운영자에 의해 미리 설정된 상기 상품의 카테고리 정보를 수집하는 단계; 및
   상기 상품 이미지에서 이미지 특징 기술자를 추출하고, 상기 이미지 특징 기술자를 낮은 차원의 벡터로 변환하여 이미지 벡터를 생성하고, 이미지의 의미를 설명하는 레이블에 해당하는 상품 이미지의 특징을 미리 학습한 신경망 모델에 상기 이미지 벡터를 적용하여 상기 상품 이미지의 레이블을 적어도 하나 이상 추출하는 단계를 포함하고,
   상기 쿼리를 필터링하는 단계는,
   상기 쿼리에 포함된 이미지에서 생성한 쿼리 이미지 벡터를 상기 신경망 모델에 적용하여 상기 쿼리의 레이블을 적어도 하나 이상 추출하는 단계; 및
   상기 쿼리의 레이블과 상기 데이터베이스에서 온라인 마켓 운영자에 의해 미리 설정된 상기 카테고리 정보가 상이하면, 상기 쿼리를 필터링하는 단계를 포함하는 것을 특징으로 하는 광고 표시 방법.

Images