KR101896404B1

KR101896404B1 - 컴퓨터 비전을 이용한 상품 추천 시스템

Info

Publication number: KR101896404B1
Application number: KR1020170127066A
Authority: KR
Inventors: 오명운
Original assignee: 오명운
Priority date: 2017-09-29
Filing date: 2017-09-29
Publication date: 2018-09-07

Abstract

본 발명은 컴퓨터 비전을 이용하는 상품 추천 시스템에 관한 것으로서, 웹 페이지를 검색하기 위한 검색엔진; 상기 검색된 웹 페이지에서 이미지영역을 선별하고, 선별된 이미지영역에서 상품과 관련된 적어도 하나의 부분이미지를 분리하여 추출하고, 상품에 대한 정보를 나타내고 있는 문자를 인식하여 적어도 하나의 텍스트 데이터로 추출해 내며, 상기 분리되어 추출된 부분이미지 및 상기 텍스트 데이터의 연관성을 분석하여 서로 연관성이 가장 높은 부분이미지 및 텍스트 데이터를 매칭시켜 출력하는 매칭서버; 상기 매칭서버에서 매칭되어 출력된 이미지 및 텍스트 데이터가 저장되는 데이터베이스 및 검색을 위한 기본 정보를 입력 받고, 입력 받은 기본 정보를 키로 하여 상기 데이터베이스에서 대응되는 텍스트 데이터를 검색하고, 대응되는 텍스트 데이터가 검색되었을 경우 검색된 텍스트 데이터 및 검색된 텍스트 데이터에 매칭되어 저장되어 있는 부분이미지를 함께 출력하는 추천엔진;을 포함하는 것을 특징으로 한다.

Description

컴퓨터 비전을 이용한 상품 추천 시스템{Product Recommendation System Using Computer Vision}

본 발명은 컴퓨터 비전을 이용한 상품 추천 시스템에 관한 것으로서, 보다 상세하게는 웹 페이지에서 상품에 대한 이미지 및 해당 상품에 대한 정보만을 분리하여 고객에게 제공할 수 있도록 함으로써 고객이 필요한 맞춤형 정보를 간단하게 제공할 수 있도록 하는 상품 추천 시스템에 관한 것이다.

최근 인터넷을 통한 전자상거래가 보편화 되면서 고객들은 오프라인 매장을 방문하기 보다는 인터넷을 통한 상품 구매를 선호하는 추세이다. 이 과정에서 고객은 다양한 포털 사이트를 통해서 상품을 검색하고, 포털 사이트가 제공하는 사이트로 접속을 하면서 원하는 상품을 찾게 된다. 그러나 이와 같은 포털 사이트를 통한 검색은 해당 상품에 대한 직접적인 정보보다는 해당 상품에 대한 정보가 들어있는 웹 페이지를 안내하는 경우가 많아서 신속하게 원하는 상품을 검색하기 어려운 점이 있다. 특히, 최근 급속하게 사용자가 확대되고 있는 모바일 기기 기반의 SNS를 이용한 상품 상담 및 판매 과정에서는 해당 상품에 대한 정보가 들어있는 웹 페이지를 고객에게 안내하는 것은 더욱 부적절한 한계가 있었다.

한국공개특허 10-2000-0049333

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 여러 상품에 대한 이미지 및 각 상품들에 대한 설명이 혼합되어 있는 웹 페이지에서, 각각의 상품에 대한 이미지 및 상품에 대한 정보를 분리하여 추출하고, 추출된 상품의 이미지를 그 상품에 대한 정보와 매칭시켜 데이터베이스에 저장을 함으로써 고객이 원하는 상품에 대한 정보를 보다 정확히 검색할 수 있고, 나아가 고객이 원하는 상품에 대한 정보를 이미지와 함께 맞춤형으로 제공할 수 있도록 하는 것을 목적으로 한다.

본 발명에 따른 상품 추천 시스템은 웹 페이지를 검색하기 위한 검색엔진; 상기 검색된 웹 페이지에서 이미지영역을 선별하고, 선별된 이미지영역에서 상품과 관련된 적어도 하나의 부분이미지를 분리하여 추출하고, 상품에 대한 정보를 나타내고 있는 문자를 인식하여 적어도 하나의 텍스트 데이터로 추출해 내며, 상기 분리되어 추출된 부분이미지 및 상기 텍스트 데이터의 연관성을 분석하여 서로 연관성이 가장 높은 부분이미지 및 텍스트 데이터를 매칭시켜 출력하는 매칭서버; 상기 매칭서버에서 매칭되어 출력된 이미지 및 텍스트 데이터가 저장되는 데이터베이스 및 검색을 위한 기본 정보를 입력 받고, 입력 받은 기본 정보를 키로 하여 상기 데이터베이스에서 대응되는 텍스트 데이터를 검색하고, 대응되는 텍스트 데이터가 검색되었을 경우 검색된 텍스트 데이터 및 검색된 텍스트 데이터에 매칭되어 저장되어 있는 부분이미지를 함께 출력하는 추천엔진;을 포함할 수 있다.

상기 매칭서버는, 상기 이미지영역 내에 포함되어 있는 문자를 인식하여 텍스트 데이터로 변환시켜 출력하는 문자 인식부; 상기 이미지영역 내에 존재하는 부분이미지를 분리하여 출력하는 부분이미지 인식부 및 상기 문자 인식부에서 출력된 텍스트 데이터와 상기 부분이미지 인식부에서 출력되는 부분이미지의 상관 관계를 분석하고, 분석결과 서로 관련성이 가장 높은 것으로 판정된 텍스트 데이터와 부분이미지를 서로 매칭시키는 것을 특징으로 하는 매칭부;를 포함할 수 있다.

상기 문자 인식부는 상기 문자의 위치 좌표를 상기 문자가 변환된 텍스트 데이터에 매칭시켜 출력할 수 있고, 상기 부분이미지 인식부는 상기 부분이미지의 위치 좌표를 상기 부분이미지에 매칭시켜 출력할 수 있다.

상기 매칭부는 1개의 텍스트 데이터를 기준으로 하여, 복수의 부분이미지 중에서 상기 기준이 되는 텍스트 데이터와 가장 가까운 위치에 위치한 부분이미지를 가장 관련성이 높은 부분이미지로 판정할 수 있다.

상기 매칭부는 1개의 부분이미지를 기준으로 하여, 복수의 텍스트 데이터 중에서 상기 기준이 되는 부분이미지와 가장 가까운 위치에 위치한 텍스트 데이터를 가장 관련성이 높은 텍스트 데이터로 판정할 수 있다.

본 발명에 따른 상품 추천 시스템에 의하면, 고객에게 상품에 대한 정보를 제공하는 과정에서 고객이 원하는 정보만을 정확히 특정하여 맞춤형 정보를 제공할 수 있게 되므로, 고객은 원하는 정보를 정확하고 쉽게 파악을 할 수 있게 된다.

도 1은 본 발명에 따른 상품 추천 시스템의 구성도이다.
도 2는 웹 페이지에서 추출된 이미지영역의 예시도이다.
도 3은 도 2의 이미지영역에 대응되는 컴퓨터 비전의 예시도이다.
도 4는 텍스트 데이터와 부분이미지의 배열 상태에 대한 예시도이다.
도 5는 본 발명에 따른 상품 추천 시스템을 이용한 상품 추천 과정을 설명하기 위한 개념도이다.

이하 도면을 참조하여 본 발명에 대해 보다 상세히 설명하도록 한다.

본 발명에 따른 상품 추천 시스템에서는 상품과 관련된 웹 페이지를 검색하고, 검색된 웹 페이지에서 상품에 대한 이미지 및 정보를 추출하게 된다.

검색된 웹 페이지는 텍스트영역과 이미지영역으로 구성되는 것이 일반적이다. 상기 텍스트영역은 마우스 등으로 드래그를 하여 텍스트를 선택할 수 있는 영역을 의미한다. 상기 이미지영역은 이미지파일로 되어 있는 영역으로서 마우스 등으로 드래그를 하여도 상기 이미지영역 내의 일부를 분리시켜 선택할 수 없는 영역을 의미한다.

본 발명에 따른 상품 추천 시스템은 웹 페이지 내에 삽입되어 있는 이미지영역으로부터 상품에 대한 이미지 및 상품에 대한 정보를 나타내고 있는 문자를 분리하여 추출하여 고객에서 제공할 있도록 한다.

도 1은 본 발명에 따른 상품 추천 시스템(100)의 구성도이다. 도 1에 도시된 바와 같이 본 발명에 따른 상품 추천 시스템은 검색엔진(10), 매칭서버(20), 데이터베이스(30) 및 추천엔진(40)을 포함하며, 상기 매칭서버(20)는 문자 인식부(50), 부분이미지 인식부(60) 및 매칭부(70)를 포함한다.

검색엔진(10)은 상품에 대한 이미지 및 상품에 대한 정보를 나타내고 있는 문자를 추출하기 위한 웹 페이지를 검색하는 것이다. 검색엔진(10)에서 검색된 웹 페이지는 매칭서버(20)로 전달된다. 매칭서버(20)는 검색된 웹 페이지에서 이미지영역을 선별하고, 선별된 이미지영역에서 상품에 대한 이미지 및 상품에 대한 정보를 나타내고 있는 문자를 추출하고, 추출된 이미지 및 문자가 서로 연관되도록 매칭시키는 소프트웨어 알고리즘 또는 알고리즘을 구동시키기 위한 하드웨어 구성을 의미한다.

도 2는 웹 페이지에서 추출된 이미지영역의 예시도로서, 제품의 형상에 대한 이미지와 사용방법을 나타내는 이미지 등을 포함하고 있으며, 제품의 특징을 설명하고 있는 문자와 사용방법을 설명하고 있는 문자를 포함하고 있다.

도 3은 도 2의 이미지영역에 대응되는 컴퓨터 비전의 예시도로서, 컴퓨터는 도 2와 같은 이미지영역을 도 3과 같이 코드화된 숫자들로 인식을 하게 된다. 도 3과 같이 코드화된 숫자는 행렬 형태로 배치될 수 있으며, 행렬을 구성하는 각각의 숫자는 대응되는 위치에 있는 이미지영역 셀(cell)의 색상 정보 또는 휘도 정보 등을 의미할 수 있다. 웹 페이지에서 추출된 이미지영역은 문자 인식부(50)로 전달된다. 문자 인식부(50)는 이미지영역에 대응되는 컴퓨터 비전을 분석하여 이미지영역 내에 포함되어 있는 문자 부분을 인식하여 텍스트 데이터로 변환시켜 출력을 할 수 있는 것으로서, 광학식 문자 판독기(Optical Character Reader, OCR) 등을 의미한다. 상기 문자 인식부(50)에서 문자를 인식하는 과정에서는 인식되는 문자의 위치좌표 또한 함께 인식될 수 있다. 즉, 문자가 이미지영역의 어느 부분에 위치하고 있었는지에 대한 위치좌표 정보가 텍스트 데이터와 매칭되어 출력될 수 있다. 문자 인식부(50)에서 출력되는 텍스트 데이터는 하나의 단어일 수도 있고 복수개의 단어일 수도 있다. 즉, 이미지 영역에 포함되어 있는 문자의 개수에 따라 1개의 텍스트 데이터가 출력될 수도 있고, 복수의 텍스트 데이터가 출력될 수도 있다.

문자 인식부(50)에서의 문자 인식이 완료되면, 이미지영역은 부분이미지 인식부(60)로 전달된다. 부분이미지 인식부(60)는 이미지영역에 대응되는 컴퓨터 비전을 분석하여 이미지영역 내에 존재하는 부분이미지를 분리하여 출력하는 것으로서, 이미지영역 내에 존재하는 부분이미지들의 경계를 인식하고, 그 경계를 기준으로 부분이미지를 분리하여 출력을 하게 된다. 상기 부분이미지는 도 2에 포함되어 있는 제품의 형상에 대한 이미지 또는 사용방법을 나타내는 이미지 등과 같이 이미지영역에서 추출된 이미지를 의미한다. 부분이미지 인식부(60)는 컴퓨터 비전을 분석하여 색상의 급격한 변화 또는 휘도의 급격한 변화가 발생하는 부분을 부분이미지의 경계로 인식을 하여 부분이미지를 분리하여 출력을 할 수 있다. 부분이미지 인식부(60)에서 출력되는 부분이미지는 1개일 수도 있고 복수일 수도 있다. 즉, 이미지 영역에 포함되어 있는 부분이미지의 개수에 따라 1개 부분이미지가 출력될 수도 있고, 복수의 부분이미지가 출력될 수도 있다.

이상에서는 문자 인식부(50)에서 문자에 대한 인식이 먼저 이루어진 이후 부분이미지 인식부(60)에서 부분이미지의 인식이 진행되는 것을 기준으로 설명을 하였으나, 부분이미지 인식부(60)에서의 부분이미지의 인식이 먼저 이루어진 이후 문자 인식부(50)에서 문자에 대한 인식이 진행되는 순서로 구성이 될 수도 있다.

문자 인식부(50)에서 출력되는 텍스트 데이터와 부분이미지 인식부(60)에서 출력되는 부분이미지는 매칭부(70)로 전달된다. 매칭부(70)는 문자 인식부(50)에서 출력된 텍스트 데이터와 부분이미지 인식부(60)에서 출력되는 부분이미지의 상관 관계를 분석하고, 분석결과 서로 관련성이 가장 높은 것으로 판정된 텍스트 데이터와 부분이미지를 매칭시킨다. 즉, 매칭부(70)는 1개의 이미지 영역에서 출력되는 적어도 하나의 텍스트 데이터들과 적어도 하나의 부분이미지들의 상관 관례를 분석하고 관련성이 높은 텍스트 데이터와 부분이미지를 매칭시켜 텍스트 데이터-부분이미지 세트를 생성하게 된다.

이미지영역에서 1개의 텍스트 데이터와 1개의 부분이미지만이 추출되어 매칭부(70)로 1개의 텍스트 데이터 및 1개의 부분이미지가 입력될 경우에는 매칭부(70)는 입력된 1개의 텍스트 데이터와 1개의 부분이미지를 매칭시켜 데이터베이스(30)로 전달한다.

반면에, 텍스트 데이터가 복수개이거나 부분이미지가 복수개인 경우에는 서로 관련성이 가장 높은 대상을 선택하여 매칭을 시킨다. 일례로, 매칭부(70)는 입력받은 복수개의 텍스트 데이터 중에서 1개의 텍스트 데이터를 임의로 선택을 한 다음, 복수의 부분이미지 중에서 상기 선택된 1개의 텍스트 데이터와 관련성이 가장 높은 부분이미지를 선택하여 매칭시켜서 데이터베이스(30)로 전달할 수 있다. 상기 선택된 1개의 텍스트 데이터와 부분이미지 사이의 매칭 과정이 완료가 되면, 매칭부(70)는 나머지 텍스트 데이터들 중에서 다시 1개의 텍스트 데이터를 임의로 선택하고 다시 부분이미지 중에서 관련성이 가장 높은 부분이미지를 선택하여 매칭을 시키게 된다. 텍스트 데이터를 선택하고 선택된 텍스트 데이터와 관련성이 가장 높은 부분이미지를 선택하는 과정에서는, 앞선 단계에서 다른 텍스트 데이터와 매칭이 이루어진 부분이미지가 다시 매칭의 대상이 될 수 있다. 즉, 부분이미지와 텍스트 데이터는 반드시 일대일로만 매칭되지 않을 수 있다. 예를 들어, 하나의 텍스트 데이터는 여러 개의 부분이미지와 매칭될 수도 있다. 그 결과 하나의 텍스트 데이터에 대해 여러 세트의 텍스트 데이터-부분이미지의 매칭이 존재할 수 있다. 이처럼 여러 세트의 텍스트 데이터-부분이미지의 매칭이 존재할 경우 데이터베이스(30)에서는 각각의 텍스트 데이터-부분이미지의 매칭 결과를 분리하여 저장을 하게 된다.

반대로, 매칭부(70)는 텍스트 데이터가 아닌 부분이미지를 기준으로 매칭 작업을 수행할 수도 있다. 예를 들어, 매칭부(70)는 입력받은 복수개의 부분이미지 중에서 1개의 부분이미지를 임의로 선택을 한 다음, 복수의 텍스트 데이터 중에서 상기 선택된 1개의 부분이미지와 관련성이 가장 높은 선택하여 선택하여 매칭시켜서 데이터베이스(30)로 전달할 수 있다. 이처럼 부분이미지를 기준으로 매칭 과정을 수행하는 경우에도 여러 세트의 텍스트 데이터-부분이미지의 매칭이 이루어질 수 있다.

매칭부(70)는 텍스트 데이터와 부분이미지의 위치 좌표를 분석하여 서로 가장 가까운 위치에 있는 텍스트 데이터와 부분이미지를 서로 관련성이 가장 높은 것으로 판정을 하여 매칭시킬 수 있다. 매칭부(70)는 텍스트 데이터와 부분이미지의 위치 좌표를 통해 파악한 텍스트 데이터와 부분이미지의 배열 상태를 이용하여 상관 관계를 파악할 수도 있다. 도 4는 텍스트 데이터(80)와 부분이미지(90)의 배열 상태에 대한 예시도이다. 도 4에서와 같이 텍스트 데이터(80)와 부분이미지(90)가 동일한 간격을 두고 배치되어 있는 경우에는 최단 거리를 기준으로 매칭을 시킬 수 없는 문제가 발생된다. 이러한 경우 매칭부(70)는 위치 좌표를 통해서 파악될 수 있는 배치 순서를 이용하여 매칭을 진행할 수 있다. 예를 들어, 도 4에서와 같이 좌측을 출발점으로 하여 부분이미지(90), 텍스트 데이터(80) 순서로 위치가 반복이 될 경우에는 n번째 부분이미지(90)를 n번째 텍스트 데이터(80)와 매칭시킬 수 있다. 이상에서 설명한 최단 거리 또는 배열 상태를 이용한 매칭 방법은 텍스트 데이터(80)와 부분이미지(90)를 매칭시키는 예시를 나타낸 것이며, 이미지영역에 포함된 부분이미지 및 문자의 상황에 따라 다양한 매칭 방법이 적용될 수 있다.

서로 매칭이 된 텍스트 데이터(80)와 부분이미지(90)는 데이터베이스(30)로 전달되어 저장된다. 추천엔진(40)은 데이터베이스(30)를 검색하여 원하는 정보를 얻어내기 위한 것이다. 상기 추천엔진(40)은 고객으로부터 검색에 필요한 기본 정보를 입력 받고, 입력받은 기본 정보를 키로 하여 데이터베이스(30)에서 기본 정보에 대응이 되는 정보를 검색한다. 고객은 웹 페이지를 통해 검색에 필요한 정보를 텍스트 형태로 직접 입력할 수도 있고, 모바일 기반의 정보기기 상에서 수행되는 SNS 등의 대화형 앱을 통해 검색에 필요한 정보를 입력할 수도 있다. 고객이 입력한 정보는 유무선 통신을 통해 추천엔진(40)으로 전달되며, 추천엔진(40)은 데이터베이스(30)에서 필요한 정보를 검색한다. 따라서 고객으로부터 입력 받는 기본 정보는 텍스트 형태로 추천엔진(40)에 입력될 수 있다. 검색결과 원하는 텍스트 데이터가 검색된 경우 추천엔진(40)은 텍스트 데이터 및 매칭되어 저장되어 있는 부분이미지를 함께 출력한다.

도 5는 본 발명에 따른 상품 추천 시스템을 이용한 상품 추천 과정을 설명하기 위한 개념도로서, SNS를 이용한 제품 상담 및 추천 과정을 도시한 것이다. SNS를 통해 상품 상담원에게 원하는 상품의 정보를 전달하게 되면, 상품 상담원은 찾고자 하는 정보를 추천엔진(40)을 통해 데이터베이스에서 검색을 하고, 검색된 정보를 SNS 메세지 형태로 고객에게 추천을 하게 된다. 본 발명에 따른 상품 추천 시스템에서는 웹 페이지 전체를 고객에게 제공하는 것이 아니라 고객이 원하는 정보(예를 들어, 제품의 형상 및 가격)만을 이미지와 함께 선택적으로 제공을 하게 되므로 고객이 원하는 맞춤형 정보를 간단하게 제공할 수 있는 이점이 있다.

10 : 검색엔진 20 : 매칭서버
30 : 데이터베이스 40 : 추천엔진
50 : 문자 인식부 60 : 부분이미지 인식부
70 : 매칭부 80 : 텍스트 데이터
90 : 부분이미지 100 : 상품 추천 시스템

Claims

웹페이지 상에서 컴퓨터 비전을 이용한 상품 추천 시스템에 있어서,
웹 페이지를 검색하기 위한 검색엔진;
상기 검색된 웹 페이지에서 이미지영역을 선별하고, 선별된 이미지영역에서 상품과 관련된 적어도 하나의 부분이미지를 분리하여 추출하고, 상품에 대한 정보를 나타내고 있는 문자를 인식하여 적어도 하나의 텍스트 데이터로 추출해 내며, 상기 분리되어 추출된 부분이미지 및 상기 텍스트 데이터의 연관성을 분석하여 서로 연관성이 가장 높은 부분이미지 및 텍스트 데이터를 매칭시켜 출력하는 매칭서버;
상기 매칭서버에서 매칭되어 출력된 이미지 및 텍스트 데이터가 저장되는 데이터베이스 및
검색을 위한 기본 정보를 입력 받고, 입력 받은 기본 정보를 키로 하여 상기 데이터베이스에서 대응되는 텍스트 데이터를 검색하고, 대응되는 텍스트 데이터가 검색되었을 경우 검색된 텍스트 데이터 및 검색된 텍스트 데이터에 매칭되어 저장되어 있는 부분이미지를 함께 출력하는 추천엔진;을 포함하고,
상기 매칭서버는,
상기 이미지영역 내에 포함되어 있는 문자를 인식하여 텍스트 데이터로 변환시켜 출력하는 문자 인식부; 상기 이미지영역 내에 존재하는 부분이미지를 분리하여 출력하는 부분이미지 인식부; 및 상기 문자 인식부에서 출력된 텍스트 데이터와 상기 부분이미지 인식부에서 출력되는 부분이미지의 상관 관계를 분석하고, 분석결과 서로 관련성이 가장 높은 것으로 판정된 텍스트 데이터와 부분이미지를 서로 매칭시키는 것을 특징으로 하는 매칭부;를 포함하며,
상기 문자 인식부는 상기 문자의 위치 좌표를 상기 문자가 변환된 텍스트 데이터에 매칭시켜 출력하고, 상기 부분이미지 인식부는 상기 부분이미지의 위치 좌표를 상기 부분이미지에 매칭시켜 출력하며,
상기 매칭부는 1개의 부분이미지를 기준으로 하여, 복수의 텍스트 데이터 중에서 상기 기준이 되는 부분이미지와 가장 가까운 위치에 위치한 텍스트 데이터를 가장 관련성이 높은 텍스트 데이터로 판정하는 것을 특징으로 하는 상품 추천 시스템.
삭제
삭제
삭제
제1항에 있어서,
상기 매칭부는 1개의 텍스트 데이터를 기준으로 하여, 복수의 부분이미지 중에서 상기 기준이 되는 텍스트 데이터와 가장 가까운 위치에 위치한 부분이미지를 가장 관련성이 높은 부분이미지로 판정하는 것을 특징으로 하는 상품 추천 시스템.
삭제