KR20170005376A

KR20170005376A - 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스 방법, 서버 및 시스템

Info

Publication number: KR20170005376A
Application number: KR1020160183399A
Authority: KR
Inventors: 나승원
Original assignee: 에스케이플래닛 주식회사
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2017-01-12
Also published as: KR101873246B1

Abstract

본 발명은 온라인 쇼핑몰에서의 쇼핑 정보 제공 서비스에 관한 것으로, 쇼핑 중에 또는 평상시 관심을 가진 관심 상품을 항상 소지하고 있는 단말기를 이용하여 촬영하고 촬영한 영상을 네트워크 상의 서버로 전송하면 서버에서 해당 영상을 분석하여 영상에 담긴 관심 상품 및 관심 상품의 유형을 식별하며, 관심 상품에 대한 쇼핑 정보를 추출하여 해당 단말기로 제공함으로써 객체 인식을 통한 쇼핑 구매 서비스를 제공한다.

Description

객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스 방법, 서버 및 시스템{METHOD FOR SEARCHING PRODUCT CLASSIFICATION AND PROVIDING SHOPPING DATA BASED ON OBJECT RECOGNITION, SERVER AND SYSTEM THEREOF}

본 발명은 객체 인식 기반 쇼핑 정보 제공 서비스 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 소정 단말기나 웹 사이트에서 원하는 관심 상품을 검색할 때 관심 상품의 영상을 이용하여 객체를 인식하고 인식한 객체의 유형을 분석하며 해당 유형 내에서 관심 상품의 영상과 동일한 상품 또는 유사한 상품을 검출하여 이의 쇼핑 정보까지 부가적으로 제공할 수 있는 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스 방법, 서버 및 시스템에 관한 것이다.

최근 통신 기술의 발전 및 인터넷의 활성화로 인해 다양한 방식의 검색이 이루어지고 있다.

예를 들어, 인터넷을 이용한 온라인 쇼핑몰은 특정 웹 사이트에 접속하여 원하는 상품을 검색하고 가격 비교를 통해 상품 구매를 하도록 되어 있다. 이와 같은 인터넷 환경에서 최근 들어서는 스마트 폰의 등장으로 모바일 단말을 이용하여 원하는 상품을 검색하고 구매 또한 가능하도록 구현되고 있다.

또한, 검색 방식에 있어서는 기존 키워드 등의 텍스트를 중심으로 한 검색에서 영상 기반 검색이 제안되고 있다. 영상 기반 검색은 원하는 상품에 대한 정확한 키워드를 몰라도 상품에 대한 영상만 있으면 원하는 상품 검색이 가능한 이점이 있다.

그러나, 상품의 종류가 다양해지고 그 개수 또한 증가하면서 영상 기반 검색 또는 객체 검색의 작업이 복잡해지고 신속하게 이루어지지 않는다는 단점이 발생하였다. 예를 들어, 수만 개의 상품 정보가 저장된 데이터베이스에 기반하여 영상 검색을 수행하면 수만 번의 매칭 작업을 필요하다.

따라서, 신속한 상품 검색을 위해서는 다양한 상품에 대한 분류가 요구되고 있다. 이러한 요구에 따라, 영상 기반 검색시 해당 상품이 어떤 유형의 상품인지를 알기 위한 상품 분류 검색이 요구되고 있다.

본 발명은 상기의 필요성을 충족시키기 위해 창안된 것으로서, 소정 단말기나 웹 사이트 등에서 관심 상품의 영상을 이용하여 객체를 인식하고자 할 때 영상의 특징점 정보를 이용하여 1차적으로 관심 상품의 유형을 분석하고 해당 유형 내에서 히스토그램 분석을 통해 관심 상품과 동일한 상품이나 유사한 상품을 검출하여 검색한 상품에 대한 쇼핑 정보를 부가적으로 제공할 수 있는 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스 방법, 서버 및 시스템을 제공함에 그 목적이 있다.

이를 위하여, 본 발명의 제1 측면에 따르면, 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스는, 관심 상품을 촬영하여 상기 관심 상품에 대한 영상을 생성하고, 상기 영상을 유무선 통신망을 통해 전송하는 단말기; 및 상기 관심 상품을 상품 분류별로 구분하여 저장하고, 상기 관심 상품에 대한 쇼핑 정보를 저장하며, 상기 단말기로부터 검색하고자 하는 입력 영상을 수신하면 상기 입력 영상을 분석하여 동일한 또는 유사한 관심 상품의 상품 분류를 식별하는 한편, 식별한 관심 상품에 대한 쇼핑 정보를 추출하여 상기 단말기로 제공하는 영상 인식 서버를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 단말기는, 상기 영상을 일정 크기의 영역으로 분할하고, 분할된 영역별로 블러링(blurring) 처리하여 다른 해상도를 갖는 다수의 영상을 생성하여 전송할 수 있다.

본 발명의 제2 측면에 따르면, 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서버는, 유무선 통신망을 통해 단말기와 연결되어 상기 단말기로 원하는 상품에 대한 쇼핑 정보를 제공하는 서버에 있어서, 상기 상품에 대한 특징점 정보를 상품 분류별로 구분하여 저장한 상품 DB; 상기 상품에 대한 쇼핑 정보를 저장한 쇼핑 정보 DB; 상기 단말기로부터 수신한 입력 영상에서 특징점을 추출하고, 추출한 특징점을 상기 상품 DB에 저장된 특징점 정보와 비교 분석하여 동일한 또는 가장 유사한 관심 상품의 상품 분류를 인식하는 영상 인식부; 및 상기 영상 인식부에서 인식한 상품과 매핑되는 쇼핑 정보를 상기 쇼핑 정보 DB로부터 추출하여 상기 단말기로 제공하는 쇼핑 정보 관리부를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 영상 인식부는, 상기 입력 영상에서 특징점을 추출할 경우, 에지(edge) 알고리즘 및 그리드(grid) 알고리즘을 이용하여 물체의 외곽선, 가장자리(corner) 및 굴곡진(convex) 영역에서 특징점을 추출할 수 있다.

바람직하게는, 상기 영상 인식부는, 상기 입력 영상에서 추출한 특징점 정보와 상기 상품 DB에 저장된 특징점 정보와 비교 분석한 결과, 상기 입력 영상에서 추출한 특징점 정보와 유사한 관심 상품의 상품 분류가 다수 개 추출된 경우 히스토그램을 이용하여 세부 영상 분석을 수행할 수 있다.

바람직하게는, 상기 상품 DB는 상기 상품의 상품명, 특징 정보, 상품 분류, 사이즈, 무게에 대한 정보를 포함할 수 있다.

바람직하게는, 상기 쇼핑 정보는 관심 상품에 대한 판매 가격, 판매점, 최저가, 최고가, 온라인 쇼핑몰 사이트의 IP주소 중 적어도 하나 이상을 포함할 수 있다.

바람직하게는, 상기 쇼핑 정보 관리부는 상기 상품에 대한 쇼핑 정보를 주기적으로 수신하여 상기 쇼핑 정보 DB에 갱신할 수 있다.

바람직하게는, 상기 쇼핑 정보 관리부는 상기 영상 인식부에서 인식한 관심 상품의 쇼핑 정보 외, 상기 영상 인식부에서 인식한 상품 분류에 속하는 상품 중 상기 관심 상품과 유사한 상품의 쇼핑 정보를 추출하여 부가적으로 제공 가능할 수 있다.

본 발명의 제3 측면에 따르면, 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스 방법은, 유무선 통신망을 통해 서버와 단말기가 연결되어 상호 간에 관심 상품에 대한 쇼핑 서비스를 제공하는 방법에 있어서, (a) 단말기를 통해 원하는 관심 상품을 촬영하면 상기 관심 상품에 대한 영상을 생성하여 저장해 두었다가 사용자 요청에 의해 유무선 통신망을 통해 상기 서버로 전송하는 단계; (b) 상기 서버는 상기 단말기로부터 수신한 입력 영상을 분석하여 동일한 또는 가장 유사한 관심 상품을 식별하고 및 이의 상품 분류를 인식하는 단계; 및 (c) 상기 서버는 상기 (b) 단계에서 식별한 관심 상품에 대한 쇼핑 정보를 추출하여 상기 단말기로 제공하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 (b) 단계는, (b-1) 상기 단말기로부터 수신한 입력 영상에서 특징점 정보를 추출하는 단계; (b-2) 추출한 특징점 정보를 상기 서버에 기저장된 특징점 정보와 비교 분석하여 동일한 또는 가장 유사한 관심 상품의 상품 분류를 검색하는 단계; (b-3) 검색된 상품 분류의 개수가 둘 이상인지를 확인하는 단계; 및 (b-4) 상기 검색된 상품 분류가 하나이면 상기 검색된 상품 분류를 해당 상품 분류로 인식하고, 상기 검색된 상품 분류가 둘 이상의 다수 개이면 히스토그램 알고리즘을 통한 세부 영상 분석을 수행하여 동일한 또는 가장 유사한 관심 상품의 상품 분류를 인식하는 단계를 포함할 수 있다.

바람직하게는, 상기 (c) 단계는, 상기 (b) 단계에서 인식한 상품 분류에서 상기 관심 상품과 유사한 상품들에 대한 쇼핑 정보를 추출하여 부가적으로 제공 가능할 수 있다.

본 발명에 따르면, 객체 인식을 영상 기반으로 검색할 시 검색하고자 하는 입력 영상이 어떤 유형의 상품인지를 파악할 수 있으므로 해당 상품의 검색 능력을 향상시키고 검색의 신뢰성을 증대시키는 효과가 있다.

또한, 입력 영상이 속한 상품 유형에서 입력 영상과 동일한 상품 또는 유사한 다른 상품을 추출함으로써 동일 상품이 없거나 또는 부가적인 측면에서 유사 상품에 대한 쇼핑 정보를 제공할 수 있는 효과가 있다. 이로써, 쇼핑 구매를 활성화할 수 있다.

또한, 누구나 쉽게 구비할 수 있는 단말기를 이용하여 오프라인 쇼핑 중에 또는 평소에 우연히 발견한 관심 상품을 촬영하여 원하는 상품에 대한 영상을 간편하게 획득하고 추후에 다시 확인할 수 있는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 쇼핑 정보 제공 서비스 시스템을 나타낸 구성도이다.
도 2는 본 발명의 실시 예에 따른 단말기의 구성도이다.
도 3은 본 발명의 실시 예에 따른 영상 인식 서버의 구성도이다.
도 4는 본 발명의 실시 예에 따른 영상 인식 서버에서 상품 DB의 구조를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 영상 인식 서버에서 특징점 정보를 토대로 상품 분류를 검색하는 과정을 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스를 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 7은 도 6의 세부 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.

본 발명의 실시 예에서 언급하는 객체 인식은 넓은 의미로서 단말기를 통해 촬영한 사진 영상을 영상 기반으로 인식하는 것을 말하며, 작은 의미로는 단말기의 촬영 수단을 통해 생성한 영상에서 배경과 객체를 분리하여 객체만을 인식하는 것으로 해석할 수 있다. 본 발명의 실시 예에서는 두 가지 의미를 모두 포함한다.

도 1은 본 발명의 실시 예에 따른 쇼핑 정보 제공 서비스 시스템을 나타낸 구성도이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 쇼핑 정보 서비스 제공 시스템은, 검색하고자 원하는 상품(이하, 관심 상품이라 칭함)을 검색하고 이의 온라인 구매가 가능한 단말기(100), 유무선 통신망(200) 또는 인터넷망(400)을 통해 상기의 단말기(100)로부터 수신한 영상을 기반으로 객체를 인식하고 검색하는 영상 인식 서버(300), 영상 인식 서버(300)에 등록된 관심 상품의 쇼핑 서비스를 제공하는 쇼핑 정보 서버(500)를 포함하여 구현될 수 있다.

단말기(100)는 유무선 통신망(200)을 통해 데이터를 송수신하고 실제 상품의 영상을 획득할 수 있는 단말기라면 단말기의 종류에 관계없이 모두 적용 가능하다. 예를 들어, PC, PDA, 디지털 카메라, 웹 캠, 이동통신 단말기 등이 적용될 수 있다. 단말기(100)가 이동통신 단말기의 경우 유무선 통신망(200)은 이동통신망이 될 수 있다.

특히, 본 발명의 실시 예에 따른 단말기(100)는 쇼핑 중에 또는 평소에 우연히 발견한 관심 상품을 사용자의 조작에 따라 촬영하여 관심 상품 영상을 생성하고 저장하며, 사용자가 관심 상품에 대한 상세한 정보와 관심 상품의 관리를 원하는 경우 사용자의 선택에 따라 관심 상품의 영상을 유무선 통신망(200)을 통해 영상 인식 서버(300)로 전송한다.

이를 위해, 본 발명의 실시 예에 따른 단말기(100)는 상품을 촬영하여 영상을 생성하는 카메라와 같은 촬영 수단을 구비한다.

한편, 이하에서 언급하는 관심 상품의 영상은 단말기(100)를 이용하여 직접 관심 상품을 촬영한 사진 영상일 수 있으나, 이에 한정되지 않으며 웹 사이트를 통해 얻은 영상이거나 또는 다른 단말기를 통해 획득한 영상일 수 있다.

본 발명의 실시 예에 따른 단말기(100)는 관심 상품을 촬영한 위치에 대한 위치 정보, 관심 상품을 촬영한 시간 즉, 일시에 대한 정보인 일시 정보, 및 관심 상품에 대한 판매 가격이나 판매점 등에 대한 부가 정보를 포함한 기타 정보 중 적어도 하나 이상을 입력받아 관심 상품 영상에 첨부하여 포함시킬 수 있다.

또한, 본 발명의 실시 예에 따른 단말기(100)는 관심 상품을 촬영한 위치 정보를 사용자로부터 입력받지 않고, 관심 상품이 촬영되면 위성 항법 시스템(GPS: Global Positioning System)을 구비하여 스스로 관심 상품을 촬영한 위치를 파악하고 관심 상품 영상에 위치 정보를 부가할 수도 있다.

또한, 본 발명의 실시예에 따른 단말기(100)는 유무선 통신망(200)이 제공하는 데이터 통신 서비스 또는 인터넷 서비스를 이용하여 쇼핑 정보 서버(500)에 접속하고 쇼핑 정보 서버(500)로부터 관심 상품에 대한 구매 서비스를 제공받을 수 있다.

또한, 본 발명의 실시예에 따른 단말기(100)는 촬영 수단을 통해 촬영한 관심 상품의 영상을 일정한 크기의 영역으로 분할하고, 분할된 영역을 블러링(blurring) 처리하여 다수 개의 다른 영상으로 변환하는 영상 전처리를 수행한다. 따라서, 객체 인식시 영상 전처리된 다수의 영상 파일을 이용하도록 한다.

이처럼, 영상 전처리 과정을 수행하는 가장 큰 이유는, 객체 인식시 DB에 저장된 특징점 정보와 단말기(100)로부터 촬영된 영상으로부터 추출한 특징점 정보가 서로 다른 경우, 비교 또는 매핑(mapping)하는 정보가 달라 정확한 영상 기반 검색이 이루어지지 않기 때문이다. 이를 테면, DB에 저장된 정보는 200만 화소로 촬영된 기준 영상으로부터 추출된 특징점 정보인데 반해, 단말기(100)로부터 추출된 정보는 500만 화소의 영상으로부터 추출된 특징점 정보이기 때문에, 기준 영상의 특징점 정보보다 많은 수의 특징점 정보가 추출될 수 있다. 따라서, 객체 인식에 있어서 최적의 영상을 검색하기 위해, 사전에 영상 전처리 과정으로 블러링 처리가 필요하다. 이를 구현하기 위한 구체적인 단말기(100)의 구성에 대해서는 하기의 도 2에서 자세히 설명하기로 한다.

유무선 통신망(200)은 단말기(100)와 유무선으로 통신하여 서비스를 제공하는 네트워크이다. 이 유무선 통신망(200)은 단말기(100)가 이동통신 단말기의 경우 이동통신 단말기에 음성 통화 서비스, 데이터 통신 서비스 등 다양한 이동통신 서비스를 제공하는 네트워크일 수 있다.

또한, 유무선 통신망(200)은 무선 접속 장치(AP)가 설치된 곳의 일정 거리 안에서 초고속 인터넷을 할 수 있는 WiFi 네트워크를 포함할 수 있다.

본 발명의 실시 예에 따른 유무선 통신망(200)은 단말기(100)로부터 관심 상품에 대한 영상의 전송을 요청받으면 단말기(100)로부터 관심 상품에 대한 영상을 수신하여 영상 인식 서버(300)로 전송한다.

또한, 본 발명의 실시 예에 따른 유무선 통신망(200)은 영상 인식 서버(300)로부터 관심 상품에 대한 쇼핑 정보의 전송을 요청받으면 영상 인식 서버(300)로부터 관심 상품에 대한 쇼핑 정보를 수신하여 해당 단말기(100)로 전송한다.

이를 위해, 본 발명의 실시 예에 다른 유무선 통신망(200)은 단문 메시지 서비스(SMS: Short Message Service), 멀티미디어 메시징 서비스(MMS: Multimedia Messaging Service), 무선 인터넷 서비스 등을 단말기(100) 및 영상 인식 서버(300)로 제공하여 관심 상품에 대한 영상 및 쇼핑 정보를 상호 간에 전송할 수 있도록 한다.

인터넷망(400)은 단말기(100)와 쇼핑 정보 서버(500)를 상호 간에 연결하여 상호 간에 데이터 통신을 수행할 수 있도록 한다. 이러한 인터넷망(400)은 TCP/IP 프로토콜 및 그 상위 계층에 존재하는 유무선 네트워크로, 즉 HTTP(Hypertext Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name Server), SMTP(Simple Mail Transfer Protocol), SNTP(Simple Network Management Protocol), NFS(Network File Service) 및 NIS(Network Information Service) 등이 될 수 있다.

이러한 인터넷망(400)은 유무선 통신망(200)이 유무선 인터넷 통신망의 경우 동일한 망을 이용할 수 있다.

영상 인식 서버(300)는 관심 상품의 영상에 대한 객체 인식을 위해 각 관심 상품의 특징점 정보를 미리 등록하여 데이터베이스화하고, 데이터베이스에 등록된 관심 상품의 쇼핑 정보를 쇼핑 정보 서버(500)로부터 제공받아 저장한다. 쇼핑 정보는 관심 상품의 쇼핑 구매에 필요한 정보로서 최저가 판매 가격, 최고가 판매 가격, 온라인 쇼핑몰 사이트의 IP주소 등을 포함할 수 있다.

특히, 본 발명의 실시 예에 따른 영상 인식 서버(300)는 유무선 통신망(200) 또는 인터넷망(400)과 각각 연결되어 있는 단말기(100)로부터 관심 상품에 대한 영상을 수신하고, 수신한 영상에서 특징점을 추출하여 데이터베이스에 미리 저장된 특징점 정보와 비교 분석한다. 비교/분석을 통해 관심 상품 및 관심 상품의 유형을 파악하고, 해당 관심 상품의 쇼핑 정보를 검출하여 상품 유형 정보와 함께 단말기(100)로 전송한다.

쇼핑 정보 서버(500)는 통상적인 네트워크 서버로 구현되어 다양한 상품, 특히 영상 인식 서버(300)에 등록된 관심 상품의 쇼핑 정보를 관리하며, 관심 상품을 판매하는 온라인 쇼핑몰 사이트를 운영할 수도 있다. 이 경우, 쇼핑 정보 서버(500)는 단말기(100)의 구매 요청에 응답하여 구매 상품을 판매 및 배송한다.

이렇게 구성되는 본 발명의 실시 예에 따른 쇼핑 정보 제공 서비스 시스템은 단말기(100)를 통해 검색하고자 하는 관심 상품의 영상이 입력되면 객체 인식을 통해 영상에 담긴 관심 상품을 식별하고, 식별한 관심 상품이 어떤 유형의 상품인지를 파악한다. 그리고, 상기 파악에 의해 영상과 동일한 상품에 대한 쇼핑 정보를 부가적으로 제공하고, 영상과 동일한 상품이 없는 경우에는 가장 유사한 상품에 대한 쇼핑 정보를 제공한다.

이로써, 사용자는 단말기(100)를 통해 자신이 원하는 관심 상품뿐만 아니라 관심 상품과 유사한 상품들에 대해서도 쇼핑 정보를 파악하여 편리하게 쇼핑할 수 있고 쇼핑 구매를 활성화시킬 수 있다.

도 2는 본 발명의 실시 예에 따른 단말기의 구성도이다.

본 발명의 실시 예에 따른 단말기(100)는 관심 상품을 촬영하여 이의 영상을 생성하는 카메라(110)와, 관심 상품의 영상을 전처리하는 전처리부(120), 전처리부(120)에서 처리된 영상을 표시하는 표시부(130), 카메라(110)를 통해 생성된 관심 상품의 영상과 전처리부(120)를 거친 영상을 각각 저장한 메모리(140), 사용자로부터 관심 상품에 대한 검색 요청에 있으면 메모리(140)에 저장된 관심 상품의 영상을 유무선 통신망(도 1의 200)으로 송신하는 송신부(150)를 포함한다.

카메라(110)는 단말기(100)에 구비된 촬영 장치로서 관심 상품의 영상을 생성하여 전처리부(120)로 전달한다.

전처리부(120)는 카메라(110)를 통해 전달받은 하나의 영상을 정해진 일정 크기의 영역으로 분할하는 영역 분할부(122)와, 분할된 영역별로 블러링(blurring) 처리하여 다른 해상도를 갖는 다수 개의 영상으로 변환하는 영상 변환부(124)를 포함할 수 있다. 이에 따른 전처리부(120)는 카메라(110)에 의해 생성된 하나의 영상을 영역별로 보정하여 다수 개의 영상으로 생성하는 기능을 수행한다.

블러링 처리는 각 영역에 포함된 픽셀의 주변에 위치한 다수의 픽셀의 색상과 밝기 등의 평균값을 확인하고, 상기 평균값을 기반으로 상기 각 영역에 포함된 픽셀의 색상과 밝기를 조절하여 처리하는 방식이다.

블러링 처리를 수행하는 횟수에 따라 영상의 해상도가 변경되며, 영역별로 블러링 처리를 수행하기 때문에 하나의 영상으로부터 해상도가 다른 다수 개의 영상을 생성할 수 있다.

도 3은 본 발명의 실시 예에 따른 영상 인식 서버의 구성도이다.

본 발명의 실시 예에 따른 영상 인식 서버(300)는 도시된 바와 같이 단말기(100)를 통해 수신한 관심 상품의 입력 영상을 분석하여 영상에 담긴 관심 상품을 식별하고, 식별한 관심 상품의 유형을 인식한다.

이를 위해, 영상 인식 서버(300)는 입력 영상으로부터 객체 인식을 통해 관심 상품 및 이의 유형을 인식하는 영상 인식부(310), 객체 인식을 위해 각 관심 상품의 특징점 정보를 저장한 상품 DB(320), 관심 상품의 쇼핑 정보를 관리하는 쇼핑 정보 관리부(330), 각 관심 상품의 쇼핑 정보를 저장한 쇼핑 정보 DB(340)를 포함할 수 있다.

영상 인식부(310)는 구체적으로, 관심 상품에 대한 입력 영상으로부터 특징점을 추출하는 특징점 추출부(312)와, 추출한 특징점을 상품 DB(320)에 저장된 특징점 정보와 비교 분석하여 상품의 유형을 검색하는 상품 분류 검색부(314), 상품 분류 검색시 정확한 검색을 위해 적용하는 히스토그램 분석부(316)를 포함할 수 있다.

특징점 추출부(312)는 에지(edge) 알고리즘과 그리드(grid) 알고리즘을 이용하여 입력 영상에서 이미지 패턴값을 추출한다. 전자의 에지(edge) 알고리즘은 영상(객체)의 외부 에지를 추출하는 방식이고, 후자의 그리드(grid) 알고리즘은 영상(객체)의 가장자리(corner)와 굴곡진(convex) 영역에서 특징점(feature point)을 추출하는 방식이다. 에지 알고리즘과 그리드 알고리즘은 영상 기술 분야에서 이미 공지된 기술로 구체적인 추출 방식은 공지된 기술에 따른다.

이와 같이 특징점 추출부(312)는 두 알고리즘을 결합하여 객체의 패턴에 따른 특징점을 정밀하게 추출한다.

상품 분류 검색부(314)는 특징점 추출부(312)에서 추출된 특징점 정보를 토대로 상품 분류를 검색한다. 즉, 특징점 추출부(312)에서 추출된 특징점 정보가 상품 DB(320)에 기저장된 특징점 정보에 존재하는지, 존재하면 어느 상품 분류에 위치하는지를 검색한다. 이는 상품 DB(320)에 여러 관심 상품들이 상품 분류별로 저장되어 있기 때문에 해당 관심 상품이 저장된 위치만 알면 상품 분류도 알 수 있다.

이때, 본 발명의 실시 예에 따른 상품 분류 검색부(314)는 특징점 정보를 이용하여 검색이 이루어지므로 입력 영상의 특징점 정보를 갖는 상품 분류가 여러 개 검색될 수 있다. 이를 테면, 특징점 정보는 실제 상품 자체가 달라도 물체의 모양이나 외형이 유사하면 특징점 정보가 유사하기 때문에, 원하지 않는 상품 분류까지 검색될 수 있다. 도 5에 도시한 예를 보면, 휴대폰 영상의 특징점 정보를 추출하여 상품 분류를 검색하는 경우, 휴대폰의 특징점 정보와 유사한 상품으로 DVD 플레이어, 세탁기, 냉장고 등이 검색됨을 보여주고 있다. 이에 따라, 휴대폰이 속한 상품 분류 외 DVD 플레이어, 세탁기, 냉장고가 속한 다른 상품 분류까지 검색되어 정밀한 상품 검색이 이루어지지 않게 된다.

이 경우, 영상 인식부(310)에서 히스토그램 분석부(316)를 이용하여 세부 검색을 수행한다.

히스토그램 분석부(316)는 객체 검색시 히스토그램(Histogram) 알고리즘을 이용하여 영상을 비교하게 된다. 이 방법은 영상을 색상 분포 그래프로 표시한 후 각각의 영상에서 얻은 그래프들을 비교하여 그래프들간 차이로 영상의 비슷한 정도를 판단하는 방법이다. 이때, 히스토그램 알고리즘은 특정 영역 또는 하나의 영상에 존재하는 픽셀(pixel)의 RGB 색상값에 근거하여 색상 분포도를 구할 수 있다.

예를 들어, 하나의 눈을 표현하기 위해 수많은 픽셀들이 배열되는데, 이 픽셀(pixel)들은 서로 다른 R(적색), G(녹색), B(청색)의 색상값(이하, 픽셀값)을 가진다. 이를 테면, 눈을 표현하는 하나의 픽셀값은 R, G, B 색상값이 순서대로 (98, 74, 47)이고, 이와 인접하는 다른 픽셀의 색상값은 (194, 133, 112)이며, 또 이와 인접하는 다른 픽셀의 색상값은 (216, 175, 164)일 수 있다. 이러한 픽셀값을 64개의 3차원 색 공간으로 구분된 영역에 각각 매핑하여 도수를 구하고 그 합이 1이 되도록 정규화하면 히스토그램을 생성할 수 있다. 이러한 방식으로 입력 영상에 대한 히스토그램을 구한 후 비교 영상의 히스토그램과 비교함으로써 영상간 유사 정도를 쉽게 분석할 수 있다.

상품 DB(320)는 관심 상품의 영상으로부터 추출한 특징점 정보를 각 관심 상품의 유형별로 구분하여 저장되어 있다. 예를 들어, 관심 상품이 컴퓨터, 휴대폰, MP3 이면 상품 분류를 컴퓨터/전자 유형으로 분류하고, 관심 상품이 냉장고, 세탁기, 전자레인지이면 가전 유형으로 분류하고, 관심 상품이 가방, 운동화, 지갑, 시계이면 상품 분류를 패션 유형으로 분류할 수 있다. 각 상품 분류A(322), 상품 분류B(324), 상품 분류C(326)에는 도 4에 도시한 것처럼 상품별로 상품명, 특징 정보, 분류, 사이즈, 무게, 기타 정보를 포함할 수 있다.

쇼핑 DB(340)는 상품 DB(320)에 등록된 관심 상품의 최저가 판매 가격, 최고가 판매 가격, 온라인 쇼핑몰 사이트의 IP주소 등을 포함할 수 있다.

쇼핑 정보 관리부(330)는 각 관심 상품의 쇼핑 정보를 제공하는 다수의 쇼핑 정보 서버(도 1의 500)로부터 관심 상품에 대한 쇼핑 정보를 주기적으로 수신하여 쇼핑 정보 DB(340)에 저장 및 갱신한다. 그리고, 영상 인식부(310)를 통해 특정 관심 상품으로 식별하게 되면 특정 관심 상품과 매칭되는 쇼핑 정보를 쇼핑 정보 DB(340)로부터 추출하여 해당 단말기(도 1의 100)로 제공한다.

따라서, 본 발명의 실시 예에서는 단말기(도 1의 100)에서 촬영한 관심 상품의 영상을 영상 인식 서버(300)가 수신하여 그 영상과 동일한 또는 유사한 영상을 검색하고 상세한 정보를 제공한다. 특히, 본 발명은 관심 상품의 영상이 속한 상품 분류를 검색하여 파악하고, 동일 상품 외에도 유사한 상품에 대한 쇼핑 정보를 제공하여 객체 인식을 통한 쇼핑 서비스를 더욱 활성화할 수 있다.

그럼, 이상의 구성을 기반으로 한 쇼핑 정보 서비스 제공 시스템을 이용하여 상품 분류 검색 및 기반 쇼핑 정보를 제공하는 서비스 방법에 대하여 도 6 및 도 7을 참조하여 설명한다.

먼저, 영상 인식 서버(300)는 내부 데이터베이스인 상품 특징점 DB에 등록할 관심 상품의 특징점 정보를 상품 분류별로 구분하여 저장하고, 각 관심 상품에 대한 쇼핑 정보를 쇼핑 정보 서버(500)로부터 제공받아 쇼핑 정보 DB에 저장 및 갱신한다(S100, S110).

이후, 사용자가 쇼핑 중에 또는 평상시 단말기(100)를 통해 구매하고자 관심을 가진 상품을 촬영하여 관심 상품의 영상을 저장해 둔다(S120).

이후, 단말기(100)는 저장된 관심 상품의 입력 영상을 영역별로 분할하고, 분할한 영역별로 블러링을 통한 전처리를 수행함으로써 화소가 다른 영상으로 생성한다(S130).

이후, 단말기(100)가 사용자의 요청에 의해 관심 상품에 대한 검색을 요청하면 단말기(100)는 유무선 통신망을 통해 해당 영상을 영상 인식 서버(300)로 전송한다(S140, S150).

영상 인식 서버(300)는 단말기(100)로부터 수신한 입력 영상을 분석하여 관심 상품의 상품 분류를 인식한다(S160, S170).

즉, 도 7에 도시된 바와 같이, 단말기(100)로부터 수신한 입력 영상에서 에지 알고리즘과 그리드 알고리즘을 이용하여 특징점을 추출하고(S161), 추출한 특징점을 영상 인식 서버(300)의 데이터베이스에 저장된 특징점 정보와 비교 분석한다(S162).

분석 결과, 단말기(100)로부터 수신한 입력 영상의 특징점 정보가 포함된 상품 분류군을 추출한다(S163). 이렇게 추출된 상품 분류군은 단말기(100)로부터 수신한 입력 영상의 특징점 정보가 포함된 진정한 상품 분류일 수 있으나, 상품의 모양이나 외형에 따라 원하지 않는 상품 분류까지 포함될 수 있다.

따라서, 추출한 상품 분류군이 다수 개 즉, 둘 이상인지를 확인한다(S164). 둘 이상의 다수 개이면 특징점 정보가 유사한 상품이 여러 개라는 의미를 포함한다. 이 경우, 히스토그램 분석을 통해 입력 영상과 동일한 또는 가장 유사한 관심 상품을 인식하고 해당 관심 상품의 상품 분류를 추출하여 인식한다(S165, S166).

만약, 추출한 상품 분류가 다수 개가 아닌 단일이면 추출된 정보를 해당 상품 분류 및 상품으로 인식한다(S166).

*이후, 도 6에 도시한 바와 같이, 영상 인식 서버(300)는 해당 상품 분류 정보를 단말기(100)로 전송하여 알려준다(S180).

그리고, 영상 인식 서버(300)는 상기의 영상 분석 과정(S160)을 통해 인식한 관심 상품에 대한 쇼핑 정보가 있는지를 검색하여 추출한다(S190).

그리고, 추출한 쇼핑 정보를 해당 단말기(100)로 전송한다(S200).

이후, 단말기(100)는 쇼핑 정보를 파악하여 온라인 쇼핑몰 사이트인 쇼핑 정보 서버(500)로 직접 링크하여 쇼핑 정보 서버(500)로부터 구매 관련 서비스를 제공받는다(S210, S220). 이를 통해 쇼핑몰에서 실제 구매가 이루어질 수 있다.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서, 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

종래 온라인 쇼핑 정보 제공 서비스는 관심 상품의 상품명이나 제품코드 등과 같이 원하는 관심 상품에 대한 정확한 정보를 알아야 검색 서비스를 통해 쇼핑 정보를 제공하였으나, 본 발명은 쉽게 구비할 수 있는 단말기를 이용하여 관심 상품의 영상을 어디에서나 간편하게 획득할 수 있고 서버에서 객체 인식시 특징점 기반 및 히스토그램 분석을 통해 관심 상품의 유형을 식별함으로써 정밀한 인식이 가능하고 그 신뢰성을 증대시킬 수 있다. 또한, 관심 상품에 대한 쇼핑 정보를 함께 제공하여 편리한 쇼핑이 가능하도록 함으로써 현재의 단말기를 통한 온라인 쇼핑 구매 서비스 사업을 보다 활성화시킬 수 있다.

100: 단말기 200: 유무선 통신망
300: 영상 인식 서버 400: 인터넷망
500: 쇼핑 정보 서버
110: 카메라 120: 전처리부
122: 영역 분할부 124: 영상 변환부
130: 표시부 140: 메모리
150: 송신부 310: 영상 인식부
312: 특징점 추출부 314: 상품 분류 검색부
316: 히스토그램 분석부 320: 상품 DB
330: 쇼핑 정보 관리부 340: 쇼핑 정보 DB

Claims

관심 상품을 촬영하여 상기 관심 상품에 대한 영상을 생성하고, 상기 영상을 유무선 통신망을 통해 전송하는 단말기; 및
상기 관심 상품을 상품 분류별로 구분하여 저장하고, 상기 관심 상품에 대한 쇼핑 정보를 저장하며, 상기 단말기로부터 검색하고자 하는 입력 영상을 수신하면 상기 입력 영상을 분석하여 동일한 또는 유사한 관심 상품의 상품 분류를 식별하는 한편, 식별한 관심 상품에 대한 쇼핑 정보를 추출하여 상기 단말기로 제공하는 영상 인식 서버
를 포함하는 것을 특징으로 하는 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스 시스템.