KR102186077B1 - 온라인 쇼핑몰 기반의 상품을 검색하는 방법, 상기 방법을 사용하는 장치 및 시스템 - Google Patents

Abstract

본 발명의 일 양태는 전자상거래 기반의 온라인 쇼핑몰과 관련된 입력상품에 대한 정보를 검색하는 방법을 개시하고 있다. 상기 방법은, 온라인 쇼핑몰과 관련된 복수 개의 상품들에 대한 정보를 수집하는 단계(상기 복수 개의 상품들에 대한 정보는 상품의 이미지 및 상품의 속성정보를 포함함), 상기 수집된 복수 개의 상품들에 대한 정보를 기반으로, 상품 검색을 위한 적어도 하나의 인공지능 모델을 학습시키는 단계, 상기 수집된 복수 개의 상품들에 대한 정보에 대해, 상기 학습된 적어도 하나의 인공지능 모델을 기반으로 제 1 전처리를 수행하여 데이터베이스에 저장하는 단계, 상기 입력상품의 이미지 정보를 입력하는 단계, 상기 입력상품의 이미지 정보에 대해, 상기 학습된 적어도 하나의 인공지능 모델을 기반으로 제 2 전처리를 수행하는 단계, 상기 제 2 전처리가 수행된 정보를 기반으로 상기 데이터베이스에서 상기 입력상품과 연관된 상품정보를 검색하는 단계 및 상기 검색된 상품정보를 추출하는 단계를 포함한다.

Description

온라인 쇼핑몰 기반의 상품을 검색하는 방법, 상기 방법을 사용하는 장치 및 시스템{SEARCH METHOD FOR GOODS BASED ON ONLINE SHOPPING MALL, APPARATUS AND SYSTEM USING SAID METHOD}

본 발명은 상품을 검색 및 비교하는 방법 및 장치에 관한 것으로, 보다 상세하게는, 온라인 쇼핑몰과 관련된 상품의 검색 및 비교 방법 및 장치에 관한 것이다.

최근 온라인을 통해 상품을 구매할 수 있는 온라인쇼핑몰이 많아지면서, 물류센터에서 온라인 쇼핑을 통해 구매된 물품을 처리하는 시스템에 대한 연구가 많아지고 있다.

물류센터가 고객사(온라인 쇼핑몰)로부터 기존 입고되었던 상품에 대해 추가 수량을 재입고 처리하여 상품렉에 적치하는 작업까지의 작업을 간단히 도식화하면 다음과 같다.

도 1은 종래 상품재입고 처리 과정을 나타낸 흐름도이다.

도 1을 참조하면, 상품이 재입고된 후, 작업자 1은 재입고된 상품을 확인한 다음(S110), 각 상품 별로 분류한다(S120). 그리고는, 각 상품별 수량을 체크하여(S130) 작업자 2에게 넘긴다. 작업자 2는 별도의 상품 정보가 부착되어 있지 않은 경우, 상품렉에서 기존 입고되어 있는 상품 중 재입고 상품과 동일 상품을 검색하여(S140), 재입고 상품과 비교하게 된다(S150). 기존 상품과 동일한 상품 정보를 확인하고 나면 작업자 3은 폴리백에 재입고 수량을 개별 포장한 후(S160), 상품 정보가 기재된 바코드를 출력하여 폴리백 위에 부착한다(S170). 그리고는, 재입고 수량을 기존 상품이 적치된 위치에 적치하게 된다(S180).

그러나, 재입고되는 상품은 대게 상품 정보를 갖고 있지 않기 때문에, 이러한 종래 상품재입고 처리 방법은 기존 입고되어 상품렉에 적치되어 있는 상품을 작업자가 수작업으로 찾아 비교해야 하므로 작업시간이 길어지고, 효율이 떨어지는 문제점이 존재한다.

상술한 문제점을 해결하기 위한 본 발명의 일 양태에 따른 목적은 재입고된 상품에 대한 검색 및 비교를 시스템 상에서 동시에 진행하여, 재입고된 상품을 적치하는 과정에서 발생하는 비효율을 제거하는 상품검색 방법 및 장치를 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 전자상거래 기반의 온라인 쇼핑몰과 관련된 입력상품에 대한 정보를 검색하는 방법은, 온라인 쇼핑몰과 관련된 복수 개의 상품들에 대한 정보를 수집하는 단계(상기 복수 개의 상품들에 대한 정보는 상품의 이미지 및 상품의 속성정보를 포함함), 상기 수집된 복수 개의 상품들에 대한 정보를 기반으로, 상품 검색을 위한 적어도 하나의 인공지능 모델을 학습시키는 단계, 상기 수집된 복수 개의 상품들에 대한 정보에 대해, 상기 학습된 적어도 하나의 인공지능 모델을 기반으로 제 1 전처리를 수행하여 데이터베이스에 저장하는 단계, 상기 입력상품의 이미지 정보를 입력하는 단계, 상기 입력상품의 이미지 정보에 대해, 상기 학습된 적어도 하나의 인공지능 모델을 기반으로 제 2 전처리를 수행하는 단계, 상기 제 2 전처리가 수행된 정보를 기반으로 상기 데이터베이스에서 상기 입력상품과 연관된 상품정보를 검색하는 단계 및 상기 검색된 상품정보를 추출하는 단계를 포함할 수 있다.

상기 상품의 속성정보는 상품의 카테고리 정보, 성별정보, 패턴스타일 정보, 부분적인 특징 정보 및 원단소재 정보 중 적어도 하나를 포함할 수 있다.

상기 적어도 하나의 인공지능 모델은, 상품의 속성정보로부터 생성된 속성벡터를 기반으로 학습하는 상품속성 인공지능 모델 및 상품이미지를 기반으로 유사도 벡터를 생성하는 유사도 인공지능 모델을 포함할 수 있다.

상기 상품속성 인공지능 모델은 상품 이미지의 분류를 위해 컨볼루션 신경망(CNN: Convolutional Neural Network)을 사용할 수 있다.

상기 상품속성 인공지능 모델은 상기 상품의 속성정보와 연관된 복수 개의 속성요소 값들을 취합하여 생성된 속성벡터 데이터를 기반으로 학습될 수 있다.

상기 복수 개의 속성요소 값들은 카테고리 벡터값, 소재 벡터값, 성별 벡터 값 중 적어도 둘을 포함할 수 있다.

상기 유사도 인공지능 모델은 상품의 형태를 변형시키는 처리, 색상을 변형시키는 처리 및 노이즈를 추가하는 처리 중 적어도 하나를 적용하여 생성된 증강데이터를 기반으로 학습될 수 있다.

상기 유사도 인공지능 모델은 유사도와 연관된 벡터의 처리를 위해 컨볼루션 신경망 기반의 이미지검색(CNN-based image retrieval)을 사용할 수 있다.

상기 적어도 하나의 인공지능 모델은 상품의 옵션정보를 기반으로 학습하는 옵션정보 인공지능 모델을 더 포함할 수 있다.

상기 옵션정보 인공지능 모델은 상품이미지와 색상옵션정보를 매칭하여 그룹핑하므로써 학습되며, 컨볼루션 신경망(CNN)을 사용할 수 있다.

상기 데이터베이스에 저장하는 단계는, 상기 복수 개의 상품들에 대한 정보 중 상품의 속성정보를 상품정보 데이터베이스에 저장하는 단계, 상기 복수 개의 상품들에 대한 정보를 기반으로 상기 상품속성 인공지능 모델을 이용하여 속성벡터 데이터를 생성하는 단계, 상기 복수 개의 상품들에 대한 정보를 기반으로 상기 유사도 인공지능 모델을 이용하여 유사도벡터 데이터를 생성하는 단계, 및 상기 속성벡터 데이터와 상기 유사도벡터 데이터를 유사도 검색 데이터베이스에 저장하는 단계를 포함할 수 있다.

상기 상품의 속성정보는 상품번호, 상품의 패턴스타일, 상품의 부분특징 및 상품의 원단소재 정보를 나타내는 속성정보 테이블(table)로 생성되어 상기 상품정보 데이터베이스에 저장될 수 있다.

상기 상품정보 검색을 위한 전처리를 수행하는 단계는, 상기 입력상품을 촬영하는 단계 및 촬영에 의해, 입력상품의 이미지 정보를 획득하는 단계를 포함하되, 상기 획득되는 입력상품의 이미지 정보는 상기 입력상품을 촬영시 사각형 형태의 촬영 평면의 제 1 모서리와 상기 제 1 모서리의 중심점으로부터 연장되는 중심선을 기반으로 정렬된 형태로 촬영된 이미지 정보를 포함할 수 있다.

상기 제 2 전처리를 수행하는 단계는, 상기 입력상품의 이미지 정보를 기반으로 상기 상품속성 인공지능 모델을 이용하여 속성정보를 추출함에 의해, 입력상품 속성 벡터 데이터를 생성하는 단계 및 상기 입력상품의 이미지 정보를 기반으로 상기 유사도 인공지능 모델을 이용하여 유사도정보를 추출함에 의해, 입력상품 유사도 벡터 데이터를 생성하는 단계를 포함할 수 있다.

상기 입력상품과 연관된 상품정보를 검색하는 단계는, 상기 입력상품 속성벡터 데이터 및 상기 입력상품 유사도 벡터 데이터를 유사도 검색 데이터베이스(상기 유사도 검색 데이터베이스는 상기 복수 개의 상품들에 대한 속성벡터 데이터 및 유사도 벡터 데이터를 저장함)에서 검색하는 단계를 포함할 수 있다.

상기 입력상품과 연관된 상품정보를 검색하는 단계는, 유사도가 높은 상위 n개 상품으로 범위를 축소하는 단계 및 상기 축소된 범위의 n개 상품에 대해 상품 옵션정보를 기반으로 검색하여 옵션 정보가 매칭되는 상위 m개 상품으로 범위를 축소하는 단계를 포함할 수 있다.

상기 검색된 상품정보를 추출하는 단계는, 상기 검색된 상품정보를 추출하여 웹 서버를 통해 출력하는 단계를 포함하되, 상기 웹 서버를 통해 출력되는 정보는 상품의 기본정보, 속성정보, 유사도 정보 및 옵션정보를 포함할 수 있다.

상기 검색된 상품정보를 추출하는 단계는, 상기 검색된 상품정보를 추출하여 상품바코드를 생성하는 단계 및 상기 생성된 상품바코드를 프린터를 이용하여 출력하는 단계를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 전자상거래 기반의 온라인 쇼핑몰과 관련된 입력상품에 대한 정보를 검색하는 장치는, 온라인 쇼핑몰과 관련된 복수 개의 상품들에 대한 정보를 수집하는 데이터 수집부(상기 복수 개의 상품들에 대한 정보는 상품의 이미지 및 상품의 속성정보를 포함함), 상기 수집된 복수 개의 상품들에 대한 정보를 기반으로, 상품 검색을 위한 적어도 하나의 인공지능 모델을 학습시키는 인공지능 모델 학습부, 상기 입력상품의 이미지 정보를 입력하는 이미지 입력부, 상기 수집된 복수 개의 상품들에 대한 정보에 대해, 상기 학습된 적어도 하나의 인공지능 모델을 기반으로 제 1 전처리를 수행하고, 상기 입력상품의 이미지 정보에 대해, 상기 학습된 적어도 하나의 인공지능 모델을 기반으로 제 2 전처리를 수행하는 인공지능 모델 실행부, 상기 제 1 전처리된 데이터를 저장하는 데이터베이스, 상기 제 2 전처리가 수행된 정보를 기반으로 상기 데이터베이스에서 상기 입력상품과 연관된 상품정보를 검색하는 데이터 검색부 및 상기 검색된 상품정보를 추출하는 데이터 출력부를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 또 다른 양태에 따른 전자상거래 기반의 온라인 쇼핑몰과 관련된 입력상품에 대한 정보를 검색하는 시스템은, 상기 입력상품을 촬영하여 입력상품의 이미지 정보를 획득하는 카메라, 온라인 쇼핑몰과 관련된 복수 개의 상품들에 대한 정보(복수 개의 상품들에 대한 정보는 상품의 이미지 및 상품의 속성정보를 포함함)를 수집하여 상기 수집된 복수 개의 상품들에 대한 정보를 기반으로, 상품 검색을 위한 적어도 하나의 인공지능 모델을 학습시키고, 상기 수집된 복수 개의 상품들에 대한 정보에 대해, 상기 학습된 적어도 하나의 인공지능 모델을 기반으로 제 1 전처리를 수행하여 데이터베이스에 저장하며, 상기 카메라로부터 입력상품의 이미지 정보를 획득하여 상기 입력상품의 이미지 정보에 대해, 상기 학습된 적어도 하나의 인공지능 모델을 기반으로 제 2 전처리를 수행하고, 상기 제 2 전처리가 수행된 정보를 기반으로 상기 데이터베이스에서 상기 입력상품과 연관된 상품정보를 검색하여, 상기 검색된 상품정보를 추출하는 서버장치 및 상기 검색된 상품정보와 연관된 상품식별정보를 출력하는 프린터를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 전자상거래 기반의 온라인 쇼핑몰과 관련된 입력상품에 대한 정보를 검색하는 방법은, 온라인 쇼핑몰과 관련된 복수 개의 상품들에 대한 정보를 수집하는 단계(상기 복수 개의 상품들에 대한 정보는 상품의 이미지 및 상품의 속성정보를 포함함), 상기 수집된 복수 개의 상품들에 대한 정보를 기반으로, 상품이미지에 대응하는 상품속성 정보를 획득하기 위한 제 1 인공지능 모델을 학습시키는 단계, 상기 수집된 복수 개의 상품들에 대한 정보를 기반으로, 제 1 상품의 이미지와 유사 이미지를 검색하는 제 2 인공지능 모델을 학습시키는 단계, 상기 입력상품의 이미지 정보를 입력하는 단계 및 상기 입력상품의 이미지 정보에 대해, 상기 제 1 인공지능 모델 및 상기 제 2 인공지능 모델을 이용하여 상기 입력상품과 연관된 상품정보를 검색하는 단계를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 또 다른 양태에 따른 전자상거래 기반의 온라인 쇼핑몰과 관련된 입력상품에 대한 정보를 검색하는 장치는, 온라인 쇼핑몰과 관련된 복수 개의 상품들에 대한 정보를 수집하는 데이터 수집부(상기 복수 개의 상품들에 대한 정보는 상품의 이미지 및 상품의 속성정보를 포함함), 상기 수집된 복수 개의 상품들에 대한 정보를 기반으로, 상품이미지에 대응하는 상품속성 정보를 획득하기 위한 제 1 인공지능 모델을 학습시키고, 상기 수집된 복수 개의 상품들에 대한 정보를 기반으로, 제 1 상품의 이미지와 유사 이미지를 검색하는 제 2 인공지능 모델을 학습시키는 인공지능 모델 학습부, 상기 입력상품의 이미지 정보를 입력하는 이미지 입력부 및 상기 입력상품의 이미지 정보에 대해, 상기 제 1 인공지능 모델 및 상기 제 2 인공지능 모델을 이용하여 상기 입력상품과 연관된 상품정보를 검색하는 데이터 검색부를 포함할 수 있다.

본 발명의 상품검색 방법 및 장치에 따르면, 재입고된 상품의 적치와 관련된 작업시간의 단축뿐만 아니라, 이에 투입되는 작업자도 불필요하게 되어 상당한 비용 절감 효과가 있다.

도 1은 종래 상품재입고 처리 과정을 나타낸 흐름도,
도 2는 본 발명의 일 실시예에 따른 상품검색 방법을 사용하여 상품의 재입고 상태를 처리하는 과정을 나타낸 흐름도,
도 3은 도 2의 과정을 구현하는 시스템을 통해 상품검색 방법이 실행되는 과정을 나타낸 개념도,
도 4는 구역을 분할하여 상품의 재입고 업무를 처리하는 상황을 예시적으로 나타낸 도면,
도 5는 본 발명의 본 발명의 일 실시예에 따른 상품검색 장치를 나타낸 블록도,
도 6은 본 발명의 일 실시예에 따른 상품검색 방법을 나타낸 흐름도,
도 7은 인공지능 모델의 학습에 사용되는 상품이미지 정보 및 상품속성정보의 예를 나타낸 도면,
도 8은 본 발명의 일 실시예에 따른 상품검색 장치의 인공지능 모델 학습부를 구체적으로 나타낸 상세블록도,
도 9는 도 8의 상품속성 인공지능 모델 학습부의 학습과정을 나타낸 흐름도,
도 10은 상품속성 인공지능 모델 생성에 사용되는 벡터 데이터를 예시적으로 나타낸 도면,
도 11은 도 8의 유사도 인공지능 모델 학습부의 학습과정을 나타낸 흐름도,
도 12는 유사도 인공지능 모델 학습에 사용되는 증강 데이터 셋(augmented dataset)을 예시적으로 나타낸 도면,
도 13은 도 8의 옵션정보 인공지능 모델 학습부의 학습과정을 나타낸 흐름도,
도 14는 옵션정보 인공지능 모델 학습부의 학습에 사용되는 이미지와 색상옵션정보를 매칭하여 그룹핑된 모습을 나타낸 도면,
도 15는 기입력된 상품들의 전처리 과정을 나타낸 흐름도,
도 16은 상품속성 정보 저장에 사용되는 속성정보 테이블,
도 17은 유사도 정보 저장시에 사용되는 속성벡터 데이터와 유사도 벡터 데이터의 예시적인 모습을 나타낸 도면,
도 18은 재입고 상품에 대한 벡터데이터를 추출하는 단계를 나타낸 흐름도,
도 19는 재입고 상품에 대한 촬영 방법을 설명하기 위한 개념도,
도 20은 재입고 상품 정보를 기준으로 기입력된 상품의 정보를 검색하는 방법을 나타낸 흐름도,
도 21은 도 20의 검색결과를 출력한 화면을 나타낸 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 명세서 상에서, 재입고된 상품은 문언적인 의미로는, 기존에 적치된 상품을 의미하지만, 상황에 따라 신규로 입고되는 상품의 의미도 포함할 수 있다. 즉, 위와 같은 상품과 관련된 본 발명의 일 실시예에 따른 검색방법은 반드시 온라인 상품의 재입고 또는 상품의 물류센터 내의 적치 시에만 사용될 수 있는 것은 아니고, 특정상품에 대한 식별이 요구되는 경우라면 어떠한 상황이든 사용될 수 있다. 따라서, 재입고된 상품은 입력된 상품, 재입고 상품, 및/또는 검색대상 상품 등으로 불릴 수 있다.

상품 재입고 처리

도 2는 본 발명의 일 실시예에 따른 상품검색 방법을 사용하여 상품의 재입고 상태를 처리하는 과정을 나타낸 흐름도이다.

도 2를 참조하면, 작업자 1이 수행하는 과정(S210~S230) 및 작업자 3이 수행하는 과정(S250~S260)은 도 1의 과정(S110~S130) 및 과정(S160~S180)과 유사하다. 하지만, 작업자 2가 수행하던 과정(S140~S150)을 시스템이 대체할 수 있다.

본 발명의 일 실시예에 따른 상품검색 방법에 따르면, 장치는 재입고를 위한 상품의 수량을 체크한 후, 촬영장치를 이용하여 상품의 형상을 스캐닝한다. 이때, 상품의 형상은 다양한 각도에서 스캐닝될 수 있고, 이를 통해 하나 또는 복수 개의 이미지 정보를 획득할 수 있다. 장치는, 획득된 이미지 정보를 기반으로 상품과 연관된 정보를 잘 학습된 인공지능 모델을 이용하여 추론한다. 예컨대, 상품의 형상이 나타난 이미지 정보를 기반으로 이미지를 분석하여 해당상품이 속하는 카테고리, 상품의 사이즈, 패턴 등과 관련된 정보를 획득하고, 획득된 정보를 기반으로 기저장된 입고상품의 정보들 중에서 유사한 상품의 정보를 검색한다. 검색과정은 위의 속성정보, 유사도 정보 및/또는 그 밖의 옵션정보를 이용하여 기존입고 상품의 정보와의 동일 또는 유사 여부를 기반으로 수행된다(S240).

동일 또는 유사 여부를 비교한 후, 유사도가 높은 상품들이 검색되면, 장치는 해당 상품(유사도가 높은 하나 이상의 상품)과 관련된 정보를 디스플레이 장치를 통해 표시하고, 그 중 적어도 하나의 상품에 대한 상품 식별정보(예컨대, 바코드 정보 등)를 추출하여 프린터를 통해 출력할 수 있다.

도 3은 도 2의 과정을 구현하는 시스템을 통해 상품검색 방법이 실행되는 과정을 나타낸 개념도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 상품검색 방법을 사용하는 시스템은 카메라(310), 서버(320), 사용자 인터페이스(330) 및 상품 바코드 프린터(340)를 포함할 수 있다.

도 3을 참조하면, 카메라(310)는 재입고된 상품을 촬영한다. 그리고는 촬영된 상품이미지 정보를 서버(320)로 제공한다. 서버(320)는 활영한 재입고 상품의 이미지 정보를 기반으로 미리 학습되어 있는 인공지능 모델을 이용하여 해당상품 정보를 벡터 데이터화한다. 그리고는, 미리 벡터화되어 있는 기입력된 상품들(예컨대, 기존 물류센서에 적치된 상품들)의 데이터를 상기 재입고 상품의 벡터화된 데이터를 기반으로 검색한다. 이때, 서버(320)는 벡터데이터를 기준으로 유사상품에 대한 검색범위를 축소한다.

그리고는, 검색된 상품들 중 유사도가 높은 상품 10개를 추출하여 사용자 인터페이스(330)통해 출력한다. 또는 검색 웹서버에 상기 추출된 유사상품들의 기본정보, 속성정보, 유사도 정보 및 옵션정보를 출력하여 작업자가 확인할 수 있도록 한다. 상품 바코드 프린터(340)는 작업자로부터 추천 상품 중 동일상품에 대한 최종 확인 및 검수한 후, 그에 대한 선택과 관련된 사용자 입력을 입력받으면, 입력된 상품의 속성정보을 표시한다. 그리고는, 해당 상품의 상품바코드를 출력한다.

도 4는 구역을 분할하여 상품의 재입고 업무를 처리하는 상황을 예시적으로 나타낸 도면이다.

도 4를 참조하면, 상품 재입고 업무는 제 1 구역(410), 제 2 구역(420) 및 제 3 구역(430)으로 구분되어 이루어질 수 있다.

제 1 구역(410)은 작업자 1의 업무와 관련된 구역으로, 재입고 상품을 확인하고 상품을 종류별로 분류하고, 각각의 상품의 수량을 체크하는 구역이다. 작업자 1은 상품을 박스에서 꺼내서 테이블 위에 배치하고, 상품 종류별로 분류하여 수량을 체크한다.

제 2 구역(420)은 본 발명의 일 실시예에 따른 상품검색 방법과 관련된 구역으로, 작업자 2가 분류된 상품 중 하나를 도 3의 카메라(310)를 사용하여 촬영함에 따라 상품검색을 위한 재입고 상품의 이미지 정보를 획득하는 구역이다.

제 3 구역(430)은 도 3의 서버장치(320)를 활용하여 재입고 상품과 유사한 상품을 검색하여 추출된 정보를 확인하고 검수하는 구역이다. 이때, 추출된 유사상품의 검색결과는 복수 개일 수 있다. 서버(320)는 작업자가 이 중 어느 하나를 선택할 수 있도록 지원하는 사용자 인터페이스를 디스플레이 장치(330)를 통해 표시할 수 있다. 그리고, 제 3 구역(430)에 배치된 프린터(340)를 활용하여 작업자가 선택한 상품에 대한 바코드를 출력할 수 있다.

상품 검색 방법 및 장치

도 5는 본 발명의 본 발명의 일 실시예에 따른 상품검색 장치를 나타낸 블록도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 상품검색 장치는 데이터 수집부(520), 인공지능 모델 학습부(530), 인공지능 모델 실행부(540), 데이터베이스(550), 이미지 획득부(560), 이미지 검색부(570) 및 데이터 출력부(580)를 포함할 수 있다. 각각의 기능블록들은 각각 하나의 프로세서로 구현될 수 있고, 경우에 따라 복수 개의 기능블록들이 조합되어 하나 또는 그 이상의 프로세서들로 구현될 수 있다. 프로세서는 각 기능블록의 기능과 연관된 지시어를 실행한다. 각각의 지시어는 프로세서와 연관된 메모리(미도시)에 저장되어 있을 수 있다.

도 5를 참조하면, 데이터 수집부(520)는 온라인 쇼핑몰(510-1~510-N)로부터 수신되는 상품입고 및 상품출하 관련 지시 정보로부터 상품과 관련된 이미지 정보 및 상품을 지시하기 위한 텍스트 정보를 수집한다. 데이터 수집부(520)는 안테나 및/또는 통신 프로세서로 구현될 수 있고, 유선 및/또는 무선 네트워크를 통해 정보를 수집할 수 있다. 이때, 하나의 상품에 대한 이미지 정보와 텍스트 정보는 매칭된 형태로 획득될 수 있다. 수집되는 상품이미지는 복수 개일 수 있다. 수집되는 텍스트 정보는 상품의 속성 값 정보, 옵션 정보 등을 포함할 수 있다. 데이터 수집부(520)는 반드시 온라인 쇼핑몰(510-1~510-N)로부터만 정보를 획득하는 것은 아니고, 다른 채널 및 다양한 매체(예컨대, 소셜 네트워크 서비스(SNS) 및 포털 사이트 등)를 통해 상품이미지 및 상품 속성값들의 정보를 획득할 수 있다.

인공지능 모델 학습부(530)는 인공지능과 관련된 학습을 진행하는 구성요소이다. 인공지능 모델 학습부(530)는 데이터 수집부(520)에서 수집한 상품이미지 및 상품과 관련된 텍스트 정보를 기반으로 상품속성에 대한 인공지능 모델, 유사도에 대한 인공지능 모델 및/또는 옵션정보에 대한 인공지능 모델을 각각 학습시킨다. 여기서, 인공지능 모델이란, 대량의 수집 데이터를 통째로 입력하여 학습함에 의해, 인공지능을 통해 향후 신규데이터(예컨대, 재입고 상품의 이미지 정보)가 입력되었을 시 결과를 추론할 수 있도록 하는 모델을 의미한다. 본 발명에 일 실시예에 따르면, 인공지능 모델 학습부(530)는 입력이미지에 따른 속성정보에 관한 인공지능 모델을 학습시키고, 다수의 상품 관련 이미지를 기반으로 입력이미지에 대응하여 특정상품에 대한 유사도를 획득하는 모델을 학습시킬 수 있다. 상품속성 인공지능 모델에 대해서는, 상품이미지와 그에 대응하는 속성정보를 학습데이터 세트로 생성할 수 있다. 또한, 유사도 인공지능 모델에 대해서는, 상품이미지, 상품이미지에 대한 증강데이터 셋, 및/또는 기타 네트워크를 통해 획득되는 상품이미지들을 학습데이터 세트로 생성할 수 있다. 이와 같이 생성된 적어도 두 개의 인공지능 모델(즉, 상품속성 및 유사도와 연관된 인공지능 모델)을 이용하여 보다 정확도를 높인 상품검색이 가능하도록 한다. 옵션정보는 추가적인 정확도를 확보하기 위해 사용될 수 있다.

인공지능 모델 실행부(540)는 인공지능 모델 학습부(530)에서 학습된 인공지능 모델을 실행하여 학습된 내용을 가지고 입력데이터에 대한 추론결과로 출력데이터를 제공하는 구성요소이다. 즉, 신규데이터가 입력으로 들어올 시 학습된 인공지능 모델을 통해 추론함으로써 필요한 정보를 추출하는 처리를 수행한다. 본 발명의 일 실시예에 있어서, 인공지능 모델 실행부(540)는 속성 추출, 유사도 추출 및 옵션 추출의 기능을 수행한다.

인공지능 모델 실행부(540)는 데이터 수집부(530)의 기존 입고 상품들에 대한 정보 및 이미지 획득부(560)의 재입고 상품들의 대한 정보를 기반으로 검색을 위한 1차 전처리 및 2차 전처리를 수행한다.

인공지능 모델 실행부(540)는 데이터수집부(530)에서 수집된 기존 입고된 상품들에 대한 정보 중 속성정보 및 옵션정보는 데이터베이스(550)의 상품속성 데이터베이스(552)에 저장한다. 상기 속성정보 및 옵션정보는 인공지능 모델 실행부(540)를 거치지 않고 데이터 수집부(520)에서 직접 상품속성 데이터베이스(552)로 제공되어 저장될 수 있다.

인공지능 모델을 활용한 1차 전처리와 관련하여, 인공지능 모델 실행부(540)는 기존 입고상품들의 이미지 정보 및 속성정보를 이용하여 속성값 벡터를 생성하여 데이터베이스(550)의 유사도 검색 데이터베이스(554)에 저장할 수 있다. 또한, 상품이미지 및 유사도 정보를 기반으로 유사도 벡터를 생성하여 유사도 검색 데이터베이스(554)에 저장할 수 있다.

이미지 획득부(560)는 재입고 상품에 대한 이미지 정보를 획득하는 구성요소이다. 이는 카메라와 같은 촬영장치로 구현될 수도 있다. 이미지 획득부(560)는 입고상품에 대한 이미지를 인공지능 모델 실행부(540)로 제공한다.

인공지능 모델 실행부(540)는 2차 전처리로, 이미지 획득부(560)로부터 재입고 상품에 대한 이미지 정보를 수신하여 재입고 상품의 상품속성과 연관된 벡터 데이터 및 유사도와 연관된 벡터 데이터를 생성한다. 그리고는, 이를 데이터 검색부(570)로 제공한다.

데이터 검색부(570)는 재입고 상품에 대한 상품속성 및 유사도와 연관된 벡터 데이터를 기반으로 유사도 검색 데이터베이스(554)에 저장된 벡터데이터들과 비교하여 그 중 가장 유사한 상품을 검색한다.

데이터 출력부(580)는 데이터 검색부(570)에서 검색된 결과를 출력한다. 이때, 유사도가 높은 순위로 n개(n은 자연수)의 상품을 추출하여 상위로부터 하위순으로 출력할 수 있다. 데이터 출력부(580)는 디스플레이부를 이용하여 상기 n개 상품들을 출력할 수 있다. 또한, 데이터 출력부(580)는 프린터를 포함하여 출력되는 상품 중 적어도 하나에 대한 상품식별정보(예컨대, 바코드)를 출력할 수 있다.

더욱이, 본 발명의 일 실시예에 따르면, 장치는 기존 입고된 상품의 상품렉 상의 적치위치 정보를 확보하고 있다가, 재입고 상품과 유사도가 가장 높은 상품이 작업자로부터 선택되면, 선택된 상품의 상품렉 상의 적치 위치번호를 표시하여, 작업자가 바로 상품렉에 적치할 수 있도록 지원한다. 이때, 상품렉까지의 최단경로를 계산하여 네비게이션과 같이 상품적치를 위한 최적경로의 표시도 함께 지원할 수 있다.

도 6은 본 발명의 일 실시예에 따른 상품검색 방법을 나타낸 흐름도이다.

도 6을 참조하면, 상품검색 장치는 인공지능 학습을 위해 상품에 대한 상품이미지 및 상품속성정보를 다양한 매체로부터 수집하여 학습에 대한 준비를 수행한다. 그리고는 준비된 상품정보 패키지(상품이미지 + 상품속성 정보 등)를 기반으로 인공지능 모델을 학습시킨다(S610). 그리고는, 상품이미지 및 상품속성 정보를 대상으로 인공지능을 학습시키고, 학습된 인공지능 모델을 실행하기 위해 인공지능 모델 실행부에 저장한다. 그리고는, 기존 물류센터에 적치된 상품전체에 대해 학습완료된 인공지능 모델을 이용하여 상품관련 속성정보와 연관된 벡터데이터 및 유사도와 연관된 벡터 데이터를 생성하여 데이터베이스에 저장한다(S620). 그리고는, 검색 대상이 되는 재입고 상품을 촬영하고, 촬영한 정보를 기준으로 학습된 인공지능 모델을 이용하여 벡터데이터를 추출한다(S630). 그리고는, 단계(S630)의 결과와 단계(S610) 및 단계(S620)에서 저장되고 처리된 정보를 비교하여 재입고 상품과 가장 유사한 기존 입고 상품을 검색하고 검색결과를 출력한다(S640). 이하, 각 단계별 작업 세부과정 및 작업의 예시적인 모습을 상세히 설명한다.

도 7은 인공지능 모델의 학습에 사용되는 상품이미지 정보 및 상품속성정보의 예를 나타낸 도면이다.

도 7을 참조하면, 단계(S610)의 인공지능 학습 전, 학습을 위한 정보를 준비하는 단계에서, 장치는 상품이미지와 상품속성정보의 패키징된 정보를 사전 수집한다. 도 7에 도시된 바와 같이, 장치는 상품이미지와 그에 대응하는 속성정보를 하나의 학습데이터 쌍으로 매칭하여 학습에 사용한다.

상품이미지는 기존 물류창고에 입고시의 촬영하였거나, 온라인 쇼핑몰 및 기타 다른 매체로부터 직접 획득되는 이미지 정보를 포함할 수 있다. 이때, 상품이미지는 속성정보와 함께 매칭된 형태로 상품속성 인공지능 모델의 학습에 사용될 수 있다.

상품 속성정보는 상품의 카테고리, 상품 착용 대상의 성별, 패턴스타일, 부분특징 및 원단소재 정보 중 적어도 하나를 포함한다. 카테고리는 복수 개로 나눌 수 있다. 제 1 카테고리로 상품을 "상의, 하의, 기타"로 구분할 수 있고, 제 2 카테고리로 "티셔츠, 바지, 가방, 구두, 가디건, 드레스"와 같은 패션 카테고리로 구분할 수 있다. 또한, 성별은 "남성, 여성, 구분없음"으로 나눌 수 있고, 패턴 스타일은 해당 상품 내에 들어가있는 패턴, 즉 무늬모양을 나타낸다. 예컨대, "줄무늬인지, 원형 무늬, 사각형 무늬" 등의 스타일로 패턴을 정의할 수 있다. 부분 특징정보는 해당 상품의 특정부위와 관련된 특징정보를 포함한다. 예컨대, 칼라(collar)의 형태(라운드, U넥, V넥인지 등의 정보), 특수장식이 포함되었는지(예컨대, 프릴장식, 레이스 등), 소매의 길이 및 형태(긴팔인지 반팔인지 민소매인지 등)의 정보를 포함할 수 있다. 부분특징 정보는 복수 개의 정보를 포함할 수 있다. 또한, 원단소재 정보는 해당 상품이 어떤 재료로 형성되었는지에 대한 정보를 포함한다. 원단소재 정보는 복수 개의 소재에 대한 정보, 및 해당 소재의 비율 정보를 포함할 수 있다. 예컨대, 면 70%, 폴리에스테르 30%의 소재구성으로 상품이 형성되었다는 정보가 원단소재 정보에 포함될 수 있다.

도 8은 본 발명의 일 실시예에 따른 상품검색 장치의 인공지능 모델 학습부를 구체적으로 나타낸 상세블록도이다. 도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공지능 모델 학습부는 상품속성 인공지능 모델 학습부(810), 유사도 인공지능 모델 학습부(820) 및 옵션정보 인공지능 모델 학습부(830)를 포함할 수 있다.

도 8을 참조하면, 상품속성 인공지능 모델 학습부(810)는 상품이미지와 상품속성 정보를 기반으로 상품속성 인공지능 모델을 학습시킨다. 상품속성 인공지능 모델은 컨볼루션 신경망(CNN: Convolutional Neural Network)을 활용하는 인공지능 모델로써, 상품 이미지를 분류하여 분류된 이미지들의 피처(feature)를 추출하여 연관된 속성정보를 매칭하는 형태로 학습한다.

유사도 인공지능 모델 학습부(820)는 상품이미지와 이와 관련된 유사도 정보를 기반으로 유사도 인공지능 모델을 학습시킨다. 본 발명의 실시예에 따르면, 유사도 인공지능 모델은 유사도 벡터의 압축에 컨볼루션 신경망(CNN)의 이미지 검색(image retrieval)이 사용할 수 있다.

옵션정보 인공지능 모델 학습부(830)는 상품이미지와 해당 상품의 옵션정보를 기반으로 옵션정보 인공지능 모델을 학습시킨다. 옵션정보 인공지능 모델은 상품의 색상, 크기 등과 같은 옵션 정보와 상품이미지의 매칭된 쌍을 기반으로 특징 옵션정보에 해당하는 상품이미지를 그룹핑한다. 그리고는, 그룹핑된 정보에 대해 컨볼루션 신경망을 적용하여 인공지능 모델을 학습한다.

이하, 각각의 인공지능 모델의 학습과정을 보다 상세히 설명한다.

도 9는 도 8의 상품속성 인공지능 모델 학습부의 학습과정을 나타낸 흐름도이다.

도 9를 참조하면, 상품속성 인공지능 모델 학습부는 상품이미지와 상품이미지와 연관된 속성정보의 쌍을 수신하여 학습 준비를 한다. 그리고는, 매칭된 상품이미지와 속성정보를 컨볼루션 신경망에 입력하고, 이미지를 분류한다(S910). 이미지 분류는 특정 속성을 포함하는 이미지들의 공통적인 특징을 추출하기 위해, 공통특징을 포함하는 이미지들을 한데 묶는 형태로 수행된다.

본 발명의 일 실시예에 따라 사용되는, 컨볼루션 신경망 모델은 생물의 시각처리과정을 모방한 모델로, 패턴의 크기 및 위치가 바뀌어도 인식할 수 있는 장점이 있다. 컨볼루션 신경망은 지역수용필트(local receptive field), 공유 가중치(share weights) 및 서브 샘플링(sub sampling)의 방식으로 데이터의 피처(feature)를 추출해 모델의 성능을 향상시킨다. 지역수용필드는 하위계층의 노드가 상위계층의 모든 노드와 연결되어 있지 않고, 지역적으로 일부의 노드에만 연결되어 있는 것을 의미한다.

본 발명의 실시예에 따르면, 상품 이미지와 상품 속성정보를 기반으로 특정 이미지에 공통적으로 포함된 속성과 관련된 특징들을 자동으로 추출할 수 있다. 이에 따라 상기 공통적인 특징들을 기반으로 하이퍼 파라미터를 정의하고 정의된 하이퍼 파라미터가 상기 공통적인 특징을 반영할 수 있도록 설정한다.

그리고는, 상기 특정 속성과 관련된 특징을 포함하는 다른 이미지를 입력하여 설정된 하이퍼 파라미터를 기반으로 해당 속성과 관련된 공통 특징적인 부분이 얼마나 도출되는지 예측하는 알고리즘을 학습시킨다. 이때, 복수의 하이퍼 파라미터들의 변수값을 변경하고, 모델을 변경하면서 해당 상품이미지에서 속성정보 예측 정확도를 높이는 과정을 수행한다. 위와 같은 과정을 통해, 학습용 데이터(상품이미지+속성정보 패키지의 약 70%)를 기반으로 서비스 모델을 학습시키되, 검증데이터(상품이미지+속성정보 패키지의 약 20%)의 정확도가 높이지도록 컨볼루션 신경망 모델을 반복 학습시킨다.

반복학습은 기설정된 시간 또는 기설정된 정확도, 기설정된 학습데이터의 양에 기반하여 수행되고, 설정된 시간, 정확도 및/또는 학습데이터의 양에 도달하면 해당시점까지 가장 높은 정확도로 학습된 모델을 저장한다.

그리고는, 학습과 검증에 사용하지 않은 테스트 데이터(상품이미지+속성정보 패키지의 약 10%)로 최종성능을 평가한다. 그리고는, 학습에러율과 검증 정확도 및 테스트 정확도가 전체적으로 균형잡힌 모델을 최종 서비스 모델로 선정한다.

위와 같은 과정을 통해 학습이 완료되면, 상품이미지에 대해 출력되는 각기 다른 속성결과 값을 벡터화시키고, 이를 하나로 연결한다(S920). 이는 다시 학습에 사용될 수 있다. 이는 도 10을 통해 보다 상세히 설명한다.

도 10은 상품속성 인공지능 모델 생성에 사용되는 벡터 데이터를 예시적으로 나타낸 도면이다.

도 10을 참조하면, 도 7에서 설명한 상품 속성정보 각각에 대해 벡터데이터를 생성한다. 속성정보로 포함되는 카테고리, 성별, 부분특징, 원단소재 정보 각각에 대해 카테고리 벡터 데이터(제 1 카테고리(상의, 하의를 구분)와 연관된 벡터 데이터, 제 2 카테고리(티셔츠, 바지와 같은 패션 카테고리) 벡터 데이터를 별도 생성 가능), 성별벡터 데이터, 부분특징 벡터 데이터, 소재 벡터 데이터 등을 생성할 수 있다.

도 10의 실시예에 따르면, 특정 상품이미지에 대응하여 결과로, 카테고리 벡터 데이터, 소재 벡터 데이터 및 성별벡터 데이터가 생성될 수 있다. 본 발명의 일 실시예에 있어서, 벡터 데이터는 학습에 사용되는 상품속성 정보를 벡터화함으로써 생성된 데이터일 수 있다. 경우에 따라 1차 학습된 상품속성 인공지능 모델에 특정 상품이미지를 입력하여 1차적으로 추출되는 속성벡터 값일 수 있다. 상기 1차 학습된 상품속성 인공지능 모델은 특정 이미지에 해당하는 속성정보를 각 속성별로 벡터화하여 추출하는 인공지능 모델로써, 취합된 벡터데이터 생성을 위한 2차 인공지능 모델의 학습데이터를 생성하는 기능을 수행한다.

위의 두 방식 중 적어도 하나의 방식에 의해 생성되는 벡터데이터는 각 속성요소별 속성값을 벡터화하여 나타낸다. 도 10의 실시예 있어서, 카테고리 벡터 데이터는 티셔츠(0.1), 블라우스(0.3), 자켓(0.1), 바지(0.4), 원피스(0.1)의 값을 포함한다. 소재 벡터 데이터는 면(0.2), 폴리에스터(0.6) 및 레이온(0.3)의 속성 값을 포함할 수 있다. 성별벡터 데이터는 남성(0.8), 여성(0.1) 및 공용(0.1)의 속성값을 포함할 수 있다.

이와 같은 3개 속성에 대한 벡터값이 도출된 경우, 이를 하나로 취합되어, 티셔츠(0.1), 블라우스(0.3), 자켓(0.1), 바지(0.4), 원피스(0.1), 면(0.2), 폴리에스터(0.6), 레이온(0.3), 남성(0.8), 여성(0.1) 및 공용(0.1)의 단일 벡터를 생성할 수 있다. 단일벡터는 최종 상품속성 인공지능 모델의 학습에 사용된다.

다시 도 9로 돌아가서, 취합된 속성벡터 데이터는 다시 상품이미지와 연계하여 속성값 결과로 학습되어진다(S930). 즉, 입력으로 상품이미지가 들어오면, 해당 이미지에 적합한 속성값을 나타낸 단일 속성정보 벡터데이터가 출력될 수 있도록 상기 상품속성 인공지능 모델을 학습시킨다.

이때, 출력되는 속성벡터의 압축을 위해 인코더(예컨대, 오토 인코더(auto encoder))가 사용될 수 있다. 위와 같은 과정을 통해 이미지에 대한 취합된 속성값 벡터 데이터를 출력하는 인공지능 모델 학습이 완성되면 장치는 이를 저장한다. 저장된 모델은 인공지능 모델 실행부로 제공된다.

도 11은 도 8의 유사도 인공지능 모델 학습부의 학습과정을 나타낸 흐름도이다.

도 11을 참조하면, 유사도 인공지능 모델 학습부는 유사도 인공지능 모델의 학습을 위해 상품이미지와 유사도 정보를 준비한다. 유사도 정보는 특정 상품이미지와 매칭되는 상품이미지 및 매칭되지 않는 상품이미지를 포함한다. 특히, 유사도 검색 인공지능 모델 학습에는 많은 데이터가 필요하기 때문에, 원본 상품이미지를 기준으로 노이즈, 상하반전, 형태변형 등의 임의의 영상처리를 적용하여 증강데이터 셋을 생성한다(S1110).

도 12는 유사도 인공지능 모델 학습에 사용되는 증강 데이터 셋(augmented dataset)을 예시적으로 나타낸 도면이다.

도 12를 참조하면, 유사도 인공지능 모델 학습부는 특정 상품의 원본이미지를 기반으로 특정 부위의 형태를 축소하거나 회전시키는 등의 형태 변형 이미지를 생성할 수 있다. 또한, 컬러를 변경하여 컬러변경 이미지를 생성할 수 있다. 여기에는, 흑백처리 및 색온도 변경도 포함된다. 또한, 상하를 반전하거나 특정 기울기로 기울이는 등의 처리를 수행하여 증강데이터를 생성할 수도 있다. 추가적으로, 노이즈를 추가하거나 블러(blur) 처리를 수행하여 윤곽선이 명확히 구분되지 않는 처리를 수행할 수도 있다. 도 12에는 위 8가지 증강처리된 데이터만을 나타내고 있지만, 이외에 다양한 방식의 영상 변형 처리를 통해 더 많은 증강데이터를 생성할 수 있다.

이와 같이 처리된 이미지를 유사도 학습을 위한 준비 데이터로 활용하여 유사도 인공지능 모델을 학습시킨다.

다시 도 11로 돌아가서, 이와 같이 생성된 증강데이터를 포함하여 상품원본 데이터와 증강데이터를 유사도 인공지능 모델의 학습데이터로 사용한다. 온라인 쇼핑몰을 통해 상품의 원본이미지뿐만 아니라, 기타 채널(SNS 등)을 통해 유입되는 상품과 관련된 이미지들(이때 유입되는 상품이미지는 기입력된 상품(기존 입고된 상품과 연관된 이미지를 포함함))도 유사도 인공지능 모델의 학습데이터로 사용될 수 있다.

유사도 인공지능 모델은 학습을 위해 준비된 이미지들을 기반으로 양성 이미지 쌍(positive image pair)와 음성 이미지 쌍(negative image pair)를 구성할 수 있다. 양성 이미지 쌍은 서로 매칭되는 이미지를 의미하고, 음성 이미지 쌍은 서로 매칭되지 않은 이미지 쌍을 의미한다. 양성 이미지 쌍은 학습용 이미지들을 속성정보를 기반으로 클러스터링하여 상품원본 이미지를 중심으로, 클러스터링된 이미지들 간의 벡터 거리가 일정 거리 이하인 쌍을 의미한다. 양성 이미지 쌍과 음성 이미지 쌍을 기반으로 유사도 인공지능 모델을 학습시킨다(S1120). 유사도 인공지능 모델의 학습 결과, 특정 이미지를 쿼리(query)로 입력하였을 때, 유사도가 벡터 형태로 출력될 수 있다. 본 발명의 일 실시예에 따르면, 유사도 벡터는 특정 이미지(예컨대, 특정 상품의 원본 이미지 또는 특정 상품)로부터의 유사도를 나타낼 수 있다.

본 발명의 일 실시예에 따르면, 유사도 벡터는 특정 상품을 포함하는 복수 개의 이미지 내의 실제 상품, 즉, 상품 객체에 해당하는 이미지를 벡터화한 데이터를 포함할 수 있고, 혹은, 입력이미지 내의 특정 객체 이미지가, 특정 상품 객체로부터 얼마나 유사한지에 대한 유사도를 벡터화한 데이터를 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 유사도 인공지능 모델에서 사용하는 유사도의 정의가 특정 상품 속성들의 속성값과 연관된 유사도를 나타낼 수도 있다. 이러한 세부적인 유사도(상품이미지로부터의 유사도 또는 상품속성으로부터의 유사도)에 대한 정의는 사용자 설정을 통해 임의로 변경가능하다. 예컨대, 유사도가 0.5, 0.7의 값을 가질 때, 0.5는 제 1 속성의 제 1 속성값으로부터의 거리(유사한 정도)를 의미할 수 있고, 0.7의 값은 제 2 속성의 제 2 속성값으로부터의 거리를 의미할 수 있다.

특정 상품으로부터의 유사도 벡터를 도출하도록 유사도 인공지능 모델이 학습된 경우, 재입고 상품으로부터 도출되는 유사도 벡터는 특정 상품의 원본이미지로부터의 유사도로써, 추후 유사도가 높은 상품을 추출할 때, 유사도 벡터 내의 유사 정도를 나타내는 값이 높은 순서로 관련상품들을 추출할 수 있다.

속성값과 연관된 유사도를 나타내는 경우, 특정 속성값으로부터 유사한 정도의 값을 나타내므로, 제 2 전처리에 의해 재입고되는 상품의 유사도 벡터는 재입고상품이 특정 속성값과 관련하여 얼마나 유사한지를 나타낸다. 따라서, 재입고 상품의 유사도 벡터의 의미를 분석하여 특정 속성값에 대한 유사도를 기반으로 유사도 검색 데이터베이스 내의 기존 입고상품의 유사도 벡터와 비교하여 가장 근접한 벡터를 찾는 방식으로 매칭되는 상품을 검색할 수 있다.

이때, 유사도 벡터의 압축을 위해 컨볼루션 신경망(CNN) 중 이미지 검색(image retieval) 방식이 사용될 수 있다.

학습이 완료된 유사도 인공지능 모델은 저장되고, 저장된 모델은 인공지능 모델 실행부로 제공된다.

도 13은 도 8의 옵션정보 인공지능 모델 학습부의 학습과정을 나타낸 흐름도이다.

도 13을 참조하면, 옵션정보 인공지능 모델 학습부는 상품이미지와 옵션 정보를 매칭하여 학습 준비를 한 후, 컨볼루션 신경망(CNN)을 이용하여 이미지를 분류하고(S1310), 그리고는, 옵션정보 인공지능 모델을 학습시킨다(S1320). 옵션정보에는 색상, 사이즈 등이 포함될 수 있다.

도 14는 옵션정보 인공지능 모델 학습부의 학습에 사용되는 이미지와 색상옵션정보를 매칭하여 그룹핑된 모습을 나타낸 도면이다.

도 14를 참조하면, 옵션정보 인공지능 모델 학습부는 옵션정보 중 색상에 대한 옵션정보를 학습시킬 수 있다. 이때, 상품이미지와 함께 학습데이터로써 준비된 옵션정보를 기준으로 해당 상품의 색상을 정의하고, 이에 해당하는 이미지 및 색상옵션정보를 매칭하여 그룹핑할 수 있다. 도 14에 도시된 바와 같이, 빨간색 계열의 상품들의 이미지 및 빨간색이라는 색상옵션정보를 매칭하여 그룹핑할 수 있고, 빨간색 이외에도, 초록색, 파란색 및 노락색 계열의 상품들도 이미지와 옵션정보를 매칭하여 그룹핑한다.

그리고는, 해당 이미지를 쿼리 입력으로 하여 그에 대응하는 적절한 옵션정보가 출력될 수 있도록 옵션정보 인공지능 모델을 학습시킨다. 옵션정보 인공지능 모델의 학습은 속성정보의 학습과 유사하며, 컨볼루션 신경망 모델을 사용하는 것이 바람직하다.

도 15는 기입력된 상품들의 전처리 과정을 나타낸 흐름도이다.

도 15를 참조하면, 위의 도 9 내지 도 13의 과정을 통해 3개의 인공지능 모델의 학습이 완료되고 나면, 장치는 기입력된(즉, 기존에 물류센터에 입고된) 전체상품을 조회한다(S1510). 이는 데이터수집부 및/또는 상품정보 데이터베이스로부터 획득할 수 있다. 그리고는, 장치는, 기존 물류센터에 적치된 상품의 상품이미지, 상품 속성 정보, 유사도 정보 및 옵션정보를 상기 3개의 인공지능 모델에 각각 입력하여 상품속성 값, 속성벡터, 유사도 벡터값으로 반환한다(S1520).

이때, 기본적인 상품속성정보는 가공하여 상품정보 데이터베이스에 저장한다. 가공된 형태는 다음과 같다.

도 16은 상품속성 정보 저장에 사용되는 속성정보 테이블이다.

도 16을 참조하면, 장치는 상품속성 저장을 위해 상품속성정보 테이블을 생성한다. 테이블에는 상품의 식별번호가 "item_no"로 포함되어 있다. 또한, 상품의 패턴스타일 정보가 "pattern_style" 정보로 포함되어 있고, 추가적으로 상품의 부분특징 정보가 "part_feature"로, 원단소재 종류에 대한 정보가 "fabric"으로 포함되어 있을 수 있다. 이외에, 상품의 속성을 정의하기 위한 추가적인 정보가 상기 테이블로 가공되어 저장효율을 높일 수 있다.

다시 도 15로 돌아가서, 위와 같이 가공된 속성정보는 속성정보 데이터베이스에 저장된다(S1530). 그리고, 장치는, 인공지능 모델을 통해 출력된 속성벡터, 유사도 벡터는 유사도 검색 데이터베이스에 저장한다(S1540). 유사도 검색 데이터베이스에 저장되는 속성벡터 데이터와 유사도 벡터 데이터는 다음과 같은 형태를 가질 수 있다.

도 17은 유사도 정보 저장시에 사용되는 속성벡터 데이터와 유사도 벡터 데이터의 예시적인 모습을 나타낸 도면이다.

도 17을 참조하면, 장치는, 상품속성 인공지능 모델과 유사도 인공지능 모델을 통해 속성벡터와 유사도 벡터를 획득할 수 있다. 본 발명의 실시예에 따르면, 장치는 데이터베이스에 데이터를 저장할 때에도 벡터화된 데이터를 저장한다. 이때, 속성벡터의 경우, 도 10의 속성벡터 데이터와 동일한 취합벡터 데이터 형태로 저장한다.

유사도 벡터의 경우도, 인공지능 알고리즘을 통해 생성된 벡터 데이터 형태로 저장할 수 있다. 이때, 속성벡터 값이 벡터의 앞부분을 정의하고, 각 속성으로부터의 거리(유사도)를 나타내는 유사도 팩터와 관련된 벡터데이터가 벡터의 뒷부분을 정의하는 형태로 유사도 벡터가 구성될 수 있다. 다만, 반드시 도 17과 같은 형태로 생성되어야만 하는 것은 아니다. 특정 이미지와의 유사도를 표현하는 형태로 이미지에 대한 벡터값과 유사도 값의 조합으로 유사도 벡터가 구성될 수도 있고, 그외에 다른 방법이 사용되어도 무방하다. 다만, 동일한 벡터 구성방식이 기존 입고된 상품들에 대한 벡터 생성과정과 재입고되는 상품에 대한 벡터생성 과정에 일관되게 사용되는 것이 바람직하다.

도 18은 재입고 상품에 대한 벡터데이터를 추출하는 단계를 나타낸 흐름도이다.

도 18을 참조하면, 기존 입고된 상품들에 대한 데이터들의 저장이 완료되고 나면, 장치는 재입고 상품에 대한 벡터 데이터를 추출한다. 이때, 먼저, 재입고되는 상품을 촬영하여 상품 이미지를 생성한다(S1810). 표준화된 촬영이미지를 생성하기 위해 본 발명의 일 실시예에 따른 상품검색 장치는 다음의 촬영방법을 활용하는 것이 바람직하다.

도 19는 재입고 상품에 대한 촬영 방법을 설명하기 위한 개념도이다.

도 19를 참조하면, 재입고 상품(1910)은 사각형 형태의 촬영평면 상에 배치한다. 이때, 상기 촬영평면의 제 1 모서리(1930)에 상품(1910)의 일측 종단이 배치될 수 있도록 한다. 상의의 경우는 칼라 부분이, 하의의 경우는 밸트 부분이 상기 제 1 모서리(1930)에 닿도록 배치한다. 제 1 모서리(1930)는 촬영평면의 좌측, 우측, 상단 또는 하단 모서리 중 하나로 사용자가 임의로 설정할 수 있다.

이와 같이 제 1 모서리(1930)에 상품(1910)의 일측종단이 배치된 상태에서 제 1 모서리(1930)의 중심점으로부터 수직한 촬영중심선(1920)에 상기 상품(1910)의 중심이 맞도록 배치하여 촬영이 촬영평면의 어느 하나의 모서리와 중심점에 맞추어 진행될 수 있도록 한다. 이와 같이 촬영된 재입고 상품의 이미지 정보는 벡터 데이터 생성에 사용된다.

다시 도 18로 돌아가서, 재입고 상품의 이미지 정보를 획득하고 나면, 장치는 재입고 상품의 이미지 정보를 입력으로 하여, 상품속성 인공지능 모델을 실행함에 의해, 속성정보를 추출하고, 이에 따른 벡터데이터를 생성한다(S1820). 그리고, 유사도 인공지능 모델을 실행하여 유사도 정보를 추출한 후, 그에 대한 벡터데이터를 생성한다(S1830). 생성된 속성관련 벡터데이터와 유사도 관련 벡터데이터는 데이터 검색부에 제공되어 유사상품 검색에 사용된다. 또한, 재입고된 상품이미지를 기반으로 옵션정보 인공지능 모델을 활용하여 해당 상품이미지에 적합한 옵션정보를 획득할 수 있다.

도 20은 재입고 상품 정보를 기준으로 기입력된 상품의 정보를 검색하는 방법을 나타낸 흐름도이다.

도 20을 참조하면, 장치는 재입고된 상품에 대한 벡터데이터 정보를 획득하여(S2010), 유사도 검색 데이터베이스에 저장된, 기존 입고 상품의 벡터데이터에서 조회한다(S2020). 장치는 기저장된 입고상품의 속성벡터 데이터 및 유사도 벡터 데이터와 상기 재입고된 상품의 속성벡터 데이터 및 유사도 벡터 데이터를 비교하여 유사도가 높은 상품을 정렬한 후, 상위 20개 상품을 추출한다(S2030). 이때, 반드시 상위 20개로 한정할 것은 아니고 사용자 설정을 변경하여 30개, 50개, 또는 100개의 상품을 추출할 수도 있다.

추출된 20개 상품으로 범위가 축소되고 나면, 장치는, 상품속성 데이터베이스로부터 20개 상품 내 옵션정보를 추출한다(S2040). 그리고는, 옵션정보 인공지능 모델을 통해 획득된 재입고상품의 옵션정보와 데이터베이스 내의 옵션정보의 매칭을 수행한 뒤, 매핑율이 높은 상품을 높은 순서대로 정렬한 후, 상위 10개 상품을 추출하여(S2050), 추출된 결과를 출력한다(S2060).

도 21은 도 20의 검색결과를 출력한 화면을 나타낸 도면이다.

도 21을 참조하면, 장치는 기존 물류센터 내 적치되어 있는 상품들 중 속성정보, 유사도 정보, 옵션정보 순으로 범위를 축소하여 매칭율이 가장 높은 10개 상품에 대해 다음과 같이 디스플레이 장치 또는 별도 웹서버를 통해 출력한다. 출력되는 정보는 상품매칭 정확도, 상품명, 상품코드, 상품번호, 그리고, 각종 속성정보를 포함할 수 있다.

그리고, 출력화면의 하단에는 상위 랭킹된 상품의 정보가 랭킹 순으로 10개, 또는 사용자 설정에 따라 20개, 50개, 100개가 표시된다. 표시된 상품 중 어느 하나의 상품을 선택하면, 선택된 상품의 정보(상품매칭 정확도, 상품명 등등)가 표시된다. 이때, 바코드 출력 아이콘(미도시)을 클릭하면 현재 표시된 상품의 바코드가 프린터를 통해 출력될 수 있다. 또한 장치는 선택된 상품과 관련된 상품렉 적치위치 및 적치위치까지의 경로와 관련된 정보를 저장하고 있다가 해당 상품을 표시할 때 이를 함께 표시할 수도 있다. 작업자는 이러한 정보를 보고, 재입고 상품의 상품렉으로의 적치를 용이하게 수행할 수 있다.

이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (22)

1. 정보 검색 장치에서의, 전자상거래 기반의 온라인 쇼핑몰과 관련된 입력상품에 대한 정보를 검색하는 방법에 있어서,
   온라인 쇼핑몰과 관련된 복수 개의 상품들에 대한 정보를 수집하는 단계, 상기 복수 개의 상품들에 대한 정보는 상품의 이미지 및 상품의 속성정보를 포함함;
   상기 수집된 복수 개의 상품들에 대한 정보를 기반으로, 상품이미지에 대응하는 상품속성 정보를 획득하기 위한 제 1 인공지능 모델을 학습시키는 단계;
   상기 수집된 복수 개의 상품들에 대한 정보를 기반으로, 특정 상품의 이미지와 유사한 이미지를 검색하는 제 2 인공지능 모델을 학습시키는 단계;
   상기 입력상품의 이미지 정보를 입력하는 단계; 및
   상기 입력상품의 이미지 정보에 대해, 상기 제 1 인공지능 모델 및 상기 제 2 인공지능 모델을 이용하여 상기 입력상품과 연관된 상품정보를 검색하는 단계를 포함하되,
   상기 제 1 인공지능 모델은 복수 개의 속성요소별 속성값들을 독립적으로 벡터화하여 하나로 취합한 제 1 벡터를 기반으로 학습되고,
   상기 제 2 인공지능 모델도 이미지 간의 유사도를 이용하여 생성되는 제 2 벡터를 기반으로 학습되며,
   상기 입력상품과 연관된 상품정보를 검색하는 단계는 상기 입력상품을 기반으로, 상품 속성 기반의 상기 제 1 벡터 - 상기 제 1 인공지능 모델을 이용하여 생성됨 - 와 상품 이미지 기반의 상기 제 2 벡터 - 상기 제 2 인공지능 모델을 이용하여 생성됨 - 를 조합하여 이용함에 의해, 상기 입력 상품과 연관된 상품정보를 검색하는 단계를 포함하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
2. 제 1 항에 있어서,
   상기 상품의 속성정보는 상품의 카테고리 정보, 성별정보, 패턴스타일 정보, 부분적인 특징 정보 및 원단소재 정보 중 적어도 하나를 포함하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
3. 삭제
4. 제 1 항에 있어서,
   상기 제 1 인공지능 모델은 상품 이미지의 분류를 위해 컨볼루션 신경망(CNN: Convolutional Neural Network)을 사용하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
5. 삭제
6. 제 1 항에 있어서,
   상기 복수 개의 속성요소별 속성값들은 카테고리 벡터값, 소재 벡터값, 성별 벡터 값 중 적어도 둘을 포함하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
7. 제 1 항에 있어서,
   상기 제 2 인공지능 모델은 상품의 형태를 변형시키는 처리, 색상을 변형시키는 처리 및 노이즈를 추가하는 처리 중 적어도 하나를 적용하여 생성된 증강데이터를 기반으로 학습되는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
8. 제 7 항에 있어서,
   상기 제 2 인공지능 모델은 유사도와 연관된 벡터의 처리를 위해 컨볼루션 신경망 기반의 이미지검색(CNN-based image retrieval)을 사용하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
9. 제 1 항에 있어서,
   상품의 옵션정보를 기반으로 학습하는 옵션정보 인공지능 모델을 추가적으로 이용하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
10. 제 9 항에 있어서,
    상기 옵션정보 인공지능 모델은 상품이미지와 색상옵션정보를 매칭하여 그룹핑하므로써 학습되며, 컨볼루션 신경망(CNN)을 사용하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
11. 제 1 항에 있어서,
    상기 복수 개의 상품들에 대한 정보 중 상품의 속성정보를 상품정보 데이터베이스에 저장하는 단계; 및
    상기 복수 개의 상품들에 대한 정보를 기반으로 생성된, 상기 제 1 벡터와 관련된 데이터와 상기 제 2 벡터와 관련된 데이터를 유사도 검색 데이터베이스에 저장하는 단계를 더 포함하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
12. 제 11 항에 있어서,
    상기 상품의 속성정보는 상품번호, 상품의 패턴스타일, 상품의 부분특징 및 상품의 원단소재 정보를 나타내는 속성정보 테이블(table)로 생성되어 상기 상품정보 데이터베이스에 저장되는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
13. 제 1 항에 있어서,
    상기 입력상품을 촬영하는 단계; 및
    촬영에 의해, 입력상품의 이미지 정보를 획득하는 단계를 더 포함하되,
    상기 획득되는 입력상품의 이미지 정보는 상기 입력상품을 촬영시 사각형 형태의 촬영 평면의 제 1 모서리와 상기 제 1 모서리의 중심점으로부터 연장되는 중심선을 기반으로 정렬된 형태로 촬영된 이미지 정보를 포함하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
14. 삭제
15. 제 1 항에 있어서, 상기 입력상품과 연관된 상품정보를 검색하는 단계는,
    상기 입력상품의 제 1 벡터 및 상기 입력상품의 제 2 벡터를 유사도 검색 데이터베이스 - 상기 유사도 검색 데이터베이스는 상기 복수 개의 상품들에 대한 제 1 벡터와 관련된 데이터 및 제 2 벡터와 관련된 데이터를 저장함 - 에서 검색하는 단계를 포함하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
16. 제 15 항에 있어서, 상기 입력상품과 연관된 상품정보를 검색하는 단계는,
    유사도가 높은 상위 n개 상품으로 범위를 축소하는 단계; 및
    상기 축소된 범위의 n개 상품에 대해 상품 옵션정보를 기반으로 검색하여 옵션 정보가 매칭되는 상위 m개 상품으로 범위를 축소하는 단계를 포함하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
17. 제 1 항에 있어서,
    상기 검색된 상품정보를 추출하여 웹 서버를 통해 출력하는 단계를 더 포함하되,
    상기 웹 서버를 통해 출력되는 정보는 상품의 기본정보, 속성정보, 유사도 정보 및 옵션정보를 포함하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
18. 제 1 항에 있어서,
    상기 검색된 상품정보를 추출하여 상품바코드를 생성하는 단계; 및
    상기 생성된 상품바코드를 프린터를 이용하여 출력하는 단계를 더 포함하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 방법.
19. 삭제
20. 전자상거래 기반의 온라인 쇼핑몰과 관련된 입력상품에 대한 정보를 검색하는 시스템에 있어서,
    상기 입력상품을 촬영하여 입력상품의 이미지 정보를 획득하는 카메라;
    온라인 쇼핑몰과 관련된 복수 개의 상품들에 대한 정보 - 상기 복수 개의 상품들에 대한 정보는 상품의 이미지 및 상품의 속성정보를 포함함 - 를 수집하여, 상품이미지에 대응하는 상품속성 정보를 획득하기 위한 제 1 인공지능 모델 및 특정 상품의 이미지와 유사한 이미지를 검색하는 제 2 인공지능 모델을 학습시키고, 상기 입력상품의 이미지 정보를 입력하여 상기 제 1 인공지능 모델 및 상기 제 2 인공지능 모델을 이용함에 의해, 상기 입력상품과 연관된 상품정보를 검색하는 서버장치; 및
    상기 검색된 상품정보와 연관된 상품식별정보를 출력하는 프린터를 포함하되,
    상기 제 1 인공지능 모델은 복수 개의 속성요소별 속성값들을 독립적으로 벡터화하여 하나로 취합한 제 1 벡터를 기반으로 학습되고,
    상기 제 2 인공지능 모델도 이미지 간의 유사도를 이용하여 생성되는 제 2 벡터를 기반으로 학습되며, 데이터 검색부는 상기 입력상품을 기반으로 상품 속성 기반의 상기 제 1 벡터 - 상기 제 1 인공지능 모델을 이용하여 생성됨 - 와 상품 이미지 기반의 상기 제 2 벡터 - 상기 제 2 인공지능 모델을 이용하여 생성됨 - 를 조합하여 이용함에 의해, 상기 입력 상품과 연관된 상품정보를 검색하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 시스템.
21. 삭제
22. 전자상거래 기반의 온라인 쇼핑몰과 관련된 입력상품에 대한 정보를 검색하는 장치에 있어서,
    온라인 쇼핑몰과 관련된 복수 개의 상품들에 대한 정보를 수집하는 데이터 수집부, 상기 복수 개의 상품들에 대한 정보는 상품의 이미지 및 상품의 속성정보를 포함함;
    상기 수집된 복수 개의 상품들에 대한 정보를 기반으로, 상품이미지에 대응하는 상품속성 정보를 획득하기 위한 제 1 인공지능 모델을 학습시키고, 상기 수집된 복수 개의 상품들에 대한 정보를 기반으로, 특정 상품의 이미지와 유사 이미지를 검색하는 제 2 인공지능 모델을 학습시키는 인공지능 모델 학습부;
    상기 입력상품의 이미지 정보를 입력하는 이미지 입력부; 및
    상기 입력상품의 이미지 정보에 대해, 상기 제 1 인공지능 모델 및 상기 제 2 인공지능 모델을 이용하여 상기 입력상품과 연관된 상품정보를 검색하는 데이터 검색부를 포함하되,
    상기 제 1 인공지능 모델은 복수 개의 속성요소별 속성값들을 독립적으로 벡터화하여 하나로 취합한 제 1 벡터를 기반으로 학습되고,
    상기 제 2 인공지능 모델도 이미지 간의 유사도를 이용하여 생성되는 제 2 벡터를 기반으로 학습되며,
    상기 데이터 검색부는 상기 입력상품을 기반으로 상품 속성 기반의 상기 제 1 벡터 - 상기 제 1 인공지능 모델을 이용하여 생성됨 - 와 상품 이미지 기반의 상기 제 2 벡터 - 상기 제 2 인공지능 모델을 이용하여 생성됨 - 를 조합하여 이용함에 의해, 상기 입력 상품과 연관된 상품정보를 검색하는 온라인 쇼핑몰과 관련된 입력상품에 대한 정보 검색 장치.
    

Images