KR102507719B1 - 협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템 - Google Patents

Abstract

본 발명은 협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템에 관한 것으로, 본 발명의 일 실시예에서는, 웹 서버, 데이터 관리서버 및 학습 서버를 포함하고, 협업형 다중 에이전트 강화학습 방법을 이용하여 패션상품을 추천하는 패션상품 추천시스템에 있어서, 상기 웹 서버는, 사용자가 원하는 패션상품을 선택하도록 사용자 단말기로 패션상품 선택 인터페이스를 제공하고, 사용자가 선택한 패션상품을 검색하며, 패션상품 추천목록을 상기 사용자 단말기로 제공하고, 상기 데이터 관리서버는, 상기 웹 서버로부터 패션상품의 검색결과를 전달받아 기 구축된 데이터셋에서 상기 패션상품에 대한 임베딩 벡터값을 조회하고, 상기 학습 서버로 상기 임베딩 벡터값을 전달하며, 상기 학습서버로부터 입력받은 강화학습 결과 값으로 상기 데이터셋에서 상기 패션상품의 이미지를 조회하여 상기 패션상품 추천목록을 생성하고, 상기 학습 서버는, 상기 데이터 관리서버로부터 상기 임베딩 벡터값을 입력받아 패션상품별 에이전트에 전달하고, 협업형 다중 에이전트 강화학습 모델을 이용하여 각각의 패션상품별 에이전트들이 패션상품을 추천하는 강화학습 결과 값을 산출하여 상기 데이터 관리서버에 전달하는, 협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템을 제공한다.

Description

협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템{Fashion Item Recommendation System}

본 발명은 협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템에 관한 것이다.

일반적으로, 각 가정에는 개인의 옷장이나 집에는 구두, 옷, 허리띠, 가방, 넥타이 및 스카프 등의 액세서리를 포함하는 패션 아이템이 보관되어 있다. 이러한 옷 등의 패션 아이템들을 매 계절마다 옷을 바꾸거나 정리하여 입는 것이 보통이나, 통상적으로 자신이 잘 입는 스타일과 옷만 계속 입는 경향이 있고, 전문 패션 코디네이터가 제안한 것이 아닌, 일반인이 자신의 의견대로 옷을 고르다 보면 상황에 맞지 않는 옷을 착용하게 되거나 액세서리와 어울리지 않는 경우가 종종 발생하게 된다. 이에, 패션 아이템을 추천하는 시스템이 개발되었다.

기존의 추천 시스템은 협업 필터링과 콘텐츠 기반 필터링과 같은 방법으로 추천하고 있다. 여기서, 협업 필터링은 다수의 사용자의 구매이력을 분석하여 사용자간 유사성 및 아이템 간 유사성을 파악하여 추천을 하는 방법이고, 콘텐츠 기반 필터링은 구매한 상품과 유사성을 가진 아이템을 추천해주는 방식이다.

이와 같은, 기존의 추천 시스템은 단일 모델이 구매이력을 기반으로 학습을 한 후, 사용자에게 상품을 추천해 주기 때문에 속성이 다른 여러 상품을 동시에 추천해줄 때는 문제점이 있다. 특히, 사용자의 취향에 최적화되어 있다고 볼 수 없으며, 사용자가 선호하는 상의의 스타일과 선호하는 하의의 스타일이 다를 경우 사용자에게 적절하게 추천을 해줄 수 없다.

또한, 상품을 추천하기 위한 데이터셋을 구성할 때, 아직까지 사용자가 라벨링을 하는 방식을 주로 사용하므로, 상품에 대한 설명과 같은 컨텍스트를 사용자가 직접 입력을 해야 하는 번거로움이 있다.

대한민국 등록특허 제10-0967157호

본 발명이 해결하고자 하는 기술적 과제는 협업형 다중 에이전트 강화학습 방법을 이용하여 패션상품을 추천하는 협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 기술적 과제는 패션상품별 에이전트들이 조화를 이루면서 사용자 개개인에 최적화된 패션상품을 추천하는 협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 기술적 과제는 새로운 상품이 입고되었을 때, 자동으로 상품에 대한 설명과 같은 컨텍스트가 생성되어 같이 데이터베이스화 되게 함으로써 추천 시스템의 성능을 향상시키는 협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템을 제공하는 것이다.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에서는, 웹 서버, 데이터 관리서버 및 학습 서버를 포함하고, 협업형 다중 에이전트 강화학습 방법을 이용하여 패션상품을 추천하는 패션상품 추천시스템에 있어서, 상기 웹 서버는, 사용자가 원하는 패션상품을 선택하도록 사용자 단말기로 패션상품 선택 인터페이스를 제공하고, 사용자가 선택한 패션상품을 검색하며, 패션상품 추천목록을 상기 사용자 단말기로 제공하고, 상기 데이터 관리서버는, 상기 웹 서버로부터 패션상품의 검색결과를 전달받아 기 구축된 데이터셋에서 상기 패션상품에 대한 임베딩 벡터값을 조회하고, 상기 학습 서버로 상기 임베딩 벡터값을 전달하며, 상기 학습서버로부터 입력받은 강화학습 결과 값으로 상기 데이터셋에서 상기 패션상품의 이미지를 조회하여 상기 패션상품 추천목록을 생성하고, 상기 학습 서버는, 상기 데이터 관리서버로부터 상기 임베딩 벡터값을 입력받아 패션상품별 에이전트에 전달하고, 협업형 다중 에이전트 강화학습 모델을 이용하여 각각의 패션상품별 에이전트들이 패션상품을 추천하는 강화학습 결과 값을 산출하여 상기 데이터 관리서버에 전달하는, 협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템을 제공한다.

본 발명의 실시예에 있어서, 상기 데이터 관리서버는, 학습 모드에서 패션상품 매니저로부터 패션상품의 이미지를 입력받아 이미지 전처리 및 인코딩하여 제1 이미지 임베딩 벡터를 산출하고, 상기 패션상품의 설명 텍스트를 입력받아 워드 전처리 및 워드 임베딩하여 워드 임베딩 벡터를 산출하며, 상기 제1 이미지 임베딩 벡터 및 상기 워드 임베딩 벡터를 저장하여 상기 데이터셋을 구축하고, 운영 모드에서 패션상품 매니저로부터 패션상품의 이미지를 입력받아 전처리 및 인코딩하여 제2 이미지 임베딩 벡터를 산출하고, 상기 제2 이미지 임베딩 벡터를 상기 데이터셋에서 조회하여 중복 여부를 판단하며, 중복되지 않을 경우 상기 데이터셋에 상기 제2 이미지 임베딩 벡터를 저장할 수 있다.

본 발명의 실시예에 있어서, 상기 이미지 전처리는, 배경 제거, 화질 개선, 세그멘테이션 중 적어도 하나의 방법을 이용하여 상기 패션상품의 이미지를 추출하고, 상기 워드 전처리는, 토큰화 및 주제어 추출 중 적어도 하나의 방법을 이용하여 상기 패션상품의 설명 텍스트를 추출할 수 있다.

본 발명의 실시예에 있어서, 상기 협업형 다중 에이전트 강화학습 모델은, 사용자 개개인에게 배정되는 각각의 패션상품에 특화된 복수의 패션상품 에이전트 모듈과, 상기 복수의 패션상품 에이전트 모듈을 중앙에서 조율하는 중앙 관리 매니저 모듈을 포함할 수 있다.

본 발명의 실시예에 따르면, 협업형 다중 에이전트 강화학습 방법을 이용하여 패션상품을 추천할 수 있다.

또한, 본 발명의 실시예에 따르면, 패션상품별 에이전트들이 조화를 이루면서 사용자 개개인에 최적화된 패션상품을 추천할 수 있다.

또한, 본 발명의 실시예에 따르면, 새로운 상품이 입고되었을 때, 자동으로 상품에 대한 설명과 같은 컨텍스트가 생성되어 같이 데이터베이스화 되게 함으로써 추천 시스템의 성능을 향상시킬 수 있다.

또한, 본 발명의 실시예에 따르면, 패션상품별로 특수화된 추천 시스템을 구축하고 서로 잘 어울리는 아이템을 추천함으로써 사용자 만족도를 높일 수 있다.

또한, 본 발명의 실시예에 따르면, 다른 사용자의 취향이 아닌 오직 나만의 전문 코디들(에이전트들)이 추천해 주기 때문에 사용자 만족도가 높아질 수 있다.

또한, 본 발명의 실시예에 따르면, 패션상품을 데이터베이스화하기 위해서 이미지를 활용해 자동으로 등록함으로써 생산성이 향상될 수 있다.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 따른 협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 데이터셋을 구축하는 방법을 개념적으로 나타내는 도면이다.
도 3은 학습모드에서 데이터셋을 구축하는 방법을 나타내는 도면이다.
도 4는 운영모드에서 데이터셋을 구축하는 방법을 나타내는 도면이다.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템의 구성을 나타내는 도면이다. 도 2는 본 발명의 일 실시예에 따라 데이터셋을 구축하는 방법을 개념적으로 나타내는 도면이다. 도 3은 학습모드에서 데이터셋을 구축하는 방법을 나타내는 도면이다. 도 4는 운영모드에서 데이터셋을 구축하는 방법을 나타내는 도면이다.

도 1 내지 도 4를 참조하면, 발명의 일 실시예에 따른 협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템은 협업형 다중 에이전트 강화학습 방법을 이용하여 패션상품을 추천하기 위하여, 웹 서버(100), 데이터 관리서버(200) 및 학습 서버(300)를 포함할 수 있다.

구체적으로, 상기 웹 서버(100)는 사용자가 원하는 패션상품을 선택하도록 사용자 단말기로 패션상품 선택 인터페이스를 제공하고, 사용자가 선택한 패션상품을 검색하며, 패션상품 추천목록을 상기 사용자 단말기(50)로 제공할 수 있다.

상기 데이터 관리서버(200)는 상기 웹 서버(100)로부터 패션상품의 검색결과를 전달받아 기 구축된 데이터셋에서 상기 패션상품에 대한 임베딩 벡터값을 조회하고, 상기 학습 서버(300)로 상기 임베딩 벡터값을 전달하며, 상기 학습 서버(300)로부터 입력받은 강화학습 결과 값으로 상기 데이터셋에서 상기 패션상품의 이미지를 조회하여 상기 패션상품 추천목록을 생성할 수 있다.

여기서, 상기 데이터 관리서버(200)는 도 3에 도시된 바와 같이 학습 모드에서 패션상품 매니저로부터 패션상품의 이미지를 입력받아 이미지 전처리 및 인코딩하여 제1 이미지 임베딩 벡터를 산출하고, 상기 패션상품의 설명 텍스트를 입력받아 워드 전처리 및 워드 임베딩하여 워드 임베딩 벡터를 산출하며, 상기 제1 이미지 임베딩 벡터 및 상기 워드 임베딩 벡터를 저장하여 상기 데이터셋을 구축할 수 있다. 이때, 상기 이미지 전처리는 배경 제거, 화질 개선, 세그멘테이션 중 적어도 하나의 방법을 이용하여 상기 패션상품의 이미지를 추출하고, 상기 워드 전처리는 토큰화 및 주제어 추출 중 적어도 하나의 방법을 이용하여 상기 패션상품의 설명 텍스트를 추출할 수 있다.

또한, 상기 데이터 관리서버(200)는 산출된 상기 제1 이미지 임베딩 벡터 및/또는 상기 워드 임베딩 벡터에 손실 함수를 적용한 후 다시 인코딩하여 상기 제1 이미지 임베딩 벡터 및/또는 상기 워드 임베딩 벡터를 재산출할 수 있다.

또한, 상기 데이터 관리서버(200)는 도 4에 도시된 바와 같이 운영 모드에서 패션상품 매니저로부터 패션상품의 이미지를 입력받아 전처리 및 인코딩하여 제2 이미지 임베딩 벡터를 산출하고, 상기 제2 이미지 임베딩 벡터를 상기 데이터셋에서 조회하여 중복 여부를 판단하며, 중복되지 않을 경우 상기 데이터셋에 상기 제2 이미지 임베딩 벡터를 저장할 수 있다.

상기 학습 서버(300)는 상기 데이터 관리서버(200)로부터 상기 임베딩 벡터값을 입력받아 패션상품별 에이전트에 전달하고, 협업형 다중 에이전트 강화학습 모델을 이용하여 각각의 패션상품별 에이전트들이 패션상품을 추천하는 강화학습 결과 값을 산출하여 상기 데이터 관리서버(200)에 전달할 수 있다.

여기서, 상기 학습 서버(300)는 사용자 개개인에게 배정되는 각각의 패션상품에 특화된 복수의 패션상품 에이전트 모듈과, 상기 복수의 패션상품 에이전트 모듈을 중앙에서 조율하는 중앙 관리 매니저 모듈을 포함할 수 있다.

상기 복수의 패션상품 에이전트 모듈은 하의 담당 에이전트, 상의 담당 에이전트, 원피스 담당 에이전트 등과 같이 각 패션상품별로 특화된 상품을 추천할 수 있다. 특히, 상기 웹 서버(100)는 협업형 다중 에이전트를 기반함으로써 다중 에이전트들이 서로 협력하여 사용자에게 패션 아이템을 제안함으로써 제안된 각 패션 아이템들이 서로 잘 어울리도록 추천할 수 있다.

상기 중앙 관리 매니저 모듈은 사용자별 코디네이터들의 경험이 다른 사용자의 담당 코디네이터들에게도 전달될 수 있도록 각 코디네이터들이 학습한 내용을 수집할 수 있다. 또한, 상기 중앙 관리 매니저 모듈은 신규 사용자가 유입될 경우, 새로 생성되어 배정된 코디네이터들에게 수집된 경험을 전달할 수 있다. 또한, 상기 중앙 관리 매니저 모듈은 사용자 반응이 좋지 못한 코디네이터들이 간접학습 할 수 있도록 경험을 지도할 수 있다.

사용자는 상기 사용자 단말기(50)를 통해 수신한 패션상품 추천목록을 확인하고, 추천된 패션상품을 선택할 것인지 판단하여 추천된 패션상품을 구매할 수 있다.

본 발명의 실시예에 따르면, 협업형 다중 에이전트 강화학습 방법을 이용하여 패션상품을 추천할 수 있다.

또한, 본 발명의 실시예에 따르면, 패션상품별 에이전트들이 조화를 이루면서 사용자 개개인에 최적화된 패션상품을 추천할 수 있다.

또한, 본 발명의 실시예에 따르면, 새로운 상품이 입고되었을 때, 자동으로 상품에 대한 설명과 같은 컨텍스트가 생성되어 같이 데이터베이스화 되게 함으로써 추천 시스템의 성능을 향상시킬 수 있다.

또한, 본 발명의 실시예에 따르면, 패션상품별로 특수화된 추천 시스템을 구축하고 서로 잘 어울리는 아이템을 추천함으로써 사용자 만족도를 높일 수 있다.

또한, 본 발명의 실시예에 따르면, 다른 사용자의 취향이 아닌 오직 나만의 전문 코디들(에이전트들)이 추천해 주기 때문에 사용자 만족도가 높아질 수 있다.

또한, 본 발명의 실시예에 따르면, 패션상품을 데이터베이스화하기 위해서 이미지를 활용해 자동으로 등록함으로써 생산성이 향상될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 웹 서버
200: 데이터 관리서버
300: 학습 서버

Claims (4)

1. 웹 서버, 데이터 관리서버 및 학습 서버를 포함하고, 협업형 다중 에이전트 강화학습 방법을 이용하여 패션상품을 추천하는 패션상품 추천시스템에 있어서,
   상기 웹 서버는,
   사용자가 원하는 패션상품을 선택하도록 사용자 단말기로 패션상품 선택 인터페이스를 제공하고, 사용자가 선택한 패션상품을 검색하며, 패션상품 추천목록을 상기 사용자 단말기로 제공하고,
   상기 데이터 관리서버는,
   상기 웹 서버로부터 패션상품의 검색결과를 전달받아 기 구축된 데이터셋에서 상기 패션상품에 대한 임베딩 벡터값을 조회하고, 상기 학습 서버로 상기 임베딩 벡터값을 전달하며, 상기 학습 서버로부터 입력받은 강화학습 결과 값으로 상기 데이터셋에서 상기 패션상품의 이미지를 조회하여 상기 패션상품 추천목록을 생성하고,
   상기 학습 서버는,
   상기 데이터 관리서버로부터 상기 임베딩 벡터값을 입력받아 패션상품별 에이전트에 전달하고, 사용자 개개인에게 배정되는 각각의 패션상품에 특화된 복수의 패션상품 에이전트 모듈과, 상기 복수의 패션상품 에이전트 모듈을 중앙에서 조율하는 중앙 관리 매니저 모듈을 포함하는 협업형 다중 에이전트 강화학습 모델을 이용하여 각각의 패션상품별 에이전트들이 패션상품을 추천하는 강화학습 결과 값을 산출하여 상기 데이터 관리서버에 전달하며,
   상기 데이터 관리서버는,
   학습 모드에서 패션상품 매니저로부터 패션상품의 이미지를 입력받아 이미지 전처리 및 인코딩하여 제1 이미지 임베딩 벡터를 산출하고, 상기 패션상품의 설명 텍스트를 입력받아 워드 전처리 및 워드 임베딩하여 워드 임베딩 벡터를 산출하며, 상기 제1 이미지 임베딩 벡터 및 상기 워드 임베딩 벡터를 저장하여 상기 데이터셋을 구축하고,
   운영 모드에서 패션상품 매니저로부터 패션상품의 이미지를 입력받아 전처리 및 인코딩하여 제2 이미지 임베딩 벡터를 산출하고, 상기 제2 이미지 임베딩 벡터를 상기 데이터셋에서 조회하여 중복 여부를 판단하며, 중복되지 않을 경우 상기 데이터셋에 상기 제2 이미지 임베딩 벡터를 저장하며,
   상기 이미지 전처리는,
   배경 제거, 화질 개선, 세그멘테이션 중 적어도 하나의 방법을 이용하여 상기 패션상품의 이미지를 추출하고,
   상기 워드 전처리는,
   토큰화 및 주제어 추출 중 적어도 하나의 방법을 이용하여 상기 패션상품의 설명 텍스트를 추출하며,
   상기 복수의 패션상품 에이전트 모듈은,
   하의 담당 에이전트, 상의 담당 에이전트, 원피스 담당 에이전트를 포함하는 다중 에이전트들이 서로 협력하여 사용자에 각각 패션 아이템을 제안함과 동시에 각 패션 아이템들이 서로 잘 어울리도록 추천하고,
   상기 중앙 관리 매니저 모듈은,
   사용자별 코디네이터들의 경험이 다른 사용자의 담당 코디네이터들에게 전달되도록 각 코디네이터들이 학습한 내용을 수집하고, 신규 사용자가 유입될 경우 새로 생성되어 배정된 코디네이터들에게 수집된 경험을 전달하고, 사용자 반응이 좋지 못한 코디네이터들의 간접학습을 위하여 경험을 지도하는 것을 특징으로 하는,
   협업형 다중 에이전트 강화학습 방법을 이용한 패션상품 추천시스템.
   
2. 삭제
3. 삭제
4. 삭제

Images