KR20210133818A - 딥러닝 인공지능 기반의 음성인식 쇼핑 서비스 제공 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따르면, 사용자 단말기에 결합되어, 상기 사용자 단말기로부터 입력 받은 사용자 임의의 메시지를 분석하여 상품 검색 조건을 설정하는 사용자 입력 인식 모듈; 상기 상품 검색 조건에 대응되는 상품을 선별한 결과인 추천 상품 정보를 상기 사용자 단말기에 디스플레이 되도록 하는 상품 추천 모듈; 및 상기 사용자 단말기에 의해 상기 추천 상품이 선택되었을 시, 이에 대한 최대 혜택이 자동으로 반영된 최종 결제 금액을 산정하여, 상기 선택된 상품의 정보 및 상기 최종 결제 금액을 포함하는 상품 주문서를 생성하는 주문서 생성 모듈을 실행시키기 위하여 상기 사용자 단말기에 저장된, 서비스 제공 애플리케이션이 제공된다.

Description

딥러닝 인공지능 기반의 음성인식 쇼핑 서비스 제공 방법{method for providing voice recognition shopping service based on deep learning AI}

본 발명은 딥러닝 인공지능 기반의 음성인식 쇼핑 서비스 제공 방법 및 시스템에 관한 것으로, 더욱 상세하게는, 메신저 인터페이스를 통해 사용자로부터 음성으로 주문 정보를 입력받고, 자동으로 상품 추천 정보를 제공하는 애플리케이션을 제공함으로써, 사용자의 쇼핑 편의성을 향상시킬 수 있는 기술에 관한 것이다.

전자상거래가 활발해진 최근, 소비자들의 이용 편의성과 만족도를 향상시키고, 상품 구매를 촉진시키기 위한 다양한 쇼핑 서비스들이 개발되고 있다.

대표적으로, 삼성에서 제공하는 '패밀리허브 냉장고' 서비스는 소비자가 원하는 식료품 구매 정보와 관련된 특정 키워드를 소비자로부터 음성으로 입력 받아, 해당 식료품을 삼성페이로 결제 가능하도록 하고 있다.

또한, 스타벅스에서는 인공지능 기술을 적용한 커피 주문 서비스를 개발중이며, 이는 소비자로부터 음성 입력 또는 채팅 입력을 통해 커피를 주문 가능하도록 하고 있다.

그러나, 이러한 종래의 기술들은 해당 서비스를 제공받기 위하여 소비자가 입력할 수 있는 키워드가 매우 한정적이므로, 해당 키워드들에 대한 사전 숙지가 필요하기 때문에 일반적인 웹 브라우저를 통한 쇼핑보다 불편함을 느낄 수 밖에 없어 소비자들의 이용을 꾀하기 어려운 문제점이 있다.

뿐만 아니라, 종래의 기술들은 상품 검색 시, 단순히 입력된 키워드들의 카테고리만을 인식하여 검색된 상품들을 노출시킬 뿐, 검색 조건을 세밀하게 설정하기 어렵기 때문에, 사용자가 원하는 성별, 연령대, 스타일 등에 적합한 상품들을 추천하기에 부적합하기도 하다.

한편, 자연어 처리(Natural Language Processing, NLP)란 인간이 발화하는 언어 현상을 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만드는 자연 언어 이해 혹은 그러한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 제반 기술을 의미 한다. 자연어 처리 방식 중 인공신경망 방식은, 최근 들어 부상하고 있는 딥러닝(DeepLearning)을 이용하는데, 딥러닝을 이용한 방식은 입력 문장과 출력 문장을 하나의 쌍으로 두고, 가장 적합한 표현 및 번역 결과를 찾는 방식인데, 이를 위하여 목소리와 이를 전사한 스크립트가 하나의 쌍으로 학습에 이용된다.

이에 따라, 사용자로부터 음성, 채팅 등 다양한 수단을 통해 입력받은 키워드들을 세밀하게 분석하고, 그 결과를 토대로 사용자가 필요로 하는 조건에 가장 적합한 상품들을 자동으로 추천 가능한 기술이 요구되고 있는 실정이다.

본 발명은 전술한 종래기술의 문제점을 해결하기 위한 것으로, 사용자로부터 임의의 메시지를 입력 받아 각 어절별로 그 의미를 분석하여 성별, 연령대, 상품 카테고리, 상품 브랜드 등과 같은 검색 옵션을 자동으로 설정하고, 이에 적합한 상품 추천 정보를 제공함으로써, 사용자가 사전에 서비스 이용 키워드를 숙지해야 하는 불편함을 해소하는 것을 목적으로 한다.

또한, 본 발명은 사용자가 음성 인식 기능을 통해 상품 검색, 상품 선택, 배송 관련 정보 설정, 결제 등과 같은 쇼핑 프로세스를 모두 수행할 수 있도록 지원함으로써, 사용자의 이용 편의성을 향상시키는 것을 목적으로 한다.

뿐만 아니라, 본 발명은 사용자의 기존 쇼핑 정보를 기반으로 해당 사용자에게 개인화된 추천 상품 정보를 제공하며, 사용자가 상품 이미지를 이용하여 검색을 수행하였을 시 해당 이미지에 대한 분석을 통해 유사 상품 검색 옵션을 자동으로 추출함으로써, 사용자의 이용 만족도를 향상시키는 것을 목적으로 한다.

또한, 본 발명에서는, 음성인식 딥러닝에서 입력 데이터로 요구되는 음성과 텍스트의 쌍을 생성하기 위하여, 음성을 텍스트로 변환하는 전사과정을 제거하여 음성인식 딥러닝의 학습결과의 오류를 최소화하고, 더 나아가 음성인식의 인식률을 높일 수 있도록 하는, 인공지능 음성인식 딥러닝을 위한 콜센터의 음성 및 텍스트간 역전사 서비스 제공 방법을 제공할 수 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 사용자 단말기에 결합되어, 상기 사용자 단말기로부터 입력 받은 사용자 임의의 메시지를 분석하여 상품 검색 조건을 설정하는 사용자 입력 인식 모듈; 상기 상품 검색 조건에 대응되는 상품을 선별한 결과인 추천 상품 정보를 상기 사용자 단말기에 디스플레이 되도록 하는 상품 추천 모듈; 및 상기 사용자 단말기에 의해 상기 추천 상품이 선택되었을 시, 이에 대한 최대 혜택이 자동으로 반영된 최종 결제 금액을 산정하여, 상기 선택된 상품의 정보 및 상기 최종 결제 금액을 포함하는 상품 주문서를 생성하는 주문서 생성 모듈을 실행시키기 위하여 상기 사용자 단말기에 저장된, 서비스 제공 애플리케이*이 제공된다.

상기 사용자 임의의 메시지는, 문자 메시지, 음성 메시지 및 이미지 정보 중 일 이상을 포함할 수 있다.

상기 사용자 임의의 메시지는, 별도로 지정된 키워드에 한정되지 않고, 상기 사용자의 구어체로 자유롭게 입력 가능한 것일 수 있다.

상기 사용자 임의의 메시지 분석은, 상기 사용자 단말기로부터 입력 받은 문자 메시지 또는 음성 메시지를 각 어절별로 분석하여, 이를 통해 상품의 성별 조건, 연령 조건, 브랜드 조건 및 카테고리 조건 중 일 이상을 판정하는 것일 수 있다.

상기 사용자 임의의 메시지 분석은, 상기 사용자 단말기로부터 입력 받은 이미지의 모양, 길이 및 패턴 중 일 이상을 분석하여, 상품의 카테고리 조건, 성별 조건 및 스타일 조건 중 일 이상을 판정하는 것일 수 있다.

상기 상품 추천 모듈은, 상기 사용자의 기존 서비스 이용 내역을 기반으로 분석한 상기 사용자의 개별 선호 정보를 반영하여 상기 추천 상품을 선별할 수 있다.

상기 상품 추천 모듈은, 상기 사용자에 의해 특정 상품이 장바구니 상품으로 지정되었을 시, 상기 장바구니 상품을 구매한 또 다른 사용자들이 함께 구매하였던 상품들의 정보를 더 제공할 수 있다.

상기 서비스 제공 애플리케이션은, 상기 사용자가 가상의 대화 상대와 대화를 주고받는 형태인 메신저 형태의 인터페이스를 제공하는 인터페이스 제공 모듈을 더 포함할 수 있다.

상기 서비스 제공 애플리케이션은, 상기 사용자로 하여금 음성 인식 기능을 통해 쇼핑 프로세스를 모두 수행 가능하도록 지원할 수 있다.

상기 사용자 입력 인식 모듈은, 상기 사용자 임의의 메시지를 분석하여 배송지 선택 정보 및 결제수단 선택 정보 중 일 이상을 더 설정할 수 있다.

상술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 서비스 제공 애플리케이*이 사용자에게 스마트 음성인식 쇼핑 서비스를 제공하는 방법에 있어서, (a) 사용자 단말기로부터 입력 받은 사용자 임의의 메시지를 분석하여 상품 검색 조건을 설정하는 단계; (b) 상기 상품 검색 조건에 대응되는 상품을 선별한 결과인 추천 상품 정보를 상기 사용자 단말기에 디스플레이 되도록 하는 단계; 및 (c) 상기 사용자 단말기에 의해 상기 추천 상품이 선택되었을 시, 이에 대한 최대 혜택이 자동으로 반영된 최종 결제 금액을 산정하여, 상기 선택된 상품의 정보 및 상기 최종 결제 금액을 포함하는 상품 주문서를 생성하는 단계를 포함하는, 방법이 제공된다.

상기 사용자 임의의 메시지는, 문자 메시지, 음성 메시지 및 이미지 정보 중 일 이상을 포함할 수 있다.

상기 사용자 임의의 메시지는, 별도로 지정된 키워드에 한정되지 않고, 상기 사용자의 구어체로 자유롭게 입력 가능한 것일 수 있다.

상기 사용자 임의의 메시지 분석은, 상기 사용자 단말기로부터 입력 받은 문자 메시지 또는 음성 메시지를 각 어절별로 분석하여, 이를 통해 상품의 성별 조건, 연령 조건, 브랜드 조건 및 카테고리 조건 중 일 이상을 판정하는 것일 수 있다.

상기 사용자 임의의 메시지 분석은, 상기 사용자 단말기로부터 입력 받은 이미지의 모양, 길이 및 패턴 중 일 이상을 분석하여, 상품의 카테고리 조건, 성별 조건 및 스타일 조건 중 일 이상을 판정하는 것일 수 있다.

상기 (b) 단계는, 상기 사용자의 기존 서비스 이용 내역을 기반으로 분석한 상기 사용자의 개별 선호 정보를 반영하여 상기 추천 상품을 선별하는 단계를 더 포함할 수 있다.

상기 (b) 단계는, 상기 사용자에 의해 특정 상품이 장바구니 상품으로 지정되었을 시, 상기 장바구니 상품을 구매한 또 다른 사용자들이 함께 구매하였던 상품들의 정보를 더 제공하는 단계를 더 포함할 수 있다.

상기 서비스 제공 애플리케이션은, 상기 사용자가 가상의 대화 상대와 대화를 주고받는 형태인 메신저 형태의 인터페이스를 제공할 수 있다.

상기 서비스 제공 애플리케이션은, 상기 사용자로 하여금 음성 인식 기능을 통해 쇼핑 프로세스를 모두 수행 가능하도록 지원할 수 있다.

상기 (a) 단계는, 상기 사용자 임의의 메시지를 분석하여 배송지 선택 정보 및 결제수단 선택 정보 중 일 이상을 더 설정하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따르면, 사용자로부터 임의의 메시지를 입력 받아 각 어절별로 그 의미를 분석하여 성별, 연령대, 상품 카테고리, 상품 브랜드 등과 같은 검색 옵션을 자동으로 설정하고, 이에 적합한 상품 추천 정보를 제공함으로써, 사용자가 사전에 서비스 이용 키워드를 숙지해야 하는 불편함을 해소할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 사용자가 음성 인식 기능을 통해 상품 검색, 상품 선택, 배송 관련 정보 설정, 결제 등과 같은 쇼핑 프로세스를 모두 수행할 수 있도록 지원함으로써, 사용자의 이용 편의성을 향상시킬 수 있다.

뿐만 아니라, 본 발명의 일 실시예에 따르면, 사용자의 기존 쇼핑 정보를 기반으로 해당 사용자에게 개인화된 추천 상품 정보를 제공하며, 사용자가 상품 이미지를 이용하여 검색을 수행하였을 시 해당 이미지에 대한 분석을 통해 유사 상품 검색 옵션을 자동으로 추출함으로써, 사용자의 이용 만족도를 향상시킬 수 있다.

또한, 제공된 내용을 가지고 역전사 방식을 이용함으로써, 음성인식 딥러닝의 학습결과를 높여 음성인식의 정확도를 높임과 동시에 전사 과정을 제거하여 인력소모 및 비용낭비를 획기적으로 절감해줄 수 있다.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 따른 스마트 음성인식 쇼핑 서비스 제공 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 서비스 제공 애플리케이션의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따라, 서비스 제공 애플리케이션을 통해 배송지 선택 정보가 입력되는 과정의 예시를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 서비스 제공 애플리케이션의 음성 정보 입력 인터페이스 예시를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따라, 서비스 제공 애플리케이션을 통해 결제수단 선택 정보가 입력되는 과정의 예시를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따라, 서비스 제공 애플리케이션을 통해 상품이 검색되는 과정의 예시를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따라, 서비스 제공 애플리케이션을 통해 상품 주문서가 생성되기 위한 물품 구매 정보가 입력되는 과정의 예시를 도시한 도면이다.
도 8 내지 11은 본 발명의 일 실시예에 따른 음성인식 기반 장치에서 CNN을 통해 기계학습을 수행하는 경우, CNN에 입력되는 입력 데이터의 전처리를 과정 등을 보인 도면이다.

이하에서 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 “직접적으로 연결”되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 “간접적으로 연결”되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 스마트 음성인식 쇼핑 서비스 제공 시스템의 구성을 개략적으로 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 스마트 음성인식 쇼핑 서비스 제공 시스템은 사용자 단말기(100) 및 쇼핑몰 서버(200)를 포함할 수 있다.

먼저, 사용자 단말기(100) 및 쇼핑몰 서버(200)는 각각 통신망으로 연결되어 있을 수 있으며, 여기서, 통신망은 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있다. 근거리 통신망(LAN : Local Area Network), 도시권 통신망(MAN : Metropolitan Area Network), 광역 통신망(WAN : Wide Area Network) 등 다양한 통신망으로 구성될 수 있다.

사용자 단말기(100)는 휴대폰, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC 등과 같이 네트워크를 통하여 쇼핑몰 서버(200) 등의 외부 서버와 연결될 수 있는 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있으며, 이 외에도 데스크탑 PC, 태블릿 PC, 랩탑 PC, 셋탑 박스를 포함하는 IPTV와 같이, 네트워크를 통하여 쇼핑몰 서버(200) 등의 외부 서버와 연결될 수 있는 통신 장치도 포함할 수 있다.

또한, 사용자 단말기(100)는 애플리케이션 구동이 가능하고, 사용자로부터 입력되는 음성 신호를 인식 가능한 모든 장치가 포함될 수 있다.

사용자 단말기(100)에는 스마트 음성인식 쇼핑 서비스를 제공하는 서비스 제공 애플리케이션이 설치되어 메모리에 저장될 수 있다. 예를 들어, 사용자 단말기(100)는 통신망을 통해 각종 애플리케이션이 업로드 되어 있는 앱 스토어 서버(미도시)에 접속한 후 서비스 제공 애플리케이션을 다운로드 하여 설치할 수 있으며, 사용자는 상기 서비스 제공 애플리케이션을 통해 본 발명의 스마트 음성인식 쇼핑 서비스를 제공받을 수 있다.

사용자 단말기(100)는 서비스 제공 애플리케이션으로부터 제공되는 인터페이스를 자체 화면에 디스플레이 할 수 있으며, 이를 통해 사용자로부터 문자 정보, 음성 정보, 이미지 정보 등을 입력받거나, 인터페이스에 표시되는 버튼들 중 일부를 선택받을 수도 있다.

또한, 사용자 단말기(100)는 서비스 제공 애플리케이션을 통해 쇼핑몰 서버(200)와 통신함으로써, 상품, 배송, 결제 등과 관련된 정보인 쇼핑 관련 정보를 디스플레이 할 수도 있다.

상기 사용자 단말기(100)에 설치된 서비스 제공 애플리케이션이 쇼핑몰 서버(200)와 통신하여, 본 발명의 스마트 음성인식 쇼핑 서비스를 제공하는 프로세스와 관련된 상세한 내용은 추후 도 2를 참조하여 설명하기로 한다.

쇼핑몰 서버(200)는 온라인 쇼핑몰을 운영하는 서버로서, 서비스 제공 애플리케이*을 통해 사용자 단말기(100)에 스마트 음성인식 쇼핑 서비스를 제공하는 서버일 수 있다.

쇼핑몰 서버(200)는 쇼핑몰에서 판매되는 상품들의 상품 이미지, 카테고리 정보, 옵션 정보, 가격 정보, 할인혜택 정보, 적립혜택 정보, 판매순위 정보 등과 같은 상품 관련 정보를 서비스 제공 애플리케이션을 통해 사용자 단말기(100)에 제공할 수 있다.

또한, 쇼핑몰 서버(200)는 내부 데이터베이스에 쇼핑몰의 회원으로 가입된 사용자들의 회원 정보를 저장하고 있을 수 있으며, 이를 통해 각 사용자별로 기 등록된 배송지 목록 정보, 최근 배송지 정보, 기본 배송지 정보, 상품을 픽업 가능한 소정 장소 정보, 배송 현황 정보 등과 같은 배송 내역 정보를 서비스 제공 애플리케이션을 통해 사용자 단말기(100)에 제공할 수 있다.

뿐만 아니라, 쇼핑몰 서버(200)는 상기 회원 정보로서, 각 사용자별 기존 상품 결제 내역을 내부 데이터베이스에 저장하고 있을 수 있으며, 이를 토대로 각 사용자별 기 등록된 결제수단 목록 정보, 최근 결제수단 정보, 기존 결제 내역 정보 등과 같은 결제 내역 정보를 서비스 제공 애플리케이션을 통해 사용자 단말기(100)에 제공할 수도 있다.

쇼핑몰 서버(200)는 사용자 단말기(100)에 의해 결제 완료된 주문서 정보를 서비스 제공 애플리케이션으로부터 수신할 시, 상기 주문서에 대응되는 상품들이 사용자에게 배송되도록 처리하고, 해당 구매 내역을 해당 사용자의 회원 정보에 매칭하여 저장할 수 있다.

도 2는 본 발명의 일 실시예에 따른 서비스 제공 애플리케이션(300)의 구성을 도시한 블록도이다.

이하에서, 서비스 제공 애플리케이션(300)은 사용자의 조작에 의해 사용자 단말기(100)에 설치되어 있는 상태일 수 있으며, 이에 따라 사용자 단말기(100) 자체에 탑재된 음성 인식 기능, 통신 기능 등과 같은 다양한 기능들을 동작시킬 수 있다.

도 2를 참조하면, 서비스 제공 애플리케이션(300)은 통신 모듈(310), 인터페이스 제공 모듈(320), 사용자 입력 인식 모듈(330), 상품 추천 모듈(340), 주문서 생성 모듈(350), 결제 처리 모듈(360) 및 제어 모듈(370)을 포함할 수 있다.

이러한 프로그램 모듈들은 각 동작을 수행하거나, 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하는 개념이지만, 이에 제한되지는 않는다.

통신 모듈(310)은 쇼핑몰 서버(200)와의 통신을 통해 쇼핑과 관련된 다양한 정보들을 송수신할 수 있다.

*

*구체적으로, 통신 모듈(310)은 상품 관련 정보, 배송 내역 정보, 결제 내역 정보 등과 같은 쇼핑 관련 정보를 쇼핑몰 서버(200)에게 요청하여 제공받을 수 있다.

또한, 추후 주문서 생성 모듈(350)을 통해 생성된 주문서가 결제 처리 모듈(360)을 통해 결제 완료될 시, 해당 결제 완료 주문서 정보를 쇼핑몰 서버(200)로 전송함으로써 쇼핑몰 서버(200)로 하여금 상기 주문서에 대응되는 상품들을 사용자에게 배송 처리하도록 할 수 있다.

인터페이스 제공 모듈(320)은 스마트 음성인식 쇼핑 서비스와 관련된 다양한 인터페이스 화면을 사용자 단말기(100)에 디스플레이 되도록 할 수 있다.

구체적으로, 본 발명의 일 실시예에 따르면, 인터페이스 제공 모듈(320)은 메신저 형태의 인터페이스로서, 사용자가 사용자 단말기(100)를 통해 가상의 대화 상대와 스마트 음성인식 쇼핑 서비스와 관련된 대화를 주고받는 형태의 인터페이스를 제공할 수 있다.

이 경우, 인터페이스 제공 모듈(320)은 상품 검색, 옵션 설정, 배송지 설정, 결제수단 설정 등과 같은 쇼핑 프로세스의 각 상황별로 대응되는 안내 메시지가 사용자의 입력에 대한 응답으로써 사용자 단말기(100)에 디스플레이 되도록 할 수 있다.

이러한 인터페이스를 통해, 서비스 제공 애플리케이션(300)은 종래 단순 리스트 형태의 쇼핑몰 웹 페이지 또는 애플리케이션에 비해 사용자로 하여금 서비스 제공사에 대한 거리감을 해소하고, 친밀감을 느낄 수 있도록 함으로써, 사용자의 서비스 이용을 촉진시킬 수 있는 효과를 발생시킬 수 있다.

본 발명의 일 실시예에 따른 인터페이스 제공 모듈(320)은 소정 조건에 해당하는 상품을 검색하기 위한 키워드를 입력하거나 선택할 수 있는 인터페이스를 제공할 수 있다. 이에 따라, 사용자 단말기(100)는 사용자로부터 문자, 음성, 사진 등과 같은 다양한 형태의 정보를 입력 받거나, 버튼 터치 등을 통해 선택 받을 수 있으며, 이를 사용자 입력 인식 모듈(330)로 전송할 수 있다.

또한, 일 실시예에 따르면, 인터페이스 제공 모듈(320)은 쇼핑몰 서버(200)로부터 수신된 배송 관련 정보 및 결제 관련 정보가 표시되는 인터페이스를 사용자 단말기(100)에 디스플레이 되도록 할 수도 있으며, 이에 따라 사용자로부터 사용자 단말기(100)를 통해 상기 배송 및 결제 관련 정보를 입력 또는 선택 받을 수 있다.

사용자 입력 인식 모듈(330)은 사용자 단말기(100)를 통해 사용자로부터 입력되는 다양한 형태의 정보들을 인식하고, 분석할 수 있다.

구체적으로, 일 실시예에 따르면, 사용자 입력 인식 모듈(330)은 사용자 단말기(100)를 통해 입력되는 문자 메시지, 사용자의 음성 메시지, 첨부되는 이미지 정보 중 일 이상을 판독 가능한 형태로 변환함으로써, 그 의미를 인식할 수 있다.

즉, 사용자는 사용자 단말기(100)를 통해 문자, 음성, 이미지 등과 같은 다양한 수단을 이용하여 쇼핑 서비스를 이용할 수 있으므로, 그 편의성이 크게 증대됨에 따라 사용자의 서비스 이용을 꾀할 수 있는 이점이 있다.

본 발명의 일 실시예에 따르면, 서비스 제공 애플리케이션(300)은 사전에 사용자로부터 배송지 선택 정보 및 결제수단 선택 정보를 입력 받을 수 있다.

사용자 입력 인식 모듈(330)은 사용자로부터 상품이 배송되기 위한 배송지 선택 정보를 입력 받거나, 인터페이스 제공 모듈(320)을 통해 디스플레이 되는 기 등록된 배송지 목록을 기반으로 선택 받을 수도 있다. 이와 관련된 설명은 추후 도3을 참조하여 서술하기로 한다.

뿐만 아니라, 일 실시예에 따른 사용자 입력 인식 모듈(330)은 사용자로부터 구매하고자 하는 상품의 총 금액을 결제하기 위한 결제수단 선택 정보를 입력 받거나, 인터페이스 제공 모듈(320)을 통해 디스플레이 되는 기 등록된 결제수단 목록을 기반으로 선택 받을 수도 있다. 이와 관련된 설명은 추후 도 5를 참조하여 서술하기로 한다.

본 발명의 일 실시예에 따르면, 사용자 입력 인식 모듈(330)은 상품 검색을 수행하고자 할 시, 사용자로부터 문자 또는 음성을 통해 입력 받은 메시지를 각 어절별로 분석할 수 있으며, 이를 통해 상기 메시지로부터 사용자가 검색하고자 하는 상품의 성별 조건, 연령 조건, 브랜드 조건, 카테고리 조건 등을 판정할 수 있다.

예를 들어, 사용자 단말기(100)는 사용자로부터 "아버지께 드릴 루이까또즈 지갑 추천해줘."라는 메시지를 음성으로 입력 받았을 수 있다. 이 경우, 사용자 입력 인식 모듈(330)은 상기 메시지를 각 어절별로 분석함에 따라, 상품의 사용 주체를 '아버지'로, 사용자가 검색하고자 하는 상품을 '루이까또즈 지갑'으로 판정할 수 있다. 이후, 사용자 입력 인식 모듈(330)은 상품 검색 조건으로서, 상기 '아버지'라는 키워드로부터 성별 조건을 '남성'으로, 연령 조건을 '40대 이상'으로 지정할 수 있으며, 상기 '루이까또즈 지갑'이라는 키워드로부터 카테고리 조건을 '지갑'으로, 브랜드 조건을 '루이까또즈'로 지정할 수 있다.

즉, 사용자는 형식에 얽매이지 않는 구어체로 검색 메시지를 입력하더라도, 사용자 입력 인식 모듈(330)을 통해 상기 메시지가 자동으로 분석되어 검색 조건을 설정하게 되므로, 사용자가 사전에 특정 키워드를 숙지할 필요가 전혀 없기 때문에 서비스 이용 편의성이 크게 향상될 수 있다는 이점이 있다.

또한, 일 실시예에 따르면, 사용자 입력 인식 모듈(330)은 상품 검색 시 사용자로부터 이미지가 첨부되면, 해당 이미지를 분석하여 사용자가 검색하고자 하는 상품의 종류, 스타일 등을 판정할 수 있다.

예를 들어, 사용자 단말기(100)는 사용자로부터 줄무늬 원피스의 이미지를 첨부 받았을 수 있다. 이 경우, 사용자 입력 인식 모듈(330)은 상기 이미지의 모양 및 길이를 분석하여, 상품의 카테고리 조건을 '원피스'로, 성별 조건을 상기 '원피스' 카테고리에 따라 '여성'으로 지정할 수 있으며, 상기 이미지의 패턴 모양을 분석함에 따라 상품의 스타일 조건을 '줄무늬'로 지정할 수 있다.

뿐만 아니라, 일 실시예에 따른 사용자 입력 인식 모듈(330)은 사용자가 특정 상품을 구매하고자 할 시, 사용자로부터 문자 또는 음성을 통해 상기 구매 상품의 구매 수량 또한 입력 받을 수도 있다.

상품 추천 모듈(340)은 쇼핑몰 서버(200)로부터 제공되는 상품 관련 정보를 기반으로, 사용자 입력 인식 모듈(330)을 통해 설정된 상품 검색 조건에 대응되는 상품들을 자동으로 색출하여 그 정보를 사용자 단말기(100)에 디스플레이 되도록 할 수 있다.

구체적으로, 상품 추천 모듈(340)은 사용자 입력 인식 모듈(330)을 통해 설정된 검색 조건에 따라, 연령별 판매순위, 성별 판매순위, 카테고리별 판매순위, 브랜드별 판매순위 등과 같은 상품 추천 기준을 선정하고, 이를 토대로 추천 상품을 선별하여 사용자 단말기(100)에 디스플레이 할 수 있다.

예를 들어, 상품 검색 조건으로서 성별 조건이 '여성'으로, 카테고리 조건이 '지갑'으로 설정되었을 경우, 상품 추천 모듈(340)은 쇼핑몰 서버(200)로부터 제공된 상품 관련 정보 중 '여성' 성별 조건 및 '지갑' 카테고리 조건에 해당하는 상품들을 판매순위에 따라 정렬할 수 있으며, 이 중 상위로부터 일정 수준 내에 해당하는 상품들의 상품 관련 정보를 추천 상품 정보로서 사용자 단말기(100)에 디스플레이 되도록 할 수 있다.

또한, 일 실시예에 따르면, 상품 추천 모듈(340)은 사용자의 기존 서비스 이용 내역을 참조함으로써, 해당 사용자가 자주 찾는 카테고리 정보, 선호하는 브랜드 정보, 주로 구매하는 가격대 정보 등과 같은 사용자 개별 선호 정보를 파악할 수 있으며, 추천 상품 선별 시 상기 사용자 개별 선호 정보를 반영함에 따라 사용자 개인화 추천 상품 정보(자주 찾는 카테고리의 해당 사용자 연령대별 추천 상품 정보, 브랜드 신상품 정보 등) 또한 제공할 수도 있다.

본 발명의 일 실시예에 따르면, 상품 추천 모듈(340)은 사용자에 의해 특정 상품이 장바구니 상품으로 지정되었을 시, 상기 장바구니 상품을 구매한 또 다른 사용자들이 함께 구매하였던 상품들의 정보 또한 추천 상품 정보로서 사용자 단말기(100)에 디스플레이 되도록 할 수도 있다.

주문서 생성 모듈(350)은 사용자로부터 입력 받은 상품 선택 정보, 배송지 선택 정보, 결제수단 선택 정보를 토대로 상품 주문서를 생성할 수 있다.

구체적으로, 주문서 생성 모듈(350)은 사용자에 의해 상기 상품 추천 모듈(340)을 통해 추천된 상품이 선택되었을 시, 상기 선택된 상품에 대한 구매 수량을 사용자로부터 입력 받고, 상기 선택된 상품 정보 및 구매 수량 정보를 포함하는 구매 상품 정보를 상품 주문서에 포함시킬 수 있다.

또한, 주문서 생성 모듈(350)은 사전에 사용자로부터 입력된 배송지 선택 정보 및 결제수단 선택 정보가 존재할 경우, 이를 그대로 상품 주문서에 포함시킬 수 있으며, 존재하지 않을 경우, 이들을 입력 받기 위한 인터페이스를 표시함으로써 해당 정보들을 사용자로부터 입력 받아 상품 주문서에 포함시킬 수도 있다.

일 실시예에 따르면, 주문서 생성 모듈(350)은 쇼핑몰 서버(200)로부터 제공된 상품 관련 정보 중 할인혜택 정보, 적립혜택 정보 등을 참조하여, 상기 구매 상품 정보, 배송지 선택 정보 및 결제수단 선택 정보에 대응되는 최대 혜택 정보를 판단할 수 있으며, 상기 판단된 최대 혜택 정보를 상품 주문서에 반영함에 따라 해당 상품 주문서에 대응되는 최종 결제 금액을 산정할 수 있다.

예를 들어, 주문서 생성 모듈(350)은 최대 혜택이 반영되기 전 결제금액이 10만원일 때, 상품 주문서에 포함된 상품 A에 대하여 쇼핑몰 서버(200)로부터 제공되는 10% 할인 쿠폰과, 결제수단으로 선택된 카드 B에 대응되는 할인혜택인 30% 할인혜택을 자동으로 적용함으로써, 최종 결제 금액을 6만원으로 산정할 수 있다.

이후, 주문서 생성 모듈(350)은 생성 완료된 상품 주문서에 대한 최종 확인 메시지를 사용자 단말기(100)에 디스플레이 할 수 있으며, 이를 통해 사용자로부터 상기 상품 주문서에 대한 최종 승인을 입력 받을 수 있다.

결제 처리 모듈(360)은 주문서 생성 모듈(350)을 통해 생성된 상품 주문서가 사용자로부터 최종 승인되었을 경우, 상기 상품 주문서에 대응되는 구매 상품들이 결제 완료 처리되도록 할 수 있다.

구체적으로, 결제 처리 모듈(360)은 주문서 생성 모듈(350)을 통해 상품 주문서가 최종 승인 처리되었을 경우, 해당 상품 주문서에 대응되는 결제수단을 이용하여 결제 프로세스를 수행할 수 있다.

이때, 상기 결제수단은 신용카드, 엘페이, 무통장입금, 휴대폰결제 중 어느 하나일 수 있으며, 선택된 결제수단에 대응되는 결제 애플리케이션을 사용자 단말기(100)를 통해 실행시킬 수 있다. 만일, 결제에 필요한 결제 애플리케이션이 사전에 사용자 단말기(100)에 설치되어 있지 않을 경우, 이를 설치하기 위한 인터페이스를 사용자 단말기(100)에 디스플레이 함으로써 사용자로 하여금 해당 결제 애플리케이션을 설치하도록 유도할 수도 있다.

이후, 상기 결제수단을 이용한 결제가 완료되었을 시, 결제 처리 모듈(360)은 해당 결제 완료된 상품 주문서를 통신 모듈(310)을 통해 쇼핑몰 서버(200)로 전송함으로써, 상기 상품 주문서에 대응되는 상품들이 사용자에게 배송되도록 처리할 수 있다.

제어 모듈(370)은 서비스 제공 애플리케이션(300)이 설치된 사용자 단말기(100)에서 통신 모듈(310), 인터페이스 제공 모듈(320), 사용자 입력 인식 모듈(330), 상품 추천 모듈(340), 주문서 생성 모듈(350) 및 결제 처리 모듈(360)을 총체적으로 관리할 수 있다. 제어 모듈(370)은 통신 모듈(310), 인터페이스 제공 모듈(320), 사용자 입력 인식 모듈(330), 상품 추천 모듈(340), 주문서 생성 모듈(350) 및 결제 처리 모듈(360)이 각각 고유한 기능을 수행하도록 제어할 수 있으며, 서비스 제공 애플리케이션(300)이 구동되는 사용자 단말기(100)의 사용자 인터페이스를 관리하는 역할 등도 수행할 수 있다.

도 3은 본 발명의 일 실시예에 따라, 서비스 제공 애플리케이션을 통해 배송지 선택 정보가 입력되는 과정의 예시를 도시한 도면이다.

본 발명의 일 실시예에 따르면, 서비스 제공 애플리케이션은 상품 검색 프로세스 및 상품 주문서 생성 프로세스를 수행하기 전, 사용자로부터 사전에 배송지 선택 정보를 입력받을 수 있으나, 이에 한정되는 것은 아니며, 해당 프로세스는 본 발명의 스마트 음성쇼핑 서비스 프로세스의 또 다른 단계에서 수행될 수도 있다.

도 3을 참조하면, 서비스 제공 애플리케이션은 (a)에 도시된 바와 같이, 쇼핑몰 서버(200)로부터 제공받은 사용자의 배송 내역 정보에 따라 가장 최근에 사용자가 이용한 배송지 주소를 사용자 단말기(100)에 표시하고, 사용자에 의해 해당 배송지 선택에 대한 승인을 입력 받음에 따라, 결제 완료된 상품이 배송될 목적지를 나타내는 배송 선택 정보를 상기 최근 배송지 주소로 설정할 수 있다.

이때, 본 발명의 일 실시예에 따르면, 상기 사용자의 입력은 ①과 같이 문자 메시지로 입력될 수도 있으며, 사용자에 의해 ②와 같은 음성 인식 기능 버튼이 선택될 경우, 사용자로부터 음성 신호로 입력될 수도 있다.

(b)는 최근 배송지 주소 정보가 사용자에 의해 거절되거나, 존재하지 않을 시, 배송 선택 정보가 설정되는 과정을 나타내는 예시이다.

서비스 제공 애플리케이션은 최근 배송지 주소가 사용자에 의해 거절되거나 존재하지 않을 시, 사용자의 배송 내역 정보에 따른 기본 배송지 주소를 제공할 수 있다.

이때, 사용자로부터 상기 기본 배송지 주소를 거부하는 메시지가 입력되었을 시, 서비스 제공 애플리케이션은 사용자로부터 사전에 설정된 배송지 목록을 표시할 수 있으며, 사용자로부터 입력 받거나 터치된 번호 또는 명칭의 배송지를 배송 선택 정보로 설정할 수 있다.

또한, 서비스 제공 애플리케이션은 ③과 같이 상기 제공된 배송지 목록 외의 배송지 주소를 더 제공받기 위한 명령어와 새로운 배송지를 설정하기 위한 명령어를 안내하는 메시지를 디스플레이 할 수도 있다.

이후, (c)에 도시된 바와 같이, 사용자가 배송지를 더 제공받기를 원함에도 더 존재하는 배송지 주소가 없거나, 새로운 배송지를 입력하기를 원하는 경우, 서비스 제공 애플리케이*은 사용자로 하여금 추후 상품 주문서가 완성되었을 시 해당 상품 주문서가 디스플레이 되는 화면에서 별도로 배송지 설정 정보를 입력하도록 안내하는 메시지를 출력할 수도 있다.

도 4는 본 발명의 일 실시예에 따른 서비스 제공 애플리케이션의 음성 정보 입력 인터페이스 예시를 도시한 도면이다.

①은 사용자 단말기(100)의 마이크가 OFF 상태일 때의 인터페이스를 나타내며, 사용자의 음성 정보가 입력되기 전이나, 음성 정보를 인식하기 위한 대기시간이 소정 시간 경과하였을 시, 또는 스마트 음성쇼핑 서비스 프로세스가 도중에 중단되었을 시 디스플레이 될 수 있다.

②는 사용자에 의해 음성 인식 기능 버튼이 선택되었을 경우, 음성 정보를 인식하기 위한 대기시간 중 디스플레이 되는 인터페이스를 나타낸다. 이때, 사용자로부터 음성 정보가 입력되지 않은 채로 소정 시간이 경과하였을 시, 해당 인터페이스는 ①의 상태로 되돌아갈 수 있다.

③은 사용자로부터 음성 정보가 입력되는 도중에 디스플레이 되는 인터페이스로, 음성 인식 기능 버튼의 테두리 범위가 점차 넓어지는 그래픽으로 표시될 수 있다. 또한, 사용자의 음성 정보로부터 인식되는 문자 메시지가 음성 인식 기능 버튼으로부터 소정 거리 내에 위치한 문자 입력 인터페이스에 표시될 수도 있다.

④는 사용자로부터 음성 정보를 인식하는 데에 실패하였을 경우 디스플레이 되는 인터페이스를 나타낸다. 이때, 음성 인식 기능 버튼이 다시 선택되지 않은 채, 혹은 사용자로부터 음성 정보가 입력되지 않은 채로 소정 시간이 경과하였을 시, 해당 인터페이스는 ①의 상태로 되돌아갈 수 있다.

⑤는 사용자로부터 음성 정보를 인식하는 도중 인식실패 상황이 발생하지 않았으며, 소정 메시지가 인식된 후 사용자로부터 음성 정보가 더 이상 입력되지 않은 채로 소정 시간이 경과하였을 시 디스플레이 되는 인터페이스이다. 이때, 서비스 제공 애플리케이*은 인식 완료된 문자 메시지를 문자 입력 인터페이스에 표시함으로써, 사용자로 하여금 입력 정보를 확인할 수 있도록 할 수 있다.

도 5는 본 발명의 일 실시예에 따라, 서비스 제공 애플리케이션을 통해 결제수단 선택 정보가 입력되는 과정의 예시를 도시한 도면이다.

본 발명의 일 실시예에 따르면, 서비스 제공 애플리케이션은 상품 검색 프로세스 및 상품 주문서 생성 프로세스를 수행하기 전, 사용자로부터 사전에 결제수단 선택 정보를 입력받을 수 있으나, 이에 한정되는 것은 아니며, 해당 프로세스는 본 발명의 스마트 음성쇼핑 서비스 프로세스의 또 다른 단계에서 수행될 수도 있다.

도 5를 참조하면, 서비스 제공 애플리케이션은 쇼핑몰 서버(200)로부터 제공받은 사용자의 결제 내역 정보에 따라 사용자가 가장 최근에 이용한 결제수단 정보를 파악할 수 있다.

예를 들면, 최근 결제수단이 (a)와 같이 신용카드인 롯데카드일 경우, 이를 이용한 결제 안내 메시지를 디스플레이 할 수 있으며, (b)와 같이 국민은행으로의 무통장입금일 경우, 이를 이용한 결제 안내 메시지를 디스플레이 할 수 있다.

이때, ①과 같이 사용자로부터 승인을 나타내는 메시지가 입력될 경우, 해당 최근 결제수단을 이용한 결제 프로세스를 수행할 수 있으며, ②와 같이 거절을 나타내는 메시지가 입력될 경우, 사용자로 하여금 추후 상품 주문서가 완성되었을 시 해당 상품 주문서가 디스플레이 되는 화면에서 별도로 결제수단 선택 정보를 입력하도록 안내하는 메시지를 출력할 수도 있다.

도 6은 본 발명의 일 실시예에 따라, 서비스 제공 애플리케이션을 통해 상품이 검색되는 과정의 예시를 도시한 도면이다.

본 발명의 일 실시예에 따르면, 서비스 제공 애플리케이션은 (a)에 도시된 바와 같이 사용자로 하여금 상품을 검색하기 위한 메시지를 입력하도록 안내할 수 있다.

이때, 사용자는 별도로 지정된 키워드에 한정되지 않도록 자유롭게 메시지를 입력할 수 있으며, 서비스 제공 애플리케이션은 해당 메시지를 각 어절별로 분석함에 따라 사용자가 검색하고자 하는 상품 조건을 분석할 수 있다.

(a)에 도시된 예시를 살펴보면, 사용자로부터 "여동생 줄무늬 티셔츠 추천해줘"라는 메시지가 입력됨에 따라, 서비스 제공 애플리케이션은 '여동생'으로부터 '여성'인 성별조건 및 해당 사용자의 회원 정보에 따른 사용자의 연령대보다 낮은 연령대인 연령 조건을, '줄무늬'로부터 '줄무늬'에 해당하는 상품 스타일 조건을, '티셔츠'로부터 '상의' 및 '티셔츠'라는 상품 카테고리 조건을 상품 추천 조건으로 판정하고, 상기 조건에 해당하는 상품들을 판매순으로 정렬하여 디스플레이 할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 서비스 제공 애플리케이션은 상기 (a)에 도시된 바와 같이 제1 조건에 따른 제1 검색을 마친 뒤에도, 상기 제1 검색 결과에 대하여 사용자로부터 제2 검색 조건을 선택 받음에 따라, 상기 제1 검색 결과 중 제2 검색 조건에 해당하는 제2 검색 결과를 디스플레이 할 수도 있다.

예를 들면, 제1 조건에 따른 제1 검색으로서 다수의 줄무늬 티셔츠들이 추천되었을 시, (b)에 도시된 바와 같이 티셔츠의 길이 조건으로 39.6cm가 선택될 수 있으며, 서비스 제공 애플리케이션은 상기 제1 검색 결과인 줄무늬 티셔츠들 중 상기 39.6cm에 해당하는 줄무늬 티셔츠를 선별하여 제2 검색 결과로서 제공할 수 있다.

도 7은 본 발명의 일 실시예에 따라, 서비스 제공 애플리케이션을 통해 상품 주문서가 생성되기 위한 물품 구매 정보가 입력되는 과정의 예시를 도시한 도면이다.

본 발명의 일 실시예에 따르면, 서비스 제공 애플리케이션은 (a)에 도시된 바와 같이 검색된 상품 목록을 디스플레이 할 수 있으며, 사용자로부터 구매를 희망하는 상품의 번호 또는 명칭을 입력받을 수 있다.

이후, (b)에 도시된 바와 같이 쇼핑몰 서버(200)로부터 제공되는 해당 상품의 구매 가능 최대 수량에 맞추어 해당 상품에 대한 구매 수량을 사용자로부터 입력받을 수 있다.

이때, 일 실시예에 따른 서비스 제공 애플리케이션은 해당 구매 상품에 대한 최대 혜택을 자동으로 적용할 수 있으며, 이에 따른 최종 결제금액을 안내함으로써 해당 상품 주문서의 최종 결제 여부를 사용자로부터 입력받을 수 있다.

본 명세서 상에는 별도로 도시되지 않았으나, 본 발명의 일 실시예에 따르면, 상기 최종 결제 여부 확인 시, 구매 상품 정보, 최종 금액 정보, 배송지 선택 정보 및 결제수단 선택 정보 등을 포함하는 상품 주문서가 별도의 인터페이스를 통해 디스플레이 될 수 있으며, 사용자는 해당 상품 주문서를 확인 후 최종 결제 여부를 선택할 수도 있다.

도 8은 본 발명의 일 실시예에 따라, 서비스 제공 애플리케이션이 스마트 음성인식 쇼핑 서비스 프로세스를 수행하는 과정을 도시한 도면이다.

본 발명의 일 실시예에 따르면, 사용자 단말기(100)에는 서비스 제공 애플리케이션이 설치되어 있을 수 있으며, 사용자의 조작에 의해 실행될 수 있다(S810).

이에 따라, 서비스 제공 애플리케이션은 사용자로부터 배송지 선택 정보, 결제수단 선택 정보, 검색을 희망하는 상품 조건 메시지 등을 입력받을 수 있는 인터페이스를 사용자 단말기(100)의 화면에 디스플레이 할 수 있으며, 이를 통해 사용자로부터 문자, 음성, 이미지 등과 같이 다양한 형태로 입력되는 정보를 인식 및 분석할 수 있다(S820).

구체적으로, 서비스 제공 애플리케이션은 사용자로부터 상품이 배송되기 위한 배송 선택 정보를 입력 받거나, 기 등록된 배송지 목록을 디스플레이 하여 이로부터 선택 받을 수도 있다.

또한, 일 실시예에 따른 서비스 제공 애플리케이션은 사용자로부터 구매하고자 하는 상품의 총 금액을 결제하기 위한 결제수단 정보를 입력 받거나, 기 등록된 결제수단 목록을 디스플레이 하여 이로부터 선택 받을 수도 있다.

본 발명의 일 실시예에 따르면, 서비스 제공 애플리케이션은 상품 검색을 수행하고자 할 시, 사용자로부터 문자 또는 음성을 통해 입력 받은 메시지를 각 어절별로 분석할 수 있으며, 이를 통해 상기 메시지로부터 사용자가 검색하고자 하는 상품의 성별 조건, 연령 조건, 브랜드 조건, 카테고리 조건 등을 판정할 수 있다.

즉, 사용자는 형식에 얽매이지 않는 구어체로 검색 메시지를 입력하더라도, 사용자 입력 인식 모듈(330)을 통해 상기 메시지가 분석되어 검색 조건을 자동으로 설정하게 되므로, 사용자가 사전에 특정 키워드를 숙지할 필요가 전혀 없기 때문에 서비스 이용 편의성이 크게 향상될 수 있다는 이점이 있다.

뿐만 아니라, 일 실시예에 따르면, 서비스 제공 애플리케이션은 상품 검색 시 사용자로부터 이미지가 첨부되면, 해당 이미지를 분석하여 사용자가 검색하고자 하는 상품의 종류, 스타일 등을 판정할 수 있다.

이에 따라, 서비스 제공 애플리케이션은 상기 S820 단계를 통해 분석된 사용자의 배송지 선택 정보를 이용하여 사용자가 구매한 상품이 배송될 배송지를, 사용자의 결제수단 선택 정보를 통해 사용자가 구매한 상품을 결제할 수단을, 사용자가 입력한 상품 조건 정보를 통해 상품을 검색할 조건을 설정할 수 있다(S803a, S803b, S830c).

이후, 서비스 제공 애플리케이션은 사전에 쇼핑몰 서버(200)로부터 제공받은 상품 관련 정보들 중 상기 S830c를 통해 설정된 상품 검색 조건에 해당하는 상품 정보들을 색출하여 이를 추천하는 정보를 사용자 단말기(100)에 디스플레이 할 수 있으며, 사용자가 구매하고자 하는 상품을 선택하였을 시, 상기 구매 상품의 정보와 그 구매 수량 정보를 토대로 상품 주문서를 생성할 수 있다(S840).

이때, 상기 S840 단계에서 생성되는 상품 주문서에는 상기 S830a 단계 및 상기 S830b 단계를 통해 설정된 배송지 선택 정보 및 결제수단 선택 정보가 포함될 수 있다.

*

*또한, 일 실시예에 따르면, 서비스 제공 애플리케이션은 쇼핑몰 서버(200)로부터 제공된 상품 관련 정보 중 할인혜택 정보, 적립혜택 정보 등을 참조하여, 상기 구매 상품 정보, 배송 선택 정보 및 결제수단 정보에 대응되는 최대 혜택 정보를 판단할 수 있으며, 상기 판단된 최대 혜택 정보를 상품 주문서에 반영함에 따라 해당 상품 주문서에 대응되는 최종 결제 금액을 산정할 수 있다.

이후, 서비스 제공 애플리케이션은 상기 최종 결제 금액에 대한 결제 승인 여부를 사용자로부터 선택받을 수 있으며, 사용자로부터 승인을 나타내는 메시지가 입력될 시, 상기 S840 단계를 통해 생성된 상품 주문서에 대한 최종 결제가 수행되도록 처리할 수 있다(S850).

이와 같이, 본 발명의 일 실시예에 따르면, 사용자로부터 임의의 메시지를 입력 받아 각 어절별로 그 의미를 분석하여 성별, 연령대, 상품 카테고리, 상품 브랜드 등과 같은 검색 옵션을 자동으로 설정하고, 이에 적합한 상품 추천 정보를 제공함으로써, 사용자가 사전에 서비스 이용 키워드를 숙지해야 하는 불편함을 해소할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 사용자가 음성 인식 기능을 통해 상품 검색, 상품 선택, 배송 관련 정보 설정, 결제 등과 같은 쇼핑 프로세스를 모두 수행할 수 있도록 지원함으로써, 사용자의 이용 편의성을 향상시킬 수 있다.

도 7은 본 발명의 일 실시예에 따른 음성인식 기반 인공지능 상품매칭 장치에서 CNN을 통해 기계학습을 수행하는 경우, CNN에 입력되는 입력 데이터의 전처리를 과정을 보인 도면이다.

도 7에 도시한 바와 같이 본 발명의 일 실시예에 따른 음성인식 기반 인공지능 상품매칭 장치(100)에서 CNN을 통해 기계학습을 수행하는 경우, 입력 데이터의 전처리 과정은, 우선 학습데이터 데이터베이스(200)로부터 학습데이터를 로딩한다.

학습데이터는 자연어와 해당 자연어에 대응되는 상품 코드 레이블과 유일성을 가지며 매핑되어 있다. 또한 상품 코드 레이블은 상기 자연어에 대응되는 특정 상품 코드와 레이블링 되어 있다.

다음으로 음성인식 기반 인공지능 상품매칭 장치(100)는 각 자연어는 소정의 과정에 따라 수치화되어 하나의 이미지 슬라이스에 각각 부여되고, 상기 각 이미지 슬라이스에 레이블링을 수행하여 상기 각 이미지 슬라이스에 상품 코드 레이블을 부여한다.

상기 상품 코드 레이블은 one-hot 인코딩 형식으로 구성되며, 상기 각 상품 코드 레이블은 특정 상품 코드와 각각 인덱스되어 있으며, 상기 상품 코드는 상기 자연어에 대해 하나의 완성된 프로그램 라인을 의미한다. 즉, 상기 상품 코드는 단순히 하나의 코드(a = b)뿐만 아니라 sum(), printf() 등과 같은 완전한 함수를 나타낼 수 있다. 이에 따라 상기 사용자는 사용자 음성을 순차적으로 입력함으로서, 복수의 상품 코드를 연결할 수 있도록 하여 하나의 완전한 프로그램을 생성할 수 있다.

다음으로 음성인식 기반 인공지능 상품매칭 장치(100)는 상기 레이블링을 수행한 복수의 이미지 슬라이스를 특정 해상도(예: 32 x 32)를 가지는 이미지로 이미지화하여 이미지 데이터를 생성한다.

한편 상기 해상도는 학습되는 학습데이터의 전체 용량에 따라 지속적으로 추가할 수 있도록 구성된다. 즉, 음성인식 기반 인공지능 상품매칭 장치(10)는 상기 해상도를 확장해 가면서 상기 학습데이터를 적응적으로 학습할 수 있도록 한다.

다음으로 음성인식 기반 인공지능 상품매칭 장치(100)는 상기 이미지 데이터를 CNN에 입력함으로써, 자연어와 상품 코드 레이블 간의 매핑관계를 학습하여 특정 자연어에 대한 상품 코드를 출력할 수 있도록 하는 학습모델을 생성할 수 있도록 한다.

상기에서 설명한 것과 같이, 상기 전처리 과정은 음성인식 기반 인공지능 상품매칭 장치(100)가 CNN을 통해 학습을 수행하는 경우, 학습데이터를 CNN에 적용하기 위해 수행된다.

도 8는 본 발명의 일 실시예에 따른 음성인식 기반 인공지능 상품매칭 장치에서 RNN을 통해 기계학습을 수행하는 경우, RNN에 입력되는 입력데이터의 전처리 과정을 보인 도면이다.

도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 음성인식 기반 인공지능 상품매칭 장치(100)에서 RNN을 통해 기계학습을 수행하는 경우, RNN에 입력되는 입력데이터의 전처리 과정은, 우선 상기 음성인식 기반 인공지능 프로그램 코딩 장치(100)는 자연어와 상품 코드 레이블이 매핑되어 저장된 학습데이터를 학습데이터 데이터베이스(200)로부터 로딩한다.

다음으로 음성인식 기반 인공지능 상품매칭 장치(100)는 상기 각 자연어를 소정의 과정에 따라 수치화하여 하나의 수열로 생성하여, 상기 생성한 각 자연어에 대한 각각의 수열을 하나의 수열 슬라이스에 각각 부여한다. 이때, 상기 수열 슬라이스는 적어도 하나 이상의 비트열에 대한 조합을 포함하여, 상기 비트열의 사이즈는 RNN 네트워크의 크기에 따라 지속적으로 추가될 수 있다. 즉, 음성인식 기반 인공지능 상품매칭 장치(100)는 상기 비트열의 크기를 확장할 수 있도록 하여 상기 학습데이터를 적응적으로 학습할 수 있도록 한다.

다음으로 상기 각 수열 슬라이스에 레이블링을 수행하여 상기 각 수열 슬라이스에 상품 코드 레이블을 부여하여 최종적인 소스 수열을 생성한다. 한편 상기 상품 코드 레이블은 one-hot 인코딩 형식으로 구성됨은 상술한 바와 같으며 이때, 상기 상품 코드 레이블은 상기 자연어에 대응하는 상품 코드에 대한 타겟 수열이 된다.

다음으로 음성인식 기반 인공지능 상품매칭 장치(100)는 상기 생성한 소스 수열을 RNN에 입력함으로써, 자연어와 상품 코드 레이블 간의 매핑관계를 학습하여 특정 자연어에 대한 상품 코드를 출력할 수 있도록 하는 학습모델을 생성할 수 있도록 한다.

도 9를 참조하여 설명한 것과 같이, 상기 전처리 과정은 음성인식 기반 인공지능 상품매칭 장치(100)가 RNN을 통해 학습데이터에 대한 학습을 수행하는 경우, 상기 학습데이터를 RNN에 적용할 수 있도록 하기 위해 수행된다.

도 9는 본 발명의 일 실시예에 따른 CNN을 통한 기계학습 구조와 학습과정을 설명하기 위해 나타낸 도면이다.

도 9에 도시한 바와 같이, 음성인식 기반 인공지능 상품매칭 장치(100)의 학습모델 생성부(130)에서 CNN을 통해 학습데이터를 학습하는 경우, 상기 CNN의 학습구조는 전처리과정을 통해 이미지화된 학습데이터를 입력받은 입력레이어, 특정 크기의 커널(kernel)을 이용하여 상기 커널과 상기 이미지의 특정 부분을 컨볼루션(convolution)하는 컨볼루션 레이어, 상기 컨볼루션한 특정 부분을 최대값이나 평균값으로 풀링하여 서브샘플링(subsampling)을 수행하는 풀링레이어(pooling layer) 및 완전연관레이어(fully connected layer)로 구성된다.

또한 입력레이어는 전처리 과정을 통해 이미지화된 학습데이터를 입력받으며, 상기 컨볼루션 레이어는 특정 가중치를 가지는 커널을 미리 설정한 스트라이드(상기 커널의 이동단위를 의미함)에 따라 이동해 가면서 상기 이미지의 특정 부분과 상기 커널의 가중치를 컨볼루션하여, 상기 이미지의 특정 부분에 대한 특징 맵(feature map)을 생성하여 출력한다.

다음으로 풀링레이어는 맥스 풀링(max pooling) 또는 평균값 풀링(average pooling)방법을 통해 상기 커널과 스트라이드의 크기에 따라 상기 특징 맵을 풀링함으로써, 적어도 하나 이상의 서브 이미지 데이터로 서브 샘플링한다.

또한 상기 CNN은 상기 컨볼루션과 서브 샘플링 과정을 반복적으로 수행하여 특정 자연어에 대한 상품 코드 레이블에 대한 특징 맵을 생성할 수 있도록 한다.

다음으로 상기 완전연관레이어는 상기 상품 코드 레이블에 대한 특징 맵을 연결시켜 특정 자연어에 대한 상품 코드를 출력할 수 있도록 한다.

이러한 과정을 통해 상기 음성인식 기반 인공지능 상품매칭 장치(100)는 자연어, 상품 코드 및 상기 자연어와 상품 코드 간의 매핑관계에 대한 학습데이터를 학습할 수 있다. 또한 음성인식 기반 인공지능 상품매칭 장치(100)는 상기 학습데이터의 업데이트를 반영하여 고도화된 학습모델을 생성함으로서, 사용자 음성에 대한 최적화된 상품 코드를 추정하여 사용자에게 제공할 수 있다.

또한 음성인식 기반 인공지능 상품매칭 장치(100)는 특정 자연어와 이에 해당하는 상품 코드를 미리 알고 있으므로, 상기 학습과정에 있어서 백프로퍼게이션 방법을 통해 상기 CNN의 네트워크에 대한 가중치를 조정할 수 있으며, 이를 통해 상기 CNN 네트워크의 정확도를 향상시킬 수 있다.

도 10은 본 발명의 일 실시예에 따른 RNN을 통한 기계학습 구조와 학습과정을 설명하기 위해 나타낸 도면이다.

도 10에 도시한 바와 같이 본 발명의 일 실시예에 따른 음성인식 기반 인공지능 상품매칭 장치(100)의 학습모델 생성부(130)에서 RNN을 통해 학습데이터를 학습하는 경우, RNN의 구조는 엔코더(encoder) 및 디코더(decoder)로 지칭되는 RNN 네트워크를 포함하여 구성될 수 있다.

상기 엔코더는 전처리 과정을 통해 생성한 소스 수열의 수치값을 순차적으로 입력받아, 내부노드의 상태값으로 축적하고, 상기 각 내부노드의 가중치에 따라 각 내부노드에 대한 최종상태를 디코더로 전달한다.

또한 상기 디코더는 상기 엔코더로부터 전달된 소스 수열에 대한 최종상태를 상기 디코더를 구성하는 각 내부노드의 가중치에 따라 상기 소스 수열에 대한 타겟 수열(즉, 상품 코드 레이블)의 수치값을 하나씩 출력한다.

즉, 상기 엔코더와 디코더를 구성하는 각각의 노드는 서로 다른 가중치를 가지고 있으며, 상기 엔코더는 소스 수열을 입력데이터로 순차적으로 받아 타임 스템프(time stamp)에 따라 피드 포워드 프로퍼게이션(feed forward propagation) 시켜 상기 엔코더의 제일 마지막 노드의 정보를 상기 디코더에 전달한다. 이때, 상기 디코더에 전달되는 정보는 상기 입력된 소스 수열의 정보를 모두 담고 있는 센텐스 리프리젠테이션(sentence representation)이라 볼 수 있다. 또한 상기 소스 수열의 정보를 받은 디코더는 상기 각 노드의 가중치에 따라 타겟 수열에 대한 수치값을 하나씩 출력함으로서, 특정 자연어에 대한 상품 코드를 추정할 수 있도록 한다.

도 11은 본 발명의 일 실시예에 따른 음성인식 기반 인공지능 상품매칭 방법이 실행되는 과정을 보인 흐름도이다.

도 11에 도시한 바와 같이, 본 발명의 일 실시예에 따른 음성인식 기반 인공지능 상품매칭 방법이 실행되는 과정은 우선, 음성인식 기반 인공지능 상품매칭 장치(100)는 기계학습의 입력데이터가 되는 학습데이터를 CNN이나 RNN에 적용할 수 있도록 상기 학습데이터를 전처리하여 학습데이터 데이터베이스(200)에 저장한다(S110).

학습데이터를 학습하여 학습모델을 생성하기 위한 기계학습의 입력데이터를 생성하기 위해 수행되는 것으로, 음성인식 기반 인공지능 상품매칭 장치(100)는 CNN을 통해 학습데이터를 학습하는 경우, 상기 학습데이터를 이미지화하는 전처리 과정을 수행하며, 상기 음성인식 기반 인공지능 상품매칭 장치(100)는 RNN을 통해 학습데이터를 학습하는 경우, 상기 학습데이터를 소스 수열로 변환하는 전처리 과정을 수행한다.

다음으로 음성인식 기반 인공지능 상품매칭 장치(100)는 학습데이터 데이터베이스(200)로부터 전처리한 학습데이터를 로딩(S120)하고, 상기 로딩한 학습데이터를 학습(S130)하여 특정 자연어에 대한 특정 상품 코드를 생성하기 위한 학습모델을 생성하여 학습모델 데이터베이스(300)에 저장한다.

한편 상기 학습은 RNN 혹은 CNN을 통해 수행될 수 있음은 상술한 바와 같다.

이후, 음성인식 기반 인공지능 상품매칭 장치(100)는 사용자 디바이스(400)로부터 상품매칭을 위한 사용자 음성을 수신한 경우(S210), 상기 수신한 사용자 음성을 인식하기 위해 자연어 처리과정을 수행하고, 상기 자연어 처리과정을 통해 생성한 자연어를 전처리한다(S220).

한편 사용자 음성에 대한 자연어는 음성인식 기반 인공지능 상품매칭 장치(100)에서 처리되어 생성되는 것이 바람직하지만, 음성인식 엔진을 탑재한 사용자 디바이스(200)에서 자체적으로 처리되어 생성될 수 있다. 이때, 상기 사용자 디바이스(200)는 상기 생성한 자연어를 음성인식 기반 인공지능 상품매칭 장치(100)로 전송한다.

한편 사용자 음성에 대한 전처리 과정은 음성인식 기반 인공지능 상품매칭 장치(100)의 기계학습 방법(즉, RNN 또는 CNN)에 따라 상기 S110단계에서 수행하는 전처리 과정과 동일한 과정을 통해 수행된다.

다음으로 음성인식 기반 인공지능 상품매칭 장치(100)는 학습모델 데이터베이스(300)로부터 학습모델을 로딩하고, 상기 로딩한 학습모델에 전처리한 사용자 음성에 대한 자연어를 입력한다. 이를 통해 상기 자연어에 대한 상품 코드를 생성함으로서, 상기 사용자 음성에 상응하는 상품 코드를 추정한다(S230).

즉, 상기 학습모델의 입력은 자연어이며, 상기 학습모델의 출력은 상기 자연어에 대한 상품 코드 레이블이며, 상기 상품 코드 레이블에 대한 상품 코드를 생성함으로써, 상기 상품 코드를 추정하게 된다.

다음으로 음성인식 기반 인공지능 상품매칭 장치(100)는 상기 추정한 상품 코드를 해당 사용자가 구비한 사용자 디바이스(400)로 전송함으로써, 상기 추정한 상품 코드를 사용자에게 제공한다.

한편 음성인식 기반 인공지능 상품매칭 장치(100)는 강화학습을 통해 상기 추정한 상품 코드의 정확도와 신뢰성을 고도화시킬 있다.

즉, 음성인식 기반 인공지능 상품매칭 장치(100)는 상기 추정한 상품 코드를 프로그래밍 언어에 대한 전문가와 같이 상기 특정 권한을 가지는 사용자 혹은 관리자에게 실시간 혹은 주기적으로 제공(S240)하여 검증과정(S250)을 수행할 수 있다.

다음으로 음성인식 기반 인공지능 상품매칭 장치(100)는 상기 검증과정의 검증결과에 따라 학습데이터를 업데이트(S260)할 수 있다.

즉, 상기 특정 권한을 가지는 사용자 혹은 관리자는 음성인식 기반 인공지능 상품매칭 장치(100)로부터 실시간 혹은 주기적으로 상기 사용자 음성에 대한 자연어 및 해당 자연어를 토대로 추정한 상품 코드를 수신하고, 상기 자연어에 대한 상품 코드가 최적의 결과가 아닌 경우에 해당 자연어에 해당하는 최적의 상품 코드를 포함하는 업데이트 데이터를 상기 음성인식 기반 인공지능 상품매칭 장치(100)로 제공하게 된다.

이때, 상기 음성인식 기반 인공지능 상품매칭 장치(100)는 상기 제공받은 업데이트 데이터를 반영하여 학습데이터를 업데이트함으로써, 상기 학습데이터 데이터베이스(200)를 업데이트한다.

이후, 상기 음성인식 기반 인공지능 상품매칭 장치(100)는 학습데이터 가 업데이트 된 경우, 상기 업데이트된 학습데이터를 반영한 강화학습과정을 수행하여 새로운 학습모델을 생성한다. 이러한 과정을 반복함으로써, 음성인식 기반 인공지능 상품매칭 장치(100)는 상품매칭을 위한 학습모델에 대한 정확성과 신뢰성을 획기적으로 고도화시킬 수 있다.

뿐만 아니라, 본 발명의 일 실시예에 따르면, 사용자의 기존 쇼핑 정보를 기반으로 해당 사용자에게 개인화된 추천 상품 정보를 제공하며, 사용자가 상품 이미지를 이용하여 검색을 수행하였을 시 해당 이미지에 대한 분석을 통해 유사 상품 검색 옵션을 자동으로 추출함으로써, 사용자의 이용 만족도를 향상시킬 수 있다.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 사용자 단말기
200 : 쇼핑몰 서버
300 : 서비스 제공 애플리케이션
310 : 통신 모듈
320 : 인터페이스 제공 모듈
330 : 사용자 입력 인식 모듈
340 : 상품 추천 모듈
350 : 주문서 생성 모듈
360 : 결제 처리 모듈
370 : 제어 모듈

Claims (5)

1. 사용자 단말기에 결합되어,
   상기 사용자 단말기로부터 입력 받은 사용자 임의의 메시지를 분석하여 상품 검색 조건을 설정하는 사용자 입력 인식 모듈;
   상기 상품 검색 조건에 대응되는 상품을 선별한 결과인 추천 상품 정보를 상기 사용자 단말기에 디스플레이 되도록 하는 상품 추천 모듈; 및
   상기 사용자 단말기에 의해 상기 추천 상품이 선택되었을 시, 이에 대한 최대 혜택이 자동으로 반영된 최종 결제 금액을 산정하여, 상기 선택된 상품의 정보 및 상기 최종 결제 금액을 포함하는 상품 주문서를 생성하는 주문서 생성 모듈을 실행시키기 위하여 상기 사용자 단말기에 저장된 딥러닝 인공지능 기반의 음성인식 쇼핑 제공 시스템에 있어서,
   자연어 문구와 상품 간의 매핑관계를 학습하여 학습모델을 생성하는 단계; 및
   사용자의 음성을 인식하여 자연어 문구를 추출한 다음 상기 학습모델에 입력하여 상품를 추정하여 출력하는 단계를 포함하는, 딥러닝 인공지능 기반의 음성인식 쇼핑 서비스 제공 방법
   
2. 제1항에 있어서,
   상기 사용자 임의의 메시지는,
   문자 메시지, 음성 메시지 및 이미지 정보 중 일 이상을 포함하는 것을 특징으로 하는 딥러닝 인공지능 기반의 음성인식 쇼핑 서비스 제공 방법
   
3. 제1항에 있어서,
   상기 사용자 임의의 메시지는,
   별도로 지정된 키워드에 한정되지 않고, 상기 사용자의 구어체로 자유롭게 입력 가능한 것을 특징으로 하는 딥러닝 인공지능 기반의 음성인식 쇼핑 서비스 제공 방법
   
4. 제1항에 있어서,
   상기 사용자 임의의 메시지 분석은,
   상기 사용자 단말기로부터 입력 받은 문자 메시지 또는 음성 메시지를 각 어절별로 분석하여, 이를 통해 상품의 성별 조건, 연령 조건, 브랜드 조건 및 카테고리 조건 중 일 이상을 판정하는 것을 특징으로 하는 딥러닝 인공지능 기반의 음성인식 쇼핑 서비스 제공 방법
   
5. 제1항에 있어서,
   상기 사용자 임의의 메시지 분석은,
   상기 사용자 단말기로부터 입력 받은 이미지의 모양, 길이 및 패턴 중 일 이상을 분석하여, 상품의 카테고리 조건, 성별 조건 및 스타일 조건 중 일 이상을 판정하는 것을 특징으로 하는 딥러닝 인공지능 기반의 음성인식 쇼핑 서비스 제공 방법

Images