KR102285571B1 - 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치 및 그 동작 방법 - Google Patents

상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102285571B1
KR102285571B1 KR1020210009680A KR20210009680A KR102285571B1 KR 102285571 B1 KR102285571 B1 KR 102285571B1 KR 1020210009680 A KR1020210009680 A KR 1020210009680A KR 20210009680 A KR20210009680 A KR 20210009680A KR 102285571 B1 KR102285571 B1 KR 102285571B1
Authority
KR
South Korea
Prior art keywords
product
vector
user
sales information
mobile terminal
Prior art date
Application number
KR1020210009680A
Other languages
English (en)
Inventor
한상훈
이문성
박연묵
Original Assignee
주식회사 한컴로보틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한컴로보틱스 filed Critical 주식회사 한컴로보틱스
Priority to KR1020210009680A priority Critical patent/KR102285571B1/ko
Application granted granted Critical
Publication of KR102285571B1 publication Critical patent/KR102285571B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/481—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322—Aspects of commerce using mobile devices [M-devices]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/409—Device specific authentication in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0613—Third-party assisted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities

Abstract

상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치 및 그 동작 방법이 개시된다. 본 발명은 사전 지정된 복수의 상품류들 각각에 대응되는 적어도 하나의 검색어를 사전 저장해 둔 상태에서, 사용자에 의해, 카메라를 통해 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지에 대한 특징 분석을 수행하여 상기 복수의 상품류들 중 상기 제1 상품의 이미지와의 매칭도가 최대인 제1 매칭 상품류를 선택한 후, 사전 지정된 온라인 쇼핑몰의 서버로부터 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보를 수신하여 화면 상에 표시할 수 있는 홈 로봇 장치 및 그 동작 방법에 대한 것이다.

Description

상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치 및 그 동작 방법{HOME ROBOT FOR PROVIDING SALES INFORMATION FOR PURCHASING THE PRODUCT BASED ON THE PRODUCT IMAGE, AND THE OPERATING METHOD THEREOF}
본 발명은 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치 및 그 동작 방법에 대한 것이다.
최근, 로봇과 관련된 기술의 발달로 인해, 집에서 사람의 활동을 보조해 주는 홈 로봇에 대한 연구가 활발히 진행되고 있다.
이러한 홈 로봇은 집안을 청소하거나 위급 상황 발생시 당국에 위급 신호를 보내는 등의 역할을 수행함으로써, 인간의 삶을 윤택하게 하기 위해 주로 활용되고 있다.
이와 관련해서, 홈 로봇을 통해 사용자에게 일상과 관련된 다양한 정보를 제공할 수 있다면, 홈 로봇의 활용성을 보다 증대시킬 수 있을 것이다.
한편, 최근에는 직접 상점에 방문하지 않고 온라인 쇼핑몰을 통해 상품을 구매하는 사용자가 점점 증가하고 있다.
하지만, 온라인 상에는 수없이 많은 상품들에 대한 판매 정보가 존재하기 때문에, 사용자가 온라인 상에서 상품을 구매하기 위해서는, 상품에 대한 판매 정보를 검색하는 데에 많은 시간이 필요하다는 문제점이 있었다.
만약, 홈 로봇을 통해 사용자가 구매하고자 하는 상품의 이미지를 기초로, 상상품의 구매를 위한 판매 정보를 제공할 수 있다면, 사용자는 온라인 상의 수없이 많은 상품들의 판매 정보를 일일이 확인하지 않아도, 사용자가 구매하고자 하는 상품에 대한 판매 정보를 보다 신속하게 획득할 수 있다는 점에서, 사용자의 편의성이 증대될 수 있을 것이다.
따라서, 홈 로봇에 대한 사용자의 편의성과 활용성을 증대시키기 위해, 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공할 수 있는 홈 로봇 기술에 대한 연구가 필요하다.
본 발명은 사전 지정된 복수의 상품류들 각각에 대응되는 적어도 하나의 검색어를 사전 저장해 둔 상태에서, 사용자에 의해, 카메라를 통해 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지에 대한 특징 분석을 수행하여 상기 복수의 상품류들 중 상기 제1 상품의 이미지와의 매칭도가 최대인 제1 매칭 상품류를 선택한 후, 사전 지정된 온라인 쇼핑몰의 서버로부터 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보를 수신하여 화면 상에 표시할 수 있는 홈 로봇 장치 및 그 동작 방법을 제시함으로써, 홈 로봇을 사용하는 사용자의 편의성이 증대될 수 있도록 지원하고자 한다.
본 발명의 일실시예에 따른 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치는 사전 지정된 복수의 상품류들 각각에 대응되는, 판매 정보 검색을 위한 적어도 하나의 검색어가 저장되어 있는 검색어 저장부, 사용자에 의해, 상기 홈 로봇 장치에 사전 탑재되어 있는 카메라를 통해 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지에 대한 특징 분석을 수행하여 상기 복수의 상품류들 중 상기 제1 상품의 이미지와의 매칭도가 최대인 제1 매칭 상품류를 선택하는 상품류 선택부, 상기 검색어 저장부로부터 상기 제1 매칭 상품류에 대응되는 적어도 하나의 제1 검색어를 추출하는 검색어 추출부, 사전 지정된 온라인 쇼핑몰의 서버에 접속하여 상기 온라인 쇼핑몰의 서버에 대해, 상기 적어도 하나의 제1 검색어를 기초로 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보를 검색하여 전송할 것을 요청하는 전송 요청부 및 상기 온라인 쇼핑몰의 서버로부터 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보로, 복수의 제1 판매 정보들이 수신되면, 상기 복수의 제1 판매 정보들을 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보인 것으로 화면 상에 표시하는 정보 표시부를 포함한다.
또한, 본 발명의 일실시예에 따른 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치의 동작 방법은 사전 지정된 복수의 상품류들 각각에 대응되는, 판매 정보 검색을 위한 적어도 하나의 검색어가 저장되어 있는 검색어 저장부를 유지하는 단계, 사용자에 의해, 상기 홈 로봇 장치에 사전 탑재되어 있는 카메라를 통해 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지에 대한 특징 분석을 수행하여 상기 복수의 상품류들 중 상기 제1 상품의 이미지와의 매칭도가 최대인 제1 매칭 상품류를 선택하는 단계, 상기 검색어 저장부로부터 상기 제1 매칭 상품류에 대응되는 적어도 하나의 제1 검색어를 추출하는 단계, 사전 지정된 온라인 쇼핑몰의 서버에 접속하여 상기 온라인 쇼핑몰의 서버에 대해, 상기 적어도 하나의 제1 검색어를 기초로 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보를 검색하여 전송할 것을 요청하는 단계 및 상기 온라인 쇼핑몰의 서버로부터 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보로, 복수의 제1 판매 정보들이 수신되면, 상기 복수의 제1 판매 정보들을 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보인 것으로 화면 상에 표시하는 단계를 포함한다.
본 발명은 사전 지정된 복수의 상품류들 각각에 대응되는 적어도 하나의 검색어를 사전 저장해 둔 상태에서, 사용자에 의해, 카메라를 통해 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지에 대한 특징 분석을 수행하여 상기 복수의 상품류들 중 상기 제1 상품의 이미지와의 매칭도가 최대인 제1 매칭 상품류를 선택한 후, 사전 지정된 온라인 쇼핑몰의 서버로부터 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보를 수신하여 화면 상에 표시할 수 있는 홈 로봇 장치 및 그 동작 방법을 제시함으로써, 홈 로봇을 사용하는 사용자의 편의성을 증대시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치의 동작 방법을 도시한 순서도이다.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.
도 1은 본 발명의 일실시예에 따른 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치의 구조를 도시한 도면이다.
도 1을 참조하면, 홈 로봇 장치(110)는 검색어 저장부(111), 상품류 선택부(112), 검색어 추출부(113), 전송 요청부(114) 및 정보 표시부(115)를 포함한다.
검색어 저장부(111)에는 사전 지정된 복수의 상품류들 각각에 대응되는 판매 정보 검색을 위한 적어도 하나의 검색어가 저장되어 있다.
예컨대, 검색어 저장부(111)에는 하기의 표 1과 같은, 사전 지정된 복수의 상품류들 각각에 대응되는 적어도 하나의 검색어가 저장되어 있을 수 있다.
상품류 검색어
가방 검색어 1
검색어 2
검색어 3
핸드폰 검색어 4
검색어 5
시계 검색어 6
검색어 7
... ...
상품류 선택부(112)는 사용자(130)에 의해, 홈 로봇 장치(110)에 사전 탑재되어 있는 카메라(100)를 통해 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지에 대한 특징 분석을 수행하여 상기 복수의 상품류들 중 상기 제1 상품의 이미지와의 매칭도가 최대인 제1 매칭 상품류를 선택한다.
이때, 본 발명의 일실시예에 따르면, 상품류 선택부(112)는 상기 복수의 상품류들 중 상기 제1 상품의 이미지와의 매칭도가 최대인 상기 제1 매칭 상품류를 선택하기 위한 구체적인 구성으로, 특징 벡터 저장부(116), 출력 벡터 생성부(117) 및 선택부(118)를 포함할 수 있다.
특징 벡터 저장부(116)에는 상기 복수의 상품류들 각각에 대응되는 것으로 사전 지정된 n차원의 특징 벡터가 저장되어 있다.
예컨대, n을 '4'라고 하는 경우, 특징 벡터 저장부(116)에는 하기의 표 2와 같은 상기 복수의 상품류들 각각에 대응되는 것으로 사전 지정된 '4차원'의 특징 벡터가 저장되어 있을 수 있다.
상품류 '4차원'의 특징 벡터
가방 [a b c d]
핸드폰 [e f g h]
시계 [i j k l]
... ...
출력 벡터 생성부(117)는 사용자(130)에 의해, 카메라(100)를 통해 상기 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지를 사전 기계학습이 완료된 합성곱 신경망(Convolutional Neural Networks)에 입력으로 인가하여 n차원의 제1 출력 벡터를 생성한다.
여기서, 합성곱 신경망이란 합성곱 필터로 구성된 다수의 합성곱층과 풀링(pooling)층들로 구성되는 신경망으로서, 합성곱 신경망에 이미지 등과 같은 입력 데이터가 피처맵(feature map)으로 구성되어 합성곱층에 입력으로 인가되면, 합성곱층을 구성하는 하나 이상의 채널을 갖는 합성곱 필터들에 의해 합성곱이 발생하여 출력 피처맵이 생성되고, 풀링층을 통해서 상기 출력 피처맵의 크기를 줄이기 위한 다운샘플링이 수행된 후, 그 출력이 다음 합성곱층과 풀링층에 다시 입력으로 인가되는 과정이 반복되며, 이러한 과정의 반복을 통해 소정의 출력이 산출되게 된다.
이와 관련해서, 본 발명에서 사용되는 상기 합성곱 신경망은 상품의 이미지가 입력으로 인가되면, 입력으로 인가된 상기 상품의 이미지를, 이미지의 특징 추출을 위한 복수의 합성곱층과 풀링(pooling)층들에 통과시킴으로써, 상기 복수의 상품류들 중 상기 상품이 속한 상품류에 대응되는 특징 벡터에 최대로 근사한 n차원의 벡터를 출력으로 산출하도록 사전 학습되어 있다.
이때, 개발자는 상기 합성곱 신경망을 학습시키기 위해, 상기 표 2와 같은 복수의 상품류들 각각에 대응되는 특징 벡터가 저장되어 있는 특징 벡터 저장부(116)를 참조하여, 다수의 상품의 이미지들과, 각 상품이 속한 상품류에 대응되는 특징 벡터를 대응시킨 트레이닝 세트를 구성한 후, 상기 트레이닝 세트를 구성하는 다수의 상품의 이미지들을 상기 합성곱 신경망에 통과시켜 산출되는 예측 벡터와, 각 상품이 속한 상품류에 대응되는 특징 벡터 간의 비교를 통해서, 각 상품의 이미지에 대응되는 예측 벡터가 각 상품이 속한 상품류에 대응되는 특징 벡터에 최대로 근접하도록 상기 합성곱 신경망을 학습시킬 수 있다.
이러한 상기 합성곱 신경망을 기초로, 출력 벡터 생성부(117)에 의해 상기 제1 출력 벡터가 생성되면, 선택부(118)는 상기 제1 출력 벡터와, 상기 복수의 상품류들 각각에 대응되는 특징 벡터 간의 벡터 유사도를 연산한 후, 상기 복수의 상품류들 중 상기 벡터 유사도가 최대인 특징 벡터를 갖는 상품류를 상기 제1 매칭 상품류로 선택한다.
여기서, 상기 벡터 유사도로, 하기의 수학식 1에 따른 코사인 유사도 또는 하기의 수학식 2에 따른 유클리드 거리(Euclidean Distance) 등이 사용될 수 있다.
Figure 112021009023764-pat00001
상기 수학식 1에서, S는 벡터 A와 벡터 B 사이의 코사인 유사도로, -1에서 1 사이의 값을 가지며, Ai는 벡터 A의 i번째 성분, Bi는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 코사인 유사도가 클수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.
Figure 112021009023764-pat00002
상기 수학식 2에서, 벡터 A와 벡터 B 사이의 D는 유클리드 거리로, Ai는 벡터 A의 i번째 성분, Bi는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 유클리드 거리가 작을수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.
예컨대, n을 '4'라고 하고, 사용자(130)에 의해, 카메라(100)를 통해 'A 가방'이 촬영됨에 따라, 'A 가방'의 이미지가 획득되면서, 'A 가방'에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되었다고 가정하자.
이에 따라, 출력 벡터 생성부(117)에 의해 'A 가방'의 이미지가 상기 합성곱 신경망에 입력으로 인가되어 '4차원'의 제1 출력 벡터가 '[p q r s]'와 같이 생성되었다고 하는 경우, 상기 표 2와 같은 특징 벡터 저장부(116)에서는 상기 복수의 상품류들 각각에 대응되는 특징 벡터가 '[a b c d], [e f g h], [i j k l], ...'이므로, 선택부(118)는 상기 제1 출력 벡터인 '[p q r s]'와, '[a b c d], [e f g h], [i j k l], ...' 각각 간의 벡터 유사도를 연산할 수 있다.
이때, '[a b c d], [e f g h], [i j k l], ...' 중 '[a b c d]'의 상기 벡터 유사도가 최대로 연산되었다고 하는 경우, 선택부(118)는 상기 복수의 상품류들 중 '[a b c d]'를 특징 벡터로 갖는 상품류를 상기 제1 매칭 상품류로 선택할 수 있다.
관련해서, 상기 표 2와 같은 특징 벡터 저장부(116)에서는, '[a b c d]'를 특징 벡터로 갖는 상품류가 '가방'이므로, 선택부(118)는 '가방'을 상기 제1 매칭 상품류로 선택할 수 있다.
이렇게, 상품류 선택부(112)에 의해 상기 제1 매칭 상품류가 선택되면, 검색어 추출부(113)는 검색어 저장부(111)로부터 상기 제1 매칭 상품류에 대응되는 적어도 하나의 제1 검색어를 추출한다.
전송 요청부(114)는 사전 지정된 온라인 쇼핑몰의 서버(150)에 접속하여 온라인 쇼핑몰의 서버(150)에 대해, 상기 적어도 하나의 제1 검색어를 기초로 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보를 검색하여 전송할 것을 요청한다.
여기서, 상품에 대한 판매 정보는 사용자(130)가 상품의 구매를 결정할 수 있도록 지원하기 위해 사용자(130)에게 제공하는 정보로, 상품의 브랜드, 상품을 판매하고 있는 판매자, 상품의 판매 가격 등을 포함할 수 있다.
정보 표시부(115)는 온라인 쇼핑몰의 서버(150)로부터 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보로, 복수의 제1 판매 정보들이 수신되면, 상기 복수의 제1 판매 정보들을 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보인 것으로 화면 상에 표시한다.
이하에서는, 검색어 추출부(113), 전송 요청부(114) 및 정보 표시부(115)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, 상품류 선택부(112)에 의해 '가방'이 상기 제1 매칭 상품류로 선택되었다고 하는 경우, 검색어 추출부(113)는 상기 표 1과 같은 검색어 저장부(111)로부터, '가방'에 대응되는 검색어들인 '검색어 1, 검색어 2, 검색어 3'을 적어도 하나의 제1 검색어로 추출할 수 있다.
그러면, 전송 요청부(114)는 사전 지정된 온라인 쇼핑몰의 서버(150)에 접속하여 온라인 쇼핑몰의 서버(150)에 대해, '검색어 1, 검색어 2, 검색어 3'을 기초로 '가방'에 속하는 상품에 대한 판매 정보를 검색하여 전송할 것을 요청할 수 있다.
이때, 온라인 쇼핑몰의 서버(150)가 '검색어 1, 검색어 2, 검색어 3'을 기초로 '가방'에 속하는 상품에 대한 판매 정보를 검색하여 홈 로봇 장치(110)로 전송함에 따라, 홈 로봇 장치(110)에 하기의 표 3과 같은 복수의 제1 판매 정보들이 수신되었다고 하는 경우, 정보 표시부(115)는 하기의 표 3과 같은 복수의 제1 판매 정보들을 'A 가방'에 연관된 상품의 구매를 위한 판매 정보인 것으로 화면 상에 표시할 수 있다.
'가방'에 속하는 상품 판매 정보
A 가방 판매 정보 1
B 가방 판매 정보 2
C 가방 판매 정보 3
D 가방 판매 정보 4
즉, 홈 로봇 장치(110)는 사전 지정된 복수의 상품류들 각각에 대응되는 적어도 하나의 검색어를 사전 저장해 둔 상태에서, 사용자(130)에 의해, 카메라(100)를 통해 상기 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지에 대한 특징 분석을 수행하여 상기 복수의 상품류들 중 상기 제1 상품의 이미지와의 매칭도가 최대인 제1 매칭 상품류를 선택한 후, 온라인 쇼핑몰의 서버(150)로부터 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보를 수신하여 화면 상에 표시할 수 있다.
본 발명의 일실시예에 따르면, 홈 로봇 장치(110)는 결제 안내 메시지 표시부(119), 결제 요청부(120) 및 구매 완료부(121)를 더 포함할 수 있다.
결제 안내 메시지 표시부(119)는 상기 복수의 제1 판매 정보들이 화면 상에 표시된 이후, 사용자(130)로부터, 상기 복수의 제1 판매 정보들 중 어느 하나인 제2 판매 정보를 갖는 제2 상품에 대한 구매 요청 명령이 인가되면, 결제 안내 메시지를 화면 상에 표시한다.
여기서, 상기 결제 안내 메시지는 사용자(130)에 대해, 결제 수단 정보가 저장되어 있는 모바일 단말을 이용하여, 상기 제2 상품의 구매를 위한 결제 수단 정보를 홈 로봇 장치(110)로 전송할 것을 요청하는 메시지이다.
결제 요청부(120)는 결제 안내 메시지 표시부(119)에 의해 상기 결제 안내 메시지가 화면 상에 표시된 이후, 제1 결제 수단 정보가 저장되어 있는 사용자(130)의 모바일 단말(140)로부터, 상기 제1 결제 수단 정보가 수신되면, 사용자(130)의 모바일 단말(140)에 대한 인증을 수행한 후, 온라인 쇼핑몰의 서버(140)에 접속하여 온라인 쇼핑몰의 서버(140)로, 상기 제1 결제 수단 정보를 전송하면서, 상기 제2 상품에 대한 결제 처리 요청을 전송한다.
구매 완료부(121)는 온라인 쇼핑몰의 서버(150)에서 상기 제1 결제 수단 정보에 기초하여 상기 제2 상품에 대한 결제 처리가 완료됨에 따라, 온라인 쇼핑몰의 서버(150)로부터 상기 제2 상품에 대한 결제 처리 완료 메시지가 수신되면, 상기 제2 상품의 구매가 완료되었음을 지시하는 구매 완료 메시지를 화면 상에 표시한다.
이하에서는, 결제 안내 메시지 표시부(119), 결제 요청부(120) 및 구매 완료부(121)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, 정보 표시부(115)에 의해 상기 표 3과 같은 복수의 제1 판매 정보들이 화면 상에 표시되었다고 하고, 그 이후, 사용자(130)로부터, 상기 복수의 제1 판매 정보들 중 어느 하나인 '판매 정보 2'를 갖는 'B 가방'에 대한 구매 요청 명령이 인가되었다고 하는 경우, 결제 안내 메시지 표시부(119)는 결제 안내 메시지를 화면 상에 표시할 수 있다.
이때, 사용자(130)는 상기 결제 안내 메시지를 보고, 신용카드와 같은 제1 결제 수단 정보가 저장되어 있는 사용자(130)의 모바일 단말(140)을 이용해서 홈 로봇 장치(110)에 상기 제1 결제 수단 정보를 전송할 수 있다. 관련해서, 홈 로봇 장치(110)에는 소정의 근거리 통신 모듈이 탑재되어 있을 수 있다. 이로 인해, 상기 사용자가 사용자(130)의 모바일 단말(140)을 홈 로봇 장치(110)에 근접시키게 되면, 사용자(130)의 모바일 단말(140)은 사용자(130)의 모바일 단말(140)에 저장되어 있는 상기 제1 결제 수단 정보를 근거리 통신을 통해 홈 로봇 장치(110)에 전송할 수 있다.
이에 따라, 홈 로봇 장치(110)에 상기 제1 결제 수단 정보가 수신되면, 결제 요청부(120)는 사용자(130)의 모바일 단말(140)에 대한 인증을 수행할 수 있고, 그 이후, 온라인 쇼핑몰의 서버(140)에 접속하여 온라인 쇼핑몰의 서버(140)로, 상기 제1 결제 수단 정보를 전송하면서, 'B 가방'에 대한 결제 처리 요청을 전송할 수 있다.
이때, 온라인 쇼핑몰의 서버(140)는 홈 로봇 장치(110)로부터 상기 제1 결제 수단 정보가 수신되면서, 'B 가방'에 대한 결제 처리 요청이 수신되면, 상기 제1 결제 수단 정보를 기초로, 'B 가방'에 대한 대금 결제를 완료 처리할 수 있고, 홈 로봇 장치(110)로 'B 가방'에 대한 결제 처리 완료 메시지를 전송할 수 있다.
이에 따라, 홈 로봇 장치(110)에 상기 결제 처리 완료 메시지가 수신되면, 구매 완료부(121)는 'B 가방'에 대한 구매가 완료되었음을 지시하는 구매 완료 메시지를 화면 상에 표시할 수 있다.
이때, 본 발명의 일실시예에 따르면, 결제 요청부(120)는 온라인 쇼핑몰의 서버(140)로 상기 제2 상품에 대한 결제 처리 요청을 전송하기 전에, 사용자(130)의 모바일 단말(140)에 대한 인증을 수행하기 위한 구체적인 구성으로, 벡터 저장부(122), 이벤트 발생부(123), 순번 선택부(124), 피드백 요청부(125), 행렬 생성부(126) 및 인증 처리부(127)를 포함할 수 있다.
벡터 저장부(122)에는 사용자(130)의 모바일 단말(140)과 사전 공유하고 있는 k(k는 2 이상의 자연수임)개의 열벡터들과 t(t는 2이상의 자연수임)개의 행벡터들이 저장되어 있다.
여기서, 상기 k개의 열벡터들 각각에는 자연수로 구성된 제1 고유 순번이 할당되어 있고, 상기 t개의 행벡터들 각각에는 자연수로 구성된 제2 고유 순번이 할당되어 있다.
관련해서, k와 t를 각각 '4'라고 하는 경우, 벡터 저장부(122)에는 하기의 표 4와 같은 열벡터들과 행벡터들이 저장되어 있을 수 있다.
열벡터 제1 고유 순번 행벡터 제2 고유 순번
Figure 112021009023764-pat00003
 순번 1
Figure 112021009023764-pat00004
 순번 5
Figure 112021009023764-pat00005
 순번 2
Figure 112021009023764-pat00006
 순번 6
Figure 112021009023764-pat00007
 순번 3
Figure 112021009023764-pat00008
 순번 7
Figure 112021009023764-pat00009
 순번 4
Figure 112021009023764-pat00010
 순번 8
이벤트 발생부(123)는 사용자(130)의 모바일 단말(140)로부터 상기 제1 결제 수단 정보가 수신되면, 사용자(130)의 모바일 단말(140)을 인증하기 위한 인증 이벤트를 발생시킨다.
순번 선택부(124)는 이벤트 발생부(123)에 의해 상기 인증 이벤트가 발생되면, 상기 제1 고유 순번 중 어느 하나의 순번을 랜덤하게 선택함으로써, 제1 랜덤 순번을 선택하고, 상기 제2 고유 순번 중 어느 하나의 순번을 랜덤하게 선택함으로써, 제2 랜덤 순번을 선택한다.
피드백 요청부(125)는 사용자(130)의 모바일 단말(140)로 상기 제1 랜덤 순번과 상기 제2 랜덤 순번을 전송하면서, 사용자(130)의 모바일 단말(140)에 대한 인증 진행을 위한 인증 행렬을 생성하여 피드백할 것을 요청한다.
예컨대, 사용자(130)의 모바일 단말(140)로부터 상기 제1 결제 수단 정보가 수신됨에 따라, 이벤트 발생부(130)에 의해 상기 인증 이벤트가 발생되었다고 하고, 그 이후, 순번 선택부(124)에 의해, '순번 1'과 '순번 7'이 각각 상기 제1 랜덤 순번과 상기 제2 랜덤 순번으로 선택되었다고 하는 경우, 피드백 요청부(125)는 사용자(130)의 모바일 단말(140)로 '순번 1'과 '순번 7'을 전송하면서, 사용자(130)의 모바일 단말(140)에 대한 인증 진행을 위한 인증 행렬을 생성하여 피드백할 것을 요청할 수 있다.
이때, 본 발명의 일실시예에 따르면, 사용자(130)의 모바일 단말(140)은 메모리 상에 홈 로봇 장치(110)와 사전 공유하고 있는 상기 k개의 열벡터들과 상기 t개의 행벡터들을 저장하고 있고, 홈 로봇 장치(110)로부터, 상기 제1 랜덤 순번과 상기 제2 랜덤 순번이 수신되면서, 상기 인증 행렬의 피드백 요청이 수신되면, 상기 k개의 열벡터들 중 상기 제1 랜덤 순번이 할당되어 있는 상기 제1 열벡터를 추출하고, 상기 t개의 행벡터들 중 상기 제2 랜덤 순번이 할당되어 있는 상기 제1 행벡터를 추출할 수 있다.
그러고 나서, 사용자(130)의 모바일 단말(140)은 상기 제1 열벡터와 상기 제1 행벡터 간의 크로네커 곱(Kronecker Product)을 연산함으로써 상기 제1 인증 행렬을 생성하여 홈 로봇 장치(110)로 피드백할 수 있다.
여기서, 크로네커 곱이란 두 행렬의 텐서곱을 구체적으로 표현한 행렬을 의미하는 것으로, 하기의 수학식 3과 같은 m x n의 행렬 M과 하기의 수학식 4와 같은 p x q의 행렬 N이 주어졌다고 하였을 때, 행렬 M과 행렬 N 간의 크로네커 곱은 하기의 수학식 5와 같이 나타낼 수 있다.
Figure 112021009023764-pat00011
Figure 112021009023764-pat00012
Figure 112021009023764-pat00013
예컨대, 전술한 예와 같이, k와 t를 각각 '4'라고 하고, '4개'의 열벡터들과 '4개'의 행벡터들이 상기 표 4와 같다고 하는 경우, 사용자(130)의 모바일 단말(140)의 메모리 상에는 상기 표 4와 같은 '4개'의 열벡터들과 '4개'의 행벡터들이 저장되어 있을 수 있다.
이때, 전술한 예와 같이, 홈 로봇 장치(110)가 사용자(130)의 모바일 단말(140)로 '순번 1'과 '순번 7'을 전송하면서, 상기 인증 행렬의 피드백 요청을 전송함에 따라, 사용자(130)의 모바일 단말(140)에 '순번 1'과 '순번 7'이 수신되면서, 상기 인증 행렬의 피드백 요청이 수신되었다고 가정하자.
그러면, 사용자(130)의 모바일 단말(140)은 메모리 상에 저장되어 있는 상기 표 4와 같은 '4개'의 열벡터들과 '4개'의 행벡터들 중 '순번 1'이 할당되어 있는 '
Figure 112021009023764-pat00014
'을 상기 제1 열벡터로 추출할 수 있고, '순번 7'이 할당되어 있는 '
Figure 112021009023764-pat00015
'을 상기 제1 행벡터로 추출할 수 있다.
그러고 나서, 사용자(130)의 모바일 단말(140)은 '
Figure 112021009023764-pat00016
'과 '
Figure 112021009023764-pat00017
' 간의 크로네커 곱을 연산하여 제1 인증 행렬을 '
Figure 112021009023764-pat00018
'과 같이 생성할 수 있고, 그 이후, '
Figure 112021009023764-pat00019
'을 홈 로봇 장치(110)로 피드백할 수 있다.
이에 따라, 홈 로봇 장치(110)에 상기 인증 행렬로 제1 인증 행렬이 피드백되면, 행렬 생성부(126)는 벡터 저장부(122)로부터 상기 제1 랜덤 순번이 할당되어 있는 상기 제1 열벡터와 상기 제2 랜덤 순번이 할당되어 있는 상기 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터 간의 크로네커 곱을 연산하여 연산 행렬을 생성한다.
인증 처리부(127)는 상기 연산 행렬과 상기 제1 인증 행렬을 비교하여 상기 연산 행렬이 상기 제1 인증 행렬과 동일한 것으로 확인되는 경우, 사용자(130)의 모바일 단말(140)에 대한 인증을 완료 처리한다.
이하에서는, 행렬 생성부(126) 및 인증 처리부(127)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, 상기 제1 랜덤 순번을 '순번 1'이라고 하고, 상기 제2 랜덤 순번을 '순번 7'이라고 하며, 전술한 예에 따라, 홈 로봇 장치(110)에 '
Figure 112021009023764-pat00020
'이 피드백되었다고 하는 경우, 행렬 생성부(126)는 상기 표 4와 같은 벡터 저장부(122)로부터, '순번 1'이 할당되어 있는 '
Figure 112021009023764-pat00021
'과 '순번 7'이 할당되어 있는 '
Figure 112021009023764-pat00022
'를 추출할 수 있고, 그 이후, '
Figure 112021009023764-pat00023
'과 '
Figure 112021009023764-pat00024
' 간의 크로네커 곱을 연산하여 연산 행렬을 '
Figure 112021009023764-pat00025
'과 같이 생성할 수 있다.
그러면, 인증 처리부(127)는 상기 연산 행렬과 상기 제1 인증 행렬을 비교하여 상기 연산 행렬이 상기 제1 인증 행렬과 동일한 것으로 확인할 수 있다.
여기서, 상기 연산 행렬이 상기 제1 인증 행렬과 동일하다는 것은 사용자(130)의 모바일 단말(140)에 홈 로봇 장치(110)와 사전 공유하고 있는 '4개'의 열벡터들과 '4개'의 행벡터들이 저장되어 있다는 의미이므로, 인증 처리부(127)는 상기 연산 행렬과 상기 제1 인증 행렬이 서로 동일한 것으로 확인되면, 사용자(130)의 모바일 단말(140)에 대한 인증을 완료 처리함으로써, 'B 가방'에 대한 결제 처리가 정상적으로 진행되도록 처리할 수 있다.
도 2는 본 발명의 일실시예에 따른 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치의 동작 방법을 도시한 순서도이다.
단계(S210)에서는 사전 지정된 복수의 상품류들 각각에 대응되는, 판매 정보 검색을 위한 적어도 하나의 검색어가 저장되어 있는 검색어 저장부를 유지한다.
단계(S220)에서는 사용자에 의해, 상기 홈 로봇 장치에 사전 탑재되어 있는 카메라를 통해 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지에 대한 특징 분석을 수행하여 상기 복수의 상품류들 중 상기 제1 상품의 이미지와의 매칭도가 최대인 제1 매칭 상품류를 선택한다.
단계(S230)에서는 상기 검색어 저장부로부터 상기 제1 매칭 상품류에 대응되는 적어도 하나의 제1 검색어를 추출한다.
단계(S240)에서는 사전 지정된 온라인 쇼핑몰의 서버에 접속하여 상기 온라인 쇼핑몰의 서버에 대해, 상기 적어도 하나의 제1 검색어를 기초로 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보를 검색하여 전송할 것을 요청한다.
단계(S250)에서는 상기 온라인 쇼핑몰의 서버로부터 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보로, 복수의 제1 판매 정보들이 수신되면, 상기 복수의 제1 판매 정보들을 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보인 것으로 화면 상에 표시한다.
이때, 본 발명의 일실시예에 따르면, 단계(S220)에서는 상기 복수의 상품류들 각각에 대응되는 것으로 사전 지정된 n차원의 특징 벡터가 저장되어 있는 특징 벡터 저장부를 유지하는 단계, 상기 사용자에 의해, 상기 카메라를 통해 상기 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지를 사전 기계학습이 완료된 합성곱 신경망(상기 합성곱 신경망은 상품의 이미지가 입력으로 인가되면, 입력으로 인가된 상기 상품의 이미지를, 이미지의 특징 추출을 위한 복수의 합성곱층과 풀링층들에 통과시킴으로써, 상기 복수의 상품류들 중 상기 상품이 속한 상품류에 대응되는 특징 벡터에 최대로 근사한 n차원의 벡터를 출력으로 산출하도록 사전 학습되어 있음)에 입력으로 인가하여 n차원의 제1 출력 벡터를 생성하는 단계 및 상기 제1 출력 벡터와, 상기 복수의 상품류들 각각에 대응되는 특징 벡터 간의 벡터 유사도를 연산한 후, 상기 복수의 상품류들 중 상기 벡터 유사도가 최대인 특징 벡터를 갖는 상품류를 상기 제1 매칭 상품류로 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 홈 로봇 장치의 동작 방법은 상기 복수의 제1 판매 정보들이 화면 상에 표시된 이후, 상기 사용자로부터, 상기 복수의 제1 판매 정보들 중 어느 하나인 제2 판매 정보를 갖는 제2 상품에 대한 구매 요청 명령이 인가되면, 결제 안내 메시지(상기 결제 안내 메시지는 상기 사용자에 대해, 결제 수단 정보가 저장되어 있는 모바일 단말을 이용하여, 상기 제2 상품의 구매를 위한 결제 수단 정보를 상기 홈 로봇 장치로 전송할 것을 요청하는 메시지임)를 화면 상에 표시하는 단계, 상기 결제 안내 메시지가 화면 상에 표시된 이후, 제1 결제 수단 정보가 저장되어 있는 상기 사용자의 모바일 단말로부터, 상기 제1 결제 수단 정보가 수신되면, 상기 사용자의 모바일 단말에 대한 인증을 수행한 후, 상기 온라인 쇼핑몰의 서버에 접속하여 상기 온라인 쇼핑몰의 서버로, 상기 제1 결제 수단 정보를 전송하면서, 상기 제2 상품에 대한 결제 처리 요청을 전송하는 단계 및 상기 온라인 쇼핑몰의 서버에서 상기 제1 결제 수단 정보에 기초하여 상기 제2 상품에 대한 결제 처리가 완료됨에 따라, 상기 온라인 쇼핑몰의 서버로부터 상기 제2 상품에 대한 결제 처리 완료 메시지가 수신되면, 상기 제2 상품의 구매가 완료되었음을 지시하는 구매 완료 메시지를 화면 상에 표시하는 단계를 더 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 결제 처리 요청을 전송하는 단계는 상기 사용자의 모바일 단말과 사전 공유하고 있는 k(k는 2 이상의 자연수임)개의 열벡터들(상기 k개의 열벡터들 각각에는 자연수로 구성된 제1 고유 순번이 할당되어 있음)과 t(t는 2이상의 자연수임)개의 행벡터들(상기 t개의 행벡터들 각각에는 자연수로 구성된 제2 고유 순번이 할당되어 있음)이 저장되어 있는 벡터 저장부를 유지하는 단계, 상기 사용자의 모바일 단말로부터 상기 제1 결제 수단 정보가 수신되면, 상기 사용자의 모바일 단말을 인증하기 위한 인증 이벤트를 발생시키는 단계, 상기 인증 이벤트가 발생되면, 상기 제1 고유 순번 중 어느 하나의 순번을 랜덤하게 선택함으로써, 제1 랜덤 순번을 선택하고, 상기 제2 고유 순번 중 어느 하나의 순번을 랜덤하게 선택함으로써, 제2 랜덤 순번을 선택하는 단계, 상기 사용자의 모바일 단말로 상기 제1 랜덤 순번과 상기 제2 랜덤 순번을 전송하면서, 상기 사용자의 모바일 단말에 대한 인증 진행을 위한 인증 행렬을 생성하여 피드백할 것을 요청하는 단계, 상기 인증 행렬의 피드백 요청에 대응하여, 상기 사용자의 모바일 단말로부터 상기 인증 행렬로 제1 인증 행렬(상기 제1 인증 행렬은 상기 사용자의 모바일 단말에서, 상기 사용자의 모바일 단말에 저장되어 있는 상기 k개의 열벡터들 중 상기 제1 랜덤 순번이 할당되어 있는 제1 열벡터가 추출되고, 상기 t개의 행벡터들 중 상기 제2 랜덤 순번이 할당되어 있는 제1 행벡터가 추출된 후, 상기 제1 열벡터와 상기 제1 행벡터 간의 크로네커 곱이 연산됨으로써 생성된 행렬임)이 피드백되면, 상기 벡터 저장부로부터 상기 제1 랜덤 순번이 할당되어 있는 상기 제1 열벡터와 상기 제2 랜덤 순번이 할당되어 있는 상기 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터 간의 크로네커 곱을 연산하여 연산 행렬을 생성하는 단계 및 상기 연산 행렬과 상기 제1 인증 행렬을 비교하여 상기 연산 행렬이 상기 제1 인증 행렬과 동일한 것으로 확인되는 경우, 상기 사용자의 모바일 단말에 대한 인증을 완료 처리하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 사용자의 모바일 단말은 메모리 상에 상기 홈 로봇 장치와 사전 공유하고 있는 상기 k개의 열벡터들과 상기 t개의 행벡터들을 저장하고 있고, 상기 홈 로봇 장치로부터, 상기 제1 랜덤 순번과 상기 제2 랜덤 순번이 수신되면서, 상기 인증 행렬의 피드백 요청이 수신되면, 상기 k개의 열벡터들 중 상기 제1 랜덤 순번이 할당되어 있는 상기 제1 열벡터를 추출하고, 상기 t개의 행벡터들 중 상기 제2 랜덤 순번이 할당되어 있는 상기 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터 간의 크로네커 곱을 연산함으로써 상기 제1 인증 행렬을 생성하여 상기 홈 로봇 장치로 피드백할 수 있다.
이상, 도 2를 참조하여 본 발명의 일실시예에 따른 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치의 동작 방법은 도 1을 이용하여 설명한 홈 로봇 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치
111: 검색어 저장부 112: 상품류 선택부
113: 검색어 추출부 114: 전송 요청부
115: 정보 표시부 116: 특징 벡터 저장부
117: 출력 벡터 생성부 118: 선택부
119: 결제 안내 메시지 표시부 120: 결제 요청부
121: 구매 완료부 122: 벡터 저장부
123: 이벤트 발생부 124: 순번 선택부
125: 피드백 요청부 126: 행렬 생성부
127: 인증 처리부
100: 카메라
130: 사용자
140: 사용자의 모바일 단말
150: 온라인 쇼핑몰의 서버

Claims (12)

  1. 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치에 있어서,
    사전 지정된 복수의 상품류들 각각에 대응되는, 판매 정보 검색을 위한 적어도 하나의 검색어가 저장되어 있는 검색어 저장부;
    사용자에 의해, 상기 홈 로봇 장치에 사전 탑재되어 있는 카메라를 통해 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지에 대한 특징 분석을 수행하여 상기 복수의 상품류들 중 상기 제1 상품의 이미지와의 매칭도가 최대인 제1 매칭 상품류를 선택하는 상품류 선택부;
    상기 검색어 저장부로부터 상기 제1 매칭 상품류에 대응되는 적어도 하나의 제1 검색어를 추출하는 검색어 추출부;
    사전 지정된 온라인 쇼핑몰의 서버에 접속하여 상기 온라인 쇼핑몰의 서버에 대해, 상기 적어도 하나의 제1 검색어를 기초로 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보를 검색하여 전송할 것을 요청하는 전송 요청부;
    상기 온라인 쇼핑몰의 서버로부터 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보로, 복수의 제1 판매 정보들이 수신되면, 상기 복수의 제1 판매 정보들을 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보인 것으로 화면 상에 표시하는 정보 표시부;
    상기 복수의 제1 판매 정보들이 화면 상에 표시된 이후, 상기 사용자로부터, 상기 복수의 제1 판매 정보들 중 어느 하나인 제2 판매 정보를 갖는 제2 상품에 대한 구매 요청 명령이 인가되면, 결제 안내 메시지 - 상기 결제 안내 메시지는 상기 사용자에 대해, 결제 수단 정보가 저장되어 있는 모바일 단말을 이용하여, 상기 제2 상품의 구매를 위한 결제 수단 정보를 상기 홈 로봇 장치로 전송할 것을 요청하는 메시지임 - 를 화면 상에 표시하는 결제 안내 메시지 표시부;
    상기 결제 안내 메시지가 화면 상에 표시된 이후, 제1 결제 수단 정보가 저장되어 있는 상기 사용자의 모바일 단말로부터, 상기 제1 결제 수단 정보가 수신되면, 상기 사용자의 모바일 단말에 대한 인증을 수행한 후, 상기 온라인 쇼핑몰의 서버에 접속하여 상기 온라인 쇼핑몰의 서버로, 상기 제1 결제 수단 정보를 전송하면서, 상기 제2 상품에 대한 결제 처리 요청을 전송하는 결제 요청부; 및
    상기 온라인 쇼핑몰의 서버에서 상기 제1 결제 수단 정보에 기초하여 상기 제2 상품에 대한 결제 처리가 완료됨에 따라, 상기 온라인 쇼핑몰의 서버로부터 상기 제2 상품에 대한 결제 처리 완료 메시지가 수신되면, 상기 제2 상품의 구매가 완료되었음을 지시하는 구매 완료 메시지를 화면 상에 표시하는 구매 완료부
    를 포함하고,
    상기 결제 요청부는
    상기 사용자의 모바일 단말과 사전 공유하고 있는 k(k는 2 이상의 자연수임)개의 열벡터들 - 상기 k개의 열벡터들 각각에는 자연수로 구성된 제1 고유 순번이 할당되어 있음 - 과 t(t는 2이상의 자연수임)개의 행벡터들 - 상기 t개의 행벡터들 각각에는 자연수로 구성된 제2 고유 순번이 할당되어 있음 - 이 저장되어 있는 벡터 저장부;
    상기 사용자의 모바일 단말로부터 상기 제1 결제 수단 정보가 수신되면, 상기 사용자의 모바일 단말을 인증하기 위한 인증 이벤트를 발생시키는 이벤트 발생부;
    상기 인증 이벤트가 발생되면, 상기 제1 고유 순번 중 어느 하나의 순번을 랜덤하게 선택함으로써, 제1 랜덤 순번을 선택하고, 상기 제2 고유 순번 중 어느 하나의 순번을 랜덤하게 선택함으로써, 제2 랜덤 순번을 선택하는 순번 선택부;
    상기 사용자의 모바일 단말로 상기 제1 랜덤 순번과 상기 제2 랜덤 순번을 전송하면서, 상기 사용자의 모바일 단말에 대한 인증 진행을 위한 인증 행렬을 생성하여 피드백할 것을 요청하는 피드백 요청부;
    상기 인증 행렬의 피드백 요청에 대응하여, 상기 사용자의 모바일 단말로부터 상기 인증 행렬로 제1 인증 행렬 - 상기 제1 인증 행렬은 상기 사용자의 모바일 단말에서, 상기 사용자의 모바일 단말에 저장되어 있는 상기 k개의 열벡터들 중 상기 제1 랜덤 순번이 할당되어 있는 제1 열벡터가 추출되고, 상기 t개의 행벡터들 중 상기 제2 랜덤 순번이 할당되어 있는 제1 행벡터가 추출된 후, 상기 제1 열벡터와 상기 제1 행벡터 간의 크로네커 곱(Kronecker Product)이 연산됨으로써 생성된 행렬임 - 이 피드백되면, 상기 벡터 저장부로부터 상기 제1 랜덤 순번이 할당되어 있는 상기 제1 열벡터와 상기 제2 랜덤 순번이 할당되어 있는 상기 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터 간의 크로네커 곱을 연산하여 연산 행렬을 생성하는 행렬 생성부; 및
    상기 연산 행렬과 상기 제1 인증 행렬을 비교하여 상기 연산 행렬이 상기 제1 인증 행렬과 동일한 것으로 확인되는 경우, 상기 사용자의 모바일 단말에 대한 인증을 완료 처리하는 인증 처리부
    를 포함하는 홈 로봇 장치.
  2. 제1항에 있어서,
    상기 상품류 선택부는
    상기 복수의 상품류들 각각에 대응되는 것으로 사전 지정된 n차원의 특징 벡터가 저장되어 있는 특징 벡터 저장부;
    상기 사용자에 의해, 상기 카메라를 통해 상기 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지를 사전 기계학습이 완료된 합성곱 신경망(Convolutional Neural Networks) - 상기 합성곱 신경망은 상품의 이미지가 입력으로 인가되면, 입력으로 인가된 상기 상품의 이미지를, 이미지의 특징 추출을 위한 복수의 합성곱층과 풀링(pooling)층들에 통과시킴으로써, 상기 복수의 상품류들 중 상기 상품이 속한 상품류에 대응되는 특징 벡터에 최대로 근사한 n차원의 벡터를 출력으로 산출하도록 사전 학습되어 있음 - 에 입력으로 인가하여 n차원의 제1 출력 벡터를 생성하는 출력 벡터 생성부; 및
    상기 제1 출력 벡터와, 상기 복수의 상품류들 각각에 대응되는 특징 벡터 간의 벡터 유사도를 연산한 후, 상기 복수의 상품류들 중 상기 벡터 유사도가 최대인 특징 벡터를 갖는 상품류를 상기 제1 매칭 상품류로 선택하는 선택부
    를 포함하는 홈 로봇 장치.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 사용자의 모바일 단말은
    메모리 상에 상기 홈 로봇 장치와 사전 공유하고 있는 상기 k개의 열벡터들과 상기 t개의 행벡터들을 저장하고 있고, 상기 홈 로봇 장치로부터, 상기 제1 랜덤 순번과 상기 제2 랜덤 순번이 수신되면서, 상기 인증 행렬의 피드백 요청이 수신되면, 상기 k개의 열벡터들 중 상기 제1 랜덤 순번이 할당되어 있는 상기 제1 열벡터를 추출하고, 상기 t개의 행벡터들 중 상기 제2 랜덤 순번이 할당되어 있는 상기 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터 간의 크로네커 곱을 연산함으로써 상기 제1 인증 행렬을 생성하여 상기 홈 로봇 장치로 피드백하는 것을 특징으로 하는 홈 로봇 장치.
  6. 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치의 동작 방법에 있어서,
    사전 지정된 복수의 상품류들 각각에 대응되는, 판매 정보 검색을 위한 적어도 하나의 검색어가 저장되어 있는 검색어 저장부를 유지하는 단계;
    사용자에 의해, 상기 홈 로봇 장치에 사전 탑재되어 있는 카메라를 통해 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지에 대한 특징 분석을 수행하여 상기 복수의 상품류들 중 상기 제1 상품의 이미지와의 매칭도가 최대인 제1 매칭 상품류를 선택하는 단계;
    상기 검색어 저장부로부터 상기 제1 매칭 상품류에 대응되는 적어도 하나의 제1 검색어를 추출하는 단계;
    사전 지정된 온라인 쇼핑몰의 서버에 접속하여 상기 온라인 쇼핑몰의 서버에 대해, 상기 적어도 하나의 제1 검색어를 기초로 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보를 검색하여 전송할 것을 요청하는 단계;
    상기 온라인 쇼핑몰의 서버로부터 상기 제1 매칭 상품류에 속하는 상품에 대한 판매 정보로, 복수의 제1 판매 정보들이 수신되면, 상기 복수의 제1 판매 정보들을 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보인 것으로 화면 상에 표시하는 단계;
    상기 복수의 제1 판매 정보들이 화면 상에 표시된 이후, 상기 사용자로부터, 상기 복수의 제1 판매 정보들 중 어느 하나인 제2 판매 정보를 갖는 제2 상품에 대한 구매 요청 명령이 인가되면, 결제 안내 메시지 - 상기 결제 안내 메시지는 상기 사용자에 대해, 결제 수단 정보가 저장되어 있는 모바일 단말을 이용하여, 상기 제2 상품의 구매를 위한 결제 수단 정보를 상기 홈 로봇 장치로 전송할 것을 요청하는 메시지임 - 를 화면 상에 표시하는 단계;
    상기 결제 안내 메시지가 화면 상에 표시된 이후, 제1 결제 수단 정보가 저장되어 있는 상기 사용자의 모바일 단말로부터, 상기 제1 결제 수단 정보가 수신되면, 상기 사용자의 모바일 단말에 대한 인증을 수행한 후, 상기 온라인 쇼핑몰의 서버에 접속하여 상기 온라인 쇼핑몰의 서버로, 상기 제1 결제 수단 정보를 전송하면서, 상기 제2 상품에 대한 결제 처리 요청을 전송하는 단계; 및
    상기 온라인 쇼핑몰의 서버에서 상기 제1 결제 수단 정보에 기초하여 상기 제2 상품에 대한 결제 처리가 완료됨에 따라, 상기 온라인 쇼핑몰의 서버로부터 상기 제2 상품에 대한 결제 처리 완료 메시지가 수신되면, 상기 제2 상품의 구매가 완료되었음을 지시하는 구매 완료 메시지를 화면 상에 표시하는 단계
    를 포함하고,
    상기 결제 처리 요청을 전송하는 단계는
    상기 사용자의 모바일 단말과 사전 공유하고 있는 k(k는 2 이상의 자연수임)개의 열벡터들 - 상기 k개의 열벡터들 각각에는 자연수로 구성된 제1 고유 순번이 할당되어 있음 - 과 t(t는 2이상의 자연수임)개의 행벡터들 - 상기 t개의 행벡터들 각각에는 자연수로 구성된 제2 고유 순번이 할당되어 있음 - 이 저장되어 있는 벡터 저장부를 유지하는 단계;
    상기 사용자의 모바일 단말로부터 상기 제1 결제 수단 정보가 수신되면, 상기 사용자의 모바일 단말을 인증하기 위한 인증 이벤트를 발생시키는 단계;
    상기 인증 이벤트가 발생되면, 상기 제1 고유 순번 중 어느 하나의 순번을 랜덤하게 선택함으로써, 제1 랜덤 순번을 선택하고, 상기 제2 고유 순번 중 어느 하나의 순번을 랜덤하게 선택함으로써, 제2 랜덤 순번을 선택하는 단계;
    상기 사용자의 모바일 단말로 상기 제1 랜덤 순번과 상기 제2 랜덤 순번을 전송하면서, 상기 사용자의 모바일 단말에 대한 인증 진행을 위한 인증 행렬을 생성하여 피드백할 것을 요청하는 단계;
    상기 인증 행렬의 피드백 요청에 대응하여, 상기 사용자의 모바일 단말로부터 상기 인증 행렬로 제1 인증 행렬 - 상기 제1 인증 행렬은 상기 사용자의 모바일 단말에서, 상기 사용자의 모바일 단말에 저장되어 있는 상기 k개의 열벡터들 중 상기 제1 랜덤 순번이 할당되어 있는 제1 열벡터가 추출되고, 상기 t개의 행벡터들 중 상기 제2 랜덤 순번이 할당되어 있는 제1 행벡터가 추출된 후, 상기 제1 열벡터와 상기 제1 행벡터 간의 크로네커 곱(Kronecker Product)이 연산됨으로써 생성된 행렬임 - 이 피드백되면, 상기 벡터 저장부로부터 상기 제1 랜덤 순번이 할당되어 있는 상기 제1 열벡터와 상기 제2 랜덤 순번이 할당되어 있는 상기 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터 간의 크로네커 곱을 연산하여 연산 행렬을 생성하는 단계; 및
    상기 연산 행렬과 상기 제1 인증 행렬을 비교하여 상기 연산 행렬이 상기 제1 인증 행렬과 동일한 것으로 확인되는 경우, 상기 사용자의 모바일 단말에 대한 인증을 완료 처리하는 단계
    를 포함하는 홈 로봇 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 제1 매칭 상품류를 선택하는 단계는
    상기 복수의 상품류들 각각에 대응되는 것으로 사전 지정된 n차원의 특징 벡터가 저장되어 있는 특징 벡터 저장부를 유지하는 단계;
    상기 사용자에 의해, 상기 카메라를 통해 상기 제1 상품이 촬영됨에 따라, 상기 제1 상품의 이미지가 획득되면서, 상기 제1 상품에 연관된 상품의 구매를 위한 판매 정보 제공 요청이 인가되면, 상기 제1 상품의 이미지를 사전 기계학습이 완료된 합성곱 신경망(Convolutional Neural Networks) - 상기 합성곱 신경망은 상품의 이미지가 입력으로 인가되면, 입력으로 인가된 상기 상품의 이미지를, 이미지의 특징 추출을 위한 복수의 합성곱층과 풀링(pooling)층들에 통과시킴으로써, 상기 복수의 상품류들 중 상기 상품이 속한 상품류에 대응되는 특징 벡터에 최대로 근사한 n차원의 벡터를 출력으로 산출하도록 사전 학습되어 있음 - 에 입력으로 인가하여 n차원의 제1 출력 벡터를 생성하는 단계; 및
    상기 제1 출력 벡터와, 상기 복수의 상품류들 각각에 대응되는 특징 벡터 간의 벡터 유사도를 연산한 후, 상기 복수의 상품류들 중 상기 벡터 유사도가 최대인 특징 벡터를 갖는 상품류를 상기 제1 매칭 상품류로 선택하는 단계
    를 포함하는 홈 로봇 장치의 동작 방법.
  8. 삭제
  9. 삭제
  10. 제6항에 있어서,
    상기 사용자의 모바일 단말은
    메모리 상에 상기 홈 로봇 장치와 사전 공유하고 있는 상기 k개의 열벡터들과 상기 t개의 행벡터들을 저장하고 있고, 상기 홈 로봇 장치로부터, 상기 제1 랜덤 순번과 상기 제2 랜덤 순번이 수신되면서, 상기 인증 행렬의 피드백 요청이 수신되면, 상기 k개의 열벡터들 중 상기 제1 랜덤 순번이 할당되어 있는 상기 제1 열벡터를 추출하고, 상기 t개의 행벡터들 중 상기 제2 랜덤 순번이 할당되어 있는 상기 제1 행벡터를 추출한 후, 상기 제1 열벡터와 상기 제1 행벡터 간의 크로네커 곱을 연산함으로써 상기 제1 인증 행렬을 생성하여 상기 홈 로봇 장치로 피드백하는 것을 특징으로 하는 홈 로봇 장치의 동작 방법.
  11. 제6항, 제7항 또는 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  12. 제6항, 제7항 또는 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
KR1020210009680A 2021-01-22 2021-01-22 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치 및 그 동작 방법 KR102285571B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210009680A KR102285571B1 (ko) 2021-01-22 2021-01-22 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210009680A KR102285571B1 (ko) 2021-01-22 2021-01-22 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR102285571B1 true KR102285571B1 (ko) 2021-08-04

Family

ID=77314788

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210009680A KR102285571B1 (ko) 2021-01-22 2021-01-22 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102285571B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100687906B1 (ko) * 2005-12-31 2007-02-27 주식회사지앤지커머스 상품 추천 시스템 및 그 방법
KR101027031B1 (ko) * 2007-11-01 2011-04-11 김진호 모바일 단말을 이용한 이미지 인식기반의 양방향성 서비스 또는 물품 거래를 위한 중개 방법 그리고 이를 수행하기 위한 필터링 방법
KR20190079829A (ko) * 2017-12-28 2019-07-08 엔에이치엔고도 주식회사 이미지를 이용한 상품 정보 자동 등록 방법
KR102084101B1 (ko) * 2019-04-15 2020-03-03 주식회사 애드인텔리전스 상품 데이터를 기반으로 한 키워드 제공 장치 및 방법
KR102171819B1 (ko) * 2019-03-26 2020-10-29 주식회사 다날 결제 대기 상품에 대한 자동 결제가 가능한 결제 처리 대행 장치 및 그 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100687906B1 (ko) * 2005-12-31 2007-02-27 주식회사지앤지커머스 상품 추천 시스템 및 그 방법
KR101027031B1 (ko) * 2007-11-01 2011-04-11 김진호 모바일 단말을 이용한 이미지 인식기반의 양방향성 서비스 또는 물품 거래를 위한 중개 방법 그리고 이를 수행하기 위한 필터링 방법
KR20190079829A (ko) * 2017-12-28 2019-07-08 엔에이치엔고도 주식회사 이미지를 이용한 상품 정보 자동 등록 방법
KR102171819B1 (ko) * 2019-03-26 2020-10-29 주식회사 다날 결제 대기 상품에 대한 자동 결제가 가능한 결제 처리 대행 장치 및 그 동작 방법
KR102084101B1 (ko) * 2019-04-15 2020-03-03 주식회사 애드인텔리전스 상품 데이터를 기반으로 한 키워드 제공 장치 및 방법

Similar Documents

Publication Publication Date Title
US11216459B2 (en) Multi-layer semantic search
US20190373466A1 (en) Visual display systems and method for manipulating images of a real scene using augmented reality
CN110945505B (zh) 电子设备和控制电子设备的方法
CN113609495A (zh) 用于同态加密处理的设备和方法、包括该设备的系统
CN113240127A (zh) 基于联邦学习的训练方法、装置、电子设备及存储介质
CN110737811A (zh) 应用分类方法、装置以及相关设备
CN116108267A (zh) 一种推荐方法及相关设备
CN111611976A (zh) 一种基于人脸识别的支付方法及装置
CN110895602B (zh) 身份验证方法、装置、电子设备及存储介质
KR102285571B1 (ko) 상품의 이미지를 기초로 상품의 구매를 위한 판매 정보를 제공하는 홈 로봇 장치 및 그 동작 방법
CN112115188B (zh) 向目标用户展示目标对象序列的方法和装置
KR102270321B1 (ko) 인공지능 기반의 기계학습을 통한 사용자 맞춤형 상품 추천 장치
AU2023266376A1 (en) Method and apparatus for cosmetic product recommendation
WO2021012691A1 (zh) 用于检索图像的方法和装置
CN114219401A (zh) 录入商品信息的方法、装置、设备、介质及程序产品
CN111784787B (zh) 图像生成方法和装置
US20210141825A1 (en) Method and system for sketch based search
KR102271983B1 (ko) 고객정보와 가상화폐 구매이력을 기반으로 한 기계학습 수행을 통해 사용자 맞춤의 가상화폐 추천을 제공하는 가상화폐 거래 플랫폼 서버 및 그 동작 방법
KR102280462B1 (ko) 사용자에게 맞춤형 복합 정보를 제공하는 홈 로봇 장치 및 그 동작 방법
KR102231262B1 (ko) 스틸 이미지를 통해 동영상 및 상품 정보를 제공하는 복합 정보 제공 장치
KR102439525B1 (ko) 관제 시스템과 연동하여 사용자에게 순찰 정보를 제공하는 순찰용 모빌리티 장치 및 그 동작 방법
KR102462657B1 (ko) 중고 명품 거래 플랫폼 서비스를 운영하기 위한 중고 명품 거래 플랫폼 서비스 서버 및 그 동작 방법
KR20230115835A (ko) 이미지 기반의 상품 정보 검색 서비스를 운영하기 위한 상품 정보 검색 서비스 서버 및 그 동작 방법
CN113360697B (zh) 商品图像检索处理方法及其相应的装置、设备、介质
KR102307831B1 (ko) 동화 스크립트를 음성으로 합성하여 출력하는 홈 로봇 장치 및 그 동작 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant