KR102655761B1 - 사람의 특성을 인식하고 제품을 추천하는 전자 장치 및 전자 장치의 동작 방법 - Google Patents
사람의 특성을 인식하고 제품을 추천하는 전자 장치 및 전자 장치의 동작 방법 Download PDFInfo
- Publication number
- KR102655761B1 KR102655761B1 KR1020230113820A KR20230113820A KR102655761B1 KR 102655761 B1 KR102655761 B1 KR 102655761B1 KR 1020230113820 A KR1020230113820 A KR 1020230113820A KR 20230113820 A KR20230113820 A KR 20230113820A KR 102655761 B1 KR102655761 B1 KR 102655761B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- electronic device
- product
- processor
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title description 17
- 238000012552 review Methods 0.000 claims abstract description 5
- 230000001186 cumulative effect Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 7
- 210000000988 bone and bone Anatomy 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000011241 protective layer Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000005341 toughened glass Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
- G06Q30/0271—Personalized advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
- G06Q30/0635—Processing of requisition or of purchase orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
- G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Development Economics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
사람의 특성을 인식하고 제품을 추천하는 전자 장치는 디스플레이, 메모리 및 프로세서를 포함할 수 있다. 프로세서는 전자 장치로부터 지정된 거리 이내에서 물체가 감지되거나 및/또는 상기 디스플레이 상에 사용자 입력이 감지됨에 기반하여 카메라 센서를 이용하여 사용자의 모습을 촬영하고, 촬영된 사용자의 모습을 분석하여 사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이에 대한 정보를 획득하고, 사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이에 대한 정보에 기반하여 사용자의 성별 및 나이대를 결정하고, 사용자와 성별 및 나이대가 같은 다른 사용자들의 제품 구매량 및 사용 후기 점수에 기반하여 사용자에게 적합한 제품의 목록을 결정하고 상기 디스플레이 상에 표시할 수 있다.
Description
본 문서는 키오스크를 포함하는 전자 장치에 관한 것으로 구체적으로는 사람의 특성을 인식하고 제품을 추천하는 전자 장치 및 전자 장치의 동작 방법에 대한 것이다.
키오스크(Kiosk)란 일반 대중들이 쉽게 이용할 수 있도록 공공장소에 설치되어 터치 스크린 등을 통해 사용자에게 정보를 전달하거나 사용자가 터치 스크린을통해 입력한 사항에 대해 결과를 표시하는 장치이다. 이러한 키오스크는 터치 스크린 등의 화면을 통해 GUI(graphice user interface) 사용자 앱(application)을 제공하고, 사용자는 GUI 화면을 직접 조작함으로써 다양한 정보를 제공받게 된다. 예를 들면, 터치 스크린을 통해 상품을 주문하거나, 주문한 상품에 대한 대금 결제를 수행하는 결제용 키오스크가 있다.
그러나, 키오스크는 인력을 보다 효과적으로 대체할 수 있다는 점에서 다양한 효과를 기대할 수 있지만, 일반적인 키오스크는 일반 대중의 평균 신장에 맞추어 설계되어 있기 때문에 신장이 과도하게 큰 사람이나, 어린이, 휠체어에 탄 장애인, 노약자, 환자 등이 사용하기에는 어려움이 있다.
한편, 한국 공개특허공보 제10-2021-0000078호(특허문헌 1)에는 "개인 맞춤형 조절이 가능한 키오스크 및 그 제어방법"이 개시되어 있다. 특허문헌 1의 경우, 키오스크가 설치되는 주변 환경 및 사용자의 정보를 이용함으로써, 키오스크의 디스플레이의 높이 및 각도를 개인 맞춤형으로 조절할 수 장점이 있기는 하나, 디스플레이의 높이 및 각도를 개 인 맞춤형으로 조절하는 메커니즘이 환경 정보 및 사용자 단말로부터 수신한 사용자의 개인화 정보에 기초하고 있어, 사용자 단말을 휴대하지 않은 상태이거나 휴대했다고 하더라도 사용자 단말을 능숙하게 조작하기 어려운 사용자의 경우에는 제어부에서 디스플레이의 높이 및 각도를 개인 맞춤형으로 조절하기 어려운 한계가 있다.
본 문서에 따른 전자 장치는 다양한 사용자(고객)들의 키(눈) 높이, 어깨 높이 등에 맞추어 터치 디스플레이의 높이와 각도를 자동으로 조절해 줌으로써 사용자가 터치 디스플레이 화면을 편하게 볼 수 있고, 조작도 수월하게 할 수 있도록 하는 키오스크용 인체 감지 사용자 편의 맞춤형 터치 디스플레이 시스템을 제공하려는 목적을 갖는다.
본 문서에 따른 전자 장치는 사용자의 개인 정보(예: 성별 및 나이대)를 결정하고, 사용자의 개인 정보에 기반한 추천 제품의 목록을 제공하려는 목적을 갖는다.
사람의 특성을 인식하고 제품을 추천하는 전자 장치는 디스플레이, 메모리 및 프로세서를 포함할 수 있다. 프로세서는 전자 장치로부터 지정된 거리 이내에서 물체가 감지되거나 및/또는 상기 디스플레이 상에 사용자 입력이 감지됨에 기반하여 카메라 센서를 이용하여 사용자의 모습을 촬영하고, 촬영된 사용자의 모습을 분석하여 사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이에 대한 정보를 획득하고, 사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이에 대한 정보에 기반하여 사용자의 성별 및 나이대를 결정하고, 사용자와 성별 및 나이대가 같은 다른 사용자들의 제품 구매량 및 사용 후기 점수에 기반하여 사용자에게 적합한 제품의 목록을 결정하고 상기 디스플레이 상에 표시할 수 있다.
본 문서에 따른 전자 장치는 다양한 사용자(고객)들의 키(눈) 높이, 어깨 높이 등에 맞추어 터치 디스플레이의 높이와 각도를 자동으로 조절해 줌으로써 사용자가 터치 디스플레이 화면을 편하게 볼 수 있고, 조작도 수월하게 할 수 있도록 하는 키오스크용 인체 감지 사용자 편의 맞춤형 터치 디스플레이 시스템을 제공할 수 있다.
본 문서에 따른 전자 장치는 사용자의 개인 정보(예: 성별 및 나이대)를 결정하고, 사용자의 개인 정보에 기반한 추천 제품의 목록을 제공할 수 있다.
도 1은 일 실시예에 따른 사람의 특성을 인식하고 제품을 추천하는 전자 장치의 구성을 블록도로 도시한 것이다.
도 2a는 일 실시예에 따른 전자 장치의 모습을 도시한 것이다. 도 2b는 일 실시예에 따른 전자 장치의 정면도를 도시한 것이다. 도 2c는 일 실시예에 따른 전자 장치의 측면도를 도시한 것이다. 도 2d는 일 실시예에 따른 전자 장치의 등각도를 도시한 것이다.
도 3a는 일 실시예에 따른 전자 장치의 카메라 센서 상에서 사용자의 얼굴을 인식하는 실시예를 도시한 것이다.
도 3b는 일 실시예에 따른 전자 장치가 사용자의 얼굴을 인식하고 연령 및 성별에 기반하여 제품을 추천하는 실시예를 도시한 것이다.
도 4는 일 실시예에 따른 전자 장치의 카메라 센서 상에서 사용자의 얼굴을 인식하고 사용자 정보를 표시하는 과정을 도시한 것이다.
도 5는 일 실시예에 따른 전자 장치가 사람의 특성을 인식하고 제품을 추천하는 방법을 순서도로 나타낸 것이다.
도 2a는 일 실시예에 따른 전자 장치의 모습을 도시한 것이다. 도 2b는 일 실시예에 따른 전자 장치의 정면도를 도시한 것이다. 도 2c는 일 실시예에 따른 전자 장치의 측면도를 도시한 것이다. 도 2d는 일 실시예에 따른 전자 장치의 등각도를 도시한 것이다.
도 3a는 일 실시예에 따른 전자 장치의 카메라 센서 상에서 사용자의 얼굴을 인식하는 실시예를 도시한 것이다.
도 3b는 일 실시예에 따른 전자 장치가 사용자의 얼굴을 인식하고 연령 및 성별에 기반하여 제품을 추천하는 실시예를 도시한 것이다.
도 4는 일 실시예에 따른 전자 장치의 카메라 센서 상에서 사용자의 얼굴을 인식하고 사용자 정보를 표시하는 과정을 도시한 것이다.
도 5는 일 실시예에 따른 전자 장치가 사람의 특성을 인식하고 제품을 추천하는 방법을 순서도로 나타낸 것이다.
실시예들은 키오스크 형태의 제품으로 구현될 수 있다. 다만 이는 일 예시일 뿐 본 문서의 동작들이 적용되는 제품은 이것으로 한정되는 것은 아니다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙(Rule) 기반의 스마트 시스템과 달리 기계가 스스로 학습하고 판단하는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 고객 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반의 스마트 시스템은 심층 학습(Deep Learning) 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계 학습 및 기계 학습을 활용한 요소기술들로 구성된다. 기계 학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 심층 학습 등의 기계 학습 알고리즘을 활용하여 인간두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행),조작 제어(행동 제어) 등을 포함한다.
기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화해 나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경 망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.
인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트(Ada-boost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.
이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조 의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다.
도 1은 일 실시예에 따른 사람의 특성을 인식하고 제품을 추천하는 전자 장치의 구성을 블록도로 도시한 것이다.
도 1에 따르면, 전자 장치(100)는 디스플레이(110), 센서(120), 프로세서(130) 및 메모리(140)를 포함할 수 있으며, 도시된 구성 중 일부가 생략 또는 치환 될 수도 있다. 전자 장치(100)는 예를 들어 키오스크를 포함할 수 있다.
일 실시예에 따르면, 디스플레이(110)의 크기와 형태는 전자 장치(100)의 디자인 및 사용 목적에 따라 달라질 수 있다. 디스플레이(110)는 터치 기능을 내장하여 사용자가 손가락으로 화면을 터치하거나 스와이프(swipe)할 때 대응하여 명령을 입력받을 수 있다. 디스플레이(110)의 해상도는 화면에 표시되는 내용의 선명도와 질을 결정할 수 있다. 고해상도 디스플레이는 텍스트, 이미지 및 비디오 콘텐츠를 더 선명하게 표시할 수 있어 사용자 경험(user experience)을 향상시킬 수 있다. 디스플레이(110)는 일상적인 사용 및 외부 환경으로부터의 보호를 위해 내구성 있는 보호층(예: 강화 유리)을 더 포함할 수 있다. 방호층은 화면에 물방울, 지문, 먼지 등이 달라붙는 것을 방지하며, 디스플레이(110)의 수명을 연장시킬 수 있다.
일 실시예에 따르면, 센서(120)는 지문 센서 및 카메라 센서를 포함할 수 있다. 지문 센서는 사용자의 지문을 인식하여 DB(database) 상에 등록된 사용자인지 검증하는데 사용될 수 있다. 카메라 센서는 사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이 등을 인식하는데 사용될 수 있다. 전자 장치(100)는 카메라 센서를 이용하여 사용자의 모습과 관련된 정보(예: 얼굴, 키, 어깨 골격, 머리카락의 길이)를 획득하고, 이에 기반하여 사용자에 대한 개인 정보(예: 나이대, 성별, 신장)를 결정할 수 있다.
일 실시예에 따르면, 프로세서(130)는 전자 장치(100)의 각 구성 요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로서, 하나 이상의 프로세서들로 구성될 수 있다. 메모리(140)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(140)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. 메모리(140)는 다양한 파일 데이터들을 저장할 수 있으며, 프로세서(130)의 동작에 따라 저장된 파일 데이터들은 업데이트 될 수 있다.
일 실시예에 따르면, 프로세서(130)는 프로그램을 실행하고, 전자 장치(100)를 제어할 수 있다. 프로세서(130)에 의하여 실행되는 프로그램의 코드는 메모리(130)에 저장될 수 있다. 프로세서(130)의 동작들은 메모리(140)에 저장된 인스트럭션들을 로딩(loading)함으로써 수행될 수 있다. 전자 장치(100)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.
일 실시예에 따르면, 프로세서(130)가 전자 장치(100)상에서 구현할 수 있는 연산 및 데이터 처리 기능에는 한정됨이 없을 것이나, 이하에서는 전자 장치(100)를 사용하는 사용자의 개인 정보(예: 신장, 성별, 나이대 등)를 판단하고, 제품을 추천하는 방법에 대해 설명될 것이다.
도 2a는 일 실시예에 따른 전자 장치의 모습을 도시한 것이다. 도 2b는 일 실시예에 따른 전자 장치의 정면도를 도시한 것이다. 도 2c는 일 실시예에 따른 전자 장치의 측면도를 도시한 것이다. 도 2d는 일 실시예에 따른 전자 장치의 등각도를 도시한 것이다.
전자 장치(예: 도 1의 전자 장치(100))는 예를 들어, 키오스크를 포함할 수 있다. 전자 장치(100)는 디스플레이(210), 카메라 센서(220) 및 디스플레이(210)의 위치를 조절하기 위한 구동부(230)를 더 포함할 수 있다.
전자 장치(100)는 디스플레이(210) 상의 사용자 입력에 기반하여 사용자가 선택한 메뉴의 종류 및 수량을 결정하고 서버 상으로 정보를 전송할 수 있다. 서버 관리자는 수신된 정보를 이용하여 사용자의 주문 내역을 확인하고 주문 내역에 맞게 서비스를 제공할 수 있다.
전자 장치(100)는 카메라 센서(220)를 이용하여 사용자의 모습을 촬영하고 사용자의 개인 정보(예: 성별, 나이대, 신장)를 결정할 수 있다. 전자 장치(100)는 카메라 센서(220)를 계속 작동시켜 사용자들의 움직임을 감지할 수도 있고, 또는 디스플레이(210) 상에 사용자 입력이 감지됨에 기반하여 그 때부터 카메라 센서(220)를 작동시킬 수도 있다.
전자 장치(100)는 사용자 정보(예: 신장)에 기반하여 구동부(230)를 이용해 디스플레이(210)의 위치를 상하로 조절할 수 있다.
일 실시예에 따르면, 프로세서(예: 도 1의 프로세서(130))는 디스플레이(210) 상에 사용자 입력이 감지됨에 기반하여 카메라 센서(220)를 이용하여 사용자의 모습을 촬영하고, 촬영된 사용자의 모습을 분석하여 사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이에 대한 정보를 획득하고, 사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이에 대한 정보에 기반하여 사용자의 성별 및 나이대를 결정하고, 사용자와 성별 및 나이대가 같은 다른 사용자들의 제품 구매량 및 사용 후기 점수에 기반하여 사용자에게 적합한 제품의 목록을 결정하고 디스플레이(210) 상에 표시할 수 있다.
일 실시예에 따르면, 프로세서(130)는 카메라 센서(220)를 이용하여 사용자의 얼굴을 인식하거나 또는 얼굴 중 어느 하나의 부위를 인식하고, 인식된 사용자의 신체 부위에 기반하여 사용자의 키를 결정하고, 결정된 사용자의 키에 대응하여 전자 장치(100)의 디스플레이(210)의 위치를 상하로 조절할 수 있다.
전자 장치(100)는 카메라 센서(220)외에 거리 측정 센서를 더 포함할 수 있다. 전자 장치(100)는 초음파 센서 또는 심도 센서로 구성된 거리 측정 센서를 이용하여 상기 전자 장치로부터 지정된 수준 이내로 접근한 사용자에 대해 카메라 센서(220)를 이용하여 촬영 또는 인식을 시작할 수 있다. 또는 전자 장치(100)는 디스플레이(210) 상에 사용자 입력이 감지됨에 기반하여 카메라 센서(220)를 이용하여 촬영 또는 인식을 시작할 수 있다.
전자 장치(100)는 카메라 센서(220)를 통해 인식된 사용자의 신체 부위에 기반하여 구동부(230)의 길이를 상하로 조절할 수 있다. 전자 장치(100)는 구동부(230)를 이용하여 전자 장치(100)의 디스플레이(210)의 위치를 상하로 조절할 수 있다.
도 3a는 일 실시예에 따른 전자 장치의 카메라 센서 상에서 사용자의 얼굴을 인식하는 실시예를 도시한 것이다.
도 3a에서 전자 장치(예: 도 1의 전자 장치(100))는 디스플레이(310) 및 카메라 센서(320)를 포함할 수 있다. 전자 장치(100)는 카메라 센서(320)를 이용하여 사용자의 얼굴 및 신체 부분을 인식할 수 있다.
도 3a의 그림 330은 사용자의 얼굴을 인식하고 인식된 정보에 기반하여 사용자의 개인 정보(예: 성별, 나이대, 신장)를 추론하는 상황을 도시한 것이다.
일 실시예에 따르면, 프로세서(예: 도 1의 프로세서(130))는 사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이에 대한 정보에 기반하여 사용자의 나이대를 결정하고, 결정된 사용자의 나이대와 동일한 나이대를 가진 다른 사용자들의 제품 구매 기록을 수신하고, 지정된 기간(예: 3개월)동안 다른 사용자들의 누적 구매량이 많은 순서대로 추천 제품으로 표시하고, 지정된 기간(예: 3개월) 이전의 판매량과 비교하여 현재 판매량이 지정된 수준(예: 50%)을 초과하여 증가한 제품에 대해서는 인기 급상승 제품으로 표시할 수 있다.
프로세서(130)는 외부 서버로부터 동일한 나이대를 가진 다른 사용자들의 제품 구매 기록을 수신할 수 있다. 외부 서버는 상기 전자 장치(100)와 동일한 종류의 상품을 판매하는 다른 업체들의 키오스크에 대한 정보를 포함할 수 있다. 예를 들어, 전자 장치(100)가 음식료 업에 대한 카페에서 사용되는 경우 외부 서버는 다른 카페들에서 사용되는 복수의 키오스크들로부터 사용자 주문에 대한 정보를 획득할 수 있다.
프로세서(130)는 카메라 센서(320)를 이용하여 사용자가 30대 남성인 것으로 인식한 경우, 외부 서버로부터 30대 남성에 대응하는 카페 주문 기록들을 수신할 수 있다. 전자 장치(100)는 수신된 정보에 기반하여 30대 남성에게 추천할 수 있는 제품들의 리스트를 결정하고, 디스플레이(310) 상에 표시할 수 있다. 카페, 30대, 남성은 일 예시일 뿐 업종과 사용자의 성별 및 나이대는 설정에 따라 달라질 수 있다. 외부 서버는 같은 프랜차이즈 업체의 키오스크들인 경우, 같은 업종에 대한 정보를 제공하는 것으로 결정할 수 있다.
프로세서(130)는 지정된 기간(예: 3개월)동안 다른 사용자들의 누적 구매량이 많은 순서대로 추천 제품으로 표시할 수 있다. 여기서 다른 사용자들은 전자 장치(100) 상에 기록된 사용자들 뿐 아니라 업종과 성별 및 나이대가 일치하는 다른 키오스크들의 기록들도 포함될 수 있다. 지정된 기간(예: 3개월)은 일 예시일 뿐 설정에 따라 달라질 수 있다.
프로세서(130)는 현재를 기준으로 지정된 기간(예: 3개월)동안 다른 사용자들의 누적 구매량이 많은 순서대로 추천 제품으로 표시하고, 과거 특정 기간의 누적 구매량과 비교하여 현재를 기준으로 지정된 기간 동안의 누적 구매량이 제 1 수준(예: 50%)을 초과하여 증가한 제품은 인기 급상승 제품으로 표시할 수 있다.
현재를 기준으로 지정된 기간 동안 다른 사용자들의 누적 구매량은 예를 들어, 현 시점을 기준으로 과거 3개월 동안의 누적 구매량을 의미할 수도 있고, 현 시점을 기준으로 과거 1개월 동안의 누적 구매량을 의미할 수도 있다. 과거 특정 기간의 누적 구매량은 예를 들어, 3개월 전 시점을 기준으로 6개월 전까지의 누적 구매량을 의미할 수도 있고, 3개월 전 시점을 기준으로 4개월 전까지의 누적 구매량을 의미할 수도 있다. 기준이 되는 현재 판매량 및 비교 대상이 되는 이전 판매량은 기간 설정에 따라 달라질 수 있다. 지정된 기간(예: 3개월) 및 지정된 수준(예: 50%)은 일 예시일 뿐 설정에 따라 달라질 수 있다.
도 3b는 일 실시예에 따른 전자 장치가 사용자의 얼굴을 인식하고 연령 및 성별에 기반하여 제품을 추천하는 실시예를 도시한 것이다.
도 3b에서 프로세서(130)는 그림 340에 도시된 것처럼 사용자의 연령 및 성별을 인식하고 표시할 수 있다. 프로세서(130)는 그림 350에 도시된 것처럼 사용자의 연령 및 성별에 기반하여 대응하는 연령 및 성별 대에서 가장 판매량이 높은 제품들을 추천할 수 있다.
도 4는 일 실시예에 따른 전자 장치의 카메라 센서 상에서 사용자의 얼굴을 인식하고 사용자 정보를 표시하는 과정을 도시한 것이다.
도 4에서, 전자 장치(예: 도 1의 전자 장치(100))는 카메라 센서(예: 도 2의 카메라 센서(220))를 이용하여 사용자의 얼굴 및 신체 부위(예: 상체, 어깨)를 인식할 수 있다. 또는 전자 장치(100)는 복수의 키오스크들 사이에서 정보를 공유하여 지정된 구역(zone)내에 위치한 사람의 수 및 유동 인구에 대한 정보를 결정할 수 있다.
도 4에서 전자 장치(100)는 카메라 센서(220)를 이용하여 사용자의 얼굴(410) 및 신체 부위를 인식할 수 있다. 카메라는 예를 들어, 비전 카메라 또는 열적외선 카메라를 포함할 수 있다. 전자 장치(100)는 주문을 입력하고 있는 사용자 외에 뒤에서 지나가는 다른 사용자들도 감지할 수 있다. 전자 장치(100)는 사용자와의 거리에 기반하여 현재 전자 장치(100) 상으로 주문을 입력하고 있는 사용자인지 아니면 지나가는 사람인지 구별할 수 있다. 또는 전자 장치(100)는 신체 크기에 기반하여 현재 전자 장치(100) 상으로 주문을 입력하고 있는 사용자인지 아니면 지나가는 사람인지 구별할 수 있다. 프로세서(130)는 비전 카메라 또는 열적외선 카메라를 이용하여 복수의 사용자들을 감지하고, 센서에 기반하여 전자 장치와 복수의 사용자들 간의 거리를 측정하고, 상기 측정된 거리에 기반하여 상기 전자 장치 상으로 주문을 입력하고 있는 사용자인지 또는 지나가는 사람인지 결정할 수 있다.
또는 프로세서(130)는 인식되는 사용자의 신체 크기가 지정된 수준 미만임에 기반하여 주문을 입력하는 사용자가 아닌 지나가는 사람인 것으로 결정할 수 있다. 사용자가 키오스크 상에서 주문을 하는 경우 사용자 입력을 위해 지정된 거리 이내로 접근할 수 있다. 사용자가 키오스크를 기준으로 지정된 거리 이내로 접근하는 경우 사용자의 신체 크기는 적어도 어느 수준 이상으로 측정될 수 있다. 반면, 멀리서 지나가는 사람의 경우 키오스크 상의 카메라에서 사람의 신체 크기를 측정할 수 있으나 거리가 멀어서 상대적으로 작게 측정될 수 있다. 프로세서(130)는 신체 크기가 특정 수준보다 작게 측정되는 경우 사용자와의 거리를 측정하지 않고서도 지나가는 사람인 것으로 결정할 수 있다.
도 4의 그림 420은 전자 장치(100)가 카메라 센서(220)를 이용하여 사용자의 개인 정보를 추론하고 표시하는 상황을 나타낸 것이다. 예를 들어, 전자 장치(100)는 사용자의 성별이 여성(female)이며, 나이는 27세인 것으로 결정하고 디스플레이(예: 도 1의 디스플레이(110)) 상에 표시할 수 있다.
전자 장치(100)는 통신 회로를 이용하여 복수의 키오스크들에 포함된 카메라 센서들에서 측정된 촬영 정보를 수신할 수 있다. 복수의 키오스크들에 포함된 카메라 센서들은 특정 영역(zone)에 위치한 사람의 수 또는 지나다니는 유동 인구의 수를 결정하는데 사용될 수 있다.
일 실시예에 따르면, 프로세서(예: 도 1의 프로세서(130))는 업종 정보 및 프랜차이즈 정보가 일치하는 다른 키오스크들로부터 제품 판매와 관련된 사용자 데이터를 수신하고, 수신된 사용자 데이터에 기반하여 사용자의 성별 및 나이대 별로 가장 많이 판매되는 제품을 결정할 수 있다. 프로세서(130)는 어느 하나의 키오스크에서 가장 많이 판매된 제품에 대해서 지정된 점수(예: 3점)를 부여하고 어느 하나의 키오스크에서 2번째로 많이 판매된 제품에 대해서는 상대적으로 낮은 점수(예: 1점)을 부여하며, 키오스크 별로 가장 많이 판매된 제품 및 2번째로 많이 판매된 제품에 대해 점수를 부여하고, 종합 점수를 계산할 수 있다. 지정된 점수(예: 3점)는 일 예시일 뿐 설정에 따라 달라질 수 있다. 다만, 가장 많이 판매된 제품에 대해서는 2번째로 많이 판매된 제품보다 상대적으로 높은 점수가 부여될 수 있다.
프로세서(130)는 종합 점수가 가장 높은 제품에 대해서는 지역 내 베스트 추천 제품인 것으로 결정하고, 해당하는 지역 내에 위치하는 키오스크들의 데이터베이스 상에 기록된 모든 사용자 단말 상으로 상기 지역 내 베스트 추천 제품의 광고 및 할인 쿠폰을 송신할 수 있다. 여기서 지역은 전자 장치(100)가 위치한 지점을 기준으로 지정된 거리(예: 반경 5km) 내의 지점들을 의미할 수 있다. 지정된 거리(예: 반경 5km)는 일 예시일뿐 설정에 따라 달라질 수 있다.
프로세서(130)는 전자 장치(100)가 위치한 지점을 기준으로 지정된 거리(예: 반경 5km) 내 키오스크들은 같은 지역 내의 키오스크들인 것으로 분류할 수 있다.
도 5는 일 실시예에 따른 전자 장치가 사람의 특성을 인식하고 제품을 추천하는 방법을 순서도로 나타낸 것이다.
동작 510에서, 프로세서(예: 도 1의 프로세서(130))는 사용자의 모습을 촬영할 수 있다. 프로세서(130)는 전자 장치(예: 도 1의 전자 장치(100))로부터 지정된 거리 이내에서 물체가 감지되거나 및/또는 디스플레이(예: 도 2의 디스플레이(210)) 상에 사용자 입력이 감지됨에 기반하여 카메라 센서(예: 도 2의 카메라 센서(220))를 이용하여 사용자의 모습을 촬영할 수 있다.
동작 520에서, 프로세서(130)는 촬영된 사용자의 모습을 분석할 수 있다. 프로세서(130)는 촬영된 사용자의 모습을 분석하여 사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이에 대한 정보를 획득할 수 있다.
동작 530에서, 프로세서(130)는 사용자의 성별 및 나이대를 결정할 수 있다. 프로세서(130)는 사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이에 대한 정보에 기반하여 사용자의 성별 및 나이대를 결정할 수 있다.
동작 540에서, 프로세서(130)는 사용자에게 적합한 제품 목록을 표시할 수 있다. 프로세서(130)는 사용자와 성별 및 나이대가 같은 다른 사용자들의 제품 구매량 및 사용 후기 점수에 기반하여 사용자에게 적합한 제품의 목록을 결정하고 디스플레이(210) 상에 표시할 수 있다.
일 실시예에 따르면, 프로세서(130)는 디스플레이(210) 상의 사용자 입력에 기반하여 사용자가 구매한 제품의 종류 및 수량을 메모리(예; 도 1의 메모리(140)) 상에 저장하고, 사용자가 구매한 제품들 중에서 현재를 기준으로 특정 기간(예: 1개월) 동안 판매량이 지정된 개수를 초과함에 기반하여 사용자의 성별 및 나이대대에서 인기가 높은 제품인 것으로 결정할 수 있다.
프로세서(130)는 특정 포털 사이트에서 검색했을 때 전체 게시물 수가 제 1 수준(예: 1만 개)을 초과하고, 최근 1주일 간 업로드 게시물 수가 상기 제 1 수준의 50%(예: 5천 개)를 초과하는 키워드에 대응하는 제품은 현재 유행하고 있는 제품인 것으로 결정할 수 있다.
프로세서(130)는 사용자의 성별 및 나이대에서 인기가 높은 제품인 것으로 결정됨에 기반하여 사용자의 성별 및 나이대와 일치하는 다른 사용자들의 단말로 대응하는 제품에 대한 광고 및 할인 쿠폰을 송신하고, 현재 유행인 제품인 것으로 결정됨에 기반하여 특정 포털 사이트에 검색 광고를 늘릴 것을 추천하는 가이드를 제공할 수 있다. 전자 장치(100)는 주문 시 포인트 적립, 쿠폰 발급 등을 위해 사용자 단말의 연락처를 입력받을 수 있으며, 이러한 연락처에 기반하여 제 1 제품의 광고 및 할인 쿠폰을 송신할 수 있다.
일 실시예에 따르면, 프로세서(130)는 디스플레이(210) 상의 사용자 입력에 기반하여 사용자가 구매한 제품의 종류 및 수량을 메모리(140) 상에 저장하고, 지정된 기간(예: 1개월) 이전의 판매량과 비교하여 현재 판매량이 지정된 수준(예: 100%)을 초과하여 증가한 제 1 제품에 대해서는 사용자의 성별 및 나이대에서 인기가 높은 제품인 것으로 결정할 수 있다. 여기서 지정된 기간 및 현재 판매량 수준은 일 예시일 뿐 설정에 따라 달라질 수 있다.
프로세서(130)는 사용자의 성별 및 나이대와는 다른 성별 및 나이대의 사용자들 사이에서도 현재 제 1 제품의 판매량이 지정된 기간(예: 1개월) 이전의 판매량과 비교하여 지정된 수준(예: 100%)을 초과하여 증가함에 기반하여 모든 성별 및 연령대에서 인기가 높은 제품인 것으로 결정하고, 전자 장치(100)의 데이터베이스 상에 기록된 모든 사용자 단말 상으로 제 1 제품의 광고 및 할인 쿠폰을 송신할 수 있다. 전자 장치(100)는 주문 시 포인트 적립, 쿠폰 발급 등을 위해 사용자 단말의 연락처를 입력받을 수 있으며, 이러한 연락처에 기반하여 제 1 제품의 광고 및 할인 쿠폰을 송신할 수 있다. 여기서 지정된 기간(예: 1개월) 및 지정된 수준(예: 100%)은 일 예시일 뿐 설정에 따라 달라질 수 있다. 예를 들어, 프로세서(130)는 현재 제 1 제품의 판매량이 3개월 이전의 판매량과 비교하여 50% 증가한 상황에서도 설정에 따라 모든 성별 및 연령대에서 인기가 높은 제품인 것으로 결정할 수도 있다.
일 실시예에 따르면, 프로세서(130)는 카메라 센서(220)를 이용하여 인식된 사용자의 적어도 하나의 신체 부위에 기반하여 사용자의 키를 결정하고, 결정된 사용자의 키가 지정된 수준(예: 165cm) 미만이면서 사용자의 어깨 골격의 넓이가 지정된 수준 미만(예: 45cm) 미만임에 기반하여 여성인 것으로 결정할 수 있다. 여기서 사용자의 키 및 어깨 골격의 넓이는 일 예시일 뿐 이것으로 제한되는 것은 아니며, 설정에 따라 달라질 수 있다.
프로세서(130)는 결정된 사용자의 키가 지정된 수준(예: 180cm)을 초과(또는 이상)하면서 사용자의 어깨 골격의 넓이가 지정된 수준(예: 70cm)을 초과함에 기반하여 남성인 것으로 결정할 수 있다.
프로세서(130)는 사용자의 머리 길이가 지정된 수준(예: 귀 밑 10cm)을 초과함에 기반하여 사용자가 여성인 확률을 10% 상승시키고, 사용자의 머리 길이가 지정된 수준(예: 귀 밑 3cm) 미만임에 기반하여 사용자가 여성인 확률을 10% 하락시킬 수 있다.
프로세서(130)는 사용자의 얼굴 크기가 지정된 수준(예: 상하 25cm)을 초과함에 기반하여 사용자가 여성인 확률을 10% 하락시키고, 사용자의 얼굴 크기가 지정된 수준(예: 상하 20cm) 미만임에 기반하여 사용자가 여성인 확률을 10% 상승시킬 수 있다.
프로세서(130)는 사용자의 키가 지정된 수준(예: 160cm) 미만임에 기반하여 사용자가 여성인 확률을 10% 상승시키고, 프로세서(130)는 사용자의 키가 지정된 수준(예: 175cm)을 초과함에 기반하여 사용자가 여성인 확률을 10% 하락시킬 수 있다.
프로세서(130)는 사용자의 어깨 골격의 넓이가 지정된 수준(예: 60cm)을 초과함에 기반하여 사용자가 여성인 확률을 10% 하락시키고, 사용자의 어깨 골격의 넓이가 지정된 수준(예: 50cm) 미만임에 기반하여 사용자가 여성인 확률을 10% 상승시킬 수 있다. 여기서 사용자의 키 및 어깨 골격의 넓이는 일 예시일 뿐 이것으로 제한되는 것은 아니며, 설정에 따라 달라질 수 있다.
프로세서(130)는 사용자가 여성인 확률을 모두 합하여 50% 이상임에 기반하여 사용자가 여성인 것으로 결정하고, 50% 미만임에 기반하여 사용자가 남성인 것으로 결정할 수 있다.
일 실시예에 따르면, 프로세서(130)는 외부 서버와 연결된 다른 키오스크들로부터 지정된 기간(예: 3개월) 동안 사용자와 성별 및 나이대가 같은 다른 사용자들의 제품 구매량에 대한 제 1 정보를 수신할 수 있다. 프로세서(130)는 실시간으로 제 1 영역 내에 위치하는 다른 키오스크들로부터 제품 구매량에 대한 정보를 수신하고, 이를 분석하여 상권 및 제품 판매량에 대해 정리된 제 2 정보를 수신하며, 제 1 정보 및 제 2 정보에 기반하여 사용자의 성별 및 나이대에 대응하는 추천 제품들의 목록을 결정하고, 디스플레이(210) 상에 추천 제품들의 목록을 표시할 수 있다. 지정된 기간(예: 3개월)은 일 예시일 뿐 설정에 따라 달라질 수 있다.
제 1 정보는 영역 제한 없이 외부 서버와 연동된 다른 모든 키오스크들로부터 수신되는 정보를 기반으로 선별된 정보를 의미할 수 있다. 제 1 정보는 모든 키오스크들로부터 정보를 수신하기 때문에 정보 처리에 시간이 상대적으로 오래 소요될 수 있으며, 지정된 기간을 정하여 분석을 수행할 수 있다. 제 1 정보는 표본(예: 키오스크 상에서 전송되는 데이터)이 많기 때문에 정확성이 상대적으로 높지만, 분석에 시간이 걸리므로 최신성이 떨어질 수 있다.
제 2 정보는 제 1 영역 내에 위치하는 다른 키오스크들로부터 수신되는 정보를 기반으로 선별된 정보를 의미할 수 있다. 제 2 정보는 대상이 되는 키오스크들이 적기 때문에 실시간으로 분석을 수행할 수 있다. 제 2 정보는 전자 장치(100)의 위치를 기준으로 주변의 키오스크들의 판매 정보를 분석하므로 지역 상권에 대한 관련성이 상대적으로 높으며, 최신성이 높은 장점이 있다.
일 실시예에 따르면, 프로세서(130)는 주문이 가장 많이 들어오는 시간대에 대한 정보와 주문량에 대한 정보에 기반하여 창업 시 필요한 인원에 대한 가이드를 제공하고, 제 1 영역(zone) 내에서 가장 많이 팔리는 제품의 종류 및 업종에 대한 정보에 기반하여 창업 시 추천 업종 및 추천 제품에 대한 가이드를 제공할 수 있다.
일 실시예에 따르면, 프로세서(130)는 지정된 시간(예: 10분) 동안 다른 키오스크 주변을 지나는 사람들의 수가 지정된 수준(예: 100명)을 초과하는 경우 상기 다른 키오스크 반경 5km 이내의 영역(zone)을 제 2 영역으로 결정할 수 있다. 반경 5km는 일 예시일 뿐 제 2 영역의 범주는 설정에 따라 달라질 수 있다.
프로세서(130)는 상기 제 2 영역 내에 위치한 다른 키오스크들을 이용하여 상기 제 2 영역(zone) 내에서 주문을 하는 사람들의 성별 및 나이대에 대한 정보, 상기 제 2 영역(zone) 내에서 가장 많이 팔리는 제품의 종류 및 업종에 대한 정보, 주문이 가장 많이 들어오는 시간대에 대한 정보 및 주문량에 대한 정보를 획득할 수 있다.
프로세서(130)는 창업 시 목표로 하는 고객들의 성별 및 나이대에 대한 정보에 기반하여 제 1 영역 및 제 2 영역의 정보를 선별할 수 있다. 프로세서(130)는 제 1 영역 내에서 가장 많이 팔리는 제품 및 업종과 제 2 영역 내에서 가장 많이 팔리는 제품 및 업종을 비교하고, 비교 결과에 기반하여 창업 시 추천 업종 및 추천 제품에 대한 가이드를 제공할 수 있다.
일 실시예에 따르면, 프로세서(130)는 제 2 영역 내에서 가장 많이 팔리는 업종에 대해 제 1 영역 내에서는 제 2 영역 내에서 가장 많이 팔리는 업종에 대응하는 키오스크가 존재하지 않음에 기반하여 해당하는 업종을 선택하여 창업할 것을 추천할 수 있다.
일 실시예에 따르면, 프로세서(130)는 상기 제 2 영역 내에서 가장 많이 팔리는 업종에 대해 상기 제 1 영역 내에서는 상기 제 2 영역 내에서 가장 많이 팔리는 업종에 대응하는 키오스크의 수가 지정된 개수(예: 3개) 미만임에 기반하여 해당하는 업종을 선택하여 창업할 것을 추천할 수 있다. 지정된 개수(예: 3개)는 일 예시일 뿐 창업할 것을 추천하기 위한 키오스크의 개수는 설정에 따라 달라질 수 있다.
프로세서(130)는 제 2 영역 내에서 가장 많이 팔리는 업종에 대해 상기 제 1 영역 내에서는 상 제 2 영역 내에서 가장 많이 팔리는 업종에 대응하는 키오스크의 수가 지정된 개수(예: 10개)를 초과함에 기반하여 해당하는 업종으로 창업할 것을 추천하지 않을 수 있다.
Claims (10)
- 사람의 특성을 인식하고 제품을 추천하는 전자 장치에 있어서,
디스플레이;
메모리;및
프로세서를 포함하고,
상기 프로세서는
상기 전자 장치로부터 지정된 거리 이내에서 물체가 감지되거나 및/또는 상기 디스플레이 상에 사용자 입력이 감지됨에 기반하여 카메라 센서를 이용하여 사용자의 모습을 촬영하고,
촬영된 사용자의 모습을 분석하여 사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이에 대한 정보를 획득하고,
사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이에 대한 정보에 기반하여 사용자의 성별 및 나이대를 결정하고,
사용자와 성별 및 나이대가 같은 다른 사용자들의 제품 구매량 및 사용 후기 점수에 기반하여 사용자에게 적합한 제품의 목록을 결정하고 상기 디스플레이 상에 표시하며,
사용자의 얼굴, 키, 어깨 골격, 머리카락의 길이에 대한 정보에 기반하여 사용자의 나이대를 결정하고,
결정된 사용자의 나이대와 동일한 나이대를 가진 다른 사용자들의 제품 구매 기록을 수신하고,
현재를 기준으로 지정된 기간(예: 3개월)동안 다른 사용자들의 누적 구매량이 많은 순서대로 추천 제품으로 표시하고,
과거 특정 기간의 누적 구매량과 비교하여 현재를 기준으로 지정된 기간 동안 다른 사용자들의 누적 구매량이 제 1 수준(예: 50%)을 초과하여 증가한 제품은 인기 급상승 제품으로 표시하고,
상기 전자 장치에 등록된 업종 정보 및 프랜차이즈 정보에 기반하여 업종 정보 및 프랜차이즈 정보가 일치하는 다른 키오스크들을 결정하고,
결정된 다른 키오스크들 상에 입력된 사용자 데이터를 요청하거나 또는 외부 서버의 데이터베이스 상에서 다른 키오스크 상에 입력된 사용자 데이터를 수신하며,
수신된 사용자 데이터들을 모두 합산하여 해당 프랜차이즈 내에서 가장 많이 판매되는 제품들의 순위를 결정하고,
결정된 순위에 기반하여 프랜차이즈 인기 제품들의 목록을 표시하며,
업종 정보 및 프랜차이즈 정보가 일치하는 다른 키오스크들로부터 제품 판매와 관련된 사용자 데이터를 수신하고,
수신된 사용자 데이터에 기반하여 사용자의 성별 및 나이대 별로 가장 많이 판매되는 제품을 결정하고,
어느 하나의 키오스크에서 가장 많이 판매된 제품에 대해서 지정된 점수를 부여하고
어느 하나의 키오스크에서 2번째로 많이 판매된 제품에 대해서는 상대적으로 낮은 점수을 부여하며,
키오스크 별로 가장 많이 판매된 제품 및 2번째로 많이 판매된 제품에 대해 점수를 부여하고, 종합 점수를 계산하며,
상기 종합 점수가 가장 높은 제품에 대해서는 지역 내 베스트 추천 제품인 것으로 결정하고,
해당하는 지역 내에 위치하는 키오스크들의 데이터베이스 상에 기록된 모든 사용자 단말 상으로 상기 지역 내 베스트 추천 제품의 광고 및 할인 쿠폰을 송신하는 전자 장치.
- 제 1항에 있어서,
상기 프로세서는
상기 카메라 센서를 이용하여 사용자의 얼굴을 인식하거나 또는 얼굴 중 어느 하나의 부위를 인식하고,
인식된 사용자의 신체 부위에 기반하여 사용자의 키를 결정하고,
결정된 사용자의 키에 대응하여 상기 전자 장치의 디스플레이의 위치를 상하로 조절하는 전자 장치.
- 삭제
- 제 1항에 있어서,
상기 프로세서는
상기 디스플레이 상의 사용자 입력에 기반하여 사용자가 구매한 제품의 종류 및 수량을 상기 메모리 상에 저장하고,
사용자가 구매한 제품들 중에서 현재를 기준으로 특정 기간(예: 1개월) 동안 판매량이 지정된 개수를 초과함에 기반하여 사용자의 성별 및 나이대에서 인기가 높은 제품인 것으로 결정하고,
특정 포털 사이트에서 검색했을 때 전체 게시물 수가 제 1 수준(예: 1만 개)을 초과하고, 최근 1주일 간 업로드 게시물 수가 상기 제 1 수준의 50%(예: 5천 개)를 초과하는 키워드에 대응하는 제품은 현재 유행하고 있는 제품인 것으로 결정하는 전자 장치.
- 제 4항에 있어서,
상기 프로세서는
현재 유행인 제품인 것으로 결정됨에 기반하여 특정 포털 사이트에 검색 광고를 늘릴 것을 추천하는 가이드를 표시하는 전자 장치.
- 제 1항에 있어서,
상기 프로세서는
상기 디스플레이 상의 사용자 입력에 기반하여 사용자가 구매한 제품의 종류 및 수량을 상기 메모리 상에 저장하고,
지정된 기간(예: 1개월) 이전의 판매량과 비교하여 현재 판매량이 지정된 수준(예: 100%)을 초과하여 증가한 제 1 제품에 대해서는 사용자의 성별 및 나이대에서 인기가 높은 제품인 것으로 결정하고,
사용자의 성별 및 나이대와는 다른 성별 및 나이대의 사용자들 사이에서도 현재 상기 제 1 제품의 판매량이 지정된 기간(예: 1개월) 이전의 판매량과 비교하여 지정된 수준(예: 100%)을 초과하여 증가함에 기반하여 모든 성별 및 연령대에서 인기가 높은 제품인 것으로 결정하고,
상기 전자 장치의 데이터베이스 상에 기록된 모든 사용자 단말 상으로 상기 제 1 제품의 광고 및 할인 쿠폰을 송신하는 전자 장치.
- 삭제
- 삭제
- 제 1항에 있어서,
상기 지역은
상기 전자 장치가 위치한 지점을 기준으로 지정된 거리(예: 반경 5km) 내의 지점들을 의미하며,
상기 프로세서는
상기 전자 장치가 위치한 지점을 기준으로 지정된 거리(예: 반경 5km) 내 키오스크들은 같은 지역 내의 키오스크들인 것으로 분류하는 전자 장치.
- 제 1항에 있어서,
상기 전자 장치는 비전 카메라 또는 열적외선 카메라를 더 포함하며,
상기 프로세서는
상기 비전 카메라 또는 열적외선 카메라를 이용하여 복수의 사용자들을 감지하고,
센서에 기반하여 상기 전자 장치와 복수의 사용자들 간의 거리를 측정하고, 상기 측정된 거리에 기반하여 상기 전자 장치 상으로 주문을 입력하고 있는 사용자인지 또는 지나가는 사람인지 결정하거나,
인식되는 사용자의 신체 크기가 지정된 수준 미만임에 기반하여 주문을 입력하는 사용자가 아닌 지나가는 사람인 것으로 결정하는 전자 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230113820A KR102655761B1 (ko) | 2023-08-29 | 2023-08-29 | 사람의 특성을 인식하고 제품을 추천하는 전자 장치 및 전자 장치의 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230113820A KR102655761B1 (ko) | 2023-08-29 | 2023-08-29 | 사람의 특성을 인식하고 제품을 추천하는 전자 장치 및 전자 장치의 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102655761B1 true KR102655761B1 (ko) | 2024-04-08 |
Family
ID=90715130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230113820A KR102655761B1 (ko) | 2023-08-29 | 2023-08-29 | 사람의 특성을 인식하고 제품을 추천하는 전자 장치 및 전자 장치의 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102655761B1 (ko) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101191640B1 (ko) * | 2011-02-23 | 2012-10-17 | 동국대학교 산학협력단 | 사용자에게 정보를 전달하는 정보전달장치 및 그 방법 |
| KR20160027576A (ko) * | 2014-09-01 | 2016-03-10 | 유형근 | 얼굴인식형 인터랙티브 디지털 사이니지장치 |
| KR20210000078A (ko) | 2019-06-24 | 2021-01-04 | 건국대학교 글로컬산학협력단 | 개인 맞춤형 조절이 가능한 키오스크 및 그 제어 시스템 |
| KR102325829B1 (ko) * | 2018-12-31 | 2021-11-12 | 이준호 | 안면착용 제품 추천 방법 및 그 장치 |
| KR20220169663A (ko) * | 2021-06-21 | 2022-12-28 | (주)눈사람이노베이션 | 인공지능 기반 패션 코디 추천 서비스 플랫폼의 운영 시스템 및 방법 |
| KR20230010900A (ko) * | 2021-07-13 | 2023-01-20 | 씨앤피파트너스 주식회사 | 프랜차이즈매장 출입관리시스템 |
| KR102553152B1 (ko) * | 2023-03-28 | 2023-07-10 | 최랑 | 뉴럴 네트워크를 이용하여 사용자 단말에게 추천 액세서리에 대한 정보를 전송하는 방법 및 장치 |
-
2023
- 2023-08-29 KR KR1020230113820A patent/KR102655761B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101191640B1 (ko) * | 2011-02-23 | 2012-10-17 | 동국대학교 산학협력단 | 사용자에게 정보를 전달하는 정보전달장치 및 그 방법 |
| KR20160027576A (ko) * | 2014-09-01 | 2016-03-10 | 유형근 | 얼굴인식형 인터랙티브 디지털 사이니지장치 |
| KR102325829B1 (ko) * | 2018-12-31 | 2021-11-12 | 이준호 | 안면착용 제품 추천 방법 및 그 장치 |
| KR20210000078A (ko) | 2019-06-24 | 2021-01-04 | 건국대학교 글로컬산학협력단 | 개인 맞춤형 조절이 가능한 키오스크 및 그 제어 시스템 |
| KR20220169663A (ko) * | 2021-06-21 | 2022-12-28 | (주)눈사람이노베이션 | 인공지능 기반 패션 코디 추천 서비스 플랫폼의 운영 시스템 및 방법 |
| KR20230010900A (ko) * | 2021-07-13 | 2023-01-20 | 씨앤피파트너스 주식회사 | 프랜차이즈매장 출입관리시스템 |
| KR102553152B1 (ko) * | 2023-03-28 | 2023-07-10 | 최랑 | 뉴럴 네트워크를 이용하여 사용자 단말에게 추천 액세서리에 대한 정보를 전송하는 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210201003A1 (en) | Synthetic data for neural network training using vectors | |
| KR102012676B1 (ko) | 콘텐츠 추천 방법, 장치 및 시스템 | |
| US20110016001A1 (en) | Method and apparatus for recommending beauty-related products | |
| US11544591B2 (en) | Framework for a computing system that alters user behavior | |
| KR102404511B1 (ko) | 인공지능 기반 사용자 맞춤형 상품 정보 추천 방법, 장치 및 시스템 | |
| US20190147228A1 (en) | System and method for human emotion and identity detection | |
| KR102407595B1 (ko) | 메타버스 기반 와이너리 체험 서비스 제공 방법, 장치 및 시스템 | |
| US11580648B2 (en) | System and method for visually tracking persons and imputing demographic and sentiment data | |
| Jaiswal et al. | An intelligent recommendation system using gaze and emotion detection | |
| CN111279377A (zh) | 通过使用人工智能技术提供与广告和产品购买相关的服务的装置、系统及方法 | |
| Micu et al. | Assessing an on-site customer profiling and hyper-personalization system prototype based on a deep learning approach | |
| US20240112252A1 (en) | Identifying object of interest for handicapped individuals based on eye movement patterns | |
| KR102506472B1 (ko) | 인공지능 기반 초개인화 맞춤형 식품 구매 추천 서비스 제공 방법, 장치 및 시스템 | |
| KR102586170B1 (ko) | 전자 장치 및 이의 검색 결과 제공 방법 | |
| KR102633435B1 (ko) | Ai 딥러닝 알고리즘을 활용하여 유동 인구 분석을 수행하고 효율적인 공간 활용을 추천하는 방법 및 시스템 | |
| KR20230015272A (ko) | 인공지능을 이용한 무인 정보 단말기, 주문 관리 서버 및 주문 정보 제공방법 | |
| KR102552856B1 (ko) | 커머스 연계 콘텐츠 제공 플랫폼 서비스를 위한 키워드 추출 및 콘텐츠 템플릿 생성 자동화 방법, 장치 및 시스템 | |
| KR102655761B1 (ko) | 사람의 특성을 인식하고 제품을 추천하는 전자 장치 및 전자 장치의 동작 방법 | |
| KR102520597B1 (ko) | 시장 분석 및 업체 니즈를 고려한 제품 매칭 방법 | |
| KR102463875B1 (ko) | 빅데이터를 활용한 사용자 맞춤 심리 치료 콘텐츠 제공 방법, 장치 및 시스템 | |
| KR102447426B1 (ko) | 초개인화를 위한 퍼스널 컬러와 타임라인 기반 행동 데이터를 분석하여 라이프스타일 가이드 정보를 추천하는 방법, 장치 및 시스템 | |
| KR102605216B1 (ko) | 지역 상권 및 상점 데이터를 활용하여 프랜차이즈 업종을 추천하는 방법 및 시스템 | |
| Van Thanh | Emotion Recognition Systems in Retail: A Detailed Analysis of Their Role in Enhancing Customer Interactions, Driving Sales, and Predicting Trends | |
| WO2021019311A1 (en) | Hybrid recommender system equipped with facial expression recognition and machine learning | |
| KR102632850B1 (ko) | 사진 또는 영상 인증에 기반하여 리워드를 제공하는 전자 장치 및 전자 장치의 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |