KR102295807B1 - 컨시어지 로봇 및 이를 이용한 고객 맞춤형 서비스 제공 방법 - Google Patents
컨시어지 로봇 및 이를 이용한 고객 맞춤형 서비스 제공 방법 Download PDFInfo
- Publication number
- KR102295807B1 KR102295807B1 KR1020200022459A KR20200022459A KR102295807B1 KR 102295807 B1 KR102295807 B1 KR 102295807B1 KR 1020200022459 A KR1020200022459 A KR 1020200022459A KR 20200022459 A KR20200022459 A KR 20200022459A KR 102295807 B1 KR102295807 B1 KR 102295807B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- analysis target
- analysis
- personal information
- neural network
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 168
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 230000002996 emotional effect Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000002716 delivery method Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 10
- 210000000887 face Anatomy 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 235000013410 fast food Nutrition 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- OSKIPPQETUTOMW-YHLOVPAPSA-N N-[(2R,3R,4R,5S,6R)-5-[(2S,3R,4R,5S,6R)-3-Acetamido-5-[(2R,3S,4S,5R,6R)-4-[(2R,3S,4S,5S,6R)-3-[(2S,3S,4S,5S,6R)-4,5-dihydroxy-6-(hydroxymethyl)-3-[(2R,3S,4S,5S,6R)-3,4,5-trihydroxy-6-(hydroxymethyl)oxan-2-yl]oxyoxan-2-yl]oxy-4,5-dihydroxy-6-(hydroxymethyl)oxan-2-yl]oxy-6-[[(2S,3S,4S,5R,6R)-6-[[(2S,3S,4S,5S,6R)-4,5-dihydroxy-6-(hydroxymethyl)-3-[(2R,3S,4S,5S,6R)-3,4,5-trihydroxy-6-(hydroxymethyl)oxan-2-yl]oxyoxan-2-yl]oxymethyl]-3,5-dihydroxy-4-[(2R,3S,4S,5S,6R)-3,4,5-trihydroxy-6-(hydroxymethyl)oxan-2-yl]oxyoxan-2-yl]oxymethyl]-3,5-dihydroxyoxan-2-yl]oxy-4-hydroxy-6-(hydroxymethyl)oxan-2-yl]oxy-2,4-dihydroxy-6-(hydroxymethyl)oxan-3-yl]acetamide Chemical compound O[C@@H]1[C@@H](NC(=O)C)[C@H](O)O[C@H](CO)[C@H]1O[C@H]1[C@H](NC(C)=O)[C@@H](O)[C@H](O[C@@H]2[C@H]([C@@H](O[C@@H]3[C@H]([C@@H](O)[C@H](O)[C@@H](CO)O3)O[C@@H]3[C@H]([C@@H](O)[C@H](O)[C@@H](CO)O3)O[C@@H]3[C@H]([C@@H](O)[C@H](O)[C@@H](CO)O3)O)[C@H](O)[C@@H](CO[C@@H]3[C@H]([C@@H](O[C@@H]4[C@H]([C@@H](O)[C@H](O)[C@@H](CO)O4)O)[C@H](O)[C@@H](CO[C@@H]4[C@H]([C@@H](O)[C@H](O)[C@@H](CO)O4)O[C@@H]4[C@H]([C@@H](O)[C@H](O)[C@@H](CO)O4)O)O3)O)O2)O)[C@@H](CO)O1 OSKIPPQETUTOMW-YHLOVPAPSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000015220 hamburgers Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G06K9/00221—
-
- G06K9/62—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Biophysics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Bioinformatics & Computational Biology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
본 발명에 따른 고객 맞춤형 서비스 제공 방법은, 촬영된 이미지를 획득하는 단계, 이미지 내에서 사람의 얼굴을 인식하는 단계, 인식된 얼굴들 중에서 하나를 분석 대상으로 선정하는 단계, 선정된 분석 대상이 포함된 복수의 사람들을 분석 그룹으로 선정하는 단계, 선정된 분석 그룹에 포함된 사람들의 개인 정보를 추정하는 단계, 추정한 개인 정보들을 이용하여 분석 그룹에 포함된 사람들의 사회적 관계를 추정하는 단계, 및 추정한 개인 정보들 및 사회적 관계를 이용하여 분석 대상에게 맞춤형 서비스 정보를 제공하는 단계를 포함한다.
Description
본 발명은 컨시어지 로봇 및 이를 이용한 고객 맞춤형 서비스 제공 방법에 관한 것이다. 보다 상세하게 본 발명은, 촬영된 이미지에서 분석 대상들의 성별이나 나이와 같은 개인 정보, 및 그들의 사회적 관계를 추정하고, 추정한 정보들을 이용하여 고객에게 최적의 맞춤형 서비스를 제공하는 컨시어지 로봇 및 고객 맞춤형 서비스 제공 방법에 관한 것이다.
컨시어지는 원래 관리인이나 안내인을 뜻하는 단어로서, 최근에는 고객의 요구에 맞추어 모든 것을 일괄적으로 처리해주는 가이드라는 의미로 널리 사용되고 있다. 즉, 컨시어지 로봇은 고객에게 맞춤 서비스를 제공하는 인공지능 로봇을 의미한다.
쇼핑몰이나 대형 푸드 코트 등 다양한 종류의 서비스가 한 장소에서 제공되는 서비스 시설에서는, 각각의 고객들에게 필요한 맞춤 정보를 제공할 필요성이 있다. 이를 위하여, 안내 직원을 고용하여 인간이 직접 대면(face-to-face) 서비스를 제공하도록 하거나 또는 키오스크(kiosk)와 같은 무인 종합정보안내시스템이 많이 이용되고 있다.
그러나, 안내 직원이 직접 대면 서비스를 제공하는 방법의 경우, 인건비가 많이 들고 서비스 제공을 24시간 유지하기 어렵다는 문제가 있다. 또한, 키오스크의 경우에도 단순히 네트워크 장치를 연결해 전산화를 시도한 것일 뿐이어서, 고객과의 상호작용이나 고객 맞춤형 서비스를 제공하기 어렵다는 문제가 있다.
따라서, 각각의 고객에게 최적의 맞춤 서비스를 제공할 수 있는 컨시어지 로봇 및 고객 맞춤형 서비스 제공 방법이 필요한 실정이다.
본 발명의 과제는 고객의 성별이나 나이와 같은 개인 정보, 및 고객 일행의 사회적 관계를 추정하고, 추정한 정보들을 이용하여 고객에게 최적의 맞춤형 서비스를 제공할 수 있는 컨시어지 로봇 및 고객 맞춤형 서비스 제공 방법을 제공하는데 있다.
다만, 본 발명이 해결하고자 하는 과제가 상술한 과제에 한정되는 것은 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 다양하게 확장될 수 있을 것이다.
상술한 본 발명의 과제를 달성하기 위하여, 예시적인 실시예들에 따른 고객 맞춤형 서비스 제공 방법은, 촬영된 이미지를 획득하는 단계, 상기 이미지 내에서 사람의 얼굴을 인식하는 단계, 상기 인식된 얼굴들 중에서 하나를 분석 대상으로 선정하는 단계, 상기 선정된 분석 대상이 포함된 복수의 사람들을 분석 그룹으로 선정하는 단계, 상기 선정된 분석 그룹에 포함된 사람들의 개인 정보를 추정하는 단계, 상기 추정한 개인 정보들을 이용하여 상기 분석 그룹에 포함된 사람들의 사회적 관계를 추정하는 단계, 및 상기 추정한 개인 정보들 및 상기 사회적 관계를 이용하여 상기 분석 대상에게 맞춤형 서비스 정보를 제공하는 단계를 포함한다.
예시적인 실시예들에 있어서, 상기 개인 정보는 성별 정보, 나이 정보, 및 감정 상태 정보 중에서 적어도 하나를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 개인 정보를 추정하는 단계는, 기 학습된 합성곱 신경망 모델을 이용하여 상기 획득한 이미지로부터 상기 개인 정보를 추정할 수 있다.
예시적인 실시예들에 있어서, 상기 개인 정보는 성별 정보, 나이 정보, 및 감정 상태 정보를 모두 포함할 수 있다. 이 경우, 상기 성별 정보와 상기 나이 정보는 제1 합성곱 신경망 모델을 이용하여 동시에 추정할 수 있고, 상기 감정 상태 정보는 이와 다른 제2 합성곱 신경망 모델을 이용하여 추정할 수 있다.
예시적인 실시예들에 있어서, 상기 분석 대상을 선정하는 단계는, 상기 이미지 내에서 인식된 얼굴들 중에서 얼굴 크기가 가장 큰 사람을 분석 대상으로 선정하는 것일 수 있다.
예시적인 실시예들에 있어서, 상기 분석 그룹을 선정하는 단계는, 상기 분석 대상으로부터 일정한 거리 이내에 위치한 사람들을 분석 그룹으로 선정하는 것일 수 있다.
예시적인 실시예들에 있어서, 상기 사회적 관계를 추정하는 단계는 기 설정된 사회적 관계 추정 알고리즘을 이용하여 수행될 수 있다. 이 때, 상기 사회적 관계 추정 알고리즘은, 상기 분석 그룹을 구성하는 구성원들의 수, 구성원들의 성별, 구성원들 간의 나이 차, 및 구성원들 각각의 나이 정보를 이용하여 상기 분석 그룹에 포함된 사람들의 사회적 관계를 추정할 수 있다.
예시적인 실시예들에 있어서, 상기 분석 대상에게 맞춤형 서비스 정보를 제공하는 단계는, 상기 분석 대상에게 제공할 서비스 정보의 내용을 결정하는 단계, 및 상기 결정된 서비스 정보의 내용을 상기 분석 대상에게 전달하는 정보 전달 방법을 결정하는 단계를 포함할 수 있다.
상술한 본 발명의 과제를 달성하기 위하여, 예시적인 실시예들에 따른 컨시어지 로봇은, 촬영된 이미지 정보를 획득하는 입력부, 상기 획득한 이미지로부터 사람의 얼굴을 인식하여 분석 대상을 선정하고 기 학습된 합성곱 신경망 모델을 이용하여 상기 분석 대상의 개인 정보 및 사회적 관계를 추정하는 연산부, 상기 추정한 개인 정보 및 사회적 관계에 따라 상기 분석 대상을 위한 맞춤형 서비스 정보를 생성하는 맞춤형 서비스 생성부, 및 상기 생성된 서비스 정보를 상기 분석 대상에게 제공하는 출력부를 포함한다.
예시적인 실시예들에 있어서, 상기 연산부는 얼굴 인식부, 개인 정보 추정부, 및 사회적 관계 추정부를 포함할 수 있다. 이 경우, 상기 얼굴 인식부는, 상기 입력부에서 획득한 이미지로부터 사람의 얼굴을 인식하고, 인식한 얼굴들 중에서 한 사람을 분석 대상으로 선정하고, 상기 선정된 분석 대상을 포함하는 분석 그룹을 선정할 수 있다. 상기 개인 정보 추정부는, 기 학습된 합성곱 신경망 모델을 이용하여 상기 획득한 이미지로부터 상기 분석 그룹에 포함되는 사람들의 나이, 성별 및 감정 상태를 추정할 수 있다. 또한, 상기 사회적 관계 추정부는, 상기 추정한 개인 정보들을 이용하여 상기 분석 그룹에 포함되는 사람들의 사회적 관계를 추정할 수 있다.
예시적인 실시예들에 있어서, 상기 개인 정보 추정부는, 제1 합성곱 신경망 모델을 이용하여 나이와 성별을 동시에 추정할 수 있고, 감정 상태는 이와 다른 제2 합성곱 신경망 모델을 이용하여 추정할 수 있다.
예시적인 실시예들에 있어서, 상기 얼굴 인식부는, 상기 획득한 이미지 내에서 인식한 얼굴들 중에서 얼굴 크기가 가장 큰 사람을 상기 분석 대상으로 선정할 수 있고, 상기 선정된 분석 대상으로부터 일정한 거리 이내에 위치한 사람들을 상기 분석 그룹으로 선정할 수 있다.
본 발명의 예시적인 실시예들에 따른 컨시어지 로봇 및 이를 이용한 고객 맞춤형 서비스 제공 방법은, 촬영된 이미지로부터 분석 대상 및 분석 그룹을 선정하고, 합성곱 신경망 모델을 이용하여 상기 선정된 분석 대상 및 분석 그룹의 개인 정보와 사회적 관계를 추정할 수 있다. 이 때, 성별과 나이를 하나의 신경망 모델로 동시에 추정함으로써 전체 연산 횟수를 줄일 수 있고, 감정 상태는 별도의 신경망 모델을 이용함으로써 추정의 정확도를 향상시킬 수 있다. 또한, 추정을 통해 획득한 개인 정보들을 이용하여 분석 그룹에 포함된 사람들의 사회적 관계를 추정하고, 상기 개인 정보와 사회적 관계를 동시에 활용하여 맞춤형 서비스를 제공함으로써, 각 고객에게 최적화된 서비스 정보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 컨시어지 로봇의 구성을 나타내는 블록도이다.
도 2는 개인 정보 추정 및 사회적 관계 정보 추정에 사용되는 인공 신경망을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 컨시어지 로봇의 외형을 나타내는 도면들이다.
도 4는 본 발명의 일 실시예에 따른 고객 맞춤형 서비스 제공 방법의 단계들을 설명하기 위한 순서도이다.
도 2는 개인 정보 추정 및 사회적 관계 정보 추정에 사용되는 인공 신경망을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 컨시어지 로봇의 외형을 나타내는 도면들이다.
도 4는 본 발명의 일 실시예에 따른 고객 맞춤형 서비스 제공 방법의 단계들을 설명하기 위한 순서도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
먼저, 도 1 내지 도 3을 참조하여, 본 발명에 따른 컨시어지 로봇(100)에 대하여 설명하기로 한다. 여기서, 컨시어지 로봇이란 고객에게 특정 서비스 또는 특정 정보를 제공하는 장치들을 포괄하는 의미이다.
도 1은 본 발명의 일 실시예에 따른 컨시어지 로봇의 구성을 나타내는 블록도이고, 도 2는 개인 정보 추정 및 사회적 관계 정보 추정에 사용되는 인공 신경망을 나타내는 도면이다. 도 3은 본 발명의 일 실시예에 따른 컨시어지 로봇의 외형을 나타내는 도면들이다.
도 1을 참조하면, 컨시어지 로봇(100)은 영상 정보와 음성 정보를 획득하는 입력부(110), 획득한 정보들을 이용하여 개인 정보 및 사회적 관계를 추정하는 연산부(120), 데이터를 저장하는 저장부(130), 외부와 통신을 수행하는 통신부(140), 추정한 정보들을 이용하여 고객 맞춤형 서비스 정보를 생성하는 맞춤형 서비스 생성부(150), 및 생성된 맞춤형 서비스 정보를 고객에게 제공하는 출력부(160)를 포함한다.
입력부(110)는 영상 정보를 획득하는 촬영 장치(111), 및 음성 정보를 획득하는 음성 입력 장치(113)를 포함할 수 있다. 예를 들면, 상기 촬영 장치(111)는 카메라일 수 있고, 상기 음성 입력 장치(113)는 마이크일 수 있다. 입력부(110)는 획득한 영상 정보와 음성 정보를 연산부(120)에 제공할 수 있다.
저장부(130)는 각종 데이터를 저장하고, 저장된 데이터를 연산부(120)로 제공할 수 있다. 예를 들면, 후술할 연산부(120)의 얼굴 인식부(121)는 촬영된 이미지 내에서 사람의 얼굴을 인식하고, 인식한 얼굴의 특징점 위치를 벡터화할 수 있는데, 상기 인식된 얼굴 이미지 정보와 벡터화된 특징점의 위치 정보가 저장부(130)에 저장될 수 있다. 이 경우, 상기 저장된 얼굴 이미지 정보와 특징점 위치 정보는 다시 얼굴 인식부(121)로 제공될 수 있고, 얼굴 인식부(121)는 현재 인식된 얼굴의 특징점 위치 정보와 저장부(130)에서 제공받은 위치 정보를 서로 비교함으로써 동일 인물인지 여부를 판단할 수 있다. 또한, 저장부(130)에는 후술할 표 1의 사회적 관계 추정 알고리즘이 저장될 수 있다. 이외에도 저장부(130)에는 각종 정보나 데이터들이 저장될 수 있고, 저장된 정보와 데이터들은 컨시어지 로봇(100)을 구성하는 다른 구성들로 제공될 수 있다.
통신부(140)는 컨시어지 로봇(100)과 외부, 예를 들면, 인터넷 통신망이나 클라우드 서버 사이의 통신을 수행할 수 있다. 즉, 컨시어지 로봇(100)은 연산부(120)에서 추정한 정보들, 및 맞춤형 서비스 생성부(150)에서 생성한 서비스 정보들을 통신부(140)를 통해 외부로 제공할 수 있고, 통신부(140)를 통해 외부의 정보들을 획득할 수 있다.
연산부(120)는 입력부(110)에서 제공받은 정보들, 저장부(130)에 저장되어 있는 데이터들, 및 통신부(140)를 통해 외부에서 제공받은 정보들을 이용하여 얼굴 인식, 개인 정보 추정, 사회적 관계 추정 등 각종 연산 작업을 수행할 수 있다. 일 실시예에 있어서, 연산부(120)는 얼굴 인식부(121), 개인 정보 추정부(123), 및 사회적 관계 추정부(125)를 포함할 수 있다.
먼저, 얼굴 인식부(121)는 획득한 영상 이미지로부터 사람의 얼굴을 인식하고, 인식된 사람의 얼굴들 중에서 분석 대상을 선정하고, 선정된 분석 대상을 추적할 수 있다.
얼굴 인식부(121)는 영상 이미지 내에서 사람의 얼굴 영역을 인식하는 얼굴 인식 알고리즘을 포함할 수 있다. 예를 들면, 상기 얼굴 인식 알고리즘은 Haar cascade 방식을 사용한 얼굴 추정 알고리즘, 신경망(Neural Network) 학습을 활용한 사람의 얼굴 형상 추정 알고리즘, 사람의 눈 추정을 통한 얼굴 추정 알고리즘 등 다양한 방식일 수 있다. 얼굴 인식부(121)는 상기 알고리즘들 중에서 어느 하나만을 사용하여 영상 이미지로부터 사람의 얼굴을 인식할 수도 있고, 이와 다르게 다수의 알고리즘들을 동시에 사용하여 사람의 얼굴 영역을 인식할 수도 있다. 얼굴 인식부(121)가 복수 개의 알고리즘들을 이용하는 경우 얼굴 인식의 정확도가 향상될 수 있다.
촬영 장치(111)가 촬영한 영상 이미지 내에는 다수의 사람이 동시에 포함될 수도 있는데, 얼굴 인식부(121)는 인식된 복수의 사람 얼굴 중에서 분석 대상을 선정할 수 있다. 이 때, '분석 대상'이란 컨시어지 로봇(100)이 고객 맞춤형 서비스를 제공하는 목표 대상을 의미한다.
일 실시예에 있어서, 얼굴 인식부(121)는 촬영 장치(111)에서 가장 가까이 위치한 사람을 분석 대상으로 선정할 수 있다. 이 경우, 촬영 장치(111)에서 가장 가까이 위치한 사람이란, 실제로 촬영 장치(111)에 가장 가까이 위치한 사람을 의미할 수도 있고, 또는 촬영된 이미지 내에서 얼굴 크기가 가장 큰 사람을 의미할 수도 있다.
이와 다르게, 얼굴 인식부(121)는 기 설정된 특정 조건에 따라 분석 대상을 선정할 수도 있다. 예를 들면, 상기 특정 조건은 '여성들 중에서 촬영 장치(111)로부터 가장 가까이 위치한 사람'일 수 있다. 상기 특정 조건은 필요에 따라 다양하게 설정 및 변경될 수 있다.
분석 대상이 선정되면, 얼굴 인식부(121)는 선정된 분석 대상을 추적할 수 있다. 구체적으로, 얼굴 인식부(121)는 선정된 분석 대상의 얼굴 이미지에서 특징점의 위치를 벡터화할 수 있다. 이 때, 상기 벡터화는 데이터를 코드화하고 압축하는 인코딩(encoding) 과정을 의미하며, 벡터화된 특징점의 위치 정보들은 저장부(130)에 저장될 수 있다. 촬영 장치(111)는 실시간으로 영상을 촬영하여 얼굴 인식부(121)로 제공하게 되므로, 얼굴 인식부(121) 역시 실시간으로 분석 대상을 선정하게 된다. 얼굴 인식부(121)는 현재 선정된 분석 대상의 벡터화된 특징점의 위치 정보와 저장부(130)에 저장되어 있는위치 정보를 서로 비교함으로써, 분석 대상이 동일인으로 계속 유지되고 있는지를 여부를 판단할 수 있다. 만약, 저장부(130)에 저장된 분석 대상과 동일한 사람이 기 설정된 시간 동안 포착되지 않으면, 얼굴 인식부(121)는 분석 대상을 변경할 수 있다.
한편, 얼굴 인식부(121)는 분석 대상으로 선정된 사람뿐만 아니라, 분석 대상을 포함하는 일단의 사람들을 분석 그룹으로 선정할 수 있다. 이는 후술할 사회적 관계 추정에 활용하기 위함이다.
예를 들면, 얼굴 인식부(121)는 선정된 분석 대상으로부터 일정한 거리 이내에 위치하는 사람들을 분석 그룹으로 선정할 수 있다. 즉, 얼굴 인식부(121)는 분석 대상이 포함된 일행을 분석 그룹으로 선정하는 것이다.
한편, 촬영 장치(111)는 실시간으로 영상을 촬영하여 얼굴 인식부(121)로 제공하게 되는데, 얼굴 인식부(121)는 기 설정된 시간 동안 분석 그룹에 포함된 구성원의 변동이 없는 경우에만 이들을 하나의 분석 그룹으로 지정하는 것이 바람직하다. 우연히 분석 대상 가까이에 위치한 사람을 분석 그룹에서 배제함으로써, 사회적 관계 추정의 정확도를 향상시키기 위함이다.
개인 정보 추정부(123)는 얼굴 인식부(121)에서 선정한 분석 대상의 얼굴 이미지로부터 분석 대상의 개인 정보를 추정할 수 있다. 이 때, 상기 개인 정보는 성별, 나이, 감정 상태 등을 포함할 수 있다.
일 실시예에 있어서, 개인 정보 추정부(123)는 기 학습된 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 이용하여 분석 대상의 개인 정보를 추정할 수 있다.
한편, 추정하려는 개인 정보가 복수 개인 경우, 각각의 개인 정보에 적합한 신경망 모델을 사용하여야 추정의 정확도를 향상시킬 수 있다. 그러나 사용되는 신경망 모델의 수가 증가할수록 연산량이 대폭으로 늘어나게 되므로, 연산 속도가 느려지고 보다 무거운 시스템을 구축하여야 하는 문제가 있다. 이에 본 발명에서는, 나이와 성별을 하나의 합성곱 신경망 모델(이하 '제1 신경망 모델(N1)'이라 함)을 사용하여 추정하고, 감정 상태는 다른 합성곱 신경망 모델(이하 '제2 신경망 모델(N2)이라 함)을 사용하여 추정한다. 이에 따라, 연산 속도를 향상시키면서도 정확한 추정 결과를 도출해낼 수 있다.
얼굴 인식부(121)에서 인식한 얼굴 영상 이미지로부터 분석 대상의 나이와 성별을 추정하는 제1 신경망 모델(N1)의 예가 도 2에 도시되어 있다. 도 2에 도시된 바와 같이, 제1 신경망 모델(N1)은 3개의 합성곱 계층들(Convolution Layer, C1, C2, C3), 3개의 맥스 풀링 계층들(Max Pulling Layer), 및 2개의 완전 연결 계층들(Fully Connected Layer, F1, F2)을 포함할 수 있다. 이 경우, 촬영 장치(111)에서 촬영된 이미지들이 입력(Input)으로 제공되며, 상기 계층들을 거치면서 특징 맵(Feature Map)들이 생성되고, 마지막으로 분석 대상의 나이와 성별에 대한 추정 값이 출력(Output)될 수 있다.
제2 신경망 모델(N2)은 상기 제1 신경망 모델(N1)과 유사한 구조를 가질 수 있다. 다만, 상기 제2 신경망 모델(N2)에서 사용되는 매개변수(Parameter)와 활성화 함수(Activation Function)는 상기 제1 신경망 모델(N2)과 상이하게 선정되는 것이 바람직하다.
상기 제2 신경망 모델(N2)에서는, 촬영 장치(111)에서 촬영된 이미지들이 입력 값으로 사용되며, 분석 대상의 감정 상태에 대한 추정 값이 출력될 수 있다. 이 때, 상기 출력되는 감정 상태는 행복, 공포, 슬픔, 분노, 혐오, 중립, 놀람, 그리고 경멸 중 어느 하나일 수 있다.
한편, 얼굴 인식부(121)가 분석 그룹을 선정한 경우에는, 개인 정보 추정부(123)는 상기 분석 그룹에 포함된 사람들 각각의 나이, 성별, 및 감정 상태를 추정할 수 있다.
다음으로, 사회적 관계 추정부(125)는 얼굴 인식부(121)가 분석 그룹을 선정한 경우에 한하여, 선정된 분석 그룹에 소속된 사람들의 사회적 관계를 추정할 수 있다.
구체적으로, 사회적 관계 추정부(125)는 개인 정보 추정부(123)에서 추정한 나이와 성별 정보, 감정 상태, 및 기 설정된 사회적 관계 추정 알고리즘 등을 이용하여 분석 그룹에 소속된 사람들의 사회적 관계를 추정할 수 있다. 이 때, 상기 사회적 관계 추정 알고리즘은 저장부(130)에 저장될 수 있으며, 필요에 따라 적절히 변경될 수 있다. 아래 표 1에는 사회적 관계 추정 알고리즘의 일 예가 나타나 있다.
| 분류 | 인원수 | 성별 | 나이차 | 나이 | 사회적 관계 |
| A1 | 2명 | 남자, 남자 | 8살 미만 | 친구 | |
| A2 | 2명 | 여자, 여자 | 8살 미만 | 친구 | |
| A3 | 2명 | 남자, 여자 | 8살 미만 | 커플 | |
| A4 | 2명 | 남자, 남자 | 8살 이상 | 연장자가 30살 이상 | 부자 |
| A5 | 2명 | 여자, 여자 | 8살 이상 | 남자가 연장자이고 30살 이상 | 부녀 |
| A6 | 2명 | 남자, 여자 | 8살 이상 | 여자가 연장자이고 30살 이상 | 모자 |
| A7 | 2명 | 여자, 여자 | 8살 이상 | 연장자가 30살 이상 | 모녀 |
| A8 | 2명 | 무관 | 8살 이상 | 연장자가 30살 이하 | 형제 또는 조카 |
| A9 | 3명 이상 | 무관 | 8살 이하 | 친구 | |
| A10 | 3명 이상 | 최고령자가 남자 | 아빠와 아이들 | ||
| A11 | 3명 이상 | 최고령자가 여자 | 엄마와 아이들 | ||
| A12 | 3명 이상 | 형제들 또는 조카들 |
예를 들어, 분석 그룹에 성별이 다른 두 사람이 포함되고, 여자가 연장자이며 30살 이상인 경우(A6 분류)에는, 사회적 관계 추정부(125)는 상기 분석 그룹의 사회적 관계가 모자 관계인 것으로 추정할 수 있다.
상술한 바와 같이, 연산부(120)는 입력부(110)로부터 제공받은 영상 이미지를 이용하여 분석 대상 및 분석 그룹을 선정하고, 선정된 분석 대상의 개인 정보와 선정된 분석 그룹의 사회적 관계를 추정할 수 있다. 상기 개인 정보와 사회적 관계 정보는 맞춤형 서비스 생성부(150)로 제공될 수 있다.
맞춤형 서비스 생성부(150)는 분석 대상 및 분석 그룹에 최적화된 서비스 정보를 선정할 수 있다.
예를 들어, 컨시어지 로봇(100)이 설치된 곳이 쇼핑몰이고 분석 그룹이 친구 사이의 20대 여성들인 경우(표 1의 A2 분류)에는, 컨시어지 로봇(100)은 상기 쇼핑몰에 입점해 있는 여성 의류 브랜드 매장들의 목록과 위치 정보를 생성할 수 있다.
이와 다르게, 컨시어지 로봇(100)이 설치된 곳이 푸드 코트이고 분석 그룹이 친구 사이인 8살 이하의 어린이들인 경우(표 1의 A9 분류)에는, 컨시어지 로봇(100)은 패스트 푸드점의 위치와 메뉴 정보를 생성할 수 있다.
일 실시예에 있어서, 맞춤형 서비스 생성부(150)는 분석 대상이나 분석 그룹에게 제공할 서비스 정보의 내용을 결정하는 것에 그치지 않고, 상기 결정된 서비스 정보의 내용을 전달하는 방식을 결정할 수도 있다.
예를 들어, 상기 표 1의 A9 분류와 같이 어린이 친구들이 분석 그룹인 경우, 맞춤형 서비스 생성부(150)는 제공할 서비스 정보의 내용으로서 패스트 푸드점의 위치 정보를 결정하고, 전달 방식으로 '친근감 있는 문장을 어린이 목소리로 전달한다'는 결정을 할 수 있다. 이에 따라, 후술할 음성 출력 장치(163)는 "안녕. 여기 OO햄버거가 정말 ?ダ獵쨉?, 너희들 먹어 봤어?" 라는 음성을 출력할 수 있다.
또한, 맞춤형 서비스 생성부(150)는 음성 입력 장치(113) 또는 터치 패널과 같은 별도의 입력 수단(도시되지 않음)을 통해 분석 대상의 요구 사항을 입력 받고, 상기 입력된 요구 사항에 적합한 서비스 정보들을 생성할 수도 있다.
맞춤형 서비스 생성부(150)가 연산부(120)에서 추정한 정보들을 이용하여 패스트 푸드점의 위치를 안내한 이후에, 분석 대상이 특정 메뉴의 가격을 질문한 경우를 가정하자. 이 경우, 컨시어지 로봇(100)은 음성 입력 장치(113)를 통해 분석 대상의 질문을 입력 받고, 맞춤형 서비스 생성부(150)는 상기 질문에 대한 대답을 생성할 수 있다. 이 때, 필요한 경우 저장부(130)에 저장된 데이터를 활용하거나, 또는 통신부(140)를 통해 외부 서버의 정보를 획득하여 이용할 수 있다.
상술한 바와 같이, 맞춤형 서비스 생성부(150)는 연산부(120)로부터 제공받은 정보들을 이용하여 분석 대상 또는 분석 그룹에게 적합한 맞춤형 서비스 정보의 내용, 전달 방식 등을 결정할 수 있다. 상기 결정된 맞춤형 서비스 정보의 내용과 전달 방식 등은 출력부(160)를 통해 분석 대상 또는 분석 그룹에 제공될 수 있다.
출력부(160)는 맞춤형 서비스 생성부(150)에서 결정된 맞춤형 서비스 정보를 분석 대상 또는 분석 그룹에 전달할 수 있다. 구체적으로, 출력부(160)는 영상을 통해 맞춤형 서비스 정보를 제공하는 디스플레이 장치(161), 및 음성을 통해 맞춤형 서비스 정보를 제공하는 음성 출력 장치(163)를 포함할 수 있다.
일 실시예에 있어서, 출력부(160)는 컨시어지 로봇(100)을 이동시키거나 자세를 변경하기 위한 구동 장치(165)를 더 포함할 수 있다. 예를 들어, 얼굴 인식부(121)에서 선정한 분석 대상을 지속적으로 추적하거나 또는 멀리 있는 분석 대상에게 맞춤형 서비스 정보를 전달할 필요가 있는 경우, 컨시어지 로봇(100)은 구동 장치(165)를 이용하여 분석 대상을 따라 이동하거나 또는 분석 대상에게 접근할 수 있다.
도 3은 상술한 컨시어지 로봇(100)의 일례를 나타낸 도면이다. 도 3에 도시된 바와 같이, 컨시어지 로봇(100)은 외형을 이루는 바디(101), 및 상기 바디(101)를 고정하는 지지대(103)를 포함할 수 있다.
바디(101)의 외부에는 디스플레이 장치(161), 음성 출력 장치(163), 카메라(도시되지 않음) 등이 구비될 수 있다. 바디(101) 내부에는 연산부(120), 저장부(130), 통신부(140), 및 맞춤형 서비스 생성부(150) 등이 수용될 수 있다. 바디(101)는 지지대(103)를 통해 일정한 장소에 고정 설치될 수 있다.
즉, 도 3에 도시된 예에서는 구동 장치(165) 없이 컨시어지 로봇(100)이 고정 설치되는 것으로 도시되어 있다. 그러나, 본 발명이 이에 한정되는 것은 아니며, 지지대(103)가 이동 가능한 레일 위에 설치될 수도 있다.
상술한 바와 같이, 본 발명에 따른 컨시어지 로봇(100)은 촬영된 영상 이미지로부터 분석 대상 및 분석 그룹을 선정하고, 기 학습된 합성곱 신경망 모델을 이용하여 선정된 분석 대상 및 분석 그룹의 개인 정보와 사회적 관계를 추정할 수 있다. 이후 추정된 정보들을 이용하여 고객 맞춤형 서비스 정보를 제공할 수 있다. 특히, 분석 그룹에 포함된 사람들의 개인 정보(나이, 성별 정보 등)를 추정하고, 이를 이용하여 그들 간의 사회적 관계를 정확하게 추정할 수 있다. 이에 따라, 선정된 분석 대상에게 최적화된 맞춤형 서비스 정보를 제공할 수 있다.
이하에서는, 도 1 내지 도 3의 컨시어지 로봇(100)을 이용하여 고객 맞춤형 서비스를 제공하는 방법에 대하여 도 4를 참조로 설명하기로 한다. 다만, 중복되는 내용에 대해서는 설명을 생략하거나 또는 간략히 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 고객 맞춤형 서비스 제공 방법의 단계들을 설명하기 위한 순서도이다.
도 4를 참조하면, 먼저 촬영된 이미지를 획득한다(S100). 예를 들면, 카메라 등의 촬영 장치(110)를 이용하여 영상 이미지를 획득할 수 있다.
획득한 이미지 내에서 사람의 얼굴을 인식한다(S110).
예를 들면, Haar cascade 방식을 사용한 얼굴 추정 알고리즘, 신경망(Neural Network) 학습을 활용한 사람의 얼굴 형상 추정 알고리즘, 사람의 눈 추정을 통한 얼굴 추정 알고리즘 등의 얼굴 인식 알고리즘을 이용하여 촬영된 이미지 내에서 사람의 얼굴을 인식할 수 있다.
이어서, 인식한 사람의 얼굴들 중에서 분석 대상을 선정한다(S120). 여기서 분석 대상이란 고객 맞춤형 서비스를 제공할 목표 대상을 의미한다.
한편, 분석 대상 선정은 기 설정된 기준에 따라 수행될 수 있는데, 예를 들면, 촬영된 이미지 내에서 얼굴 크기가 가장 큰 사람을 분석 대상으로 선정하거나 또는 카메라에서 가장 가까이 위치한 사람을 분석 대상으로 선정할 수 있다.
분석 대상이 선정되면, 상기 분석 대상에게 일행이 존재 하는지 여부를 판단한다(S130). 예를 들면, 상기 선정된 분석 대상으로부터 일정한 거리 이내에 위치하고, 기 설정된 시간 동안 상기 일정한 거리 이내 상태를 유지하는 경우이면, 상기 분석 대상에게 일행이 존재한다고 판단할 수 있다.
상기 분석 대상에게 일행이 존재한다고 판단된 경우, 상기 분석 대상과 상기 일행을 분석 그룹으로 설정한다(S150).
먼저, 분석 대상에게 일행이 존재하지 않는 경우, 상기 분석 대상의 개인 정보를 추정한다(S140). 여기서, 상기 개인 정보는 성별, 나이, 감정 상태 등을 포함할 수 있다. 분석 대상에 대한 개인 정보 추정은 기 학습된 합성곱 신경망 모델(CNN)을 이용하여 수행될 수 있는데, 성별과 나이는 동일한 신경망 모델(제1 신경망 모델)을 사용하여 추정하고, 감정 상태는 별도의 신경망 모델(제2 신경망 모델)을 사용하여 추정할 수 있다. 연산량을 감소시키고 추정의 정확도는 향상시키기 위함이다. 상기 개인 정보 추정에 대해서는 이미 도 1을 참조로 상세히 설명하였으므로, 중복되는 설명은 생략하기로 한다.
분석 대상에게 일행이 존재하여 분석 그룹을 설정한 경우에는, 상기 분석 그룹에 포함된 대상들 각각의 개인 정보를 추정한다(S160). 이 경우에도 역시 기 학습된 합성곱 신경망 모델(CNN)이 이용될 수 있다.
또한, 상기 분석 그룹에 소속된 대상들의 개인 정보들, 및 상기 표 1에 개시된 사회적 관계 추정 알고리즘을 이용하여 상기 분석 그룹에 소속된 대상들의 사회적 관계를 추정한다(S170).
이후, 분석 대상 및/또는 분석 그룹에 소속된 대상들의 개인 정보 추정 값과, 분석 그룹에 소속된 대상들의 사회적 관계 정보 추정 값을 이용하여 분석 대상에게 고객 맞춤형 서비스 정보를 제공한다(S180).
예를 들면, 상기 추정을 통해 획득한 정보들을 이용하여, 분석 대상에게 최적화된 서비스 정보의 내용 및 정보 전달 방법을 결정하고, 영상이나 음성을 이용하여 분석 대상에게 제공할 수 있다. 또한, 제공된 서비스 정보에 대하여 분석 대상의 피드백이 있는 경우, 상기 피드백에 대응하는 서비스 정보들을 지속적으로 제공할 수 있다.
상술한 바와 같이, 본 발명에 따른 고객 맞춤형 서비스 제공 방법은, 촬영된 이미지로부터 분석 대상 및 분석 그룹을 선정하고, 합성곱 신경망 모델을 이용하여 상기 선정된 분석 대상 및 분석 그룹의 개인 정보와 사회적 관계를 추정할 수 있다. 이 때, 성별과 나이를 하나의 신경망 모델로 동시에 추정함으로써 전체 연산 횟수를 줄일 수 있고, 감정 상태는 별도의 신경망 모델을 이용함으로써 추정의 정확도를 향상시킬 수 있다. 또한, 추정을 통해 획득한 개인 정보들을 이용하여 분석 그룹에 포함된 사람들의 사회적 관계를 추정하고, 상기 개인 정보와 사회적 관계를 동시에 이용하여 맞춤형 서비스를 제공함으로써, 각 고객에게 최적화된 서비스 정보를 제공할 수 있다.
이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 컨시어지 로봇 110: 입력부
120: 연산부 130: 저장부
140: 통신부 150: 맞춤형 서비스 생성부
160: 출력부 N1: 제1 신경망 모델
120: 연산부 130: 저장부
140: 통신부 150: 맞춤형 서비스 생성부
160: 출력부 N1: 제1 신경망 모델
Claims (12)
- 촬영된 이미지를 획득하는 단계;
상기 이미지 내에서 사람의 얼굴을 인식하는 단계;
상기 인식된 얼굴들 중에서 하나를 분석 대상으로 선정하는 단계;
상기 선정된 분석 대상이 포함된 복수의 사람들을 분석 그룹으로 선정하는 단계;
상기 선정된 분석 그룹에 포함된 사람들의 개인 정보를 추정하는 단계;
상기 추정한 개인 정보들을 이용하여 상기 분석 그룹에 포함된 사람들의 사회적 관계를 추정하는 단계; 및
상기 추정한 개인 정보들 및 상기 사회적 관계를 이용하여 상기 분석 대상에게 맞춤형 서비스 정보를 제공하는 단계를 포함하며,
상기 개인 정보는 성별 정보, 나이 정보, 및 감정 상태 정보 중에서 적어도 하나를 포함하고,
상기 개인 정보를 추정하는 단계는, 기 학습된 합성곱 신경망 모델을 이용하여 상기 획득한 이미지로부터 상기 개인 정보를 추정하되,
상기 성별 정보와 상기 나이 정보는 제1 합성곱 신경망 모델을 이용하여 동시에 추정하고, 상기 감정 상태 정보는 이와 다른 제2 합성곱 신경망 모델을 이용하여 추정하며,
상기 분석 대상에게 맞춤형 서비스 정보를 제공하는 단계는,
상기 분석 대상에게 제공할 서비스 정보의 내용을 결정하는 단계; 및
상기 결정된 서비스 정보의 내용을 상기 분석 대상에게 전달하는 정보 전달 방법도 맞춤형으로 결정하는 단계를 포함하는 것을 특징으로 하는 고객 맞춤형 서비스 제공 방법. - 삭제
- 삭제
- 삭제
- 제1항에 있어서, 상기 분석 대상을 선정하는 단계는, 상기 이미지 내에서 인식된 얼굴들 중에서 얼굴 크기가 가장 큰 사람을 분석 대상으로 선정하는 것을 특징으로 하는 고객 맞춤형 서비스 제공 방법.
- 제1항에 있어서, 상기 분석 그룹을 선정하는 단계는, 상기 분석 대상으로부터 일정한 거리 이내에 위치한 사람들을 분석 그룹으로 선정하는 것을 특징으로 하는 고객 맞춤형 서비스 제공 방법.
- 제1항에 있어서,
상기 사회적 관계를 추정하는 단계는 기 설정된 사회적 관계 추정 알고리즘을 이용하여 수행되며,
상기 사회적 관계 추정 알고리즘은, 상기 분석 그룹을 구성하는 구성원들의 수, 구성원들의 성별, 구성원들 간의 나이 차, 및 구성원들 각각의 나이 정보를 이용하여 상기 분석 그룹에 포함된 사람들의 사회적 관계를 추정하는 것을 특징으로 하는 고객 맞춤형 서비스 제공 방법. - 삭제
- 촬영된 이미지 정보를 획득하는 입력부;
상기 획득한 이미지로부터 사람의 얼굴을 인식하여 분석 대상을 선정하고, 기 학습된 합성곱 신경망 모델을 이용하여 상기 분석 대상의 개인 정보 및 사회적 관계를 추정하는 연산부;
상기 추정한 개인 정보 및 사회적 관계에 따라 상기 분석 대상을 위한 맞춤형 서비스 정보를 생성하는 맞춤형 서비스 생성부; 및
상기 생성된 서비스 정보를 상기 분석 대상에게 제공하는 출력부를 포함하되,
상기 연산부는,
상기 입력부에서 획득한 이미지로부터 사람의 얼굴을 인식하고, 인식한 얼굴들 중에서 한 사람을 분석 대상으로 선정하고, 상기 선정된 분석 대상을 포함하는 분석 그룹을 선정하는 얼굴 인식부;
기 학습된 합성곱 신경망 모델을 이용하여 상기 획득한 이미지로부터 상기 분석 그룹에 포함되는 사람들의 나이, 성별 및 감정 상태를 추정하는 개인 정보 추정부, 및
상기 추정한 개인 정보들을 이용하여 상기 분석 그룹에 포함되는 사람들의 사회적 관계를 추정하는 사회적 관계 추정부를 포함하고,
상기 개인 정보 추정부는, 제1 합성곱 신경망 모델을 이용하여 나이와 성별을 동시에 추정하고, 감정 상태는 이와 다른 제2 합성곱 신경망 모델을 이용하여 추정하며,
상기 개인 정보 추정부는 분석 대상에게 전달될 맞춤형 서비스 정보를 결정하고, 결정된 서비스 정보의 내용을 상기 분석 대상에게 전달하는 정보 전달 방법도 맞춤형으로 결정하는 것을 특징으로 하는 컨시어지 로봇. - 삭제
- 삭제
- 제9항에 있어서, 상기 얼굴 인식부는,
상기 획득한 이미지 내에서 인식한 얼굴들 중에서 얼굴 크기가 가장 큰 사람을 상기 분석 대상으로 선정하고,
상기 선정된 분석 대상으로부터 일정한 거리 이내에 위치한 사람들을 상기 분석 그룹으로 선정하는 것을 특징으로 하는 컨시어지 로봇.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200022459A KR102295807B1 (ko) | 2020-02-24 | 2020-02-24 | 컨시어지 로봇 및 이를 이용한 고객 맞춤형 서비스 제공 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200022459A KR102295807B1 (ko) | 2020-02-24 | 2020-02-24 | 컨시어지 로봇 및 이를 이용한 고객 맞춤형 서비스 제공 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102295807B1 true KR102295807B1 (ko) | 2021-08-31 |
Family
ID=77489256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200022459A KR102295807B1 (ko) | 2020-02-24 | 2020-02-24 | 컨시어지 로봇 및 이를 이용한 고객 맞춤형 서비스 제공 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102295807B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230077560A (ko) | 2021-11-25 | 2023-06-01 | 한국로봇융합연구원 | 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101348142B1 (ko) * | 2013-09-14 | 2014-01-07 | 주식회사 코어셀 | 얼굴인식기술을 이용하여 분류된 개인 또는 그룹 유형별 맞춤형 콘텐츠 제공 방법 및 그러한 시스템 |
| KR101854431B1 (ko) * | 2016-11-15 | 2018-05-03 | 주식회사 로보러스 | 컨시어지 로봇 |
| KR20190066916A (ko) * | 2017-12-06 | 2019-06-14 | 롯데정보통신 주식회사 | 안면 인식형 카페 시스템 및 상기 시스템에서의 서비스 제공 방법 |
-
2020
- 2020-02-24 KR KR1020200022459A patent/KR102295807B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101348142B1 (ko) * | 2013-09-14 | 2014-01-07 | 주식회사 코어셀 | 얼굴인식기술을 이용하여 분류된 개인 또는 그룹 유형별 맞춤형 콘텐츠 제공 방법 및 그러한 시스템 |
| KR101854431B1 (ko) * | 2016-11-15 | 2018-05-03 | 주식회사 로보러스 | 컨시어지 로봇 |
| KR20190066916A (ko) * | 2017-12-06 | 2019-06-14 | 롯데정보통신 주식회사 | 안면 인식형 카페 시스템 및 상기 시스템에서의 서비스 제공 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230077560A (ko) | 2021-11-25 | 2023-06-01 | 한국로봇융합연구원 | 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11922356B1 (en) | Emotion recognition for workforce analytics | |
| US11393206B2 (en) | Image recognition method and apparatus, terminal, and storage medium | |
| US20210192193A1 (en) | Emotion recognition in video conferencing | |
| US20210081056A1 (en) | Vpa with integrated object recognition and facial expression recognition | |
| KR102448382B1 (ko) | 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법 | |
| US11700420B2 (en) | Media manipulation using cognitive state metric analysis | |
| CN109475294A (zh) | 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台 | |
| US20190147228A1 (en) | System and method for human emotion and identity detection | |
| CN113508369A (zh) | 交流支持系统、交流支持方法、交流支持程序以及图像控制程序 | |
| US10803300B2 (en) | Performing image analysis for dynamic personnel identification based on a combination of biometric features | |
| US11546182B2 (en) | Methods and systems for managing meeting notes | |
| JP6719072B2 (ja) | 接客装置、接客方法及び接客システム | |
| CN107825429A (zh) | 对话装置和方法 | |
| JP2015075908A (ja) | 感情情報表示制御装置、その方法及びプログラム | |
| US11521516B2 (en) | Nuance-based augmentation of sign language communication | |
| Zhang et al. | Emotion detection using Kinect 3D facial points | |
| CN116541498A (zh) | 在会话中提供情感关怀 | |
| KR101984283B1 (ko) | 기계학습모델을 이용한 자동화된 피평가자분석 시스템, 방법, 및 컴퓨터 판독가능매체 | |
| KR102295807B1 (ko) | 컨시어지 로봇 및 이를 이용한 고객 맞춤형 서비스 제공 방법 | |
| CN112651334A (zh) | 机器人视频交互方法和系统 | |
| Gorbova et al. | Integrating vision and language for first-impression personality analysis | |
| JP5840186B2 (ja) | 感情検索装置、方法及びプログラム | |
| JP6972526B2 (ja) | コンテンツ提供装置、コンテンツ提供方法、及びプログラム | |
| Fang et al. | Estimation of cohesion with feature categorization on small scale groups | |
| JP2015032233A (ja) | 対人認知傾向モデル学習装置、対人認知状態推定装置、対人認知傾向モデル学習方法、対人認知状態推定方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |