KR20200054362A - 차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법 - Google Patents

차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법 Download PDF

Info

Publication number
KR20200054362A
KR20200054362A KR1020180134480A KR20180134480A KR20200054362A KR 20200054362 A KR20200054362 A KR 20200054362A KR 1020180134480 A KR1020180134480 A KR 1020180134480A KR 20180134480 A KR20180134480 A KR 20180134480A KR 20200054362 A KR20200054362 A KR 20200054362A
Authority
KR
South Korea
Prior art keywords
service
user
service providing
unit
determination unit
Prior art date
Application number
KR1020180134480A
Other languages
English (en)
Other versions
KR102610737B1 (ko
Inventor
이지아
한지민
김계윤
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180134480A priority Critical patent/KR102610737B1/ko
Publication of KR20200054362A publication Critical patent/KR20200054362A/ko
Application granted granted Critical
Publication of KR102610737B1 publication Critical patent/KR102610737B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 고객 맞춤형 서비스를 제공하기 위한 차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법에 관한 것이다. 본 발명의 일 실시예에 따른 차량 전시 매장의 서비스 제공 로봇은, 사용자의 상태에 기초하여 상기 사용자의 관심 대상을 결정하는 제1 서비스 판단부, 상기 사용자의 상태에 기초하여 상기 관심 대상에 대한 서비스 컨텐츠를 제공할 시작 시점을 결정하는 제2 서비스 판단부 및 상기 서비스 컨텐츠를 상기 시작 시점에 따라 상기 사용자에게 제공하는 서비스 제공부를 포함할 수 있다.

Description

차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법{SERVICE PROVIDING ROBOT FOR VEHICLE DISPLAY SHOP AND METHOD OF OPERATING THEREOF}
본 발명은 고객 맞춤형 서비스를 제공하기 위한 차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법에 관한 것이다.
최근 로봇 관련 기술이 빠르게 발전함에 따라 다양한 산업 분야에서 필요한 기능을 가진 로봇에 대한 개발이 활발히 진행되고 있다. 특히, 로봇은 기계적인 단순 반복 작업이 필요한 제조업 분야에서 큰 활용가치를 인정받고 있다.
한편, 기계적인 작업이 아닌 다소 복잡한 작업이라도 로봇은 작업 정확도, 효율성, 경제성 등의 면에서 많은 강점을 가진다는 점에서 여러 산업 분야에서 그 수요가 증가되고 있는 실정이다.
본 발명이 일 목적은 전시 매장을 방문하는 사용자에 대해 능동적으로 서비스를 제공할 수 있는 차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법을 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차량 전시 매장의 서비스 제공 로봇은, 사용자의 상태에 기초하여 상기 사용자의 관심 대상을 결정하는 제1 서비스 판단부, 상기 사용자의 상태에 기초하여 상기 관심 대상에 대한 서비스 컨텐츠를 제공할 시작 시점을 결정하는 제2 서비스 판단부 및 상기 서비스 컨텐츠를 상기 시작 시점에 따라 상기 사용자에게 제공하는 서비스 제공부를 포함할 수 있다.
본 발명의 일 실시예에 따른 차량 전시 매장의 매장 서비스 제공 시스템은, 상기 서비스 제공 로봇; 및 상기 서비스 제공 로봇과 통신하여 상태 정보를 제공하는 적어도 하나의 차량을 포함할 수 있다.
본 발명의 일 실시예에 따른 차량 전시 매장의 서비스 제공 로봇의 동작 방법은, 사용자의 상태에 기초하여 상기 사용자의 관심 대상을 결정하는 단계, 상기 사용자의 상태에 기초하여 상기 관심 대상에 대한 서비스 컨텐츠를 제공할 시작 시점을 결정하는 단계 및 상기 서비스 컨텐츠를 상기 시작 시점에 따라 상기 사용자에게 제공하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법은 사용자의 별도 조작 없이도 사용자의 위치, 행동, 음성 등을 능동적으로 파악하여 사용자의 다양한 취향, 관심사에 적합한 서비스를 제공할 수 있다.
또한, 서비스 제공에 대한 사용자의 반응을 학습함으로써, 보다 향상된 품질의 서비스 제공이 가능하다.
도 1은 본 발명의 일 실시예에 따른 서비스 제공 로봇이 적용되는 장소의 일 예를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 서비스 제공 로봇을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 서비스 제공 로봇의 동작 방법을 나타낸 흐름도이다.
도 4는 도 3에 도시된 S2 단계를 보다 상세히 나타낸 흐름도이다.
도 5는 도 3에 도시된 S3 단계를 보다 상세히 나타낸 흐름도이다.
도 6은 도 3에 도시된 S7 단계를 보다 상세히 나타낸 흐름도이다.
도 7은 도 3에 도시된 S8 단계를 보다 상세히 나타낸 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 서비스 제공 로봇이 적용되는 장소의 일 예를 나타낸 도면이다.
도 1을 참조하면, 서비스 제공 로봇(100)은 일반 고객들에게 차량을 전시하고 직접 체험해 볼 수 있는 기회를 제공하는 전시 매장(또는 차량 전시 매장, 10)에 적용될 수 있다. 전시 매장(10)은 일 예에 불과하며, 본 발명은 다양한 제품을 전시하거나 판매하는 매장에 적용될 수 있다.
전시 매장(10)에는 전시용 차량들(차량1~차량3)이 특정 위치에 전시되어 있으며, 사용자(50)는 전시 매장(10)에 출입하여 관심있는 차량을 직접 보고 체험할 수 있다. 전시 매장(10)의 구조나 차량의 위치, 대수 등은 예시적인 것에 불과하다.
서비스 제공 로봇(100)은 도 1에 도시된 바와 같이 전시 매장(10)의 입구에 위치하고 있거나, 전시 매장(10) 내 임의의 위치에서 대기하고 있다가, 사용자(50)가 전시 매장(10) 내로 진입하는 것을 인식할 수 있다. 서비스 제공 로봇(100)은 인식된 사용자(50)의 위치 및/또는 시선 등을 파악하여 사용자(50)가 관심을 가지는 차량이 어떤 차량(예컨대, 차량3)인지 판단할 수 있다.
도 1에서와 같이 사용자(50)가 관심을 가지는 차량이 차량3이라면, 서비스 제공 로봇(100)은 차량3에 대한 서비스 컨텐츠를 준비할 수 있다. 또한, 서비스 제공 로봇(100)은 사용자(50)의 근방으로 이동할 수 있다.
서비스 제공 로봇(100)은 사용자가 차량3의 근처에서 머무르는 시간, 리액션(reaction) 및/또는 체험 행위 등을 고려하여 준비된 서비스 컨텐츠를 제공할 시작 시점을 결정할 수 있으며, 시작 시점 도래시 사용자(50)의 리액션 및 체험 행위에 따라 적절한 서비스 컨텐츠를 제공할 수 있다.
서비스 제공 로봇(100)은 지속적으로 사용자(50)의 위치, 시선, 리액션, 체험 행위를 트랙킹(tracking)할 수 있고, 트랙킹된 사용자(50)의 정보에 따라 서비스 컨텐츠의 제공을 종료할 종료 시점을 결정할 수 있으며, 종료 시점 도래시 서비스 컨텐츠의 제공을 종료할 수 있다. 또한, 서비스 제공 로봇(100)은 카메라를 통해 수집된 정보 및 마이크를 통해 수집된 정보를 통해 서비스 컨텐츠의 제공에 대한 사용자의 반응을 감지하여 데이터베이스화함으로써 사용자의 반응을 학습할 수 있다.
서비스 제공 로봇(100)은 전시 매장(10) 내 차량들과 통신하여 차량의 상태 정보(예컨대, 트렁크, 도어 등의 개폐 여부에 대한 정보)를 수집할 수 있으며, 차량들과 함께 매장 서비스 제공 시스템을 구성할 수 있다.
본 발명의 일 실시예에 따른 서비스 제공 로봇(100)에 의하면, 사용자(50)의 별도 조작 없이도 사용자(50)의 위치, 행동, 음성 등을 능동적으로 파악하여 사용자(50)의 다양한 취향, 관심사에 적합한 서비스를 제공할 수 있다.
또한, 서비스 제공에 대한 사용자(50)의 반응을 학습함으로써, 보다 향상된 품질의 서비스 제공이 가능하다.
도 2는 본 발명의 일 실시예에 따른 서비스 제공 로봇을 나타낸 블록도이다.
도 2를 참조하면, 서비스 제공 로봇(100)은 센서부(110), 사용자 인식부(120), 제1 서비스 판단부(130), 제2 서비스 판단부(140), 서비스 생성부(150), 서비스 제공부(160), 제3 서비스 판단부(170) 및 사용자 반응 학습부(180)를 포함할 수 있다. 서비스 제공 로봇(100)의 각 구성은 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 서비스 제공 로봇(100)의 각 구성은 예시적인 것에 불과하며, 필요에 따라 일부 구성이 생략되거나 추가될 수 있다. 예를 들어, 서비스 제공 로봇(100)의 외관을 형성하는 본체, 서비스 제공 로봇(100)을 이동시키기 위한 회전 바퀴, 센서부(110)에 포함된 각종 센서의 센싱 방향을 전환하기 위한 회전 구동부 등의 구성이 더 포함될 수 있다.
센서부(110)는 서비스 제공 로봇(100)의 외부로부터 각종 정보를 수집하기 위한 적어도 하나의 센서를 포함할 수 있다. 센서부(110)는 외부 영상을 촬영할 수 있는 카메라, 외부 음성을 수집할 수 있는 마이크, 외부 물체와의 거리를 감지할 수 있는 거리 센서, 전시 매장(10) 내 서비스 제공 로봇(100) 및 사용자(50)의 위치를 감지할 수 있는 위치 센서 등을 포함할 수 있다. 여기서, 거리 센서는 적외선 센서, 초음파 센서, ToF(Time of Flight) 센서 등 중 적어도 하나일 수 있다. 또한, 위치 센서는 기지국, Wi-Fi, 관성항법, 고감도 GNSS(Global Navigation Satellite System), UWB(Ultra Wide Band), RFID(Radio Frequency Identification), 의사위성, 초음파, 적외선, 지자계, 카메라 등 다양한 물리적 자원을 활용하여 서비스 제공 로봇(100) 및 사용자(50)에 대한 측위를 수행할 수 있다. 예를 들어, 서비스 제공 로봇(100)은 서비스 제공 로봇(100)의 위치를 먼저 확정하고 서비스 제공 로봇(100)으로부터 사용자(50)의 상대적인 위치를 파악하여 사용자(50)의 정확한 위치를 확정할 수 있다.
또한, 센서부(110)는 차량들(차량1~차량3) 각각과 통신하여 차량들(차량1~차량3)에 설치된 센서(트렁크, 도어, 본넷 등의 개폐 센서)의 센싱 정보를 수집할 수 있다.
센서부(110)는 적어도 하나의 센서로부터 수집되는 센싱 정보를 다른 구성(예컨대, 사용자 인식부(120))으로 제공할 수 있다.
사용자 인식부(120)는 센서부(110)로부터 제공되는 센싱 정보를 기초로 사용자(50)가 정해진 영역(예컨대, 임의의 차량으로부터 일정 범위 이내 또는 서비스 제공 로봇(100)의 일정 범위 이내)에 진입하였는지 인식할 수 있으며, 사용자(50)의 진입이 인식된 경우 대기 모드로부터 준비 모드로 진입하여 제1 서비스 판단부(130)와 제2 서비스 판단부(140)의 동작을 활성화할 수 있다.
서비스 제공 로봇(100)은 대기 모드, 준비 모드 및 서비스 모드의 3가지 모드로 동작할 수 있으며, 대기 모드는 유휴 상태에서 사용자(50)가 전시 매장(10) 내로 진입하는지 여부를 주기적으로 체크하는 모드를 의미하고, 준비 모드는 전시 매장(10) 내 사용자(50)의 위치, 행동, 음성 등을 파악하여 사용자(50)에게 적합한 서비스를 준비하는 모드를 의미하고, 서비스 모드는 결정된 서비스 제공에 대한 시작 시점으로부터 서비스 제공에 대한 종료 시점까지 서비스를 제공하는 모드를 의미한다.
제1 서비스 판단부(130)는 사용자(50)의 상태에 기초하여 사용자(50)의 관심 대상을 결정할 수 있다. 여기서, 관심 대상은 사용자(50)가 관심있어 하는 관심 차종 및 관심 차종의 여러 부분 중에서 특정 부분을 지칭하는 관심 부문을 포함할 수 있다. 실시예에 따라, 관심 부문을 특정할 수 없는 경우 관심 대상은 관심 차종 만으로 구성될 수도 있다.
구체적으로, 제1 서비스 판단부(130)는 사용자(50)의 위치 및 해당 위치에 머무른 시간에 기초하여 사용자(50)의 관심 차종을 판단할 수 있다. 이를 위해, 제1 서비스 판단부(130)는 센서부(110)의 위치 센서로부터 사용자(50)의 위치를 제공받을 수 있으며, 사전에 저장된 전시 매장(50) 및 차량들(차량1~차량3)의 위치를 저장하는 맵(map) 정보와 현재 사용자(50)의 위치로부터, 현재 사용자(50)의 위치가 차량들(차량1~차량3) 중 어느 차량에 근접하는지 및 근접한 위치에 일정 시간(예컨대, 10초) 이상 머무르는지 분석함(즉, 위치 트랙킹)에 기초하여 사용자(50)의 관심 차종(예컨대, 차량3)을 판단할 수 있다.
또한, 제1 서비스 판단부(130)는 사용자(50)의 시선 및 시선이 지속되는 시간을 트랙킹하여 사용자(50)가 관심을 가지고 있는 관심 부문을 판단할 수 있다. 제1 서비스 판단부(130)는 센서부(110)의 카메라로부터 사용자(50)의 안면을 촬영한 영상을 제공받을 수 있으며, 영상 내에서 사용자(50)의 시선 방향을 분석하고 차량들(차량1~차량3)의 위치를 저장하는 맵 정보로부터 사용자(50)의 시선 방향이 관심 차종의 어느 부분을 향하는지 분석함(즉, 시선 트랙킹)에 기초하여 사용자(50)가 관심을 가지고 있는 관심 부문(예컨대, 후방 카메라, AVM(Around View Monitor) 카메라)을 판단할 수 있다.
예를 들어, 사용자(50)가 근접한 차량 또는 시선 방향이 향하는 부분이 복수 개 존재할 경우(사용자(50)가 산타페의 전면부에 위치하여 그릴을 3초, 헤드램프를 10이상 바라보고 있는 경우), 제1 서비스 판단부(130)는 사용자(50) 시선이 가장 오래 지속되는 부분인 헤드램프를 최고 순위의 관심 대상으로 판단할 수 있다.
제1 서비스 판단부(130)는 관심 차종 및 관심 부문을 서비스 생성부(150)로 제공할 수 있다.
제2 서비스 판단부(140)는 사용자(50)의 상태에 기초하여 관심 대상에 대한 서비스 컨텐츠를 제공할 시작 시점을 결정할 수 있다.
구체적으로, 제2 서비스 판단부(140)는 사용자(50)의 시선 트랙킹 결과 및 사용자(50)의 리액션에 따라 관심 정도를 판단할 수 있다. 제2 서비스 판단부(140)는 앞서 설명한 시선 트랙킹에 따라 특정 관심 대상을 향한 시선이 얼마나 지속되는지 여부 및 센서부(110)의 마이크로부터 수집된 음성을 변환한 텍스트(STT; Speech to Text)에 형용사 내지 감탄사(즉, 리액션을 의미함, 예컨대, '와 이거 괜찮네, 이번에 좀 다르다, 예쁘다' 등)가 얼마나 포함되는지 여부에 기초하여 관심 정도를 판단할 수 있다.
만일, 특정 관심 대상에 대한 시선이 일정 시간(예컨대, 15초) 이상 지속되는 경우(이하, 시선 조건) 또는 STT에 따른 텍스트에 형용사 내지 감탄사가 일정 횟수(예컨대, 3회) 이상 포함된 경우(이하, 리액션 조건), 제2 서비스 판단부(140)는 즉시 서비스 생성부(150)가 해당 서비스 컨텐츠를 서비스 제공부(160)에 제공할 수 있도록 제어할 수 있다.
또한, 제2 서비스 판단부(140)는 센서부(110)로부터 수집된 차량들(차량1~차량3)에 설치된 센서(트렁크, 도어, 본넷 등의 개폐 센서)의 센싱 정보를 기초로 서비스 제공에 대한 시작 시점을 결정할 수 있다. 제2 서비스 판단부(140)는 사용자(50)가 체험 아이템(트렁크, 도어, 본넷 등)을 조작하는지 여부를 센서부(110)의 센싱 정보에 따라 결정하고, 사용자(50)가 체험 아이템을 조작한 경우(이하, 체험 인지 조건) 즉시 서비스 생성부(150)가 체험 아이템에 대한 서비스 컨텐츠를 서비스 제공부(160)에 제공할 수 있도록 제어할 수 있다.
만일, 제2 서비스 판단부(140)가 활성화된지 일정 시간(예컨대, 30초)이 경과하여도 시선 조건, 리액션 조건 및 체험 인지 조건 중 어느 하나도 만족하지 못하는 경우, 제2 서비스 판단부(140)는 서비스 생성부(150)가 생성한 서비스 컨텐츠를 제안 형태로 가공하여 서비스 제공부(160)로 제공하도록 제어할 수 있다.
즉, 제2 서비스 판단부(140)는 서비스 생성부(150)가 생성한 서비스를 제공하는 시작 시점을 판단할 수 있고, 시작 시점에 따라 서비스 생성부(150)가 서비스를 서비스 제공부(160)로 전달할 수 있다.
서비스 생성부(150)는 제1 서비스 판단부(130)가 제공하는 관심 차종 및 관심 부문에 기초하여 서비스 컨텐츠를 수집할 수 있다. 이를 위해, 서비스 생성부(150)는 서비스 제공 로봇(100)의 내부 또는 외부의 서비스 컨텐츠 데이터베이스(미도시)와 통신하여 관심 차종 및 관심 부문에 대응하는 서비스 컨텐츠를 수집할 수 있다. 여기서, 서비스 컨텐츠는 관심 차종 및 관심 부문에 따른 관심 대상(예컨대, 차량3의 트렁크)에 대한 특징, 장점, 사용법, 제원 등의 정보를 의미할 수 있다. 서비스 컨텐츠 데이터베이스(미도시)는 rule base 기반의 학습 모델일 수 있다.
또한, 서비스 생성부(150)는 제2 서비스 판단부(140)의 제어에 따른 시작 시점에 서비스 컨텐츠를 서비스 제공부(160)에 전달하거나, 서비스 컨텐츠를 제안 형태로 가공하여 서비스 제공부(160)로 전달할 수 있다.
서비스 제공부(160)는 서비스 생성부(150)로부터 전달받은 서비스 컨텐츠를 사용자(50)에게 제공할 수 있다. 이때, 사용자(50)에게 제공하는 방법으로 음성 표시 및/또는 화면 표시가 이용될 수 있으며, 이를 위해 서비스 제공부(160)는 스피커 및/또는 디스플레이를 포함할 수 있다.
앞서 설명한 바와 같이, 서비스 제공부(160)는 두가지 종류의 서비스 컨텐츠를 전달 받을 수 있다. 즉, 시선 조건, 리액션 조건 및 체험 인지 조건 중 적어도 하나의 조건이 만족될 경우, 서비스 제공부(160)는 본래의 서비스 컨텐츠(예를 들어, '헤드 램프 예쁘죠, 이 헤드 램프는 ~~한 특징이 있고, 디자인은 ~~에 특화되어 있어요' 등)를 전달받을 수 있다.
그러나, 시선 조건, 리액션 조건 및 체험 인지 조건 중 어느 하나의 조건도 만족되지 못할 경우, 서비스 제공부(160)는 제안 형태로 가공된 서비스 컨텐츠(예를 들어, '헤드 램프에 관심 있으신 가봐요, 이 헤드 램프의 특징에 대해 설명을 해드릴까요?', '차량의 후방 쪽에 관심 있으신 가봐요, 트렁크, 리어 램프, 후방 카메라 중에서 관심 있으신 부문은 어디신가요?' 등)를 전달받을 수 있다. 이후, 서비스 제공부(160)는 유저 인터페이스를 통한 사용자(50)의 선택 입력에 따라 서비스 생성부(150)로부터 본래의 서비스 컨텐츠(예를 들어, 헤드 램프의 특징)를 전달 받아 사용자(50)에게 제공할 수 있다.
또한, 서비스 제공부(160)는 제3 서비스 판단부(170)의 제어에 따라 서비스 컨텐츠의 제공을 종료할 수 있다.
제3 서비스 판단부(170)는 센서부(110)의 카메라 및 마이크로부터 각각 제공되는 영상 및 음성에 기초하여 서비스 제공에 대한 종료 시점을 판단할 수 있다.
제3 서비스 판단부(170)는 영상에 포함된 사용자(50)의 안면을 인식하고 인식된 안면 상의 표정 특징점을 추출한 뒤, 감정/감성 분류기(classifier)를 이용해 표정 특징점에 대응하는 감정을 추출할 수 있다. 제3 서비스 판단부(170)는 이러한 감정을 긍정 또는 부정의 카테고리로 분류하여 저장할 수 있다. 예를 들어, 표정 특징점에 따라 웃음, 놀람, 짜증, 우울 등의 감정이 추출될 수 있는데, 웃음과 놀람은 긍정의 카테고리로, 짜증과 우울은 부정의 카테고리로 분류될 수 있다.
제3 서비스 판단부(170)는 음성에 포함된 사용자(50)의 음성을 인식하고 텍스트를 추출한 뒤(STT), 형용사/감탄사 분류기(classifier)를 이용해 텍스트에 대응하는 리액션을 추출할 수 있다. 제3 서비스 판단부(170)는 이러한 리액션을 긍정 또는 부정의 카테고리로 분류하여 저장할 수 있다.
제3 서비스 판단부(170)는 긍정 및 부정 각각의 카테고리에 저장된 감정 및 리액션을 기초로 서비스 제공에 대한 종료 시점을 판단할 수 있다.
예를 들어, 제3 서비스 판단부(170)는 부정의 카테고리에 저장된 감정 및 리액션의 개수가 일정 개수(예컨대, 3개)를 초과하거나, 긍정의 카테고리에 저장된 감정 및 리액션의 개수 대비 부정의 카테고리에 저장된 감정 및 리액션의 개수의 비율이 일정 비율(예컨대, 2배)을 초과할 경우를 서비스 제공에 대한 종료 시점으로 판단할 수 있다. 이에 따라, 제3 서비스 판단부(170)는 서비스 제공부(160)가 즉시 해당 서비스 컨텐츠의 제공을 종료하도록 제어할 수 있다.
아울러, 서비스 제공부(160)의 서비스 제공 중에도 제1 및 제2 서비스 판단부(130, 140)들의 관심 대상, 관심 정도, 체험 아이템 트랙킹 동작은 지속될 수 있으며, 관심 대상이 변경되거나, 체험 아이템이 변경되는 경우 해당 서비스 판단부는 변경된 관심 대상 또는 체험 아이템에 대한 준비 모드가 실행될 수 있도록 다른 서비스 판단부 및 서비스 생성부(150)를 제어할 수 있다.
사용자 반응 학습부(180)는 서비스 제공 전의 사용자 반응 및 서비스 제공 후의 사용자 반응을 기초로 사용자 반응을 학습할 수 있다.
서비스 제공 전의 사용자 반응은 제1 서비스 판단부(130)의 관심 차종 및 관심 부문에 따른 특정 관심 대상에 대한 사용자 반응, 서비스 제공부(160)의 서비스 제안에 대한 사용자 선택 등이 포함될 수 있다.
서비스 제공 후의 사용자 반응은 제3 서비스 판단부(170)가 저장한 긍정 및 부정 각각의 카테고리의 감정 및 리액션이 포함될 수 있다.
사용자 반응 학습부(180)는 서비스 제공 전의 사용자 반응 및 서비스 제공 후의 사용자 반응을 제공받아 머신 러닝(machine learning)을 위한 학습 알고리즘을 이용하여, 서비스 종류 및 제공 시점에 대한 사용자 반응을 축적 및 학습함으로써, 서비스 제공 로봇(100)의 동작을 위한 각종 파라미터를 수정할 수 있다.
예를 들어, 서비스 제공부(160)의 서비스 제안에 대해 사용자(50)의 선택을 지속적으로 받지 못하는 경우, 사용자 반응 학습부(180)는 서비스 제안 방식을 변경하도록(예컨대, 특징 설명 제안에서 장점 설명 제안으로 변경) 서비스 생성부(150)를 제어할 수 있다.
또는, 제3 서비스 판단부(170)가 저장한 부정 카테고리의 감정 및 리액션의 비율이 과도하게 높을 경우, 사용자 반응 학습부(180)는 서비스 제공부(160)가 제공하는 서비스 컨텐츠의 순서를 변경하도록(예컨대, 특징->장점->제원 순서에서 장점->제원->특징 순서로 변경) 제어할 수 있다.
사용자 반응 학습부(180)가 학습 결과에 따라 변경할 수 있는 파라미터는 이에 그치지 않고, 판단의 기준이 되는 일정 시간, 일정 횟수를 비롯하여 사용자(50)와의 거리, 출력 음성 및 화면 인터페이스 등을 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 서비스 제공 로봇의 동작 방법을 나타낸 흐름도이다. 도 4는 도 3에 도시된 S2 단계를 보다 상세히 나타낸 흐름도이다. 도 5는 도 3에 도시된 S3 단계를 보다 상세히 나타낸 흐름도이다. 도 6은 도 3에 도시된 S7 단계를 보다 상세히 나타낸 흐름도이다. 도 7은 도 3에 도시된 S8 단계를 보다 상세히 나타낸 흐름도이다.
도 3 내지 도 7을 참조하면, 도 3에서 서비스 제공 로봇(100)의 전체적인 동작 방법이 도시되어 있으며, 도 4 내지 도 7 각각에는 도 3의 단계들 중 특정 단계가 보다 상세히 나타나 있다.
먼저 도 3에서, 서비스 제공 로봇(100)이 대기 모드에 있다고 가정하기로 한다.
사용자 인식부(120)는 센서부(110)로부터 제공되는 센싱 정보를 기초로 사용자(50)가 정해진 영역(예컨대, 임의의 차량으로부터 일정 범위 이내 또는 서비스 제공 로봇(100)의 일정 범위 이내)에 진입하였는지 인식할 수 있으며, 사용자(50)의 진입이 인식된 경우 대기 모드로부터 준비 모드로 진입하여 제1 서비스 판단부(130)와 제2 서비스 판단부(140)의 동작을 활성화할 수 있다(S1).
제1 서비스 판단부(130)는 사용자(50)의 위치 및 해당 위치에 머무른 시간에 기초하여 사용자(50)의 관심 차종을 판단하고, 사용자(50)의 시선을 트랙킹하여 사용자(50)가 관심을 가지고 있는 관심 부문을 판단하여, 관심 차종과 관심 부문에 따른 관심 대상을 결정할 수 있다(S2).
도 4에서, S2 단계는 S21 내지 S24 단계를 포함할 수 있다.
제1 서비스 판단부(130)는 센서부(110)의 위치 센서로부터 사용자(50)의 위치를 제공받을 수 있으며, 사전에 저장된 전시 매장(50) 및 차량들(차량1~차량3)의 위치를 저장하는 맵 정보와 현재 사용자(50)의 위치로부터, 현재 사용자(50)의 위치가 차량들(차량1~차량3) 중 어느 차량에 근접하는지 및 근접한 위치에 일정 시간(예컨대, 10초) 이상 머무르는지를 분석하는 위치 트랙킹을 수행할 수 있다(S21).
제1 서비스 판단부(130)는 위치 트랙킹 결과에 기초하여 사용자(50)의 관심 차종(예컨대, 차량3)을 판단할 수 있다(S21).
제1 서비스 판단부(130)는 센서부(110)의 카메라로부터 사용자(50)의 안면을 촬영한 영상을 제공받을 수 있으며, 영상 내에서 사용자(50)의 시선 방향을 분석하고 차량들(차량1~차량3)의 위치를 저장하는 맵 정보로부터 사용자(50)의 시선 방향이 관심 차종의 어느 부분을 향하는지 분석하는 시선 트랙킹을 수행할 수 있다(S23).
제1 서비스 판단부(130)는 시선 트랙킹 결과에 기초하여 사용자(50)가 관심을 가지고 있는 관심 부문(예컨대, 후방 카메라, AVM(Around View Monitor) 카메라)을 판단할 수 있다(S24).
다시 도 3에서, S2 단계와 병행하여 제2 서비스 판단부(140)는 서비스 생성부(150)의 서비스 컨텐츠를 서비스 제공부(160)로 전달하여 사용자(50)에게 제공할 시작 시점을 판단할 수 있다(S3).
도 5에서, S3 단계는 S31 내지 S35 단계를 포함할 수 있다.
제2 서비스 판단부(140)는 앞서 설명한 시선 트랙킹에 따라 특정 관심 대상을 향한 시선이 얼마나 지속되는지 여부를 판단하고(S31), 센서부(110)의 마이크로부터 수집된 음성을 변환한 텍스트에 형용사 내지 감탄사가 얼마나 포함되는지 여부를 판단(즉, 리액션 트랙킹)할 수 있다(S32). 제2 서비스 판단부(140)는 시선 트랙킹 결과와 리액션 트릭킹 결과에 기초하여 관심 정도를 판단할 수 있다(S33).
제2 서비스 판단부(140)는 사용자(50)가 체험 아이템(트렁크, 도어, 본넷 등)을 조작하는지 여부를 센서부(110)의 센싱 정보에 따라 결정(즉, 체험 아이템 트랙킹)할 수 있다(S34).
만일, 특정 관심 대상에 대한 시선이 일정 시간(예컨대, 15초) 이상 지속되는 경우 또는 STT에 따른 텍스트에 형용사 내지 감탄사가 일정 횟수(예컨대, 3회) 이상 포함된 경우(즉, 관심 정도가 높은 경우), 제2 서비스 판단부(140)는 현재 시점을 시작 시점으로 판단하고(S35), 즉시 서비스 생성부(150)가 해당 서비스 컨텐츠를 서비스 제공부(160)에 전달하도록 제어할 수 있다(S6의 Yes).
만일, 사용자(50)가 체험 아이템을 조작한 경우, 제2 서비스 판단부(140)는 현재 시점을 시작 시점으로 판단하고(S35), 즉시 서비스 생성부(150)가 체험 아이템에 대한 서비스 컨텐츠를 서비스 제공부(160)에 전달하도록 제어할 수 있다(S6의 Yes).
만일, 제2 서비스 판단부(140)가 활성화된지 일정 시간(예컨대, 30초)이 경과하여도 시선 조건, 리액션 조건 및 체험 인지 조건 중 어느 하나도 만족하지 못하는 경우, 제2 서비스 판단부(140)는 현재 시점으로부터 일정 시간(예컨대, 10초) 경과한 시점을 시작 시점으로 판단하고(S35), 서비스 생성부(150)가 생성한 서비스 컨텐츠를 제안 형태로 가공하여 시작 시점에 서비스 제공부(160)로 전달하도록 제어할 수 있다(S6의 Yes).
다시 도 3에서, 서비스 생성부(150)는 제1 서비스 판단부(130)가 제공하는 관심 차종 및 관심 부문에 기초하여 서비스 컨텐츠를 수집하여 생성할 수 있다(S4). 이를 위해, 서비스 생성부(150)는 서비스 제공 로봇(100)의 내부 또는 외부의 서비스 컨텐츠 데이터베이스(미도시)와 통신하여 관심 차종 및 관심 부문에 대응하는 서비스 컨텐츠를 수집할 수 있다.
또한, 서비스 생성부(150)는 서비스 컨텐츠 또는 제안 형태로 가공된 서비스 컨텐츠를 임시 저장하고 서비스 대기 상태에 있을 수 있다(S5). 이는 상술한 대기 모드와는 다른 상태이고, 준비 모드의 일부에 해당한다.
서비스 생성부(150)는 제2 서비스 판단부(140)의 제어에 따른 시작 시점에 서비스 컨텐츠를 서비스 제공부(160)에 전달하거나, 서비스 컨텐츠를 제안 형태로 가공하여 서비스 제공부(160)로 전달할 수 있다(S6의 Yes).
서비스 제공부(160)는 서비스 생성부(150)로부터 전달받은 서비스 컨텐츠를 사용자(50)에게 제공할 수 있다(S7). 이때, 사용자(50)에게 제공하는 방법으로 음성 표시 및/또는 화면 표시가 이용될 수 있으며, 이를 위해 서비스 제공부(160)는 스피커 및/또는 디스플레이를 포함할 수 있다.
도 6에서, S7 단계는 S71 내지 S74 단계를 포함할 수 있다.
앞서 설명한 바와 같이, 서비스 제공부(160)는 두가지 종류의 서비스 컨텐츠를 전달 받을 수 있다. 즉, 시선 조건, 리액션 조건 및 체험 인지 조건 중 적어도 하나의 조건이 만족될 경우, 서비스 제공부(160)는 본래의 서비스 컨텐츠(예를 들어, '헤드 램프 예쁘죠, 이 헤드 램프는 ~~한 특징이 있고, 디자인은 ~~에 특화되어 있어요' 등)를 전달받아 사용자(50)에게 제공할 수 있다(S74).
그러나, 시선 조건, 리액션 조건 및 체험 인지 조건 중 어느 하나의 조건도 만족되지 못할 경우, 서비스 제공부(160)는 제안 형태로 가공된 서비스 컨텐츠(예를 들어, '헤드 램프에 관심 있으신 가봐요, 이 헤드 램프의 특징에 대해 설명을 해드릴까요?', '차량의 후방 쪽에 관심 있으신 가봐요, 트렁크, 리어 램프, 후방 카메라 중에서 관심 있으신 부문은 어디신가요?' 등)를 전달받아 사용자(50)에게 제공할 수 있다(S71).
이후, 유저 인터페이스를 통해 사용자(50)가 서비스 제공을 거부하는 선택을 입력한 경우(S72의 No), 서비스 제공부(160)는 이러한 결과를 사용자 반응 학습부(180)로 전달하고, 서비스 제공 로봇(100)은 대기 모드로 진입할 수 있다.
유저 인터페이스를 통해 사용자(50)가 서비스 제공을 허용하는 선택을 입력한 경우(S72의 Yes), 서비스 제공부(160)는 서비스 생성부(150)로부터 본래의 서비스 컨텐츠(예를 들어, 헤드 램프의 특징)를 전달 받아 사용자(50)에게 제공할 수 있다(S73).
다시 도 3에서, 제3 서비스 판단부(170)는 센서부(110)의 카메라 및 마이크로부터 각각 제공되는 영상 및 음성에 기초하여 서비스 제공에 대한 종료 시점을 결정할 수 있다(S8).
도 7에서, S8 단계는 S81 내지 S86 단계를 포함할 수 있다.
제3 서비스 판단부(170)는 영상을 분석하여 영상에 포함된 사용자(50)의 안면을 인식하고(S81), 인식된 안면 상의 표정 특징점을 추출한 뒤(S82), 감정/감성 분류기를 이용해 표정 특징점에 대응하는 감정을 추출할 수 있다(S83). 제3 서비스 판단부(170)는 이러한 감정을 긍정 또는 부정의 카테고리로 분류하여 저장할 수 있다.
제3 서비스 판단부(170)는 음성을 분석하여 음성에 포함된 사용자(50)의 음성을 인식하고(S84), 텍스트를 추출한 뒤(S85), 형용사/감탄사 분류기를 이용해 텍스트에 대응하는 리액션을 추출할 수 있다(S86). 제3 서비스 판단부(170)는 이러한 리액션을 긍정 또는 부정의 카테고리로 분류하여 저장할 수 있다.
다시 도 3에서, 제3 서비스 판단부(170)는 긍정 및 부정 각각의 카테고리에 저장된 감정 및 리액션을 기초로 서비스 제공에 대한 종료 시점을 판단할 수 있다(S8). 또한, 사용자 반응 학습부(180)는 서비스 제공 전의 사용자 반응 및 서비스 제공 후의 사용자 반응을 기초로 사용자 반응을 학습할 수 있다(S8).
서비스 제공 전의 사용자 반응은 제1 서비스 판단부(130)의 관심 차종 및 관심 부문에 따른 특정 관심 대상에 대한 사용자 반응, 서비스 제공부(160)의 서비스 제안에 대한 사용자 선택 등이 포함될 수 있다.
서비스 제공 후의 사용자 반응은 제3 서비스 판단부(170)가 저장한 긍정 및 부정 각각의 카테고리의 감정 및 리액션이 포함될 수 있다.
사용자 반응 학습부(180)는 서비스 제공 전의 사용자 반응 및 서비스 제공 후의 사용자 반응을 제공받아 머신 러닝(machine learning)을 위한 학습 알고리즘을 이용하여 서비스 제공 로봇(100)의 동작을 위한 각종 파라미터를 수정할 수 있다.
부정의 카테고리에 저장된 감정 및 리액션의 개수가 일정 개수(예컨대, 3개)를 초과하거나, 긍정의 카테고리에 저장된 감정 및 리액션의 개수 대비 부정의 카테고리에 저장된 감정 및 리액션의 개수의 비율이 일정 비율(예컨대, 2배)을 초과할 경우, 제3 서비스 판단부(170)는 현재 시점을 서비스 제공에 대한 종료 시점으로 판단할 수 있다. 이에 따라, 제3 서비스 판단부(170)는 서비스 제공부(160)가 즉시 해당 서비스 컨텐츠의 제공을 종료하도록 제어할 수 있다(S9의 부정). 이 때, 서비스 제공 로봇(100)은 해당 사용자에 대한 서비스 제공을 하지 않도록 대기 모드에 진입할 수 있다(S10).
부정의 카테고리에 저장된 감정 및 리액션의 개수가 일정 개수(예컨대, 3개)를 초과하지 않고, 긍정의 카테고리에 저장된 감정 및 리액션의 개수 대비 부정의 카테고리에 저장된 감정 및 리액션의 개수의 비율이 일정 비율(예컨대, 2배)을 초과하지 않을 경우, 제3 서비스 판단부(170)는 서비스 제공부(160)가 보유한 서비스 컨텐츠 제공을 완료하는 시점을 서비스 제공에 대한 종료 시점으로 판단할 수 있다. 이에 따라, 서비스 제공부(160)에 의한 해당 서비스 컨텐츠의 제공이 완료되면(S9의 긍정), 제3 서비스 판단부(170)는 해당 사용자에 대한 서비스 제공을 준비할 수 있도록 사용자 인식부(120)가 해당 사용자의 관심 대상을 트랙킹하도록 제어할 수 있다.
아울러, 서비스 제공 로봇(100)의 준비 모드 또는 서비스 모드 내에서 사용자(50)가 관심 차종의 위치로부터 일정 범위(예컨대, 차량으로부터 2미터 이내 범위)를 벗어날 경우, 제1 서비스 판단부(130)는 즉시 추가적인 동작을 중지하고 서비스 제공 로봇(100)이 대기 모드로 진입하도록 제어할 수 있다.
본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 전시 매장
50: 사용자
100: 서비스 제공 로봇

Claims (20)

  1. 사용자의 상태에 기초하여 상기 사용자의 관심 대상을 결정하는 제1 서비스 판단부;
    상기 사용자의 상태에 기초하여 상기 관심 대상에 대한 서비스 컨텐츠를 제공할 시작 시점을 결정하는 제2 서비스 판단부; 및
    상기 서비스 컨텐츠를 상기 시작 시점에 따라 상기 사용자에게 제공하는 서비스 제공부를 포함하는 차량 전시 매장의 서비스 제공 로봇.
  2. 제1항에 있어서,
    상기 제1 서비스 판단부는, 상기 사용자의 위치 및 상기 위치에 머무른 시간에 기초하여 관심 차종을 판단하는 서비스 제공 로봇.
  3. 제1항에 있어서,
    상기 제1 서비스 판단부는, 상기 사용자의 시선 및 상기 시선이 지속되는 시간을 트랙킹하여 관심 부문을 판단하는 서비스 제공 로봇.
  4. 제1항에 있어서,
    상기 제2 서비스 판단부는, 상기 사용자의 시선이 일정 시간 이상 지속되는지에 대한 시선 조건 및 상기 사용자의 음성에 형용사 또는 감탄사가 일정 횟수 이상 포함되는지에 대한 리액션 조건을 만족하는지 여부를 판단하는 서비스 제공 로봇.
  5. 제4항에 있어서,
    상기 제2 서비스 판단부는, 상기 사용자가 체험 아이템을 조작하는지에 대한 체험 인지 조건을 만족하는지 여부를 판단하는 서비스 제공 로봇.
  6. 제5항에 있어서,
    상기 제2 서비스 판단부는, 상기 시선 조건, 상기 리액션 조건 및 상기 체험 인지 조건 중 적어도 하나가 만족되는 경우, 상기 서비스 제공부가 상기 서비스 컨텐츠를 즉시 상기 사용자에게 제공하도록 제어하는 서비스 제공 로봇.
  7. 제5항에 있어서,
    상기 제2 서비스 판단부는, 상기 시선 조건, 상기 리액션 조건 및 상기 체험 인지 조건 중 어느 하나도 만족되지 않는 경우, 제안 형태로 가공된 서비스 컨텐츠를 상기 서비스 제공부가 상기 사용자에게 제공하도록 제어하는 서비스 제공 로봇.
  8. 제1항에 있어서,
    상기 관심 대상에 대한 상기 서비스 컨텐츠를 수집하고, 상기 제2 서비스 판단부의 제어에 따라 상기 시작 시점에 상기 서비스 컨텐츠를 상기 서비스 제공부로 전달하거나, 상기 서비스 컨텐츠를 제안 형태로 가공하여 상기 서비스 제공부로 전달하는 서비스 생성부를 더 포함하는 서비스 제공 로봇.
  9. 제8항에 있어서,
    상기 서비스 제공부는, 상기 제안 형태로 가공된 서비스 컨텐츠를 상기 사용자에게 제공하고, 유저 인터페이스를 통한 상기 사용자의 선택 입력에 따라 상기 서비스 컨텐츠를 제공하는 서비스 제공 로봇.
  10. 제1항에 있어서,
    상기 사용자에 대한 영상 및 음성에 기초하여 상기 서비스 컨텐츠 제공의 종료 시점을 결정하는 제3 서비스 판단부를 더 포함하는 서비스 제공 로봇.
  11. 제10항에 있어서,
    상기 제3 서비스 판단부는,
    상기 영상에 포함된 상기 사용자의 안면을 인식하여 표정 특징점을 추출한 뒤, 감정/감성 분류기를 이용해 표정 특징점에 대응하는 감정을 추출하고, 상기 감정을 긍정 또는 부정의 카테고리로 분류하여 저장하는 서비스 제공 로봇.
  12. 제11항에 있어서,
    상기 제3 서비스 판단부는,
    상기 음성에 포함된 상기 사용자의 음성을 인식하고 텍스트를 추출한 뒤, 형용사/감탄사 분류기를 이용해 상기 텍스트에 대응하는 리액션을 추출하고, 상기 리액션을 긍정 또는 부정의 카테고리로 분류하여 저장하는 서비스 제공 로봇.
  13. 제12항에 있어서,
    상기 제3 서비스 판단부는, 상기 부정의 카테고리에 저장된 감정 및 리액션의 개수가 일정 개수를 초과하거나, 상기 긍정의 카테고리에 저장된 감정 및 리액션의 개수 대비 부정의 카테고리에 저장된 감정 및 리액션의 개수의 비율이 일정 비율을 초과할 경우, 상기 서비스 제공부가 즉시 해당 서비스 컨텐츠의 제공을 종료하도록 제어하는 서비스 제공 로봇.
  14. 제1항에 있어서,
    서비스 제공 전의 사용자 반응 및 서비스 제공 후의 사용자 반응을 기초로 사용자 반응을 축적 및 학습함으로써, 적어도 하나의 파라미터를 수정하는 사용자 반응 학습부를 더 포함하는 서비스 제공 로봇.
  15. 제1항의 상기 서비스 제공 로봇; 및
    상기 서비스 제공 로봇과 통신하여 상태 정보를 제공하는 적어도 하나의 차량을 포함하는 매장 서비스 제공 시스템.
  16. 사용자의 상태에 기초하여 상기 사용자의 관심 대상을 결정하는 단계;
    상기 사용자의 상태에 기초하여 상기 관심 대상에 대한 서비스 컨텐츠를 제공할 시작 시점을 결정하는 단계; 및
    상기 서비스 컨텐츠를 상기 시작 시점에 따라 상기 사용자에게 제공하는 단계를 포함하는 차량 전시 매장의 서비스 제공 로봇의 동작 방법.
  17. 제16항에 있어서,
    상기 사용자의 관심 대상을 결정하는 단계는,
    상기 사용자의 위치 및 상기 위치에 머무른 시간에 기초하여 관심 차종을 판단하는 단계; 및
    상기 사용자의 시선 및 상기 시선이 지속되는 시간을 트랙킹하여 관심 부문을 판단하는 단계를 포함하는 서비스 제공 로봇의 동작 방법.
  18. 제16항에 있어서,
    상기 시작 시점을 결정하는 단계는,
    상기 사용자의 시선이 일정 시간 이상 지속되는지에 대한 시선 조건 및 상기 사용자의 음성에 형용사 또는 감탄사가 일정 횟수 이상 포함되는지에 대한 리액션 조건을 만족하는지 여부를 판단하는 단계; 및
    상기 사용자가 체험 아이템을 조작하는지에 대한 체험 인지 조건을 만족하는지 여부를 판단하는 단계를 포함하는 서비스 제공 로봇의 동작 방법.
  19. 제18항에 있어서,
    상기 시작 시점을 결정하는 단계는,
    상기 시선 조건, 상기 리액션 조건 및 상기 체험 인지 조건 중 적어도 하나가 만족되는 경우, 상기 서비스 컨텐츠를 즉시 상기 사용자에게 제공하도록 제어하는 단계를 포함하는 서비스 제공 로봇의 동작 방법.
  20. 제18항에 있어서,
    상기 시작 시점을 결정하는 단계는,
    상기 시선 조건, 상기 리액션 조건 및 상기 체험 인지 조건 중 어느 하나도 만족되지 않는 경우, 제안 형태로 가공된 서비스 컨텐츠를 상기 사용자에게 제공하도록 제어하는 서비스 제공 로봇의 동작 방법.
KR1020180134480A 2018-11-05 2018-11-05 차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법 KR102610737B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180134480A KR102610737B1 (ko) 2018-11-05 2018-11-05 차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180134480A KR102610737B1 (ko) 2018-11-05 2018-11-05 차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법

Publications (2)

Publication Number Publication Date
KR20200054362A true KR20200054362A (ko) 2020-05-20
KR102610737B1 KR102610737B1 (ko) 2023-12-07

Family

ID=70919618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180134480A KR102610737B1 (ko) 2018-11-05 2018-11-05 차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법

Country Status (1)

Country Link
KR (1) KR102610737B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293052A (ja) * 2004-03-31 2005-10-20 Honda Motor Co Ltd 顧客応対ロボット
JP2007152442A (ja) * 2005-11-30 2007-06-21 Mitsubishi Heavy Ind Ltd ロボット案内システム
JP2009166184A (ja) * 2008-01-17 2009-07-30 Saitama Univ ガイドロボット
JP2010049374A (ja) * 2008-08-20 2010-03-04 Fujitsu Ltd 展示案内システム
KR20100081587A (ko) * 2009-01-06 2010-07-15 삼성전자주식회사 로봇의 소리 인식 장치 및 그 제어 방법
KR20130039578A (ko) * 2011-10-12 2013-04-22 한국과학기술연구원 지능 로봇, 지능 로봇과 사용자의 상호작용을 위한 시스템 및 지능 로봇과 사용자의 상호작용을 위한 방법
KR20140040318A (ko) * 2012-09-24 2014-04-03 네이버비즈니스플랫폼 주식회사 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템
KR20180089855A (ko) * 2017-02-01 2018-08-09 삼성전자주식회사 상품을 추천하는 디바이스 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293052A (ja) * 2004-03-31 2005-10-20 Honda Motor Co Ltd 顧客応対ロボット
JP2007152442A (ja) * 2005-11-30 2007-06-21 Mitsubishi Heavy Ind Ltd ロボット案内システム
JP2009166184A (ja) * 2008-01-17 2009-07-30 Saitama Univ ガイドロボット
JP2010049374A (ja) * 2008-08-20 2010-03-04 Fujitsu Ltd 展示案内システム
KR20100081587A (ko) * 2009-01-06 2010-07-15 삼성전자주식회사 로봇의 소리 인식 장치 및 그 제어 방법
KR20130039578A (ko) * 2011-10-12 2013-04-22 한국과학기술연구원 지능 로봇, 지능 로봇과 사용자의 상호작용을 위한 시스템 및 지능 로봇과 사용자의 상호작용을 위한 방법
KR20140040318A (ko) * 2012-09-24 2014-04-03 네이버비즈니스플랫폼 주식회사 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템
KR20180089855A (ko) * 2017-02-01 2018-08-09 삼성전자주식회사 상품을 추천하는 디바이스 및 방법

Also Published As

Publication number Publication date
KR102610737B1 (ko) 2023-12-07

Similar Documents

Publication Publication Date Title
US11366513B2 (en) Systems and methods for user indication recognition
US11249544B2 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
JP6643461B2 (ja) 広告掲示板ディスプレイ、及び、車両乗員のデモグラフィック情報のセンシングにより広告を選択的に表示する方法
CN105136156B (zh) 基于用户行为模式的自适应导航与基于位置的服务
US9928833B2 (en) Voice interface for a vehicle
Doshi et al. On the roles of eye gaze and head dynamics in predicting driver's intent to change lanes
Vögel et al. Emotion-awareness for intelligent vehicle assistants: A research agenda
US11176948B2 (en) Agent device, agent presentation method, and storage medium
US11688195B2 (en) Electronic device and method for assisting with driving of vehicle
CN107886970B (zh) 信息提供装置
JP2017090611A (ja) 音声認識制御システム
CN111415347A (zh) 遗留对象检测方法和装置及交通工具
JP2020080074A (ja) 視線検出装置、プログラム、及び、視線検出方法
CN115205729A (zh) 基于多模态特征融合的行为识别方法、系统
JP2009064186A (ja) 車両用対話システム
JP2018200192A (ja) 地点提案装置及び地点提案方法
US20200056902A1 (en) Vehicle and control method thereof
CN110956967A (zh) 基于声纹识别的车辆控制方法与车辆
KR20200054362A (ko) 차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법
JP7222757B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN107888652B (zh) 处理结果异常检测装置、存储介质、检测方法和移动体
US11440554B2 (en) Method and system for determining driver emotions in conjuction with driving environment
US11348585B2 (en) Artificial intelligence apparatus
US20220415318A1 (en) Voice assistant activation system with context determination based on multimodal data
US11365975B2 (en) Visual confirmation system for driver assist system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right