KR102643720B1 - 로봇용 인공지능 인터페이스 시스템 - Google Patents

로봇용 인공지능 인터페이스 시스템 Download PDF

Info

Publication number
KR102643720B1
KR102643720B1 KR1020230179324A KR20230179324A KR102643720B1 KR 102643720 B1 KR102643720 B1 KR 102643720B1 KR 1020230179324 A KR1020230179324 A KR 1020230179324A KR 20230179324 A KR20230179324 A KR 20230179324A KR 102643720 B1 KR102643720 B1 KR 102643720B1
Authority
KR
South Korea
Prior art keywords
user
response service
score
information
social robot
Prior art date
Application number
KR1020230179324A
Other languages
English (en)
Inventor
서영욱
Original Assignee
주식회사 서랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 서랩 filed Critical 주식회사 서랩
Priority to KR1020230179324A priority Critical patent/KR102643720B1/ko
Application granted granted Critical
Publication of KR102643720B1 publication Critical patent/KR102643720B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 로봇용 인공지능 인터페이스 시스템에 관한 것으로, 인터넷망과 내부 전산망에 직접적으로 연결되고, 보안 인증 커넥터에 접속된 개인 인터페이스 장치나 개인 저장 장치의 보안 인증을 수행하는 메인 단말, 및 보안 인증 커넥터에 접속된 개인 인터페이스 장치나 개인 저장 장치의 보안 인증 여부에 따라 메인 단말을 통해서 인터넷망과 내부 전산망에 접속되는 적어도 하나의 사용자 단말을 포함하는바, 감성 기능이 강화되어 보다 향상된 사용자 경험을 제공할 수 있다.

Description

로봇용 인공지능 인터페이스 시스템{ARTIFICIAL INTELLIGENCE INTERFACE SYSTEM FOR ROBOT}
본 발명은 로봇용 인공지능 인터페이스 시스템에 관한 것이다.
최근 인공지능(artificial intelligence, AI) 기술의 발전에 따라 인간과 인터랙션(interaction)이 가능한 소셜 서비스 로봇의 연구가 활발히 이루어지고 있다. 특히 소셜 로봇은 사용자에게 맞춤형 서비스를 기대할 것으로 기대된다.
예를 들어 소셜 로봇은 인공지능 스피커, 가정용 로봇 청소기 등에 접목되거나, 식당이나 카페, 및 전시관 등의 장소에서 고객을 응대하는데 이용되고 있으며, 사물 인터넷(IoT) 기술과 함께 IoT 허브로서 활용되는 방안이 대두되고 있다. 불특정 다수를 대상으로 하는 서비스형 로봇과 달리, 가정, 사무실, 식당, 카페, 전시관 등의 공간에서 사용되는 소셜 로봇은 대체적으로 특정된 몇몇의 사용자에게 맞춤형 서비스를 제공한다는 점에서 특징적이다.
한편 영상 인식 기술 및 데이터 처리 기술의 발달에 힘입어 영상 데이터에 기초해 사용자를 인식하거나, 분류하는 기술이 점차 상용화되고 있다.
대한민국 등록특허공보 제10-1890399호 대한민국 등록특허공보 제10-2334942호
본 발명의 다양한 실시 예는 상기 문제점을 해결하기 위한 것으로, 감성 기능이 강화되어 보다 향상된 사용자 경험을 제공할 수 있는 로봇용 인공지능 인터페이스 시스템을 제공하는데 목적이 있다.
본 발명의 다양한 실시예에 따른 로봇용 인공지능 인터페이스 시스템은, 서버와 데이터를 송수신하는 통신부, 외부 환경을 인식하고 사용자 입력을 수신하는 입력부, 정보 또는 알림을 출력하는 출력부, 센서부, 인공지능과 관련된 기능들을 수행하기 위한 소프트웨어가 저장된 메모리, 및 제어부를 포함하는 소셜 로봇을 포함하고, 상기 소셜 로봇의 제어부는, 상기 소프트웨어의 실행에 의해, 사용자 데이터를 수집하는 동작, 상기 사용자 데이터에 기반하여, 상기 사용자의 상황 및 의도를 판단하고, 행동 추론, 및 제약 사항을 식별하는 동작, 상기 출력부를 제어하여 상기 사용자의 상황 및 의도에 대응하는 응대 서비스를 제공하는 동작, 상기 응대 서비스를 제공하는 동안, 사용자의 감정 상태와 연관된 사용자 감성 데이터를 수집하는 동작, 및 상기 수집된 사용자 감성 데이터에 기반하여 감성 점수를 산출하고, 상기 산출된 감성 점수에 기반하여 대안 응대 서비스의 제공 여부를 결정하는 동작을 수행하도록 구성된다.
본 발명의 다양한 실시 예에 따른 로봇용 인공지능 인터페이스 시스템으로는, 감성 기능이 강화되어 보다 향상된 사용자 경험을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 로봇용 인공지능 인터페이스 시스템의 구성도이다.
도 2는 도 1의 소셜 로봇의 구성도이다.
도 3은 일 실시예에 따른 소셜 로봇의 메모리에 상주되거나 스토리지에 저장된 소프트웨어의 구성도이다.
도 4는 일 실시예에 따른 인공지능 학습을 위한 음성 및 영상 데이터의 처리 방법을 설명한 개념도이다.
도 5는 일 실시예에 따른 인공지능 알고리즘을 설명한 개념도이다.
도 6은 일 실시예에 따른 로봇용 인공지능 인터페이스 시스템의 동작을 설명한 흐름도이다.
도 7은 일 실시예에 따른 로봇용 인공지능 인터페이스 시스템이 감성 점수를 산출하는 방법을 설명한 흐름도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 로봇용 인공지능 인터페이스 시스템의 구성도이다.
도 1을 참조하면, 일 실시예에 따른 소셜 로봇(10)은 식당/카페에 배치된 로봇으로서, 입장 및 이용 안내, 자리 안내, 메뉴 추천, 메뉴 주문, 식음료 서빙, 결제 및 할인/포인트 적립 안내와 같은 응대 서비스를 제공할 수 있다. 또는, 일 실시예에 따른 소셜 로봇(10)은 전시관 또는 영화관에 배치된 로봇으로서, 티켓 구매, 티켓 확인 및 입장 안내, 위치 안내(부스/작품), 분실물 안내, 이벤트 및 행사 안내, 부대시설 안내와 같은 응대 서비스를 제공할 수 있다.
소셜 로봇(10)은 고객의 표정으로부터 기쁨, 화남, 놀람, 무표정, 또는 모름(이해 못함)의 감정을 감지할 수 있다. 또한, 소셜 로봇(10)은 고객 행위의 의도로서, 접근, 주변파악, 정보확인, 감정표현, 서성거림, 및 자리 이탈을 감지할 수 있다.
일 실시예에 따른 소셜 로봇(10)은 전술한 바와 같은 응대 서비스를 제공할 뿐만 아니라, 사용자의 표정 및 행위 의도를 감지한 것에 기반하여 감성 기능을 제공하는 바, 보다 향상된 사용자 경험을 제공할 수 있다. 여기서, 감성 기능은 사용자의 감성을 미리 예측함으로써 해당 상황에서 사용자로하여금 보다 필요로 하는 정보 또는 서비스를 제공받도록 하는 기능이다.
도 1을 참조하면, 본 실시예에 따른 로봇용 인공지능 인터페이스 시스템(1)은 사용자들(20) 및 사용자들(20)과 언어적 및/또는 비언어적 동작이나 인식에 기초하여 인터랙션하는 소셜 로봇(10)을 포함하고, 소셜 로봇(10)에 의해 직간접적으로 제어되는 사물 인터넷 기기들(30)을 더 포함할 수 있다. 몇몇 실시예에서, 로봇용 인공지능 인터페이스 시스템(1)은 소셜 로봇(10)의 제어 내지는 설정을 위한 사용자 단말(40)을 더 포함할 수도 있다.
사용자들(20)은 소셜 로봇(10)에 의해 등록된 등록 사용자를 의미할 수 있다. 또한, 사용자들(20)은 소셜 로봇(10)에 접근하는 불특정한 임의의 사용자를 의미할 수 있다. 사용자들(20)은 적어도 하나를 포함하여 복수의 사용자들로 구성될 수 있다.
소셜 로봇(10)은 등록된 사용자들(20)과 인터랙션(interaction) 내지는 상호 작용하여 서비스를 제공하는 구성요소를 의미할 수 있다.
도 1 등은 소셜 로봇(10)이 디스플레이 장치에 의해 구현되는 안면 및 동작 가능한 장치 등을 포함하여 대략 사람의 형상을 모사한 형태의 소셜 로봇을 예시하고 있으나, 본 발명이 이에 제한되는 것은 아니다.
다른 실시예에서 소셜 로봇(10)은 셋탑 박스, 스피커 등 이동하지 않는 전자 기기의 형태로 구현되거나, 로봇 청소기와 같이 이동하는 전자 기기의 형태로 구현되거나, 또는 TV, 냉장고 등 가전 제품 전자 기기가 소셜 로봇으로서의 기능을 겸할 수도 있다. 소셜 로봇(10)의 동작은, 도 6 및 도 7을 참조하여 설명하는 로봇용 인공지능 인터페이스 시스템(1)에 의해 제어될 수 있으며, 이에 대해서는 상세하게 후술한다.
몇몇 실시예에서, 소셜 로봇(10)은 사물 인터넷 기기(30)들과 통신하며 사물 인터넷 허브로서 기능할 수 있다. 사물 인터넷 기기(30)는 가정 또는 사무실에 구비된 다양한 전자 기기를 포함할 수 있다. 예를 들어, 사물 인터넷 기기(30)는 TV, 모니터, 냉장고, 세탁기, 출입문 도어락, 보안 시스템, 출입 시스템, 전력 시스템, 가스 시스템, 인덕션, 조명, 에어컨, 난방 설비, 공기 정화 시스템, 공기 청정기, 스프링쿨러, 또는 승강기 등을 포함할 수 있다.
소셜 로봇(10)은 근거리 무선 통신을 이용해 사물 인터넷 기기(30)와 통신할 수 있다. 근거리 무선 통신의 예로는 와이파이(Wireless-Fidelity, WiFi), WiFi-Direct, 와이브로(Wibro), 와이맥스(Wimax), Zigbee, Zigbee-mesh, 블루투스(Bluetooth), NFC, UWB 등을 들 수 있으나 본 발명이 이에 제한되지 않음은 물론이다.
소셜 로봇(10)은 사용자 단말(40)과 통신할 수 있다. 사용자 단말(40)은 복수의 사용자들(20) 중 하나, 또는 일부, 또는 전부가 사용하는 사용자 단말(40)일 수 있다. 사용자 단말(40)은 스마트폰, 태블릿 PC, PC, 스마트 워치 등의 전자 기기를 포함할 수 있다. 본 발명에 따른 소셜 로봇(10)은 사용자의 직접적인 조작 없이 사용자와 상호 인터랙션을 수행하나, 소셜 로봇(10)의 직접적인 조작, 설정, 제어 등을 위해 사용자 단말(40)이 제공될 수 있다.
본 실시예에 따른 로봇용 인공지능 인터페이스 시스템(1)에 따르면 사용자들(20)과 소셜 로봇(10)은 언어적 및/또는 비언어적 요청, 지시, 동작에 의해 인터랙션이 가능할 수 있다. 따라서, 본 발명은 사용자 경험 및 사용자 편의성이 개선되고, 소셜 로봇(10)과 정서적 교감을 달성할 수 있다. 또한 본 발명은, 소셜 로봇(10)이 가정 등의 공간에서 사용되는 경우 가정 내 다양한 사물 인터넷 기기(30)의 IoT 허브로서의 기능을 제공할 수 있다.
이하, 본 실시예에 따른 소셜 로봇(10)의 구성에 대해 보다 상세하게 설명한다.
도 2는 도 1에 도시된 일 실시예에 따른 소셜 로봇의 구성도이다.
도 2를 더 참조하면, 본 실시예에 따른 소셜 로봇(10)은 프로세서(100), 메모리(200), 스토리지(300), 통신부(400), 입력부(500) 및 출력부(600)를 포함하고, 센서부(700)를 더 포함할 수 있다. 다만, 이와 같은 구성요소들은 소셜 로봇(10)에 포함된 다양한 구성요소들을 기능적으로 분리하여 예시한 것에 불과하므로, 실제 물리적 환경에서는 이하에서 설명되는 구성요소들이 서로 통합되어 구현될 수 있다. 또, 본 명세서에서 사용되는 용어 '~부'는 프로세서 또는 회로와 같은 하드웨어적 구성 및/또는 하드웨어적 구성에 의해 실행되는 소프트웨어적 구성을 포함하는 의미로 사용될 수 있다.
프로세서(100)는 메모리(200)에 상주된 본 발명에 따른 방법이 구현된 소프트웨어(200a)에 따른 명령어를 기초로 본 발명에 따른 방법과 관련된 동작 및/또는 기능을 구현할 수 있다. 프로세서는 공지의 것을 이용할 수 있으나, 예를 들어 ASIC(Application-Specific Integrated Circuit), 또는 다른 칩셋(chipset), 논리 회로 및/또는 데이터 처리 장치를 통해 구현될 수 있다. 또한, 프로세서(100) 중 적어도 일부는 인공지능을 위한 전용 하드웨어 칩 형태로 제작될 수도 있다. 프로세서(100)는 소셜 로봇(10)에 포함된 복수의 구성요소들을 제어하는 역할을 하는 바, “제어부”로 명명될 수 있다.
메모리(200)에는 본 발명에 따른 방법이 구현된 소프트웨어(200a)가 상주(loading)될 수 있다. 메모리는 공지의 것을 이용할 수 있으나, 예를 들어 ROM(Read-Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 통해 구현될 수 있다. 메모리(200)는 프로세서(100)의 내부 또는 외부에 있을 수 있고, 공지된 수단으로 프로세서(100)와 연결될 수 있다.
스토리지(300)는 본 발명에 따른 방법이 구현된 소프트웨어(300a)의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스(API), 라이브러리(library), 리소스 파일(resource file) 등을 저장할 수 있다. 또한, 스토리지(300)는 본 발명에 따른 방법이 구현된 소프트웨어(300a)를 저장할 수 있다. 또한 스토리지(300)는 본 발명에 따른 방법을 수행하기 위한 데이터베이스(310)를 저장할 수 있다.
데이터베이스(310)는 사용자 등록 정보, 등록된 사용자의 생체 정보, 분류된 연령 클래스, 분류된 성별 클래스, 친밀도 값 정보, 분류된 친밀도 클래스, 인터랙션의 종류 등을 포함할 수 있으나, 본 발명이 이에 제한되는 것은 아니다.
본 실시예에 따른 데이터베이스(310)가 위에 나열된 것에 제한되는 것은 아니며, 소셜 로봇(10)의 동작을 설명하기 위해 후술하는 것으로부터 더욱 상세한 데이터베이스(310)의 내용이 이해될 수 있을 것이다.
메모리(200)에 상주되거나 스토리지(300)에 저장된 소프트웨어(300a)는 사용자로부터 인터랙션이 없는 상태에서 사용자의 생체 정보를 스캔하여 사용자 정보를 학습하는 단계, 사용자로부터 인터랙션 요청이 있는 경우, 요청한 사용자의 생체 정보를 스캔하여 학습된 생체 정보와 비교하는 단계, 스캔한 생체 정보와 학습된 생체 정보가 일치할 경우 친밀도 값을 부여하는 단계, 및 등록된 다수의 사용자들의 친밀도 값에 따라 다수 사용자들의 친밀도 클래스를 분류하는 단계를 포함하는 본 발명에 따른 방법을 실행시키기 위해 기록 매체에 기록된 컴퓨터 프로그램이 될 수 있다.
몇몇 실시예에서, 방법은 인터랙션의 종류를 분류하는 단계, 어느 사용자로부터 요청 받은 인터랙션의 종류와 사용자의 친밀도 클래스를 비교하는 단계, 친밀도 클래스 레벨에 기초하여 사용자 별 인터랙션의 우선순위를 결정하는 단계, 사용자의 생체 정보에 기초하여 연령 클래스를 분류하는 단계, 사용자의 생체 정보에 기초하여 성별 클래스를 분류하는 단계, 분류된 연령 클래스의 레벨 또는 성별 클래스의 레벨에 따라 인터랙션 요청의 수행 여부를 결정하는 단계, 사용자로부터 음성에 기초한 인터랙션 요청이 수신되는 경우, 음성 인터랙션으로 분류된 요청인지 또는 복합 인터랙션으로 분류된 요청인지 판단하는 단계, 복합 인터랙션으로 분류된 요청일 경우 소정의 인터벌 동안 사용자의 비언어적 동작 여부를 스캔하는 단계, 및 사용자의 눈 깜빡임의 빈도에 기초해 로봇 선제적 인터랙션의 빈도를 결정하는 단계 등을 더 포함할 수 있다.
본 발명에 따른 방법은 하드웨어(hardware), 펌웨어(firmware), 소프트웨어(software) 또는 그것들의 결합에 의해 구현될 수 있다. 예를 들어 하드웨어로 구현되는 경우 프로세서(100)에 의해 구현되는 것으로 이해될 수 있다. 다른 예를 들어 소프트웨어로 구현되는 경우, 전술한 방법은 후술할 기능들을 수행하는 모듈, 예컨대 과정 또는 기능 등으로 구현될 수 있다. 모듈은 메모리(200)에 상주되고 프로세서(100)에 의해 실행될 수 있다. 즉, 하드웨어 장치는 본 발명에 따른 동작을 수행하기 위해 하나 이상의 소프트웨어로서 작동하도록 구성될 수 있고, 그 역도 마찬가지로 이해될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우 본 발명에 따른 방법은 후술할 기능 또는 동작들을 수행하는 모듈, 절차, 또는 함수 등의 형태로 구현되어 다양한 컴퓨터 수단을 통해 판독 가능한 기록 매체에 기록될 수 있다. 여기서 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나, 컴퓨터 소프트웨어 기술분야에 속하는 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 프로그램 명령의 예로는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐 아니라 인터프리터 등을 사용해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
통신부(400)는 소셜 로봇(10)이 다른 장치, 예컨대 사물 인터넷 기기(30), 사용자 단말(40) 및/또는 서버(미도시)와 데이터를 송수신할 수 있다. 통신부(400)는 근거리 통신 유닛(410) 및/또는 이동 통신 유닛(430)을 포함할 수 있다.
근거리 통신 유닛(410)은 사물 인터넷 기기(30) 등과 통신하기 위해 제공될 수 있다.
이동 통신 유닛(430)은 이동 통신망 또는 공용 유선 통신망 중 하나 이상이 조합된 통신망을 이용하여 기지국, 외부 단말 또는 외부 서버 중 적어도 하나와 데이터를 송수신할 수 있다. 이동 통신망의 예로는 코드 분할 다중 접속(CDMA), 와이드 밴드 코드 분할 다중 접속(WCDMA), 고속 패킷 접속(HSPA), 롱텀 에볼루션(LTE) 등을 들 수 있다. 또, 공용 유선 통신망의 예로는 이더넷(Ethernet), 디지털가입자선(xDSL), 광동축 혼합망(HFC), 광가입자망(FTTH) 등을 들 수 있다. 이동 통신망을 이용해 사용자 단말(40)과 통신하거나, 또는 현재 시간, 날씨 정보 등의 데이터를 수집할 수 있다.
입력부(500)는 소셜 로봇(10)이 외부 환경을 인식하거나, 또는 사용자(20)로부터 조작 트리거에 관한 신호를 입력받을 수 있다. 입력부(500)는 카메라(510), 마이크로폰(530) 및/또는 터치 패널(550) 등을 포함할 수 있다.
카메라(510)는 영상 인식 유닛을 총칭한다. 소셜 로봇(10)은 카메라(510)를 이용해 사용자의 얼굴, 표정, 체형, 홍채 정보 등 생체 정보 및 주변 환경에 관한 데이터를 수집할 수 있다. 카메라(510)는 이미지 센서를 이용해 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 카메라(510)는 소셜 로봇(10)의 안면 부위에 배치된 디스플레이 패널(610)에 인접해 위치할 수 있다.
마이크로폰(530)은 음성 인식 유닛을 총칭한다. 소셜 로봇(10)은 마이크로폰(530)을 이용해 사용자의 음성 정보를 수집할 수 있다. 수집된 음성 정보는 전기적인 음성 데이터로 처리될 수 있다. 여기서 사용자의 음성 정보는 사용자의 지시 인터랙션이 포함된 정보 및 사용자의 식별을 위한 목소리의 파형 정보를 포함할 수 있다.
터치 패널(550)은 사용자(20)의 터치 조작에 의해 입력 정보를 수신하는 유닛을 총칭한다. 터치 패널(550)은 후술할 디스플레이 패널(610)과 결합되거나, 내장되어 구현될 수 있다.
입력부(500)는 전술한 유닛들 외에도 마우스, 키보드 등과 연결되기 위한 USB 단자 등을 더 포함할 수도 있다.
출력부(600)는 소셜 로봇(10)이 출력하는 데이터 또는 소셜 로봇(10)의 현재 상태, 또는 알람 등을 사람이 인식할 수 있는 형태로 구현할 수 있다. 출력부(600)는 디스플레이 패널(610), 스피커(630) 및/또는 진동 유닛(650) 등을 포함할 수 있다.
디스플레이 패널(610)은 영상 출력 유닛을 총칭한다. 디스플레이 패널(610)은 소셜 로봇(10)이 사용자에게 전달하고자 하는 정보를 시각적인 형태로 표시할 수 있다. 몇몇 실시예에서, 디스플레이 패널(610)은 소셜 로봇(10)의 안면 부위에 배치될 수 있고, 디스플레이 패널(610)을 활용해 소셜 로봇(10)의 가상의 눈(eye) 등과 같이 표정을 디스플레이하여 사용자(20)와 소셜 로봇(10) 간의 정서적 교감을 증진시킬 수 있다.
스피커(630)는 음성 출력 유닛을 총칭한다. 스피커(630)는 소셜 로봇(10)이 사용자에게 전달하고자 하는 정보를 청각적인 형태로 표현할 수 있다.
진동 유닛(650)은 진동 모터 등을 포함하여 구현될 수 있다. 진동 유닛(650)은 소셜 로봇(10)이 사용자에게 알람을 제공하는 등의 경우 청각적 및 촉각적인 정보를 제공할 수 있다.
센서부(700)는 소셜 로봇(10)이 주변의 다양한 환경 정보를 수집할 수 있다. 센서부(700)는 전술한 어느 구성요소, 예컨대 카메라(510), 터치 패널(550) 등과 통합되어 구현될 수도 있으나 본 발명이 이에 제한되는 것은 아니다. 센서부(700)는 온도 센서, 습도 센서, 가스 센서, 생체 센서, 근접 센서, 조도 센서, 자이로 센서 및/또는 제스쳐 센서를 포함할 수 있다.
생체 센서는 사용자의 생체 정보를 수집하여 처리할 수 있다. 예를 들어, 생체 센서는 카메라(510) 등을 통해 수집된 사용자의 홍채 정보를 처리할 수 있다. 또, 제스쳐 센서는 카메라(510) 등을 통해 수집된 사용자의 동작의 유무 또는 동작의 형태를 처리할 수 있다.
데이터 버스(800)는 프로세서(100), 메모리(200), 스토리지(300), 통신부(400), 입력부(500), 출력부(600), 센서부(700) 및/또는 기타의 구성요소들과 연결되어 각 구성요소 사이가 서로 데이터를 전달하기 위한 이동 통로의 역할을 수행할 수 있다.
본 실시예에 따른 소셜 로봇(10)은 본 발명에 따른 방법을 구현하기 위한 논리적 구성부를 포함할 수 있다. 논리적 구성부의 예로는 사용자 등록부, 사용자 인식부, 친밀도 값 산술부, 친밀도 클래스 판별부, 성별 클래스 판별부, 연령 클래스 판별부, 통신부(400), 입력부(500), 출력부(600), 센서부(700) 등이 될 수 있으나, 본 발명이 이에 제한되지 않음은 물론이다.
이하에서 본 발명의 일 실시예에 따른 소셜 로봇(10)의 동작 방법 내지는 제어 방법과 관련된 특징들, 이것을 이용한 소셜 로봇(10)과 사용자 간의 인터랙션, 그리고 이로 인한 사용자 편의적 상승 효과에 대해 구체적으로 설명한다.
도 3은 일 실시예에 따른 소셜 로봇의 메모리에 상주되거나 스토리지에 저장된 소프트웨어의 구성도이다. 도 3에서 설명되는 구성요소들은 소셜 로봇(10)이 아닌, 외부 서버(예: 클라우드 서버)에 포함된 구성요소일 수 있다.
도 3을 참조하면, 일 실시예에 따른 소셜 로봇의 메모리(200)에 상주되거나 스토리지(300)에 저장된 소프트웨어(200a or 300a)는 자동 음성 인식(automatic speech recognition)(ASR) 모듈(210), 자연어 이해(natural language understanding)(NLU) 모듈(220), 패스 플래너(path planner) 모듈(230), 대화 매니저(dialogue manager)(DM) 모듈(240), 자연어 생성(natural language generator)(NLG) 모듈(250), 텍스트 음성 변환(text to speech)(TTS) 모듈(260), 또는 예측 데이터베이스(prediction database)(270)를 포함할 수 있다.
일 실시 예에 따르면, 소셜 로봇(10)은 메모리(200)에 상주되거나 스토리지(300)에 저장된 소프트웨어의 명령어를 실행하여 자동 음성 인식 모듈(210), 자연어 이해 모듈(220), 패스 플래너 모듈(230), 대화 매니저 모듈(240), 자연어 생성 모듈(250) 및 텍스트 음성 변환 모듈(260)을 구동시킬 수 있다.
메모리(200)는 통신부(400)를 통해 외부 전자 장치(예: 서버)와 데이터(또는, 정보)를 송수신할 수 있다.
자연어 이해 모듈(220) 또는 패스 플래너 모듈(230)은 패스 룰(path rule)을 생성할 수 있다.
자동 음성 인식(automatic speech recognition)(ASR) 모듈(210)은 소셜 로봇(10)으로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다.
자동 음성 인식 모듈(210)은 소셜 로봇(10)으로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다. 예를 들어, 자동 음성 인식 모듈(210)은 발화 인식 모듈을 포함할 수 있다. 발화 인식 모듈은 음향(acoustic) 모델 및 언어(language) 모델을 포함할 수 있다. 예를 들어, 음향 모델은 발성에 관련된 정보를 포함할 수 있고, 언어 모델은 단위 음소 정보 및 단위 음소 정보의 조합에 대한 정보를 포함할 수 있다. 발화 인식 모듈은 발성에 관련된 정보 및 단위 음소 정보에 대한 정보를 이용하여 사용자 발화를 텍스트 데이터로 변환할 수 있다. 음향 모델 및 언어 모델에 대한 정보는, 예를 들어, 자동 음성 인식 데이터베이스(automatic speech recognition database)(ASR DB)(211)에 저장될 수 있다.
자연어 이해 모듈(220)은 문법적 분석(syntactic analyze) 또는 의미적 분석(semantic analyze)을 수행하여 사용자 의도를 파악할 수 있다. 문법적 분석은 사용자 입력을 문법적 단위(예: 단어, 구, 또는 형태소)로 나누고, 나누어진 단위가 어떤 문법적인 요소를 갖는지 파악할 수 있다. 의미적 분석은 의미(semantic) 매칭, 룰(rule) 매칭, 또는 포뮬러(formula) 매칭을 이용하여 수행할 수 있다. 이에 따라, 자연어 이해 모듈(220)은 사용자 입력이 어느 도메인(domain), 의도(intent) 또는 의도를 표현하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))를 얻을 수 있다.
자연어 이해 모듈(220)은 도메인(domain), 의도(intend) 및 의도를 파악하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))로 나누어진 매칭 규칙을 이용하여 사용자의 의도 및 파라미터를 결정할 수 있다. 예를 들어, 하나의 도메인(예: 알람)은 복수의 의도(예: 알람 설정, 또는 알람 해제)를 포함할 수 있고, 하나의 의도는 복수의 파라미터(예: 시간, 반복 횟수, 또는 알람음)을 포함할 수 있다. 복수의 룰은, 예를 들어, 하나 이상의 필수 요소 파라미터를 포함할 수 있다. 매칭 규칙은 자연어 인식 데이터베이스(natural language understanding database)(NLU DB)(221)에 저장될 수 있다.
자연어 이해 모듈(220)은 형태소, 또는 구와 같은 언어적 특징(예: 문법적 요소)을 이용하여 사용자 입력으로부터 추출된 단어의 의미를 파악하고, 파악된 단어의 의미를 도메인 및 의도에 매칭시켜 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 각각의 도메인 및 의도에 사용자 입력에서 추출된 단어가 얼마나 포함되어 있는 지를 계산하여 사용자 의도를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 의도를 파악하는데 기초가 된 단어를 이용하여 사용자 입력의 파라미터를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도를 파악하기 위한 언어적 특징이 저장된 자연어 인식 데이터베이스(221)를 이용하여 사용자의 의도를 결정할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 기초하여 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력의 의도에 기초하여 실행될 앱을 선택하고, 선택된 앱에서 수행될 동작을 결정할 수 있다. 자연어 이해 모듈(220)은 결정된 동작에 대응되는 파라미터를 결정하여 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)에 의해 생성된 패스 룰은 실행될 앱, 앱에서 실행될 동작(예: 적어도 하나 이상의 상태(state)) 및 동작을 실행하는데 필요한 파라미터에 대한 정보를 포함할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 생성된 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 복수의 패스 룰 최적의 패스 룰을 선택할 수 있다. 다른 예를 들어, 자연어 이해 모듈(220)은 사용자 발화에 기초하여 일부 동작만이 특정된 경우 복수의 패스 룰을 선택할 수 있다. 자연어 이해 모듈(220)은 사용자의 추가 입력에 의해 복수의 패스 룰 중 하나의 패스 룰을 결정할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력에 대한 요청으로 패스 룰을 소셜 로봇(10)의 제어부(미도시)로 송신할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 대응되는 하나의 패스 룰을 소셜 로봇(10)의 제어부로 송신할 수 있다. 다른 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 대응되는 복수의 패스 룰을 소셜 로봇(10)의 제어부로 송신할 수 있다. 복수의 패스 룰은, 예를 들어, 사용자 발화에 기초하여 일부 동작만이 특정된 경우 자연어 이해 모듈(220)에 의해 생성될 수 있다.
패스 플래너 모듈(230)은 사용자 의도 및 파라미터를 이용하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 패스 플래너 모듈(230)은 사용자 의도 및 파라미터에 기초하여 실행될 앱 및 앱에서 실행될 동작을 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 패스 플래너 모듈(230)은 생성된 패스 룰을 패스 룰 데이터베이스(231)에 저장할 수 있다. 일 실시 예에 따르면, 패스 플래너 모듈(230)은 자연어 이해 모듈(220)에서 생성된 패스 룰을 패스 룰 데이터베이스(231)에 저장할 수 있다. 생성된 패스 룰은 패스 룰 데이터베이스(231)에 저장된 패스 룰 셋에 추가될 수 있다.
대화 매니저 모듈(240)은 자연어 이해 모듈(220)에 의해 파악된 사용자의 의도가 명확한지 여부를 판단할 수 있다. 예를 들어, 대화 매니저 모듈(240)은 파라미터의 정보가 충분하지 여부에 기초하여 사용자의 의도가 명확한지 여부를 판단할 수 있다. 대화 매니저 모듈(240)은 자연어 이해 모듈(220)에서 파악된 파라미터가 태스크를 수행하는데 충분한지 여부를 판단할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(240)은 사용자의 의도가 명확하지 않은 경우 사용자에게 필요한 정보를 요청하는 피드백을 수행할 수 있다. 예를 들어, 대화 매니저 모듈(240)은 사용자의 의도를 파악하기 위한 파라미터에 대한 정보를 요청하는 피드백을 수행할 수 있다.
자연어 생성 모듈(NLG)(250)은 지정된 정보를 텍스트 형태로 변경할 수 있다. 텍스트 형태로 변경된 정보는 자연어 발화의 형태일 수 있다. 지정된 정보는, 예를 들어, 추가 입력에 대한 정보, 사용자 입력에 대응되는 동작의 완료를 안내하는 정보 또는 사용자의 추가 입력을 안내하는 정보(예: 사용자 입력에 대한 피드백 정보)일 수 있다. 텍스트 형태로 변경된 정보는 소셜 로봇(10)의 제어부로 송신되어 디스플레이 패널(610)에 표시되거나, 텍스트 음성 변환 모듈(260)로 송신되어 음성 형태로 변경될 수 있다.
텍스트 음성 변환 모듈(260)은 텍스트 형태의 정보를 음성 형태의 정보로 변경할 수 있다. 텍스트 음성 변환 모듈(260)은 자연어 생성 모듈(250)로부터 텍스트 형태의 정보를 수신하고, 텍스트 형태의 정보를 음성 형태의 정보로 변경하여 소셜 로봇(10)의 제어부로 송신할 수 있다. 소셜 로봇(10)의 제어부는 음성 형태의 정보를 스피커(630)로 출력할 수 있다.
일 실시 예에 따르면, 예측 데이터베이스(270)는 소셜 로봇(10)이 사용자에게 응대 서비스를 제공하는 동안, 사용자가 느낄수 있는 감성 또는 감정에 관한 예측 데이터들과, 사용자의 감성 연관된 감성 점수가 낮을 때를 대비한 대안 응대 서비스를 저장할 수 있다. 예를 들어, 예측 데이터베이스(270)는 감성 점수가 낮을 때를 대비하여, 사용자의 감성, 즉 사용자의 만족도를 높일 수 있도록 대안 응대 서비스들을 미리 저장할 수 있다. 예를 들어, 대안 응대 서비스는, 사용자의 의도에 대응되는 후보 서비스들 또는 후보 정보들을 포함할 수 있다. 또한, 예를 들어, 대안 응대 서비스는, 응대 서비스에 관한 상세 정보, 손쉬운 정보, 또는 튜토리얼 정보를 포함할 수 있다. 또한, 또한, 예를 들어, 대안 응대 서비스는, 사용자의 주문에 따른 대기 시간이 길어졌을 경우에 사용자의 지루함 및 사용자의 불만족을 완화시키기 위한 할인 정보, 쿠폰 정보, 및 오락 영상들을 포함할 수 있다.
도 4는 일 실시예에 따른 인공지능 학습을 위한 음성 및 영상 데이터의 처리 방법을 설명한 개념도이다. 도 4에서 설명된 데이터의 처리 방법들은 도 3을 참조하여 설명한 소프트웨어(200a or 300a)의 실행에 의해 소셜 로봇(10)의 제어부가 수행하는 기능들일 수 있다.
도 4를 참조하면, 인공지능 학습을 위한 음성 및 영상 데이터의 구축 공정(4000)은 데이터 정제(4100), 데이터 가공(4200), 및 데이터 학습(4300)의 단계를 포함할 수 있다.
데이터 정제(4100)는, 데이터의 품질 확보 및 클렌징의 과정으로서, 데이터 품질 확인(4110), 데이터 샘플링 및 검증(4120), 및 원천데이터 저장(4130)의 과정들을 포함할 수 있다. 이러한 데이터 정제(4100)의 과정에서, 데이터 오류값 확인 및 편향 제거, 데이터 클렌징이 이루어질 수 있다.
데이터 가공(4200)은, 라벨링 및 클렌징의 과정으로서, 데이터 라벨링 정의(4210), 어노테이션 추출(4220), 가공방식 선정(4230), 라벨링 데이터 저장(4240)의 과정들을 포함할 수 있다. 이러한 데이터 가공(4200)의 과정에서, 음성 데이터 정보 라벨링 및 영상 데이터 정보 라벨링이 이루어질 수 있다.
데이터 학습(4300)은, 검사 및 교정/전수 검사의 과정으로서, 1-cycle 분석(4310), 데이터 측정장치 검사(4320), 데이터 품질 검사(4330), 및 최종 학습데이터 구성의 과정들을 포함할 수 있다. 이러한 데이터 학습(4300) 과정에서, 검사 및 교정이 이루어지고, 인공지능 학습에 필요한 데이터셋으로 최종 학습데이터가 구성될 수 있다.
도 5는 일 실시예에 따른 인공지능 알고리즘을 설명한 개념도이다. 도 5에서 설명된 인공지능 알고리즘은 도 3을 참조하여 설명한 소프트웨어(200a or 300a)의 실행에 의해 소셜 로봇(10)의 제어부가 수행하는 기능들일 수 있다.
도 5를 참조하면, 일 실시예에 따른 인공지능 알고리즘은 DNN(deep neural network), RNN(Recurrent Neural Network) 모델을 이용한 수집/정제된 데이터 입력 및 출력 결과 값을 산출할 수 있다. 예를 들어, 인공지능 모델은 입력(x)(5100)를 받아, 출력(y)(5200)를 만들 수 있다. 이러한 인공지능 모델은 도 5의 5130으로 나타낸 바와 같이, 출력을 다시 입력으로 받으며, 순환 입력값을 xt, 순환 출력값을 xy로 표현할 수 있다.
일 실시예에 따르면, 인공지능 알고리즘에서 각 순환 뉴런은 두개의 가중치 Wx와 Wy를 가질 수 있다. 여기서, Wx는 순환 입력값을 xt를 위한 것이고, Wy는 이전 타임 스텝의 출력 yt-1을 위한 것일 수 있다. 이것을 순환 층(layer) 전체로 가정한다면, 가중치 벡터 Wx와 Wy는 수학식 1과 같은 행렬형태로 나타낼 수 있다.
Figure 112023138959093-pat00001
한편, 타입 스텝 t에서 미니 배치(mini-batch)의 입력을 Xt로 나타낼 경우 수학식 2와 같이 순환 층의 출력을 한번에 계산할 수 있다.
Figure 112023138959093-pat00002
수학식 2에서, Yt는 타입 스텝 t에서 미니 배치에 있는 각 샘플(미니 배치)에 대한 순환 층의 출력이다.
수학식 2에서 Xt는 모든 샘플의 입력값을 담고 있는 m*n행렬이다.
수학식 2에서 Wx는 현재 타입 스텝 t의 입력에 대한 가중치를 답고 있는 행렬이다.
수학식 2에서 Wy는 이전 타입 스텝 t-1의 출력에 대한 가중치를 담고 있는 행렬이다.
수학식 2에서 b는 각 뉴련의 편한(bias)을 담고 있는 특정 크기의 벡터이다.
도 6은 일 실시예에 따른 로봇용 인공지능 인터페이스 시스템의 동작을 설명한 흐름도이다. 도 6에서 설명된 동작들은 도 3을 참조하여 설명한 소프트웨어(200a or 300a)의 실행에 의해 소셜 로봇(10)의 제어부가 수행하는 기능들일 수 있다.
동작 6100에서, 소셜 로봇(10)의 제어부(예: 도 2의 프로세서(100))는, 사용자 데이터를 수집할 수 있다. 사용자 데이터는 사용자의 등록된 정보, 상황, 사용자 입력, 사용자의 표정, 행동 및 몸짓과 관련한 센싱 정보 등을 포함할 수 있다.
동작 6200에서, 소셜 로봇(10)의 제어부(예: 도 2의 프로세서(100))는, 사용자의 상황 및 의도 판단, 행동 추론, 및 제약 사항을 식별할 수 있다. 제어부는 수집된 사용자 데이터에 기반하여 사용자의 요청사항 및 의도를 판단하고, 판단 결과에 기반하여 생성된 복수의 후보 응대 서비스들 중에서 적어도 하나를 선택한다.
동작 6300에서, 소셜 로봇(10)의 제어부(예: 도 2의 프로세서(100))는, 응대 서비스를 제공할 수 있다. 제어부는 생성된 복수의 후보 응대 서비스들 중에서 최적으로 선택된 응대 서비스를 제공할 수 있다.
일 실시예에 따른 소셜 로봇(10)은 식당/카페에 배치된 로봇으로서, 입장 및 이용 안내, 자리 안내, 메뉴 추천, 메뉴 주문, 식음료 서빙, 결제 및 할인/포인트 적립 안내와 같은 응대 서비스를 제공할 수 있다. 또는, 일 실시예에 따른 소셜 로봇(10)은 전시관 또는 영화관에 배치된 로봇으로서, 티켓 구매, 티켓 확인 및 입장 안내, 위치 안내(부스/작품), 분실물 안내, 이벤트 및 행사 안내, 부대시설 안내와 같은 응대 서비스를 제공할 수 있다.
동작 6400에서, 소셜 로봇(10)의 제어부(예: 도 2의 프로세서(100))는, 사용자 감성 데이터를 수집할 수 있다. 소셜 로봇(10)은 고객의 표정으로부터 기쁨, 화남, 놀람, 무표정, 또는 모름(이해 못함)의 감정을 감지할 수 있다. 또한, 소셜 로봇(10)은 고객 행위의 의도로서, 접근, 주변파악, 정보확인, 감정표현, 서성거림, 및 자리 이탈을 감지할 수 있다. 제어부는 감지된 감성 데이터에 기반하여 사용자의 감성 또는 감정을 미리 예측한다. 제어부는 미리 예측되는 사용자의 감성 또는 감정에 관한 데이터를 수치화하고, 수치화된 데이터로부터 감성 점수로 결정한다.
동작 6500에서, 소셜 로봇(10)의 제어부(예: 도 2의 프로세서(100))는, 감성 점수가 지정된 점수(R)보다 큰지(또는 크거나 같은지) 결정할 수 있다. 제어부는 감성 점수가 지정된 점수(R)보다 크거나, 또는 크거나 같은 경우에, 응대 서비스의 제공을 종료할 수 있다. 반면에, 제어부는 감성 점수가 지정된 점수(R) 미만이거나, 또는 작거나 같은 경우에, 동작 6600을 수행할 수 있다.
즉, 제어부는 사용자에게 응대 서비스를 제공하는 동안에, 응대 서비스에 대한 사용자의 반응을 감지하거나 사용자의 감성 또는 감정 상태를 미리 예측하고, 이를 수치화하여 점수로 산출한다.
동작 6600에서, 소셜 로봇(10)의 제어부(예: 도 2의 프로세서(100))는, 대안 응대 서비스를 제공할 수 있다. 즉, 제어부는 수집된 사용자 감성 데이터에 기반하여 감성 점수를 산출하고, 산출된 감성 점수에 기반하여 대안 응대 서비스의 제공 여부를 결정한다. 여기서, 감성 점수가 상대적으로 낮다는 것은 응대 서비스에 대한 사용자의 감성 또는 감정이 부정적인 감성 또는 부정적인 감정을 포함할 가능성이 높다는 것을 의미한다. 또한, 감성 점수가 상대적으로 높다는 것은 응대 서비스에 대한 사용자의 감성 또는 감정이 긍정적인 감성 또는 긍정적인 감정을 포함할 가능성이 높다는 것을 의미한다. 일 실시예에 따르면, 제어부는, 사용자의 만족도를 미리 예측하고, 예측된 사용자의 만족도에 비례하여 감성 점수를 결정할 수 있다. 제어부는 사용자의 만족도를 결정함에 있어서, 사용자의 표정, 행동 및 몸짓과 관련한 센싱 정보 등을 이용할 수 있다.
도 7은 일 실시예에 따른 로봇용 인공지능 인터페이스 시스템이 감성 점수를 산출하는 방법을 설명한 흐름도이다. 도 7에서 설명된 동작들은 도 3을 참조하여 설명한 소프트웨어(200a or 300a)의 실행에 의해 소셜 로봇(10)의 제어부가 수행하는 기능들일 수 있다. 예를 들어, 도 7은 도 6에 도시된 동작 6400 내지 동작 6600의 동작들을 구체적으로 설명한 예시일 수 있다.
동작 7100에서, 소셜 로봇(10)의 제어부(예: 도 2의 프로세서(100))는, 응대 서비스의 정확도를 판단한다. 제어부는 응대 서비스의 정확도에 연관된 점수가 제1 지정된 점수 미만이면, 소셜 로봇이 대안 응대 서비스를 제공하도록 제어한다.
소셜 로봇의 제어부는, 응대 서비스의 정확도에 연관된 점수가 제1 지정된 점수 미만이면, 대안 응대 서비스의 일부로서 사용자의 상황 및 의도에 대응하는 새로운 응대 서비스를 제공한다. 예를 들어, 제어부는 기 제공한 응대 서비스가 사용자가 의도에 부합하지 않는 것이라고 판단한 경우 응대 서비스의 정확도에 연관된 점수를 낮게 결정한다.
동작 7200에서, 소셜 로봇(10)의 제어부(예: 도 2의 프로세서(100))는, 응대 서비스에 대한 사용자의 이해도를 감지한다. 제어부는 사용자의 이해도에 연관된 점수가 제2 지정된 점수 미만이면, 소셜 로봇이 대안 응대 서비스를 제공하도록 제어한다. 예를 들어, 제어부는 기 제공한 응대 서비스가, 입장 안내, 위치 안내(부스/작품), 분실물 안내, 이벤트 및 행사 안내, 부대시설 안내와 같은 정보들을 포함한 경우, 이에 대한 사용자의 이해도를 감지한다. 제어부는 사용자가 기 제공중인 정보들에 대한 이해도가 낮은 것으로 판단한 경우에, 보다 쉽게 사용자가 이를 이해할 수 있도록 대안 응대 서비스를 생성한다.
소셜 로봇의 제어부는, 사용자의 이해도에 연관된 점수가 제2 지정된 점수 미만이면, 대안 응대 서비스의 일부로서 기 제공한 응대 서비스의 반복 출력함과 아울러 및 응대 서비스에 관련된 상세 정보를 출력한다.
한편, 소셜 로봇의 제어부는, 사용자의 표정으로부터 화남, 짜증, 무표정 또는 모름의 감정을 감지하면 응대 서비스의 정확도에 연관된 점수를 제1 지정된 점수 미만인 것으로 결정하거나, 또는 사용자의 이해도에 연관된 점수가 제2 지정된 점수 미만인 것으로 결정할 수 있다.
동작 7300에서, 소셜 로봇(10)의 제어부(예: 도 2의 프로세서(100))는, 응대 서비스에 대한 사용자의 만족도를 식별한다. 제어부는 응대 서비스에 대한 사용자의 만족도에 연관된 점수가 제3 지정된 점수 미만이면, 소셜 로봇이 대안 응대 서비스를 제공하도록 제어한다. 예를 들어, 제어부는 기 제공한 응대 서비스에 대하여 사용자가 만족스럽지 못하다는 제스처 또는 반응을 보이는지 판단할 경우에 사용자의 만족도를 높이기 위한 대안 응대 서비스를 생성한다.
소셜 로봇(10)의 제어부는, 응대 서비스에 대한 사용자의 만족도에 연관된 점수가 제3 지정된 점수 미만이면, 대안 응대 서비스의 일부로서 할인 정보 및 쿠폰 정보를 출력하거나 또는 기 설정된 오락 영상을 출력한다. 한편, 소셜 로봇의 제어부는, 기 제공한 응대 서비스가 사용자의 주문에 대한 대기 시간을 포함하고, 대기 시간이 지정된 시간 이상인 경우, 할인 정보 및 쿠폰 정보를 출력하거나 또는 기 설정된 오락 영상을 출력한다. 예를 들어, 제어부는, 소셜 로봇이 응대 서비스로서 메뉴 주문, 식음료 서빙의 기능을 제공한 경우, 사용자에게 예상 대기 시간을 미리 제공함과 아울러 대기 시간에 따른 사용자의 불만족을 미리 예측한다. 제어부는 사용자의 대기 시간이 지정된 시간 이상이어서 지루함 또는 불만족이 예측되는 경우에, 소셜 로봇(10)이 할인 정보 및 쿠폰 정보를 출력하도록 한다. 또는, 제어부는 사용자의 대기 시간이 지정된 시간 이상이어서 지루함 또는 불만족이 예측되는 경우에, 사용자의 지루함을 줄여줄 수 있도록 오락 영상이나 게임 화면을 제공하는 기능을 지원할 수 있다.
이상, 전술한 바와 같이, 본 발명의 다양한 실시 예에 따른 로봇용 인공지능 인터페이스 시스템으로는, 감성 기능이 강화되어 보다 향상된 사용자 경험을 제공할 수 있다.
상기에서는 본 발명을 특정의 바람직한 일 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 기술적 특징이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것은 당업계에서 통상의 지식을 가진 자에게 명백한 것이다.
1: 로봇용 인공지능 인터페이스 시스템
10: 소셜 로봇
20: 사용자

Claims (6)

  1. 로봇용 인공지능 인터페이스 시스템에 있어서,
    서버와 데이터를 송수신하는 통신부, 외부 환경을 인식하고 사용자 입력을 수신하는 입력부, 정보 또는 알림을 출력하는 출력부, 센서부, 인공지능과 관련된 기능들을 수행하기 위한 소프트웨어가 저장된 메모리, 및 제어부를 포함하는 소셜 로봇을 포함하고,
    상기 소셜 로봇의 제어부는, 상기 소프트웨어의 실행에 의해,
    사용자 데이터를 수집하는 동작,
    상기 사용자 데이터에 기반하여, 상기 사용자의 상황 및 의도를 판단하고, 행동 추론, 및 제약 사항을 식별하는 동작,
    상기 출력부를 제어하여 상기 사용자의 상황 및 의도에 대응하는 응대 서비스를 제공하는 동작,
    상기 응대 서비스를 제공하는 동안, 사용자의 감정 상태와 연관된 사용자 감성 데이터를 수집하는 동작, 및
    상기 수집된 사용자 감성 데이터에 기반하여 감성 점수를 산출하고, 상기 산출된 감성 점수에 기반하여 대안 응대 서비스의 제공 여부를 결정하는 동작을 수행하도록 구성되고,
    상기 소셜 로봇의 상기 제어부는, 상기 감성 점수를 산출하는 동작으로서, 상기 응대 서비스의 정확도를 판단하는 동작, 상기 응대 서비스에 대한 상기 사용자의 이해도를 감지하는 동작, 및 상기 응대 서비스에 대한 상기 사용자의 만족도를 식별하는 동작을 수행하도록 구성되고,
    상기 소셜 로봇의 상기 제어부는, 상기 응대 서비스의 정확도에 연관된 점수가 제1 지정된 점수 미만이면, 상기 대안 응대 서비스의 일부로서 상기 사용자의 상황 및 의도에 대응하는 새로운 응대 서비스를 제공하고, 상기 사용자의 이해도에 연관된 점수가 제2 지정된 점수 미만이면, 상기 대안 응대 서비스의 일부로서 기 제공한 상기 응대 서비스의 반복 출력함과 아울러 및 상기 응대 서비스에 관련된 상세 정보를 출력하고, 상기 응대 서비스에 대한 상기 사용자의 만족도에 연관된 점수가 제3 지정된 점수 미만이면, 상기 대안 응대 서비스의 일부로서 할인 정보 및 쿠폰 정보를 출력하거나 또는 기 설정된 오락 영상을 출력하도록 구성된,
    로봇용 인공지능 인터페이스 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서,
    상기 소셜 로봇의 상기 제어부는,
    상기 사용자의 표정으로부터 화남, 짜증, 무표정 또는 모름의 감정을 감지하면 상기 응대 서비스의 정확도에 연관된 점수를 상기 제1 지정된 점수 미만인 것으로 결정하거나, 또는 상기 사용자의 이해도에 연관된 점수가 상기 제2 지정된 점수 미만인 것으로 결정하도록 설정된,
    로봇용 인공지능 인터페이스 시스템.
  6. 제1 항에 있어서,
    상기 소셜 로봇의 상기 제어부는,
    기 제공한 상기 응대 서비스가 상기 사용자의 주문에 대한 대기 시간을 포함하고, 상기 대기 시간이 지정된 시간 이상인 경우, 상기 할인 정보 및 상기 쿠폰 정보를 출력하거나 또는 기 설정된 상기 오락 영상을 출력하도록 설정된,
    로봇용 인공지능 인터페이스 시스템.
KR1020230179324A 2023-12-12 2023-12-12 로봇용 인공지능 인터페이스 시스템 KR102643720B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230179324A KR102643720B1 (ko) 2023-12-12 2023-12-12 로봇용 인공지능 인터페이스 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230179324A KR102643720B1 (ko) 2023-12-12 2023-12-12 로봇용 인공지능 인터페이스 시스템

Publications (1)

Publication Number Publication Date
KR102643720B1 true KR102643720B1 (ko) 2024-03-06

Family

ID=90239760

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230179324A KR102643720B1 (ko) 2023-12-12 2023-12-12 로봇용 인공지능 인터페이스 시스템

Country Status (1)

Country Link
KR (1) KR102643720B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850352B1 (ko) * 2006-09-26 2008-08-04 한국전자통신연구원 상태 정보를 이용하여 감성을 표현하기 위한 지능형 로봇의감성 표현 장치 및 그 방법
JP2018124604A (ja) * 2017-01-30 2018-08-09 グローリー株式会社 接客支援システム、接客支援装置及び接客支援方法
KR101890399B1 (ko) 2017-01-31 2018-08-27 주식회사 서큘러스 인공지능 로봇을 이용한 소셜 네트워크 서비스 시스템
KR20190098781A (ko) * 2018-01-29 2019-08-23 삼성전자주식회사 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법
KR20190100090A (ko) * 2019-08-08 2019-08-28 엘지전자 주식회사 로봇 및 그를 이용한 무드 인식 방법
KR102334942B1 (ko) 2017-03-24 2021-12-06 후아웨이 테크놀러지 컴퍼니 리미티드 돌봄 로봇을 위한 데이터 처리 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850352B1 (ko) * 2006-09-26 2008-08-04 한국전자통신연구원 상태 정보를 이용하여 감성을 표현하기 위한 지능형 로봇의감성 표현 장치 및 그 방법
JP2018124604A (ja) * 2017-01-30 2018-08-09 グローリー株式会社 接客支援システム、接客支援装置及び接客支援方法
KR101890399B1 (ko) 2017-01-31 2018-08-27 주식회사 서큘러스 인공지능 로봇을 이용한 소셜 네트워크 서비스 시스템
KR102334942B1 (ko) 2017-03-24 2021-12-06 후아웨이 테크놀러지 컴퍼니 리미티드 돌봄 로봇을 위한 데이터 처리 방법 및 장치
KR20190098781A (ko) * 2018-01-29 2019-08-23 삼성전자주식회사 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법
KR20190100090A (ko) * 2019-08-08 2019-08-28 엘지전자 주식회사 로봇 및 그를 이용한 무드 인식 방법

Similar Documents

Publication Publication Date Title
US11670302B2 (en) Voice processing method and electronic device supporting the same
US10832674B2 (en) Voice data processing method and electronic device supporting the same
KR102513297B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
US11004451B2 (en) System for processing sound data and method of controlling system
KR101949497B1 (ko) 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템
US11238871B2 (en) Electronic device and control method thereof
US8606735B2 (en) Apparatus and method for predicting user's intention based on multimodal information
KR102590914B1 (ko) 전자 장치 및 이의 제어 방법
US10521723B2 (en) Electronic apparatus, method of providing guide and non-transitory computer readable recording medium
KR102001293B1 (ko) 로봇 상의 소프트웨어 애플리케이션 실행하기
KR102595790B1 (ko) 전자 장치 및 그의 제어방법
KR20170054707A (ko) 전자 장치 및 그 제어 방법
US11492741B2 (en) Electronic device
JP6983118B2 (ja) 対話システムの制御方法、対話システム及びプログラム
US20190019509A1 (en) Voice data processing method and electronic device for supporting the same
CN109474658A (zh) 用外部设备支持任务运行的电子设备、服务器和记录介质
KR20190090424A (ko) 사용자 발화 응답 방법 및 이를 지원하는 전자 장치
KR20180096483A (ko) 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
KR102511517B1 (ko) 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR20200016774A (ko) 사용자 음성 발화를 처리하기 위한 시스템 및 그의 동작 방법
KR20200115695A (ko) 전자 장치 및 이의 제어 방법
US20190163436A1 (en) Electronic device and method for controlling the same
KR20200080389A (ko) 전자 장치 및 그 제어 방법
WO2020202862A1 (ja) 応答生成装置及び応答生成方法
KR102643720B1 (ko) 로봇용 인공지능 인터페이스 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant