KR102288658B1 - 로봇 및 그의 제어 방법 - Google Patents

로봇 및 그의 제어 방법 Download PDF

Info

Publication number
KR102288658B1
KR102288658B1 KR1020197020639A KR20197020639A KR102288658B1 KR 102288658 B1 KR102288658 B1 KR 102288658B1 KR 1020197020639 A KR1020197020639 A KR 1020197020639A KR 20197020639 A KR20197020639 A KR 20197020639A KR 102288658 B1 KR102288658 B1 KR 102288658B1
Authority
KR
South Korea
Prior art keywords
robot
physical stimulus
processor
user
display
Prior art date
Application number
KR1020197020639A
Other languages
English (en)
Other versions
KR20200132654A (ko
Inventor
김남건
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20200132654A publication Critical patent/KR20200132654A/ko
Application granted granted Critical
Publication of KR102288658B1 publication Critical patent/KR102288658B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B25J19/061—Safety devices with audible signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Toys (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시 예에 따른 로봇은, 디스플레이; 물리 자극을 감지하는 적어도 하나의 센서를 포함하는 센싱부; 및 소정 동작의 수행 중, 상기 적어도 하나의 센서로부터 획득된 센싱값에 기초하여 상기 물리 자극을 감지하고, 상기 획득된 센싱값에 기초하여 상기 물리 자극을 식별하고, 식별된 물리 자극에 기초하여 상기 동작의 수행을 중지 또는 종료하도록 제어하고, 상기 식별된 물리 자극에 대응하는 GUI를 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함한다. 실시 예에 따라, 상기 로봇은 인공지능 장치로 구현되어, 상기 획득된 센싱값에 대응하는 물리 자극을 인공지능 기반의 학습 모델을 통해 인식할 수 있다.

Description

로봇 및 그의 제어 방법
본 발명은 로봇에 관한 것으로서, 특히 다양한 형태의 물리 자극에 대해 반응하는 로봇 및 그의 제어 방법에 관한 것이다.
로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계로서, 로봇의 응용분야는 대체로 산업용, 의료용, 우주용, 해저용 등 다양한 분야로 분류된다. 최근에는 음성이나 제스쳐 등을 통해 인간과 커뮤니케이션이나 인터랙션을 수행할 수 있는 커뮤니케이션 로봇이 증가되는 추세이다.
이러한 커뮤니케이션 로봇은 특정 장소에 배치되어 이용자에게 각종 정보를 안내하는 안내 로봇이나, 가정에 구비되는 홈 로봇 등 다양한 종류의 로봇을 포함할 수 있다. 또한, 커뮤니케이션 로봇은 학습자와의 인터랙션을 통해 상기 학습자의 학습을 지도하거나 보조하는 교육용 로봇을 포함할 수 있다.
커뮤니케이션 로봇은 다양한 구성들을 이용하여 사용자나 학습자 등과의 인터랙션을 수행하도록 구현될 수 있다. 예컨대, 커뮤니케이션 로봇은 로봇 주변에서 발생하는 사운드를 획득하는 마이크로폰이나, 로봇 주변의 이미지를 획득하는 카메라를 포함할 수 있다.
한편, 제조사는 보다 생동감 있는 로봇의 구현을 위해, 소정 입력이나 이벤트 발생에 따른 로봇의 감정 변화를 디스플레이나 스피커 등을 통해 출력하는 기능을 제공하고 있다. 다만, 종래의 로봇은 다소 한정된 입력이나 이벤트에 대한 감정만을 제공하는 한계가 존재한다.
또한, 사용자는 로봇을 사용하는 도중 전화 수신이나 도어 벨의 울림 등과 같은 긴급 상황에서, 로봇의 동작을 신속하게 중지 또는 종료시키고자 할 수 있다. 종래의 경우에는, 로봇의 동작을 중지 또는 종료시키기 위해 별도의 메뉴로 진입하는 등의 여러 번의 조작을 수행해야 하는 바, 상기 로봇의 동작을 신속하게 중지 또는 종료하기 어렵다.
본 발명이 해결하고자 하는 과제는, 다양한 형태의 물리 자극에 대해 보다 생동감 있는 반응을 수행할 수 있는 로봇을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 사용자가 로봇의 사용 중 긴급 상황에서 간편하고 신속하게 로봇의 동작을 중지 또는 종료시킬 수 있는 방법을 제공하는 로봇을 구현하는 것이다.
본 발명의 실시 예에 따른 로봇은, 디스플레이; 물리 자극을 감지하는 적어도 하나의 센서를 포함하는 센싱부; 및 소정 동작의 수행 중, 상기 적어도 하나의 센서로부터 획득된 센싱값에 기초하여 상기 물리 자극을 감지하고, 상기 획득된 센싱값에 기초하여 상기 물리 자극을 식별하고, 식별된 물리 자극에 기초하여 상기 동작의 수행을 중지 또는 종료하도록 제어하고, 상기 식별된 물리 자극에 대응하는 GUI를 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
상기 적어도 하나의 센서는, 상기 로봇의 헤드부에 구비되는 터치 센서; 상기 로봇의 바디부 내에 구비되는 자이로 센서; 및 상기 디스플레이와 일체로 형성되는 터치 스크린 중 적어도 하나를 포함할 수 있다.
실시 예에 따라, 상기 로봇은 러닝 프로세서에 의해 학습된 학습 모델 또는 서버로부터 수신되는 학습 모델을 저장하는 메모리를 더 포함하고, 상기 프로세서는, 상기 메모리에 저장된 학습 모델을 통해, 상기 적어도 하나의 센서로부터 획득된 센싱값에 대응하는 물리 자극을 식별할 수 있다.
실시 예에 따라, 상기 메모리는 식별 가능한 물리 자극들, 및 수행 가능한 동작들 간의 우선 순위에 대한 정보를 저장하고, 상기 프로세서는, 상기 식별된 물리 자극의 우선 순위와, 상기 수행 중인 동작의 우선 순위에 기초하여, 상기 수행 중인 동작을 중지 또는 종료하거나 상기 식별된 물리 자극을 무시할 수 있다.
상기 프로세서는, 상기 식별된 물리 자극의 우선 순위가 상기 수행 중인 동작의 우선 순위보다 높은 경우, 상기 수행 중인 동작을 중지 또는 종료하고, 상기 식별된 물리 자극에 대응하는 상기 GUI를 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 프로세서는, 상기 식별된 물리 자극의 우선 순위가 상기 수행 중인 동작의 우선 순위보다 낮은 경우, 상기 식별된 물리 자극을 무시하고 상기 동작을 지속 수행할 수 있다.
실시 예에 따라, 상기 프로세서는 상기 감지된 물리 자극의 식별이 불가한 경우, 상기 동작을 지속 수행할 수 있다.
상기 로봇은 스피커를 더 포함하고, 상기 프로세서는, 상기 식별된 물리 자극에 대응하는 음성을 출력하도록 상기 스피커를 제어할 수 있다.
상기 로봇은 카메라를 더 포함하고, 상기 프로세서는, 상기 식별된 물리 자극에 응답하여, 상기 카메라를 통해 사용자의 위치를 인식하고, 인식된 위치를 상기 디스플레이가 향하도록 회전 기구를 제어할 수 있다.
실시 예에 따라, 상기 GUI는 상기 식별된 물리 자극에 대응하는 감정 상태를 나타내는 GUI일 수 있다.
실시 예에 따라, 상기 프로세서는 상기 획득된 센싱값에 기초하여 상기 물리 자극이 소정 횟수 이상 반복됨을 감지하면, 상기 물리 자극이 1회 식별된 경우 표시되는 GUI와 다른 GUI를 표시하도록 상기 디스플레이를 제어할 수 있다.
본 발명의 실시 예에 따른 로봇의 제어 방법은, 소정 동작의 수행 중, 적어도 하나의 센서로부터 센싱값을 획득하는 단계; 상기 획득된 센싱값에 기초하여 물리 자극을 감지하는 단계; 상기 획득된 센싱값에 기초하여 상기 감지된 물리 자극을 식별하는 단계; 상기 식별된 물리 자극에 기초하여 상기 동작의 수행을 중지 또는 종료하도록 제어하는 단계; 및 상기 식별된 물리 자극에 대응하는 GUI를 디스플레이를 통해 출력하는 단계를 포함한다.
본 발명의 실시 예에 따르면, 로봇은 터치 센서, 자이로 센서, 터치 스크린 등의 다양한 센서들을 이용하여, 다양한 형태의 물리 자극을 감지 및 식별할 수 있다. 로봇은 식별된 물리 자극에 따른 다양한 감정 상태를 나타냄으로써 사용자와 보다 생동감 있는 인터랙션을 수행할 수 있고, 그 결과 사용자의 로봇 이용에 대한 거부감이 해소될 수 있다.
또한, 로봇은 각종 콘텐츠나 정보의 출력 등과 같은 동작의 수행 중, 상술한 바와 같은 물리 자극을 감지 시 수행 중인 동작을 중지 또는 종료할 수 있다. 즉, 사용자는 로봇의 이용 중 전화 수신이나 도어 벨 울림 등과 같은 긴급한 상황에서 상기 로봇의 동작을 간편하고 신속하게 중지 또는 종료시킬 수 있으므로 사용 편의성이 증대될 수 있다.
뿐만 아니라, 로봇은 물리 자극들 및 동작(기능) 간의 우선 순위에 기초하여 물리 자극의 처리 여부를 결정할 수 있다. 예컨대, 로봇은 사용자의 의도와 관련성이 낮은 물리 자극에 대한 우선 순위를 낮게 설정하여, 해당 물리 자극의 감지 시에는 현재 수행 중인 동작을 지속하도록 제어할 수 있다. 이에 따라, 로봇은 사용자의 의도와 관계없이 동작이 종료됨에 따른 사용자의 불편함을 해소할 수 있다. 또한, 로봇은 다양한 형태의 물리 자극들에 의해 동작이 빈번하게 중지 또는 종료됨에 따른 사용자의 불편함을 해소할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 로봇을 포함하는 AI 장치를 나타낸다.
도 2는 본 발명의 일 실시 예에 따른 로봇과 연결되는 AI 서버를 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 로봇을 포함하는 AI 시스템을 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 로봇의 사시도이다.
도 5는 본 발명의 일 실시 예에 따른 로봇의 제어 구성을 나타내는 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 로봇의 동작 모드들 및 상기 동작 모드의 전환과 관련된 설명을 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 로봇의 제어 동작을 설명하기 위한 플로우차트이다.
도 8 내지 도 12는 본 발명의 실시 예에 따른 로봇이 감지된 물리 자극의 종류에 따른 다양한 인터랙션을 제공하는 동작들을 보여주는 예시도들이다.
도 13은 본 발명의 다른 실시 예에 따른 로봇의 제어 동작을 설명하기 위한 플로우차트이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명한다. 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
도 1은 본 발명의 일 실시 예에 따른 로봇을 포함하는 AI 장치를 나타낸다.
AI 장치(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 데스크탑 컴퓨터, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 1을 참조하면, AI 장치(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170) 및 프로세서(180) 등을 포함할 수 있다.
통신부(110)는 유무선 통신 기술을 이용하여 다른 AI 장치(100a 내지 100e)나 AI 서버(200) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.
이때, 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(130)는 AI 서버(200)의 러닝 프로세서(240)과 함께 AI 프로세싱을 수행할 수 있다.
이때, 러닝 프로세서(130)는 AI 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), AI 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(140)는 다양한 센서들을 이용하여 AI 장치(100) 내부 정보, AI 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력부(150)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
메모리(170)는 AI 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 AI 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(100)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, AI 서버(200)의 러닝 프로세서(240)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 AI 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, AI 서버(200) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, AI 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 2는 본 발명의 일 실시 예에 따른 로봇과 연결되는 AI 서버를 나타낸다.
도 2를 참조하면, AI 서버(200)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(200)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(200)는 AI 장치(100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
AI 서버(200)는 통신부(210), 메모리(230), 러닝 프로세서(240) 및 프로세서(260) 등을 포함할 수 있다.
통신부(210)는 AI 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(230)는 모델 저장부(231)를 포함할 수 있다. 모델 저장부(231)는 러닝 프로세서(240)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231a)을 저장할 수 있다.
러닝 프로세서(240)는 학습 데이터를 이용하여 인공 신경망(231a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(200)에 탑재된 상태에서 이용되거나, AI 장치(100) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(230)에 저장될 수 있다.
프로세서(260)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 로봇을 포함하는 AI 시스템을 나타낸다.
도 3을 참조하면, AI 시스템(1)은 AI 서버(200), 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결된다. 여기서, AI 기술이 적용된 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 등을 AI 장치(100a 내지 100e)라 칭할 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
즉, AI 시스템(1)을 구성하는 각 장치들(100a 내지 100e, 200)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(100a 내지 100e, 200)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(200)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(200)는 AI 시스템(1)을 구성하는 AI 장치들인 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)을 통하여 연결되고, 연결된 AI 장치들(100a 내지 100e)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(100a 내지 100e)에 전송할 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(100a 내지 100e)로 전송할 수 있다.
또는, AI 장치(100a 내지 100e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
이하에서는, 상술한 기술이 적용되는 AI 장치(100a 내지 100e)의 다양한 실시 예들을 설명한다. 여기서, 도 3에 도시된 AI 장치(100a 내지 100e)는 도 1에 도시된 AI 장치(100)의 구체적인 실시 예로 볼 수 있다.
로봇(100a)은 AI 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇 등으로 구현될 수 있다.
로봇(100a)은 동작을 제어하기 위한 로봇 제어 모듈을 포함할 수 있고, 로봇 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다.
로봇(100a)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 로봇(100a)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 사용자 상호작용에 대한 응답을 결정하거나, 동작을 결정할 수 있다.
여기서, 로봇(100a)은 이동 경로 및 주행 계획을 결정하기 위하여, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
로봇(100a)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 로봇(100a)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 동작을 결정할 수 있다. 여기서, 학습 모델은 로봇(100a)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 로봇(100a)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
로봇(100a)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 로봇(100a)을 주행시킬 수 있다.
맵 데이터에는 로봇(100a)이 이동하는 공간에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 벽, 문 등의 고정 객체들과 화분, 책상 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 로봇(100a)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 로봇(100a)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 로봇의 사시도이다.
도 4를 참조하면, 로봇(100a)은 사용자와의 커뮤니케이션이나 인터랙션을 통해 사용자에게 정보 또는 콘텐츠를 제공하거나 특정 행위를 유도하는 등의 동작을 수행하는 커뮤니케이션 로봇에 해당할 수 있다.
예컨대, 로봇(100a)은 가정에 배치되는 홈 로봇일 수 있다. 이러한 홈 로봇은 사용자와의 인터랙션을 통해 사용자에게 각종 정보 또는 콘텐츠를 제공하거나, 가정 내에서 발생하는 이벤트를 모니터링하는 등의 동작을 수행할 수 있다.
상술한 동작의 수행을 위해, 로봇(100a)은 사용자 또는 로봇 주변의 영상을 획득하는 카메라(142), 사용자의 음성 또는 로봇 주변의 소리 등을 획득하는 적어도 하나의 마이크로폰(124; 도 5 참조), 사용자 등의 신체 일부(예컨대 손가락 등)와의 접촉을 감지하는 터치 센서(147), 그래픽 또는 텍스트를 출력하는 디스플레이(152), 음성이나 음향을 출력하는 사운드 출력부(154; 예컨대 스피커), 및 특정 이벤트나 상황에 매핑된 색상이나 패턴의 광을 출력하는 광 출력부(156; 도 5 참조) 등의 입출력 수단을 포함할 수 있다.
로봇(100a)은 내부에 구현된 적어도 하나의 마이크로폰(124)을 통해 로봇 외부의 소리를 원활히 획득하기 위해, 커버(또는 케이스)의 외면에 형성된 적어도 하나의 마이크로폰 홀(125a~125c)을 포함할 수 있다. 마이크로폰 홀(125a~125c) 각각은 어느 하나의 마이크로폰(124)에 대응하는 위치에 형성되고, 마이크로폰(124)은 상기 마이크로폰 홀(125a~125c)을 통해 외부와 연통될 수 있다. 한편, 로봇(100a)은 서로 이격되어 배치된 복수의 마이크로폰들을 포함할 수 있고, 이 경우 로봇(100a)은 상기 복수의 마이크로폰들을 이용하여 소리가 발생한 방향을 감지할 수 있다.
디스플레이(152)는 로봇(100a)으로부터 일 면을 향하도록 배치될 수 있다. 이하, 디스플레이(152)가 향하는 방향을 로봇(100a)의 전방으로 정의한다. 한편, 사운드 출력부(154)는 로봇(100a)의 하부에 배치된 것으로 도시되어 있으나, 사운드 출력부(154)의 위치는 실시 예에 따라 다양하게 변경될 수 있다.
광 출력부(156)는 LED 등의 광원으로 구현되어, 로봇(100a)의 상태나 이벤트 등을 색상이나 출력 패턴의 변화를 통해 나타낼 수 있다. 도 4에서는 로봇(100a)의 양 측면에 배치되는 제1 광 출력부(156a)와, 로봇(100a)의 하부에 배치되는 제2 광 출력부(156b)가 도시되어 있으나, 광 출력부(156)의 수 및 배치 위치는 다양하게 변경될 수 있다.
비록 도시되지는 않았으나, 로봇(100a)은 일 위치에서 다른 위치로 이동하기 위한 이동 수단(주행 수단)을 더 포함할 수도 있다. 예컨대, 상기 이동 수단은 적어도 하나의 휠 및 상기 휠을 회전시키는 모터를 포함할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 로봇의 제어 구성을 나타내는 블록도이다.
도 5를 참조하면, 로봇(100a)은 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 회전 기구(160), 메모리(170), 및 제어부(180)를 포함할 수 있다. 도 5에 도시된 구성들은 설명의 편의를 위한 일례로서, 로봇(100a)은 도 5에 도시된 구성들보다 많거나 적은 구성들을 포함할 수 있다.
한편, 도 1의 AI 장치(100)와 관련된 내용은 본 발명의 로봇(100a)에도 유사하게 적용되는 바, 도 1에서 상술한 내용과 중복되는 내용은 생략한다.
통신부(110)는 로봇(100a)을 네트워크를 통해 서버, 이동 단말기, 다른 로봇 등과 연결하기 위한 통신 모듈들을 포함할 수 있다. 상기 통신 모듈들 각각은 도 1에서 상술한 통신 기술 중 어느 하나를 지원할 수 있다.
예컨대, 로봇(100a)은 공유기 등의 액세스 포인트를 통해 네트워크와 연결될 수 있다. 이에 따라, 로봇(100a)은 입력부(120)나 센싱부(140) 등을 통해 획득되는 각종 정보를, 상기 네트워크를 통해 서버나 이동 단말기로 제공할 수 있다. 상기 서버로 전송되는 정보는 상기 서버에 저장되거나, 상기 서버와 연결된 다른 전자 기기(이동 단말기, 로봇 등)로 전송될 수 있다.
입력부(120)는 다양한 종류의 데이터를 획득하는 적어도 하나의 입력 수단을 포함할 수 있다. 예컨대, 상기 적어도 하나의 입력 수단은 버튼이나 다이얼 등의 물리 입력 수단, 터치 패드나 터치 패널과 같은 터치 입력부(122), 사용자의 음성이나 로봇(100a) 주변의 소리 등을 수신하는 마이크로폰(124) 등을 포함할 수 있다. 사용자는 입력부(120)를 통해 각종 요청이나 명령을 로봇(100a)으로 입력할 수 있다.
한편, 프로세서(182)는 마이크로폰(124)을 통해 수신되는 사용자의 음성 데이터를 상기 통신부(110)를 통해 서버로 전송할 수 있다. 서버는 상기 음성 데이터를 분석하여 상기 음성 데이터 내의 시동어나 명령어, 요청 등을 인식하고, 인식 결과를 로봇(100a)으로 제공할 수 있다. 실시 예에 따라, 상기 서버는 도 2에서 상술한 AI 서버(200)로 구현될 수 있고, 이 경우 서버는 러닝 프로세서(240)을 통해 학습된 모델(인공신경망(231a))을 통해 상기 음성 데이터 내의 시동어, 명령어, 요청 등을 인식할 수 있다. 프로세서(182)는 상기 인식 결과에 기초하여 동작 모드를 전환하거나, 명령어 또는 요청을 처리할 수 있다.
실시 예에 따라, 프로세서(182)는 로봇(100a) 내의 러닝 프로세서(130)에 의해 학습된 모델을 통해, 상기 음성 데이터 내의 시동어, 명령어, 요청 등을 직접 인식할 수도 있다. 또는, 프로세서(182)는 상기 서버로부터 상기 학습된 모델에 대응하는 데이터를 수신하여 메모리(170)에 저장하고, 저장된 데이터를 통해 상기 음성 데이터 내의 시동어, 명령어, 요청 등을 인식할 수도 있다.
센싱부(140)는 로봇(100a) 주변의 다양한 정보를 센싱하는 적어도 하나의 센서를 포함할 수 있다. 예컨대 센싱부(140)는 카메라(142), 근접 센서(144), 조도 센서(146), 터치 센서(147), 및 자이로 센서(자이로스코프; 148) 등의 다양한 센서들을 포함할 수 있다.
카메라(142)는 로봇(100a) 주변의 영상을 획득할 수 있다. 실시 예에 따라, 제어부(180)는 카메라(142)를 통해 사용자의 얼굴을 포함하는 이미지를 획득하여 사용자를 인식하거나, 사용자의 제스쳐나 표정 등을 획득할 수 있다.
근접 센서(144)는 로봇(100a) 주변에 사용자 등의 오브젝트가 접근함을 감지할 수 있다. 예컨대, 근접 센서(144)에 의해 사용자의 접근이 감지되는 경우, 제어부(180)는 출력부(150)를 통해 초기 화면이나 초기 음성을 출력하여 사용자로 하여금 로봇(100a)의 사용을 유도할 수 있다.
조도 센서(146)는 로봇(100a)이 배치된 공간의 밝기를 감지할 수 있다. 제어부(180)는 상기 조도 센서(146)의 감지 결과 및/또는 시간대 정보에 기초한 다양한 동작을 수행하도록 구성들을 제어할 수 있다.
터치 센서(147)는 사용자의 신체 일부가 로봇(100a)의 소정 영역에 접촉됨을 감지할 수 있다. 예컨대, 상기 터치 센서(147)는 로봇(100a)의 헤드부, 구체적으로 디스플레이(152)를 포함하는 얼굴 영역의 상방 또는 후방에 배치될 수 있으나, 반드시 그러한 것은 아니다.
자이로 센서(148)는 로봇(100a)의 회전각이나 기울기 등을 감지할 수 있다. 프로세서(182)는 자이로 센서(148)의 감지 결과에 기초하여 로봇(100a)이 향하는 방향을 인식하거나, 외부로부터의 충격 등을 감지할 수 있다. 예컨대, 자이로 센서(148)는 로봇(100a)의 바디부 내에 구비될 수 있으나, 반드시 그러한 것은 아니다.
출력부(150)는 로봇(100a)의 동작이나 상태, 로봇(100a)에서 실행되는 각종 서비스, 프로그램, 애플리케이션 등과 관련된 각종 정보 또는 콘텐츠를 출력할 수 있다. 또한, 출력부(150)는 사용자와의 인터랙션을 수행하기 위한 각종 메시지나 정보를 출력할 수 있다.
출력부(150)는 디스플레이(152), 사운드 출력부(154), 및 광 출력부(156) 등을 포함할 수 있다.
디스플레이(152)는 상술한 각종 정보나 메시지를 그래픽 형태로 출력할 수 있다. 실시 예에 따라, 디스플레이(152)는 터치 입력부(122)와 함께 터치 스크린 형태로 구현될 수 있고, 이 경우 디스플레이(152)는 출력 수단뿐만 아니라 입력 수단으로서도 기능할 수 있다.
사운드 출력부(154)는 상기 각종 정보나 메시지를 음성이나 음향 형태로 출력할 수 있다. 예컨대, 사운드 출력부(154)는 스피커를 포함할 수 있다.
광 출력부(156)는 LED 등의 광원으로 구현될 수 있다. 프로세서(182)는 광 출력부(156)를 통해 로봇(100a)의 상태 등을 나타낼 수 있다. 실시 예에 따라, 광 출력부(156)는 보조적인 출력 수단으로서 디스플레이(152) 및/또는 사운드 출력부(154)와 함께 각종 정보를 사용자에게 제공할 수도 있다.
회전 기구(160)는 로봇(100a)을 수직 축을 기준으로 회전시키기 위한 구성들(모터 등)을 포함할 수 있다. 제어부(180)는 상기 회전 기구(160)를 제어하여 로봇(100a)을 회전시킴으로써, 로봇(100a)의 디스플레이(152) 및 카메라(142)가 향하는 방향을 변경시킬 수 있다.
실시 예에 따라, 회전 기구(160)는 로봇(100a)을 전후 방향으로 소정 각도 틸팅시키기 위한 구성들을 더 포함할 수도 있다.
메모리(170)는 로봇(100a)에 포함된 구성 요소들의 동작을 제어하기 위한 제어 데이터, 입력부(120)를 통해 획득된 입력이나 센싱부(140)를 통해 획득되는 정보에 기초한 동작을 수행하기 위한 데이터 등의 각종 데이터가 저장될 수 있다.
또한, 메모리(170)에는 제어부(180)에 포함된 적어도 하나의 프로세서나 컨트롤러에 의해 실행되는 소프트웨어 모듈이나 애플리케이션 등의 프로그램 데이터가 저장될 수 있다.
또한, 본 발명의 실시 예에 따른 메모리(170)에는 디스플레이(152)를 통해 로봇(100a)의 감정 표현을 나타내기 위한 GUI(graphic user interface)가 저장될 수 있다.
이러한 메모리(170)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기를 포함할 수 있다.
제어부(180)는 로봇(100a)의 동작을 제어하는 적어도 하나의 프로세서나 컨트롤러 등을 포함할 수 있다. 구체적으로, 제어부(180)는 적어도 하나의 CPU, AP(application processor), 마이크로컴퓨터(또는 마이컴), 집적 회로, ASIC(application specific integrated circuit) 등을 포함할 수 있다.
예컨대, 제어부(180)는 프로세서(182), 이미지 신호 프로세서(image signal processor (ISP); 184), 및 디스플레이 컨트롤러(186) 등을 포함할 수 있다.
프로세서(182)는 로봇(100a)에 포함된 구성들의 전반적인 동작을 제어할 수 있다. ISP(184)는 카메라(142)를 통해 획득되는 이미지 신호를 처리하여 이미지 데이터를 생성할 수 있다. 디스플레이 컨트롤러(186)는 프로세서(182)로부터 제공되는 신호나 데이터에 기초하여 디스플레이(152)의 동작을 제어할 수 있다. 디스플레이(152)는 디스플레이 컨트롤러(186)의 제어에 따라 그래픽 또는 텍스트 등을 출력할 수 있다.
실시 예에 따라, ISP(184) 및/또는 디스플레이 컨트롤러(186)는 프로세서(182)에 포함될 수도 있다. 이 경우, 프로세서(182)는 ISP(184) 및/또는 디스플레이 컨트롤러(186)의 역할까지도 수행하는 통합 프로세서로 구현될 수 있다.
한편, 프로세서(182)는 터치 센서(147), 자이로 센서(148), 및 터치 스크린을 이용하여 다양한 형태의 물리 자극을 감지하고, 감지된 물리 자극에 대응하는 인터랙션을 사용자에게 제공할 수 있다.
실시 예에 따라, 프로세서(182)는 상기 물리 자극이 감지됨에 따라, 현재 수행 중인 동작(콘텐츠 출력 등)을 중지(종료)할 수 있다. 즉, 사용자는 로봇(100a)에 간단한 물리 자극을 가함으로써 로봇(100a)의 동작을 손쉽게 중지 또는 종료시킬 수 있다. 이는 사용자가 긴급한 상황(전화 수신, 도어 벨 울림 등)에서 로봇(100a)의 동작을 신속하고 간편하게 중지 또는 종료시킬 수 있는 장점이 있다.
한편, 프로세서(182)는 상기 터치 센서(147), 자이로 센서(148), 및 터치 스크린 각각의 센싱값을 통신부(110)를 통해 서버로 전송할 수 있다. 서버는 상기 에 센싱값들을 분석하여 상기 센싱값들에 대응하는 물리 자극을 인식하고, 인식 결과를 로봇(100a)으로 제공할 수 있다. 실시 예에 따라, 상기 서버는 도 2에서 상술한 AI 서버(200)로 구현될 수 있고, 이 경우 서버는 러닝 프로세서(240)를 통해 학습된 모델(인공신경망(231a))을 통해 상기 센싱값들에 대응하는 물리 자극을 인식할 수 있다.
또는, 프로세서(182)는 로봇(100a) 내의 러닝 프로세서(130)에 의해 학습된 모델을 통해, 상기 센싱값들에 대응하는 물리 자극을 직접 인식할 수도 있다. 또는, 프로세서(182)는 상기 서버로부터 상기 학습된 모델에 대응하는 데이터를 수신하여 메모리(170)에 저장하고, 저장된 데이터를 통해 상기 센싱값들에 대응하는 물리 자극을 인식할 수도 있다.
프로세서(182)는 상기 물리 자극의 감지 시 상기 수행 중인 동작을 중지 또는 종료하고, 동작 모드를 특정 모드(사용자 집중 모드)로 전환할 수 있다. 이와 관련하여, 본 발명의 실시 예에 따른 로봇(100a)이 제공하는 동작 모드들에 대해 이하 도 6을 참조하여 간략히 설명한다.
도 6은 본 발명의 일 실시 예에 따른 로봇의 동작 모드들 및 상기 동작 모드의 전환과 관련된 설명을 위한 도면이다.
도 6을 참조하면, 로봇(100a)은 스크린 오프 모드, 주위 환경 집중 모드, 사용자 집중 모드, 사용자 대화 모드, 및 콘텐츠 제공 모드를 통해 다양한 동작 수행 및 기능 제공이 가능할 수 있다.
각 동작 모드에 대해 간략히 설명하면, 스크린 오프 모드는 일종의 대기 모드로서 카메라(142) 및 디스플레이(152)가 오프될 수 있다. 다만, 사용자의 음성(시동어, 명령 등을 포함)을 수신하거나 주변의 소리를 감지하기 위해, 마이크로폰(124)은 온 상태를 유지할 수 있다.
주위 환경 집중 모드는, 마이크로폰(124) 및 카메라(142)를 이용하여 주변의 청각적 정보 및 시각적 정보를 인식하는 모드일 수 있다. 예컨대, 주위 환경 집중 모드에서, 제어부(180)는 사용자의 상기 음성을 수신하거나, 사용자의 이미지를 획득할 수 있다. 또한, 제어부(180)는 디스플레이(152)를 온 시켜 정보를 출력하거나 로봇(100a)의 감정 표현을 위한 GUI를 출력할 수 있다.
사용자 집중 모드는, 카메라(142)에 의해 사용자(사람)이 인식된 상태에서, 카메라(142)를 이용하여 상기 인식된 사용자를 트래킹함으로써, 사용자에게 집중하는 것과 같은 사용자 경험을 제공하는 모드일 수 있다. 제어부(180)는 카메라(142)를 통해 영상을 지속적으로 획득하여 사용자의 위치(얼굴 위치 등)를 인식하고, 로봇(100a)의 정면이 상기 인식된 위치를 향하도록 회전 기구(160)를 제어할 수 있다. 또한, 제어부(180)는 마이크로폰(124)을 온 상태로 유지하고, 디스플레이(152)를 통해 정보를 출력하거나 로봇(100a)의 감정 표현을 위한 GUI를 출력할 수 있다.
사용자 대화 모드는, 사용자로부터 명령이나 요청을 수신하고, 수신된 명령이나 요청을 처리하거나 상기 명령이나 요청에 기초하여 사용자와의 인터랙션을 위한 모드일 수 있다. 예컨대, 마이크로폰(124)을 통해 수신된 음성으로부터 시동어와 명령어(또는 소정 요청)가 인식되면, 제어부(180)는 디스플레이(152)나 사운드 출력부(154) 등을 통해 상기 명령어 또는 요청에 기초한 인터랙션을 제공할 수 있다. 또한, 제어부(180)는 카메라(142)를 통해 획득된 영상에 기초하여 사용자를 트래킹할 수 있다. 또한, 제어부(180)는 디스플레이(152)를 통해 로봇(100a)의 감정 표현을 위한 GUI를 출력할 수 있다.
콘텐츠 제공 모드는, 디스플레이(152)나 사운드 출력부(154) 등을 통해 각종 콘텐츠를 제공하는 모드일 수 있다. 상기 콘텐츠 제공 모드는 콘텐츠와 관련된 별도의 애플리케이션이 실행된 모드로서, 카메라(142)나 마이크로폰(124) 등을 이용하여 기 제공되는 기능들(사용자 트래킹, 시동어 인식 등)은 상기 애플리케이션 내에 적용된 경우에 제공될 수 있다.
또한, 로봇(100a)은 특정 조건에 따라 상기 모드들 간의 전환을 수행할 수 있다. 각 모드들 간의 전환과 관련된 일부 예들은 다음과 같으나, 이에 한정되는 것은 아니다.
(1) 스크린 오프 모드로부터 주위 환경 집중 모드로 전환: 마이크로폰(124)을 통해 소정 레벨 이상의 사운드 신호(음성, 음향 등)가 획득되는 경우
(2) 주위 환경 집중 모드로부터 스크린 오프 모드로 전환: 마이크로폰(124)을 통해 소정 시간동안 소정 레벨 이상의 사운드 신호가 획득되지 않고, 카메라(142)를 통해 획득되는 영상으로부터 이벤트나 상황이 감지되지 않는 경우
(3) 주위 환경 집중 모드로부터 사용자 집중 모드로 전환: 카메라(142)를 통해 획득되는 영상으로부터 사용자(사람)가 감지되거나, 터치 입력부(122), 터치 센서, 자이로 센서 등을 통해 물리적 자극(터치, 흔들림, 외부 충격 등)이 감지되는 경우
(4) 사용자 집중 모드로부터 주위 환경 집중 모드로 전환: 카메라(142)를 통해 획득되는 영상으로부터 사용자(사람)가 더 이상 감지되지 않는 경우, 소정 시간동안 입력부(120)를 통해 별도의 입력이 수신되지 않는 경우
(5) 사용자 대화 모드로부터 사용자 집중 모드로 전환: 인식된 명령어(또는 요청)에 따른 인터랙션(발화, 정보 표시 등)의 수행이 종료된 경우
(6) 사용자 집중 모드로부터 사용자 대화 모드로 전환: 마이크로폰(124)을 통해 획득된 음성에 시동어가 포함된 경우(또는 시동어 및 명령어가 포함된 경우)
(7) 주위 환경 집중 모드로부터 사용자 대화 모드로 전환: 마이크로폰(124)을 통해 획득된 음성에 시동어가 포함된 경우(또는 시동어 및 명령어가 포함된 경우)
(8) 스크린 오프 모드로부터 사용자 대화 모드로 전환: 마이크로폰(124)을 통해 획득된 음성에 시동어가 포함된 경우(또는 시동어 및 명령어가 포함된 경우)
(9) 사용자 대화 모드로부터 스크린 오프 모드로 전환: 디스플레이(152)를 오프시키는 명령이나 입력이 수신된 경우
(10) 사용자 대화 모드로부터 콘텐츠 제공 모드로 전환: 명령어나 입력에 의해 별도의 애플리케이션이 실행되는 경우
(11) 콘텐츠 제공 모드로부터 사용자 대화 모드로 전환: 실행된 별도의 애플리케이션이 종료된 경우
실시 예에 따라, 콘텐츠 제공 모드는 사용자 대화 모드뿐만 아니라 다른 모드와 전환될 수도 있다.
또한, 본 발명의 실시 예에 따르면, 프로세서(182)는 스크린 오프 모드를 제외한 다른 동작 모드에서 소정 동작의 수행 중 터치 센서(147), 자이로 센서(148), 및 터치 스크린 중 적어도 하나를 통해 물리 자극이 감지되면, 감지된 물리 자극에 기초한 인터랙션을 제공하고 상기 동작 모드를 사용자 집중 모드로 전환할 수 있다. 이에 따르면, 사용자로부터의 물리 자극에 따른 인터랙션을 제공하고 사용자 집중 모드에 따라 사용자를 트래킹하는 보다 생동감 있는 로봇의 구현이 가능할 수 있다. 이와 관련된 다양한 실시 예들에 대해 이하 도 7 내지 도 13을 참조하여 구체적으로 설명한다.
도 7은 본 발명의 실시 예에 따른 로봇의 제어 동작을 설명하기 위한 플로우차트이다.
도 7을 참조하면, 로봇(100a)은 현재 동작 모드나, 입력부(120) 등을 통해 수신된 입력에 기초하여 소정 동작을 수행할 수 있다(S100).
스크린 오프 모드는 대기 모드로서 로봇(100a)이 동작을 수행하지 않는 모드인 바, 상기 동작의 수행 중 로봇(100a)의 동작 모드는 스크린 오프 모드를 제외한 모드들 중 어느 하나에 해당할 수 있다.
예컨대 로봇(100a)의 동작 모드가 주위 환경 집중 모드, 사용자 집중 모드, 및 사용자 대화 모드인 경우에는, 프로세서(182)는 디스플레이(152)를 통해 로봇(100a)의 감정 상태를 나타내는 GUI를 출력하는 동작 등을 수행할 수 있다. 한편, 로봇(100a)의 동작 모드가 콘텐츠 제공 모드인 경우, 프로세서(182)는 디스플레이(152)를 통해 콘텐츠와 관련된 화면(영상, 텍스트, 웹사이트 화면 등)을 출력하는 동작 등을 수행할 수 있다.
로봇(100a)은 상기 소정 동작의 수행 중 사용자 등에 의해 로봇(100a)에 가해지는 물리 자극을 감지할 수 있다(S110).
예컨대, 상기 물리 자극은 로봇(100a)의 헤드부에 대한 숏 터치, 롱 터치(쓰다듬는 행위 등), 디스플레이(152)에 대한 터치, 본체부에 대한 터치, 로봇(100a)을 흔들거나 회전시키는 행위 등의 다양한 형태의 물리 자극을 포함할 수 있다.
프로세서(182)는 터치 센서(147), 자이로 센서(148), 및 터치 스크린 중 적어도 하나의 센싱값 변화에 기초하여 상기 물리 자극이 가해짐을 감지할 수 있다.
또한, 프로세서(182)는 상기 터치 센서(147), 자이로 센서(148), 및 터치 스크린 중 적어도 하나의 센싱값 특성에 기초하여, 로봇(100a)에 가해진 물리 자극의 종류를 식별할 수 있다.
로봇(100a)은 상기 물리 자극에 응답하여, 현재 수행 중인 동작을 중지할 수 있다(S120).
프로세서(182)는 상기 터치 센서(147), 자이로 센서(148), 및 터치 스크린 중 적어도 하나의 센싱값 특성에 따라 물리 자극의 종류가 식별되면, 현재 수행 중인 동작을 중지 또는 종료할 수 있다.
한편, 상기 센싱값 특성에 따른 물리 자극의 종류가 식별되지 않는 경우에는, 프로세서(182)는 현재 수행 중인 동작을 지속 수행할 수 있다.
로봇(100a)은 상기 감지된 물리 자극에 기초한 인터랙션을 제공하고(S130), 동작 모드를 사용자 집중 모드로 전환할 수 있다(S140).
예컨대, 메모리(170)에는 물리 자극들 각각에 대응하는 감정 상태에 대한 정보가 저장될 수 있다. 또한, 메모리(170)에는 감정 상태 각각에 대응하는 GUI, 음성 데이터가 저장될 수 있다.
프로세서(182)는 메모리(170)에 저장된 정보에 기초하여, 상기 식별된 물리 자극에 대응하는 감정 상태를 인식할 수 있다.
프로세서(182)는 인식된 감정 상태에 대응하는 GUI를 상기 메모리(170)로부터 로드하고, 로드된 GUI를 디스플레이(152)를 통해 표시함으로써, 상기 물리 자극에 기초한 인터랙션을 제공할 수 있다.
실시 예에 따라, 프로세서(182)는 상기 인식된 감정 상태에 대응하는 음성 데이터를 상기 메모리(170)로부터 로드하고, 로드된 음성 데이터를 사운드 출력부(예컨대 스피커; 154)를 통해 출력할 수 있다.
실시 예에 따라, 프로세서(182)는 광 출력부(156a, 156b)를 통해 특정 색상 또는 패턴의 광을 더 출력할 수도 있다.
실시 예에 따라, 프로세서(182)는 회전 기구(160)를 제어하여 로봇(100a)을 움직임으로써, 상기 감정 상태에 기초한 모션을 더 제공할 수도 있다.
또한, 프로세서(182)는 로봇(100a)의 동작 모드를 사용자 집중 모드로 전환할 수 있다. 상기 동작 모드가 사용자 집중 모드로 전환됨에 따라, 로봇(100a)은 상술한 바와 같이 사용자에 대한 트래킹을 수행하면서, 사용자에게 로봇(100a)이 사용자에게 집중하고 있는 것과 같은 사용자 경험을 제공할 수 있다.
이하 도 8 내지 도 12를 참조하여, 로봇(100a)이 물리 자극에 따라 제공하는 다양한 인터랙션에 대한 예들을 설명한다.
도 8 내지 도 12는 본 발명의 실시 예에 따른 로봇이 감지된 물리 자극의 종류에 따른 다양한 인터랙션을 제공하는 동작들을 보여주는 예시도들이다.
도 8의 (a) 내지 (c)를 참조하면, 로봇(100a)은 디스플레이(152)를 통해 영상 콘텐츠(810)를 제공 중일 수 있다. 이 경우, 로봇(100a)의 동작 모드는 콘텐츠 제공 모드일 수 있다.
사용자(800)는 로봇(100a)의 헤드부를 기준 시간 이내의 시간동안 터치할 수 있다. 상기 기준 시간은 숏 터치와 롱 터치를 구분하기 위해 설정된 시간일 수 있다. 헤드부에 구비된 터치 센서(147)는, 상기 사용자(800)의 터치 행위를 감지할 수 있다. 예컨대, 상기 터치 센서(147)에 의해 획득되는 센싱값은 상기 사용자(800)의 터치 행위 동안 변화할 수 있다.
반면, 자이로 센서(148)의 센싱값은 변화하지 않거나 기준값 이내로 변화할 수 있고, 터치 스크린의 센싱값 또한 변화하지 않을 수 있다.
프로세서(182)는 상기 터치 센서(147), 자이로 센서(148), 및 터치 스크린 각각으로부터 센싱값을 획득할 수 있다. 프로세서(182)는 획득된 센싱값에 기초하여 터치 센서(147)의 센싱값만이 기준 시간 이내의 시간 동안 변화하였음을 확인할 수 있다. 이 경우, 프로세서(182)는 로봇(100a)의 헤드부에 숏 터치 형태의 물리 자극이 가해졌음을 감지할 수 있다.
프로세서(182)는 메모리(170)로부터, 상기 숏 터치 형태의 물리 자극에 대응하는 감정 상태에 대한 정보, 또는 상기 감정 상태에 대응하는 GUI를 로드할 수 있다. 예컨대, 상기 숏 터치 형태의 물리 자극에 대응하는 감정 상태는 “놀람”일 수 있고, 상기 GUI는 “놀람”에 대응하는 GUI로서 기본 표정에 비해 눈의 크기가 증가한 GUI일 수 있다.
프로세서(182)는 감지 결과에 기초하여 영상 콘텐츠(810)의 제공을 종료(또는 중지)하고, 상기 로드된 GUI(820)를 디스플레이(152)를 통해 출력할 수 있다. 즉, 로봇(100a)은 헤드부를 터치하는 간단한 행위에 응답하여 영상 콘텐츠(810)의 제공을 종료할 수 있는 바, 로봇(100a)의 조작에 대한 사용자의 편의성을 증대시킬 수 있다.
로봇(100a)은 상기 GUI(820)를 출력함으로써, 로봇(100a)이 사용자(800)의 헤드부 터치에 의해 놀란 상태인 것과 같은 느낌(사용자 경험)을 사용자(800)에게 제공할 수 있다.
실시 예에 따라, 프로세서(182)는 상기 감정 상태(놀람)에 대응하는 음성 데이터(821)를 사운드 출력부(154)를 통해 출력할 수 있다.
실시 예에 따라, 프로세서(182)는 상기 감정 상태(놀람)에 대응하는 색상 또는 패턴의 광을 출력하도록 광 출력부(156)를 제어할 수 있다.
그리고, 프로세서(182)는 로봇(100a)의 동작 모드를 사용자 집중 모드로 전환할 수 있다. 프로세서(182)는 카메라(142)나 마이크로폰(124) 등을 이용하여 사용자의 존재를 감지하고, 카메라(142)를 통해 획득된 영상에 기초하여 사용자를 트래킹할 수 있다. 또한, 프로세서(182)는 상기 사용자 집중 모드에서, 입력부(120)를 통해 소정 입력이 수신되거나 센싱부(140)를 통해 특정 이벤트 등이 감지되기 전까지는, 기본 감정 상태에 대응하는 GUI(830)를 디스플레이(152)를 통해 출력할 수 있다.
도 9의 (a) 내지 (c)를 참조하면, 로봇(100a)은 도 8과 마찬가지로 콘텐츠 제공 모드에서 디스플레이(152)를 통해 영상 콘텐츠(910)를 제공 중일 수 있다.
예컨대, 사용자(900)는 로봇(100a)의 헤드부를 쓰다듬는 행위를 수행할 수 있다. 이 경우, 터치 센서(147)는 기준 시간보다 긴 시간 동안의 터치 행위(롱 터치)를 감지할 수 있다. 따라서, 상기 터치 센서(147)에 의해 획득되는 센싱값은 상기 기준 시간보다 긴 시간 동안 변화할 수 있다.
반면, 자이로 센서(148)의 센싱값은 변화하지 않거나 기준값 이내로 변화할 수 있고, 터치 스크린의 센싱값 또한 변화하지 않을 수 있다.
프로세서(182)는 상기 터치 센서(147), 자이로 센서(148), 및 터치 스크린 각각으로부터 센싱값을 획득할 수 있다. 프로세서(182)는 획득된 센싱값에 기초하여 터치 센서(147)의 센싱값만이 기준 시간보다 긴 시간 동안 변화하였음을 확인할 수 있다. 이 경우, 프로세서(182)는 사용자가 로봇(100a)의 헤드부를 쓰다듬음에 대응하는 물리 자극이 가해졌음을 감지할 수 있다.
프로세서(182)는 메모리(170)로부터, 상기 쓰다듬음(또는 롱 터치)에 대응하는 감정 상태에 대한 정보, 또는 상기 감정 상태에 대응하는 GUI를 로드할 수 있다. 예컨대, 상기 쓰다듬음(또는 롱 터치)에 대응하는 감정 상태는 “즐거움”일 수 있고, 상기 GUI는 “즐거움”에 대응하는 GUI로서 눈웃음을 나타내는 GUI일 수 있다.
프로세서(182)는 감지 결과에 기초하여 영상 콘텐츠(910)의 제공을 종료(또는 중지)하고, 상기 로드된 GUI(920)를 디스플레이(152)를 통해 출력할 수 있다. 즉, 로봇(100a)은 헤드부를 쓰다듬는 간단한 행위에 응답하여 영상 콘텐츠(910)의 제공을 종료할 수 있는 바, 로봇(100a)의 조작에 대한 사용자의 편의성을 증대시킬 수 있다.
로봇(100a)은 상기 GUI(920)를 출력함으로써, 로봇(100a)이 사용자(900)가 헤드부를 쓰다듬는 행위에 의해 즐거운 상태인 것과 같은 느낌(사용자 경험)을 사용자(900)에게 제공할 수 있다.
실시 예에 따라, 프로세서(182)는 상기 감정 상태(즐거움)에 대응하는 음성 데이터(921)를 사운드 출력부(154)를 통해 출력할 수 있다.
실시 예에 따라, 프로세서(182)는 상기 감정 상태(즐거움)에 대응하는 색상 또는 패턴의 광을 출력하도록 광 출력부(156)를 제어할 수 있다.
그리고, 프로세서(182)는 로봇(100a)의 동작 모드를 사용자 집중 모드로 전환할 수 있다. 프로세서(182)는 카메라(142)나 마이크로폰(124) 등을 이용하여 사용자의 존재를 감지하고, 카메라(142)를 통해 획득된 영상에 기초하여 사용자를 트래킹할 수 있다. 또한, 프로세서(182)는 상기 사용자 집중 모드에서, 입력부(120)를 통해 소정 입력이 수신되거나 센싱부(140)를 통해 특정 이벤트 등이 감지되기 전까지는, 기본 감정 상태에 대응하는 GUI(930)를 디스플레이(152)를 통해 출력할 수 있다.
한편, 도 10의 (a) 내지 (c)를 참조하면, 로봇(100a)은 동일한 형태의 물리 자극이 소정 횟수 이상 반복되는 경우, 상기 물리 자극이 1회 식별되었을 때와는 다른 감정 상태를 나타낼 수도 있다.
예컨대, 사용자(1000)는 로봇(100a)의 헤드부를 쓰다듬는 행위를 2회 이상 반복 수행할 수 있다. 이 경우, 프로세서(182)는 터치 센서(147)의 센싱값에 기초하여, 사용자가 로봇(100a)의 헤드부를 쓰다듬음에 대응하는 물리 자극이 2회 이상 가해졌음을 감지할 수 있다.
프로세서(182)는 메모리(170)로부터, 상기 쓰다듬음(또는 롱 터치)이 2회 이상 반복됨에 대응하는 감정 상태에 대한 정보, 또는 상기 감정 상태에 대응하는 GUI를 로드할 수 있다. 예컨대, 상기 쓰다듬음(또는 롱 터치)이 2회 이상 반복됨에 대응하는 감정 상태는 “사랑”일 수 있고, 상기 GUI는 “사랑”에 대응하는 GUI로서 하트 모양의 눈을 나타내는 GUI일 수 있다.
프로세서(182)는 감지 결과에 기초하여 영상 콘텐츠(1010)의 제공을 종료(또는 중지)하고, 상기 로드된 GUI(1020)를 디스플레이(152)를 통해 출력할 수 있다.
실시 예에 따라, 프로세서(182)는 상기 감정 상태(사랑)에 대응하는 음성 데이터(1021)를 사운드 출력부(154)를 통해 출력할 수 있다.
실시 예에 따라, 프로세서(182)는 상기 감정 상태(사랑)에 대응하는 색상 또는 패턴의 광을 출력하도록 광 출력부(156)를 제어할 수 있다.
즉, 로봇(100a)은 특정 형태의 물리 자극이 소정 횟수 이상 반복됨이 감지되면, 상기 물리 자극의 횟수에 따라 서로 다른 감정 상태를 나타냄으로써, 보다 생동감있는 로봇의 구현이 가능할 수 있다.
그리고, 프로세서(182)는 로봇(100a)의 동작 모드를 사용자 집중 모드로 전환할 수 있다. 프로세서(182)는 카메라(142)나 마이크로폰(124) 등을 이용하여 사용자의 존재를 감지하고, 카메라(142)를 통해 획득된 영상에 기초하여 사용자를 트래킹할 수 있다. 또한, 프로세서(182)는 상기 사용자 집중 모드에서, 입력부(120)를 통해 소정 입력이 수신되거나 센싱부(140)를 통해 특정 이벤트 등이 감지되기 전까지는, 기본 감정 상태에 대응하는 GUI(1030)를 디스플레이(152)를 통해 출력할 수 있다.
도 11의 (a) 내지 (c)를 참조하면, 로봇(100a)은 도 8과 마찬가지로 콘텐츠 제공 모드에서 디스플레이(152)를 통해 영상 콘텐츠(1110)를 제공 중일 수 있다.
사용자(1100)는 로봇(100a)의 바디부를 소정 방향으로 미는 행위를 수행할 수 있다. 로봇(100a)은 사용자의 물리 자극에 의해 상기 소정 방향으로 기울어지거나, 소정 거리만큼 움직일 수 있다. 이 때, 바디부 내에 구비된 자이로 센서(148)는, 상기 사용자(1100)의 행위에 의한 기울어짐 각도 또는 움직임 거리 등에 따라 변화하는 센싱값을 획득할 수 있다.
반면, 터치 센서(147)의 센싱값은 변화하지 않거나 기준값 이내로 변화할 수 있고, 터치 스크린의 센싱값 또한 변화하지 않을 수 있다.
프로세서(182)는 상기 터치 센서(147), 자이로 센서(148), 및 터치 스크린 각각으로부터 센싱값을 획득할 수 있다. 프로세서(182)는 획득된 센싱값에 기초하여 자이로 센서(148)의 센싱값만이 기준 시간 이내의 시간 동안 변화하였음을 확인할 수 있다. 프로세서(182)는 자이로 센서(148)의 센싱값에 기초하여 로봇(100a)이 소정 방향으로 기울어지거나 움직였음을 인식함으로써, 사용자가 로봇(100a)을 소정 방향으로 푸시(push)하는 형태의 물리 자극이 가해졌음을 감지할 수 있다.
프로세서(182)는 메모리(170)로부터, 상기 푸시 형태의 물리 자극에 대응하는 감정 상태에 대한 정보, 또는 상기 감정 상태에 대응하는 GUI를 로드할 수 있다. 예컨대, 상기 푸시 형태의 물리 자극에 대응하는 감정 상태는 “나쁨”일 수 있고, 상기 GUI는 “나쁨”에 대응하는 GUI일 수 있다. 도시되지는 않았으나, 상기 물리 자극이 소정 횟수 이상 반복될 경우, 이에 대응하는 감정 상태는 “슬픔”일 수 있다.
프로세서(182)는 감지 결과에 기초하여 영상 콘텐츠(1110)의 제공을 종료(또는 중지)하고, 상기 로드된 GUI(1120)를 디스플레이(152)를 통해 출력할 수 있다. 즉, 로봇(100a)은 바디부를 푸시하는 간단한 행위에 응답하여 영상 콘텐츠(1110)의 제공을 종료할 수 있는 바, 로봇(100a)의 조작에 대한 사용자의 편의성을 증대시킬 수 있다.
또한, 로봇(100a)은 상기 GUI(1120)를 출력함으로써, 로봇(100a)이 사용자(1100)의 바디부 푸시 행위에 의해 기분 나쁜 상태인 것과 같은 느낌(사용자 경험)을 사용자(1100)에게 제공할 수 있다.
실시 예에 따라, 프로세서(182)는 상기 감정 상태에 대응하는 음성 데이터(1121)를 사운드 출력부(154)를 통해 출력할 수 있다.
실시 예에 따라, 프로세서(182)는 상기 감정 상태에 대응하는 색상 또는 패턴의 광을 출력하도록 광 출력부(156)를 제어할 수 있다.
그리고, 프로세서(182)는 로봇(100a)의 동작 모드를 사용자 집중 모드로 전환할 수 있다. 프로세서(182)는 카메라(142)나 마이크로폰(124) 등을 이용하여 사용자의 존재를 감지하고, 카메라(142)를 통해 획득된 영상에 기초하여 사용자를 트래킹할 수 있다. 또한, 프로세서(182)는 상기 사용자 집중 모드에서, 입력부(120)를 통해 소정 입력이 수신되거나 센싱부(140)를 통해 특정 이벤트 등이 감지되기 전까지는, 기본 감정 상태에 대응하는 GUI(1130)를 디스플레이(152)를 통해 출력할 수 있다.
도 12의 (a) 내지 (c)를 참조하면, 로봇(100a)은 이전 실시 예들과는 달리 디스플레이(152)에 별도의 콘텐츠나 정보를 제공하지 않는 상태일 수 있다. 이 경우 로봇(100a)의 동작 모드는 주위 환경 집중 모드 또는 사용자 집중 모드일 수 있다. 상기 모드에서, 로봇(100a)은 입력부(120)를 통해 소정 입력이 수신되거나 센싱부(140)를 통해 특정 이벤트 등이 감지되지 않는 상태에서는 기본 감정 상태에 대응하는 GUI(1210)를 디스플레이(152)를 통해 출력할 수 있다.
사용자(1200)는 로봇(100a)의 디스플레이(152)의 소정 영역을 터치하는 행위를 수행할 수 있다. 디스플레이(152)가 터치 입력부(122)를 포함하는 터치 스크린으로 구현된 경우, 상기 터치 스크린은 사용자(1200)의 터치 행위를 감지할 수 있다. 예컨대, 터치 스크린에 의해 획득되는 센싱값은 상기 사용자(1200)의 터치 행위 동안 변화할 수 있다.
반면, 터치 센서(147) 및 자이로 센서(148)의 센싱값은 변화하지 않거나 기준값 이내로 변화할 수 있다.
프로세서(182)는 상기 터치 센서(147), 자이로 센서(148), 및 터치 스크린 각각으로부터 센싱값을 획득할 수 있다. 프로세서(182)는 획득된 센싱값에 기초하여 터치 스크린의 센싱값만이 변화하였음을 확인함으로써, 로봇(100a)의 얼굴(터치 스크린)에 터치 형태의 물리 자극이 가해졌음을 감지할 수 있다.
프로세서(182)는 메모리(170)로부터, 얼굴에 가해진 터치 형태의 물리 자극에 대응하는 감정 상태에 대한 정보, 또는 상기 감정 상태에 대응하는 GUI를 로드할 수 있다. 예컨대, 상기 물리 자극에 대응하는 감정 상태는 “짜증”일 수 있고, 상기 GUI는 “짜증”에 대응하는 GUI일 수 있다.
프로세서(182)는 감지 결과에 기초하여, 기본 표정에 대응하는 GUI(1210) 대신 상기 로드된 GUI(1220)를 디스플레이(152)를 통해 출력할 수 있다.
즉, 로봇(100a)은 상기 GUI(1220)를 출력함으로써, 사용자(1200)가 로봇(100a)의 얼굴을 터치하는 행위에 의해 로봇(100a)이 짜증난 상태인 것과 같은 느낌(사용자 경험)을 사용자(1200)에게 제공할 수 있다.
실시 예에 따라, 프로세서(182)는 상기 감정 상태에 대응하는 음성 데이터(1221)를 사운드 출력부(154)를 통해 출력할 수 있다. 실시 예에 따라, 프로세서(182)는 상기 감정 상태에 대응하는 색상 또는 패턴의 광을 출력하도록 광 출력부(156)를 제어할 수 있다.
그리고, 프로세서(182)는 로봇(100a)의 동작 모드를 사용자 집중 모드로 전환할 수 있다. 프로세서(182)는 카메라(142)나 마이크로폰(124) 등을 이용하여 사용자의 존재를 감지하고, 카메라(142)를 통해 획득된 영상에 기초하여 사용자를 트래킹할 수 있다. 또한, 프로세서(182)는 상기 사용자 집중 모드에서, 입력부(120)를 통해 소정 입력이 수신되거나 센싱부(140)를 통해 특정 이벤트 등이 감지되기 전까지는, 기본 감정 상태에 대응하는 GUI(1230)를 디스플레이(152)를 통해 출력할 수 있다.
즉, 도 7 내지 도 12에 도시된 실시 예에 따르면, 로봇(100a)은 터치 센서(147), 자이로 센서(148), 터치 스크린 등의 다양한 센서들을 이용하여, 다양한 형태의 물리 자극을 감지 및 식별할 수 있다. 로봇(100a)은 식별된 물리 자극에 따른 다양한 감정 상태를 나타냄으로써 사용자와 보다 생동감 있는 인터랙션을 수행할 수 있다.
한편, 도 7 내지 도 12에서는 터치 센서(147), 자이로 센서(148), 및 터치 스크린 중 어느 하나의 센싱값 변화에 따라 물리 자극을 감지 및 식별하는 예들만이 도시되어 있다. 그러나, 로봇(100a)은 상기 센서들 중 둘 이상의 센싱값이 변화함에 따라, 변화한 센싱값들의 특성에 대응하는 물리 자극을 감지 및 식별할 수도 있다.
또한, 로봇(100a)은 각종 콘텐츠나 정보의 출력 등과 같은 동작의 수행 중, 상술한 바와 같은 물리 자극을 감지 시 수행 중인 동작을 중지 또는 종료할 수 있다. 즉, 사용자는 로봇(100a)의 이용 중 전화 수신이나 도어 벨 울림 등과 같은 긴급한 상황에서 상기 로봇(100a)의 동작을 간편하고 신속하게 중지 또는 종료시킬 수 있는 바 사용 편의성이 증대될 수 있다.
도 13은 본 발명의 다른 실시 예에 따른 로봇의 제어 동작을 설명하기 위한 플로우차트이다.
도 13을 참조하면, S200 단계 내지 S210 단계는 도 7의 S100 단계 및 S110 단계와 실질적으로 동일한 바, 이에 대한 설명은 생략하기로 한다.
로봇(100a)은 감지된 물리 자극에 대한 우선 순위를 확인할 수 있다(S220).
프로세서(182)는 감지 및 식별된 물리 자극에 대한 우선 순위를 확인할 수 있다.
예컨대, 메모리(170)에는, 물리 자극의 종류별 우선 순위에 대한 정보가 저장될 수 있다.
상기 물리 자극의 종류별 우선 순위에 대한 정보는, 물리 자극들 간의 우선 순위를 포함할 수 있다. 예컨대, 로봇(100a)에 가해진 물리 자극에 따라 상기 터치 센서(147), 자이로 센서(148), 및 터치 스크린 중 적어도 하나로부터 획득되는 센싱값의 특성이 복수의 물리 자극들과 관련되는 경우가 발생할 수 있다. 이 경우, 프로세서(182)는 상기 물리 자극들 간의 우선 순위에 기초하여, 상기 관련된 복수의 물리 자극들 중 우선 순위가 가장 높은 물리 자극을 상기 로봇(100a)에 가해진 물리 자극으로 식별할 수 있다. 일례로, 터치 센서(147)의 숏 터치에 대한 우선 순위는, 터치 센서(147)의 롱 터치(쓰다듬음 등)에 대한 우선 순위보다 높을 수 있으나, 반드시 그러한 것은 아니다.
뿐만 아니라, 상기 물리 자극의 종류별 우선 순위에 대한 정보는, 로봇(100a)이 수행 가능한 다양한 동작들(기능들)과 상기 물리 자극들 간의 우선 순위에 대한 정보, 및/또는 로봇(100a)의 동작 모드들과 상기 물리 자극들 간의 우선 순위에 대한 정보까지도 포함할 수 있다. 이에 기초하면, 로봇(100a)은 식별된 물리 자극과 현재 수행 중인 동작 간의 우선 순위에 따라, 상기 물리 자극에 따른 인터랙션을 제공하거나 상기 수행 중인 동작을 지속 수행할 수 있다.
한편, 상기 물리 자극의 종류별 우선 순위에 대한 정보는 제품 출고 시 기설정된 것일 수 있으나, 실시 예에 따라서는 사용자 등에 의해 설정 및 변경될 수도 있다.
감지된 물리 자극의 우선 순위가 현재 수행 중인 동작의 우선 순위보다 높은 경우(S230의 YES), 로봇(100a)은 현재 수행 중인 동작을 중지(종료)하고(S240), 감지된 물리 자극에 기초한 인터랙션을 제공하며(S250), 동작 모드를 사용자 집중 모드로 전환할 수 있다(S260).
S240 단계 내지 S260 단계는 도 7에서 상술한 S120 단계 내지 S140 단계와 실질적으로 동일할 수 있다.
예컨대, 프로세서(182)는 디스플레이(152)를 통해 영상을 출력하는 도중, 터치 센서(147)를 통해 터치 형태의 물리 자극을 감지할 수 있다. 프로세서(182)는 메모리(170)에 저장된 우선 순위에 대한 정보로부터, 터치 형태의 물리 자극의 우선 순위가 영상 출력 동작의 우선 순위보다 높음을 확인할 수 있다. 이 경우, 프로세서(182)는 상기 터치 형태의 물리 자극에 응답하여 상기 영상의 출력을 중지 또는 종료하고, 터치 형태의 물리 자극에 기초한 GUI를 출력하며, 동작 모드를 사용자 집중 모드로 전환할 수 있다.
반면, 감지된 물리 자극의 우선 순위가 현재 수행 중인 동작의 우선 순위보다 낮은 경우(S230의 NO), 로봇(100a)은 감지된 물리 자극을 무시하고 현재 수행 중인 동작을 지속 수행할 수 있다(S270).
예컨대, 프로세서(182)는 디스플레이(152)를 통해 영상을 출력하는 도중, 자이로 센서(148)를 통해 바디부의 푸시에 대응하는 물리 자극을 감지할 수 있다. 프로세서(182)는 메모리(170)에 저장된 우선 순위에 대한 정보로부터, 바디부의 푸시에 대응하는 물리 자극의 우선 순위가, 영상 출력 동작의 우선 순위보다 낮음을 확인할 수 있다. 이 경우, 프로세서(182)는 상기 물리 자극에 대한 GUI를 출력하지 않고, 상기 영상 출력 동작을 지속 수행할 수 있다.
즉, 도 13에 도시된 실시 예에 따르면, 로봇(100a)은 물리 자극들 및 동작(기능) 간의 우선 순위에 기초하여 물리 자극의 처리 여부를 결정할 수 있다. 예컨대, 로봇(100a)은 사용자의 의도와 관련성이 낮은 물리 자극에 대한 우선 순위를 낮게 설정하여, 해당 물리 자극의 감지 시에는 현재 수행 중인 동작을 지속하도록 제어할 수 있다. 이에 따라, 로봇(100a)은 사용자의 의도와 관계없이 동작이 종료됨에 따른 사용자의 불편함을 해소할 수 있다. 또한, 로봇(100a)은 다양한 형태의 물리 자극들에 의해 동작이 빈번하게 중지 또는 종료됨에 따른 사용자의 불편함을 해소할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 디스플레이;
    물리 자극을 감지하는 적어도 하나의 센서를 포함하는 센싱부; 및
    소정 동작의 수행 중, 상기 적어도 하나의 센서로부터 획득된 센싱값에 기초하여 상기 물리 자극을 감지하고,
    상기 획득된 센싱값에 기초하여 상기 물리 자극을 식별하고,
    식별된 물리 자극에 기초하여 상기 동작의 수행을 중지 또는 종료하도록 제어하고,
    상기 식별된 물리 자극에 대응하는 GUI를 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함하고,
    식별 가능한 물리 자극들, 및 수행 가능한 동작들 간의 우선 순위에 대한 정보를 저장하는 메모리를 더 포함하고,
    상기 프로세서는,
    상기 식별된 물리 자극의 우선 순위와, 상기 수행 중인 동작의 우선 순위에 기초하여, 상기 수행 중인 동작을 중지 또는 종료하거나 상기 식별된 물리 자극을 무시하는 로봇.
  2. 제1항에 있어서,
    상기 적어도 하나의 센서는,
    상기 로봇의 헤드부에 구비되는 터치 센서;
    상기 로봇의 바디부 내에 구비되는 자이로 센서; 및
    상기 디스플레이와 일체로 형성되는 터치 스크린 중 적어도 하나를 포함하는 로봇.
  3. 제1항에 있어서,
    러닝 프로세서에 의해 학습된 학습 모델 또는 서버로부터 수신되는 학습 모델을 저장하는 메모리를 더 포함하고,
    상기 프로세서는,
    상기 메모리에 저장된 학습 모델을 통해, 상기 적어도 하나의 센서로부터 획득된 센싱값에 대응하는 물리 자극을 식별하는 로봇.
  4. 삭제
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 식별된 물리 자극의 우선 순위가 상기 수행 중인 동작의 우선 순위보다 높은 경우, 상기 수행 중인 동작을 중지 또는 종료하고,
    상기 식별된 물리 자극에 대응하는 상기 GUI를 표시하도록 상기 디스플레이를 제어하는 로봇.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 식별된 물리 자극의 우선 순위가 상기 수행 중인 동작의 우선 순위보다 낮은 경우, 상기 식별된 물리 자극을 무시하고 상기 동작을 지속 수행하는 로봇.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 감지된 물리 자극의 식별이 불가한 경우, 상기 동작을 지속 수행하는 로봇.
  8. 제1항에 있어서,
    스피커를 더 포함하고,
    상기 프로세서는,
    상기 식별된 물리 자극에 대응하는 음성을 출력하도록 상기 스피커를 제어하는 로봇.
  9. 제1항에 있어서,
    카메라를 더 포함하고,
    상기 프로세서는,
    상기 식별된 물리 자극에 응답하여, 상기 카메라를 통해 사용자의 위치를 인식하고, 인식된 위치를 상기 디스플레이가 향하도록 회전 기구를 제어하는 로봇.
  10. 제1항에 있어서,
    상기 GUI는, 상기 식별된 물리 자극에 대응하는 감정 상태를 나타내는 GUI인 로봇.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 센싱값에 기초하여 상기 물리 자극이 소정 횟수 이상 반복됨을 감지하면, 상기 물리 자극이 1회 식별된 경우 표시되는 GUI와 다른 GUI를 표시하도록 상기 디스플레이를 제어하는 로봇.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020197020639A 2019-05-15 2019-05-15 로봇 및 그의 제어 방법 KR102288658B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/005850 WO2020230928A1 (ko) 2019-05-15 2019-05-15 로봇 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20200132654A KR20200132654A (ko) 2020-11-25
KR102288658B1 true KR102288658B1 (ko) 2021-08-11

Family

ID=73289067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197020639A KR102288658B1 (ko) 2019-05-15 2019-05-15 로봇 및 그의 제어 방법

Country Status (3)

Country Link
US (1) US11376742B2 (ko)
KR (1) KR102288658B1 (ko)
WO (1) WO2020230928A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
KR20210078060A (ko) * 2019-12-18 2021-06-28 삼성전자주식회사 사용자와의 인터랙션 중 인터럽션(제3자로부터의 개입)을 방지하는 로봇
JP7483420B2 (ja) * 2020-03-12 2024-05-15 キヤノン株式会社 ロボットシステム、制御装置、情報処理装置、制御方法、情報処理方法、物品の製造方法、プログラム、および記録媒体
EP4205912A4 (en) * 2020-09-10 2024-04-03 Sony Group Corporation MOVING BODY, MOVING BODY CONTROL METHOD AND INFORMATION PROCESSING APPARATUS
JP7586040B2 (ja) * 2021-09-29 2024-11-19 カシオ計算機株式会社 ロボット、ロボット制御方法及びプログラム
KR102732445B1 (ko) * 2024-03-12 2024-11-21 (주) 엑스오소프트 인공지능 대화형 로봇 및 그 로봇의 구동방법, 그리고 인공지능 대화형 로봇을 이용한 대화 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192559A (ja) * 2017-05-17 2018-12-06 Ｇｒｏｏｖｅ Ｘ株式会社 曲面形状のボディに対するタッチを検出する自律行動型ロボット

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8918213B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
KR20120047577A (ko) 2010-11-04 2012-05-14 주식회사 케이티 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치 및 방법
CN103240749A (zh) 2013-05-10 2013-08-14 广州博斯特智能科技有限公司 一种服务机器人
US9802314B2 (en) * 2015-10-01 2017-10-31 Disney Enterprises, Inc. Soft body robot for physical interaction with humans
JP6544333B2 (ja) * 2016-10-13 2019-07-17 トヨタ自動車株式会社 コミュニケーション装置
US20180133900A1 (en) * 2016-11-15 2018-05-17 JIBO, Inc. Embodied dialog and embodied speech authoring tools for use with an expressive social robot
GB2571027B (en) * 2016-11-24 2022-08-10 Groove X Inc Autonomously acting robot that changes pupil
KR101954610B1 (ko) * 2016-11-29 2019-03-06 한국기술교육대학교 산학협력단 노년층을 위한 교감 로봇시스템
KR20180115551A (ko) 2017-04-13 2018-10-23 젤릭스 주식회사 감정 표현이 가능한 로봇 및 이의 동작 방법
US11024294B2 (en) * 2017-12-29 2021-06-01 DMAI, Inc. System and method for dialogue management

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192559A (ja) * 2017-05-17 2018-12-06 Ｇｒｏｏｖｅ Ｘ株式会社 曲面形状のボディに対するタッチを検出する自律行動型ロボット

Also Published As

Publication number Publication date
US11376742B2 (en) 2022-07-05
KR20200132654A (ko) 2020-11-25
US20210362343A1 (en) 2021-11-25
WO2020230928A1 (ko) 2020-11-19

Similar Documents

Publication Publication Date Title
KR102288658B1 (ko) 로봇 및 그의 제어 방법
US11358285B2 (en) Robot and method of recognizing mood using the same
US11577379B2 (en) Robot and method for recognizing wake-up word thereof
US11029803B2 (en) Robot
US11583998B2 (en) Robot and method of controlling same
US11738465B2 (en) Robot and controlling method thereof
KR20210001529A (ko) 로봇, 그와 연결되는 서버, 및 로봇을 이용한 음성 인식 방법
KR102616850B1 (ko) 전자 장치, 전자 장치와 결합 가능한 외부 디바이스 및 이의 디스플레이 방법
KR20210057598A (ko) 알림을 제공하는 인공 지능 장치 및 그 방법
US20210166592A1 (en) Robot
US11507825B2 (en) AI apparatus and method for managing operation of artificial intelligence system
US20190354178A1 (en) Artificial intelligence device capable of being controlled according to user action and method of operating the same
KR20210065612A (ko) 전자 장치 및 그의 동작 방법
US11554499B2 (en) Robot and method for controlling the same
KR102314385B1 (ko) 로봇 및 그의 제어 방법
US11478925B2 (en) Robot and method for controlling same
KR20210037430A (ko) 로봇과 연결되는 장치, 이의 제어 방법, 및 로봇 시스템
KR102269788B1 (ko) 액션 로봇, 그의 인증 방법, 및 그와 연결되는 서버
KR20230091396A (ko) 로봇 및 로봇의 경로 탐색 방법
KR20210070153A (ko) 로봇
US11739464B2 (en) Washing machine providing fitted default washing options for user using learning method based on artificial intelligence and a system including the same
KR20210009991A (ko) 액션 로봇 및 그의 동작 방법
KR20210011591A (ko) 액션 로봇과 연결된 단말기 및 그의 동작 방법
KR20210059899A (ko) 인공 지능 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20190715

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201214

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210529

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210805

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210806

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240722

Start annual number: 4

End annual number: 4