KR102153360B1

KR102153360B1 - Context aware system of robot based on cloud computing and processing method thereof

Info

Publication number: KR102153360B1
Application number: KR1020190153773A
Authority: KR
Inventors: 오강환; 조영임
Original assignee: 가천대학교 산학협력단
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2020-09-10

Abstract

The present invention provides a context aware system of a robot based on cloud computing and a processing method thereof, which can transmit various kinds of information, which a robot recognizes and senses while moving, to a cloud server so as to control independent behaviors and information-based behaviors of the robot through composite data processing by various types of analysis and inference learned with an artificial neural network for each data within a cloud. To achieve the purpose, the context aware system of a robot based on cloud computing according to the present invention includes a cloud server having a context information processing unit which receives context information collected by a context information collecting unit and processes the collected context information to be used by the service robot in decision making.

Description

The context-aware system of a cloud computing-based robot and its processing method {CONTEXT AWARE SYSTEM OF ROBOT BASED ON CLOUD COMPUTING AND PROCESSING METHOD THEREOF}

본 발명은 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템 및 그 처리 방법에 관한 것으로, 더욱 상세하게는 로봇 주변의 사람뿐만 아니라 주변의 상황에 대한 정보를 데이터 처리하고 의사 결정하여 사람과 로봇 간의 상호 작용을 가능하게 하는 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템 및 그 처리 방법에 관한 것이다.The present invention relates to a context-aware system and a processing method of a cloud computing-based robot, and more specifically, it is possible to interact between humans and robots by processing data and making decisions about information about not only people around the robot, but also surrounding situations. It relates to a context-aware system of a robot based on cloud computing and a processing method thereof.

최근 로봇 서비스의 요구에 대한 다양화와 서비스 로봇의 운영 프로그램의 진보와 함께, 클라우드 컴퓨팅(Cloud Computing) 기반의 로봇 서비스 제공 시스템에 대한 기술도 개발되고 있다.With the recent diversification of robot service demands and advances in service robot operation programs, technology for a robot service providing system based on cloud computing is also being developed.

예를 들어, 대한민국 공개특허 제10-2017-0095583호에서는 로봇의 적응적 작업 계획 생성 장치 및 방법에 관한 기술로서, 로봇 지식 클라우드를 이용하여 서비스의 요청에 상응하는 로봇 미션을 검색하는 기술을 개시하고 있다.For example, Korean Patent Application Publication No. 10-2017-0095583 discloses a technology related to an apparatus and method for generating an adaptive work plan of a robot, and a technology for searching a robot mission corresponding to a service request using a robot knowledge cloud Are doing.

또한, 대한민국 공개특허 제10-2017-0109404호에서는 IoT 서비스 상호 연동을 위한 온톨로지 관리 방법 및 시스템에 관한 기술로서, 네트워크를 통해 홈 매니저 로봇과 데이터를 송수신하는 클라우드 서버 및 홈 매니저 로봇에 관한 기술을 개시하고 있다.In addition, Korean Patent Laid-Open No. 10-2017-0109404 is a technology related to an ontology management method and system for interworking IoT services, and describes a technology related to a cloud server and a home manager robot that transmits and receives data to and from a home manager robot through a network. It is starting.

그러나, 현재까지 개발되고 있는 대부분의 클라우드 컴퓨팅 기반 로봇 서비스 제공 시스템에서는, 사용자에게는 서버(Server), 저장부(Storage) 등과 같은 하드웨어적 자원(Resources)만을 제공하는 소위, IaaS(Infrastructure as a Service) 서비스에 불과한 것으로, 제한적인 서비스 콘텐츠에 대하여 로봇들 간의 정보 공유를 주요 목적으로 한다.However, in most cloud computing-based robot service provision systems that have been developed to date, so-called Infrastructure as a Service (IaaS) that provides only hardware resources such as a server and a storage unit to a user. It is only a service, and its main purpose is to share information between robots on limited service contents.

따라서, 현재 클라우드에 접속되는 지능형 로봇의 대부분의 서비스는 클라우드로부터 정보를 수신하여 단순 행동 제어와 같은 행동 제어 서비스가 대부분인 문제가 있다.Therefore, most of the services of intelligent robots currently connected to the cloud receive information from the cloud, and there is a problem in that most of the services are behavior control services such as simple behavior control.

대한민국 공개특허 제10-2017-0095583호Republic of Korea Patent Publication No. 10-2017-0095583 대한민국 공개특허 제10-2017-0109404호Republic of Korea Patent Publication No. 10-2017-0109404

상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명의 목적은 로봇이 이동하면서 인지하고 감지하는 다양한 정보들을 클라우드 서버에 보내어 클라우드 내에서 다양한 분석 및 각 데이터 별로 인공 신경망으로 학습된 추론을 통해 로봇의 독립적인 행동뿐만 아니라 정보 기반 행동들을 복합적인 데이터 처리를 통해 제어하기 위한 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템 및 그 처리 방법을 제공하는 것이다.An object of the present invention for solving the conventional problems as described above is to send a variety of information that the robot recognizes and senses while moving to a cloud server, and analyzes various data in the cloud and inferences learned by artificial neural networks for each data. It is to provide a context-aware system for robots based on cloud computing to control information-based actions as well as independent actions through complex data processing and a processing method thereof.

또한, 본 발명의 다른 목적은 인공 지능에 기초한 지능 로봇이 수신한 다양한 입력 정보를 기준으로 클라우드 처리 정보를 생성하고, 생성된 정보를 클라우드 제어 센터로 송신하여 분석을 통해, 사용자 수요 또는 다양한 입력 신호 중 적어도 하나에 의거하여 지능 로봇에 대한 제어를 행하는 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템 및 그 처리 방법을 제공하는 것이다.In addition, another object of the present invention is to generate cloud processing information based on various input information received by an intelligent robot based on artificial intelligence, and transmit the generated information to the cloud control center through analysis, user demand or various input signals. It is to provide a context-aware system for a robot based on cloud computing that controls an intelligent robot based on at least one of them, and a processing method thereof.

상기 목적을 달성하기 위해, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템은, 상황 정보 수집부에 의해 수집된 상황 정보를 제공받아 서비스 로봇이 의사 결정에 이용할 수 있도록 처리하는 상황 정보 처리부를 갖는 클라우드 서버를 포함하는 것을 특징으로 한다.In order to achieve the above object, the context recognition system of a cloud computing-based robot according to the present invention has a context information processing unit that receives the context information collected by the context information collection unit and processes the service robot to use it for decision making. It characterized in that it comprises a cloud server.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 상황 정보 수집부는 물체를 인식하고, 상기 물체와 상기 서비스 로봇과의 거리를 인식하는 시각 센서를 포함하는 것을 특징으로 한다.In addition, in the context recognition system of a cloud computing-based robot according to the present invention, the context information collection unit includes a visual sensor that recognizes an object and recognizes a distance between the object and the service robot.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 상황 정보 수집부는 물체를 파지하기 위한 서비스 로봇 손의 압축력을 인지하고, 상기 물체와 상기 서비스 로봇 손 사이의 마찰력을 인지하는 촉각 센서를 포함하는 것을 특징으로 한다.In addition, in the context recognition system of a cloud computing-based robot according to the present invention, the context information collection unit recognizes the compressive force of the service robot hand for gripping an object, and a tactile sensor that recognizes the friction force between the object and the service robot hand. It characterized in that it comprises a.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 상황 정보 수집부는 파지하기 위한 물체의 경도와, 질감과, 무게를 인지하고, 상기 물체를 파지 하기 위한 이동 방향과, 상기 물체를 파지시 발생하는 진동 상태를 인지하는 촉감 센서를 포함하는 것을 특징으로 한다.In addition, in the context recognition system of the cloud computing-based robot according to the present invention, the context information collection unit recognizes the hardness, texture, and weight of an object to be gripped, and a movement direction for gripping the object, and the object. It characterized in that it comprises a tactile sensor for recognizing a state of vibration generated during the grip.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 서비스 로봇은, 상기 상황 정보 중 숫자로 표현되는 데이터를 수집하는 제 1 데이터 수집부를 더 포함하는 것을 특징으로 한다.In addition, in the context-aware system of the cloud computing-based robot according to the present invention, the service robot further includes a first data collection unit that collects data represented by numbers among the context information.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 제공받은 상기 상황 정보를 상기 상황 정보 처리부에 의해 처리시, 상기 상황 정보의 관측값들 중 2개의 관측값 사이의 거리를 각각 측정하여 연관성 기반 비유사도를 측정하는 연관성 매칭을 수행하는 A 단계;를 포함하는 것을 특징으로 한다.In addition, in the context-aware system of a cloud computing-based robot according to the present invention, when the context information is processed by the context information processing unit, the distance between two observation values of the observation values of the context information is measured. It characterized in that it comprises a; A step of performing association matching for measuring the association-based dissimilarity.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 연관성 매칭은 하기 수학식 1에 의해 수행되는 것을 특징으로 한다.In addition, in the context-aware system of a cloud computing-based robot according to the present invention, the correlation matching is performed by Equation 1 below.

[수학식 1][Equation 1]

여기서,

는 변수값들의 비유사도이고, 모든 i,t∈{1,2,...,p}이고, 모든 j,k∈{1,2,...,qⁱ}이며,

은 확률 분포의 거리 계산 함수임.here,

Is the dissimilarity of the variable values, all i,t∈{1,2,...,p}, all j,k∈{1,2,...,q ⁱ },

Is the distance calculation function of the probability distribution.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 연관성 매칭에 의해 측정된 값 사이의 교차 빈도를 측정하여 교차 확률이 높은 값을 획득하는 B 단계;를 포함하는 것을 특징으로 한다.In addition, in the context-aware system of a cloud computing-based robot according to the present invention, the step B of obtaining a value having a high probability of crossing by measuring a frequency of crossing between values measured by the correlation matching.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 연관성 매칭에 의해 측정된 값 사이의 거리를 이용하여 군집 분석을 수행하는 C 단계;를 포함하는 것을 특징으로 한다.In addition, in the context-aware system of a cloud computing-based robot according to the present invention, step C of performing cluster analysis using a distance between values measured by the correlation matching.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 군집 분석은, 측정된 값에 대한 군집을 형성한 후, 실제값과 상기 실제값에 근접하는 상기 군집에 포함된 측정값 중 하나를 대표값으로 사용하는 것을 특징으로 한다.In addition, in the context-aware system of the cloud computing-based robot according to the present invention, the cluster analysis, after forming a cluster for the measured values, is one of an actual value and a measurement value included in the cluster that is close to the actual value. It is characterized by using as a representative value.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 측정된 값과 상기 대표값 사이의 거리 합이 최소화되도록 하는 것을 특징으로 한다.In addition, in the context-aware system of a cloud computing-based robot according to the present invention, a distance sum between the measured value and the representative value is minimized.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 서비스 로봇은, 로봇의 이동을 제어하는 모션 제어부; 및 로봇의 움직임을 제어하는 로봇 제어부;를 포함하는 것을 특징으로 한다.In addition, in the context-aware system of a robot based on cloud computing according to the present invention, the service robot includes: a motion controller for controlling movement of the robot; And a robot control unit for controlling the movement of the robot.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 상황 정보를 상기 클라우드 서버에 전송하는 데이터 전송부를 포함하는 것을 특징으로 한다.In addition, in the context recognition system of a cloud computing-based robot according to the present invention, it is characterized in that it comprises a data transmission unit for transmitting the context information to the cloud server.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 상황 정보는 영상 정보, 주행 정보, 위치 정보, 파지 정보, 거리 정보, 음성 정보 중 하나 이상인 것을 특징으로 한다.In addition, in the context-aware system of a cloud computing-based robot according to the present invention, the context information may be at least one of image information, driving information, location information, gripping information, distance information, and voice information.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 클라우드 서버는, 상기 서비스 로봇으로부터 상황 정보 또는 숫자로 표현되는 데이터 정보를 수신하는 제 2 데이터 수집부; 상기 상황 정보를 저장하는 데이터 저장부; 및 상기 상황 정보를 학습하는 데이터 학습부;를 포함하는 것을 특징으로 한다.In addition, in the context recognition system of a cloud computing-based robot according to the present invention, the cloud server includes: a second data collection unit configured to receive context information or data information expressed in numbers from the service robot; A data storage unit for storing the situation information; And a data learning unit that learns the context information.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서, 상기 클라우드 서버는, 수집된 상기 상황 정보를 모델링하는 데이터 모델링부; 및 상기 데이터 모델링부에 의해 모델링된 상황 정보 모델을 처리하는 인공 지능 처리부;를 포함하는 것을 특징으로 한다.In addition, in the context recognition system of a cloud computing-based robot according to the present invention, the cloud server includes: a data modeling unit for modeling the collected context information; And an artificial intelligence processing unit that processes the context information model modeled by the data modeling unit.

또한, 상기 목적을 달성하기 위해, 제공받은 상황 정보를 상황 정보 처리부에 의해 처리하는 클라우드 컴퓨팅 기반 로봇의 상황 인지 처리 방법은, 상기 상황 정보 처리부에 의해, 상기 상황 정보의 관측값들 중 2개의 관측값 사이의 거리를 각각 측정하여 연관성 기반 비유사도를 측정하는 연관성 매칭을 수행하는 A 단계;를 포함하는 것을 특징으로 한다.In addition, in order to achieve the above object, the context recognition processing method of a cloud computing-based robot that processes the received context information by the context information processing unit, by the context information processing unit, observes two of the observed values of the context information. It characterized in that it comprises a; step A of performing association matching for measuring the association-based dissimilarity by measuring the distances between the values, respectively.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 처리 방법에서, 상기 연관성 매칭은 하기 수학식 1에 의해 수행되는 것을 특징으로 한다.In addition, in the context-aware processing method of a cloud computing-based robot according to the present invention, the correlation matching is performed by Equation 1 below.

[수학식 1][Equation 1]

여기서,

은 확률 분포의 거리 계산 함수임.here,

Is the distance calculation function of the probability distribution.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 처리 방법에서, 상기 연관성 매칭에 의해 측정된 값 사이의 교차 빈도를 측정하여 교차 확률이 높은 값을 획득하는 B 단계;를 포함하는 것을 특징으로 한다.In addition, in the context-aware processing method of a cloud computing-based robot according to the present invention, a step B of obtaining a value having a high cross probability by measuring a frequency of crossing between values measured by the correlation matching; characterized by comprising: .

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 처리 방법에서, 상기 연관성 매칭에 의해 측정된 값 사이의 거리를 이용하여 군집 분석을 수행하는 C 단계;를 포함하는 것을 특징으로 한다.In addition, in the context-aware processing method of a cloud computing-based robot according to the present invention, step C of performing cluster analysis using a distance between values measured by the correlation matching; characterized by comprising a.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 처리 방법에서, 상기 군집 분석은, 측정된 값에 대한 군집을 형성한 후, 실제값과 상기 실제값에 근접하는 상기 군집에 포함된 측정값 중 하나를 대표값으로 사용하는 것을 특징으로 한다.In addition, in the context-aware processing method of a cloud computing-based robot according to the present invention, the cluster analysis is, after forming a cluster for the measured values, among the actual values and the measured values included in the cluster that are close to the actual values. It is characterized in that one is used as a representative value.

또한, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 처리 방법에서, 측정된 값과 상기 대표값 사이의 거리 합이 최소화되도록 하는 것을 특징으로 한다.In addition, in the context-aware processing method of a cloud computing-based robot according to the present invention, a distance sum between the measured value and the representative value is minimized.

기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.Details of other embodiments are included in "Specific Contents for Carrying out the Invention" and the attached "Drawings".

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.Advantages and/or features of the present invention, and a method of achieving them will become apparent with reference to various embodiments described below in detail together with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.However, the present invention is not limited to the configuration of each embodiment disclosed below, but may also be implemented in various different forms, and each embodiment disclosed in the present specification makes the disclosure of the present invention complete, and the present invention It should be understood that the present invention is provided to completely inform the scope of the present invention to those of ordinary skill in the art to which it belongs, and that the present invention is only defined by the scope of each claim in the claims.

본 발명에 의하면, 로봇이 이동하면서 인지하고 감지하는 다양한 정보들을 클라우드 서버에 보내어 클라우드 내에서 다양한 분석 및 각 데이터 별로 인공 신경망으로 학습된 추론을 통해 로봇의 독립적인 행동뿐만 아니라 정보 기반 행동들을 복합적인 데이터 처리를 통해 제어하는 효과가 있다.According to the present invention, a variety of information that the robot recognizes and detects while moving is sent to the cloud server, and through various analysis in the cloud and inference learned by artificial neural networks for each data, not only the independent behavior of the robot but also the information-based behavior are complex. It has the effect of controlling through data processing.

또한, 인공 지능에 기초한 지능 로봇이 수신한 다양한 입력 정보를 기준으로 클라우드 처리 정보를 생성하고, 생성된 정보를 클라우드 제어 센터로 송신하여 분석을 통해, 사용자 수요 또는 다양한 입력 신호 중 적어도 하나에 의거하여 지능 로봇에 대한 제어를 행하는 효과가 있다.In addition, cloud processing information is generated based on various input information received by an intelligent robot based on artificial intelligence, and the generated information is transmitted to the cloud control center for analysis, based on user demand or at least one of various input signals. There is an effect of controlling the intelligent robot.

도 1은 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템의 전체 구성을 나타내는 시스템 구성도.
도 2는 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서 서비스 로봇의 구성을 나타내는 블록도.
도 3은 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서 클라우드 서버의 구성을 나타내는 블록도.
도 4는 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서 로봇과 클라우드 서버의 데이터 처리를 나타내는 도면.
도 5는 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 처리 방법에 대한 흐름을 나타내는 플로우 차트.1 is a system configuration diagram showing the overall configuration of a context-aware system of a cloud computing-based robot according to the present invention.
2 is a block diagram showing the configuration of a service robot in the context-aware system of a cloud computing-based robot according to the present invention.
3 is a block diagram showing the configuration of a cloud server in the context-aware system of a cloud computing-based robot according to the present invention.
4 is a view showing data processing between the robot and the cloud server in the context-aware system of the robot based on cloud computing according to the present invention.
5 is a flow chart showing the flow of the context-aware processing method of a cloud computing-based robot according to the present invention.

본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.Before describing the present invention in detail, terms or words used in the present specification should not be interpreted as being unconditionally limited in a conventional or dictionary meaning, and in order for the inventor of the present invention to describe his invention in the best way It should be understood that the concepts of various terms can be appropriately defined and used, and furthermore, these terms or words should be interpreted as meanings and concepts consistent with the technical idea of the present invention.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.That is, the terms used in this specification are only used to describe a preferred embodiment of the present invention, and are not intended to specifically limit the content of the present invention, and these terms represent various possibilities of the present invention. It should be noted that this is a term defined in consideration.

또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.In addition, in this specification, it should be understood that the singular expression may include a plurality of expressions unless clearly indicated in a different meaning in the context, and may include the singular meaning even if similarly expressed in the plural. .

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.Throughout the present specification, when a component is described as "including" another component, it does not exclude any other component, but further includes any other component unless otherwise indicated. It could mean you can do it.

더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.Furthermore, when a component is described as "existing inside or connected to and installed" of another component, this component may be directly connected to or installed in contact with other components, It may be installed spaced apart by a distance, and in the case of installation spaced apart by a certain distance, a third component or means may exist for fixing or connecting the component to other components. It should be noted that a description of the elements or means of 3 may be omitted.

반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.On the other hand, when a component is described as being "directly connected" to another component or "directly connected", it should be understood that there is no third component or means.

마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.Likewise, other expressions describing the relationship between each component, such as "between" and "directly between", or "neighbor to" and "directly neighbor to" have the same effect. Should be interpreted as.

또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.In addition, in this specification, terms such as "one side", "the other side", "one side", "the other side", "first", "second", etc., if used, this one component for one component It is used in order to be clearly distinguishable from other components, and it should be noted that the meaning of the component is not limited by such terms.

또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.In addition, terms related to positions such as "upper", "lower", "left", and "right" in the present specification, if used, should be understood as indicating a relative position in the drawing with respect to the corresponding component, These position-related terms should not be understood as referring to absolute positions unless absolute positions are specified for their positions.

또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.In addition, in the present specification, in specifying the reference numerals for each component of each drawing, the same reference numerals for the same components, even if the components are indicated in different drawings, that is, the same reference throughout the specification. The symbols indicate the same components.

본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.In the drawings attached to the present specification, the size, position, and coupling relationship of each component constituting the present invention are partially exaggerated, reduced, or omitted in order to sufficiently clearly convey the spirit of the present invention or for convenience of description. It may have been described, and therefore its proportion or scale may not be exact.

또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.Further, in the following description of the present invention, a detailed description of a configuration that is determined to unnecessarily obscure the subject matter of the present invention, for example, a known technology including the prior art, may be omitted.

이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the related drawings.

도 1은 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템의 전체 구성을 나타내는 시스템 구성도이다.1 is a system configuration diagram showing the overall configuration of a context-aware system of a cloud computing-based robot according to the present invention.

도 1을 참조하면, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템(1000)은 서비스 로봇(100)과, 클라우드 서버(200)를 포함한다.Referring to FIG. 1, the context recognition system 1000 of a cloud computing-based robot according to the present invention includes a service robot 100 and a cloud server 200.

클라우드 서버(200)는 인공 신경망 모델을 구현할 수 있어 인공 지능 기능을 자체적으로 구비하기 어려운 장치에서도 인공 신경망 모델을 수행한 결과를 제공함으로써, 인공 지능의 학습 및 분류 기능이 확장된 시스템을 제공할 수 있다.Since the cloud server 200 can implement an artificial neural network model, it is possible to provide a system in which the learning and classification functions of artificial intelligence are extended by providing the result of performing the artificial neural network model even in a device that is difficult to have an artificial intelligence function on its own. have.

이러한 클라우드 서버(200)는 인공 지능 모델링 기술, 사용자 인터페이스(User Interface, UI) 등의 기능을 제공하는 소프트웨어를 포함할 수 있다.The cloud server 200 may include software that provides functions such as artificial intelligence modeling technology and a user interface (UI).

구체적으로, 소프트웨어는 클라우드 서버(200)를 통해 데이터 전처리, 머신러닝, 딥러닝 등을 수행하고 이를 시각화하며, 각종 변수들의 조정과 컴퓨팅을 수행할 수 있다.Specifically, the software may perform data preprocessing, machine learning, deep learning, etc. through the cloud server 200, visualize it, and adjust various variables and perform computing.

즉, 클라우드 서버(200)와 소프트웨어는 데이터베이스 역할과 함께 인공 지능 모델링과 이를 위한 프로그래밍, 컴파일링, 결과 분석, 인터랙션 설계 또는 컴퓨팅 기능을 제공할 수 있다.That is, the cloud server 200 and software may provide artificial intelligence modeling, programming, compilation, result analysis, interaction design, or computing function for this, along with a database role.

또한, 클라우드 서버(200)와 소프트웨어는 저장용 기기, 컴퓨팅용 워크스테이션과 함께 각종 프로그램에 대한 분석 대행, 웹 기반 실시간 컴파일 등의 기능을 제공할 수 있다.In addition, the cloud server 200 and software may provide functions such as a storage device and a computing workstation, as well as a function of analyzing various programs, web-based real-time compilation, and the like.

한편, 서비스 로봇(100)은 구비된 각종 센서로부터 획득된 데이터를, 이미 학습된 인공 지능 모델의 분류용 데이터로서 클라우드 서버(200)에 제공할 수 있다.Meanwhile, the service robot 100 may provide data acquired from various sensors provided to the cloud server 200 as data for classification of an already learned artificial intelligence model.

이러한 서비스 로봇(100)은 획득된 데이터를 인공 신경망 모델의 학습용 데이터로서 클라우드 서버(200)에 제공할 수 있다.The service robot 100 may provide the acquired data to the cloud server 200 as training data of an artificial neural network model.

클라우드 서버(200)는 분류용 데이터를 수신하여, 이미 학습된 인공 지능 모델에 입력값으로서 적용할 수 있다.The cloud server 200 may receive classification data and apply it as an input value to an already learned artificial intelligence model.

또한, 클라우드 서버(200)는 학습용 데이터를 수신하여, 인공 지능 모델링의 학습 데이터로서 이용할 수 있다.In addition, the cloud server 200 may receive training data and use it as training data for artificial intelligence modeling.

이때 클라우드 서버(200)는 수신한 학습용 데이터를 이용하여 새로운 학습용 데이터베이스를 구축할 수도 있다.At this time, the cloud server 200 may build a new learning database using the received learning data.

또한, 서비스 로봇(100)은 서버(200)로부터 분석 결과 등을 입력받아 출력할 수 있다.In addition, the service robot 100 may receive and output an analysis result or the like from the server 200.

따라서, 인공 신경망 모델의 생성과 출력 및 인터랙션 설계가 가능한, 하드웨어와 소프트웨어를 연계한 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템(1000)을 사용자에게 제공할 수 있다.Accordingly, it is possible to provide a context-aware system 1000 of a robot based on cloud computing linking hardware and software capable of generating and outputting an artificial neural network model and designing an interaction.

도 2는 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서 서비스 로봇의 구성을 나타내는 블록도이고, 도 3은 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서 클라우드 서버의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of a service robot in the context-aware system of a cloud computing-based robot according to the present invention, and FIG. 3 is a block diagram showing the configuration of a cloud server in the context-aware system of a cloud computing-based robot according to the present invention. to be.

도 2를 참조하면, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템(1000)에서, 서비스 로봇(100)은 제 1 데이터 수집부(110)와, 데이터 전송부(120)와, 상황 정보 수집부(130)와, 모션 제어부(140)와, 로봇 제어부(150)를 포함한다.Referring to FIG. 2, in the context recognition system 1000 of a cloud computing-based robot according to the present invention, the service robot 100 includes a first data collection unit 110, a data transmission unit 120, and a context information collection. It includes a unit 130, a motion control unit 140, and a robot control unit 150.

여기서, 제 1 데이터 수집부(110)는 수집하는 상황 정보(10) 중 숫자로 표현되는 데이터를 수집하는 역할을 수행한다.Here, the first data collection unit 110 serves to collect data represented by numbers among the collected context information 10.

예를 들어, 숫자로 표현되는 데이터는 온도나, 미세 먼지 농도나, 이동하는 이동 거리나, 건물의 높이 등과 같이 숫자로 표현되는 데이터를 수집한다.For example, data represented by numbers collects data represented by numbers such as temperature, fine dust concentration, moving distance, and height of buildings.

데이터 전송부(120)는 제 1 데이터 수집부에 의해 수집되는 숫자로 표현되는 데이터나, 후술하는 상황 정보 수집부(130)에 의해 수집되는 상황 정보들을 클라우드 서버(200)에 전송하는 역할을 수행한다.The data transmission unit 120 performs a role of transmitting data represented by numbers collected by the first data collection unit or situation information collected by the context information collection unit 130 to be described later to the cloud server 200 do.

상황 정보 수집부(130)는 다양한 센서를 이용하여 서비스 로봇(100)의 주변 환경 또는 주변 상황에 대한 정보를 수집하는 역할을 수행한다.The context information collection unit 130 serves to collect information on the surrounding environment or surrounding situation of the service robot 100 using various sensors.

모션 제어부(140)는 서비스 로봇(100)의 이동을 제어하는 역할을 수행한다.The motion controller 140 serves to control the movement of the service robot 100.

또한, 로봇 제어부(150)는 서비스 로봇(100)의 움직임을 제어하는 역할을 수행한다.In addition, the robot control unit 150 controls the movement of the service robot 100.

또한, 도 3을 참조하면, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템(1000)에서, 클라우드 서버(200)는 제 2 데이터 수집부(210)와, 데이터 모델링부(220)와, 인공 지능 처리부(230)와, 상황 정보 처리부(240)와, 데이터 저장부(250)와, 데이터 학습부(260)를 포함한다.Also, referring to FIG. 3, in the context recognition system 1000 of a cloud computing-based robot according to the present invention, the cloud server 200 includes a second data collection unit 210, a data modeling unit 220, and an artificial An intelligent processing unit 230, a context information processing unit 240, a data storage unit 250, and a data learning unit 260 are included.

제 2 데이터 수집부(210)는 서비스 로봇(100)으로부터 상황 정보(10) 또는 숫자로 표현되는 데이터 정보를 수신하는 역할을 수행한다.The second data collection unit 210 serves to receive context information 10 or data information expressed in numbers from the service robot 100.

데이터 모델링부(220)는 수집된 상황 정보(10) 또는 숫자로 표현되는 데이터 정보를 모델링하는 역할을 수행한다.The data modeling unit 220 serves to model the collected context information 10 or data information expressed in numbers.

이에 의해, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템(1000)에서는, 제 2 데이터 수집부(210)에 의해 수집된 상황 정보(10)를 모델링시 총 3개의 단계에 의해 이루어진다.Accordingly, in the context-aware system 1000 of a cloud computing-based robot according to the present invention, the context information 10 collected by the second data collection unit 210 is modeled by a total of three steps.

제 1 단계인 정합성 검증 단계(S10)에서는, 수집된 상황 정보(10)가 적절한 데이터인지 이론적인 검증을 수행한다.In the first step, the consistency verification step S10, a theoretical verification is performed whether the collected context information 10 is appropriate data.

또한, 제 2 단계인 모델링 단계(S20)에서는, 수집된 상황 정보(10)를 시간 흐름에 따라 위치와, 크기와, 이미지에 따라 분류하고 분류된 상황 정보(10)를 사용자의 요구 사항에 따라 해석 및 분석하여 데이터 학습부(260)에 의해 학습시킨 후, 데이터 산업 표준 언어(PMML)로 변환시킨다.In addition, in the second step, the modeling step (S20), the collected context information 10 is classified according to the location, size, and image according to the time flow, and the classified context information 10 is classified according to the user's requirements. After being analyzed and analyzed and learned by the data learning unit 260, it is converted into a data industry standard language (PMML).

마지막으로, 제 3 단계인 데이터 적용 단계(S30)에서는, 모델링된 복수의 상황 정보 모델 중 요구 사항에 부합하는 상황 정보 모델을 인공 지능 처리부(230)에 의해 추천받아 서비스 로봇(100)에 제공한다.Finally, in the third step, the data application step (S30), a context information model meeting a requirement among the plurality of modeled context information models is recommended by the artificial intelligence processing unit 230 and provided to the service robot 100. .

구체적으로, 정합성 검증 단계(S10)에서는, 상황 정보 데이터를 선정하고, 선정된 상황 정도 데이터에 대한 유효성을 분석한 후, 분석된 상황 정보 데이터를 분류한다.Specifically, in the consistency verification step (S10), the context information data is selected, the validity of the selected situation degree data is analyzed, and the analyzed context information data is classified.

즉, 서비스 로봇(100)을 구동 후 수집한 알고리즘 및 데이터를 해당 서비스 로봇에 적용하여 나타난 결과를 가지고, 서비스 로봇(10)의 이동/조작/소셜 성능을 개선하기에 적절한 데이터인지 이론적인 검증을 수행한다.That is, with the result of applying the algorithm and data collected after driving the service robot 100 to the service robot, a theoretical verification of whether the data is appropriate to improve the movement/manipulation/social performance of the service robot 10 Perform.

모델링 단계(S20)에서는, 이론적 검증이 완료된 상황 정보 데이터를 전처리한 후, 사용자의 요구 사항을 해석한다.In the modeling step S20, after pre-processing the context information data for which the theoretical verification has been completed, the user's requirements are analyzed.

이후, 데이터 변환 및 학습을 수행한다.After that, data transformation and learning are performed.

여기서, 데이터 변환은 원시 데이터를 팻치하고, CSV 변환을 수행한 후, 데이터 산업 표준 언어 변환을 수행한다.Here, in the data conversion, raw data is patched, CSV conversion is performed, and data industry standard language conversion is performed.

이때, 수집된 상황 정보 데이터를 시간의 흐름에 따른 특성에 따라 시간, 위치, 크기, 이미지 등에 의해 분류하고, 로봇들이 공통적으로 사용가능한 표준 형식으로 변환한다.At this time, the collected context information data is classified by time, location, size, image, etc. according to characteristics over time, and converted into a standard format that robots can use in common.

데이터 적용 단계(S30)에서는, 모델링이 완료된 데이터들을 검색하고, 인공 지능 처리부(230)에 의해 가장 유효한 인공 지능 데이터를 추천받은 후, 추천받은 유요 데이터를 다운로드하고 서비스 로봇(100)에 적용시킨다.In the data application step (S30), the modeled data is searched, the most effective artificial intelligence data is recommended by the artificial intelligence processing unit 230, and the recommended useful data is downloaded and applied to the service robot 100.

즉, 본 발명에서는 데이터 마이닝을 나타내기 위해 사용되는 데이터 산업 표준 언어인 PMML를 이용하여 상황 정보 데이터를 인공 신경망 데이터로 변환하여 표준 기반 데이터로 활용하기 위한 기초 작업을 진행한다.That is, in the present invention, the basic work for converting context information data into artificial neural network data and utilizing it as standard-based data is performed using PMML, which is a data industry standard language used to represent data mining.

예측 분석 모델(Predictive Analytic Models)과 데이터 마이닝 모델(Data Mining Models)은 통계적 기술 등을 시용하여 대용량의 과거 데이터에 숨겨진 패턴을 익히기 위한 수학적 모델을 지칭하는 용어이다.Predictive Analytic Models and Data Mining Models are terms that refer to mathematical models for learning patterns hidden in large amounts of historical data by using statistical techniques.

예측분석모델은 교육 중에 습득한 지식을 이용하여 새로운 데이터에서 인지된 패턴의 존재를 예측한다.The predictive analysis model predicts the existence of perceived patterns in new data using knowledge acquired during education.

데이터 산업 표준 언어인 PMML은 서로 다른 어플리케이션 간에 예측 분석 모델을 쉽게 공유할 수 있게 한다.PMML, the data industry standard language, makes it easy to share predictive analytics models between different applications.

따라서, 사용자는 시스템에서 하나의 모델을 학습할 수 있고, 데이터 산업 표준 언어인 PMML로 해당 내용을 나타낼 수 있으며, 다른 시스템에서 사용한 모델의 내용을 옮겨, 기계 장애와 같은 예측을 위해 사용할 수 있다.Therefore, a user can learn one model in the system, can express its contents in PMML, which is a data industry standard language, and can transfer the contents of a model used in another system and use it for prediction such as machine failure.

따라서 현재 대부분의 데이터 마이닝 솔루션들은 데이터 산업 표준 언어인 PMLL로 입력 또는 출력하는 기능을 제공한다.Therefore, most of the current data mining solutions provide input or output functions in PMLL, the standard language for the data industry.

인공 지능 처리부(230)는 데이터 모델링부(220)에 의해 모델링된 상황 정보 모델을 처리하는 역할을 수행한다.The artificial intelligence processing unit 230 processes the context information model modeled by the data modeling unit 220.

상황 정보 처리부(240)는 상황 정보 수집부(130)에 의해 수집된 상황 정보(10)를 제공받아 서비스 로봇(100)이 의사 결정에 이용할 수 있도록 처리하는 역할을 수행한다.The context information processing unit 240 serves to receive the context information 10 collected by the context information collection unit 130 and process the service robot 100 to use it for decision making.

데이터 저장부(250)는 상황 정보(10)를 저장하는 역할을 수행한다.The data storage unit 250 serves to store the context information 10.

데이터 학습부(260)는 상황 정보(10)를 학습하는 역할을 수행한다.The data learning unit 260 serves to learn the context information 10.

한편, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템(1000)에서, 상황 정보(10)는 영상 정보, 주행 정보, 위치 정보, 파지 정보, 거리 정보, 음성 정보 중 하나 이상인 것이 바람직하지만, 이에 한정되는 것은 아니며 다양한 센서에 의해 획득되는 정보를 모두 포함할 수 있다.Meanwhile, in the context recognition system 1000 of a cloud computing-based robot according to the present invention, the context information 10 is preferably at least one of image information, driving information, location information, grip information, distance information, and voice information. It is not limited and may include all information obtained by various sensors.

상술한 바와 같은 구성에 의해, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템(1000)은 상황 정보 수집부(130)에 의해 수집된 상황 정보(10)를 제공받아 서비스 로봇(100)이 의사 결정에 이용할 수 있도록 처리하는 상황 정보 처리부(240)를 갖는 클라우드 서버(200)를 포함한다.With the configuration as described above, the context recognition system 1000 of the cloud computing-based robot according to the present invention receives the context information 10 collected by the context information collection unit 130 and the service robot 100 It includes a cloud server 200 having a context information processing unit 240 for processing to be used for determination.

여기서, 상황 정보 수집부(130)는 시각 센서와, 촉각 센서와, 촉감 센서와, 자이로 센서 등과 같은 다양한 센서를 포함하고 있다.Here, the context information collection unit 130 includes various sensors such as a visual sensor, a tactile sensor, a tactile sensor, and a gyro sensor.

시각 센서는 물체 또는 대상(Object)과, 서비스 로봇(100)과의 거리를 인식하는 센서이다.The visual sensor is a sensor that recognizes a distance between an object or an object and the service robot 100.

또한, 촉각 센서는 물체 또는 대상을 파지하기 위한 서비스 로봇(100) 손의 압축력을 인지하고, 물체 또는 대상과, 서비스 로봇(100) 손 사이의 마찰력을 인지하는 센서이다.In addition, the tactile sensor is a sensor that recognizes the compressive force of the hand of the service robot 100 for gripping the object or object, and recognizes the friction force between the object or object and the hand of the service robot 100.

한편, 촉감 센서는 파지하기 위한 물체 또는 대상의 경도와, 질감과, 무게를 인지하고, 물체 또는 대상을 파지 하기 위한 이동 방향과, 물체 또는 대상을 파지시 발생하는 진동 상태를 인지하는 촉감 센서이다.On the other hand, the tactile sensor is a tactile sensor that recognizes the hardness, texture, and weight of an object or object to be gripped, and a movement direction for gripping the object or object, and a vibration state generated when the object or object is gripped. .

이와 같이 시각 센서에 의해 수집되는 데이터를 데이터 학습부(260)에 의해 학습시킨다.In this way, the data collected by the visual sensor is learned by the data learning unit 260.

또한, 촉각 센서에 의해 수집되는 데이터와, 촉감 센서에 의해 수집되는 데이터를 함께 데이터 학습부(260)에 의해 학습시킨다.In addition, the data collected by the tactile sensor and the data collected by the tactile sensor are learned together by the data learning unit 260.

이와 같이 학습된 시각 센서에 의한 데이터와, 학습된 촉각 센서와 촉감 센서에 의한 데이터를 통해 파지 포인트를 검출하게 된다.The gripping point is detected through the data obtained by the learned visual sensor and the learned data by the tactile sensor and the tactile sensor.

서비스 로봇(100)의 주요한 기능이 외부와 접촉을 통해 물리적 상호 작용을 하는 것임을 고려하면, 기존 산업용 로봇과는 다르게 비정형화된 환경에서 다중 작업 수행이 요구되는 협동 로봇이나 서비스 로봇(100)에서는 로봇 손을 이용한 파지 및 조작 기술이 더욱 중요하다.Considering that the main function of the service robot 100 is to physically interact through contact with the outside, unlike the existing industrial robot, the cooperative robot or service robot 100 that requires performing multiple tasks in an unstructured environment is a robot Hand gripping and manipulation techniques are more important.

최근 인공 지능 기술은 다양한 분야에 활용이 확산 중이며, 로봇 기술(특히, 비전 기술)과 결합되어 스마트 팩토리 등 제조 환경 변화에서 부품 파지 및 조립 핸들링을 위한 핵심 기술로 활용되고 있다.Recently, artificial intelligence technology is being used in various fields, and combined with robot technology (especially vision technology), it is being used as a core technology for part gripping and assembly handling in changes in manufacturing environments such as smart factories.

부품 파지 및 조립 핸들링을 위한 조작을 위해, 물체 인식, 거리 정보 파악 등은 시각 센서에 의해 이루어지며, CNN(Convolutional Neural Network) 알고리즘 등을 활용할 수 있다.In order to handle parts gripping and assembly handling, object recognition and distance information recognition are performed by a visual sensor, and a Convolutional Neural Network (CNN) algorithm may be used.

하지만, 물리적 상호 작용을 통한 파지 및 조작 기능에서는 쉽게 모델링 될 수 없는 비선형적 특징(접촉, 마찰, 변형 등)과 센서 불확실성 등으로 안정적인 파지의 어려움이 있고 이를 해결하기 위해 시각 정보와 더불어 촉각 센서 및 촉감 센서에 의한 정보가 중요하게 고려될 수 있다.However, in the gripping and manipulation functions through physical interaction, there is a difficulty in stable gripping due to nonlinear features (contact, friction, deformation, etc.) that cannot be easily modeled and sensor uncertainty. The information by the tactile sensor can be considered important.

인간의 피부는 물체의 경도, 질감, 무게, 운동 방향과 진동을 감지할 수 있는 높은 밀도의 촉각 센서(촉각 수용체)를 보유하고 있으며, 자극에 따라 촉각 센서의 역할이 구분되어 있다.Human skin has a high-density tactile sensor (tactile receptor) capable of detecting the hardness, texture, weight, movement direction and vibration of an object, and the role of the tactile sensor is classified according to the stimulation.

시각 인식만으로는 로봇의 기능이 제한적일 뿐 아니라, 다이나믹 환경에 빠르게 대응할 수 있는 로봇을 만드는 데에 어려움이 있다.Not only is the function of the robot limited by visual recognition alone, it is difficult to create a robot that can respond quickly to a dynamic environment.

이를 위해 촉각 신호를 모두 단순 전달하는 것은 의미가 없으며 촉각 신호를 활용해서 필요한 정보를 확보할 수 있는 촉각 인식 기술이 필요하다.For this, it is meaningless to simply transmit all tactile signals, and a tactile recognition technology that can secure necessary information using tactile signals is required.

역학을 기반으로 하는 기존 로봇 제어에서는 파지하려는 물체와 로봇의 정확한 기구학 및 동역학적 모델을 기반으로 물체와 로봇간의 힘 관계를 나타내는 수식을 활용하여 파지 및 조작 기술을 개발할 수 있지만 물체와 로봇의 상태를 정확히 알 수 없는 점과 정확하게 모델링될 수 없는 마찰력 등 비선형적 힘이 있는 현실 상황에서 학습 알고리즘을 이용한 파지 기술이 필요하다.In the existing robot control based on mechanics, it is possible to develop a gripping and manipulation technology using an equation representing the force relationship between the object and the robot based on the exact kinematics and dynamic model of the object to be gripped and the robot. In real situations where there are nonlinear forces such as points that are not accurately known and friction forces that cannot be accurately modeled, a gripping technique using a learning algorithm is required.

또한, 시각 정보만을 이용한 학습 알고리즘 기반 파지는 물체와의 접촉에 의한 힘 관계 모델을 구하기 쉽지 않고, 강체 모델 등 몇 가지 가정을 통해 단순화해서 활용하고 있으나 활용성을 높이기 위해서는 접촉 상태를 파악할 수 있는 촉각 정보가 포함된 학습 기술이 필요하다. In addition, gripping based on learning algorithms using only visual information is not easy to obtain a force relationship model due to contact with an object, and it is simplified and used through several assumptions such as a rigid body model, but to increase the usability, it is possible to grasp the contact state. You need informational learning skills.

이에 의해, 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템(1000)에서는, 제공받은 상황 정보(10)를 상황 정보 처리부(240)에 의해 처리시 총 3개의 단계에 의해 이루어진다.Accordingly, in the context-aware system 1000 of a cloud computing-based robot according to the present invention, the received context information 10 is processed by the context information processing unit 240 in a total of three steps.

구체적으로, A 단계에서는, 상황 정보(10)의 관측값들 중 2개의 관측값 사이의 거리를 각각 측정하여 연관성 기반 비유사도를 측정하는 연관성 매칭을 수행한다.Specifically, in step A, correlation matching is performed by measuring a distance between two observation values of the observation values of the context information 10, respectively, to measure a degree of association-based dissimilarity.

여기서, 연관성 매칭은 하기 수학식 1에 의해 수행된다.Here, correlation matching is performed by Equation 1 below.

[수학식 1][Equation 1]

여기서,

은 확률 분포의 거리 계산 함수이다.here,

Is the distance calculation function of the probability distribution.

다음, B 단계에서는, 연관성 매칭에 의해 측정된 값 사이의 교차 빈도를 측정하여 교차 확률이 높은 값을 획득한다.Next, in step B, a value having a high cross probability is obtained by measuring the frequency of crossing between values measured by association matching.

마지막으로, C 단계에서는, 연관성 매칭에 의해 측정된 값 사이의 거리를 이용하여 군집 분석을 수행한다.Finally, in step C, cluster analysis is performed using the distance between values measured by association matching.

여기서, 군집 분석은, 측정된 값에 대한 군집을 형성한 후, 실제값과 실제값에 근접하는 군집에 포함된 측정값 중 하나를 대표값으로 사용한다.Here, in the cluster analysis, after forming a cluster for the measured value, one of the actual value and the measured value included in the cluster close to the actual value is used as a representative value.

이때, 측정된 값과 상기 대표값 사이의 거리 합이 최소화되도록 하는 것이 매우 중요하다.At this time, it is very important to minimize the sum of the distances between the measured value and the representative value.

좀더 상세히 설명하면, 군집 분석의 성능을 비교하는 척도로는 Rand Index를 사용한다.In more detail, Rand Index is used as a measure to compare the performance of cluster analysis.

Rand Index는 두 군집 분석의 결과가 서로 유사한지 비교하는 방법으로, Rand Index의 분자는 동일한 두 관측치 쌍이 동일한 군집에 소속되어 있는가 혹은 상이한 군집에 소속되어 있는가에 대한 빈도수이며, 분모는 전체 관측치 쌍의 수이다.The Rand Index is a method of comparing whether the results of two cluster analysis are similar.The numerator of the Rand Index is the frequency of whether two identical pairs of observations belong to the same or different clusters, and the denominator is the number of all observation pairs. It's a number.

IT 기술의 발전으로 수집되는 데이터의 규모가 매우 크고 복잡해짐에 따라 전통적인 통계적 분석 방법 이외에 다른 분석 방법이 필요하다.As the volume of data collected with the advancement of IT technology becomes very large and complex, analysis methods other than traditional statistical analysis methods are required.

이에 따라 대용량의 복잡한 데이터로부터 유용한 정보를 추출하고 이로부터 의미 있는 규칙이나 패턴을 찾는 데이터 마이닝(Datamining)과 기계 학습(Machine Learning) 분석 방법이 바람직하다.Accordingly, data mining and machine learning analysis methods are desirable to extract useful information from a large amount of complex data and find meaningful rules or patterns therefrom.

과거와 달리 연속형 변수로 측정된 관측치가 아닌 범주형 변수(Categorical Variables or Qualitative Variables)로 측정된 관측치를 수집하는 경우가 증가하고 있다.Unlike in the past, observations measured by Categorical Variables or Qualitative Variables are increasingly being collected instead of observations measured by continuous variables.

본 발명에서는 변수들 간의 연관성을 고려한 범주형 변수의 거리 측정 방법인 연관성 기반 비유사도(Association-Based Dissimilarity) 방법을 활용한다.In the present invention, an Association-Based Dissimilarity method is used, which is a method for measuring distances of categorical variables in consideration of associations between variables.

먼저, 첫 번째 단계에서는 범주형 변수들로 구성된 두 관측치 간의 거리를 측정한다.First, the first step measures the distance between two observations made up of categorical variables.

이를 위해서는 먼저한 범주형 변수의 값이 다양하게 주어질 때 이들 값들 간의 비유사도를 측정하는 것이 필요하다.To do this, it is first necessary to measure the dissimilarity between these values when various values of a categorical variable are given.

이는 두 변수 값 사이의 비유사도를 다른 변수 값들의 조건부 확률 분포의 거리들을 이용하여 계산하는 방법으로, 범주형 변수로 구성되어 있을 때 변수간의 연관성을 고려한 관측치 간의 거리를 측정하여 군집 분석을 수행한다.This is a method of calculating the dissimilarity between the values of two variables by using the distances of the conditional probability distribution of the values of other variables. When a categorical variable is configured, cluster analysis is performed by measuring the distance between observations considering the association between the variables. .

n개의 관측치로 이루어진 데이터 셋을 X={x ₁ ,x ₂ ,...x _n }이며, 각각의 관측된 관측치는 p차원의 범주형 변수로 구성된다.A data set consisting of n observations is X={x ₁ ,x ₂ ,...x _n } , and each observed observation is composed of a p-dimensional categorical variable.

범주형 변수 A _i 는 q _i 개의 변수 값을 가지며, A _i ={a _i1 ,a _i2 ,...,a _iq ⁱ }이다.The categorical variable A _i has q _i variable values, and A _i ={a _i1 ,a _i2 ,...,a _iq ⁱ } .

범주형 변수로 구성된 두 관측치의 거리는 먼저 범주형 변수의 변수 값들의 비유사도를 계산하고 이 비유사도를 이용하여 두 관측치 간의 거리를 계산한다.For the distance between two observations composed of categorical variables, the dissimilarity of the variable values of the categorical variable is first calculated, and the distance between the two observations is calculated using this dissimilarity.

본 발명에서 범주형 변수의 변수 값들의 비유사도는 d(a _ij ,a _ik )이며, 관측된 두 관측치의 거리는 d(x _g ,x _h )이다.In the present invention, the dissimilarity of the variable values of the categorical variable is d(a _ij ,a _ik ) , and the distance between the two observed values is d(x _g ,x _h ) .

[수학식 1][Equation 1]

여기서,

은 확률 분포의 거리 계산 함수임.here,

Is the distance calculation function of the probability distribution.

두 번째 단계에서는, 변수들 간의 연관성을 기반으로 측정된 두 관측치 간의 거리를 기반으로 군집 분석을 수행한다.In the second step, cluster analysis is performed based on the distance between two observations measured based on the association between variables.

본 발명에서 다루는 범주형 변수는 수치로 표시된 좌표로 나타낼 수 없으며, 각 관측치들 간의 거리만을 계산할 수 있다.The categorical variable handled in the present invention cannot be expressed in numerical coordinates, and only distances between observations can be calculated.

즉, 연관성 기반 비유사도 방법은 각 관측치 사이의 거리를 계산하기 때문에 본 발명에서는 PAM 방법을 군집 분석의 방법으로 이용한다.That is, since the association-based dissimilarity method calculates the distance between observations, the PAM method is used as a cluster analysis method in the present invention.

PAM 방법은 이상값과 결측값에 덜 민감한 medoid를 군집의 대표값으로 사용한다.The PAM method uses medoids that are less sensitive to outliers and missing values as representative values of the cluster.

여기서 medoid는 군집에 속한 관측치 중 하나를 의미한다.Here, medoid means one of the observations belonging to the cluster.

PAM 방법은 관측값과 가까운 medoid 간의 거리 합이 최소화되도록 하는 medoid를 구하는 방식으로 군집을 형성한다.The PAM method forms a cluster by finding a medoid that minimizes the sum of the distances between the observed value and the nearest medoid.

도 4는 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템에서 로봇과 클라우드 서버의 데이터 처리를 나타내는 도면이다.4 is a diagram illustrating data processing between a robot and a cloud server in the context-aware system of a robot based on cloud computing according to the present invention.

도 4를 참조하면, 상황 정보(10)는 환경 감지를 통해 서비스 로봇(100)의 모션 제어를 수행할 수 있다.Referring to FIG. 4, the context information 10 may perform motion control of the service robot 100 through environment detection.

이러한 서비스 로봇(100)은 지도 생성이나, 네비게이션, 장애물의 회피 또는 이탈 등의 기능을 수행할 수 있다.The service robot 100 may perform functions such as map generation, navigation, and avoidance or departure of obstacles.

또한, 상황 정보(10)는 음성 인식 또는 얼굴 인식 등을 통해 멀티 모드 인터렉션이나 사용자를 인식할 수 있다.In addition, the context information 10 may recognize a user or a multi-mode interaction through voice recognition or face recognition.

즉, 사용자와 서비스 로봇(100) 사이의 상지 동작, 손짓 인식, 성문 인식, 사용자의 몸매 인식 등을 수행할 수 있다.That is, upper limb motion, hand gesture recognition, voiceprint recognition, user's body body recognition, and the like between the user and the service robot 100 may be performed.

서비스 로봇(100)은 환경 감지를 통해 정보 기반 행동 제어를 수행하게 되고, 음성 인식 또는 얼굴 인식 등을 통해 상황 인지 행동 제어를 수행하게 된다.The service robot 100 performs information-based behavior control through environment detection, and context-aware behavior control through voice recognition or face recognition.

상황 정보(10)의 입력은 서비스 로봇(100)이 포함하고 있는 카메라나, 거리, 위치, 온도 등을 측정하는 다양한 센서들과, 모터 제어부에 의해 이루어진다.The context information 10 is input by a camera included in the service robot 100, various sensors measuring distance, location, temperature, etc., and a motor controller.

또한, 데이터 전송부(120)에 의해 클라우드 서버(200)와 다양한 데이터 정보를 송수신할 수 있다.In addition, the data transmission unit 120 may transmit and receive various data information with the cloud server 200.

도 5는 본 발명에 따른 클라우드 컴퓨팅 기반 로봇의 상황 인지 처리 방법에 대한 흐름을 나타내는 플로우 차트이다.5 is a flow chart showing a flow of a method for processing context awareness of a cloud computing-based robot according to the present invention.

도 5를 참조하면, 제공받은 상황 정보(10)를 상황 정보 처리부(240)에 의해 처리하는 클라우드 컴퓨팅 기반 로봇의 상황 인지 처리 방법은 총 3개의 단계로 이루어진다.Referring to FIG. 5, a method for processing context awareness of a cloud computing-based robot that processes the received context information 10 by the context information processing unit 240 consists of three steps.

A 단계에서는, 상황 정보(10)의 관측값들 중 2개의 관측값 사이의 거리를 각각 측정하여 연관성 기반 비유사도를 측정하는 연관성 매칭을 수행한다.In step A, correlation matching is performed by measuring a distance between two observation values of the observation values of the context information 10, respectively, to measure a degree of association-based dissimilarity.

[수학식 1][Equation 1]

여기서,

은 확률 분포의 거리 계산 함수이다.here,

Is the distance calculation function of the probability distribution.

이에 의해, 로봇이 이동하면서 인지하고 감지하는 다양한 정보들을 클라우드 서버에 보내어 클라우드 내에서 다양한 분석 및 각 데이터 별로 인공 신경망으로 학습된 추론을 통해 로봇의 독립적인 행동뿐만 아니라 정보 기반 행동들을 복합적인 데이터 처리를 통해 제어하는 효과가 있다.As a result, various information that the robot recognizes and detects while moving is sent to the cloud server, and through various analysis in the cloud and inference learned by artificial neural networks for each data, complex data processing of the robot's independent behavior as well as information-based behavior It has the effect of controlling through.

이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.In the above, several preferred embodiments of the present invention have been described with some examples, but the description of the various various embodiments described in the "Specific Contents for Carrying out the Invention" section is merely exemplary, and the present invention is Those of ordinary skill in the art to which it belongs will be well understood from the above description that the present invention can be variously modified and implemented or equivalent to the present invention.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.In addition, since the present invention can be implemented in a variety of other forms, the present invention is not limited by the above description, and the above description is intended to complete the disclosure of the present invention, and is generally used in the technical field to which the present invention pertains. It should be understood that it is provided only to fully inform the scope of the present invention to those skilled in the art, and that the present invention is only defined by each claim of the claims.

10 : 상황 정보
100 : 서비스 로봇
110 : 제 1 데이터 수집부
120 : 데이터 전송부
130 : 상황 정보 수집부
140 : 모션 제어부
150 : 로봇 제어부
200 : 클라우드 서버
210 : 제 2 데이터 수집부
220 : 데이터 모델링부
230 : 인공지능 처리부
240 : 상황 정보 처리부
250 : 데이터 저장부
260 : 데이터 학습부
1000 : 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템10: situation information
100: service robot
110: first data collection unit
120: data transmission unit
130: situation information collection unit
140: motion control unit
150: robot control unit
200: cloud server
210: second data collection unit
220: data modeling unit
230: artificial intelligence processing unit
240: situation information processing unit
250: data storage unit
260: Data Learning Department
1000: A context-aware system for robots based on cloud computing

Claims

A cloud server having a context information processing unit that receives the context information collected by the context information collection unit and processes the service robot to use it for decision making; And
Includes; a data learning unit for learning the context information,
The situation information collection unit,
A visual sensor that recognizes an object and recognizes a distance between the object and the service robot;
A tactile sensor that recognizes a compressive force of a service robot hand for gripping an object and recognizes a friction force between the object and the service robot hand; And
Including; a tactile sensor for recognizing the hardness, texture, and weight of an object to be gripped, a moving direction for gripping the object, and a vibration state generated when the object is gripped,
The data collected by the visual sensor is learned by the data learning unit,
Learning the data collected by the tactile sensor and the data collected by the tactile sensor together by the data learning unit,
A gripping point is detected through the learned data by the visual sensor and the learned data by the tactile sensor and the tactile sensor,
The service robot,
Further comprising a first data collection unit for collecting data represented by numbers among the situation information,
When processing the received situation information by the situation information processing unit,
A step of performing association matching for measuring a dissimilarity based on association by measuring a distance between two observation values of the observation values of the context information, respectively; Including,
The association matching is characterized in that it is performed by Equation 1 below,
A context-aware system for robots based on cloud computing.
[Equation 1]

here,

Is the distance calculation function of the probability distribution.

delete

The method of claim 1,
Comprising a step B of obtaining a value having a high probability of crossing by measuring the frequency of crossing between the values measured by the correlation matching.
A context-aware system for robots based on cloud computing.

The method of claim 8,
Characterized in that it comprises a; C step of performing cluster analysis using the distance between the values measured by the association matching;
A context-aware system for robots based on cloud computing.

The method of claim 9,
The cluster analysis,
After forming a cluster for the measured value, characterized in that one of the actual value and the measured value included in the cluster close to the actual value is used as a representative value,
A context-aware system for robots based on cloud computing.

The method of claim 10,
Characterized in that the sum of the distances between the measured value and the representative value is minimized,
A context-aware system for robots based on cloud computing.

The method of claim 1,
The service robot,
A motion controller that controls the movement of the robot; And
Characterized in that comprising; a robot control unit for controlling the movement of the robot,
A context-aware system for robots based on cloud computing.

The method of claim 1,
It characterized in that it comprises a data transmission unit for transmitting the context information to the cloud server,
A context-aware system for robots based on cloud computing.

The method of claim 1,
The situation information is characterized in that at least one of image information, driving information, location information, grip information, distance information, and audio information,
A context-aware system for robots based on cloud computing.

The method of claim 1,
The cloud server,
A second data collection unit for receiving situation information or data information expressed in numbers from the service robot; And
Characterized in that it includes; a data storage unit for storing the situation information,
A context-aware system for robots based on cloud computing.

The method of claim 1,
The cloud server,
A data modeling unit that models the collected context information; And
Characterized in that it comprises; artificial intelligence processing unit for processing the context information model modeled by the data modeling unit,
A context-aware system for robots based on cloud computing.

As a context-aware processing method of a cloud computing-based service robot that processes the context information provided from the context information collection unit by the context information processing unit,
A step of performing, by the context information processing unit, correlation matching of measuring a dissimilarity based on association by measuring a distance between two observation values of the observation values of the context information, respectively, and
The situation information collection unit,
A visual sensor that recognizes an object and recognizes a distance between the object and the service robot;
A tactile sensor that recognizes a compressive force of a service robot hand for gripping an object and recognizes a friction force between the object and the service robot hand; And
Including; a tactile sensor for recognizing the hardness, texture, and weight of an object to be gripped, a moving direction for gripping the object, and a vibration state generated when the object is gripped,
The data collected by the visual sensor is learned by a data learning unit,
Learning the data collected by the tactile sensor and the data collected by the tactile sensor together by the data learning unit,
A gripping point is detected through the learned data by the visual sensor and the learned data by the tactile sensor and the tactile sensor,
The association matching is characterized in that it is performed by Equation 1 below,
A cloud computing-based robot's context-aware processing method.
[Equation 1]

here,

Is the distance calculation function of the probability distribution.

delete

The method of claim 17,
Comprising a step B of obtaining a value having a high probability of crossing by measuring the frequency of crossing between the values measured by the correlation matching.
A cloud computing-based robot's context-aware processing method.

The method of claim 19,
Characterized in that it comprises a; C step of performing cluster analysis using the distance between the values measured by the association matching;
A cloud computing-based robot's context-aware processing method.

The method of claim 20,
The cluster analysis,
After forming a cluster for the measured value, characterized in that one of the actual value and the measured value included in the cluster close to the actual value is used as a representative value,
A cloud computing-based robot's context-aware processing method.

The method of claim 21,
Characterized in that the sum of the distances between the measured value and the representative value is minimized,
A cloud computing-based robot's context-aware processing method.