KR102408398B1

KR102408398B1 - Method, device and system for controlling robot to prevent pet from barking based on artificial intelligence

Info

Publication number: KR102408398B1
Application number: KR1020210169807A
Authority: KR
Inventors: 김학돈
Original assignee: (주)디로펫
Priority date: 2021-12-01
Filing date: 2021-12-01
Publication date: 2022-06-14

Abstract

일실시예에 따르면, 장치에 의해 수행되는, 인공지능을 기반으로 반려동물의 짖음을 방지하기 위해 로봇을 제어하는 방법에 있어서, 로봇에 설치된 마이크로폰을 통해 제1 소리가 감지되고 상기 제1 소리가 미리 설정된 기준 기간 보다 길게 유지된 경우, 상기 로봇으로부터 제1 소리 정보를 획득하는 단계; 상기 제1 소리 정보를 기초로, 상기 제1 소리의 주파수를 분석하는 단계; 상기 제1 소리의 주파수에 대한 분석 결과를 인공 신경망에 적용하여, 상기 인공 신경망의 출력을 기초로, 상기 제1 소리에 대한 발생 주체를 검출하는 단계; 상기 제1 소리를 발생시킨 주체가 반려동물로 검출되면, 상기 제1 소리가 반려동물이 짖어서 발생한 것으로 판단하는 단계 ; 및 상기 제1 소리가 반려동물이 짖어서 발생한 것으로 판단되면, 상기 로봇이 360도 회전하면서 상기 로봇에 설치된 제1 적외선 센서-상기 제1 적외선 센서는 PIR 센서(Passive Infrared Sensor)로 구성됨-를 통해 주변 온도를 감지하도록, 상기 로봇의 동작을 제어하는 단계를 포함하는, 인공지능 기반 반려동물 짖음 방지 로봇 제어 방법이 제공된다.According to one embodiment, in a method of controlling a robot to prevent barking of a companion animal based on artificial intelligence performed by a device, a first sound is detected through a microphone installed in the robot, and the first sound is if it is maintained longer than a preset reference period, obtaining first sound information from the robot; analyzing a frequency of the first sound based on the first sound information; applying an analysis result of the frequency of the first sound to an artificial neural network and detecting a generator of the first sound based on an output of the artificial neural network; determining that the first sound is caused by barking of the companion animal when the subject generating the first sound is detected as a companion animal; and when it is determined that the first sound is caused by the companion animal barking, the robot rotates 360 degrees and the first infrared sensor installed in the robot - the first infrared sensor is composed of a PIR sensor (Passive Infrared Sensor) - There is provided a method for controlling an artificial intelligence-based anti-barking robot for companion animals, comprising controlling the operation of the robot to sense ambient temperature.

Description

Artificial intelligence-based companion animal anti-barking robot control method, device and system {METHOD, DEVICE AND SYSTEM FOR CONTROLLING ROBOT TO PREVENT PET FROM BARKING BASED ON ARTIFICIAL INTELLIGENCE}

아래 실시예들은 인공지능을 기반으로 반려동물의 짖음을 방지하기 위해 로봇을 제어하는 기술에 관한 것이다.The examples below relate to a technology for controlling a robot to prevent a companion animal from barking based on artificial intelligence.

반려동물을 가족처럼 여기는 성향이 생겨나면서, 펫코노미(Petconomy) 규모도 매년 급성장을 이루고 있다.As there is a tendency to treat companion animals like family, the size of the petconomy is growing rapidly every year.

하지만, 반려동물 보유 가구가 증가하면서 반려동물로 인한 소음 문제가 대두되고 있으며, 층견 소음은 사회적 문제로 발전하였으나 마땅한 해결책이 없는 상황이다.However, as the number of households with companion animals increases, noise problems due to companion animals are emerging.

반려동물로 인한 소음을 방지하기 위해, 고통으로 짖음을 방지하는 제품이 출시되었으나, 이러한 제품은 물리적인 고통을 주는 방식으로 비윤리적인 방법으로, 제품 사용 시 반려동물에게 큰 트라우마를 주기 때문에, 반려인들의 사용 기피, 판매 금지 및 중단으로 이어지고 있다.In order to prevent noise caused by companion animals, products that prevent barking due to pain have been released, but these products are unethical in a way that inflicts physical pain. It is leading to people's avoidance of use, ban and suspension of sales.

따라서, 반려동물의 짖음으로 인한 소음을 방지하면서, 반려동물의 스트레스도 완화시킬 수 있는 제품에 대한 요구가 증대되고 있으며, 이와 관련된 기술의 구현이 요구되고 있다.Accordingly, there is an increasing demand for products that can alleviate the stress of companion animals while preventing noise caused by barking of companion animals, and implementation of related technologies is required.

한국등록특허 제10-1991093호Korean Patent Registration No. 10-1991093 한국등록특허 제10-2288560호Korean Patent No. 10-2288560 한국등록특허 제10-1881011호Korean Patent Registration No. 10-1881011 한국공개특허 제10-2021-0013958호Korean Patent Publication No. 10-2021-0013958

일실시예에 따르면, 소리의 주파수를 분석하여 반려동물이 짖어서 발생한 소리인지 판단하고, 반려동물이 짖은 것으로 판단되면, 반려동물의 체온과 온도가 가장 유사한 물체를 제1 목표물로 설정하고, 제1 목표물로 접근하여 제1 목표물이 반려동물이 맞는지 판단하고, 제1 목표물이 반려동물인 것으로 판단되면, 반려동물의 짖음을 방지하기 위해 설정되어 있는 제1 동작을 수행하도록, 로봇의 동작을 제어하는, 인공지능 기반 반려동물 짖음 방지 로봇 제어 방법, 장치 및 시스템을 제공하기 위한 것을 그 목적으로 한다.According to an embodiment, it is determined whether the sound is caused by the companion animal barking by analyzing the frequency of the sound, and when it is determined that the companion animal is barking, an object having the most similar body temperature and temperature of the companion animal is set as the first target, 1 Approaching the target, it is determined whether the first target is a companion animal, and when it is determined that the first target is a companion animal, the robot motion is controlled to perform a first motion set to prevent the companion animal from barking. An object of the present invention is to provide an artificial intelligence-based companion animal anti-barking robot control method, apparatus, and system.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the object mentioned above, and other objects not mentioned will be clearly understood from the description below.

일실시예에 따르면, 장치에 의해 수행되는, 인공지능을 기반으로 반려동물의 짖음을 방지하기 위해 로봇을 제어하는 방법에 있어서, 로봇에 설치된 마이크로폰을 통해 제1 소리가 감지되고 상기 제1 소리가 미리 설정된 기준 기간 보다 길게 유지된 경우, 상기 로봇으로부터 제1 소리 정보를 획득하는 단계; 상기 제1 소리 정보를 기초로, 상기 제1 소리의 주파수를 분석하는 단계; 상기 제1 소리의 주파수에 대한 분석 결과를 인공 신경망에 적용하여, 상기 인공 신경망의 출력을 기초로, 상기 제1 소리에 대한 발생 주체를 검출하는 단계; 상기 제1 소리를 발생시킨 주체가 반려동물로 검출되면, 상기 제1 소리가 반려동물이 짖어서 발생한 것으로 판단하는 단계 ; 및 상기 제1 소리가 반려동물이 짖어서 발생한 것으로 판단되면, 상기 로봇이 360도 회전하면서 상기 로봇에 설치된 제1 적외선 센서-상기 제1 적외선 센서는 PIR 센서(Passive Infrared Sensor)로 구성됨-를 통해 주변 온도를 감지하도록, 상기 로봇의 동작을 제어하는 단계를 포함하며, 상기 인공 신경망은 상기 제1 소리의 평균 주파수가 미리 설정된 제1 기준 주파수 범위 내에 포함되는 것으로 확인되면, 상기 제1 소리에 대한 발생 주체를 반려동물로 분석하여 출력하고, 상기 제1 소리의 평균 주파수가 미리 설정된 제2 기준 주파수 범위 내에 포함되는 것으로 확인되면, 상기 제1 소리에 대한 발생 주체를 사람으로 분석하여 출력하는 것을 특징으로 하는, 인공지능 기반 반려동물 짖음 방지 로봇 제어 방법이 제공된다.According to one embodiment, in a method of controlling a robot to prevent barking of a companion animal based on artificial intelligence performed by a device, a first sound is detected through a microphone installed in the robot, and the first sound is if it is maintained longer than a preset reference period, obtaining first sound information from the robot; analyzing a frequency of the first sound based on the first sound information; applying an analysis result of the frequency of the first sound to an artificial neural network and detecting a generator of the first sound based on an output of the artificial neural network; determining that the first sound is caused by barking of the companion animal when the subject generating the first sound is detected as a companion animal; and when it is determined that the first sound is caused by the companion animal barking, the robot rotates 360 degrees and the first infrared sensor installed in the robot - the first infrared sensor is composed of a PIR sensor (Passive Infrared Sensor) - and controlling the operation of the robot to detect an ambient temperature, wherein the artificial neural network responds to the first sound when it is confirmed that the average frequency of the first sound is included in a preset first reference frequency range. It is characterized in that the generating subject is analyzed as a companion animal and output, and when it is confirmed that the average frequency of the first sound is included in a preset second reference frequency range, the generating subject of the first sound is analyzed and output as a person A method for controlling an artificial intelligence-based companion animal anti-barking robot is provided.

상기 인공지능 기반 반려동물 짖음 방지 로봇 제어 방법은, 상기 로봇이 360도 회전하는 동안 상기 제1 적외선 센서를 통해 주변 온도가 감지되면, 상기 로봇으로부터 제1 온도 정보를 획득하는 단계; 상기 제1 온도 정보를 기초로, 반려동물의 체온과 온도가 가장 유사한 물체를 제1 목표물로 설정하고, 상기 제1 목표물이 상기 로봇을 기준으로 어느 방향에 위치하고 있는지 확인하는 단계; 상기 제1 목표물이 상기 로봇을 기준으로 제1 방향에 위치하고 있는 것으로 확인되면, 상기 로봇이 상기 제1 방향으로 이동하도록, 상기 로봇의 동작을 제어하는 단계; 상기 로봇이 상기 제1 방향으로 이동하여 상기 제1 목표물로 접근하는 경우, 상기 로봇에 설치된 제2 적외선 센서-상기 제2 적외선 센서는 열전퇴 적외선 센서(Thermopile Infrared Sensor)로 구성됨-를 통해 상기 제1 목표물의 온도를 감지하도록, 상기 로봇의 동작을 제어하는 단계; 상기 로봇이 상기 제1 목표물로 접근하여 상기 제2 적외선 센서를 통해 상기 제1 목표물의 온도 변화가 감지되면, 상기 로봇으로부터 제2 온도 정보를 획득하는 단계; 상기 제2 온도 정보를 기초로, 상기 제1 목표물의 온도가 미리 설정된 기준 온도 범위 내에 포함되는 것으로 확인되면, 상기 제1 목표물이 반려동물인 것으로 판단하는 단계; 및 상기 제1 목표물이 반려동물인 것으로 판단되면, 반려동물의 짖음을 방지하기 위해 설정되어 있는 제1 동작을 수행하도록, 상기 로봇의 동작을 제어하는 단계를 더 포함할 수 있다.The artificial intelligence-based companion animal barking prevention robot control method may include: acquiring first temperature information from the robot when an ambient temperature is sensed through the first infrared sensor while the robot rotates 360 degrees; setting an object having the most similar body temperature and temperature as a first target based on the first temperature information, and determining in which direction the first target is located with respect to the robot; when it is confirmed that the first target is positioned in a first direction with respect to the robot, controlling an operation of the robot so that the robot moves in the first direction; When the robot moves in the first direction and approaches the first target, the second infrared sensor installed in the robot, the second infrared sensor is composed of a Thermopile Infrared Sensor. 1 controlling the operation of the robot to sense the temperature of the target; acquiring second temperature information from the robot when the robot approaches the first target and a change in temperature of the first target is detected through the second infrared sensor; determining that the first target is a companion animal when it is confirmed that the temperature of the first target is within a preset reference temperature range based on the second temperature information; and when it is determined that the first target is a companion animal, controlling the operation of the robot to perform a first operation set to prevent the companion animal from barking.

상기 인공지능 기반 반려동물 짖음 방지 로봇 제어 방법은, 상기 제2 온도 정보를 기초로, 상기 제1 목표물의 온도가 상기 기준 온도 범위 내에 포함되지 않는 것으로 확인되면, 상기 로봇이 상기 제1 목표물로 더 접근하여 이동하도록, 상기 로봇의 동작을 제어하는 단계; 상기 로봇이 상기 제1 목표물로 더 접근하여 상기 제2 적외선 센서를 통해 상기 제1 목표물의 온도 변화가 다시 감지되면, 상기 로봇으로부터 제2 온도 정보를 다시 획득하는 단계; 다시 획득된 상기 제2 온도 정보를 기초로, 상기 제1 목표물의 온도가 상기 기준 온도 범위 내에 포함되는 것으로 확인되면, 상기 제1 목표물이 반려동물인 것으로 판단하는 단계; 다시 획득된 상기 제2 온도 정보를 기초로, 상기 제1 목표물의 온도가 상기 기준 온도 범위 내에 포함되지 않는 것으로 확인되면, 상기 로봇이 상기 제1 목표물로 더 접근하여 이동하도록, 상기 로봇의 동작을 제어하는 단계; 및 상기 로봇이 상기 제1 목표물로 더 접근하여 상기 로봇에 설치된 장애물 센서를 통해 상기 로봇과 상기 제1 목표물이 부딪힌 것으로 감지되면, 상기 제1 목표물이 반려동물이 아닌 것으로 판단하는 단계를 더 포함할 수 있다.In the artificial intelligence-based companion animal barking prevention robot control method, when it is confirmed that the temperature of the first target is not within the reference temperature range based on the second temperature information, the robot is further set to the first target. controlling an operation of the robot to approach and move; acquiring second temperature information from the robot again when the robot approaches the first target and a change in temperature of the first target is detected again through the second infrared sensor; determining that the first target is a companion animal when it is confirmed that the temperature of the first target is within the reference temperature range based on the re-obtained second temperature information; If it is confirmed that the temperature of the first target is not within the reference temperature range based on the second temperature information obtained again, the robot moves to move closer to the first target. controlling; and determining that the first target is not a companion animal when it is detected that the robot and the first target collide with the robot through an obstacle sensor installed in the robot as the robot approaches the first target. can

일실시예에 따르면, 소리의 주파수를 분석하여 반려동물이 짖어서 발생한 소리인지 판단하고, 반려동물이 짖은 것으로 판단되면, 반려동물의 체온과 온도가 가장 유사한 물체를 제1 목표물로 설정하고, 제1 목표물로 접근하여 제1 목표물이 반려동물이 맞는지 판단하고, 제1 목표물이 반려동물인 것으로 판단되면, 반려동물의 짖음을 방지하기 위해 설정되어 있는 제1 동작을 수행하도록, 로봇의 동작을 제어함으로써, 반려동물의 짖음으로 인한 소음을 방지하면서, 반려동물의 스트레스도 완화시킬 수 있는 효과가 있다.According to an embodiment, it is determined whether the sound is caused by the companion animal barking by analyzing the frequency of the sound, and when it is determined that the companion animal is barking, an object having the most similar body temperature and temperature of the companion animal is set as the first target, 1 Approaching the target, it is determined whether the first target is a companion animal, and when it is determined that the first target is a companion animal, the robot motion is controlled to perform a first motion set to prevent the companion animal from barking. This has the effect of reducing the stress of the companion animal while preventing noise caused by the companion animal's barking.

한편, 실시예들에 따른 효과들은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.On the other hand, the effects according to the embodiments are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those of ordinary skill in the art from the following description.

도 1은 일실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 일실시예에 따른 로봇의 구성에 대한 예시도이다.
도 3은 일실시예에 따른 반려동물이 짖은 것을 판단하는 과정을 설명하기 위한 순서도이다.
도 4는 일실시예에 따른 제1 목표물을 설정하여 제1 목표물이 있는 위치로 로봇을 이동시키는 과정을 설명하기 위한 순서도이다.
도 5는 일실시예에 따른 제1 목표물이 반려동물인지 판단하는 과정을 설명하기 위한 순서도이다.
도 6은 일실시예에 따른 제1 목표물이 반려동물인지 아닌지 판단하는 과정을 설명하기 위한 순서도이다.
도 7은 일실시예에 따른 제1 목표물이 반려동물이 아닌 경우, 제2 목표물을 설정하여 제2 목표물이 있는 위치로 로봇을 이동시키는 과정을 설명하기 위한 순서도이다.
도 8은 일실시예에 따른 로봇과 목표물 간의 이격 거리에 따라 반려동물 짖음 방지 동작을 수행하는 과정을 설명하기 위한 순서도이다.
도 9는 일실시예에 따른 인공 신경망의 학습을 설명하기 위한 도면이다.
도 10은 일실시예에 따른 장치의 구성의 예시도이다.1 is a diagram schematically showing the configuration of a system according to an embodiment.
2 is an exemplary diagram of a configuration of a robot according to an embodiment.
3 is a flowchart illustrating a process of determining that a companion animal has barked according to an exemplary embodiment.
4 is a flowchart illustrating a process of setting a first target and moving the robot to a position where the first target is located, according to an exemplary embodiment.
5 is a flowchart illustrating a process of determining whether a first target is a companion animal according to an exemplary embodiment.
6 is a flowchart illustrating a process of determining whether a first target is a companion animal according to an exemplary embodiment.
7 is a flowchart illustrating a process of setting a second target and moving the robot to a position where the second target is located when the first target is not a companion animal according to an exemplary embodiment.
8 is a flowchart illustrating a process of performing an operation to prevent a companion animal from barking according to a separation distance between a robot and a target according to an exemplary embodiment.
9 is a diagram for explaining learning of an artificial neural network according to an embodiment.
10 is an exemplary diagram of a configuration of an apparatus according to an embodiment.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all modifications, equivalents and substitutes for the embodiments are included in the scope of the rights.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for purposes of illustration only, and may be changed and implemented in various forms. Accordingly, the embodiments are not limited to the specific disclosure form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various elements, these terms should be interpreted only for the purpose of distinguishing one element from another. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected to” another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in between.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for the purpose of description only, and should not be construed as limiting. The singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that a feature, number, step, operation, component, part, or a combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are given the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In describing the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description thereof will be omitted.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.The embodiments may be implemented in various types of products, such as personal computers, laptop computers, tablet computers, smart phones, televisions, smart home appliances, intelligent cars, kiosks, wearable devices, and the like.

도 1은 일실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.1 is a diagram schematically showing the configuration of a system according to an embodiment.

도 1을 참조하면, 일실시예에 따른 시스템은 로봇(100) 및 장치(200)를 포함할 수 있다.Referring to FIG. 1 , a system according to an embodiment may include a robot 100 and an apparatus 200 .

먼저, 로봇(100)은 반려동물을 케어하는데 도움을 주는 로봇일 수 있으며, 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 로봇(100)은 장치(200)와 무선을 통해 통신하도록 구성될 수 있다.First, the robot 100 may be a robot that helps to take care of companion animals, and may be configured to perform all or part of an arithmetic function, a storage/referencing function, an input/output function, and a control function of a normal computer. The robot 100 may be configured to communicate with the device 200 wirelessly.

장치(200)는 장치(200)를 이용하여 서비스를 제공하는 자 내지 단체가 보유한 자체 서버일수도 있고, 클라우드 서버일 수도 있고, 분산된 노드(node)들의 p2p(peer-to-peer) 집합일 수도 있다. 장치(200)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 장치(200)는 추론 기능을 수행하는 적어도 하나 이상의 인공 신경망을 구비할 수 있다. 장치(200)는 로봇(100)과 무선을 통해 통신하도록 구성될 수 있다.The device 200 may be its own server owned by a person or organization that provides services using the device 200, may be a cloud server, or may be a peer-to-peer (p2p) set of distributed nodes. may be The device 200 may be configured to perform all or part of an arithmetic function, a storage/referencing function, an input/output function, and a control function of a typical computer. The device 200 may include at least one artificial neural network that performs an inference function. The device 200 may be configured to communicate with the robot 100 via wireless.

장치(200)는 로봇(100)에 대한 전체적인 동작을 제어하며, 로봇(100)을 반려동물을 케어하는 로봇으로 활용할 수 있으며, 이를 통해, 반려동물의 짖음을 방지하기 위해 로봇(100)의 동작을 제어할 수 있다.The device 200 controls the overall operation of the robot 100 , and the robot 100 can be used as a robot to care for the companion animal, and through this, the operation of the robot 100 to prevent the companion animal from barking can be controlled.

도 2는 일실시예에 따른 로봇의 구성에 대한 예시도이다.2 is an exemplary diagram of a configuration of a robot according to an embodiment.

도 2를 참조하면, 로봇(100)은 마이크로폰(110), 제1 적외선 센서(120), 제2 적외선 센서(130), 장애물 센서(140), 스피커(150), 통신 모듈(160) 및 프로세서(170)를 포함하여 구성될 수 있다.Referring to FIG. 2 , the robot 100 includes a microphone 110 , a first infrared sensor 120 , a second infrared sensor 130 , an obstacle sensor 140 , a speaker 150 , a communication module 160 , and a processor. 170 may be included.

먼저, 마이크로폰(110)은 소리, 음성과 같은 음파를 받아서 그 진동에 따른 전기 신호를 발생하는 역할을 수행하며, 로봇(100)의 주변에서 발생하는 소리를 감지할 수 있다.First, the microphone 110 receives sound waves, such as sound and voice, and performs a role of generating an electric signal according to the vibration thereof, and may detect a sound generated in the vicinity of the robot 100 .

제1 적외선 센서(120)는 PIR 센서(Passive Infrared Sensor)로 구성될 수 있다. PIR 센서는 인체 감지 센서로, 피동형 적외선 센서를 의미하며, 프레넬 렌즈를 통해 9~12도의 예각으로 일정 구간의 인체 이동을 감지할 수 있다.The first infrared sensor 120 may be configured as a PIR sensor (Passive Infrared Sensor). The PIR sensor is a human body detection sensor, which means a passive infrared sensor, and can detect the movement of the human body in a certain section at an acute angle of 9 to 12 degrees through a Fresnel lens.

제2 적외선 센서(130)는 열전퇴 적외선 센서(Thermopile Infrared Sensor)로 구성될 수 있다. Thermopile Infrared Sensor는 인체에서 발산되는 미세한 적외선 신호를 증폭하여, 증폭된 디지털 신호를 통해 인체를 감지할 수 있다.The second infrared sensor 130 may be configured as a thermopile infrared sensor. Thermopile Infrared Sensor can detect the human body through the amplified digital signal by amplifying the minute infrared signal emitted from the human body.

장애물 센서(140)는 거리 측정 센서(Distance Measuring Sensor), 라이다 센서(LIDAR Sensor) 등의 조합으로 구성되어, 로봇(100)의 주변에 장애물이 있는지 여부를 감지할 수 있다.The obstacle sensor 140 is composed of a combination of a distance measuring sensor, a LIDAR sensor, and the like, and may detect whether there is an obstacle in the vicinity of the robot 100 .

스피커(150)는 소리를 출력하는 역할을 수행하며, 반려동물에게 들려줄 음원을 재생하여 외부로 출력할 수 있다.The speaker 150 plays a role of outputting a sound, and may reproduce a sound source to be heard by the companion animal and output it to the outside.

통신 모듈(160)은 외부 장치와 연결되어 통신하는 역할을 수행하며, 예를 들면, 블루투스 모듈로 구성될 수 있으며, 장치(200)와 무선을 통해 연결되어 정보를 송수신할 수 있다.The communication module 160 is connected to an external device to perform a communication function, and may be configured as, for example, a Bluetooth module, and may be connected to the device 200 wirelessly to transmit/receive information.

프로세서(170)는 제1 적외선 센서(120), 제2 적외선 센서(130), 장애물 센서(140), 스피커(150) 및 통신 모듈(160) 각각의 동작을 수행하도록 지시하고 제어하는 역할을 수행할 수 있다.The processor 170 serves to instruct and control the first infrared sensor 120 , the second infrared sensor 130 , the obstacle sensor 140 , the speaker 150 , and the communication module 160 to perform each operation. can do.

일실시예에 따르면, 로봇(100)은 메카트로닉스(Mechatronics) 기반 설계로 별도의 작업을 하지 않아도 주거공간에 있는 벽, 문턱, 가구 등의 장애물을 인식하여, 장애물에 구애없이 자동으로 자율 주행이 가능할 수 있다.According to one embodiment, the robot 100 recognizes obstacles such as walls, thresholds, and furniture in the residential space without any separate work due to the mechatronics-based design, so that autonomous driving is possible automatically regardless of the obstacles. can

로봇(100)은 마이크로폰(110)으로 주변 소리를 감지하고, 감지된 소리의 주파수를 분석하여, 특정 주파수(예를 들면, 1~2KHz)에 반응하도록 구현될 수 있다. 이때, 특정 주파수는 반려동물이 짖는 소리의 평균 주파수이다.The robot 100 may be implemented to detect an ambient sound with the microphone 110 , analyze the frequency of the sensed sound, and respond to a specific frequency (eg, 1 to 2 KHz). In this case, the specific frequency is the average frequency of the barking sound of the companion animal.

구체적으로, 일반 여성은 200~250Hz, 개 짖는 소리의 평균 주파수는　1K~2KHz로 알려져 있는데, 로봇(100)은 마이크로폰(110)으로 주변 소리를 감지하여 EPWM0 channel output/capture input 또는 AUDIO CODEC 등으로 소리의 주파수를 분석한 후, 특정 주파수(1K~2KHz)에 반응할 수 있다.Specifically, it is known that the average frequency of a female barking sound is 200~250Hz, and the average frequency of a dog barking is 1K~2KHz. After analyzing the frequency of sound, it can respond to a specific frequency (1K~2KHz).

마이크로폰(110)을 통해 특정 주파수(1K~2KHz)가 감지되면, 로봇(100)이 반응을 시작할 수 있으며, 로봇(100)이 360도 회전하면서 PIR Sensor를 통해 인체 감지와 동시에 Thermopile Infrared Sensor로 주변 온도를 감지할 수 있다.When a specific frequency (1K~2KHz) is detected through the microphone 110, the robot 100 can start to react, and the robot 100 rotates 360 degrees and detects the human body through the PIR sensor and the surrounding area with the Thermopile Infrared Sensor. temperature can be sensed.

로봇(100)은 PIR Sensor와 Thermopile Infrared Sensor의 입력을 바탕으로 방향을 설정하고 목표물을 추적할 수 있다. 이때, 로봇(100)은 Stepping Motor와 Distance Measuring Sensor를 통해 정확한 방향 설정과 장애물을 회피하여 목표물에 접근할 수 있다.The robot 100 may set a direction based on the input of the PIR sensor and the Thermopile Infrared Sensor and track the target. At this time, the robot 100 can approach the target by setting the correct direction and avoiding obstacles through the Stepping Motor and the Distance Measuring Sensor.

로봇(100)은 목표물에 근접하게 되면, Thermopile Infrared Sensor를 통해 목표물의 체온을 감지하여 사람과 반려동물을 정확히 구분할 수 있다. 예를 들어, 목표물의 체온이 36~37°C로 감지되면 목표물이 사람으로 구분되고, 목표물이 체온이 38.5~39.5°C로 감지되면 목표물이 반려동물로 구분될 수 있다.When the robot 100 approaches the target, it can detect the body temperature of the target through the Thermopile Infrared Sensor to accurately distinguish a person from a companion animal. For example, if the target's body temperature is detected as 36~37°C, the target may be classified as a human, and if the target's body temperature is detected as 38.5~39.5°C, the target may be classified as a companion animal.

로봇(100)은 반려동물의 짖음을 멈추기 위한 다양한 기술적 요소를 포함할 수 있다.The robot 100 may include various technical elements for stopping the barking of the companion animal.

예를 들어, 로봇(100)은 목표물 이동 접근 시 반려동물이 선호하는 음원을 출력할 수 있다. 이를 위해, 반려동물이 좋아하는 여러 개의 음원을 사전에 메모리에 저장한 상태에서, 목표물에 접근하면서 미리 정해진 규칙에 따라 AUDIO CODEC을 통해 음원이 재생되도록 처리할 수 있다.For example, the robot 100 may output a sound source preferred by the companion animal when the target moves and approaches. To this end, in a state in which several sound sources that the companion animal likes are stored in memory in advance, it is possible to process the sound sources to be played through the AUDIO CODEC according to a predetermined rule while approaching the target.

또한, 로봇(100)은 목표물 이동 접근 시 간식 자동 피더를 통해 반려동물이 좋아하는 먹이가 투척되도록 처리하여, 반려동물의 간식을 분배할 수 있다. 이때, 반려동물의 위치에 따라 먹이통의 회전 각도가 조절될 수 있다.In addition, the robot 100 may distribute the companion animal's snacks by processing such that the companion animal's favorite food is thrown through the snack automatic feeder when the target moves and approaches. In this case, the rotation angle of the food container may be adjusted according to the position of the companion animal.

또한, 로봇(100)은 Laser Pointer를 통해 반려동물의 시선을 분산시킬 수 있다. 이때, 반려동물의 위치에 따라 Laser가 출력되는 상하좌우 각도가 조절될 수 있다.In addition, the robot 100 may disperse the gaze of the companion animal through the laser pointer. At this time, the angle at which the laser is output can be adjusted according to the position of the companion animal.

또한, 로봇(100)은 Silicon/엘라스토머 Cover를 장착하여 반려동물이 무는 습성을 고려하고 제품 내구성을 강화시킬 수 있다.In addition, the robot 100 is equipped with a Silicon/elastomer Cover to consider the habit of biting by companion animals and enhance product durability.

또한, 로봇(100)은 Vibration Sensor를 내장하여 로봇(100)의 특정 부위에 반려동물이 접촉하게 되면, 진동을 발생시켜 진동으로 인해 반려동물의 짖음을 멈추게 할 수 있다.In addition, the robot 100 has a built-in Vibration Sensor, so that when the companion animal comes into contact with a specific part of the robot 100, it can generate vibration to stop the barking of the companion animal due to the vibration.

상술한 로봇(100)의 전체적인 동작은 장치(200)에 의해 제어될 수 있으며, 이하에서는 반려동물의 짖음을 방지하기 위해 로봇(100)의 동작을 제어하는 장치(200)의 구체적인 동작에 대해 자세히 설명하기로 한다.The overall operation of the above-described robot 100 may be controlled by the device 200. Hereinafter, the detailed operation of the device 200 for controlling the operation of the robot 100 to prevent barking of companion animals will be described in detail. to explain

도 3은 일실시예에 따른 반려동물이 짖은 것을 판단하는 과정을 설명하기 위한 순서도이다.3 is a flowchart illustrating a process of determining that a companion animal has barked according to an exemplary embodiment.

도 3을 참조하면, 먼저, S301 단계에서, 장치(200)는 로봇(100)의 상태를 소리 감지 대기 상태로 설정할 수 있다. 여기서, 소리 감지 대기 상태는 소리를 감지하기 위해 대기하고 있는 상태로, 장치(200)는 대기 상태를 설정하기 위한 제어 신호를 로봇(100)으로 전송하여, 로봇(100)의 상태를 소리 감지 대기 상태로 설정할 수 있다.Referring to FIG. 3 , first, in step S301 , the device 200 may set the state of the robot 100 to a sound detection standby state. Here, the sound detection standby state is a state waiting to detect a sound, the device 200 transmits a control signal for setting the standby state to the robot 100, and the state of the robot 100 is waiting for sound detection state can be set.

S302 단계에서, 장치(200)는 로봇(100)에 설치된 마이크로폰(110)을 통해 소리가 감지되었는지 여부를 확인할 수 있다. 이때, 장치(200)는 마이크로폰(110)을 통해 소리가 감지된 경우, 감지된 소리의 세기가 기준값 이상인지 여부를 확인하여, 감지된 소리가 기준값 이상인 것으로 확인되면, 소리가 감지된 것으로 확인할 수 있다. 여기서, 기준값은 데시벨을 단위로 하여 실시예에 따라 상이하게 설정될 수 있다.In step S302 , the device 200 may determine whether a sound is detected through the microphone 110 installed in the robot 100 . At this time, when the sound is detected through the microphone 110, the device 200 checks whether the intensity of the detected sound is equal to or greater than the reference value, and when it is confirmed that the detected sound is equal to or greater than the reference value, it can be confirmed that the sound is detected. have. Here, the reference value may be set differently depending on the embodiment by using the decibel as a unit.

S302 단계에서 소리가 감지되지 않은 것으로 확인되면, S301 단계로 되돌아가, 장치(200)는 로봇(100)의 상태를 소리 감지 대기 상태로 계속 설정할 수 있다.If it is confirmed in step S302 that no sound is detected, the process returns to step S301, and the device 200 may continue to set the state of the robot 100 to a sound detection standby state.

S302 단계에서 마이크로폰(110)을 통해 제1 소리가 감지된 것으로 확인되면, S303 단계에서, 장치(200)는 제1 소리가 기준 기간 보다 길게 유지되었는지 여부를 확인할 수 있다. 여기서, 기준 기간은 실시예에 따라 상이하게 설정될 수 있다.If it is confirmed that the first sound is detected through the microphone 110 in step S302 , in step S303 , the device 200 may determine whether the first sound is maintained longer than the reference period. Here, the reference period may be set differently according to embodiments.

예를 들어, 기준 기간이 5초로 설정되어 있는 경우, 장치(200)는 마이크로폰(110)을 통해 제1 소리가 감지되면, 제1 소리가 5초 보다 길게 유지되었는지 여부를 확인할 수 있다.For example, when the reference period is set to 5 seconds, when the first sound is detected through the microphone 110 , the device 200 may determine whether the first sound is maintained for longer than 5 seconds.

S303 단계에서 제1 소리가 기준 기간 보다 짧게 유지된 것으로 확인되면, S301 단계로 되돌아가, 장치(200)는 로봇(100)의 상태를 소리 감지 대기 상태로 계속 설정할 수 있다.If it is confirmed in step S303 that the first sound is kept shorter than the reference period, the process returns to step S301 , and the device 200 may continue to set the state of the robot 100 to a sound detection standby state.

S303 단계에서 제1 소리가 기준 기간 보다 길게 유지된 것으로 확인되면, S304 단계에서, 장치(200)는 로봇(100)으로부터 제1 소리 정보를 획득할 수 있다. 여기서, 제1 소리 정보는 제1 소리를 나타내는 정보로, 제1 소리의 주파수에 대한 정보를 포함할 수 있다.If it is confirmed in step S303 that the first sound is maintained longer than the reference period, in step S304 , the device 200 may obtain first sound information from the robot 100 . Here, the first sound information is information representing the first sound, and may include information on the frequency of the first sound.

S305 단계에서, 장치(200)는 제1 소리 정보를 기초로, 제1 소리의 주파수를 분석할 수 있다. 이때, 장치(200)는 제1 소리의 평균 주파수를 분석할 수 있다.In step S305 , the device 200 may analyze the frequency of the first sound based on the first sound information. In this case, the device 200 may analyze the average frequency of the first sound.

S306 단계에서, 장치는 제1 소리의 주파수에 대한 분석 결과를 미리 학습된 인공 신경망에 적용할 수 있다. 여기서, 인공 신경망은 소리의 주파수에 대한 분석 결과를 입력받은 후, 소리에 대한 발생 주체를 분석하여 출력하는 알고리즘일 수 있다. 인공 신경망은 도 9를 참조하여 후술되는 방법을 통해 학습될 수 있다.In step S306, the device may apply the analysis result of the frequency of the first sound to the pre-trained artificial neural network. Here, the artificial neural network may be an algorithm that receives the analysis result of the frequency of the sound and then analyzes and outputs the subject of the sound. The artificial neural network may be learned through a method described later with reference to FIG. 9 .

S307 단계에서, 장치(200)는 인공 신경망의 출력을 기초로, 제1 소리에 대한 발생 주체를 검출할 수 있다.In step S307 , the device 200 may detect a generator of the first sound based on the output of the artificial neural network.

일실시예에 따르면, 인공 신경망은 소리의 주파수에 대한 분석 결과를 통해, 소리에 대한 발생 주체를 분석하도록 학습될 수 있다. 이를 통해, 인공 신경망은 소리의 주파수를 고려하여, 소리를 발생시킨 주체가 무엇인지 분석하여 출력할 수 있다.According to an embodiment, the artificial neural network may be trained to analyze the generating entity of the sound through the analysis result of the frequency of the sound. Through this, the artificial neural network can analyze and output the subject that generated the sound in consideration of the frequency of the sound.

구체적으로, 인공 신경망은 제1 소리의 평균 주파수가 제1 기준 주파수 범위 내에 포함되는지 여부를 확인하여, 제1 소리의 평균 주파수가 제1 기준 주파수 범위 내에 포함되는 것으로 확인되면, 제1 소리에 대한 발생 주체를 반려동물로 분석하여, 반려동물을 지시하는 출력값을 출력할 수 있다. 여기서, 제1 기준 주파수 범위는 반려동물이 짖는 소리의 평균 주파수를 포함하도록 설정되어, 예를 들면, 1K~2KHz로 설정될 수 있다.Specifically, the artificial neural network checks whether the average frequency of the first sound is included in the first reference frequency range, and when it is confirmed that the average frequency of the first sound is included in the first reference frequency range, the By analyzing the generating subject as a companion animal, an output value indicating the companion animal can be output. Here, the first reference frequency range is set to include an average frequency of a barking sound of a companion animal, and may be set to, for example, 1K to 2KHz.

또한, 인공 신경망은 제1 소리의 평균 주파수가 제2 기준 주파수 범위 내에 포함되는지 여부를 확인하여, 제1 소리의 평균 주파수가 제2 기준 주파수 범위 내에 포함되는 것으로 확인되면, 제1 소리에 대한 발생 주체를 사람으로 분석하여, 사람을 지시하는 출력값을 출력할 수 있다. 여기서, 제2 기준 주파수 범위는 사람 목소리의 평균 주파수를 포함하도록 설정되어, 예를 들면, 100~250Hz로 설정될 수 있다.In addition, the artificial neural network checks whether the average frequency of the first sound is included in the second reference frequency range, and when it is confirmed that the average frequency of the first sound is included in the second reference frequency range, the generation of the first sound By analyzing the subject as a person, an output value indicating the person may be output. Here, the second reference frequency range is set to include the average frequency of a human voice, and may be set to, for example, 100 to 250 Hz.

또한, 인공 신경망은 제1 소리의 평균 주파수가 제1 기준 주파수 범위 내에 포함되지 않으면서 제2 기준 주파수 범위 내에도 포함되지 않은 것으로 확인되면, 제1 소리에 대한 발생 주체를 반려동물과 사람이 아닌 사물로 분석하여, 사물을 지시하는 출력값을 출력할 수 있다.In addition, when it is confirmed that the average frequency of the first sound is not included in the first reference frequency range and is not included in the second reference frequency range, the artificial neural network sets the generation subject for the first sound other than companion animals and humans. By analyzing the object, it is possible to output an output value indicating the object.

예를 들어, 장치(200)는 제1 소리의 주파수에 대한 분석 결과를 인공 신경망에 적용하여, 인공 신경망의 출력을 확인한 결과, 출력값이 “1”인 경우, 제1 소리에 대한 발생 주체를 반려동물로 검출하고, 출력값이 “2”인 경우, 제1 소리에 대한 발생 주체를 사람으로 검출하고, 출력값이 “3”인 경우, 제1 소리에 대한 발생 주체를 사물로 검출할 수 있다.For example, the apparatus 200 applies the analysis result of the frequency of the first sound to the artificial neural network, and as a result of checking the output of the artificial neural network, when the output value is “1”, the generator for the first sound is rejected It is detected as an animal, and when the output value is “2”, a person generating the first sound may be detected, and when the output value is “3”, the subject generating the first sound may be detected as an object.

S308 단계에서, 장치(200)는 제1 소리에 대한 발생 주체를 검출한 결과, 제1 소리를 발생시킨 주체가 반려동물로 검출되었는지 여부를 확인할 수 있다.In step S308 , as a result of detecting the subject generating the first sound, the device 200 may determine whether the subject generating the first sound is detected as a companion animal.

S308 단계에서 제1 소리를 발생시킨 주체가 반려동물이 아닌 사람 또는 사물로 검출된 것이 확인되면, S301 단계로 되돌아가, 장치(200)는 로봇(100)의 상태를 소리 감지 대기 상태로 계속 설정할 수 있다.When it is confirmed in step S308 that the subject that generated the first sound is detected as a person or object other than a companion animal, the process returns to step S301, and the device 200 sets the state of the robot 100 to the sound detection standby state. can

S308 단계에서 제1 소리를 발생시킨 주체가 반려동물로 검출된 것이 확인되면, S309 단계에서, 장치(200)는 제1 소리가 반려동물이 짖어서 발생한 것으로 판단할 수 있다.If it is confirmed in step S308 that the subject generating the first sound is detected as the companion animal, in step S309 , the device 200 may determine that the first sound is generated by the companion animal barking.

도 4는 일실시예에 따른 제1 목표물을 설정하여 제1 목표물이 있는 위치로 로봇을 이동시키는 과정을 설명하기 위한 순서도이다.4 is a flowchart illustrating a process of setting a first target and moving the robot to a position where the first target is located, according to an exemplary embodiment.

도 4를 참조하면, 먼저, S401 단계에서, 장치(200)는 제1 소리가 반려동물이 짖어서 발생한 것으로 판단할 수 있다. 즉, 장치(200)는 제1 소리의 평균 주파수가 제1 기준 주파수 범위 내에 포함되는 것으로 확인되면, 제1 소리가 반려동물이 짖어서 발생한 것으로 판단할 수 있다.Referring to FIG. 4 , first, in step S401 , the device 200 may determine that the first sound is generated by the companion animal barking. That is, when it is confirmed that the average frequency of the first sound is included in the first reference frequency range, the apparatus 200 may determine that the first sound is generated by the companion animal barking.

S402 단계에서, 장치(200)는 제1 소리가 반려동물이 짖어서 발생한 것으로 판단되면, 로봇(100)이 360도 회전하면서 로봇(100)에 설치된 제1 적외선 센서(120)를 통해 주변 온도를 감지하도록, 로봇(100)의 동작을 제어할 수 있다. 이때, 제1 적외선 센서(120)는 PIR 센서(Passive Infrared Sensor)로 구성되어, 로봇(100)이 360도 회전하는 동안 로봇(100)의 주변 온도를 감지할 수 있다. 제1 적외선 센서(120)는 제2 적외선 센서(130) 보다 정확도는 떨어지지만 더 넓은 범위에 있는 물체들에 대한 온도를 감지할 수 있다.In step S402, when it is determined that the first sound is caused by the companion animal barking, the device 200 rotates 360 degrees and monitors the ambient temperature through the first infrared sensor 120 installed in the robot 100. To detect, the operation of the robot 100 may be controlled. In this case, the first infrared sensor 120 may be configured as a PIR sensor (Passive Infrared Sensor), and may sense the ambient temperature of the robot 100 while the robot 100 rotates 360 degrees. Although the first infrared sensor 120 has lower accuracy than the second infrared sensor 130 , it can sense the temperature of objects in a wider range.

S403 단계에서, 장치(200)는 로봇(100)이 360도 회전을 완료하여 제1 적외선 센서(120)를 통해 로봇(100)의 주변 온도가 모두 감지되면, 로봇(100)으로부터 제1 온도 정보를 획득할 수 있다. 여기서, 제1 온도 정보는 제1 적외선 센서(120)의 360도 회전을 통해 감지된 주변의 온도 변화를 나타내는 정보로, 각각의 구역 별로 감지된 온도값을 포함할 수 있다.In step S403 , when the device 200 detects all of the ambient temperature of the robot 100 through the first infrared sensor 120 as the robot 100 completes 360 degree rotation, the first temperature information from the robot 100 can be obtained. Here, the first temperature information is information indicating a change in ambient temperature sensed through 360 degree rotation of the first infrared sensor 120 , and may include a temperature value sensed for each zone.

S404 단계에서, 장치(200)는 제1 온도 정보를 기초로, 반려동물의 체온과 가장 유사한 물체를 제1 목표물로 설정할 수 있다.In step S404 , the device 200 may set an object most similar to the body temperature of the companion animal as the first target based on the first temperature information.

구체적으로, 장치(200)는 제1 온도 정보를 기초로, 온도 변화의 차가 특정 값 보다 큰 것으로 확인된 구역에 물체가 있는 것으로 감지할 수 있다. 장치(200)는 로봇(100)의 주변에 물체가 하나만 있는 것으로 감지되면, 감지된 물체를 제1 목표물로 설정할 수 있고, 로봇(100)의 주변에 물체가 복수개 있는 것으로 감지되면, 감지된 물체들 중 반려동물의 체온과 가장 유사한 물체를 제1 목표물로 설정할 수 있다.Specifically, based on the first temperature information, the device 200 may detect that there is an object in a region in which the difference in temperature change is greater than a specific value. When it is detected that there is only one object in the vicinity of the robot 100 , the device 200 may set the detected object as the first target, and when it is detected that there are a plurality of objects in the vicinity of the robot 100 , the detected object Among them, an object most similar to the body temperature of the companion animal may be set as the first target.

예를 들어, 반려동물의 체온이 40°C로 등록되어 있는 경우, 장치(200)는 제1 온도 정보를 기초로, 로봇(100)의 주변에 30°C 물체, 33°C 물체 및 35°C 물체가 있는 것으로 감지되면, 35°C 물체가 반려동물의 체온과 가장 유사한 것으로 판단하여, 35°C 물체를 제1 목표물로 설정할 수 있다.For example, if the companion animal's body temperature is registered as 40 °C, the device 200 sets a 30 °C object, a 33 °C object, and a 35 °C object around the robot 100 based on the first temperature information. If a C object is detected, it is determined that the 35 °C object is most similar to the body temperature of the companion animal, and the 35 °C object can be set as the first target.

S405 단계에서, 장치(200)는 제1 온도 정보를 기초로, 제1 목표물이 로봇(100)을 기준으로 어느 방향에 위치하고 있는지 확인할 수 있다.In step S405 , the device 200 may determine in which direction the first target is located with respect to the robot 100 based on the first temperature information.

S406 단계에서, 장치(200)는 제1 목표물이 로봇(100)을 기준으로 제1 방향에 위치하고 있는 것으로 확인되면, 로봇(100)이 제1 방향으로 이동하도록, 로봇(100)의 동작을 제어할 수 있다. 이때, 로봇(100)은 장애물 센서(140)를 통해 감지된 장애물을 회피하면서 제1 방향으로 이동하여 제1 목표물로 접근할 수 있다.In step S406 , when it is confirmed that the first target is positioned in the first direction with respect to the robot 100 , the device 200 controls the operation of the robot 100 so that the robot 100 moves in the first direction. can do. In this case, the robot 100 may approach the first target by moving in the first direction while avoiding the obstacle detected by the obstacle sensor 140 .

도 5는 일실시예에 따른 제1 목표물이 반려동물인지 판단하는 과정을 설명하기 위한 순서도이다.5 is a flowchart illustrating a process of determining whether a first target is a companion animal according to an exemplary embodiment.

도 5를 참조하면, 먼저, S501 단계에서, 장치(200)는 로봇(100)이 제1 방향으로 이동하여 제1 목표물로 접근하도록, 로봇(100)의 동작을 제어할 수 있다.Referring to FIG. 5 , first, in step S501 , the device 200 may control the operation of the robot 100 so that the robot 100 moves in a first direction to approach a first target.

S502 단계에서, 장치(200)는 로봇(100)이 제1 방향으로 이동하여 제1 목표물로 접근하는 경우, 로봇(100)에 설치된 제2 적외선 센서(130)를 통해 제1 목표물의 온도를 감지하도록, 로봇(100)의 동작을 제어할 수 있다. 이때, 제2 적외선 센서(130)는 열전퇴 적외선 센서(Thermopile Infrared Sensor)로 구성되어, 로봇(100)이 제1 목표물로 접근하는 동안 제1 목표물의 온도를 감지할 수 있다. 제2 적외선 센서(130)는 제1 적외선 센서(120) 보다 온도 감지 범위는 좁지만 특정 물체에 대한 온도를 더 정확하게 감지할 수 있다.In step S502 , when the robot 100 moves in the first direction and approaches the first target, the device 200 detects the temperature of the first target through the second infrared sensor 130 installed in the robot 100 . To do so, the operation of the robot 100 may be controlled. In this case, the second infrared sensor 130 may be configured as a thermopile infrared sensor, and may sense the temperature of the first target while the robot 100 approaches the first target. The second infrared sensor 130 has a narrower temperature sensing range than the first infrared sensor 120 , but may more accurately detect the temperature of a specific object.

S503 단계에서, 장치(200) 로봇(100)이 제1 목표물로 접근하여 제2 적외선 센서(130)를 통해 제1 목표물의 온도 변화가 감지되었는지 여부를 확인할 수 있다. 즉, 로봇(100)이 제1 방향으로 이동하여 제1 목표물로 접근하고 있는 동안, 제2 적외선 센서(130)를 통해 제1 목표물의 온도가 계속 감지되고 있는데, 로봇(100)과 제1 목표물 간의 이격 거리가 가까워지면서, 제1 목표물의 온도가 더 높은 온도로 감지될 수 있다.In step S503 , the device 200 may determine whether the robot 100 approaches the first target and detects a temperature change of the first target through the second infrared sensor 130 . That is, while the robot 100 moves in the first direction and approaches the first target, the temperature of the first target is continuously detected through the second infrared sensor 130 , and the robot 100 and the first target As the separation distance between them becomes closer, the temperature of the first target may be sensed as a higher temperature.

예를 들어, 제1 목표물의 실제 온도가 40°C인데, 로봇(100)과 제1 목표물 간의 이격 거리가 20m일 때, 제2 적외선 센서(130)는 제1 목표물의 온도를 30°C로 감지할 수 있으며, 로봇(100)이 제1 목표물로 접근하여 로봇(100)과 제1 목표물 간의 이격 거리가 10m로 변경되면, 제2 적외선 센서(130)는 제1 목표물의 온도를 35°C로 감지할 수 있다.For example, when the actual temperature of the first target is 40°C, and the separation distance between the robot 100 and the first target is 20m, the second infrared sensor 130 sets the temperature of the first target to 30°C. When the robot 100 approaches the first target and the distance between the robot 100 and the first target is changed to 10 m, the second infrared sensor 130 adjusts the temperature of the first target to 35 °C. can be detected as

S503 단계에서 제1 목표물의 온도 변화가 감지되지 않은 것으로 확인되면, S501 단계로 되돌아가, 장치(200)는 로봇(100)이 제1 방향으로 이동하여 제1 목표물로 더 접근하도록, 로봇(100)의 동작을 제어할 수 있다.If it is confirmed in step S503 that the temperature change of the first target is not detected, the process returns to step S501, the device 200 moves the robot 100 in the first direction to further approach the first target, the robot 100 ) can be controlled.

S503 단계에서 제1 목표물의 온도 변화가 감지된 것으로 확인되면, S504 단계에서, 장치(200)는 로봇(100)으로부터 제2 온도 정보를 획득할 수 있다. 여기서, 제2 온도 정보는 제2 적외선 센서(130)를 통해 감지된 제1 목표물의 온도를 나타내는 정보이다.If it is confirmed that the temperature change of the first target is detected in step S503 , in step S504 , the device 200 may obtain second temperature information from the robot 100 . Here, the second temperature information is information indicating the temperature of the first target detected by the second infrared sensor 130 .

S505 단계에서, 장치(200)는 제2 온도 정보를 기초로, 제1 목표물의 온도가 기준 온도 범위 내에 포함되는지 확인할 수 있다. 여기서, 기준 온도 범위는 반려동물의 평균 체온을 포함하도록 설정되어, 예를 들면, 38~40°C로 설정될 수 있다.In step S505 , the device 200 may determine whether the temperature of the first target is within the reference temperature range based on the second temperature information. Here, the reference temperature range is set to include the average body temperature of the companion animal, and may be set to, for example, 38 to 40 °C.

S506 단계에서, 장치(200)는 제1 목표물의 온도가 기준 온도 범위 내에 포함되는지 여부를 확인할 수 있다.In step S506 , the device 200 may determine whether the temperature of the first target is within a reference temperature range.

S506 단계에서 제1 목표물의 온도가 기준 온도 범위 내에 포함되는 것으로 확인되면, S507 단계에서, 장치(200)는 제1 목표물이 반려동물인 것으로 판단할 수 있다.If it is confirmed that the temperature of the first target is within the reference temperature range in step S506 , in step S507 , the device 200 may determine that the first target is a companion animal.

장치(200)는 제1 목표물이 반려동물인 것으로 판단되면, 반려동물의 짖음을 방지하기 위해 설정되어 있는 제1 동작을 수행하도록, 로봇(100)의 동작을 제어할 수 있다. 이와 관련된 자세한 설명은 도 8을 참조하여 후술하기로 한다.When it is determined that the first target is a companion animal, the apparatus 200 may control the operation of the robot 100 to perform a first operation set to prevent the companion animal from barking. A detailed description related thereto will be described later with reference to FIG. 8 .

한편, S506 단계에서 제1 목표물의 온도가 기준 온도 범위 내에 포함되지 않는 것으로 확인되면, S601 단계가 수행될 수 있으며, 이와 관련된 자세한 설명은 도 6을 참조하여 후술하기로 한다.On the other hand, if it is confirmed in step S506 that the temperature of the first target is not within the reference temperature range, step S601 may be performed, and a detailed description thereof will be described later with reference to FIG. 6 .

도 6은 일실시예에 따른 제1 목표물이 반려동물인지 아닌지 판단하는 과정을 설명하기 위한 순서도이다.6 is a flowchart illustrating a process of determining whether or not a first target is a companion animal according to an exemplary embodiment.

도 6을 참조하면, 먼저, S601 단계에서, 장치(200)는 제1 목표물의 온도가 기준 온도 범위 내에 포함되지 않는 것으로 확인되면, 로봇(100)이 제1 방향으로 이동하여 제1 목표물로 더 접근하도록, 로봇(100)의 동작을 제어할 수 있다.Referring to FIG. 6 , first, in step S601 , when the device 200 determines that the temperature of the first target is not within the reference temperature range, the robot 100 moves in a first direction to further target the first target. To approach, it is possible to control the operation of the robot 100.

S602 단계에서, 장치(200)는 장애물 센서(140)를 통해 로봇(100)과 제1 목표물이 부딪힌 것이 감지되었는지 여부를 확인할 수 있다.In step S602 , the device 200 may check whether it is detected that the robot 100 and the first target collide through the obstacle sensor 140 .

S602 단계에서 로봇(100)과 제1 목표물이 부딪히지 않은 것으로 감지되면, S603 단계에서, 장치(200)는 로봇(100)이 제1 방향으로 이동하여 제1 목표물로 더 접근하는 경우, 로봇(100)에 설치된 제2 적외선 센서(130)를 통해 제1 목표물의 온도를 감지하도록, 로봇(100)의 동작을 제어할 수 있다.When it is detected that the robot 100 and the first target do not collide in step S602, in step S603, the device 200 moves the robot 100 in the first direction to further approach the first target, the robot 100 ) to detect the temperature of the first target through the second infrared sensor 130 installed in the robot 100 can be controlled.

S604 단계에서, 장치(200) 로봇(100)이 제1 목표물로 더 접근하여 제2 적외선 센서(130)를 통해 제1 목표물의 온도 변화가 다시 감지되었는지 여부를 확인할 수 있다.In step S604 , the device 200 may further approach the robot 100 to the first target and check whether the temperature change of the first target is detected again through the second infrared sensor 130 .

S604 단계에서 제1 목표물의 온도 변화가 감지되지 않은 것으로 확인되면, S601 단계로 되돌아가, 장치(200)는 로봇(100)이 제1 방향으로 이동하여 제1 목표물로 더 접근하도록, 로봇(100)의 동작을 제어할 수 있다.If it is confirmed in step S604 that the temperature change of the first target is not detected, the process returns to step S601, and the device 200 moves the robot 100 in the first direction to further approach the first target by moving the robot 100 in the first direction. ) can be controlled.

S604 단계에서 제1 목표물의 온도 변화가 다시 감지된 것으로 확인되면, S605 단계에서, 장치(200)는 로봇(100)으로부터 제2 온도 정보를 다시 획득할 수 있다. 여기서, 다시 획득된 제2 온도 정보는 이전에 획득된 제2 온도 정보 보다 더 높은 온도를 나타낼 수 있다.If it is confirmed that the temperature change of the first target is detected again in step S604 , in step S605 , the device 200 may again acquire second temperature information from the robot 100 . Here, the second temperature information obtained again may indicate a higher temperature than the previously obtained second temperature information.

S606 단계에서, 장치(200)는 다시 획득된 제2 온도 정보를 기초로, 제1 목표물의 온도가 기준 온도 범위 내에 포함되는지 확인할 수 있다.In step S606 , the device 200 may determine whether the temperature of the first target is within the reference temperature range based on the second temperature information obtained again.

S607 단계에서, 장치(200)는 제1 목표물의 온도가 기준 온도 범위 내에 포함되는지 여부를 확인할 수 있다.In step S607 , the device 200 may determine whether the temperature of the first target is within a reference temperature range.

S607 단계에서 제1 목표물의 온도가 기준 온도 범위 내에 포함되는 것으로 확인되면, S609 단계에서, 장치(200)는 제1 목표물이 반려동물인 것으로 판단할 수 있다.If it is determined in step S607 that the temperature of the first target is within the reference temperature range, in step S609 , the device 200 may determine that the first target is a companion animal.

S607 단계에서 제1 목표물의 온도가 기준 온도 범위 내에 포함되지 않는 것으로 확인되면, S601 단계로 되돌아가, 장치(200)는 로봇(100)이 제1 방향으로 이동하여 제1 목표물로 더 접근하도록, 로봇(100)의 동작을 제어할 수 있다.If it is confirmed in step S607 that the temperature of the first target is not within the reference temperature range, the process returns to step S601, the device 200 moves the robot 100 in the first direction to further approach the first target; It is possible to control the operation of the robot 100 .

이후, 로봇(100)이 제1 목표물로 더 접근하여, S602 단계에서 로봇(100)과 제1 목표물이 부딪힌 것으로 감지되면, S608 단계에서, 장치(200)는 제1 목표물이 반려동물이 아닌 것으로 판단할 수 있다.Thereafter, when the robot 100 approaches the first target and it is detected that the robot 100 and the first target collide in step S602, in step S608, the device 200 determines that the first target is not a companion animal. can judge

도 7은 일실시예에 따른 제1 목표물이 반려동물이 아닌 경우, 제2 목표물을 설정하여 제2 목표물이 있는 위치로 로봇을 이동시키는 과정을 설명하기 위한 순서도이다.7 is a flowchart illustrating a process of setting a second target and moving the robot to a position where the second target is located when the first target is not a companion animal according to an exemplary embodiment.

도 7을 참조하면, 먼저, S701 단계에서, 장치(200)는 장애물 센서(140)를 통해 로봇(100)과 제1 목표물이 부딪힌 것으로 감지되면, 제1 목표물이 반려동물이 아닌 것으로 판단할 수 있다.Referring to FIG. 7 , first, in step S701 , when the device 200 detects that the robot 100 and the first target collide through the obstacle sensor 140 , it can be determined that the first target is not a companion animal. have.

S702 단계에서, 장치(200)는 제1 목표물이 반려동물이 아닌 것으로 판단되면, 로봇(100)이 360도 회전하면서 로봇(100)에 설치된 제1 적외선 센서(120)를 통해 주변 온도를 감지하도록, 로봇(100)의 동작을 제어할 수 있다.In step S702, if it is determined that the first target is not a companion animal, the device 200 rotates 360 degrees to detect the ambient temperature through the first infrared sensor 120 installed in the robot 100. , it is possible to control the operation of the robot 100 .

S703 단계에서, 장치(200)는 로봇(100)이 360도 회전을 완료하여 제1 적외선 센서(120)를 통해 로봇(100)의 주변 온도가 모두 감지되면, 로봇(100)으로부터 제1 온도 정보를 다시 획득할 수 있다.In step S703, the device 200 completes the 360 degree rotation of the robot 100 and when all of the ambient temperature of the robot 100 is sensed through the first infrared sensor 120, the first temperature information from the robot 100 can be obtained again.

S704 단계에서, 장치(200)는 다시 획득된 제1 온도 정보를 기초로, 제1 목표물을 제외한 상태에서 반려동물의 체온과 가장 유사한 물체를 제2 목표물로 설정할 수 있다.In operation S704 , the device 200 may set an object most similar to the body temperature of the companion animal as the second target, excluding the first target, based on the re-obtained first temperature information.

S705 단계에서, 장치(200)는 다시 획득된 제1 온도 정보를 기초로, 제2 목표물이 로봇(100)을 기준으로 어느 방향에 위치하고 있는지 확인할 수 있다.In step S705 , the device 200 may determine in which direction the second target is located with respect to the robot 100 based on the re-acquired first temperature information.

S706 단계에서, 장치(200)는 제2 목표물이 로봇(100)을 기준으로 제2 방향에 위치하고 있는 것으로 확인되면, 로봇(100)이 제2 방향으로 이동하도록, 로봇(100)의 동작을 제어할 수 있다. 이때, 로봇(100)은 장애물 센서(140)를 통해 감지된 장애물을 회피하면서 제2 방향으로 이동하여 제2 목표물로 접근할 수 있다.In step S706 , when it is confirmed that the second target is positioned in the second direction with respect to the robot 100 , the device 200 controls the operation of the robot 100 so that the robot 100 moves in the second direction. can do. In this case, the robot 100 may move in the second direction while avoiding the obstacle detected by the obstacle sensor 140 to approach the second target.

도 8은 일실시예에 따른 로봇과 목표물 간의 이격 거리에 따라 반려동물 짖음 방지 동작을 수행하는 과정을 설명하기 위한 순서도이다.8 is a flowchart illustrating a process of performing an operation to prevent a companion animal from barking according to a separation distance between a robot and a target according to an exemplary embodiment.

도 8을 참조하면, 먼저, S801 단계에서, 장치(200)는 제1 목표물의 온도가 기준 온도 범위 내에 포함되는 것으로 확인되면, 제1 목표물이 반려동물인 것으로 판단할 수 있다.Referring to FIG. 8 , first, in step S801 , when it is confirmed that the temperature of the first target is within the reference temperature range, the device 200 may determine that the first target is a companion animal.

S802 단계에서, 장치(200)는 로봇(100)과 제1 목표물 간의 이격 거리를 확인할 수 있다. 이때, 장치(200)는 장애물 센서(140)를 통해 측정된 거리를 이용하여, 로봇(100)과 제1 목표물 간의 이격 거리를 확인할 수 있다.In step S802 , the device 200 may check the separation distance between the robot 100 and the first target. In this case, the apparatus 200 may check the separation distance between the robot 100 and the first target by using the distance measured by the obstacle sensor 140 .

S803 단계에서, 장치(200)는 이격 거리가 제1 기준 거리 보다 짧은지 여부를 확인할 수 있다. 여기서, 제1 기준 거리는 실시예에 따라 상이하게 설정될 수 있다.In step S803 , the device 200 may determine whether the separation distance is shorter than the first reference distance. Here, the first reference distance may be set differently according to embodiments.

S803 단계에서 이격 거리가 제1 기준 거리 보다 짧은 것으로 확인되면, S805 단계에서, 장치(200)는 로봇(100)에 구비된 먹이 토출구가 개방되어 반려동물에게 먹이가 지급되도록, 로봇(100)의 동작을 제어할 수 있다.If it is confirmed in step S803 that the separation distance is shorter than the first reference distance, in step S805, the device 200 opens the food outlet provided in the robot 100 so that food is provided to the companion animal. You can control the action.

예를 들어, 제1 기준 거리가 5m로 설정되어 있는 경우, 장치(200)는 로봇(100)과 제1 목표물 간의 이격 거리가 3m로 확인되면, 로봇(100)에 구비된 먹이 토출구가 개방되어 반려동물에게 먹이가 지급되도록, 로봇(100)의 동작을 제어할 수 있다.For example, when the first reference distance is set to 5 m, the device 200 determines that the separation distance between the robot 100 and the first target is 3 m, the food outlet provided in the robot 100 is opened. The operation of the robot 100 may be controlled so that food is provided to the companion animal.

S803 단계에서 이격 거리가 제1 기준 거리 보다 긴 것으로 확인되면, S804 단계에서, 장치(200)는 이격 거리가 제2 기준 거리 보다 짧은지 여부를 확인할 수 있다. 여기서, 제2 기준 거리는 제1 기준 거리 보다 긴 값으로 설정될 수 있다.If it is determined in step S803 that the separation distance is longer than the first reference distance, in operation S804 , the device 200 may determine whether the separation distance is shorter than the second reference distance. Here, the second reference distance may be set to a value longer than the first reference distance.

S804 단계에서 이격 거리가 제2 기준 거리 보다 짧은 것으로 확인되면, S806 단계에서, 장치(200)는 로봇(100)에 설치된 스피커(150)를 통해 제1 음원이 재생되어 출력되도록, 로봇(100)의 동작을 제어할 수 있다. 여기서, 제1 음원은 사용자 설정으로 사전에 등록될 수 있다.If it is confirmed in step S804 that the separation distance is shorter than the second reference distance, in step S806, the device 200 reproduces and outputs the first sound source through the speaker 150 installed in the robot 100, the robot 100 operation can be controlled. Here, the first sound source may be registered in advance as a user setting.

S804 단계에서 이격 거리가 제2 기준 거리 보다 긴 것으로 확인되면, S807 단계에서, 장치(200)는 로봇(100)에 설치된 스피커(150)를 통해 제2 음원이 재생되어 출력되도록, 로봇(100)의 동작을 제어할 수 있다. 여기서, 제2 음원은 사용자 설정으로 사전에 등록될 수 있다.If it is confirmed in step S804 that the separation distance is longer than the second reference distance, in step S807, the device 200 reproduces and outputs the second sound source through the speaker 150 installed in the robot 100, the robot 100 operation can be controlled. Here, the second sound source may be registered in advance as a user setting.

예를 들어, 제1 기준 거리가 5m로 설정되어 있고 제2 기준 거리가 10m로 설정되어 경우, 장치(200)는 로봇(100)과 제1 목표물 간의 이격 거리가 7m로 확인되면, 로봇(100)에 설치된 스피커(150)를 통해 제1 음원이 재생되어 출력되도록, 로봇(100)의 동작을 제어할 수 있고, 로봇(100)과 제1 목표물 간의 이격 거리가 12m로 확인되면, 로봇(100)에 설치된 스피커(150)를 통해 제2 음원이 재생되어 출력되도록, 로봇(100)의 동작을 제어할 수 있다.For example, when the first reference distance is set to 5 m and the second reference distance is set to 10 m, the device 200 determines that the separation distance between the robot 100 and the first target is 7 m, the robot 100 ) can control the operation of the robot 100 so that the first sound source is reproduced and output through the speaker 150 installed in the ), it is possible to control the operation of the robot 100 so that the second sound source is reproduced and output through the speaker 150 installed in the .

도 9는 일실시예에 따른 인공 신경망의 학습을 설명하기 위한 도면이다.9 is a diagram for explaining learning of an artificial neural network according to an embodiment.

일실시예에 따르면, 인공 신경망은 소리의 주파수에 대한 분석 결과를 입력받은 후, 소리에 대한 발생 주체를 분석하여 출력하는 알고리즘일 수 있다.According to an embodiment, the artificial neural network may be an algorithm that, after receiving an analysis result of a sound frequency, analyzes and outputs a sound generator.

인공 신경망의 학습이 이루어지는 학습 장치는 인공지능 기반 반려동물 짖음 방지 로봇 제어 방법을 제공하는 장치(200)와 동일한 장치일 수도 있고, 별개의 장치일 수도 있다. 이하에서는 인공 신경망이 학습되는 과정을 설명한다. The learning device in which the artificial neural network is learned may be the same device as the device 200 for providing the artificial intelligence-based companion animal anti-barking robot control method, or may be a separate device. Hereinafter, a process in which an artificial neural network is trained will be described.

먼저, S901 단계에서, 장치(200)는 인공 신경망에 입력할 입력을 생성할 수 있다. 이때, 장치(200)는 인공 신경망에 입력하기 위해, 소리의 주파수에 대한 분석 결과를 기초로 입력을 생성할 수 있다.First, in step S901 , the device 200 may generate an input to be input to the artificial neural network. In this case, the apparatus 200 may generate an input based on the analysis result of the frequency of sound in order to input it to the artificial neural network.

구체적으로, 장치(200)는 소리의 주파수에 대한 분석 결과에 대해 전처리하는 과정을 수행할 수 있다. 전처리가 수행된 소리의 주파수에 대한 분석 결과를 인공 신경망의 입력으로 그대로 사용하거나, 불필요한 정보를 제거하는 통상의 처리를 거쳐 인공 신경망의 입력을 생성할 수 있다.Specifically, the apparatus 200 may perform a preprocessing process on the analysis result of the frequency of sound. The preprocessed sound frequency analysis result may be used as an input to the artificial neural network as it is, or an artificial neural network input may be generated through a normal process of removing unnecessary information.

S902 단계에서, 장치(200)는 인공 신경망에 입력을 적용할 수 있다.In step S902 , the device 200 may apply an input to the artificial neural network.

인공 신경망은 강화 학습(reinforcement learning)에 따라 학습되는 인공 신경망일 수 있다. 인공 신경망은 강화 학습을 통해 추상적 추론을 출력하는데 적합한 Q-Network, DQN(Depp Q-Network), 또는 관계형 네트워크(relation network, RL) 구조일 수 있다.The artificial neural network may be an artificial neural network trained according to reinforcement learning. The artificial neural network may be a Q-Network, DQN (Depp Q-Network), or relational network (RL) structure suitable for outputting abstract reasoning through reinforcement learning.

강화 학습에 따라 학습되는 인공 신경망은 다양한 보상에 평가를 반영하여 갱신 및 최적화될 수 있다. 예를 들어, 인공 신경망은 제1 내지 제3 보상을 통해 갱신 및 최적화될 수 있다.An artificial neural network trained according to reinforcement learning can be updated and optimized by reflecting the evaluation in various rewards. For example, the artificial neural network may be updated and optimized through the first to third compensations.

예를 들어, 제1 보상은 소리의 평균 주파수가 제1 기준 주파수 범위 내에 포함될 때, 소리에 대한 발생 주체를 반려동물로 분석할수록 높아질 수 있으며, 제2 보상은 소리의 평균 주파수가 제2 기준 주파수 범위 내에 포함될 때, 소리에 대한 발생 주체를 사람으로 분석할수록 높아질 수 있으며, 제3 보상은 소리의 평균 주파수가 제1 기준 주파수 내에 포함되지 않으면서 제2 기준 주파수 범위 내에도 포함되지 않을 때, 소리에 대한 발생 주체를 사물로 분석할수록 높아질 수 있다.For example, when the average frequency of sound is within the first reference frequency range, the first compensation may be higher as the subject of the sound is analyzed as a companion animal. When included within the range, the higher the analysis of the subject of the sound as a person, the higher the third compensation is when the average frequency of the sound is not included in the first reference frequency and is not included in the second reference frequency range. It can be higher the more the subject of occurrence is analyzed as an object.

S903 단계에서, 장치(200)는 인공 신경망으로부터 출력을 획득할 수 있다.In step S903, the device 200 may obtain an output from the artificial neural network.

인공 신경망의 출력은, 소리에 대한 발생 주체를 지시하는 출력값에 대한 정보일 수 있다. 예를 들어, 소리에 대한 발생 주체가 반려동물인 것을 지시하기 위해 출력값이 “1”로 출력될 수 있고, 소리에 대한 발생 주체가 사람인 것을 지시하기 위해 출력값이 “2”로 출력될 수 있고, 소리에 대한 발생 주체가 사물인 것을 지시하기 위해 출력값이 “3”으로 출력될 수 있다.The output of the artificial neural network may be information on an output value indicating a generator of the sound. For example, the output value may be output as “1” to indicate that the subject of the sound is a companion animal, and the output value may be output as “2” to indicate that the subject of the sound is a human, An output value of “3” may be output to indicate that the subject of the sound is an object.

S904 단계에서, 장치(200)는 인공 신경망의 출력을 평가하여 보상을 지급할 수 있다.In step S904 , the device 200 may evaluate the output of the artificial neural network and provide a reward.

인공 신경망의 출력에 대한 평가는 제1 내지 제3 보상으로 나뉠 수 있다. 장치(200)는 소리의 평균 주파수가 제1 기준 주파수 범위 내에 포함될 때, 소리에 대한 발생 주체를 반려동물로 분석할수록 제1 보상을 많이 수여하고, 소리의 평균 주파수가 제2 기준 주파수 범위 내에 포함될 때, 소리에 대한 발생 주체를 사람으로 분석할수록 제2 보상을 많이 수여하고, 소리의 평균 주파수가 제1 기준 주파수 내에 포함되지 않으면서 제2 기준 주파수 범위 내에도 포함되지 않을 때, 소리에 대한 발생 주체를 사물로 분석할수록 제3 보상을 많이 수여할 수 있다.The evaluation of the output of the artificial neural network may be divided into first to third rewards. When the average frequency of the sound is included in the first reference frequency range, the device 200 grants a greater amount of the first reward as the source of the sound is analyzed as a companion animal, and the average frequency of the sound is included in the second reference frequency range. When the sound generator is analyzed as a person, the second reward is given more, and when the average frequency of the sound is not included in the first reference frequency and is not included in the second reference frequency range, the occurrence of the sound The more the subject is analyzed as an object, the greater the third reward can be awarded.

S905 단계에서, 장치(200)는 평가를 기초로 인공 신경망을 갱신할 수 있다.In step S905 , the device 200 may update the artificial neural network based on the evaluation.

장치(200)는 인공 신경망이, 소리에 대한 발생 주체를 분석하는 환경(environment)에서, 보상값(reward)들의 합의 기대값(expectation)이 최대화되도록, 특정한 상태(state)들에서 취할 행동(action)들을 결정하는 정책(policy)을 최적화하는 과정을 통해 인공 신경망을 갱신할 수 있다.The device 200 performs an action to be taken in specific states such that the artificial neural network maximizes the expected value of the sum of rewards in an environment that analyzes the generating subject for the sound. ), the artificial neural network can be updated through the process of optimizing the policy that determines the

예를 들어, 장치(200)는 제1 소리에 대한 발생 주체를 반려동물로 분석한 것에 대해 문제가 있는 경우, 제1 소리에 대한 발생 주체를 반려동물로 분석한 것에 대해 문제가 있음을 나타내는 정보를 포함하는 제1 학습 데이터를 생성하고, 제1 학습 데이터를 인공 신경망에 적용하여, 제1 소리와 유사한 소리에 대한 발생 주체를 반려동물로 분석하지 않도록, 인공 신경망을 학습시키는 과정을 통해, 인공 신경망을 갱신할 수 있다.For example, when the device 200 has a problem in analyzing the subject generating the first sound as a companion animal, information indicating that there is a problem in analyzing the subject generating the first sound as a companion animal Through the process of learning the artificial neural network to generate first learning data including Neural networks can be updated.

한편, 정책을 최적화하는 과정은 보상들의 합의 기대값의 최대값 또는 Q-함수의 최대값을 추정하거나, Q-함수의 손실 함수(loss function)의 최소값을 추정하는 과정을 통해 이루어질 수 있다. 손실함수의 최소값의 추정은 확률적 경사하강법(stochastic gradient descent, SGD) 등을 통해 이루어질 수 있다. 정책을 최적화하는 과정은 이에 제한되는 것은 아니며, 강화 학습에서 사용하는 다양한 최적화 알고리즘들이 이용될 수 있다.Meanwhile, the process of optimizing the policy may be performed through the process of estimating the maximum value of the expected value of the sum of rewards or the maximum value of the Q-function, or estimating the minimum value of the loss function of the Q-function. Estimation of the minimum value of the loss function may be performed through stochastic gradient descent (SGD) or the like. The process of optimizing the policy is not limited thereto, and various optimization algorithms used in reinforcement learning may be used.

장치(200)는 상기와 같은 인공 신경망의 학습 과정을 반복함으로써, 인공 신경망을 점진적으로 갱신시킬 수 있다.The apparatus 200 may gradually update the artificial neural network by repeating the learning process of the artificial neural network as described above.

구체적으로, 장치(200) 소리에 대한 발생 주체를 분석하는데 있어, 소리의 주파수를 고려하여, 소리에 대한 발생 주체를 분석한 후, 분석된 발생 주체를 지시하는 출력값을 출력하는 인공 신경망을 학습시킬 수 있다.Specifically, in analyzing the generator for the sound, the device 200 considers the frequency of the sound, analyzes the generator for the sound, and then trains an artificial neural network that outputs an output value indicating the analyzed generator. can

즉, 장치(200)는 소리의 주파수에 대한 분석 결과를 통해, 소리에 대한 발생 주체를 분석할 때, 제1 내지 제3 보상 등을 통한 강화 학습을 반영하여, 분석 기준을 조정함으로써, 인공 신경망을 학습시킬 수 있다.That is, the device 200 reflects reinforcement learning through first to third compensation, etc. when analyzing the generating entity for the sound through the analysis result of the frequency of the sound, and adjusts the analysis criteria, so that the artificial neural network can be learned

도 10은 일실시예에 따른 장치의 구성의 예시도이다.10 is an exemplary diagram of a configuration of an apparatus according to an embodiment.

일실시예에 따른 장치(200)는 프로세서(210) 및 메모리(220)를 포함한다. 프로세서(210)는 도 1 내지 도 9를 참조하여 전술된 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 9를 참조하여 전술된 적어도 하나의 방법을 수행할 수 있다. 장치(200)를 이용하는 자 또는 단체는 도 1 내지 도 9를 참조하여 전술된 방법들 일부 또는 전부와 관련된 서비스를 제공할 수 있다.The device 200 according to an embodiment includes a processor 210 and a memory 220 . The processor 210 may include at least one of the devices described above with reference to FIGS. 1 to 9 , or perform at least one method described above with reference to FIGS. 1 to 9 . A person or organization using the apparatus 200 may provide a service related to some or all of the methods described above with reference to FIGS. 1 to 9 .

메모리(220)는 전술된 방법들과 관련된 정보를 저장하거나 후술되는 방법들이 구현된 프로그램을 저장할 수 있다. 메모리(220)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.The memory 220 may store information related to the above-described methods or a program in which methods to be described below are implemented. The memory 220 may be a volatile memory or a non-volatile memory.

프로세서(210)는 프로그램을 실행하고, 장치(200)를 제어할 수 있다. 프로세서(210)에 의하여 실행되는 프로그램의 코드는 메모리(220)에 저장될 수 있다. 장치(200)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 유무선 통신을 통해 데이터를 교환할 수 있다.The processor 210 may execute a program and control the device 200 . The code of the program executed by the processor 210 may be stored in the memory 220 . The device 200 may be connected to an external device (eg, a personal computer or a network) through an input/output device (not shown), and may exchange data through wired/wireless communication.

장치(200)는 인공 신경망을 학습시키거나, 학습된 인공 신경망을 이용하는데 사용될 수 있다. 메모리(220)는 학습 중인 또는 학습된 인공 신경망을 포함할 수 있다. 프로세서(210)는 메모리(220)에 저장된 인공 신경망 알고리즘을 학습시키거나 실행시킬 수 있다. 인공 신경망을 학습시키는 장치(200)와 학습된 인공 신경망을 이용하는 장치(200)는 동일할 수도 있고 개별적일 수도 있다.The device 200 may be used to train an artificial neural network or to use a learned artificial neural network. The memory 220 may include a learning or learned artificial neural network. The processor 210 may learn or execute an artificial neural network algorithm stored in the memory 220 . The apparatus 200 for learning an artificial neural network and the apparatus 200 for using the learned artificial neural network may be the same or may be separate.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented by a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the apparatus, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA) array), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or apparatus, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims

A method of controlling a robot to prevent barking of companion animals based on artificial intelligence performed by a device, the method comprising:
acquiring first sound information from the robot when a first sound is detected through a microphone installed in the robot and the first sound is maintained longer than a preset reference period;
analyzing a frequency of the first sound based on the first sound information;
applying an analysis result of the frequency of the first sound to an artificial neural network and detecting a generator of the first sound based on an output of the artificial neural network;
determining that the first sound is generated by barking of the companion animal when the subject generating the first sound is detected as a companion animal;
If it is determined that the first sound is caused by the companion animal barking, the robot rotates 360 degrees and the first infrared sensor installed in the robot - the first infrared sensor is composed of a PIR sensor (Passive Infrared Sensor) - controlling the operation of the robot to sense the temperature;
acquiring first temperature information from the robot when the ambient temperature is sensed through the first infrared sensor while the robot rotates 360 degrees;
setting an object having the most similar body temperature to that of the companion animal as a first target based on the first temperature information, and determining in which direction the first target is located with respect to the robot;
when it is confirmed that the first target is positioned in a first direction with respect to the robot, controlling an operation of the robot so that the robot moves in the first direction;
When the robot moves in the first direction and approaches the first target, the second infrared sensor installed in the robot, the second infrared sensor is composed of a Thermopile Infrared Sensor, 1 controlling the operation of the robot to sense the temperature of the target;
acquiring second temperature information from the robot when the robot approaches the first target and a change in temperature of the first target is detected through the second infrared sensor;
determining that the first target is a companion animal when it is confirmed that the temperature of the first target is within a preset reference temperature range based on the second temperature information;
when it is determined that the first target is a companion animal, controlling an operation of the robot to perform a first operation set to prevent the companion animal from barking;
When it is confirmed that the temperature of the first target is not within the reference temperature range based on the second temperature information, controlling the operation of the robot so that the robot moves closer to the first target ;
acquiring second temperature information from the robot again when the robot approaches the first target and a change in temperature of the first target is detected again through the second infrared sensor;
determining that the first target is a companion animal when it is confirmed that the temperature of the first target is within the reference temperature range based on the re-obtained second temperature information;
If it is confirmed that the temperature of the first target is not within the reference temperature range based on the second temperature information obtained again, the robot moves to move closer to the first target. controlling;
determining that the first target is not a companion animal when the robot approaches the first target and detects that the robot and the first target collide through an obstacle sensor installed in the robot;
when it is determined that the first target is not a companion animal, controlling the operation of the robot so that the robot senses an ambient temperature through the first infrared sensor while rotating 360 degrees;
acquiring first temperature information from the robot again when the ambient temperature is sensed through the first infrared sensor while the robot rotates 360 degrees;
Based on the re-obtained first temperature information, an object having the most similar body temperature to the body temperature of the companion animal is set as the second target except for the first target, and in which direction the second target is directed with respect to the robot to ensure that it is located on; and
When it is confirmed that the second target is located in the second direction with respect to the robot, controlling the operation of the robot so that the robot moves in the second direction,
When it is confirmed that the average frequency of the first sound is included in a preset first reference frequency range, the artificial neural network analyzes and outputs the subject that generates the first sound as a companion animal, and outputs the average frequency of the first sound. Characterized in that when it is confirmed that is included within the preset second reference frequency range, the subject of the first sound is analyzed and output as a person,
A method of controlling an artificial intelligence-based anti-barking robot for companion animals.

delete