KR102559688B1 - Behavior estimation device for an emotional support animal and its operation method - Google Patents
Behavior estimation device for an emotional support animal and its operation method Download PDFInfo
- Publication number
- KR102559688B1 KR102559688B1 KR1020210018473A KR20210018473A KR102559688B1 KR 102559688 B1 KR102559688 B1 KR 102559688B1 KR 1020210018473 A KR1020210018473 A KR 1020210018473A KR 20210018473 A KR20210018473 A KR 20210018473A KR 102559688 B1 KR102559688 B1 KR 102559688B1
- Authority
- KR
- South Korea
- Prior art keywords
- dog
- behavior
- posture
- node
- nodes
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
본 발명은, 디스플레이부, 반려견을 촬영한 반려견 영상을 송신하는 카메라부 및 상기 반려견 영상에서 상기 반려견의 신체 부위들에 대응하는 중심 좌표값들을 추출하고, 상기 중심 좌표값들로 확인한 상기 반려견의 현재 자세 및 상기 반려견 영상의 수신 이전에 확인한 이전 자세를 기반으로 상기 반려견의 행동을 결정하고 상기 행동에 대한 행동 정보가 디스플레이되게 상기 디스플레이부를 제어하는 제어부를 포함하는 반려견 행동 추측 장치를 제공한다.The present invention provides a dog behavior estimation device including a display unit, a camera unit that transmits an image of the dog photographed, and a control unit that extracts center coordinate values corresponding to body parts of the dog from the dog image, determines the dog's behavior based on the current posture of the dog determined by the center coordinate values and the previous posture confirmed before receiving the companion dog image, and controls the display unit to display behavioral information about the behavior.
Description
본 발명은 반려견 행동 추측 장치 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 반려견이 취한 자세의 연속성을 고려하여 반려견의 행동을 추측하기 용이한 반려견 행동 추측 장치 및 그 동작방법에 관한 것이다.The present invention relates to an apparatus for estimating companion dog behavior and an operating method thereof, and more particularly, to an apparatus for estimating companion dog behavior and an operating method for estimating the behavior of a companion dog in consideration of the continuity of postures taken by the companion dog.
핵가족화가 진행되면서, 한 가구를 구성하는 인원수가 점차 축소되고 있다. 더욱이, 근래에는 1인 가구의 수가 증가하고 있는 실정이다. 그에 따라서, 반려동물을 입양하는 가정이 많아졌다.As the nuclear family progresses, the number of people constituting a household is gradually decreasing. Moreover, in recent years, the number of single-person households is increasing. Accordingly, the number of families adopting companion animals has increased.
한편, 1인 가구의 반려동물의 경우, 보호자가 출근하거나, 외출하는 경우, 반려동물 혼자 집에 남겨지게 되므로, 반려동물과 떨어져 있는 보호자가 반려동물을 관리할 수 있는 기술수요 증가되고 있다. 즉, 집에 혼자남게 되는 반려동물의 운동부족, 식사 조절 어려움, 외로움 및 사회성이 부족에 따른 분리불안 등에 대한 해결책 필요한 실정이다.On the other hand, in the case of a companion animal in a single-person household, when the guardian goes to work or goes out, the companion animal is left at home alone, so the demand for technology for the guardian who is away from the companion animal to manage the companion animal is increasing. In other words, there is a need for solutions for lack of exercise, difficulty in controlling meals, loneliness and separation anxiety due to lack of sociality of companion animals left alone at home.
일반적으로, 강아지 행동 분석은 꼬리 세우, 앉기, 걷기 등 단일 프레임 내에서 단일 자세를 정의하여 행동을 분석하였다. 그러나 이것은 강아지 자세가 변하는 연속성을 고려하지 못하는 한계가 있다. In general, dog behavior analysis was performed by defining a single posture within a single frame, such as standing tail, sitting, and walking. However, this has a limitation in that it does not consider the continuity of changes in the dog's posture.
예를 들어 강아지가 꼬리를 세우는 자세를 취할 때 이 자세를 강아지가 보내는 우호적인 신호로 분석하지만, 꼬리를 세우는 자세가 반드시 우호적인 신호는 아니며 오히려 앞서서 취했던 특정 자세에 따라 두려움, 불안, 위험, 경고와 같은 신호가 될 수 있다.For example, when a dog adopts an upright tail posture, we analyze this posture as a friendly signal from the dog, but the tail upright posture is not necessarily a friendly signal, and rather, it can be a signal of fear, anxiety, danger, or warning, depending on the specific posture previously assumed.
또한, 기존에 강아지 행동 분석은 지정된 공간에서 반려견을 모니터링하여 행동을 분석하였다. 그러나 이러한 방식은 공간상의 제약 문제로 인하여 다양한 환경에서 활용하기 어렵다.In addition, in the existing dog behavior analysis, the behavior was analyzed by monitoring the companion dog in a designated space. However, this method is difficult to utilize in various environments due to space limitations.
최근들어, 강아지와 같은 반려견의 자세에 따른 행동을 분석 및 추측할 수 있는 연구가 진행 중에 있다.Recently, research is being conducted to analyze and infer the behavior of companion dogs such as puppies according to their postures.
본 발명의 목적은, 반려견이 취한 자세의 연속성을 고려하여 반려견의 행동을 추측하기 용이한 반려견 행동 추측 장치 및 그 동작방법을 제공함에 있다.An object of the present invention is to provide an apparatus for estimating companion dog behavior and an operation method thereof, which can easily estimate the behavior of a companion dog in consideration of the continuity of postures taken by the companion dog.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned above can be understood by the following description and will be more clearly understood by the examples of the present invention. It will also be readily apparent that the objects and advantages of the present invention may be realized by means of the instrumentalities and combinations indicated in the claims.
본 발명에 따른 반려견 행동 추측 장치는, 디스플레이부, 반려견을 촬영한 반려견 영상을 송신하는 카메라부 및 상기 반려견 영상에서 상기 반려견의 신체 부위들에 대응하는 중심 좌표값들을 추출하고, 상기 중심 좌표값들로 확인한 상기 반려견의 현재 자세 및 상기 반려견 영상의 수신 이전에 확인한 이전 자세를 기반으로 상기 반려견의 행동을 결정하고 상기 행동에 대한 행동 정보가 디스플레이되게 상기 디스플레이부를 제어하는 제어부를 포함할 수 있다.An apparatus for estimating a dog's behavior according to the present invention may include a display unit, a camera unit that transmits an image of a dog photographed, and a control unit that extracts center coordinate values corresponding to body parts of the dog from the image of the dog, determines the behavior of the dog based on the current posture of the dog checked by the center coordinate values and the previous posture confirmed before receiving the image of the companion dog, and controls the display unit to display behavioral information about the behavior.
상기 제어부는, 상기 중심 좌표값들을 추출하는 위치 추출부, 상기 중심 좌표값들을 설정된 신경망 모델에 적용하여 상기 현재 자세를 확인하는 자세 확인부 및 상기 현재 자세와 상기 이전 자세를 설정된 행동 분석 그래프 모델에 적용하여 상기 행동을 결정하고, 상기 행동 정보를 디스플레이하는 동작부를 포함할 수 있다.The control unit may include a position extractor for extracting the central coordinate values, a posture check unit for confirming the current posture by applying the central coordinate values to a set neural network model, and an operation unit for determining the behavior by applying the current posture and the previous posture to a set behavior analysis graph model, and displaying the behavior information.
상기 위치 추출부는, 상기 반려견 영상에서 반려견 영역을 추출하고, 상기 반려견 영역을 설정된 사이즈의 절대 좌표 영역으로 변환하고, 상기 절대 좌표 영역에서 상기 신체 부위들에 대한 상기 중심 좌표값들을 추출할 수 있다.The location extractor may extract a dog area from the dog image, transform the dog area into an absolute coordinate area having a set size, and extract the center coordinate values of the body parts from the absolute coordinate area.
상기 자세 확인부는, 상기 신경망 모델에서 학습하여 분류된 자세들 중 상기 중심 좌표값들을 서로 연결한 모의 자세에 대응하는 자세를 상기 현재 자세로 확인할 수 있다.The posture checking unit may check, as the current posture, a posture corresponding to a simulated posture obtained by connecting the center coordinate values among postures classified by learning from the neural network model.
상기 동작부는, 상기 행동 분석 그래프 모델에 구현된 각 자세 노드들 중 상기 현재 자세 및 상기 이전 자세에 대응하는 노드들로 연속 이동한 이경 경로의 최종 자세 노드가 적어도 2이상의 행동 노드인지 판단하고, 상기 최종 자세 노드가 상기 적어도 2이상의 행동 노드가 아닌 것으로 판단하면 상기 최종 자세 노드를 상기 행동을 결정하기 위한 행동 노드로 확인하고, 상기 행동 노드에 대응하는 상기 행동 정보를 디스플레이할 수 있다.The operation unit may determine whether a final posture node of a path that continuously moves to nodes corresponding to the current posture and the previous posture among posture nodes implemented in the behavior analysis graph model is at least two or more behavior nodes, and if it is determined that the final posture node is not the at least two or more behavior nodes, identify the final posture node as an action node for determining the behavior, and display the behavior information corresponding to the behavior node.
상기 최동 자세 노드가 상기 적어도 2이상의 행동 노드로 판단하는 경우, 상기 동작부는, 상기 적어도 2이상의 행동 노드에 대한 적어도 2이상의 자세 시퀀스 정보와 상기 이동 경로를 기반으로 적어도 2이상의 유사도를 산출하고, 상기 적어도 2이상의 유사도 중 가장 높은 유사도를 갖는 행동 노드를 결정하여 상기 행동 정보를 디스플레이할 수 있다.When the most moving posture node determines that the at least two or more behavior nodes are determined, the operation unit may calculate at least two or more similarities based on at least two or more posture sequence information for the at least two or more behavior nodes and the movement path, determine a behavior node having the highest similarity among the at least two or more similarities, and display the behavior information.
본 발명에 따른 반려견 행동 추측 장치의 동작방법은, 카메라부로부터 전송된 반려견 영상을 수신하는 단계, 상기 반려견 영상에서 반려견의 신체 부위들에 대응하는 중심 좌표값들을 추출하는 단계, 상기 중심 좌표값들 설정된 신경망 모델에 적용하여 상기 반려견의 현재 자세를 확인하는 단계 및 상기 반려견 영상의 수신 이전에 확인한 이전 자세 및 상기 현재 자세를 기반으로 상기 반려견의 행동을 결정하는 단계를 포함할 수 있다.The operating method of the dog behavior estimation apparatus according to the present invention may include receiving an image of the dog transmitted from a camera unit, extracting center coordinate values corresponding to body parts of the dog from the dog image, confirming the current posture of the dog by applying the neural network model to which the center coordinate values are set, and determining the behavior of the companion dog based on the current posture and the previous posture checked before receiving the image of the companion dog.
상기 중심 좌표값들을 추출하는 단계는, 상기 반려견 영상에서 반려견 영역을 추출하고, 상기 반려견 영역을 설정된 사이즈의 절대 좌표 영역으로 변환하고, 상기 절대 좌표 영역에서 상기 신체 부위들에 대한 상기 중심 좌표값들을 추출할 수 있다.The extracting of the center coordinate values may include extracting a dog region from the dog image, converting the dog region into an absolute coordinate region having a set size, and extracting the center coordinate values of the body parts from the absolute coordinate region.
상기 절대 좌표 영역은, 상기 반려견 영역을 설정된 넓이 및 높이의 비율로 리사이즈한 영역일 수 있다.The absolute coordinate area may be an area obtained by resizing the companion dog area at a set ratio of width and height.
상기 현재 자세를 확인하는 단계는, 상기 신경망 모델에서 학습하여 분류된 자세들 중 상기 중심 좌표값들을 서로 연결한 모의 자세에 대응하는 자세를 상기 현재 자세로 확인할 수 있다.In the checking of the current posture, among postures learned and classified by the neural network model, a posture corresponding to a simulated posture obtained by connecting the center coordinate values to each other may be identified as the current posture.
상기 행동을 결정하는 단계는, 설정된 행동 분석 그래프 모델에 구현된 각 자세 노드들 중 상기 현재 자세 및 상기 이전 자세에 대응하는 노드들로 연속 이동한 이경 경로의 최종 자세 노드가 적어도 2이상의 행동 노드인지 판단하는 단계 및 상기 최종 자세 노드가 상기 적어도 2이상의 행동 노드가 아닌 것으로 판단하면, 상기 최종 자세 노드를 상기 행동을 결정하기 위한 행동 노드로 확인하는 단계를 포함할 수 있다.The determining of the behavior may include determining whether a final posture node of a path that continuously moves to nodes corresponding to the current posture and the previous posture among posture nodes implemented in the set behavior analysis graph model is at least two or more behavior nodes, and if it is determined that the final posture node is not the at least two or more behavior nodes, identifying the final posture node as an action node for determining the behavior.
상기 최동 자세 노드가 상기 적어도 2이상의 행동 노드로 판단하는 경우, 상기 적어도 2이상의 행동 노드에 대한 적어도 2이상의 자세 시퀀스 정보와 상기 이동 경로를 기반으로 적어도 2이상의 유사도를 산출하는 단계 및 상기 적어도 2이상의 유사도 중 가장 높은 유사도를 갖는 행동 노드를 결정하여 상기 행동을 결정하는 단계를 포함할 수 있다.The method may include calculating at least two similarities based on at least two or more posture sequence information of the at least two or more behavior nodes and the movement path, and determining an action node having the highest similarity among the at least two or more similarities to determine the action, when the most moving posture node determines that the at least two or more behavior nodes are determined.
상기 유사도는, 하기의 수학식에 의해 산출되는 반려견 행동 추측 장치의 동작방법; 
상기 행동을 결정하는 단계 이후, 상기 행동에 대한 정보를 디스플레이하는 단계를 포함할 수 있다.After determining the behavior, displaying information about the behavior may be included.
본 발명에 따른 반려견 행동 추측 장치 및 그 동작방법은, 연속적으로 입력되는 반려견 영상을 기반으로 반려견의 자세를 행동 분석 그래프 모델에 적용하여 반려견의 행동을 확인하고, 행동에 대한 정보를 디스플레이함으로써, 사용자가 반려견의 현재 행동을 인식할 수 있는 이점이 있다.The dog behavior estimation device and its operating method according to the present invention confirms the dog's behavior by applying the dog's posture to a behavior analysis graph model based on continuously input dog images, and displays information about the behavior, so that the user can recognize the current behavior of the companion dog.
또한, 본 발명에 따른 반려견 행동 추측 장치 및 그 동작방법은, 반려견의 행동을 확인함으로써, 반겨련의 유기, 물림 사고, 학대 등과 관련된 이슈를 해결할 수 있는 이점이 있다.In addition, the dog behavior estimation device and its operating method according to the present invention have the advantage of solving issues related to ban-ki, bite, abuse, etc. by confirming the dog's behavior.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.On the other hand, the effects of the present invention are not limited to the effects mentioned above, and various effects may be included within a range apparent to those skilled in the art from the contents to be described below.
도 1은 본 발명에 따른 반려견 행동 추측 장치의 제어 구성을 나타낸 제어 블록도이다.
도 2 및 도 3은 도 1에 나타낸 제어부의 동작을 설명하기 위한 예시도이다.
도 4는 본 발명에 따른 반려견 행동 추측 장치의 동작방법을 나타낸 순서도이다.
도 5는 도 4에 나타낸 (S120) 단계를 나타낸 순서도이다.
도 6은 도 4에 나타낸 (S140) 단계를 나타낸 순서도이다.1 is a control block diagram showing the control configuration of the companion dog behavior estimation device according to the present invention.
2 and 3 are exemplary diagrams for explaining the operation of the control unit shown in FIG. 1 .
4 is a flowchart illustrating an operating method of the companion dog behavior estimation device according to the present invention.
FIG. 5 is a flowchart illustrating the step (S120) shown in FIG. 4.
FIG. 6 is a flowchart illustrating the step (S140) shown in FIG. 4.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can make various changes and have various embodiments, specific embodiments are illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, or substitutes included in the spirit and technical scope of the present invention. Like reference numerals have been used for like elements throughout the description of each figure.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수개의 관련된 기재된 항목들의 조합 또는 복수개의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. The term and/or includes a combination of a plurality of related recited items or any one of a plurality of related recited items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It should be understood that when an element is referred to as being “connected” or “connected” to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Expressions in the singular number include plural expressions unless the context clearly dictates otherwise. In this application, the terms "comprise" or "have" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but it should be understood that the presence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof is not excluded in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and are not interpreted in an ideal or excessively formal sense unless explicitly defined in the present application.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 반려견 행동 추측 장치의 제어 구성을 나타낸 제어 블록도이다.1 is a control block diagram showing the control configuration of the companion dog behavior estimation device according to the present invention.
도 1을 참조하면, 반려견 행동 추측 장치(100)는 디스플레이부(110), 카메라부(120) 및 제어부(130)를 포함할 수 있다.Referring to FIG. 1 , the companion dog behavior estimation device 100 may include a display unit 110, a camera unit 120, and a control unit 130.
디스플레이부(110)는 카메라부(120)에서 연속 촬영된 반려견 영상을 디스플레이할 수 있다.The display unit 110 may display an image of a companion dog continuously photographed by the camera unit 120 .
또한, 디스플레이부(110)는 제어부(130)의 제어에 따라 반려견의 행동에 대한 행동 정보를 디스플레이할 수 있으며, 이에 한정을 두지 않는다.In addition, the display unit 110 may display behavioral information on the behavior of the companion dog under the control of the controller 130, but is not limited thereto.
카메라부(120)는 반겨련을 촬영한 반려견 영상을 디스플레이부(110) 및 제어부(130) 중 적어도 하나로 송신할 수 있다.The camera unit 120 may transmit an image of a companion dog photographed by Bangyoryeon to at least one of the display unit 110 and the controller 130 .
실시 예에서, 카메라부(120)는 반려견 행동 추측 장치(100)에 포함되는 것으로 설명하지만, 별도의 외부 장치로 구현될 수 있으며, 이에 한정을 두지 않는다.In the embodiment, the camera unit 120 is described as being included in the companion dog behavior estimation device 100, but may be implemented as a separate external device, and is not limited thereto.
제어부(130)는 위치 추출부(132), 자세 확인부(134) 및 동작부(136)를 포함할 수 있다.The control unit 130 may include a position extraction unit 132 , a posture confirmation unit 134 and an operation unit 136 .
위치 추출부(132)는 반려견 영상에서 반려견 영역을 추출하고, 반려견 영역을 설정된 사이즈의 절대 좌표 영역으로 변환할 수 있다.The location extractor 132 may extract a dog area from the dog image and convert the dog area into an absolute coordinate area having a set size.
이후, 위치 추출부(120)는 절대 좌표 영역에서 반려견의 신체 부위들에 대한 중심 좌표값들을 추출할 수 있다.Then, the location extractor 120 may extract center coordinate values of body parts of the dog in the absolute coordinate area.
즉, 위치 추출부(132)는 반려견 영상이 촬영된 장소 및 위치 등에 대한 공간적인 구분을 두지 않도록, 반려견 영역을 추출하여 반려견 영역의 사이즈를 동일한 크기로 변환하여 반려견의 신체 부위들에 대한 변화를 감지하기 위해 중심 좌표값들을 추출할 수 잇다.That is, the location extractor 132 extracts the dog area and converts the size of the dog area to the same size so that there is no spatial distinction between the place and location where the dog image was captured, and extracts the center coordinate values to detect changes in body parts of the dog.
자세 확인부(134)는 위치 추출부(132)에서 추출한 중심 좌표값들을 설정된 신경망 모델에 적용하여 반려견의 현재 자세를 확인할 수 있다.The posture checking unit 134 may check the current posture of the dog by applying the central coordinate values extracted by the position extracting unit 132 to the set neural network model.
즉, 자세 확인부(134)는 상기 신경망 모델에서 학습하여 분류된 자세들 중 중심 좌표값들을 서로 연결한 모의 자세에 대응하는 자세를 현재 자세로 확인할 수 있다.That is, the posture checking unit 134 may check, as a current posture, a posture corresponding to a simulated posture obtained by connecting center coordinate values among postures classified by learning from the neural network model.
동작부(136)는 자세 확인부(134)에서 확인한 반려견의 현재 자세 및 반려견 영상의 수신 이전에 확인한 이전 자세를 기반으로 반려견의 행동을 결정하고, 행동에 대한 행동 정보가 디스플레이되게 디스플레이부(110)를 제어할 수 있다.The operation unit 136 determines the behavior of the companion dog based on the current posture of the dog confirmed by the posture checker 134 and the previous posture confirmed before receiving the dog image, and controls the display unit 110 to display behavioral information about the behavior.
여기서, 동작부(136)는 상기 현재 자세와 상기 이전 자세를 설정된 행동 분석 그래프 모델에 적용하여 상기 행동을 결정할 수 있다.Here, the operation unit 136 may determine the behavior by applying the current posture and the previous posture to a set behavior analysis graph model.
즉, 동작부(136)는 상기 행동 분석 그래프 모델에 구현된 각 자세 노드들 중 상기 현재 자세 및 상기 이전 자세에 대응하는 노드들로 연속 이동한 이경 경로의 최종 자세 노드가 적어도 2이상의 행동 노드인지 판단하고, 상기 최종 자세 노드가 상기 적어도 2이상의 행동 노드가 아닌 것으로 판단하면 상기 최종 자세 노드를 상기 행동을 결정하기 위한 행동 노드로 확인하고, 상기 행동 노드에 대응하는 상기 행동 정보를 디스플레이할 수 있다.That is, the operation unit 136 may determine whether a final posture node of a path that continuously moves to nodes corresponding to the current posture and the previous posture among posture nodes implemented in the behavior analysis graph model is at least two or more behavior nodes, and if it is determined that the final posture node is not the at least two or more behavior nodes, identify the final posture node as an action node for determining the behavior, and display the behavior information corresponding to the behavior node.
도 2 및 도 3은 도 1에 나타낸 제어부의 동작을 설명하기 위한 예시도이다.2 and 3 are exemplary diagrams for explaining the operation of the control unit shown in FIG. 1 .
여기서, 도 2 및 도 3을 참고로 설명하면, 현재 자세가 자세 2, 이전 자세가 자세 1, 7인 경우, 동작부(136)는 도 3에 나타낸 행동 분석 그래프 모델의 각 자세 노드에 따라 연속 이동한 이동 경로의 최동 자세 노드(행동 1)이면, 도 2에 나타낸 행동 1에 대한 "무언가에 흥미로워하는 행동"을 행동 정보로 디스플레이부(110)에 디스플레이할 수 있다.Here, referring to FIGS. 2 and 3 , when the current posture is posture 2 and the previous postures are postures 1 and 7, the operation unit 136 may display on the display unit 110 the behavior information of “behavior interested in something” for the behavior 1 shown in FIG.
이때, 상기 최동 자세 노드가 상기 적어도 2이상의 행동 노드로 판단하는 경우, 동작부(136)는 상기 적어도 2이상의 행동 노드에 대한 적어도 2이상의 자세 시퀀스 정보와 상기 이동 경로를 기반으로 적어도 2이상의 유사도를 산출하고, 상기 적어도 2이상의 유사도 중 가장 높은 유사도를 갖는 행동 노드를 결정하여 상기 행동 정보를 디스플레이할 수 있다.At this time, if the most movable attitude node is determined to be the at least two or more action nodes, the operation unit 136 may calculate at least two or more similarities based on at least two or more attitude sequence information for the at least two or more action nodes and the movement path, determine an action node having the highest similarity among the at least two or more similarities, and display the action information.
여기서, 동작부(136)는 하기의 [수학식 1]을 통하여 유사도를 산출할 수 있다.Here, the operation unit 136 may calculate the similarity through [Equation 1] below.
여기서, d(g1, g2)는 유사도, g1, g2는 적어도 2이상의 서로 다른 그래프, mcs(g1, g2)는 최대 공통 부분 그래프이다.Here, d(g1, g2) is a similarity, g1 and g2 are at least two different graphs, and mcs(g1, g2) is a maximum common subgraph.
도 4는 본 발명에 따른 반려견 행동 추측 장치의 동작방법을 나타낸 순서도이다.4 is a flowchart illustrating an operating method of the companion dog behavior estimation device according to the present invention.
도 4를 참조하면, 반려견 행동 추측 장치(100)의 제어부(130)는 카메라부(120)로부터 전송된 반려견 영상을 수신하고(S110), 상기 반려견 영상에서 반려견의 신체 부위들에 대응하는 중심 좌표값들을 추출할 수 있다(S120).Referring to FIG. 4 , the control unit 130 of the dog behavior estimation device 100 may receive a dog image transmitted from the camera unit 120 (S110), and may extract center coordinate values corresponding to body parts of the dog from the dog image (S120).
이후, 제어부(130)는 상기 중심 좌표값들 설정된 신경망 모델에 적용하여 상기 반려견의 현재 자세를 확인하고(S130), 상기 반려견 영상의 수신 이전에 확인한 이전 자세 및 상기 현재 자세를 기반으로 상기 반려견의 행동을 결정할 수 있다(S140).Thereafter, the controller 130 applies the neural network model for which the central coordinate values are set to determine the current posture of the companion dog (S130), and determines the behavior of the companion dog based on the current posture and the previous posture checked before receiving the image of the companion dog (S140).
제어부(150)는 상기 반려견의 행동에 대응하는 행동 정보를 디스플레이부(110)에 디스플레이할 수 있다(S150).The controller 150 may display behavioral information corresponding to the behavior of the companion dog on the display unit 110 (S150).
도 5는 도 4에 나타낸 (S120) 단계를 나타낸 순서도이다.FIG. 5 is a flowchart illustrating the step (S120) shown in FIG. 4.
도 5를 참조하면, 제어부(130)는 반려견 영상에서 반려견 영역을 추출하고(S210), 반려견 영상을 설정된 사이즈의 절대 좌표 영역으로 변환할 수 있다(S220).Referring to FIG. 5 , the controller 130 may extract a dog area from a dog image (S210) and convert the dog image into an absolute coordinate area of a set size (S220).
이후, 제어부(130)는 절대 좌표 영역에서 신체 부위들에 대한 중심 좌표값들을 추출할 수 있다(S230).Then, the controller 130 may extract center coordinate values of body parts in the absolute coordinate area (S230).
즉, 제어부(130)에 포함된 위치 추출부(132)는 반려견 영상에서 반려견 영역을 추출하고, 반려견 영역을 설정된 사이즈의 절대 좌표 영역으로 변환할 수 있다.That is, the location extractor 132 included in the control unit 130 may extract the dog area from the dog image and convert the dog area into an absolute coordinate area of a set size.
여기서, 절대 좌표 영역은 상기 반려견 영역을 설정된 넓이 및 높이의 비율로 리사이즈한 영역일 수 있다. 이때, 상기 영역은 다른 색상으로 빈 공간을 채울 수 있으며, 이에 한정을 두지 않는다.Here, the absolute coordinate area may be an area obtained by resizing the companion dog area at a set ratio of width and height. In this case, the area may fill an empty space with a different color, but is not limited thereto.
이후, 위치 추출부(120)는 절대 좌표 영역에서 반려견의 신체 부위들에 대한 중심 좌표값들을 추출할 수 있다.Then, the location extractor 120 may extract center coordinate values of body parts of the dog in the absolute coordinate area.
즉, 위치 추출부(132)는 반려견 영상이 촬영된 장소 및 위치 등에 대한 공간적인 구분을 두지 않도록, 반려견 영역을 추출하여 반려견 영역의 사이즈를 동일한 크기로 변환하여 반려견의 신체 부위들에 대한 변화를 감지하기 위해 중심 좌표값들을 추출할 수 잇다.That is, the location extractor 132 extracts the dog area and converts the size of the dog area to the same size so that there is no spatial distinction between the place and location where the dog image was captured, and extracts the center coordinate values to detect changes in body parts of the dog.
도 6은 도 4에 나타낸 (S140) 단계를 나타낸 순서도이다.FIG. 6 is a flowchart illustrating the step (S140) shown in FIG. 4.
도 6을 참조하면, 제어부(130)는 설정된 행동 분석 그래프 모델에 구현된 각 자세 노드들 중 현재 자세 및 이전 자세에 대응하는 노드들로 연속 이동한 이경 경로의 최종 자세 노드가 적어도 2이상의 행동 노드인지 판단할 수 있다(S310).Referring to FIG. 6 , the controller 130 determines whether the final posture node of the detour path continuously moved to the nodes corresponding to the current posture and the previous posture among the posture nodes implemented in the set behavior analysis graph model is at least two or more behavior nodes (S310).
상기 최종 자세 노드가 상기 적어도 2이상의 행동 노드가 아닌 것으로 판단하는 경우, 제어부(130)는 상기 최종 자세 노드를 상기 행동을 결정하기 위한 행동 노드로 확인할 수 있다(S320).If it is determined that the final posture node is not the at least two action nodes, the controller 130 may identify the final posture node as an action node for determining the action (S320).
(S310) 판단 결과, 상기 최동 자세 노드가 상기 적어도 2이상의 행동 노드로 판단하는 경우, 제어부(130)는 상기 적어도 2이상의 행동 노드에 대한 적어도 2이상의 자세 시퀀스 정보와 상기 이동 경로를 기반으로 적어도 2이상의 유사도를 산출할 수 있다(S330).(S310) As a result of the determination, if it is determined that the most movable posture node is the at least two or more action nodes, the control unit 130 may calculate at least two or more similarities based on at least two or more posture sequence information for the at least two or more action nodes and the movement path (S330).
이후, 제어부(130)는 상기 적어도 2이상의 유사도 중 가장 높은 유사도를 갖는 행동 노드를 결정할 수 있다(S340).Thereafter, the controller 130 may determine an action node having the highest similarity among the at least two or more similarities (S340).
즉, 제어부(130)에 포함된 자세 확인부(134)는 위치 추출부(132)에서 추출한 중심 좌표값들을 설정된 신경망 모델에 적용하여 반려견의 현재 자세를 확인할 수 있다.That is, the posture checking unit 134 included in the controller 130 may check the current posture of the dog by applying the central coordinate values extracted from the position extracting unit 132 to the set neural network model.
자세 확인부(134)는 상기 신경망 모델에서 학습하여 분류된 자세들 중 중심 좌표값들을 서로 연결한 모의 자세에 대응하는 자세를 현재 자세로 확인할 수 있다.The posture checking unit 134 may check, as a current posture, a posture corresponding to a simulated posture obtained by connecting center coordinate values among postures classified by learning from the neural network model.
제어부(130)에 포함된 동작부(136)는 자세 확인부(134)에서 확인한 반려견의 현재 자세 및 반려견 영상의 수신 이전에 확인한 이전 자세를 기반으로 반려견의 행동을 결정하고, 행동에 대한 행동 정보가 디스플레이되게 디스플레이부(110)를 제어할 수 있다.The operation unit 136 included in the control unit 130 determines the behavior of the companion dog based on the current posture of the dog checked by the posture checking unit 134 and the previous posture confirmed before receiving the dog image, and controls the display unit 110 to display behavioral information about the behavior.
여기서, 동작부(136)는 상기 현재 자세와 상기 이전 자세를 설정된 행동 분석 그래프 모델에 적용하여 상기 행동을 결정할 수 있다.Here, the operation unit 136 may determine the behavior by applying the current posture and the previous posture to a set behavior analysis graph model.
즉, 동작부(136)는 상기 행동 분석 그래프 모델에 구현된 각 자세 노드들 중 상기 현재 자세 및 상기 이전 자세에 대응하는 노드들로 연속 이동한 이경 경로의 최종 자세 노드가 적어도 2이상의 행동 노드인지 판단하고, 상기 최종 자세 노드가 상기 적어도 2이상의 행동 노드가 아닌 것으로 판단하면 상기 최종 자세 노드를 상기 행동을 결정하기 위한 행동 노드로 확인하고, 상기 행동 노드에 대응하는 상기 행동 정보를 디스플레이할 수 있다.That is, the operation unit 136 may determine whether a final posture node of a path that continuously moves to nodes corresponding to the current posture and the previous posture among posture nodes implemented in the behavior analysis graph model is at least two or more behavior nodes, and if it is determined that the final posture node is not the at least two or more behavior nodes, identify the final posture node as an action node for determining the behavior, and display the behavior information corresponding to the behavior node.
이때, 상기 최동 자세 노드가 상기 적어도 2이상의 행동 노드로 판단하는 경우, 동작부(136)는 상기 적어도 2이상의 행동 노드에 대한 적어도 2이상의 자세 시퀀스 정보와 상기 이동 경로를 기반으로 적어도 2이상의 유사도를 산출하고, 상기 적어도 2이상의 유사도 중 가장 높은 유사도를 갖는 행동 노드를 결정하여 상기 행동 정보를 디스플레이할 수 있다.At this time, if the most movable attitude node is determined to be the at least two or more action nodes, the operation unit 136 may calculate at least two or more similarities based on at least two or more attitude sequence information for the at least two or more action nodes and the movement path, determine an action node having the highest similarity among the at least two or more similarities, and display the action information.
이상에서 실시 예들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 예에 포함되며, 반드시 하나의 실시 예에만 한정되는 것은 아니다. 나아가, 각 실시 예에서 예시된 특징, 구조, 효과 등은 실시 예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Features, structures, effects, etc. described in the embodiments above are included in at least one embodiment of the present invention, and are not necessarily limited to only one embodiment. Furthermore, the features, structures, effects, etc. illustrated in each embodiment can be combined or modified with respect to other embodiments by a person having ordinary knowledge in the field to which the embodiments belong. Therefore, contents related to these combinations and variations should be construed as being included in the scope of the present invention.
또한, 이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the embodiments have been described above, these are only examples and do not limit the present invention, and those skilled in the art to which the present invention belongs will be able to know that various modifications and applications not exemplified above are possible without departing from the essential characteristics of the present embodiment. For example, each component specifically shown in the embodiment can be modified and implemented. And differences related to these modifications and applications should be construed as being included in the scope of the present invention as defined in the appended claims.
Claims (14)
반려견을 촬영한 반려견 영상을 송신하는 카메라부; 및
상기 반려견 영상에서 상기 반려견의 신체 부위들에 대응하는 중심 좌표값들을 추출하고, 상기 중심 좌표값들로 확인한 상기 반려견의 현재 자세 및 상기 반려견 영상의 수신 이전에 확인한 이전 자세를 기반으로 상기 반려견의 행동을 결정하고 상기 행동에 대한 행동 정보가 디스플레이되게 상기 디스플레이부를 제어하는 제어부; 를 포함하고,
상기 제어부는,
상기 중심 좌표값들을 추출하는 위치 추출부;
상기 중심 좌표값들을 설정된 신경망 모델에 적용하여 상기 현재 자세를 확인하는 자세 확인부; 및
상기 현재 자세와 상기 이전 자세를 설정된 행동 분석 그래프 모델에 적용하여 상기 행동을 결정하고, 상기 행동 정보를 디스플레이하는 동작부; 를 포함하며,
상기 위치 추출부는,
상기 반려견 영상에서 반려견 영역을 추출하고, 상기 반려견 영역을 설정된 사이즈의 절대 좌표 영역으로 변환하고, 상기 절대 좌표 영역에서 상기 신체 부위들에 대한 상기 중심 좌표값들을 추출하며,
상기 절대 좌표 영역은,
추출한 상기 반려견 영역의 사이즈를 동일한 크기로 변환한 영역이며, 색상으로 빈 공간을 채운 것을 특징으로 하는,
반려견 행동 추측 장치.display unit;
a camera unit that transmits an image of a companion dog photographed by the companion dog; and
a control unit that extracts center coordinate values corresponding to body parts of the dog from the dog image, determines a behavior of the dog based on the current posture of the dog determined by the center coordinate values and a previous posture confirmed before receiving the image of the companion dog, and controls the display unit to display behavioral information for the behavior; including,
The control unit,
a location extractor extracting the center coordinate values;
a posture checking unit that checks the current posture by applying the center coordinate values to a set neural network model; and
an operation unit determining the behavior by applying the current posture and the previous posture to a set behavior analysis graph model, and displaying the behavior information; Including,
The location extraction unit,
extracting a dog area from the dog image, transforming the dog area into an absolute coordinate area having a set size, and extracting the center coordinate values of the body parts from the absolute coordinate area;
The absolute coordinate area,
Characterized in that the size of the extracted dog area is converted to the same size, and the empty space is filled with color.
Dog behavior guessing device.
상기 자세 확인부는,
상기 신경망 모델에서 학습하여 분류된 자세들 중 상기 중심 좌표값들을 서로 연결한 모의 자세에 대응하는 자세를 상기 현재 자세로 확인하는,
반려견 행동 추측 장치.According to claim 1,
The posture check unit,
Among the postures learned and classified by the neural network model, a posture corresponding to a simulated posture in which the center coordinate values are connected to each other is identified as the current posture,
Canine Behavior Guessing Device.
상기 동작부는,
상기 행동 분석 그래프 모델에 구현된 각 자세 노드들 중 상기 현재 자세 및 상기 이전 자세에 대응하는 노드들로 연속 이동한 이동 경로의 최종 자세 노드가 적어도 2이상의 행동 노드인지 판단하고, 상기 최종 자세 노드가 상기 적어도 2이상의 행동 노드가 아닌 것으로 판단하면 상기 최종 자세 노드를 상기 행동을 결정하기 위한 행동 노드로 확인하고, 상기 행동 노드에 대응하는 상기 행동 정보를 디스플레이하는,
반려견 행동 추측 장치.According to claim 1,
The operating unit,
determining whether a final posture node of a movement path continuously moved to nodes corresponding to the current posture and the previous posture among posture nodes implemented in the behavior analysis graph model is at least two or more behavior nodes, and if it is determined that the final posture node is not the at least two or more behavior nodes, identifying the final posture node as an action node for determining the behavior, and displaying the behavior information corresponding to the behavior node;
Canine Behavior Guessing Device.
상기 최종 자세 노드가 상기 적어도 2이상의 행동 노드로 판단하는 경우,
상기 동작부는,
상기 적어도 2이상의 행동 노드에 대한 적어도 2이상의 자세 시퀀스 정보와 상기 이동 경로를 기반으로 적어도 2이상의 유사도를 산출하고, 상기 적어도 2이상의 유사도 중 가장 높은 유사도를 갖는 행동 노드를 결정하여 상기 행동 정보를 디스플레이하는,
반려견 행동 추측 장치.According to claim 5,
When the final attitude node is determined to be the at least two action nodes,
The operating unit,
Calculating at least two degrees of similarity based on at least two or more posture sequence information for the at least two or more behavior nodes and the movement path, determining a behavior node having the highest similarity among the at least two or more similarities, and displaying the behavior information,
Canine Behavior Guessing Device.
상기 반려견 영상에서 반려견의 신체 부위들에 대응하는 중심 좌표값들을 추출하는 단계;
상기 중심 좌표값들 설정된 신경망 모델에 적용하여 상기 반려견의 현재 자세를 확인하는 단계; 및
상기 반려견 영상의 수신 이전에 확인한 이전 자세 및 상기 현재 자세를 기반으로 상기 반려견의 행동을 결정하는 단계; 를 포함하고,
상기 중심 좌표값들을 추출하는 단계는,
상기 반려견 영상에서 반려견 영역을 추출하고, 상기 반려견 영역을 설정된 사이즈의 절대 좌표 영역으로 변환하고, 상기 절대 좌표 영역에서 상기 신체 부위들에 대한 상기 중심 좌표값들을 추출하고,
상기 절대 좌표 영역은,
추출한 상기 반려견 영역의 사이즈를 동일한 크기로 변환한 영역이며, 색상으로 빈 공간을 채운 것을 특징으로 하는,
반려견 행동 추측 장치의 동작방법.Receiving an image of a companion dog transmitted from a camera unit;
extracting center coordinate values corresponding to body parts of the dog from the dog image;
confirming the current posture of the companion dog by applying the central coordinate values to the set neural network model; and
determining a behavior of the companion dog based on the previous posture and the current posture checked before receiving the companion dog image; including,
The step of extracting the center coordinate values,
extracting a dog area from the dog image, transforming the dog area into an absolute coordinate area having a set size, and extracting the center coordinate values of the body parts from the absolute coordinate area;
The absolute coordinate area,
Characterized in that the size of the extracted dog area is converted to the same size, and the empty space is filled with color.
Operation method of companion dog behavior estimation device.
상기 절대 좌표 영역은,
상기 반려견 영역을 설정된 넓이 및 높이의 비율로 리사이즈한 영역인,
반려견 행동 추측 장치의 동작방법.According to claim 7,
The absolute coordinate area is
An area in which the dog area is resized at a set ratio of width and height,
Operation method of companion dog behavior estimation device.
상기 현재 자세를 확인하는 단계는,
상기 신경망 모델에서 학습하여 분류된 자세들 중 상기 중심 좌표값들을 서로 연결한 모의 자세에 대응하는 자세를 상기 현재 자세로 확인하는,
반려견 행동 추측 장치의 동작방법.According to claim 7,
The step of checking the current posture,
Among the postures learned and classified by the neural network model, a posture corresponding to a simulated posture in which the center coordinate values are connected to each other is identified as the current posture,
Operation method of companion dog behavior estimation device.
상기 행동을 결정하는 단계는,
설정된 행동 분석 그래프 모델에 구현된 각 자세 노드들 중 상기 현재 자세 및 상기 이전 자세에 대응하는 노드들로 연속 이동한 이동 경로의 최종 자세 노드가 적어도 2이상의 행동 노드인지 판단하는 단계; 및
상기 최종 자세 노드가 상기 적어도 2이상의 행동 노드가 아닌 것으로 판단하면, 상기 최종 자세 노드를 상기 행동을 결정하기 위한 행동 노드로 확인하는 단계를 포함하는,
반려견 행동 추측 장치의 동작방법. According to claim 7,
The step of determining the action is,
determining whether a final posture node of a movement path continuously moved to nodes corresponding to the current posture and the previous posture among posture nodes implemented in the set behavior analysis graph model is at least two behavior nodes; and
If it is determined that the final attitude node is not the at least two action nodes, identifying the final attitude node as an action node for determining the action,
Operation method of companion dog behavior estimation device.
상기 최종 자세 노드가 상기 적어도 2이상의 행동 노드로 판단하는 경우,
상기 적어도 2이상의 행동 노드에 대한 적어도 2이상의 자세 시퀀스 정보와 상기 이동 경로를 기반으로 적어도 2이상의 유사도를 산출하는 단계; 및
상기 적어도 2이상의 유사도 중 가장 높은 유사도를 갖는 행동 노드를 결정하여 상기 행동을 결정하는 단계를 포함하는,
반려견 행동 추측 장치의 동작방법. According to claim 11,
When the final attitude node is determined to be the at least two action nodes,
calculating at least two degrees of similarity based on at least two or more posture sequence information of the at least two or more action nodes and the movement path; and
Determining the action by determining an action node having the highest similarity among the at least two or more similarities,
Operation method of companion dog behavior estimation device.
상기 유사도는,
하기의 수학식에 의해 산출되는 반려견 행동 추측 장치의 동작방법;
여기서, d(g1, g2)는 유사도, g1, g2는 적어도 2이상의 서로 다른 그래프, mcs(g1, g2)는 최대 공통 부분 그래프이다.According to claim 12,
The degree of similarity is
A method of operating a companion dog behavior estimation device calculated by the following equation;
Here, d(g1, g2) is a similarity, g1 and g2 are at least two different graphs, and mcs(g1, g2) is a maximum common subgraph.
상기 행동을 결정하는 단계 이후,
상기 행동에 대한 정보를 디스플레이하는 단계를 포함하는,
반려견 행동 추측 장치의 동작방법. According to claim 7,
After determining the action,
Including displaying information about the action,
Operation method of companion dog behavior estimation device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210018473A KR102559688B1 (en) | 2021-02-09 | 2021-02-09 | Behavior estimation device for an emotional support animal and its operation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210018473A KR102559688B1 (en) | 2021-02-09 | 2021-02-09 | Behavior estimation device for an emotional support animal and its operation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220114891A KR20220114891A (en) | 2022-08-17 |
| KR102559688B1 true KR102559688B1 (en) | 2023-07-25 |
Family
ID=83111005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210018473A KR102559688B1 (en) | 2021-02-09 | 2021-02-09 | Behavior estimation device for an emotional support animal and its operation method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102559688B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015011649A (en) * | 2013-07-02 | 2015-01-19 | パナソニック株式会社 | Personal behavior analysis device, personal behavior analysis system, personal behavior analysis method, and monitoring device |
| JP2018198081A (en) * | 2014-06-17 | 2018-12-13 | ナント ホールディングス アイピー， エルエルシー | Activity recognition robot apparatus |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102156279B1 (en) * | 2018-11-08 | 2020-09-15 | 고려대학교 세종산학협력단 | Method and automated camera-based system for detecting and suppressing harmful behavior of pet |
-
2021
- 2021-02-09 KR KR1020210018473A patent/KR102559688B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015011649A (en) * | 2013-07-02 | 2015-01-19 | パナソニック株式会社 | Personal behavior analysis device, personal behavior analysis system, personal behavior analysis method, and monitoring device |
| JP2018198081A (en) * | 2014-06-17 | 2018-12-13 | ナント ホールディングス アイピー， エルエルシー | Activity recognition robot apparatus |
Non-Patent Citations (2)
| Title |
|---|
| 김건희 외 2명, "시멘틱 기반 행위 패턴 유사도 측정 기법", 한국정보처리학회2013, pp.1196-1198(2013.11.) 1부.* |
| 한국 공개특허공보 제10-2020-0055821호(2020.05.22.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220114891A (en) | 2022-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11222239B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
| US10872262B2 (en) | Information processing apparatus and information processing method for detecting position of object | |
| Zhang et al. | A viewpoint-independent statistical method for fall detection | |
| KR20190024689A (en) | Object detection method and neural network system for object detection | |
| JP2018206321A (en) | Image processing device, image processing method and image processing program | |
| JP6270433B2 (en) | Information processing apparatus, information processing method, and information processing system | |
| JP2014236896A (en) | Information processor, information processing method, and program | |
| JP6773829B2 (en) | Object recognition device, object recognition method, and object recognition program | |
| KR20100093684A (en) | Smoke sensing method and system | |
| KR102397248B1 (en) | Image analysis-based patient motion monitoring system and method for providing the same | |
| JP2020027405A (en) | Object detection program and object detection device | |
| JP2018093266A (en) | Information processing device, information processing method, and program | |
| KR20210155655A (en) | Method and apparatus for identifying object representing abnormal temperatures | |
| KR102559688B1 (en) | Behavior estimation device for an emotional support animal and its operation method | |
| KR102041191B1 (en) | Method and apparatus for recognating hand motion | |
| JP6773825B2 (en) | Learning device, learning method, learning program, and object recognition device | |
| JP2016170518A (en) | Information processing apparatus, information processing method and program | |
| CN113615166A (en) | Accident detection device and accident detection method | |
| WO2019193899A1 (en) | Learning method for calculation device, learning device, learning program, and learned model | |
| Nie et al. | A child caring robot for the dangerous behavior detection based on the object recognition and human action recognition | |
| US11551379B2 (en) | Learning template representation libraries | |
| JP6737262B2 (en) | Abnormal state detection device, abnormal state detection method, and abnormal state detection program | |
| CN105721778A (en) | Shot data processing method, shot data processing apparatus and terminal | |
| Zhao et al. | Octree segmentation based calling gesture recognition for elderly care robot | |
| JP7349288B2 (en) | Object recognition device, object recognition method, and object recognition program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |