KR102580688B1

KR102580688B1 - A training method of a fall detection model based on a radar data

Info

Publication number: KR102580688B1
Application number: KR1020220138854A
Authority: KR
Inventors: 강창범; 박성수
Original assignee: 주식회사 에너자이
Priority date: 2022-10-26
Filing date: 2022-10-26
Publication date: 2023-09-20
Also published as: WO2024090786A1

Abstract

본 출원의 일 실시예에 따른 낙상 감지 모델의 학습 방법은, 객체 추적 모델을 훈련시키는 단계; 및 낙상 감지 모델을 훈련시키는 단계를 포함하되, 상기 낙상 감지 모델을 훈련시키는 단계는, 레이더 데이터 및 레이더 데이터와 매칭된 카메라 데이터에 할당된 낙상 여부와 관련된 레이블 정보로 구성된 제1 학습 데이터 셋을 획득하는 단계; 상기 레이더 데이터를 상기 낙상 감지 모델에 입력하는 단계; 상기 낙상 감지 모델을 통하여 출력되는 낙상이 발생하였는지 여부와 관련된 분류 예측 값을 획득하는 단계; 및 상기 분류 예측 값과 상기 제1 학습 데이터 셋의 상기 레이블 정보에 기반하여 상기 낙상 감지 모델을 갱신하는 단계를 포함한다. A method of learning a fall detection model according to an embodiment of the present application includes training an object tracking model; and training a fall detection model, wherein the step of training the fall detection model includes acquiring a first learning data set consisting of label information related to whether a fall has been assigned to radar data and camera data matched with the radar data. steps; Inputting the radar data into the fall detection model; Obtaining a classification prediction value related to whether a fall occurred output through the fall detection model; and updating the fall detection model based on the classification prediction value and the label information of the first learning data set.

Description

Learning method of fall detection model based on radar data {A TRAINING METHOD OF A FALL DETECTION MODEL BASED ON A RADAR DATA}

본 출원은 레이더 데이터에 기반한 낙상 감지 모델의 학습 방법 및 이를 수행하는 낙상 감지 장치에 관한 것이다. 구체적으로 본 출원은 레이더 데이터의 객체를 추적하기 위한 객체 추적 모델의 학습 방법과 객체의 낙상 여부를 감지하기 위한 낙상 감지 모델의 학습 방법 및 이를 수행하는 낙상 감지 장치에 관한 것이다.This application relates to a method of learning a fall detection model based on radar data and a fall detection device that performs the same. Specifically, this application relates to a method of learning an object tracking model for tracking an object in radar data, a method of learning a fall detection model to detect whether an object has fallen, and a fall detection device that performs the same.

인공지능 기술이 발전하면서 다양한 산업 분야에서 인공지능 기술들이 활용되고 있다. 특히 인공지능 기법을 이용한 레이더 처리 기술이 고도화됨에 따라 레이더에 기반하여 객체의 낙상을 감지하는 기술이 주목받고 있다.As artificial intelligence technology develops, it is being used in various industrial fields. In particular, as radar processing technology using artificial intelligence techniques becomes more advanced, technology that detects falling objects based on radar is attracting attention.

종래에는 도플러 이미지를 이용하여 객체의 낙상을 감지하였다. 도플러 이미지는 위치(range)에 대해 일정 시간에 따른 변화량으로 계산된다. 종래에는 도플러 이미지를 이용하여 특정 위치에 위치하는 객체의 속도를 측정하고 측정된 객체의 속도가 일정 이상의 속도로 감지되면 낙상으로 판단하였다. 다만 도플러 이미지를 이용한 낙상 감지 기술은 특정 방향(range bin)으로의 속도만을 측정할 수 있다는 제약이 존재하며, 이러한 제약으로 인하여 특정 방향이 아닌 다른 방향으로의 낙상은 감지할 수 없다는 한계가 존재하였다. 나아가 도플러 이미지를 이용한 낙상 감지 기술은 레이더가 측정하는 전체 영역이 아닌 일부 영역에 대하여만 분석이 가능하다는 한계가 존재하였다.Conventionally, a fall of an object was detected using Doppler images. Doppler images are calculated as the change in position over a certain period of time. Conventionally, the speed of an object located at a specific location was measured using a Doppler image, and if the measured speed of the object was detected to be above a certain speed, it was judged to be a fall. However, fall detection technology using Doppler images has limitations in that it can only measure speed in a specific direction (range bin), and due to these limitations, there is a limitation in that falls in directions other than the specific direction cannot be detected. . Furthermore, fall detection technology using Doppler images had a limitation in that it could only analyze a certain area, not the entire area measured by radar.

이에 인공지능 기술을 이용하여 레이더 데이터에 근거하여 객체의 낙상을 감지하기 위한 새로운 기술의 개발이 요구되는 실정이다. Accordingly, there is a need to develop a new technology to detect the fall of an object based on radar data using artificial intelligence technology.

본 발명이 해결하고자 하는 일 과제는, 레이더 데이터에 기반하여 객체를 추적하고, 객체의 낙상 여부를 감지하기 위한 신경망 모델의 학습 방법, 및 이를 수행하는 낙상 감지 장치를 제공하는 것이다.One problem that the present invention seeks to solve is to provide a method of learning a neural network model for tracking an object based on radar data and detecting whether the object has fallen, and a fall detection device that performs the same.

본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-mentioned problems, and problems not mentioned can be clearly understood by those skilled in the art from this specification and the attached drawings. .

본 출원의 일 실시예에 따른 낙상 감지 모델의 학습 방법은, 객체 추적 모델을 훈련시키는 단계; 및 낙상 감지 모델을 훈련시키는 단계를 포함하되, 상기 낙상 감지 모델을 훈련시키는 단계는, 레이더 데이터 및 레이더 데이터와 매칭된 카메라 데이터에 할당된 낙상 여부와 관련된 레이블 정보로 구성된 제1 학습 데이터 셋을 획득하는 단계; 상기 레이더 데이터를 상기 낙상 감지 모델에 입력하는 단계; 상기 낙상 감지 모델을 통하여 출력되는 낙상이 발생하였는지 여부와 관련된 분류 값을 획득하는 단계; 및 상기 분류 값과 상기 제1 학습 데이터 셋의 상기 레이블 정보에 기반하여 상기 낙상 감지 모델을 갱신하는 단계를 포함할 수 있다.A method of learning a fall detection model according to an embodiment of the present application includes training an object tracking model; and training a fall detection model, wherein the step of training the fall detection model includes acquiring a first learning data set consisting of label information related to whether a fall has been assigned to radar data and camera data matched with the radar data. steps; Inputting the radar data into the fall detection model; Obtaining a classification value related to whether a fall occurred output through the fall detection model; And it may include updating the fall detection model based on the classification value and the label information of the first learning data set.

본 출원의 일 실시예에 따른 낙상 감지 장치는, 객체 추적 모델 및 낙상 감지 모델을 훈련시키도록 구성된 프로세서를 포함하되, 상기 프로세서는, 레이더 데이터 및 레이더 데이터와 매칭된 카메라 데이터에 할당된 낙상 여부와 관련된 레이블 정보로 구성된 제1 학습 데이터 셋을 획득하고, 상기 레이더 데이터를 상기 낙상 감지 모델에 입력하고, 상기 낙상 감지 모델을 통하여 출력되는 낙상이 발생하였는지 여부와 관련된 분류 값을 획득하고, 상기 분류 값과 상기 제1 학습 데이터 셋의 상기 레이블 정보에 기반하여 상기 낙상 감지 모델을 갱신하여 상기 낙상 감지 모델을 훈련시키도록 구성될 수 있다. A fall detection device according to an embodiment of the present application includes a processor configured to train an object tracking model and a fall detection model, wherein the processor determines whether or not a fall has been assigned to radar data and camera data matched with the radar data. Obtain a first learning data set consisting of related label information, input the radar data into the fall detection model, obtain a classification value related to whether a fall occurred output through the fall detection model, and obtain the classification value and may be configured to train the fall detection model by updating the fall detection model based on the label information of the first learning data set.

본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The means for solving the problem of the present invention are not limited to the above-mentioned solution means, and the solution methods not mentioned will be clearly understood by those skilled in the art from this specification and the attached drawings. You will be able to.

본 출원의 일 실시예에 따른 낙상 감지 모델의 학습 방법 및 낙상 감지 장치에 따르면, 레이더 데이터에만 근거하여 객체를 추적하고 낙상을 감지할 수 있다. 이를 통하여 카메라가 설치되기 어려운 환경에서도 레이더 데이터만을 이용하여 객체를 추적하고 낙상을 감지하는 효과를 제공할 수 있다. According to the fall detection model learning method and fall detection device according to an embodiment of the present application, it is possible to track an object and detect a fall based only on radar data. Through this, it is possible to provide the effect of tracking objects and detecting falls using only radar data, even in environments where cameras are difficult to install.

본 출원의 일 실시예에 따른 낙상 감지 모델의 학습 방법 및 낙상 감지 장치에 따르면, 다양한 자세로 발생하는 낙상을 감지할 수 있도록 구성된 학습 데이터 세트를 이용하여 낙상 감지 모델을 훈련시킴으로써 낙상 자세와 무관하게 낙상을 감지할 수 있는 효과를 제공할 수 있다. According to the fall detection model learning method and fall detection device according to an embodiment of the present application, a fall detection model is trained using a learning data set configured to detect falls occurring in various postures, regardless of the fall posture. It can provide the effect of detecting falls.

본 출원의 일 실시예에 따른 낙상 감지 모델의 학습 방법 및 낙상 감지 장치에 따르면, 객체 추적 모델을 통하여 추출된 피처를 낙상 감지 모델의 학습에서 이용함으로써, 낙상 감지 모델의 학습에 소요되는 시간을 감소시킬 수 있다. According to the fall detection model learning method and fall detection device according to an embodiment of the present application, the time required for learning the fall detection model is reduced by using features extracted through the object tracking model in learning the fall detection model. You can do it.

본 출원의 일 실시예에 따른 낙상 감지 모델의 학습 방법 및 낙상 감지 장치에 따르면, 객체 추적 모델과 낙상 감지 모델을 번갈아가면서 학습시킴으로써 객체 추적 태스크의 정확도를 일정 수준으로 유지하면서도 낙상 감지 태스크의 정확도를 증대시킬 수 있다. According to the fall detection model learning method and fall detection device according to an embodiment of the present application, the accuracy of the fall detection task is improved while maintaining the accuracy of the object tracking task at a certain level by alternately learning the object tracking model and the fall detection model. It can be increased.

본 출원의 일 실시예에 따른 낙상 감지 모델의 학습 방법 및 낙상 감지 장치에 따르면, 2차원의 히트맵을 이용하여 객체 추적 모델 및 낙상 감지 모델을 학습시키거나 실행함으로써, 상대적으로 성능이 낮은 레이더(radar) 자체의 프로세서에서도 객체 추적 모델과 낙상 감지 모델이 실행될 수 있다. According to the fall detection model learning method and fall detection device according to an embodiment of the present application, the object tracking model and the fall detection model are learned or executed using a two-dimensional heat map, thereby reducing the relatively low performance radar ( The object tracking model and fall detection model can also be run on radar's own processor.

본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects described above, and effects not mentioned can be clearly understood by those skilled in the art from this specification and the attached drawings.

도 1은 본 출원의 일 실시예에 따른 낙상 감지 장치의 개략도이다.
도 2는 본 출원의 일 실시예에 따른 객체 추적 모델을 학습시키는 양상과 학습이 완료된 객체 추적 모델을 이용하여 객체의 위치 정보를 연산하는 양상을 도시한 도면이다.
도 3은 본 출원의 일 실시예에 따른 낙상 감지 모델을 학습시키는 양상과 학습이 완료된 낙상 감지 모델을 이용하여 낙상을 감지하는 양상을 도시한 도면이다.
도 4는 본 출원의 일 실시예에 따른 객체 추적 모델과 낙상 감지 모델을 학습시키는 양상을 도시한 도면이다.
도 5는 본 출원의 일 실시예에 따른 학습이 완료된 객체 추적 모델과 학습이 완료된 낙상 감지 모델을 이용하여 레이더 데이터로부터 객체의 위치 정보와 낙상이 발생하였는지 여부와 관련된 분류 값을 연산하는 양상을 도시한 도면이다.
도 6은 본 출원의 일 실시예에 따른 낙상 감지 모델을 훈련시키는 방법을 도시한 순서도이다.
도 7은 본 출원의 일 실시예에 따른 객체 추적 모델을 훈련시키는 단계를 구체화한 순서도이다.
도 8은 본 출원의 일 실시예에 따른 낙상 감지 모델을 훈련시키는 단계를 구체화한 순서도이다.
도 9는 본 출원의 일 실시예에 따른 학습이 완료된 객체 추적 모델을 이용하여 객체의 위치 정보를 연산하고 학습이 완료된 낙상 감지 모델을 이용하여 낙상을 감지하는 일 양상을 나타낸 흐름도이다. 1 is a schematic diagram of a fall detection device according to an embodiment of the present application.
FIG. 2 is a diagram illustrating an aspect of training an object tracking model according to an embodiment of the present application and an aspect of calculating location information of an object using the learned object tracking model.
Figure 3 is a diagram showing an aspect of learning a fall detection model according to an embodiment of the present application and an aspect of detecting a fall using a fall detection model that has completed learning.
Figure 4 is a diagram illustrating an aspect of learning an object tracking model and a fall detection model according to an embodiment of the present application.
Figure 5 shows an aspect of calculating an object's location information and a classification value related to whether a fall occurred from radar data using a fully learned object tracking model and a fully learned fall detection model according to an embodiment of the present application. It is a drawing.
Figure 6 is a flowchart showing a method of training a fall detection model according to an embodiment of the present application.
Figure 7 is a flow chart specifying the steps of training an object tracking model according to an embodiment of the present application.
Figure 8 is a flow chart specifying the steps of training a fall detection model according to an embodiment of the present application.
Figure 9 is a flowchart showing an aspect of calculating location information of an object using a learned object tracking model and detecting a fall using a learned fall detection model according to an embodiment of the present application.

본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.The above-described objects, features and advantages of the present application will become more apparent through the following detailed description in conjunction with the accompanying drawings. However, since the present application can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail below.

명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.Like reference numerals throughout the specification in principle refer to the same elements. In addition, components with the same function within the scope of the same idea shown in the drawings of each embodiment will be described using the same reference numerals, and overlapping descriptions thereof will be omitted.

본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that a detailed description of a known function or configuration related to the present application may unnecessarily obscure the gist of the present application, the detailed description will be omitted. In addition, numbers (eg, first, second, etc.) used in the description of this specification are merely identifiers to distinguish one component from another component.

또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.In addition, the suffixes “module” and “part” for components used in the following examples are given or used interchangeably only considering the ease of writing the specification, and do not have distinct meanings or roles in themselves.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.In the following examples, singular terms include plural terms unless the context clearly dictates otherwise.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.In the following embodiments, terms such as include or have mean that the features or components described in the specification exist, and do not exclude in advance the possibility of adding one or more other features or components.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.In the drawings, the sizes of components may be exaggerated or reduced for convenience of explanation. For example, the size and thickness of each component shown in the drawings are arbitrarily shown for convenience of explanation, and the present invention is not necessarily limited to what is shown.

어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.If an embodiment can be implemented differently, the order of specific processes may be performed differently from the order described. For example, two processes described in succession may be performed substantially simultaneously, or may proceed in an order opposite to that in which they are described.

이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다.In the following embodiments, when components are connected, this includes not only the case where the components are directly connected, but also the case where the components are indirectly connected by intervening between the components.

예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.For example, in this specification, when components, etc. are said to be electrically connected, this includes not only cases where the components are directly electrically connected, but also cases where components, etc. are interposed and indirectly electrically connected.

본 출원의 일 실시예에 따른 낙상 감지 모델의 학습 방법은, 객체 추적 모델을 훈련시키는 단계; 및 낙상 감지 모델을 훈련시키는 단계를 포함하되, 상기 낙상 감지 모델을 훈련시키는 단계는, 레이더 데이터 및 레이더 데이터와 매칭된 카메라 데이터에 할당된 낙상 여부와 관련된 레이블 정보로 구성된 제1 학습 데이터 셋을 획득하는 단계; 상기 레이더 데이터를 상기 낙상 감지 모델에 입력하는 단계; 상기 낙상 감지 모델을 통하여 출력되는 낙상이 발생하였는지 여부와 관련된 분류 예측 값을 획득하는 단계; 및 상기 분류 예측 값과 상기 제1 학습 데이터 셋의 상기 레이블 정보에 기반하여 상기 낙상 감지 모델을 갱신하는 단계를 포함할 수 있다.A method of learning a fall detection model according to an embodiment of the present application includes training an object tracking model; and training a fall detection model, wherein the step of training the fall detection model includes acquiring a first learning data set consisting of label information related to whether a fall has been assigned to radar data and camera data matched with the radar data. steps; Inputting the radar data into the fall detection model; Obtaining a classification prediction value related to whether a fall occurred output through the fall detection model; And it may include updating the fall detection model based on the classification prediction value and the label information of the first learning data set.

본 출원의 일 실시예에 따르면, 상기 객체 추적 모델을 훈련시키는 단계는, 상기 레이더 데이터 및 상기 레이더 데이터와 매칭된 카메라 데이터로부터 연산된 객체의 위치 정보로 구성된 제2 학습 데이터 셋을 획득하는 단계; 상기 레이더 데이터를 상기 객체 추적 모델에 입력하고, 상기 객체 추적 모델을 통하여 출력되는 객체의 위치와 관련된 출력 값을 획득하는 단계; 및 상기 출력 값과 상기 제2 학습 데이터 셋의 객체의 위치 정보에 기반하여 상기 객체 추적 모델을 갱신하는 단계를 더 포함할 수 있다. According to an embodiment of the present application, training the object tracking model includes obtaining a second learning data set consisting of location information of an object calculated from the radar data and camera data matched with the radar data; Inputting the radar data into the object tracking model and obtaining an output value related to the location of the object output through the object tracking model; And it may further include updating the object tracking model based on the output value and location information of the object in the second learning data set.

본 출원의 일 실시예에 따르면, 상기 객체 추적 모델을 훈련시키는 단계는, 상기 객체 추적 모델을 통하여 상기 레이더 데이터로부터 피처를 추출하는 단계를 더 포함하되, 상기 레이더 데이터를 상기 낙상 감지 모델에 입력하는 단계는, 상기 객체 추적 모델을 통하여 추출된 적어도 하나 이상의 피처들을 저장하여 피처 큐를 획득하는 단계; 및 상기 피처 큐에 저장된 적어도 하나 이상의 피처들을 상기 낙상 감지 모델에 입력하는 단계를 포함할 수 있다. According to an embodiment of the present application, training the object tracking model further includes extracting features from the radar data through the object tracking model, wherein inputting the radar data to the fall detection model The step includes obtaining a feature queue by storing at least one feature extracted through the object tracking model; and inputting at least one feature stored in the feature queue into the fall detection model.

본 출원의 일 실시예에 따르면, 상기 레이블 정보는, 상기 카메라 데이터의 제1 프레임 구간은 낙상이 발생했음을 나타내는 제1 레이블 및 상기 카메라 데이터의 제2 프레임 구간은 낙상이 발생하지 않았음을 나타내는 제2 레이블 중 하나일 수 있다. According to an embodiment of the present application, the label information includes a first label indicating that a fall occurred in the first frame section of the camera data, and a label indicating that a fall did not occur in the second frame section of the camera data. It can be one of 2 labels.

본 출원의 일 실시예에 따르면, 상기 레이더 데이터는, 2차원의 Range-Azimuth 히트맵 및 2차원의 Range-Elevation 히트맵으로 구성될 수 있다. According to an embodiment of the present application, the radar data may be composed of a two-dimensional Range-Azimuth heat map and a two-dimensional Range-Elevation heat map.

본 출원의 일 실시예에 따르면, 상기 낙상 감지 모델의 학습 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.According to an embodiment of the present application, a computer-readable recording medium recording a program for executing the fall detection model learning method may be provided.

본 출원의 일 실시예에 따른 낙상 감지 장치는, 객체 추적 모델 및 낙상 감지 모델을 훈련시키도록 구성된 프로세서를 포함하되, 상기 프로세서는, 레이더 데이터 및 레이더 데이터와 매칭된 카메라 데이터에 할당된 낙상 여부와 관련된 레이블 정보로 구성된 제1 학습 데이터 셋을 획득하고, 상기 레이더 데이터를 상기 낙상 감지 모델에 입력하고, 상기 낙상 감지 모델을 통하여 출력되는 낙상이 발생하였는지 여부와 관련된 분류 예측 값을 획득하고, 상기 분류 예측 값과 상기 제1 학습 데이터 셋의 상기 레이블 정보에 기반하여 상기 낙상 감지 모델을 갱신하여 상기 낙상 감지 모델을 훈련시키도록 구성될 수 있다. A fall detection device according to an embodiment of the present application includes a processor configured to train an object tracking model and a fall detection model, wherein the processor determines whether or not a fall has been assigned to radar data and camera data matched with the radar data. Obtain a first learning data set consisting of related label information, input the radar data into the fall detection model, obtain a classification prediction value related to whether a fall occurred output through the fall detection model, and classify It may be configured to train the fall detection model by updating the fall detection model based on the prediction value and the label information of the first learning data set.

본 출원의 일 실시예에 따르면, 상기 프로세서는, 상기 레이더 데이터 및 상기 레이더 데이터와 매칭된 카메라 데이터로부터 연산된 객체의 위치 정보로 구성된 제2 학습 데이터 셋을 획득하고, 상기 레이더 데이터를 상기 객체 추적 모델에 입력하고, 상기 객체 추적 모델을 통하여 출력되는 객체의 위치와 관련된 출력 값을 획득하고, 상기 출력 값과 상기 제2 학습 데이터 셋의 객체의 위치 정보에 기반하여 상기 객체 추적 모델을 갱신하여 상기 객체 추적 모델을 훈련시키도록 구성될 수 있다. According to an embodiment of the present application, the processor acquires a second learning data set consisting of location information of an object calculated from the radar data and camera data matched with the radar data, and uses the radar data to track the object. Enter the model, obtain an output value related to the location of the object output through the object tracking model, and update the object tracking model based on the output value and the location information of the object in the second learning data set. Can be configured to train an object tracking model.

본 출원의 일 실시예에 따르면, 상기 프로세서는, 상기 객체 추적 모델을 통하여 상기 레이더 데이터로부터 피처를 추출하고, 상기 객체 추적 모델을 통하여 추출된 적어도 하나 이상의 피처들을 저장하여 피처 큐를 획득하고, 상기 피처 큐에 저장된 적어도 하나 이상의 피처들을 상기 낙상 감지 모델에 입력하도록 구성될 수 있다. According to an embodiment of the present application, the processor extracts features from the radar data through the object tracking model, stores at least one feature extracted through the object tracking model, and obtains a feature queue, It may be configured to input at least one or more features stored in a feature queue into the fall detection model.

이하에서는 도 1 내지 도 9를 참고하여 본 출원의 일 실시예에 따른 낙상 감지 장치, 및/또는 낙상 감지 장치에 의하여 수행되는 객체 추적 모델의 학습 방법과 낙상 감지 모델의 학습 방법에 관하여 설명한다. Hereinafter, a fall detection device according to an embodiment of the present application and/or a method of learning an object tracking model and a method of learning a fall detection model performed by the fall detection device will be described with reference to FIGS. 1 to 9.

도 1은 본 출원의 일 실시예에 따른 낙상 감지 장치(1000)의 개략도이다. Figure 1 is a schematic diagram of a fall detection device 1000 according to an embodiment of the present application.

본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 레이더 데이터에 근거하여 객체를 추적하고, 객체의 낙상 여부를 감지하기 위한 신경망 모델을 훈련시킬 수 있다. 나아가 낙상 감지 장치(1000)는 학습이 완료된 신경망 모델을 이용하여 객체를 추적하고, 객체의 낙상 여부를 감지하거나 분석하는 동작을 수행할 수 있다. The fall detection device 1000 according to an embodiment of the present application can track an object based on radar data and train a neural network model to detect whether the object has fallen. Furthermore, the fall detection device 1000 can track an object using a learned neural network model and perform an operation to detect or analyze whether the object has fallen.

본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 송수신부(1100), 메모리(1200), 및 프로세서(1300)를 포함할 수 있다.The fall detection device 1000 according to an embodiment of the present application may include a transceiver 1100, a memory 1200, and a processor 1300.

낙상 감지 장치(1000)의 송수신부(1100)는 임의의 외부 기기와 통신을 수행할 수 있다. 예컨대, 낙상 감지 장치(1000)는, 송수신부(1100)를 통해, 레이더 데이터를 수신할 수 있다. 또한 낙상 감지 장치(1000)는, 송수신부(1100)를 통하여 학습이 완료된 신경망 모델(예컨대, 객체 추적 모델 및/또는 낙상 감지 모델)을 실행시키기 위한 실행 데이터를 획득할 수 있다. 여기서 실행 데이터는 학습이 완료된 신경망 모델의 계층 정보, 연산 정보, 구조 정보 및 가중치 정보 등을 포함하여 학습이 완료된 신경망 모델을 적절하게 실행시키기 위한 임의의 데이터를 포괄하는 의미일 수 있다. 또한, 낙상 감지 장치(1000)는, 송수신부(1100)를 통하여, 객체의 위치 정보, 객체를 정의한 바운딩박스(Bounding box) 정보, 및/또는 낙상 알림을 포함하여 임의의 정보를 외부 장치(혹은 외부 단말)로 송신할 수 있다. The transceiver unit 1100 of the fall detection device 1000 can communicate with any external device. For example, the fall detection device 1000 may receive radar data through the transceiver 1100. Additionally, the fall detection device 1000 may obtain execution data for executing a trained neural network model (eg, object tracking model and/or fall detection model) through the transceiver 1100. Here, execution data may mean encompassing arbitrary data for properly executing a trained neural network model, including layer information, operation information, structural information, and weight information of the trained neural network model. In addition, the fall detection device 1000, through the transceiver 1100, transmits any information, including location information of the object, bounding box information defining the object, and/or fall notification, to an external device (or can be transmitted to an external terminal).

낙상 감지 장치(1000)는, 송수신부(1100)를 통해, 네트워크에 접속하여 각종 데이터를 송수신할 수 있다. 송수신부(1100)는 크게 유선 타입과 무선 타입을 포함할 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라 낙상 감지 장치(1000)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다. 여기서, 무선 타입의 경우에는 주로 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식을 이용할 수 있다. 또는, 무선 타입의 경우에는 셀룰러 통신, 예컨대, LTE, 5G 계열의 통신 방식을 이용할 수 있다. 다만, 무선 통신 프로토콜이 상술한 예시에 제한되는 것은 아니며, 임의의 적절한 무선 타입의 통신 방식을 이용하는 것도 가능하다. 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다.The fall detection device 1000 can connect to a network and transmit and receive various data through the transmitting and receiving unit 1100. The transceiver unit 1100 may largely include a wired type and a wireless type. Since the wired type and the wireless type have their own advantages and disadvantages, in some cases, the fall detection device 1000 may be provided with both the wired type and the wireless type. Here, in the case of the wireless type, a WLAN (Wireless Local Area Network) type communication method such as Wi-Fi can be mainly used. Alternatively, in the case of the wireless type, cellular communication, such as LTE or 5G communication methods, can be used. However, the wireless communication protocol is not limited to the above-described example, and any appropriate wireless type of communication method can be used. In the case of the wired type, LAN (Local Area Network) or USB (Universal Serial Bus) communication are representative examples, but other methods are also possible.

낙상 감지 장치(1000)의 메모리(1200)는 각종 정보를 저장할 수 있다. 메모리(1200)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리(1200)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(1200)는 낙상 감지 장치(1000)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(1200)에는 낙상 감지 장치(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 낙상 감지 장치(1000)의 각 구성을 동작시키기 위한 프로그램을 비롯해 낙상 감지 장치(1000)의 동작에 필요한 각종 데이터가 저장될 수 있다.The memory 1200 of the fall detection device 1000 can store various types of information. Various data may be temporarily or semi-permanently stored in the memory 1200. Examples of memory 1200 include hard disk drive (HDD), solid state drive (SSD), flash memory, read-only memory (ROM), random access memory (RAM), etc. This can be. The memory 1200 may be provided as built into the fall detection device 1000 or in a detachable form. The memory 1200 contains information necessary for the operation of the fall detection device 1000, including an operating program (OS: Operating System) for operating the fall detection device 1000 and a program for operating each component of the fall detection device 1000. Various data can be stored.

프로세서(1300)는 낙상 감지 장치(1000)의 전반적인 동작을 제어할 수 있다. 예컨대, 프로세서(1300)는 후술할 레이더 데이터에 기반하여 객체를 추적하기 위한 객체 추적 모델을 훈련시키는 동작, 훈련이 완료된 객체 추적 모델을 통하여 객체의 위치 정보를 연산하는 동작, 낙상 감지 모델을 훈련시키는 동작, 훈련이 완료된 낙상 감지 모델을 이용하여 낙상이 발생하였는지 여부와 관련된 분류 값을 연산하는 동작 등을 포함하여 낙상 감지 장치(1000)의 전반적인 동작을 제어할 수 있다. 구체적으로 프로세서(1300)는 메모리(1200)로부터 낙상 감지 장치(1000)의 전반적인 동작을 위한 프로그램을 로딩하여 실행할 수 있다. 프로세서(1300)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 AP(Application Processor), CPU(Central Processing Unit), MCU(Microcontroller Unit)나 이와 유사한 장치로 구현될 수 있다. 이때, 하드웨어적으로는 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.The processor 1300 may control the overall operation of the fall detection device 1000. For example, the processor 1300 trains an object tracking model to track an object based on radar data to be described later, calculates location information of an object through a trained object tracking model, and trains a fall detection model. The overall operation of the fall detection device 1000 can be controlled, including the operation of calculating a classification value related to whether a fall has occurred using a fall detection model for which training has been completed. Specifically, the processor 1300 may load and execute a program for the overall operation of the fall detection device 1000 from the memory 1200. The processor 1300 may be implemented as an application processor (AP), a central processing unit (CPU), a microcontroller unit (MCU), or a similar device depending on hardware, software, or a combination thereof. At this time, hardware may be provided in the form of an electronic circuit that processes electrical signals to perform a control function, and software may be provided in the form of a program or code that drives the hardware circuit.

이하에서는 도 2 내지 도 9를 참고하여 본 출원의 일 실시예에 따른 낙상 감지 장치(1000)의 동작, 객체 추적 모델의 학습 방법, 및/또는 낙상 감지 모델의 학습 방법을 보다 구체적으로 서술하기로 한다.Hereinafter, with reference to FIGS. 2 to 9, the operation of the fall detection device 1000, the learning method of the object tracking model, and/or the learning method of the fall detection model according to an embodiment of the present application will be described in more detail. do.

도 2는 본 출원의 일 실시예에 따른 객체 추적 모델을 학습시키는 양상과 학습이 완료된 객체 추적 모델을 이용하여 객체의 위치 정보를 연산하는 양상을 도시한 도면이다. 구체적으로 도 2(a)는 본 출원의 일 실시예에 따른 객체 추적 모델을 학습시키는 양상을 도시한 도면이며, 도 2(b)는 본 출원의 일 실시예에 따른 학습이 완료된 객체 추적 모델을 이용하여 레이더 데이터로부터 객체의 위치 정보를 연산하는 양상을 도시한 도면이다.FIG. 2 is a diagram illustrating an aspect of training an object tracking model according to an embodiment of the present application and an aspect of calculating location information of an object using the learned object tracking model. Specifically, FIG. 2(a) is a diagram illustrating an aspect of learning an object tracking model according to an embodiment of the present application, and FIG. 2(b) is a diagram showing a learned object tracking model according to an embodiment of the present application. This is a diagram showing how to calculate the location information of an object from radar data.

본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 레이더 데이터에 근거하여 객체를 추적하기 위한 신경망 모델(이하, 객체 추적 모델)을 훈련시키는 동작을 수행할 수 있다. 낙상을 감지하기 위해서는 레이더 데이터로부터 낙상 감지 대상인 객체를 추적하여야 하기에, 낙상 감지 장치(1000)는 객체를 추적(tracking)하여 객체의 위치 정보 및/또는 객체를 정의하는 바운딩박스(bounding box)를 연산하기 위한 객체 추적 모델을 훈련시키도록 구성될 수 있다. The fall detection apparatus 1000 according to an embodiment of the present application may perform an operation of training a neural network model (hereinafter referred to as an object tracking model) for tracking an object based on radar data. In order to detect a fall, the object that is the target of fall detection must be tracked from radar data, so the fall detection device 1000 tracks the object and provides location information of the object and/or a bounding box that defines the object. It may be configured to train an object tracking model for computing.

구체적으로 낙상 감지 장치(1000)는 레이더 데이터 및 레이더 데이터와 매칭된 카메라 데이터로 구성된 객체 추적 모델의 학습 데이터 세트를 이용하여 객체 추적 모델을 훈련시킬 수 있다. 이때, 레이더 데이터의 좌표와 카메라 데이터의 좌표는 캘리브레이션(calibration)되어 있어 각 좌표 간의 변환이 가능하다. Specifically, the fall detection device 1000 may train an object tracking model using a learning data set of the object tracking model consisting of radar data and camera data matched with the radar data. At this time, the coordinates of the radar data and the coordinates of the camera data are calibrated, so conversion between each coordinate is possible.

일 예로, 낙상 감지 장치(1000)는 레이더 데이터 및 카메라 데이터에 기반하여 연산된 객체의 위치 정보로 구성된 객체 추적 모델의 학습 데이터 세트를 이용하여 객체 추적 모델을 훈련시킬 수 있다. 일 예로, 객체의 위치 정보는 제1 위치에 설치된 제1 카메라로부터 획득된 제1 영상, 제2 위치에 설치된 제2 카메라로부터 획득한 제2 영상을 이용하여 연산될 수 있다. 구체적으로 낙상 감지 장치(1000)는 각 영상에 대하여 자세 예측(pose estimation) 기법을 통하여 객체의 골격 정보를 추출하고, 추출된 객체의 골격 정보에 기반하여 객체의 위치 정보와 객체를 정의하는 바운딩박스(bounding box)를 획득할 수 있다. 예컨대, 낙상 감지 장치(1000)는 하나의 카메라를 통하여 획득한 객체의 골격 정보와 해당 카메라를 연결한 직선과 다른 카메라를 통하여 객체의 골격 정보와 해당 카메라를 연결한 직선의 교점을 획득하고, 각 골격 정보에 대응되는 교점들에 기반하여 객체의 위치 정보와 객체를 정의하는 바운딩박스(bounding box)를 획득할 수 있다. 예컨대, 각 골격 정보에 대응되는 교점들을 포함하도록 객체를 정의하는 바운딩박스를 획득할 수 있다. 예컨대, 객체를 정의하는 바운딩박스의 좌표 정보에 기반하여 객체의 위치 정보를 연산할 수 있다. 한편 전술한 예에서는 2대의 카메라를 이용하여 각각의 영상을 획득하고, 각각의 영상으로부터 객체의 위치 정보를 연산하는 것으로 설명하였다. 다만, 2대의 카메라를 사용하는 경우 객체 간의 오클루전(occlusion)이 발생하는 경우가 존재할 수 있으며, 객체 간의 오클루전이 발생하는 경우에는 연산된 객체의 위치 정보가 부정확할 수 있다. 따라서 객체 간의 오클루전이 발생하는 경우에는 제1 위치에 설치된 제1 카메라로부터 획득된 제1 영상, 제2 위치에 설치된 제2 카메라로부터 획득한 제2 영상, 및 제3 위치에 설치된 제3 카메라로부터 획득한 제3 영상을 이용하여 객체의 위치 정보를 연산하도록 구현될 수 있다. As an example, the fall detection device 1000 may train an object tracking model using a learning data set of the object tracking model consisting of location information of objects calculated based on radar data and camera data. As an example, location information of an object may be calculated using a first image obtained from a first camera installed at a first location and a second image obtained from a second camera installed at a second location. Specifically, the fall detection device 1000 extracts the skeletal information of the object through a pose estimation technique for each image, and establishes location information of the object and a bounding box that defines the object based on the skeletal information of the extracted object. You can obtain (bounding box). For example, the fall detection device 1000 acquires the intersection of the straight line connecting the object's skeletal information acquired through one camera and the corresponding camera and the straight line connecting the object's skeletal information and the corresponding camera through another camera, and obtains each Based on the intersections corresponding to the skeleton information, the location information of the object and the bounding box that defines the object can be obtained. For example, a bounding box that defines an object can be obtained to include intersections corresponding to each skeletal information. For example, the location information of an object can be calculated based on the coordinate information of the bounding box that defines the object. Meanwhile, in the above-mentioned example, each image was acquired using two cameras, and the location information of the object was calculated from each image. However, when using two cameras, there may be cases where occlusion occurs between objects, and when occlusion occurs between objects, the location information of the calculated object may be inaccurate. Therefore, when occlusion occurs between objects, the first image obtained from the first camera installed at the first location, the second image obtained from the second camera installed at the second location, and the third camera installed at the third location It can be implemented to calculate the location information of the object using the acquired third image.

낙상 감지 장치(1000)는 레이더 데이터를 객체 추적 모델에 입력하고, 객체 추적 모델을 통하여 출력되는 객체의 위치와 관련된 출력 값을 획득할 수 있다. 이때, 낙상 감지 장치(1000)는 출력 값과 객체 추적 모델의 학습 데이터 세트에 포함된 카메라 기반의 객체의 위치 정보에 기반하여 객체 추적 모델을 갱신할 수 있다. 구체적으로 낙상 감지 장치(1000)는 출력 값과 객체 추적 모델의 학습 데이터 세트에 포함된 카메라 기반의 객체의 위치 정보의 차이에 기반하여, 출력 값이 카메라 기반의 객체의 위치 정보에 근사되어 출력되도록, 객체 추적 모델의 파라미터(또는 가중치)를 갱신하여 객체 추적 모델을 훈련시킬 수 있다. The fall detection device 1000 may input radar data into an object tracking model and obtain an output value related to the location of the object output through the object tracking model. At this time, the fall detection device 1000 may update the object tracking model based on the output value and the location information of the camera-based object included in the learning data set of the object tracking model. Specifically, the fall detection device 1000 is configured so that the output value is approximated to the position information of the camera-based object based on the difference between the output value and the position information of the camera-based object included in the learning data set of the object tracking model. , the object tracking model can be trained by updating the parameters (or weights) of the object tracking model.

본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 학습이 완료된 객체 추적 모델을 이용하여 레이더 데이터로부터 객체의 위치 정보(또는 객체를 정의하는 바운딩박스(bounding box))를 연산하는 동작을 수행할 수 있다. 구체적으로 낙상 감지 장치(1000)는 분석 대상의 레이더 데이터를 획득하고, 레이더 데이터를 학습이 완료된 객체 추적 모델에 입력하도록 구성될 수 있다. 이때, 낙상 감지 장치(1000)는 학습이 완료된 객체 추적 모델을 통하여 출력되는 객체의 위치 정보를 획득할 수 있다. 학습이 완료된 객체 추적 모델은, 레이더 데이터 및 카메라 데이터에 기반하여 연산된 객체의 위치 정보로 구성된 학습 데이터 세트를 통하여, 레이더 데이터로부터 Ground-truth인 객체의 위치 정보에 근사된 출력 값을 출력하도록 학습되었기 때문에, 레이더 데이터로부터 객체의 위치 정보를 연산할 수 있다.The fall detection device 1000 according to an embodiment of the present application performs an operation of calculating object location information (or bounding box defining the object) from radar data using a learned object tracking model. can do. Specifically, the fall detection device 1000 may be configured to acquire radar data to be analyzed and input the radar data into a learned object tracking model. At this time, the fall detection device 1000 may acquire the location information of the object output through the learned object tracking model. The object tracking model that has completed learning is trained to output an output value approximated to the position information of the object that is ground-truth from the radar data through a learning data set consisting of the position information of the object calculated based on radar data and camera data. Therefore, the location information of the object can be calculated from radar data.

한편 도 2에서는 객체의 위치 정보를 연산하는 내용을 중심으로 객체 추적 모델의 학습 방법을 설명하였다. 다만 이는 예시에 불과하며, 낙상 감지 장치(1000)는 전술한 레이더 데이터 및 카메라 데이터에 기반하여 객체를 정의한 바운딩박스 정보로 구성된 학습 데이터 세트를 이용하여 레이더 데이터로부터 객체의 위치 정보뿐만 아니라 객체를 정의하는 바운딩박스를 연산하도록 객체 추적 모델을 훈련시킬 수 있을 것이다. Meanwhile, in Figure 2, the learning method of the object tracking model is explained, focusing on calculating the location information of the object. However, this is only an example, and the fall detection device 1000 defines the object as well as the location information of the object from the radar data using a learning data set consisting of bounding box information that defines the object based on the above-described radar data and camera data. You will be able to train an object tracking model to calculate the bounding box.

도 3은 본 출원의 일 실시예에 따른 낙상 감지 모델을 학습시키는 양상과 학습이 완료된 낙상 감지 모델을 이용하여 낙상을 감지하는 양상을 도시한 도면이다. 구체적으로 도 3(a)는 본 출원의 일 실시예에 따른 낙상 감지 모델을 학습시키는 양상을 도시한 도면이며, 도 3(b)는 본 출원의 일 실시예에 따른 학습이 완료된 낙상 감지 모델을 이용하여 레이더 데이터로부터 낙상이 발생하였는지 여부와 관련된 분류 값을 연산하는 양상을 도시한 도면이다. Figure 3 is a diagram showing an aspect of learning a fall detection model according to an embodiment of the present application and an aspect of detecting a fall using a fall detection model that has completed learning. Specifically, Figure 3(a) is a diagram showing an aspect of learning a fall detection model according to an embodiment of the present application, and Figure 3(b) shows a fall detection model that has completed learning according to an embodiment of the present application. This is a diagram showing how to calculate a classification value related to whether a fall has occurred from radar data.

본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 레이더 데이터에 근거하여 객체의 낙상을 감지하기 위한 신경망 모델(이하, 낙상 감지 모델)을 훈련시키는 동작을 수행할 수 있다. 구체적으로 낙상 감지 장치(1000)는 레이더 데이터 및 레이더 데이터와 매칭된 카메라 데이터에 할당된 낙상 여부와 관련된 레이블 정보로 구성된 낙상 감지 모델의 학습 데이터 세트를 이용하여 낙상 감지 모델을 훈련시킬 수 있다. 낙상(예컨대, 일어선 상태에서의 낙상, 누워있는 상태에서의 낙상, 앉은 상태에서의 낙상)이 발생한 구간에 대응되는 카메라 데이터의 제1 프레임 구간에 속하는 프레임들에는, 낙상이 발생하였음을 나타내는 제1 레이블이 할당될 수 있다. 반면 낙상이 발생하지 않은 구간(예컨대, 객체가 앉아있는 상태, 객체가 누워있는 상태, 객체가 걷는 상태, 객체가 뛰는 상태 등에 대응되는 구간)에 대응되는 카메라 데이터의 제2 프레임 구간에 속하는 프레임들에는, 낙상이 발생하지 않았음을 나타내는 제2 레이블이 제2 프레임 구간에 속하는 프레임들에 할당될 수 있다. 9The fall detection device 1000 according to an embodiment of the present application may perform an operation of training a neural network model (hereinafter, fall detection model) for detecting a fall of an object based on radar data. Specifically, the fall detection device 1000 may train a fall detection model using a fall detection model training data set consisting of radar data and label information related to whether or not a fall has been assigned to camera data matched with the radar data. Frames belonging to the first frame section of the camera data corresponding to the section in which a fall (e.g., a fall while standing, a fall while lying down, or a fall while sitting) occurred include a frame indicating that the fall occurred. 1 label can be assigned. On the other hand, frames belonging to the second frame section of camera data corresponding to a section in which no fall occurred (e.g., a section corresponding to a state in which an object is sitting, a state in which an object is lying down, a state in which an object is walking, a state in which an object is running, etc.) In , a second label indicating that a fall did not occur may be assigned to frames belonging to the second frame section. 9

낙상 감지 장치(1000)는 낙상 감지 모델의 학습 데이터 세트의 레이더 데이터를 낙상 감지 모델에 입력하고, 낙상 감지 모델을 통하여 출력되는 낙상이 발생하였는지 여부와 관련된 분류 예측값을 획득할 수 있다. 이때, 낙상 감지 장치(1000)는 분류 예측값과 낙상 감지 모델의 학습 데이터 세트에 포함된 레이블 정보에 기반하여 낙상 감지 모델을 갱신할 수 있다. 구체적으로 낙상 감지 장치(1000)는 분류 예측값과 낙상 감지 모델의 학습 데이터 세트에 포함된 레이블 정보에 기반하여, 해당 프레임의 레이블 정보가 낙상이 발생하였음을 나타내는 제1 레이블을 포함한다면 분류 예측값을 낙상이 감지되었음에 대응되는 제1 값으로 출력하도록, 해당 프레임의 레이블 정보가 낙상이 발생하지 않았음을 나타내는 제2 레이블을 포함한다면 분류 예측값을 낙상이 감지되지 않았음에 대응되는 제2 값으로 출력하도록, 낙상 감지 모델의 파라미터(또는 가중치)를 갱신하여 낙상 감지 모델을 훈련시킬 수 있다. The fall detection device 1000 may input radar data from the fall detection model's training data set to the fall detection model and obtain a classification prediction value related to whether a fall occurred, which is output through the fall detection model. At this time, the fall detection device 1000 may update the fall detection model based on the classification prediction value and label information included in the fall detection model training data set. Specifically, the fall detection device 1000 determines the classification prediction value as a fall condition based on the classification prediction value and the label information included in the learning data set of the fall detection model, if the label information of the corresponding frame includes the first label indicating that a fall occurred. If the label information of the corresponding frame includes a second label indicating that the fall did not occur, the classification prediction value is output as the second value corresponding to the fact that the fall was not detected. To do so, the fall detection model can be trained by updating the parameters (or weights) of the fall detection model.

본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 학습이 완료된 낙상 감지 모델을 이용하여 레이더 데이터로부터 객체의 낙상이 발생하였음을 나타내는 분류 값을 연산하는 동작을 수행할 수 있다. 구체적으로 낙상 감지 장치(1000)는 분석 대상의 레이더 데이터를 획득하고, 레이더 데이터를 학습이 완료된 낙상 감지 모델에 입력하도록 구성될 수 있다. 이때, 낙상 감지 장치(1000)는 학습이 완료된 낙상 감지 모델을 통하여 출력되는 분류 값을 획득할 수 있다. 학습이 완료된 낙상 감지 모델은, 레이더 데이터 및 카메라 데이터에 대하여 낙상 여부에 따라 할당된 레이블 정보로 구성된 학습 데이터 세트를 통하여, 레이더 데이터로부터 레이블 정보에 대응되는 분류 예측 값을 출력하도록 학습되었기 때문에, 레이더 데이터로부터 낙상이 발생하였는지 여부에 따른 분류 값을 연산할 수 있다. 구체적으로 학습이 완료된 낙상 감지 모델은, 레이더 데이터에 낙상이 감지된 경우에는 낙상이 발생하였음을 나타내는 제1 분류 값을 출력하고, 레이더 데이터에 낙상이 감지되지 않은 경우에는 낙상이 발생하지 않았음을 나타내는 제2 분류 값을 출력하도록 구성될 수 있다.The fall detection device 1000 according to an embodiment of the present application may perform an operation of calculating a classification value indicating that a fall of an object has occurred from radar data using a fall detection model that has completed learning. Specifically, the fall detection device 1000 may be configured to acquire radar data to be analyzed and input the radar data into a fall detection model on which learning has been completed. At this time, the fall detection device 1000 may obtain a classification value output through a fall detection model that has completed learning. The fall detection model that has completed learning is trained to output a classification prediction value corresponding to label information from radar data through a learning data set consisting of label information assigned according to whether or not there was a fall for radar data and camera data. From the data, a classification value can be calculated according to whether a fall occurred. Specifically, the fall detection model that has completed learning outputs a first classification value indicating that a fall occurred when a fall was detected in the radar data, and outputs a first classification value indicating that a fall occurred when a fall was not detected in the radar data. It may be configured to output the second classification value that represents the second classification value.

이하에서는 도 4를 참고하여 본 출원의 일 실시예에 따른 객체 추적 모델과 낙상 감지 모델을 연계하여 학습시키는 양상을 설명하기로 한다. 도 4를 설명함에 있어, 도 2 및 도 3과 관련하여 설명한 중복되는 내용들은 생략될 수 있다. 다만 이는 설명의 편의를 위한 것일 뿐 이에 제한적으로 해석되어서는 아니된다. Hereinafter, with reference to FIG. 4, an aspect of training an object tracking model and a fall detection model in conjunction with one another according to an embodiment of the present application will be described. When describing FIG. 4, overlapping content described in relation to FIGS. 2 and 3 may be omitted. However, this is only for convenience of explanation and should not be construed as limiting.

도 4는 본 출원의 일 실시예에 따른 객체 추적 모델과 낙상 감지 모델을 학습시키는 양상을 도시한 도면이다.Figure 4 is a diagram illustrating an aspect of learning an object tracking model and a fall detection model according to an embodiment of the present application.

본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 레이더 데이터에 근거하여, 객체를 추적하기 위한 객체 추적 모델과 객체의 낙상을 감지하기 위한 낙상 감지 모델을 연계시켜 함께 훈련시키는 동작을 수행할 수 있다. 구체적으로 낙상 감지 장치(1000)는 레이더 데이터, 레이더 데이터와 매칭된 카메라 데이터에 할당된 낙상 여부와 관련된 레이블 정보, 및 카메라 데이터로부터 연산된 객체의 위치 정보로 구성된 학습 데이터 세트를 이용하여 객체 추적 모델과 낙상 감지 모델을 훈련시킬 수 있다. The fall detection device 1000 according to an embodiment of the present application may perform an operation of linking and training an object tracking model for tracking an object and a fall detection model for detecting a fall of an object, based on radar data. You can. Specifically, the fall detection device 1000 models an object tracking model using a learning data set consisting of radar data, label information related to whether a fall has been assigned to camera data matched with the radar data, and location information of the object calculated from the camera data. and a fall detection model can be trained.

낙상 감지 장치(1000)는 레이더 데이터(예컨대, 히트맵(Heatmap) 형태의 레이더 데이터)를 객체 추적 모델에 입력하고, 객체 추적 모델을 통하여 출력된 객체의 위치 정보와 관련된 출력값을 획득할 수 있다. 이때, 낙상 감지 장치(1000)는 학습 데이터 세트의 카메라 데이터로부터 연산된 객체의 위치 정보(Ground-truth)와 출력 값에 기반하여 객체 추적 모델을 훈련시킬 수 있다. 구체적으로 낙상 감지 장치(1000)는 객체 추적 모델이 카메라 데이터로부터 연산된 객체의 위치 정보에 근사된 출력값을 출력하도록 객체 추적 모델의 파라미터를 갱신할 수 있다. The fall detection device 1000 may input radar data (eg, radar data in the form of a heatmap) into an object tracking model and obtain an output value related to the location information of the object output through the object tracking model. At this time, the fall detection device 1000 may train an object tracking model based on the output value and the location information (ground-truth) of the object calculated from the camera data of the learning data set. Specifically, the fall detection device 1000 may update the parameters of the object tracking model so that the object tracking model outputs an output value that approximates the location information of the object calculated from camera data.

한편 객체 추적 모델의 일부 레이어에서는 레이더 데이터의 프레임별로 프레임의 특징을 나타내는 피처를 추출하도록 구성될 수 있다. 이때, 낙상 감지 장치(1000)는 객체 추적 모델을 통하여 추출된 피처에 기반하여 낙상 감지 모델을 훈련시키도록 구현될 수 있다. 구체적으로 낙상 감지 장치(1000)는 객체 추적 모델을 추출된 적어도 하나 이상의 피처들을 순차적으로 저장하여 피처 큐(feature Queue)를 획득할 수 있다. 예컨대, 낙상 감지 장치(1000)는 레이더 데이터의 제1 프레임으로부터 추출된 제1 피처와 레이더 데이터의 제2 프레임으로부터 추출된 제2 피처를 포함한 적어도 하나 이상의 피처들을 프레임별로 저장하여 피처 큐를 획득할 수 있다. Meanwhile, some layers of the object tracking model may be configured to extract features representing the characteristics of the frame for each frame of radar data. At this time, the fall detection device 1000 may be implemented to train a fall detection model based on features extracted through an object tracking model. Specifically, the fall detection apparatus 1000 may obtain a feature queue by sequentially storing at least one feature extracted from the object tracking model. For example, the fall detection device 1000 stores at least one feature, including a first feature extracted from the first frame of the radar data and a second feature extracted from the second frame of the radar data, for each frame to obtain a feature queue. You can.

이때, 낙상 감지 장치(1000)는 피처 큐에 저장된 적어도 하나 이상의 피처들을 낙상 감지 모델에 입력하고, 낙상 감지 모델을 통하여 출력되는 낙상이 발생하였는지 여부와 관련된 분류 예측 값을 획득할 수 있다. 나아가 낙상 감지 장치(1000)는 학습 데이터 세트에 포함된 레이더 데이터에 매칭된 카메라 데이터의 각 프레임에 할당된 레이블 정보와 분류 예측 값에 기반하여 낙상 감지 모델을 훈련시킬 수 있다. 예컨대, 낙상 감지 장치(1000)는 레이더 데이터의 제1 프레임에 대응되는 카메라 데이터의 프레임에 대하여 낙상이 발생하였음을 나타내는 제1 레이블이 할당된 경우에는 낙상 감지 모델이 제1 피처에 근거하여 제1 레이블에 대응되는 제1 분류 예측값을 출력하도록(즉, 제1 프레임에 대하여 낙상이 발생하였다고 분류하도록) 낙상 감지 모델의 파라미터를 갱신할 수 있다. 예컨대, 낙상 감지 장치(1000)는 레이더 데이터의 제2 프레임에 대응되는 카메라 데이터의 프레임에 대하여 낙상이 발생하지 않았음을 나타내는 제2 레이블이 할당된 경우에는 낙상 감지 모델이 제2 피처에 근거하여 제2 레이블에 대응되는 제2 분류 예측값을 출력하도록(즉, 제2 프레임에 대하여 낙상이 발생하지 않았다고 분류하도록) 낙상 감지 모델의 파라미터를 갱신할 수 있다. At this time, the fall detection device 1000 may input at least one feature stored in the feature queue into the fall detection model and obtain a classification prediction value related to whether a fall occurred, which is output through the fall detection model. Furthermore, the fall detection device 1000 may train a fall detection model based on label information and classification prediction values assigned to each frame of camera data matched to radar data included in the learning data set. For example, when the fall detection device 1000 is assigned a first label indicating that a fall has occurred to a frame of camera data corresponding to the first frame of radar data, the fall detection model creates the first label based on the first feature. The parameters of the fall detection model may be updated to output the first classification prediction value corresponding to the label (that is, to classify the first frame as having occurred a fall). For example, when a second label indicating that a fall has not occurred is assigned to a frame of camera data corresponding to a second frame of radar data, the fall detection device 1000 creates a fall detection model based on the second feature. The parameters of the fall detection model may be updated to output a second classification prediction value corresponding to the second label (that is, to classify the second frame as having not occurred a fall).

한편 본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 객체 추적 모델의 학습과 낙상 감지 모델의 학습을 번갈아가면서 수행하도록 구성될 수 있다. 예컨대, 낙상 감지 장치(1000)는 미리 정해진 횟수로 객체 추적 모델을 훈련시키고, 미리 정해진 횟수로 낙상 감지 모델을 훈련시키는 동작을 반복적으로 수행하도록 구성될 수 있다. 본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 번갈아면서 객체 추적 모델과 낙상 감지 모델을 훈련시킴으로써, 객체 추적 모델의 객체 추적 태스크와 낙상 감지 모델의 낙상 감지 태스크가 서로의 태스크의 성능을 극대화하는 방향으로 객체 추적 모델과 낙상 감지 모델이 훈련될 수 있어 객체 추적 모델의 정확도를 일정 수준으로 유지하면서도 낙상 감지 모델의 낙상 감지의 정확도를 증대시키는 효과가 제공될 수 있다. Meanwhile, the fall detection device 1000 according to an embodiment of the present application may be configured to alternately perform learning of the object tracking model and learning of the fall detection model. For example, the fall detection apparatus 1000 may be configured to repeatedly perform the operations of training an object tracking model a predetermined number of times and training a fall detection model a predetermined number of times. The fall detection device 1000 according to an embodiment of the present application alternately trains an object tracking model and a fall detection model, so that the object tracking task of the object tracking model and the fall detection task of the fall detection model improve the performance of each other's tasks. The object tracking model and the fall detection model can be trained in a way that maximizes the accuracy of the fall detection model while maintaining the accuracy of the object tracking model at a certain level.

도 5는 본 출원의 일 실시예에 따른 학습이 완료된 객체 추적 모델과 학습이 완료된 낙상 감지 모델을 이용하여 레이더 데이터로부터 객체의 위치 정보와 낙상이 발생하였는지 여부와 관련된 분류 값을 연산하는 양상을 도시한 도면이다.Figure 5 shows an aspect of calculating an object's location information and a classification value related to whether a fall occurred from radar data using a fully learned object tracking model and a fully learned fall detection model according to an embodiment of the present application. It is a drawing.

본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 학습이 완료된 객체 추적 모델과 낙상 감지 모델을 이용하여 레이더 데이터로부터 객체의 위치 정보 및 객체의 낙상이 발생되었는지 여부와 관련된 분류 값을 연산할 수 있다. 구체적으로 낙상 감지 장치(1000)는 분석 대상의 레이더 데이터(예컨대, 히트맵 형태의 레이더 데이터)를 학습이 완료된 객체 추적 모델 및/또는 학습이 완료된 낙상 감지 모델에 입력하도록 구성될 수 있다. 이때, 낙상 감지 장치(1000)는 학습이 완료된 객체 추적 모델을 통하여 객체의 위치 정보를 획득할 수 있다. 전술한 바와 같이, 학습이 완료된 객체 추적 모델은 레이더 데이터 및 레이더 데이터에 매칭된 카메라 데이터로부터 연산된 객체의 위치 정보(Ground-truth)에 근거하여, 레이더 데이터로부터 객체의 위치 정보에 근사된 출력 값을 출력하도록 훈련되었기 때문에, 레이어 데이터로부터 객체의 위치 정보를 연산할 수 있다. The fall detection device 1000 according to an embodiment of the present application calculates location information of the object and classification values related to whether a fall of the object has occurred from radar data using a learned object tracking model and a fall detection model. You can. Specifically, the fall detection device 1000 may be configured to input radar data to be analyzed (eg, radar data in the form of a heat map) into a learned object tracking model and/or a learned fall detection model. At this time, the fall detection device 1000 may acquire the location information of the object through the learned object tracking model. As described above, the learned object tracking model is based on the object's position information (ground-truth) calculated from the radar data and the camera data matched to the radar data, and the output value is approximated to the object's position information from the radar data. Since it has been trained to output, the location information of objects can be calculated from layer data.

한편, 학습이 완료된 객체 추적 모델은 분석 대상의 레이더 데이터의 프레임별로 프레임의 특징 정보를 나타내는 피처를 추출하도록 구성될 수 있다. 이때, 낙상 감지 장치(1000)는 추출된 적어도 하나 이상의 피처들을 프레임별로 저장하여 피처 큐를 획득할 수 있다. 나아가 낙상 감지 장치(1000)는 프레임별로 피처 큐에 저장된 피처를 학습이 완료된 낙상 감지 모델에 입력하고, 학습이 완료된 낙상 감지 모델을 통하여 출력되는 객체의 낙상 여부와 관련된 분류 값을 획득할 수 있다. 전술한 바와 같이, 학습이 완료된 낙상 감지 모델은 레이더 데이터로부터 추출된 피처 및 피처에 대응되는 카메라 데이터의 프레임에 대하여 낙상 여부에 따라 할당된 레이블 정보로 구성된 학습 데이터 세트를 통하여, 피처 큐의 피처로부터 레이블 정보에 대응되는 분류 예측 값을 출력하도록 학습되었기 때문에, 피처 큐의 피처로부터 낙상이 발생하였는지 여부에 따른 분류 값을 연산할 수 있다. 요약하면, 낙상 감지 장치(1000)는 학습이 완료된 객체 추적 모델 및 학습이 완료된 낙상 감지 모델을 통하여, 레이더 데이터로부터 객체의 위치 정보와 객체의 낙상이 발생하였는지 여부와 관련된 분류 값을 획득할 수 있다. Meanwhile, the learned object tracking model may be configured to extract features representing characteristic information of the frame for each frame of radar data to be analyzed. At this time, the fall detection apparatus 1000 may obtain a feature queue by storing at least one extracted feature for each frame. Furthermore, the fall detection device 1000 can input features stored in the feature queue for each frame into a fall detection model that has been trained, and obtain a classification value related to whether the object has fallen, which is output through the fall detection model that has completed learning. As described above, the fall detection model that has completed learning is derived from the features of the feature queue through a learning data set consisting of label information assigned according to whether or not there was a fall for the features extracted from radar data and the frames of camera data corresponding to the features. Since it has been learned to output a classification prediction value corresponding to the label information, a classification value according to whether a fall occurred can be calculated from the features of the feature queue. In summary, the fall detection device 1000 can obtain location information of an object and a classification value related to whether a fall of the object has occurred from radar data through a fully learned object tracking model and a fully learned fall detection model. .

한편 본 출원의 일 실시예에 따른 객체 추적 모델 및/또는 낙상 감지 모델에 입력되는 레이더 데이터는 2차원의 히트맵의 형태일 수 있다. 예컨대, 학습 데이터 세트에 포함된 레이더 데이터는 2차원의 Range-Azimuth 히트맵 및 2차원의 Range-Elevation 히트맵으로 구성될 수 있다. Meanwhile, radar data input to the object tracking model and/or fall detection model according to an embodiment of the present application may be in the form of a two-dimensional heat map. For example, radar data included in the learning data set may consist of a two-dimensional Range-Azimuth heat map and a two-dimensional Range-Elevation heat map.

3차원 정보를 예측하기 위해서는 3차원의 히트맵(Range-Azimuth-Elevation 히트맵)이 필요하다. 다만 3차원의 히트맵을 분석하기 위해서는 많은 연산량이 요구되기 때문에, 성능이 상대적으로 낮은 레이더(radar) 내의 프로세서에서 3차원의 히트맵 형태의 레이더 데이터를 이용하여 객체를 추적하고 객체의 낙상을 감지하는 것은 부적합하다. 따라서 본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 각 프레임의 2차원의 Range-Azimuth 히트맵 및 2차원의 Range-Elevation 히트맵을 객체 추적 모델 및/또는 낙상 감지 모델에 입력하여, 객체 추적 모델 및/또는 낙상 감지 모델을 훈련시키거나, 객체의 위치 정보 및/또는 분류 값을 연산하도록 구현될 수 있다. 본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 2차원의 히트맵을 이용함으로써, 상대적으로 성능이 낮은 레이더(radar) 자체의 프로세서에서도 객체 추적 모델과 낙상 감지 모델을 실행할 수 있다.To predict 3D information, a 3D heatmap (Range-Azimuth-Elevation heatmap) is required. However, because a large amount of computation is required to analyze a 3D heat map, the processor within the radar, which has relatively low performance, uses radar data in the form of a 3D heat map to track objects and detect falls of objects. It is inappropriate to do so. Therefore, the fall detection device 1000 according to an embodiment of the present application inputs the two-dimensional Range-Azimuth heat map and the two-dimensional Range-Elevation heat map of each frame into the object tracking model and/or the fall detection model, It may be implemented to train an object tracking model and/or a fall detection model, or calculate location information and/or classification values of an object. By using a two-dimensional heat map, the fall detection device 1000 according to an embodiment of the present application can execute an object tracking model and a fall detection model even on the radar's own processor, which has relatively low performance.

이하에서는 도 6 내지 도 8을 참고하여 본 출원의 일 실시예에 따른 객체 추적 모델과 낙상 감지 모델의 학습 방법에 대하여 설명하기로 한다. 각 모델의 학습 방법을 설명함에 있어서, 도 2 내지 도 5와 관련하여 설명한 중복되는 실시예는 생략될 수 있다. 다만, 이는 설명의 편의를 위한 것일 뿐이며, 이에 제한적으로 해석되어서는 아니된다.Hereinafter, a method of learning an object tracking model and a fall detection model according to an embodiment of the present application will be described with reference to FIGS. 6 to 8. In describing the learning method of each model, overlapping embodiments described in relation to FIGS. 2 to 5 may be omitted. However, this is only for convenience of explanation and should not be construed as limiting.

도 6은 본 출원의 일 실시예에 따른 낙상 감지 모델을 훈련시키는 방법을 도시한 순서도이다.Figure 6 is a flowchart showing a method of training a fall detection model according to an embodiment of the present application.

본 출원의 일 실시예에 따른 낙상 감지 모델을 훈련시키는 방법은, 객체 추적 모델을 훈련시키는 단계(S1000), 및 낙상 감지 모델을 훈련시키는 단계(S2000)를 포함할 수 있다. A method of training a fall detection model according to an embodiment of the present application may include training an object tracking model (S1000) and training a fall detection model (S2000).

객체 추적 모델을 훈련시키는 단계(S1000)에서는, 낙상 감지 장치(1000)는 레이더 데이터에 근거하여 객체를 추적하기 위한 태스크를 수행하는 객체 추적 모델을 훈련시킬 수 있다. 구체적으로 낙상 감지 장치(1000)는 객체를 추적(tracking)하여 객체의 위치 정보 및/또는 객체를 정의하는 바운딩박스(bounding box)를 연산하기 위한 객체 추적 모델을 훈련시킬 수 있다. 객체 추적 모델을 훈련시키는 내용에 대하는 도 7에서 보다 구체적으로 서술하기로 한다. In the step of training an object tracking model (S1000), the fall detection device 1000 may train an object tracking model that performs a task for tracking an object based on radar data. Specifically, the fall detection device 1000 may track an object and train an object tracking model to calculate the location information of the object and/or a bounding box that defines the object. The details of training the object tracking model will be described in more detail in FIG. 7.

낙상 감지 모델을 훈련시키는 단계(S2000)에서는, 낙상 감지 장치(1000)는 레이더 데이터에 근거하여 객체의 낙상을 감지하기 위한 낙상 감지 모델을 훈련시킬 수 있다. 일 예로, 낙상 감지 장치(1000)는 S1000 단계에서 객체 추적 모델을 통하여 추출된 레이더 데이터의 프레임별 피처에 기반하여 해당 프레임에 객체의 낙상이 발생하였는지 여부를 판단하기 위한 낙상 감지 모델을 훈련시킬 수 있다. 낙상 감지 모델을 훈련시키는 내용에 대하는 도 8에서 보다 구체적으로 서술하기로 한다.In the step of training a fall detection model (S2000), the fall detection device 1000 may train a fall detection model to detect a fall of an object based on radar data. As an example, the fall detection device 1000 may train a fall detection model to determine whether an object has fallen in the frame based on the frame-by-frame features of the radar data extracted through the object tracking model in step S1000. there is. The contents of training the fall detection model will be described in more detail in FIG. 8.

도 7은 본 출원의 일 실시예에 따른 객체 추적 모델을 훈련시키는 단계(S1000)를 구체화한 순서도이다. Figure 7 is a flow chart specifying the step (S1000) of training an object tracking model according to an embodiment of the present application.

본 출원의 일 실시예에 따른 객체 추적 모델을 훈련시키는 단계(S1000)는 레이더 데이터 및 레이더 데이터와 매칭된 카메라 데이터로부터 연산된 객체의 위치 정보로 구성된 학습 데이터 셋을 획득하는 단계(S1100), 레이더 데이터를 객체 추적 모델에 입력하고, 객체 추적 모델을 통하여 출력되는 출력 값을 획득하는 단계(S1200), 및 출력 값과 학습 데이터 셋의 객체의 위치 정보에 기반하여 객체 추적 모델을 갱신하는 단계(S1300)를 더 포함할 수 있다. The step of training an object tracking model according to an embodiment of the present application (S1000) is the step of acquiring a learning data set consisting of location information of the object calculated from radar data and camera data matched with the radar data (S1100), radar Inputting data into the object tracking model, obtaining an output value output through the object tracking model (S1200), and updating the object tracking model based on the output value and the location information of the object in the learning data set (S1300) ) may further be included.

레이더 데이터 및 레이더 데이터와 매칭된 카메라 데이터로부터 연산된 객체의 위치 정보로 구성된 학습 데이터 셋을 획득하는 단계(S1100)에서는, 낙상 감지 장치(1000)는 객체 추적 모델을 훈련시키기 위한 학습 데이터 셋을 획득할 수 있다. 구체적으로 학습 데이터 셋은 레이더 데이터와 레이더 데이터와 프레임별로 매칭된 카메라 데이터로부터 연산된 객체의 위치 정보로 구성될 수 있다. 여기서 레이더 데이터는 히트맵 형태의 레이더 데이터일 수 있으며, 예컨대, 2차원의 Range-Azimuth 히트맵 및 2차원의 Range-Elevation 히트맵의 형태일 수 있다. In the step (S1100) of acquiring a learning data set consisting of location information of an object calculated from radar data and camera data matched with the radar data, the fall detection device 1000 acquires a learning data set for training an object tracking model. can do. Specifically, the learning data set may be composed of radar data and object location information calculated from camera data matched with the radar data for each frame. Here, the radar data may be radar data in the form of a heat map, for example, a two-dimensional Range-Azimuth heat map and a two-dimensional Range-Elevation heat map.

객체의 위치 정보는 제1 위치에 설치된 제1 카메라로부터 획득된 제1 영상, 제2 위치에 설치된 제2 카메라로부터 획득한 제2 영상, 및/또는 제3 위치에 설치된 제3 카메라로부터 획득된 제3 영상을 이용하여 연산될 수 있다. 구체적으로 낙상 감지 장치(1000)는 각 영상에 대하여 자세 예측(pose estimation) 기법을 통하여 객체의 골격 정보를 추출하고, 추출된 객체의 골격 정보에 기반하여 객체의 위치 정보와 객체를 정의하는 바운딩박스(bounding box)를 획득할 수 있다. 예컨대, 낙상 감지 장치(1000)는 하나의 카메라를 통하여 획득한 객체의 골격 정보와 해당 카메라를 연결한 직선과 다른 카메라를 통하여 객체의 골격 정보와 해당 카메라를 연결한 직선의 교점을 획득하고, 각 골격 정보에 대응되는 교점들에 기반하여 객체의 위치 정보와 객체를 정의하는 바운딩박스(bounding box)를 획득할 수 있다.The location information of the object may include a first image obtained from a first camera installed at a first location, a second image obtained from a second camera installed at a second location, and/or a third image obtained from a third camera installed at a third location. 3 Can be calculated using images. Specifically, the fall detection device 1000 extracts the skeletal information of the object through a pose estimation technique for each image, and establishes location information of the object and a bounding box that defines the object based on the skeletal information of the extracted object. You can obtain (bounding box). For example, the fall detection device 1000 acquires the intersection of the straight line connecting the object's skeletal information acquired through one camera and the corresponding camera and the straight line connecting the object's skeletal information and the corresponding camera through another camera, and obtains each Based on the intersections corresponding to the skeleton information, the location information of the object and the bounding box that defines the object can be obtained.

레이더 데이터를 객체 추적 모델에 입력하고, 객체 추적 모델을 통하여 출력되는 출력 값을 획득하는 단계(S1200)에서는, 낙상 감지 장치(1000)는 학습 데이터 셋의 레이더 데이터의 프레임에 대응되는 히트맵 데이터(예컨대, 2차원의 Range-Azimuth 히트맵 데이터 및 2차원의 Range-Elevation 히트맵 데이터)를 객체 추적 모델에 입력하고, 객체 추적 모델을 통하여 출력되는 객체의 위치와 관련된 출력 값을 획득할 수 있다.In the step (S1200) of inputting radar data into the object tracking model and obtaining an output value output through the object tracking model, the fall detection device 1000 includes heat map data ( For example, two-dimensional Range-Azimuth heat map data and two-dimensional Range-Elevation heat map data) can be input into an object tracking model, and output values related to the location of the object output through the object tracking model can be obtained.

한편 전술한 바와 같이, 객체 추적 모델은 히트맵 데이터로부터 객체 추적 모델에 포함된 일부 레이어를 통하여 히트맵 데이터의 특징 정보를 나타내는 피처를 추출하도록 구성될 수 있다. 이때, 낙상 감지 장치(1000)는 적어도 하나 이상의 추출된 피처들을 획득하여 피처 큐에 저장하도록 구성될 수 있다. Meanwhile, as described above, the object tracking model may be configured to extract features representing characteristic information of the heatmap data from heatmap data through some layers included in the object tracking model. At this time, the fall detection device 1000 may be configured to obtain at least one or more extracted features and store them in a feature queue.

출력 값과 학습 데이터 셋의 객체의 위치 정보에 기반하여 객체 추적 모델을 갱신하는 단계(S1300)에서는, 낙상 감지 장치(1000)는 학습 데이터 셋의 카메라 데이터로부터 연산된 객체의 위치 정보(Ground-truth)와 객체 추적 모델을 통하여 출력된 출력 값에 기반하여 객체 추적 모델을 훈련시킬 수 있다. 구체적으로 낙상 감지 장치(1000)는 객체 추적 모델이 카메라 데이터로부터 연산된 객체의 위치 정보에 근사된 출력값을 출력하도록 객체 추적 모델의 파라미터를 갱신할 수 있다. In the step (S1300) of updating the object tracking model based on the output value and the location information of the object in the learning data set, the fall detection device 1000 uses the ground-truth location information of the object calculated from the camera data of the learning data set. ) and the object tracking model can be trained based on the output values output through the object tracking model. Specifically, the fall detection device 1000 may update the parameters of the object tracking model so that the object tracking model outputs an output value that approximates the location information of the object calculated from camera data.

낙상 감지 장치(1000)는 학습이 완료된 객체 추적 모델을 이용하여 레이더 데이터로부터 객체의 위치 정보(또는 객체를 정의하는 바운딩박스(bounding box))를 연산하는 동작을 수행할 수 있다. 구체적으로 낙상 감지 장치(1000)는 분석 대상의 레이더 데이터(예컨대, 히트맵 형태의 레이더 데이터)를 획득하고, 레이더 데이터를 학습이 완료된 객체 추적 모델에 입력하도록 구성될 수 있다. 이때, 낙상 감지 장치(1000)는 학습이 완료된 객체 추적 모델을 통하여 출력되는 객체의 위치 정보를 획득할 수 있다. 학습이 완료된 객체 추적 모델은, 레이더 데이터 및 카메라 데이터에 기반하여 연산된 객체의 위치 정보로 구성된 학습 데이터 세트를 통하여, 레이더 데이터로부터 Ground-truth인 객체의 위치 정보에 근사된 출력 값을 출력하도록 학습되었기 때문에, 레이더 데이터로부터 객체의 위치를 나타내는 객체의 위치 정보를 연산할 수 있다.The fall detection device 1000 may perform an operation of calculating the location information of an object (or a bounding box defining the object) from radar data using a learned object tracking model. Specifically, the fall detection device 1000 may be configured to acquire radar data to be analyzed (eg, radar data in the form of a heat map) and input the radar data into a learned object tracking model. At this time, the fall detection device 1000 may acquire the location information of the object output through the learned object tracking model. The object tracking model that has completed learning is trained to output an output value approximated to the position information of the object that is ground-truth from the radar data through a learning data set consisting of the position information of the object calculated based on radar data and camera data. Therefore, it is possible to calculate object location information indicating the location of the object from radar data.

도 8은 본 출원의 일 실시예에 따른 낙상 감지 모델을 훈련시키는 단계(S2000)를 구체화한 순서도이다. Figure 8 is a flow chart specifying the step (S2000) of training a fall detection model according to an embodiment of the present application.

본 출원의 일 실시예에 따른 낙상 감지 모델을 훈련시키는 단계(S2000)는 레이더 데이터 및 레이더 데이터와 매칭된 카메라 데이터에 할당된 낙상 여부와 관련된 레이블 정보로 구성된 학습 데이터 셋을 획득하는 단계(S2100), 레이더 데이터를 낙상 감지 모델에 입력하는 단계(S2200), 낙상 감지 모델을 통하여 출력되는 낙상이 발생하였는지 여부와 관련된 분류 예측 값을 획득하는 단계(S2300), 및 분류 예측 값과 학습 데이터 셋의 레이블 정보에 기반하여 낙상 감지 모델을 갱신하는 단계(S2400)를 더 포함할 수 있다. The step of training a fall detection model according to an embodiment of the present application (S2000) is the step of acquiring a learning data set consisting of label information related to whether a fall has been assigned to radar data and camera data matched with the radar data (S2100). , inputting radar data into a fall detection model (S2200), obtaining a classification prediction value related to whether a fall occurred output through the fall detection model (S2300), and labeling the classification prediction value and the learning data set. A step of updating the fall detection model based on the information (S2400) may be further included.

레이더 데이터 및 레이더 데이터와 매칭된 카메라 데이터에 할당된 낙상 여부와 관련된 레이블 정보로 구성된 학습 데이터 셋을 획득하는 단계(S2100)에서는, 낙상 감지 장치(1000)는 낙상 감지 모델을 훈련시키기 위한 학습 데이터 셋을 획득할 수 있다. 구체적으로 학습 데이터 셋은 레이더 데이터와 레이더 데이터와 프레임별로 매칭된 카메라 데이터의 각 프레임에 대하여 할당된 레이블 정보로 구성될 수 있다. 예컨대, 낙상(예컨대, 일어선 상태에서의 낙상, 누워있는 상태에서의 낙상, 앉은 상태에서의 낙상)이 발생한 구간에 대응되는 카메라 데이터의 제1 프레임 구간에 속하는 프레임들에는, 낙상이 발생하였음을 나타내는 제1 레이블이 할당될 수 있다. 반면 낙상이 발생하지 않은 구간(예컨대, 객체가 앉아있는 상태, 객체가 누워있는 상태, 객체가 걷는 상태, 객체가 뛰는 상태 등에 대응되는 구간)에 대응되는 카메라 데이터의 제2 프레임 구간에 속하는 프레임들에는, 낙상이 발생하지 않았음을 나타내는 제2 레이블이 할당될 수 있다. In the step (S2100) of acquiring a learning data set consisting of radar data and label information related to whether or not a fall has been assigned to the camera data matched with the radar data, the fall detection device 1000 uses a learning data set for training a fall detection model. can be obtained. Specifically, the learning data set may be composed of radar data and label information assigned to each frame of camera data matched for each frame with the radar data. For example, in the frames belonging to the first frame section of the camera data corresponding to the section in which a fall occurred (e.g., a fall while standing, a fall while lying down, or a fall while sitting), it is indicated that a fall occurred. A first label representing the first label may be assigned. On the other hand, frames belonging to the second frame section of camera data corresponding to a section in which no fall occurred (e.g., a section corresponding to a state in which an object is sitting, a state in which an object is lying down, a state in which an object is walking, a state in which an object is running, etc.) A second label indicating that a fall did not occur may be assigned.

레이더 데이터를 낙상 감지 모델에 입력하는 단계(S2200)에서는, 낙상 감지 장치(1000)는 복수의 프레임으로 구성된 레이더 데이터를 낙상 감지 모델에 입력할 수 있다. 일 예로, 낙상 감지 장치(1000)는 2차원의 히트맵 형태의 레이더 데이터를 낙상 감지 모델에 입력하도록 구성될 수 있다. 예컨대, 레이더 데이터는 각 프레임에 대한 2차원의 Range-Azimuth 히트맵 및 2차원의 Range-Elevation 히트맵으로 구성될 수 있다. In the step of inputting radar data into the fall detection model (S2200), the fall detection device 1000 may input radar data consisting of a plurality of frames into the fall detection model. As an example, the fall detection device 1000 may be configured to input radar data in the form of a two-dimensional heat map into a fall detection model. For example, radar data may consist of a two-dimensional Range-Azimuth heat map and a two-dimensional Range-Elevation heat map for each frame.

한편 본 출원의 일 실시예에 따르면, 레이더 데이터를 낙상 감지 모델에 입력하는 단계(S2200)는 전술한 객체 추적 모델을 통하여 추출된 적어도 하나 이상의 피처들을 저장하여 피처 큐를 획득하는 단계; 및 피처 큐에 저장된 적어도 하나 이상의 피처들을 낙상 감지 모델에 입력하는 단계를 더 포함할 수 있다. 구체적으로 낙상 감지 장치(1000)는 객체 추적 모델의 일부 레이어를 통하여 레이더 데이터의 제1 프레임으로부터 추출된 제1 피처와 레이더 데이터의 제2 프레임으로부터 추출된 제2 피처를 포함하여 적어도 하나 이상의 피처들을 프레임별로 저장한 피처 큐를 획득할 수 있다. 이때, 낙상 감지 장치(1000)는 피처 큐에 저장된 제1 피처 또는 제2 피처를 낙상 감지 모델에 입력하도록 구성될 수 있다. Meanwhile, according to an embodiment of the present application, the step of inputting radar data into a fall detection model (S2200) includes obtaining a feature queue by storing at least one feature extracted through the above-described object tracking model; And it may further include inputting at least one feature stored in the feature queue into the fall detection model. Specifically, the fall detection device 1000 includes at least one feature including a first feature extracted from the first frame of the radar data and a second feature extracted from the second frame of the radar data through some layers of the object tracking model. You can obtain feature queues saved for each frame. At this time, the fall detection apparatus 1000 may be configured to input the first feature or the second feature stored in the feature queue into the fall detection model.

낙상 감지 모델을 통하여 출력되는 낙상이 발생하였는지 여부와 관련된 분류 예측 값을 획득하는 단계(S2300)에서는, 낙상 감지 장치(1000)는 전술한 레이더 데이터(예컨대, 피처 큐에 저장된 피처)로부터 낙상 감지 모델을 통하여 출력되는 낙상이 발생하였는지 여부와 관련된 분류 예측 값을 획득할 수 있다. In the step (S2300) of acquiring a classification prediction value related to whether a fall has occurred output through the fall detection model, the fall detection device 1000 uses the fall detection model from the above-described radar data (e.g., features stored in the feature queue). It is possible to obtain a classification prediction value related to whether a fall occurred or not.

분류 예측 값과 학습 데이터 셋의 레이블 정보에 기반하여 낙상 감지 모델을 갱신하는 단계(S2400)에서는, 낙상 감지 장치(1000)는 낙상 감지 모델을 통하여 출력되는 분류 예측 값과 학습 데이터 셋에 포함된 레이더 데이터에 매칭된 카메라 데이터의 각 프레임에 할당된 레이블 정보에 기반하여 낙상 감지 모델의 파라미터를 갱신할 수 있다. In the step (S2400) of updating the fall detection model based on the classification prediction value and the label information of the learning data set, the fall detection device 1000 uses the classification prediction value output through the fall detection model and the radar included in the learning data set. The parameters of the fall detection model can be updated based on the label information assigned to each frame of camera data matched to the data.

예컨대, 낙상 감지 장치(1000)는 레이더 데이터의 제1 프레임에 대응되는 카메라 데이터의 프레임에 대하여 낙상이 발생하였음을 나타내는 제1 레이블이 할당된 경우에는 낙상 감지 모델이 제1 프레임으로부터 추출된 제1 피처에 근거하여 제1 레이블에 대응되는 제1 분류 예측 값을 출력하도록(즉, 제1 프레임에 대하여 낙상이 발생하였다고 분류하도록) 낙상 감지 모델의 파라미터를 갱신할 수 있다. 예컨대, 낙상 감지 장치(1000)는 레이더 데이터의 제2 프레임에 대응되는 카메라 데이터의 프레임에 대하여 낙상이 발생하지 않았음을 나타내는 제2 레이블이 할당된 경우에는 낙상 감지 모델이 제2 프레임으로부터 추출된 제2 피처에 근거하여 제2 레이블에 대응되는 제2 분류 예측 값을 출력하도록(즉, 제2 프레임에 대하여 낙상이 발생하지 않았다고 분류하도록) 낙상 감지 모델의 파라미터를 갱신할 수 있다.For example, when the fall detection device 1000 is assigned a first label indicating that a fall has occurred to a frame of camera data corresponding to the first frame of radar data, the fall detection model is configured to use the first label extracted from the first frame. Based on the feature, the parameters of the fall detection model may be updated to output the first classification prediction value corresponding to the first label (that is, to classify the first frame as having occurred a fall). For example, when the fall detection device 1000 is assigned a second label indicating that no fall occurred to the frame of camera data corresponding to the second frame of radar data, the fall detection model is extracted from the second frame. Based on the second feature, the parameters of the fall detection model may be updated to output a second classification prediction value corresponding to the second label (that is, to classify that a fall did not occur for the second frame).

본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 학습이 완료된 낙상 감지 모델을 이용하여 레이더 데이터(예컨대, 레이더 데이터의 프레임으로부터 추출된 피처들이 저장된 피처 큐)로부터 객체의 낙상이 발생하였음을 나타내는 분류 값을 연산하는 동작을 수행할 수 있다. 구체적으로 낙상 감지 장치(1000)는 분석 대상의 레이더 데이터로부터 획득된 피처 큐에 프레임별로 저장된 피처를 학습이 완료된 낙상 감지 모델에 입력하도록 구성될 수 있다. 이때, 낙상 감지 장치(1000)는 학습이 완료된 낙상 감지 모델을 통하여 출력되는 객체의 낙상이 발생하였는지 여부와 관련된 분류 값을 획득할 수 있다. 학습이 완료된 낙상 감지 모델은, 레이더 데이터(예컨대, 레이더 데이터로부터 추출된 적어도 하나 이상의 피처들) 및 카메라 데이터에 대하여 낙상 여부에 따라 할당된 레이블 정보로 구성된 학습 데이터 세트를 통하여, 레이더 데이터로부터 레이블 정보에 대응되는 분류 예측 값을 출력하도록 학습되었기 때문에, 분석 대상의 레이더 데이터로부터 낙상이 발생하였는지 여부에 따른 분류 값을 연산할 수 있다. 구체적으로 학습이 완료된 낙상 감지 모델은, 레이더 데이터에 낙상이 감지된 경우에는 낙상이 발생하였음을 나타내는 제1 분류 값을 출력하고, 레이더 데이터에 낙상이 감지되지 않은 경우에는 낙상이 발생하지 않았음을 나타내는 제2 분류 값을 출력하도록 구성될 수 있다.The fall detection device 1000 according to an embodiment of the present application detects that a fall of an object has occurred from radar data (e.g., a feature queue in which features extracted from frames of radar data are stored) using a fall detection model that has completed learning. An operation can be performed to calculate the classification value it represents. Specifically, the fall detection apparatus 1000 may be configured to input features stored for each frame in a feature queue obtained from radar data of an analysis target into a fall detection model on which learning has been completed. At this time, the fall detection device 1000 may obtain a classification value related to whether a fall of the object output has occurred through a fall detection model that has completed learning. The fall detection model that has completed learning is provided with label information from radar data through a learning data set consisting of radar data (e.g., at least one or more features extracted from radar data) and label information assigned according to whether or not there was a fall for camera data. Since it has been learned to output a classification prediction value corresponding to , it is possible to calculate a classification value according to whether a fall occurred from the radar data to be analyzed. Specifically, the fall detection model that has completed learning outputs a first classification value indicating that a fall occurred when a fall was detected in the radar data, and outputs a first classification value indicating that a fall occurred when a fall was not detected in the radar data. It may be configured to output the second classification value that represents the second classification value.

도 9는 본 출원의 일 실시예에 따른 학습이 완료된 객체 추적 모델을 이용하여 객체의 위치 정보를 연산하고 학습이 완료된 낙상 감지 모델을 이용하여 낙상을 감지하는 일 양상을 나타낸 흐름도이다. 본 출원의 일 실시예에 따른 학습이 완료된 객체 추적 모델과 학습이 완료된 낙상 감지 모델은 레이더 자체의 프로세서에서 실행될 수 있다. 구체적으로 레이더 프로세서는 레이더 데이터(예컨대, 히트맵 형태의 레이더 데이터)를 획득하고, 레이더 데이터를 학습이 완료된 객체 추적 모델에 입력하여 학습이 완료된 객체 추적 모델을 통하여 연산된 객체의 위치 정보(또는 객체에 대응되는 바운딩박스)를 획득할 수 있다. 한편, 레이더 프로세서는 학습이 완료된 객체 추적 모델의 일부 레이어를 통하여 추출된 레이더 데이터의 각 프레임의 특징 정보를 나타내는 피처를 획득하고, 프레임별로 피처를 저장하여 피처 큐를 획득하고, 피처 큐에 저장된 피처를 학습이 완료된 낙상 감지 모델에 입력하도록 구성될 수 있다. 이때 레이더 프로세서는 학습이 완료된 낙상 감지 모델을 통하여 객체의 낙상 여부와 관련된 분류 값을 획득하고, 분류 값에 근거하여 낙상이 발생하였다고 판단된 경우에는 보호나 단말 또는 기관 단말에 낙상이 발생하였음을 알리는 알림을 송신하도록 구성될 수 있다. 반면, 분류 값에 근거하여 낙상이 발생하지 않았다고 판단된 경우에는 레이더 데이터에 근거하여 객체를 추적하고 객체의 낙상을 감지하는 태스크를 반복적으로 수행하도록 구성될 수 있을 것이다. Figure 9 is a flowchart showing an aspect of calculating location information of an object using a learned object tracking model and detecting a fall using a learned fall detection model according to an embodiment of the present application. The learned object tracking model and the learned fall detection model according to an embodiment of the present application may be executed in the processor of the radar itself. Specifically, the radar processor acquires radar data (e.g., radar data in the form of a heat map), inputs the radar data into a learned object tracking model, and provides location information (or object location information) calculated through the learned object tracking model. You can obtain the corresponding bounding box. Meanwhile, the radar processor acquires features representing characteristic information of each frame of radar data extracted through some layers of the object tracking model for which learning has been completed, acquires a feature queue by storing features for each frame, and obtains features stored in the feature queue. It may be configured to input the learned fall detection model. At this time, the radar processor acquires a classification value related to whether the object has fallen through the learned fall detection model, and if it is determined that a fall has occurred based on the classification value, it notifies the protection terminal or institutional terminal that a fall has occurred. Can be configured to send notifications. On the other hand, if it is determined that a fall did not occur based on the classification value, it may be configured to repeatedly perform the task of tracking the object and detecting the fall of the object based on radar data.

본 출원의 일 실시예에 따른 낙상 감지 장치(1000)는 낙상을 감지해야 할 필요성이 존재하나, 개인의 프라이버시로 인하여 카메라를 통하여 낙상을 감지하기 어려운 환경(예컨대, 양로원, 요양병원, 화장실 등)에서 활용될 수 있을 것이다. There is a need for the fall detection device 1000 according to an embodiment of the present application to detect falls, but in environments where it is difficult to detect falls through a camera due to individual privacy (e.g., nursing homes, nursing hospitals, restrooms, etc.) It may be used in .

본 출원의 일 실시예에 따른 낙상 감지 모델의 학습 방법 및 낙상 감지 장치에 따르면, 2차원의 히트맵 형태의 레이더 데이터를 이용하여 객체 추적 모델 및 낙상 감지 모델을 학습시키거나 실행함으로써, 상대적으로 성능이 낮은 레이더(radar) 자체의 프로세서에서도 객체 추적 모델과 낙상 감지 모델이 실행될 수 있다. 이를 통하여 레이더 자체 프로세서를 통하여도 객체를 추적하고 낙상을 감지하는 효과를 제공할 수 있다. According to the fall detection model learning method and fall detection device according to an embodiment of the present application, the object tracking model and the fall detection model are trained or executed using radar data in the form of a two-dimensional heat map, thereby improving relative performance. Object tracking models and fall detection models can also be run on the processor of this low-level radar itself. Through this, the effect of tracking objects and detecting falls can be provided through the radar's own processor.

상술한 낙상 감지 장치(1000)의 다양한 동작들은 낙상 감지 장치(1000)의 메모리(1200)에 저장될 수 있으며, 낙상 감지 장치(1000)의 프로세서(1300)는 메모리(1200)에 저장된 동작들을 수행하도록 제공될 수 있다. Various operations of the fall detection device 1000 described above may be stored in the memory 1200 of the fall detection device 1000, and the processor 1300 of the fall detection device 1000 performs the operations stored in the memory 1200. may be provided to do so.

이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.The features, structures, effects, etc. described in the embodiments above are included in at least one embodiment of the present invention and are not necessarily limited to only one embodiment. Furthermore, the features, structures, effects, etc. illustrated in each embodiment can be combined or modified and implemented in other embodiments by a person with ordinary knowledge in the field to which the embodiments belong. Therefore, contents related to such combinations and modifications should be construed as being included in the scope of the present invention.

또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the above description focuses on the embodiment, this is only an example and does not limit the present invention, and those skilled in the art will be able to understand the above without departing from the essential characteristics of the present embodiment. You will see that various modifications and applications not illustrated are possible. In other words, each component specifically shown in the embodiment can be modified and implemented. And these variations and differences in application should be construed as being included in the scope of the present invention as defined in the appended claims.

1000: 낙상 감지 장치1000: Fall detection device

Claims

In a method for a fall detection device to learn a fall detection model,
training an object tracking model based on radar data; and
Comprising training a fall detection model based on features extracted from the radar data through the object tracking model,
The step of training the fall detection model is,
Obtaining a first learning data set consisting of label information related to a fall assigned to the radar data and camera data matched with the radar data;
acquiring a feature queue by storing at least one feature extracted from the radar data through the object tracking model;
Inputting at least one feature stored in the feature queue into the fall detection model;
Obtaining a classification prediction value related to whether a fall occurred output through the fall detection model based on the at least one feature; and
Comprising the step of updating the fall detection model based on the classification prediction value and the label information of the first learning data set,
Learning method of fall detection model.

According to claim 1,
The step of training the object tracking model is,
Obtaining a second learning data set consisting of location information of an object calculated from the radar data and camera data matched with the radar data;
Inputting the radar data into the object tracking model and obtaining an output value related to the location of the object output through the object tracking model; and
Further comprising updating the object tracking model based on the output value and the location information of the object in the second learning data set,
The location information of the object is calculated based on the skeleton information of the object obtained from the camera data.
Learning method of fall detection model.

delete

According to claim 1,
The label information is,
The first frame section of the camera data is a first label indicating that a fall has occurred, and the second frame section of the camera data is one of a second label indicating that a fall has not occurred,
Learning method of fall detection model.

According to claim 1,
The radar data is,
Consisting of a two-dimensional Range-Azimuth heatmap and a two-dimensional Range-Elevation heatmap,
Learning method of fall detection model.

A computer-readable recording medium recording a program for executing the method according to any one of claims 1, 2, and 4 to 5 on a computer.

In the fall detection device,
A processor configured to train an object tracking model based on radar data and train a fall detection model based on features extracted from the radar data through the object tracking model,
The processor,
Obtain a first learning data set consisting of label information related to the presence or absence of a fall assigned to the radar data and camera data matched with the radar data, and store at least one or more features extracted from the radar data through the object tracking model. Obtain a feature queue, input at least one or more features stored in the feature queue into the fall detection model, and classify whether a fall occurred or not output through the fall detection model based on the at least one feature. configured to train the fall detection model by obtaining a prediction value, updating the fall detection model based on the classification prediction value and the label information of the first learning data set,
Fall detection device.

According to clause 7,
The processor,
Obtain a second learning data set consisting of location information of the object calculated from the radar data and camera data matched with the radar data, input the radar data into the object tracking model, and output through the object tracking model. Configured to train the object tracking model by obtaining an output value related to the location of the object, updating the object tracking model based on the output value and the location information of the object in the second learning data set,
The location information of the object is calculated based on the skeleton information of the object obtained from the camera data.
Fall detection device.

delete

According to clause 7,
The label information is,
The first frame section of the camera data is a first label indicating that a fall has occurred, and the second frame section of the camera data is one of a second label indicating that a fall has not occurred,
Fall detection device.

According to clause 7,
The radar data is,
Consisting of a two-dimensional Range-Azimuth heatmap and a two-dimensional Range-Elevation heatmap,
Fall detection device.