KR101212383B1 - Apparatus and Method for Home Healthcare Monitoring - Google Patents
Apparatus and Method for Home Healthcare Monitoring Download PDFInfo
- Publication number
- KR101212383B1 KR101212383B1 KR1020110015093A KR20110015093A KR101212383B1 KR 101212383 B1 KR101212383 B1 KR 101212383B1 KR 1020110015093 A KR1020110015093 A KR 1020110015093A KR 20110015093 A KR20110015093 A KR 20110015093A KR 101212383 B1 KR101212383 B1 KR 101212383B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- difference
- silhouette
- infrared
- motion
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012544 monitoring process Methods 0.000 title description 9
- 230000033001 locomotion Effects 0.000 claims abstract description 88
- 230000002159 abnormal effect Effects 0.000 claims abstract description 36
- 230000002123 temporal effect Effects 0.000 claims abstract description 28
- 238000012806 monitoring device Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 239000000203 mixture Substances 0.000 claims abstract description 13
- 208000027418 Wounds and injury Diseases 0.000 description 5
- 230000006378 damage Effects 0.000 description 5
- 208000014674 injury Diseases 0.000 description 5
- 230000036541 health Effects 0.000 description 4
- 208000012661 Dyskinesia Diseases 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 206010019196 Head injury Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005195 poor health Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
- G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Emergency Management (AREA)
- Psychology (AREA)
- Marketing (AREA)
- Social Psychology (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Psychiatry (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
홈 헬스케어 모니터링 장치 및 방법이 개시된다.
해당 장치는 적외선 영상 시퀀스를 획득하는 입력부, 적외선 영상 시퀀스의 프레임들로부터 물체 영역을 포함한 실루엣 영상을 생성하는 물체 검출부, 실루엣 영상들에서 물체 영역들을 일정 시간 동안 누적시켜 관심 물체 추적을 위한 모션 정보를 포함하는 시간적 템플릿 영상을 생성하는 물체 추적부, 시간적 템플릿 영상의 모션 정보에 의거하여 일상 동작에서 벗어난 비정상적 동작을 검출하는 이상 동작 검출부를 포함한다. 물체 검출 시 인접 프레임 그룹들의 차영상들 간의 차에 대한 영상을 생성하는 제1 방식과, 통계적 배경 모델링을 이용해 배경 영상을 획득한 후 배경 영상과 입력 영상 간의 차를 고려하여 영상을 생성하는 제2 방식을 혼합적으로 사용할 수 있다.
이러한 구성에 따르면, 별도의 장치를 몸에 착용하는 불편함 없이 노인이나 환자의 동작을 모니터링할 수 있고, 야간 환경에서도 효율적인 홈 헬스케어 서비스를 제공할 수 있다.A home healthcare monitoring device and method are disclosed.
The device includes an input unit for acquiring an infrared image sequence, an object detector for generating a silhouette image including an object region from frames of the infrared image sequence, and accumulating object regions in the silhouette images for a predetermined time to obtain motion information for tracking an object of interest. An object tracking unit for generating a temporal template image including, and an abnormal motion detection unit for detecting an abnormal operation out of the daily operation based on the motion information of the temporal template image. A first method of generating an image of a difference between difference images of adjacent frame groups when an object is detected, and a second method of generating an image by considering a difference between the background image and an input image after acquiring a background image using statistical background modeling You can use a mixture of methods.
According to this configuration, it is possible to monitor the operation of the elderly or the patient without the inconvenience of wearing a separate device on the body, it is possible to provide an efficient home healthcare service in the night environment.
Description
본 발명은 홈 헬스케어 모니터링 장치 및 방법에 관한 것으로, 더욱 상세하게는 야간 환경에 효율적으로 적용할 수 있는 홈 헬스케어 모니터링 장치 및 방법에 관한 것이다.
The present invention relates to a home healthcare monitoring device and method, and more particularly to a home healthcare monitoring device and method that can be efficiently applied to the night environment.
홈 헬스케어 서비스는 개인의 동작이나 상황을 모니터링하여 그와 연계된 의료 및 건강관리, 진단치료 등의 서비스를 제공할 수 있도록 하는 것으로, 현대사회가 고령화, 개인화됨에 따라 그 필요성이 높아지고 있다.Home health care service is to monitor the behavior or situation of the individual to provide services such as medical and health care, diagnostic treatments associated with it, the need is increasing as the modern society is aging and personalized.
예컨대 노인들이나 건강상태가 좋지 않은 사람들이 갑자기 쓰러져 낙상사고를 당해 무의식 상태가 되거나 치명적인 부상을 입는 경우가 발생하는데 이러한 사고의 발생률은 노인 인구 증가와 더불어 해마다 늘어나고 있는 추세이다. 특히 비정상적 동작 중 사람이 갑자기 쓰러지는 상태인 낙상(Fall)은 골절, 탈골, 치명적인 머리 부상을 일으키고, 심지어 죽음과 같은 심각한 결과를 초래할 수 있기 때문에 낙상 사건의 검출은 홈 헬스케어 서비스의 가장 주요한 이슈 중의 하나이다.For example, elderly people or people with poor health may suddenly fall and fall, resulting in unconsciousness or fatal injuries. The incidence of these accidents is increasing year by year with the increase of the elderly population. Fall detection is particularly one of the main issues of home health care services because Fall, which suddenly collapses during abnormal movement, can cause fractures, dislocations, fatal head injuries, and even serious consequences such as death. One.
종래 낙상이나 낙상과 관련된 부상들을 방지하기 위해서, 가속도계(accelerometers)와 같은 웨어러블 낙상 검출 장치(wearable fall detection device)를 착용한 후 사람의 동작을 모니터링하는 방식, 목걸이나 허리에 커뮤니티 알람(community alarm) 버튼을 착용한 후 위급상황에서 해당 버튼을 눌러 도움을 요청하는 방식 등이 소개된 바 있다. 그러나 노인이나 환자의 경우 웨어러블 장비들을 착용하는 것을 종종 잊어버리게 되고, 낙상 사고 발생 시 정신을 잃거나 심각한 부상으로 인해 움직일 수 없을 경우 커뮤니티 알람 버튼을 눌러 위급상황을 알릴 수 없다는 제약이 있다.
To prevent falls and related injuries in the past, a wearable fall detection device, such as accelerometers, is used to monitor a person's movements, a community alarm on a collar or waist. After wearing a button, in an emergency, a method of pressing the button and asking for help was introduced. However, the elderly or the patient often forgets to wear wearable equipment, and there is a limitation that the emergency alarm can not be notified by pressing the community alarm button if the user is unable to move due to a mental injury or a serious injury in case of a fall accident.
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 그 목적은 별도의 장치를 몸에 착용하는 불편함 없이 노인이나 환자의 동작을 모니터링할 수 있는 홈 헬스케어 모니터링 장치 및 방법을 제공하는 것이다.The present invention has been proposed to solve the problems of the prior art as described above, the object is a home healthcare monitoring device and method that can monitor the operation of the elderly or patients without the inconvenience of wearing a separate device on the body To provide.
본 발명의 다른 목적은 모니터링 대상이 되는 사람의 의식 유무나 정신 상태에 상관없이 비정상적 동작을 검출할 수 있는 홈 헬스케어 모니터링 장치 및 방법을 제공하는 것이다.It is another object of the present invention to provide a home healthcare monitoring device and method capable of detecting abnormal movements regardless of the consciousness or mental state of a person to be monitored.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
The technical problem to be achieved by the present invention is not limited to the technical problems mentioned above, and other technical problems not mentioned above will be clearly understood by those skilled in the art from the following description. Could be.
본 발명에 따른 홈 헬스케어 모니터링 장치는 적외선 카메라로부터 적외선 영상 시퀀스를 획득하는 입력부; 상기 입력부를 통해 획득되는 적외선 영상 시퀀스의 프레임들로부터 물체 영역을 포함한 실루엣 영상을 생성하는 물체 검출부; 상기 물체 검출부에서 생성되는 실루엣 영상들에서 물체 영역들을 소정 시간 동안 누적시켜 관심 물체 추적을 위한 모션 정보를 포함하는 시간적 템플릿(temporal template) 영상을 생성하는 물체 추적부; 및 상기 물체 추적부에서 생성된 시간적 템플릿 영상의 모션 정보에 의거하여 일상 동작에서 벗어난 비정상적 동작을 검출하는 이상 동작 검출부를 포함한다.Home healthcare monitoring device according to the present invention comprises an input unit for obtaining an infrared image sequence from an infrared camera; An object detector configured to generate a silhouette image including an object region from frames of an infrared image sequence acquired through the input unit; An object tracker configured to accumulate object areas from the silhouette images generated by the object detector for a predetermined time to generate a temporal template image including motion information for tracking an object of interest; And an abnormal motion detection unit for detecting an abnormal motion deviating from the daily motion based on the motion information of the temporal template image generated by the object tracking unit.
물체 검출부는 상기 입력부를 통해 획득되는 적외선 영상 시퀀스에 대해 소정 프레임 간격으로 연속적인 프레임들 간의 차영상(difference image)을 생성한 후 인접하는 차영상들의 차(difference between difference images)에 대한 영상을 얻는 제1 방식과, 상기 입력부를 통해 획득되는 적외선 영상 시퀀스의 연속적인 프레임들에 대해 배경 영상을 획득한 후 배경 영상과 입력 영상 간의 차영상에 의해 영상을 구하는 제2 방식을 혼합적으로 고려하여 물체 영역이 포함된 실루엣 영상을 생성할 수 있다.The object detector generates a difference image between consecutive frames at a predetermined frame interval with respect to the infrared image sequence obtained through the input unit, and then obtains an image of a difference between difference images between adjacent images. An object in consideration of a first method and a second method of acquiring an image by a difference image between the background image and the input image after acquiring a background image with respect to successive frames of the infrared image sequence acquired through the input unit A silhouette image including an area may be generated.
한편 본 발명에 따른 홈 헬스케어 모니터링 방법은 장치가 적외선 카메라로부터 적외선 영상 시퀀스를 획득하는 단계; 상기 장치가 적외선 영상 시퀀스의 프레임들로부터 물체 영역이 포함된 실루엣 영상을 생성하는 단계; 상기 장치가 실루엣 영상들에서 물체 영역들을 소정 시간 동안 누적시켜 관심 물체 추적을 위한 모션 정보를 포함하는 시간적 템플릿 영상을 생성하는 단계; 및 상기 장치가 시간적 템플릿 영상의 모션 정보에 의거하여 일상 동작에서 벗어난 비정상적 동작을 검출하는 단계를 포함한다.On the other hand, the home healthcare monitoring method according to the present invention comprises the steps of obtaining an infrared image sequence from the infrared camera device; Generating, by the device, a silhouette image including an object region from frames of an infrared image sequence; Generating an temporal template image including motion information for tracking an object of interest by accumulating object regions in the silhouette images for a predetermined time; And detecting, by the device, an abnormal motion deviating from the normal motion based on the motion information of the temporal template image.
상기 실루엣 영상의 생성 단계에서, 상기 장치가 적외선 영상 시퀀스에 대해 소정 프레임 간격으로 연속적인 프레임들 간의 차영상을 생성한 후 인접하는 차영상들의 차를 특징값으로 하여 영상을 생성하는 제1 방식과, 적외선 영상 시퀀스에서 배경 영상을 획득한 후 배경 영상과 입력 영상 간의 차를 고려하여 영상을 생성하는 제2 방식을 혼합적으로 사용하여 실루엣 영상을 생성할 수 있다.In the generating of the silhouette image, the apparatus generates a difference image between consecutive frames at predetermined frame intervals with respect to an infrared image sequence, and then generates an image based on a difference between adjacent difference images as a feature value. After the background image is acquired from the infrared image sequence, the silhouette image may be generated by using a second method of generating an image in consideration of the difference between the background image and the input image.
연속적인 프레임들에서 관심 물체가 움직이는 경우 상기 장치가 상기 제1 방식에 의해 실루엣 영상을 구하고, 관심 물체의 움직임이 없는 경우 상기 장치가 상기 제1 방식과 제2 방식을 혼합적으로 사용하여 실루엣 영상을 구할 수 있다.
When the object of interest moves in successive frames, the device obtains a silhouette image by the first method. When there is no movement of the object of interest, the device uses the first method and the second method by mixing the silhouette image. Can be obtained.
본 발명에 따르면, 별도의 장치를 몸에 착용하는 불편함 없이 노인이나 환자의 동작을 모니터링할 수 있고, 모니터링 대상이 되는 사람의 의식 유무나 정신 상태에 상관없이 비정상적 동작을 검출할 수 있는 홈 헬스케어 모니터링 장치 및 방법을 제공할 수 있다.According to the present invention, it is possible to monitor the operation of the elderly or the patient without the inconvenience of wearing a separate device on the body, home health that can detect abnormal motion regardless of the consciousness or mental state of the person to be monitored Care monitoring devices and methods can be provided.
또한 본 발명에 따르면, 야간이나 불빛이 없는 실내 환경에서도 모니터링 대상이 되는 사람의 동작을 인식할 수 있는 홈 헬스케어 모니터링 장치 및 방법을 제공할 수 있다.
In addition, according to the present invention, it is possible to provide a home healthcare monitoring device and method that can recognize the motion of the person to be monitored even at night or indoors without lights.
도 1은 본 발명의 일 실시예에 따른 홈 헬스케어 모니터링 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 홈 헬스케어 모니터링 방법의 흐름도이다.1 is a block diagram of a home healthcare monitoring device according to an embodiment of the present invention.
2 is a flowchart of a home healthcare monitoring method according to an embodiment of the present invention.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 홈 헬스케어 모니터링 장치 및 방법에 대해서 상세하게 설명한다.Hereinafter, a home healthcare monitoring device and method according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 홈 헬스케어 모니터링 장치의 구성도이다.1 is a block diagram of a home healthcare monitoring device according to an embodiment of the present invention.
도 1을 참조하면, 일 실시예에 따른 홈 헬스케어 모니터링 장치는 입력부(110), 물체 검출부(120), 물체 추적부(130), 이상 동작 검출부(140), 저장부(150) 및 출력부(160)를 포함한다.Referring to FIG. 1, a home healthcare monitoring apparatus according to an embodiment may include an
입력부(110)는 적외선 카메라로부터 적외선 영상 시퀀스를 획득하여 물체 검출부(120)로 전달한다.The
물체 검출부(120)는 적외선 카메라를 통해 획득한 적외선 영상 시퀀스의 프레임들에 대해 움직이는 관심 물체를 추출하기 위한 것으로, 입력부(110)를 통해 획득되는 적외선 영상 시퀀스의 프레임들로부터 물체 영역을 포함하는 실루엣 영상(silhouette image)을 생성한다.The
물체 검출부(120)는 후술하는 두 가지 방식을 혼합한 물체 검출 방법을 적용하여 실루엣 영상을 생성할 수 있다.The
제1 방식은 입력부(110)를 통해 획득되는 적외선 영상 시퀀스에 대해 일정 프레임 간격으로 연속적인 프레임들 간의 차영상(difference image)을 생성한 후 인접하는 차영상들의 차(difference between difference images)를 특징값으로 하여 물체 영역이 포함된 실루엣 영상을 생성하는 것이다.The first method generates a difference image between successive frames at a predetermined frame interval with respect to an infrared image sequence acquired through the
예컨대 물체 검출부(120)는 연속되는 두 개의 프레임들로 구성된 일정 프레임 간격의 제1, 제2 프레임 그룹에 대하여, 각 프레임 그룹에서 두 프레임들 간의 픽셀값의 차로 구성된 차영상을 생성한다. 여기서 픽셀값은 각 픽셀의 휘도(luminance) 성분을 나타내는 값일 수 있다.For example, the
이후 물체 검출부(120)는 인접하게 되는 두 차영상들 간의 픽셀값의 차로 구성된 영상을 획득한 후 해당 영상의 각 픽셀값에 의거하여 실루엣 영상을 생성할 수 있다.Afterwards, the
일 실시예에서 실루엣 영상은 이진 영상일 수 있다. 이러한 경우 물체 검출부(120)는 픽셀값이 미리 정해진 임계값(Threshold) 이상인 경우 해당 픽셀을 움직이는 물체 영역으로 판단하여 인접하는 두 차영상들 간의 차에 대한 이진 영상을 생성한다. 즉 물체 검출부(120)는 인접하는 두 차영상들 간의 차로 구성된 영상에서 픽셀값이 미리 정해진 임계값 이상이면 해당 픽셀을 움직임이 일어난 픽셀로 판단하여 물체 영역에 포함시키고, 그렇지 않을 경우 움직임이 일어나지 않은 픽셀로 판단하여 물체 영역에서 배제한다.In one embodiment, the silhouette image may be a binary image. In this case, when the pixel value is greater than or equal to a predetermined threshold, the
제2 방식은 입력부(110)를 통해 획득되는 적외선 영상 시퀀스의 연속적인 프레임들에서 배경 영상을 획득한 후 획득한 배경 영상과 입력 영상 간의 차영상에 의해 물체 영역을 포함하는 실루엣 영상을 생성하는 것이다.The second method is to generate a silhouette image including the object region by the difference image between the obtained background image and the input image after acquiring the background image from successive frames of the infrared image sequence acquired through the
제2 방식에 따르면 물체 검출부(120)는 적외선 카메라를 통해 제공되는 적외선 영상 시퀀스에 대한 일정 시간 동안의 학습을 통해 배경 영상을 생성하여 저장하고, 배경 영상과 현재 들어온 입력 영상 간의 차영상을 구하고 난 후 입력 영상의 픽셀들 중 배경을 나타내는 픽셀들을 구분하여 배경 모델을 갱신하게 된다.According to the second method, the
배경 모델의 생성 및 갱신 과정에서 배경 분리 방법(background subtraction method) 중 통계적 배경 모델인 가우시안 혼합 모델(gaussian mixture model)이 적용될 수 있다.In the generation and update of the background model, a Gaussian mixture model, which is a statistical background model, may be applied among the background subtraction methods.
예컨대 물체 검출부(120)는 가우시안 혼합 모델을 통해 배경 영상을 획득한 후 획득한 배경 영상을 기준 영상으로 하여 배경 영상과 현재 들어온 입력 영상 간의 각 픽셀값의 차를 구하여 구해진 값이 일정 임계값 이상인 경우 해당 픽셀은 움직임이 있는 픽셀로 판단하여 물체 영역에 포함시키는 방식으로 영상을 얻는다.For example, the
전술한 제1 방식은 정확한 물체 검출을 위하여 두 차영상들의 차를 특징값으로 생성하여 사용한다. 이는 움직임이 일어난 영역의 픽셀값들과 움직임이 일어나지 않은 영역의 픽셀값들 간의 차를 향상시킨 값을 얻어서 움직임이 일어난 부분과 움직임이 일어나지 않은 부분 간의 차이를 더욱 뚜렷하게 나타내고, 물체 영역을 보다 정확하게 검출하여 향상된 실루엣 영상을 생성하기 위한 것이다.The first method described above generates and uses a difference between two difference images as a feature value for accurate object detection. This improves the difference between the pixel values of the area where the motion occurs and the pixel values of the area where the motion does not occur, more clearly indicating the difference between the part where the motion occurs and the part where the motion does not occur, and more accurately detects the object area. To generate an improved silhouette image.
실루엣 영상은 물체의 검출 뿐만 아니라 물체의 추적을 위해서도 필요한 중요한 특징 정보(물체의 크기, 위치 등)를 포함하고 있다. 일 실시예는 실루엣 영상에 포함된 특징 정보를 이용해 관심 물체의 움직임을 추적하고 비정상적 동작을 검출하기 위하여, 일정 시간 동안 누적시킨 실루엣 영상들을 사용해 관심 물체의 움직임이 일어난 영역을 누적시킨 영상인 시간적 템플릿(temporal template) 영상을 생성하여 사용하게 된다.The silhouette image includes important feature information (size, position, etc.) necessary for not only the object detection but also the object tracking. According to an embodiment, a temporal template is an image obtained by accumulating an area where an object of interest is moved using silhouette images accumulated for a predetermined time to track movement of an object of interest and detect abnormal motion by using feature information included in the silhouette image. (temporal template) Create and use images.
그런데 주어진 프레임에서 관심 물체의 움직임이 없을 경우, 예를 들면 서 있기나 앉아 있기 등의 동작을 할 경우에도 물체 검출이 이루어져야 한다. 그러나 제1 방식과 같이 차영상들의 차를 이용하는 방법을 적용하는 경우 물체의 움직임이 없으면 물체 검출에 필요한 특징 정보(예컨대 물체의 크기, 위치, 모션 벡터 등)가 사라지므로 물체를 검출할 수가 없다.However, if there is no movement of the object of interest in a given frame, for example, the object should be detected when standing or sitting. However, in the case of applying the method of using the difference of the difference images as in the first method, if there is no movement of the object, the characteristic information (eg, the size, position, motion vector, etc.) of the object is lost and thus the object cannot be detected.
제1 방식의 이러한 단점을 보완하여 프레임에서 관심 물체의 움직임이 없을 경우에도 관심 물체를 검출하기 위하여 제1 방식과 제2 방식을 혼합 방법(hybrid method)을 사용하여 물체 검출을 위한 최종적인 실루엣 영상을 얻을 수 있다.Complementing this disadvantage of the first method, the final silhouette image for object detection using the hybrid method of the first method and the second method to detect the object of interest even when there is no movement of the object of interest in the frame. Can be obtained.
물체 추적부(130)는 물체 검출부(120)에서 생성되는 실루엣 영상들에서 물체 영역들을 일정 시간 동안 누적시켜서 관심 물체 추적을 위한 모션 정보를 포함하는 시간적 템플릿 영상을 생성한다. 시간적 템플릿 영상에는 관심 물체의 모션 정보(물체의 폭과 높이의 변화량, 중심점 위치 변화량 등)가 포함된다.The
이상 동작 검출부(140)는 비정상적 동작을 검출하기 위하여 시간적 템플릿 영상을 사용한다. 즉 이상 동작 검출부(140)는 물체 추적부(130)에서 생성된 시간적 템플릿 영상에 포함되어 있는 모션 정보를 이용하여 일상 동작에서 벗어난 낙상 등의 비정상적 동작을 검출하게 된다. 예컨대 이상 동작 검출부(140)는 물체 추적부(130)에서 생성된 시간적 템플릿 영상의 모션 정보가 임계값을 벗어나는지 여부를 확인하여 비정상적 동작, 특히 주요 모니터링 대상이 되는 낙상 동작을 검출할 수 있다. 이때 시간적 템플릿 영상 내 물체 영역들의 폭/높이의 변화량 또는 중심점 위치 변화량 등이 모션 정보로 사용될 수 있다.The
이상 동작 검출부(140)에서 비정상적 동작이 검출된 경우 비정상적 동작이 발생한 시간 동안에 적외선 카메라에서 제공된 적외선 영상 시퀀스는 저장부(150)에 동영상 파일로 저장된다. 또한 이상 동작 검출부(140)에서 비정상적 동작이 검출된 경우 출력부(160)는 위급상황의 발생을 알리기 위한 위험 신호를 생성하여 출력한다. 예컨대 일 실시예는 낙상이 발생하였음을 실시간으로 알리기 위하여 출력부(160)를 통해 낙상 동작 여부를 화면으로 출력하고, 경고음을 발생시킴과 동시에 이에 대한 정보를 저장부(150)로 저장한다.When abnormal motion is detected by the
이와 같이, 일 실시예는 적외선 영상 시퀀스에 대해 통계적 배경 모델인 가우시안 혼합 모델을 사용하여 배경 영상과 입력 영상 간의 차로 구성된 영상을 생성하는 방식과, 연속적인 프레임 그룹들에서 구해진 인접 차영상들 간의 차를 고려하여 영상을 생성하는 방식을 혼합적으로 적용할 수 있다.As described above, an embodiment is a method of generating an image composed of a difference between a background image and an input image using a Gaussian mixture model, which is a statistical background model, for an infrared image sequence, and a difference between adjacent difference images obtained from consecutive frame groups. In consideration of the above, a method of generating an image may be mixedly applied.
도 2는 본 발명의 일 실시예에 따른 홈 헬스케어 모니터링 방법의 흐름도이다.2 is a flowchart of a home healthcare monitoring method according to an embodiment of the present invention.
일 실시예에서 홈 헬스케어 모니터링 장치는 적외선 카메라에서 얻어진 각 프레임에 대해 먼저 배경 영역으로부터 관심 물체를 추출하고, 물체 분할을 수행하여 실루엣 영상을 생성한다. 이후 해당 장치는 관심 물체의 추적과 비정상적 동작 검출을 위하여 시간적 템플릿 영상을 생성하여 관심 물체의 움직임이 일어난 영역들을 누적시키고, 이를 이용해 물체 추적 및 동작 검출을 수행한다.In one embodiment, the home healthcare monitoring apparatus first extracts an object of interest from a background region for each frame obtained from an infrared camera, and performs object segmentation to generate a silhouette image. Then, the device generates a temporal template image for tracking the object of interest and detecting abnormal motion, accumulates the areas where the movement of the object of interest occurs, and performs object tracking and motion detection using the same.
도 2를 참조하여 세부 과정을 설명하면 다음과 같다.A detailed process will be described below with reference to FIG. 2.
S110은 홈 헬스케어 모니터링 장치가 적외선 카메라로부터 적외선 영상 시퀀스를 획득하는 단계이다.S110 is a step in which the home healthcare monitoring device acquires an infrared image sequence from an infrared camera.
S120은 적외선 영상 시퀀스의 프레임들로부터 물체 영역을 포함한 실루엣 영상을 생성하는 단계이다.S120 is a step of generating a silhouette image including the object area from the frames of the infrared image sequence.
여기서 적외선 영상 시퀀스에 대해 일정 프레임 간격으로 연속적인 프레임들 간의 차영상을 생성한 후 인접하는 차영상들의 차를 특징값으로 하여 영상을 생성하는 제1 방식과, 통계적 배경 모델인 가우시안 혼합 모델을 이용해 적외선 영상 시퀀스에서 배경 영상을 획득한 후 배경 영상과 입력 영상 간의 차를 고려하여 영상을 생성하는 제2 방식을 혼합적으로 사용하여 실루엣 영상을 생성할 수 있다.Here, a first method of generating a difference image between consecutive frames at a predetermined frame interval with respect to an infrared image sequence and then generating an image based on a difference between adjacent difference images as a feature value and a Gaussian mixture model, which is a statistical background model, are used. After the background image is acquired from the infrared image sequence, the silhouette image may be generated using a second method of generating an image in consideration of the difference between the background image and the input image.
제1 방식만을 적용하는 경우 주어진 프레임에서 관심 물체의 움직임이 없으면 물체 검출에 필요한 특징 정보(물체의 크기, 위치, 모션 벡터 등)가 사라져 물체를 검출할 수가 없다. 그러므로 연속적인 프레임들에서 관심 물체가 움직이는 경우(기본적으로 관심 물체가 움직이는 경우를 가정) 제1 방식에 의해 실루엣 영상을 구하고, 관심 물체의 움직임이 없는 경우(제1 방식에 의해 물체 영역이 검출되지 않은 경우)에는 제1 방식과 제2 방식을 혼합적으로 사용하여 실루엣 영상을 구하는 혼합적인 물체 검출 방법을 채용하는 것이 효율적일 수 있다.In the case of applying only the first method, if there is no movement of the object of interest in a given frame, characteristic information (object size, position, motion vector, etc.) required for object detection disappears and the object cannot be detected. Therefore, when the object of interest moves in successive frames (assuming that the object of interest is basically moved), a silhouette image is obtained by the first method, and when there is no movement of the object of interest (the object region is not detected by the first method). If not), it may be efficient to employ a hybrid object detection method that obtains a silhouette image by using a mixture of the first method and the second method.
S130은 배경 모델의 갱신 단계이다.S130 is an update step of the background model.
일정 시간 동안 제공되는 프레임들로부터 가우시안 혼합 모델을 이용하여 실루엣 영상의 생성에 사용하기 위한 초기 배경 영상이 분리되며 이후 계속해서 제공되는 적외선 영상 시퀀스의 프레임들에 대해 가우시안 혼합 모델을 사용한 배경 영상의 갱신이 이루어진다.An initial background image is separated from the frames provided for a period of time using the Gaussian mixture model, and then the background image is updated using the Gaussian mixture model for the frames of the infrared image sequence. This is done.
S120을 통해 관심 물체가 움직이는 물체 영역이 검출되는 경우 홈 헬스케어 모니터링 장치는 S150으로 진행하여 해당 물체 영역이 포함된 실루엣 영상을 생성한다. 실루엣 영상에는 물체의 검출 및 추적에 필요한 물체 영역의 특징 정보(물체의 폭과 높이, 위치 등)가 포함된다.When the object region in which the object of interest is moved through S120 is detected, the home healthcare monitoring apparatus proceeds to S150 to generate a silhouette image including the object region. The silhouette image includes characteristic information (object width, height, position, etc.) of the object region required for detecting and tracking the object.
배경 영상과 입력 영상의 차와 인접 프레임 그룹들의 차영상들 간의 차를 고려한 결과 관심 물체가 추출되지 않는 경우(예컨대 배경만 존재하고 사람이 없는 경우) 홈 헬스케어 모니터링 장치는 다시 S110 단계로 돌아가 적외선 카메라가 제공하는 프레임들을 수집하여 S120의 물체 검출 과정을 반복한다.Considering the difference between the background image and the input image and the difference between adjacent frame groups, if the object of interest is not extracted (for example, only the background exists and there is no person), the home healthcare monitoring device returns to step S110 again and returns to infrared rays. Collect the frames provided by the camera and repeat the object detection process of S120.
S160은 실루엣 영상들에서 물체 영역들을 일정 시간 동안 누적시켜 관심 물체 추적을 위한 모션 정보(물체의 폭과 높이의 변화량, 중심점 위치 변화량 등)를 포함하는 시간적 템플릿 영상을 생성하는 단계이다.In operation S160, the object regions are accumulated in the silhouette images for a predetermined time to generate a temporal template image including motion information (a change in the width and height of the object, a change in the position of the center point, etc.) for tracking the object of interest.
S170은 시간적 템플릿 영상의 모션 정보를 이용하여 일상 동작에서 벗어난 낙상 등의 비정상적 동작을 검출하는 단계이다. 예컨대 시간적 템플릿 영상의 모션 정보가 임계값을 벗어나는 경우 낙상 동작이 검출될 수 있다.S170 is a step of detecting an abnormal operation such as a fall from the normal operation by using the motion information of the temporal template image. For example, when the motion information of the temporal template image is out of the threshold value, the falling motion may be detected.
비정상적 동작을 검출한 경우 홈 헬스케어 모니터링 장치는 S180으로 진행하여 해당 시간 동안에 적외선 영상 시퀀스를 동영상 파일로 저장하고, 화면 및 경고음으로 검출된 비정상적 동작의 발생을 알린다.If the abnormal motion is detected, the home healthcare monitoring device proceeds to S180 and stores the infrared image sequence as a video file during the corresponding time, and notifies the occurrence of the abnormal motion detected by the screen and the alarm sound.
움직이는 사람과 같은 비강체(non-rigid body)인 물체를 대상으로 움직임을 추적하는 일은 특징 분석에 여러 가지 어려움이 있다. 예를 들면 앉거나 일어서는 등의 동작이 카메라의 위치, 조명 조건 등에 따라 달라질 수 있고 같은 동작을 하더라도 사람에 따라 다양한 동작들이 나올 수 있기 때문이다.Tracking motion on a non-rigid body, such as a moving person, has many difficulties in characterization. For example, the motion of sitting or standing may vary depending on the position of the camera, the lighting conditions, and the like, and even the same motion may cause various motions depending on the person.
이러한 제약을 해결하기 위해 일 실시예는 일정 프레임 간격의 인접한 실루엣 영상들에서 움직임이 일어난 물체 영역들의 특징 정보(물체의 크기, 위치 등)를 획득하기 위해 시간적 템플릿 영상을 생성한다. 생성된 시간적 템플릿 영상은 관심 물체 추적을 위하여 물체 영역들을 일정 시간 간격으로 누적시킨 영상으로 해석되어질 수 있다.In order to solve this limitation, an exemplary embodiment generates a temporal template image to obtain characteristic information (object size, position, etc.) of object regions in which motion occurs in adjacent silhouette images having a predetermined frame interval. The generated temporal template image may be interpreted as an image obtained by accumulating object regions at predetermined time intervals to track an object of interest.
시간적 템플릿 영상 내 움직임이 일어난 물체 영역의 크기뿐만 아니라 중심 위치를 찾기 위해 통계적 모멘트 분석(statistic moment analysis)이 이용될 수 있다. 홈 헬스케어 모니터링 장치는 모멘트 특성들을 이용하여 관심 물체의 중심 위치와 물체의 크기(폭과 높이)에 대한 정보를 얻을 수 있고, 물체 영역을 포함하는 영역을 경계 박스(bounding box)로 표현하여 이를 이용해 물체의 동작을 추적할 수 있다. 최종적으로 해당 장치는 움직이는 물체를 포함하는 경계 박스의 크기 변화량이나 중심점 위치 변화량을 고려하여 낙상 등의 비정상적 동작을 검출한다.Statistical moment analysis may be used to find the center position as well as the size of the object region in which the movement in the temporal template image occurs. The home healthcare monitoring device can obtain information about the center position of the object of interest and the size (width and height) of the object of interest by using the moment characteristics, and expresses the area including the object area as a bounding box. Can be used to track the motion of an object. Finally, the device detects an abnormal operation such as a fall in consideration of the size change of the bounding box including the moving object or the change in the position of the center point.
일 실시예에서 홈 헬스케어 모니터링 장치는 비정상적인 동작이 검출될 경우 실시간으로 해당 동작의 검출 결과를 알 수 있도록 프레임 화면을 제어할 수 있다. 예컨대 낙상 동작인 "Fall"이 검출될 경우 영상 시퀀스를 표시하는 프레임 화면의 좌하단 부분에 '1'이 출력되어 낙상 사건이 발생되었음을 알린다. 낙상이 검출되지 않을 경우에는 해당 부분에 '0'이 출력되어 일상 동작 범위 내에 있음을 알린다. 주어진 프레임에서 검출된 물체 영역 부분은 사각형의 경계 박스로 출력된다.According to an embodiment, when an abnormal motion is detected, the home healthcare monitoring device may control a frame screen so as to recognize a detection result of the corresponding motion in real time. For example, when the fall operation “Fall” is detected, “1” is output to the lower left portion of the frame screen displaying the video sequence, indicating that a fall event has occurred. If no fall is detected, a '0' is output to indicate that it is within the range of normal operation. The area of the object area detected in a given frame is output as a rectangular bounding box.
전술한 바와 같이 홈 헬스케어 모니터링 장치는 물체의 추적 및 비정상적 동작의 검출 과정에서 모션 정보(물체의 폭과 높이의 변화량, 중심점 위치 변화량 등)를 활용할 수 있다.As described above, the home healthcare monitoring apparatus may utilize motion information (a change in the width and height of the object, a change in the position of the center point, etc.) in the process of tracking the object and detecting the abnormal motion.
예컨대 적외선 영상 시퀀스의 프레임들에서 일상 동작들(의자에 앉기, 일어서기, 쭈그리고 앉기, 걷기 등)과 낙상 동작들(뒤로 쓰러지기, 왼쪽으로 쓰러지기, 오른쪽으로 쓰러지기 등)에 대한 물체의 크기(폭과 높이)의 변화량을 비교해 보면 낙상 동작들에 대한 관심 물체의 크기 변화량이 일상 동작들의 경우에 비해 크게 나타남을 알 수 있다. 또한 중심점 위치 변화량 중 Y 변화량은 낙상 동작들의 마지막 단계로 변화량이 낮게 나타나는 반면 일상 동작들의 경우 Y 변화량이 낙상 동작들에 비해 높게 나타남을 알 수 있다.For example, the size of an object for everyday movements (sitting, standing, squatting, walking, etc.) and falling movements (falling back, falling left, falling right, etc.) in frames of an infrared image sequence. Comparing the amount of change in the width and height, it can be seen that the size change of the object of interest for the falling motions is larger than that of the daily motions. Also, it can be seen that the Y change amount of the center point position change amount is low as the last step of the fall motions, while the Y change amount is higher than the fall motions in the daily motions.
본 발명의 구성에 따르면 불빛이 없는 야간 환경에서도 적외선 카메라를 기반으로 효율적인 홈 헬스케어 서비스를 제공할 수 있다. 구체적으로 독거노인이나 환자에게 비정상적 동작이 발생하는 경우 예컨대 사람이 예기치 못하게 갑자기 넘어지는 낙상이 발생할 경우 실시간으로 이를 검출하여 위급 상황을 알릴 수 있고, 해당 동작에 의해 발생될 수 있는 심각한 부상들에 대해서 신속하게 대처할 수 있다.According to the configuration of the present invention can provide an efficient home healthcare service based on an infrared camera even in a night environment without a light. In particular, when an abnormal movement occurs to an elderly person or a patient living alone, for example, when a person falls unexpectedly and suddenly falls, the emergency situation may be detected and notified in real time, and for serious injuries that may be caused by the operation. You can respond quickly.
본 발명의 홈 헬스케어 모니터링 장치 및 방법은 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수 있다.
Home healthcare monitoring device and method of the present invention is not limited to the above-described embodiment can be carried out in various modifications within the scope of the technical idea of the present invention.
110: 입력부
120: 물체 검출부
130: 물체 추적부
140: 이상 동작 검출부
150: 저장부
160: 출력부110: input unit
120: object detection unit
130: object tracking unit
140: abnormal operation detection unit
150:
160: Output section
Claims (11)
상기 입력부를 통해 획득되는 적외선 영상 시퀀스의 프레임들로부터 물체 영역을 포함한 실루엣 영상을 생성하되, 적외선 영상 시퀀스에 대해 소정 프레임 간격으로 연속적인 프레임들 간의 차영상을 생성한 후 인접하는 차영상들의 차를 특징값으로 하여 물체 영역을 검출하는 제1 방식과, 통계적 배경 모델인 가우시안 혼합 모델을 이용해 적외선 영상 시퀀스에서 배경 영상을 획득한 후 배경 영상과 입력 영상 간의 차를 고려하여 물체 영역을 검출하는 제2 방식을 혼합적으로 사용하여 실루엣 영상을 생성하는 물체 검출부;
상기 물체 검출부에서 생성되는 실루엣 영상들에서 물체 영역들을 소정 시간 동안 누적시켜 관심 물체 추적을 위한 모션 정보를 포함하는 시간적 템플릿 영상을 생성하는 물체 추적부; 및
상기 물체 추적부에서 생성된 시간적 템플릿 영상의 모션 정보에 의거하여 일상 동작에서 벗어난 비정상적 동작을 검출하는 이상 동작 검출부를 포함하되,
상기 물체 검출부는 연속적인 프레임들에서 관심 물체가 움직이는 경우 상기 제1 방식에 의해 실루엣 영상을 구하고, 관심 물체의 움직임이 없는 경우 상기 제1 방식 및 상기 제2 방식을 혼합적으로 사용하여 실루엣 영상을 구하는 것을 특징으로 하는 홈 헬스케어 모니터링 장치.
An input unit for obtaining an infrared image sequence from an infrared camera;
A silhouette image including an object region is generated from the frames of the infrared image sequence obtained through the input unit, and the difference between adjacent difference images is generated after generating a difference image between consecutive frames at a predetermined frame interval with respect to the infrared image sequence. A first method of detecting an object region using a feature value, and a second method of detecting an object region in consideration of a difference between the background image and an input image after acquiring a background image from an infrared image sequence using a Gaussian mixture model, which is a statistical background model An object detector which generates a silhouette image by using a mixed method;
An object tracker configured to accumulate object areas from the silhouette images generated by the object detector for a predetermined time to generate a temporal template image including motion information for tracking an object of interest; And
Including an abnormal motion detection unit for detecting an abnormal motion deviated from the normal motion based on the motion information of the temporal template image generated by the object tracking unit,
The object detector obtains a silhouette image by the first method when the object of interest moves in successive frames, and when the object of interest does not move, the silhouette image is mixed by using the first method and the second method. Home healthcare monitoring device, characterized in that obtaining.
상기 실루엣 영상은 이진 영상으로서, 상기 물체 검출부는 픽셀값이 미리 정해진 임계값 이상인 경우 해당 픽셀을 움직이는 관심 물체 영역으로 판단하여 인접하는 두 차영상들 간의 차에 대한 이진 영상을 생성하는 것을 특징으로 하는 홈 헬스케어 모니터링 장치.
The method of claim 1,
The silhouette image is a binary image. When the pixel value is greater than or equal to a predetermined threshold value, the object detector determines a pixel as a moving object region of interest and generates a binary image of a difference between two adjacent difference images. Home healthcare monitoring device.
가우시안 혼합 모델을 사용하여 배경 영상을 생성하여 저장하며, 배경 영상과 입력 영상 간의 차영상을 구하고 난 후 가우시안 혼합 모델을 사용하여 입력 영상의 픽셀들 중 배경을 나타내는 픽셀들을 구분하여 배경 영상을 갱신하는 것을 특징으로 하는 홈 헬스케어 모니터링 장치.
The method of claim 1, wherein the object detecting unit,
After the background image is generated and saved using the Gaussian mixture model, the difference image between the background image and the input image is obtained, and the background image is updated by classifying the pixels representing the background among the pixels of the input image using the Gaussian mixture model. Home healthcare monitoring device, characterized in that.
상기 이상 동작 검출부에서 비정상적 동작이 검출된 경우 비정상적 동작이 발생한 시간 동안에 상기 적외선 카메라에서 제공된 적외선 영상 시퀀스를 동영상 파일로 저장하는 저장부; 및
상기 이상 동작 검출부에서 비정상적 동작이 검출된 경우 위급상황의 발생을 알리기 위한 위험 신호를 생성하여 출력하는 출력부를 더 포함하는 홈 헬스케어 모니터링 장치.
The method of claim 1,
A storage unit for storing an infrared image sequence provided by the infrared camera as a moving picture file during a time when abnormal operation occurs when abnormal operation is detected by the abnormal operation detection unit; And
And an output unit configured to generate and output a danger signal for notifying occurrence of an emergency situation when an abnormal operation is detected by the abnormal operation detection unit.
시간적 템플릿 영상의 모션 정보는 상기 시간적 템플릿 영상 내 물체 영역들의 폭과 높이의 변화량 또는 중심점 위치 변화량인 것을 특징으로 하는 홈 헬스케어 모니터링 장치.
The method of claim 1,
Motion information of the temporal template image is a home healthcare monitoring device, characterized in that the amount of change in the width and height of the object areas in the temporal template image or the center point position change.
시간적 템플릿 영상의 모션 정보가 임계값을 벗어나는지 여부를 확인하여 낙상 동작을 검출하는 것을 특징으로 하는 홈 헬스케어 모니터링 장치.
The abnormal operation detection unit of claim 1,
The home healthcare monitoring device, characterized in that the fall motion is detected by checking whether the motion information of the temporal template image is out of the threshold.
상기 장치가 적외선 영상 시퀀스의 프레임들로부터 물체 영역이 포함된 실루엣 영상을 생성하되, 적외선 영상 시퀀스에 대해 소정 프레임 간격으로 연속적인 프레임들 간의 차영상을 생성한 후 인접하는 차영상들의 차를 특징값으로 하여 물체 영역을 검출하는 제1 방식과, 통계적 배경 모델인 가우시안 혼합 모델을 이용해 적외선 영상 시퀀스에서 배경 영상을 획득한 후 배경 영상과 입력 영상 간의 차를 고려하여 물체 영역을 검출하는 제2 방식을 혼합적으로 사용하여 실루엣 영상을 생성하는 단계;
상기 장치가 실루엣 영상들에서 물체 영역들을 소정 시간 동안 누적시켜 관심 물체 추적을 위한 모션 정보를 포함하는 시간적 템플릿 영상을 생성하는 단계; 및
상기 장치가 시간적 템플릿 영상의 모션 정보에 의거하여 일상 동작에서 벗어난 비정상적 동작을 검출하는 단계를 포함하되,
연속적인 프레임들에서 관심 물체가 움직이는 경우 상기 제1 방식에 의해 실루엣 영상을 구하고, 관심 물체의 움직임이 없는 경우 상기 제1 방식 및 상기 제2 방식을 혼합적으로 사용하여 실루엣 영상을 구하는 것을 특징으로 하는 홈 헬스케어 모니터링 방법.
The device obtaining an infrared image sequence from the infrared camera;
The apparatus generates a silhouette image including the object region from the frames of the infrared image sequence, and generates a difference image between consecutive frames at a predetermined frame interval with respect to the infrared image sequence, and then characterizes the difference between adjacent difference images. The first method of detecting the object region and the second method of detecting the object region in consideration of the difference between the background image and the input image after acquiring the background image from the infrared image sequence using a Gaussian mixture model as a statistical background model. Generating a silhouette image by using the mixture;
Generating an temporal template image including motion information for tracking an object of interest by accumulating object regions in the silhouette images for a predetermined time; And
Detecting, by the device, an abnormal motion deviating from the normal motion based on the motion information of the temporal template image,
When the object of interest moves in successive frames, the silhouette image is obtained by the first method, and when there is no movement of the object of interest, the silhouette image is obtained by mixing the first method and the second method. How to monitor home healthcare.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110015093A KR101212383B1 (en) | 2011-02-21 | 2011-02-21 | Apparatus and Method for Home Healthcare Monitoring |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110015093A KR101212383B1 (en) | 2011-02-21 | 2011-02-21 | Apparatus and Method for Home Healthcare Monitoring |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120095647A KR20120095647A (en) | 2012-08-29 |
| KR101212383B1 true KR101212383B1 (en) | 2012-12-13 |
Family
ID=46886042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110015093A KR101212383B1 (en) | 2011-02-21 | 2011-02-21 | Apparatus and Method for Home Healthcare Monitoring |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101212383B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101712136B1 (en) * | 2015-04-30 | 2017-03-03 | 수원대학교산학협력단 | Method and apparatus for detecting a fainting situation of an object by using thermal image camera |
| KR101972716B1 (en) * | 2018-12-20 | 2019-04-25 | 울산과학대학교 산학협력단 | Physical fitness machine capable of monitoring motion |
| CN112017155B (en) * | 2020-07-13 | 2023-12-26 | 浙江华锐捷技术有限公司 | Method, device, system and storage medium for measuring health sign data |
| KR102397248B1 (en) * | 2021-11-01 | 2022-05-13 | 주식회사 스위트케이 | Image analysis-based patient motion monitoring system and method for providing the same |
| CN116342891B (en) * | 2023-05-24 | 2023-08-15 | 济南科汛智能科技有限公司 | Structured teaching monitoring data management system suitable for autism children |
-
2011
- 2011-02-21 KR KR1020110015093A patent/KR101212383B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120095647A (en) | 2012-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tao et al. | Fall incidents detection for intelligent video surveillance | |
| Kepski et al. | Fall detection using ceiling-mounted 3d depth camera | |
| Ozcan et al. | Automatic fall detection and activity classification by a wearable embedded smart camera | |
| JP4587067B2 (en) | Method and apparatus for monitoring the fall of an object | |
| KR101212383B1 (en) | Apparatus and Method for Home Healthcare Monitoring | |
| JP6717235B2 (en) | Monitoring support system and control method thereof | |
| KR101309366B1 (en) | System and Method for Monitoring Emergency Motion based Image | |
| Zhang et al. | Evaluating depth-based computer vision methods for fall detection under occlusions | |
| CN103903281A (en) | Old people tumbling detecting method based on multi-feature analyzing and scene studying | |
| Merrouche et al. | Depth camera based fall detection using human shape and movement | |
| Nguyen et al. | An efficient camera-based surveillance for fall detection of elderly people | |
| Hu et al. | Internet of Things (IOT) monitoring system for elderly | |
| KR102389285B1 (en) | Method for detecting a falling accident based on machine learning and system using the same | |
| KR20140110484A (en) | Risk behavior detection method using image information | |
| KR100927776B1 (en) | Hazardous Behavior Monitoring System | |
| Debard et al. | Camera based fall detection using multiple features validated with real life video | |
| Liciotti et al. | Human activity analysis for in-home fall risk assessment | |
| Albawendi et al. | Video based fall detection using features of motion, shape and histogram | |
| Stone et al. | Silhouette classification using pixel and voxel features for improved elder monitoring in dynamic environments | |
| Alazrai et al. | Fall detection for elderly using anatomical-plane-based representation | |
| TWI541769B (en) | Falling down detecting systems and method | |
| JP2008541650A (en) | Monitoring method and apparatus | |
| Merrouche et al. | Fall detection using head tracking and centroid movement based on a depth camera | |
| WO2011108913A1 (en) | A tracking and movement monitoring system and a method thereof | |
| KR101704471B1 (en) | Fall detection apparatus and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20151201 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20171201 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |