KR100882509B1 - Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis - Google Patents
Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis Download PDFInfo
- Publication number
- KR100882509B1 KR100882509B1 KR1020060091171A KR20060091171A KR100882509B1 KR 100882509 B1 KR100882509 B1 KR 100882509B1 KR 1020060091171 A KR1020060091171 A KR 1020060091171A KR 20060091171 A KR20060091171 A KR 20060091171A KR 100882509 B1 KR100882509 B1 KR 100882509B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- person
- silhouette
- elderly
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012544 monitoring process Methods 0.000 title claims abstract description 47
- 238000000513 principal component analysis Methods 0.000 title abstract description 5
- 230000033001 locomotion Effects 0.000 claims abstract description 43
- 230000008859 change Effects 0.000 claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 11
- 239000006185 dispersion Substances 0.000 claims abstract 2
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 230000003628 erosive effect Effects 0.000 claims description 11
- 230000010339 dilation Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 235000002566 Capsicum Nutrition 0.000 claims description 2
- 241000758706 Piperaceae Species 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 150000003839 salts Chemical class 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000012806 monitoring device Methods 0.000 claims 1
- 230000036544 posture Effects 0.000 description 33
- 239000013598 vector Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 3
- 230000003862 health status Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
Abstract
본 발명은 카메라의 각도와 검출되는 사람의 실루엣의 크기에 영향을 받지 않고 독립적으로 노인의 움직임을 분석하여 위급한 상황을 판단하는 주성분 요소방법을 이용한 노인 움직임 영상감시장치 및 방법에 관한 것이다.The present invention relates to an elderly motion image monitoring apparatus and method using a principal component element method to determine the emergency situation by independently analyzing the movement of the elderly without being affected by the angle of the camera and the size of the silhouette of the person to be detected.
본 발명의 노인 움직임 영상감시방법은, 감시 카메라로 부터 촬영되어 디지탈신호로 변환되어 입력된 영상정보에서 영상의 배경으로부터 사람의 실루엣을 분리하여 이진화된 영상을 출력하는 영상전처리(S100)단계; 상기 영상전처리(S100)단계에서 분리된 사람의 실루엣의 정보에 주성분요소방법(PCA)알고리즘을 적용하여 사람의 실루엣의 고유벡터(eigenvector)의 비율들의 변화를 파라미터로 자세변화를 분석하는 PCA연산처리(S100)단계; 사람의 실루엣의 고유벡터(eigenvector)의 비율에서 급격한 변화가 검출되어 응급상황인지를 판단하는 응급상황 판단단계(S300); 상기 응급상황판단 단계(S300)에서 응급상황이면 의사 또는 가족에게 무선 단말기로 응급상황임을 알리는 응급상황 알림단계; 를 구비하는 것을 특징으로 한다.The elderly motion image monitoring method according to the present invention comprises: pre-processing (S100) outputting a binary image by separating a silhouette of a person from a background of an image from image information which is captured by a surveillance camera and converted into a digital signal; PCA computational process that analyzes the posture change as a parameter by changing the proportions of the eigenvectors of the silhouette of the person by applying the PCA algorithm to the information of the silhouette of the person separated in the image preprocessing step (S100) (S100) step; An emergency situation determination step (S300) of determining whether a sudden change is detected in the ratio of an eigenvector of the silhouette of the person to determine an emergency situation; An emergency situation notification step of notifying an emergency situation to a wireless terminal to a doctor or a family when an emergency situation is determined in the emergency situation determination step (S300); Characterized in having a.
상기 PCA연산처리(S200)단계는, 상기 영상전처리단계(S100)에서 출력되는 영상의 x,y좌표의 2차원의 세트의 데이터가 입력되는 데이터 세트 입력단계(S205); 상기 데이터 세트 입력단계(S205)에서 입력된 x좌표의 데이터와 y좌표의 데이터의 각각에서 평균(mean)값을 구하는 평균값 연산단계(S213); 상기 평균값 연산단계 (S213)에서 구해진 x좌표의 데이터와 y좌표의 데이터의 각각의 평균(mean)값을 기준으로 x좌표의 분산, y좌표의 분산, x좌표와 y좌표의 공분산을 가지고 공분산행렬 (covariance matrix)을 구하는 분산연산단계(S217); 상기 분산 연산단계 (S217)에서 구한 공분산행렬에 대한 고유값(eigenvalue)를 구하며, 영상이 2차원이므로 고유값은 2개가 나오게 되며, 이에 해당하는 각각의 고유벡터도 함께 구하는 고유값과 고유벡터연산단계(S230); 상기 고유값과 고유벡터연산단계(S230)에서 2차원 영상내에 존재하는 사람의 실루엣의 고유값과 고유벡터의 2개 검출한 결과를 출력하는 PCA 출력단계(S250); 로 이루어진다.The PCA calculation process (S200) may include: a data set input step (S205) of inputting data of a two-dimensional set of x and y coordinates of an image output in the image preprocessing step (S100); An average value calculating step (S213) of obtaining a mean value from each of the data of the x coordinate and the data of the y coordinate input in the data set input step (S205); Covariance matrix having variance of x-coordinate, variance of y-coordinate, and covariance of x- and y-coordinates based on each mean value of data of x-coordinate and y-coordinate obtained in the average value calculating step (S213) a dispersion operation step S217 for obtaining a covariance matrix; Eigenvalues are obtained for the covariance matrix obtained in the variance operation step (S217). Since the image is two-dimensional, two eigenvalues are obtained, and eigenvalues and eigenvector calculations are also obtained. Step S230; A PCA output step (S250) of outputting a result of detecting two eigenvalues and an eigenvector of a silhouette of a person present in the two-dimensional image in the eigenvalue and eigenvector calculation step (S230); Is made of.
주성분 분석, PCA, 노인, 모니터링, 카메라, 움직임 Principal Component Analysis, PCA, Elderly, Monitoring, Camera, Motion
Description
도 1은 본 발명의 바람직한 일 실시예에 의한 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치를 개략적으로 설명하기 위한 개념도이다. 1 is a conceptual diagram schematically illustrating an elderly motion image monitoring apparatus using a principal component method according to an embodiment of the present invention.
도 2는 본 발명의 바람직한 일 실시예에 의한 주성분 요소방법을 이용한 노인 움직임 영상 감시 방법을 개략적으로 설명하기 위한 설명도이다. FIG. 2 is an explanatory diagram for schematically explaining an elderly motion image monitoring method using a principal component method according to an exemplary embodiment of the present invention.
도 3은 도 2의 영상전처리 단계를 설명하기 위한 흐름도이다.3 is a flowchart for explaining an image preprocessing step of FIG. 2.
도 4는 본 발명의 바람직한 일 실시예에 의한 노인의 자세분석을 위한 주성분요소(PCA) 적용을 설명하기 위한 설명도이다.Figure 4 is an explanatory diagram for explaining the application of the principal component (PCA) for posture analysis of the elderly according to an embodiment of the present invention.
도 5는 도 4에서 노인의 넘어짐 모니터링에 적용한 주성분요소분석방법의 흐름을 정리한 표이다.5 is a table summarizing the flow of the principal component analysis method applied to the fall monitoring of the elderly in FIG.
도 6은 도 2의 PCA 연산처리 단계를 설명하기위한 시퀀스다이어그램이다.6 is a sequence diagram for explaining the PCA calculation processing step of FIG.
도 7은 본 발명의 바람직한 일 실시예에 의한 주성분 요소방법을 이용한 노인 움직임 영상 감시 방법의 개략적인 시퀀스다이어그램이다.7 is a schematic sequence diagram of an elderly motion image monitoring method using a principal component method according to an embodiment of the present invention.
도 8은 도 6의 PCA 연산처리 단계를 적용하여 사람의 넘어지는 자세변화를 분석한 일예이다.FIG. 8 illustrates an example of analyzing a person's falling posture change by applying the PCA operation processing step of FIG. 6.
본 발명은 카메라의 각도와 검출되는 사람의 실루엣의 크기에 영향을 받지 않고 독립적으로 노인의 움직임을 분석하여 위급한 상황을 판단하는 주성분 요소방법을 이용한 노인 움직임 영상감시장치 및 방법에 관한 것이다.The present invention relates to an elderly motion image monitoring apparatus and method using a principal component element method to determine the emergency situation by independently analyzing the movement of the elderly without being affected by the angle of the camera and the size of the silhouette of the person to be detected.
최근 노인인구의 비율이 증가함에 따라 집에서 혼자 생활을 하게 되는 노인들이 많아지고 있으며, 이런 노인들은 집안에서 갑작스러운 건강이상 이나 외부적인 요인들로 위험한 상황을 발생할 경우가 있다. 따라서 노인들의 지속적인 건강상태를 체계적으로 관리하고 감시하는 개인건강 감시시스템(Personal Emergency Response System)의 중요성이 증가 되어가고 있다. 이러한 시스템은 응급한 상황에 대한 정확한 판단이 요구된다. Recently, as the proportion of the elderly population increases, many elderly people live alone at home, and these elderly people sometimes experience dangerous situations due to sudden health problems or external factors in their homes. Therefore, the importance of the Personal Emergency Response System, which systematically manages and monitors the continuous health status of the elderly, is increasing. Such a system requires accurate judgment of the emergency situation.
개인건강 감시시스템은 크게 세가지로 구분할 수 있는데, 첫 번째로 의사나 간호사의 직접적으로 건강상태를 체크하는 방법이 있으며, 두 번째로 환자 몸에 전파식별기(RFID), 가속계(accelerometer), 압력센서 등의 센서를 착용하여 생체신호와 보행상태를 감시하는 시스템이 있으며, 세 번째로 적외선, CCTV 카메라와 같은 영상장비를 이용한 영상기반의 감시 시스템이 있다. 상기 첫 번째 방법인 사람(의사나 간호사)이 직접 건강상태를 감시하는 시스템이 가장 좋은 방법이지만 이는 의료인력의 낭비와 부족의 문제가 발생할 수 있다. 상기 두 번째방법인 사람의 몸에 센서를 부착하는 감시시스템은 신체에 센서를 부착하고 정보전송을 위한 추가적 장 비가 필요하며, 건강상태를 감시하기 위해서 항상 몸에 센서등을 착용을 해야 하기 때문에 사용자의 활동에 불편함은 물론 장비의 잘못된 작동을 막기 위해서 훈련과 숙련기간이 필요하다는 단점이 있다. 그러나 상기 세 번째 방법인 영상기반의 시스템은 이러한 단점들을 보완할 수 있다.Personal health monitoring system can be classified into three categories. First, there is a method of directly checking the health status of a doctor or a nurse, and second, a radio frequency detector (RFID), an accelerometer, a pressure sensor, etc. There is a system that monitors bio signals and walking status by wearing sensors. Third, there is a video-based surveillance system using video equipment such as infrared and CCTV cameras. The first method is a system in which a person (doctor or nurse) directly monitors the health status, but this may cause a problem of waste and shortage of medical personnel. The second method, a surveillance system that attaches a sensor to a person's body, requires additional equipment for attaching the sensor to the body and transmitting information, and the user must always wear a sensor to monitor the state of health. In addition to the inconvenience of the operation of the equipment and the operation of the equipment to prevent the malfunction of the disadvantage that is required. However, the third method, an image based system, can compensate for these disadvantages.
따라서 노인의 개인건강 감시시스템으로서 영상기반의 시스템이 요망된다.Therefore, an image-based system is required as a personal health surveillance system for the elderly.
특히 컴퓨터상으로 입력되는 영상데이터를 영상처리를 하고 자동으로 사람의 움직임 판단을 하는, 즉 영상기반으로 노인의 움직임을 감시하여 위급한 상황을 판단하는 노인 움직임 영상감시장치가 요망된다.In particular, there is a need for an elderly motion image monitoring apparatus that performs image processing on image data input on a computer and automatically determines the movement of a person, that is, monitors the movement of the elderly on an image basis to determine an emergency situation.
그러나 종래의 영상기반의 홈-모니터링 시스템에는 미흡한 점이 있다. 영상기반의 비젼 시스템은 센서가 되는 카메라의 각도와 운동상태, 모니터하는 대상과의 거리 그리고 빛의 밝기에 따라 매우 민감하게 결과가 변할 수 있다. However, there is a shortcoming in the conventional image-based home-monitoring system. Image-based vision systems can be very sensitive to results, depending on the camera's angle and motion, the distance to the object being monitored, and the brightness of the light.
이러한 문제점들로 인해 입력 영상신호를 이용하여 사람의 모션 분석(motion estimation)하는 경우, 사람의 실루엣의 크기를 보정하는 전처리 과정을 시행하는데, 이러한 경우 카메라와 사람 사이의 거리가 중요한 요소가 되며, 또한 카메라의 관점이나 각도(camera phase)에 따라서 사람의 자세가 서있는 상태인지, 넘어져 쓰러지거나 움츠리고 있는 상태인지, 혼동할 수 있다. Due to these problems, in case of motion estimation of a person using an input video signal, a preprocessing process for correcting the size of a person's silhouette is performed. In this case, the distance between the camera and the person becomes an important factor. Also, depending on the camera's point of view or angle of camera (camera phase), it can be confusing whether a person's posture is standing, falling, or shrunk.
따라서 본 발명은 이러한 단점을 보완한 노인 움직임 영상감시장치 및 방법을 제공한다. 이를 위해 본 발명에서는 주성분요소 분석(Principal Component Analysis)(이하, PCA라 한다) 방법의 고유벡터(eigenvector), 고유값(eigenvalue)을 이용하여 모니터링 카메라의 거리와 각도에 독립적으로 사람의 넘어짐과 같은 자세의 변화를 검출한다. Accordingly, the present invention provides an elderly motion image surveillance apparatus and method that compensates for these disadvantages. To this end, the present invention uses eigenvectors and eigenvalues of the Principal Component Analysis (hereinafter referred to as PCA) method, such as a person falling down independently of the distance and angle of the monitoring camera. Detect changes in posture.
본 발명은 종래의 영상기반의 홈-모니터링 시스템들의 문제점들에 비해 활동성에 제약을 주지 않으며 자동화된 모니터링의 해결책들을 가지고 있으며, 또한 본 발명은 영상처리와 PCA 알고리즘을 적용하여 일반적으로 감시 카메라(Surveillance Camera)들이 지니고 있는 제한적인 조건, 즉 카메라의 각도와 검출되는 사람의 실루엣의 크기에 영향을 받지 않고 독립적으로 노인의 움직임을 분석하여 넘어짐과 같은 위급한 상황을 판단하도록 알고리즘을 제공한다.The present invention does not limit activity compared to the problems of conventional image-based home-monitoring systems and has solutions for automated monitoring. In addition, the present invention applies an image processing and a PCA algorithm to generally provide a surveillance camera. Algorithms provide an algorithm for judging emergencies such as falls by independently analyzing the movements of the elderly without being affected by the limited conditions of the cameras, that is, the angle of the camera and the size of the detected human silhouette.
본 발명에서 사용하는 PCA의 수학적인 개념을 간략히 설명하면 다음과 같다. Briefly, the mathematical concept of the PCA used in the present invention is as follows.
PCA는 통계적 방법으로 데이터들의 공분산 행렬(covariance matrix)이 필요로 한다. 공분산 행렬을 구하기 위해서는 먼저 데이터들의 평균값(mean)과 분산(variance)을 구해야 한다. 데이터들의 평균은 수학식1과 같으며, 분산은 수학식2와 같이 표현할 수 있다.PCA requires a covariance matrix of data in a statistical manner. To find the covariance matrix, we first need to find the mean and variance of the data. The average of the data is as
여기서, Xi는 입력 데이터이고, n은 입력데이터 갯수이고, 는 평균이다. Where X i is input data, n is the number of input data, Is the average.
여기서 ,s는 표분편차이고 s2은 분산이다.Where s is the table deviation and s 2 is the variance.
표준편차와 분산은 단지 1차원에서만 의미를 가지게 되므로 우리는 데이터 집단에서 독립적으로 각각의 다른 차원에서 데이터들의 분산만을 구할 수 밖에 없다. 하지만 동일한 방법으로 서로 다른 차원의 데이터들을 기준으로 여러 차원의 관계 속에서 분산의 정보를 얻을 수 있는데, 이것이 공분산 행렬이다. 공분산은 각각의 차원 안의 데이터들의 분산과 서로 다른 차원관계 안에서의 데이터들의 분산으로 나타날 수 있다. 이러한 의미는 다음의 수학식 3과 수학식 4를 통해 알 수 있다.Since standard deviations and variances have meaning only in one dimension, we have to find the variance of the data in each other dimension independently of the data group. However, in the same way, we can obtain the information of variance in relations of different dimensions based on data of different dimensions, which is a covariance matrix. Covariance can be expressed as the variance of the data in each dimension and the variance of the data in different dimensional relationships. This meaning can be understood through
여기서, Xi, Yi는 서로 다른 차원의 입력 데이터들이고, Xi의 평균은 이고 Yi의 평균은 이다.Where X i and Y i are input data of different dimensions, and the mean of X i is And the mean of Y i is to be.
수학식 3과 수학식 4를 통해서 보면 각각의 차원에서 분산의 곱으로 표현하는데 수학식 4와 같이 동일한 데이터 집단의 차원의 공분산은 분산과 동일한 것을 알 수 있다.In
공분산 행렬은 수학식 5와 같이 나타낼 수 있다.The covariance matrix may be expressed as in Equation 5.
본 발명은 이 공분산 행렬의 계산을 통해서 고유값 λ와 고유벡터를 수학식 6을 이용하여 구한다. 만약 2차원이라면 2개의 λ가 획득될 것이며 이에 해당하는 각각의 벡터들이 2개를 얻을 수 있다.The present invention calculates the eigenvalues λ and eigenvectors by calculating this covariance matrix. Is obtained using Equation 6. If it is two-dimensional, two λ will be obtained and two corresponding vectors can be obtained.
주성분 요소분석방법의 특징 중에 하나로 동일한 시간상에 분포하는 데이터 집단의 경우, 분산의 정도가 큰 방향들의 벡터들을 구할 수 있다. 상술한 바와 같이 공분산 행렬의 행렬 계산으로 고유값(eigenvalue)과 이에 해당하는 각각의 고유벡터들을 구할 수 있다. 이중 고유값이 높은 것에 해당하는 벡터가 그 데이터 집단의 중요한 요소가 되며 보다 작은 고유값의 벡터는 첫 번째 벡터보다는 중요도가 적은 벡터라는 의미를 가지고 있다. One of the characteristics of Principal Component Analysis is that for data groups distributed over the same time, vectors of directions with large variance can be obtained. As described above, an eigenvalue and corresponding eigenvectors can be obtained by matrix calculation of a covariance matrix. A vector with a higher eigenvalue becomes an important element of the data group, and a vector with a smaller eigenvalue is less important than the first vector.
본 발명이 이루고자 하는 기술적 과제는 활동성에 제약을 주지 않으며 자동화된 모니터링을 하여 노인의 움직임을 분석하며 위급한 상황을 판단하는 노인 움직임 영상 감시 장치 및 방법을 제공하는 데 있다.The technical problem to be achieved by the present invention is to provide an elderly motion image monitoring apparatus and method for analyzing the movement of the elderly and determining the emergency situation by performing automated monitoring without restricting the activity.
본 발명이 이루고자 하는 또 다른 기술적 과제는 영상처리와 PCA 알고리즘을 적용하여 일반적으로 감시 카메라(Surveillance Camera)들이 지니고 있는 제한적인 조건, 즉 카메라의 각도와 검출되는 사람의 실루엣의 크기에 영향을 받지 않고 독립적으로 노인의 움직임을 분석하여 위급한 상황을 판단하는 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치 및 방법을 제공하는 데 있다.Another technical problem to be achieved by the present invention is to apply image processing and PCA algorithms, without being affected by the limited conditions of Surveillance Cameras in general, that is, the angle of the camera and the size of the silhouette of the detected person. An object of the present invention is to provide an apparatus and a method for monitoring the elderly motion image using the principal component method for independently analyzing the movement of the elderly.
이하 본 발명의 일 실시예에 의한 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치 및 방법의 구성 및 동작을 첨부한 도면을 참조하여 상세히 설명한다. Hereinafter, the structure and operation of the elderly motion image monitoring apparatus and method using the principal component method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 바람직한 일 실시예에 의한 주성분 요소방법(PCA)을 이용한 노인 움직임 영상 감시 장치를 개략적으로 설명하기 위한 개념도로서, 감시카메라부(100), 모니터링 연산처리부(200), 중앙제어부(700), 출력부(800)으로 이루어진다.1 is a conceptual diagram for schematically illustrating an elderly motion image monitoring apparatus using a principal component method (PCA) according to an embodiment of the present invention, the
감시카메라부(100)는 다수의 감시카메라로 이루어져, 노인의 영상을 모니터링 연산처리부(200)로 전송한다. 상기 감시카메라로 적외선 카메라 또는 CCTV 카메라 등을 사용할 수 있다.
모니터링 연산처리부(200)는 감시카메라부(100)로부터 수신된 영상을 데이터처리하여 중앙제어부(700)로 전송한다.The
여기서 데이터처리는 영상데이터 압축을 하여 중앙제어부(700)로 전송할 수 있으며, 주성분 요소방법을 이용한 노인 움직임 영상을 분석하여 중앙제어부(700)로 전송할 수 있다. 즉 모니터링 연산처리부(200)는, 감시카메라부(100)로 부터 촬영되어 디지탈신호로 변환되어 입력된 영상정보에서 영상의 배경으로부터 사람의 실루엣을 분리하는 영상전처리부(미도시), 상기 영상전처리부에서 분리된 사람의 실루엣의 정보에 주성분요소방법(PCA)알고리즘을 적용하여 사람의 실루엣의 고유벡터(eigenvector)의 크기의 비율(즉 고유값)들의 변화를 파라미터로 자세변화를 분석하는 자세변화분석부(미도시)를 구비할 수 있다. 주성분 요소방법을 이용한 노인 움직임 영상의 분석은 모니터링 연산처리부(200)에서 이루어질 수도 있으며 또는 중앙제어부(700)에서 이루어져도 상관없다. Here, the data processing may be transmitted to the
중앙제어부(700)는 모니터링 연산처리부(200)로부터 수신된 정보를 출력부(800)로 전송한다. 즉, 중앙제어부(700)는 모니터링 연산처리부(200)로부터 수신된 정보를 병원의 의사 컴퓨터로 전송하며, 위급상황일 경우는 의사 또는 가족의 휴대폰 또는 PDA로 알린다.The
출력부(800)는 병원의 의사 컴퓨터, 의사 또는 가족의 휴대폰 또는 PDA로 이루어져, 중앙제어부(700)로부터 수신된 데이터를 출력한다. 즉 출력부(800)는 중앙제어부(700)로부터 수신된 정보를 병원의 의사 컴퓨터로 전송하며, 위급상황일 경우는 의사 또는 가족의 휴대폰 또는 PDA 또는 무선단말기로 위급상황임을 알린다.The
도 2는 본 발명의 바람직한 일 실시예에 의한 주성분 요소방법을 이용한 노 인 움직임 영상 감시 방법을 개략적으로 설명하기 위한 설명도이다. FIG. 2 is an explanatory diagram for schematically illustrating a method for monitoring a motion of an elderly man using the principal component method according to an exemplary embodiment of the present invention.
영상전처리(S100)단계는 카메라로 부터 촬영되어 디지탈신호로 변환되어 입력된 영상정보에서 영상의 배경으로부터 사람의 실루엣을 분리한다.In the image preprocessing step S100, the silhouette of the person is separated from the background of the image in the input image information which is captured by the camera and converted into a digital signal.
자세변화분석(S200)단계는 상기 영상전처리(S100)단계에서 분리된 사람의 실루엣의 정보에 주성분요소방법(PCA)알고리즘을 적용하여 사람의 실루엣의 고유벡터(eigenvector)의 비율들의 변화를 파라미터로 자세변화를 분석한다. The posture change analysis step (S200) is to apply the principal component factor method (PCA) algorithm to the information of the silhouette of the person separated in the image preprocessing step (S100) to change the proportions of the eigenvectors of the silhouette of the person as parameters. Analyze posture changes.
만약 급격한 변화가 검출되어 응급상황인지를 판단하여(S300), 응급상황이면 의사 또는 가족 등의 휴대폰, 무선단말기 등에게 응급상황임을 알린다.If a sudden change is detected to determine whether it is an emergency (S300), if it is an emergency, inform the doctor or family, such as a mobile phone, a wireless terminal that the emergency.
도 3은 도2의 영상전처리 단계를 설명하기 위한 흐름도이다.FIG. 3 is a flowchart for explaining an image preprocessing step of FIG. 2.
촬영영상단계(S105)는 감시 카메라로 부터 출력된 영상을 디지탈신호로 변환한다.The captured image step S105 converts the image output from the surveillance camera into a digital signal.
미디언 필터링 단계(S110)는 촬영영상단계(S105)로부터 입력된 영상을 5x5의 미디언 필터(Median Filter)를 통해 영상의 전송과 코딩과정에서 생긴 쏠트앤페이퍼(Salt and Peppers) 노이즈와 같은 랜덤 노이즈를 제거한다. The median filtering step (S110) randomly inputs the image input from the captured image operation step (S105) such as salt and peppers noise generated during the transmission and coding of the image through a 5 × 5 median filter. Remove the noise.
종래에는 평균필터를 주로 사용하는데, 평균필터로 노이즈를 제거한다면 노이즈의 영향이 주변의 영역에 크게 미쳐 영상정보의 손실을 준다. 따라서 본 발명은 비선형적 특징이 있는 미디언 필터를 사용한다. 미디언 필터는 비선형적인 특성을 지니고 있는 신호들에게 적합한 필터로 영상에 처음으로 적용하여 노이즈를 제거함과 동시에 스무딩의 효과로 경계선 검출과 영역구분에 도움을 준다. Conventionally, the average filter is mainly used. If the noise is removed by the average filter, the influence of the noise greatly affects the surrounding area, resulting in loss of image information. Thus, the present invention uses median filters with nonlinear features. The median filter is a filter suitable for signals having nonlinear characteristics. It is applied to an image for the first time to remove noise, and at the same time, it helps edge detection and area classification by the effect of smoothing.
차이 영상획득 단계(S120)는 미디언 필터링 단계(S110)의 출력으로부터 배경 에서 움직이는 사람을 분리해내는 과정을 수행한다. 사람이 카메라의 촬영범위에 들어 오지 않을 때의 배경영상의 10개의 프레임의 평균값을 구하여 배경모델 (Background Model)을 구축한다. 본 발명에서는 미리 구축된 배경모델을 가지고 사람이 영상에 들어오는 시점부터 차이값으로 배경에서 사람을 분리하는 방법을 사용한다. 또한 이와 함께 매시간 프레임의 영상 차이를 구하여 함께 사람을 검출한다. 프레임의 영상 차이를 통한 방법은 사람의 움직임이 있는 프레임 사이에서 경계선 정보가 검출된다. 배경모델과 프레임간의 차이 영상정보를 통해 배경으로부터 사람을 검출했다. 이는 수학식 7과 같다.The difference image acquisition step S120 performs a process of separating the person moving in the background from the output of the median filtering step S110. The background model is constructed by obtaining the average value of 10 frames of the background image when a person does not enter the camera's shooting range. The present invention uses a method of separating a person from the background by a difference value from the time when a person enters an image with a pre-built background model. At the same time, the image difference of each frame is obtained to detect a person together. In the method of image difference of a frame, boundary information is detected between frames in which a human motion is performed. The difference between the background model and the frame was detected by people from the background. This is shown in Equation 7.
침식(erosion) 연산단계(S130)는 모폴로지 기법 (Morphological processing)의 6x6의 필터를 적용하여 침식연산 처리를 한다. In the erosion operation step S130, an erosion calculation process is performed by applying a 6 × 6 filter of morphological processing.
가우시안 블러(Gaussian Blur) 단계(S140)는 침식연산(erosion) 단계(S130)의 출력에서 가우시안 함수의 콘볼루션으로 영상의 남은 노이즈 블러링과 사람의 실루엣의 경계를 스무딩 시킨다.The Gaussian Blur step S140 smoothes the residual noise blurring of the image and the boundary of the human silhouette with a convolution of the Gaussian function at the output of the erosion operation step S130.
팽창(dilation) 연산단계(S150)는 가우시안 블러(Gaussian Blur) 단계(S140)의 출력에 모폴로지 기법의 6x6의 필터를 적용하여 팽창연산 처리를 한다.In the expansion operation step S150, an expansion operation is performed by applying a 6 × 6 filter of the morphology technique to the output of the Gaussian Blur step S140.
다시말해, 침식연산단계(S130), 가우시안 블러 단계(S140), 팽창연산단계(S150)는, 차이 영상획득 단계(S120)의 사람 검출결과에 사람 주변부에 배경들의 경계와 노이즈들이 있는데, 이를 제거하기 위해, 모폴로지기법(Morphological processing)의 6x6의 필터를 적용하여 침식(erosion)과 팽창(dilation) 처리를 하였으며, 모폴로지 처리과정 중간에 가우시안 함수의 콘볼루션으로 영상의 남은 노이즈 블러링과 사람의 실루엣의 경계를 스무딩 시키는 것이다.In other words, the erosion calculation step (S130), the Gaussian blur step (S140), and the expansion operation step (S150) include the boundaries and noises of the backgrounds around the person in the human detection result of the difference image acquisition step (S120). For this purpose, erosion and dilation were applied by applying a 6x6 filter of Morphological processing, and Gaussian convolution in the middle of the morphology process was used to blur the residual noise of the image and human silhouette. Is to smooth the boundary.
이진 영상단계(S160)는 팽창(dilation) 연산단계(S150)의 출력을 이진화하는 것으로, 이는 영상 전처리 과정 최종의 과정에 해당한다. 이진화를 하는 기준값은 영상의 히스토그램 분석 후 기준값을 설정하여 사람의 실루엣을 이진화시킨다. The binary image step S160 binarizes the output of the dilation calculation step S150, which corresponds to the final image preprocessing process. The binarization reference value binarizes the human silhouette by setting the reference value after analyzing the histogram of the image.
침식연산단계(S130), 가우시안 블러 단계(S140), 팽창연산단계(S150), 이진 영상단계(S160)를 사람의 실루엣 추출부라 할 수 있다.The erosion calculation step (S130), the Gaussian blur step (S140), the expansion calculation step (S150), and the binary image step (S160) may be referred to as human silhouette extracting units.
영상전처리(S100)단계에서 실시간으로 획득한 사람의 실루엣의 정보를 가지고 자세변화분석(S100)단계에서 주성분요소분석(PCA)방법을 적용하여 카메라와 사람과의 거리와 카메라 각도에 독립적으로 사람의 자세를 분석한다.With the information of the silhouette of the person acquired in real time in the image preprocessing step (S100), the principal component factor analysis (PCA) method is applied in the posture change analysis step (S100) to independently determine the distance between the camera and the person and the camera angle. Analyze your posture.
영상전처리(S100)단계의 2차원 영상의 전처리에서 얻은 실루엣의 고유벡터의 길이의 변화가 사람의 움직임의 변화를 검출할 수 있는 중요한 요소이다. 각각의 벡터에 해당하는 고유값의 의미는 영상에 존재하는 실루엣의 데이터들의 분포들의 중요도를 나타내고 있는 것이다. 즉 실루엣의 데이터 집단에서 2개의 벡터 중에 하나가 벡터의 길이가 길다라는 것은 고유값이 높다는 것을 말하며 이 벡터방향으로 데이터들이 강한 패턴을 보임을 알 수 있다.The change in the length of the eigenvector of the silhouette obtained in the preprocessing of the two-dimensional image in the image preprocessing step (S100) is an important element to detect the change in the movement of a person. The meaning of the eigenvalue corresponding to each vector indicates the importance of the distributions of the data of the silhouette existing in the image. In other words, one of the two vectors in the silhouette data group indicates that the vector has a long eigenvalue and that the data show a strong pattern in this vector direction.
자세변화분석(S100)단계는 각각의 사람의 실루엣의 고유벡터들의 길이의 비를 중요한 요소로 사람의 자세의 변화를 관찰한다. 다시 말해서 고유벡터의 길이의 비는 각각의 고유값의 비와도 동일한 요소로 볼 수 있기 때문에 사람의 자세의 변화, 즉 노인의 갑작스러운 넘어짐을 카메라의 거리와 촬영각도에 독립적으로 검출할 수 있도록 구성된다.The posture change analysis step (S100) observes the change in the posture of a person as an important factor of the ratio of the lengths of the eigenvectors of each person's silhouette. In other words, the ratio of the lengths of the eigenvectors can be seen as the same factors as the ratios of the eigenvalues, so that the change in human posture, that is, the sudden fall of the elderly, can be detected independently of the camera distance and shooting angle. It is composed.
도 4는 본 발명의 바람직한 일 실시예에 의한 노인의 자세분석을 위한 주성분요소(PCA) 적용을 설명하기 위한 설명도이다. Figure 4 is an explanatory diagram for explaining the application of the principal component (PCA) for posture analysis of the elderly according to an embodiment of the present invention.
도 4의 1은 사람이 스탠딩(standing)상태일 때 PCA를 이용한 자세분석을 위한 벡터로, 벡터들간의 비율은 작다. 이는 한성분의 벡터가 매우 크기 때문이다. 하지만 사람이 넘어짐과 같은 자세의 변화가 시작되면, 넘어지는 자세를 시간의 흐름대 나타내면 도 4의 2, 도 4의 3, 도 4의 4의 자세로 나타내어질 수 있는데, 도 4의 1에서 도 4의 3까지 자세가 변화하는 동안 벡터들간의 비율은 증가하며, 넘어져서 도 4의 4의 자세와 같은 상태가 되면 다시 벡터들간의 비율이 작아진다. 본 발명에서는 이러한 벅터들간의 비율을 사용하여, 모니터링 카메라의 각도와 거리에 상관없이 오로지 사람의 실루엣에서 PCA를 이용한 자세분석을 위한 벡터들간의 비율이라는 새로운 파라미터로 분석한다.4 is a vector for posture analysis using PCA when a person is standing, and the ratio between the vectors is small. This is because the vector of one component is very large. However, when a change in posture such as a person starts to fall, when the falling posture is represented as a passage of time, the posture of FIG. 4 may be represented by the postures of FIG. 4, FIG. 3, and FIG. 4. The ratio between the vectors increases while the posture changes up to 3 of 4, and when it falls down and becomes the same as the posture of 4 of FIG. 4, the ratio between the vectors decreases again. In the present invention, using the ratio between the buckers, regardless of the angle and distance of the monitoring camera, a new parameter called the ratio between the vectors for the posture analysis using the PCA in the human silhouette.
즉, 도 4의 각 자세에서 고유벡터들의 길이(크기)비가 변화함으로써, 고유값의 비 또한 변화하는데, 본 발명은 이 고유값의 비로 노인의 넘어짐을 검출한다. That is, as the length (size) ratio of the eigenvectors in each posture of FIG. 4 changes, the ratio of the eigenvalues also changes, and the present invention detects the fall of the elderly by the ratio of the eigenvalues.
도 5는 도 4에서 노인의 넘어짐 모니터링에 적용한 주성분요소분석방법의 흐름을 정리한 표이다.5 is a table summarizing the flow of the principal component analysis method applied to the fall monitoring of the elderly in FIG.
카메라에 따른 초기의 사람의 실루엣의 각각의 벡터들의 고유값의 비를 계산한다(도 5의 1).The ratio of the eigenvalues of the respective vectors of the initial human silhouette according to the camera is calculated (1 in FIG. 5).
이렇게 계산된 고유값의 변화를 매 일정시간 마다 관찰한다(도 5의 2).The change in the eigen value calculated as described above is observed every predetermined time (2 in FIG. 5).
고유값의 변화가 어느 일정기준 이상 인지를 계산한다(도 5의 3).Calculate whether the change in the eigen value is more than a certain standard (3 in Figure 5).
고유값의 비가 기준값 이상의 급격한 변화를 보이면 사람이 넘어진것으로 판단한다(도 5의 4).When the ratio of the eigenvalues shows a drastic change over the reference value, it is determined that the person has fallen (Fig. 5 4).
도 6은 도 2의 자세변화분석 단계를 설명하기위한 시퀀스다이어그램이다.6 is a sequence diagram for explaining the posture change analysis step of FIG.
자세변화분석단계는 데이터 세트 입력단계(S205), 평균값 연산단계(S213), 분산연산단계(S217), 고유값 및 고유벡터 연산단계(S230), 출력단계(S250)로 이루어진다. 단, 여기서는 영상의 x,y축의 2차원에만 대하여 설명하나 이는 본 발명을 2차원에 한정하고자 한 것이 아님을 사전에 밝혀둔다.The posture change analysis step includes a data set input step S205, an average value calculation step S213, a variance calculation step S217, an eigenvalue and eigenvector calculation step S230, and an output step S250. Here, only two dimensions of the x and y axes of the image will be described, but it will be clear that the present invention is not intended to be limited to the two dimensions.
데이터 세트 입력단계(S205)는 영상의 x,y좌표의 2차원의 세트의 데이터가 영상전처리단계(S100)로부터 입력된다. 영상전처리단계(S100)로부터 입력된 데이터는 영상전처리에 의한 사람의 실루엣의 이진화 영상을 말하며 데이터 세트는 실루엣의 x좌표, y좌표로 2차원의 데이터 세트이다. In the data set input step (S205), data of a two-dimensional set of x and y coordinates of an image is input from the image preprocessing step (S100). Data input from the image preprocessing step (S100) refers to a binarized image of a silhouette of a person by image preprocessing, and the data set is a two-dimensional data set with x and y coordinates of the silhouette.
평균값 연산단계(S213)는 데이터 세트 입력단계(S205)에서 입력된 x좌표의 데이터와 y좌표의 데이터의 각각에서 평균(mean)값을 구한다. 즉. 사람의 실루엣 영상에서 실루엣의 x좌표, y 좌표들의 평균값을 말한다.The average value calculating step S213 obtains a mean value from each of the data of the x coordinate and the data of the y coordinate input in the data set input step S205. In other words. The average value of the x- and y-coordinates of a silhouette in a human silhouette image.
분산연산단계(S217)는 평균값연산단계(S213)에서 구해진 x좌표의 데이터와 y좌표의 데이터의 각각의 평균(mean)값을 기준으로 x좌표의 데이터와 y좌표의 데이터의 각각의 모든 데이터들의 분산(variance)를 구한다. x좌표의 평균값을 기준으로 사람의 실루엣 데이터의 x좌표의 분산들을 구하고 같은방법으로 y좌표의 분산도 구한다. 그리고 x좌표와 y좌표간의 공분산(covariance)을 구한다. 이렇게 구한 영 상내의 사람 실루엣의 x좌표의 분산, y좌표의 분산, x좌표와 y좌표의 공분산을 가지고 공분산행렬(covariance matrix)을 구한다.In the variance operation step S217, all data of each of the data of the x-coordinate and the data of the y-coordinate are determined based on the mean values of the data of the x-coordinate and the y-coordinate obtained in the mean value calculation step S213. Find the variance Find the variances of the x-coordinates of the human silhouette data based on the average value of the x-coordinates, and find the variances of the y-coordinates in the same way. The covariance between the x and y coordinates is obtained. The covariance matrix is obtained from the variance of the x-coordinate, the y-coordinate, and the co-variance of the x- and y-coordinates of the human silhouette.
고유값과 고유벡터연산단계(S230)는 분산연산단계(S217)에서 구한 공분산행렬을 이 행렬에 대한 고유값(eigenvalue)를 구한다. 영상이 2차원이므로 고유값은 2개가 나오게 된다. 그리고 이에 해당하는 각각의 고유벡터도 함께 구하게 된다.In the eigenvalue and eigenvector operation step S230, the eigenvalue for the matrix is obtained from the covariance matrix obtained in the variance operation step S217. Since the image is two-dimensional, two eigenvalues are produced. Each corresponding eigenvector is also obtained.
출력단계(S250)는 고유값과 고유벡터연산단계(S230)에서 2차원 영상내에 존재하는 사람의 실루엣의 고유값과 고유벡터의 2개 검출한 결과를 출력한다. 이중 고유값이 높은 벡터가 사람의 실루엣의 데이터 세트의 PCA 결과중 높은 영향력이 있는 요소라고 할 수 있다. 그 다음 2번째 높은 고유값과 이에 해당하는 벡터는 그 다음으로 중요한 요소라고 할 수 있다.The output step S250 outputs a result of detecting two eigenvalues and eigenvectors of the silhouette of a person present in the two-dimensional image in the eigenvalue and eigenvector calculation step S230. A vector with a high eigenvalue is a highly influential element of the PCA results of the data set of the human silhouette. The second highest eigenvalue and the corresponding vector are the next most important factor.
이러한 과정을 통해 구한 2차원 영상내의 사람의 실루엣의 PCA 결과로 이 데이터 세트의 2가지 요소들을 구할 수 있다. 본 발명은 시간에 따른 이러한 벡터들과 고유값들의 비율을 관찰하여 비율의 급격한 변화를 파라미터로 사람의 자세변화를 검출한다. 본 발명은 카메라의 각도와 거리에 독립적으로 노인의 자세를 검출할 수 있다.Two components of this data set can be obtained as the PCA result of the silhouette of the person in the two-dimensional image obtained through this process. The present invention observes the ratio of these vectors and eigenvalues over time and detects a change in posture of a person using a sudden change in the ratio as a parameter. The present invention can detect the posture of the elderly independently of the angle and distance of the camera.
도 7은 본 발명의 바람직한 일 실시예에 의한 주성분 요소방법을 이용한 노인 움직임 영상 감시 방법의 개략적인 시퀀스다이어그램이다.7 is a schematic sequence diagram of an elderly motion image monitoring method using a principal component method according to an embodiment of the present invention.
감시 카메라로부터 출력된 영상을 디지탈신호로 변환하여 미디언 필터를 통해 랜덤 노이즈를 제거하고 차이영상획득부로 전송한다(S115). The video output from the surveillance camera is converted into a digital signal to remove random noise through a median filter and transmitted to the difference image acquisition unit (S115).
차이영상획득부는 수신된 영상정보로 부터 배경모델을 구축하며(S123), 미리 구축된 배경모델을 가지고 사람이 영상에 들어오는 시점부터 차이값으로 배경에서 사람을 분리하기위해 매시간 배경모델 차이 영상정보와 프레임간의 차이 영상정보를 구하여 사람 실루엣 추출부로 전송한다(S127). The difference image acquisition unit constructs a background model from the received image information (S123), and with the background image difference image information every hour to separate the person from the background with the difference value from the time when the person enters the image with the pre-built background model. The difference image information between frames is obtained and transmitted to the human silhouette extracting unit (S127).
사람 실루엣 추출부는 배경모델과 프레임간의 차이 영상정보를 통해 배경으로부터 사람을 검출하며, 사람 검출결과에 사람 주변부에 배경들의 경계와 노이즈들이 있는데, 이를 제거하기 위해, 침식(erosion), 가우시안 블러, 팽창(dilation) 연산처리를 한 결과를 이진화 하여 자세변화분석부로 전송한다(S155).The human silhouette extracting unit detects a person from the background through the difference image information between the background model and the frame. In the human detection result, there are boundary and noises of the backgrounds around the person. To remove this, erosion, Gaussian blur, and swelling are removed. (dilation) Binarize the result of the calculation process and transmit it to the posture change analyzer (S155).
자세변화분석부는 수신된 사람의 실루엣의 정보로부터 실루엣의 평균과 분산을 구하며(S210), 실루엣의 평균과 분산을 이용하여 공분산을 구하며(S220), 고유값과 고유벡터를 구하고(S230), 고유벡터의 비율을 구하여 사람동작 검출부로 전송한다(S240).The posture change analysis unit obtains the average and the variance of the silhouette from the received silhouette information (S210), obtains the covariance using the average and the variance of the silhouette (S220), obtains the eigenvalues and eigenvectors (S230), The ratio of the vector is obtained and transmitted to the human motion detector (S240).
도 8은 도 6의 자세변화분석 단계를 적용하여 사람의 넘어지는 자세변화를 분석한 일예이다.FIG. 8 is an example of analyzing a person's falling posture change by applying the posture change analyzing step of FIG. 6.
도 4에서 설명한 바와 같이 상기 고유값과 고유벡터연산단계(S230)에서 구하여진 고유벡터의 비율이 사람이 서있는(standing) 상태에서 넘어지는 자세의 변화가 시작되어 넘어지기 전까지는 고유벡터들간의 비율은 크며, 완전히 넘어진 상태가 되면 고유벡터들간의 비율이 작아짐을 알 수 있다.As described in FIG. 4, the ratio between the eigenvectors and the eigenvectors calculated in the eigenvector calculation step (S230) until the change in the attitude of falling in the standing state of the person starts and falls. Is large and the ratio between the eigenvectors decreases when it falls down completely.
본 발명은 이상에서 설명되고 도면에 예시된 것에 의해 한정되는 것은 아니며, 당업자라면 다음에 기재되는 청구범위 내에서 더 많은 변형 및 변용예가 가능한 것임은 물론이다.The present invention is not limited to the above described and illustrated in the drawings, and of course, more modifications and variations are possible to those skilled in the art within the scope of the following claims.
이상에서 설명한 바와 같이, 본 발명은 활동성에 제약을 주지 않으며 자동화된 모니터링을 하여 노인의 움직임을 분석하며 위급한 상황을 판단하는 노인 움직임 영상 감시 장치 및 방법을 제공한다. As described above, the present invention provides an elderly motion image monitoring apparatus and method for analyzing the movement of the elderly and determining an emergency situation by performing automated monitoring without restricting the activity.
또한 본 발명은 영상처리와 PCA 알고리즘을 적용하여 일반적으로 감시 카메라(Surveillance Camera)들이 지니고 있는 제한적인 조건, 즉 카메라의 각도와 검출되는 사람의 실루엣의 크기에 영향을 받지 않고 독립적으로 노인의 움직임을 분석하여 위급한 상황을 판단하는 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치 및 방법을 제공한다.In addition, the present invention is applied to the image processing and PCA algorithm, the motion of the elderly independently without being affected by the limited conditions of the surveillance cameras (Surveillance Cameras), that is, the angle of the camera and the size of the silhouette of the detected person. Provided are an elderly motion image monitoring apparatus and method using a principal component method for analyzing an emergency situation.
다시말해, 본 발명의 노인 움직임 영상 감시 방법은 주성분요소방법(Principal Component Analysis)의 데이터분석 기술을 적용하여 사람의 자세분석을 사람의 몸의 실루엣 벡터들 간의 비율의 변화를 연속적으로 획득하는 영상을 매초 2-3번의 영상캡쳐로 자세분석을 통해 갑작스러운 넘어짐의 발생을 분석하여 카메라 제약조건에 독립적으로 정확한 응급한 상황 판단이 가능하도록 하였다. 본 발명을 노인들을 위한 영상기반의 모니터링에 적용, 다른 네트워크, 모바일 연구 분야와 연계 연구를 한다면 향상된 원격진료시스템과 홈-헬스케어 시스템이 가능하다. 즉 본 발명은 노인을 위한 홈 모니터링, 헬스케어 시스템에 효과적으로 적용 될 수 있다.In other words, the method for monitoring the motion of the elderly according to the present invention applies a data analysis technique of Principal Component Analysis to obtain an image of continuously acquiring a change in the ratio between the silhouette vectors of the human body by analyzing the human posture. By capturing 2-3 images per second, posture analysis was used to analyze the occurrence of sudden falls, enabling accurate emergency judgment independent of camera constraints. If the present invention is applied to the image-based monitoring for the elderly, and connected to other network, mobile research field, improved remote medical care system and home healthcare system are possible. In other words, the present invention can be effectively applied to home monitoring, healthcare system for the elderly.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060091171A KR100882509B1 (en) | 2006-09-20 | 2006-09-20 | Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060091171A KR100882509B1 (en) | 2006-09-20 | 2006-09-20 | Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080026326A KR20080026326A (en) | 2008-03-25 |
KR100882509B1 true KR100882509B1 (en) | 2009-02-06 |
Family
ID=39413769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060091171A KR100882509B1 (en) | 2006-09-20 | 2006-09-20 | Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100882509B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210123046A (en) | 2020-04-02 | 2021-10-13 | 주식회사 시온테크닉스 | An Elderly Care Device Using Thermal Image Algorithm |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101016095B1 (en) * | 2009-02-20 | 2011-02-17 | 성균관대학교산학협력단 | Method and apparatus for detecting changes in background of images using binary images thereof and hough transform |
KR101405410B1 (en) | 2010-10-20 | 2014-06-24 | 고려대학교 산학협력단 | Object detection device and system |
KR101419736B1 (en) * | 2012-11-27 | 2014-07-17 | 목원대학교 산학협력단 | Photography system using robot and method thereof |
KR101614412B1 (en) * | 2014-07-31 | 2016-04-29 | 삼성에스디에스 주식회사 | Method and Apparatus for Detecting Fall Down in Video |
KR102015631B1 (en) | 2017-11-16 | 2019-08-28 | 학교법인 송원대학교 | system for monitering of single elderly persons' living situations |
CN112907892A (en) * | 2021-01-28 | 2021-06-04 | 上海电机学院 | Human body falling alarm method based on multiple views |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040018586A (en) * | 2002-08-23 | 2004-03-04 | 삼성전자주식회사 | Motion detecting device using face characteristics and monitoring system adapting it |
KR20040049465A (en) * | 2002-12-06 | 2004-06-12 | 삼성전자주식회사 | Method for detecting user and detecting motion, and apparatus for detecting user within security system |
-
2006
- 2006-09-20 KR KR1020060091171A patent/KR100882509B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040018586A (en) * | 2002-08-23 | 2004-03-04 | 삼성전자주식회사 | Motion detecting device using face characteristics and monitoring system adapting it |
KR20040049465A (en) * | 2002-12-06 | 2004-06-12 | 삼성전자주식회사 | Method for detecting user and detecting motion, and apparatus for detecting user within security system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210123046A (en) | 2020-04-02 | 2021-10-13 | 주식회사 시온테크닉스 | An Elderly Care Device Using Thermal Image Algorithm |
Also Published As
Publication number | Publication date |
---|---|
KR20080026326A (en) | 2008-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100882509B1 (en) | Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis | |
Harrou et al. | An integrated vision-based approach for efficient human fall detection in a home environment | |
Wang et al. | Human fall detection in surveillance video based on PCANet | |
Tzeng et al. | Design of fall detection system with floor pressure and infrared image | |
KR100847143B1 (en) | System and Method for analyzing of human motion based silhouettes of real-time video stream | |
Wang et al. | Automatic fall detection of human in video using combination of features | |
EP3309748A1 (en) | Image processing system, image processing device, image processing method, and image processing program | |
CN102859554B (en) | Collating device | |
KR100822476B1 (en) | Remote emergency monitoring system and method | |
CN110472614B (en) | Identification method for motion sickness | |
CN114469076B (en) | Identity-feature-fused fall identification method and system for solitary old people | |
Joshi et al. | A fall detection and alert system for an elderly using computer vision and Internet of Things | |
US20110019002A1 (en) | Method and System for Low Complexity Analysis of Multiple Signals Using a Combined Sparse Set of Samples | |
ElSayed et al. | Ambient and wearable sensing for gait classification in pervasive healthcare environments | |
CN112949417A (en) | Tumble behavior identification method, equipment and system | |
Basavaraj et al. | Vision based surveillance system for detection of human fall | |
CN109101943A (en) | It is a kind of for detecting the machine vision method of Falls Among Old People | |
CN111429345A (en) | Method for visually calculating heart rate and heart rate variability with ultra-low power consumption | |
JP2019032588A (en) | Image analysis apparatus | |
Rajabi et al. | An intelligent video surveillance system for fall and anesthesia detection for elderly and patients | |
CN103961108A (en) | Tumbling detecting method | |
Miaou et al. | A smart vision-based human fall detection system for telehealth applications | |
KR101918159B1 (en) | Method and Apparatus for Segmenting Background Motion Region From Image | |
JP5545977B2 (en) | Image monitoring device | |
Monisha et al. | A real-time embedded system for human action recognition using template matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130205 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20140204 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20150130 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20190523 Year of fee payment: 11 |