KR100882509B1 - Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis - Google Patents

Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis Download PDF

Info

Publication number
KR100882509B1
KR100882509B1 KR1020060091171A KR20060091171A KR100882509B1 KR 100882509 B1 KR100882509 B1 KR 100882509B1 KR 1020060091171 A KR1020060091171 A KR 1020060091171A KR 20060091171 A KR20060091171 A KR 20060091171A KR 100882509 B1 KR100882509 B1 KR 100882509B1
Authority
KR
South Korea
Prior art keywords
image
person
silhouette
elderly
data
Prior art date
Application number
KR1020060091171A
Other languages
Korean (ko)
Other versions
KR20080026326A (en
Inventor
유선국
서덕찬
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020060091171A priority Critical patent/KR100882509B1/en
Publication of KR20080026326A publication Critical patent/KR20080026326A/en
Application granted granted Critical
Publication of KR100882509B1 publication Critical patent/KR100882509B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

본 발명은 카메라의 각도와 검출되는 사람의 실루엣의 크기에 영향을 받지 않고 독립적으로 노인의 움직임을 분석하여 위급한 상황을 판단하는 주성분 요소방법을 이용한 노인 움직임 영상감시장치 및 방법에 관한 것이다.The present invention relates to an elderly motion image monitoring apparatus and method using a principal component element method to determine the emergency situation by independently analyzing the movement of the elderly without being affected by the angle of the camera and the size of the silhouette of the person to be detected.

본 발명의 노인 움직임 영상감시방법은, 감시 카메라로 부터 촬영되어 디지탈신호로 변환되어 입력된 영상정보에서 영상의 배경으로부터 사람의 실루엣을 분리하여 이진화된 영상을 출력하는 영상전처리(S100)단계; 상기 영상전처리(S100)단계에서 분리된 사람의 실루엣의 정보에 주성분요소방법(PCA)알고리즘을 적용하여 사람의 실루엣의 고유벡터(eigenvector)의 비율들의 변화를 파라미터로 자세변화를 분석하는 PCA연산처리(S100)단계; 사람의 실루엣의 고유벡터(eigenvector)의 비율에서 급격한 변화가 검출되어 응급상황인지를 판단하는 응급상황 판단단계(S300); 상기 응급상황판단 단계(S300)에서 응급상황이면 의사 또는 가족에게 무선 단말기로 응급상황임을 알리는 응급상황 알림단계; 를 구비하는 것을 특징으로 한다.The elderly motion image monitoring method according to the present invention comprises: pre-processing (S100) outputting a binary image by separating a silhouette of a person from a background of an image from image information which is captured by a surveillance camera and converted into a digital signal; PCA computational process that analyzes the posture change as a parameter by changing the proportions of the eigenvectors of the silhouette of the person by applying the PCA algorithm to the information of the silhouette of the person separated in the image preprocessing step (S100) (S100) step; An emergency situation determination step (S300) of determining whether a sudden change is detected in the ratio of an eigenvector of the silhouette of the person to determine an emergency situation; An emergency situation notification step of notifying an emergency situation to a wireless terminal to a doctor or a family when an emergency situation is determined in the emergency situation determination step (S300); Characterized in having a.

상기 PCA연산처리(S200)단계는, 상기 영상전처리단계(S100)에서 출력되는 영상의 x,y좌표의 2차원의 세트의 데이터가 입력되는 데이터 세트 입력단계(S205); 상기 데이터 세트 입력단계(S205)에서 입력된 x좌표의 데이터와 y좌표의 데이터의 각각에서 평균(mean)값을 구하는 평균값 연산단계(S213); 상기 평균값 연산단계 (S213)에서 구해진 x좌표의 데이터와 y좌표의 데이터의 각각의 평균(mean)값을 기준으로 x좌표의 분산, y좌표의 분산, x좌표와 y좌표의 공분산을 가지고 공분산행렬 (covariance matrix)을 구하는 분산연산단계(S217); 상기 분산 연산단계 (S217)에서 구한 공분산행렬에 대한 고유값(eigenvalue)를 구하며, 영상이 2차원이므로 고유값은 2개가 나오게 되며, 이에 해당하는 각각의 고유벡터도 함께 구하는 고유값과 고유벡터연산단계(S230); 상기 고유값과 고유벡터연산단계(S230)에서 2차원 영상내에 존재하는 사람의 실루엣의 고유값과 고유벡터의 2개 검출한 결과를 출력하는 PCA 출력단계(S250); 로 이루어진다.The PCA calculation process (S200) may include: a data set input step (S205) of inputting data of a two-dimensional set of x and y coordinates of an image output in the image preprocessing step (S100); An average value calculating step (S213) of obtaining a mean value from each of the data of the x coordinate and the data of the y coordinate input in the data set input step (S205); Covariance matrix having variance of x-coordinate, variance of y-coordinate, and covariance of x- and y-coordinates based on each mean value of data of x-coordinate and y-coordinate obtained in the average value calculating step (S213) a dispersion operation step S217 for obtaining a covariance matrix; Eigenvalues are obtained for the covariance matrix obtained in the variance operation step (S217). Since the image is two-dimensional, two eigenvalues are obtained, and eigenvalues and eigenvector calculations are also obtained. Step S230; A PCA output step (S250) of outputting a result of detecting two eigenvalues and an eigenvector of a silhouette of a person present in the two-dimensional image in the eigenvalue and eigenvector calculation step (S230); Is made of.

주성분 분석, PCA, 노인, 모니터링, 카메라, 움직임 Principal Component Analysis, PCA, Elderly, Monitoring, Camera, Motion

Description

주성분 요소방법을 이용한 노인 움직임 영상 감시 장치 및 방법{Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis}Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis}

도 1은 본 발명의 바람직한 일 실시예에 의한 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치를 개략적으로 설명하기 위한 개념도이다. 1 is a conceptual diagram schematically illustrating an elderly motion image monitoring apparatus using a principal component method according to an embodiment of the present invention.

도 2는 본 발명의 바람직한 일 실시예에 의한 주성분 요소방법을 이용한 노인 움직임 영상 감시 방법을 개략적으로 설명하기 위한 설명도이다. FIG. 2 is an explanatory diagram for schematically explaining an elderly motion image monitoring method using a principal component method according to an exemplary embodiment of the present invention.

도 3은 도 2의 영상전처리 단계를 설명하기 위한 흐름도이다.3 is a flowchart for explaining an image preprocessing step of FIG. 2.

도 4는 본 발명의 바람직한 일 실시예에 의한 노인의 자세분석을 위한 주성분요소(PCA) 적용을 설명하기 위한 설명도이다.Figure 4 is an explanatory diagram for explaining the application of the principal component (PCA) for posture analysis of the elderly according to an embodiment of the present invention.

도 5는 도 4에서 노인의 넘어짐 모니터링에 적용한 주성분요소분석방법의 흐름을 정리한 표이다.5 is a table summarizing the flow of the principal component analysis method applied to the fall monitoring of the elderly in FIG.

도 6은 도 2의 PCA 연산처리 단계를 설명하기위한 시퀀스다이어그램이다.6 is a sequence diagram for explaining the PCA calculation processing step of FIG.

도 7은 본 발명의 바람직한 일 실시예에 의한 주성분 요소방법을 이용한 노인 움직임 영상 감시 방법의 개략적인 시퀀스다이어그램이다.7 is a schematic sequence diagram of an elderly motion image monitoring method using a principal component method according to an embodiment of the present invention.

도 8은 도 6의 PCA 연산처리 단계를 적용하여 사람의 넘어지는 자세변화를 분석한 일예이다.FIG. 8 illustrates an example of analyzing a person's falling posture change by applying the PCA operation processing step of FIG. 6.

본 발명은 카메라의 각도와 검출되는 사람의 실루엣의 크기에 영향을 받지 않고 독립적으로 노인의 움직임을 분석하여 위급한 상황을 판단하는 주성분 요소방법을 이용한 노인 움직임 영상감시장치 및 방법에 관한 것이다.The present invention relates to an elderly motion image monitoring apparatus and method using a principal component element method to determine the emergency situation by independently analyzing the movement of the elderly without being affected by the angle of the camera and the size of the silhouette of the person to be detected.

최근 노인인구의 비율이 증가함에 따라 집에서 혼자 생활을 하게 되는 노인들이 많아지고 있으며, 이런 노인들은 집안에서 갑작스러운 건강이상 이나 외부적인 요인들로 위험한 상황을 발생할 경우가 있다. 따라서 노인들의 지속적인 건강상태를 체계적으로 관리하고 감시하는 개인건강 감시시스템(Personal Emergency Response System)의 중요성이 증가 되어가고 있다. 이러한 시스템은 응급한 상황에 대한 정확한 판단이 요구된다. Recently, as the proportion of the elderly population increases, many elderly people live alone at home, and these elderly people sometimes experience dangerous situations due to sudden health problems or external factors in their homes. Therefore, the importance of the Personal Emergency Response System, which systematically manages and monitors the continuous health status of the elderly, is increasing. Such a system requires accurate judgment of the emergency situation.

개인건강 감시시스템은 크게 세가지로 구분할 수 있는데, 첫 번째로 의사나 간호사의 직접적으로 건강상태를 체크하는 방법이 있으며, 두 번째로 환자 몸에 전파식별기(RFID), 가속계(accelerometer), 압력센서 등의 센서를 착용하여 생체신호와 보행상태를 감시하는 시스템이 있으며, 세 번째로 적외선, CCTV 카메라와 같은 영상장비를 이용한 영상기반의 감시 시스템이 있다. 상기 첫 번째 방법인 사람(의사나 간호사)이 직접 건강상태를 감시하는 시스템이 가장 좋은 방법이지만 이는 의료인력의 낭비와 부족의 문제가 발생할 수 있다. 상기 두 번째방법인 사람의 몸에 센서를 부착하는 감시시스템은 신체에 센서를 부착하고 정보전송을 위한 추가적 장 비가 필요하며, 건강상태를 감시하기 위해서 항상 몸에 센서등을 착용을 해야 하기 때문에 사용자의 활동에 불편함은 물론 장비의 잘못된 작동을 막기 위해서 훈련과 숙련기간이 필요하다는 단점이 있다. 그러나 상기 세 번째 방법인 영상기반의 시스템은 이러한 단점들을 보완할 수 있다.Personal health monitoring system can be classified into three categories. First, there is a method of directly checking the health status of a doctor or a nurse, and second, a radio frequency detector (RFID), an accelerometer, a pressure sensor, etc. There is a system that monitors bio signals and walking status by wearing sensors. Third, there is a video-based surveillance system using video equipment such as infrared and CCTV cameras. The first method is a system in which a person (doctor or nurse) directly monitors the health status, but this may cause a problem of waste and shortage of medical personnel. The second method, a surveillance system that attaches a sensor to a person's body, requires additional equipment for attaching the sensor to the body and transmitting information, and the user must always wear a sensor to monitor the state of health. In addition to the inconvenience of the operation of the equipment and the operation of the equipment to prevent the malfunction of the disadvantage that is required. However, the third method, an image based system, can compensate for these disadvantages.

따라서 노인의 개인건강 감시시스템으로서 영상기반의 시스템이 요망된다.Therefore, an image-based system is required as a personal health surveillance system for the elderly.

특히 컴퓨터상으로 입력되는 영상데이터를 영상처리를 하고 자동으로 사람의 움직임 판단을 하는, 즉 영상기반으로 노인의 움직임을 감시하여 위급한 상황을 판단하는 노인 움직임 영상감시장치가 요망된다.In particular, there is a need for an elderly motion image monitoring apparatus that performs image processing on image data input on a computer and automatically determines the movement of a person, that is, monitors the movement of the elderly on an image basis to determine an emergency situation.

그러나 종래의 영상기반의 홈-모니터링 시스템에는 미흡한 점이 있다. 영상기반의 비젼 시스템은 센서가 되는 카메라의 각도와 운동상태, 모니터하는 대상과의 거리 그리고 빛의 밝기에 따라 매우 민감하게 결과가 변할 수 있다. However, there is a shortcoming in the conventional image-based home-monitoring system. Image-based vision systems can be very sensitive to results, depending on the camera's angle and motion, the distance to the object being monitored, and the brightness of the light.

이러한 문제점들로 인해 입력 영상신호를 이용하여 사람의 모션 분석(motion estimation)하는 경우, 사람의 실루엣의 크기를 보정하는 전처리 과정을 시행하는데, 이러한 경우 카메라와 사람 사이의 거리가 중요한 요소가 되며, 또한 카메라의 관점이나 각도(camera phase)에 따라서 사람의 자세가 서있는 상태인지, 넘어져 쓰러지거나 움츠리고 있는 상태인지, 혼동할 수 있다. Due to these problems, in case of motion estimation of a person using an input video signal, a preprocessing process for correcting the size of a person's silhouette is performed. In this case, the distance between the camera and the person becomes an important factor. Also, depending on the camera's point of view or angle of camera (camera phase), it can be confusing whether a person's posture is standing, falling, or shrunk.

따라서 본 발명은 이러한 단점을 보완한 노인 움직임 영상감시장치 및 방법을 제공한다. 이를 위해 본 발명에서는 주성분요소 분석(Principal Component Analysis)(이하, PCA라 한다) 방법의 고유벡터(eigenvector), 고유값(eigenvalue)을 이용하여 모니터링 카메라의 거리와 각도에 독립적으로 사람의 넘어짐과 같은 자세의 변화를 검출한다. Accordingly, the present invention provides an elderly motion image surveillance apparatus and method that compensates for these disadvantages. To this end, the present invention uses eigenvectors and eigenvalues of the Principal Component Analysis (hereinafter referred to as PCA) method, such as a person falling down independently of the distance and angle of the monitoring camera. Detect changes in posture.

본 발명은 종래의 영상기반의 홈-모니터링 시스템들의 문제점들에 비해 활동성에 제약을 주지 않으며 자동화된 모니터링의 해결책들을 가지고 있으며, 또한 본 발명은 영상처리와 PCA 알고리즘을 적용하여 일반적으로 감시 카메라(Surveillance Camera)들이 지니고 있는 제한적인 조건, 즉 카메라의 각도와 검출되는 사람의 실루엣의 크기에 영향을 받지 않고 독립적으로 노인의 움직임을 분석하여 넘어짐과 같은 위급한 상황을 판단하도록 알고리즘을 제공한다.The present invention does not limit activity compared to the problems of conventional image-based home-monitoring systems and has solutions for automated monitoring. In addition, the present invention applies an image processing and a PCA algorithm to generally provide a surveillance camera. Algorithms provide an algorithm for judging emergencies such as falls by independently analyzing the movements of the elderly without being affected by the limited conditions of the cameras, that is, the angle of the camera and the size of the detected human silhouette.

본 발명에서 사용하는 PCA의 수학적인 개념을 간략히 설명하면 다음과 같다. Briefly, the mathematical concept of the PCA used in the present invention is as follows.

PCA는 통계적 방법으로 데이터들의 공분산 행렬(covariance matrix)이 필요로 한다. 공분산 행렬을 구하기 위해서는 먼저 데이터들의 평균값(mean)과 분산(variance)을 구해야 한다. 데이터들의 평균은 수학식1과 같으며, 분산은 수학식2와 같이 표현할 수 있다.PCA requires a covariance matrix of data in a statistical manner. To find the covariance matrix, we first need to find the mean and variance of the data. The average of the data is as Equation 1, and the variance can be expressed as Equation 2.

Figure 112006067912016-pat00001
Figure 112006067912016-pat00001

여기서, Xi는 입력 데이터이고, n은 입력데이터 갯수이고,

Figure 112006067912016-pat00002
는 평균이다. Where X i is input data, n is the number of input data,
Figure 112006067912016-pat00002
Is the average.

Figure 112006067912016-pat00003
Figure 112006067912016-pat00003

여기서 ,s는 표분편차이고 s2은 분산이다.Where s is the table deviation and s 2 is the variance.

표준편차와 분산은 단지 1차원에서만 의미를 가지게 되므로 우리는 데이터 집단에서 독립적으로 각각의 다른 차원에서 데이터들의 분산만을 구할 수 밖에 없다. 하지만 동일한 방법으로 서로 다른 차원의 데이터들을 기준으로 여러 차원의 관계 속에서 분산의 정보를 얻을 수 있는데, 이것이 공분산 행렬이다. 공분산은 각각의 차원 안의 데이터들의 분산과 서로 다른 차원관계 안에서의 데이터들의 분산으로 나타날 수 있다. 이러한 의미는 다음의 수학식 3과 수학식 4를 통해 알 수 있다.Since standard deviations and variances have meaning only in one dimension, we have to find the variance of the data in each other dimension independently of the data group. However, in the same way, we can obtain the information of variance in relations of different dimensions based on data of different dimensions, which is a covariance matrix. Covariance can be expressed as the variance of the data in each dimension and the variance of the data in different dimensional relationships. This meaning can be understood through Equations 3 and 4 below.

Figure 112006067912016-pat00004
Figure 112006067912016-pat00004

여기서, Xi, Yi는 서로 다른 차원의 입력 데이터들이고, Xi의 평균은

Figure 112006067912016-pat00005
이고 Yi의 평균은
Figure 112006067912016-pat00006
이다.Where X i and Y i are input data of different dimensions, and the mean of X i is
Figure 112006067912016-pat00005
And the mean of Y i is
Figure 112006067912016-pat00006
to be.

Figure 112006067912016-pat00007
Figure 112006067912016-pat00007

수학식 3과 수학식 4를 통해서 보면 각각의 차원에서 분산의 곱으로 표현하는데 수학식 4와 같이 동일한 데이터 집단의 차원의 공분산은 분산과 동일한 것을 알 수 있다.In Equation 3 and Equation 4, it is expressed as the product of variance in each dimension. As shown in Equation 4, the covariance of the dimension of the same data group is the same as the variance.

공분산 행렬은 수학식 5와 같이 나타낼 수 있다.The covariance matrix may be expressed as in Equation 5.

Figure 112006067912016-pat00008
Figure 112006067912016-pat00008

본 발명은 이 공분산 행렬의 계산을 통해서 고유값 λ와 고유벡터

Figure 112006067912016-pat00009
를 수학식 6을 이용하여 구한다. 만약 2차원이라면 2개의 λ가 획득될 것이며 이에 해당하는 각각의 벡터들이 2개를 얻을 수 있다.The present invention calculates the eigenvalues λ and eigenvectors by calculating this covariance matrix.
Figure 112006067912016-pat00009
Is obtained using Equation 6. If it is two-dimensional, two λ will be obtained and two corresponding vectors can be obtained.

Figure 112006067912016-pat00010
Figure 112006067912016-pat00010

주성분 요소분석방법의 특징 중에 하나로 동일한 시간상에 분포하는 데이터 집단의 경우, 분산의 정도가 큰 방향들의 벡터들을 구할 수 있다. 상술한 바와 같이 공분산 행렬의 행렬 계산으로 고유값(eigenvalue)과 이에 해당하는 각각의 고유벡터들을 구할 수 있다. 이중 고유값이 높은 것에 해당하는 벡터가 그 데이터 집단의 중요한 요소가 되며 보다 작은 고유값의 벡터는 첫 번째 벡터보다는 중요도가 적은 벡터라는 의미를 가지고 있다. One of the characteristics of Principal Component Analysis is that for data groups distributed over the same time, vectors of directions with large variance can be obtained. As described above, an eigenvalue and corresponding eigenvectors can be obtained by matrix calculation of a covariance matrix. A vector with a higher eigenvalue becomes an important element of the data group, and a vector with a smaller eigenvalue is less important than the first vector.

본 발명이 이루고자 하는 기술적 과제는 활동성에 제약을 주지 않으며 자동화된 모니터링을 하여 노인의 움직임을 분석하며 위급한 상황을 판단하는 노인 움직임 영상 감시 장치 및 방법을 제공하는 데 있다.The technical problem to be achieved by the present invention is to provide an elderly motion image monitoring apparatus and method for analyzing the movement of the elderly and determining the emergency situation by performing automated monitoring without restricting the activity.

본 발명이 이루고자 하는 또 다른 기술적 과제는 영상처리와 PCA 알고리즘을 적용하여 일반적으로 감시 카메라(Surveillance Camera)들이 지니고 있는 제한적인 조건, 즉 카메라의 각도와 검출되는 사람의 실루엣의 크기에 영향을 받지 않고 독립적으로 노인의 움직임을 분석하여 위급한 상황을 판단하는 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치 및 방법을 제공하는 데 있다.Another technical problem to be achieved by the present invention is to apply image processing and PCA algorithms, without being affected by the limited conditions of Surveillance Cameras in general, that is, the angle of the camera and the size of the silhouette of the detected person. An object of the present invention is to provide an apparatus and a method for monitoring the elderly motion image using the principal component method for independently analyzing the movement of the elderly.

이하 본 발명의 일 실시예에 의한 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치 및 방법의 구성 및 동작을 첨부한 도면을 참조하여 상세히 설명한다. Hereinafter, the structure and operation of the elderly motion image monitoring apparatus and method using the principal component method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 일 실시예에 의한 주성분 요소방법(PCA)을 이용한 노인 움직임 영상 감시 장치를 개략적으로 설명하기 위한 개념도로서, 감시카메라부(100), 모니터링 연산처리부(200), 중앙제어부(700), 출력부(800)으로 이루어진다.1 is a conceptual diagram for schematically illustrating an elderly motion image monitoring apparatus using a principal component method (PCA) according to an embodiment of the present invention, the surveillance camera unit 100, the monitoring operation processing unit 200, the central control unit 700, the output unit 800.

감시카메라부(100)는 다수의 감시카메라로 이루어져, 노인의 영상을 모니터링 연산처리부(200)로 전송한다. 상기 감시카메라로 적외선 카메라 또는 CCTV 카메라 등을 사용할 수 있다.Surveillance camera unit 100 is composed of a plurality of surveillance cameras, and transmits the image of the elderly to the monitoring operation processing unit 200. An infrared camera or a CCTV camera may be used as the surveillance camera.

모니터링 연산처리부(200)는 감시카메라부(100)로부터 수신된 영상을 데이터처리하여 중앙제어부(700)로 전송한다.The monitoring operation processor 200 processes the image received from the surveillance camera unit 100 and transmits the data to the central controller 700.

여기서 데이터처리는 영상데이터 압축을 하여 중앙제어부(700)로 전송할 수 있으며, 주성분 요소방법을 이용한 노인 움직임 영상을 분석하여 중앙제어부(700)로 전송할 수 있다. 즉 모니터링 연산처리부(200)는, 감시카메라부(100)로 부터 촬영되어 디지탈신호로 변환되어 입력된 영상정보에서 영상의 배경으로부터 사람의 실루엣을 분리하는 영상전처리부(미도시), 상기 영상전처리부에서 분리된 사람의 실루엣의 정보에 주성분요소방법(PCA)알고리즘을 적용하여 사람의 실루엣의 고유벡터(eigenvector)의 크기의 비율(즉 고유값)들의 변화를 파라미터로 자세변화를 분석하는 자세변화분석부(미도시)를 구비할 수 있다. 주성분 요소방법을 이용한 노인 움직임 영상의 분석은 모니터링 연산처리부(200)에서 이루어질 수도 있으며 또는 중앙제어부(700)에서 이루어져도 상관없다. Here, the data processing may be transmitted to the central control unit 700 by compressing the image data, and may be transmitted to the central control unit 700 by analyzing the elderly moving image using the principal component method. That is, the monitoring operation processing unit 200 is an image preprocessing unit (not shown) which separates the silhouette of a person from the background of the image in the input image information which is captured by the surveillance camera unit 100 and converted into a digital signal. A posture change analysis unit that analyzes the posture change by applying the change of the ratio (i.e. eigenvalues) of the magnitude of the eigenvector of the person's silhouette by applying the principal component method (PCA) algorithm to the information of the separated person's silhouette. (Not shown) may be provided. Analysis of the elderly motion image using the principal component method may be performed by the monitoring operation processor 200 or may be performed by the central controller 700.

중앙제어부(700)는 모니터링 연산처리부(200)로부터 수신된 정보를 출력부(800)로 전송한다. 즉, 중앙제어부(700)는 모니터링 연산처리부(200)로부터 수신된 정보를 병원의 의사 컴퓨터로 전송하며, 위급상황일 경우는 의사 또는 가족의 휴대폰 또는 PDA로 알린다.The central control unit 700 transmits the information received from the monitoring operation processor 200 to the output unit 800. That is, the central control unit 700 transmits the information received from the monitoring operation processor 200 to the doctor's computer of the hospital, and informs the doctor or family's mobile phone or PDA in case of an emergency.

출력부(800)는 병원의 의사 컴퓨터, 의사 또는 가족의 휴대폰 또는 PDA로 이루어져, 중앙제어부(700)로부터 수신된 데이터를 출력한다. 즉 출력부(800)는 중앙제어부(700)로부터 수신된 정보를 병원의 의사 컴퓨터로 전송하며, 위급상황일 경우는 의사 또는 가족의 휴대폰 또는 PDA 또는 무선단말기로 위급상황임을 알린다.The output unit 800 consists of a doctor's computer, a doctor's or family's mobile phone or PDA, and outputs data received from the central control unit 700. That is, the output unit 800 transmits the information received from the central control unit 700 to the doctor's computer of the hospital, and in the case of an emergency, it informs the emergency of the doctor or family's mobile phone or PDA or wireless terminal.

도 2는 본 발명의 바람직한 일 실시예에 의한 주성분 요소방법을 이용한 노 인 움직임 영상 감시 방법을 개략적으로 설명하기 위한 설명도이다. FIG. 2 is an explanatory diagram for schematically illustrating a method for monitoring a motion of an elderly man using the principal component method according to an exemplary embodiment of the present invention.

영상전처리(S100)단계는 카메라로 부터 촬영되어 디지탈신호로 변환되어 입력된 영상정보에서 영상의 배경으로부터 사람의 실루엣을 분리한다.In the image preprocessing step S100, the silhouette of the person is separated from the background of the image in the input image information which is captured by the camera and converted into a digital signal.

자세변화분석(S200)단계는 상기 영상전처리(S100)단계에서 분리된 사람의 실루엣의 정보에 주성분요소방법(PCA)알고리즘을 적용하여 사람의 실루엣의 고유벡터(eigenvector)의 비율들의 변화를 파라미터로 자세변화를 분석한다. The posture change analysis step (S200) is to apply the principal component factor method (PCA) algorithm to the information of the silhouette of the person separated in the image preprocessing step (S100) to change the proportions of the eigenvectors of the silhouette of the person as parameters. Analyze posture changes.

만약 급격한 변화가 검출되어 응급상황인지를 판단하여(S300), 응급상황이면 의사 또는 가족 등의 휴대폰, 무선단말기 등에게 응급상황임을 알린다.If a sudden change is detected to determine whether it is an emergency (S300), if it is an emergency, inform the doctor or family, such as a mobile phone, a wireless terminal that the emergency.

도 3은 도2의 영상전처리 단계를 설명하기 위한 흐름도이다.FIG. 3 is a flowchart for explaining an image preprocessing step of FIG. 2.

촬영영상단계(S105)는 감시 카메라로 부터 출력된 영상을 디지탈신호로 변환한다.The captured image step S105 converts the image output from the surveillance camera into a digital signal.

미디언 필터링 단계(S110)는 촬영영상단계(S105)로부터 입력된 영상을 5x5의 미디언 필터(Median Filter)를 통해 영상의 전송과 코딩과정에서 생긴 쏠트앤페이퍼(Salt and Peppers) 노이즈와 같은 랜덤 노이즈를 제거한다. The median filtering step (S110) randomly inputs the image input from the captured image operation step (S105) such as salt and peppers noise generated during the transmission and coding of the image through a 5 × 5 median filter. Remove the noise.

종래에는 평균필터를 주로 사용하는데, 평균필터로 노이즈를 제거한다면 노이즈의 영향이 주변의 영역에 크게 미쳐 영상정보의 손실을 준다. 따라서 본 발명은 비선형적 특징이 있는 미디언 필터를 사용한다. 미디언 필터는 비선형적인 특성을 지니고 있는 신호들에게 적합한 필터로 영상에 처음으로 적용하여 노이즈를 제거함과 동시에 스무딩의 효과로 경계선 검출과 영역구분에 도움을 준다. Conventionally, the average filter is mainly used. If the noise is removed by the average filter, the influence of the noise greatly affects the surrounding area, resulting in loss of image information. Thus, the present invention uses median filters with nonlinear features. The median filter is a filter suitable for signals having nonlinear characteristics. It is applied to an image for the first time to remove noise, and at the same time, it helps edge detection and area classification by the effect of smoothing.

차이 영상획득 단계(S120)는 미디언 필터링 단계(S110)의 출력으로부터 배경 에서 움직이는 사람을 분리해내는 과정을 수행한다. 사람이 카메라의 촬영범위에 들어 오지 않을 때의 배경영상의 10개의 프레임의 평균값을 구하여 배경모델 (Background Model)을 구축한다. 본 발명에서는 미리 구축된 배경모델을 가지고 사람이 영상에 들어오는 시점부터 차이값으로 배경에서 사람을 분리하는 방법을 사용한다. 또한 이와 함께 매시간 프레임의 영상 차이를 구하여 함께 사람을 검출한다. 프레임의 영상 차이를 통한 방법은 사람의 움직임이 있는 프레임 사이에서 경계선 정보가 검출된다. 배경모델과 프레임간의 차이 영상정보를 통해 배경으로부터 사람을 검출했다. 이는 수학식 7과 같다.The difference image acquisition step S120 performs a process of separating the person moving in the background from the output of the median filtering step S110. The background model is constructed by obtaining the average value of 10 frames of the background image when a person does not enter the camera's shooting range. The present invention uses a method of separating a person from the background by a difference value from the time when a person enters an image with a pre-built background model. At the same time, the image difference of each frame is obtained to detect a person together. In the method of image difference of a frame, boundary information is detected between frames in which a human motion is performed. The difference between the background model and the frame was detected by people from the background. This is shown in Equation 7.

사람 검출 = 배경모델의 차이 + 프레임간의 차이Human Detection = Difference in Background Model + Difference Between Frames

침식(erosion) 연산단계(S130)는 모폴로지 기법 (Morphological processing)의 6x6의 필터를 적용하여 침식연산 처리를 한다. In the erosion operation step S130, an erosion calculation process is performed by applying a 6 × 6 filter of morphological processing.

가우시안 블러(Gaussian Blur) 단계(S140)는 침식연산(erosion) 단계(S130)의 출력에서 가우시안 함수의 콘볼루션으로 영상의 남은 노이즈 블러링과 사람의 실루엣의 경계를 스무딩 시킨다.The Gaussian Blur step S140 smoothes the residual noise blurring of the image and the boundary of the human silhouette with a convolution of the Gaussian function at the output of the erosion operation step S130.

팽창(dilation) 연산단계(S150)는 가우시안 블러(Gaussian Blur) 단계(S140)의 출력에 모폴로지 기법의 6x6의 필터를 적용하여 팽창연산 처리를 한다.In the expansion operation step S150, an expansion operation is performed by applying a 6 × 6 filter of the morphology technique to the output of the Gaussian Blur step S140.

다시말해, 침식연산단계(S130), 가우시안 블러 단계(S140), 팽창연산단계(S150)는, 차이 영상획득 단계(S120)의 사람 검출결과에 사람 주변부에 배경들의 경계와 노이즈들이 있는데, 이를 제거하기 위해, 모폴로지기법(Morphological processing)의 6x6의 필터를 적용하여 침식(erosion)과 팽창(dilation) 처리를 하였으며, 모폴로지 처리과정 중간에 가우시안 함수의 콘볼루션으로 영상의 남은 노이즈 블러링과 사람의 실루엣의 경계를 스무딩 시키는 것이다.In other words, the erosion calculation step (S130), the Gaussian blur step (S140), and the expansion operation step (S150) include the boundaries and noises of the backgrounds around the person in the human detection result of the difference image acquisition step (S120). For this purpose, erosion and dilation were applied by applying a 6x6 filter of Morphological processing, and Gaussian convolution in the middle of the morphology process was used to blur the residual noise of the image and human silhouette. Is to smooth the boundary.

이진 영상단계(S160)는 팽창(dilation) 연산단계(S150)의 출력을 이진화하는 것으로, 이는 영상 전처리 과정 최종의 과정에 해당한다. 이진화를 하는 기준값은 영상의 히스토그램 분석 후 기준값을 설정하여 사람의 실루엣을 이진화시킨다. The binary image step S160 binarizes the output of the dilation calculation step S150, which corresponds to the final image preprocessing process. The binarization reference value binarizes the human silhouette by setting the reference value after analyzing the histogram of the image.

침식연산단계(S130), 가우시안 블러 단계(S140), 팽창연산단계(S150), 이진 영상단계(S160)를 사람의 실루엣 추출부라 할 수 있다.The erosion calculation step (S130), the Gaussian blur step (S140), the expansion calculation step (S150), and the binary image step (S160) may be referred to as human silhouette extracting units.

영상전처리(S100)단계에서 실시간으로 획득한 사람의 실루엣의 정보를 가지고 자세변화분석(S100)단계에서 주성분요소분석(PCA)방법을 적용하여 카메라와 사람과의 거리와 카메라 각도에 독립적으로 사람의 자세를 분석한다.With the information of the silhouette of the person acquired in real time in the image preprocessing step (S100), the principal component factor analysis (PCA) method is applied in the posture change analysis step (S100) to independently determine the distance between the camera and the person and the camera angle. Analyze your posture.

영상전처리(S100)단계의 2차원 영상의 전처리에서 얻은 실루엣의 고유벡터의 길이의 변화가 사람의 움직임의 변화를 검출할 수 있는 중요한 요소이다. 각각의 벡터에 해당하는 고유값의 의미는 영상에 존재하는 실루엣의 데이터들의 분포들의 중요도를 나타내고 있는 것이다. 즉 실루엣의 데이터 집단에서 2개의 벡터 중에 하나가 벡터의 길이가 길다라는 것은 고유값이 높다는 것을 말하며 이 벡터방향으로 데이터들이 강한 패턴을 보임을 알 수 있다.The change in the length of the eigenvector of the silhouette obtained in the preprocessing of the two-dimensional image in the image preprocessing step (S100) is an important element to detect the change in the movement of a person. The meaning of the eigenvalue corresponding to each vector indicates the importance of the distributions of the data of the silhouette existing in the image. In other words, one of the two vectors in the silhouette data group indicates that the vector has a long eigenvalue and that the data show a strong pattern in this vector direction.

자세변화분석(S100)단계는 각각의 사람의 실루엣의 고유벡터들의 길이의 비를 중요한 요소로 사람의 자세의 변화를 관찰한다. 다시 말해서 고유벡터의 길이의 비는 각각의 고유값의 비와도 동일한 요소로 볼 수 있기 때문에 사람의 자세의 변화, 즉 노인의 갑작스러운 넘어짐을 카메라의 거리와 촬영각도에 독립적으로 검출할 수 있도록 구성된다.The posture change analysis step (S100) observes the change in the posture of a person as an important factor of the ratio of the lengths of the eigenvectors of each person's silhouette. In other words, the ratio of the lengths of the eigenvectors can be seen as the same factors as the ratios of the eigenvalues, so that the change in human posture, that is, the sudden fall of the elderly, can be detected independently of the camera distance and shooting angle. It is composed.

도 4는 본 발명의 바람직한 일 실시예에 의한 노인의 자세분석을 위한 주성분요소(PCA) 적용을 설명하기 위한 설명도이다. Figure 4 is an explanatory diagram for explaining the application of the principal component (PCA) for posture analysis of the elderly according to an embodiment of the present invention.

도 4의 1은 사람이 스탠딩(standing)상태일 때 PCA를 이용한 자세분석을 위한 벡터로, 벡터들간의 비율은 작다. 이는 한성분의 벡터가 매우 크기 때문이다. 하지만 사람이 넘어짐과 같은 자세의 변화가 시작되면, 넘어지는 자세를 시간의 흐름대 나타내면 도 4의 2, 도 4의 3, 도 4의 4의 자세로 나타내어질 수 있는데, 도 4의 1에서 도 4의 3까지 자세가 변화하는 동안 벡터들간의 비율은 증가하며, 넘어져서 도 4의 4의 자세와 같은 상태가 되면 다시 벡터들간의 비율이 작아진다. 본 발명에서는 이러한 벅터들간의 비율을 사용하여, 모니터링 카메라의 각도와 거리에 상관없이 오로지 사람의 실루엣에서 PCA를 이용한 자세분석을 위한 벡터들간의 비율이라는 새로운 파라미터로 분석한다.4 is a vector for posture analysis using PCA when a person is standing, and the ratio between the vectors is small. This is because the vector of one component is very large. However, when a change in posture such as a person starts to fall, when the falling posture is represented as a passage of time, the posture of FIG. 4 may be represented by the postures of FIG. 4, FIG. 3, and FIG. 4. The ratio between the vectors increases while the posture changes up to 3 of 4, and when it falls down and becomes the same as the posture of 4 of FIG. 4, the ratio between the vectors decreases again. In the present invention, using the ratio between the buckers, regardless of the angle and distance of the monitoring camera, a new parameter called the ratio between the vectors for the posture analysis using the PCA in the human silhouette.

즉, 도 4의 각 자세에서 고유벡터들의 길이(크기)비가 변화함으로써, 고유값의 비 또한 변화하는데, 본 발명은 이 고유값의 비로 노인의 넘어짐을 검출한다. That is, as the length (size) ratio of the eigenvectors in each posture of FIG. 4 changes, the ratio of the eigenvalues also changes, and the present invention detects the fall of the elderly by the ratio of the eigenvalues.

도 5는 도 4에서 노인의 넘어짐 모니터링에 적용한 주성분요소분석방법의 흐름을 정리한 표이다.5 is a table summarizing the flow of the principal component analysis method applied to the fall monitoring of the elderly in FIG.

카메라에 따른 초기의 사람의 실루엣의 각각의 벡터들의 고유값의 비를 계산한다(도 5의 1).The ratio of the eigenvalues of the respective vectors of the initial human silhouette according to the camera is calculated (1 in FIG. 5).

이렇게 계산된 고유값의 변화를 매 일정시간 마다 관찰한다(도 5의 2).The change in the eigen value calculated as described above is observed every predetermined time (2 in FIG. 5).

고유값의 변화가 어느 일정기준 이상 인지를 계산한다(도 5의 3).Calculate whether the change in the eigen value is more than a certain standard (3 in Figure 5).

고유값의 비가 기준값 이상의 급격한 변화를 보이면 사람이 넘어진것으로 판단한다(도 5의 4).When the ratio of the eigenvalues shows a drastic change over the reference value, it is determined that the person has fallen (Fig. 5 4).

도 6은 도 2의 자세변화분석 단계를 설명하기위한 시퀀스다이어그램이다.6 is a sequence diagram for explaining the posture change analysis step of FIG.

자세변화분석단계는 데이터 세트 입력단계(S205), 평균값 연산단계(S213), 분산연산단계(S217), 고유값 및 고유벡터 연산단계(S230), 출력단계(S250)로 이루어진다. 단, 여기서는 영상의 x,y축의 2차원에만 대하여 설명하나 이는 본 발명을 2차원에 한정하고자 한 것이 아님을 사전에 밝혀둔다.The posture change analysis step includes a data set input step S205, an average value calculation step S213, a variance calculation step S217, an eigenvalue and eigenvector calculation step S230, and an output step S250. Here, only two dimensions of the x and y axes of the image will be described, but it will be clear that the present invention is not intended to be limited to the two dimensions.

데이터 세트 입력단계(S205)는 영상의 x,y좌표의 2차원의 세트의 데이터가 영상전처리단계(S100)로부터 입력된다. 영상전처리단계(S100)로부터 입력된 데이터는 영상전처리에 의한 사람의 실루엣의 이진화 영상을 말하며 데이터 세트는 실루엣의 x좌표, y좌표로 2차원의 데이터 세트이다. In the data set input step (S205), data of a two-dimensional set of x and y coordinates of an image is input from the image preprocessing step (S100). Data input from the image preprocessing step (S100) refers to a binarized image of a silhouette of a person by image preprocessing, and the data set is a two-dimensional data set with x and y coordinates of the silhouette.

평균값 연산단계(S213)는 데이터 세트 입력단계(S205)에서 입력된 x좌표의 데이터와 y좌표의 데이터의 각각에서 평균(mean)값을 구한다. 즉. 사람의 실루엣 영상에서 실루엣의 x좌표, y 좌표들의 평균값을 말한다.The average value calculating step S213 obtains a mean value from each of the data of the x coordinate and the data of the y coordinate input in the data set input step S205. In other words. The average value of the x- and y-coordinates of a silhouette in a human silhouette image.

분산연산단계(S217)는 평균값연산단계(S213)에서 구해진 x좌표의 데이터와 y좌표의 데이터의 각각의 평균(mean)값을 기준으로 x좌표의 데이터와 y좌표의 데이터의 각각의 모든 데이터들의 분산(variance)를 구한다. x좌표의 평균값을 기준으로 사람의 실루엣 데이터의 x좌표의 분산들을 구하고 같은방법으로 y좌표의 분산도 구한다. 그리고 x좌표와 y좌표간의 공분산(covariance)을 구한다. 이렇게 구한 영 상내의 사람 실루엣의 x좌표의 분산, y좌표의 분산, x좌표와 y좌표의 공분산을 가지고 공분산행렬(covariance matrix)을 구한다.In the variance operation step S217, all data of each of the data of the x-coordinate and the data of the y-coordinate are determined based on the mean values of the data of the x-coordinate and the y-coordinate obtained in the mean value calculation step S213. Find the variance Find the variances of the x-coordinates of the human silhouette data based on the average value of the x-coordinates, and find the variances of the y-coordinates in the same way. The covariance between the x and y coordinates is obtained. The covariance matrix is obtained from the variance of the x-coordinate, the y-coordinate, and the co-variance of the x- and y-coordinates of the human silhouette.

고유값과 고유벡터연산단계(S230)는 분산연산단계(S217)에서 구한 공분산행렬을 이 행렬에 대한 고유값(eigenvalue)를 구한다. 영상이 2차원이므로 고유값은 2개가 나오게 된다. 그리고 이에 해당하는 각각의 고유벡터도 함께 구하게 된다.In the eigenvalue and eigenvector operation step S230, the eigenvalue for the matrix is obtained from the covariance matrix obtained in the variance operation step S217. Since the image is two-dimensional, two eigenvalues are produced. Each corresponding eigenvector is also obtained.

출력단계(S250)는 고유값과 고유벡터연산단계(S230)에서 2차원 영상내에 존재하는 사람의 실루엣의 고유값과 고유벡터의 2개 검출한 결과를 출력한다. 이중 고유값이 높은 벡터가 사람의 실루엣의 데이터 세트의 PCA 결과중 높은 영향력이 있는 요소라고 할 수 있다. 그 다음 2번째 높은 고유값과 이에 해당하는 벡터는 그 다음으로 중요한 요소라고 할 수 있다.The output step S250 outputs a result of detecting two eigenvalues and eigenvectors of the silhouette of a person present in the two-dimensional image in the eigenvalue and eigenvector calculation step S230. A vector with a high eigenvalue is a highly influential element of the PCA results of the data set of the human silhouette. The second highest eigenvalue and the corresponding vector are the next most important factor.

이러한 과정을 통해 구한 2차원 영상내의 사람의 실루엣의 PCA 결과로 이 데이터 세트의 2가지 요소들을 구할 수 있다. 본 발명은 시간에 따른 이러한 벡터들과 고유값들의 비율을 관찰하여 비율의 급격한 변화를 파라미터로 사람의 자세변화를 검출한다. 본 발명은 카메라의 각도와 거리에 독립적으로 노인의 자세를 검출할 수 있다.Two components of this data set can be obtained as the PCA result of the silhouette of the person in the two-dimensional image obtained through this process. The present invention observes the ratio of these vectors and eigenvalues over time and detects a change in posture of a person using a sudden change in the ratio as a parameter. The present invention can detect the posture of the elderly independently of the angle and distance of the camera.

도 7은 본 발명의 바람직한 일 실시예에 의한 주성분 요소방법을 이용한 노인 움직임 영상 감시 방법의 개략적인 시퀀스다이어그램이다.7 is a schematic sequence diagram of an elderly motion image monitoring method using a principal component method according to an embodiment of the present invention.

감시 카메라로부터 출력된 영상을 디지탈신호로 변환하여 미디언 필터를 통해 랜덤 노이즈를 제거하고 차이영상획득부로 전송한다(S115). The video output from the surveillance camera is converted into a digital signal to remove random noise through a median filter and transmitted to the difference image acquisition unit (S115).

차이영상획득부는 수신된 영상정보로 부터 배경모델을 구축하며(S123), 미리 구축된 배경모델을 가지고 사람이 영상에 들어오는 시점부터 차이값으로 배경에서 사람을 분리하기위해 매시간 배경모델 차이 영상정보와 프레임간의 차이 영상정보를 구하여 사람 실루엣 추출부로 전송한다(S127). The difference image acquisition unit constructs a background model from the received image information (S123), and with the background image difference image information every hour to separate the person from the background with the difference value from the time when the person enters the image with the pre-built background model. The difference image information between frames is obtained and transmitted to the human silhouette extracting unit (S127).

사람 실루엣 추출부는 배경모델과 프레임간의 차이 영상정보를 통해 배경으로부터 사람을 검출하며, 사람 검출결과에 사람 주변부에 배경들의 경계와 노이즈들이 있는데, 이를 제거하기 위해, 침식(erosion), 가우시안 블러, 팽창(dilation) 연산처리를 한 결과를 이진화 하여 자세변화분석부로 전송한다(S155).The human silhouette extracting unit detects a person from the background through the difference image information between the background model and the frame. In the human detection result, there are boundary and noises of the backgrounds around the person. To remove this, erosion, Gaussian blur, and swelling are removed. (dilation) Binarize the result of the calculation process and transmit it to the posture change analyzer (S155).

자세변화분석부는 수신된 사람의 실루엣의 정보로부터 실루엣의 평균과 분산을 구하며(S210), 실루엣의 평균과 분산을 이용하여 공분산을 구하며(S220), 고유값과 고유벡터를 구하고(S230), 고유벡터의 비율을 구하여 사람동작 검출부로 전송한다(S240).The posture change analysis unit obtains the average and the variance of the silhouette from the received silhouette information (S210), obtains the covariance using the average and the variance of the silhouette (S220), obtains the eigenvalues and eigenvectors (S230), The ratio of the vector is obtained and transmitted to the human motion detector (S240).

도 8은 도 6의 자세변화분석 단계를 적용하여 사람의 넘어지는 자세변화를 분석한 일예이다.FIG. 8 is an example of analyzing a person's falling posture change by applying the posture change analyzing step of FIG. 6.

도 4에서 설명한 바와 같이 상기 고유값과 고유벡터연산단계(S230)에서 구하여진 고유벡터의 비율이 사람이 서있는(standing) 상태에서 넘어지는 자세의 변화가 시작되어 넘어지기 전까지는 고유벡터들간의 비율은 크며, 완전히 넘어진 상태가 되면 고유벡터들간의 비율이 작아짐을 알 수 있다.As described in FIG. 4, the ratio between the eigenvectors and the eigenvectors calculated in the eigenvector calculation step (S230) until the change in the attitude of falling in the standing state of the person starts and falls. Is large and the ratio between the eigenvectors decreases when it falls down completely.

본 발명은 이상에서 설명되고 도면에 예시된 것에 의해 한정되는 것은 아니며, 당업자라면 다음에 기재되는 청구범위 내에서 더 많은 변형 및 변용예가 가능한 것임은 물론이다.The present invention is not limited to the above described and illustrated in the drawings, and of course, more modifications and variations are possible to those skilled in the art within the scope of the following claims.

이상에서 설명한 바와 같이, 본 발명은 활동성에 제약을 주지 않으며 자동화된 모니터링을 하여 노인의 움직임을 분석하며 위급한 상황을 판단하는 노인 움직임 영상 감시 장치 및 방법을 제공한다. As described above, the present invention provides an elderly motion image monitoring apparatus and method for analyzing the movement of the elderly and determining an emergency situation by performing automated monitoring without restricting the activity.

또한 본 발명은 영상처리와 PCA 알고리즘을 적용하여 일반적으로 감시 카메라(Surveillance Camera)들이 지니고 있는 제한적인 조건, 즉 카메라의 각도와 검출되는 사람의 실루엣의 크기에 영향을 받지 않고 독립적으로 노인의 움직임을 분석하여 위급한 상황을 판단하는 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치 및 방법을 제공한다.In addition, the present invention is applied to the image processing and PCA algorithm, the motion of the elderly independently without being affected by the limited conditions of the surveillance cameras (Surveillance Cameras), that is, the angle of the camera and the size of the silhouette of the detected person. Provided are an elderly motion image monitoring apparatus and method using a principal component method for analyzing an emergency situation.

다시말해, 본 발명의 노인 움직임 영상 감시 방법은 주성분요소방법(Principal Component Analysis)의 데이터분석 기술을 적용하여 사람의 자세분석을 사람의 몸의 실루엣 벡터들 간의 비율의 변화를 연속적으로 획득하는 영상을 매초 2-3번의 영상캡쳐로 자세분석을 통해 갑작스러운 넘어짐의 발생을 분석하여 카메라 제약조건에 독립적으로 정확한 응급한 상황 판단이 가능하도록 하였다. 본 발명을 노인들을 위한 영상기반의 모니터링에 적용, 다른 네트워크, 모바일 연구 분야와 연계 연구를 한다면 향상된 원격진료시스템과 홈-헬스케어 시스템이 가능하다. 즉 본 발명은 노인을 위한 홈 모니터링, 헬스케어 시스템에 효과적으로 적용 될 수 있다.In other words, the method for monitoring the motion of the elderly according to the present invention applies a data analysis technique of Principal Component Analysis to obtain an image of continuously acquiring a change in the ratio between the silhouette vectors of the human body by analyzing the human posture. By capturing 2-3 images per second, posture analysis was used to analyze the occurrence of sudden falls, enabling accurate emergency judgment independent of camera constraints. If the present invention is applied to the image-based monitoring for the elderly, and connected to other network, mobile research field, improved remote medical care system and home healthcare system are possible. In other words, the present invention can be effectively applied to home monitoring, healthcare system for the elderly.

Claims (9)

감시 카메라로 부터 촬영되어 디지탈신호로 변환되어 입력된 영상정보에서 영상의 배경으로부터 사람의 실루엣을 분리하여 이진화된 영상을 출력하는 영상전처리 단계(S100); An image preprocessing step of outputting a binarized image by separating a silhouette of a person from a background of the image from the image information which is captured by the surveillance camera and converted into a digital signal; 상기 영상전처리(S100)단계에서 분리된 사람의 실루엣의 정보에 주성분요소방법(PCA)알고리즘을 적용하여 사람의 실루엣의 고유벡터(eigenvector)의 크기 비율의 변화를 파라미터로 추출하여 자세변화를 분석하는 자세변화분석 단계(S200); The PCA algorithm is applied to the information of the silhouette of the person separated in the image preprocessing step (S100) to extract a change in the ratio of the eigenvectors of the silhouette of the person as a parameter and analyze the posture change. Posture change analysis step (S200); 사람의 실루엣의 고유벡터의 크기 비율에서 급격한 변화가 검출되면 응급상황으로 판단하는 응급상황 판단단계(S300);An emergency situation determination step (S300) of determining an emergency situation when a sudden change in the magnitude ratio of the eigenvectors of the human silhouette is detected; 상기 응급상황판단 단계(S300)에서 응급상황이면 의사 또는 가족에게 무선 단말기로 응급상황임을 알리는 응급상황 알림단계;An emergency situation notification step of notifying an emergency situation to a wireless terminal to a doctor or a family when an emergency situation is determined in the emergency situation determination step (S300); 를 구비하는 것을 특징으로 하는 노인 움직임 영상 감시 방법.Elderly motion image monitoring method comprising the. 다수의 감시카메라로 이루어져, 노인의 영상을 촬영하여 출력하는 감시카메라부(100); 상기 감시카메라부(100)로부터 수신된 영상을 주성분 요소방법을 이용한 노인 움직임 영상을 분석하는 모니터링 연산처리부(200); 상기 모니터링 연산처리부(200)로부터 수신된 정보를 병원의 의사 컴퓨터로 전송하며, 위급상황일 경우는 의사 또는 가족의 무선단말기로 알리는 중앙제어부(700);를 구비하는 노인 움직임 영상 감시장치에 있어서,Surveillance camera unit consisting of a plurality of surveillance cameras, for taking an image of the elderly and outputting; A monitoring operation processor 200 for analyzing the motion image of the elderly using the principal component method of the image received from the surveillance camera unit 100; In the elderly motion image monitoring apparatus having a; central control unit 700 for transmitting the information received from the monitoring operation processing unit 200 to the doctor's computer of the hospital, in case of emergency situation to inform the wireless terminal of the doctor or family, 상기 모니터링 연산처리부(200)는The monitoring operation processing unit 200 감시 카메라로 부터 촬영되어 디지탈신호로 변환되어 입력된 영상정보에서 영상의 배경으로부터 사람의 실루엣을 분리하는 영상전처리부;An image preprocessor configured to separate a silhouette of a person from the background of the image in the input image information which is captured by the surveillance camera and converted into a digital signal; 상기 영상전처리(S100)단계에서 분리된 사람의 실루엣의 정보에 주성분요소방법(PCA)알고리즘을 적용하여 사람의 실루엣의 고유벡터의 크기 비율의 변화를 파라미터로 추출하여 자세변화를 분석하는 자세변화분석부; Posture change analysis to analyze the posture change by extracting the change in the ratio of the magnitude of the eigenvector of the person's silhouette as a parameter by applying PCA algorithm to the information of the person's silhouette separated in the image preprocessing step (S100) part; 를 구비한 것을 특징으로 하는 노인 움직임 영상 감시장치. Elderly motion image monitoring device comprising the. 제1항에 있어서,The method of claim 1, 상기 영상전처리(S100)단계는,The image preprocessing step (S100), 상기 감시 카메라로 부터 출력된 영상을 디지탈신호로 변환하는 촬영영상단계(S105);A captured image step (S105) of converting an image output from the surveillance camera into a digital signal; 상기 촬영영상단계(S105)로부터 입력된 영상을 미디언 필터(Median Filter)를 통해 영상의 전송과 코딩과정에서 생긴 쏠트앤페이퍼(Salt and Peppers) 노이즈와 같은 랜덤 노이즈를 제거하는 미디언 필터링 단계(S110);A median filtering step of removing random noise such as salt and peppers noise generated during a transmission and coding process of an image through a median filter of the image input from the photographed image step S105 ( S110); 상기 미디언 필터링 단계(S110)의 출력으로부터, 배경에서 움직이는 사람을 분리해내기 위해, 배경모델과 입력 프레임간의 차이의 영상정보를 구하여 사람을 검출하는 배경모델과 프레임간 차이 영상획득 단계(S120);From the output of the median filtering step S110, in order to separate a person moving in the background, obtaining image information of the difference between the background model and the input frame and acquiring the difference image between the background model and the frame detecting the person (S120). ; 상기 배경모델과 프레임간 차이 영상획득 단계(S120)의 출력으로부터 모폴로지 기법 (Morphological processing)의 필터를 적용하여 침식연산 처리를 하는 침식(erosion) 연산단계(S130);An erosion calculation step (S130) of performing an erosion operation by applying a filter of a morphological technique from the output of the difference between the background model and the frame (S120); 상기 침식연산(erosion) 단계(S130)의 출력에서 가우시안 함수의 콘볼루션으로 영상의 남은 노이즈 블러링과 사람의 실루엣의 경계를 스무딩 시키는 가우시안 블러(Gaussian Blur) 단계(S140);A Gaussian Blur step (S140) of smoothing the boundary between a silhouette of a person and a residual noise blur of an image by a convolution of a Gaussian function at the output of the erosion operation (S130); 상기 가우시안 블러(Gaussian Blur) 단계(S140)의 출력에 모폴로지 기법의 필터를 적용하여 팽창연산 처리를 하는 팽창(dilation) 연산단계(S150);A dilation calculation step (S150) of performing an expansion operation by applying a morphology technique filter to the output of the Gaussian Blur step (S140); 상기 팽창(dilation) 연산단계(S150)의 출력을 이진화하는 이진 영상단계(S160);A binary image step (S160) of binarizing the output of the dilation operation step (S150); 로 이루어진 것을 특징으로 하는 노인 움직임 영상 감시 방법.Elderly motion image monitoring method comprising the. 제3항에 있어서,The method of claim 3, 상기 배경모델과 프레임간 차이 영상획득 단계(S120)에서, 상기 배경모델은In the acquiring difference image between the background model and the frame (S120), the background model is 사람이 카메라의 촬영범위에 들어오지 않을 때의 배경영상의 10개의 프레임의 평균값을 구하여 구축하는 것을 특징으로 하는 노인 움직임 영상 감시 방법.An elderly motion image monitoring method comprising: building and calculating an average value of ten frames of a background image when a person does not fall within a shooting range of a camera. 삭제delete 제1항에 있어서,The method of claim 1, 상기 자세변화분석 단계(S200)단계는,The posture change analysis step (S200) step, 상기 영상전처리단계(S100)에서 출력되는 영상의 x,y좌표의 2차원의 세트의 데이터가 입력되는 데이터 세트 입력단계(S205);A data set input step (S205) of inputting data of a two-dimensional set of x and y coordinates of an image output in the image preprocessing step (S100); 상기 데이터 세트 입력단계(S205)에서 입력된 x좌표의 데이터와 y좌표의 데이터의 각각에서 평균(mean)값을 구하는 평균값 연산단계(S213);An average value calculating step (S213) of obtaining a mean value from each of the data of the x coordinate and the data of the y coordinate input in the data set input step (S205); 상기 평균값연산단계(S213)에서 구해진 x좌표의 데이터와 y좌표의 데이터의 각각의 평균(mean)값을 기준으로 x좌표의 분산, y좌표의 분산, x좌표와 y좌표의 공분산을 가지고 공분산행렬(covariance matrix)을 구하는 분산연산단계(S217);Covariance matrix having the variance of the x coordinate, the variance of the y coordinate, and the covariance of the x and y coordinates based on each mean value of the data of the x coordinate and the y coordinate data obtained in the average value operation step S213 a dispersion operation step S217 for obtaining a covariance matrix; 상기 분산연산단계(S217)에서 구한 공분산행렬에 대한 고유값(eigenvalue)을 구하되, 영상이 2차원이므로 고유값을 2개가 구하게 되는 고유값연산단계;An eigenvalue calculation step for obtaining an eigenvalue for the covariance matrix obtained in the variance operation step (S217), but obtaining two eigenvalues because the image is two-dimensional; 상기 고유값연산단계에서 2차원 영상내에 존재하는 사람의 실루엣의 고유값을 출력하는 출력단계(S250);An output step (S250) of outputting an eigenvalue of a silhouette of a person present in a 2D image in the eigenvalue calculation step; 를 포함하는 것을 특징으로 하는 노인 움직임 영상 감시 방법.Elderly motion image monitoring method comprising a. 삭제delete 사람의 실루엣의 고유값의 비를 계산하는 고유값비 계산단계;An eigenvalue ratio calculation step of calculating a ratio of eigenvalues of a silhouette of a person; 상기 고유값비 계산단계에서 계산되는 고유값의 비의 변화를 매 일정시간 마다 관찰하는 고유값비 관찰단계;An eigenvalue ratio observation step of observing a change in the ratio of the eigenvalues calculated in the eigenvalue ratio calculation step every predetermined time; 상기 고유값비 관찰단계에서 고유값비의 변화가 일정기준 이상 인지를 판단하는 고유값비 변환 판단단계;An eigenvalue ratio conversion determination step of determining whether a change in the eigenvalue ratio is greater than or equal to a predetermined reference in the eigenvalue ratio observation step; 상기 고유값비 변화 판단단계에서 고유값의 비가 기준값 이상의 급격한 변화를 보이면 사람이 넘어진것으로 판단하는 넘어짐 판정단계;A fall determination step of judging that a person has fallen if the ratio of the eigen values shows a sudden change of more than a reference value in the eigen value ratio change determination step; 를 적어도 구비하는 것을 특징으로 하는 노인 움직임 영상 감시 방법. Elderly movement image monitoring method characterized in that it comprises at least. 감시 카메라로부터 출력된 영상을 디지탈신호로 변환하여 미디언 필터를 통해 랜덤 노이즈를 제거하는 데이터입력 단계; A data input step of converting an image output from the surveillance camera into a digital signal to remove random noise through a median filter; 상기 데이터입력 단계에서 수신된 영상정보로부터, 기 구축된 배경모델을 가지고, 사람이 영상에 들어오는 시점부터, 매시간 배경모델과 입력 프레임간의 차이 영상정보를 구하는 배경모델과 프레임간 차이 영상획득단계; Obtaining a difference image between the background model and the frame, which obtains the difference image information between the background model and the input frame every hour from the time when a person enters the image from the image information received in the data input step; 상기 배경모델과 프레임간 차이 영상획득단계에서 수신된 상기 배경모델과 입력 프레임간의 차이 영상정보를 통해 배경으로부터 사람을 검출하며, 상기 사람 검출결과에서 사람 주변부에 배경들의 경계와 노이즈들을 제거하기 위해, 침식(erosion), 가우시안 블러, 팽창(dilation) 연산처리를 하고 그 결과인 사람의 실루엣의 정보를 이진화하는 사람 실루엣 추출단계;In order to detect a person from the background through the difference image information between the background model and the input frame received in the difference image acquisition step between the background model and the frame, and to remove the boundary and noises of the background around the person in the detection result, A person silhouette extraction step of performing erosion, Gaussian blur, and dilation operation and binarizing the resulting information of the silhouette of the person; 상기 사람 실루엣 추출단계에서 수신된 사람의 실루엣의 정보로부터 실루엣의 평균과 분산을 구하며, 상기 실루엣의 평균과 분산을 이용하여 공분산을 구하며, 상기 공분산을 이용하여 고유값을 구하고 상기 고유값의 비를 구하여 사람동작을 검출하게 하는 자세변화분석 단계;The average and the variance of the silhouette are obtained from the information of the silhouette of the person received in the human silhouette extraction step, the covariance is obtained using the average and the variance of the silhouette, the eigenvalue is obtained using the covariance, and the ratio of the eigenvalues is calculated. A posture change analysis step of obtaining and detecting a human motion; 를 구비하는 것을 특징으로 하는 노인 움직임 영상 감시 방법.Elderly motion image monitoring method comprising the.
KR1020060091171A 2006-09-20 2006-09-20 Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis KR100882509B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060091171A KR100882509B1 (en) 2006-09-20 2006-09-20 Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060091171A KR100882509B1 (en) 2006-09-20 2006-09-20 Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis

Publications (2)

Publication Number Publication Date
KR20080026326A KR20080026326A (en) 2008-03-25
KR100882509B1 true KR100882509B1 (en) 2009-02-06

Family

ID=39413769

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060091171A KR100882509B1 (en) 2006-09-20 2006-09-20 Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis

Country Status (1)

Country Link
KR (1) KR100882509B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210123046A (en) 2020-04-02 2021-10-13 주식회사 시온테크닉스 An Elderly Care Device Using Thermal Image Algorithm

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101016095B1 (en) * 2009-02-20 2011-02-17 성균관대학교산학협력단 Method and apparatus for detecting changes in background of images using binary images thereof and hough transform
KR101405410B1 (en) 2010-10-20 2014-06-24 고려대학교 산학협력단 Object detection device and system
KR101419736B1 (en) * 2012-11-27 2014-07-17 목원대학교 산학협력단 Photography system using robot and method thereof
KR101614412B1 (en) * 2014-07-31 2016-04-29 삼성에스디에스 주식회사 Method and Apparatus for Detecting Fall Down in Video
KR102015631B1 (en) 2017-11-16 2019-08-28 학교법인 송원대학교 system for monitering of single elderly persons' living situations
CN112907892A (en) * 2021-01-28 2021-06-04 上海电机学院 Human body falling alarm method based on multiple views

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040018586A (en) * 2002-08-23 2004-03-04 삼성전자주식회사 Motion detecting device using face characteristics and monitoring system adapting it
KR20040049465A (en) * 2002-12-06 2004-06-12 삼성전자주식회사 Method for detecting user and detecting motion, and apparatus for detecting user within security system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040018586A (en) * 2002-08-23 2004-03-04 삼성전자주식회사 Motion detecting device using face characteristics and monitoring system adapting it
KR20040049465A (en) * 2002-12-06 2004-06-12 삼성전자주식회사 Method for detecting user and detecting motion, and apparatus for detecting user within security system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210123046A (en) 2020-04-02 2021-10-13 주식회사 시온테크닉스 An Elderly Care Device Using Thermal Image Algorithm

Also Published As

Publication number Publication date
KR20080026326A (en) 2008-03-25

Similar Documents

Publication Publication Date Title
KR100882509B1 (en) Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis
Harrou et al. An integrated vision-based approach for efficient human fall detection in a home environment
Wang et al. Human fall detection in surveillance video based on PCANet
Tzeng et al. Design of fall detection system with floor pressure and infrared image
KR100847143B1 (en) System and Method for analyzing of human motion based silhouettes of real-time video stream
Wang et al. Automatic fall detection of human in video using combination of features
EP3309748A1 (en) Image processing system, image processing device, image processing method, and image processing program
CN102859554B (en) Collating device
KR100822476B1 (en) Remote emergency monitoring system and method
CN110472614B (en) Identification method for motion sickness
CN114469076B (en) Identity-feature-fused fall identification method and system for solitary old people
Joshi et al. A fall detection and alert system for an elderly using computer vision and Internet of Things
US20110019002A1 (en) Method and System for Low Complexity Analysis of Multiple Signals Using a Combined Sparse Set of Samples
ElSayed et al. Ambient and wearable sensing for gait classification in pervasive healthcare environments
CN112949417A (en) Tumble behavior identification method, equipment and system
Basavaraj et al. Vision based surveillance system for detection of human fall
CN109101943A (en) It is a kind of for detecting the machine vision method of Falls Among Old People
CN111429345A (en) Method for visually calculating heart rate and heart rate variability with ultra-low power consumption
JP2019032588A (en) Image analysis apparatus
Rajabi et al. An intelligent video surveillance system for fall and anesthesia detection for elderly and patients
CN103961108A (en) Tumbling detecting method
Miaou et al. A smart vision-based human fall detection system for telehealth applications
KR101918159B1 (en) Method and Apparatus for Segmenting Background Motion Region From Image
JP5545977B2 (en) Image monitoring device
Monisha et al. A real-time embedded system for human action recognition using template matching

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130205

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140204

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150130

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190523

Year of fee payment: 11