KR20120095647A - 홈 헬스케어 모니터링 장치 및 방법 - Google Patents

홈 헬스케어 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR20120095647A
KR20120095647A KR1020110015093A KR20110015093A KR20120095647A KR 20120095647 A KR20120095647 A KR 20120095647A KR 1020110015093 A KR1020110015093 A KR 1020110015093A KR 20110015093 A KR20110015093 A KR 20110015093A KR 20120095647 A KR20120095647 A KR 20120095647A
Authority
KR
South Korea
Prior art keywords
image
silhouette
difference
infrared
motion
Prior art date
Application number
KR1020110015093A
Other languages
English (en)
Other versions
KR101212383B1 (ko
Inventor
이영숙
정완영
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020110015093A priority Critical patent/KR101212383B1/ko
Publication of KR20120095647A publication Critical patent/KR20120095647A/ko
Application granted granted Critical
Publication of KR101212383B1 publication Critical patent/KR101212383B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Emergency Management (AREA)
  • Psychology (AREA)
  • Marketing (AREA)
  • Social Psychology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Psychiatry (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

홈 헬스케어 모니터링 장치 및 방법이 개시된다.
해당 장치는 적외선 영상 시퀀스를 획득하는 입력부, 적외선 영상 시퀀스의 프레임들로부터 물체 영역을 포함한 실루엣 영상을 생성하는 물체 검출부, 실루엣 영상들에서 물체 영역들을 일정 시간 동안 누적시켜 관심 물체 추적을 위한 모션 정보를 포함하는 시간적 템플릿 영상을 생성하는 물체 추적부, 시간적 템플릿 영상의 모션 정보에 의거하여 일상 동작에서 벗어난 비정상적 동작을 검출하는 이상 동작 검출부를 포함한다. 물체 검출 시 인접 프레임 그룹들의 차영상들 간의 차에 대한 영상을 생성하는 제1 방식과, 통계적 배경 모델링을 이용해 배경 영상을 획득한 후 배경 영상과 입력 영상 간의 차를 고려하여 영상을 생성하는 제2 방식을 혼합적으로 사용할 수 있다.
이러한 구성에 따르면, 별도의 장치를 몸에 착용하는 불편함 없이 노인이나 환자의 동작을 모니터링할 수 있고, 야간 환경에서도 효율적인 홈 헬스케어 서비스를 제공할 수 있다.

Description

홈 헬스케어 모니터링 장치 및 방법{Apparatus and Method for Home Healthcare Monitoring}
본 발명은 홈 헬스케어 모니터링 장치 및 방법에 관한 것으로, 더욱 상세하게는 야간 환경에 효율적으로 적용할 수 있는 홈 헬스케어 모니터링 장치 및 방법에 관한 것이다.
홈 헬스케어 서비스는 개인의 동작이나 상황을 모니터링하여 그와 연계된 의료 및 건강관리, 진단치료 등의 서비스를 제공할 수 있도록 하는 것으로, 현대사회가 고령화, 개인화됨에 따라 그 필요성이 높아지고 있다.
예컨대 노인들이나 건강상태가 좋지 않은 사람들이 갑자기 쓰러져 낙상사고를 당해 무의식 상태가 되거나 치명적인 부상을 입는 경우가 발생하는데 이러한 사고의 발생률은 노인 인구 증가와 더불어 해마다 늘어나고 있는 추세이다. 특히 비정상적 동작 중 사람이 갑자기 쓰러지는 상태인 낙상(Fall)은 골절, 탈골, 치명적인 머리 부상을 일으키고, 심지어 죽음과 같은 심각한 결과를 초래할 수 있기 때문에 낙상 사건의 검출은 홈 헬스케어 서비스의 가장 주요한 이슈 중의 하나이다.
종래 낙상이나 낙상과 관련된 부상들을 방지하기 위해서, 가속도계(accelerometers)와 같은 웨어러블 낙상 검출 장치(wearable fall detection device)를 착용한 후 사람의 동작을 모니터링하는 방식, 목걸이나 허리에 커뮤니티 알람(community alarm) 버튼을 착용한 후 위급상황에서 해당 버튼을 눌러 도움을 요청하는 방식 등이 소개된 바 있다. 그러나 노인이나 환자의 경우 웨어러블 장비들을 착용하는 것을 종종 잊어버리게 되고, 낙상 사고 발생 시 정신을 잃거나 심각한 부상으로 인해 움직일 수 없을 경우 커뮤니티 알람 버튼을 눌러 위급상황을 알릴 수 없다는 제약이 있다.
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 그 목적은 별도의 장치를 몸에 착용하는 불편함 없이 노인이나 환자의 동작을 모니터링할 수 있는 홈 헬스케어 모니터링 장치 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 모니터링 대상이 되는 사람의 의식 유무나 정신 상태에 상관없이 비정상적 동작을 검출할 수 있는 홈 헬스케어 모니터링 장치 및 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 홈 헬스케어 모니터링 장치는 적외선 카메라로부터 적외선 영상 시퀀스를 획득하는 입력부; 상기 입력부를 통해 획득되는 적외선 영상 시퀀스의 프레임들로부터 물체 영역을 포함한 실루엣 영상을 생성하는 물체 검출부; 상기 물체 검출부에서 생성되는 실루엣 영상들에서 물체 영역들을 소정 시간 동안 누적시켜 관심 물체 추적을 위한 모션 정보를 포함하는 시간적 템플릿(temporal template) 영상을 생성하는 물체 추적부; 및 상기 물체 추적부에서 생성된 시간적 템플릿 영상의 모션 정보에 의거하여 일상 동작에서 벗어난 비정상적 동작을 검출하는 이상 동작 검출부를 포함한다.
물체 검출부는 상기 입력부를 통해 획득되는 적외선 영상 시퀀스에 대해 소정 프레임 간격으로 연속적인 프레임들 간의 차영상(difference image)을 생성한 후 인접하는 차영상들의 차(difference between difference images)에 대한 영상을 얻는 제1 방식과, 상기 입력부를 통해 획득되는 적외선 영상 시퀀스의 연속적인 프레임들에 대해 배경 영상을 획득한 후 배경 영상과 입력 영상 간의 차영상에 의해 영상을 구하는 제2 방식을 혼합적으로 고려하여 물체 영역이 포함된 실루엣 영상을 생성할 수 있다.
한편 본 발명에 따른 홈 헬스케어 모니터링 방법은 장치가 적외선 카메라로부터 적외선 영상 시퀀스를 획득하는 단계; 상기 장치가 적외선 영상 시퀀스의 프레임들로부터 물체 영역이 포함된 실루엣 영상을 생성하는 단계; 상기 장치가 실루엣 영상들에서 물체 영역들을 소정 시간 동안 누적시켜 관심 물체 추적을 위한 모션 정보를 포함하는 시간적 템플릿 영상을 생성하는 단계; 및 상기 장치가 시간적 템플릿 영상의 모션 정보에 의거하여 일상 동작에서 벗어난 비정상적 동작을 검출하는 단계를 포함한다.
상기 실루엣 영상의 생성 단계에서, 상기 장치가 적외선 영상 시퀀스에 대해 소정 프레임 간격으로 연속적인 프레임들 간의 차영상을 생성한 후 인접하는 차영상들의 차를 특징값으로 하여 영상을 생성하는 제1 방식과, 적외선 영상 시퀀스에서 배경 영상을 획득한 후 배경 영상과 입력 영상 간의 차를 고려하여 영상을 생성하는 제2 방식을 혼합적으로 사용하여 실루엣 영상을 생성할 수 있다.
연속적인 프레임들에서 관심 물체가 움직이는 경우 상기 장치가 상기 제1 방식에 의해 실루엣 영상을 구하고, 관심 물체의 움직임이 없는 경우 상기 장치가 상기 제2 방식에 의해 실루엣 영상을 구할 수 있다.
본 발명에 따르면, 별도의 장치를 몸에 착용하는 불편함 없이 노인이나 환자의 동작을 모니터링할 수 있고, 모니터링 대상이 되는 사람의 의식 유무나 정신 상태에 상관없이 비정상적 동작을 검출할 수 있는 홈 헬스케어 모니터링 장치 및 방법을 제공할 수 있다.
또한 본 발명에 따르면, 야간이나 불빛이 없는 실내 환경에서도 모니터링 대상이 되는 사람의 동작을 인식할 수 있는 홈 헬스케어 모니터링 장치 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 홈 헬스케어 모니터링 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 홈 헬스케어 모니터링 방법의 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 홈 헬스케어 모니터링 장치 및 방법에 대해서 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 홈 헬스케어 모니터링 장치의 구성도이다.
도 1을 참조하면, 일 실시예에 따른 홈 헬스케어 모니터링 장치는 입력부(110), 물체 검출부(120), 물체 추적부(130), 이상 동작 검출부(140), 저장부(150) 및 출력부(160)를 포함한다.
입력부(110)는 적외선 카메라로부터 적외선 영상 시퀀스를 획득하여 물체 검출부(120)로 전달한다.
물체 검출부(120)는 적외선 카메라를 통해 획득한 적외선 영상 시퀀스의 프레임들에 대해 움직이는 관심 물체를 추출하기 위한 것으로, 입력부(110)를 통해 획득되는 적외선 영상 시퀀스의 프레임들로부터 물체 영역을 포함하는 실루엣 영상(silhouette image)을 생성한다.
물체 검출부(120)는 후술하는 두 가지 방식을 혼합한 물체 검출 방법을 적용하여 실루엣 영상을 생성할 수 있다.
제1 방식은 입력부(110)를 통해 획득되는 적외선 영상 시퀀스에 대해 일정 프레임 간격으로 연속적인 프레임들 간의 차영상(difference image)을 생성한 후 인접하는 차영상들의 차(difference between difference images)를 특징값으로 하여 물체 영역이 포함된 실루엣 영상을 생성하는 것이다.
예컨대 물체 검출부(120)는 연속되는 두 개의 프레임들로 구성된 일정 프레임 간격의 제1, 제2 프레임 그룹에 대하여, 각 프레임 그룹에서 두 프레임들 간의 픽셀값의 차로 구성된 차영상을 생성한다. 여기서 픽셀값은 각 픽셀의 휘도(luminance) 성분을 나타내는 값일 수 있다.
이후 물체 검출부(120)는 인접하게 되는 두 차영상들 간의 픽셀값의 차로 구성된 영상을 획득한 후 해당 영상의 각 픽셀값에 의거하여 실루엣 영상을 생성할 수 있다.
일 실시예에서 실루엣 영상은 이진 영상일 수 있다. 이러한 경우 물체 검출부(120)는 픽셀값이 미리 정해진 임계값(Threshold) 이상인 경우 해당 픽셀을 움직이는 물체 영역으로 판단하여 인접하는 두 차영상들 간의 차에 대한 이진 영상을 생성한다. 즉 물체 검출부(120)는 인접하는 두 차영상들 간의 차로 구성된 영상에서 픽셀값이 미리 정해진 임계값 이상이면 해당 픽셀을 움직임이 일어난 픽셀로 판단하여 물체 영역에 포함시키고, 그렇지 않을 경우 움직임이 일어나지 않은 픽셀로 판단하여 물체 영역에서 배제한다.
제2 방식은 입력부(110)를 통해 획득되는 적외선 영상 시퀀스의 연속적인 프레임들에서 배경 영상을 획득한 후 획득한 배경 영상과 입력 영상 간의 차영상에 의해 물체 영역을 포함하는 실루엣 영상을 생성하는 것이다.
제2 방식에 따르면 물체 검출부(120)는 적외선 카메라를 통해 제공되는 적외선 영상 시퀀스에 대한 일정 시간 동안의 학습을 통해 배경 영상을 생성하여 저장하고, 배경 영상과 현재 들어온 입력 영상 간의 차영상을 구하고 난 후 입력 영상의 픽셀들 중 배경을 나타내는 픽셀들을 구분하여 배경 모델을 갱신하게 된다.
배경 모델의 생성 및 갱신 과정에서 배경 분리 방법(background subtraction method) 중 통계적 배경 모델인 가우시안 혼합 모델(gaussian mixture model)이 적용될 수 있다.
예컨대 물체 검출부(120)는 가우시안 혼합 모델을 통해 배경 영상을 획득한 후 획득한 배경 영상을 기준 영상으로 하여 배경 영상과 현재 들어온 입력 영상 간의 각 픽셀값의 차를 구하여 구해진 값이 일정 임계값 이상인 경우 해당 픽셀은 움직임이 있는 픽셀로 판단하여 물체 영역에 포함시키는 방식으로 영상을 얻는다.
전술한 제1 방식은 정확한 물체 검출을 위하여 두 차영상들의 차를 특징값으로 생성하여 사용한다. 이는 움직임이 일어난 영역의 픽셀값들과 움직임이 일어나지 않은 영역의 픽셀값들 간의 차를 향상시킨 값을 얻어서 움직임이 일어난 부분과 움직임이 일어나지 않은 부분 간의 차이를 더욱 뚜렷하게 나타내고, 물체 영역을 보다 정확하게 검출하여 향상된 실루엣 영상을 생성하기 위한 것이다.
실루엣 영상은 물체의 검출 뿐만 아니라 물체의 추적을 위해서도 필요한 중요한 특징 정보(물체의 크기, 위치 등)를 포함하고 있다. 일 실시예는 실루엣 영상에 포함된 특징 정보를 이용해 관심 물체의 움직임을 추적하고 비정상적 동작을 검출하기 위하여, 일정 시간 동안 누적시킨 실루엣 영상들을 사용해 관심 물체의 움직임이 일어난 영역을 누적시킨 영상인 시간적 템플릿(temporal template) 영상을 생성하여 사용하게 된다.
그런데 주어진 프레임에서 관심 물체의 움직임이 없을 경우, 예를 들면 서 있기나 앉아 있기 등의 동작을 할 경우에도 물체 검출이 이루어져야 한다. 그러나 제1 방식과 같이 차영상들의 차를 이용하는 방법을 적용하는 경우 물체의 움직임이 없으면 물체 검출에 필요한 특징 정보(예컨대 물체의 크기, 위치, 모션 벡터 등)가 사라지므로 물체를 검출할 수가 없다.
제1 방식의 이러한 단점을 보완하여 프레임에서 관심 물체의 움직임이 없을 경우에도 관심 물체를 검출하기 위하여 제1 방식과 제2 방식을 혼합 방법(hybrid method)을 사용하여 물체 검출을 위한 최종적인 실루엣 영상을 얻을 수 있다.
물체 추적부(130)는 물체 검출부(120)에서 생성되는 실루엣 영상들에서 물체 영역들을 일정 시간 동안 누적시켜서 관심 물체 추적을 위한 모션 정보를 포함하는 시간적 템플릿 영상을 생성한다. 시간적 템플릿 영상에는 관심 물체의 모션 정보(물체의 폭과 높이의 변화량, 중심점 위치 변화량 등)가 포함된다.
이상 동작 검출부(140)는 비정상적 동작을 검출하기 위하여 시간적 템플릿 영상을 사용한다. 즉 이상 동작 검출부(140)는 물체 추적부(130)에서 생성된 시간적 템플릿 영상에 포함되어 있는 모션 정보를 이용하여 일상 동작에서 벗어난 낙상 등의 비정상적 동작을 검출하게 된다. 예컨대 이상 동작 검출부(140)는 물체 추적부(130)에서 생성된 시간적 템플릿 영상의 모션 정보가 임계값을 벗어나는지 여부를 확인하여 비정상적 동작, 특히 주요 모니터링 대상이 되는 낙상 동작을 검출할 수 있다. 이때 시간적 템플릿 영상 내 물체 영역들의 폭/높이의 변화량 또는 중심점 위치 변화량 등이 모션 정보로 사용될 수 있다.
이상 동작 검출부(140)에서 비정상적 동작이 검출된 경우 비정상적 동작이 발생한 시간 동안에 적외선 카메라에서 제공된 적외선 영상 시퀀스는 저장부(150)에 동영상 파일로 저장된다. 또한 이상 동작 검출부(140)에서 비정상적 동작이 검출된 경우 출력부(160)는 위급상황의 발생을 알리기 위한 위험 신호를 생성하여 출력한다. 예컨대 일 실시예는 낙상이 발생하였음을 실시간으로 알리기 위하여 출력부(160)를 통해 낙상 동작 여부를 화면으로 출력하고, 경고음을 발생시킴과 동시에 이에 대한 정보를 저장부(150)로 저장한다.
이와 같이, 일 실시예는 적외선 영상 시퀀스에 대해 통계적 배경 모델인 가우시안 혼합 모델을 사용하여 배경 영상과 입력 영상 간의 차로 구성된 영상을 생성하는 방식과, 연속적인 프레임 그룹들에서 구해진 인접 차영상들 간의 차를 고려하여 영상을 생성하는 방식을 혼합적으로 적용할 수 있다.
도 2는 본 발명의 일 실시예에 따른 홈 헬스케어 모니터링 방법의 흐름도이다.
일 실시예에서 홈 헬스케어 모니터링 장치는 적외선 카메라에서 얻어진 각 프레임에 대해 먼저 배경 영역으로부터 관심 물체를 추출하고, 물체 분할을 수행하여 실루엣 영상을 생성한다. 이후 해당 장치는 관심 물체의 추적과 비정상적 동작 검출을 위하여 시간적 템플릿 영상을 생성하여 관심 물체의 움직임이 일어난 영역들을 누적시키고, 이를 이용해 물체 추적 및 동작 검출을 수행한다.
도 2를 참조하여 세부 과정을 설명하면 다음과 같다.
S110은 홈 헬스케어 모니터링 장치가 적외선 카메라로부터 적외선 영상 시퀀스를 획득하는 단계이다.
S120은 적외선 영상 시퀀스의 프레임들로부터 물체 영역을 포함한 실루엣 영상을 생성하는 단계이다.
여기서 적외선 영상 시퀀스에 대해 일정 프레임 간격으로 연속적인 프레임들 간의 차영상을 생성한 후 인접하는 차영상들의 차를 특징값으로 하여 영상을 생성하는 제1 방식과, 통계적 배경 모델인 가우시안 혼합 모델을 이용해 적외선 영상 시퀀스에서 배경 영상을 획득한 후 배경 영상과 입력 영상 간의 차를 고려하여 영상을 생성하는 제2 방식을 혼합적으로 사용하여 실루엣 영상을 생성할 수 있다.
제1 방식을 적용하는 경우 주어진 프레임에서 관심 물체의 움직임이 없으면 물체 검출에 필요한 특징 정보(물체의 크기, 위치, 모션 벡터 등)가 사라져 물체를 검출할 수가 없다. 그러므로 연속적인 프레임들에서 관심 물체가 움직이는 경우 제1 방식에 의해 실루엣 영상을 구한 후, 관심 물체의 움직임이 없는 경우에는 제2 방식에 의해 실루엣 영상을 구하는 혼합적인 물체 검출 방법을 채용하는 혼합 방법이 효율적일 수 있다.
S130은 배경 모델의 갱신 단계이다.
일정 시간 동안 제공되는 프레임들로부터 가우시안 혼합 모델을 이용하여 실루엣 영상의 생성에 사용하기 위한 초기 배경 영상이 분리되며 이후 계속해서 제공되는 적외선 영상 시퀀스의 프레임들에 대해 가우시안 혼합 모델을 사용한 배경 영상의 갱신이 이루어진다.
S120을 통해 관심 물체가 움직이는 물체 영역이 검출되는 경우 홈 헬스케어 모니터링 장치는 S150으로 진행하여 해당 물체 영역이 포함된 실루엣 영상을 생성한다. 실루엣 영상에는 물체의 검출 및 추적에 필요한 물체 영역의 특징 정보(물체의 폭과 높이, 위치 등)가 포함된다.
배경 영상과 입력 영상의 차와 인접 프레임 그룹들의 차영상들 간의 차를 고려한 결과 관심 물체가 추출되지 않는 경우(예컨대 배경만 존재하고 사람이 없는 경우) 홈 헬스케어 모니터링 장치는 다시 S110 단계로 돌아가 적외선 카메라가 제공하는 프레임들을 수집하여 S120의 물체 검출 과정을 반복한다.
S160은 실루엣 영상들에서 물체 영역들을 일정 시간 동안 누적시켜 관심 물체 추적을 위한 모션 정보(물체의 폭과 높이의 변화량, 중심점 위치 변화량 등)를 포함하는 시간적 템플릿 영상을 생성하는 단계이다.
S170은 시간적 템플릿 영상의 모션 정보를 이용하여 일상 동작에서 벗어난 낙상 등의 비정상적 동작을 검출하는 단계이다. 예컨대 시간적 템플릿 영상의 모션 정보가 임계값을 벗어나는 경우 낙상 동작이 검출될 수 있다.
비정상적 동작을 검출한 경우 홈 헬스케어 모니터링 장치는 S180으로 진행하여 해당 시간 동안에 적외선 영상 시퀀스를 동영상 파일로 저장하고, 화면 및 경고음으로 검출된 비정상적 동작의 발생을 알린다.
움직이는 사람과 같은 비강체(non-rigid body)인 물체를 대상으로 움직임을 추적하는 일은 특징 분석에 여러 가지 어려움이 있다. 예를 들면 앉거나 일어서는 등의 동작이 카메라의 위치, 조명 조건 등에 따라 달라질 수 있고 같은 동작을 하더라도 사람에 따라 다양한 동작들이 나올 수 있기 때문이다.
이러한 제약을 해결하기 위해 일 실시예는 일정 프레임 간격의 인접한 실루엣 영상들에서 움직임이 일어난 물체 영역들의 특징 정보(물체의 크기, 위치 등)를 획득하기 위해 시간적 템플릿 영상을 생성한다. 생성된 시간적 템플릿 영상은 관심 물체 추적을 위하여 물체 영역들을 일정 시간 간격으로 누적시킨 영상으로 해석되어질 수 있다.
시간적 템플릿 영상 내 움직임이 일어난 물체 영역의 크기뿐만 아니라 중심 위치를 찾기 위해 통계적 모멘트 분석(statistic moment analysis)이 이용될 수 있다. 홈 헬스케어 모니터링 장치는 모멘트 특성들을 이용하여 관심 물체의 중심 위치와 물체의 크기(폭과 높이)에 대한 정보를 얻을 수 있고, 물체 영역을 포함하는 영역을 경계 박스(bounding box)로 표현하여 이를 이용해 물체의 동작을 추적할 수 있다. 최종적으로 해당 장치는 움직이는 물체를 포함하는 경계 박스의 크기 변화량이나 중심점 위치 변화량을 고려하여 낙상 등의 비정상적 동작을 검출한다.
일 실시예에서 홈 헬스케어 모니터링 장치는 비정상적인 동작이 검출될 경우 실시간으로 해당 동작의 검출 결과를 알 수 있도록 프레임 화면을 제어할 수 있다. 예컨대 낙상 동작인 "Fall"이 검출될 경우 영상 시퀀스를 표시하는 프레임 화면의 좌하단 부분에 '1'이 출력되어 낙상 사건이 발생되었음을 알린다. 낙상이 검출되지 않을 경우에는 해당 부분에 '0'이 출력되어 일상 동작 범위 내에 있음을 알린다. 주어진 프레임에서 검출된 물체 영역 부분은 사각형의 경계 박스로 출력된다.
전술한 바와 같이 홈 헬스케어 모니터링 장치는 물체의 추적 및 비정상적 동작의 검출 과정에서 모션 정보(물체의 폭과 높이의 변화량, 중심점 위치 변화량 등)를 활용할 수 있다.
예컨대 적외선 영상 시퀀스의 프레임들에서 일상 동작들(의자에 앉기, 일어서기, 쭈그리고 앉기, 걷기 등)과 낙상 동작들(뒤로 쓰러지기, 왼쪽으로 쓰러지기, 오른쪽으로 쓰러지기 등)에 대한 물체의 크기(폭과 높이)의 변화량을 비교해 보면 낙상 동작들에 대한 관심 물체의 크기 변화량이 일상 동작들의 경우에 비해 크게 나타남을 알 수 있다. 또한 중심점 위치 변화량 중 Y 변화량은 낙상 동작들의 마지막 단계로 변화량이 낮게 나타나는 반면 일상 동작들의 경우 Y 변화량이 낙상 동작들에 비해 높게 나타남을 알 수 있다.
본 발명의 구성에 따르면 불빛이 없는 야간 환경에서도 적외선 카메라를 기반으로 효율적인 홈 헬스케어 서비스를 제공할 수 있다. 구체적으로 독거노인이나 환자에게 비정상적 동작이 발생하는 경우 예컨대 사람이 예기치 못하게 갑자기 넘어지는 낙상이 발생할 경우 실시간으로 이를 검출하여 위급 상황을 알릴 수 있고, 해당 동작에 의해 발생될 수 있는 심각한 부상들에 대해서 신속하게 대처할 수 있다.
본 발명의 홈 헬스케어 모니터링 장치 및 방법은 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수 있다.
110: 입력부
120: 물체 검출부
130: 물체 추적부
140: 이상 동작 검출부
150: 저장부
160: 출력부

Claims (11)

  1. 적외선 카메라로부터 적외선 영상 시퀀스를 획득하는 입력부;
    상기 입력부를 통해 획득되는 적외선 영상 시퀀스의 프레임들로부터 물체 영역을 포함한 실루엣 영상을 생성하는 물체 검출부;
    상기 물체 검출부에서 생성되는 실루엣 영상들에서 물체 영역들을 소정 시간 동안 누적시켜 관심 물체 추적을 위한 모션 정보를 포함하는 시간적 템플릿 영상을 생성하는 물체 추적부; 및
    상기 물체 추적부에서 생성된 시간적 템플릿 영상의 모션 정보에 의거하여 일상 동작에서 벗어난 비정상적 동작을 검출하는 이상 동작 검출부를 포함하는 홈 헬스케어 모니터링 장치.
  2. 제1항에 있어서, 상기 물체 검출부는,
    상기 입력부를 통해 획득되는 적외선 영상 시퀀스에 대해 소정 프레임 간격으로 연속적인 프레임들 간의 차영상을 생성한 후 인접하는 차영상들의 차를 특징값으로 하여 물체 영역이 포함된 실루엣 영상을 생성하는 것을 특징으로 하는 홈 헬스케어 모니터링 장치.
  3. 제2항에 있어서,
    상기 실루엣 영상은 이진 영상으로서, 상기 물체 검출부는 픽셀값이 미리 정해진 임계값 이상인 경우 해당 픽셀을 움직이는 관심 물체 영역으로 판단하여 인접하는 두 차영상들 간의 차에 대한 이진 영상을 생성하는 것을 특징으로 하는 홈 헬스케어 모니터링 장치.
  4. 제1항에 있어서, 상기 물체 검출부는,
    상기 입력부를 통해 획득되는 적외선 영상 시퀀스의 연속적인 프레임들에 대해 배경 영상을 획득한 후 배경 영상과 입력 영상 간의 차영상에 의해 물체 영역이 포함된 실루엣 영상을 생성하는 것을 특징으로 하는 홈 헬스케어 모니터링 장치.
  5. 제4항에 있어서, 상기 물체 검출부는,
    통계적 배경 모델인 가우시안 혼합 모델을 사용하여 배경 영상을 생성하여 저장하며, 배경 영상과 입력 영상 간의 차영상을 구하고 난 후 가우시안 혼합 모델을 사용하여 입력 영상의 픽셀들 중 배경을 나타내는 픽셀들을 구분하여 배경 영상을 갱신하는 것을 특징으로 하는 홈 헬스케어 모니터링 장치.
  6. 제1항에 있어서,
    상기 이상 동작 검출부에서 비정상적 동작이 검출된 경우 비정상적 동작이 발생한 시간 동안에 상기 적외선 카메라에서 제공된 적외선 영상 시퀀스를 동영상 파일로 저장하는 저장부; 및
    상기 이상 동작 검출부에서 비정상적 동작이 검출된 경우 위급상황의 발생을 알리기 위한 위험 신호를 생성하여 출력하는 출력부를 더 포함하는 홈 헬스케어 모니터링 장치.
  7. 제1항에 있어서,
    시간적 템플릿 영상의 모션 정보는 상기 시간적 템플릿 영상 내 물체 영역들의 폭과 높이의 변화량 또는 중심점 위치 변화량인 것을 특징으로 하는 홈 헬스케어 모니터링 장치.
  8. 제1항에 있어서, 상기 이상 동작 검출부는,
    시간적 템플릿 영상의 모션 정보가 임계값을 벗어나는지 여부를 확인하여 낙상 동작을 검출하는 것을 특징으로 하는 홈 헬스케어 모니터링 장치.
  9. 장치가 적외선 카메라로부터 적외선 영상 시퀀스를 획득하는 단계;
    상기 장치가 적외선 영상 시퀀스의 프레임들로부터 물체 영역이 포함된 실루엣 영상을 생성하는 단계;
    상기 장치가 실루엣 영상들에서 물체 영역들을 소정 시간 동안 누적시켜 관심 물체 추적을 위한 모션 정보를 포함하는 시간적 템플릿 영상을 생성하는 단계; 및
    상기 장치가 시간적 템플릿 영상의 모션 정보에 의거하여 일상 동작에서 벗어난 비정상적 동작을 검출하는 단계를 포함하는 홈 헬스케어 모니터링 방법.
  10. 제9항에 있어서, 상기 실루엣 영상의 생성 단계에서,
    상기 장치가 적외선 영상 시퀀스에 대해 소정 프레임 간격으로 연속적인 프레임들 간의 차영상을 생성한 후 인접하는 차영상들의 차를 특징값으로 하여 영상을 생성하는 제1 방식과, 적외선 영상 시퀀스에서 배경 영상을 획득한 후 배경 영상과 입력 영상 간의 차를 고려하여 영상을 생성하는 제2 방식을 혼합적으로 사용하여 실루엣 영상을 생성하는 것을 특징으로 하는 홈 헬스케어 모니터링 방법.
  11. 제10항에 있어서,
    연속적인 프레임들에서 관심 물체가 움직이는 경우 상기 장치가 상기 제1 방식에 의해 실루엣 영상을 구하고, 관심 물체의 움직임이 없는 경우 상기 장치가 상기 제2 방식에 의해 실루엣 영상을 구하는 것을 특징으로 하는 홈 헬스케어 모니터링 방법.
KR1020110015093A 2011-02-21 2011-02-21 홈 헬스케어 모니터링 장치 및 방법 KR101212383B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110015093A KR101212383B1 (ko) 2011-02-21 2011-02-21 홈 헬스케어 모니터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110015093A KR101212383B1 (ko) 2011-02-21 2011-02-21 홈 헬스케어 모니터링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120095647A true KR20120095647A (ko) 2012-08-29
KR101212383B1 KR101212383B1 (ko) 2012-12-13

Family

ID=46886042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110015093A KR101212383B1 (ko) 2011-02-21 2011-02-21 홈 헬스케어 모니터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101212383B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160129402A (ko) * 2015-04-30 2016-11-09 수원대학교산학협력단 열화상 카메라를 이용한 객체의 실신 상황 감지 방법 및 장치
KR101972716B1 (ko) * 2018-12-20 2019-04-25 울산과학대학교 산학협력단 운동 모니터링이 가능한 피지컬 휘트니스 머신
CN112017155A (zh) * 2020-07-13 2020-12-01 浙江大华汽车技术有限公司 健康体征数据的测量方法、装置、系统和存储介质
KR102397248B1 (ko) * 2021-11-01 2022-05-13 주식회사 스위트케이 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법
CN116342891A (zh) * 2023-05-24 2023-06-27 济南科汛智能科技有限公司 一种适用于自闭症儿童结构化教学监控数据管理系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160129402A (ko) * 2015-04-30 2016-11-09 수원대학교산학협력단 열화상 카메라를 이용한 객체의 실신 상황 감지 방법 및 장치
KR101972716B1 (ko) * 2018-12-20 2019-04-25 울산과학대학교 산학협력단 운동 모니터링이 가능한 피지컬 휘트니스 머신
CN112017155A (zh) * 2020-07-13 2020-12-01 浙江大华汽车技术有限公司 健康体征数据的测量方法、装置、系统和存储介质
CN112017155B (zh) * 2020-07-13 2023-12-26 浙江华锐捷技术有限公司 健康体征数据的测量方法、装置、系统和存储介质
KR102397248B1 (ko) * 2021-11-01 2022-05-13 주식회사 스위트케이 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법
CN116342891A (zh) * 2023-05-24 2023-06-27 济南科汛智能科技有限公司 一种适用于自闭症儿童结构化教学监控数据管理系统
CN116342891B (zh) * 2023-05-24 2023-08-15 济南科汛智能科技有限公司 一种适用于自闭症儿童结构化教学监控数据管理系统

Also Published As

Publication number Publication date
KR101212383B1 (ko) 2012-12-13

Similar Documents

Publication Publication Date Title
CN112784662A (zh) 基于视频的跌倒风险评价系统
Tao et al. Fall incidents detection for intelligent video surveillance
JP4587067B2 (ja) 物体の転倒をモニターする方法および装置
US20150302310A1 (en) Methods for data collection and analysis for event detection
KR101212383B1 (ko) 홈 헬스케어 모니터링 장치 및 방법
KR101309366B1 (ko) 영상 기반 이상 동작 감시 시스템 및 방법
CN103903281A (zh) 一种基于多特征分析和场景学习的老人摔倒检测方法
Nguyen et al. An efficient camera-based surveillance for fall detection of elderly people
Merrouche et al. Depth camera based fall detection using human shape and movement
KR100822476B1 (ko) 원격 응급상황 모니터링 시스템 및 방법
Debard et al. Camera based fall detection using multiple features validated with real life video
KR20140110484A (ko) 영상정보를 이용한 위험 행동 검지방법
KR102389285B1 (ko) 기계학습을 기초로 낙상 사고를 감지하는 방법 및 그를 이용한 시스템
Liciotti et al. Human activity analysis for in-home fall risk assessment
Albawendi et al. Video based fall detection using features of motion, shape and histogram
Alazrai et al. Fall detection for elderly using anatomical-plane-based representation
Stone et al. Silhouette classification using pixel and voxel features for improved elder monitoring in dynamic environments
TWI541769B (zh) 跌倒偵測系統及方法
JP2008541650A (ja) モニタリング方法および装置
CN106448055B (zh) 一种监控报警的方法及装置
Merrouche et al. Fall detection using head tracking and centroid movement based on a depth camera
KR101704471B1 (ko) 낙상 검출 장치 및 그 방법
KR20130094488A (ko) 영상 기반 이상 동작 감시 시스템 및 방법
KR102544147B1 (ko) 영상분석 기반 1인 낙상 감지 시스템 및 방법
An et al. Support vector machine algorithm for human fall recognition kinect-based skeletal data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171201

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee