KR20140110484A - 영상정보를 이용한 위험 행동 검지방법 - Google Patents

영상정보를 이용한 위험 행동 검지방법 Download PDF

Info

Publication number
KR20140110484A
KR20140110484A KR1020130024894A KR20130024894A KR20140110484A KR 20140110484 A KR20140110484 A KR 20140110484A KR 1020130024894 A KR1020130024894 A KR 1020130024894A KR 20130024894 A KR20130024894 A KR 20130024894A KR 20140110484 A KR20140110484 A KR 20140110484A
Authority
KR
South Korea
Prior art keywords
image
information
color image
depth
extracted
Prior art date
Application number
KR1020130024894A
Other languages
English (en)
Inventor
이영숙
임희창
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020130024894A priority Critical patent/KR20140110484A/ko
Publication of KR20140110484A publication Critical patent/KR20140110484A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 주변정보로부터 색상영상과 깊이영상을 추출하고 색상영상으로부터 얻어진 객체의 모멘트 분석정보 및 깊이영상으로부터 얻어진 객체의 깊이정보를 이용하여 객체의 위험행동을 정확하게 감지하도록 하는 영상정보를 이용한 위험 행동 검지방법에 관한 것이다.
본 발명에 따른 영상정보를 이용한 위험 행동 검지방법은, 색상영상센서 및 깊이영상센서를 포함하는 영상카메라를 이용하여 주변에 대한 영상을 획득하는 단계; 상기 획득된 영상으로부터 색상영상 및 깊이영상을 추출하는 단계; 상기 추출된 색상영상을 HSV(Hue, Saturation, Value) 컬러영상으로 변환하는 단계; 상기 변환된 HSV 컬러영상으로부터 적응적 가우시안 혼합(Adaptive Gaussian Mixture) 모델을 적용하여 상기 주변에 대한 배경영상을 생성하고 향상된 더블 프레임 디퍼런스(Enhanced Double Frame Difference) 방법을 이용하여 상기 배경영상으로부터 상기 색상영상에 따른 객체를 추출하는 단계; 상기 추출된 객체로부터 모멘트 분석정보를 획득하고 상기 획득된 모멘트 분석정보와 상기 추출된 깊이영상으로부터 획득된 상기 객체의 깊이정보를 이용하여 객체의 특징정보를 추출하고 상기 추출된 특징정보로부터 상기 객체의 움직임을 추적하는 단계; 및 상기 추적된 객체의 움직임 정보로부터 상기 객체의 위험행동 발생여부를 판단하는 단계를 포함한다.

Description

영상정보를 이용한 위험 행동 검지방법{RISK BEHAVIOR DETECTION METHOD USING IMAGE INFORMATION}
본 발명은 영상정보를 이용한 위험 행동 검지방법에 관한 것으로서, 특히 영상카메라로부터 획득된 영상으로부터 색상영상과 깊이영상을 추출하고 색상영상으로부터 얻어진 객체의 모멘트 분석정보 및 깊이영상으로부터 얻어진 객체의 깊이정보를 이용하여 객체의 위험행동을 정확하게 검지하고 경고음을 발생하도록 하는 영상정보를 이용한 위험 행동 검지방법에 관한 것이다.
최근 세계적으로 고령화 사회로 접어들면서 고령자들이나 거동이 불편한 사람들에 대한 사회적 지원대책들이 많이 마련되고 있다. 특히 혼자 생활하는 고령자들은 낙상과 같은 사고가 종종 발생하기 때문에 이에 대한 주의가 필요하다.
고령자의 낙상은 건강과 생명에 아주 큰 문제로 대두되면서 노인 인구가 급격히 증가하고 있는 최근에는 주요한 사회적 문제로 인식되고 있다.
고령자의 경우 위험 상황에 빠질 확률이 높고 본인 스스로가 위험 상황에 대한 대처능력이 떨어지므로 적절한 대책을 마련하지 않으면 심각한 상황을 야기할 수 있다. 따라서 낙상과 같은 위험 상황 발생시 신속한 조치 및 대응이 필요하다.
이를 위하여 종래에는 다양한 센서를 이용하여 위험 행동을 검출하는 기술이 다수 제시되어 있다. 예컨대 바닥에 다수의 센서를 부착하여 센서의 검출패턴과 표준패턴을 비교하여 낙상을 검출하는 기술(한국등록특허 제10-1069001호)과, 고령자의 몸에 가속도계와 자이로스코프 센서를 부착하여 낙상을 검출하는 기술(한국등록특허 제10-1196296호)이 제시되어 있다.
하지만, 이러한 경우 낙상과 같은 위험행동발생이 예상되는 장소마다 센서를 설치해야 하므로 비용이 증가되고, 또한 센서를 몸에 부착해야 하는 번거로움이 있으며, 특히 낙상감지를 위한 데이터에 대한 해석이 어렵다는 문제점을 안고 있다.
이러한 단점을 보완하기 위해 영상을 촬영하여 배경영상을 설정하고 환자(객체)를 구분하여 환자형상을 검출하는 기술로서 배경영상을 검출시에는 환자가 없는 상태에서 배경영상을 추출하고 환자를 단순화하여 환자의 이동속도, 타원의 크기변화에 따라 낙상을 검출하는 시스템(한국공개특허 제2012-0114629호)이 개시되어 있다. 또한, 영상으로부터 식별된 이동체의 움직임 패턴정보를 분석하여 이동체의 이동속도, 이동방향 및 위치를 확인하고 이동체에 대한 위험행동이나 돌발상황을 판단하는 시스템(한국공개특허 제2009-0118582호)이 개시되어 있다.
그러나, 이러한 종래기술에서는 센서를 이용하는 기술에 비해 데이터 해석의 어려움이나 착용의 불편함과 같은 단점을 해소할 수는 있으나, 환자나 이동체가 움직이는 경우 하나의 카메라를 이용하여 2차원 영상정보만을 획득하므로 공간 내에서 환자나 이동체가 카메라의 앞으로 또는 뒤로 움직이는 경우 이에 대한 위험행동의 판단이 정확하지 않았다. 예컨대 3차원 공간에서 객체가 앞,뒤로 넘어지는 경우 하나의 카메라에서 획득한 영상에서는 이를 정확하게 검출하지 못하는 문제점이 있다. 이처럼 낙상과 같은 위험행동에 대한 낮은 검출율로 인하여 신뢰성 있는 검지결과를 제공하지 못하고 있다.
본 발명은 상기한 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 영상카메라로부터 획득된 영상으로부터 색상영상과 깊이영상을 추출하고 색상영상으로부터 얻어진 객체의 모멘트 분석정보 및 깊이영상으로부터 얻어진 깊이정보를 이용하여 객체의 위험행동을 정확하게 검지하도록 하는 영상정보를 이용한 위험 행동 검지방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 3차원 공간내에서 낙상과 같은 위험행동의 발생을 정확하게 검지하여 이를 실시간으로 디스플레이하도록 하거나 또는 위험행동에 따른 경고음을 발생시켜 주변에 알릴 수 있도록 하는 영상정보를 이용한 위험 행동 검지방법을 제공하는데 다른 목적이 있다.
나아가, 본 발명은 위험행동을 검지하면 이를 외부의 유관기관서버로 실시간 전송하도록 함으로써 응급센터나 경찰서 등에서 긴급조치를 취할 수 있도록 할 수 있는 영상정보를 이용한 위험 행동 검지방법을 제공하는데 또 다른 목적이 있다.
본 발명의 실시 예에 따른 영상정보를 이용한 위험 행동 검지방법은,
색상영상센서 및 깊이영상센서를 포함하는 영상카메라를 이용하여 주변에 대한 영상을 획득하는 단계; 상기 획득된 영상으로부터 색상영상 및 깊이영상을 추출하는 단계; 상기 추출된 색상영상을 HSV(Hue, Saturation, Value) 컬러영상으로 변환하는 단계; 상기 변환된 HSV 컬러영상으로부터 적응적 가우시안 혼합(Adaptive Gaussian Mixture) 모델을 적용하여 상기 주변에 대한 배경영상을 생성하고 향상된 더블 프레임 디퍼런스(Enhanced Double Frame Difference) 방법을 이용하여 상기 배경영상으로부터 상기 색상영상에 따른 객체를 추출하는 단계; 상기 추출된 객체로부터 모멘트 분석정보를 획득하고 상기 획득된 모멘트 분석정보와 상기 추출된 깊이영상으로부터 획득된 상기 객체의 깊이정보를 이용하여 객체의 특징정보를 추출하고 상기 추출된 특징정보로부터 상기 객체의 움직임을 추적하는 단계; 및 상기 추적된 객체의 움직임 정보로부터 상기 객체의 위험행동 발생여부를 판단하는 단계를 포함한다.
본 발명에서, 상기 객체를 추출하는 단계는, 상기 향상된 더블 프레임 디퍼런스 방법을 적용하여 일정시간동안 상기 배경영상과 상기 추출된 색상영상 간의 각 픽셀별 색상차이를 검출하고 상기 검출된 색상차이가 기설정된 임계치 이상인 픽셀을 이용하여 상기 객체를 추출한다.
본 발명에서, 상기 객체의 움직임을 추적하는 단계는, 상기 추출된 객체의 중심점을 계산하고 상기 중심위치를 기준으로 탐색창을 설정한 후 다음 프레임에서 검출된 객체의 중심점을 계산하여 상기 다음 프레임의 객체의 중심점이 상기 탐색창 내에 존재하면 상기 객체의 움직임을 추적한다.
본 발명에서, 상기 객체의 모멘트 분석정보를 생성하는 단계는, 상기 배경영상으로부터 상기 객체의 분할된 영역의 윤곽선을 추출하는 단계; 상기 객체의 분할된 영역을 병합하여 하나의 윤곽선으로 연결하는 단계; 및 상기 하나의 윤곽선으로 연결된 객체의 모멘트 분석정보를 생성하는 단계를 포함한다.
본 발명에서, 상기 객체의 위험행동 발생여부를 판단하는 단계는, 상기 객체의 중심점(
Figure pat00001
,
Figure pat00002
,
Figure pat00003
)으로부터 상기 객체의 하단까지 수직으로 내린 직선과 상기 중심점으로부터 상기 객체를 최소의 너비(A) 및 높이(B)로 둘러싼 사각형에서 좌측 또는 우측의 하단부 꼭짓점까지 이은 직선 간의 사잇각(θ)이 기설정된 기준값보다 큰 경우, 또는 상기 객체의 너비(A)와 높이(B) 변화량(MBR aspect ratio) + 상기 객체의 3차원 중심점 변화량(3D centroid variation) + 상기 객체의 중심점에서 Y의 변화량(Y centroid variation) + 상기 사잇각(θ)의 계산결과가 기설정된 임계치(ThresholdFD)보다 큰 경우 중 어느 하나의 경우에 상기 객체의 위험행동으로 판단한다(여기서, α, β, γ, δ는 기설정된 가중치).
상기한 본 발명의 실시 예에 따른 영상정보를 이용한 위험 행동 검지방법은 다음과 같은 효과를 제공한다.
먼저, 본 발명에 의하면 영상카메라에 의해 획득된 3차원 공간에서의 주변영상을 이용하여 낙상과 같은 위험행동을 판단함에 있어 깊이영상으로부터 얻어진 깊이정보를 이용하므로 위험행동을 정확하게 검지할 수 있으며, 이로써 위험행동 검지의 신뢰성을 향상시킬 수 있다.
또한, 본 발명에 의하면 혼자 생활하는 고령자에 대하여 낙상 등과 같은 위험행동의 발생여부를 정확하게 검지할 수 있으므로 이를 주변에 실시간으로 자동으로 디스플레이하거나 경보함으로써 즉시 조치가 가능하도록 한다.
또한, 본 발명에 의하면 위험행동 검지를 실시간으로 외부의 유관기관에게 통보하도록 함으로써 유관기관에서의 긴급조치가 가능하도록 한다.
나아가, 본 발명에 의하면 비접촉식(non-intrusive) 방법으로 낙상과 같은 위험행동 검지를 위한 홈 헬스케어(Home Healthcare) 서비스를 제공할 수 있도록 함으로써 만성질환자나 고령자들의 낙상과 같은 위험행동 뿐만 아니라 일상적인 동작들도 정확하게 검지할 수 있는 홈 헬스케어 모니터링 시스템을 구축할 수 있다.
도 1은 본 발명의 실시 예에 따른 영상정보를 이용한 위험 행동 검지방법이 적용되는 시스템의 구성도.
도 2는 본 발명의 실시 예에 따른 위험행동 판단을 설명하기 위한 객체 이미지의 예시도.
도 3은 본 발명의 실시 예에 따른 영상정보를 이용한 위험 행동 검지방법을 나타낸 흐름도.
이하에서, 첨부된 도면들을 참조하여 본 발명을 설명한다. 본 발명을 설명함에 있어서, 공지된 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
도 1은 본 발명의 실시 예에 따른 영상정보를 이용한 위험 행동 검지방법이 적용되는 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 영상정보를 이용한 위험 행동 검지시스템(100)은 영상카메라(110), 클라이언트장치(120), 통신망(130) 및 다수의 유관기관서버(140)를 포함하여 구성된다.
영상카메라(110)는 주변환경에 대한 영상을 획득하여 영상에 따른 영상데이터를 처리한다. 특히, 본 실시 예에 따른 영상카메라(110)는 색상영상센서와 깊이영상센서를 포함한다. 따라서, 영상카메라(110)를 이용하여 색상영상과 깊이영상을 동시에 획득할 수 있으며, 이로써 주변환경에 대하여 획득된 영상에는 색상영상과 깊이영상을 포함하게 된다. 이때, 색상영상은 RGB 컬러정보를 포함하며 깊이영상은 Z축 방향의 깊이정보를 포함하고 있다. 여기서 Z축 방향은 영상카메라(100)에서 볼 때 전,후 방향을 의미한다. 이러한 영상카메라(110)는 객체에 대한 영상을 실시간으로 획득하여 해당 객체의 낙상 등과 같은 위험행동을 파악하기 위한 것이다. 본 실시 예에 따른 영상카메라(110)는 야간에도 객체의 식별이 가능한 적외선카메라를 포함할 수 있다.
클라이언트장치(120)는 영상카메라(110)에 의해 획득된 영상을 이용하여 객체를 추출하고 해당 객체의 움직임을 추적하여 객체의 위험행동 발생여부를 판단한다. 이에 클라이언트장치(120)는 도면에 도시된 바와 같이 객체추출부(121), 객체추적부(122) 및 제어부(123)를 포함하여 구성된다. 한편, 다른 실시 예에서 클라이언트장치(120)는 표시부(124), 경고발생부(125), 저장부(126) 및 통신부(127) 중 적어도 하나 이상을 더 포함할 수도 있다.
객체추출부(121)는 영상카메라(110)에 의해 획득된 주변영상으로부터 색상영상 및 깊이영상을 추출한다. 이 중 색상영상을 HSV(Hue, Saturation, Value) 컬러영상으로 변환한다. 여기서, HSV는 색상(Hue), 채도(Saturation) 및 명도(Value)로 특정 색상을 지정하는 모델로서 모든 컬러를 RGB(Red, Green, Blue)의 조합으로 표현하는 공지의 RGB 컬러 모델과는 달리 컬러를 색상(H), 채도(S) 및 명도(V)의 조합으로 표현한다. 이때, Hue, Saturation, Value는 다음과 같은 범위를 갖는다. 즉, 모든 컬러는 Hue : 0°~ 360°, Saturation : 0% ~ 100%, Value : 0% ~ 100%의 범위 내에서 결정된다. RGB 각각의 채널이 1바이트인 RGB 컬러모델(총 3바이트)을 HSV 각각의 채널이 1바이트인 HSV 컬러모델(총 3바이트)로 변환하면 Hue는 0~180, Saturation는 0~255, Value는 0~255의 값을 갖는다.
이러한 객체추출부(121)는 영상카메라(120)에서 획득된 RGB 색상영상에 비해 잡음과 카메라 지터(jitter)에 강인한 컬러영상인 HSV 컬러영상으로 변환한다. 이처럼 변환된 HSV 컬러영상으로부터 예컨대 배경분리(Background subtraction) 기법 중 하나인 적응적 가우시안 혼합(Adaptive Gaussian Mixture) 모델을 적용하여 주변의 배경영상을 생성한다. 구체적으로, 적응적 가우시안 혼합 모델을 적용하여 일정시간 동안 색상영상의 프레임을 누적하여 배경영상을 생성하도록 한다. RGB 색상영상은 잡음에 민감한 단점이 있어 인식률이 낮다. 이에 HSV 컬러영상을 이용함으로써 인식률을 높이도록 하는 것이다.
또한, 객체추출부(121)는 상기와 같이 생성된 배경영상으로부터 예컨대 향상된 더블 프레임 디퍼런스(Enhanced Double Frame Difference)방법을 이용하여 색상영상에 따른 객체를 추출한다. 구체적으로, 향상된 더블 프레임 디퍼런스 방법을 적용하여 일정시간 동안 배경영상과 추출된 색상영상 간의 각 픽셀별 색상차이를 검출하고, 그 검출된 색상차이가 기설정된 임계치 이상인 픽셀을 이용하여 객체를 추출하도록 한다.
객체추적부(122)는 상기와 같이 추출된 객체로부터 모멘트 분석정보를 획득하고 그 획득된 모멘트 분석정보와 깊이영상에 따른 객체의 깊이정보를 이용하여 객체의 특징정보를 추출하고, 이처럼 추출된 객체의 특징정보로부터 해당 객체의 움직임을 추적한다. 모멘트 분석정보의 획득과정은 하기에 상세히 기술된다. 이러한 객체의 움직임 추적에서는 추출된 객체의 중심점 위치를 계산하고 해당 중심점 위치를 기준으로 탐색창을 설정한 후 다음 프레임에서 검출된 객체의 중심위치를 계산하여 다음 프레임에서의 객체의 중심위치가 상기 탐색창 내에 존재하면 그 해당 객체의 움직임을 계속 추적하도록 한다. 중심점은 예컨대 객체의 무게중심이 될 수도 있으며 색상영상에서 나타난 객체의 위치 상의 물리적인 중심이 될 수도 있다. 이때, 객체의 모멘트 분석정보 생성은 배경영상으로부터 객체의 분할된 윤곽선을 추출하고 그 분할된 윤곽선을 연결구성 성분분석을 이용하여 하나의 윤곽선으로 연결한 후 하나의 윤곽선으로 연결된 객체의 모멘트 분석정보를 생성하도록 한다.
여기서, 깊이정보는 깊이영상으로부터 획득된다. 상기한 바와 같이 색상영상센서와 깊이영상센서가 포함된 영상카메라(110)를 통해 색상영상과 깊이영상을 획득할 수 있다. 이러한 깊이영상에는 Z축 방향의 깊이정보가 포함되어 있다. 이때, 색상영상에서 객체의 중심위치와 동일한 위치의 객체에 대한 깊이영상의 픽셀값이 깊이정보값이 되며, 이 깊이정보값은 물체의 중심점에서 Z축 좌표값(깊이값)이 되는 것이다. 깊이영상은 객체의 깊이에 따라 객체를 구성하는 픽셀값(깊이정보값)이 다르다. 객체가 영상카메라(110)에 가까이 있을 경우 깊이정보를 가지고 있는 픽셀값은 작은 값을 가지고, 멀리 있을 경우 큰 값을 가지게 된다. 이러한 원리를 이용하여 Z축의 깊이정보를 추출해 낼 수 있는 것이다.
이상에서 설명한 바와 같이, 본 발명에서는 초기에 일정시간 동안의 프레임들을 이용하여 적응적 가우시안 혼합 모델을 적용하여 배경영상을 생성한 후, 입력된 현재 프레임의 픽셀들에 대해 배경영상에 속하는 픽셀인지 객체에 속하는 픽셀인지를 학습된 적응적 가우시안 혼합 모델을 이용하여 판단하여 적응적 배경영상을 갱신한다. 또한, 움직이는 객체의 검출을 위해 배경영상과 일정시간 동안 누적된 색상영상의 프레임 영상들에 대해 향상된 프레임 디퍼런스 방법을 이용하여 두 영상 간에 픽셀값의 변화가 기설정된 임계치 이상일 경우 움직임이 있는 객체의 영역이라고 판단한다. 그 다음 단계로 하나의 객체로 인식되도록 연결 구성성분인 객체의 라벨링 작업을 수행하여 객체를 저장한다. 그 결과로서 분할된 모션 영역인 객체영역을 배경으로부터 추출한다. 그 추출된 영역에 대해서는 객체의 추적 및 위험행동 검지를 위해 미리 설정된 중요한 특정정보를 포함하고 있다.
제어부(123)는 클라이언트장치(120)의 전반적인 동작을 제어한다. 본 실시 예에서 제어부(123)는 객체추적부(120)로부터 추적된 객체의 움직임 정보를 이용하여 해당 객체의 위험행동 발생여부를 판단한다. 본 실시 예에서 객체의 위험행동 발생여부는 상기와 같이 추적된 객체의 모션으로부터 객체의 중심위치(X,Y) 및 그 중심위치에 대한 깊이정보(Z)가 미리 설정된 기준치보다 큰 경우에 위험행동 발생으로 판단하도록 한다.
상기와 같이, 본 발명에 따른 위험 행동 검지방법이 적용되는 시스템(100)에서는 표시부(124), 경고발생부(125), 저장부(126) 및 통신부(127) 중 적어도 하나 이상을 더 포함할 수 있다. 표시부(124)는 제어부(123)에서 객체의 위험행동으로 판단하는 경우 위험행동 검지메시지를 디스플레이한다. 경고발생부(125)는 위험행동이 검지되면 경고음을 발생한다. 따라서, 본 실시 예에서 이러한 표시부(124) 및 경고발생부(125)를 통해 시각적 및 청각적 방법으로 주변에 알릴 수 있다. 또한 저장부(126)는 각종 데이터 및 정보를 저장한다. 예컨대 영상정보, 색상정보, 깊이정보를 비롯하여 배경영상, 모멘트 분석정보 등을 저장할 수 있다. 통신부(127)는 제어부(123)의 제어신호에 의해 외부장치와의 통신한다.
다시 도 1을 참조하면, 통신망(130)은 클라이언트장치(120)와 후술하는 다수의 유관기관서버(140)와의 통신을 담당한다. 이러한 통신망(130)은 예컨대 유무선 인터넷망을 포함할 수 있다.
유관기관서버(140)는 클라이언트장치(120)로부터 전송된 각종 정보들을 수신한다. 특히, 제어부(123)에서 위험행동이 감지되면 위험행동 검지메시지를 적어도 하나의 유관기관서버(140)로 전송하고, 유관기관서버(140)에서는 이러한 위험행동 검지메시지를 수신함으로써 위험행동에 따른 위급상황을 파악할 수 있게 된다. 여기서, 유관기관서버(140)는 이러한 위험행동 및 위급상황을 관리 및 처리하는 적어도 하나의 유관기관에 마련된 서버장치로서, 예컨대 경찰서, 소방서, 병원, 보험사 등에 마련된 서버장치이다. 이로써, 유관기관서버(140)로 전송된 위험행동 검지메시지를 담당자가 확인하여 신속한 조치를 취할 수 있도록 한다.
도 2는 본 발명에 따른 위험행동 판단을 설명하기 위한 객체 이미지의 일 예시도이다.
도 2를 참조하면, 본 발명의 일 실시 예에서 객체(210)의 위험행동을 판단하기 위해 객체(210)의 너비(A)와 높이(B)의 변화량을 이용한다. 즉, 객체(210)의 너비(A)와 높이(B)의 변화량이 기설정된 임계치 이상인 경우에 낙상이 발생한 것으로 판단한다. 구체적으로, 도면에서와 같이 객체(210)의 중심점(
Figure pat00004
,
Figure pat00005
,
Figure pat00006
)에서 X축 또는 Y축 변화량에 대해서도 낙상과 같은 위험행동이 일어난 후에 변화량이 급격히 감소하며 일정한 값 이하이면 위험행동이 발생한 것으로 판단할 수 있다.
또한, 다른 실시 예에서 객체(210)의 중심점(
Figure pat00007
,
Figure pat00008
,
Figure pat00009
)으로부터 객체(210)의 하단까지 수직으로 내린 직선(220)과 중심점(
Figure pat00010
,
Figure pat00011
,
Figure pat00012
)으로부터 해당 객체(210)를 최소의 너비(A)(A=2a)와 높이(B)(B=2b)로 둘러싼 사각형(230)에서 좌측 또는 우측의 하단부 꼭지점(240 또는 250)까지 이은 직선(260) 간의 사잇각(θ)이 미리 설정된 기준값 이상이면 낙상과 같은 위험행동으로 판단하도록 할 수도 있다. 이때, 이러한 기준값은 위험행동 판단의 기준이 되는 값으로서 사용자에 의해 설정 및 변경될 수 있다. 예컨대, 본 실시 예에서 기준값은 일례로 45도로 설정할 수 있으며, 이러한 수치는 많은 실험에 의해 물론 변경이 가능하다. 이때, 사잇각(θ)은 하기 수학식 1과 같이 계산된다.
Figure pat00013
또한, 또 다른 실시 예에서 객체(210)의 너비(A)와 높이(B)의 변화량(MBR aspect ratio)×α + 객체(210)의 3차원 중심점 변화량(3D centroid variation)×β + 객체(210)의 중심점에서 Y의 변화량(Y centroid variation)×γ + 사잇각(θ)×δ의 계산결과가 기설정된 임계치(ThresholdFD)보다 크면 객체(210)의 위험행동 발생으로 판단할 수도 있다. 여기서, α, β, γ, δ는 객체의 위험행동 발생여부를 판단하기 위해 미리 설정된 기설정된 가중치이다. 이러한 가중치는 많은 실험에 의해 도출될 수 있으며 위험행동을 판단함에 있어 임계치를 설정하는 역할을 한다.
도 3은 본 발명의 실시 예에 따른 영상정보를 이용한 위험 행동 검지방법을 나타낸 흐름도이다.
도 3을 참조하면, 본 발명에 따른 영상정보를 이용한 위험 행동 검지방법에서는 먼저 영상카메라(110)를 이용하여 주변에 대한 영상을 획득한다(S101). 이와 같이 획득된 영상으로부터 색상영상 및 깊이영상을 추출한다(S103). 이러한 색상영상은 RGB 컬러영상이므로 잡음에 민감하다는 단점이 있다. 이에 본 발명에서는 색상영상에 대하여 인식율을 높이기 위해 HSV 컬러영상으로 변환한다(S105). 계속해서 변환된 HSV 컬러영상으로부터 상기 주변의 배경영상을 생성하고(S107). 그 배경영상으로부터 색상영상에 따른 객체를 추출한다(S109). 본 실시 예에서는 일례로서 S107 단계의 배경영상 생성은 적응적 가우시안 혼합(Adaptive Gaussian Mixture) 모델을 적용할 수 있고, 또한 S109 단계의 객체 추출은 향상된 더블 프레임 디퍼런스(Enhanced Double Frame Difference) 방법을 이용할 수 있다. 물론 다른 방법들을 사용하여도 무방하다.
이어, 추출된 객체로부터 모멘트 분석정보를 획득하고(S111), 이와 같이 획득된 모멘트 분석정보와 상기 추출된 깊이영상으로부터 획득된 객체의 깊이정보를 이용하여 객체의 특징정보를 추출한다(S113). 이후에 추출된 특징정보로부터 객체의 움직임을 추적한다(S115). 구체적으로, 상기한 바와 같이 적응적 가우시안 혼합 모델을 이용하여 배경영상을 생성하고 추출된 객체영역으로부터 모멘트 분석정보를 이용하여 검출된 객체영역에 대하여 중심위치(
Figure pat00014
,
Figure pat00015
)를 획득할 수 있다. 이러한 객체영역을 포함한 영상 I(x,y)에 대해 모멘트 식은 하기 수학식 2와 같이 나타낼 수 있다.
Figure pat00016
(p,q = 0,1,2,....)
상기 수학식 1을 이용하여 0차 모멘트, 1차 모멘트를 구한다. 여기서, x와 y는 영상에서 x축 위치 및 y축 위치를 나타낸다. 0차, 1차 모멘트를 이용하면 중심위치(
Figure pat00017
,
Figure pat00018
)는 하기 수학식 3과 같이 계산될 수 있다.
Figure pat00019
Figure pat00020
분모인 0차 모멘트 M00는 객체영역 I(x,y)의 총합이며 면적과 동일하다. 또한, 1차 모멘트 M10, M01을 M00로 나누면(정규화)하면 객체의 중심좌표를 구할 수 있다. 이와 같이 색상영상의 시퀀스로부터 검출된 움직이는 객체영역에서 객체의 윤곽선을 추출하여 하나의 객체로 연결한 후, 모멘트 분석정보를 활용하여 획득된 객체의 중심위치(
Figure pat00021
,
Figure pat00022
)와 그 중심위치와 일치하는 위치의 깊이정보값(
Figure pat00023
)을 구하여 중심점(
Figure pat00024
,
Figure pat00025
,
Figure pat00026
)을 도출하고, 그 중심점(
Figure pat00027
,
Figure pat00028
,
Figure pat00029
)을 기준으로 탐색창을 설정한 후 다음 프레임에서 검출된 객체에 대해 감지할 관심객체인지 판단하기 위해 탐색창 내의 영역에서 중심점을 검색하여 물체를 추적한다.
계속해서, 상기와 같이 추적된 객체의 움직임 정보로부터 상기 객체의 위험행동 발생여부를 판단한다(S117). 이러한 위험행동 발생의 판단단계(S117)에서는 일례로 최종적으로 검출된 움직이는 객체영역에서 모멘트 분석정보를 이용하여 객체의 중심점(
Figure pat00030
,
Figure pat00031
,
Figure pat00032
) 좌표와 상기한 바와 같이 그 해당 객체를 둘러싼 최소의 너비(A)와 높이(B)의 정보로부터 중심점에서 수직으로 객체의 끝하단으로 내린 직선(220)과 객체의 좌측 또는 우측의 하단 꼭짓점으로 이은 직선의 사잇각(θ)의 변화량을 이용하여 위험행동 발생여부를 판단할 수 있다. 본 실시 예에서는 예컨대 사잇각(θ)이 45도 이상이면 위험행동이 발생한 것으로 판단한다.
정상행동은 예컨대 걷기, 앉기, 의자에 앉기, 일어서기, 서있기 등이 있고 낙상과 같은 위험행동은 예컨대 왼쪽으로 쓰러지기, 오른쪽으로 쓰러지기, 뒤로 쓰러지기, 앞으로 쓰러지기로 나눌 수 있다. 정상동작들로부터 위험행동을 검지하는 경우에 2차원 정보로 획득된 움직이는 객체를 둘러싼 최소의 너비(A)와 높이(B)의 변화량으로도 위험행동 중 왼쪽으로 쓰러지거나 오른쪽으로 쓰러지는 낙상을 정확하게 검출할 수가 있다. 그러나, 위험행동 중 앞으로 쓰러지거나 뒤로 쓰러지는 경우와 같이 영상카메라(110)의 방향과 거의 수직되게(Z방향) 동작이 일어나는 경우에는 검출이 거의 불가능하다. 따라서, 상기한 실시 예에 따라 다양한 위험행동에 대해서도 정확하게 이를 검지하도록 함으로써 위험행동 검지의 신뢰성을 훨씬 향상시킬 수 있다.
이때, 위험행동이 발생하는 동안에 3차원 공간의 중심점(
Figure pat00033
,
Figure pat00034
,
Figure pat00035
)의 변화량에서 앞으로 쓰러지는 동작에서는 깊이정보(
Figure pat00036
)가 감소하고 뒤로 쓰러지는 동작에서는 깊이정보(
Figure pat00037
)가 증가하는 특징을 갖는다. 그러나, 옆으로 쓰러지기의 경우, 즉 왼쪽 쓰러지거나 오른쪽 쓰러지기는 경우 그 쓰러지는 순간에 Z축 방향의 변화는 거의 일정하므로 깊이정보(
Figure pat00038
)는 거의 동일하다. 또한, 왼쪽의 경우 x 감소 및 y 감소, 오른쪽의 경우 x 증가 및 y 감소의 특성을 갖는다. 반면에 뒤로 쓰러지기의 경우 x 증가, y 감소, z 증가의 특성을 갖고, 앞으로 쓰러지기의 경우 x 증가, y 감소, z 증가의 특성을 갖는다.
따라서, 본 발명에서는 이러한 다양한 특성에 따른 중심점(
Figure pat00039
,
Figure pat00040
,
Figure pat00041
)의 변화량을 이용함으로써 객체의 위험행동 검지가 어려운 경우, 즉 영상카메라(11)에 대하여 뒤로 쓰러지기와 앞으로 쓰러지기를 정확하게 판단할 수 있도록 한다. 이에 본 발명에서는 많은 오검출로 인한 낮은 인식률을 향상시키기 위해 정상동작들로부터 낙상과 같은 위험행동을 정확하게 감지하기 위하여 손쉽게 적용할 수 있는 영상카메라(110)로부터 색상영상과 깊이영상을 획득하여 모멘트 분석정보를 활용함으로써 상기 수학식에서와 같이 중요한 특징정보들을 이용하여 오른쪽으로 쓰러지기, 왼쪽 쓰러지기 낙상 동작 뿐만 아니라 뒤로 쓰러지기와 앞으로 쓰러지기의 경우에도 이를 정확하게 검출될 수 있다.
더하여, 본 발명의 다른 실시 예에서는 S117 단계에서 위험행동 발생으로 판단되면 선택적으로 위험행동 감지메시지를 화면에 디스플레이할 수도 있고(S119), 또는 경고음을 출력하도록 할 수도 있다(S121). 뿐만 아니라, 더 나아가 선택적으로 통신망(130)을 통해 적어도 하나의 외부 유관기관서버(140)로 위험행동 검지메시지를 전송하도록 설정할 수도 있다(S123).
이상에서 설명한 본 발명은 바람직한 실시 예들을 통하여 상세하게 설명되었지만, 본 발명은 이러한 실시 예들의 내용에 한정되는 것이 아님을 밝혀둔다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 비록 실시 예에 제시되지 않았지만 첨부된 청구항의 기재 범위 내에서 다양한 본 발명에 대한 모조나 개량이 가능하며, 이들 모두 본 발명의 기술적 범위에 속함은 너무나 자명하다 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110 : 영상카메라 120 : 클라이언트장치
121 : 객체추출부 122 : 객체추적부
123 : 제어부 124 : 표시부
125 : 경고발생부 126 : 저장부
127 : 통신부 130 : 통신망
140 : 유관기관서버 210 : 객체

Claims (5)

  1. 색상영상센서 및 깊이영상센서를 포함하는 영상카메라를 이용하여 주변에 대한 영상을 획득하는 단계;
    상기 획득된 영상으로부터 색상영상 및 깊이영상을 추출하는 단계;
    상기 추출된 색상영상을 HSV(Hue, Saturation, Value) 컬러영상으로 변환하는 단계;
    상기 변환된 HSV 컬러영상으로부터 적응적 가우시안 혼합(Adaptive Gaussian Mixture) 모델을 적용하여 상기 주변에 대한 배경영상을 생성하고 향상된 더블 프레임 디퍼런스(Enhanced Double Frame Difference) 방법을 이용하여 상기 배경영상으로부터 상기 색상영상에 따른 객체를 추출하는 단계;
    상기 추출된 객체로부터 모멘트 분석정보를 획득하고 상기 획득된 모멘트 분석정보와 상기 추출된 깊이영상으로부터 획득된 상기 객체의 깊이정보를 이용하여 객체의 특징정보를 추출하고 상기 추출된 특징정보로부터 상기 객체의 움직임을 추적하는 단계; 및
    상기 추적된 객체의 움직임 정보로부터 상기 객체의 위험행동 발생여부를 판단하는 단계; 를 포함하는 영상정보를 이용한 위험 행동 검지방법.
  2. 제1항에 있어서, 상기 객체를 추출하는 단계는,
    상기 향상된 더블 프레임 디퍼런스 방법을 적용하여 일정시간동안 상기 배경영상과 상기 추출된 색상영상 간의 각 픽셀별 색상차이를 검출하고 상기 검출된 색상차이가 기설정된 임계치 이상인 픽셀을 이용하여 상기 객체를 추출하는 영상정보를 이용한 위험 행동 검지방법.
  3. 제1항에 있어서, 상기 객체의 움직임을 추적하는 단계는,
    상기 추출된 객체의 중심점을 계산하고 상기 중심위치를 기준으로 탐색창을 설정한 후 다음 프레임에서 검출된 객체의 중심점을 계산하여 상기 다음 프레임의 객체의 중심점이 상기 탐색창 내에 존재하면 상기 객체의 움직임을 추적하는 영상정보를 이용한 위험 행동 검지방법.
  4. 제1항에 있어서, 상기 객체의 모멘트 분석정보를 생성하는 단계는,
    상기 배경영상으로부터 상기 객체의 분할된 영역의 윤곽선을 추출하는 단계;
    상기 객체의 분할된 영역을 병합하여 하나의 윤곽선으로 연결하는 단계; 및
    상기 하나의 윤곽선으로 연결된 객체의 모멘트 분석정보를 생성하는 단계; 를 포함하는 영상정보를 이용한 위험 행동 검지방법.
  5. 제1항에 있어서, 상기 객체의 위험행동 발생여부를 판단하는 단계는,
    상기 객체의 중심점(
    Figure pat00042
    ,
    Figure pat00043
    ,
    Figure pat00044
    )으로부터 상기 객체의 하단까지 수직으로 내린 직선과 상기 중심점으로부터 상기 객체를 최소의 너비(A) 및 높이(B)로 둘러싼 사각형에서 좌측 또는 우측의 하단부 꼭짓점까지 이은 직선 간의 사잇각(θ)이 기설정된 기준값보다 큰 경우, 또는 상기 객체의 너비(A)와 높이(B) 변화량(MBR aspect ratio) + 상기 객체의 3차원 중심점 변화량(3D centroid variation) + 상기 객체의 중심점에서 Y의 변화량(Y centroid variation) + 상기 사잇각(θ)의 계산결과가 기설정된 임계치(ThresholdFD)보다 큰 경우 중 어느 하나의 경우에 상기 객체의 위험행동으로 판단하는 영상정보를 이용한 위험 행동 검지방법(여기서, α, β, γ, δ는 기설정된 가중치).
KR1020130024894A 2013-03-08 2013-03-08 영상정보를 이용한 위험 행동 검지방법 KR20140110484A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130024894A KR20140110484A (ko) 2013-03-08 2013-03-08 영상정보를 이용한 위험 행동 검지방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130024894A KR20140110484A (ko) 2013-03-08 2013-03-08 영상정보를 이용한 위험 행동 검지방법

Publications (1)

Publication Number Publication Date
KR20140110484A true KR20140110484A (ko) 2014-09-17

Family

ID=51756518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130024894A KR20140110484A (ko) 2013-03-08 2013-03-08 영상정보를 이용한 위험 행동 검지방법

Country Status (1)

Country Link
KR (1) KR20140110484A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573811A (zh) * 2015-01-08 2015-04-29 杭州天迈网络有限公司 一种红外图像和彩色图像融合的人流量统计方法
CN107507221A (zh) * 2017-07-28 2017-12-22 天津大学 结合帧差法和混合高斯模型的运动目标检测与跟踪方法
KR20180077683A (ko) * 2016-12-29 2018-07-09 재단법인대구경북과학기술원 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법
KR20180107930A (ko) * 2017-03-23 2018-10-04 한국과학기술원 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
CN109472808A (zh) * 2018-11-23 2019-03-15 东北大学 一种获取视频中运动目标的检测方法
KR102014545B1 (ko) * 2018-07-11 2019-08-26 이노뎁 주식회사 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
KR102115322B1 (ko) * 2018-11-28 2020-05-26 주식회사 휴먼아이씨티 스마트 영상분석 시스템
KR20230097854A (ko) 2021-12-24 2023-07-03 한전케이디엔주식회사 발전소내 작업자의 위험행동 인지방법 및 시스템

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573811A (zh) * 2015-01-08 2015-04-29 杭州天迈网络有限公司 一种红外图像和彩色图像融合的人流量统计方法
KR20180077683A (ko) * 2016-12-29 2018-07-09 재단법인대구경북과학기술원 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법
KR101880522B1 (ko) * 2016-12-29 2018-07-23 재단법인대구경북과학기술원 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법
KR20180107930A (ko) * 2017-03-23 2018-10-04 한국과학기술원 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
CN107507221A (zh) * 2017-07-28 2017-12-22 天津大学 结合帧差法和混合高斯模型的运动目标检测与跟踪方法
KR102014545B1 (ko) * 2018-07-11 2019-08-26 이노뎁 주식회사 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법
CN109472808A (zh) * 2018-11-23 2019-03-15 东北大学 一种获取视频中运动目标的检测方法
CN109472808B (zh) * 2018-11-23 2022-03-04 东北大学 一种获取视频中运动目标的检测方法
KR102115322B1 (ko) * 2018-11-28 2020-05-26 주식회사 휴먼아이씨티 스마트 영상분석 시스템
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
KR20230097854A (ko) 2021-12-24 2023-07-03 한전케이디엔주식회사 발전소내 작업자의 위험행동 인지방법 및 시스템

Similar Documents

Publication Publication Date Title
KR20140110484A (ko) 영상정보를 이용한 위험 행동 검지방법
Kepski et al. Fall detection using ceiling-mounted 3d depth camera
Mastorakis et al. Fall detection system using Kinect’s infrared sensor
US8508372B2 (en) Method and system for fall detection
KR101593187B1 (ko) 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
Bevilacqua et al. Fall detection in indoor environment with kinect sensor
Zhang et al. A viewpoint-independent statistical method for fall detection
US10318817B2 (en) Method and apparatus for surveillance
JP2012532652A (ja) 転倒防止
Zhang et al. Evaluating depth-based computer vision methods for fall detection under occlusions
KR101515597B1 (ko) 3차원 영상 정보를 이용한 감지 방법 및 장치
CN104680525A (zh) 基于Kinect深度图像的人体摔倒自动检测方法
KR101309366B1 (ko) 영상 기반 이상 동작 감시 시스템 및 방법
JPWO2015133195A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
Yang et al. Fall detection for multiple pedestrians using depth image processing technique
Liciotti et al. Human activity analysis for in-home fall risk assessment
WO2016042946A1 (ja) 監視システム
Albawendi et al. Video based fall detection using features of motion, shape and histogram
KR101725654B1 (ko) 호흡 모니터링 장치 및 그 방법
TWI541769B (zh) 跌倒偵測系統及方法
JP2008541650A (ja) モニタリング方法および装置
KR101212383B1 (ko) 홈 헬스케어 모니터링 장치 및 방법
CN112597898B (zh) 基于实时计步的电力人员安全状态智能识别方法及介质
JP2021189587A (ja) 表示装置、表示方法及び表示プログラム
JP2017055949A (ja) 計測装置、計測システム、計測方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application