KR20130094488A - 영상 기반 이상 동작 감시 시스템 및 방법 - Google Patents

영상 기반 이상 동작 감시 시스템 및 방법 Download PDF

Info

Publication number
KR20130094488A
KR20130094488A KR1020120015768A KR20120015768A KR20130094488A KR 20130094488 A KR20130094488 A KR 20130094488A KR 1020120015768 A KR1020120015768 A KR 1020120015768A KR 20120015768 A KR20120015768 A KR 20120015768A KR 20130094488 A KR20130094488 A KR 20130094488A
Authority
KR
South Korea
Prior art keywords
dynamic object
image frame
image
unit
background
Prior art date
Application number
KR1020120015768A
Other languages
English (en)
Inventor
이영숙
정완영
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020120015768A priority Critical patent/KR20130094488A/ko
Publication of KR20130094488A publication Critical patent/KR20130094488A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Geometry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 촬영 영상 내에 존재하는 동적 객체의 움직임을 3차원 기반으로 추적하여 동적 객체의 이상 동작을 정확하게 검출할 수 있도록 하는 영상 기반 이상 동작 감시 시스템 및 방법에 관한 것으로, 촬영 영역에 대한 컬러 영상과 깊이 영상을 획득하는 다시점 촬영부; 및 상기 다시점 촬영부를 통해 획득한 컬러 영상 내에 동적 객체가 출현하면, 컬러 영상과 상기 다시점 촬영부를 통해 획득한 깊이 영상을 이용하여 동적 객체의 움직임을 3차원 기반으로 추적하며 동적 객체의 이상 동작 발생을 감시하는 감시 장치를 포함하여 이루어짐으로써, 신뢰성이 높고 효율적인 동작 감시 체계를 구축할 수 있는 효과가 있다.

Description

영상 기반 이상 동작 감시 시스템 및 방법{System and Method for Monitoring Emergency Motion based Image}
본 발명은 영상 기반 이상 동작 감시 시스템 및 방법에 관한 것으로, 촬영 영상 내에 존재하는 동적 객체의 이상 동작을 검출할 수 있도록 하는 영상 기반 이상 동작 감시 시스템 및 방법에 관한 것이다.
오늘날에는 인구의 급속한 고령화 현상과 거주 형태의 선진화 현상이 맞물리면서 혼자 거주하는 독거 노인들이 증가하고 있다. 이러한 독거 노인 혹은 독거 환자들의 경우, 거동이 불편하기 때문에 일상 생활 중에 낙상하는 사고가 빈번하게 발생하고 있다.
낙상 사고는 실제 실외에 비해 실내에서 자주 발생하며, 노인 인구의 절반 정도가 경험할 만큼 흔한 사고이다. 더욱이, 노인뿐만 아니라 뇌졸중 환자와 같은 만성질환자나 젊은 사람들에게도 충분히 발생할 수 있다.
독거 노인이나 독거 환자들은 주로 실내에서 홀로 생활하는 경우가 많기 때문에, 낙상으로 인해 골절과 같은 심각한 부상을 입거나 정신을 잃는 등, 거동할 수 없는 사고가 발생해도 주위에서는 사고 발생을 신속하게 인지할 수가 없다. 더욱이, 사고 발생 시 적절한 시기에 조치를 취할 수도 없어, 종종 심각한 상황으로까지 이어지게 된다.
이에, 최근에는 인체의 동작을 감시하여 이상 동작 발생 시 이를 신속하게 확인함으로써, 독거 노인이나 독거 환자들의 사회적 방치를 해소하고, 이들을 안전하게 보호하기 위한 기술이 개발되고 있다. 일 예로, 특허문헌 1에는 인체 무동작 감지 센서, 호출 버튼 및 카메라를 이용하여 이상 동작을 감시하는 기술에 대해 개시되어 있다.
그러나, 종래의 이상 동작 감시 방식은 센서를 통해 인체 무동작 여부를 감지하여 이상 동작 발생을 검출하는 방식이기 때문에, 낙상 사고가 발생한 경우에도 인체가 약간의 움직임이 있으면 이상 동작으로 판단하지 않거나, 인체가 수면을 취함에 따라 일정 시간 움직임이 없으면 이상 동작으로 판단하는 등, 이상 동작 발생 검출 시 정확성 및 신뢰성이 떨어지는 문제점이 있다.
또한, 종래의 이상 동작 감시 방식은 낙상한 사람이 정신을 잃거나 심각한 부상으로 인해 거동할 수 없는 경우에는, 호출 버튼을 사용하여 위급 상황을 알릴 수도 없으므로, 비효율적인 문제점이 있다.
또한, 종래의 이상 동작 감시 방식은 관리자가 항시 모니터에 출력되는 카메라 촬영 영상을 현시하며 인체의 이상 동작을 감시해야만 하기 때문에, 인력 및 인건비 측면에서 비효율적인 문제점이 있다.
KR1020050090947 A
본 발명은 전술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 촬영 영상 내에 존재하는 동적 객체의 움직임을 3차원 기반으로 추적하여 동적 객체의 이상 동작을 정확하게 검출할 수 있도록 하는 영상 기반 이상 동작 감시 시스템 및 방법을 제공하는데, 그 목적이 있다.
전술한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 기반 이상 동작 감시 시스템은, 촬영 영역에 대한 컬러 영상과 깊이 영상을 획득하는 다시점 촬영부; 및 상기 다시점 촬영부를 통해 획득한 컬러 영상 내에 동적 객체가 출현하면, 컬러 영상과 상기 다시점 촬영부를 통해 획득한 깊이 영상을 이용하여 동적 객체의 움직임을 3차원 기반으로 추적하며 동적 객체의 이상 동작 발생을 감시하는 감시 장치를 포함하여 이루어지는 것이 바람직하다.
한편, 본 발명의 일 실시예에 따른 영상 기반 이상 동작 감시 방법은, 다시점 촬영부에서 촬영 영역에 대한 컬러 영상과 깊이 영상을 감시 장치로 실시간 전달하는 과정; 상기 감시 장치에서 상기 다시점 촬영부로부터 전달되는 컬러 영상으로부터 배경 영상 프레임을 획득하는 과정; 상기 감시 장치에서 상기 배경 영상 프레임을 기준으로 상기 다시점 촬영부로부터 전달되는 컬러 영상을 구성하는 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출하는 과정; 상기 감시 장치에서 동적 객체 출현 영상 프레임별 이진 영상 프레임을 생성하는 과정; 상기 감시 장치에서 각 이진 영상 프레임 내에 존재하는 동적 객체를 인식하는 과정; 상기 감시 장치에서 각 이진 영상 프레임 내에 존재하는 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 각 이진 영상 프레임별 동적 객체의 동작 영역 바운딩 박스(Bounding Box) 및 3차원 동작 중심점을 설정하는 과정; 상기 감시 장치에서 각 이진 영상 프레임에 설정된 동적 객체의 동작 영역 바운딩 박스의 크기 변화 및 동적 객체의 3차원 동작 중심점의 위치 변화에 따라 동적 객체의 이상 동작 발생 여부를 판단하는 과정; 및 상기 감시 장치에서 상기 판단 결과 동적 객체의 이상 동작 발생 시, 이상 동작 발생을 알리기 위한 경보를 출력하는 과정을 포함하여 이루어지는 것이 바람직하다.
본 발명에 따른 영상 기반 이상 동작 감시 시스템 및 방법에 의하면, 촬영 영상 내에 존재하는 동적 객체의 움직임을 3차원 기반으로 추적하여 동적 객체의 이상 동작을 정확하게 검출함으로써, 신뢰성이 높고 효율적인 동작 감시 체계를 구축할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 이상 동작 감시 시스템의 구성을 개략적으로 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 영상 기반 이상 동작 감시 방법을 순차적으로 도시한 순서도.
이하에서는, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 영상 기반 이상 동작 감시 시스템 및 방법에 대하여 상세하게 설명한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 기반 이상 동작 감시 시스템은 다시점 촬영부(10) 및 감시 장치(20)를 포함하여 이루어진다. 다시점 촬영부(10)와 감시 장치(20)는 인터넷 망 등의 네트워크를 통해 상호 간에 통신을 수행할 수 있다.
다시점 촬영부(10)는 설치 공간에서의 특정 영역 촬영을 통해 촬영 영역에 대한 컬러(Color) 영상과 깊이(Depth) 영상을 획득하여 감시 장치(20)로 실시간 전달한다. 예를 들어, 다시점 촬영부(10)는 깊이 카메라(Z-Cam)가 포함된 복수의 카메라 그룹 등으로 이루어질 수 있다.
여기서, 컬러 영상은 복수의 카메라를 통해 촬영되는 RGB(Red-Green-Blue) 색상 기반의 영상이다. 아울러, 깊이 영상은 깊이 카메라를 통해 촬영되는 3차원 기반의 깊이 정보로 이루어진 영상이다. 예를 들어, 깊이 정보는 촬영 영역에 존재하는 다양한 객체들의 깊이, 즉 다양한 객체들과 깊이 카메라와의 거리 차 데이터 등을 포함할 수 있다.
한편, 감시 장치(20)는 다시점 촬영부(10)로부터 전달되는 컬러 영상 내에 동적 객체가 출현하면, 컬러 영상과 다시점 촬영부(10)로부터 전달되는 깊이 영상을 이용하여 동적 객체의 움직임을 3차원 기반으로 추적하며 동적 객체의 이상 동작 발생을 감시한다. 이때 이상 동작은 갑자기 쓰러지는 동작, 즉 낙상 동작 및 넘어짐 동작 등을 포함하는 것이 바람직하다.
이러한, 감시 장치(20)는 이상 동작 영상 저장부(21), 배경 영상 저장부(22), 배경 영상 관리부(23), 검출부(24), 추출부(25), 이진 영상 생성부(26), 설정부(27), 출력부(28) 및 판단부(29) 등을 포함하여 이루어질 수 있다.
여기서, 이상 동작 영상 저장부(21)는 다시점 촬영부(10)로부터 전달되는 컬러 영상 중에서 이상 동작 발생 시에 해당하는 영상을 저장한다.
이러한, 이상 동작 영상 저장부(21)는 버퍼 모듈 및 저장 모듈 등을 포함하여 이루어질 수 있다.
버퍼 모듈은 다시점 촬영부(10)로부터 전달되는 컬러 영상을 저장하되, 최근의 컬러 영상만을 저장한다. 즉, 버퍼 모듈은 다시점 촬영부(10)로부터 컬러 영상을 전달받으면, 그 컬러 영상을 구성하는 연속적인 컬러 영상 프레임을 재생 순서에 따라 저장하고, 저장된 컬러 영상 프레임들 중 최초 저장 시점으로부터 일정 시간이 경과된 영상 프레임을 지속적으로 제거해 나가면서 최근의 컬러 영상 프레임만을 저장하게 된다.
저장 모듈은 동적 객체의 이상 동작 발생 시, 이상 동작 발생 시점을 기준으로 전후 일정 시간 동안에 해당하는 컬러 영상을 버퍼 모듈로부터 획득하여 이상 동작 발생 시에 해당하는 영상으로 저장한다.
한편, 배경 영상 저장부(22)는 배경 영상 프레임을 저장한다.
배경 영상 관리부(23)는 배경 분리(Background Subtraction) 기법을 통해 다시점 촬영부(10)로부터 전달되는 컬러 영상으로부터 배경 영상 프레임을 획득하여 배경 영상 저장부(22)에 저장시킨다. 배경 분리 기법으로는 통계적 배경 모델인 적응적 가우시안 혼합 모델(Adaptive Gaussian Mixture Model) 등이 사용될 수 있다.
즉, 배경 영상 관리부(23)는 다시점 촬영부(10)로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중 어느 하나의 프레임을 임시 배경 영상 프레임으로 지정한 다음, 임시 배경 영상 프레임과 다시점 촬영부(10)로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 간의 화소값(휘도 등) 비교를 통해 각 컬러 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식한 후, 컬러 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 배경 영상 프레임을 생성하고, 그 생성된 배경 영상 프레임을 배경 영상 저장부(22)에 저장하게 된다.
또한, 배경 영상 관리부(23)는 배경 영상 저장부(22)에 저장된 배경 영상 프레임과 다시점 촬영부(10)로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 간의 화소값 비교를 통해 각 컬러 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식한 후, 컬러 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 새로운 배경 영상 프레임을 생성하고, 그 생성된 새로운 배경 영상 프레임을 배경 영상 저장부(22)에 저장함으로써, 배경 영상 저장부(22)에 저장되어 있는 배경 영상 프레임을 주기적으로 갱신할 수 있다.
검출부(24)는 배경 영상 저장부(22)에 저장된 배경 영상 프레임을 기준으로 다시점 촬영부(10)로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출한다.
예를 들어, 검출부(24)는 배경 영상 저장부(22)에 저장된 배경 영상 프레임과 다시점 촬영부(10)로부터 전달되는 각 컬러 영상 프레임 간의 화소값 차를 산출하고, 그 산출된 화소값 차가 임계치(Threshold) 이상인 화소를 움직임이 일어난 화소로 판단하고, 그 움직임이 일어난 화소를 갖는 컬러 영상 프레임을 동적 객체 출현 영상 프레임으로 검출하게 된다.
추출부(25)는 검출부(24)를 통해 검출된 동적 객체 출현 영상 프레임 내에서 움직임이 일어난 화소들의 위치, 색상 및 화소값 등을 포함한 동적 객체 특징점 데이터를 추출한다.
한편, 이진 영상 생성부(26)는 검출부(24)를 통해 검출된 각 동적 객체 출현 영상 프레임을 이루는 화소의 휘도 성분을 이용하여 동적 객체 출현 영상 프레임별 이진 영상 프레임을 생성한다. 이때, 이진 영상 생성부(26)는 모폴로지컬 연산(Morphological Operations)과 라벨링 알고리즘을 수행하여 이진 영상 프레임 내에 존재하는 작은 홀(Hole) 등과 같은 노이즈를 제거할 수 있다.
설정부(27)는 추출부(25)를 통해 추출된 동적 객체 특징점 데이터를 이용하여 이진 영상 생성부(26)를 통해 생성되는 각 이진 영상 프레임 내에 존재하는 동적 객체를 인식하고, 그 인식한 동적 객체의 동작 영역 크기 및 동작 위치를 추출하며, 추출된 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 각 이진 영상 프레임별 동적 객체의 동작 영역 바운딩 박스(Bounding Box) 및 3차원 동작 중심점을 설정한다. 이때, 설정부(27)는 다시점 촬영부(10)로부터 전달되는 깊이 영상에 포함되어 있는 깊이 정보를 반영하여 동적 객체의 3차원 동작 중심점을 설정하게 된다.
이러한, 설정부(27)는 각 이진 영상 프레임 내에 존재하는 동적 객체의 동작 영역 크기 및 동작 위치를 추출하기 위해 통계적 모멘트 분석(Statistic Moment Analysis) 방식을 사용하는 것이 바람직하다.
예를 들어, 설정부(27)는 아래의 [수학식 1] 및 [수학식 2]를 통해 동작 중심점의 가로 위치(xc) 및 세로 위치(yc)를 획득할 수 있다.
Figure pat00001
Figure pat00002
[수학식 1] 및 [수학식 2]에서 'i'와 'j'는 영상에서 'x'축 위치와 'y'축 위치를 나타내며, 'M(i,j)'는 동적 객체에 해당하는 영역을 나타낸다. 아울러 [수학식 1] 및 [수학식 2]에서의 분모는 0차 모멘트 분석을 이용하여 산출할 수 있고, 분자는 1차 모멘트 분석을 이용하여 산출할 수 있다.
한편, 출력부(28)는 동적 객체의 이상 동작 발생 시 이상 동작 발생을 알리기 위한 경보를 출력한다.
이러한, 출력부(28)는 사운드 모듈 및 표시 모듈 등을 포함하여 이루어질 수 있다.
사운드 모듈은 동적 객체의 이상 동작 발생 시, 경보 음성 또는 경보 알람 등 형태로 이상 동작 발생 경보를 출력한다.
표시 모듈은 동적 객체의 이상 동작 발생 시, 경보 메시지 문구/문양 및 이상 동작 영상 저장부(21)에 저장되어 있는 이상 동작 발생 영상 중 적어도 어느 하나 이상을 디스플레이한다.
판단부(29)는 각 이진 영상 프레임에 설정된 동적 객체의 동작 영역 바운딩 박스의 크기 변화를 추적하고, 이와 더불어 다시점 촬영부(10)로부터 전달되는 깊이 영상에 포함되어 있는 깊이 정보를 이용하여 3차원 동작 중심점의 위치 변화를 추적하며, 동적 객체의 동작 영역 바운딩 박스의 크기 변화 및 동적 객체의 3차원 동작 중심점의 위치 변화에 따라 동적 객체의 이상 동작 발생 여부를 판단하고, 그 판단 결과를 이상 동작 영상 저장부(21) 및 출력부(28)로 제공한다.
이때, 판단부(29)는 동작 영역 바운딩 박스 크기 변화량 및 3차원 동작 중심점 위치 변화량 중 적어도 어느 하나가 소정의 기준치를 초과하는지 여부를 확인하여, 확인 결과 기준치를 초과하는 경우, 동적 객체의 이상 동작 발생으로 판단하게 된다.
예를 들어, 판단부(29)는 각 이진 영상 프레임에 설정된 동작 영역 바운딩 박스의 가로세로 길이 변화량과, 3차원 동작 중심점의 가로세로 위치 및 깊이 변화량에 따라 동적 객체의 이상 동작 발생 여부를 판단할 수 있다.
전술한 바와 같은 구성에 있어서, 도 2를 참조하여 본 발명의 일 실시예에 따른 영상 기반 이상 동작 감시 방법에 대해 설명하면 다음과 같다.
먼저, 다시점 촬영부(10)는 설치 공간에서의 특정 영역 촬영을 통해 촬영 영역에 대한 컬러 영상과 깊이 영상을 감시 장치(20)로 실시간 전달한다(S100).
상기한 단계 S100 이후, 감시 장치(20)는 배경 분리 기법을 통해 컬러 영상으로부터 배경 영상 프레임을 획득한다(S200).
상기한 단계 S200에서 감시 장치(20)는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중 어느 하나의 프레임을 임시 배경 영상 프레임으로 지정한 다음, 임시 배경 영상 프레임과 상기한 단계 S100을 통해 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 간의 화소값 비교를 통해 각 컬러 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식한 후, 컬러 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 배경 영상 프레임을 생성하고, 그 생성된 배경 영상 프레임을 내부에 저장하게 된다.
또한, 상기한 단계 S200에서 감시 장치(20)는 내부에 저장된 배경 영상 프레임과 상기한 단계 S100을 통해 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 간의 화소값 비교를 통해 각 컬러 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식한 후, 컬러 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 새로운 배경 영상 프레임을 생성하고, 그 생성된 새로운 배경 영상 프레임을 내부에 저장함으로써, 내부에 저장되어 있는 배경 영상 프레임을 주기적으로 갱신할 수 있다.
상기한 단계 S200 다음으로, 감시 장치(20)는 배경 영상 프레임을 기준으로 상기한 단계 S100을 통해 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출한다(S300).
상기한 단계 S300에서 감시 장치(20)는 상기한 단계 S200을 통해 획득한 배경 영상 프레임과 상기한 단계 S100을 통해 전달되는 각 컬러 영상 프레임 간의 화소값 차를 산출하고, 그 산출된 화소값 차가 임계치 이상인 화소를 움직임이 일어난 화소로 판단하고, 그 움직임이 일어난 화소를 갖는 컬러 영상 프레임을 동적 객체 출현 영상 프레임으로 검출하게 된다.
또한, 상기한 단계 S300을 통해 동적 객체 출현 영상 프레임들이 검출되면, 감시 장치(20)는 각 동적 객체 출현 영상 프레임을 이루는 화소의 휘도 성분을 이용하여 동적 객체 출현 영상 프레임별 이진 영상 프레임을 생성한다(S400).
상기한 단계 S400에서 감시 장치(20)는 모폴로지컬 연산(Morphological Operations)과 라벨링 알고리즘을 수행하여 이진 영상 프레임 내에 존재하는 작은 홀(Hole) 등과 같은 노이즈를 제거할 수 있다.
상기한 단계 S400 이후, 감시 장치(20)는 각 이진 영상 프레임 내에 존재하는 동적 객체를 인식한다(S500).
상기한 단게 S500에서 감시 장치(20)는 상기한 단계 S300을 통해 검출된 동적 객체 출현 영상 프레임 내에서 움직임이 일어난 화소들의 위치, 색상 및 화소값 등을 포함한 동적 객체 특징점 데이터를 추출하고, 그 추출된 동적 객체 특징점 데이터를 이용하여 이진 영상 프레임 내에 존재하는 동적 객체를 인식할 수 있다.
상기한 단계 S500 다음으로, 감시 장치(20)는 각 이진 영상 프레임 내에 존재하는 동적 객체의 동작 영역 크기 및 동작 위치를 추출한 후, 그 추출된 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 각 이진 영상 프레임별 동적 객체의 동작 영역 바운딩 박스 및 3차원 동작 중심점을 설정한다(S600).
상기한 단계 S600에서 감시 장치(20)는 동적 객체의 3차원 동작 중심점은 상기한 단계 S100을 통해 전달되는 깊이 영상에 포함되어 있는 깊이 정보를 반영하여 설정하게 된다.
상기한 단계 S600에서 감시 장치(20)는 각 이진 영상 프레임 내에 존재하는 동적 객체의 동작 영역 크기 및 동작 위치를 추출하기 위해 통계적 모멘트 분석 방식을 사용할 수 있다.
상기한 단계 S600 이후, 감시 장치(20)는 각 이진 영상 프레임에 설정된 동적 객체의 동작 영역 바운딩 박스의 크기 변화를 추적하고, 이와 더불어 상기한 단계 S100을 통해 전달되는 깊이 영상에 포함되어 있는 깊이 정보를 이용하여 3차원 동작 중심점의 위치 변화를 추적하며, 동적 객체의 동작 영역 바운딩 박스의 크기 변화 및 동적 객체의 3차원 동작 중심점의 위치 변화에 따라 동적 객체의 이상 동작 발생 여부를 판단한다(S700).
상기한 단계 S700에서는 동작 영역 바운딩 박스 크기 변화량 및 3차원 동작 중심점 위치 변화량 중 적어도 어느 하나가 소정의 기준치를 초과하는지 여부를 확인하여, 확인 결과 기준치를 초과하는 경우, 동적 객체의 이상 동작 발생으로 판단하게 된다. 예를 들어, 각 이진 영상 프레임에 설정된 동작 영역 바운딩 박스의 가로세로 길이 변화량과, 3차원 동작 중심점의 가로세로 위치 및 깊이 변화량에 따라 동적 객체의 이상 동작 발생 여부를 판단할 수 있다. 이때, 3차원 동작 중심점의 깊이는 동적 객체가 깊이 카메라 설치 위치 방향, 즉 앞으로 쓰러지는 경우 감소하고, 깊이 카메라 설치 위치 반대 방향, 즉 뒤로 쓰러지는 경우에는 증가하게 된다. 이에, 동적 객체가 옆으로 쓰러지는 경우뿐만 아니라, 앞/뒤로 쓰러지는 경우에도 이상 동작 발생으로 판단할 수 있게 된다.
상기한 단계 S700에서의 판단 결과, 동적 객체의 이상 동작 발생 시, 감시 장치(20)는 이상 동작 발생을 알리기 위한 경보를 출력한다(S800).
상기한 단계 S800에서 감시 장치(20)는 동적 객체의 이상 동작 발생 시, 경보 음성 또는 경보 알람 등을 출력하면서, 이상 동작 발생 영상을 내부에 저장하거나, 경보 메시지 문구/문양 및 내부 저장된 이상 동작 발생 영상 중 적어도 어느 하나 이상을 디스플레이할 수 있다.
본 발명에 따른 영상 기반 이상 동작 감시 시스템 및 방법은 전술한 실시예에 국한되지 않고 본 발명의 기술사상이 허용하는 범위 내에서 다양하게 변경하여 실시할 수 있다.
10: 다시점 촬영부 20: 감시 장치
21: 이상 동작 영상 저장부 22: 배경 영상 저장부
23: 배경 영상 관리부 24: 검출부
25: 추출부 26: 이진 영상 생성부
27: 설정부 28: 출력부
29: 판단부

Claims (9)

  1. 촬영 영역에 대한 컬러 영상과 깊이 영상을 획득하는 다시점 촬영부; 및
    상기 다시점 촬영부를 통해 획득한 컬러 영상 내에 동적 객체가 출현하면, 컬러 영상과 상기 다시점 촬영부를 통해 획득한 깊이 영상을 이용하여 동적 객체의 움직임을 3차원 기반으로 추적하며 동적 객체의 이상 동작 발생을 감시하는 감시 장치를 포함하여 이루어지는 것을 특징으로 하는 영상 기반 이상 동작 감시 시스템.
  2. 제1항에 있어서,
    상기 감시 장치는,
    배경 영상 프레임을 기준으로 상기 다시점 촬영부로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출하는 검출부;
    상기 검출부를 통해 검출되는 동적 객체 출현 영상 프레임 내에서 동적 객체 특징점 데이터를 추출하는 추출부;
    상기 검출부를 통해 검출된 동적 객체 출현 영상 프레임별 이진 영상 프레임을 생성하는 이진 영상 생성부;
    상기 추출부를 통해 추출된 동적 객체 특징점 데이터를 이용하여 상기 이진 영상 생성부를 통해 생성되는 각 이진 영상 프레임 내에 존재하는 동적 객체를 인식하고, 그 인식한 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 각 이진 영상 프레임별 동적 객체의 동작 영역 바운딩 박스(Bounding Box) 및 3차원 동작 중심점을 설정하는 설정부; 및
    상기 설정부를 통해 각 이진 영상 프레임에 설정된 동적 객체의 동작 영역 바운딩 박스의 크기 변화를 추적하고, 상기 다시점 촬영부로부터 전달되는 깊이 영상에 포함되어 있는 깊이 정보를 이용하여 3차원 동작 중심점의 위치 변화를 추적하며, 동적 객체의 동작 영역 바운딩 박스의 크기 변화 및 동적 객체의 3차원 동작 중심점의 위치 변화에 따라 동적 객체의 이상 동작 발생 여부를 판단하는 판단부를 포함하여 이루어지는 것을 특징으로 하는 영상 기반 이상 동작 감시 시스템.
  3. 제2항에 있어서,
    상기 배경 영상 프레임을 저장하는 배경 영상 저장부; 및
    배경 분리(Background Subtraction) 기법을 통해 상기 다시점 촬영부로부터 전달되는 컬러 영상으로부터 배경 영상 프레임을 획득하여 상기 배경 영상 저장부에 저장시키는 배경 영상 관리부를 더 포함하여 이루어지는 것을 특징으로 하는 영상 기반 이상 동작 감시 시스템.
  4. 제2항에 있어서,
    상기 다시점 촬영부로부터 전달되는 컬러 영상 중에서 이상 동작 발생 시에 해당하는 영상을 저장하는 이상 동작 영상 저장부; 및
    동적 객체의 이상 동작 발생 시 이상 동작 발생을 알리기 위한 경보를 출력하는 출력부를 더 포함하여 이루어지는 것을 특징으로 하는 영상 기반 이상 동작 감시 시스템.
  5. 다시점 촬영부에서 촬영 영역에 대한 컬러 영상과 깊이 영상을 감시 장치로 실시간 전달하는 과정;
    상기 감시 장치에서 상기 다시점 촬영부로부터 전달되는 컬러 영상으로부터 배경 영상 프레임을 획득하는 과정;
    상기 감시 장치에서 상기 배경 영상 프레임을 기준으로 상기 다시점 촬영부로부터 전달되는 컬러 영상을 구성하는 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출하는 과정;
    상기 감시 장치에서 동적 객체 출현 영상 프레임별 이진 영상 프레임을 생성하는 과정;
    상기 감시 장치에서 각 이진 영상 프레임 내에 존재하는 동적 객체를 인식하는 과정;
    상기 감시 장치에서 각 이진 영상 프레임 내에 존재하는 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 각 이진 영상 프레임별 동적 객체의 동작 영역 바운딩 박스(Bounding Box) 및 3차원 동작 중심점을 설정하는 과정;
    상기 감시 장치에서 각 이진 영상 프레임에 설정된 동적 객체의 동작 영역 바운딩 박스의 크기 변화 및 동적 객체의 3차원 동작 중심점의 위치 변화에 따라 동적 객체의 이상 동작 발생 여부를 판단하는 과정; 및
    상기 감시 장치에서 상기 판단 결과 동적 객체의 이상 동작 발생 시, 이상 동작 발생을 알리기 위한 경보를 출력하는 과정을 포함하여 이루어지는 것을 특징으로 하는 영상 기반 이상 동작 감시 방법.
  6. 제5항에 있어서,
    상기 컬러 영상으로부터 배경 영상 프레임을 획득하는 과정은,
    상기 다시점 촬영부로부터 전달되는 컬러 영상을 구성하는 컬러 영상 프레임들 중 어느 하나의 프레임을 임시 배경 영상 프레임으로 지정하는 단계;
    상기 임시 배경 영상 프레임과 상기 다시점 촬영부로부터 전달되는 컬러 영상을 구성하는 컬러 영상 프레임들 간의 화소값 비교를 통해 각 컬러 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식하여, 컬러 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 배경 영상 프레임을 생성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상 기반 이상 동작 감시 방법.
  7. 제6항에 있어서,
    상기 컬러 영상으로부터 배경 영상 프레임을 획득하는 과정은,
    상기 배경 영상 프레임과 상기 다시점 촬영부로부터 전달되는 컬러 영상을 구성하는 컬러 영상 프레임들 간의 화소값 비교를 통해 각 컬러 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식하여, 컬러 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 새로운 배경 영상 프레임을 생성하는 단계; 및
    상기 새로운 배경 영상 프레임으로 배경 영상 프레임을 갱신하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 영상 기반 이상 동작 감시 방법.
  8. 제5항에 있어서,
    상기 이진 영상 프레임을 생성하는 과정은,
    모폴로지컬 연산(Morphological Operations)과 라벨링 알고리즘을 수행하여 상기 이진 영상 프레임 내에 존재하는 노이즈를 제거하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상 기반 이상 동작 감시 방법.
  9. 제5항에 있어서,
    상기 이상 동작 발생 여부를 판단하는 과정은,
    각 이진 영상 프레임에 설정된 동작 영역 바운딩 박스의 가로세로 길이 변화량과, 3차원 동작 중심점의 가로세로 위치 및 깊이 변화량에 따라 동적 객체의 이상 동작 발생 여부를 판단하는 것을 특징으로 하는 영상 기반 이상 동작 감시 방법.
KR1020120015768A 2012-02-16 2012-02-16 영상 기반 이상 동작 감시 시스템 및 방법 KR20130094488A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120015768A KR20130094488A (ko) 2012-02-16 2012-02-16 영상 기반 이상 동작 감시 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120015768A KR20130094488A (ko) 2012-02-16 2012-02-16 영상 기반 이상 동작 감시 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20130094488A true KR20130094488A (ko) 2013-08-26

Family

ID=49218250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120015768A KR20130094488A (ko) 2012-02-16 2012-02-16 영상 기반 이상 동작 감시 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20130094488A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101465481B1 (ko) * 2013-12-23 2014-12-10 한국건설기술연구원 Bim 데이터 포맷변환을 위한 bim데이터 처리 시스템
WO2016013719A1 (ko) * 2014-07-22 2016-01-28 주식회사 에스원 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
CN113645435A (zh) * 2020-04-27 2021-11-12 财团法人工业技术研究院 影像监控装置与方法
KR102617846B1 (ko) * 2022-12-22 2023-12-27 주식회사 핀텔 영상 내 움직임이 있는 객체 검출 방법 및 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101465481B1 (ko) * 2013-12-23 2014-12-10 한국건설기술연구원 Bim 데이터 포맷변환을 위한 bim데이터 처리 시스템
WO2016013719A1 (ko) * 2014-07-22 2016-01-28 주식회사 에스원 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
US10540552B2 (en) 2014-07-22 2020-01-21 S-1 Corporation Device and method surveilling abnormal behavior using 3D image information
CN113645435A (zh) * 2020-04-27 2021-11-12 财团法人工业技术研究院 影像监控装置与方法
KR102617846B1 (ko) * 2022-12-22 2023-12-27 주식회사 핀텔 영상 내 움직임이 있는 객체 검출 방법 및 시스템

Similar Documents

Publication Publication Date Title
KR101309366B1 (ko) 영상 기반 이상 동작 감시 시스템 및 방법
JP4700477B2 (ja) 移動体監視システムおよび移動体特徴量算出装置
JP5473801B2 (ja) 監視装置
JP6500785B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2004021495A (ja) 監視システムおよび監視方法
JP5127531B2 (ja) 画像監視装置
Zhang et al. Evaluating depth-based computer vision methods for fall detection under occlusions
KR100822476B1 (ko) 원격 응급상황 모니터링 시스템 및 방법
CN110046560A (zh) 一种危险驾驶行为检测方法和相机
KR20140110484A (ko) 영상정보를 이용한 위험 행동 검지방법
Joshi et al. A fall detection and alert system for an elderly using computer vision and Internet of Things
JP5647459B2 (ja) 移動物体検出装置
JP2018156408A (ja) 画像認識撮像装置
WO2016042946A1 (ja) 監視システム
KR20130094488A (ko) 영상 기반 이상 동작 감시 시스템 및 방법
JP2018151834A (ja) 迷子検出装置および迷子検出方法
JP2010045501A (ja) 画像監視装置
JP4821355B2 (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
JP2011053005A (ja) 監視システム
JP2008541650A (ja) モニタリング方法および装置
KR101704471B1 (ko) 낙상 검출 장치 및 그 방법
JP2012230494A (ja) 歩行者検出装置
Pang et al. Human behavioral analytics system for video surveillance
JP3088880B2 (ja) 人物認識装置
JP6645503B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application