KR20150117935A - 다중 구역에 대한 카메라 영상파일 통합 시스템 - Google Patents

다중 구역에 대한 카메라 영상파일 통합 시스템 Download PDF

Info

Publication number
KR20150117935A
KR20150117935A KR1020140043731A KR20140043731A KR20150117935A KR 20150117935 A KR20150117935 A KR 20150117935A KR 1020140043731 A KR1020140043731 A KR 1020140043731A KR 20140043731 A KR20140043731 A KR 20140043731A KR 20150117935 A KR20150117935 A KR 20150117935A
Authority
KR
South Korea
Prior art keywords
information
image file
image
unit
file
Prior art date
Application number
KR1020140043731A
Other languages
English (en)
Other versions
KR101592262B1 (ko
Inventor
남윤영
홍상진
김동욱
김용석
Original Assignee
주식회사 제론헬스케어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제론헬스케어 filed Critical 주식회사 제론헬스케어
Priority to KR1020140043731A priority Critical patent/KR101592262B1/ko
Publication of KR20150117935A publication Critical patent/KR20150117935A/ko
Application granted granted Critical
Publication of KR101592262B1 publication Critical patent/KR101592262B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 각기 다른 구역에서 촬영된 영상 파일을 통합하는 시스템으로서, 각기 다른 구역에 설치되고, 하나 이상의 카메라가 각각 설치되며, 상기 설치된 카메라에서 촬영된 영상 파일을 수집하여 전송하되, 상기 전송되는 영상 파일에는 영상 파일이 촬영된 구역에 대한 구역정보와 각 구역 내에서 각 카메라가 설치된 위치에 대한 위치정보 및 영상 파일이 촬영된 시간정보를 포함하는 영상 정보를 각각 포함시켜 전송하는 하나 이상의 감시 카메라 시스템; 상기 하나 이상의 감시 카메라 시스템 각각으로부터 영상 파일을 전송받는 영상파일 수신부와, 상기 전송받은 영상 파일 각각의 형식을 기 설정된 파일 형식으로 각각 일치되도록 변환하는 영상파일 변환부와, 상기 변환된 영상 파일 각각의 디렉토리 정보를 상기 영상 정보를 이용하여 기 설정된 통합 디렉토리 형태로 각각 통일시키는 영상파일 통합부와, 상기 영상파일 통합부에서 디렉토리 정보가 통일된 영상파일을 각각 저장하는 통합영상 파일 저장부를 포함하는 중앙 통제부; 를 포함하는 다중 구역에 대한 카메라 영상파일 통합 시스템에 관한 것이다. 본 발명에 따르면, 서로 다른 구역에서 서로 다른 파일 형태 등으로 이루어진 여러 영상 파일을 동일한 파일 형태 및 동일한 디렉토리 정보 형태로 변환하여 DB화하여 감시 또는 분석 등이 필요한 영상 파일을 정확하고 신속하게 판별하여 분석할 뿐만 아니라, 많은 구역에 대한 영상을 효율적이고 정밀하게 분석할 수 있는 다중 구역에 대한 카메라 영상파일 통합 시스템을 제공할 수 있다.

Description

다중 구역에 대한 카메라 영상파일 통합 시스템{SYSTEM FOR UNIFYING CAMERA IMAGE FILES}
본 발명은 카메라 영상파일 통합 시스템에 관한 것으로, 보다 상세하게는 서로 다른 구역에서 서로 다른 파일 형태 등으로 이루어진 여러 영상 파일을 동일한 파일 형태 및 동일한 디렉토리 정보 형태로 변환하여 DB화하여 감시 또는 분석 등이 필요한 영상 파일을 정확하고 신속하게 판별하여 분석할 뿐만 아니라, 많은 구역에 대한 영상을 효율적이고 정밀하게 분석할 수 있는 다중 구역에 대한 카메라 영상파일 통합 시스템에 관한 것이다.
본 발명은 카메라 영상파일 통합 시스템에 관한 것이다.
기존의 감시 카메라 등을 이용한 각 구역, 즉 공항, 지하철, 쇼핑몰 등에 대한 감시 시스템은, 실제 각 구역에 설치된 감시 카메라 시스템으로부터 각기 다른 형태의 영상 파일들을 전송받아, 사람이 직접 눈으로 확인하며 각 구역에 대한 감시를 수행하는 구조만이 제공되고 있는 실정이다.
특히, 이때, 각 구역에서 촬영된 영상 파일의 형태는 각 구역에서의 감시 카메라 시스템에 따라 각기 다른 형태의 파일로 제공되고, 그 영상 파일에 대한 디렉토리 정보 역시 각 구역에서의 감시 시스템에 따라 서로 다른 디렉토리 정보 형태로 제공되고 있는 실정이다.
따라서, 기존의 감시 시스템은 각기 다른 형태의 파일과 각기 다른 형태의 디렉토리 정보를 갖는 영상 파일들을 원본 그대로 저장하고, 관리자 등이 이를 직접 눈으로 확인하는 구조로서, 필요한 영상 정보에 대한 신속하고 정확한 영상 파일의 분류 내지 분석 등이 매우 곤란한 문제가 있다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제1288881호 등에 개시되어 있으나, 상술한 문제점에 대한 해결책은 제시되고 있지 못하는 실정이다.
상술한 문제점을 해결하기 위해 안출된 본 발명의 목적은 각 구역에서 촬영된 영상 정보가 포함된 영상 파일을 기 설정된 파일 형식으로 각각 일치되도록 변환하는 영상파일 변환부와 변환된 영상 파일 각각의 디렉토리 정보를 상기 영상 정보를 이용하여 기 설정된 통합 디렉토리 형태로 각각 통일시키는 영상파일 통합부 및 렉토리 정보가 통일된 영상파일을 각각 저장하는 통합영상 파일 저장부를 포함하도록 함으로써, 서로 다른 구역에서 서로 다른 파일 형태 등으로 이루어진 여러 영상 파일을 동일한 파일 형태 및 동일한 디렉토리 정보 형태로 변환하여 DB화하여 감시 또는 분석 등이 필요한 영상 파일을 정확하고 신속하게 판별하여 분석할 뿐만 아니라, 많은 구역에 대한 영상을 효율적이고 정밀하게 분석할 수 있도록 하는 다중 구역에 대한 카메라 영상파일 통합 시스템을 제공하기 위한 것이다.
또한, 신체 각각의 조인트 및 뼈대 이미지 정보를 검출하는 RGBD(RGB-Depth) 카메라부와 검출된 조인트 및 뼈대 이미지 정보로부터 신체의 행동 종류를 판단하는 액티비티 분석부를 포함함으로써, 카메라 촬영 장소에서 영상에 포함된 각 사람의 현재 행동의 종류에 대한 정보가 즉각적이고 정확하게 파악되어 제공될 수 있도록 하는 다중 구역에 대한 카메라 영상파일 통합 시스템을 제공하기 위한 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 각기 다른 구역에서 촬영된 영상 파일을 통합하는 시스템으로서, 각기 다른 구역에 설치되고, 하나 이상의 카메라가 각각 설치되며, 상기 설치된 카메라에서 촬영된 영상 파일을 수집하여 전송하되, 상기 전송되는 영상 파일에는 영상 파일이 촬영된 구역에 대한 구역정보와 각 구역 내에서 각 카메라가 설치된 위치에 대한 위치정보 및 영상 파일이 촬영된 시간정보를 포함하는 영상 정보를 각각 포함시켜 전송하는 하나 이상의 감시 카메라 시스템; 상기 하나 이상의 감시 카메라 시스템 각각으로부터 영상 파일을 전송받는 영상파일 수신부와, 상기 전송받은 영상 파일 각각의 형식을 기 설정된 파일 형식으로 각각 일치되도록 변환하는 영상파일 변환부와, 상기 변환된 영상 파일 각각의 디렉토리 정보를 상기 영상 정보를 이용하여 기 설정된 통합 디렉토리 형태로 각각 통일시키는 영상파일 통합부와, 상기 영상파일 통합부에서 디렉토리 정보가 통일된 영상파일을 각각 저장하는 통합영상 파일 저장부를 포함하는 중앙 통제부; 를 포함한다.
이때, 상기 영상파일 통합부에서 통일되는 영상파일 각각의 디렉토리 정보는, 상기 촬영된 영상 파일에 대한 상기 구역정보와 위치정보 및 시간정보로 이루어진 것을 특징으로 한다.
또한, 상기 영상파일 통합부에서 통일되는 영상파일 각각의 디렉토리 정보는, 상기 촬영된 영상 파일에 대한 상기 구역정보와 위치정보 및 시간정보가 순차적으로 결합된 디렉토리 형태인 것을 특징으로 한다.
또한, 상기 하나 이상의 감시 카메라 시스템 각각에 포함된 상기 하나 이상의 카메라 각각은 촬영 대상 객체 각각의 3차원 깊이(Depth) 데이터를 추출하여 신체 각각의 조인트 및 뼈대 이미지 정보를 검출하는 RGBD(RGB-Depth) 카메라이고, 상기 촬영된 영상 파일은 상기 이미지 정보를 포함하는 영상 파일이고, 상기 중앙 통제부는, 상기 전송받은 영상파일 각각에 대해, 상기 카메라에서 검출된 신체 각각의 조인트 및 뼈대 이미지 정보로부터 조인트와 뼈대 이미지의 이동 경로를 분석하여 추출하는 조인트 분석부와, 상기 조인트 분석부에서 분석된 조인트와 뼈대 이미지의 이동 경로 정보와 신체 각각의 조인트 및 뼈대 움직임의 이동 특성에 따라 신체 행동 종류가 기 분류되어 저장된 행동예시 DB를 비교하여 대응되는 촬영 대상 객체의 행동 종류를 판단하는 액티비티 판단부 처리부를 포함하는 액티비티 분석부(350)를 더 포함하고, 상기 영상파일 통합부는, 상기 액티비티 분석부에서 판단된 행동 종류에 대한 액티비티 정보를 상기 통일되는 영상파일 각각의 디렉토리 정보에 더 포함시키는 것을 특징으로 한다.
또한, 상기 영상파일 통합부에서 통일되는 영상파일 각각의 디렉토리 정보는, 상기 촬영된 영상 파일에 대한 상기 구역정보와 위치정보와 액티비티 정보 및 시간정보가 순차적으로 결합된 디렉토리 정보인 것을 특징으로 한다.
이상 살펴본 바와 같은 본 발명에 따르면, 서로 다른 구역에서 서로 다른 파일 형태 등으로 이루어진 여러 영상 파일을 동일한 파일 형태 및 동일한 디렉토리 정보 형태로 변환하여 DB화하여 감시 또는 분석 등이 필요한 영상 파일을 정확하고 신속하게 판별하여 분석할 뿐만 아니라, 많은 구역에 대한 영상을 효율적이고 정밀하게 분석할 수 있는 다중 구역에 대한 카메라 영상파일 통합 시스템을 제공할 수 있다.
또한, 본 발명에 따르면 카메라 촬영 장소에서 영상에 포함된 각 사람의 현재 행동의 종류에 대한 정보가 즉각적이고 정확하게 파악되어 제공될 수 있도록 하는 다중 구역에 대한 카메라 영상파일 통합 시스템을 제공할 수 있다.
도 1은 본 발명에 따른 다중 구역에 대한 카메라 영상파일 통합 시스템의 개략적인 구조를 나타내기 위한 블록 구성도이다.
도 2는 각 구역의 감시 카메라 시스템에 포함된 카메라의 구성을 나타내기 위한 블록 구성도이다.
도 3은 중앙 통제부의 구체적 구성을 나타내기 위한 블록 구성도이다.
도 4는 액티비티 분석부의 구체적 구성을 나타내기 위한 블록 구성도이다.
도 5의 (a)는 RGBD 카메라부에 의해 촬영된 가공 전 이미지에 대한 예시도이고, 도 5의 (b)는 2 객체, 즉 2 사람에 대한 깊이 데이터에 따른 이미지 정보에 대한 예시도이며, 도 5의 (c)는 2 사람에 대한 각각의 조인트 및 뼈대 이미지 정보에 대한 예시도이다.
도 6의 (a)는 신체의 관절과 뼈대 분류에 대한 기준이 되는 예시도이고, 도 6의 (b)는 도 6의 (a)에 따라 추출된 2 사람의 조인트 및 뼈대 이미지 정보에 대한 예시도이다.
도 7는 본 발명에 대한 전체적인 시스템을 구성하는 블록 구성의 예시도이고, 도 8은 신체 조인트 정보에 대한 예시 분류표이다.
도 9 내지 도 13은 각각, 2 사람의 관계에서 얼굴 벡터좌표의 변화에 따른 상호 행동 종류 5가지에 대한 예시를 나타내기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다
이하, 본 발명의 실시예들에 의하여 다중 구역에 대한 카메라 영상파일 통합 시스템을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명에 따른 다중 구역에 대한 카메라 영상파일 통합 시스템의 개략적인 구조를 나타내기 위한 블록 구성도이고, 도 2는 각 구역의 감시 카메라 시스템에 포함된 카메라의 구성을 나타내기 위한 블록 구성도이며, 도 3은 중앙 통제부의 구체적 구성을 나타내기 위한 블록 구성도이고, 도 4는 액티비티 분석부의 구체적 구성을 나타내기 위한 블록 구성도이다.
또한, 도 5의 (a)는 RGBD 카메라부에 의해 촬영된 가공 전 이미지에 대한 예시도이고, 도 5의 (b)는 2 객체, 즉 2 사람에 대한 깊이 데이터에 따른 이미지 정보에 대한 예시도이며, 도 5의 (c)는 2 사람에 대한 각각의 조인트 및 뼈대 이미지 정보에 대한 예시도이다.
도 6의 (a)는 신체의 관절과 뼈대 분류에 대한 기준이 되는 예시도이고, 도 6의 (b)는 도 6의 (a)에 따라 추출된 2 사람의 조인트 및 뼈대 이미지 정보에 대한 예시도이다.
도 7는 본 발명에 대한 전체적인 시스템을 구성하는 블록 구성의 예시도이고, 도 8은 신체 조인트 정보에 대한 예시 분류표이다.
도 9 내지 도 13은 각각, 2 사람의 관계에서 얼굴 벡터좌표의 변화에 따른 상호 행동 종류 5가지에 대한 예시를 나타내기 위한 예시도이다.
본 발명에 의한 바람직한 실시예에 따른 다중 구역에 대한 카메라 영상파일 통합 시스템은 각기 다른 구역(100; 110, 120, 130)에서 촬영된 영상 파일을 통합하는 시스템으로서, 각기 다른 구역(100)에 설치되고, 하나 이상의 카메라(200; 210, 220, 230)가 각각 설치되며, 상기 설치된 카메라(200)에서 촬영된 영상 파일을 수집하여 전송하되, 상기 전송되는 영상 파일에는 영상 파일이 촬영된 구역에 대한 구역정보와 각 구역 내에서 각 카메라가 설치된 위치에 대한 상세 위치정보 및 영상 파일이 촬영된 시간정보를 포함하는 영상 정보를 각각 포함시켜 전송하는 하나 이상의 감시 카메라 시스템, 및 상기 하나 이상의 감시 카메라 시스템으로부터 영상 파일을 전송받는 영상파일 수신부(310)와, 상기 전송받은 영상 파일 각각의 형식을 기 설정된 파일 형식으로 각각 변환하는 영상파일 변환부(320)와, 상기 변환된 영상 파일 각각의 디렉토리 정보를 상기 영상 정보를 이용하여 기 설정된 통합 디렉토리 형태로 각각 통일시키는 영상파일 통합부(330)와, 상기 영상파일 통합부(330)에서 디렉토리 정보가 통일된 영상파일을 각각 저장하는 통합영상 파일 저장부(340)를 포함하는 중앙 통제부(300)를 포함한다.
즉, 본 발명에 따른 다중 구역에 대한 카메라 영상파일 통합 시스템은, 하나 이상의 감시 카메라 시스템과 중앙 통제부(300)를 포함한다.
상기 하나 이상의 감시 카메라 시스템은, 각각 서로 다른 구역, 예컨대 인천공항 구역, 김포공항 구역, 각 지하철 구역, 가기 다른 쇼핑몰 등이 속하는 구역에 하나 이상의 카메라가 설치되어 해당 구역에 대한 촬영을 수행하는 감시 카메라 시스템이다.
이때, 상기 하나 이상의 감시 카메라 시스템 각각은 하나 이상의 카메라(200) 각각에 의해 촬영된 영상 파일을 수집하여 상기 중앙 통제부로 전송하되, 각 감시 카메라 시스템이 설치된 구역(100)에 대한 구역정보와 각 구역(100) 내에서의 각 카메라가 설치된 위치에 대한 위치정보 및 각 촬영 파일이 촬영된 날짜시간 등에 관한 시간정보를 포함하는 영상 정보를 상기 각각의 영상 파일에 포함시켜 전송하게 된다.
상기 중앙 통제부(300)는 영상파일 수신부(310), 영상파일 변환부(320), 영상파일 통합부(330) 및 통합 영상파일 저장부(340)를 포함한다.
상기 영상파일 수신부(310)는 상기 하나 이상의 감시 카메라 시스템 각각으로부터 영상 파일을 전송받는다.
상기 영상파일 변환부(320)는 상기 각각 전송받은 영상 파일들의 파일 형식을 기 설정된 파일 형식으로 각각 일치되도록 변환하는 수단이다.
즉, 상기 영상파일 변환부(320)는 상기 하나 이상의 감시 카메라 시스템 각각으로부터 전송된 각기 다른 형식의 파일 형태를 갖는 영상 파일들을 하나의 파일 형식을 갖는 형태로 변환한다.
예컨대, 상기 영상파일 변환부(320)는 어느 감시 카메라 시스템으로부터 전송된 제1 영상 파일의 형식이 avi 파일 형식이고 다른 감시 카메라 시스템으로부터 전송된 제2 영상 파일의 형식이 wmv 파일 형식인 경우, 상기 제1 영상 파일과 제2 영상 파일의 형식을 모두 상기 기 설정된 파일 형식, 예컨대 mpec(mp4) 파일 형식으로 변환한다.
상기 영상파일 통합부(330)는 상기 영상파일 변환부(320)에서 변환된 영상 파일 각각에 포함된 영상 정보를 이용하여 기 설정된 통합 디렉토리 형태로 각각 통일시키는 수단이다.
즉, 상기 영상파일 통합부(330)는 상기 영상파일 변환부에서 변환된 영상 파일 각각의 디렉토리 정보를 상기 영상 정보를 이용하여 기 설정된 통합 디렉토리 형태를 갖도록 하는 수단이다.
이때, 상기 영상파일 통합부에서 통일되는 영상파일 각각의 디렉토리 정보는, 상기 촬영된 영상 파일에 대한 상기 구역정보와 위치정보 및 시간정보로 이루어진다.
예컨대, 상기 영상파일 통합부(330)는 상기 하나 이상의 감시 카메라 시스템으로부터 전송받아 기 설정된 파일 형식으로 일치되도록 변환된 영상 파일 각각은, {구역정보, 위치정보, 시간정보}의 통일된 형태를 갖는 디렉토리 정보를 갖도록 설정된다.
이때, 상기 영상파일 통합부(330)에서 통일되는 영상파일 각각의 디렉토리 정보는, 상기 촬영된 영상 파일에 대한 상기 구역정보와 위치정보 및 시간정보가 순차적으로 결합된 디렉토리 형태로 이루어진다.
즉, 모든 영상 파일의 디렉토리 정보는 {구역정보, 위치정보, 시간정보}와 동일한 형태를 갖도록 설정된다.
상기의 디렉토리 정보에 의해 어느 구역의 어느 위치에 설치된 카메라에 의한 어느 시간에 촬영된 영상인지 신속하고 정확하게 구분하여 분석할 수 있다.
상기 하나 이상의 감시 카메라 시스템 각각에 포함된 카메라는, 상기 하나 이상의 카메라 각각은 촬영 대상 객체 각각의 3차원 깊이(Depth) 데이터를 추출하여 신체 각각의 조인트 및 뼈대 이미지 정보를 검출하는 RGBD(RGB-Depth) 카메라로 이루어지는 것이 바람직하다.
이때, 상기 하나 이상의 감시 카메라 시스템 각각으로부터 상기 중앙 통제부(300)로 전송되는 영상 파일은 상기 이미지 정보, 즉 상기 검출된 신체 각각의 조인트 및 뼈대 이미지 정보를 포함하는 영상 파일로 이루어진다.
이때, 상기 중앙 통제부(300)는, 상기 전송받은 영상파일 각각에 대해, 상기 카메라에서 검출된 신체 각각의 조인트 및 뼈대 이미지 정보로부터 조인트와 뼈대 이미지의 이동 경로를 분석하여 추출하는 조인트 분석부(351)와, 상기 조인트 분석부(351)에서 분석된 조인트와 뼈대 이미지의 이동 경로 정보와 신체 각각의 조인트 및 뼈대 움직임의 이동 특성에 따라 신체 행동 종류가 기 분류되어 저장된 행동예시 DB(354)를 비교하여 대응되는 촬영 대상 객체의 행동 종류를 판단하는 액티비티 판단부 처리부(355)를 포함하는 액티비티 분석부(350)를 더 포함한다.
또한, 상기 영상파일 통합부(330)는, 상기 액티비티 분석부(350)에서 판단된 행동 종류에 대한 액티비티 정보를 상기 통일되는 영상파일 각각의 디렉토리 정보에 더 포함시킬 수 있다.
즉, 상기 액티비티 정보가 더 포함된 영상 파일 각각의 영상 파일 디렉토리 정보는 {구역정보, 위치정보, 액티비티 정보, 시간정보}와 동일한 형태를 갖도록 설정된다.
이때, 상기 영상파일 통합부에서 통일되는 영상파일 각각의 디렉토리 정보는, 상기 촬영된 영상 파일에 대한 상기 구역정보와 위치정보와 액티비티 정보 및 시간정보가 순차적으로 결합되는 것이 바람직하다.
이때, 상기 액티비티 분석부(350)에서 분석된 각 영상 파일의 액티비티 정보는 상기 영상 수신부에서 수신된 영상 파일로부터 바로 분석되어 포함되고, 그 액티비티 정보가 더 포함된 영상 파일 각각이 상기 영상파일 변환부(320)와 상기 영상파일 통합부(330)에서의 가공 과정이 순차적으로 진행될 수도 있을 것이다.
이하는, 액티비티 분석부(350)의 구성에 대해 보다 구체적으로 설명하도록 한다.
이하 RGBD 카메라부라 함은 복수 개의 RGBD 카메라들로서, 상기 하나 이상의 감시 카메라 시스템에 각각 포함된 하나 이상의 카메라를 통칭하는 것이고, 신체 각각의 조인트 및 뼈대 이미지 정보라 함은 상술한 영상 파일과 같은 의미로 사용하도록 한다.
RGBD 카메라부(200; 210, 220, 230), 즉 상기 카메라(200)와 상기 액티비티 분석부(350)에 관해 설명하면 다음과 같다.
즉, 촬영 대상 객체 각각의 3차원 깊이(Depth) 데이터를 추출하여 신체 각각의 조인트 및 뼈대 이미지 정보를 검출하는 RGBD(RGB-Depth) 카메라부(200)와, 상기 RGBD 카메라부(200)에서 검출된 신체 각각의 조인트 및 뼈대 이미지 정보로부터 조인트와 뼈대 이미지의 이동 경로를 분석하여 추출하는 조인트 분석부와(351), 상기 조인트 분석부(351)에서 분석된 조인트와 뼈대 이미지의 이동 경로 정보와 신체 각각의 조인트 및 뼈대 움직임의 이동 특성에 따라 신체 행동 종류가 기 분류되어 저장된 행동예시 DB(354)를 비교하여 대응되는 촬영 대상 객체의 행동 종류를 판단하는 액티비티 판단 처리부(355)를 포함하는 액티비티 분석부(350)를 포함한다.
즉, 본 발명에 따른 신체 행동 인지 시스템은 RGBD 카메라부(200)와 액티비티 분석부(350)를 포함한다.
상기 RGBD 카메라부(200)는 RGBD(RED, GREEN, BLUE, DEPTH) 카메라로, RGBD 센서들을 갖는 3D 이미징 카메라로 획득되는 깊이 데이터를 갖는 이미지로부터, 신체의 조인트와 뼈대 정보를 추정할 수 있는 수단이다.
상기 RGBD 카메라부(200)는 촬영부(211, 221, 231), 배경 추출부(212, 222, 232), 빼대 추출부(213, 223, 233) 및 조인트 분할 추출부(214, 224, 234) 등을 포함한다.
상기 촬영부(211, 221, 231)는 RGBD 센서들을 이용하여 일반 CCTV 카메라와 같이 지하철이나 쇼핑몰 등에 존재하는 배경 공간과 사람을 촬영하는 수단이고, 상기 배경 추출부(212, 222, 232)는 촬영 이미지 중 배경에 해당되는 이미지를 추출 제거하는 수단이다.
상기 뼈대 추출부(213, 223, 233)와 조인트 분할 추출부(214, 224, 234)는 상기 배경이 제거되고 사람의 신체만으로 이루어지고 깊이 데이터를 갖는 이미지로부터 신체의 조인트와 뼈대 정보를 추출하는 수단이다.
즉, 상기 RGBD 카메라부(200: 210, 220, 230)에 의해, 촬영된 이미지 중 배경 이미지가 제거된 후 신체의 조인트와 뼈대 이미지만으로 구성된 조인트 및 뼈대 이미지 정보가 검출된다. 즉, 상기 RGBD 카메라부(200)는 상기 깊이 데이터를 갖는 신체의 조인트 및 뼈대 이미지로부터, 기 설정된 이미지 프로세서에 의해 신체를 구성하는 조인트 및 뼈대 정보를 검출한다.
이때, 상술한 조인트 및 뼈대 이미지 정보 검출에 과해서는 기존의 RGBD 카메라에 의한 조인트 및 뼈대 이미지 검출 과정과 같으므로 이에 관한 구체적인 설명은 생략하도록 한다.
상기 액티비티 분석부(350)는 조인트 분석부(351)와 액티비티 판단 처리부(355) 및 행동예시 DB(354)를 포함한다.
상기 액티비티 분석부(350)는 상기 RGBD 카메라부(200)로부터 조인트 및 뼈대 이미지 정보를 전송받고, 그 조인트 및 뼈대의 이미지만에 의한 움직임, 즉 조인트 및 뼈대 이미지의 이동 경로를 분석하여 상기 행동예시 DB(354)에 기 저장된 신체의 각 행동과 분석된 조인트 및 뼈대 이미지의 이동 경로를 비교하여 촬영된 사람의 행동 특성을 판단하는 수단이다.
보다 구체적으로, 상기 조인트 분석부(351)는 상기 RGBD 카메라부에서 검출된 신체 각각의 조인트 및 뼈대 이미지 정보로부터 조인트와 뼈대 이미지의 이동 경로를 분석하여 추출하는 수단으로, 조인트 및 뼈대 이미지의 움직임을 분석하는 수단이다.
상기 행동예시 DB(354)는 신체의 조인트와 뼈대의 이동 경로에 따라 신체 행동 종류가 각각 기 분류되어 저장된 DB이다.
즉, 상기 행동예시 DB(354)에는 신체 행동에 따른 조인트와 뼈대의 이동 경로에 대한 데이터들이 신체 행동별로 각각 저장된다.
상기 액티비티 판단 처리부(355)는 상기 조인트 분석부에서 분석된 조인트와 뼈대 이미지의 이동 경로 정보와 상기 행동예시 DB(354)의 데이터들, 즉 신체 각각의 조인트 및 뼈대 움직임의 이동 특성에 따라 신체 행동 종류가 기 분류되어 저장된 행동예시 DB(354)를 비교하여, 상기 RGBD 카메라부(200)에서 촬영되어 검출된 조인트 및 뼈대 이미지의 이동 경로로부터 상기 RGBD 카메라부(200)에서 촬영된 사람의 행동 종류를 판단하는 수단이다.
이때, 상기 조인트 분석부(351)는, 기 설정된 3차원 좌표계의 기준점을 기준으로, 상기 RGBD 카메라부(200)에서 검출된 신체 각각의 조인트 및 뼈대 이미지 정보의 이동 경로에 대한 3차원 좌표값들을 추출하고, 상기 추출된 상기 신체 각각의 조인트 및 뼈대 이미지 정보의 3차원 좌표값들을 기준으로 상기 이동 경로 정보를 추출한다.
즉, 상기 RGBD 카메라부(200)에서 검출된 조인트 및 뼈대 이미지 각각을 기 설정된 3차원 좌표계 상의 좌표로 분석하여, 각 조인트와 뼈대의 이동 경로를 분석한다.
상기 조인트 분석부(351)는 독립 객체 판단부(357)와 객체간 상호작용 판단부(358)를 더 포함한다.
상기 독립 객체 판단부(357)는 상기 RGBD 카메라부(200)에서 검출된 신체 각각의 조인트 및 뼈대 이미지 정보로부터 기 설정된 조인트 및 뼈대 사이의 결합 거리와 연동 관계로부터 독립된 신체를 구성하는 독립 신체에 대한 조인트 및 뼈대 이미지 정보를 판단하는 수단이다.
즉, 상기 독립 객체 판단부(357)는 상기 RGBD 카메라부(200)에서 촬영된 조인트 및 뼈대 이미지 정보에 2 이상의 사람에 대한 조인트 및 뼈대 이미지 정보가 포함된 경우, 2 이상의 사람 각각에 대한 신체의 조인트 및 뼈대 이미지 정보를 개별적으로 분리하여 각 독립 신체 각각에 대한 조인트와 뼈대 이미지의 이동 경로를 개별적으로 분석하도록 한다.
상기 객체간 상호작용 판단부(358)는 상기 독립 객체 판단부(357)에서 판단된 독립된 신체 각각의 조인트와 뼈대의 이동 경로를 분석하고 독립된 신체간 상호 연동 여부를 판단하는 수단이다.
즉, 상기 객체간 상호작용 판단부(358)는 상기 RGBD 카메라부(200)에서 검출된 조인트 및 뼈대 이미지 정보에 2 이상의 독립된 신체별 조인트 및 뼈대 이미지 정보로부터 각 이동경로를 분석하고, 2 이상의 신체가 상호 연동하는 지 여부, 예컨대 서로 악수 등 인사를 하거나, 포옹을 하거나 물건을 주고받는 등의 상호 연동 여부를 판단한다.
이때, 상기 행동예시 DB(354)에는 2 이상의 독립된 신체 각각의 조인트 및 뼈대 움직임의 이동 특성에 따라 상기 독립된 신체간 연동 행동 종류가 더 분류되어 저장된다.
이때, 상기 조인트 부석부(351)는 상기 독립 객체 판단부에서 판단된 독립 신체 각각에 대해 상기 조인트와 뼈대 이미지의 이동 경로를 개별적으로 분석하여 추출할 것이다.
또한, 상기 액티비티 판단 처리부(355)는 상기 객체간 상호작용 판단부(358)에서 독립된 신체간 상호 연동으로 판단된 경우, 상호 연동으로 판단된 독립된 신체 각각의 상기 분석된 조인트와 뼈대 이미지의 이동 경로 정보와 상기 행동예시 DB(354)를 비교하여 대응되는 연동 행동 종류를 더 판단한다.
이때, 상기 행동예시 DB(354)에는 기 설정된 3차원 좌표계의 기준점을 기준으로 2 이상의 독립된 신체 각각의 얼굴 벡터좌표의 변화에 따른 상호 행동 종류가 더 분류되어 저장되는 것이 바람직하다.
즉, 상기 행동예시 DB(354)에는 2 이상의 사람이 서로 악수 등 인사를 하거나, 포옹을 하거나 물건을 주고받는 등 상호 연동 각각의 경우에 대한, 2 이상의 사람의 얼굴 벡터좌표의 변화 데이터가 각 상호 연동의 종류별로 기 저장된다.
이때, 상기 조인트 분석부(351)는, 상기 독립 객체 판단부(357)에서 상기 신체 각각의 조인트 및 뼈대 이미지 정보로부터 머리의 얼굴 정보를 더 분석하여 추출하도록 하고, 상기 객체간 상호작용 판단부(358)에서 독립된 신체간 상호 연동으로 판단된 경우, 상기 기 설정된 3차원 좌표계의 기준점을 기준으로 상기 판단된 독립된 신체 각각의 얼굴에 대한 벡터좌표의 변화 정보를 더 추출한다.
또한, 상기 액티비티 판단 처리부(355)는, 상기 객체간 상호작용 판단부(358)에서 독립된 신체간 상호 연동으로 판단된 경우, 상호 연동으로 판단된 독립된 신체 각각의 얼굴에 대한 벡터좌표의 변화 정보와 상기 행동예시 DB(354)를 비교하여 대응되는 상호 행동 종류를 더 판단한다.
즉, 본 발명에 따른 신체 행동 인지 시스템은, RGBD 카메라부(200)에서 검출된 각 신체의 조인트 및 뼈대 이미지 정보로부터, 각 신체의 조인트와 뼈대의 이동 경로로부터 각 신체의 행동 종류를 판단하고, 2 이상의 신체가 상호 연동하는 행동을 하는 경우, 그 상호 연동의 종류까지 파악하도록 함으로써, 공항이나 지하철 또는 공공장소 등에서 사람들의 행동으로부터 특정 위험 행동 또는 특정 주시 행동을 즉각적으로 판단하여 제공될 수 있도록 한다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 구역 200: 카메라
300: 중앙 통제부 310: 영상파일 수신부
320: 영상파일 변환부 330: 영상파일 통합부
340: 통합 영상파일 저장부 350: 액티비티 분석부
351: 조인트 분석부 354: 행동 예시 DB
355: 액티비티 판단 처리부

Claims (5)

  1. 각기 다른 구역에서 촬영된 영상 파일을 통합하는 시스템으로서,
    각기 다른 구역에 설치되고, 하나 이상의 카메라가 각각 설치되며, 상기 설치된 카메라에서 촬영된 영상 파일을 수집하여 전송하되, 상기 전송되는 영상 파일에는 영상 파일이 촬영된 구역에 대한 구역정보와 각 구역 내에서 각 카메라가 설치된 위치에 대한 위치정보 및 영상 파일이 촬영된 시간정보를 포함하는 영상 정보를 각각 포함시켜 전송하는 하나 이상의 감시 카메라 시스템;
    상기 하나 이상의 감시 카메라 시스템 각각으로부터 영상 파일을 전송받는 영상파일 수신부와, 상기 전송받은 영상 파일 각각의 형식을 기 설정된 파일 형식으로 각각 일치되도록 변환하는 영상파일 변환부와, 상기 변환된 영상 파일 각각의 디렉토리 정보를 상기 영상 정보를 이용하여 기 설정된 통합 디렉토리 형태로 각각 통일시키는 영상파일 통합부와, 상기 영상파일 통합부에서 디렉토리 정보가 통일된 영상파일을 각각 저장하는 통합영상 파일 저장부를 포함하는 중앙 통제부; 를 포함하는 다중 구역에 대한 카메라 영상파일 통합 시스템.
  2. 제 1 항에 있어서,
    상기 영상파일 통합부에서 통일되는 영상파일 각각의 디렉토리 정보는, 상기 촬영된 영상 파일에 대한 상기 구역정보와 위치정보 및 시간정보로 이루어진 것을 특징으로 하는 다중 구역에 대한 카메라 영상파일 통합 시스템.
  3. 제 2 항에 있어서,
    상기 영상파일 통합부에서 통일되는 영상파일 각각의 디렉토리 정보는, 상기 촬영된 영상 파일에 대한 상기 구역정보와 위치정보 및 시간정보가 순차적으로 결합된 디렉토리 형태인 것을 특징으로 하는 다중 구역에 대한 카메라 영상파일 통합 시스템.
  4. 제 2 항에 있어서,
    상기 하나 이상의 감시 카메라 시스템 각각에 포함된 상기 하나 이상의 카메라 각각은 촬영 대상 객체 각각의 3차원 깊이(Depth) 데이터를 추출하여 신체 각각의 조인트 및 뼈대 이미지 정보를 검출하는 RGBD(RGB-Depth) 카메라이고, 상기 촬영된 영상 파일은 상기 이미지 정보를 포함하는 영상 파일이고,
    상기 중앙 통제부는,
    상기 전송받은 영상파일 각각에 대해, 상기 카메라에서 검출된 신체 각각의 조인트 및 뼈대 이미지 정보로부터 조인트와 뼈대 이미지의 이동 경로를 분석하여 추출하는 조인트 분석부와, 상기 조인트 분석부에서 분석된 조인트와 뼈대 이미지의 이동 경로 정보와 신체 각각의 조인트 및 뼈대 움직임의 이동 특성에 따라 신체 행동 종류가 기 분류되어 저장된 행동예시 DB를 비교하여 대응되는 촬영 대상 객체의 행동 종류를 판단하는 액티비티 판단부 처리부를 포함하는 액티비티 분석부(350)를 더 포함하고,
    상기 영상파일 통합부는,
    상기 액티비티 분석부에서 판단된 행동 종류에 대한 액티비티 정보를 상기 통일되는 영상파일 각각의 디렉토리 정보에 더 포함시키는 것을 특징으로 하는 다중 구역에 대한 카메라 영상파일 통합 시스템.
  5. 제 4 항에 있어서,
    상기 영상파일 통합부에서 통일되는 영상파일 각각의 디렉토리 정보는, 상기 촬영된 영상 파일에 대한 상기 구역정보와 위치정보와 액티비티 정보 및 시간정보가 순차적으로 결합된 디렉토리 정보인 것을 특징으로 하는 다중 구역에 대한 카메라 영상파일 통합 시스템.
KR1020140043731A 2014-04-11 2014-04-11 다중 구역에 대한 카메라 영상파일 통합 시스템 KR101592262B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140043731A KR101592262B1 (ko) 2014-04-11 2014-04-11 다중 구역에 대한 카메라 영상파일 통합 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140043731A KR101592262B1 (ko) 2014-04-11 2014-04-11 다중 구역에 대한 카메라 영상파일 통합 시스템

Publications (2)

Publication Number Publication Date
KR20150117935A true KR20150117935A (ko) 2015-10-21
KR101592262B1 KR101592262B1 (ko) 2016-02-18

Family

ID=54400251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140043731A KR101592262B1 (ko) 2014-04-11 2014-04-11 다중 구역에 대한 카메라 영상파일 통합 시스템

Country Status (1)

Country Link
KR (1) KR101592262B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791717A (zh) * 2017-02-27 2017-05-31 广州林邦信息科技有限公司 视频处理方法及装置
KR20190136363A (ko) * 2018-05-30 2019-12-10 주식회사 공간정보 원격탐사 성과물과 클라우드 기반 플랫폼과의 연계 시스템
KR20220147951A (ko) * 2021-04-28 2022-11-04 한국철도기술연구원 대중교통 이용자의 동선 추적 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594694B1 (ko) * 2021-07-05 2023-10-26 서울과학기술대학교 산학협력단 다수의 카메라에서 촬영된 영상에서 동일인물 인식 방법 및 이를 수행하기 위한 기록 매체 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130394A (ja) * 2003-10-27 2005-05-19 Olympus Corp 直接投射装置及びそのプログラム
KR20100050226A (ko) * 2008-11-05 2010-05-13 주식회사 지.아이.티 다중단계 감시영역 설정에 의한 영상검지시스템
KR20100138168A (ko) * 2009-06-24 2010-12-31 주식회사 대덕지에스 영상감시 시스템 및 그 시스템의 영상감시방법
KR101315040B1 (ko) * 2008-08-08 2013-10-14 삼성테크윈 주식회사 영상제공장치, 영상출력장치, 영상전송 시스템 및 이를 이용한 영상전송방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130394A (ja) * 2003-10-27 2005-05-19 Olympus Corp 直接投射装置及びそのプログラム
KR101315040B1 (ko) * 2008-08-08 2013-10-14 삼성테크윈 주식회사 영상제공장치, 영상출력장치, 영상전송 시스템 및 이를 이용한 영상전송방법
KR20100050226A (ko) * 2008-11-05 2010-05-13 주식회사 지.아이.티 다중단계 감시영역 설정에 의한 영상검지시스템
KR20100138168A (ko) * 2009-06-24 2010-12-31 주식회사 대덕지에스 영상감시 시스템 및 그 시스템의 영상감시방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791717A (zh) * 2017-02-27 2017-05-31 广州林邦信息科技有限公司 视频处理方法及装置
CN106791717B (zh) * 2017-02-27 2019-06-21 广州林邦信息科技有限公司 视频处理方法及装置
KR20190136363A (ko) * 2018-05-30 2019-12-10 주식회사 공간정보 원격탐사 성과물과 클라우드 기반 플랫폼과의 연계 시스템
KR20220147951A (ko) * 2021-04-28 2022-11-04 한국철도기술연구원 대중교통 이용자의 동선 추적 장치 및 방법

Also Published As

Publication number Publication date
KR101592262B1 (ko) 2016-02-18

Similar Documents

Publication Publication Date Title
JP4177826B2 (ja) 画像処理装置および画像処理方法
Siebel et al. Fusion of multiple tracking algorithms for robust people tracking
KR101758576B1 (ko) 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
JP6700752B2 (ja) 位置検出装置、位置検出方法及びプログラム
Luber et al. People tracking in rgb-d data with on-line boosted target models
KR101355974B1 (ko) 복수의 객체를 추적하는 객체 추적 방법 및 장치
JP6847254B2 (ja) 歩行者追跡の方法および電子デバイス
WO2018198373A1 (ja) 映像監視システム
KR101839827B1 (ko) 원거리 동적 객체에 대한 얼굴 특징정보(연령, 성별, 착용된 도구, 얼굴안면식별)의 인식 기법이 적용된 지능형 감시시스템
US8165348B2 (en) Detecting objects crossing a virtual boundary line
JP2018160219A (ja) 移動経路予測装置、及び移動経路予測方法
US10063843B2 (en) Image processing apparatus and image processing method for estimating three-dimensional position of object in image
KR101592262B1 (ko) 다중 구역에 대한 카메라 영상파일 통합 시스템
WO2008057107A2 (en) Method and system for object surveillance and real time activity recognition
GB2604964A (en) Systems and methods for detecting symptoms of occupant illness
KR101762010B1 (ko) 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법
KR20150051630A (ko) 사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법
JP2013206458A (ja) 画像における外観及びコンテキストに基づく物体分類
KR101554677B1 (ko) 신체 행동 인지 시스템
JPH11257931A (ja) 物体認識装置
KR101563736B1 (ko) 가상자원의 위치정보 매핑 방법 및 장치
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
KR20210001318A (ko) 지능형 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
Nie et al. A child caring robot for the dangerous behavior detection based on the object recognition and human action recognition
JP6163732B2 (ja) 画像処理装置、プログラム、及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190131

Year of fee payment: 4