KR101960530B1 - 영상과 센서 데이터 병합 저장 및 재생 시스템 - Google Patents

Abstract

본 발명의 실시 형태는 실시간으로 촬영하여 카메라 영상을 생성하는 카메라; 카메라가 설치된 영역의 온도, 습도를 포함하는 환경 센싱값을 측정하여 시간대별로 추출하는 환경 센싱값 측정기; 및 미리 설정된 시간대별로 상기 카메라 영상에서 영상 이미지를 추출하여, 시간대별로 추출된 영상 이미지와 환경 센싱값을 매칭시켜 병합하여 저장하는 영상 처리 서버;를 포함할 수 있다.

Description

영상과 센서 데이터 병합 저장 및 재생 시스템{System for merger saving/playing image and sensor data}

본 발명은 데이터 병합 저장 및 재생 시스템으로서, 영상과 센서 데이터를 병합하여 저장하고 재생하는 시스템에 관한 것이다.

일반적으로 개인 및 공공의 안전을 위해 보안의 중요성을 실감하고 이에 대한 노력을 더욱 강화하고 있으며, 이러한 과정에서 지능형 영상보안 기술의 개발 및 활용 필요성이 날로 증대하고 있다. 최근에는 초고속 통신망의 급속한 보급으로 인터넷 접속의 질을 높여 네트워크를 통한 고품질의 동영상 서비스에 대한 요구도 점차 증대되고 있다. 그에 따라 상기와 같은 네트워크를 기반으로 하는 IP카메라와 같은 고해상도 영상제공장치의 기반 기술 발달 및 시장 점유율이 점차 늘고 있는 추세이다. 특히 대도시에서는 치안이나 방범활동, 순찰, 쓰레기 무단투기, 주차위반 등을 위해 적절한 장소에 CCTV(closed-circuit television: 이하 CCTV라 함) 영상저장장치를 설치하여 운영하고 있다.

나아가, 현장에서 찍히는 CCTV 영상 등의 카메라 영상뿐만 아니라, 온도, 습도 등의 다양한 환경 센싱값이 센싱되어 관리자에게 제공되고 있다.

그런데 기존의 카메라 영상이 저장되는 방식은 다음과 같은 문제가 있다.

첫째, 센싱되는 환경 데이터를 카메라 영상과 연동시켜 저장시키지 못하고 각각 별도로 저장하기 때문에 저장 및 재생에 있어 비효율적인 문제가 있다.

둘째, 촬영되는 카메라 영상은, 사용자의 수작업에 의한 파일 네이밍 작업이 없을시에는 'SA500001', 'SA500002', 'SA500003'과 같이 특별한 의미없는 파일명으로 자동 저장된다. 따라서, 사용자는 시간이 지난 후 파일명칭만을 보고서는 촬영된 카메라 영상의 촬영 시점의 온도, 습도 등의 환경 센싱값을 직관적으로 알 수 없는 문제가 있다.

한국공개특허 제10-2018-0003266호

본 발명의 기술적 과제는 본 발명은, 영상뿐만 아니라 촬영된 시간대의 환경 센싱값을 함께 저장 및 재생하는 연동 수단을 제공하는데 있다.

본 발명의 실시 형태는 실시간으로 촬영하여 카메라 영상을 생성하는 카메라; 카메라가 설치된 영역의 온도, 습도를 포함하는 환경 센싱값을 측정하여 시간대별로 추출하는 환경 센싱값 측정기; 및 미리 설정된 시간대별로 상기 카메라 영상에서 영상 이미지를 추출하여, 시간대별로 추출된 영상 이미지와 환경 센싱값을 매칭시켜 병합하여 저장하는 영상 처리 서버;를 포함할 수 있다.

상기 영상 처리 서버는, 동일 시간대에서 추출한 영상 이미지와 환경 센싱값에 동일한 타임 코드를 부여하여 저장할 수 있다.

상기 영상 처리 서버는, 동일 시간대에서 추출한 영상 이미지와 환경 센싱값을 시분할 방식으로 분할 할당하여 외부 단말기로 스트리밍 전송할 수 있다.

상기 영상 처리 서버는, 시간대에 따라서 영상 이미지에 매칭되는 환경 센싱값을 선별적으로 저장할 수 있다.

상기 영상 처리 서버는, 미리 설정된 기준 조건을 충족하는 환경 센싱값만을 선별적으로 영상 이미지에 매칭시켜 저장할 수 있다.

상기 영상 처리 서버는, 각 시간대별로 영상 이미지와 환경 센싱값을 매칭시켜 병합하여 저장한 파일을 병합 파일이라 할 때, 병합 파일의 파일 명칭에 시간대와 환경 센싱값이 포함되며, 병합 파일 재생시에 설정되는 환경 센싱값 조건을 충족시키는 파일 명칭을 가지는 병합 파일만을 추출하여 재생할 수 있다.

본 발명의 실시 형태에 따르면 영상뿐만 아니라 촬영된 시간대의 환경 센싱값을 함께 저장 및 재생함으로써 사용자 편의성을 증대시킬 수 있다.

도 1은 기존의 영상저장장치의 구성 블록도 예시.
도 2는 본 발명의 실시예에 따른 영상과 센서 데이터 병합 저장 및 재생 시스템의 구성도.
도 3은 본 발명의 실시예에 따라 영상 및 센서 데이터가 재생되는 예시 그림.
도 4는 본 발명의 실시예에 따라 동일한 시간대의 영상 이미지와 환경 센싱값에 동일한 타임 코드가 부여된 모습을 도시한 그림.
도 5는 본 발명의 실시예에 따라 병합 파일을 시분할 전송하는 모습을 도시한 그림.
도 6은 본 발명의 실시예에 따라 시간대에 따라서 영상 이미지에 매칭되는 환경 센싱값을 선별적으로 저장하는 예시 그림.
도 7은 본 발명의 실시예에 따라 시간대와 환경 센싱값이 파일 명칭으로 저장되는 예시 그림.

이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.

도 1은 기존의 영상저장장치의 구성 블록도 예시이다.

기존의 CCTV 영상저장장치를 도 1을 참고로 하여 살펴보면, 적절한 장소에 설치되어 주변의 영상을 촬상하는 다수개의 카메라와, 카메라로부터 출력되는 아날로그의 영상신호를 디지털신호로 변환하여 출력시키는 비디오 서버와, 비디오서버로부터 출력된 다수의 디지털 영상신호들을 다수개의 저장체에 순차적으로 넣기 위해 그룹핑한 후 라우팅정보를 넣어 라우팅시키는 네트워크스위치와, 네트워크스위치로부터 출력된 그룹핑된 다수의 디지털 영상신호들을 파일단위로 이미지프로셋싱 처리를 실행하여 네트워크스위치에서 제공한 라우팅 정보에 의해 해당 저장체에 순차적으로 저장시키는 영상 처리기를 포함하여 구성된다.

한편 상기와 같은 종래 CCTV 영상저장장치의 동작은 먼저, 적절한 장소에 설치된 다수개의 카메라가 각기 주변의 영상을 촬상하여 영상 처리기로 전송할 경우 비디오서버가 카메라로부터 출력되는 아날로그의 영상신호를 디지털신호로 변환하여 네트워크 스위치로 출력시킨다. 그러면 네트워크스위치는 비디오서버로부터 출력된 다수의 디지털 영상신호들을 다수개의 저장체에 순차적으로 넣기 위해 예컨대, 영상 처리기로부터 현재의 저장체의 저장상태정보를 전송받은 후 그 용량에 맞게 해당 영상신호들을 그룹핑하여 파일을 만든 후 그 만들어진 파일에 라우팅정보를 넣어 영상 처리기로 라우팅시킨다.

여기서 상기 영상 처리기는 상기와 같은 영상신호들을 저장체의 용량에 맞게 순차적으로 저장시키게 되는데, 예컨대, 저장체의 저장용량이 다하면 다음 저장체로 넘기는 방식으로 하여 영상신호들을 파일단위로 순차적으로 저장시킨다. 즉, 영상 처리기는 네트워크스위치로부터 출력된 그룹핑된 다수의 디지털 영상신호들을 파일단위로 이미지프로세싱 처리를 실행하여 네트워크스위치에서 제공한 라우팅정보에 의해 해당 저장체에 순차적으로 저장시키게 된다.

그런데 기존의 영상 처리기의 경우 영상만 저장할 뿐이지 온도, 습도 등의 다양한 환경 센싱값을 함께 저장하지 못하고 있다. 이에 본 발명은, 영상뿐만 아니라 촬영된 시간대의 환경 센싱값을 함께 저장 및 재생하도록 한다. 이하 도 2 내지 도 7과 함께 상술한다.

도 2는 본 발명의 실시예에 따른 영상과 센서 데이터 병합 저장 및 재생 시스템의 구성도이며, 도 3은 본 발명의 실시예에 따라 영상 및 센서 데이터가 재생되는 예시 그림이며, 도 4는 본 발명의 실시예에 따라 동일한 시간대의 영상 이미지와 환경 센싱값에 동일한 타임 코드가 부여된 모습을 도시한 그림이며, 도 5는 본 발명의 실시예에 따라 병합 파일을 시분할 전송하는 모습을 도시한 그림이며, 도 6은 본 발명의 실시예에 따라 시간대에 따라서 영상 이미지에 매칭되는 환경 센싱값을 선별적으로 저장하는 예시 그림이며, 도 7은 본 발명의 실시예에 따라 시간대와 환경 센싱값이 파일 명칭으로 저장되는 예시 그림이다.

본 발명의 영상과 센서 데이터 병합 저장 및 재생 시스템은, 도 2에 도시한 바와 같이 카메라(100), 환경 센싱값 측정기(200), 및 영상 처리 서버(300)를 포함할 수 있다.

카메라(100)는 CCTV 카메라와 같이 실시간으로 촬영하여 카메라 영상을 생성하는 모듈이다. 블렛 카메라 형태, 실내돔 카메라형태 등을 가질 수 있으며, 하우징 일체형태, 스피드 돔 등의 다양한 형태의 CCTV 카메라가 모두 포함될 수 있을 것이다. 또한 CCTV 카메라는 다양한 하우징 형태로서 구현될 수 있음은 자명할 것이다. 또한 CCTV 카메라는, CCTV카메라(100)를 통해 움직임 이벤트가 발생할 때 이벤트 객체를 줌,인하여 객체를 촬영하며 이때 줌,인과 동시에 상,하,좌,우 각도를 조정하여 객체를 화면에 중앙에 위치하게 하는 PTZ 조절이 이루어지도록 할 수 있다. PTZ(Pan Tilt Zoom)는 팬 틸트 줌 기능을 말하는 것으로서, 상하 좌우로 피사체를 따라가며, 확대, 축소 기능을 가진 CCTV 카메라를 말한다. PTZ 돔 네트워크 카메라(100)는 팬/틸트/줌 기능을 통해 넓은 구역을 감시하며 줌인 기능을 통해 상세 이미지를 제공할 수 있다.

환경 센싱값 측정기(200)는, 카메라(100)가 설치된 영역의 온도, 습도를 포함하는 환경 센싱값을 측정하여 시간대별로 추출하는 센서이다. 예를 들어, 카메라(100)가 설치된 영역의 온도를 측정하는 온도 센서, 카메라(100)가 설치된 영역의 습도를 측정하는 습도 센서 등을 포함할 수 있으며, 이러한 온도 센서, 습도 센서에서 측정되는 온도, 습도 등의 환경 센싱값을 시간대별로 추출하는 것이다.

영상 처리 서버(300)는, 서버용 하드웨어에 도스(dos), 윈도우(window), 리눅스(linux), 유닉스(unix), 매킨토시(macintosh) 등의 운영 체제에 C, C++, Java, Visual Basic, Visual C 등과 같은 다양한 형태의 언어를 통해 구현되어 여러 가지 기능을 하는 프로그램 모듈을 구비한다.

영상 처리 서버(300)는, 미리 설정된 시간대별로 카메라 영상에서 영상 이미지를 추출하여, 시간대별로 추출된 영상 이미지와 환경 센싱값을 매칭시켜 병합하여 저장하고, 이를 나중에 재생시킨다. 따라서 도 3에 도시한 바와 같이 영상 및 환경 센싱값을 시간대별로 함께 재생시킬 수 있어, 사용자는 영상 및 환경 센싱값을 동시에 판독할 수 있게 된다.

한편, 영상 처리 서버(300)가, 시간대별로 추출된 영상 이미지와 환경 센싱값을 매칭시켜 병합하여 저장함에 있어서, 도 4에 도시한 바와 같이 동일 시간대에서 추출한 영상 이미지와 환경 센싱값에 동일한 타임 코드를 부여하여 저장하도록 한다. 여기서 타임 코드라 함은, 각자의 시간대를 다른 시간대와 구별할 수 있는 고유한 식별 코드를 말한다. 따라서 영상 및 환경 센싱값을 도 3과 같이 재생시에 동일 시간대의 타임 코드를 가지는 영상 이미지와 환경 센싱값을 추출하여 즉시 손쉽게 재생이 가능하게 된다.

나아가, 영상 이미지를 외부 단말기로 스트리밍 전송할 필요가 있는데, 타임 코드를 부여한 영상 이미지와 환경 센싱값을 전송하여, 외부 단말기에서 이를 추출하여 재생하도록 할 수 있다. 다만 이럴 경우 외부 단말기가 동일한 타임 코드를 가지는 영상 이미지와 환경 센싱값을 추출하고 재생하기 위해 연산 작업이 필요해 연산 부하가 발생되어 재생 속도가 느려질 수 있다.

이러한 점을 고려하여, 본 발명의 영상 처리 서버(300)는, 도 5에 도시한 바와 같이 동일 시간대에서 추출한 영상 이미지와 환경 센싱값을 시분할 방식으로 분할 저장하여 외부 단말기로 스트리밍 전송하도록 한다.

예를 들어, 이더넷(Ethernet), 범용 직렬 버스(Universal Serial Bus), IEEE 1394, 직렬통신(serial communication) 및 병렬 통신(parallel communication)과 같은 유선 통신을 이용하여 외부 단말기로 스트리밍 전송할 때, 도 5에 도시한 바와 같이 시분할 방식으로 분할 할당하여 외부 단말기로 스트리밍 전송함으로써, 외부 단말은, 동일 시간대의 타임 코드를 가지는 영상 이미지, 환경 센싱값을 일일이 추출할 필요없이 시간 순차적으로 재생하여 연산 부하를 최소로 할 수 있다. 또한 이러한 시간 순차 재생을 녹화하여 사용자의 특정 시점 재생 요청시에 다시 재생이 가능할 수 있다.

한편, 영상 처리 서버(300)는, 영상 이미지에 매칭되는 환경 센싱값을 선별적으로 저장할 수 있는데, 다음과 같이 두 가지 방식이 있을 수 있다.

첫 번째 방식은, 시간대에 따라서 영상 이미지에 매칭되는 환경 센싱값을 선별적으로 저장하는 것이다. 예를 들어, 도 6에 도시한 바와 같이 제1,3,5시간대 등의 홀수 시간에 저장되는 영상 이미지에 매칭되는 환경 센싱값은 온도가 저장되도록 하며, 제2,4,6시간대 등의 짝수 시간에 저장되는 영상 이미지에 매칭되는 환경 센싱값은 습도가 저장되도록 할 수 있다. 이는, 시간대에 따라서 필요로 하는 환경 센싱값이 다를 수 있기 때문에 시간대에 따른 선별적 저장이 이루어지도록 하는 것이다.

두 번째 방식은, 미리 설정된 기준 조건을 충족하는 환경 센싱값만을 선별적으로 영상 이미지에 매칭시켜 저장하는 것이다. 예를 들어, 온도 10[℃] 이하, 습도 [30g/m³] 이하로 조건이 설정되는 경우, 온도가 10[℃] 이하를 가질 때만 온도가 저장되며, 습도가 [30g/m³] 이하를 가질 때문만 습도가 저장되는 것이다. 이는, 농작물의 경우 특정 온도나 습도에 민감하기 때문에 해당 온도나 습도에 영향을 미치는 조건에 도달하는 정보만을 저장하기 위함이다.

한편, 촬영되는 카메라 영상은, 사용자의 수작업에 의한 파일 네이밍 작업이 없을시에는 'SA500001', 'SA500002', 'SA500003',와 같이 특별한 의미없는 파일명으로 자동 저장된다. 따라서, 사용자는 시간이 지난 후 파일명칭만을 보고서는 촬영된 카메라 영상의 촬영 시점의 온도, 습도 등의 환경 센싱값을 직관적으로 알 수 없게 된다.

이러한 문제를 개선하기 위하여, 각 시간대별로 영상 이미지와 환경 센싱값을 매칭시켜 병합하여 저장한 파일을 병합 파일이라 할 때, 병합 파일의 파일 명칭에 시간대와 환경 센싱값이 포함되도록 한다.

상술하면, 일반적으로 JPG, TIF 등의 이미지 포맷으로 소정의 파일명이 부가되어 저장되는데, 예컨대, DCF라는 규격에 따라 촬영된 이미지에 소정의 파일명을 부가하여 저장하게 된다. 여기서, DCF는 "Design rule for Camera File system"의 약칭으로 일본 전자정보기술산업협회(Japan Electronics and Information Technology industries Association:JEITA)에 의해 표준화로 제안된 파일 형식이다. DCF 파일 포맷 방식의 장점은 이러한 DCF 파일 포맷을 준수하여 촬영된 이미지는 다른 기기에서 재생이 가능하다는 것이다.

DCF 규격에 의하면 파일명은 8개의 문자로 이루어진다. 파일명은 4개의 문자부와 4개의 숫자로 이루어진 숫자부 및 확장자로 구성된다. 상기 문자부는 대문자 알파벳으로 이루어지며, 숫자부는 "0001"과 "9999"사이의 숫자로 이루어진다. 동일한 디렉토리에 위치한 파일들은 서로 동일한 파일명을 사용할 수 없다. 기존에 숫자부는 파일이 생성된 순서에 따라 순차적으로 1씩 증가하여 부여되는데, 본 발명은 병합 파일의 파일 명칭에 시간대와 환경 센싱값이 포함되도록 네이밍 하는 것이다.

즉, DCF의 메타 데이터에는 영상 데이터가 촬영된 기기의 제조사, 제조 모델 등의 정보와 영상 데이터의 해상도, 촬영 시간 등의 다양한 부가 정보가 포함되지만, 도 7에 도시한 바와 같이 DCF 파일 포맷에 따른 메타 데이터 부분 중에서 사용자 커멘트(user comment) 영역은 자유롭게 사용될 수 있는 영역이다.

따라서, 본 발명은 메타 데이터의 사용자 커멘트 영역(A)에 시간대와 환경 센싱값을 함께 저장하고, 이러한 시간대와 환경 센싱값이 병합 파일의 파일 명칭이 되도록 설정한다.

시간대와 환경 센싱값이 병합 파일의 파일 명칭이 되도록 네이밍함으로써, 다음과 같은 동작을 수행할 수 있는데, 병합 파일 재생시에 설정되는 환경 센싱값 조건을 충족시키는 파일 명칭을 가지는 병합 파일만을 추출하여 재생할 수 있다. 따라서 사용자는 자신이 원하는 환경 센싱값 조건을 가지는 병합 파일만을 손쉽게 육안으로 확인할 수 있을 뿐만 아니라, 환경 센싱값 조건을 충족시키는 파일 명칭을 가지는 병합 파일만을 추출하여 재생할 수 있게 된다.

상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.

100:카메라
200:환경 센싱값 측정기
300:영상 처리 서버

Claims (6)

1. 실시간으로 촬영하여 카메라 영상을 생성하는 카메라;
   카메라가 설치된 영역의 온도, 습도를 포함하는 환경 센싱값을 측정하여 시간대별로 추출하는 환경 센싱값 측정기; 및
   미리 설정된 시간대별로 상기 카메라 영상에서 영상 이미지를 추출하여, 시간대별로 추출된 영상 이미지와 환경 센싱값을 매칭시켜 병합하여 저장하는 영상 처리 서버를 포함하되,
   상기 영상 처리 서버는,
   각 시간대별로 영상 이미지와 환경 센싱값을 매칭시켜 병합하여 저장한 파일을 병합 파일이라 할 때, 상기 병합 파일의 메타 데이터와 사용자 커맨드 영역에 시간대와 환경 센싱값을 함께 저장하여 상기 시간대와 환경 센싱값이 상기 병합 파일의 파일 명칭이 되도록 설정하며, 병합 파일 재생시에 설정되는 환경 센싱값의 조건을 충족시키는 파일 명칭을 가지는 병합 파일만을 추출하여 재생하고,
   동일 시간대에서 추출한 영상 이미지와 환경 센싱값에 동일한 타임 코드를 부여하여 저장하며,
   동일 시간대에서 추출한 영상 이미지와 환경 센싱값을 시분할 방식으로 분할 할당하여 외부 단말기로 스트리밍 전송함으로써, 외부 단말로 하여금 동일 시간대의 타임 코드를 갖는 영상 이미지 및 환경 센싱값을 추출할 필요없이 시간 순차 재생하여 연산 부하를 최소화하고, 상기 시간 순차 재생을 녹화하여 사용자의 특정 시점 재생 요청시에 다시 재생이 가능하게 하며,
   시간대에 따라서 영상 이미지에 매칭되는 환경 센싱값을 선별적으로 저장하고,
   미리 설정된 기준 조건을 충족하는 환경 센싱값만을 선별적으로 영상 이미지에 매칭시켜 저장함을 특징으로 하는 영상과 센서 데이터 병합 저장 및 재생 시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제

Images