KR20100124200A

KR20100124200A - 디지털 비디오 레코더 시스템 및 그것의 운용방법

Info

Publication number: KR20100124200A
Application number: KR1020100015788A
Authority: KR
Inventors: 윤재민
Original assignee: 윤재민
Priority date: 2009-05-18
Filing date: 2010-02-22
Publication date: 2010-11-26
Also published as: CN102067589A; US20120063738A1; KR100999655B1

Abstract

본 발명은 마이크에 감지되는 소리를 종류별로 구분하여 소리가 발생한 구간의 영상을 저장함으로서, 소리종류별로 영상을 검색할 수 있도록 하여 보다 신속한 영상 검색을 제공하는 디지털 비디오 레코더 시스템 및 그것의 운용방법이다.
본 발명은 영상을 입력하는 카메라; 소리를 입력하는 마이크; 카메라와 마이크에서 입력되는 영상과 소리를 디지털 신호로 변환하는 소리영상 입력부; 상기 디지털 신호로 변환된 소리를 분석하여 소리종류를 구분하는 소리 인식부; 특정 소리가 발생한 구간의 영상을 관리하는 영상 관리부; 특정 소리가 발생한 구간을 영상파일로 생성하여 데이터베이스에 저장시키는 소리영상파일 저장부; 일반 영상 녹화파일을 저장하는 영상DB; 소리가 발생한 영상파일을 저장하는 소리영상DB; 소리종류별 영상파일의 정보를 저장하는 소리영상정보DB; 영상파일의 검색 요구에 따라 상기 영상DB, 소리영상DB, 소리영상정보DB에 저장된 영상파일을 검색하는 소리영상 검색부; 사용자 인터페이스가 연결되어 영상파일의 검색기능을 제공하고, 검색된 영상파일을 재생시키는 소리영상 디스플레이 관리부를 포함한다.

Description

디지털 비디오 레코더 시스템 및 그것의 운용방법{DIGITAL VIDEO RECORDER SYSTEM AND APPLICATION METHOD THEREOF}

본 발명은 디지털 비디오 레코더 시스템 및 그것의 운용방법에 관한 것으로, 더욱 상세하게는 마이크에 감지되는 소리를 종류별로 구분하여 소리가 발생한 구간의 영상을 저장함으로서, 소리종류별로 영상을 검색할 수 있도록 하여 보다 신속한 영상 검색을 제공하는 디지털 비디오 레코더 시스템 및 그것의 운용방법에 관한 것이다.

일반적으로, 디지털 비디오 레코더(digital video recorder, 이하 'DVR' 이라 한다.) 시스템은 영상을 비디오 테이프가 아닌 하드디스크 기반의 디지털 저장장치에 기록할 수 있는 장비를 의미하며, PVR(personal video recorder)시스템 이라고도 한다.

DVR시스템은 적어도 하나 이상의 감시용 카메라로부터 아날로그 신호로 입력되는 영상 데이터를 디지털 신호로 전환한 다음 동화상국제압축표준인 MPEG(Moving Picture Experts Group)로 영상을 압축하여 저장하고, 필요에 따라 저장된 압축 영상을 복원 및 재생하여 볼 수 있도록 하는 고해상도의 녹화 시스템이다.

기술의 개발에 따라 고선명 비디오 레코더(HDV Recorder) 시스템은 물론, 얼굴을 인식할 수 있는 기기까지 개발이 진행되었으며, 얼굴을 인식할 수 있는 기기는 실시간 모니터링되는 영상과 특정 인물의 얼굴을 데이터베이스로 이용하여 확인 및 비교할 수 있어서 경찰서, 공항 등에서 보안용으로 많이 사용된다.

또한, DVR시스템의 영상처리에 있어서도 다양한 형태의 동작 인식 알고리즘이 적용되어 움직임이 발생한 동영상 구간만 저장하는 DVR시스템이 상용화되었다.

그러나, 영상뿐만 아니라 소리 정보도 매우 중요하며, 특히 자동차의 접촉 사고가 많은 주차장, 교통사고가 많은 도로 구간 등에서 특정 사고의 소리가 발생한 영상 위치를 검색해서 볼 수 있다면 기존 영상 검색에서 놓친 많은 정보를 보다 정밀하게 관찰 및 분석할 수 있는 효과가 있다.

또한, 영상을 소리종류별로 분류해서 해당 소리가 발생한 영상 구간을 저장함으로써 사용자가 특정의 소리가 발생한 영상에 대하여 자유롭게 재생할 수 있는 장치가 있다면 녹화된 전체의 영상을 모두 재생하여 일일이 검색하는 수고를 덜을 수 있게 된다.

상기와 같은 이유로 기존 DVR시스템은 영상 데이터를 전구간 또는 움직임이 발생한 구간에 대하여 일자별, 시간별로 저장함으로써 특정 소리가 발생한 구간만을 한정하여 검색할 수 없었으며, 소리라는 중요한 요소를 간과한 상태에서 영상처리 기술개발에만 매달려 왔다.

따라서, 종래의 DVR시스템은 저장된 영상 데이터에서 특정 구간의 영상을 검색 및 분석하기 위해서는 저장된 전체의 영상을 시간 순으로 모두 복원하여 재생하여야 하는 번거로운 문제점이 발생한다.

본 발명은 상기한 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 마이크와 카메라를 통해서 소리와 영상 데이터를 입력받고, 마이크를 통해서 감지된 소리를 소리종류별로 구분하며, 소리종류에 따라 소리가 발생한 구간의 영상을 저장매체에 저장하여 특정 소리를 발생시킨 영상을 소리종류별로 검색하여 재생할 수 있도록 함으로써, 소리가 발생한 구간에 해당하는 영상을 보다 빠르게 검색할 수 있도록 하는 디지털 비디오 레코더 시스템 및 방법을 제공하기 위한 것이다.

즉, 본 발명은 소리별로 하나의 영상파일을 생성시켜 저장하고, 검색 요구에 따라 해당 소리가 발생한 구간의 영상파일 재생을 제공하는 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따른 디지털 비디오 레코더 시스템은, 감시 영역의 영상을 촬영하는 영상입력수단; 감시 영역의 소리를 입력하는 소리입력수단; 감시 영역의 소리를 인식하여 소리를 종류별로 구분하고, 특정 소리가 발생한 영상만을 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상만을 엑세스하여 출력장치에 제공하는 DVR장치; 디스플레이와 스피커를 포함하며, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상을 출력하는 출력장치를 포함한다.

또한, 본 발명의 특징에 따른 디지털 비디오 레코더 시스템은, 영상을 입력하는 카메라; 소리를 입력하는 마이크; 카메라와 마이크에서 입력되는 영상과 소리를 디지털 신호로 변환하는 소리영상 입력부; 상기 디지털 신호로 변환된 소리를 분석하여 소리종류를 구분하는 소리 인식부; 특정 소리가 발생한 구간의 영상을 관리하는 영상 관리부; 특정 소리가 발생한 구간을 영상파일로 생성하여 데이터베이스에 저장시키는 소리영상파일 저장부; 일반 영상 녹화파일을 저장하는 영상DB; 소리가 발생한 영상파일을 저장하는 소리영상DB; 소리종류별 영상파일의 정보를 저장하는 소리영상정보DB; 영상파일의 검색 요구에 따라 상기 영상DB, 소리영상DB, 소리영상정보DB에 저장된 영상파일을 검색하는 소리영상 검색부; 사용자 인터페이스가 연결되어 영상파일의 검색기능을 제공하고, 검색된 영상파일을 재생시키는 소리영상 디스플레이 관리부를 포함한다.

또한, 본 발명의 특징에 따른 디지털 비디오 레코더 시스템의 운용방법은, 영상과 소리 데이터를 입력받는 과정; 소리 데이터를 분석하여 특정 소리를 인식하는 과정; 특정 소리가 인식되면 소리종류와 발생시간과 종료시간의 정보를 포함하여 해당 시간구간의 영상 데이터만을 영상파일로 데이터베이스에 저장하는 과정; 상기 저장된 영상파일의 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 영상파일을 검색하여 소리와 영상의 출력으로 재생하는 과정을 포함한다.

이와 같은 본 발명에 따른 DVR 시스템은 마이크로 입력된 소리를 종류별로 구분하고, 소리에 따른 영상을 하나의 영상파일로 저장함으로써, 특정 소리를 발생시킨 영상에 대하여 사용자가 빠르게 검색하여 재생 및 분석할 수 있는 있어 영상의 검색 및 분석에 편리성 및 신속성을 제공하는 효과가 있다.

도 1은 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 소리영상 디스플레이 관리부의 상세 구성을 도시한 도면이다.
도 3a는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 생성되는 파일정보 구조를 도시한 도면이다.
도 3b는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 생성되는 파일정보 구조의 다른 예를 도시한 도면이다.
도 4a는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 소리 영상파일의 저장 과정을 도시한 도면이다.
도 4b는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 소리 영상파일 및 소리파일의 저장 과정을 도시한 도면이다.
도 4c는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 소리 영상정보 DB 생성 과정을 도시한 도면이다.
도 5a는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 운영 절차를 개략적으로 도시한 흐름도이다.
도 5b는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 운영 절차를 개략적으로 도시한 다른 예의 흐름도이다.
도 5c는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 운영 절차를 개략적으로 도시한 또 다른 예의 흐름도이다.
도 6a는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 영상파일의 저장 절차를 나타낸 도면이다.
도 6b는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 영상파일의 저장 절차를 나타낸 다른 예의 도면이다.
도 7은 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 소리영상파일의 검색 절차를 나타낸 도면이다.
도 8a는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 소리영상파일의 검색 화면을 나타낸 도면이다.
도 8b는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 소리영상파일의 검색 화면을 나타낸 다른 예의 도면이다.
도 8c는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 소리영상파일의 검색 화면을 나타낸 또 다른 예의 도면이다.
도 9a는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 구간 영상파일 리스트를 나타낸 도면이다.
도 9b는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 구간 영상파일 리스트를 나타낸 다른 예의 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하면 다음과 같다.

도 1은 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 구성을 도시한 도면이다.

본 발명은 카메라(100), 마이크(200), DVR장치(300) 및 출력장치(400)를 포함한다.

카메라(100)는 디지털 및 아날로그 방식의 카메라로, 설치된 지역에서 조정된 각도의 감시 영역에 대한 영상을 촬영하여 촬영된 영상정보를 DVR장치(300)에 입력한다.

마이크(200)는 무지향성 마이크(Non-directional microphone), 단일 지향성 마이크(Uni-directional microphone), 초지향성 마이크(Super cardioid, Hyper cardioid) 등이 모두 사용될 수 있으므로 이중에서 어느 하나로 적용되나, 울림과 하울링을 억제하고 먼 거리에서 발생하는 소리를 안정적으로 수집할 수 있도록 하기 위하여 바람직하게는 지향성 마이크가 사용되며, 설치된 지역에서 발생되는 다양한 형태의 소리를 수집하여 DVR장치(300)에 입력한다.

상기 카메라(100)와 마이크(200)는 각각 개별적이나 하나의 쌍 혹은 마이크(200)가 내장된 카메라(100)의 형태로 설치될 수 있으며, 감시 장소에 적어도 하나 이상의 개수로 설치되어 주변에서 발생되는 소리 및 영상을 수집한다.

DVR장치(300)는 카메라(100)와 마이크(200)를 통해 입력되는 영상 정보와 소리 정보를 인식하여 소리를 종류별로 구분하고, 특정 소리가 발생한 영상을 저장하며 사용자로부터 특정 소리에 대한 영상의 검색이 요구되면 저장된 해당 영상만을 엑세스하여 출력장치(400)에 제공한다.

출력장치(400)는 디스플레이 및 스피커를 포함하며, 상기 DVR장치(300)에 인가되는 특정 소리와 그에 매칭되는 영상만을 사용자가 시청할 수 있도록 출력하여 준다.

상기 DVR장치(300)는 소리영상 입력부(310), 소리 인식부(320), 영상 관리부(330), 소리영상파일 저장부(340), 데이터베이스(350), 소리영상 검색부(360), 소리영상디스플레이 관리부(370)를 포함한다.

소리영상 입력부(310)는 DVR장치(300)가 허용하는 채널 한도 내에서 영상 및 오디오를 16채널 또는 32채널 이상까지 카메라(100)와 마이크(200)로부터 영상과 소리정보를 동시에 입력받는다.

소리영상 입력부(310)는 카메라(100)와 마이크(200)로부터 입력되는 영상과 소리정보가 아날로그 신호인 경우 디지털 신호로 변환한다.

소리 인식부(320)는 상기 소리영상 입력부(310)에서 디지털 신호로 변환되어 인가되는 소리 데이터를 분석하여 끝점 검출(Endpoint Detection)을 실행하고, 소리인식 알고리즘을 통해 소리종류를 구분하며, 구분된 소리종류가 특정 소리로 인식되면 끝점이 검출된 시점에 해당하는 시간 정보를 영상 관리부(330)로 전달한다.

상기 소리 인식부(320)는 마이크(100)를 통해 입력된 소리 데이터를 수신하고, 상기 소리 데이터에서 특정 소리가 감지된 경우 소리종류와 소리가 발생한 영상의 위치 정보를 데이터베이스에 저장한다.

상기 소리 인식부(320)의 소리인식 방법은 현재 입력된 소리가 데이터베이스에 저장된 과거소리와 얼마나 유사한지를 DTW(Dynamic Time Warping), HMM(Hidden Marcov Model), NNF(Neural Network, Fuzzy)등의 다양한 알고리즘을 이용하여 판별함으로써, 가장 유사한 소리종류를 판단하는 것을 기본으로 한다.

일례로 마이크(100)로부터 입력된 소리는 ZCR(Zero Crossing Rate)과 에너지(Energy)를 이용해서 끝점을 검출하고, LPC(Linear Predictive Coding) 방법 등을 이용해서 특징(Feature)을 추출한 뒤에 DTW(Dynamic Time Warping), HMM(Hidden Marcov Model), ANN(Artificial Neural Network) 등의 패턴 비교 알고리즘을 단독으로 또는 두 개 이상 사용하여 가장 유사한 소리종류를 판단함으로써 소리인식을 수행한다.

또 다른 일례로, 상기 소리 인식부(320)는 소리인식 칩을 이용하여 소리 인식기능을 수행할 수 도 있다. 즉, DVR 카드를 이용하는 디지털 비디오 레코더 시스템의 경우 소리인식 칩이 오디오 입력단자가 있는 DVR 카드에 삽입될 수 있고, 오디오 입력단자와 소리 인식칩으로 구성된 소리인식 카드를 만들어서 메인보드에 삽입하는 형태로 제공될 수도 있다. 이때, 소리인식 칩으로부터 소리종류 값을 받아서 해당 소리종류와 그 소리가 발생한 영상 구간 정보를 데이터베이스에 저장함으로써, 특정 소리에 의한 영상 검색 기능을 수행할 수도 있다.

영상 관리부(330)는 일반적인 영상 녹화와 특정 소리가 발생한 구간의 녹화를 관리하며, 일반적인 영상 녹화에 대하여 동작인식 녹화와 전구간 녹화로 구분하여 관리한다.

소리영상파일 저장부(340)는 소리가 발생한 영상 구간을 파일로 생성하여 데이터베이스(350)에 저장시키며, 일반적인 영상 녹화 파일과 특정 소리별 영상의 검색이 가능하도록 구분하여 저장시킨다.

상기 소리영상파일 저장부(340)는 일반적인 영상녹화 파일은 데이터베이스(350)의 영상DB(351)에 저장하고, 소리가 발생한 영상파일은 소리영상DB(352)에 저장하며, 소리종류별 영상파일정보은 소리영상정보DB(353)에 저장한다.

상기 소리영상파일 저장부(340)는 전구간 영상저장이 설정되는 경우 하나의 영상파일에 각 소리가 발생한 구간정보만을 저장하여 영상파일 하나에 소리파일 여러 개를 저장하거나 하나의 영상파일에 각 소리가 발생한 구간정보만 하나의 파일에 보유될 수 있도록 영상파일 하나에 소리정보파일 하나를 저장한다.

또한, 소리인식이 설정되는 경우 소리 인식된 구간마다 영상파일을 하나씩 생성하여 소리파일 1개당 영상파일 1개를 짝으로 생성하여 저장한다.

소리영상 검색부(360)는 사용자가 요구하는 소리 키워드, 소리종류, 태그정보를 전달받아 소리영상파일 저장부(340)를 통해서 데이터베이스(350)에 저장되어 있는 해당 소리 영상을 검색한다.

상기에서 소리 키워드별 영상파일 정보는 소리영상정보DB(353)에 보관되어 있기 때문에 이를 이용해서 해당파일의 위치를 검색하고, 소리영상DB(532)를 통해서 해당 파일에 접근한다.

소리영상디스플레이 관리부(370)는 상기 소리영상 검색부(360)를 통해서 검색된 영상을 사용자가 시청할 수 있도록 인터페이스를 제공하며, 영상의 검색 기능을 제공하여 시간검색 수단을 이용할 경우 날짜별 소리영상파일을 검색할 수 있고, 소리종류검색 수단을 이용할 경우 소리종류, 소리 키워드에 따라 기간 검색을 할 수 있으며, 태그검색을 제공한다.

또한, 소리영상파일을 시청할 때는 영상만 보는 기능, 영상과 소리를 따로 분리하여 시청하는 기능, 영상과 소리를 믹싱하여 시청하는 기능을 제공한다.

도 2는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 소리영상 디스플레이 관리부의 상세 구성을 도시한 도면이다.

소리영상디스플레이 관리부(370)는 소리종류 선택부(371)와 키워드 검색부(372), 기간 설정부(373), 태그 검색부(374), 채널 선택부(375), 소리별 영상파일 리스트 표시부(376) 및 소리별 영상 시청부(377)를 포함한다.

상기 소리종류 선택부(371)는 사용자가 요구하는 영상 검색이 소리종류 선택을 통해 실행될 수 있도록 하는 기능을 제공한다.

본 발명에 따른 디지털 비디오 레코더 시스템의 설치 장소에 따라 수집되는 소리종류가 매우 다양하게 구분되므로, 이들 소리에 대하여 선택이 가능하도록 한다.

예를 들어 지하주차장이나 도로, 터널 등에 설치되는 경우 경적, 충돌, 미끌림, 긁힘, 두드림, 화재, 폭발, 비명, 누수 등의 소리가 수집되므로, 이들 소리를 구분하여 선택할 수 있도록 하고, 동물원에 설치되는 경우 사자, 호랑이, 고릴라, 침팬지, 오랑우탄, 앵무새, 펭귄 등의 소리가 수집되므로, 이들 소리를 구분하여 선택할 수 있도록 하며, 애견카페에 설치되는 경우 애견의 배고픈 소리, 낮선 사람에게 짖는 소리, 싸우는 소리, 우는 소리 등의 소리가 수집되므로, 이들 소리를 구분하여 선택할 수 있도록 한다.

이를 간단하게 정리하면 하기의 표 1과 같이 구분된다.

지하주차장	동물원	애견까페
경적, 충돌, 미끌림, 긁힘, 두드림, 화재, 폭발, 비명, 누수 등	사자, 호랑이, 고릴라, 침팬지, 오랑우탄, 앵무새, 펭귄 등	배고픈 소리, 낮선 사람에게 짖는 소리, 싸우는 소리, 우는 소리 등

상기 키워드 검색부(372)는 특정 영상의 검색이 문자 키워드의 입력을 통해 실행될 수 있도록 하는 기능을 제공한다.

소리와 관련된 영상 정보는 소리영상정보 DB(353)에 아래의 표 2와 같은 XML 형식으로 저장되므로, 아래 표 2에서 XML 스크립트(Script)는 소리종류별로 영상파일 정보를 보유하여 소리종류만 알아도 해당 영상파일을 빠르게 검색하는 기능을 제공한다.

영상파일은 아래와 같이 소리 발생시간과 소리 종료시간을 모두 표현 할 수 있으며, 소리가 발생한 영상 구간마다 영상파일을 생성한다.

< FILE_INFO >
<ALARM>
A01_20090123113012123_20090123113016589.avi
</ALARM >
<COLLISION >
A02_20090123113145012_20090123113145625.avi
</COLLISION >
<BRAKE>
A03_20090123114528337_20090123114531050.avi
</BRAKE >
</ FILE_INFO >

또한, 영상파일은 아래의 표 3과 같이 소리 발생시간과 소리 종료시간 사이의 시간을 밀리초 단위로 표현 할 수 있으며, 소리가 발생한 영상 구간마다 영상파일을 생성한다.

< FILE_INFO >
<ALARM>
A01_20090123113012123[4466].avi
</ALARM >
<COLLISION >
A02_20090123113145012[613].avi
</COLLISION >
<BRAKE>
A03_20090123114528337[713].avi
</BRAKE >
</ FILE_INFO >

아래의 표 4는 하나의 영상파일에 다양한 소리정보를 기록한 예로써, 영상파일이 생성된 날짜와 시간정보가 기록되어 있고, 해당 영상파일에서 나타난 소리와 해당 소리가 발생한 시간정보를 기록하고 있다.

이를 통해, 특정 소리가 상기 영상파일에서 어느 시간 위치에서 발생했는지 알 수 있으며, 그 시간 구간으로 이동하여 영상을 재생시킴으로써, 해당 소리가 발생한 영상을 시청할 수 있게 된다.

< FILE_INFO >
<Movie
name=“Car20090131113012000.avi”
Date=“2009-01-31”
Time=11:30:12.000></Movie>
<SoundCategory>
<ALARM >
2009.01.23.11:30:12.123[4466]
</ALARM >
<COLLISION >
2009.01.23.11:31:45.012[613]
</COLLISION >
<BRAKE >
2009.01.23.11:45:28.337[713]
</BRAKE >
</SoundCategory>
</ FILE_INFO >

기간 설정부(373)는 상기 소리종류 선택부(371)와 키워드 검색부(372)에서 선택되거나 입력된 정보를 특정 기간별로 검색할 수 있는 기능을 제공한다.

상기 기간 설정부(373)는 기간 검색부(373-1)와 구간 검색부(373-2)로 구분되며, 기간 검색부(373-1)는 년/월/일의 선택으로 시간별 영상정보를 검색 할 수 있도록 하고, 구간 검색부(373-2)는 특정 구간의 시작과 끝에 해당하는 년/월/일/시를 선택으로 해당 영상을 검색할 수 있도록 한다.

태그 검색부(374)는 카메라별로 소리가 발생한 시/분/초를 그래프로 표현하고, "초"를 나타내는 그래프에 소리의 종류를 텍스트 형태로 표시하여 어떤 소리가 해당 초 구간에 발생했는지를 쉽게 검색할 수 있도록 한다.

채널 검색부(375)는 소리별 영상을 검색하고자 하는 과정에서 영상을 입력한 카메라를 지정하는 기능을 제공한다.

소리별 영상파일 리스트 표시부(376)는 상기와 같이 소리종류 선택부(371)와 키워드 검색부(372), 기간 설정부(373)를 통해서 검색된 정보를 소리종류별, 날짜별로 정렬하여 아래의 표 5와 같이 표시할 수 있으며, 영상이 저장된 년/월/일/시/분/초/밀리초, 소리가 발생한 시간(밀리초 단위), 소리종류를 표시한다.

20091109 01:11:09.023 - 01:11:09:159 [137, 충돌]
20091109 01:23:12.001 - 01:23:12:300 [300, 미끌림]
20091109 01:29:45.222 - 01:29:45:358 [136, 브레이크]
20091109 01:35:29.056 - 01:35:29:156 [101, 경음]
20091109 01:37:30.183 - 01:37:30:194 [012, 경음]
20091109 01:37:32.251 - 01:37:32:350 [100, 과속]
20091109 01:43:02.063 - 01:43:02:177 [115, 경적]

소리별 영상 시청부(377)는 소리별로 저장된 영상 정보를 표시하는 부분으로써, 특정 소리가 발생한 구간에 대해서 영상을 출력하거나 영상과 소리를 동시에 출력하여 영상과 소리의 시청이 제공되도록 한다.

도 3a는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 생성되는 파일정보 구조를 도시한 도면이다.

도 3a는 소리별 영상파일을 시간기준으로 소리영상DB(352)에 저장하는 예로, 소리별 영상파일의 파일명에 경적(A01), 충돌(A02) 등의 소리종류(A101)와 년,월,일,시,분,밀리초로 결정되는 소리발생시간(A102) 및 년,월,일,시,분,초,밀리초로 결정되는 소리종료시간(A103)이 표시될 수 있도록 구성된다.

이때, 생성되는 영상파일은 소리종류와 소리발생시간 및 소리종료시간의 정보로 구성하거나(A110) 소리발생시간과 소리종료시간의 사이를 밀리초 단위의 시간으로 표시하여 구성한다(A120).

예를 들어, 자동차의 경적 소리가 2009년 5월 17일 16시 33분 54초 243밀리초에서 시작하여 2009년 5월 17일 16시 33분 54초 832밀리초에서 끝났다면 해당 소리가 들린 영상파일은 A01_20090517163354243_20090517163354832.avi 이라는 이름(A110)으로 저장된다.

또한, 소리발생시간과 소리종료시간 사이의 밀리초로 표시할 수 있으므로 해당소리가 들린 영상파일은 A01_20090517163354243[589].avi이라는 이름(A120)으로 저장된다.

도 3b는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 생성되는 파일정보 구조의 다른 예를 도시한 도면이다.

도 3b는 소리별 영상파일을 프레임 단위를 기준으로 소리영상 DB(352)에 저장하는 예로서, 소리별 영상파일의 파일명에 경적(A01), 충돌(A02) 등의 소리종류(A101)와 년,월,일,시,분,초로 결정되는 소리발생시간(A102) 및 년,월,일,시,분,초로 결정되는 소리종료시간(A103)이 표시될 수 있도록 구성하거나(A130), 소리발생시간과 소리종료시간의 사이를 프레임수로 표시되도록 구성한다(A140).

상기 소리별 영상파일이 프레임수로 저장될 때는 물리적인 저장 데이터와 관계하므로, 예를 들어 초당 10프레임이라면 초당 10회 영상 데이터를 연속적으로 저장하는 것을 의미한다.

따라서, 자동차의 경적 소리가 2009년 5월 17일 16시 33분 54초 5프레임에서 시작하여 2009년 5월 17일 16시 33분 54초 10프레임에서 끝났다면 해당 소리가 들린 영상파일은 A01_20090517163354005_20090517163354010.avi 이라는 이름(A130)으로 저장된다.

또한, 소리발생시간과 소리종료시간 사이의 프레임수로 표시할 수 있으므로 해당소리가 들린 영상파일은 A01_20090517163354243[005].avi이라는 이름(A140)으로 저장된다.

도 4a는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 소리 영상파일의 저장 과정을 도시한 도면이다.

카메라(100)로부터 영상이 입력되는 상태에서(A210) 특정 시간 구간에서 마이크(200)로부터 경적이나 충돌 혹은 미끌림 등의 특정소리가 발생한 것이 인지되면(A211) 해당 소리가 발생한 구간의 영상정보를 저장하고(A212), 소리종류와 소리발생시간 및 소리종료시간을 포함하여 시간 또는 프레임수로 소리영상파일(A213)을 생성하여 데이터베이스에 저장한다.

예를 들어, 2009년 01월 23일 11시 30분 12초 123밀리초에 특정의 소리, 예를 들어 경적 소리의 발생이 감지되면 소리가 발생한 구간의 영상 저장을 시작하고, 2009년 01월 23일 11시 30분 16초 589밀리초에 경적 소리가 종료되는 경우 경적 소리 발생에 따른 영상의 저장을 종료한 다음 소리영상파일을 생성하여 저장한다.

이때, 소리발생시간과 소리종료시간 사이의 밀리초 단위 혹은 프레임수를 표시할 수 있으므로, 파일명은 A01_20090123113012123_20090123113016589.avi 혹은 A01_20090123113012123[4466].avi로 생성한다.

다른 예로, 2009년 01월 23일 11시 31분 45초 012밀리초에 특정의 소리, 예를 들어 충돌 소리의 발생이 감지되면 소리가 발생한 구간의 영상 저장을 시작하고, 2009년 01월 23일 11시 31분 45초 625밀리초에 충돌 소리가 종료되는 경우 충돌 소리가 발생한 구간의 영상의 저장을 종료한 다음 소리영상파일을 생성하여 저장한다.

이때, 소리발생시간과 소리종료시간 사이의 밀리초 단위 혹은 프레임수를 표시할 수 있으므로, 파일명은 A02_20090123113145012_20090123113145625.avi 혹은 A02_20090123113145012[613].avi로 생성하여 저장한다.

다른 예로, 2009년 01월 23일 11시 45분 28초 337밀리초에 특정의 소리, 예를 들어 미끌림 소리의 발생이 감지되면 소리가 발생한 구간의 영상 저장을 시작하고, 2009년 01월 23일 11시 45분 31초 050밀리초에 미끌림 소리가 종료되는 경우 미끌림 소리가 발생한 구간의 영상의 저장을 종료한 다음 소리영상파일을 생성하여 저장한다.

이때, 소리발생시간과 소리종료시간 사이의 밀리초 단위 혹은 프레임수를 표시할 수 있으므로, 파일명은 A03_20090123114528337_20090123114531050.avi 혹은 A03_20090123114528337[713].avi로 생성하여 저장한다.

도 4b는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 소리 영상파일 및 소리파일의 저장 과정을 도시한 도면이다.

카메라(100)로부터 영상이 입력되는 상태에서(A210) 특정 시간 구간에서 마이크(200)로부터 경적이나 충돌 혹은 미끌림 등의 특정소리가 발생한 것이 인지되면(A211) 해당 소리가 발생한 구간의 영상정보를 저장하고(A212), 소리종류와 소리발생시간 및 소리종료시간을 포함하여 시간 또는 프레임수로 소리영상파일(A213) 및 소리파일(A214)을 동시에 생성하여 데이터베이스에 저장한다.

따라서, 특정 소리를 키워드로 영상을 검색했을 때 해당 영상의 소리까지 구동시킬 수 있도록 한다.

예를 들어, 2009년 01월 23일 11시 30분 12초 123밀리초에 특정의 소리, 예를 들어 경적 소리의 발생이 감지되면 소리가 발생한 구간의 영상 저장을 시작하고, 2009년 01월 23일 11시 30분 16초 589밀리초에 경적 소리가 종료되는 경우 경적 소리 발생에 따른 영상저장을 종료하고 소리영상파일과 소리파일을 생성하여 저장한다.

이때, 소리발생시간과 소리종료시간 사이의 밀리초 단위 혹은 프레임수를 표시할 수 있으므로, 소리영상파일은 A01_20090123113012123_20090123113016589.avi 혹은 A01_20090123113012123[4466].avi로 생성한다.

그리고 소리파일명은 A01_20090123113012123_20090123113016589.wav 혹은 A01_20090123113012123[4466].wav로 생성한다.

예를 들어, 2009년 01월 23일 11시 31분 45초 012밀리초에 특정의 소리, 예를 들어 충돌 소리의 발생이 감지되면 소리가 발생한 구간의 영상 저장을 시작하고, 2009년 01월 23일 11시 31분 45초 625밀리초에 충돌 소리가 종료되는 경우 충돌소리 발생에 따른 영상저장을 종료하고 소리영상파일과 소리파일을 생성하여 저장한다.

이때, 소리발생시간과 소리종료시간 사이의 밀리초 단위 혹은 프레임수를 표시할 수 있으므로, 소리영상파일은 A02_20090123113145012_20090123113145625.avi 혹은 A02_20090123113145012[613].avi로 생성한다.

그리고 소리파일은 A02_20090123113145012_20090123113145625.avi 혹은 A02_20090123113145012[613].avi로 생성한다.

예를 들어, 2009년 01월 23일 11시 45분 28초 337밀리초에 특정의 소리, 예를 들어 미끌림 소리의 발생이 감지되면 소리가 발생한 구간의 영상 저장을 시작하고, 2009년 01월 23일 11시 45분 31초 050밀리초에 미끌림 소리가 종료되는 경우 미끌림 소리 발생에 따른 영상저장을 종료하고 소리영상파일과 소리파일을 생성하여 저장한다.

이때, 소리발생시간과 소리종료시간 사이의 밀리초 단위 혹은 프레임수를 표시할 수 있으므로, 소리영상파일은 A03_20090123114528337_20090123114531050.avi 혹은 A03_20090123114528337[713].avi로 생성한다.

그리고 소리파일명은 A03_20090123114528337_20090123114531050.avi 혹은 A03_20090123114528337[713].avi로 생성한다.

상기와 같이 소리영상파일과 소리파일을 동시에 생성하여 저장하면 특정 키워드로 영상을 검색하였을 때 해당 영상의 소리까지 재생할 수 있는 장점이 있다.

도 4c는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 소리영상정보DB 생성 과정을 도시한 도면이다.

카메라(100)로부터 영상이 입력되는 상태에서(A210) 특정 시간 구간에서 마이크(200)로부터 경적이나 충돌 혹은 미끌림 등의 특정소리가 발생한 것이 인지되면(A211) 해당 소리가 발생한 구간의 영상정보를 저장하고(A212), 소리종류와 소리발생시간 및 소리종료시간을 포함하여 소리영상정보(A215)를 생성하여 데이터베이스에 저장한다.

이때, 하나의 영상파일에서 소리가 발생한 구간정보를 모두 기록함으로써, 특정소리가 발생한 영상의 위치를 빠르게 검색할 수 있게 한다.

도 5a는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 운영 절차를 개략적으로 도시한 흐름도이다.

카메라(100)와 마이크(200)로부터 아날로그 신호의 소리와 영상 데이터가 소리영상 입력부(310)에 입력되면(S101) 소리영상 입력부(310)는 아날로그 상태의 해당 소리와 영상 데이터를 디지털 신호로 변환하고(S102), 영상 데이터는 영상 관리부(330)에 전송하고, 소리 데이터를 소리 인식부(320)에 전송한다(S103).

따라서, 영상 관리부(330)는 소리 정보와는 별도로 카메라(100)에서 수집되는 모든 영상을 관리하여 데이터베이스(350)의 영상DB(351)에 파일로 저장한다.

또한, 소리 인식부(320)는 소리영상 입력부(310)에서 전송된 소리 데이터를 분석하여 특정 소리로 인식될 경우 해당 소리의 시작 및 끝 시간에 대한 정보를 영상 관리부(330)에 전송한다(S104).

이때, 영상 관리부(330)는 소리 인식부(320)에서 제공되는 정보에 따라 특정 소리의 시작 및 끝 위치에 해당하는 영상 정보를 소리영상파일 저장부(340)로 전송하고, 소리영상파일 저장부(340)는 해당 소리의 시작 및 끝 시간에 해당하는 영상만을 도 3a와 같은 형식으로 시간을 기준으로 하는 동영상파일로 변환하여 데이터베이스(350)의 소리영상 DB(352)에 저장하고, 소리종류와 소리가 발생한 시간 정보를 데이터베이스(350)의 소리영상정보DB(353)에 저장시킨다(S105).

이후, 사용자로부터 소리 키워드 혹은 소리종류별 소리영상파일의 검색이 요구되면 소리영상 검색부(360)는 데이터베이스(350)를 검색하여(S106) 해당 영상파일을 추출한 다음 소리영상디스플레이 관리부(370)를 통해서 검색한 소리영상을 재생하여 준다(S107).

상기 소리영상디스플레이 관리부(370)는 소리영상파일을 재생하기 위해서 해당 파일 정보를 출력장치(400)로 전송함으로써 소리영상정보DB(353)에 저장된 소리별 발생시간 및 완료시간에 해당하는 동영상 구간만 재생시켜 사용자가 시청할 수 있도록 한다.

상기한 절차는 소리영상파일의 생성이 특정 소리의 시작 및 끝 시간에 대하여 시간을 기준으로 이루어진 경우에 대한 예시이다.

도 5b는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 운영 절차를 개략적으로 도시한 다른 예의 흐름도이다.

카메라(100)와 마이크(200)로부터 아날로그 신호의 소리와 영상 데이터가 소리영상 입력부(310)에 입력되면(S201) 소리영상 입력부(310)는 아날로그 상태의 해당 소리와 영상 데이터를 디지털 신호로 변환하고(S202), 영상 데이터는 영상 관리부(330)에 전송하고, 소리 데이터를 소리 인식부(320)에 전송한다(S203).

또한, 소리 인식부(320)는 소리영상 입력부(310)에서 전송된 소리 데이터를 분석하여 특정 소리로 인식될 경우 해당 소리의 시작 및 끝 시간에 대한 정보를 영상 관리부(330)에 전송한다(S204).

이때, 영상 관리부(330)는 소리 인식부(320)에서 제공되는 정보에 따라 특정 소리의 시작 및 끝 위치에 해당하는 영상 정보를 소리영상파일 저장부(340)로 전송하고, 소리영상파일 저장부(340)는 해당 소리의 시작 및 끝 시간에 해당하는 영상만을 도 3b와 같은 형식으로 영상 프레임을 기준으로 하는 동영상파일로 변환하여 데이터베이스(350)의 소리영상 DB(352)에 저장하고, 소리종류와 소리가 발생한 시간 정보를 데이터베이스(350)의 소리영상정보DB(353)에 저장시킨다(S205).

이후, 사용자로부터 소리 키워드 혹은 소리종류별 소리영상파일의 검색이 요구되면 소리영상 검색부(360)는 데이터베이스(350)를 검색하여(S206) 해당 영상파일을 추출한 다음 소리영상디스플레이 관리부(370)를 통해서 검색한 소리영상을 재생하여 준다(S207).

상기한 절차는 소리영상파일의 생성이 특정 소리의 시작 및 끝 시간에 대하여 영상 프레임을 기준으로 이루어진 경우에 대한 예시이다.

도 5c는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 운영절차를 개략적으로 도시한 또 다른 예의 흐름도이다.

카메라(100)와 마이크(200)로부터 아날로그 신호의 소리와 영상 데이터가 소리영상 입력부(310)에 입력되면(S301) 소리영상 입력부(310)는 아날로그 상태의 해당 소리와 영상 데이터를 디지털 신호로 변환하고(S302), 영상 데이터는 영상 관리부(330)에 전송하고, 소리 데이터를 소리 인식부(320)에 전송한다(S303).

또한, 소리 인식부(320)는 소리영상 입력부(310)에서 전송된 소리 데이터를 분석하여 특정 소리로 인식될 경우 해당 소리의 시작 및 끝 시간에 대한 정보를 영상 관리부(330)에 전송한다(S304).

이때, 영상 관리부(330)는 소리 인식부(320)에서 제공되는 정보에 따라 소리종류별 소리발생시간과 종료시간의 구간정보를 소리영상파일 저장부(340)로 전송하고, 소리영상파일 저장부(340)는 도 4c와 같이 소리영상파일을 소리별로 구분하지 않고 하나의 소리영상파일을 토대로 데이터베이스(350)의 소리영상정보DB(353)에 저장한다(S305).

이후, 사용자로부터 소리 키워드로 소리영상정보DB의 검색이 요구되면 소리영상 검색부(360)는 데이터베이스(350)를 검색하여(S306) 소리영상정보DB상의 해당 소리발생 위치에 해당하는 동영상 구간만을 추출한 다음 소리영상디스플레이 관리부(370)를 통해서 검색한 소리영상을 재생하여 준다(S307).

도 6a는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 영상파일의 저장 절차를 나타낸 도면으로, 시간 기준의 영상파일 저장 절차를 나타낸 도면이다.

카메라(100)와 마이크(200)로부터 아날로그 신호의 소리와 영상 데이터가 소리영상 입력부(310)에 입력되면 소리영상 입력부(310)는 아날로그 상태의 해당 소리와 영상 데이터를 디지털 신호로 변환하고, 변환된 영상 데이터는 영상 관리부(330)에 전송하고, 소리 데이터는 소리 인식부(320)에 전송한다.

이때, 소리 인식부(320)는 소리영상 입력부(310)에서 전송된 소리 데이터를 분석하여 특정 소리의 발생이 인식되면 특정 소리가 발생한 시작 시간의 알림정보를 영상 관리부(330)에 전송한다(B101)

영상 관리부(330)는 소리 인식부(320)에서 제공되는 알림 정보에 따라 특정 소리가 발생한 시간의 영상 정보만을 추출하여 소리영상파일 저장부(340)에 전송하면(B102) 소리영상파일 저장부(340)는 특정 소리가 발생한 영상의 영상파일의 기록을 시작한다(B103).

상기한 바와 같이 영상파일의 기록이 실행되는 과정에서 소리 인식부(320)에서 특정 소리의 종료가 검출되면 특정 소리가 종료된 시간의 알림 정보를 영상 관리부(330)에 전송한다(B201).

영상관리부에(330)는 소리 인식부(320)에서 제공되는 알림 정보에 따라 특정 소리가 끝난 시간에 해당하는 영상정보를 추출하여 소리영상파일 저장부(340)에 전송하면(B202) 소리영상파일 저장부(340)는 특정 소리를 발생시킨 영상의 영상파일 기록을 종료한다(B203).

이후, 소리영상파일 저장부(340)는 상기한 절차를 통해 특정 소리를 발생시키는 영상파일을 도 3a와 같은 형식으로 파일명을 생성하여 데이터베이스(350)의 소리영상DB(352)에 동영상파일을 저장하고, 소리종류와 소리가 발생한 시간 정보를 소리영상정보DB(353)에 저장한다.

도 6b는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 영상파일의 저장 절차를 나타낸 다른 예의 도면으로, 프레임 기준의 영상파일 저장 절차를 나타낸 도면이다.

이때, 소리 인식부(320)는 소리영상 입력부(310)에서 전송된 소리 데이터를 분석하여 특정 소리의 발생이 인식되면 특정 소리가 발생한 시작 시간의 알림정보를 영상 관리부(330)에 전송한다(B301)

영상 관리부(330)는 소리 인식부(320)에서 제공되는 알림 정보에 따라 특정 소리가 발생한 시간에 해당하는 영상 프레임만을 추출하여 소리영상파일 저장부(340)에 전송하면(B302) 소리영상파일 저장부(340)는 특정 소리가 발생한 영상의 영상파일의 기록을 시작한다(B303).

상기한 바와 같이 영상파일의 기록이 실행되는 과정에서 소리 인식부(320)에서 특정 소리의 종료가 검출되면 특정 소리가 종료된 시간의 알림 정보를 영상 관리부(330)에 전송한다(B401).

영상관리부에(330)는 소리 인식부(320)에서 제공되는 알림 정보에 따라 특정 소리가 끝난 시간에 해당하는 영상 프레임만을 추출하여 소리영상파일 저장부(340)에 전송하면(B402) 소리영상파일 저장부(340)는 특정 소리를 발생시킨 영상의 영상파일 기록을 종료한다(B403).

이후, 소리영상파일 저장부(340)는 상기한 절차를 통해 특정 소리를 발생시키는 영상파일을 도 3b와 같은 형식으로 영상 프레임을 기준으로 하는 파일명을 생성하여 데이터베이스(350)의 소리영상DB(352)에 동영상파일을 저장하고, 소리종류와 소리가 발생한 시간 정보를 소리영상정보DB(353)에 저장한다.

도 7은 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 소리영상파일 검색 절차를 나타낸 도면이다.

사용자 인터페이스가 연결되는 소리영상디스플레이 관리부(370)에 소리영상파일을 검색하고자 하는 특정 시간의 입력이 검출되면 소리영상파일의 검색 요구를 소리영상 검색부(360)에 제공한다(D101).

소리영상 검색부(360)는 해당 시간을 키워드로 소리영상파일의 검색을 수행하여 소리영상파일 저장부(340)에 기록되어 있는 소리영상파일정보를 요청한다(D102).

이에 따라 소리영상파일 저장부(340)는 소리영상정보DB(353)에 저장되어 있는 소리영상파일 리스트를 소리영상 검색부(360)에 제공하면(D103) 그에 따라 소리영상DB(352)에 저장된 해당 시간의 소리영상파일을 추출하여 소리영상디스플레이 관리부(370)와 연결되어 있는 출력장치(400)를 통해 재생시켜 특정 소리가 발생된 영상을 시청할 수 있게 한다(D104).

또한, 사용자 인터페이스가 연결되는 소리영상디스플레이 관리부(370)에 소리영상파일을 검색하고자 하는 소리종류의 입력이 검출되면 소리영상파일의 검색 요구를 소리영상 검색부(360)에 제공한다(D201).

소리영상 검색부(360)는 해당 소리종류를 키워드로 소리영상파일의 검색을 수행하여 소리영상파일 저장부(340)에 기록되어 있는 소리영상파일정보를 요청한다(D202).

이에 따라 소리영상파일 저장부(340)는 소리영상정보DB(353)에 저장되어 있는 소리영상파일 리스트를 소리영상 검색부(360)에 제공하면(D203) 그에 따라 소리영상DB(352)에 저장된 해당 시간의 소리영상파일을 추출하여 소리영상디스플레이 관리부(370)와 연결되어 있는 출력장치(400)를 통해 재생시켜 특정 소리가 발생된 영상을 시청할 수 있게 한다(D204).

또한, 사용자 인터페이스가 연결되는 소리영상디스플레이 관리부(370)에 소리영상파일을 검색하고자 하는 소리 키워드의 입력이 검출되면 소리영상파일의 검색 요구를 소리영상 검색부(360)에 제공한다(D301).

소리영상 검색부(360)는 소리 키워드로 소리영상파일의 검색을 수행하여 소리영상파일 저장부(340)에 기록되어 있는 소리영상파일정보를 요청한다(D302).

이에 따라 소리영상파일 저장부(340)는 소리영상정보DB(353)에 저장되어 있는 소리영상파일 리스트를 소리영상 검색부(360)에 제공하면(D303) 그에 따라 소리영상DB(352)에 저장된 해당 시간의 소리영상파일을 추출하여 소리영상디스플레이 관리부(370)와 연결되어 있는 출력장치(400)를 통해 재생시켜 특정 소리가 발생된 영상을 시청할 수 있게 한다(D304).

도 8a는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 소리영상파일의 검색 화면을 나타낸 도면이다.

사용자 인터페이스가 연결되는 소리영상 디스플레이 관리부의 화면에서 시간 검색이 선택되는 경우 도시된 바와 같이, 소리녹화검색을 선택하는 버튼(E100), 영상녹화검색을 선택하는 버튼(E200), 모두녹화검색 또는 전구간 녹화검색을 선택하는 버튼(E300), 소리영상파일에 대하여 시간검색을 선택하는 버튼(E110), 소리영상파일에 대하여 소리종류 검색을 선택하는 버튼(E120), 영상이 입력된 채널 혹은 카메라를 선택하여 태그 검색을 선택하는 버튼(E130), 상기 메뉴에서 시간검색이 선택된 경우 검색하고자 하는 날짜를 선택하는 버튼(E111), 검색하고자 하는 시간을 선택하는 버튼(E112), 소리영상파일을 선택하는 버튼(E113), 영상을 입력한 카메라를 선택하는 버튼(E140) 및 검색된 소리영상파일의 재생을 실행시키는 버튼(E150)을 제공한다.

상기한 버튼은 마우스나 터치패널 및 기타의 방식으로 사용자 인터페이스로 연결되어 버튼의 선택이 실행된다.

상기한 구조를 갖는 소리영상 디스플레이 관리부의 화면을 통해 소리영상파일을 시간 검색하는 동작은 다음과 같다.

소리녹화검색 버튼(E100)과 시간검색 버튼(E110)을 선택하면 검색하고자 하는 날짜를 선택하는 버튼(E111)이 활성화되고, 이에 따라 검색하고자 하는 "년", "월",“일”을 선택하면 선택된 시간 선택 버튼(E112)에 해당 일자에 영상이 저장된 시간의 정보가 활성화되며, 이에 따라 검색하고자 하는 "시간"을 선택하면 선택된 "시간"내에서 발생한 소리영상파일정보가 표시된다(E113).

상기한 화면에서 적색으로 활성화된 "시간"은 01[8]의 경우 01은 1시, [8]은 1시구간 내에 8개의 소리영상파일이 기록되어 있다는 것을 의미한다.

각각의 소리영상파일은 11:09.023 - 11:09:159[137, 충돌]과 같이 표시되고, 이는 11분 09초 23밀리초에서 11분 09초 159밀리초 구간내 137밀리초 기간 동안 "충돌"소리가 발생한 파일 정보임을 알 수 있다.

상기의 소리영상파일 리스트 중의 하나를 클릭하면 저장된 충돌, 미끌림, 브레이크, 경음, 경적 등의 특정소리에 대한 영상파일이 재생되어 디스플레이되고(E160)과 그에 따른 소리의 파형이 표시된다(E170).

도 8b는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 소리영상파일의 검색 화면을 나타낸 다른 예의 도면이다.

도 8b는 소리영상 디스플레이 관리부의 화면을 통해 소리영상파일을 소리종류로 검색하는 예를 나타낸 도면이다.

소리녹화검색 버튼(E100)과 소리종류검색 버튼(E120)을 선택하면 소리종류를 선택할 수 있는 버튼(E121)이 활성화된다. 소리종류로는 충돌, 미끌림, 브레이크, 과속 등 미리 할당되어 있으므로, 검색하고자 하는 소리종류를 선택할 수 있고, 소리 키워드를 직접 입력할 때에는 소리종류를 "전체"로 선택하면 키워드를 직접 입력할 수 있는 버튼(E122)이 활성화된다.

또한, 하단에 해당 소리가 발생한 시간구간 정보를 입력할 수 있는 입력창(E123)이 활성화되고, 시간구간 정보를 입력하면 검색 버턴이 활성화되므로 이에 따라 검색 버튼을 누르게 되면 해당 시간구간 내에 발생한 소리영상파일정보 리스트가 출력된다(E124).

소리영상파일정보에서 적색으로 활성화(E124-a)된 "20091109 01:43:02.063 - 01:43:02:177 [115, 경적]의 경우, 2009년 11월 9일 1시 43분 2초, 63밀리초에서 1시 43분 2초 177밀리초 구간내에 115밀리초 동안 "경적"소리가 발생한 소리영상파일임을 지시하며, 이에 대한 구조는 9a에 자세하게 설명된다.

도 8c는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 소리영상파일의 검색 화면을 나타낸 또 다른 예의 도면이다.

도 8c는 소리영상 디스플레이 관리부의 화면을 통해 소리영상파일을 태그검색하는 예를 나타낸 도면이다.

소리녹화검색 버튼(E100)과 태그검색 버튼(E130)을 선택한 다음 영상을 입력한 채널 혹은 카메라(E140)를 선택하고, 영상파일을 검색하고자 하는 "년","월","일"을 선택하면 선택된 채널(카메라)의 24시간동안 저장된 영상 구간의 정보가 시/분/초 단위로 화면상에 표시되며(E132), 초 구간에서는 발생한 소리의 종류가 태그로 표시된다.

도면에서 시간 단위는 24시간으로 구분되고, 분 단위는 60분(도면에서 한 눈금은 5분)으로 구분되며, 초 단위는 60초로 구분되어 표시된다.

따라서, 태그 검색 결과 2시 14분에 특정의 소리가 발생되었으며, 2시 14분 20초에서 29초 사이에 발생한 특정의 소리는 충돌(Collision)소리임을 알 수 있으며, 해당 구간을 클릭하게 되면 저장된 소리영상파일이 재생되어 화면상에 디스플레이 되고(E160), 저장된 소리의 파형 정보가 표시된다(E170).

도 9a는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 구간 소리영상파일 리스트를 나타낸 도면이다.

도면에서 적색으로 활성화된 소리영상파일정보의 "20091109 01:43:02.063 - 01:43:02:177 [115, 경적]의 경우 2009년 11월 9일 1시 43분 2초, 63밀리초에서 1시 43분 2초 177밀리초 구간의 115밀리초 동안 "경적"소리가 발생한 소리영상파일임을 나타낸다.

도 9b는 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 구간 소리영상파일 리스트를 나타낸 다른 예의 도면이다.

도면에서 적색으로 활성화된 소리영상파일정보의 "20091109 01:43:02.001 - 01:43:02:006 [006, 경적]의 경우 2009년 11월 9일 1시 43분 2초, 1프레임에서 1시 43분 2초 6프레임 구간의 6프레임 동안 "경적"소리가 발생한 소리영상파일임을 나타낸다.

100 : 카메라
200 : 마이크
300 : DVR장치
310 : 소리영상 입력부
320 : 소리 인식부
330 : 영상 관리부
340 : 소리영상파일 저장부
350 : 데이터베이스
360 : 소리영상 검색부
370 : 소리영상 디스플레이 관리부
400 : 출력장치

Claims

감시영역의 영상을 촬영하는 영상입력수단;
감시영역의 소리를 입력하는 소리입력수단;
감시영역의 소리를 인식하여 소리를 종류별로 구분하고, 특정 소리가 발생한 영상만을 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상만을 엑세스하여 출력장치에 제공하는 DVR장치;
디스플레이와 스피커를 포함하며, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상을 출력하는 출력장치;
를 포함하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제1항에 있어서,
상기 마이크는 무지향성 마이크, 단일 지향성 마이크, 초지향성 마이크 중 어느 하나가 적용되는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제1항에 있어서,
상기 마이크는 울림과 하울링을 억제하고 먼 거리에서 발생하는 소리의 수집을 위해 지향성 마이크가 적용되는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제1항에 있어서,
상기 카메라와 마이크는 각각 개별적 또는 하나의 쌍 혹은 마이크가 내장된 카메라의 형태로 설치되며, 감시 장소에 적어도 하나 이상의 개수로 설치되는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제1항에 있어서,
상기 DVR장치는 소리별로 하나의 소리영상파일만을 생성하여 저장하며, 검색 요구에 따라 특정된 소리에 따른 영상파일을 재생시키는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제1항에 있어서,
상기 DVR장치는 전체 영상 녹화파일에서 특정 소리가 발생한 구간정보를 표시하여 저장하며, 검색 요구에 따라 특정 소리가 발생한 영상구간을 재생시키는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제1항에 있어서,
상기 DVR장치는 하나의 영상파일에 발생하는 하나 이상의 특정 소리에 대하여 하나의 영상파일과 하나 이상의 특정소리파일을 쌍으로 생성하여 저장하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제1항에 있어서,
상기 DVR장치는 하나의 영상파일에 발생하는 하나 이상의 특정 소리가 발생한 구간정보에 의해서 하나의 영상파일과 하나 이상의 특정 소리가 발생한 구간정보를 보유한 소리영상정보 파일을 쌍으로 생성하여 저장하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제1항에 있어서,
상기 DVR장치는 특정 소리에 대하여 하나의 소리파일과 하나의 영상파일을 짝으로 생성하여 저장하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제1항에 있어서,
상기 DVR장치는 카메라와 마이크로부터 아날로그 신호의 영상과 소리 정보를 입력받아 디지털 신호로 변환하는 소리영상 입력부;
상기 소리영상 입력부에서 인가되는 소리 데이터를 분석하여 소리종류를 구분하는 소리 인식부;
일반 녹화 영상과 특정 소리가 발생한 구간의 영상을 관리하는 영상 관리부;
소리가 발생한 영상 구간을 파일로 관리하여 데이터베이스에 저장시키며, 일반 녹화 영상과 특정 소리별 영상을 구분하여 영상파일로 저장하는 소리영상파일 저장부;
일반 녹화 영상파일과 특정 소리별 영상파일이 저장되는 데이터베이스;
영상의 검색 요구에 따라 상기 소리영상파일 저장부를 통해 데이터베이스에 저장된 영상파일을 검색하는 소리영상 검색부;
사용자 인터페이스가 연결되어 영상 검색기능을 제공하고, 상기 소리영상 검색부를 통해 검색된 영상파일을 출력장치를 통해 재생하는 소리영상 디스플레이 관리부;
를 포함하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제10항에 있어서,
상기 소리 인식부는 소리 데이터에 대하여 끝점 검출 후 소리인식 알고리즘을 통해 소리종류를 구분하고, 소리종류가 특정 소리로 인식되면 인식된 시점의 시간 정보를 영상 관리부에 제공하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제10항에 있어서,
상기 소리 인식부는 입력된 소리 데이터와 데이터베이스에 저장된 소리 데이터의 유사성을 판별하여 소리종류를 판단하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제10항에 있어서,
상기 소리 인식부는 입력된 소리 데이터에 대하여 ZCR(Zero Crossing Rate)과 에너지를 이용해서 끝점을 검출하고, LPC(Linear Predictive Coding)를 적용하여 특징을 추출하며, 패턴비교 알고리즘을 단독 또는 두 개 이상 사용하여 소리종류를 판단하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제10항에 있어서,
상기 영상 관리부는 일반 영상 녹화에 대하여 동작인식 녹화와 전구간 녹화로 구분하여 관리하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제10항에 있어서,
상기 데이터베이스는 일반 영상 녹화파일을 저장하는 영상DB;
소리가 발생한 영상파일을 저장하는 소리영상DB;
소리종류별 영상파일의 정보를 저장하는 소리영상정보DB;
로 구성되는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제10항에 있어서,
상기 소리영상 검색부는 키워드 검색, 소리종류별 검색, 태그검색을 제공하고, 소리영상정보DB에 저장된 영상파일 정보를 이용하여 소리영상DB에 저장된 영상파일의 위치를 추적하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제10항에 있어서,
상기 소리영상 디스플레이 관리부는 소리 영상파일에 대하여 시간검색, 소리종류검색, 키워드 검색, 기간 검색, 구간 검색, 태그검색, 채널검색 기능을 제공하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제10항에 있어서,
상기 소리영상 디스플레이 관리부는 특정 소리가 발생한 구간의 영상만을 출력하거나 영상과 소리의 동시 출력을 제공하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제10항에 있어서,
상기 소리영상파일 저장부는 소리의 종류, 소리발생시간 소리종료시간의 정보를 포함하며, 소리발생시간과 소리종료시간의 사이를 밀리초 단위의 시간 기준 혹은 프레임 수를 기준으로 영상파일을 생성하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제16항에 있어서,
상기 태그검색은 특정 년, 월, 일에 해당하는 시간, 분, 초를 나타내는 그래프 상에 특정 소리가 발생한 시간, 분, 초를 눈끔 형태로 표시하고, 하단에 소리의 종류를 텍스트로 표시하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
영상을 입력하는 카메라;
소리를 입력하는 마이크;
카메라와 마이크에서 입력되는 영상과 소리를 디지털 신호로 변환하는 소리영상 입력부;
상기 디지털 신호로 변환된 소리를 분석하여 소리종류를 구분하는 소리 인식부;
특정 소리가 발생한 구간의 영상을 관리하는 영상 관리부;
특정 소리가 발생한 구간을 영상파일로 생성하여 데이터베이스에 저장시키는 소리영상파일 저장부;
일반 영상 녹화파일을 저장하는 영상DB;
소리가 발생한 영상파일을 저장하는 소리영상DB;
소리종류별 영상파일의 정보를 저장하는 소리영상정보DB;
영상파일의 검색 요구에 따라 상기 영상DB, 소리영상DB, 소리영상정보DB에 저장된 영상파일을 검색하는 소리영상 검색부;
사용자 인터페이스가 연결되어 영상파일의 검색기능을 제공하고, 검색된 영상파일을 재생시키는 소리영상 디스플레이 관리부;
를 포함하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제21항에 있어서,
상기 소리 인식부는 디지털 변환된 소리의 ZCR(Zero Crossing Rate)과 에너지를 이용해서 끝점을 검출하고, LPC(Linear Predictive Coding)를 적용하여 특징을 추출하며, 패턴비교 알고리즘을 단독 또는 두 개 이상 사용하여 소리종류를 판단하고, 소리종류가 특정 소리로 인식되면 인식된 시점의 시간 정보를 영상 관리부에 제공하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제21항에 있어서,
상기 소리 인식부는 입력된 소리 데이터와 데이터베이스에 저장된 소리 데이터의 유사성을 판별하여 소리종류를 판단하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제21항에 있어서,
상기 소리영상파일 저장부는 소리종류(경적, 충돌, 미끌림), 소리발생시간(년,월,일,시,분,초), 소리종료시간(년,월,일,시,분,초) 정보를 포함하고, 밀리초 단위의 기준 시간 혹은 영상 프레임 수로 표시되는 소리발생시간과 소리종료시간의 사이 정보를 포함하여 영상파일을 생성 저장하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제21항에 있어서,
상기 소리영상파일 저장부는 특정 소리별로 하나의 소리영상파일만을 생성하여 저장하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제21항에 있어서,
상기 소리영상파일 저장부는 전체 영상 녹화파일에서 특정 소리가 발생한 구간을 표시하여 저장하며, 검색 요구에 따라 특정 소리가 발생한 구간의 영상파일만을 재생하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제21항에 있어서,
상기 소리영상파일 저장부는 하나의 영상파일에 발생하는 하나 이상의 특정 소리에 대하여 하나의 영상파일과 하나 이상의 특정소리파일을 쌍으로 생성하여 저장하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제21항에 있어서,
상기 소리영상파일 저장부 하나의 영상파일에 발생하는 하나 이상의 특정 소리가 발생한 구간정보에 의해서 하나의 영상파일과 하나 이상의 특정 소리가 발생한 구간정보를 보류한 소리영상정보 파일을 쌍으로 생성하여 저장하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
제21항에 있어서,
상기 소리영상파일 저장부는 특정 소리에 대하여 하나의 소리파일과 하나의 영상파일을 짝으로 생성하여 저장하는 것을 특징으로 하는 디지털 비디오 레코더 시스템.
영상과 소리 데이터를 입력받는 과정;
소리 데이터를 분석하여 특정 소리를 인식하는 과정;
특정 소리가 인식되면 소리종류와 발생시간과 종료시간의 정보를 포함하여 해당 시간구간의 영상 데이터만을 영상파일로 데이터베이스에 저장하는 과정;
상기 저장된 영상파일의 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 영상파일을 검색하여 소리와 영상의 출력으로 재생하는 과정;
을 포함하는 디지털 비디오 레코더 시스템의 운용방법.
제30항에 있어서,
상기 특정 소리의 인식은 소리 데이터의 ZCR(Zero Crossing Rate)과 에너지를 이용해서 끝점(Endpoint)을 검출하고, LPC(Linear Predictive Coding)기법을 적용하여 특징(Feature)을 추출하며, DTW(Dynamic Time Warping), HMM(Hidden Marcov Model), ANN(Artificial Neural Network)의 패턴 비교 알고리즘을 단독 또는 두개 이상 사용하여 소리종류를 판단 인식하는 것을 특징으로 하는 디지털 비디오 레코더 시스템의 운용방법.
제30항에 있어서,
상기 특정 소리의 인식은 소리 데이터와 데이터베이스에 저장된 기준 소리 데이터의 유사성을 DTW(Dynamic Time Warping), HMM(Hidden Marcov Model), NNF(Neural Network, Fuzzy) 중 어느 하나의 알고리즘으로 판별하여 소리종류를 판단 인식하는 것을 특징으로 하는 디지털 비디오 레코더 시스템의 운용방법.
제30항에 있어서,
상기 특정 소리의 발생이 인식되면 특정 소리가 발생된 시점에서 구간 영상의 기록을 시작하고, 특정 소리의 종료가 검출되면 구간 영상의 기록을 종료하며, 소리종류와 발생시간, 종료시간, 발생시간과 종료시간의 사이를 밀리초 단위의 시간 혹은 영상 프레임 수로 영상파일을 생성하는 것을 특징으로 하는 디지털 비디오 레코더 시스템의 운용방법.
제30항에 있어서,
상기 데이터베이스에 저장되는 영상파일은, 일반 영상 녹화파일과 소리가 발생한 영상파일, 소리종류별 영상파일의 정보를 구분하여 저장하는 것을 특징으로 하는 디지털 비디오 레코더 시스템의 운용방법.
제30항에 있어서,
상기 데이터베이스에 저장된 영상파일은 사용자 인터페이스가 연결되는 화면에서 시간검색, 소리종류검색, 키워드 검색, 기간 검색, 구간 검색, 태그 검색, 채널 검색을 제공하며,
검색된 영상파일의 재생에 따라 특정 소리가 발생한 구간의 영상만을 출력하거나 영상과 특정 소리를 동시 출력시키는 것을 특징으로 하는 디지털 비디오 레코더 시스템의 운용방법.