KR20110095113A - 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용 방법 - Google Patents

음장인식 디지털 비디오 레코더 시스템 및 그것의 운용 방법 Download PDF

Info

Publication number
KR20110095113A
KR20110095113A KR1020100099550A KR20100099550A KR20110095113A KR 20110095113 A KR20110095113 A KR 20110095113A KR 1020100099550 A KR1020100099550 A KR 1020100099550A KR 20100099550 A KR20100099550 A KR 20100099550A KR 20110095113 A KR20110095113 A KR 20110095113A
Authority
KR
South Korea
Prior art keywords
sound
image
sound field
file
field
Prior art date
Application number
KR1020100099550A
Other languages
English (en)
Inventor
윤재민
Original Assignee
윤재민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤재민 filed Critical 윤재민
Publication of KR20110095113A publication Critical patent/KR20110095113A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9202—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H11/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties
    • G01H11/06—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties by electric means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/801—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용방법에 관한 것으로, 더욱 상세하게는 소리를 종류별로 구분하여 소리가 발생한 구간의 영상, 소리, 음장을 표시 및 저장하고, 특정 소리가 발생한 위치를 계산하여 카메라와 마이크 어레이 장치를 팬/틸트함으로서, 소리가 발생한 위치를 추적하고, 소리종류별로 특정 소리가 발생한 영상, 소리, 음장, 위치을 검색하여 재생할 수 있는 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용방법에 관한 것이다.

Description

음장인식 디지털 비디오 레코더 시스템 및 그것의 운용 방법{DIGITAL VIDEO RECORDER SYSTEM DISPLAYING SOUND FIELDS AND APPLICATION METHOD THEREOF}
본 발명은 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용방법에 관한 것으로, 더욱 상세하게는 소리를 종류별로 구분하여 소리가 발생한 구간의 영상, 소리, 음장을 표시 및 저장하고, 특정 소리가 발생한 위치를 계산하여 카메라와 마이크 어레이 장치를 팬/틸트함으로서, 소리가 발생한 위치를 추적하고, 소리종류별로 특정 소리가 발생한 영상, 소리, 음장, 위치을 검색하여 재생할 수 있도록 하여 보다 효과적으로, 특정 소리가 발생한 영상 검색 및 재생을 제공하는 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용방법에 관한 것이다.
일반적으로, 디지털 비디오 레코더(digital video recorder, 이하 ‘DVR’ 이라 한다.) 시스템은 영상을 비디오 테이프가 아닌 하드디스크 기반의 디지털 저장장치에 기록할 수 있는 장비를 의미하며, PVR(personal video recorder)시스템 이라고도 한다.
DVR시스템은 적어도 하나 이상의 감시용 카메라로부터 아날로그 신호로 입력되는 영상 데이터를 디지털 신호로 전환한 다음 동화상국제압축표준인 MPEG(Moving Picture Experts Group)나 H.263, H.264 등으로 영상을 압축하여 저장하고, 필요에 따라 저장된 압축 영상을 복원 및 재생하여 볼 수 있도록 하는 고해상도의 녹화 시스템이다.
기술의 개발에 따라 고선명 비디오 레코더(HDV Recorder) 시스템은 물론, 얼굴을 인식할 수 있는 기기까지 개발이 진행되었으며, 얼굴을 인식할 수 있는 기기는 실시간 모니터링되는 영상과 특정 인물의 얼굴을 데이터베이스로 이용하여 확인 및 비교할 수 있어서 경찰서, 공항 등에서 보안용으로 많이 사용된다.
또한, DVR시스템의 영상처리에 있어서도 다양한 형태의 동작 인식 알고리즘이 적용되어 움직임이 발생한 동영상 구간만 저장하는 DVR시스템이 상용화되었다.
그러나, 영상뿐만 아니라 소리 정보도 매우 중요하며, 특히 자동차의 접촉 사고가 많은 주차장, 교통사고가 많은 도로 구간 등에서 특정 사고의 소리가 발생한 영상 위치를 검색해서 볼 수 있다면 기존 영상 검색에서 놓친 많은 정보를 보다 정밀하게 관찰 및 분석할 수 있는 효과가 있다. 더구나, 소리가 발생한 위치를 마이크 어레이를 통해서 계산해서 음장으로 표시하고, 카메라를 팬/틸트시키면 실시간 사고가 발생한 위치를 추적하여 표시할 수 있는 이점이 있다.
또한, 영상을 소리종류별로 분류해서 해당 소리가 발생한 영상 및 음장 구간을 저장하거나 특정 소리가 발생한 영상구간정보, 음장발생구간정보를 저장함으로써 사용자가 특정의 소리가 발생한 영상에 대하여 자유롭게 재생할 수 있는 장치가 있다면 녹화된 전체의 영상을 모두 재생하여 일일이 검색하는 수고를 덜 수 있게 된다.
그러나, 그 동안 소리 분석 및 기술의 미비로 기존 DVR시스템은 영상 데이터를 전구간 또는 움직임이 발생한 구간에 대하여 일자별, 시간별로 저장함으로써 특정 소리가 발생한 구간만을 한정하여 검색할 수 없었으며, 소리라는 중요한 요소를 간과한 상태에서 영상처리 기술개발에만 매달려 왔다.
따라서, 종래의 DVR시스템은 저장된 영상 데이터에서 특정 구간의 영상을 검색 및 분석하기 위해서는 저장된 전체의 영상을 시간 순으로 모두 복원하여 재생하여야 하는 번거로운 문제점이 발생한다.
본 발명은 상기한 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 마이크 어레이 장치와 카메라를 통해서 소리와 영상 데이터를 입력받고, 마이크를 통해서 감지된 소리를 소리종류별로 구분하며, 소리종류에 따라 소리가 발생한 구간의 영상을 저장매체에 저장하여 특정 소리를 발생시킨 영상을 소리종류별로 검색하여 음장과 함께 재생할 수 있도록 함으로써, 소리가 발생한 구간에 해당하는 영상을 보다 빠르게 검색할 수 있고, 소리가 발생한 위치를 음장으로 표시하여 어디서 소리가 발생하였는지 위치를 알 수 있도록 하는 음장인식 디지털 비디오 레코더 시스템 및 운영방법을 제공하기 위한 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따른 음장인식 디지털 비디오 레코더 시스템은, 감시영역의 영상을 촬영하는 영상입력수단; 감시영역의 소리를 입력하는 소리입력수단; 감시영역의 음장을 입력하는 음장입력수단; 감시영역의 소리를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 상기 소리에 대한 영상과 음장을 표시 및 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장을 엑세스하여 출력장치에 표시하는 DVR장치; 디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리, 음장을 출력하는 출력장치를 포함한다.
또한, 본 발명의 특징에 따른 디지털 비디오 레코더 시스템은, 감시영역의 영상을 촬영하는 영상입력수단; 감시영역의 소리와 음장을 입력하는 음장입력수단; 감시영역의 소리를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 상기 소리에 대한 영상과 음장을 표시 및 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장을 엑세스하여 출력장치에 표시하는 DVR장치; 디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리, 음장을 출력하는 출력장치를 포함한다.
또한, 본 발명의 특징에 따른 디지털 비디오 레코더 시스템은, 감시영역의 영상을 촬영하는 영상입력수단, 감시영역의 소리를 입력하는 소리입력수단, 감시영역의 음장을 입력하는 음장입력수단이 팬/틸트/줌(PTZ)할 수 있는 구동장치 상에 하나로 결합된 음장영상 위치구동장치; 감시영역의 소리를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 상기 소리에 대한 위치를 계산하여 음장영상 위치구동장치를 구동시키며, 상기 소리에 대한 영상과 음장, 위치를 표시 및 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장, 위치정보을 엑세스하여 출력장치에 표시하는 DVR장치; 디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리, 음장, 위치정보를 출력하는 출력장치를 포함한다.
또한, 본 발명의 특징에 따른 디지털 비디오 레코더 시스템의 운용방법은, 영상과 소리, 음장 데이터를 입력받는 과정; 소리 데이터를 분석하여 특정 소리를 인식하는 과정; 특정 소리가 인식되면 특정 소리와 소리발생구간정보, 음장발생구간정보를 저장하고, 해당 시간구간의 영상 데이터를 영상파일로 데이터베이스에 저장하는 과정; 상기 저장된 영상파일의 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 영상파일을 검색하여 소리와 영상, 음장의 출력으로 재생하는 과정을 포함한다.
또한, 본 발명의 특징에 따른 디지털 비디오 레코더 시스템의 운용방법은, 영상과 소리, 음장 데이터를 입력받는 과정; 소리 데이터를 분석하여 특정 소리를 인식하는 과정; 특정 소리의 음장으로부터 소리위치를 계산하는 과정; 인식된 특정 소리와 소리발생구간정보, 음장발생구간정보, 소리발생 위치정보를 저장하고, 해당 시간구간의 영상 데이터를 영상파일로 데이터베이스에 저장하는 과정; 상기 저장된 영상파일의 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 영상파일을 검색하여 소리와 영상, 음장, 위치정보의 출력으로 재생하는 과정을 포함한다.
또한, 본 발명의 특징에 따른 디지털 비디오 레코더 시스템의 운용방법은, 영상과 소리, 음장 데이터를 입력받아 표시 및 저장하는 과정; 소리 데이터를 분석하여 특정 소리를 인식하는 과정; 특정 소리가 인식되면 특정 소리와 소리발생구간정보, 음장발생구간정보를 저장하는 과정; 상기 저장된 특정 소리에 대한 영상 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 소리발생구간정보를 검색하여, 영상구간정보를 찾고, 해당 소리의 음장발생구간정보를 검색하여, 해당 소리가 발생한 구간의 영상과 음장, 소리의 출력으로 재생하는 과정을 포함한다.
또한, 본 발명의 특징에 따른 디지털 비디오 레코더 시스템의 운용방법은, 영상과 소리, 음장 데이터를 입력받아 표시 및 저장하는 과정; 소리 데이터를 분석하여 특정 소리를 인식하는 과정; 특정 소리의 음장으로부터 소리위치를 계산하는 과정;
상기 계산된 위치로 음장영상 위치구동장치를 팬/틸트 구동시키는 과정; 인식된 특정 소리와 소리발생구간정보, 음장발생구간정보, 소리발생 위치정보를 저장하는 과정; 상기 계산된 위치에서 특정 소리가 인식되지 않을 경우, 상기 위치로 음장영상 위치구동장치가 원 상태로 복귀하는 과정; 상기 저장된 특정 소리에 대한 영상 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 소리발생구간정보를 검색하여, 영상구간정보를 찾고, 해당 소리의 음장발생구간정보와 위치정보를 검색하여, 해당 소리가 발생한 구간의 영상과 음장, 소리, 위치정보의 출력으로 재생하는 과정을 포함한다.
이와 같은 본 발명에 따른 DVR 시스템은 마이크 어레이 장치로 입력된 소리를 종류별로 구분하고, 소리에 따른 영상 및 소리발생 구간정보, 음장발생 구간정보를 저장함으로써, 특정 소리를 발생시킨 영상에 대하여 사용자가 빠르게 검색하여 음장을 포함하여 재생할 수 있어 영상의 검색 및 분석뿐만 아니라 소리가 발생한 위치 파악에 편리성 및 신속성을 제공하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템의 구성을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템의 구성을 도시한 도면이다.
본 발명은 카메라(100), 마이크(200), 마이크어레이장치(300), DVR장치(400) 및 출력장치(600)를 포함한다.
카메라(100)는 디지털 및 아날로그 방식의 카메라로, 설치된 지역에서 임의로 조정된 각도의 감시 영역에 대한 영상을 촬영하여 촬영된 영상정보를 DVR장치(400)에 입력한다.
마이크(200)는 마이크 구조에 따라 다이나믹 마이크, 콘덴서 마이크, 리본 마이크가 사용될 수 있으며, 지향성에 따라 지향성 마이크, 무지향성 마이크(Non-directional microphone), 단일 지향성 마이크(Uni-directional microphone), 초지향성 마이크(Super cardioid, Hyper cardioid) 등이 모두 사용될 수 있으므로 이중에서 어느 하나로 적용되나, 울림과 하울링을 억제하고 먼 거리에서 발생하는 소리를 안정적으로 수집할 수 있도록 하기 위하여 바람직하게는 지향성 마이크가 사용되며, 설치된 지역에서 발생되는 다양한 형태의 소리를 수집하여 DVR장치(400)에 입력한다.
상기 카메라(100)와 마이크(200)는 각각 개별적이나 하나의 쌍 혹은 마이크(200)가 내장된 카메라(100)의 형태로 설치될 수 있으며, 감시 장소에 적어도 하나 이상의 개수로 설치되어 주변에서 발생되는 소리 및 영상을 수집한다.
마이크어레이장치(300)는 2개 이상의 마이크가 일정하게 배열된 장치로써, 음장데이터를 수집하는데 이용한다. 이 마이크 어레이 장치는 카메라 팬/틸트 회전이 필요없는 환경에서, 카메라와 마이크, 마이크어레이장치가 고정되어 배치된다.
DVR장치(400)는 카메라(100)와 마이크(200)를 통해 입력되는 영상 정보와 소리 정보를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 특정 소리가 발생한 영상이나 영상구간정보를 저장하며, 상기 소리에 해당하는 음장을 표시 및 저장하고, 사용자로부터 특정 소리에 대한 영상의 검색이 요구되면 소리발생구간 정보파일과 음장발생구간 정보파일을 이용하여, 해당 소리의 해당 영상만을 엑세스하여 음장과 함께 출력장치(600)에 제공한다.
출력장치(600)는 디스플레이 및 스피커를 포함하며, 상기 DVR장치(400)에 인가되는 특정 소리와 그에 매칭되는 영상과 음장만을 사용자가 시청할 수 있도록 출력하여 준다.
상기 DVR장치(400)는 영상 입력부(410), 소리 입력부(420), 음장입력부(430), 영상관리부(440), 소리 인식부(450), 음장 관리부(460), 소리영상음장 표시부(470), 소리영상음장 파일저장부(471), 데이터베이스(480), 소리영상음장 검색부(490), 소리영상디스플레이 관리부(600)를 포함한다.
영상 입력부(410)와 소리 입력부(420)는 DVR장치(400)가 허용하는 채널 한도 내에서 소리 및 영상을 16채널 또는 32채널 이상까지 카메라(100)와 마이크(200)로부터 영상과 소리정보를 동시에 입력 받는다.
영상 입력부(410)와 소리 입력부(420)는 카메라(100)와 마이크(200)로부터 입력되는 영상과 소리정보가 아날로그 신호인 경우 디지털 신호로 변환한다.
음장 입력부(430)는 음장을 분석하기위한 소리를 입력받는 곳으로써, 마이크 어레이장치(300)를 통해서 전달된 소리를 음장 관리부(460)에서 분석하여 소리영상음장표시부를 통해서 실시간으로 음장을 표시하거나, 음장파일(481)과 음장발생구간 정보파일(485)를 생성하게 된다.
소리 인식부(450)는 상기 소리 입력부(200)에서 디지털 신호로 변환되어 인가되는 소리 데이터를 분석하여 끝점 검출(Endpoint Detection)을 실행하고, 소리인식 알고리즘을 통해 소리종류를 구분하며, 구분된 소리종류가 특정 소리로 인식되면 끝점이 검출된 시점에 해당하는 시간구간 정보, 소리종류, 녹화파일명, 소리데이터(파형정보 등) 등을 영상 관리부(440) 및 소리음장파일저장부 (471)로 전달한다.
상기 소리 인식부(450)는 마이크(100)를 통해 입력된 소리 데이터를 수신하고, 상기 소리 데이터에서 특정 소리가 감지된 경우 소리종류와 소리가 발생한 영상의 시간구간정보나 프레임위치 정보를 소리영상음장파일저장부(471)를 거쳐 소리정보DB(484)에 저장한다.
상기 소리 인식부(320)의 소리인식 방법은 현재 입력된 소리가 데이터베이스에 저장된 소리분류와 얼마나 유사한지를 DTW(Dynamic Time Warping), HMM(Hidden Marcov Model), ANN(Artificial Neural Network), SVM(Support Vector Machine), Fuzzy 등의 다양한 패턴분류 알고리즘을 이용하여 판별함으로써, 가장 유사한 소리종류를 판단하는 것을 기본으로 한다.
일례로 마이크(100)로부터 입력된 소리는 ZCR(Zero Crossing Rate)과 에너지(Energy)를 이용해서 끝점을 검출하고, LPC(Linear Predictive Coding), MFCC(Mel Frequency Cepstral Coefficients) 방법 등을 이용해서 특징(Feature)을 추출한 뒤에 DTW(Dynamic Time Warping), HMM(Hidden Marcov Model), ANN(Artificial Neural Network), SVM(Support Vector Machine), Fuzzy 등의 패턴 분류 알고리즘을 단독으로 또는 두 개 이상 사용하여 가장 유사한 소리종류를 판단함으로써 소리인식을 수행한다.
또 다른 일례로, 상기 소리 인식부(450)는 소리인식 칩을 이용하여 소리 인식기능을 수행할 수 도 있다. 즉, DVR 카드를 이용하는 디지털 비디오 레코더 시스템의 경우 소리인식 칩이 오디오 입력단자가 있는 DVR 카드에 삽입될 수 있고, 오디오 입력단자와 소리 인식칩으로 구성된 소리인식 카드를 만들어서 메인보드에 삽입하는 형태로 제공될 수도 있다. 이때, 소리인식 칩으로부터 소리종류 값을 받아서 해당 소리종류와 그 소리가 발생한 영상 구간 정보를 데이터베이스에 저장함으로써, 특정 소리에 의한 영상 검색 기능을 수행할 수도 있다.
영상 관리부(440)는 일반적인 영상 녹화와 특정 소리가 발생한 구간의 녹화를 관리하며, 일반적인 영상 녹화에 대하여 동작인식 녹화와 전구간 녹화로 구분하여 관리한다.
소리영상음장표시부(470)는 소리 인식부(450)에서 전달된 소리종류와 시간구간정보, 파형정보를 DVR 녹화화면 상에 표시한다.
소리영상음장파일 저장부(471)는 일반적인 영상녹화 파일저장과 소리가 발생한 영상녹화 파일을 저장(481)할 수 있으며, 소리가 발생한 시간 및 프레임 구간정보를 저장(484)하며, 일반적인 영상녹화 파일, 소리가 발생한 영상녹화파일의 검색이 가능하도록 한다.
상기 소리영상음장파일 저장부(340)는 일반적인 영상녹화 파일과 소리가 발생한 영상파일은 영상DB(481)에 저장하며, 소리종류별 영상파일정보(시간 및 프레임 구간정보)는 소리정보DB(484)에 저장한다.
상기 소리영상음장파일 저장부(471)는 전구간 영상저장이 설정된 경우 하나의 영상파일에 각 소리가 발생한 영상 및 음장 구간정보만을 저장하여 영상파일 하나에 소리파일 여러 개를 저장하거나 하나의 영상파일과 이 영상파일에서 각 소리가 발생한 구간정보와 상기 소리에 대한 음장발생구간정보만 보유될 수 있도록 영상파일 하나에 소리발생구간 정보파일 하나, 음장발생구간 정보파일 하나를 연동해서 저장한다.
또한, 소리인식이 설정되는 경우 소리 인식된 구간마다 영상파일을 하나씩 생성하여 소리파일 1개당 영상파일 1개를 짝으로 생성하여 저장한다.
상기 소리영상음장파일 저장부(471)는 카메라와 마이크를 통해서 입력되는 영상과 소리를 씽크해서 저장할 수도 있으며, 별도의 소리녹화 파일도 저장할 수 있게 하여, 영상 재생시 다양한 옵션을 선택할 수 있다.
상기 소리영상음장파일 저장부(471)의 저장유형에 따른 재생 기능을 간단하게 정리하면 하기의 표 1과 같이 구분된다.
저장유형 재생방법
전구간 영상파일(또는 일정구간 영상파일) + 소리발생구간(시간, 프레임) 정보파일, 소리발생구간 음장정보파일 전구간 영상 재생(일정구간 영상재생) 및 소리발생구간, 음장발생구간의 영상 재생
전구간 영상(또는 일정구간 영상)과 소리 , 음장 씽크파일 + 소리발생구간 정보파일 + 음장발생구간 정보파일 전구간 영상 및 소리, 음장 재생(일정구간 영상재생), 소리발생구간의 영상 및 소리, 음장 재생
전구간 영상파일(또는 일정구간 영상파일) + 소리발생구간의 소리파일 + 소리발생구간 정보파일 + 음장발생구간 정보파일 전구간 영상 및 소리 재생(일정구간 영상재생), 소리발생구간의 영상 및 소리, 음장 재생
소리발생구간 영상 + 소리발생구간 정보파일 + 음장발생구간정보파일 소리발생구간 및 음장발생구간의 영상 재생
소리발생구간 영상 + 소리발생구간 소리파일 + 소리발생구간 정보파일 + 소리발생구간 음장정보파일 소리발생구간의 영상 및 소리, 음장 재생
소리발생구간 영상과 소리, 음장 씽크파일 + 소리발생구간 정보파일, 소리발생구간의 음장정보파일 소리발생구간의 영상 및 소리, 음장 재생
상기 소리영상음장파일 저장부(471)는 영상을 저장할 때, H.263, H264. MPEG-4 등 다양한 압축방법을 이용할 수 있고, 소리를 저장할 때, ADPCM(Adaptive Differential Pulse Code Modulation), G.723, G.726 등의 다양한 압축방법을 이용할 수 있다.
소리영상음장 검색부(490)는 사용자가 요구하는 소리 키워드, 소리종류, 태그정보를 전달받아 소리영상음장파일 저장부(471)를 통해서 데이터베이스(480)에 저장되어 있는 해당 소리 영상을 검색한다.
상기에서 소리 키워드별 영상파일 정보는 소리정보DB(484)에 보관되어 있기 때문에 이를 이용해서 해당파일의 위치를 검색하고, 영상DB(482)를 통해서 해당 파일에 접근한다.
또한, 소리영상음장 검색부(490)는 소리정보DB(484)에 저장된 영상파일 경로정보와 시간구간정보를 이용하여 영상DB(482)상의 소리가 발생한 영상구간정보를 가져오거나, 소리DB(481)에 저장된 소리가 발생한 영상파일의 경로정보를 가져온다.
소리영상디스플레이 관리부(600)는 상기 소리영상음장 검색부(490)를 통해서 검색된 영상을 사용자가 시청할 수 있도록 인터페이스를 제공하며, 영상의 검색 기능을 제공하여 시간검색 수단을 이용할 경우 날짜별 소리영상파일을 검색할 수 있고, 소리종류검색 수단을 이용할 경우 소리종류, 소리 키워드에 따라 기간 검색을 할 수 있으며, 태그검색을 제공한다.
또한, 소리영상파일을 시청할 때는 영상만 보는 기능, 영상과 소리, 음장을 따로 분리하여 시청하는 기능, 영상과 소리, 음장을 믹싱하여 시청하는 기능을 제공한다.
도 2는 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템에서 카메라, 마이크, 마이크어레이장치의 상세 구성을 도시한 도면이다.
개별적인 카메라와 마이크는 마이크어레이장치에 장착 될 수 있으며, 특히 카메라는 마이크 어레이장치의 정중앙에 위치시켜서 카메라의 주시방향과 마이크 어레이장치의 주시방향이 동일직선상에 놓아서, 카메라, 마이크, 마이크어레이장치가 고정된 상태로 작동되게 한다. 이때, 마이크 어레이장치는 천장이나 벽 등에 고정함으로써, 마이크어레이장치 상의 카메라와 마이크도 고정된다.
도 3은 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템의 또 다른 구성을 도시한 도면이다.
도 1과 차이점은 마이크 어레이장치에 별도로 고정하던 마이크를 제거하고, 마이크 어레이장치(200a)상의 적어도 하나의 마이크에 음장 뿐만 아니라 소리의 종류를 분석하도록 하여, 더욱 간단하게 만든 것이다.
이렇게 함으로써, 소리음장입력부(420a)에서는 마이크어레이장치상의 특정 마이크로 입력되는 소리를 소리인식부(450)로 전달하고, 동시에 마이크 어레이장치를 통해서 전달되는 모든 소리를 음장 관리부(460)로 전달하게 된다.
도 4는 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템에서 카메라, 마이크어레이장치의 상세 구성을 도시한 도면이다.
이것은 도3에서 개별적인 마이크를 제거하고, 마이크어레이 장치상의 특정 마이크로 음장데이터와 특정 소리인식용 데이터 입력을 겸하게 함으로써, 별도의 마이크 구비 비용을 절감 할 수 있는 방법이다.
도 5은 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템의 또 다른 구성을 도시한 도면이다.
음장영상 위치구동장치(50b)는 카메라(100b), 마이크어레이장치(200b), 팬/틸트전동회전부(201b)로 구성되어 있으며, 마이크어레이장치(200b)를 통해서 전달된 소리를 위치인식부(461b)에서 소리의 위치를 계산하여 위치구동부(462b)를 통해서 음장영상 위치구동장치(50b)의 팬/틸트전동회전부(201b)를 구동시키게 된다.
소리 위치정보는 소리영상음장위치표시부(470b)를 통해서 화면상에 표시되고, 소리영상음장위치파일저장부(471b)를 통해서 위치정보DB(486b)에 저장되며, 상기 위치정보는 소리정보DB(484b), 음장정보DB(485b)에도 저장된다.
소리영상음장위치검색부(490b)는 특정 소리가 발생한 영상을 소리정보DB(484b)를 통해서 영상DB(482)에서 찾아, 소리, 음장, 위치정보를 동시에 소리영상음장위치 디스플레이 관리부(600b)를 통해서 출력하게 된다.
상기 소리영상음장위치파일 저장부(471b)의 저장유형에 따른 재생 기능을 간단하게 정리하면 하기의 표 2와 같이 구분된다.
저장유형 재생방법
전구간 영상파일(또는 일정구간 영상파일) + 소리발생구간(시간, 프레임) 정보파일, 소리발생구간 음장정보파일 + 위치정보파일 전구간 영상 재생(일정구간 영상재생) 및 소리발생구간, 음장발생구간의 영상 재생 및 소리발생 위치 정보 표시
전구간 영상(또는 일정구간 영상)과 소리 , 음장 씽크파일 + 소리발생구간 정보파일 + 음장발생구간 정보파일 + + 위치정보파일 전구간 영상 및 소리, 음장 재생(일정구간 영상재생), 소리발생구간의 영상 및 소리, 음장 재생 및 소리발생 위치 정보 표시
전구간 영상파일(또는 일정구간 영상파일) + 소리발생구간의 소리파일 + 소리발생구간 정보파일 + 음장발생구간 정보파일 + + 위치정보파일 전구간 영상 및 소리 재생(일정구간 영상재생), 소리발생구간의 영상 및 소리, 음장 재생 및 소리발생 위치 정보 표시
소리발생구간 영상 + 소리발생구간 정보파일 + 음장발생구간정보파일 + + 위치정보파일 소리발생구간 및 음장발생구간의 영상 재생 및 소리발생 위치 정보 표시
소리발생구간 영상 + 소리발생구간 소리파일 + 소리발생구간 정보파일 + 소리발생구간 음장정보파일 + + 위치정보파일 소리발생구간의 영상 및 소리, 음장 재생 및 소리발생 위치 정보 표시
소리발생구간 영상과 소리, 음장 씽크파일 + 소리발생구간 정보파일, 소리발생구간의 음장정보파일 + 위치정보파일 소리발생구간의 영상 및 소리, 음장 재생 및 소리발생 위치 정보 표시
도 6는 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템에서 카메라, 마이크어레이장치, 팬/틸트전동회전부를 포함한 음장영상 위치구동장치(50b)의 상세 구성을 도시한 도면이다.
이것은 마이크어레이 장치상의 카메라를 소리가 들린 위치로 실시간 팬틸트시킬 수 있기 때문에, 소리를 추적할 수 있는 장점이 있다.
소리위치를 분석방법은 마이크어레이장치를 통해서 입력되는 소리 데이터를 FFT알고리즘과 원거리 음향 홀로그래피 알고리즘에 의해 음원의 위치를 추정할 수 있다.
도 7은 본 발명의 실시예에 따른 디지털 비디오 레코더 시스템에서 소리영상 디스플레이 관리부의 상세 구성을 도시한 도면이다.
소리영상디스플레이 관리부(500)는 소리종류 선택부(510)와 키워드 검색부(520), 기간 설정부(530), 태그 검색부(540), 채널 선택부(550), 소리별 영상파일 리스트 표시부(560) 및 소리별 영상 음장 시청부(570)를 포함한다.
상기 소리종류 선택부(510)는 사용자가 요구하는 영상 검색이 소리종류 선택을 통해 실행될 수 있도록 하는 기능을 제공한다.
본 발명에 따른 디지털 비디오 레코더 시스템의 설치 장소에 따라 수집되는 소리종류가 매우 다양하게 구분되므로, 이들 소리에 대하여 선택이 가능하도록 한다.
예를 들어 지하주차장이나 도로, 터널 등에 설치되는 경우 경적, 충돌, 미끌림, 유리파손, 긁힘, 두드림, 화재, 폭발, 비명, 누수 등의 소리가 수집되므로, 이들 소리를 구분하여 선택할 수 있도록 하고, 동물원에 설치되는 경우 사자, 호랑이, 고릴라, 침팬지, 오랑우탄, 앵무새, 펭귄 등의 소리가 수집되므로, 이들 소리를 구분하여 선택할 수 있도록 하며, 애견카페에 설치되는 경우 애견의 배고픈 소리, 낮선 사람에게 짖는 소리, 싸우는 소리, 우는 소리 등의 소리가 수집되므로, 이들 소리를 구분하여 선택할 수 있도록 한다.
이를 간단하게 정리하면 하기의 표 3과 같이 구분된다.
지하주차장 동물원 애견까페
경적, 충돌, 미끌림, 유리파손, 긁힘, 두드림, 화재, 폭발, 비명, 누수 등 사자, 호랑이, 고릴라,침팬지, 오랑우탄,
앵무새, 펭귄 등		 배고픈 소리, 낮선 사람에게 짖는 소리, 싸우는 소리, 우는 소리 등
상기 키워드 검색부(520)는 특정 영상의 검색이 문자 키워드의 입력을 통해 실행될 수 있도록 하는 기능을 제공한다.
소리와 관련된 영상 정보는 소리정보 DB(484)에 아래의 표 4와 같은 XML 형식으로 저장되므로, 아래 표 4에서 XML 스크립트(Script)는 소리종류별로 영상파일 정보를 보유하여 소리종류만 알아도 해당 영상파일을 빠르게 검색하는 기능을 제공한다.
영상파일은 아래와 같이 소리 발생시간과 소리 종료시간을 모두 표현 할 수 있으며, 소리가 발생한 영상 구간마다 영상파일을 생성한다.
<FILE_INFO>
<ALARM>
A01_20090123113012123_20090123113016589.avi
</ALARM>
<COLLISION>
A02_20090123113145012_20090123113145625.avi
</COLLISION>
<BRAKE>
A03_20090123114528337_20090123114531050.avi
</BRAKE>
</ FILE_INFO>

또한, 영상파일은 아래의 표 5와 같이 소리 발생시간과 소리 종료시간 사이의 시간을 밀리초 단위로 표현 할 수 있으며, 소리가 발생한 영상 구간마다 영상파일을 생성한다.
<FILE_INFO>
<ALARM>
A01_20090123113012123[4466].avi
</ALARM>
<COLLISION>
A02_20090123113145012[613].avi
</COLLISION>
<BRAKE>
A03_20090123114528337[713].avi
</BRAKE>
</ FILE_INFO>

아래의 표 6는 하나의 영상파일에 다양한 소리정보를 기록한 예로써, 영상파일이 생성된 날짜와 시간정보가 기록되어 있고, 해당 영상파일에서 나타난 소리와 해당 소리가 발생한 시간정보를 기록하고 있다.
이를 통해, 특정 소리가 상기 영상파일에서 어느 시간 위치에서 발생했는지 알 수 있으며, 그 시간 구간으로 이동하여 영상을 재생시킴으로써, 해당 소리가 발생한 영상을 시청할 수 있게 된다.
< FILE_INFO >
<Movie
name=Car20090131113012000.avi
Date=2009-01-31
Start Time=11:30:12.000 End Time=11:50:22.300
Delay Time=00:20:10.300></Movie>
<SoundCategory>
<ALARM >
2009.01.23.11:30:12.123[4466]
</ALARM >
<COLLISION >
2009.01.23.11:31:45.012[613]
</COLLISION >
<BRAKE >
2009.01.23.11:45:28.337[713]
</BRAKE >
</SoundCategory>
</ FILE_INFO >

기간 설정부(530)는 상기 소리종류 선택부(510)와 키워드 검색부(520)에서 선택되거나 입력된 정보를 특정 기간별로 검색할 수 있는 기능을 제공한다.
상기 기간 설정부(530)는 기간 검색부(531)와 구간 검색부(532)로 구분되며, 기간 검색부(531)는 년/월/일의 선택으로 시간별 영상정보를 검색 할 수 있도록 하고, 구간 검색부(532)는 특정 구간의 시작과 끝에 해당하는 년/월/일/시를 선택으로 해당 영상을 검색할 수 있도록 한다.
태그 검색부(540)는 카메라별로 소리가 발생한 시/분/초를 그래프로 표현하고, ‘초’를 나타내는 그래프에 소리의 종류를 텍스트 형태로 표시하여 어떤 소리가 해당 초 구간에 발생했는지를 쉽게 검색할 수 있도록 한다.
채널 선택부(550)는 소리별 영상을 검색하고자 하는 과정에서 영상을 입력한 카메라를 지정하는 기능을 제공한다.
소리별 영상파일 리스트 표시부(560)는 상기와 같이 소리종류 선택부(510)와 키워드 검색부(520), 기간 설정부(530)를 통해서 검색된 정보를 소리종류별, 날짜별로 정렬하여 아래의 표 7와 같이 표시할 수 있으며, 영상이 저장된 년/월/일/시/분/초/밀리초, 소리가 발생한 시간(밀리초 단위), 소리종류를 표시한다.
20091109 01:11:09.023 - 01:11:09:159 [137, 충돌]
20091109 01:23:12.001 - 01:23:12:300 [300, 미끌림]
20091109 01:29:45.222 - 01:29:45:358 [136, 브레이크]
20091109 01:35:29.056 - 01:35:29:156 [101, 경음]
20091109 01:37:30.183 - 01:37:30:194 [012, 경음]
20091109 01:37:32.251 - 01:37:32:350 [100, 과속]
20091109 01:43:02.063 - 01:43:02:177 [115, 경적]

소리별 영상음장 시청부(570)는 소리별로 저장된 영상 정보를 표시하는 부분으로써, 특정 소리가 발생한 구간에 대해서 영상을 출력하거나 영상과 소리를 동시에 출력하여 영상과 소리의 시청이 제공되도록 한다.
도 8은 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템에서 소리 영상파일의 저장 과정을 도시한 도면이다.
카메라(100)로부터 영상이 입력되는 상태에서 특정 시간 구간에서 마이크로부터 경적이나 충돌 혹은 미끌림 등의 특정소리가 발생한 것이 인지되면 해당 소리가 발생한 구간의 영상정보를 저장하고, 소리종류와 소리발생시간 및 소리종료시간을 포함하여 시간 또는 프레임수로 소리정보DB를 생성하여 데이터베이스에 저장한다.
예를 들어, 2009년 01월 31일 11시 30분 12초 123밀리초에 특정의 소리, 예를 들어 경적 소리의 발생이 감지되면 소리가 발생한 구간의 영상 저장을 시작하고, 2009년 01월 23일 11시 30분 16초 589밀리초에 경적 소리가 종료되는 경우 경적 소리 발생에 따른 영상의 저장을 종료한 다음 소리정보DB를 생성하여 저장한다.
이때, 마이크 어레이장치를 통해서 입력되는 각각의 데이터는 음장DB에 저장하게 된다.
도 9은 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템의 운영 방법을 개략적으로 도시한 흐름도이다.
특정 소리에 대한 영상 검색시, 영장과 음장을 동시에 재생시키는 방법은
먼저, 소리, 음장 데이터를 입력받는 과정;
소리 데이터를 분석하여 특정 소리를 인식하는 과정;
특정 소리가 인식되면 특정 소리와 소리발생구간정보, 음장발생구간정보를 저장하고, 해당 시간구간의 영상 데이터를 영상파일로 데이터베이스에 저장하는 과정;
상기 저장된 영상파일의 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 영상파일을 검색하여 소리와 영상, 음장의 출력으로 재생하는 과정;
으로 구성된다.
도 10은 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템의 또다른 운영 방법을 개략적으로 도시한 흐름도이다.
특정 소리에 대한 영상 검색시, 영장과 음장, 특정 소리가 발생한 위치를 동시에 재생시키는 방법은,
영상과 소리, 음장 데이터를 입력받는 과정;
소리 데이터를 분석하여 특정 소리를 인식하는 과정;
특정 소리의 음장으로부터 소리위치를 계산하는 과정;
인식된 특정 소리와 소리발생구간정보, 음장발생구간정보, 소리발생 위치정보를 저장하고, 해당 시간구간의 영상 데이터를 영상파일로 데이터베이스에 저장하는 과정;
상기 저장된 영상파일의 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 영상파일을 검색하여 소리와 영상, 음장, 위치정보의 출력으로 재생하는 과정;
으로 이루어진다.
도 11은 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템의 또다른 운영 방법을 개략적으로 도시한 흐름도이다.
영상과 소리, 음장 표시 및 특정 소리에 대한 영상 검색시, 영장과 음장을 동시에 재생시키는 방법은
영상과 소리, 음장 데이터를 입력받아 표시 및 저장하는 과정;
소리 데이터를 분석하여 특정 소리를 인식하는 과정;
특정 소리가 인식되면 특정 소리와 소리발생구간정보, 음장발생구간정보를 저장하는 과정;
상기 저장된 특정 소리에 대한 영상 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 소리발생구간정보를 검색하여, 영상구간정보를 찾고, 해당 소리의 음장발생구간정보를 검색하여, 해당 소리가 발생한 구간의 영상과 음장, 소리의 출력으로 재생하는 과정;
으로 이루어져 있다.
도 12은 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템의 또다른 운영 방법을 개략적으로 도시한 흐름도이다.
영상과 소리, 음장 표시 및 특정 소리에 대한 영상 검색시, 영장과 음장, 특정 소리가 발생한 위치를 동시에 재생시키는 방법은,
영상과 소리, 음장 데이터를 입력받아 표시 및 저장하는 과정;
소리 데이터를 분석하여 특정 소리를 인식하는 과정;
특정 소리의 음장으로부터 소리위치를 계산하는 과정;
상기 계산된 위치로 음장영상 위치구동장치를 팬/틸트 구동시키는 과정;
인식된 특정 소리와 소리발생구간정보, 음장발생구간정보, 소리발생 위치정보를 저장하는 과정;
상기 계산된 위치에서 특정 소리가 인식되지 않을 경우, 상기 위치로 음장영상 위치구동장치가 원 상태로 복귀하는 과정;
상기 저장된 특정 소리에 대한 영상 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 소리발생구간정보를 검색하여, 영상구간정보를 찾고, 해당 소리의 음장발생구간정보와 위치정보를 검색하여, 해당 소리가 발생한 구간의 영상과 음장, 소리, 위치정보의 출력으로 재생하는 과정;
으로 이루어져 있다.
도 13는 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템의 소리영상음장파일의 검색 화면을 나타낸 도면이다.
사용자 인터페이스가 연결되는 소리영상음장 디스플레이 관리부의 화면에서 시간 검색이 선택되는 경우 도시된 바와 같이, 소리영상음장검색을 선택하는 버튼, 전구간 녹화검색을 선택하는 버튼, 소리영상음장파일에 대하여 시간검색을 선택하는 버튼, 소리영상음장파일에 대하여 소리종류 검색을 선택하는 버튼, 상기 메뉴에서 시간검색이 선택된 경우 검색하고자 하는 날짜를 선택하는 버튼, 검색하고자 하는 시간을 선택하는 버튼, 소리영상음장파일을 선택하는 버튼, 채널을 선택하는 버튼, 검색된 소리영상파일의 재생을 실행시키는 버튼을 제공한다.
상기한 버튼은 마우스나 터치패널 및 기타의 방식으로 사용자 인터페이스로 연결되어 버튼의 선택이 실행된다.
상기한 구조를 갖는 소리영상음장 디스플레이 관리부의 화면을 통해 소리영상음장파일을 시간 검색하는 동작은 다음과 같다.
소리영상음장검색 버튼과 시간검색 버튼을 선택하면 검색하고자 하는 날짜를 선택하는 버튼이 활성화되고, 이에 따라 검색하고자 하는 “년, 월, 일”을 선택하면 선택된 시간 선택 버튼에 해당 일자에 영상이 저장된 시간의 정보가 활성화되며, 이에 따라 검색하고자 하는 “시간”을 선택하면 선택된 “시간”내에서 발생한 소리영상음장파일정보가 표시된다.
상기한 화면에서 적색으로 활성화된 “시간”은 01[8]의 경우 01은 1시, [8]은 1시구간 내에 8개의 소리영상파일이 기록되어 있다는 것을 의미한다.
각각의 소리영상파일은 11:09.023 - 11:09:159[137, 경적]과 같이 표시되고, 이는 11분 09초 23밀리초에서 11분 09초 159밀리초 구간내 137밀리초 기간 동안 “경적”소리가 발생한 파일 정보임을 알 수 있다.
상기의 소리영상파일 리스트 중의 하나를 클릭하면 저장된 충돌, 미끌림, 브레이크, 경음, 경적 등의 특정소리에 대한 영상파일이 재생되어 디스플레이되고 그에 따른 소리의 파형이 표시된다.
또한, 사고종류, 사고거리, 사고위치, 사고부위 음량 정보를 실시간 파악할 수 있다.
도 14는 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템의 검색 수행 절차를 나타낸 도면이다.
도 15는 본 발명의 실시예에 따른 음장인식 디지털 비디오 레코더 시스템의 전세 구조를 나타낸 도면이다.
즉, 카메라와 마이크를 통해서 영상과 소리 정보를 입력 받아서, 음향분류기에의해 특정 사고음으로 인식 될 경우, 해당 영상과 소리를 믹싱해서 저장하고, 음장분석결과와 위치계산 결과도 DB에 저장한다. 또한, 음향분류정보, 음장분석정보, 위치정보를 실시간 DVR 유저인터페이스에 전달하여 이를 표시하고,
카메라 및 마이크 어레이장치를 팬/틸트하여 실시간 음원/음장 추적이 가능한다.
그리고, 사고 검색모듈에 의해서 검색 키워드가 입력되면 음향구간 정보 DB를 참조하여 사고 충돌 영상과 음장정보를 씽크해서 재생하게 된다.
100 : 카메라
200 : 마이크
300 : 마이크 어레이장치
400 : DVR 장치
410 : 영상 입력부
420 : 소리 입력부
430 : 음장 입력부
440 : 영상 관리부
450 : 소리 인식부
460 : 음장 관리부
470 : 소리영상음장표시부
471 : 소리영상음장파일저장부
480 : 데이터베이스
490 : 소리영상음장검색부
500 : 소리영상음장 디스플레이 관리부
600 : 출력장치

Claims (22)

  1. 감시영역의 영상을 촬영하는 영상입력수단;
    감시영역의 소리를 입력하는 소리입력수단;
    감시영역의 음장을 입력하는 음장입력수단;
    감시영역의 소리를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 상기 소리에 대한 영상과 음장을 표시 및 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장을 엑세스하여 출력장치에 표시하는 DVR장치;
    디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리, 음장을 출력하는 출력장치;
    를 포함하는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  2. 제 1항에 있어서,
    상기 음장입력수단에는 2개 이상의 마이크로 구성된 마이크 어레이가 설치되는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템
  3. 제 1항에 있어서,
    상기 DVR장치는 영상입력수단에 의해서 입력되는 영상을 표시 및 저장하고, 소리입력수단을 통해서 입력되는 소리를 분석하여 특정 소리가 인식될 경우, 특정 소리와 음장을 표시하고, 특정 소리가 발생한 구간정보와 음장정보를 저장하며, 검색 요구에 따라 특정 소리가 발생한 영상구간을 음장과 같이 재생시키는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  4. 제 1항에 있어서,
    상기 DVR장치는 영상입력수단과 소리입력수단, 음장입력수단을 통해서 입력되는 영상과 소리, 음장을 씽크해서 저장하고, 소리별로 특정 소리가 발생한 구간정보 및 음장정보를 기록하여, 검색 요구에 따라 특정된 소리가 발생한 영상구간을 소리, 음장과 함께 영상을 재생시키는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  5. 제1항에 있어서,
    상기 DVR장치는 하나의 영상파일에 발생하는 하나 이상의 특정 소리에 대하여 하나의 영상파일과 하나 이상의 특정소리파일, 소리발생구간 정보파일, 음장발생구간 정보파일을 생성하여 저장하고, 검색 요구에 따라 특정 소리가 발생한 영상구간을 소리, 음장과 함께 재생시키는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  6. 제1항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정 소리가 발생한 소리발생구간 정보파일, 특정소리가 발생한 음장발생구간 정보파일을 생성하여 저장하고, 검색 요구에 따라 특정 소리가 발생한 음장 및 영상구간을 재생시키는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  7. 제1항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정소리파일, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일을 생성하여 저장하고, 검색 요구에 따라 특정 소리가 발생한 음장 및 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  8. 감시영역의 영상을 촬영하는 영상입력수단;
    감시영역의 소리와 음장을 입력하는 음장입력수단;
    감시영역의 소리를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 상기 소리에 대한 영상과 음장을 표시 및 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장을 엑세스하여 출력장치에 표시하는 DVR장치;
    디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리, 음장을 출력하는 출력장치;
    를 포함하는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  9. 제8항에 있어서,
    상기 음장입력수단은 2개 이상의 마이크로 구성된 마이크 어레이가 설치되어 있고,상기 2개 이상의 마이크 중, 적어도 하나의 마이크에 음장 뿐만 아니라 소리를 입력할 수 있는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템
  10. 감시영역의 영상을 촬영하는 영상입력수단, 감시영역의 소리를 입력하는 소리입력수단, 감시영역의 음장을 입력하는 음장입력수단이 팬/틸트/줌(PTZ)할 수 있는 구동장치 상에 하나로 결합된 음장영상 위치구동장치;
    감시영역의 소리를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 상기 소리에 대한 위치를 계산하여 음장영상 위치구동장치를 구동시키며, 상기 소리에 대한 영상과 음장, 위치를 표시 및 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장, 위치정보을 엑세스하여 출력장치에 표시하는 DVR장치;
    디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리, 음장, 위치정보를 출력하는 출력장치;
    를 포함하는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  11. 제10항에 있어서,


    상기 DVR장치는 영상입력수단에 의해서 입력되는 영상을 표시 및 저장하고, 소리입력수단을 통해서 입력되는 소리를 분석하여 특정 소리가 인식될 경우, 상기 소리에 대한 위치를 계산하여 특정 소리와 음장을 표시하고, 특정 위치로 음장영상 위치구동장치를 구동시키면서 연속적으로 소리와 음장, 위치를 표시 및 저장하고, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장, 위치정보를 엑세스하여 연속적으로 출력장치에 표시하는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  12. 제10항에 있어서,
    상기 DVR장치는 영상입력수단과 소리입력수단, 음장입력수단을 통해서 입력되는 영상과 소리, 음장을 씽크해서 저장하고, 소리별로 특정 소리가 발생한 구간정보 및 음장정보, 위치정보를 기록하여, 검색 요구에 따라 특정된 소리가 발생한 영상구간을 소리, 음장, 위치정보와 함께 영상을 재생시키는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  13. 제10항에 있어서,
    상기 DVR장치는 하나의 영상파일에 발생하는 하나 이상의 특정 소리에 대하여 하나의 영상파일과 하나 이상의 특정소리파일, 소리발생구간 정보파일, 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 검색 요구에 따라 특정 소리가 발생한 영상구간을 소리, 음장, 위치정보와 함께 재생시키는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  14. 제10항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정 소리가 발생한 소리발생구간 정보파일, 특정소리가 발생한 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 검색 요구에 따라 특정 소리가 발생한 음장, 위치정보, 영상구간을 재생시키는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  15. 제10항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정소리파일, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 검색 요구에 따라 특정 소리가 발생한 음장, 위치정보, 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  16. 제1항에 있어서,
    상기 DVR장치는 카메라로 아날로그 영상을 입력받아 디지털로 변환하는 영상입력부;
    마이크로부터 아날로그 소리 정보를 입력받아 디지털 신호로 변환하는 소리입력부;
    마이크어레이장치로부터 아날로그 소리정보를 입력받아 디지털 신호로 변환하는 음장입력부;
    상기 소리입력부에서 인가되는 소리 데이터를 분석하여 소리종류를 구분하는 소리 인식부;
    일반 녹화 영상과 특정 소리가 발생한 구간의 영상을 관리하는 영상 관리부;
    상기 소리인식부에서 특정소리로 인식한 소리에 대한 음장 관리부;
    소리가 발생한 영상 구간 및 음장을 실시간 디스플레이하는 소리영상음장표시부;
    소리가 발생한 영상 구간 및 음장을 파일로 관리하여 데이터베이스에 저장시키며, 일반 녹화 영상과 특정 소리별 영상을 구분하여 영상파일로 저장하는 소리영상음장파일 저장부;
    특정 소리파일, 일반 녹화 영상파일과 특정 소리별 영상파일, 특정 소리별 음장파일, 소리발생구간 정보파일, 음장발생구간 정보파일이 저장되는 데이터베이스;
    특정 소리가 발생한 영상의 검색 요구에 따라 상기 소리영상음장파일 저장부를 통해 데이터베이스에 저장된 영상파일을 검색하는 소리영상 검색부;
    사용자 인터페이스가 연결되어 영상 검색기능을 제공하고, 상기 소리영상 검색부를 통해 검색된 영상파일의 소리발생구간 및 음장발생구간을 출력장치를 통해 재생하는 소리영상 디스플레이 관리부;
    를 포함하는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  17. 제8항에 있어서,
    상기 DVR장치는 카메라로 아날로그 영상을 입력받아 디지털로 변환하는 영상입력부;
    마이크어레이장치로부터 아날로그 소리정보를 입력받아 디지털 신호로 변환하는 소리음장입력부;
    상기 소리음장입력부에서 인가되는 소리 데이터를 분석하여 소리종류를 구분하는 소리 인식부;
    일반 녹화 영상과 특정 소리가 발생한 구간의 영상을 관리하는 영상 관리부;
    상기 소리인식부에서 특정소리로 인식한 소리에 대한 음장 관리부;
    소리가 발생한 영상 구간 및 음장을 실시간 디스플레이하는 소리영상음장표시부;
    소리가 발생한 영상 구간 및 음장을 파일로 관리하여 데이터베이스에 저장시키며, 일반 녹화 영상과 특정 소리별 영상을 구분하여 영상파일로 저장하는 소리영상음장파일 저장부;
    특정 소리파일, 일반 녹화 영상파일과 특정 소리별 영상파일, 특정 소리별 음장파일, 소리발생구간 정보파일, 음장발생구간 정보파일이 저장되는 데이터베이스;
    특정 소리가 발생한 영상의 검색 요구에 따라 상기 소리영상음장파일 저장부를 통해 데이터베이스에 저장된 영상파일을 검색하는 소리영상음장 검색부;
    사용자 인터페이스가 연결되어 영상 검색기능을 제공하고, 상기 소리영상 검색부를 통해 검색된 영상파일의 소리발생구간 및 음장발생구간을 출력장치를 통해 재생하는 소리영상음장 디스플레이 관리부;
    를 포함하는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  18. 제10항에 있어서,
    상기 DVR장치는 카메라로 아날로그 영상을 입력받아 디지털로 변환하는 영상입력부;
    마이크어레이장치로부터 아날로그 소리정보를 입력받아 디지털 신호로 변환하는 소리음장입력부;
    상기 소리음장입력부에서 인가되는 소리 데이터를 분석하여 소리종류를 구분하는 소리 인식부;
    일반 녹화 영상과 특정 소리가 발생한 구간의 영상을 관리하는 영상 관리부;
    상기 소리인식부에서 특정소리로 인식한 소리에 대한 음장 관리부;
    상기 음장 관리부에서 입력되는 소리 데이터를 토대로 소리의 위치를 계산하는 위치 인식부;
    상기 위치 인식부에서 전달한 소리가 발생한 위치데이터를 토대로 음장영상위치구동장치를 구동시키는 위치구동부;
    소리가 발생한 영상 구간 및 음장, 위치정보를 실시간 디스플레이하는 소리영상음장위치표시부;
    소리가 발생한 영상 구간 및 음장, 위치정보를 파일로 관리하여 데이터베이스에 저장시키며, 일반 녹화 영상과 특정 소리별 영상을 구분하여 영상파일로 저장하는 소리영상음장위치파일 저장부;
    특정 소리파일, 일반 녹화 영상파일과 특정 소리별 영상파일, 특정 소리별 음장파일, 소리발생구간 정보파일, 음장발생구간 정보파일, 위치정보파일이 저장되는 데이터베이스;
    특정 소리가 발생한 영상의 검색 요구에 따라 상기 소리영상음장위치파일 저장부를 통해 데이터베이스에 저장된 영상파일을 검색하는 소리영상음장위치 검색부;
    사용자 인터페이스가 연결되어 영상 검색기능을 제공하고, 상기 소리영상음장위치 검색부를 통해 검색된 영상파일의 소리발생구간 및 음장발생구간, 위치정보를 출력장치를 통해 재생하는 소리영상음장위치 디스플레이 관리부;
    를 포함하는 것을 특징으로 하는 음장인식 디지털 비디오 레코더 시스템.
  19. 영상과 소리, 음장 데이터를 입력받는 과정;
    소리 데이터를 분석하여 특정 소리를 인식하는 과정;
    특정 소리가 인식되면 특정 소리와 소리발생구간정보, 음장발생구간정보를 저장하고, 해당 시간구간의 영상 데이터를 영상파일로 데이터베이스에 저장하는 과정;
    상기 저장된 영상파일의 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 영상파일을 검색하여 소리와 영상, 음장의 출력으로 재생하는 과정;
    을 포함하는 음장인식 디지털 비디오 레코더 시스템의 운용방법.
  20. 영상과 소리, 음장 데이터를 입력받는 과정;
    소리 데이터를 분석하여 특정 소리를 인식하는 과정;
    특정 소리의 음장으로부터 소리위치를 계산하는 과정;
    인식된 특정 소리와 소리발생구간정보, 음장발생구간정보, 소리발생 위치정보를 저장하고, 해당 시간구간의 영상 데이터를 영상파일로 데이터베이스에 저장하는 과정;
    상기 저장된 영상파일의 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 영상파일을 검색하여 소리와 영상, 음장, 위치정보의 출력으로 재생하는 과정;
    을 포함하는 음장인식 디지털 비디오 레코더 시스템의 운용방법.
  21. 영상과 소리, 음장 데이터를 입력받아 표시 및 저장하는 과정;
    소리 데이터를 분석하여 특정 소리를 인식하는 과정;
    특정 소리가 인식되면 특정 소리와 소리발생구간정보, 음장발생구간정보를 저장하는 과정;
    상기 저장된 특정 소리에 대한 영상 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 소리발생구간정보를 검색하여, 영상구간정보를 찾고, 해당 소리의 음장발생구간정보를 검색하여, 해당 소리가 발생한 구간의 영상과 음장, 소리의 출력으로 재생하는 과정;
    을 포함하는 음장인식 디지털 비디오 레코더 시스템의 운용방법.
  22. 영상과 소리, 음장 데이터를 입력받아 표시 및 저장하는 과정;
    소리 데이터를 분석하여 특정 소리를 인식하는 과정;
    특정 소리의 음장으로부터 소리위치를 계산하는 과정;
    상기 계산된 위치로 음장영상 위치구동장치를 팬/틸트 구동시키는 과정;
    인식된 특정 소리와 소리발생구간정보, 음장발생구간정보, 소리발생 위치정보를 저장하는 과정;
    상기 계산된 위치에서 특정 소리가 인식되지 않을 경우, 상기 위치로 음장영상 위치구동장치가 원 상태로 복귀하는 과정;
    상기 저장된 특정 소리에 대한 영상 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 소리발생구간정보를 검색하여, 영상구간정보를 찾고, 해당 소리의 음장발생구간정보와 위치정보를 검색하여, 해당 소리가 발생한 구간의 영상과 음장, 소리, 위치정보의 출력으로 재생하는 과정;
    을 포함하는 음장인식 디지털 비디오 레코더 시스템의 운용방법.
KR1020100099550A 2010-02-16 2010-10-12 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용 방법 KR20110095113A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100013939 2010-02-16
KR20100013939 2010-02-16

Publications (1)

Publication Number Publication Date
KR20110095113A true KR20110095113A (ko) 2011-08-24

Family

ID=44931010

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020100099550A KR20110095113A (ko) 2010-02-16 2010-10-12 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용 방법
KR1020110013856A KR101281129B1 (ko) 2010-02-16 2011-02-16 음장표시 디지털 비디오 레코더 시스템 및 그것의 운용 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020110013856A KR101281129B1 (ko) 2010-02-16 2011-02-16 음장표시 디지털 비디오 레코더 시스템 및 그것의 운용 방법

Country Status (1)

Country Link
KR (2) KR20110095113A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140059636A (ko) 2012-11-08 2014-05-16 삼성테크윈 주식회사 음성 데이터 감시 시스템 및 방법
KR101470939B1 (ko) * 2013-02-20 2014-12-09 경희대학교 산학협력단 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102066939B1 (ko) 2013-09-27 2020-01-16 한화테크윈 주식회사 영상 감시 시스템
KR20160011490A (ko) * 2014-07-22 2016-02-01 한화테크윈 주식회사 멀티 채널 오디오 데이터의 시각화 장치 및 방법
WO2016060296A1 (ko) * 2014-10-15 2016-04-21 엘지전자 주식회사 음향 정보 녹음 장치 및 그 제어 방법
KR20200124084A (ko) 2019-04-23 2020-11-02 삼성전자주식회사 음원 추적 장치, 음원 추적 방법, 및 지인 추적 장치
KR102349180B1 (ko) * 2020-01-06 2022-01-07 이상훈 사운드 재구성을 통한 멀티미디어 콘텐츠 생성 방법 및 콘텐츠 관리 서버
KR102574605B1 (ko) * 2022-05-12 2023-09-06 주식회사 삼우에이엔씨 영상 데이터 및 소리 데이터를 활용하여 소리 데이터를 분류하고 그리고 소음도를 측정하는 방법, 장치 및 컴퓨터 프로그램

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4166074B2 (ja) * 2002-10-25 2008-10-15 富士ゼロックス株式会社 移動情報管理装置および情報管理システム
KR100738332B1 (ko) * 2005-10-28 2007-07-12 한국전자통신연구원 성대신호 인식 장치 및 그 방법
KR100962552B1 (ko) * 2010-01-20 2010-06-11 (주)테슬라시스템 촬영된 영상에 음원 정보를 표시하는 카메라 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140059636A (ko) 2012-11-08 2014-05-16 삼성테크윈 주식회사 음성 데이터 감시 시스템 및 방법
KR101470939B1 (ko) * 2013-02-20 2014-12-09 경희대학교 산학협력단 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법

Also Published As

Publication number Publication date
KR101281129B1 (ko) 2013-07-05
KR20110095196A (ko) 2011-08-24

Similar Documents

Publication Publication Date Title
KR20110095113A (ko) 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용 방법
KR100999655B1 (ko) 디지털 비디오 레코더 시스템 및 그것의 운용방법
Lee et al. Portable meeting recorder
JP2002513222A (ja) インテリジェントビデオシステムにおけるマルチメディア分析
CN1922690A (zh) 媒体流从先前变化位置的重放
JP4331217B2 (ja) 映像再生装置および方法
US11706481B2 (en) Media content identification on mobile devices
CN102522102A (zh) 基于事件标识的重播的智能确定
CN105323656A (zh) 成像设备和提供成像信息的方法
JP5917270B2 (ja) 音検出装置及びその制御方法、プログラム
KR102170694B1 (ko) 비디오써머리를 제공하는 영상재생장치 및 영상재생장치에서 비디오써머리를 제공하는 방법
US20140104429A1 (en) Correctional facility access and security apparatus, systems, and methods
Pleva et al. The joint database of audio events and backgrounds for monitoring of urban areas
JP2012058476A (ja) コンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラム
JP2011205599A (ja) 信号処理装置
KR20200005476A (ko) 소급 소리 식별 시스템
JPH11153977A (ja) 広告効果確認システム
US20230125724A1 (en) Computer-implemented method and non-transitory computer-readable medium for generating a thumbnail from a video stream or file, and video surveillance system
JP2004145564A (ja) 映像検索装置
JPH08249343A (ja) 音声情報取得装置及び音声情報取得方法
KR101671276B1 (ko) 교차로 영상기록 시스템
Divakaran et al. A video-browsing-enhanced personal video recorder
TW201322199A (zh) 車輛搜尋系統
Ibrahim et al. Unconventional TV detection using mobile devices
Bolshakov et al. COMPARING OF VIDEO ANALYTICS SOFTWARE

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination