KR20110095196A - 음장표시 디지털 비디오 레코더 시스템 및 그것의 운용 방법 - Google Patents

음장표시 디지털 비디오 레코더 시스템 및 그것의 운용 방법 Download PDF

Info

Publication number
KR20110095196A
KR20110095196A KR1020110013856A KR20110013856A KR20110095196A KR 20110095196 A KR20110095196 A KR 20110095196A KR 1020110013856 A KR1020110013856 A KR 1020110013856A KR 20110013856 A KR20110013856 A KR 20110013856A KR 20110095196 A KR20110095196 A KR 20110095196A
Authority
KR
South Korea
Prior art keywords
sound
information
image
specific
sound field
Prior art date
Application number
KR1020110013856A
Other languages
English (en)
Other versions
KR101281129B1 (ko
Inventor
윤재민
Original Assignee
윤재민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤재민 filed Critical 윤재민
Publication of KR20110095196A publication Critical patent/KR20110095196A/ko
Application granted granted Critical
Publication of KR101281129B1 publication Critical patent/KR101281129B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9202—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H11/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties
    • G01H11/06—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties by electric means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/801—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones

Abstract

본 발명은 음장표시 디지털 비디오 레코더 시스템 및 그것의 운용방법이 개시된다.
본 발명은 영상과 소리, 음장데이터를 입력받아 소리데이터로부터 특정 소리를 인식하는 과정; 특정 소리가 인식되면 특정 소리의 음장으로부터 소리위치를 계산하는 과정, 특정 소리가 발생한 위치로 음장영상입력장치를 추적시키는 과정; 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리가 발생한 소리발생구간정보, 특정 소리의 음장정보, 특정 소리의 음장발생구간정보, 소리발생 위치정보를 실시간 표시 및 데이터베이스에 저장하는 과정; 특정 소리에 대한 영상 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 특정 소리가 발생한 소리발생구간정보를 검색하여 영상구간정보를 찾고, 특정 소리의 음장발생구간정보를 검색하여 특정 소리가 발생한 구간의 음장을 찾으며, 특정 소리가 발생한 구간의 소리발생위치정보를 검색하여 소리발생위치 및 소리발생위치로 이동하는 구간의 위치정보를 찾아 특정 소리의 발생시점부터 특정 소리가 발생한 위치로 음장영상입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리의 음장정보, 소리발생 위치정보를 재생하는 과정을 포함한다.

Description

음장표시 디지털 비디오 레코더 시스템 및 그것의 운용 방법{DIGITAL VIDEO RECORDER SYSTEM DISPLAYING SOUND FIELDS AND APPLICATION METHOD THEREOF}
본 발명은 음장표시 디지털 비디오 레코더 시스템 및 그것의 운용방법에 관한 것으로, 더욱 상세하게는 특정 소리가 발생한 위치를 마이크 어레이를 통해 계산하여 음장으로 표시하고, 소리영상음장입력장치를 이동시켜 특정 소리가 발생한 위치를 연속 추적하여 특정 소리의 발생시점부터 특정 소리가 발생한 위치로 소리영상음장입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리가 발생한 소리발생 구간정보, 특정 소리의 음장정보, 특정 소리의 음장발생 구간정보, 소리발생 위치정보를 실시간 표시 및 저장하며, 특정 소리에 대한 영상 검색의 요구 조건에 따라 특정 소리의 발생시점부터 특정 소리가 발생한 위치로 소리영상음장입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리의 음장정보, 소리발생 위치정보를 검색 및 재생하도록 하는 음장표시 디지털 비디오 레코더 시스템 및 그것의 운용방법에 관한 것이다.
일반적으로, 디지털 비디오 레코더(Digital Video Recorder, 이하 ‘DVR’ 이라 한다.) 시스템은 영상을 비디오 테이프가 아닌 하드 디스크 기반의 디지털 저장장치에 기록할 수 있는 장비를 의미하며, PVR(Personal Video Recorder)시스템 이라고도 한다.
DVR시스템은 적어도 하나 이상의 감시용 카메라로부터 아날로그 신호로 입력되는 영상 데이터를 디지털 신호로 전환한 다음 동화상국제압축표준인 MPEG(Moving Picture Experts Group)나 H.263, H.264 등으로 영상을 압축하여 저장하고, 필요에 따라 저장된 압축 영상을 복원 및 재생하여 볼 수 있도록 하는 고해상도의 녹화 시스템이다.
기술의 개발에 따라 고선명 비디오 레코더(HDV Recorder) 시스템은 물론, 얼굴을 인식할 수 있는 기기까지 개발이 진행되었으며, 얼굴을 인식할 수 있는 기기는 실시간 모니터링되는 영상과 특정 인물의 얼굴을 데이터베이스로 이용하여 확인 및 비교할 수 있어서 경찰서, 공항 등에서 보안용으로 많이 사용된다.
또한, DVR시스템의 영상처리에 있어서도 다양한 형태의 동작 인식 알고리즘이 적용되어 움직임이 발생한 동영상 구간만 저장하는 DVR시스템이 상용화되었다.
그러나, 영상뿐만 아니라 소리 정보도 매우 중요하며, 특히 자동차의 접촉 사고가 많은 주차장, 교통사고가 많은 도로 구간 등에서 특정 사고의 소리가 발생한 영상 위치를 검색해서 볼 수 있다면 기존 영상 검색에서 놓친 많은 정보를 보다 정밀하게 관찰 및 분석할 수 있는 효과가 있다.
그러나, 소리 분석 및 기술의 미비로 기존 DVR시스템은 영상 정보를 전구간 또는 움직임이 발생한 구간에 대하여 일자별, 시간별로 저장함으로써 특정 소리가 발생한 구간만을 한정하여 검색할 수 없었으며, 소리라는 중요한 요소를 간과한 상태에서 영상처리 기술개발에만 매달려 왔다.
따라서, 종래의 DVR시스템은 저장된 영상 데이터에서 특정 구간의 영상을 검색 및 분석하기 위해서는 저장된 전체의 영상을 시간 순으로 모두 복원하여 재생하여야 하는 번거로운 문제점이 발생한다.
특히, 영상을 소리 종류별로 분류해서 특정 소리가 발생한 영상 및 음장구간을 저장하거나 특정 소리가 발생한 영상구간정보, 음장발생구간정보를 저장하고, 특정 소리가 발생하여 추적한 영상에 대하여 자유롭게 재생할 수 있는 장치가 제공되지 않아 녹화된 전체의 영상을 모두 재생하여 일일이 검색하여야 하는 번거로운 문제점이 발생한다.
본 발명은 상기한 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 마이크 어레이와 카메라를 통해서 소리와 영상 데이터를 입력받고, 마이크를 통해서 감지된 소리를 소리종류별로 구분하며, 마이크 어레이를 통해서 입력된 소리의 음장과 소리가 발생한 위치를 계산하여, 소리영상음장입력장치를 이동시켜 소리가 발생한 위치를 연속적으로 추적시키며, 특정 소리의 발생시부터 특정 소리가 발생한 위치로 소리영상음장입력장치를 추적시키는 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리가 발생한 소리발생 구간정보, 특정 소리의 음장정보, 특정 소리의 음장발생 구간정보, 소리발생 위치정보를 실시간 표시 및 저장할 수 있도록 하는 음장표시 디지털 비디오 레코더 시스템 및 운영방법을 제공하기 위한 것이다.
또한, 본 발명의 목적은 저장된 특정 소리에 대한 영상 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 특정 소리가 발생한 소리발생 구간정보를 검색하여 영상구간정보를 찾고, 특정 소리의 음장발생 구간정보를 검색하여 특정 소리가 발생한 구간의 음장을 찾으며, 특정 소리가 발생한 구간의 소리발생 위치정보를 검색하여 소리발생위치 및 소리발생위치로 이동하는 구간의 위치정보를 찾아서 특정 소리 발생시부터 특정 소리가 발생한 위치로 소리영상음장입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리의 음장정보, 소리발생 위치정보를 재생할 수 있도록 하는 음장표시 디지털 비디오 레코더 시스템 및 운영방법을 제공하기 위한 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 특징에 따르면 감시영역의 영상을 입력하는 영상입력장치; 감시영역의 소리를 입력하는 소리입력장치; 감시영역의 음장을 입력하는 음장입력장치; 감시영역의 소리를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 상기 소리에 대한 영상과 음장을 표시 및 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장을 엑세스하여 출력장치에 표시하는 DVR장치; 디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리 및 음장을 출력하는 출력장치를 포함하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템이 제공된다.
본 발명의 다른 특징에 따르면 감시영역의 영상을 촬영하는 영상입력장치; 감시영역의 소리와 음장을 입력하는 소리음장입력장치; 감시영역의 소리를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 상기 소리에 대한 영상과 음장을 표시 및 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장을 엑세스하여 출력장치에 표시하는 DVR장치; 디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리 및 음장을 출력하는 출력장치를 포함하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템이 제공된다.
또한, 본 발명의 다른 특징에 따르면 음장위치를 추적시키기 위해 팬/틸트 전동장치에 일체형으로 결합되며, 감시영역의 영상을 촬영하는 영상입력장치와 감시영역의 소리와 음장을 입력하는 소리음장입력장치로 구성되는 소리영상음장입력장치; 상기 소리영상음장입력장치에서 입력되는 감시영역의 소리를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 특정 소리에 대한 위치를 계산하여 입력장치를 구동시키며, 특정 소리에 대한 영상과 음장, 위치를 표시 및 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장, 위치정보를 엑세스하여 출력장치에 표시하는 DVR장치; 디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리, 음장, 위치정보를 출력하는 출력장치를 포함하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템이 제공된다.
또한, 본 발명의 다른 특징에 따르면 감시영역의 영상을 촬영하는 영상입력장치; 감시영역의 소리와 음장을 입력하는 소리음장입력장치; 상기 영상입력장치와 소리음장입력장치를 하나로 결합하여 회전(팬, 틸트)을 제공하는 팬/틸트 전동장치; 카메라로 아날로그 영상을 입력받아 디지털로 변환하는 영상입력부; 마이크 어레이의 특정 마이크로폰으로부터 아날로그 소리정보를 입력받아 디지털 신호로 변환하고, 마이크 어레이의 모든 마이크로폰으로부터 음장정보를 받아 아날로그 소리정보를 디지털 신호로 변환하는 소리음장입력부; 상기 소리음장입력부에서 특정 마이크로폰으로부터 인가되는 소리 데이터를 분석하여 소리종류를 구분하는 소리 인식부; 일반 녹화 영상과 특정 소리가 발생한 구간의 영상을 관리하는 영상 관리부; 상기 소리인식부에서 특정소리로 인식한 소리에 대한 모든 마이크로폰으로부터 음장정보를 받아 음장 데이터를 분석하고 관리하는 음장 관리부; 음장 관리부에서 입력되는 소리 데이터를 토대로 소리의 위치를 계산하는 위치 인식부; 위치 인식부에서 전달한 소리가 발생한 위치데이터를 토대로 입력장치를 구동시키는 위치구동부; 소리가 발생한 영상 구간 및 음장, 위치정보를 실시간 디스플레이하는 소리영상음장위치표시부; 특정 소리, 특정 소리가 발생한 영상의 소리발생구간정보, 음장발생구간정보를 파일로 관리하여 데이터베이스에 저장시키며, 일반 녹화 영상과 특정 소리별 영상을 구분하여 영상파일로 저장하는 소리영상음장위치파일 저장부; 특정 소리파일, 일반 녹화 영상파일과 특정 소리별 영상파일, 특정 소리별 음장파일, 소리발생구간 정보파일, 음장발생구간 정보파일, 위치정보파일이 저장되는 데이터베이스; 특정 소리가 발생한 영상의 검색 요구에 따라 데이터베이스에 저장된 영상파일을 검색하는 소리영상음장위치 검색부; 사용자 인터페이스가 연결되어 영상 검색기능을 제공하고, 소리영상음장위치 검색부를 통해 검색된 영상파일의 소리발생구간 및 음장발생구간, 위치정보를 출력장치를 통해 재생하는 소리영상음장위치 디스플레이 관리부; 디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리, 음장, 위치정보를 출력하는 출력장치를 포함하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템이 제공된다.
또한, 본 발명의 다른 특징에 따르면 영상과 소리, 음장데이터를 입력받아 소리데이터로부터 특정 소리를 인식하는 과정; 특정 소리가 인식되면 특정 소리의 음장으로부터 소리위치를 계산하는 과정; 특정 소리가 발생한 위치로 소리영상음장입력장치를 추적시키는 과정; 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 소리영상음장입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리가 발생한 소리발생구간정보, 특정 소리의 음장정보, 특정 소리의 음장발생구간정보, 소리발생 위치정보를 실시간 표시 및 데이터베이스에 저장하는 과정; 특정 소리에 대한 영상 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 특정 소리가 발생한 소리발생구간정보를 검색하여 영상구간정보를 찾고, 특정 소리의 음장발생구간정보를 검색하여 특정 소리가 발생한 구간의 음장을 찾으며, 특정 소리가 발생한 구간의 소리발생위치정보를 검색하여 소리발생위치 및 소리발생위치로 이동하는 구간의 위치정보를 찾아 특정 소리의 발생시점부터 특정 소리가 발생한 위치로 소리영상음장입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리의 음장정보, 소리발생 위치정보를 재생하는 과정을 포함하는 음장표시 디지털 비디오 레코더 시스템의 운용방법이 제공된다.
또한, 본 발명의 다른 특징에 따르면 영상과 소리, 음장정보를 입력받아 소리데이터로부터 특정 소리를 인식하는 과정; 특정 소리가 인식되면 특정 소리의 음장으로부터 소리위치를 계산하는 과정; 특정 소리가 발생한 영상, 특정 소리, 특정 소리 종류, 특정 소리가 발생한 소리발생구간정보, 특정 소리의 음장정보, 특정 소리의 음장발생구간정보, 소리발생 위치정보를 표시 및 데이터베이스에 저장하는 과정; 특정 소리에 대한 영상 검색이 요구되면 요구된 조건에 따라 데이터베이스에서 특정소리가 발생한 소리발생구간정보를 검색하여 영상구간정보를 찾고, 특정 소리의 음장발생구간정보를 검색하여 특정 소리가 발생한 구간의 음장을 영상과 소리로 재생하는 과정을 포함하는 음장표시 디지털 비디오 레코더 시스템의 운용방법이 제공된다.
이와 같은 본 발명의 실시예에 따르면 특정 소리를 인식하고 특정 소리가 발생한 위치로 소리영상음장입력장치를 추적시켜 특정 소리의 발생시점부터 특정 소리가 발생한 위치로 소리영상음장입력장치를 추적시킨 구간까지의 영상, 소리, 소리 종류, 음장정보, 위치정보를 실시간적으로 표시 및 저장할 수 있으며, 검색 요구에 따라 특정 소리가 발생한 영상, 소리, 소리 종류, 음장정보, 위치정보를 신속하고 편리하게 검색하여 표시할 수 있어 특정 소리에 대한 영상 분석을 신속하고 신뢰성있게 제공할 수 있다.
또한, 본 발명의 실시예에 따르면 카메라와 마이크 어레이 및 전동장치로 구성되는 소리영상음장입력장치에 의해 특정 소리가 인식되면 특정 소리가 발생한 위치로 소리영상음장입력장치를 추적시킴으로써, 카메라와 마이크 어레이가 동시에 이동되어 연속적인 특정 소리 발생위치 탐지 및 특정소리 발생시점부터 특정 소리가 발생한 위치로 소리영상음장입력장치를 추적시킨 구간까지의 영상, 소리, 소리 종류, 음장정보, 위치정보를 실시간 표시 및 저장하고, 저장된 특정 소리에 대하여 신속한 검색 및 재생을 통해 신뢰성 있는 분석을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면 카메라와 마이크 어레이가 결합된 소리영상음장입력장치에 특정 소리가 인식되면 특정 소리가 발생한 위치를 화면상에 음장으로 실시간으로 표시할 수 있기 특정 소리 발생위치의 손쉬운 파악이 가능하고, 특정 소리에 대한 영상검색에서 특정 소리, 소리종류, 음장정보, 위치정보의 재생을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면 카메라와 마이크 어레이가 결합된 소리영상음장입력장치에 특정 소리를 인식하는 순간, 해당 소리의 위치를 음장으로 표시하고, 소리의 위치를 탐지하기 위해 카메라와 마이크어레이장치를 동시에 회전시킴으로써, 연속적으로 소리발생위치를 추적가능하며, 우천이나 안개시 등 기상상황에 의해 영상으로 탐지가 어려운 상황하에서, 다양한 사고 및 사건에 대한 음향 데이터를 토대로, 해당 사고의 위치와 사고의 강약, 사고유형을 시각적으로 표시하고, 사고 장소를 추적할 수 있다.
또한, 본 발명의 실시예에 따르면 특정 소리(사고)가 발생한 영상을 특정 소리(사고)가 발생한 소리 키워드로 검색해볼 수 있고, 또 해당 소리의 음장을 모니터상의 (X, Y) 평면상에 가시화 함으로써, 사고가 어느 위치에서 발생하였는지 빨리 찾을 수 있으며, 해당 사고의 강약을 시각적으로 도시화함으로써, 관리자의 발 빠른 대처가 가능하다. 특히, 특정 소리의 이동 경로를 녹화하고, 이를 영상으로 재생해서 볼 수 있는 이점을 제공한다.
또한, 본 발명의 실시예에 따르면 소리추적을 위해 카메라, 마이크어레이, 전동장치가 구비되고, 이 마이크어레이 중앙에 카메라를 위치시켜서, 마이크어레이를 이용해서 특정 소리를 인식하고, 이 소리가 발생한 위치에 음장을 표시하여 소리가 발생한 위치를 가시화 시키고, 전동장치로 이 소리발생위치로 카메라를 이동시켜서, 연속적으로 소리 발생위치를 추적할 수 있는 특징이 있다.
또한, 본 발명의 실시예에 따르면 특정 소리가 발생한 영상 및 소리발생위치 음장을 동기화해서, 특정 소리 발생시부터 소리발생위치로 영상음장전동장치 회전시까지의 영상 및 특정 소리, 특정 소리발생위치의 음장, 소리발생 위치정보를 저장하고, 이렇게 저장된 영상, 소리, 음장 및 위치 정보는 DVR상에 검색 및 재생할 수 있다.
도 1은 본 발명의 제1실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 제1실시예에 따른 음장표시 디지털 비디오 레코더 시스템에서 카메라와 마이크 및 마이크 어레이의 상세 구성을 도시한 도면이다.
도 3은 본 발명의 제2실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 구성을 도시한 도면이다.
도 4는 본 발명의 제2실시예에 따른 음장표시 디지털 비디오 레코더 시스템에서 카메라 및 마이크 어레이의 상세 구성을 도시한 도면이다.
도 5은 본 발명의 제3실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 구성을 도시한 도면이다.
도 6는 본 발명의 제3실시예에 따른 음장표시 디지털 비디오 레코더 시스템에서 음장영상입력장치의 상세 구성을 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템에서 소리영상음장 디스플레이 관리부의 상세 구성을 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템에서 음장발생 구간정보를 생성하는 과정을 도시한 도면이다.
도 9은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 제1운용 방법을 개략적으로 도시한 흐름도이다.
도 10은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 제2운용 방법을 개략적으로 도시한 흐름도이다.
도 11은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 제3운용 방법을 개략적으로 도시한 흐름도이다.
도 12는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 소리영상음장 위치파일의 검색 화면을 나타낸 도면이다.
도 13는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 소리영상음장위치파일의 검색 화면의 또 다른 일예를 나타낸 도면이다.
도 14는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 소리영상음장위치파일의 검색 화면의 또 다른 일예를 나타낸 도면이다.
도 15는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 검색 수행 절차를 나타낸 도면이다.
도 16은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 또 다른 구성을 나타낸 도면이다.
도 17는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 소리추적 구역을 도시한 도면이다.
도 18는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 소리추적 방법을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세하게 설명하면 다음과 같다.
본 발명은 여러 가지 상이한 형태로 구현될 수 있으므로, 여기에서 설명하는 실시예에 한정되지 않으며, 도면에서 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략하였다.
도 1은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명은 입력장치(100)와 DVR장치(200) 및 출력장치(300)를 포함한다.
입력장치(100)는 감시영역에 대한 영상과 감시영역에서 발생되는 소리 및 음장 데이터를 검출하여 DVR장치(200)에 입력한다.
상기 입력장치(100)는 영상입력장치(110)와 소리입력장치(120) 및 음장입력장치(120)로 구성될 수 있다.
상기 영상입력장치(110)는 디지털 방식의 카메라 혹은 아날로그 방식의 카메라로 구성될 수 있으며, 설치된 지역에서 임의로 조정된 각도의 감시 영역에 대한 영상을 수집하여 수집된 영상정보를 DVR장치(200)에 입력한다.
소리입력장치(120)는 마이크로 사용될 수 있으며, 설치된 지역에서 발생되는 다양한 형태의 소리를 수집하여 수집된 소리정보를 DVR장치(200)에 입력한다.
상기 소리입력장치(120)는 구조에 따라 다이나믹 마이크, 콘덴서 마이크, 리본 마이크 등이 사용될 수 있고, 지향성에 따라 지향성 마이크, 무지향성 마이크(Nondirectional microphone), 단일 지향성 마이크(Unidirectional microphone), 초지향성 마이크(Super cardioid, Hyper cardioid) 등이 모두 사용될 수 있으므로 이중에서 어느 하나 혹은 하나 이상으로 적용될 수 있다.
상기 소리입력장치(120)는 울림과 하울링을 억제하고 먼 거리에서 발생하는 소리를 안정적으로 수집할 수 있도록 하기 위하여 바람직하게는 지향성 마이크가 사용될 수 있다.
상기 영상입력장치(110)와 소리입력장치(120)는 각각 개별적이나 하나의 쌍 혹은 소리입력장치(120)가 내장된 영상입력장치(110)의 형태로 설치될 수 있으며, 감시 장소에 적어도 하나 이상의 개수로 설치되어 주변에서 발생되는 소리 및 영상을 수집한다.
즉, 마이크가 내장된 카메라의 형태로 설치될 수 있다.
음장입력장치(130)는 2개 이상의 마이크가 사각형, 원형, 나선형, 랜덤형 등으로 일정하게 배열되는 마이크 어레이로 구성되어, 소리의 음장정보를 수집하고 수집된 음장정보를 DVR장치(200)에 입력한다.
음장입력장치(130)는 음장정보의 수집에서 회전(팬/틸트)이 필요없는 환경에서 고정되어 설치된다.
상기 음장입력장치(130)는 마이크 주위의 소리를 흡수하기 위한 흡음부, 2개 이상의 마이크가 등간격으로 배열되는 마이크 어레이로 구성될 수 있으며, 상기 마이크로 입력되는 음향신호를 증폭하고 잡음을 필터링하는 음향처리부가 포함될 수 있다.
일반적으로 음장(Sound Field)은 음파가 존재하는 매질(媒質)의 영역을 말한다. 음장은 소리를 시각화(Visualization)하여 영상으로 표시하는 방법으로는, 음압의 크기를 색상 혹은 명암의 변화로 나타낸다.
이때, 음원의 공간상의 위치(X, Y)는 영상의 공간 좌표로 사상될 수 있으며, 음압이라는 음향 변수가 색상 혹은 명암이라는 시각 변수로 사상된다.
소리를 정확하게 시각화하기 위해서는 음향의 물리적인 현상을 오류 없이 표현할 수 있어야 하며, 음향 변수가 갖는 물리적인 의미를 직관적으로 표현할 수 있어야 한다.
상기 마이크 어레이의 크기는 가로ㅧ세로 사이즈가 100ㅧ100mm ~ 300ㅧ300mm등 다양한 크기를 가질 수 있으며, 마이크로폰 크기, 마이크로폰 사이의 간격 최적화 등을 고려하여 마이크로폰 어레이 가로/세로 길이와 마이크로폰 간격을 수정할 수 있다.
상기 마이크어레이는 마이크 사이의 배열 간격을 임의로 조정할 수 있으며, 마이크로폰 어레이와 PC간의 통신을 위해서 최소한 시리얼통신이 준비되어야 하고, 마이크로폰에 입력되는 신호가 작을 때를 대비해서 증폭하는 부분과 잡음처리하는 부분, 아날로그 신호를 디지털로 변경하는 부분, 디지털 신호를 처리하기 위한 SDK가 구비되어야 한다.
DVR장치(200)는 영상입력장치(110)와 소리입력장치(120)를 통해 입력되는 영상 정보와 소리 정보를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 음장입력장치(130)를 통해 검출되는 음장정보에 따라 특정 소리가 발생한 영상이나 영상구간정보를 저장하며, 특정 소리에 해당하는 음장을 실시간으로 표시 및 저장한다.
상기 DVR장치(200)는 사용자로부터 특정 소리에 대한 영상의 검색이 요구되면 소리발생구간 정보파일과 음장발생구간 정보파일을 이용하여, 해당 소리의 해당 영상만을 엑세스하여 음장과 함께 출력장치(300)에 제공한다.
출력장치(300)는 디스플레이 및 스피커를 포함하며, 상기 DVR장치(200)에 인가되는 특정 소리와 그에 매칭되는 영상과 음장만을 사용자가 시청할 수 있도록 출력하여 준다.
상기 DVR장치(200)는 영상입력부(210), 소리입력부(220), 음장입력부(230), 영상관리부(240), 소리인식부(250), 음장관리부(260), 소리영상음장표시부(270), 소리영상음장 파일저장부(275), 데이터베이스(280), 소리영상음장 검색부(290), 소리영상음장 디스플레이 관리부(295)를 포함한다.
영상입력부(210)와 소리입력부(220)는 DVR장치(200)가 허용하는 채널 한도 내에서 소리 및 영상을 16채널 또는 32채널, 64채널, 124채널 이상까지 영상입력장치(110)와 소리입력장치(120)로부터 영상 정보와 소리정보를 동시에 입력 받을 수 있다.
또는, 별도의 영상(비디오)캡쳐카드와 음향(오디오)캡쳐카드를 이용해서 임의의 개수의 영상입력장치(110)와 소리입력장치(120)로부터 영상 정보와 소리 정보를 별도로 입력 받을 수 있다.
영상입력부(210)와 소리입력부(220)는 각각 입력되는 영상 정보와 소리 정보가 아날로그 신호인 경우 디지털 신호로 변환한다.
음장입력부(230)는 음장입력장치(130)로부터 음장정보를 입력받아 분석을 위해 음장관리부(260)에 제공한다.
영상관리부(240)는 영상입력부(210)에서 제공되는 영상 정보를 분석하여 녹화 및 관리하며, 소리인식부(250)에서 전달된 소리종류와 시간구간정보, 파형정보를 녹화되는 영상에 매칭시켜 화면 상에 표시하고, 영상 파일을 생성하여 영상DB(282)에 저장한다.
상기 영상관리부(240)는 일반적인 영상 녹화와 특정 소리가 발생한 구간의 녹화를 관리하며, 일반적인 영상 녹화에 대하여 동작인식 녹화와 전구간 녹화로 구분하여 관리한다.
소리인식부(250)는 소리입력부(220)에서 디지털 신호로 변환되어 인가되는 소리 데이터를 분석하여 끝점 검출(Endpoint Detection)을 실행하고, 소리인식 알고리즘을 통해 소리종류를 구분하며, 구분된 소리종류가 특정 소리로 인식되면 끝점이 검출된 시점에 해당하는 시간구간 정보, 소리종류, 영상녹화파일명, 소리데이터(파형정보 등) 등을 영상관리부(240) 및 소리영상음장파일저장부(275)로 전달한다.
상기 소리인식부(250)는 소리입력장치(120)를 통해 입력된 소리 정보를 수신하고, 소리 정보에서 특정 소리가 감지된 경우 소리종류와 특정 소리가 발생한 영상의 시간구간정보 혹은 프레임 위치정보를 소리영상음장파일저장부(275)를 거쳐 소리정보DB(484)에 저장한다.
상기 소리인식부(250)의 소리인식 방법은 현재 입력된 소리가 데이터베이스에 저장된 소리분류와 얼마나 유사한지를 DTW(Dynamic Time Warping), HMM(Hidden Marcov Model), ANN(Artificial Neural Network), SVM(Support Vector Machine), Fuzzy 등의 다양한 패턴분류 알고리즘을 이용하여 판별함으로써, 가장 유사한 소리종류를 판단하는 것을 기본으로 한다.
일례로 소리입력장치(120)로부터 입력된 소리는 ZCR(Zero Crossing Rate)과 에너지(Energy)를 이용해서 끝점을 검출하고, LPC(Linear Predictive Coding), MFCC(Mel Frequency Cepstral Coefficients) 방법 등을 이용해서 특징(Feature)을 추출한 뒤에 DTW(Dynamic Time Warping), HMM(Hidden Marcov Model), ANN(Artificial Neural Network), SVM(Support Vector Machine), Fuzzy 등의 패턴 분류 알고리즘을 단독으로 또는 두 개 이상 사용하여 가장 유사한 소리종류를 판단함으로써 소리인식을 수행한다.
또 다른 일례로, 상기 소리인식부(250)는 소리인식 칩을 이용하여 소리 인식기능을 수행할 수 도 있다.
즉, DVR 카드를 이용하는 디지털 비디오 레코더 시스템의 경우 소리인식 칩이 오디오 입력단자가 있는 DVR 카드에 삽입될 수 있고, 오디오 입력단자와 소리 인식칩으로 구성된 소리인식 카드를 만들어서 메인보드에 삽입하는 형태로 제공될 수도 있다.
이때, 소리인식 칩으로부터 소리종류 값을 받아서 해당 소리종류와 그 소리가 발생한 영상 구간 정보를 데이터베이스에 저장함으로써, 특정 소리에 의한 영상 검색 기능을 수행할 수도 있다.
음장관리부(260)는 음장입력부(230)에서 입력되는 음장정보를 분석하여 소리인식부(250)에서 특정소리로 인식한 소리에 대한 음장정보를 분석하고 관리하며, 분석된 음장정보를 소리영상음장파일저장부(275)로 전송하여 저장한다.
또한, 음장관리부(260)는 분석된 음장정보를 소리영상음장표시부(270)를 통해서 실시간으로 표시하거나, 음장 파일을 생성하여 음정DB(283)에 저장하고, 음장발생구간 정보파일을 생성하여 음장정보DB(285)에 저장한다.
상기 음장관리부(260)에서 생성되는 음장 파일에는 소리별 마이크들의 시간에 따른 파형변화, 주파수정보, 음향데이터 및 음압정보 등을 포함하며, 음장발생구간 정보파일에는 소리별 마이크들의 음장발생시간과 음장종료시간 사이를 밀리초 단위의 시간 기준 혹은 프레임 수를 기준으로 구간정보가 포함된다.
소리영상음장표시부(270)는 소리인식부(250)에서 전달된 소리종류와 시간구간정보, 파형정보를 녹화 화면 상에 표시하고, 음장관리부(260)에서 전달된 음장정보를 표시하며, 소리종류, 음장을 영상과 같이 통합하여 실시간 표시한다.
소리영상음장파일저장부(275)는 특정 소리, 특정 소리의 종류, 특정 소리가 발생한 영상의 소리발생구간정보(소리종류, 소리발생시간, 소리종료시간), 음장정보(소리별 마이크들의 시간에 따른 파형 및 음압정보), 음장발생구간정보(소리별 마이크들의 음장발생시간과 음장종료시간)를 저장한다.
특히, 상기 소리발생구간정보(소리발생시간과 소리종료시간), 음장발생구간정보(음장발생시간과 음장종료시간)는 밀리초 단위의 시간 기준 혹은 프레임 수를 기준으로 표시한다.
음장정보파일에는 소리별 마이크들의 시간에 따른 파형변화, 주파수정보, 음향데이터 및 음압정보 등 소리와 관련된 정보를 모두 포함할 수 있으며, 음장발생구간정보파일에는 소리별 마이크들의 음장발생시간과 음장종료시간 사이를 밀리초 단위의 시간 기준 혹은 프레임 수를 기준으로 구간정보를 저장한다.
소리영상음장파일저장부(275)는 특정 소리, 특정 소리가 발생한 영상의 소리발생구간정보, 음장정보, 음장발생구간정보를 소리정보DB(284)에 저장하며, 일반적인 일반 녹화 영상과 특정 소리별 영상을 구분하여 영상파일로 저장하여 검색이 가능하도록 한다.
상기 소리영상음장파일저장부(275)는 일반적인 영상녹화 파일과 소리가 발생한 영상파일은 영상DB(282)에 저장하고, 특정 소리가 발생한 시간구간의 소리파일은 소리DB(281)에 저장하며, 특정 소리에 대한 음장정보는 음장DB(283)에 저장하고, 소리발생구간정보(소리종류별 영상파일의 경로정보, 소리발생 구간정보)는 소리정보DB(284)에 저장하고, 특정 소리종류별 음장발생구간정보는 음장정보 DB(285)에 저장한다.
상기 소리영상음장파일저장부(275)는 전구간 영상저장이 설정된 경우 하나의 영상파일에 각 소리가 발생한 소리발생구간정보, 음장정보, 음장발생구간정보만을 저장하여, 영상파일 하나에 소리파일 여러 개를 저장하거나, 하나의 영상파일과 이 영상파일에서 각 소리가 발생한 소리발생구간정보와 소리에 대한 음장발생구간정보만 보유될 수 있도록 영상파일 하나에 소리발생구간정보파일 하나, 음장정보파일 하나, 음장발생구간 정보파일 하나를 연동해서 저장할 수 있다.
또한, 소리인식이 설정되는 경우 소리 인식된 구간마다 영상파일을 하나씩 생성하여 소리파일 1개당 영상파일 1개를 짝으로 생성하여 저장할 수 있다.
상기 소리영상음장파일저장부(275)는 영상과 소리를 동기화해서 저장할 수도 있으며, 별도의 소리녹화 파일도 저장할 수 있게 하여 영상 재생시 다양한 옵션을 선택할 수 있다.
상기 소리영상음장파일저장부(275)의 저장유형에 따른 재생 기능을 간단하게 정리하면 하기의 표 1과 같이 구분된다.
저장유형 재생방법
전구간영상(또는 일정구간영상)파일,
소리발생구간정보파일, 음장정보파일,
음장발생구간정보파일		 전구간 영상재생(일정구간 영상재생) 및 소리발생구간, 음장발생구간의 영상/음장재생
전구간영상(또는 일정구간영상)/소리/음장동기화파일,
소리발생구간정보파일, 음장정보파일,
음장발생구간정보파일		 전구간 영상 및 소리, 음장재생(일정구간 영상재생), 소리발생구간의 영상 및 소리, 음장재생
전구간영상파일(또는 일정구간영상파일),
소리발생구간의 소리파일,
소리발생구간정보파일, 음장정보파일,
음장발생구간정보파일		 전구간 영상(일정구간 영상) 및 소리,음장 재생, 소리발생구간의 영상 및 소리, 음장 재생
소리발생구간영상파일, 소리발생구간정보파일, 음장정보파일, 음장발생구간정보파일 소리발생구간 및 음장발생구간의 영상, 음장 재생
소리발생구간영상과 소리파일,
소리발생구간정보파일, 음장정보파일,
음장발생구간정보파일		 소리발생구간의 영상 및 소리, 음장 재생
소리발생구간영상/소리/음장동기화파일,
소리발생구간정보파일, 음장정보파일,
음장발생구간정보파일		 소리발생구간의 영상 및 소리, 음장 재생
상기 소리영상음장파일저장부(275)는 영상을 저장할 때, H.263, H264. MPEG4 등 다양한 압축방법을 이용할 수 있고, 소리를 저장할 때, ADPCM(Adaptive Differential Pulse Code Modulation), G.723, G.726 등의 다양한 압축방법을 이용할 수 있다.
상기 데이터베이스는 소리가 발생한 시간구간의 소리파일을 저장하는 소리DB, 일반 영상 녹화파일과 특정 소리별 영상파일을 저장하는 영상DB, 특정 소리별 음장정보를 저장하는 음장DB, 특정 소리종류별 영상파일의 경로정보, 소리발생 구간정보를 저장하는 소리발생구간정보파일을 관리하는 소리정보DB, 특정 소리종류별 음장발생 구간정보를 저장하는 음장발생구간정보파일을 관리하는 음장정보DB로 구성될 수 있다.
소리영상음장검색부(290)는 키워드 검색, 소리종류별 검색, 태그검색을 제공하고, 상기 검색 결과에 해당하는 소리파일과, 상기 소리파일에 의해 소리정보DB(284)에 저장된 영상파일 경로정보와 시간구간정보를 이용하여 특정 소리가 발생한 소리발생 구간정보와 상기 특정 소리가 발생한 영상파일의 경로정보를 가져오고, 음장정보DB(285)에 저장되어 있는 마이크별 시간에 따른 파형 및 음압정보, 마이크별 음장발생구간정보를 가져와서 소리영상디스플레이 관리부(295)로 전달하여 재생하게 한다.
소리영상디스플레이 관리부(295)는 특정 소리가 발생한 영상정보 검색을 위해서 시간검색, 소리종류검색, 키워드 검색, 기간 검색, 구간 검색, 태그검색, 채널검색 기능을 제공하고 상기 소리영상음장검색부를 통해 검색된 영상파일의 소리발생구간영상, 소리, 음장을 출력장치를 통해 재생한다.
또한, 상기 소리영상음장검색부(290)를 통해서 검색된 영상을 사용자가 시청할 수 있도록 인터페이스를 제공하며, 영상의 검색 기능을 제공하여 시간검색 수단을 이용할 경우 날짜별 소리영상파일을 검색할 수 있고, 소리종류검색 수단을 이용할 경우 소리종류, 소리 키워드에 따라 기간 검색을 할 수 있으며, 태그검색을 제공한다.
태그검색은 특정 년, 월, 일에 해당하는 시간, 분, 초를 나타내는 그래프 상에 특정 소리가 발생한 시간, 분, 초를 눈끔 형태로 표시하고, 하단에 소리의 종류를 텍스트로 표시하여 직관적으로 쉽게 영상에 접근할 수 있게 한다.
또한, 소리영상파일을 시청할 때는 영상만 보는 기능, 영상과 소리, 음장을 따로 분리하여 시청하는 기능, 영상과 소리, 음장을 동기화하여 시청하는 기능을 제공한다.
출력장치(300)는 디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리, 음장을 디스플레이장치 및 스피커를 통해서 출력한다.
도 2는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템에서 입력장치의 상세 구성을 도시한 도면이다.
입력장치(100)는 임의의 위치에 소리발생을 인식하는 외부 마이크인 음성입력장치(120)가 장착되고, 음장입력장치(130)를 구성하는 마이크 어레이(133)의 정중앙에 영상입력장치(110)인 카메라가 위치된다.
상기 영상입력장치(110)인 카메라의 주시방향과 마이크 어레이(133)의 주시방향을 동일 직선상에 배치하여 카메라와 마이크 어레이(133)가 고정된 상태로 작동되게 한다.
이때, 마이크 어레이(133)는 마이크로폰이 등간격으로 배열되어 있고, 고정부재(135)를 통해 천장이나 벽 등에 고정하여 사용할 수 있다.
도 3은 본 발명의 제2실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 또 다른 구성을 도시한 도면이다.
도 3에 도시된 바와같이, 제2실시예에 따른 음장표시 디지털 비디오 레코더 시스템은 제1실시예의 구성에서 입력장치가 차별화되고, DVR장치 및 출력장치는 동일하게 구성되므로, 동일한 구성인 DVR장치 및 출력장치에 대한 구체적인 설명은 생략한다.
본 발명의 제2실시예에서 입력장치(100)는 임의의 위치에 설치되는 소리입력장치인 외부 마이크가 제거되고, 마이크 어레이로 구성되는 소리음장입력장치(140)의 중앙 또는 특정 위치의 마이크로폰을 통해서 입력되는 음향정보를 소리인식에 이용하고, 음장정보의 분석에도 이용하게 한 것으로, 적어도 하나 이상의 마이크에 음장 뿐만 아니라 소리의 종류를 분석하도록 하여 시스템을 더욱 간결하게 만든 것이다.
이렇게 함으로써, 소리음장입력부(235)에서는 소리음장입력장치(140)를 구성하는 마이크 어레이의 특정 마이크로 입력되는 소리를 소리인식부(250)로 전달하고, 동시에 마이크 어레이를 통해서 전달되는 모든 소리(음향)를 음장 관리부(260)로 전달하게 된다.
도 4는 본 발명의 제2실시예에 따른 음장표시 디지털 비디오 레코더 시스템에서 입력장치의 상세 구성을 도시한 도면이다.
도 4에 도시된 바와 같이, 도 2의 구성에서 외부 마이크를 제거하고, 마이크어레이(143)의 특정 마이크(마이크로폰)로 하여금 음장 정보와 특정 소리의 입력을 겸하게 함으로써, 별도의 외부 마이크에 필요한 구비 비용을 절감 할 수 있다.
도 5은 본 발명의 제3실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 구성을 도시한 도면이다.
도 5에 도시된 바와같이, 제3실시예에 따른 음장표시 디지털 비디오 레코더 시스템은 제2실시예의 구성에서 입력장치가 차별화되고, DVR장치 및 출력장치는 동일 내지 유사하게 구성되므로, 동일 내지 유사한 구성인 DVR장치 및 출력장치에 대한 구체적인 설명은 생략한다.
본 발명에 따른 제3실시예에서 음장영상입력장치(100b)는 카메라로 구성되는 영상입력장치(110b), 마이크 어레이로 구성되는 소리음장입력장치(120b) 및 팬틸트전동장치(130b)로 구성된다.
마이크 어레이로 구성되는 소리음장입력장치(120b)를 통해서 입력된 소리는 위치인식부(261b)에서 소리의 위치를 계산하여 위치구동부(262b)를 통해서 음장영상입력장치(100b)의 팬틸트전동장치(130b)를 구동시키게 된다.
상기 위치인식부(261b)에서 계산된 소리의 위치정보는 소리영상음장위치표시부(270b)를 통해서 화면상에 표시되고, 소리영상음장위치파일저장부(271b)를 통해서 위치정보DB(286b)에 저장되며, 상기 소리 위치정보는 소리정보DB(284b), 음장정보DB(285b)에도 저장된다.
소리영상음장위치검색부(290b)는 사용자의 검색 조건이 입력되는 경우 특정 소리가 발생한 영상을 소리정보DB(284b)와 영상DB(282b)에서 찾아서 소리, 음장, 위치정보를 동시에 소리영상음장위치 디스플레이 관리부(295b)를 통해서 출력하게 된다.
상기 소리영상음장위치파일 저장부(271b)의 저장유형에 따른 재생 기능을 간단하게 정리하면 하기의 표 2와 같이 구분된다.
저장유형 재생방법
전구간영상(또는 소리추적구간영상)파일,
소리발생구간정보파일, 음장정보파일,
음장발생구간정보파일, 위치정보파일		 전구간영상재생(소리추적구간영상재생) 및 소리발생구간, 음장발생구간의 영상/음장재생, 위치정보표시
전구간영상(또는 소리추적구간영상)/소리/음장 동기화파일,
소리발생구간정보파일, 음장정보파일,
음장발생구간정보파일, 위치정보파일		 전구간영상과 소리, 음장재생(소리추적구간영상), 소리추적구간의 영상과 소리, 음장재생, 위치정보표시
전구간영상파일(또는 일정구간영상파일),
소리발생구간의 소리파일,
소리발생구간정보파일, 음장정보파일,
음장발생구간정보파일, 위치정보파일		 전구간영상(소리추적구간영상)과 소리,
음장재생, 위치정보표시,
소리추적구간의 영상과 소리, 음장재생, 위치정보표시
소리추적구간영상파일, 소리발생구간정보파일, 음장정보파일,
음장발생구간정보파일, 위치정보파일		 소리추적구간 및 소리발생구간, 음장발생구간의 영상, 음장재생, 위치정보표시
소리추적구간영상과 소리파일,
소리발생구간정보파일, 음장정보파일,
음장발생구간정보파일, 위치정보파일		 소리추적구간의 영상과 소리, 음장 재생, 위치정보표시
소리추적구간영상/소리/음장 동기화파일,
소리발생구간정보파일, 음장정보파일,
음장발생구간정보파일, 위치정보파일		 소리추적구간의 영상과 소리, 음장 재생, 위치정보표시
상기 표 2의 소리추적구간의 영상은 특정 소리 발생시부터 특정 소리가 발생한 위치로 음장영상위치구동장치를 이동시킨 구간까지의 영상을 의미한다.
도 6는 본 발명의 제3실시예에 따른 음장표시 디지털 비디오 레코더 시스템에서 입력장치의 상세 구성을 도시한 도면이다.
도 6에 도시된 바와 같이, 입력장치는 소리음장입력장치(120b)를 구성하는 마이크 어레이상의 영상입력장치(110b)인 카메라를 소리가 발생된 위치로 실시간 추적시키는 팬틸트전동장치(130b)가 적용되어, 소리음장입력장치(120b)가 소리를 추적할 수 있도록 한다.
소리위치를 분석방법은 마이크 어레이(120b)를 통해서 입력되는 소리 정보를 FFT알고리즘과 원거리 음향 홀로그래피 알고리즘에 의해 음원의 위치를 추정할 수 있도록 한다.
일반적인 원거리 음향 홀로그래피법의 원리는 광학 홀로그래피법의 이론을 근거로 하여 동일 파동현상을 음파에 적용한 것이다.
즉, 음원이 존재하는 면을 음원면이라고 하고 음원면과 평행하게 측정면을 설정한다. 그리고 측정면상에 무한개의 마이크로폰들이 존재한다고 가정하고 마이크로폰의 간격을 무한히 작게 했을 때의 음압 진폭을 구하고, 재생강도를 구하여, 재생파워가 최대가 되는 위치가 음원의 위치가 된다.
즉, 흡음보드에서 전달된 음향데이터는 FFT 후, 홀로그래피 재생 알고리즘에 의해 재생되어 음원의 위치를 추정하게 된다.
또한, S/N비가 30dB 이상인 실음장에서도 음원의 위치를 추정하는 게 목표이며, 다양한 샘플링 주파수를 지원해야 한다.
더구나, 특정 소리가 인식되면, 16개 이상의 마이크로폰을 통해서 실시간 입력된 음향정보로부터 음원의 위치를 계산하고, 각각의 파형 크기(음압)에 따른 색상정보를 할당해서 파형 크기(음압)가 가장 강한 곳으로부터 약한 곳에 이르기까지 동심원 형태로 음장을 표시한다.
이때, 짧은 계측시간과 고분해능을 지원하며, 16채널 이상의 음향 데이터에서 최대 16kHz까지 샘플링할 수 있고, 샘플링 데이터를 음장정보DB에 저장할 수 있다.
도 5와 도 6에서 설명하는, 음장표시 디지털 비디오 레코더 시스템의 운용방법은, 영상과 소리, 음장데이터를 입력받아 소리데이터로부터 특정 소리를 인식하는 과정; 특정 소리가 인식되면 특정 소리의 음장으로부터 소리위치를 계산하는 과정; 특정 소리가 발생한 위치로 음장영상입력장치를 추적시키는 과정; 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리가 발생한 소리발생구간정보, 특정 소리의 음장정보, 특정 소리의 음장발생구간정보, 소리발생 위치정보를 실시간 표시 및 데이터베이스에 저장하는 과정; 특정 소리에 대한 영상 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 특정 소리가 발생한 소리발생구간정보를 검색하여 영상구간정보를 찾고, 특정 소리의 음장발생구간정보를 검색하여 특정 소리가 발생한 구간의 음장정보를 찾으며, 특정 소리가 발생한 구간의 소리발생위치정보를 검색하여 소리발생위치 및 소리발생위치로 이동하는 구간의 위치정보를 찾아 특정 소리의 발생시점부터 특정 소리가 발생한 위치로 음장영상입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리의 음장정보, 소리발생 위치정보를 재생하는 과정으로 구성되어 있다.
또한, 상기 특정 소리가 발생된 위치로 음장영상입력장치를 추적시킨 후 소정의 시간 동안 특정 소리가 인식되지 않을 경우, 상기 음장영상입력장치를 초기 위치로 복귀시키게 된다.
더구나, 상기 영상 저장시에는 특정 소리가 발생한 영상구간이 아닌, 특정 소리 발생시부터 특정 소리가 발생한 위치로 음장영상위치구동장치를 이동시킨 구간까지의 영상을 저장하는 특징이 있다.
또한, 상기 영상 검색시에는 특정 소리가 발생한 영상구간이 아닌, 특정 소리 발생시부터 특정 소리가 발생한 위치로 음장영상위치구동장치를 이동시킨 구간까지의 영상파일의 경로정보를 가져와서 재생시키는 특징이 있다.
도 7은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템에서 소리영상음장위치 디스플레이 관리부의 상세 구성을 도시한 도면이다.
소리영상음장위치 디스플레이 관리부(295b)는 소리종류 선택부(295-1)와 키워드 검색부(295-2), 기간 설정부(295-3), 태그 검색부(295-6), 채널 선택부(295-7), 소리별 영상파일 리스트 표시부(295-8) 및 소리별 영상 음장 시청부(295-9)를 포함한다.
상기 소리종류 선택부(295-1)는 사용자가 요구하는 영상 검색이 소리종류 선택을 통해 실행될 수 있도록 하는 기능을 제공한다.
소리종류 선택부(295-1)는 음장표시 디지털 비디오 레코더 시스템의 설치 장소에 따라 수집되는 소리종류가 매우 다양하게 구분되므로, 이들 소리에 대하여 선택이 가능하도록 한다.
예를 들어, 지하주차장이나 도로, 터널 등에 설치되는 경우 경적, 충돌, 미끌림, 유리파손, 긁힘, 두드림, 화재, 폭발, 비명, 누수 등의 소리가 수집되므로, 이들 소리를 구분하여 선택할 수 있도록 하고, 동물원에 설치되는 경우 사자, 호랑이, 고릴라, 침팬지, 오랑우탄, 앵무새, 펭귄 등의 소리가 수집되므로, 이들 소리를 구분하여 선택할 수 있도록 하며, 애견카페에 설치되는 경우 애견의 배고픈 소리, 낮선 사람에게 짖는 소리, 싸우는 소리, 우는 소리 등의 소리가 수집되므로, 이들 소리를 구분하여 선택할 수 있도록 한다.
이를 간단하게 정리하면 하기의 표 3과 같이 구분된다.
지하주차장 동물원 애견까페
경적, 충돌, 미끌림, 유리파손, 긁힘, 두드림, 화재, 폭발, 비명, 누수 등 사자, 호랑이, 고릴라, 침팬지, 펭귄, 앵무새, 오랑우탄 등 배고픈 소리, 낮선 사람에게 짖는 소리, 싸우는 소리, 우는 소리 등
상기 키워드 검색부(295-2)는 특정 영상의 검색이 문자 키워드의 입력을 통해 실행될 수 있도록 하는 기능을 제공한다.
특정 소리발생구간정보는 소리정보DB(284b)에 아래의 표 4와 같은 XML 형식으로 저장되므로, 아래 표 4에서 XML 스크립트(Script)는 소리종류별로 영상파일 정보를 보유하여 소리종류만 알아도 해당 영상파일을 빠르게 검색하는 기능을 제공한다.
영상파일은 아래와 같이 소리 발생시간과 소리 종료시간을 모두 표현 할 수 있으며, 소리가 발생한 영상 구간마다 영상파일을 생성한다.
<FILE_INFO>
<ALARM>
A01_20090123113012123_20090123113016589.avi
</ALARM>
<COLLISION>
A02_20090123113145012_20090123113145625.avi
</COLLISION>
<BRAKE>
A03_20090123114528337_20090123114531050.avi
</BRAKE>
</ FILE_INFO>
또한, 영상파일은 아래의 표 5와 같이 소리 발생시간과 소리 종료시간 사이의 시간을 밀리초 단위로 표현 할 수 있으며, 소리가 발생한 영상 구간마다 영상파일을 생성한다.
<FILE_INFO>
<ALARM>
A01_20090123113012123[4466].avi
</ALARM>
<COLLISION>
A02_20090123113145012[613].avi
</COLLISION>
<BRAKE>
A03_20090123114528337[713].avi
</BRAKE>
</ FILE_INFO>
아래의 표 6는 하나의 영상파일에 다양한 소리정보를 기록한, 소리발생구간정보파일의 예로써, 영상파일이 생성된 날짜와 시간정보가 기록되어 있고, 해당 영상파일에서 나타난 소리와 해당 소리가 발생한 시간정보를 기록하고 있다.
이를 통해, 특정 소리가 상기 영상파일에서 어느 시간 위치에서 발생했는지 알 수 있으며, 그 시간 구간으로 이동하여 영상을 재생시킴으로써, 해당 소리가 발생한 영상을 시청할 수 있게 된다.
< FILE_INFO >
<Movie
name=Car20090131113012000.avi
Date=20090131
Start Time=11:30:12.000 End Time=11:50:22.300
Delay Time=00:20:10.300></Movie>
<SoundCategory>
<ALARM >
2009.01.23.11:30:12.123[4466]
</ALARM >
<COLLISION >
2009.01.23.11:31:45.012[613]
</COLLISION >
<BRAKE >
2009.01.23.11:45:28.337[713]
</BRAKE >
</SoundCategory>
</ FILE_INFO >
기간 설정부(295-3)는 상기 소리종류 선택부(295-1)와 키워드 검색부(295-2)에서 선택되거나 입력된 정보를 특정 기간별로 검색할 수 있는 기능을 제공한다.
상기 기간 설정부(295-3)는 기간 검색부(295-4)와 구간 검색부(295-5)로 구분되며, 기간 검색부(295-4)는 년/월/일의 선택으로 시간별 영상정보를 검색 할 수 있도록 하고, 구간 검색부(295-5)는 특정 구간의 시작과 끝에 해당하는 년/월/일/시를 선택으로 해당 영상을 검색할 수 있도록 한다.
태그 검색부(295-6)는 카메라별로 소리가 발생한 시/분/초를 그래프로 표현하고, '초'를 나타내는 그래프에 소리의 종류를 텍스트 형태로 표시하여 어떤 소리가 해당 초 구간에 발생했는지를 쉽게 검색할 수 있도록 한다.
채널 선택부(295-7)는 소리별 영상을 검색하고자 하는 과정에서 영상을 입력한 카메라를 지정하는 기능을 제공한다.
소리별 영상파일 리스트 표시부(295-8)는 상기와 같이 소리종류 선택부(295-1)와 키워드 검색부(295-2), 기간 설정부(295-3)를 통해서 검색된 정보를 소리종류별, 날짜별로 정렬하여 아래의 표 7와 같이 표시할 수 있으며, 영상이 저장된 년/월/일/시/분/초/밀리초, 소리가 발생한 시간(밀리초 단위), 소리종류를 표시한다.
20091109 01:11:09.023 01:11:09:159 [137, 충돌]
20091109 01:23:12.001 01:23:12:300 [300, 미끌림]
20091109 01:29:45.222 01:29:45:358 [136, 브레이크]
20091109 01:35:29.056 01:35:29:156 [101, 경음]
20091109 01:37:30.183 01:37:30:194 [012, 경음]
20091109 01:37:32.251 01:37:32:350 [100, 과속]
20091109 01:43:02.063 01:43:02:177 [115, 경적]
소리별 영상음장 시청부(2959)는 소리별로 저장된 영상 정보를 표시하는 부분으로써, 특정 소리가 발생한 구간에 대해서 영상을 출력하거나 영상과 소리를 동시에 출력하여 영상과 소리의 시청이 제공되도록 한다.
도 8은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템에서 음장발생구간정보를 생성하는 과정을 도시한 도면이다.
음장발생구간정보는 소리별 마이크들의 음장발생시간과 음장종료시간 사이를 밀리초 단위의 시간 기준 혹은 프레임 수를 기준으로 구간정보를 말하며, 이 정보는 음장발생구간정보파일에 저장한다.
상기 음장발생구간정보에 의해 음장파일에서 소리별 각 마이크들의 시간에 따른 파형데이터 및 음압정보를 토대로, 특정소리가 발생한 음장을 재생할 수 있다.
예를 들어 설명하자면, 상기 영상입력장치(110b)로부터 영상이 입력되는 상태에서 특정 시간 구간에서 경적이나 충돌 혹은 미끌림 등의 특정소리가 발생한 것이 인지되면 해당 소리가 발생한 구간의 영상정보를 저장하고, 소리종류와 소리발생시간 및 소리종료시간을 포함하여 시간 또는 프레임수로 음장정보DB(음장발생구간정보)에 저장하며, 소리음장입력장치(120b)의 각 마이크를 통해서 입력되는 음장발생시간 및 음장종료시간을 포함하여 시간 또는 프레임수로 음장정보DB에 계속해서 기록한다.
특정 소리에 의한 각 마이크들의 시간에 따른 파형데이터, 파형변화, 주파수정보, 음향데이터 및 음압정보는 음장DB(음장파일)에 저장한다.
예를 들어, 음장발생구간정보파일(음장정보DB)를 설명하자면, 2009년 04월 30일 11시 30분 12초 123밀리초에 특정의 소리, 예를 들어 경적 소리의 발생이 감지되면 소리가 발생한 구간의 영상 저장을 시작하고, 2009년 04월 30일 11시 30분 16초 589밀리초에 경적 소리가 종료되는 경우 경적 소리 발생에 따른 영상의 저장을 종료한 다음 소리정보DB를 생성하여 저장한다.
이때, 마이크 어레이를 통해서 입력되는 마이크별 경적소리 시작시간과 종료시간정보도 각각 기록하여 음장발생구간정보 파일(음장정보DB)을 생성한다.
표 8에 음장발생구간정보의 일예를 설명하였다.
<FILE_INFO>
<Movie
name=Car20100430113012000.avi
Date=2009-01-31
Start Time=11:30:12.000
End Time=11:50:22.300
Delay Time=00:20:10.300></Movie>
<SoundCategory>
<ALARM>
2009.04.30.11:30:12.123[4466]
<MIC1>
2009.04.30.11:30:12.123[3500]
</MIC1>
<MIC2>
2009.04.30.11:30:12.256[3430]
</MIC2>
<MIC3>
2009.04.30.11:30:12.312[3322]
</MIC3>
…….
</ALARM>
</SoundCategory>
</ FILE_INFO >
도 9은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 운용 방법을 개략적으로 도시한 흐름도이다.
입력장치(100)로부터 영상과 소리, 음장 정보가 DVR장치(200)에 입력되면, DVR장치(200)는 입력된 소리정보로부터 특정 소리를 인식한다(S101).
상기 S101에서 특정 소리가 인식되면 특정 소리의 음장으로부터 소리위치를 계산하고(S102), 특정 소리가 발생한 위치로 음장영상위치입력장치를 회전시켜 특정 소리를 추적시킨다(S103).
그리고, 특정 소리의 추적에 따라 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 이동시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리의 음장정보, 특정 소리가 발생한 소리발생구간정보, 특정 소리의 음장발생구간정보, 특정 소리의 발생 위치정보를 실시간 표시함과 동시에 데이터베이스에 저장한다(S104)(S105).
이후, 사용자 인터페이스로부터 저장된 특정 소리에 대한 영상 검색이 요구되면 요구된 조건에 따라 데이터베이스에서 특정 소리가 발생한 소리발생구간정보를 검색하여 영상구간정보를 찾고, 해당 특정 소리의 음장발생구간정보를 검색하여, 해당 특정 소리가 발생한 구간의 음장을 찾으며, 해당 특정 소리가 발생한 구간의 소리발생위치정보를 검색하여 소리발생위치 및 소리발생위치로 이동하는 구간의 위치정보를 찾아서 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 이동시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리의 음장정보, 소리발생 위치정보를 출력장치를 통해 재생한다(S106).
도 10은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 제2운용 방법을 개략적으로 도시한 흐름도이다.
음장영상위치입력장치로부터 영상과 소리, 음장정보가 입력되면(S201), 소리 정보를 분석하여 특정 소리가 인식되는지를 판단한다(S202).
상기 S202의 판단에서 특정 소리가 인식되지 않으면 상기 S201의 과정으로 리턴되어 영상과 소리, 음장정보의 입력을 검출하고 소리 정보에서 특정 소리가 인식되면 특정 소리의 음장으로부터 소리위치를 계산하고, 특정 소리가 발생한 위치로 음장영상위치입력장치를 이동시켜 특정 소리를 추적시킨다(S203).
그리고, 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 추적시키는 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리가 발생한 소리발생구간정보, 특정 소리의 음장정보, 특정 소리의 음장발생구간정보, 소리발생 위치정보를 데이터베이스에 저장한다(S204).
상기와 같이 특정 소리가 발생한 위치로 음장영상위치입력장치를 추적시키는 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리가 발생한 소리발생구간정보, 특정 소리의 음장정보, 특정 소리의 음장발생구간정보, 소리발생 위치정보를 데이터베이스에 저장하는 상태에서 특정 소리가 계속 인식되는지 판단한다(S205).
상기 S205의 판단에서 음장영상위치입력장치를 계산된 위치로 이동시킨 후 특정 소리가 인식되지 않으면 저장 동작을 종료한 다음 음장영상위치입력장치를 원래의 위치로 복귀시키고, 영상과 소리 및 음장정보의 입력을 검출하는 초기단계로 리턴한다(S206).
그러나, 음장영상위치입력장치를 계산된 위치로 음장영상위치입력장치를 회전시킨 후 소정의 시간 안에 특정 소리가 인식될 경우, 특정 소리의 음장정보로부터 소리 위치를 계산하고, 특정 소리가 발생한 위치로 음장영상위치입력장치를 회전시켜 특정 소리를 추적시킨다(S207).
그리고, 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리가 발생한 소리발생구간정보, 특정 소리의 음장정보, 특정 소리의 음장발생구간정보, 소리발생 위치정보를 데이터베이스에 저장한다(S208).
또한, 사용자 인터페이스로부터 데이터베이스에 저장된 특정 소리에 대한 영상검색이 요구되면 검출된 요구 조건에 따라 데이터베이스에서 소리발생구간정보를 검색하여 영상구간정보를 찾고, 해당 특정 소리의 음장발생구간정보와 위치정보를 검색하여 해당 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리의 음장정보, 소리발생 위치정보를 추출하여 출력장치를 통해 재생하여 준다.
도 11은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 또 다른 운용 방법을 개략적으로 도시한 흐름도이다.
음장영상위치입력장치로부터 영상과 소리, 음장정보가 입력되면(S201), 소리 정보를 분석하여 특정 소리를 인식한다(S301).
상기 S301의 과정에서 특정 소리가 인식되면 특정 소리의 음장정보로부터 소리위치를 계산한다(S302).
상기 S303에서 음장정보로부터 특정 소리가 발생한 위치가 계산되면 특정 소리가 발생한 영상, 특정 소리, 특정 소리 종류, 특정 소리의 음장정보, 특정 소리의 소리발생 위치정보를 출력장치에 표시한다(S303).
그리고, 상기 음장정보로부터 계산된 특정 소리가 발생한 위치, 특정 소리가 발생한 영상, 특정 소리, 특정 소리 종류, 특정 소리가 발생한 소리발생구간정보, 특정 소리의 음장정보, 특정 소리의 음장발생구간정보, 소리발생 위치정보를 저장한다(S304).
이후, 사용자 인터페이스로부터 데이터베이스에 저장된 특정 소리에 대한 영상검색이 요구되면 검출된 요구 조건에 따라 데이터베이스에서 특정 소리가 발생한 소리발생구간정보를 검색하여 영상구간정보를 찾고, 해당 특정 소리의 음장발생구간정보를 검색하여 해당 소리가 발생한 구간의 음장을 영상과 소리의 출력장치를 통해 재생하여 준다(S305).
도 12는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 소리영상음장위치파일의 검색 화면을 나타낸 도면이다.
사용자 인터페이스가 연결되는 소리영상음장 디스플레이 관리부의 화면에서 시간 검색이 선택되는 경우 도시된 바와 같이, 소리영상음장위치검색을 선택하는 버튼(A101), 전구간 영상검색을 선택하는 버튼(A102)을 포함하고, 소리영상음장파일에 대하여 시간검색을 선택하는 버튼, 소리영상음장파일에 대하여 소리종류 검색을 선택하는 버튼, 태그검색을 선택하는 버튼이 포함될 수 있다.
상기 메뉴에서 시간검색이 선택된 경우 검색하고자 하는 날짜를 선택하는 버튼(A103), 검색하고자 하는 시간을 선택하는 버튼(A104), 채널을 선택하는 버튼(A106)을 포함하고, 도시되지 않았으나 소리영상음장파일을 선택하는 버튼, 검색된 소리영상파일의 재생을 실행시키는 버튼이 포함될 수 있다.
상기한 버튼은 마우스나 터치패널 및 기타의 방식으로 사용자 인터페이스로 연결되어 버튼의 선택이 실행된다.
상기한 구조를 갖는 소리영상음장 디스플레이 관리부의 화면을 통해 소리영상음장파일을 시간 검색하는 동작은 다음과 같다.
소리영상음장위치검색 버튼(A101)과 시간검색 버튼을 선택하면 검색하고자 하는 날짜를 선택하는 버튼(A103)이 활성화되고, 이에 따라 검색하고자 하는 "년, 월, 일"을 선택하면 시간 선택 버튼(A104)이 활성화되며, 해당 일자에 영상이 저장된 시간의 정보가 활성화된다.
이에 따라 검색하고자 하는 "시간"을 선택하면 선택된 “시간”내에서 발생한 소리영상음장파일정보가 표시된다(A105).
상기한 화면에서 적색으로 활성화된 "시간"의 01[8]에서 01은 1시, [8]은 1시구간 내에 8개의 소리영상파일이 기록되어 있다는 것을 의미한다.
각각의 소리영상파일은 11:09.023 11:09:159[137, 경적]과 같이 표시되고, 이는 11분 09초 23밀리초에서 11분 09초 159밀리초 구간내 137밀리초 기간 동안 “경적”소리가 발생한 파일 정보임을 알 수 있다.
상기의 소리영상파일 리스트 중의 하나를 클릭하면 저장된 충돌, 미끌림, 브레이크, 경음, 경적 등의 특정소리에 대한 영상파일이 재생(A200)되어 디스플레이되고 그에 따른 소리의 파형(A300)이 표시된다.
또한, 사고종류(충돌), 사고거리(전방10m), 소리위치(팬30°틸트 10°), 사고부위 음량 정보(60dB)를 실시간 파악할 수 있다.
도 13는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 소리영상음장위치파일의 검색 화면의 또 다른 일예를 나타낸 도면이다.
상기 메뉴에서 소리종류 검색이 선택된 경우 검색하고자 하는 미리 구비한 소리 종류를 리스트화해서 선택할 수 있는 기능을 제공한다.
소리종류를 직접 입력하고자 할 때에는 키워드 입력에 문자를 입력해서 검색을 수행하게 된다.
도 14는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 소리영상음장위치파일의 검색 화면의 또 다른 일예를 나타낸 도면이다.
상기 메뉴에서 태그검색이 선택된 경우에는 년, 월, 일을 선택하면, 해당 일에 발생한 소리음장위치 영상파일이 시, 분, 초 구간에 시각화되어서 표시되고, 해당 구간을 클릭하면, 그 영상 구간에 해당하는 특정 소리, 특정 소리가 발생한 음장, 위치정보를 영상과 함께 재생할 수 있다.
도 15는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 검색 수행 절차를 나타낸 도면이다.
사용자 인터페이스를 통해 특정 영상에 대한 검색 기능이 실행되면 실행된 검색 기능이 시간 검색인지, 소리종류검색인지, 태그검색인지를 구분한다(S400).
상기 S400의 검색 기능 구분에서 시간 검색이면 특정 영상을 검색하고자 하는 "년, 월, 일"의 선택과(S411), 검색을 원하는 시간 선택을 검출한다(S412).
상기에서 영상 검색을 위한 "년, 월, 일, 시간"의 선택이 검출되면 해당 시간의 소리영상정보를 데이터베이스에서 읽어들어(S413) 소리별 영상 리스트를 표시한다(S414).
이후, 소리별 영상 리스트에서 재생을 위한 특정 영상이 선택되면(S415) 데이터베이스에 저장된 지정된 영상을 읽어들어 영상 및 소리를 출력하여 준다(S416).
또한, 상기 S400의 검색 기능 구분에서 소리종류의 검색이면 소리 종류의 선택 또는 키워드의 입력이 검출되는지 판단한다(S421).
상기 S421에서 소리종류의 선택 또는 키워드의 입력이 검출되면 특정 영상을 검색하고자 하는 "년, 월, 일, 시간"의 선택을 검출한다(S422).
상기에서 영상 검색을 위한 "년, 월, 일, 시간"의 선택이 검출되면 해당 소리가 발생된 소리영상정보를 데이터베이스에서 읽어들어(S423) 해당 소리의 영상 리스트를 표시한다(S424).
이후, 표시되는 소리의 영상 리스트에서 재생을 위한 특정 영상이 선택되면(S425) 데이터베이스에 저장된 지정된 영상을 읽어들어 영상 및 소리를 출력하여 준다(S426).
또한, 상기 S400의 검색 기능 구분에서 태그검색이면 특정 영상을 검색하고자 하는 "년, 월, 일"의 선택과(S431), 검색을 원하는 시간 구간의 선택(S432), 검색을 원하는 분 구간의 선택(S433), 검색을 원하는 초 구간의 선택을 검출한다(S434).
상기에서 영상 검색을 요구하는 "년, 월, 일, 시간, 분 구간, 초 구간"의 선택이 검출되고 태그의 선택이 검출되면(S435), 태그로 선택된 소리영상정보를 데이터베이스에서 읽어들어 영상 및 소리를 출력하여 준다(S436).
도 16은 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 또 다른 구성을 나타낸 도면이다.
소리영상입력장치(100C)에 구성되는 카메라(110C)와 마이크(120C)를 통해서 영상과 소리 정보가 입력되면, 입력되는 영상과 소리 정보의 전구간 영상을 데이터베이스(280C)의 전구간영상DB(284C)에 저장한다.
그리고, 입력되는 소리정보가 소리인식부(250C)에 의해 특정 사고음으로 인식 될 경우 해당 영상과 소리를 동기화(255C)해서 전구간영상DB(284C) 및 소리구간정보DB(283C)에 저장한다.
또한, 입력되는 소리정보를 음장분석부(260C)를 통해 분석한 음장분석결과를 데이터베이스(280C)의 음장데이터DB(282C)에 저장하고, 위치계산부(261C)를 통해 계산한 위치계산 결과를 데이터베이스(280C)의 충돌위치정보DB(281C)에 저장한다.
또한, 소리인식(음향분류)정보, 음장분석정보, 충돌위치정보를 실시간 DVR 유저인터페이스(410)에 전달하여 이를 표시하고, 소리영상입력장치(100C)의 팬/틸트 구동시켜 실시간 음원/음장 추적을 수행한다.
사용자(500)로부터 입력되는 검색 키워드가 사고 검색모듈(430)에 검출되면 사고 검색모듈(430)은 소리구간정보DB(283C)에 저장된 사고 충돌 영상과 음장정보를 동기화해서 차량사고영상재생모듈(440)과 출력장치(300C)를 통해 재생하게 된다.
그리고, 차량충돌위치정보, 음장데이터, 소리구간정보, 전구간 영상정보는 사고검색모듈(430)에 의해 검색되어 유저에게 제공되며, DVR관리모듈(420)은 소리영상입력장치(100C) 및 팬틸트 전동장치(130C)를 관리하여 소리가 발생한 위치로 소리영상입력장치(100C)를 회전시킨다.
도 17는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 소리추적 구역을 도시한 도면이다.
상기 그림은 소리 발생지점에 따라, 회전이 필요한 구역(B구역)과 회전이 필요하지 않은 구역(A구역) 구분할 수 있음을 나타낸다.
즉, 회전할 때는 카메라가 감시하는 구역의 모니터상의 소리발생 위치(X,Y)가 상기 그림처럼 B구역이 있을 때는 회전하고, A구역에 있을 때는 회전하지 않는다.
도 18는 본 발명의 실시예에 따른 음장표시 디지털 비디오 레코더 시스템의 소리추적 방법을 도시한 도면이다.
상기 그림에서처럼, B구역 상의 한점에서 소리가 발생할 때에는, 해당 소리발생위치에 모니터 중심(카메라의 줌심)이 위치하도록 좌우회전(Pan), 상하회전(Tilt) 각도 조절하여 회전하게 된다.
이때, 소리발생위치를 계산하여 도출된 좌표상으로, RS232나 RS422 등의 통신 프로토콜을 이용해서 영상음장전동장치를 회전시킬 수 있다.
이상에서는 본 발명의 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 구성요소의 부가, 변경, 추가, 삭제 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 포함된다고 할 것이다.
100 : 입력장치 200 : DVR장치
300 : 출력장치

Claims (105)

  1. 감시영역의 영상을 입력하는 영상입력장치;
    감시영역의 소리를 입력하는 소리입력장치;
    감시영역의 음장을 입력하는 음장입력장치;
    감시영역의 소리를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 소리에 대한 영상과 음장을 표시 및 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장을 엑세스하여 출력장치에 표시하는 DVR장치;
    디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리 및 음장을 출력하는 출력장치;
    를 포함하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  2. 제 1항에 있어서,
    상기 음장입력장치는 마이크 주위의 소리를 흡수하기 위한 흡음부;
    2개 이상의 마이크로폰이 등간격으로 배열된 마이크 어레이;
    로 구성되는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  3. 제 1항에 있어서,
    상기 음장입력장치는 마이크 주위의 소리를 흡수하기 위한 흡음부;
    2개 이상의 마이크로폰이 등간격으로 배열된 마이크 어레이;
    상기 마이크로폰으로 입력되는 음향신호를 증폭하고 잡음을 필터링하는 음향처리부;
    로 구성되는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  4. 제 1항에 있어서,
    상기 DVR장치는 영상입력장치에서 입력되는 영상을 표시 및 저장하고, 소리입력장치에서 입력되는 소리를 분석하여 특정 소리가 인식될 경우 특정 소리와 음장을 표시하며, 특정 소리가 발생한 구간정보와 음장정보를 저장하고, 검색 요구에 따라 특정 소리가 발생한 영상구간을 소리 및 음장과 같이 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  5. 제 1항에 있어서,
    상기 DVR장치는 영상입력장치와 소리입력장치 및 음장입력장치에서 입력되는 영상과 소리 및 음장을 동기화하여 저장하고, 소리별로 특정 소리가 발생한 구간정보 및 음장정보를 기록하여 검색 요구에 따라 특정된 소리가 발생한 영상구간을 소리 및 음장과 함께 영상으로 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  6. 제1항에 있어서,
    상기 DVR장치는 하나의 영상파일에 발생하는 하나 이상의 특정 소리에 대하여 하나의 영상파일과 하나 이상의 특정소리파일, 소리발생구간 정보파일, 음장발생구간 정보파일을 생성하여 저장하고, 사용자 인터페이스의 검색 요구에 따라 특정 소리가 발생한 영상구간을 소리 및 음장과 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  7. 제1항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정 소리가 발생한 소리발생구간 정보파일, 특정소리가 발생한 음장발생구간 정보파일을 생성하여 저장하고, 사용자 인터페이스의 검색 요구에 따라 특정 소리가 발생한 음장 및 영상구간을 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  8. 제1항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정소리파일, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일을 생성하여 저장하고, 검색 요구에 따라 특정 소리가 발생한 음장 및 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  9. 제1항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정 소리, 특정 소리가 발생한 음장을 동기화하여 저장하고, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일을 생성하여 저장하며, 검색 요구에 따라 특정 소리가 발생한 음장 및 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  10. 제1항에 있어서,
    상기 DVR장치는 카메라로 아날로그 영상을 입력받아 디지털로 변환하는 영상입력부;
    마이크로부터 아날로그 소리 정보를 입력받아 디지털 신호로 변환하는 소리입력부;
    마이크 어레이로부터 아날로그 소리정보를 입력받아 디지털 신호로 변환하는 음장입력부;
    소리입력부에서 인가되는 소리 데이터를 분석하여 소리종류를 구분하는 소리 인식부;
    일반 녹화 영상과 특정 소리가 발생한 구간의 영상을 관리하는 영상관리부;
    소리인식부에서 특정소리로 인식한 소리에 대한 음장 데이터를 분석하고 관리하는 음장관리부;
    소리가 발생한 영상 구간 및 음장을 실시간 디스플레이하는 소리영상음장표시부;
    특정 소리, 특정 소리가 발생한 영상의 소리발생구간정보, 음장발생구간정보를 파일로 관리하여 데이터베이스에 저장시키며, 일반 녹화 영상과 특정 소리별 영상을 구분하여 영상파일로 저장하는 소리영상음장파일 저장부;
    특정 소리파일, 일반 녹화 영상파일과 특정 소리별 영상파일, 특정 소리별 음장파일, 소리발생구간 정보파일, 음장발생구간 정보파일이 저장되는 데이터베이스;
    특정 소리가 발생한 영상의 검색 요구에 따라 소리영상음장파일 저장부를 통해 데이터베이스에 저장된 영상파일을 검색하는 소리영상음장 검색부;
    사용자 인터페이스가 연결되어 영상 검색기능을 제공하고, 소리영상 검색부를 통해 검색된 영상파일의 소리발생구간 및 음장발생구간을 출력장치를 통해 재생하는 소리영상음장 디스플레이 관리부;
    를 포함하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  11. 제10항에 있어서,
    상기 소리인식부는 소리인식 알고리즘을 통해 소리종류를 구분하고, 소리종류가 특정 소리로 인식되면, 특정 소리의 종류와 특정 소리의 시작시간과 종료시간 정보를 영상관리부와 소리영상음장파일저장부에 제공하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  12. 제10항에 있어서,
    상기 소리인식부는 입력된 소리정보와 데이터베이스에 저장된 소리정보의 유사성을 패턴분류 알고리즘으로 판별하여 소리종류를 판단하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  13. 제10항에 있어서,
    상기 소리인식부는 입력된 소리정보에 대하여 ZCR과 에너지를 이용해서 끝점(Endpoint)을 검출(Detection)하고, LPC, MFCC를 적용하여 특징을 추출하며, 패턴분류 알고리즘을 단독 또는 두 개 이상 사용하여 소리종류를 판단하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  14. 제10항에 있어서,
    상기 소리영상음장표시부는 소리 인식부에서 전달된 소리종류와 시간구간정보, 파형정보를 DVR 녹화화면 상에 표시하고, 음장관리부에서 전달된 음장정보를 표시하며, 소리종류, 음장을 영상과 같이 통합하여 실시간 표시하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  15. 제10항에 있어서,
    상기 영상관리부는 소리 인식부에서 전달된 소리종류와 시간구간정보, 파형정보를 DVR 녹화화면 상에 표시하고, 영상을 관리하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  16. 제10항에 있어서,
    상기 소리영상음장파일 저장부는 소리의 종류, 소리발생시간, 소리종료시간, 마이크별 음장발생시간, 음장종료시간, 마이크별 시간에 따른 파형 및 음압정보를 포함하며, 소리발생시간과 소리종료시간, 음장발생시간과 음장종료시간 사이를 밀리초 단위의 시간 기준 혹은 프레임 수를 기준으로 구간정보를 저장하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  17. 제10항에 있어서,
    상기 데이터베이스는
    소리가 발생한 시간구간의 소리파일을 저장하는 소리DB;
    일반 영상 녹화파일과 특정 소리별 영상파일을 저장하는 영상DB;
    특정 소리별 음장정보를 저장하는 음장DB;
    특정 소리종류별 영상파일의 경로정보, 소리발생 구간정보를 저장하는 소리발생구간정보파일을 관리하는 소리정보DB;
    특정 소리종류별 음장발생 구간정보를 저장하는 음장발생구간정보파일을 관리하는 음장정보DB;
    로 구성되는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  18. 제10항에 있어서,
    상기 소리영상음장 검색부는 키워드 검색, 소리종류별 검색, 태그검색이 제공되고, 지정된 검색 요구에 따른 검색 결과의 소리파일과, 상기 소리파일에 의해 소리정보DB에 저장된 영상파일 경로정보와 시간구간정보를 이용하여 특정 소리가 발생한 소리발생 구간정보와 상기 특정 소리가 발생한 영상파일의 경로정보를 가져오고, 음장정보 DB에 저장되어 있는 마이크별 시간에 따른 파형 및 음압정보, 마이크별 음장발생구간정보를 가져와서 소리영상디스플레이 관리부로 전달하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  19. 제10항에 있어서,
    상기 소리영상 디스플레이 관리부는 특정 소리가 발생한 영상정보 검색을 위해서 시간검색, 소리종류검색, 키워드 검색, 기간 검색, 구간 검색, 태그검색, 채널검색 기능을 제공하고 상기 소리영상음장 검색부를 통해 검색된 영상파일의 소리발생구간영상, 소리, 음장을 출력장치를 통해 재생하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  20. 제10항에 있어서,
    상기 소리영상 디스플레이 관리부는 특정 소리가 발생한 구간의 영상 및 음장만을 출력하거나 영상과 소리, 음장을 동시 출력을 제공하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  21. 제18항에 있어서,
    상기 태그검색은 특정 년, 월, 일에 해당하는 시간, 분, 초를 나타내는 그래프 상에 특정 소리가 발생한 시간, 분, 초를 눈끔 형태로 표시하고, 하단에 소리의 종류를 텍스트로 표시하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  22. 감시영역의 영상을 촬영하는 영상입력장치;
    감시영역의 소리와 음장을 입력하는 소리음장입력장치;
    감시영역의 소리를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 상기 소리에 대한 영상과 음장을 표시 및 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장을 엑세스하여 출력장치에 표시하는 DVR장치;
    디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리 및 음장을 출력하는 출력장치;
    를 포함하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  23. 제 22항에 있어서,
    상기 소리음장입력장치에는 마이크 주위의 소리를 흡수하기 위한 흡음부,
    2개 이상의 마이크로폰이 등간격으로 배열된 마이크 어레이로 구성되는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  24. 제 22항에 있어서,
    상기 소리음장입력장치에는 마이크 주위의 소리를 흡수하기 위한 흡음부;
    2개 이상의 마이크로폰이 등간격으로 배열된 마이크 어레이;
    상기 마이크로폰으로 입력되는 음향신호를 증폭하고 잡음을 필터링하는 음향처리부;
    로 구성되는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  25. 제22항에 있어서,
    상기 소리음장입력장치는 상기 마이크 어레이의 중앙 또는 특정 위치의 마이크로폰을 통해서 입력되는 음향데이터를 소리인식과 음장데이터의 분석에 함께 이용하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  26. 제22항에 있어서,
    상기 DVR장치는 영상입력장치에 의해서 입력되는 영상을 표시 및 저장하고, 소리음장입력장치를 통해서 입력되는 소리를 분석하여 특정 소리가 인식될 경우, 특정 소리와 음장을 표시하고, 특정 소리가 발생한 구간정보와 음장정보를 저장하며, 검색 요구에 따라 특정 소리가 발생한 영상구간을 소리 및 음장과 같이 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  27. 제22항에 있어서,
    상기 DVR장치는 영상입력장치에서 입력되는 영상과 소리음장입력장치를 통해서 입력되는 소리, 음장을 동기화해서 저장하고, 소리별로 특정 소리가 발생한 구간정보 및 음장정보를 저장하며, 검색 요구에 따라 특정된 소리가 발생한 영상구간을 소리 및 음장과 함께 영상을 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  28. 제22항에 있어서,
    상기 DVR장치는 하나의 영상파일에 발생하는 하나 이상의 특정 소리에 대하여 하나의 영상파일과 하나 이상의 특정소리파일, 소리발생구간 정보파일, 음장발생구간 정보파일을 생성하여 저장하고, 검색 요구에 따라 특정 소리가 발생한 영상구간을 소리, 음장과 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  29. 제22항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정 소리가 발생한 소리발생구간 정보파일, 특정소리가 발생한 음장발생구간 정보파일을 생성하여 저장하고, 검색 요구에 따라 특정 소리가 발생한 음장 및 영상구간을 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  30. 제22항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정소리파일, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일을 생성하여 저장하고, 검색 요구에 따라 특정 소리가 발생한 음장 및 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  31. 제22항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정 소리, 특정 소리가 발생한 음장을 동기화해서 저장하고, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일을 생성하여 저장하며, 검색 요구에 따라 특정 소리가 발생한 음장 및 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  32. 제22항에 있어서,
    상기 DVR장치는 카메라로 아날로그 영상을 입력받아 디지털로 변환하는 영상입력부;
    마이크 어레이의 특정 마이크로폰으로부터 아날로그 소리정보를 입력받아 디지털 신호로 변환하고, 마이크 어레이의 모든 마이크로폰으로부터 음장정보를 받아 아날로그 소리정보를 디지털 신호로 변환하는 소리음장입력부;
    상기 소리음장입력부에서 특정 마이크로폰으로부터 인가되는 소리 데이터를 분석하여 소리종류를 구분하는 소리 인식부;
    일반 녹화 영상과 특정 소리가 발생한 구간의 영상을 관리하는 영상 관리부;
    상기 소리인식부에서 특정소리로 인식한 소리에 대한 모든 마이크로폰으로부터 음장정보를 받아 음장 데이터를 분석하고 관리하는 음장 관리부;
    소리가 발생한 영상 구간 및 음장을 실시간 디스플레이하는 소리영상음장표시부;
    특정 소리, 특정 소리가 발생한 영상의 소리발생구간정보, 음장발생구간정보를 파일로 관리하여 데이터베이스에 저장시키며, 일반 녹화 영상과 특정 소리별 영상을 구분하여 영상파일로 저장하는 소리영상음장파일 저장부;
    특정 소리파일, 일반 녹화 영상파일과 특정 소리별 영상파일, 특정 소리별 음장파일, 소리발생구간 정보파일, 음장발생구간 정보파일이 저장되는 데이터베이스;
    특정 소리가 발생한 영상의 검색 요구에 따라 소리영상음장파일 저장부를 통해 데이터베이스에 저장된 영상파일을 검색하는 소리영상음장 검색부;
    사용자 인터페이스가 연결되어 영상 검색기능을 제공하고, 소리영상 검색부를 통해 검색된 영상파일의 소리발생구간 및 음장발생구간을 출력장치를 통해 재생하는 소리영상음장 디스플레이 관리부;
    를 포함하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  33. 제32항에 있어서,
    상기 소리인식부는 소리인식 알고리즘을 통해 소리종류를 구분하고, 소리종류가 특정 소리로 인식되면, 특정 소리의 종류와 특정 소리의 시작시간과 종료시간 정보를 영상관리부와 소리영상음장파일저장부에 제공하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  34. 제32항에 있어서,
    상기 소리 인식부는 입력된 소리 데이터와 데이터베이스에 저장된 소리 데이터의 유사성을 패턴분류 알고리즘으로 판별하여 소리종류를 판단하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  35. 제32항에 있어서,
    상기 소리 인식부는 입력된 소리 데이터에 대하여 ZCR과 에너지를 이용해서 끝점을 검출하고, LPC, MFCC를 적용하여 특징을 추출하며, 패턴분류 알고리즘을 단독 또는 두 개 이상 사용하여 소리종류를 판단하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  36. 제32항에 있어서,
    상기 소리영상음장표시부는 소리 인식부에서 전달된 소리종류와 시간구간정보, 파형정보를 DVR 녹화화면 상에 표시하고, 음장관리부에서 전달된 음장정보를 표시하며, 소리종류, 음장을 영상과 같이 통합하여 실시간 표시하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  37. 제32항에 있어서,
    상기 소리영상음장파일 저장부는 소리의 종류, 소리발생시간, 소리종료시간, 마이크별 음장발생시간, 음장종료시간, 마이크별 시간에 따른 파형 및 음압정보를 포함하며, 소리발생시간과 소리종료시간, 음장발생시간과 음장종료시간 사이를 밀리초 단위의 시간 기준 혹은 프레임 수를 기준으로 구간정보를 저장하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  38. 제32항에 있어서,
    상기 데이터베이스는
    소리가 발생한 시간구간의 소리파일을 저장하는 소리DB;
    일반 영상 녹화파일과 특정 소리별 영상파일을 저장하는 영상DB;
    특정 소리별 음장정보를 저장하는 음장DB;
    특정 소리종류별 영상파일의 경로정보, 소리발생 구간정보를 저장하는 소리발생구간정보파일을 관리하는 소리발생구간정보DB;
    특정 소리종류별 음장발생 구간정보를 저장하는 음장발생구간정보파일을 관리하는 음장발생구간정보DB;
    로 구성되는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  39. 제32항에 있어서,
    상기 소리영상음장 검색부는 키워드 검색, 소리종류별 검색, 태그검색을 제공하고, 특정 검색 결과에 해당하는 소리파일과, 소리파일에 의해 소리정보DB에 저장된 영상파일 경로정보와 시간구간정보를 이용하여 특정 소리가 발생한 소리발생 구간정보와 특정 소리가 발생한 영상파일의 경로정보를 가져오고, 음장정보 DB에 저장되어 있는 마이크별 시간에 따른 파형 및 음압정보, 마이크별 음장발생구간정보를 가져와서 소리음장디스플레이 관리부로 전달하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  40. 제32항에 있어서,
    상기 소리영상 디스플레이 관리부는 특정 소리가 발생한 영상정보 검색을 위해서 시간검색, 소리종류검색, 키워드 검색, 기간 검색, 구간 검색, 태그검색, 채널검색 기능을 제공하고, 소리영상음장검색부를 통해 검색된 영상파일의 소리발생구간영상, 소리, 음장을 출력장치를 통해 재생하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  41. 제32항에 있어서,
    상기 소리영상 디스플레이 관리부는 특정 소리가 발생한 구간의 영상 및 음장만을 출력하거나 영상과 소리, 음장을 동시 출력을 제공하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  42. 제39항에 있어서,
    상기 태그검색은 특정 년, 월, 일에 해당하는 시간, 분, 초를 나타내는 그래프 상에 특정 소리가 발생한 시간, 분, 초를 눈끔 형태로 표시하고, 하단에 소리의 종류를 텍스트로 표시하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  43. 소리의 발생위치를 추적시키기 위해 팬/틸트 구동장치에 일체형으로 결합되며, 감시영역의 영상을 촬영하는 영상입력장치와 감시영역의 소리와 음장을 입력하는 소리음장입력장치로 구성되는 입력장치;
    상기 입력장치에서 입력되는 감시영역의 소리를 인식하여 소리를 종류별로 구분하여 표시 및 저장하고, 특정 소리에 대한 위치를 계산하여 음장영상 위치구동장치를 구동시키며, 특정 소리에 대한 영상과 음장, 위치를 표시 및 저장하며, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장, 위치정보를 엑세스하여 출력장치에 표시하는 DVR장치;
    디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리, 음장, 위치정보를 출력하는 출력장치;
    를 포함하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  44. 제 43항에 있어서,
    상기 소리음장입력장치는 마이크 주위의 소리를 흡수하기 위한 흡음부;
    2개 이상의 마이크로폰이 등간격으로 배열된 마이크 어레이;
    로 구성되는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  45. 제 43항에 있어서,
    상기 소리음장입력장치는 마이크 주위의 소리를 흡수하기 위한 흡음부;
    2개 이상의 마이크로폰이 등간격으로 배열된 마이크 어레이;
    상기 마이크로폰으로 입력되는 음향신호를 증폭하고 잡음을 필터링하는 음향처리부;
    로 구성되는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  46. 제 43항에 있어서,
    상기 소리음장입력장치는 상기 마이크 어레이의 중앙 또는 특정 위치의 마이크로폰을 통해서 입력되는 음향정보를 소리인식과 음장데이터 분석에 이용하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  47. 제43항에 있어서,
    상기 DVR장치는 영상입력장치에서 입력되는 영상을 표시 및 저장하고, 소리음장입력장치에서 입력되는 소리를 분석하여 특정 소리가 인식될 경우 특정 소리에 대한 위치를 계산하여 특정 소리와 음장을 표시하고, 특정 위치로 영상입력장치 및 소리음장입력장치를 추적시켜 연속적으로 소리와 음장, 위치를 표시 및 저장하고, 특정 소리에 대한 영상의 검색 요구에 따라 해당 영상과 음장, 위치정보를 엑세스하여 연속적으로 출력장치에 표시하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  48. 제43항에 있어서,
    상기 DVR장치는 영상입력장치와 소리음장입력장치를 통해서 입력되는 영상과 소리, 음장을 동기화해서 저장하고, 소리별로 특정 소리가 발생한 구간정보 및 음장정보, 위치정보를 저장하며, 지정된 검색 요구에 따라 특정된 소리가 발생한 영상구간을 소리, 음장, 위치정보와 함께 영상을 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  49. 제43항에 있어서,
    상기 DVR장치는 하나의 영상파일에 발생하는 하나 이상의 특정 소리에 대하여 하나의 영상파일과 하나 이상의 특정소리파일, 소리발생구간 정보파일, 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 지정된 검색 요구에 따라 특정 소리가 발생한 영상구간을 소리, 음장, 위치정보와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  50. 제43항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정 소리가 발생한 소리발생구간 정보파일, 특정소리가 발생한 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 검색 요구에 따라 특정 소리가 발생한 음장, 위치정보, 영상구간을 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  51. 제43항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정소리파일, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 검색 요구에 따라 특정 소리가 발생한 음장, 위치정보, 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  52. 제43항에 있어서,
    상기 DVR장치는 특정 소리가 발생한 영상과 특정 소리, 특정 소리가 발생한 음장, 특정 소리가 발생한 위치정보를 동기화해서 저장하고, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일, 위치정보파일를 생성하여 저장하며, 검색 요구에 따라 특정 소리가 발생한 음장, 위치정보, 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  53. 제43항에 있어서,
    상기 DVR장치는 카메라로 아날로그 영상을 입력받아 디지털로 변환하는 영상입력부;
    마이크 어레이의 특정 마이크로폰으로부터 아날로그 소리정보를 입력받아 디지털 신호로 변환하고, 마이크 어레이의 모든 마이크로폰으로부터 음장정보를 받아 아날로그 소리정보를 디지털신호로 변환하는 소리음장입력부;
    소리음장입력부에서 특정 마이크로폰으로부터 인가되는 소리 데이터를 분석하여 소리종류를 구분하는 소리 인식부;
    일반 녹화 영상과 특정 소리가 발생한 구간의 영상을 관리하는 영상 관리부;
    소리인식부에서 특정소리로 인식한 소리에 대한 모든 마이크로폰으로부터 음장정보를 받아 음장 데이터를 분석하고 관리하는 음장 관리부;
    음장 관리부에서 입력되는 소리 데이터를 토대로 소리의 위치를 계산하는 위치 인식부;
    위치 인식부에서 전달한 소리가 발생한 위치데이터를 토대로 음장영상위치구동장치를 구동시키는 위치구동부;
    소리가 발생한 영상 구간 및 음장, 위치정보를 실시간 디스플레이하는 소리영상음장위치표시부;
    특정 소리, 특정 소리가 발생한 영상의 소리발생구간정보, 음장발생구간정보를 파일로 관리하여 데이터베이스에 저장시키며, 일반 녹화 영상과 특정 소리별 영상을 구분하여 영상파일로 저장하는 소리영상음장위치파일 저장부;
    특정 소리파일, 일반 녹화 영상파일과 특정 소리별 영상파일, 특정 소리별 음장파일, 소리발생구간 정보파일, 음장발생구간 정보파일, 위치정보파일이 저장되는 데이터베이스;
    특정 소리가 발생한 영상의 검색 요구에 따라 소리영상음장위치파일 저장부를 통해 데이터베이스에 저장된 영상파일을 검색하는 소리영상음장위치 검색부;
    사용자 인터페이스가 연결되어 영상 검색기능을 제공하고, 소리영상음장위치 검색부를 통해 검색된 영상파일의 소리발생구간 및 음장발생구간, 위치정보를 출력장치를 통해 재생하는 소리영상음장위치 디스플레이 관리부;
    를 포함하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  54. 제53항에 있어서,
    상기 소리 인식부는 소리인식 알고리즘을 통해 소리종류를 구분하고, 소리종류가 특정 소리로 인식되면, 상기 소리의 종류와 상기 소리의 시작시간과 종료시간 정보를 영상관리부와 소리영상음장파일저장부에 제공하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  55. 제53항에 있어서,
    상기 소리 인식부는 입력된 소리정보와 데이터베이스에 저장된 소리정보의 유사성을 패턴분류 알고리즘으로 판별하여 소리종류를 판단하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  56. 제53항에 있어서,
    상기 소리 인식부는 입력된 소리 데이터에 대하여 ZCR과 에너지를 이용해서 끝점을 검출하고, LPC, MFCC를 적용하여 특징을 추출하며, 패턴분류 알고리즘을 단독 또는 두 개 이상 사용하여 소리종류를 판단하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  57. 제53항에 있어서,
    상기 소리영상음장위치표시부는 소리 인식부에서 전달된 소리종류와 시간구간정보, 파형정보를 표시하고, 음장관리부에서 전달된 음장정보를 표시하며, 상기 위치인식부에서 계산한 소리위치를 표시하며, 소리종류, 음장을 영상과 함께 위치를 통합하여 실시간 표시하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  58. 제53항에 있어서,
    상기 소리영상음장위치파일 저장부는 소리의 종류, 소리발생시간, 소리종료시간, 마이크별 음장발생시간, 음장종료시간, 마이크별 시간에 따른 파형 및 음압정보를 포함하며, 소리발생시간과 소리종료시간, 음장발생시간과 음장종료시간 사이를 밀리초 단위의 시간 기준 혹은 프레임 수를 기준으로 구간정보를 저장하고, 특정 소리별 음장정보에 의해서 시간에 따른 소리위치정보를 저장하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  59. 제53항에 있어서,
    상기 데이터베이스는
    소리가 발생한 시간구간의 소리파일을 저장하는 소리DB;
    일반 영상 녹화파일과 특정 소리별 영상파일을 저장하는 영상DB;
    특정 소리별 음장정보를 저장하는 음장DB;
    특정 소리종류별 영상파일의 경로정보, 소리발생 구간정보를 저장하는 소리발생구간정보파일을 관리하는 소리정보DB;
    특정 소리종류별 음장발생 구간정보를 저장하는 음장발생구간정보파일을 관리하는 음장정보DB;
    특정 소리별 음장정보에 의해 계산된 시간에 따른 소리위치를 저장하는 위치정보 DB;
    로 구성되는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  60. 제53항에 있어서,
    상기 소리영상음장위치 검색부는 키워드 검색, 소리종류별 검색, 태그검색을 제공하고, 검색 결과에 해당하는 소리파일과 소리파일에 의해 소리정보DB에 저장된 영상파일 경로정보와 시간구간정보를 이용하여 특정 소리가 발생한 소리발생 구간정보와 특정 소리가 발생한 영상파일의 경로정보를 가져오고, 음장정보DB에 저장된 마이크별 시간에 따른 파형 및 음압정보, 마이크별 음장발생구간정보를 가져오고, 위치정보DB에 저장되어 있는 특정 소리별 음장정보에 의해서 위치정보를 가져와서 소리영상음장위치 디스플레이 관리부로 전달하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  61. 제53항에 있어서,
    상기 소리영상음장위치 디스플레이 관리부는 특정 소리가 발생한 영상정보 검색을 위해서 시간검색, 소리종류검색, 키워드 검색, 기간 검색, 구간 검색, 태그검색, 채널검색 기능을 제공하고, 소리영상음장검색부를 통해 검색된 영상파일의 소리발생구간영상, 소리, 음장, 위치정보를 출력장치를 통해 재생하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  62. 제53항에 있어서,
    상기 소리영상음장위치 디스플레이 관리부는 특정 소리가 발생한 구간의 영상 및 음장, 위치만을 출력하거나 영상과 소리, 음장, 위치정보를 동시 출력을 제공하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  63. 제60항에 있어서,
    상기 태그검색은 특정 년, 월, 일에 해당하는 시간, 분, 초를 나타내는 그래프 상에 특정 소리가 발생한 시간, 분, 초를 눈끔 형태로 표시하고, 하단에 소리의 종류를 텍스트로 표시하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  64. 감시영역의 영상을 촬영하는 영상입력장치;
    감시영역의 소리와 음장을 입력하는 소리음장입력장치;
    상기 영상입력장치와 소리음장입력장치를 하나로 결합하여 회전(팬, 틸트)을 제공하는 구동장치;
    카메라로 아날로그 영상을 입력받아 디지털로 변환하는 영상입력부;
    마이크 어레이의 특정 마이크로폰으로부터 아날로그 소리정보를 입력받아 디지털 신호로 변환하고, 마이크 어레이의 모든 마이크로폰으로부터 음장정보를 받아 아날로그 소리정보를 디지털 신호로 변환하는 소리음장입력부;
    상기 소리음장입력부에서 특정 마이크로폰으로부터 인가되는 소리 데이터를 분석하여 소리종류를 구분하는 소리 인식부;
    일반 녹화 영상과 특정 소리가 발생한 구간의 영상을 관리하는 영상 관리부;
    상기 소리인식부에서 특정소리로 인식한 소리에 대한 모든 마이크로폰으로부터 음장정보를 받아 음장 데이터를 분석하고 관리하는 음장 관리부;
    상기 음장 관리부에서 입력되는 소리 데이터를 토대로 소리의 위치를 계산하는 위치 인식부;
    상기 위치 인식부에서 전달한 소리가 발생한 위치데이터를 토대로 음장영상위치구동장치를 구동시키는 위치구동부;
    소리가 발생한 영상 구간 및 음장, 위치정보를 실시간 디스플레이하는 소리영상음장위치표시부;
    특정 소리, 특정 소리가 발생한 영상의 소리발생구간정보, 음장발생구간정보를 파일로 관리하여 데이터베이스에 저장시키며, 일반 녹화 영상과 특정 소리별 영상을 구분하여 영상파일로 저장하는 소리영상음장위치파일 저장부;
    특정 소리파일, 일반 녹화 영상파일과 특정 소리별 영상파일, 특정 소리별 음장파일, 소리발생구간 정보파일, 음장발생구간 정보파일, 위치정보파일이 저장되는 데이터베이스;
    특정 소리가 발생한 영상의 검색 요구에 따라 데이터베이스에 저장된 영상파일을 검색하는 소리영상음장위치 검색부;
    사용자 인터페이스가 연결되어 영상 검색기능을 제공하고, 소리영상음장위치 검색부를 통해 검색된 영상파일의 소리발생구간 및 음장발생구간, 위치정보를 출력장치를 통해 재생하는 소리영상음장위치 디스플레이 관리부;
    디스플레이와 스피커를 포함하여, 상기 DVR장치에서 인가되는 특정 소리에 대한 영상과 소리, 음장, 위치정보를 출력하는 출력장치;
    를 포함하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  65. 제 64항에 있어서,
    상기 소리음장입력장치는 마이크 주위의 소리를 흡수하기 위한 흡음부;
    2개 이상의 마이크로폰이 등간격으로 배열된 마이크 어레이;
    로 구성되는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  66. 제 64항에 있어서,
    상기 소리음장입력장치는 마이크 주위의 소리를 흡수하기 위한 흡음부;
    2개 이상의 마이크로폰이 등간격으로 배열된 마이크 어레이;
    마이크로폰으로 입력되는 음향신호를 증폭하고 잡음을 필터링하는 음향처리부;
    로 구성되는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  67. 제 64항에 있어서,
    상기 소리음장입력장치는 상기 마이크 어레이의 중앙 또는 특정 위치의 마이크로폰을 통해서 입력되는 음향정보를 소리인식과 음장데이터 분석에 이용하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  68. 제 64항에 있어서,
    상기 영상입력장치에서 영상이 입력될 때 소리 인식부에서 해당 영상과 동시에 입력되는 소리를 특정 소리로 인식하면, 영상 관리부는 입력 영상을 특정 소리에 대응한 영상으로 간주하여 소리영상음장위치파일저장부에 저장하고, 음장 관리부는 특정 소리에 대한 음장정보를 분석하여 위치 인식부에 전달하며, 위치 인식부는 특정 소리에 대한 음장정보의 발생 위치를 계산하여 위치 구동부에 전달하고, 위치 구동부는 소리 발생 위치로 구동장치를 구동시키며, 소리영상음장위치표시부는 특정 소리가 발생한 영상, 특정 소리, 특정 소리가 발생한 음장정보, 특정 소리가 발생한 위치정보를 실시간 표시하고, 소리영상음장위치파일저장부는 특정 소리가 발생한 영상, 특정 소리, 특정 소리가 발생한 영상의 소리발생구간정보, 특정 소리가 발생한 영상의 음장발생구간정보, 특정 소리가 발생한 영상의 소리 발생 위치정보를 파일로 관리하여 연속적으로 데이터베이스에 저장시키며, 소리영상음장위치검색부는 특정 소리에 대한 영상 검색 요구에 따라 특정 소리, 특정 소리에 대한 영상 및 음장, 위치정보를 출력장치에 전달하여 표시하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  69. 제64항에 있어서,
    상기 소리영상음장위치파일저장부는 영상입력장치에서 입력되는 영상과 소리음장입력장치에서 입력되는 소리, 음장을 동기화해서 저장하고, 소리별로 특정 소리가 발생한 구간정보, 음장정보, 위치정보를 기록하며, 소리영상음장위치 검색부는 특정 소리에 대한 영상의 검색조건에 따라 데이터베이스에서 특정 소리가 발생한 영상구간의 소리, 음장, 위치정보, 영상을 추출하여 영상음장위치 디스플레이 관리부를 통해 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  70. 제64항에 있어서,
    상기 소리영상음장위치파일저장부는 하나의 영상파일에 발생하는 하나 이상의 특정 소리에 대하여 하나의 영상파일과 하나 이상의 특정소리파일, 소리발생구간 정보파일, 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 소리영상음장위치 검색부는 특정 소리에 대한 영상의 검색을 탐지하며, 소리영상음장위치 디스플레이 관리부는 특정 소리가 발생한 영상구간을 소리, 음장, 위치정보와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  71. 제64항에 있어서,
    상기 소리영상음장위치파일저장부는 특정 소리가 발생한 영상과 특정 소리가 발생한 소리발생구간 정보파일, 특정소리가 발생한 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 소리영상음장위치 검색부는 특정 소리에 대한 영상의 검색을 탐지하며, 소리영상음장위치 디스플레이 관리부는 특정 소리가 발생한 음장, 위치정보, 영상구간을 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  72. 제64항에 있어서,
    상기 소리영상음장위치파일저장부는 특정 소리가 발생한 영상과 특정소리파일, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 소리영상음장위치 검색부는 특정 소리에 대한 영상의 검색을 탐지하며, 소리영상음장위치 디스플레이 관리부는 특정 소리가 발생한 음장, 위치정보, 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  73. 제64항에 있어서,
    상기 소리영상음장위치파일저장부는 특정 소리가 발생한 영상과 특정 소리, 특정 소리가 발생한 음장, 특정 소리가 발생한 위치정보를 동기화해서 저장하고, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일, 위치정보파일를 생성하여 저장하며, 소리영상음장위치 검색부는 특정 소리에 대한 영상의 검색을 탐지하며, 소리영상음장위치 디스플레이 관리부는 특정 소리가 발생한 음장, 위치정보, 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  74. 제64항에 있어서,
    상기 소리 인식부는 소리인식 알고리즘을 통해 소리종류를 구분하고, 소리종류가 특정 소리로 인식되면, 특정 소리의 종류와 특정 소리의 시작시간과 종료시간 정보를 영상관리부와 소리영상음장파일저장부에 제공하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  75. 제64항에 있어서,
    상기 소리 인식부는 입력된 소리 데이터와 데이터베이스에 저장된 소리 데이터의 유사성을 패턴분류 알고리즘으로 판별하여 소리종류를 판단하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  76. 제64항에 있어서,
    상기 소리 인식부는 입력된 소리 데이터에 대하여 ZCR과 에너지를 이용해서 끝점을 검출하고, LPC와 MFCC를 적용하여 특징을 추출하며, 패턴분류 알고리즘을 단독 또는 두 개 이상 사용하여 소리종류를 판단하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  77. 제64항에 있어서,
    상기 소리영상음장위치표시부는 소리 인식부에서 전달된 소리종류와 시간구간정보, 파형정보, 음장관리부에서 전달된 음장정보, 위치인식부에서 계산한 특정 소리위치, 소리종류, 음장을 영상과 같이 위치를 통합하여 실시간 표시하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  78. 제64항에 있어서,
    상기 소리영상음장위치파일 저장부는 소리의 종류, 소리발생시간, 소리종료시간, 마이크별 음장발생시간, 음장종료시간, 마이크별 시간에 따른 파형 및 음압정보를 포함하며, 소리발생시간과 소리종료시간, 음장발생시간과 음장종료시간 사이를 밀리초 단위의 시간 기준 혹은 프레임 수를 기준으로 구간정보를 저장하고, 특정 소리별 음장정보에 의해서 시간에 따른 소리위치정보를 저장하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  79. 제64항에 있어서,
    상기 데이터베이스는
    소리가 발생한 시간구간의 소리파일을 저장하는 소리DB;
    일반 영상 녹화파일과 특정 소리별 영상파일을 저장하는 영상DB;
    특정 소리별 음장정보를 저장하는 음장DB;
    특정 소리종류별 영상파일의 경로정보, 소리발생 구간정보를 저장하는 소리발생구간정보파일을 관리하는 소리정보DB;
    특정 소리종류별 음장발생 구간정보를 저장하는 음장발생구간정보파일을 관리하는 음장정보DB;
    특정 소리별 음장정보의 시간에 따른 소리위치를 저장하는 위치정보 DB;
    로 구성되는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  80. 제64항에 있어서,
    상기 소리영상음장위치 검색부는 키워드 검색, 소리종류별 검색, 태그검색을 제공하고, 검색 결과에 해당하는 소리파일과, 소리파일에 의해 소리정보DB에 저장된 영상파일 경로정보와 시간구간정보를 이용하여 특정 소리가 발생한 소리발생 구간정보와 특정 소리가 발생한 영상파일의 경로정보를 가져오고, 음장정보 DB에 저장되어 있는 마이크별 시간에 따른 파형 및 음압정보, 마이크별 음장발생구간정보를 가져오고, 위치정보DB에 저장되어 있는 특정 소리별 음장정보에 의해서 위치정보를 가져와서 소리영상음장위치 디스플레이 관리부로 전달하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  81. 제64항에 있어서,
    상기 소리영상음장위치 디스플레이 관리부는 특정 소리가 발생한 영상정보 검색을 위해서 시간검색, 소리종류검색, 키워드 검색, 기간 검색, 구간 검색, 태그검색, 채널검색 기능을 제공하고 상기 소리영상음장검색부를 통해 검색된 영상파일의 소리발생구간영상, 소리, 음장, 위치정보를 출력장치를 통해 재생하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  82. 제64항에 있어서,
    상기 소리영상음장위치 디스플레이 관리부는 특정 소리가 발생한 구간의 영상 및 음장, 위치만을 출력하거나 영상과 소리, 음장, 위치정보를 동시 출력을 제공하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  83. 제64항에 있어서,
    상기 태그검색은 특정 년, 월, 일에 해당하는 시간, 분, 초를 나타내는 그래프 상에 특정 소리가 발생한 시간, 분, 초를 눈끔 형태로 표시하고, 하단에 소리의 종류를 텍스트로 표시하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템.
  84. 영상과 소리, 음장데이터를 입력받아 소리데이터로부터 특정 소리를 인식하는 과정;
    특정 소리가 인식되면 특정 소리의 음장으로부터 소리위치를 계산하는 과정;
    특정 소리가 발생한 위치로 음장영상입력장치를 추적시키는 과정;
    특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리가 발생한 소리발생구간정보, 특정 소리의 음장정보, 특정 소리의 음장발생구간정보, 소리발생 위치정보를 실시간 표시 및 데이터베이스에 저장하는 과정;
    특정 소리에 대한 영상 검색이 검출되면 요구된 조건에 따라 데이터베이스에서 특정 소리가 발생한 소리발생구간정보를 검색하여 영상구간정보를 찾고, 특정 소리의 음장발생구간정보를 검색하여 특정 소리가 발생한 구간의 음장정보를 찾으며, 특정 소리가 발생한 구간의 소리발생위치정보를 검색하여 소리발생위치 및 소리발생위치로 이동하는 구간의 위치정보를 찾아 특정 소리의 발생시점부터 특정 소리가 발생한 위치로 음장영상입력장치를 추적시킨 구간까지의 영상, 특정 소리, 특정 소리 종류, 특정 소리의 음장정보, 소리발생 위치정보를 재생하는 과정;
    을 포함하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  85. 제84항에 있어서,
    상기 특정 소리가 발생된 위치로 음장영상입력장치를 추적시킨 후 소정의 시간 동안 특정 소리가 인식되지 않을 경우, 상기 음장영상입력장치를 초기 위치로 복귀시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  86. 제84항에 있어서,
    상기 소리 인식은 소리인식 알고리즘을 이용하여 소리의 종류를 구분하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  87. 제84항에 있어서,
    상기 소리 인식은 입력된 소리 정보와 데이터베이스에 저장된 소리 정보의 유사성을 패턴분류 알고리즘으로 판별하여 소리종류를 판단하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  88. 제84항에 있어서,
    상기 특정 소리의 음장으로부터 소리위치 계산은 음향 홀로 그래픽기법을 이용하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  89. 제84항에 있어서,
    상기 영상검색은 키워드 검색, 소리종류별 검색, 태그검색을 제공하고, 검색 결과에 해당하는 소리파일을 추출하고, 추출된 소리파일에 따라 소리정보DB에 저장된 영상파일 경로정보와 시간구간정보를 이용하여 특정 소리가 발생한 소리발생 구간정보와 특정 소리가 발생한 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 이동시킨 구간까지의 영상파일의 경로정보를 가져오고, 음장정보DB에 저장되어 있는 마이크별 시간에 따른 파형 및 음압정보, 마이크별 음장발생구간정보를 가져오고, 위치정보DB에 저장되어 있는 특정 소리별 음장정보에 따라 위치정보를 가져와서 재생하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  90. 제84항에 있어서,
    상기 특정 소리별 영상, 소리, 음장, 위치정보 저장 및 재생은 영상과 소리, 음장을 동기화해서 저장하고, 소리별로 특정 소리가 발생한 구간정보 및 음장정보, 위치정보를 저장하며, 특정 소리에 대한 영상의 검색이 탐지되면 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 이동시킨 구간까지의 영상구간을 소리, 음장, 위치정보와 함께 영상을 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  91. 제84항에 있어서,
    상기 특정 소리별 영상, 소리, 음장, 위치정보 저장 및 재생은 하나의 영상파일에 발생하는 하나 이상의 특정 소리에 대하여 하나의 영상파일과 하나 이상의 특정소리파일, 소리발생구간 정보파일, 음장정보파일, 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 특정 소리에 대한 영상의 검색이 탐지되면 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 이동시킨 구간까지의 영상구간을 소리, 음장, 위치정보와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  92. 제84항에 있어서,
    상기 특정 소리별 영상, 소리, 음장, 위치정보 저장 및 재생은 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 이동시킨 구간까지의 영상과 특정 소리가 발생한 소리발생구간 정보파일, 특정소리가 발생한 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 특정 소리에 대한 영상의 검색이 탐지되면 특정 소리가 발생한 음장, 위치정보, 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 이동시킨 구간까지의 영상구간을 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  93. 제84항에 있어서,
    상기 특정 소리별 영상, 소리, 음장, 위치정보 저장 및 재생은 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 이동시킨 구간까지의 영상과 특정소리파일, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 특정 소리에 대한 영상의 검색이 탐지되면 특정 소리가 발생한 음장, 위치정보, 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 이동시킨 구간까지의 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  94. 제84항에 있어서,
    상기 특정 소리별 영상, 소리, 음장, 위치정보 저장 및 재생은 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 이동시킨 구간까지의 영상과 특정 소리, 특정 소리가 발생한 음장, 특정 소리가 발생한 위치정보를 동기화해서 저장하고, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일, 위치정보파일를 생성하여 저장하며, 특정 소리에 대한 영상의 검색이 탐지되면 특정 소리가 발생한 음장, 위치정보, 특정 소리가 발생된 시점부터 특정 소리가 발생한 위치로 음장영상위치입력장치를 이동시킨 구간까지의 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  95. 제84항에 있어서,
    상기 소리발생위치에 따라 음장영상위치입력장치의 회전이 필요한 구역과 회전이 필요하지 않은 구역으로 구분할 수 있고, 상기 소리발생위치가 회전이 필요한 구역에 속하면 상기 소리발생위치에 카메라의 중임이 위치하도록 음장영상위치입력장치의 좌우회전과 상하회전 각도를 조절하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  96. 영상과 소리, 음장정보를 입력받아 소리데이터로부터 특정 소리를 인식하는 과정;
    특정 소리가 인식되면 특정 소리의 음장으로부터 소리위치를 계산하는 과정;
    특정 소리가 발생한 영상, 특정 소리, 특정 소리 종류, 특정 소리가 발생한 소리발생구간정보, 특정 소리의 음장정보, 특정 소리의 음장발생구간정보, 소리발생 위치정보를 표시 및 데이터베이스에 저장하는 과정;
    특정 소리에 대한 영상 검색이 요구되면 요구된 조건에 따라 데이터베이스에서 특정소리가 발생한 소리발생구간정보를 검색하여 영상구간정보를 찾고, 특정 소리의 음장발생구간정보를 검색하여 특정 소리가 발생한 구간의 음장을 영상과 소리로 재생하는 과정;
    을 포함하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  97. 제96항에 있어서,
    상기 소리 인식은 소리인식 알고리즘을 이용하여 소리의 종류를 구분하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  98. 제96항에 있어서,
    상기 소리 인식은 소리인식 입력된 소리 데이터와 데이터베이스에 저장된 소리 데이터의 유사성을 패턴분류 알고리즘으로 판별하여 소리종류를 판단하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  99. 제96항에 있어서,
    상기 특정 소리의 음장으로부터 소리위치 계산은 음향 홀로그래픽기법을 이용하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  100. 제96항에 있어서,
    상기 영상검색은 키워드 검색, 소리종류별 검색, 태그검색을 제공하고, 검색 결과에 해당하는 소리파일을 추출하며, 추출된 소리파일에 따라 소리정보DB에 저장된 영상파일 경로정보와 시간구간정보를 이용하여 특정 소리가 발생한 소리발생 구간정보와 특정 소리가 발생한 영상파일의 경로정보를 가져오고, 음장정보DB에 저장되어 있는 마이크별 시간에 따른 파형 및 음압정보, 마이크별 음장발생구간정보를 가져오며, 위치정보DB에 저장되어 있는 특정 소리별 음장정보에 의해서 위치정보를 가져와서 재생하는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  101. 제96항에 있어서,
    상기 특정 소리별 영상, 소리, 음장, 위치정보 저장 및 재생은 영상과 소리, 음장을 동기화해서 저장하고, 소리별로 특정 소리가 발생한 구간정보 및 음장정보, 위치정보를 저장하며, 특정 소리에 대한 영상의 검색이 탐지되면 소리, 음장, 위치정보와 함께 영상을 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  102. 제96항에 있어서,
    상기 특정 소리별 영상, 소리, 음장, 위치정보 저장 및 재생은 하나의 영상파일에 발생하는 하나 이상의 특정 소리에 대하여 하나의 영상파일과 하나 이상의 특정소리파일, 소리발생구간 정보파일, 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 특정 소리에 대한 영상의 검색이 탐지되면 특정 소리가 발생한 영상구간을 소리, 음장, 위치정보와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  103. 제96항에 있어서,
    상기 특정 소리별 영상, 소리, 음장, 위치정보 저장 및 재생은 특정 소리가 발생한 영상과 특정 소리가 발생한 소리발생구간 정보파일, 특정소리가 발생한 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 특정 소리에 대한 영상의 검색이 탐지되면 특정 소리가 발생한 음장, 위치정보, 영상구간을 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  104. 제96항에 있어서,
    상기 특정 소리별 영상, 소리, 음장, 위치정보 저장 및 재생은 특정 소리가 발생한 영상과 특정소리파일, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일, 위치정보파일을 생성하여 저장하고, 특정 소리에 대한 영상의 검색이 탐지되면 특정 소리가 발생한 음장, 위치정보, 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
  105. 제96항에 있어서,
    상기 특정 소리별 영상, 소리, 음장, 위치정보 저장 및 재생은 특정 소리가 발생한 영상과 특정 소리, 특정 소리가 발생한 음장, 특정 소리가 발생한 위치정보를 동기화해서 저장하고, 특정 소리가 발생한 소리발생구간 정보파일, 특정 소리가 발생한 음장발생구간 정보파일, 위치정보파일를 생성하여 저장하며, 특정 소리에 대한 영상의 검색이 탐지되면 특정 소리가 발생한 음장, 위치정보, 영상구간을 소리와 함께 재생시키는 것을 특징으로 하는 음장표시 디지털 비디오 레코더 시스템의 운용방법.
KR1020110013856A 2010-02-16 2011-02-16 음장표시 디지털 비디오 레코더 시스템 및 그것의 운용 방법 KR101281129B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100013939 2010-02-16
KR1020100013939 2010-02-16

Publications (2)

Publication Number Publication Date
KR20110095196A true KR20110095196A (ko) 2011-08-24
KR101281129B1 KR101281129B1 (ko) 2013-07-05

Family

ID=44931010

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020100099550A KR20110095113A (ko) 2010-02-16 2010-10-12 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용 방법
KR1020110013856A KR101281129B1 (ko) 2010-02-16 2011-02-16 음장표시 디지털 비디오 레코더 시스템 및 그것의 운용 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020100099550A KR20110095113A (ko) 2010-02-16 2010-10-12 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용 방법

Country Status (1)

Country Link
KR (2) KR20110095113A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016013740A1 (ko) * 2014-07-22 2016-01-28 한화테크윈 주식회사 멀티 채널 오디오 데이터의 시각화 장치 및 방법
WO2016060296A1 (ko) * 2014-10-15 2016-04-21 엘지전자 주식회사 음향 정보 녹음 장치 및 그 제어 방법
US10204275B2 (en) 2013-09-27 2019-02-12 Hanwha Aerospace Co., Ltd. Image monitoring system and surveillance camera
KR20210088163A (ko) * 2020-01-06 2021-07-14 이상훈 사운드 재구성을 통한 멀티미디어 콘텐츠 생성 방법 및 콘텐츠 관리 서버
KR102574605B1 (ko) * 2022-05-12 2023-09-06 주식회사 삼우에이엔씨 영상 데이터 및 소리 데이터를 활용하여 소리 데이터를 분류하고 그리고 소음도를 측정하는 방법, 장치 및 컴퓨터 프로그램

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101976443B1 (ko) 2012-11-08 2019-05-09 한화테크윈 주식회사 음성 데이터 감시 시스템 및 방법
KR101470939B1 (ko) * 2013-02-20 2014-12-09 경희대학교 산학협력단 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법
KR20200124084A (ko) 2019-04-23 2020-11-02 삼성전자주식회사 음원 추적 장치, 음원 추적 방법, 및 지인 추적 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4166074B2 (ja) * 2002-10-25 2008-10-15 富士ゼロックス株式会社 移動情報管理装置および情報管理システム
KR100738332B1 (ko) * 2005-10-28 2007-07-12 한국전자통신연구원 성대신호 인식 장치 및 그 방법
KR100962552B1 (ko) * 2010-01-20 2010-06-11 (주)테슬라시스템 촬영된 영상에 음원 정보를 표시하는 카메라 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204275B2 (en) 2013-09-27 2019-02-12 Hanwha Aerospace Co., Ltd. Image monitoring system and surveillance camera
WO2016013740A1 (ko) * 2014-07-22 2016-01-28 한화테크윈 주식회사 멀티 채널 오디오 데이터의 시각화 장치 및 방법
WO2016060296A1 (ko) * 2014-10-15 2016-04-21 엘지전자 주식회사 음향 정보 녹음 장치 및 그 제어 방법
US10409547B2 (en) 2014-10-15 2019-09-10 Lg Electronics Inc. Apparatus for recording audio information and method for controlling same
KR20210088163A (ko) * 2020-01-06 2021-07-14 이상훈 사운드 재구성을 통한 멀티미디어 콘텐츠 생성 방법 및 콘텐츠 관리 서버
KR102574605B1 (ko) * 2022-05-12 2023-09-06 주식회사 삼우에이엔씨 영상 데이터 및 소리 데이터를 활용하여 소리 데이터를 분류하고 그리고 소음도를 측정하는 방법, 장치 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR101281129B1 (ko) 2013-07-05
KR20110095113A (ko) 2011-08-24

Similar Documents

Publication Publication Date Title
KR101281129B1 (ko) 음장표시 디지털 비디오 레코더 시스템 및 그것의 운용 방법
US10536681B2 (en) Sound processing system and sound processing method that emphasize sound from position designated in displayed video image
KR100999655B1 (ko) 디지털 비디오 레코더 시스템 및 그것의 운용방법
US20180114445A1 (en) Method of providing sound tracking information, sound tracking apparatus for vehicles, and vehicle having the same
KR100980586B1 (ko) 단일 또는 다중 카메라를 이용한 지능형 영상보안방범 방법 및 그 시스템
JP6887102B2 (ja) 音声処理装置、画像処理装置、マイクアレイシステム、及び音声処理方法
CN104243779A (zh) 指向性控制系统及声音输出控制方法
JP5917270B2 (ja) 音検出装置及びその制御方法、プログラム
CN109547695A (zh) 基于声音分类算法定向捕捉画面的全息视频监控系统及方法
KR20180066509A (ko) 후방 차량의 시각화 정보 제공 장치 및 방법
CN109903530A (zh) 一种声光联动的突发事件监控系统及方法
KR20200020590A (ko) 시각화된 객체에서 특정영역의 소리를 추출하는 감시 카메라 시스템 및 그 동작 방법
WO2015151130A1 (ja) 音声処理装置、音声処理システム、及び音声処理方法
CN115174818B (zh) 基于声音定位的目标跟踪方法、电子设备及可读存储介质
KR101340340B1 (ko) 오디오 콘텐츠 연동 데이터 제공 장치, 그 시스템 및 제공 방법
KR101660306B1 (ko) 휴대용 단말기에서 라이프 로그 생성 방법 및 장치
US10726270B2 (en) Selecting media from mass social monitoring devices
CN113532619A (zh) 管道监测方法、管道监测装置及计算机设备
EP2927885A1 (en) Sound processing apparatus, sound processing system and sound processing method
JP5907487B2 (ja) 情報伝送システム、送信装置、受信装置、情報伝送方法、およびプログラム
EP2938097B1 (en) Sound processing apparatus, sound processing system and sound processing method
JP2007104546A (ja) 安全管理装置
Yoshida et al. Smatable: A system to transform furniture into interface using vibration sensor
CN114071323B (zh) 基于全景播放的tws音响的控制方法及控制装置
Damm et al. A system for audio summarization in acoustic monitoring scenarios

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160721

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170823

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190424

Year of fee payment: 7