KR20080093847A - 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법 - Google Patents
멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20080093847A KR20080093847A KR1020070094693A KR20070094693A KR20080093847A KR 20080093847 A KR20080093847 A KR 20080093847A KR 1020070094693 A KR1020070094693 A KR 1020070094693A KR 20070094693 A KR20070094693 A KR 20070094693A KR 20080093847 A KR20080093847 A KR 20080093847A
- Authority
- KR
- South Korea
- Prior art keywords
- video
- metadata
- information
- video data
- file format
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000007726 management method Methods 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 6
- 238000004880 explosion Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000994 depressogenic effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 206010039740 Screaming Diseases 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
- B60R25/302—Detection related to theft or to other events relevant to anti-theft systems using recording means, e.g. black box
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
- B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
본 발명은 적어도 하나의 카메라로부터 획득되는 멀티비디오를 입력받아 각 비디오 내용을 분석하고 특징을 추출한 정보와 카메라 정보를 함께 메타데이터로 생성하고 이를 멀티비디오 데이터와 함께 통합된 파일로 저장할 수 있는 멀티비디오 및 메타데이터 응용 포맷을 정의하고, 멀티비디오 및 메타데이터 응용 포맷 기반 멀티비디오 및 메타데이터를 저장하고 메타데이터를 이용한 멀티비디오의 내용 기반 검색 및 탐색, 브라우징 기능을 제공함으로써 효율적인 멀티비디오 관리 및 소비를 가능하게 할 뿐만 아니라 이를 감시비디오 환경에 응용할 수 있는 파일 포맷과 시스템, 그리고 자동차에 적용하여 자동차 외부 시청각 비디오 데이터 및 내용분석 메타데이터 정보 및 차량 상태 정보를 통합하여 저장할 수 있는 멀티비디오 통합 파일 포맷 구조 및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법을 제공한다.
멀티비디오, 카메라, 메타데이터, 통합 파일 포맷, 차량
Description
본 발명은 멀티비디오 및 그의 분석 메타데이터를 포함하는 통합 파일 포맷 구조 및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 멀티비디오를 획득하고, 획득된 멀티비디오를 분석하여 내용 정보를 메타데이터로 표현하고 이를 멀티비디오 데이터와 함께 저장하여 감시비디오에 활용하는 멀티비디오 획득, 처리, 관리 및 소비에 관한 것이다.
일반적으로, 멀티비디오(Multi-Video)를 획득하여 이를 저장하고 4채널, 16채널 등 멀티비디오를 분할 화면에 디스플레이 하는 방식이 주류를 이루었다.
이러한 멀티비디오를 저장하고 필요한 부분을 재생하기 위해서는 녹화된 비디오를 재생하여 빨리 가기(Fast Forward, FF) 등의 기능을 통해 원하는 비디오 구 에 접근하여 재생하는 방식이 일반적이며, 비디오 분석은 녹화되는 비디오에 움직이는 물체가 나타날 경우 이를 기록하였다가 관련 비디오 구간을 탐색할 때에 활용하는 방식 등이 있다.
이러한 종래의 기술들은 각기 서로 다른 파일 저장 포맷 및 제한된 콘텐츠 분석 정보로 인해 콘텐츠의 상호호환성이 보장되지 않아 서로 다른 시스템에서 획득된 비디오 데이터에 대해 콘텐츠 변환 또는 관련 시스템을 준비하여 비디오 또는 메타데이터를 재생하여야 하는 어려움이 있었다.
한편, 기존의 비디오 획득 장치를 차량에 이용하는 경우, 안전 운전의 보조적인 수단으로서 전방 또는 후방 카메라를 통해 획득되는 비디오 데이터를 운전석 옆에 설치된 디스플레이 장치로 출력하게 하여 후방 시야를 확보하거나 야간에는 전방 시야를 더욱 명확히 확보하기 위한 장치로 사용하고 있다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 멀티비디오를 획득하고, 획득된 멀티비디오를 분석하여 내용정보를 추출하여 메타데이터로 생성하여 획득된 멀티비디오와 함께 저장하여 감시비디오에 활용하는 멀티비디오 획득, 처리, 관리 및 소비할 수 있도록 한 멀티비디오 통합 파일 포맷 구조 및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법을 제공하는데 있다.
본 발명의 다른 목적은, 차량의 전/후방, 좌/우측, 내부 등 필요한 위치에 하나 이상의 카메라를 설치하고 하나 이상의 카메라로부터 입력되는 비디오 데이터와 이를 분석한 비디오 메타데이터(예컨대, 움직임 물체 검출 및 검출 시각, 움직임 물체 궤적, 물체 컬러/형태, 물체 변화 여부 등), 차량 운행 정보(예컨대, 위치(GPS), 속도, 진행 방향, 가속 페달 누름 정도, 브레이크 페달 누름 정도, 핸들 각도, 경적 누름 여부 및 정도, 차량 실내 온도, 차량 내/외부 소리 등) 등을 하나의 통합 파일 포맷으로 저장하여 저장 감시비디오에 대한 검색, 탐색 및 소비를 용이하게 할 수 있도록 한 멀티비디오 통합 파일 포맷 구조를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법을 제공하는데 있다.
본 발명의 또 다른 목적은, 하나 이상의 카메라로부터 획득된 비디오 데이터를 분석하는 것으로서, 비디오 내의 움직임 물체 검출 및 추적, 움직임 물체의 움직임 궤적, 물체의 위치, 고정된 물체의 위치 변화 정보, 그리고 물체의 컬러 정 보, 윤곽정보 및 텍스쳐 정보, 소리 정보(예컨대, 물체 파손 소리, 소음, 뛰는 소리, 비명, 폭발음, 경적, 싸우는 소리, 음악 소리, 총소리 등) 정보 등을 입력되는 멀티비디오를 분석하여 자동 추출하고, MPEG-7 메타데이터 또는 일반적인 XML 메타데이터로 표현하는 방법을 제공하는데 있다.
본 발명의 또 다른 목적은, 하나 이상의 카메라로부터 획득된 비디오 데이터에 대해 분석된 메타데이터를 로컬 또는 원격 저장 장치에 파일 형태 또는 데이터베이스에 저장하고 해당 메타데이터에 대해 검색하고 검색된 결과를 사용자 인터페이스를 통해 제공하는 방법, 또는 메타데이터를 획득하는 과정에서 설정된 중요 정보를 미리 알림 형태로 사용자 인터페이스를 통해 방법을 제공하는 방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, 적어도 하나의 비디오 데이터 및 관련 생성 메타데이터를 하나의 파일 포맷으로 구성하는 멀티비디오 통합 파일 포맷 구조로서, 파일의 타입 정보를 기록하기 위한 에프타입(ftyp) 박스; 하나 이상의 비디오 데이터 및 시각 정보(예컨대, 각 비디오 데이터 위치, 데이터 크기, 데이터 샘플 크기 및 위치, 획득 카메라 정보 등)를 가지는 메타데이터에 대한 정보를 기록하기 위한 무브(moov) 박스; 적어도 하나의 비디오 데이터 및 해당 메타데이터를 저장하기 위한 엠닷(mdat) 박스; 및 통합 파일 전체의 생성 정보(예컨대, 생성자, 생성 장소, 파일 크기, 생성 일자 등)에 대한 파일 레벨의 메 타데이터를 기록하기 위한 메타(meta) 박스를 포함하는 멀티비디오 통합 파일 포맷 구조를 제공하는 것이다.
여기서, 상기 엠닷(mdat) 박스에서 각 비디오 및 관련 메타데이터는 각각 별도의 파일로 외부에 저장됨이 바람직하다.
바람직하게, 상기 엠닷(mdat) 박스에 저장된 각 비디오 및 메타데이터의 파일 포맷 구조는, ISO/IEC 14496-12 ISO Base Media 파일 포맷이다.
바람직하게, 상기 엠닷(mdat) 박스에 저장된 각 비디오 및 메타데이터의 파일 포맷 구조는, 파일의 타입 정보를 기록하기 위한 에프타입(ftyp) 박스; 비디오 데이터에 대한 정보를 기록하기 위한 무브(moov) 박스; 비디오 데이터를 기록하기 위한 엠닷(mdat) 박스; 및 상기 비디오 데이터의 위치 정보 및 메타데이터를 기록하기 위한 메타(meta) 박스를 포함한다.
바람직하게, 상기 메타(meta) 박스 내에는 비디오 ID, 비디오 이름, 적용 콘텐츠 보호 인덱스, 콘텐츠 타입, 또는 콘텐츠 부호화 또는 비디오 관련 메타데이터 중 적어도 하나의 해당 비디오 데이터에 대한 정보를 기록한다.
바람직하게, 각 비디오 관련 메타데이터는, 각 비디오를 생성하기 위한 비디오 생성 메타데이터; 및 각 비디오를 분석하기 위한 비디오 분석 메타데이터를 포함한다.
바람직하게, 상기 비디오 생성 메타데이터는, 비디오 장비 및 생성 날짜, 비디오 획득 장소에 대한 정보를 기록한 메타데이터이다.
바람직하게, 상기 비디오 생성 메타데이터를 위한 데이터 타입은, 획득 콘텐 츠의 타이틀(Title), 생성자(Creator), 생성 위치 좌표와 날짜(CreationCoordinates), 생성 도구(CreationTool), 및 저작권(CopyrightString)을 포함하는 콘텐츠 타입(ContentType); 그레고리안(Gregorian) 기준을 따라 날짜 및 시각 정보를 나타내는 에이전트(Agent)로 이루어진 생성자 타입(CreatorType); 장소 이름(Name), 지역 이름(Region), 우편 주소(PostalAddress), 및 전자 우편 주소(ElectronicAddress)를 포함하는 장소 타입(PlaceType); 시간 시작점(TimePoint) 및 시간 길이(Duration)를 포함하는 시간 타입(TimeType); 및 비디오 카메라에 대한 정보(Tool), 및 비디오 획득을 위한 카메라 환경 파라미터 구성정보와 설정 값을 나타내는 셋팅(Setting)을 포함하는 생성 툴 타입(CreationToolType), 주석(annotation) 텍스트 중 하나 이상을 포함하는 것으로 이루어진다.
바람직하게, 상기 비디오 분석 메타데이터는, 움직임 객체 검출 및 추적, 객체 컬러 정보, 윤곽 정보, 텍스쳐 정보, 및 소리 정보를 분석하여 그 특징을 추출하고 이를 메타데이터 형태로 표현한 것이다.
바람직하게, 상기 비디오 분석 메타데이터를 위한 데이터 타입은, RGB, YCbCr, HSV 및 HMMD 컬러공간, 각 컬러공간 간 변환 매트릭스(LinearMatrix), 및 흑백 컬러공간(Monochrome)을 포함하는 컬러공간 타입(ColorSpaceType); 컬러공간(ColorSpace), 컬러양자화(ColorQuantization), 컬러 정보의 공간상관계수(SpatialCoherency), 및 우세 컬러 데이터의 비율을 나타내는 값(Value)을 포함하는 우세컬러 타입(DominantColorType); 의미적 정보(Semantic), 미디어 시각(MediaTime), 및 시각 서술자(VisualDescriptor)를 포함하는 비디오 세그먼트 타 입(VideoSegmentType); 비디오 요약 이름(Name), 원 비디오의 식별자 ID(SourceID), 원 비디오의 위치(SourceLocator), 및 원 비디오의 정보(SourceInformation)를 포함하는 요약 타입(SummaryType); 비디오 요약 그룹 이름(Name) 및 비디오 요약을 주요 세그먼트로 표현하는 요약 세그먼트(SummarySegment)를 포함하는 요약 세그먼트 그룹 타입(SummarySegmentGroupType); 비디오 요약 타입(SummaryType), 요약 비디오의 주제 목록(SummaryThemeList), 및 요약 세그먼트 그룹(SummarySegmentGroup)을 포함하는 계층적 요약 타입(HierarchicalSummaryType); 비디오 요약 타입(SummaryType) 및 원 비디오의 시공간적 특성(VisualSummaryComponent)을 포함하는 순차적 요약 타입(SequentialSummaryType); 의미기본타입(SemanticBaseType), 의미묶음타입(SemanticBagType), 의미타입(SemanticType), 객체타입(ObjectType), 에이전트객체타입(AgentObjectType), 이벤트타입(EventType), 개념타입(ConceptType), 의미상태타입(SemanticStateType), 의미장소타입(SemanticPlaceType), 및 의미시각타입(SemanticTimeType)을 포함하는 의미(Semantic); 미디어 시간 시작점(MediaTimePoint), 미디어 상대 시간 시작점(MediaRelTimePoint), 미디어 시간 상대증분 시작점(MediaRelIncrTimePoint), 미디어 시간 길이(MediaDuration), 및 미디어 상대시간 길이(MediaIncrDuration)를 포함하는 미디어 시간(Media Time); 구역위치지정자 타입(RegionLocatorType), 격자구조분할 타입(GridLayoutType), 시공간위치 타입(SpatialTemporalLocatorType), 형상 궤적 표시자 타입(FigureTrajectoryType), 및 파라미터표현 궤적 타입(ParameterTrajectoryType) 을 포함하는 비주얼 서술자(VisualDescriptor); 및 오디오위치지정자 타입(AudioLocatorType), 오디오콘텐츠 타입(AudioContentType), 및 오디오콘텐츠주석 타입(AudioContentAnnotationType)을 포함하는 오디오 서술자(AudioDescriptor) 중 적어도 하나 이상으로 구성된 것을 특징으로 한다.
본 발명의 제2 측면은, 서로 다른 위치에 설치된 복수개의 카메라를 통해 비디오 데이터를 획득하는 비디오 획득부; 상기 획득된 비디오 데이터의 내용을 분석하여 비디오 및 오디오 특징정보를 추출하는 비디오 내용분석부; 상기 추출된 비디오 및 오디오 특징정보를 메타데이터 형태로 생성하는 메타데이터 생성부; 상기 획득된 비디오 데이터 및 상기 생성된 메타데이터를 하나의 통합 파일 포맷으로 생성하는 파일 포맷 생성부; 상기 생성된 통합 파일 포맷을 저장하는 데이터베이스; 및 상기 데이터베이스와 연동되어 사용자가 원하는 비디오를 특정 키워드로 요청하고 해당 비디오를 검색하여 이를 사용자가 용이하게 볼 수 있도록 디스플레이하기 위한 내용 기반 검색수단 포함하는 멀티비디오 관리 시스템을 제공하는 것이다.
여기서, 상기 비디오 획득부로부터 실시간으로 획득된 비디오 데이터를 파싱하여 랜더링을 수행하고 이를 상기 데이터베이스에 저장되도록 전송하는 비디오 렌더링부를 더 포함함이 바람직하다.
바람직하게, 상기 복수개의 카메라는 차량의 내/외측에 탑재될 수 있다.
바람직하게, 상기 비디오 획득부로부터 획득된 비디오 데이터는 MPEG-2 Video, H.26x, VC1, Motion JPEG, MPEG-4 Visual, MPEG-4 Part 10 Advanced Video Coding(또는 H.264), 또는 MPEG-4 Scalable Video Coding 중 적어도 하나의 압축 방식을 사용하여 획득된다.
바람직하게, 상기 데이터베이스는 차량에 물리적으로 탑재된 저장 장치이다.
바람직하게, 상기 데이터베이스는 인터넷을 통해 접속이 가능한 네트워크 상의 저장 장치이다.
바람직하게, 상기 내용 기반 검색수단은, 사용자가 원하는 비디오를 특정 키워드로 요청하고, 상기 요청된 결과를 사용자가 용이하게 볼 수 있도록 디스플레이하기 위한 사용자 인터페이스부; 상기 사용자 인터페이스부로부터 요청된 특정 키워드를 제공받아 해당 사용자의 질의를 처리하여 전송하는 사용자 질의 처리부; 상기 데이터베이스와 연동되어 상기 사용자 질의 처리부로부터 전송된 사용자의 질의를 제공받아 사용자가 원하는 비디오 데이터를 검색하는 내용 기반 검색부; 및 상기 내용 기반 검색부로부터 검색된 비디오 데이터를 제공받아 비디오 목록 및 해당 정보를 파싱 분석하여 상기 사용자 인터페이스부로 전송하는 검색 결과 분석부를 포함한다.
본 발명의 제3 측면은, (a) 적어도 하나의 카메라로부터 비디오 데이터를 획득하는 단계; (b) 상기 획득된 각 비디오 데이터에 대한 내용 기반 특징을 분석하고 이를 메타데이터로 생성하는 단계; 및 (c) 상기 획득된 비디오 데이터와 상기 생성된 메타데이터를 하나의 통합 파일 포맷으로 생성하여 데이터베이스에 저장하는 단계를 포함하는 멀티비디오 관리 방법을 제공하는 것이다.
바람직하게, 상기 단계(b)에서, 상기 생성된 메타데이터는 비디오를 생성하기 위한 비디오 장비 식별자 및 생성 날짜, 비디오 획득 장소, 날씨 조건, 비디오 획득 관련 카메라 파라미터 값, 또는 비디오 저작권 중 적어도 하나의 정보를 포함한다.
바람직하게, 상기 단계(b)에서, 상기 내용 기반 특징은 움직임 객체 검출 및 추적, 객체의 움직임 궤적, 객체의 위치, 고정된 객체의 위치 변화, 객체의 컬러, 윤곽 및 텍스쳐, 또는 소리 정보 중 적어도 하나의 정보를 포함한다.
바람직하게, 상기 단계(c)에서, 상기 통합 파일 포맷의 구조는 적어도 하나의 비디오 데이터 및 메타데이터를 저장하기 위한 파일 구조로서, 엠닷(mdat) 박스 내에 적어도 하나 이상의 독립적인 비디오 데이터 및 메타데이터를 저장한다.
바람직하게, 상기 단계(c)에서, 적어도 하나의 비디오 데이터에 대한 메타데이터는 무브(moov) 레벨 메타(meta) 박스와 트랙(trak) 레벨 메타(meta) 박스 내에 저장하고, 상기 비디오 데이터는 엠닷(mdat) 박스 내에 저장하거나, 실제 저장 위치 포인터를 저장할 수 있다.
바람직하게, 상기 단계(c)에서, 적어도 하나의 비디오 데이터에 대한 메타데이터는 통합 파일 생성 정보(예컨대, 생성 위치, 날짜, 및 주석 정보 등)에 관한 메타데이터는 무브(moov) 레벨 메타(meta) 박스에 저장되고 트랙(trak) 레벨 메타(meta) 박스 내에 저장하고, 상기 비디오 데이터는 엠닷(mdat) 박스 내에 저장하거나, 실제 저장 위치 포인터를 저장할 수 있다.
본 발명의 제4 측면은, (a') 적어도 하나의 카메라로부터 비디오 데이터를 획득하는 단계; (b') 상기 획득된 각 비디오 데이터에 대한 내용 기반 특징을 분석하고 이를 메타데이터로 생성하는 단계; (c') 상기 획득된 비디오 데이터와 상기 생성된 메타데이터를 하나의 통합 파일 포맷으로 저장하는 단계; (d') 사용자의 요청에 의해 상기 저장된 통합 파일 포맷에 대한 검색을 수행하는 단계; 및 (e') 상기 검색 결과에 해당하는 비디오를 사용자가 용이하게 볼 수 있도록 디스플레이 하는 단계를 포함하는 멀티비디오 관리 방법을 제공하는 것이다.
바람직하게, 상기 단계(a')에서, 상기 비디오 데이터는 MPEG-2 Video, H.26x, VC1, Motion JPEG, MPEG-4 Visual, MPEG-4 Part 10 Advanced Video Coding(또는 H.264), 또는 MPEG-4 Part 10 Scalable Extension - Scalable Video Coding 중 적어도 하나의 압축 방식을 사용하여 획득한다.
바람직하게, 상기 단계(b')에서, 상기 비디오 분석 결과를 디스플레이 장치나 스피커로 출력한다.
바람직하게, 상기 단계(b')는 사용자 인터페이스를 통해 감시하고자 하는 구역 및 감시 대상 객체 지정, 감시 추적 경로를 설정하고 해당 대상에 대한 메타데이터를 생성한다.
바람직하게, 상기 단계(c')에서, 상기 통합 파일 포맷은 차량에 탑재된 저장 장치 또는 인터넷을 통해 접속할 수 있는 네트워크 상의 저장 장치에 저장한다.
본 발명의 제5 측면은, (a") 차량의 전/후/좌/우측 방향에 탑재된 카메라를 통해 복수의 비디오 데이터를 획득하는 단계; (b") 상기 획득된 비디오 데이터를 디스플레이 장치를 통해 디스플레이 하는 단계; 및 (c") 상기 획득된 비디오 데이터를 분석하여 차량 접근 또는 훼손의 특징 정보를 분석하고 이를 디스플레이 또는 스피커 장치에 경보하는 단계를 포함하는 멀티비디오 관리 방법을 제공하는 것이다.
본 발명의 제6 측면은, 상술한 멀티비디오 관리 방법을 실행시키기 위한 프로그램을 기록한 기록매체를 제공한다.
본 발명의 제7 측면은, 적어도 하나의 카메라를 차량의 전후방, 좌우측, 내부 또는 원하는 어떤 방향에 설치하고, 멀티 채널로부터 입력되는 비디오를 자동 분석하고 메타데이터를 생성하여 멀티비디오 데이터와 함께 로컬 또는 원격지 저장장치에 저장하며, 또한 멀티 입력 비디오를 차량 내부의 디스플레이 장치에 디스플레이 함으로써 후방 또는 사각 지대에 대한 시야를 확보하기 위한 양상 정보를 제공하며, 비디오 분석을 통해 차량 주변의 물체(예컨대, 사람, 동물, 또는 장애물 등) 존재 여부 검출된 정보를 디스플레이 장치로 알림으로써 안전 운전을 향상할 수 있는 시스템 및 방법을 제공하는 것이다.
이상에서 설명한 바와 같은 본 발명의 멀티비디오 통합 파일 포맷 구조 및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법에 따르면, 하나 이상의 카메라로부터 획득된 비디오 데이터를 분석하는 것으로서, 비디오 내의 움직임 물체 검출 및 추적, 움직임 물체의 움직임 궤적, 물체의 위치, 고정된 물체의 위치 변화 정보, 그리고 물체의 컬러 정보, 윤곽정보 및 텍스처 정보, 소리 정보 등을 입력되는 멀티비디오를 분석하여 자동 추출하고, MPEG-7 메타데이터 또는 일반적인 XML 메타데이터로 표현하고 이를 통합된 파일 포맷으로 저장 및 관리할 수 있는 이점이 있다.
또한, 본 발명에 따르면, 하나 이상의 카메라로부터 획득된 비디오 데이터에 대해 분석된 메타데이터를 로컬 또는 원격 저장 장치에 파일 형태 또는 데이터베이스 시스템에 저장하고 해당 메타데이터에 대해 검색하고 검색된 결과를 사용자 인터페이스를 통해 용이하게 제공할 수 있으며, 메타데이터를 획득하는 과정에서 설정된 중요 정보를 미리 알림 형태로 사용자 인터페이스를 통해 제공할 수 있는 이점이 있다.
또한, 본 발명에 따르면, 하나 이상의 카메라를 자동차 전/후방, 좌/우측, 내부 또는 원하는 어떤 방향에 설치하고 다중 채널로부터 입력되는 멀티비디오 데이터, 비디오 분석 메타데이터 및 차량 운행 정보 메타데이터가 통합 파일 포맷으로 차량 블랙박스로 저장되어 교통사고 시 운행 기록 및 주변 정황 자료로 사용될 수 있으며, 차량 도난이나 차량 파손 시 주변 정황 자료를 획득하여 확인하는 자료로 사용가능하며, 차량에 탑재된 모니터를 통해 전후방 및 측방 비디오 데이터를 디스플레이 함으로써 사각지대 시야 확보, 주변 접근 차량 경보 등을 동시에 수행 하여 차량 주행의 안전을 제공할 수 있는 이점이 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.
도 1은 본 발명의 일 실시예에 적용된 하나 이상의 비디오 및 메타데이터 저장을 위한 파일 포맷 구조의 형태를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 적용된 다중 비디오 및 메타데이터 저장을 위한 감시비디오 통합 파일 포맷 구조는, 크게 파일의 타입 정보를 기록하기 위한 에프타입(ftyp) 박스와, 적어도 하나 이상의 비디오 데이터 파일 정보(예컨대, 각 비디오 데이터 위치, 데이터 크기, 데이터 샘플 크기 및 위치, 획득 카메라 정보 등)를 나타내기 위한 무브(moov) 박스; 적어도 하나의 비디오 데이터(AVC video) 및 해당 메타데이터를 기록하기 위한 엠닷(mdat) 박스와, 비디오 데이터(AVC video)의 엠닷(mdat) 박스 내의 위치 정보 및 메타데이터를 기록하기 위한 무브 박스내 트랙(trak)-레벨의 메타(meta) 박스, MAF 파일 레벨의 정보(예컨대, MAF 파일명, 제작일, 제작 장소 등)를 나타내기 위한 메타(meta) 박스를 포함하여 구성되어 있다.
여기서, 트랙(trak)-레벨의 메타(meta) 박스 내에 비디오 데이터(AVC video)의 위치 정보는 메타(meta) 박스 내의 iloc(item loaction) 박스에 의해 기록할 수 있으며, iinf는 해당 비디오(아이템) 데이터에 대한 정보를 기록하는 박스로서 아이템 ID, 아이템 이름, 적용 콘텐츠 보호 인덱스, 콘텐츠 타입, 콘텐츠 부호화 또는 비디오 관련 메타데이터를 기록할 수 있다.
이와 같은 다중 비디오 및 메타데이터 저장을 위한 파일 포맷 구조는 예컨대, ISO/IEC 14496-12 ISO Base Media 파일 포맷을 사용함이 바람직하다.
도 2는 본 발명의 일 실시예에 따른 멀티비디오 획득 및 관련 생성 메타데이터를 하나의 통합 파일 포맷으로 저장하기 위한 개념도이다.
도 2에서 비디오 관련 메타데이터 생성은, 크게 비디오 생성 메타데이터와 비디오 분석 메타데이터로 나뉜다. 여기서, 상기 비디오 생성 메타데이터는 비디오를 생성하기 위한 비디오 장비 및 생성 날짜, 비디오 획득 장소 등에 대한 정보를 기록한 메타데이터를 의미한다.
이와 같은 멀티비디오 데이터 및 해당 메타데이터의 저장을 위한 파일 구조는 ISO/IEC 14496-12 ISO Base Media 파일 포맷에 국한되는 것은 아니다.
도 3은 본 발명의 일 실시예에 적용된 비디오 생성 메타데이터를 위한 데이터 타입을 표 형태로 나타낸 도면이며, 도 4는 도 2 및 도 3을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면이다.
도 3 및 도 4를 참조하면, 전술한 도 2에서의 관련된 메타데이터를 생성하기 위해 도 3과 같이 표 형태로 데이터 타입을 정의하여 사용할 수 있다.
즉, 상기 비디오 생성 메타데이터를 위한 데이터 타입은, 획득 콘텐츠의 타이틀(Title), 생성자(Creator), 생성 위치 좌표와 날짜(CreationCoordinates), 생성 도구(CreationTool), 및 저작권(CopyrightString)을 포함하는 콘텐츠 타입(ContentType)과, 그레고리안(Gregorian) 기준을 따라 날짜 및 시각 정보를 나타내는 에이전트(Agent)로 이루어진 생성자 타입(CreatorType)과, 장소 이름(Name), 지역 이름(Region), 우편 주소(PostalAddress), 및 전자 우편 주소(ElectronicAddress)를 포함하는 장소 타입(PlaceType)과, 시간 시작점(TimePoint) 및 시간 길이(Duration)를 포함하는 시간 타입(TimeType)과, 비디오 카메라에 대한 정보(Tool), 및 비디오 획득을 위한 카메라 환경 파라미터 구성정보와 설정 값을 나타내는 셋팅(Setting)을 포함하는 생성 툴 타입(CreationToolType), 또는 주석(annotation) 텍스트 중 하나 이상을 포함하는 것으로 이루어진다.
도 5a 및 도 5b는 본 발명의 일 실시예에 적용된 비디오 분석 메타데이터를 위한 데이터 타입을 표 형태로 나타낸 도면이고, 도 6은 도 5의 격자구조분할 타입을 설명하기 위해 비디오 내의 한 영상 격자분할 구조를 나타낸 도면이며, 도 7은 도 5 및 도 6의 격자구조분할 타입을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면이다.
도 5 내지 도 7을 참조하면, 본 발명의 일 실시예에 적용된 비디오 분석은 예컨대, 움직임 객체 검출 및 추적, 객체 컬러 정보, 윤곽정보, 텍스쳐 정보 및 소리 정보(예컨대, 물체 파손 소리, 소음, 뛰는 소리, 비명, 폭발음, 경적, 싸우는 소리, 음악 소리, 총소리 등) 등을 분석하여 특징을 추출하고 이를 메타데이터 형태로 표현한다.
도 5a 및 도 5b에 도시된 바와 같이, 비디오 분석 메타데이터를 위한 데이터 타입은, RGB, YCbCr, HSV 및 HMMD 컬러공간, 각 컬러공간 간 변환 매트릭스(LinearMatrix), 및 흑백 컬러공간(Monochrome)을 포함하는 컬러공간 타입(ColorSpaceType)과, 컬러공간(ColorSpace), 컬러양자화(ColorQuantization), 컬러 정보의 공간상관계수(SpatialCoherency), 및 우세 컬러 데이터의 비율을 나타내는 값(Value)을 포함하는 우세컬러 타입(DominantColorType)과, 의미적 정보(Semantic), 미디어 시각(MediaTime), 및 시각 서술자(VisualDescriptor)를 포함하는 비디오 세그먼트 타입(VideoSegmentType)과, 비디오 요약 이름(Name), 원 비디오의 식별자 ID(SourceID), 원 비디오의 위치(SourceLocator), 및 원 비디오의 정보(SourceInformation)를 포함하는 요약 타입(SummaryType)과, 비디오 요약 그룹 이름(Name) 및 비디오 요약을 주요 세그먼트로 표현하는 요약 세그먼트(SummarySegment)를 포함하는 요약 세그먼트 그룹 타입(SummarySegmentGroupType)과, 비디오 요약 타입(SummaryType), 요약 비디오의 주제 목록(SummaryThemeList), 및 요약 세그먼트 그룹(SummarySegmentGroup)을 포함하는 계층적 요약 타입(HierarchicalSummaryType)과, 비디오 요약 타입(SummaryType) 및 원 비디오의 시공간적 특성(VisualSummaryComponent)을 포함하는 순차적 요약 타입(SequentialSummaryType)과, 의미기본타입(SemanticBaseType), 의미묶음타입(SemanticBagType), 의미타입(SemanticType), 객체타입(ObjectType), 에이전트객체타입(AgentObjectType), 이벤트타입(EventType), 개념타입(ConceptType), 의미상태타입(SemanticStateType), 의미장소타입(SemanticPlaceType), 및 의미시각타입(SemanticTimeType)을 포함하는 의미(Semantic)와, 미디어 시간 시작점(MediaTimePoint), 미디어 상대 시간 시작점(MediaRelTimePoint), 미디어 시간 상대증분 시작점(MediaRelIncrTimePoint), 미디어 시간 길이(MediaDuration), 및 미디어 상대시간 길이(MediaIncrDuration)를 포함하는 미디어 시간(Media Time)과, 구역위치지정자 타입(RegionLocatorType), 격자구조분할 타입(GridLayoutType), 시공간위치 타입(SpatialTemporalLocatorType), 형상 궤적 표시자 타입(FigureTrajectoryType), 및 파라미터표현 궤적 타입(ParameterTrajectoryType)을 포함하는 비주얼 서술자(VisualDescriptor)과, 오디오위치지정자 타입(AudioLocatorType), 오디오콘텐츠 타입(AudioContentType), 및 오디오콘텐츠주석 타입(AudioContentAnnotationType)을 포함하는 오디오 서술자(AudioDescriptor) 중 적어도 하나 이상으로 이루어진다.
여기서, 격자구조분할 타입(GridLayoutType)은 비디오 내의 영상을 격자구조로 분할하여 비주얼 특징정보를 서술할 수 있는 데이터 타입이다(도 6 참조).
도 8은 본 발명의 일 실시예에 적용된 비디오 내의 움직임 물체의 검출, 영역 정의 및 움직임 궤적 추적을 개념적으로 나타낸 도면이고, 도 9는 도 8과 도 5b의 시공간위치 타입과 형상 궤적 표시자 타입을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면이다.
도 8 및 도 9를 참조하면, 먼저, 영상 내에서 움직임 구역이 자동 검출되고 움직임 영역이 한 일 예로서 사각형 형태로 정의된다(다각형 또는 타원형, 원형, 임의의 외각 정보로 구성된 영역으로 정의 가능함). 움직임 구역이 시간에 따라 움직임을 사각형 박스의 꼭지점 이동 정보를 이용하여 궤적 정보로 나타낼 수 있다.
도 10은 본 발명의 일 실시예에 적용된 비디오 내의 움직임 물체 영역의 우세 컬러 정보를 표현한 일 예를 나타낸 도면이고, 도 11은 도 10과 도 5a의 우세컬러 타입(DominantColor)을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면이다.
도 12는 도 5a의 비디오 세그먼트 타입(VideoSegmentType)을 이용하여 비디오 구간 분할 및 비주얼 서술자(visual descriptor)를 연결하여 표현한 일 예를 나타낸 도면이고, 도 13은 도 12, 도 5a의 비디오 세그먼트 타입(VideoSegmentType) 및 도 5b의 격자구조분할 타입(GridLayoutType)과 구역위치지정자 타입(RegionLocatorType)을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 적용된 비디오 요약 생성을 위한 비디오 주요구간 선택 및 모음에 관한 일 예를 나타낸 도면이고, 도 15는 도 14와 도 5a의 계층적 요약 타입(HierarchicalSummary)을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면이다.
도 16은 도 5a의 순차적 요약 타입(SequentialSummary)을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면이고, 도 17a 내지 도 17c는 도 5a 및 도 5b의 다양한 데이터 타입을 사용하여 생성한 보다 풍부한 비디오 생성 메타데이터의 일 예를 나타낸 도면이다.
전술한 바와 같이 생성된 메타데이터는 비디오 데이터와 함께 통합 파일 포맷으로 저장되어 관리되거나 데이터베이스(Database)를 통해 관리될 수 있다.
도 18은 본 발명의 일 실시예에 따른 멀티비디오 통합 파일 포맷 구조를 기반으로 하는 멀티비디오 관리 시스템을 나타낸 전체적인 블록 구성도로서, 예컨대, 차량의 내/외측에 설치된 감시용 카메라들을 이용하여 멀티비디오 관리 시스템을 구현하였지만, 이에 국한하지 않으며, 서로 다른 위치에 설치된 복수개의 카메라를 이용한 경우면 모두 구현 가능하다.
도 18을 참조하면, 본 발명의 일 실시예에 따른 멀티비디오 통합 파일 포맷 구조를 기반으로 하는 멀티비디오 관리 시스템은, 크게 비디오 획득부(100), 비디오 내용분석부(200), 메타데이터 생성부(300), 파일 포맷 생성부(400), 데이터베이스(DB)(500), 및 내용 기반 검색장치(600)를 포함하여 이루어진다.
여기서, 비디오 획득부(100)는 서로 다른 위치에 설치된 복수개의 카메라(110a 내지 110d)를 통해 다양한 위치의 비디오 데이터를 획득하는 기능을 수행한다.
또한, 비디오 획득부(100)로부터 획득된 비디오 데이터는 예컨대, MPEG-2 Video, H.26x, VC1, Motion JPEG, MPEG-4 Visual, MPEG-4 Part 10 Advanced Video Coding(또는 H.264), 또는 MPEG-4 Scalable Video Coding 중 적어도 하나의 압축 방식을 사용하여 획득됨이 바람직하다.
한편, 복수개의 카메라(110a 내지 110d)는 차량(10)의 내/외측 예컨대, 상/하방 및 좌/우측에 탑재됨이 바람직하지만, 이에 국한하지 않으며, 차량(10)의 다양한 위치에 탑재가 가능하다.
비디오 내용분석부(200)는 비디오 획득부(100)로부터 획득된 비디오 데이터의 내용을 분석하여 비디오 및 오디오 특징정보를 자동적으로 추출하는 기능을 수행한다.
이때, 상기 비디오 및 오디오 특징정보는 예컨대, 비디오 내의 움직임 객체 검출 및 추적, 객체의 움직임 궤적, 객체의 위치, 고정된 객체의 위치 변화, 객체의 컬러, 윤곽 및 텍스쳐, 또는 소리 정보(예컨대, 물체 파손 소리, 소음, 뛰는 소리, 비명, 폭발음, 경적, 싸우는 소리, 음악 소리, 총소리 등) 중 적어도 하나의 정보로 이루어질 수 있다.
메타데이터 생성부(300)는 비디오 내용분석부(200)로부터 추출된 비디오 및 오디오 특징정보를 제공받아 메타데이터 형태로 생성하는 기능을 수행한다.
파일 포맷 생성부(400)는 비디오 획득부(100)로부터 획득된 비디오 데이터 및 메타데이터 생성부(300)로부터 생성된 메타데이터를 하나의 통합 파일 포맷으로 생성하는 기능을 수행한다.
데이터베이스(DB)(500)는 파일 포맷 생성부(400)로부터 생성된 통합 파일 포맷을 데이터베이스화하여 저장 및 관리하는 기능을 수행한다.
즉, 메타데이터 생성부(300)로부터 생성된 메타데이터와 비디오 획득부(100) 로부터 획득된 비디오 데이터를 하나의 파일로 저장하도록 하는 파일 포맷 생성부(400)를 통해 하나의 콘텐츠로 데이터베이스(500)에 저장된다.
한편, 데이터베이스(500)는 차량(10)에 물리적으로 탑재된 저장 장치일 수 있고, 인터넷(Internet)을 통해 접속이 가능한 네트워크 상의 저장 장치일 수 있다.
다른 한편, 상기 통합 파일 포맷의 구조는 전술한 도 1 내지 도 17에 도시된 바와 같은 통합 파일 포맷의 구조와 동일하므로, 이에 대한 구체적인 설명은 생략하기로 한다.
내용 기반 검색장치(600)는 데이터베이스(500)와 연동되어 사용자가 원하는 비디오를 특정 키워드로 요청하고 해당 비디오를 검색하여 이를 사용자가 용이하게 볼 수 있도록 디스플레이(Display)하는 기능을 수행한다.
이러한 내용 기반 검색장치(600)는, 사용자가 원하는 비디오를 특정 키워드로 요청하고, 상기 요청된 결과를 사용자가 용이하게 볼 수 있도록 디스플레이하기 위한 사용자 인터페이스부(610)와, 사용자 인터페이스부(610)로부터 요청된 특정 키워드를 제공받아 해당 사용자의 질의를 처리하여 전송하는 사용자 질의 처리부(620)와, 데이터베이스(500)와 연동되어 사용자 질의 처리부(620)로부터 전송된 사용자의 질의를 제공받아 사용자가 원하는 비디오 데이터를 검색하는 내용 기반 검색부(630)와, 내용 기반 검색부(630)로부터 검색된 비디오 데이터를 제공받아 비디오 목록 및 해당 정보를 파싱 분석하여 사용자 인터페이스부(610)로 전송하는 검색 결과 분석부(640)를 포함하여 구성된다.
이와 같이 구성된 내용 기반 검색장치(600)의 사용자 인터페이스부(610)를 통해 사용자는 비디오의 자세한 정보 및 필요한 부분을 골라 시청할 수 있다.
추가적으로, 비디오 획득부(100)로부터 실시간으로 획득된 비디오 데이터를 파싱하여 랜더링을 수행하고 이를 데이터베이스(500)에 저장되도록 전송하는 비디오 렌더링부(700)를 더 포함할 수 있다.
즉, 사용자는 차량(10) 내에 탑재된 비디오 렌더링부(700)를 통해 획득된 비디오 데이터를 실시간으로 감시할 수 있다. 또한, 단순히 복수개의 카메라(110a 내지 110d)를 통해 획득된 비디오 데이터를 렌더링할 뿐만 아니라 데이터베이스(500)에 저장된 비디오를 디스플레이(Display)할 수 있도록 내용 기반 검색장치(600)의 기능도 포함할 수 있다.
전술한 바와 같이, 본 발명은 멀티비디오 데이터와 비디오 분석 메타데이터 및 차량 운행 정보를 전술한 통합 파일 포맷으로 저장관리 하며 필요시 검색 및 탐색을 제공하고, 동시에 멀티비디오의 경우 차량에 탑재된 모니터를 통해 전/후방 및 좌/우측방 비디오 데이터를 디스플레이 함으로써, 사각지대 시야 확보, 주변 접근 차량 경보 등을 동시에 수행하여 차량 주행의 안전을 제공할 수 있다. 뿐만 아니라 저장된 통합 파일 포맷으로 저장된 멀티비디오 데이터, 비디오 분석 메타데이터 및 차량 운행 정보 메타데이터는 차량 블랙박스로 저장되어 교통사고 시 운행 기록 및 주변 정황 자료로 사용될 수 있으며, 차량 도난이나 차량 파손 시 주변 정황 자료를 획득하여 확인하는 자료로 사용될 수 있는 장점이 있다.
또한, 기존의 비디오 데이터를 단순 저장하고 비디오 시스템 화면을 통해 디스플레이(Display)하는 형태에 머물러 있었으나, 본 발명은 첫째, 멀티비디오 획득 및 멀티비디오 데이터 분석 메타데이터 생성, 그리고 이를 차량 운행 정보 메타데이터와 결합하여 저장함으로써 파일 포맷간 상호호환성을 제공할 수 있다.
둘째, 이를 지능형 감시 비디오 시스템으로 구현함으로써 감시비디오 데이터에 대한 내용기반 검색 및 탐색을 통해 원하는 비디오 구간에 쉽게 접근하고 탐색 할 수 있을 뿐만 아니라, 감시 비디오 분석을 통해 위험 경고가 가능하다.
셋째, 멀티비디오 데이터, 비디오 분석 메타데이터 및 차량 운행 정보 메타데이터가 통합 파일 포맷으로 차량 블랙박스로 저장되어 교통사고 시 운행 기록 및 주변 정황 자료로 사용될 수 있고, 차량 도난이나 차량 파손 시 주변 정황 자료를 획득하여 확인하는 자료로 사용가능하며, 차량에 탑재된 모니터를 통해 전/후방 및 좌/우측방 비디오 데이터를 디스플레이 함으로써 사각지대 시야 확보, 주변 접근 차량 경보 등을 동시에 수행하여 차량 주행의 안전을 제공할 수 있다.
도 19는 본 발명의 일 실시예에 따른 멀티비디오 통합 파일 포맷 구조를 기반으로 하는 멀티비디오 관리 방법을 설명하기 위한 전체적인 흐름도이다.
도 18 및 도 19를 참조하면, 본 발명의 일 실시예에 따른 멀티비디오 통합 파일 포맷 구조를 기반으로 하는 멀티비디오 관리 방법은, 먼저 서로 다른 위치에 설치된 적어도 하나의 카메라(110a 내지 110d)로부터 여러 위치의 비디오 데이터를 획득하여 비디오 획득부(100)로 전송한다(S100).
이때, 상기 비디오 데이터는 예컨대, MPEG-2 Video, H.26x, VC1, Motion JPEG, MPEG-4 Visual, MPEG-4 Part 10 Advanced Video Coding(또는 H.264), 또는 MPEG-4 Part 10 Scalable Extension - Scalable Video Coding 중 적어도 하나의 압축 방식을 사용하여 획득함이 바람직하다.
한편, 상기 단계S100에서 획득된 비디오 데이터는 별도의 디스플레이 장치를 통해 디스플레이(Display)하는 과정을 더 포함할 수 있다.
다른 한편, 적어도 하나의 카메라(110a 내지 110d)는 차량(10)의 내/외측 예컨대, 상/하방 및 좌/우측에 탑재됨이 바람직하지만, 이에 국한하지 않으며, 차량(10)의 다양한 위치에 탑재가 가능하다.
다음으로, 비디오 내용분석부(200) 및 메타데이터 생성부(300)를 통해 상기 단계S100에서 획득된 각 비디오 데이터에 대한 내용 기반 특징을 분석하고 이를 메타데이터로 생성한다(S200).
이때, 상기 단계S200에서 생성된 메타데이터는 비디오를 생성하기 위한 비디오 장비 식별자 및 생성 날짜, 비디오 획득 장소, 날씨 조건, 비디오 획득 관련 카메라 파라미터 값, 또는 비디오 저작권 중 적어도 하나의 정보를 포함할 수 있다.
또한, 상기 단계S200에서의 내용 기반 특징은 예컨대, 움직임 객체 검출 및 추적, 객체의 움직임 궤적, 객체의 위치, 고정된 객체의 위치 변화, 객체의 컬러, 윤곽 및 텍스쳐, 또는 소리 정보(예컨대, 물체 파손 소리, 소음, 뛰는 소리, 비명, 폭발음, 경적, 싸우는 소리, 음악 소리, 총소리 등) 중 적어도 하나의 정보를 포함할 수 있다.
또한, 상기 단계S200에서 비디오 분석된 결과를 별도의 디스플레이 장치나 스피커 등을 통해 출력하는 과정을 더 포함할 수 있다.
또한, 상기 단계S200에서는 별도의 사용자 인터페이스부(610)를 통해 감시하고자 하는 구역 및 감시 대상 객체 지정, 감시 추적 경로를 설정하고 해당 대상에 대한 메타데이터를 생성할 수 있다.
또한, 상기 단계S200은 상기 단계S100에서 획득된 비디오 데이터를 분석하여 차량 접근 또는 훼손의 특징 정보를 분석하고 이를 디스플레이 또는 스피커 장치에 경보하는 과정을 더 포함할 수 있다.
이후에, 파일 포맷 생성부(400)를 통해 상기 단계S100에서 획득된 비디오 데이터와 상기 단계S200에서 생성된 메타데이터를 하나의 통합 파일 포맷으로 생성하여 데이터베이스(500)에 저장한다(S300).
이때, 상기 통합 파일 포맷의 구조는 적어도 하나의 비디오 데이터 및 메타데이터를 저장하기 위한 파일 구조로서, 엠닷(mdat) 박스 내에 적어도 하나의 독립적인 단일 비디오 데이터 및 메타데이터를 저장하거나, 엠닷(mdat) 박스 내에 적어도 하나의 독립적인 단일 비디오 데이터 및 메타데이터의 위치를 지정하는 파일 포인터를 저장할 수 있다(도 1 내지 도 17 참조).
또한, 적어도 하나의 비디오 데이터에 대한 메타데이터는 메타(meta) 박스 내에 저장하고, 상기 비디오 데이터는 엠닷(mdat) 박스 내에 저장하거나, 실제 저장 위치 포인터에 저장함이 바람직하다.
또한, 상기 통합 파일 포맷은 차량(10)에 탑재된 저장 장치 또는 인터넷을 통해 접속할 수 있는 네트워크 상의 저장 장치에 저장할 수 있다.
추가적으로, 내용 기반 검색장치(600)를 통해 사용자의 요청에 의해 상기 저장된 통합 파일 포맷에 대한 검색을 수행하는 과정(S400)과, 상기 검색 결과에 해당하는 비디오를 사용자가 용이하게 볼 수 있도록 디스플레이(Display)하는 과정(S500)을 더 포함할 수 있다.
한편, 본 발명의 실시예에 따른 멀티비디오 통합 파일 포맷 구조를 기반으로 하는 멀티비디오 관리 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
전술한 본 발명에 따른 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조 및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
도 1은 본 발명의 일 실시예에 적용된 하나 이상의 비디오 및 메타데이터 저장을 위한 파일 포맷 구조의 형태를 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 멀티비디오 획득 및 관련 생성 메타데이터를 하나의 통합 파일 포맷으로 저장하기 위한 개념도.
도 3은 본 발명의 일 실시예에 적용된 비디오 생성 메타데이터를 위한 데이터 타입을 표 형태로 나타낸 도면.
도 4는 도 2 및 도 3을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면.
도 5a 및 도 5b는 본 발명의 일 실시예에 적용된 비디오 분석 메타데이터를 위한 데이터 타입을 표 형태로 나타낸 도면.
도 6은 도 5의 격자구조분할 타입을 설명하기 위해 비디오 내의 한 영상 격자분할 구조를 나타낸 도면.
도 7은 도 5 및 도 6의 격자구조분할 타입을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면.
도 8은 본 발명의 일 실시예에 적용된 비디오 내의 움직임 물체의 검출, 영역 정의 및 움직임 궤적 추적을 개념적으로 나타낸 도면.
도 9는 도 8과 도 5b의 시공간위치 타입과 형상 궤적 표시자 타입을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면.
도 10은 본 발명의 일 실시예에 적용된 비디오 내의 움직임 물체 영역의 우 세 컬러 정보를 표현한 일 예를 나타낸 도면.
도 11은 도 10과 도 5a의 우세컬러 타입을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면.
도 12는 도 5a의 비디오 세그먼트 타입을 이용하여 비디오 구간 분할 및 비주얼 서술자를 연결하여 표현한 일 예를 나타낸 도면.
도 13은 도 12, 도 5a의 비디오 세그먼트 타입 및 도 5b의 격자구조분할 타입과 구역위치지정자 타입을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면.
도 14는 본 발명의 일 실시예에 적용된 비디오 요약 생성을 위한 비디오 주요구간 선택 및 모음에 관한 일 예를 나타낸 도면.
도 15는 도 14와 도 5a의 계층적 요약 타입을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면.
도 16은 도 5a의 순차적 요약 타입을 사용하여 생성한 비디오 생성 메타데이터의 일 예를 나타낸 도면.
도 17a 내지 도 17c는 도 5a 및 도 5b의 다양한 데이터 타입을 사용하여 생성한 보다 풍부한 비디오 생성 메타데이터의 일 예를 나타낸 도면.
도 18은 본 발명의 일 실시예에 따른 멀티비디오 통합 파일 포맷 구조를 기반으로 하는 멀티비디오 관리 시스템을 나타낸 전체적인 블록 구성도.
도 19는 본 발명의 일 실시예에 따른 멀티비디오 통합 파일 포맷 구조를 기반으로 하는 멀티비디오 관리 방법을 설명하기 위한 전체적인 흐름도.
Claims (36)
- 적어도 하나의 비디오 데이터 및 관련 생성 메타데이터를 하나의 파일 포맷으로 구성하는 멀티비디오 통합 파일 포맷 구조로서,파일의 타입 정보를 기록하기 위한 에프타입(ftyp) 박스;하나 이상의 비디오 데이터 및 시각 정보를 가지는 메타데이터(timed metadata)에 대한 정보를 기록하기 위한 무브(moov) 박스;적어도 하나의 비디오 데이터 및 해당 메타데이터를 저장하기 위한 엠닷(mdat) 박스; 및통합 파일 전체의 생성 정보에 대한 파일 레벨의 메타데이터를 기록하기 위한 메타(meta) 박스를 포함하는 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조.
- 제 1 항에 있어서,상기 엠닷(mdat) 박스에서 각 비디오 및 관련 메타데이터는 각각 별도의 파일로 외부에 저장되는 것을 특징으로 하는 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조.
- 제 1 항에 있어서,상기 엠닷(mdat) 박스에 저장된 각 비디오 및 메타데이터의 파일 포맷 구조는, ISO/IEC 14496-12 ISO Base Media 파일 포맷인 것을 특징으로 하는 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조.
- 제 1 항에 있어서,상기 엠닷(mdat) 박스에 저장된 각 비디오 및 메타데이터의 파일 포맷 구조는, 파일의 타입 정보를 기록하기 위한 에프타입(ftyp) 박스;비디오 데이터에 대한 정보를 기록하기 위한 무브(moov) 박스;비디오 데이터를 기록하기 위한 엠닷(mdat) 박스; 및상기 비디오 데이터의 위치 정보 및 메타데이터를 기록하기 위한 메타(meta) 박스를 포함하는 것을 특징으로 하는 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조.
- 제 4 항에 있어서,상기 메타(meta) 박스 내에는 비디오 ID, 비디오 이름, 적용 콘텐츠 보호 인덱스, 콘텐츠 타입, 또는 콘텐츠 부호화 또는 비디오 관련 메타데이터 중 적어도 하나의 해당 비디오 데이터에 대한 정보를 기록하는 것을 특징으로 하는 멀티비디 오 및 메타데이터로 구성된 통합 파일 포맷 구조.
- 제 4 항에 있어서,비디오 관련 메타데이터는,비디오를 생성하기 위한 비디오 생성 메타데이터; 및비디오를 분석하기 위한 비디오 분석 메타데이터를 포함하는 것을 특징으로 하는 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조.
- 제 6 항에 있어서,상기 비디오 생성 메타데이터는,비디오 장비 및 생성 날짜, 비디오 획득 장소에 대한 정보를 기록한 메타데이터인 것을 특징으로 하는 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조.
- 제 6 항에 있어서,상기 비디오 생성 메타데이터를 위한 데이터 타입은,획득 콘텐츠의 타이틀(Title), 생성자(Creator), 생성 위치 좌표와 날 짜(CreationCoordinates), 생성 도구(CreationTool), 및 저작권(CopyrightString)을 포함하는 콘텐츠 타입(ContentType);그레고리안(Gregorian) 기준을 따라 날짜 및 시각 정보를 나타내는 에이전트(Agent)로 이루어진 생성자 타입(CreatorType);장소 이름(Name), 지역 이름(Region), 우편 주소(PostalAddress), 및 전자 우편 주소(ElectronicAddress)를 포함하는 장소 타입(PlaceType);시간 시작점(TimePoint) 및 시간 길이(Duration)를 포함하는 시간 타입(TimeType); 또는비디오 카메라에 대한 정보(Tool), 및 비디오 획득을 위한 카메라 환경 파라미터 구성정보와 설정 값을 나타내는 셋팅(Setting)을 포함하는 생성 툴 타입(CreationToolType) 중 적어도 하나로 이루어진 것을 특징으로 하는 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조.
- 제 6 항에 있어서,상기 비디오 분석 메타데이터는,움직임 객체 검출 및 추적, 객체 컬러 정보, 윤곽 정보, 텍스쳐 정보, 및 소리 정보를 분석하여 그 특징을 추출하고 이를 메타데이터 형태로 표현한 것을 특징으로 하는 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조.
- 제 6 항에 있어서,상기 비디오 분석 메타데이터를 위한 데이터 타입은,RGB, YCbCr, HSV 및 HMMD 컬러공간, 각 컬러공간 간 변환 매트릭스(LinearMatrix), 및 흑백 컬러공간(Monochrome)을 포함하는 컬러공간 타입(ColorSpaceType);컬러공간(ColorSpace), 컬러양자화(ColorQuantization), 컬러 정보의 공간상관계수(SpatialCoherency), 및 우세 컬러 데이터의 비율을 나타내는 값(Value)을 포함하는 우세컬러 타입(DominantColorType);의미적 정보(Semantic), 미디어 시각(MediaTime), 및 시각 서술자(VisualDescriptor)를 포함하는 비디오 세그먼트 타입(VideoSegmentType);비디오 요약 이름(Name), 원 비디오의 식별자 ID(SourceID), 원 비디오의 위치(SourceLocator), 및 원 비디오의 정보(SourceInformation)를 포함하는 요약 타입(SummaryType);비디오 요약 그룹 이름(Name) 및 비디오 요약을 주요 세그먼트로 표현하는 요약 세그먼트(SummarySegment)를 포함하는 요약 세그먼트 그룹 타입(SummarySegmentGroupType);비디오 요약 타입(SummaryType), 요약 비디오의 주제 목록(SummaryThemeList), 및 요약 세그먼트 그룹(SummarySegmentGroup)을 포함하는 계층적 요약 타입(HierarchicalSummaryType);비디오 요약 타입(SummaryType) 및 원 비디오의 시공간적 특성(VisualSummaryComponent)을 포함하는 순차적 요약 타입(SequentialSummaryType);의미기본타입(SemanticBaseType), 의미묶음타입(SemanticBagType), 의미타입(SemanticType), 객체타입(ObjectType), 에이전트객체타입(AgentObjectType), 이벤트타입(EventType), 개념타입(ConceptType), 의미상태타입(SemanticStateType), 의미장소타입(SemanticPlaceType), 및 의미시각타입(SemanticTimeType)을 포함하는 의미(Semantic);미디어 시간 시작점(MediaTimePoint), 미디어 상대 시간 시작점(MediaRelTimePoint), 미디어 시간 상대증분 시작점(MediaRelIncrTimePoint), 미디어 시간 길이(MediaDuration), 및 미디어 상대시간 길이(MediaIncrDuration)를 포함하는 미디어 시간(Media Time);구역위치지정자 타입(RegionLocatorType), 격자구조분할 타입(GridLayoutType), 시공간위치 타입(SpatialTemporalLocatorType), 형상 궤적 표시자 타입(FigureTrajectoryType), 및 파라미터표현 궤적 타입(ParameterTrajectoryType)을 포함하는 비주얼 서술자(VisualDescriptor); 또는오디오위치지정자 타입(AudioLocatorType), 오디오콘텐츠 타입(AudioContentType), 및 오디오콘텐츠주석 타입(AudioContentAnnotationType)을 포함하는 오디오 서술자(AudioDescriptor) 중 적어도 하나로 이루어진 것을 특징으로 하는 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조.
- 서로 다른 위치에 설치된 복수개의 카메라를 통해 비디오 데이터를 획득하는 비디오 획득부;상기 획득된 비디오 데이터의 내용을 분석하여 비디오 및 오디오 특징정보를 추출하는 비디오 내용분석부;상기 추출된 비디오 및 오디오 특징정보를 메타데이터 형태로 생성하는 메타데이터 생성부;상기 획득된 비디오 데이터 및 상기 생성된 메타데이터를 하나의 통합 파일 포맷으로 생성하는 파일 포맷 생성부;상기 생성된 통합 파일 포맷을 저장하는 데이터베이스; 및상기 데이터베이스와 연동되어 사용자가 원하는 비디오를 특정 키워드로 요청하고 해당 비디오를 검색하여 이를 사용자가 용이하게 볼 수 있도록 디스플레이하기 위한 내용 기반 검색수단 포함하는 멀티비디오 관리 시스템.
- 제 11 항에 있어서,상기 비디오 획득부로부터 실시간으로 획득된 비디오 데이터를 파싱하여 랜더링을 수행하고 이를 상기 데이터베이스에 저장되도록 전송하는 비디오 렌더링부를 더 포함하는 것을 특징으로 하는 멀티비디오 관리 시스템.
- 제 11 항에 있어서,상기 복수개의 카메라는 차량의 내/외측에 탑재되는 것을 특징으로 하는 멀티비디오 관리 시스템.
- 제 11 항에 있어서,상기 비디오 획득부로부터 획득된 비디오 데이터는 MPEG-2 Video, H.26x, VC1, Motion JPEG, MPEG-4 Visual, MPEG-4 Part 10 Advanced Video Coding(또는 H.264), 또는 MPEG-4 Scalable Video Coding 중 적어도 하나의 압축 방식을 사용하여 획득되는 것을 특징으로 하는 멀티비디오 관리 시스템.
- 제 11 항에 있어서,상기 비디오 및 오디오 특징정보는,움직임 객체 검출 및 추적, 객체의 움직임 궤적, 객체의 위치, 고정된 객체의 위치 변화, 객체의 컬러, 윤곽 및 텍스쳐, 또는 소리 정보 중 적어도 하나의 정보로 이루어진 것을 특징으로 하는 멀티비디오 관리 시스템.
- 제 11 항에 있어서,상기 통합 파일 포맷의 구조는,파일의 타입 정보를 기록하기 위한 에프타입(ftyp) 박스;하나 이상의 비디오 데이터 및 시각 정보를 가지는 메타데이터(timed metadata)에 대한 정보를 기록하기 위한 무브(moov) 박스;적어도 하나의 비디오 데이터 및 해당 메타데이터를 저장하기 위한 엠닷(mdat) 박스; 및통합 파일 전체의 생성 정보에 대한 파일 레벨의 메타데이터를 기록하기 위한 메타(meta) 박스를 포함하는 것을 특징으로 하는 멀티비디오 관리 시스템.
- 제 16 항에 있어서,상기 엠닷(mdat) 박스에 저장된 각 비디오 및 메타데이터의 파일 포맷 구조는, 파일의 타입 정보를 기록하기 위한 에프타입(ftyp) 박스;비디오 데이터에 대한 정보를 기록하기 위한 무브(moov) 박스;비디오 데이터를 기록하기 위한 엠닷(mdat) 박스; 및상기 비디오 데이터의 위치 정보 및 메타데이터를 기록하기 위한 메타(meta) 박스를 포함하는 것을 특징으로 하는 멀티비디오 관리 시스템.
- 제 17 항에 있어서,비디오 관련 메타데이터는,비디오를 생성하기 위한 비디오 생성 메타데이터; 및비디오를 분석하기 위한 비디오 분석 메타데이터를 포함하는 것을 특징으로 하는 멀티비디오 관리 시스템.
- 제 18 항에 있어서,상기 비디오 생성 메타데이터는,비디오 장비 및 생성 날짜, 비디오 획득 장소에 대한 정보를 기록한 메타데이터인 것을 특징으로 하는 멀티비디오 관리 시스템.
- 제 18 항에 있어서,상기 비디오 분석 메타데이터는,움직임 객체 검출 및 추적, 객체 컬러 정보, 윤곽 정보, 텍스쳐 정보, 및 소리 정보를 분석하여 그 특징을 추출하고 이를 메타데이터 형태로 표현한 것을 특징으로 하는 멀티비디오 관리 시스템.
- 제 11 항에 있어서,상기 데이터베이스는 차량에 물리적으로 탑재된 저장 장치인 것을 특징으로 하는 멀티비디오 관리 시스템.
- 제 11 항에 있어서,상기 데이터베이스는 인터넷을 통해 접속이 가능한 네트워크 상의 저장 장치인 것을 특징으로 하는 멀티비디오 관리 시스템.
- 제 11 항에 있어서,상기 내용 기반 검색수단은,사용자가 원하는 비디오를 특정 키워드로 요청하고, 상기 요청된 결과를 사용자가 용이하게 볼 수 있도록 디스플레이하기 위한 사용자 인터페이스부;상기 사용자 인터페이스부로부터 요청된 특정 키워드를 제공받아 해당 사용자의 질의를 처리하여 전송하는 사용자 질의 처리부;상기 데이터베이스와 연동되어 상기 사용자 질의 처리부로부터 전송된 사용자의 질의를 제공받아 사용자가 원하는 비디오 데이터를 검색하는 내용 기반 검색부; 및상기 내용 기반 검색부로부터 검색된 비디오 데이터를 제공받아 비디오 목록 및 해당 정보를 파싱 분석하여 상기 사용자 인터페이스부로 전송하는 검색 결과 분석부를 포함하는 것을 특징으로 하는 멀티비디오 관리 시스템.
- (a) 적어도 하나의 카메라로부터 비디오 데이터를 획득하는 단계;(b) 상기 획득된 각 비디오 데이터에 대한 내용 기반 특징을 분석하고 이를 메타데이터로 생성하는 단계; 및(c) 상기 획득된 비디오 데이터와 상기 생성된 메타데이터를 하나의 통합 파일 포맷으로 생성하여 데이터베이스에 저장하는 단계를 포함하는 멀티비디오 관리 방법.
- 제 24 항에 있어서,상기 단계(b)에서, 상기 생성된 메타데이터는 비디오를 생성하기 위한 비디오 장비 식별자 및 생성 날짜, 비디오 획득 장소, 날씨 조건, 비디오 획득 관련 카메라 파라미터 값, 또는 비디오 저작권 중 적어도 하나의 정보를 포함하는 것을 특징으로 하는 멀티비디오 관리 방법.
- 제 24 항에 있어서,상기 단계(b)에서, 상기 내용 기반 특징은 움직임 객체 검출 및 추적, 객체의 움직임 궤적, 객체의 위치, 고정된 객체의 위치 변화, 객체의 컬러, 윤곽 및 텍스쳐, 또는 소리 정보 중 적어도 하나의 정보를 포함하는 것을 특징으로 하는 멀티비디오 관리 방법.
- 제 24 항에 있어서,상기 단계(c)에서, 적어도 하나의 비디오 데이터에 대한 메타데이터는 무브(moov) 레벨 메타(meta) 박스와 트랙(trak) 레벨 메타(meta) 박스 내에 저장하고, 상기 비디오 데이터는 엠닷(mdat) 박스 내에 저장하거나, 실제 저장 위치 포인터를 저장하는 것을 특징으로 하는 멀티비디오 관리 방법.
- 제 24 항에 있어서,상기 단계(c)에서, 상기 통합 파일 포맷의 구조는 적어도 하나의 비디오 데이터 및 메타데이터를 저장하기 위한 파일 구조로서, 엠닷(mdat) 박스 내에 적어도 하나의 독립적인 비디오 데이터 및 메타데이터의 위치를 지정하는 파일 포인터를 저장하는 것을 특징으로 하는 멀티비디오 관리 방법.
- 제 24 항에 있어서,상기 단계(c)에서, 적어도 하나의 비디오 데이터에 대한 메타데이터는 통합화일 생성 정보에 관한 메타데이터는 무브(moov) 레벨 메타(meta) 박스에 저장되고 트랙(trak) 레벨 메타(meta) 박스 내에 저장하고, 상기 비디오 데이터는 엠닷(mdat) 박스 내에 저장하거나, 실제 저장 위치 포인터를 저장하는 것을 특징으로 하는 멀티비디오 관리 방법.
- (a') 적어도 하나의 카메라로부터 비디오 데이터를 획득하는 단계;(b') 상기 획득된 각 비디오 데이터에 대한 내용 기반 특징을 분석하고 이를 메타데이터로 생성하는 단계;(c') 상기 획득된 비디오 데이터와 상기 생성된 메타데이터를 하나의 통합 파일 포맷으로 저장하는 단계;(d') 사용자의 요청에 의해 상기 저장된 통합 파일 포맷에 대한 검색을 수행하는 단계; 및(e') 상기 검색 결과에 해당하는 비디오를 사용자가 용이하게 볼 수 있도록 디스플레이 하는 단계를 포함하는 멀티비디오 관리 방법.
- 제 30 항에 있어서,상기 단계(a')에서, 상기 비디오 데이터는 MPEG-2 Video, H.26x, VC1, Motion JPEG, MPEG-4 Visual, MPEG-4 AVC, 또는 MPEG-4 SVC 중 적어도 하나의 압축 방식을 사용하여 획득하는 것을 특징으로 하는 멀티비디오 관리 방법.
- 제 30 항에 있어서,상기 단계(b')에서, 상기 비디오 분석 결과를 디스플레이 장치나 스피커로 출력하는 것을 특징으로 하는 멀티비디오 관리 방법.
- 제 30 항에 있어서,상기 단계(b')는 사용자 인터페이스를 통해 감시하고자 하는 구역 및 감시 대상 객체 지정, 감시 추적 경로를 설정하고 해당 대상에 대한 메타데이터를 생성하는 것을 특징으로 하는 멀티비디오 관리 방법.
- 제 30 항에 있어서,상기 단계(c')에서, 상기 통합 파일 포맷은 차량에 탑재된 저장 장치 또는 인터넷을 통해 접속할 수 있는 네트워크 상의 저장 장치에 저장하는 것을 특징으로 하는 멀티비디오 관리 방법.
- (a") 차량의 전/후/좌/우측 방향에 탑재된 카메라를 통해 복수의 비디오 데이터를 획득하는 단계;(b") 상기 획득된 비디오 데이터를 디스플레이 장치를 통해 디스플레이 하는 단계; 및(c") 상기 획득된 비디오 데이터를 분석하여 차량 접근 또는 훼손의 특징 정보를 분석하고 이를 디스플레이 또는 스피커 장치에 경보하는 단계를 포함하는 멀티비디오 관리 방법.
- 제 24 항 내지 제 35 항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070037895 | 2007-04-18 | ||
| KR20070037895 | 2007-04-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080093847A true KR20080093847A (ko) | 2008-10-22 |
| KR100876494B1 KR100876494B1 (ko) | 2008-12-31 |
Family
ID=40154297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070094693A KR100876494B1 (ko) | 2007-04-18 | 2007-09-18 | 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100876494B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012070875A2 (ko) * | 2010-11-23 | 2012-05-31 | 삼성전자 주식회사 | 멀티미디어 시스템에서 다계층 영상을 위한 미디어 파일 생성 방법 및 장치와 이를 이용한 미디어 파일 재생 장치 |
| KR20150035322A (ko) * | 2013-09-27 | 2015-04-06 | 삼성테크윈 주식회사 | 영상 감시 시스템 |
| KR102152318B1 (ko) * | 2019-11-13 | 2020-09-04 | 주식회사 벡터시스 | 객체의 이동경로를 추적할 수 있는 추적시스템 |
| US11064175B2 (en) | 2019-12-11 | 2021-07-13 | At&T Intellectual Property I, L.P. | Event-triggered video creation with data augmentation |
| CN113555040A (zh) * | 2021-09-18 | 2021-10-26 | 南京美乐威电子科技有限公司 | 多媒体文件中moov容器的写入方法和计算机可读存储介质 |
| KR102573263B1 (ko) * | 2023-02-10 | 2023-08-31 | 국방과학연구소 | 영상 정보 통합 방법 및 이를 위한 전자 장치 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101015408B1 (ko) | 2009-06-12 | 2011-02-22 | 엠텍비젼 주식회사 | 운송 수단 관련 정보 저장 장치 및 방법 |
| KR102150703B1 (ko) | 2014-08-14 | 2020-09-01 | 한화테크윈 주식회사 | 지능형 비디오 분석 시스템에서 비디오를 분석하는 방법 및 시스템 |
| KR102161210B1 (ko) | 2015-01-15 | 2020-09-29 | 한화테크윈 주식회사 | 다중 비디오써머리제공방법 및 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070043726A (ko) | 2004-06-01 | 2007-04-25 | 앨-쓰리 커뮤니케이션즈 코포레이션 | 비디오 플래쉬라이트/시각 경보 시스템 및 방법 |
-
2007
- 2007-09-18 KR KR1020070094693A patent/KR100876494B1/ko not_active IP Right Cessation
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012070875A2 (ko) * | 2010-11-23 | 2012-05-31 | 삼성전자 주식회사 | 멀티미디어 시스템에서 다계층 영상을 위한 미디어 파일 생성 방법 및 장치와 이를 이용한 미디어 파일 재생 장치 |
| WO2012070875A3 (ko) * | 2010-11-23 | 2012-07-19 | 삼성전자 주식회사 | 멀티미디어 시스템에서 다계층 영상을 위한 미디어 파일 생성 방법 및 장치와 이를 이용한 미디어 파일 재생 장치 |
| KR20150035322A (ko) * | 2013-09-27 | 2015-04-06 | 삼성테크윈 주식회사 | 영상 감시 시스템 |
| KR102152318B1 (ko) * | 2019-11-13 | 2020-09-04 | 주식회사 벡터시스 | 객체의 이동경로를 추적할 수 있는 추적시스템 |
| WO2021095916A1 (ko) * | 2019-11-13 | 2021-05-20 | 주식회사 벡터시스 | 객체의 이동경로를 추적할 수 있는 추적시스템 |
| US11064175B2 (en) | 2019-12-11 | 2021-07-13 | At&T Intellectual Property I, L.P. | Event-triggered video creation with data augmentation |
| US11575867B2 (en) | 2019-12-11 | 2023-02-07 | At&T Intellectual Property I, L.P. | Event-triggered video creation with data augmentation |
| CN113555040A (zh) * | 2021-09-18 | 2021-10-26 | 南京美乐威电子科技有限公司 | 多媒体文件中moov容器的写入方法和计算机可读存储介质 |
| KR102573263B1 (ko) * | 2023-02-10 | 2023-08-31 | 국방과학연구소 | 영상 정보 통합 방법 및 이를 위한 전자 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100876494B1 (ko) | 2008-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100876494B1 (ko) | 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법 | |
| US20210397848A1 (en) | Scene marking | |
| US10755121B2 (en) | Driving oriented digital video recorder system | |
| CN105323656B (zh) | 成像设备和提供成像信息的方法 | |
| Tiwari et al. | A survey of recent work on video summarization: approaches and techniques | |
| CA2853813A1 (en) | Context relevant interactive television | |
| US20130330055A1 (en) | Apparatus, System, and Method for Annotation of Media Files with Sensor Data | |
| US11037604B2 (en) | Method for video investigation | |
| CN112800255A (zh) | 数据标注、对象跟踪方法、装置、设备和存储介质 | |
| JP2002536729A (ja) | 内容にもとづく視覚アニメ化データの索引付け及び検索用の移動オブジェクトの軌跡を表現するシステム及び方法 | |
| JP2020526057A5 (ko) | ||
| US11543729B2 (en) | Systems and methods to transform events and/or mood associated with playing media into lighting effects | |
| CN105893387B (zh) | 智能多媒体处理方法和系统 | |
| US20040181545A1 (en) | Generating and rendering annotated video files | |
| CN104952273A (zh) | 针对车辆行为的告警方法、装置及系统 | |
| CN102665064A (zh) | 一种基于标准标记与快速检索的交通视频监控系统 | |
| KR20110095113A (ko) | 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용 방법 | |
| Sabha et al. | Data-driven enabled approaches for criteria-based video summarization: a comprehensive survey, taxonomy, and future directions | |
| Chiang et al. | Quick browsing and retrieval for surveillance videos | |
| Atrey et al. | Intelligent multimedia surveillance: current trends and research | |
| Black et al. | A hierarchical database for visual surveillance applications | |
| CN116010652B (zh) | 一种非结构化视频数据处理方法和系统 | |
| CN112437270B (zh) | 一种监控视频播放方法、装置和可读存储介质 | |
| Perrott et al. | Real-time multimedia tagging and content-based retrieval for CCTV surveillance systems | |
| KR101484054B1 (ko) | 미디어 파일 포맷, 미디어 파일 재생 방법, 및 미디어 파일재생 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20111129 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20121130 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |