KR20180003309A - 영상 축약 시스템 및 방법 - Google Patents
영상 축약 시스템 및 방법 Download PDFInfo
- Publication number
- KR20180003309A KR20180003309A KR1020160082957A KR20160082957A KR20180003309A KR 20180003309 A KR20180003309 A KR 20180003309A KR 1020160082957 A KR1020160082957 A KR 1020160082957A KR 20160082957 A KR20160082957 A KR 20160082957A KR 20180003309 A KR20180003309 A KR 20180003309A
- Authority
- KR
- South Korea
- Prior art keywords
- objects
- processor
- information
- queue
- frame
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 122
- 239000000284 extract Substances 0.000 claims description 21
- 230000006399 behavior Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 claims 2
- 229910052802 copper Inorganic materials 0.000 claims 2
- 239000010949 copper Substances 0.000 claims 2
- 230000002093 peripheral effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 10
- 238000002156 mixing Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 8
- 239000000203 mixture Substances 0.000 description 5
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
- H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/005—Reproducing at a different information rate from the information rate of recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/22—Means responsive to presence or absence of recorded information signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
- Processing Or Creating Images (AREA)
Abstract
영상 축약 시스템이 입력 영상을 축약하기 위하여, 영상 스트림에서 배경 프레임과 오브젝트들 각각의 오브젝트 정보를 추출하고, 상기 배경 프레임의 일정 영역에 설정된 관심 영역을 입력 받는다. 추출한 오브젝트들을 큐 오브젝트로 선택하고, 큐 오브젝트와 배경 프레임 그리고 관심 영역을 기초로, 축약 동영상을 생성한다.
Description
본 발명은 영상 축약 시스템 및 방법에 관한 것이다.
급격히 증가하는 범죄로부터 국민들의 불안감을 해소하고, 범죄를 예방하기 위해 방법용 CCTV가 많이 설치되고 있다. CCTV는 범죄 예방과 동시에 범인 검거와 증거 확보에 결정적 역할을 할 뿐만 아니라, 다양한 마케팅에도 사용될 수 있다.
대부분의 CCTV가 실시간 녹화를 원칙으로 하고 있으므로, 전날 녹화본은 24시간의 영상으로 저장, 관리된다. 그러나, 24시간동안 촬영된 영상 전체를 확인하는 것은 매우 어려운 일이므로, 녹화 영상을 축약한 축약본으로 전날의 상황을 확인하게 된다.
이에 따라, 다양한 영상 축약 방법이 제시되고 있는데, 크게 3 가지 방법으로 정리할 수 있다. 첫 번째 방법으로는 단순히 전체 영상을 N개의 프레임 단위로 건너뛰어 영상 길이를 줄이는 방법이 있다. 두 번째 방법으로는 이벤트가 일어난 영상들만 추출하는 방법이고, 마지막으로 오브젝트를 추출하여 보여주는 축약 방법이 있다.
이러한 종래 방법들을 이용하여 영상을 축약하는 경우, 영상을 확인하는 사용자가 검토할 수 있는 범위(예를 들어, 영상 속도, 출현 오브젝트 수 등)를 전혀 고려하지 않은 단순 축약 영상이므로, 사용자가 앞뒤로 영상을 움직이면서 반복 시청해야 하는 문제가 있다. 또한, 이벤트(예를 들어, 출입 이벤트, 오브젝트 분석/카운트 등)와 오브젝트 정보, 그리고 검색 등의 결과물을 얻기 위해서는, 원본 영상에 접근하여 정보를 얻어야 하기 때문에, 대용량의 원본 영상이 반드시 저장, 유지되어야 하는 단점이 있다.
따라서, 본 발명은 이벤트 및 오브젝트 데이터에 따라 영상을 축약하고, 다양한 설정을 통해 가시성 높은 축약 영상을 제공하는 시스템 및 방법을 제공한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 영상 축약 시스템이 입력 영상을 축약하는 방법은,
영상 스트림에서 배경 프레임과 오브젝트들 각각의 오브젝트 정보를 추출하는 단계; 상기 배경 프레임의 일정 영역에 설정된 관심 영역을 입력 받는 단계; 추출한 오브젝트들을 큐 오브젝트로 선택하는 단계; 및 상기 큐 오브젝트와 배경 프레임 그리고 관심 영역을 기초로, 축약 동영상을 생성하는 단계를 포함한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 입력 영상을 축약하는 시스템은,
영상 축약 프로그램을 저장하는 메모리; 및 상기 메모리와 연동하여 상기 영상 축약 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 영상 스트림으로부터 추출된 오브젝트들에 대한 큐 오브젝트와 상기 영상 스트림으로부터 추출된 배경 프레임, 그리고 상기 배경 프레임의 일정 영역에 설정된 관심 영역을 기초로 축약 동영상을 생성한다.
본 발명에 따르면 CCTV를 관제해야 하는 보안 관제 요원이 다수의 CCTV 영상 중에서 단시간 내에 관심 있는 영역만 검토할 수 있고, 감시해야 할 오브젝트 수의 항상성을 둘 수 있기 때문에, 보안 감시분야에서 효과적으로 보안 업무를 처리할 수 있다.
또한, 매장과 같은 비즈니스 공간에 출입하는 고객들의 출입 카운트, 고객 속성, 고객 동선 등 통계 정보로부터 유용한 마케팅 정보를, 원본 영상이 아닌 축약 영상을 통해 얻을 수 있어, 효율적인 축약 영상 탐색 및 시간/저장 장치의 절감 효과를 얻을 수 있다.
도 1은 본 발명의 실시예에 따른 영상 축약 시스템의 구조도이다.
도 2는 본 발명의 실시예에 따른 배경 프레임 생성 방법에 대한 예시도이다.
도 3은 본 발명의 실시예에 따른 메타데이터 생성 방법에 대한 흐름도이다.
도 4는 본 발명의 실시예에 따른 축약 영상 제공 방법에 대한 흐름도이다.
도 5는 본 발명의 실시예에 따른 오브젝트 합성 개념을 나타낸 예시도이다.
도 6은 본 발명의 실시예에 따른 오브젝트 레이어 축약 영상에 대한 예시도이다.
도 7은 본 발명의 실시예에 따른 객체 검색과 재생에 대한 예시도이다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 영역 설정에 대한 예시도이다.
도 9는 본 발명의 실시예에 따른 겹쳐진 오브젝트의 처리 방법에 대한 예시도이다.
도 10은 본 발명의 실시예에 따른 겹쳐진 오브젝트들의 재생 방법에 대한 예시도이다.
도 11은 본 발명의 실시예에 따른 축약 이미지 제공 방법에 대한 흐름도이다.
도 12는 종래 기술에 따른 오브젝트 합성에 대한 예시도이다.
도 13은 본 발명의 실시예에 따른 축약 이미지에 대한 예시도이다.
도 2는 본 발명의 실시예에 따른 배경 프레임 생성 방법에 대한 예시도이다.
도 3은 본 발명의 실시예에 따른 메타데이터 생성 방법에 대한 흐름도이다.
도 4는 본 발명의 실시예에 따른 축약 영상 제공 방법에 대한 흐름도이다.
도 5는 본 발명의 실시예에 따른 오브젝트 합성 개념을 나타낸 예시도이다.
도 6은 본 발명의 실시예에 따른 오브젝트 레이어 축약 영상에 대한 예시도이다.
도 7은 본 발명의 실시예에 따른 객체 검색과 재생에 대한 예시도이다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 영역 설정에 대한 예시도이다.
도 9는 본 발명의 실시예에 따른 겹쳐진 오브젝트의 처리 방법에 대한 예시도이다.
도 10은 본 발명의 실시예에 따른 겹쳐진 오브젝트들의 재생 방법에 대한 예시도이다.
도 11은 본 발명의 실시예에 따른 축약 이미지 제공 방법에 대한 흐름도이다.
도 12는 종래 기술에 따른 오브젝트 합성에 대한 예시도이다.
도 13은 본 발명의 실시예에 따른 축약 이미지에 대한 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명의 실시예에 대해 설명하기 앞서, 본 발명의 실시예에 사용되는 용어인 '축약 동영상'은 원본 영상 스트림의 러닝 타임보다 짧은 시간으로 원본 영상 스트림에 등장한 오브젝트들이 영상 속에서 노출되도록 하는 동영상을 의미한다. 축약 동영상은 사용자(또는 관제사라고도 지칭함)에 의해 입력된 선택 정보를 기초로 특정 조건의 오브젝트들만이 축약 동영상에서 노출되도록 생성될 수도 있고, 별도의 선택 조건 없이도 모든 오브젝트들이 동영상 속에서 노출되도록 생성될 수도 있다.
원본의 영상 스트림에서는 임의의 프레임에 등장하는 오브젝트의 수가 동일하지 않으나, 축약 동영상을 통해서는 모든 프레임에 동일한 수의 오브젝트가 등장할 수 있다. 영상 스트림은 촬영된 시간 순서대로 오브젝트들이 출현된다. 그러나, 축약 동영상에서는 사용자가 축약 동영상을 확인하는 임의의 시점에, 다른 시간대에서 등장한 오브젝트들이 동시에 출현하도록 하여, 축약 동영상의 실행 시간이 줄어든다.
예를 들어, 영상 스트림에서는 12시 00분에 3개의 오브젝트들이 나타났다고 가정한다. 그리고 축약 동영상을 통해서는 전체 10개의 오브젝트들이 동일한 시간에 하나의 화면상에 디스플레이 되도록, 선택 정보가 입력되었다고 가정한다. 그러면, 영상 축약 시스템은 12시 00분에 영상 스트림에서 나타났던 3개의 오브젝트들뿐만 아니라, 12시 00분 이후 또는 12시 00분 이전에 나타났던 오브젝트들 중 7개의 오브젝트들이 미리 12시 00분에 축약 동영상에서 출현되도록 한다. 이를 통해, 프레임의 건너뜀 없이도 영상 스트림을 축약하여 사용자에게 제공할 수 있다.
그리고 또 다른 용어인 '축약 이미지'는 사용자에 의해 입력된 선택 정보를 토대로 선택된 오브젝트들만, 또는 미리 정의된 행위를 취하는 적어도 하나의 오브젝트들을, 하나의 이미지에 모두 삽입되어 사용자에게 제공되는 이미지를 의미한다.
이하 도면을 참조로 하여 본 발명의 실시예에 따른 오브젝트 큐 기반의 영상 축약 시스템 및 방법에 대해 설명한다.
도 1은 본 발명의 실시예에 따른 영상 축약 시스템의 구조도이다.
도 1에 도시된 바와 같이, 영상 축약 시스템(100)은 프로세서(110), 메모리(120) 및 디스플레이(130)를 포함한다.
영상 축약 시스템(100)은 적어도 하나의 프로세서(110), 그리고 적어도 하나의 메모리(120), 그리고 디스플레이(130)를 포함하는 하드웨어, 그리고 하드웨어와 결합되어 실행되는 영상 축약 프로그램이 저장된다. 영상 축약 프로그램은 본 발명의 동작 방법을 구현한 명령어(instructions)를 포함하고, 프로세서는 메모리 장치 등의 하드웨어와 연동하여 영상 축약 프로그램을 실행한다.
프로세서(110)는 CCTV와 같은 관제 영상 수집 장치(도면 미도시)가 수집한 관제 영상의 영상 스트림을 수신한다. 그리고 프로세서(110)는 수신한 영상 스트림의 모든 프레임에서 오브젝트의 메타데이터를 생성한다.
즉, 프로세서(110)는 수신한 영상 스트림을 구성하는 모든 프레임을 확인하여, 영상 스트림에 등장하는 모든 오브젝트들을 검출한다. 프로세서(110)는 새로 검출한 오브젝트에 각각 식별 정보를 부여하며, 오브젝트가 검출된 프레임 식별 정보도 확인한다. 이때, 오브젝트가 이미 전 프레임에서 검출되었다면, 프로세서(110)는 해당 오브젝트에 오브젝트 식별 정보를 부여하지 않는다.
본 발명에서 프로세서(110)가 확인한 프레임 식별 정보는, 관제 영상 수집 장치가 영상 스트림을 수집하는 시점에 프레임에 자동 할당하는 것을 예로 하여 설명한다. 프로세서(110)가 프레임에서 오브젝트를 검출하는 방법은 여러 방법으로 수행할 수 있으며, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
프로세서(110)는 식별 정보가 부여된 오브젝트가 몇 개의 프레임에서 검출되었는지, 오브젝트의 검출 횟수를 카운트한다. 프로세서(110)는 오브젝트의 검출 횟수가 미리 설정한 임계값 보다 많은지 확인한다.
만약 오브젝트 검출 횟수가 임계값 보다 작으면, 프로세서(110)는 임계값 보다 적게 검출된 오브젝트를 임시 오브젝트로 설정한다. 임시 오브젝트라 함은 축약 동영상 또는 축약 이미지 생성 시 배경 프레임에 삽입되지 않는 오브젝트로, 프로세서(110)는 임시 오브젝트의 이동 경로나 임시 오브젝트의 행동 패턴을 추적하지 않는다.
그러나, 오브젝트 검출 횟수가 임계값 보다 크면, 프로세서(110)는 임계값 보다 많이 검출된 오브젝트를 유효 오브젝트로 설정한다. 프로세서(110)는 이후 유효 오브젝트를 모든 프레임에서 추적하여, 오브젝트 추적 정보를 생성한다. 오브젝트 추적 정보에는 오브젝트의 좌표 정보, 오브젝트의 크기 정보, 오브젝트의 대표 색 정보 그리고 오브젝트 식별 정보가 포함되어 있다. 대표 색 정보를 추출하는 방법은 이후 설명한다.
프로세서(110)는 추적한 적어도 하나 이상의 유효 오브젝트 각각에 대하여, 오브젝트 메타데이터를 생성한다. 본 발명의 실시예에서는 프로세서(110)가 오브젝트 메타데이터를 프레임별로 생성하는데, 오브젝트 메타데이터에는 프레임 식별 정보, 그리고 해당 프레임에서 검출된 모든 유효 오브젝트들의 오브젝트 추적 정보가 포함되어 있다.
프로세서(110)는 하나의 유효 오브젝트에 대해 프레임 검출 횟수에 따라 복수의 오브젝트 추적 정보를 추출한다. 하나의 유효 오브젝트에 대한 복수의 오브젝트 추적 정보를 모아, 유효 오브젝트의 오브젝트 정보라고 지칭한다. 오브젝트 정보는 오브젝트 식별 정보, 오브젝트가 영상 스트림에 처음 등장한 시간 정보, 오브젝트의 종류(사람 또는 사물), 오브젝트의 크기 정보, 오브젝트 위치 정보와 오브젝트가 취한 행동 정보, 그리고 오브젝트 대표 색 정보, 오브젝트 출현 시간 정보 등을 포함한다.
프로세서(110)는 복수의 오브젝트 추적 정보에 포함되어 있는 오브젝트의 좌표 정보를 토대로, 유효 오브젝트의 이동 경로를 확인할 수 있다. 그리고, 프로세서(110)는 복수의 크기 정보를 토대로 유효 오브젝트의 행동을 추적한다. 여기서 위치 정보는 유효 오브젝트가 하나의 프레임에 나타난 위치 좌표를 의미한다. 크기 정보는 유효 오브젝트의 가로 길이와 세로 길이로 구성된 값을 의미한다.
메모리(120)는 프로세서(110)가 생성한 오브젝트 메타데이터를 저장한다. 오브젝트 메타데이터는 프레임별로 저장, 관리된다. 본 발명의 실시예에서는, 메모리(120)가 오브젝트 메타데이터를 쿼리 형태로 저장하는 것을 예로 하여 설명한다. 한편, 오브젝트 메타 데이터는 다른 저장 장치(도면 미도시)에 저장될 수도 있다.
메모리(120)는 본 발명의 실시예에 따라 축약 동영상을 생성하기 위한 명령어들을 저장한다. 또한, 메모리(120)는 프로세서(110)가 생성한 축약 동영상 또는 축약 이미지를 저장한다.
메모리(120)는 외부로부터 입력되는 행위 판별 정보를 수신하여 저장한다. 이는, 복수의 오브젝트들 중 이상 행위를 취하는 오브젝트 또는, 사용자 입력에 의한 선택 오브젝트들만을 모아, 축약 이미지로 사용자에게 제공하기 위함이다.
행위 판별 정보는 이상 행위 정보, 이상 행위에 따른 우선 순위 정보, 그리고 오브젝트가 임의의 행위(걷기, 뛰기, 문 통과하기 등)를 실행할 때의 행위 정보 등을 포함한다. 이상 행위 정보나 행위 정보를 수집하는 방법은 여러 방법으로 수집할 수 있으며, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하여 설명하지 않는다.
디스플레이(130)는 메모리(120)에 저장되어 있는 축약 동영상 또는 축약 이미지를 사용자에게 출력한다.
다음에서 프로세서(110)가 영상 스트림을 축약하는 방법에 대해 설명한다.
프로세서(110)는 영상 스트림에서 배경 프레임을 추출한다. 그리고 프로세서(110)는 추출한 배경 프레임에, 메모리(120)에 저장된 메타데이터를 이용하여 축약 동영상을 생성한다.
사용자에게 제공되는 축약 동영상에서도 배경이 실제 시간의 흐름(예를 들어, 낮에서 밤으로, 또는 밤에서 낮으로)과 유사하게 보이도록 하기 위하여, 프로세서(110)는 복수 개의 배경 프레임을 추출한다. 프로세서(110)는 추출한 복수의 배경 프레임에, 배경 프레임 식별 정보와 배경 프레임에 대한 시간 정보를 할당한다. 여기서 프로세서(110)는 영상 스트림에서 여러 방법으로 배경 프레임을 추출할 수 있으며, 본 발명의 실시예에서는 다음과 같은 방법을 예로 하여 설명한다.
프로세서(110)는 배경으로 삼을 복수의 배경 후보 프레임을 선택한다. 프로세서(110)는 영상 스트림이 촬영된 시점의 빛의 밝기에 따라 배경 후보 프레임을 선택할 수 있다. 즉, 이전 배경 후보 프레임과 현재 프레임의 HSV(Hue Saturation Value) 컬러 도메인(color domain)의 히스토그램(histogram)을 구한다.
프로세서(110)는 두 히스토그램의 거리측도(distance metric)에 대한 유사도 측정 값을, 상관 관계(correlation)를 이용하여 계산한다. 프로세서(110)는 계산한 유사도 측정값이 미리 설정한 임계값 이하를 나타내는 프레임을, 배경 후보 프레임으로 추출한다. 프로세서(110)가 HSV 컬러 도메인의 히스토그램을 구하는 방법이나, 두 히스토그램의 거리측도에 대한 유사도 측정값을 상관 관계를 이용하여 계산하는 방법은 여러 방법으로 계산할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
프로세서(110)가 복수의 배경 후보 프레임을 선택하는 과정에서, 이전에 배경 후보 프레임이 없는 경우에는, 오브젝트의 유무에 상관 없이 첫 번째 시작 프레임을 첫 번째 배경 후보 프레임으로 사용한다.
복수의 배경 후보 프레임이 선정되면, 프로세서(110)는 축약 동영상 생성시 오브젝트를 합성할 배경 프레임을 선정한다. 배경 프레임 선정 방법은 다음 두 가지로 나누어 설명할 수 있다.
첫 번째 방법은 배경 후보 프레임에 오브젝트가 없는 경우의 배경 프레임을 선정하는 방법이다. 배경 후보 프레임에 오브젝트가 없다면, 프로세서(110)는 해당 배경 후보 프레임을 배경 프레임으로 선정한다.
두 번째 방법은, 배경 후보 프레임에 오브젝트가 있는 경우 배경 프레임을 선정하는 방법이다. 배경 후보 프레임에 오브젝트가 존재한다면, 프로세서(110)는 메모리(120)에 저장된 오브젝트 메타데이터를 참조하여, 배경 후보 프레임에 인접한 다음 프레임들을 토대로 배경 후보 프레임과 다음 프레임들 사이의 오브젝트 영역 겹침을 확인한다. 이에 대해, 도 2를 참조로 먼저 설명한다.
도 2는 본 발명의 실시예에 따른 배경 프레임 생성 방법에 대한 예시도이다.
도 2에 도시된 바와 같이, 배경 1로 나타낸 프레임이 배경 후보 프레임이라 가정하고, 배경 2로 나타낸 프레임이 배경 후보 프레임의 인접한 다음 프레임이라고 가정한다. 그러면 프로세서(110)는 두 프레임(배경 1, 배경 2)을 비교하여 오브젝트의 영역 겹침 여부를 확인한다.
영역 겹침 여부를 확인한 결과, 프로세서(110)는 배경 1에 나타난 두 오브젝트의 영역과 배경 2에 나타난 두 오브젝트의 영역이 서로 겹쳐지지 않은 영역에 나타나 있는 것을 확인할 수 있다. 이에 따라, 프로세서(110)는 두 프레임에서 각각 오브젝트 영역을 지운다. 그리고, 프로세서(110)는 두 프레임을 논리 연산하여 오브젝트가 없는 배경 프레임으로 만들어 추출한다.
이와 같이 복수의 배경 프레임들은 하나의 영상 스트림에서 띄엄띄엄 추출되었기 때문에, 축약 동영상이 재생될 때 이전 배경 프레임에서 다음 배경 프레임으로 전환 시 끊겨 보이는 현상이 발생할 수 있다. 따라서, 프로세서(110)는 두 배경 프레임 사이의 자연스러운 전환을 위해, 이전 배경 프레임에 대한 프레임 식별 번호와 다음 배경 프레임에 대한 프레임 식별 번호를 토대로, 두 배경 프레임 사이에 존재하는 프레임 수를 계산한다. 그리고, 프로세서(110)는 계산한 프레임 수를 토대로, 두 배경 프레임에 대한 이미지를 알파 블렌딩(alpha blending)한다.
배경 프레임의 알파 블렌딩에 대해 예를 들어 설명하면, 프로세서(110)는 축약 동영상에 삽입될 오브젝트 레이어 수와 전체 영상 스트림의 프레임 수를 토대로 축약 동영상의 총 길이를 계산할 수 있다. 그리고, 프로세서(110)는 축약 동영상의 총 길이와 배경 프레임의 수를 토대로, 각 배경 프레임이 축약 동영상에 배치될 배치 인덱스를 구할 수 있다. 여기서, 프로세서(110)가 축약 동영상의 총 길이를 계산하는 방법이나 배경 프레임이 배치될 배치 인덱스를 구하는 방법은 여러 방법으로 수행할 수 있으며, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
만약 5개의 배경 프레임이 추출되었고, 축약 동영상의 길이가 20분, 그리고 1분에 40프레임으로 구성된 축약 동영상이라고 가정하면, 프로세서(110)는 5개의 배경 프레임을 축약 동영상의 어느 위치에 삽입할지를 구할 수 있다. 프로세서(110)는 축약 동영상이 재생될 때 나타나는 배경을 두 개의 배경 프레임의 알파 블렌딩을 통해 제공한다.
예를 들어, 프로세서(110)는 축약 동영상의 구간을 다음 4개의 구간으로 나누는데, 제1 구간을 0분~5분, 제2 구간을 5분~10분, 제3 구간을 10~15분, 제4 구간을 15~20분이라 가정한다. 프로세서(110)는 제1 구간동안의 축약 동영상이 재생될 때 나타나는 배경을 제1 배경 프레임과 제2 배경 프레임의 알파 블렌딩을 통해 제공한다.
즉, 제1 구간의 프레임 수는 200프레임(5분*40프레임)이고, 프로세서(110)는 이 제1 구간 동안 제1 배경 프레임과 제2 배경 프레임을 알파 블렌딩하여 사용한다. 이와 마찬가지로 프로세서(110)는 제2 구간에서는 제2 배경 프레임과 제3 배경 프레임을 알파 블렌딩하고, 제3 구간에서는 제3 배경 프레임과 제4 배경 프레임을, 제4 구간에서는 제4 배경 프레임과 제5 배경 프레임을 알파 블렌딩하여 제공한다.
하나의 구간만을 설명하면, 프로세서(110)가 제1 구간인 0분~5분 사이에 제1 배경 프레임과 제2 배경 프레임을 알파 블렌딩할 경우, 프로세서(110)는 제1 프레임에서는 제1 배경 프레임에 대한 알파 값(이하, '제1 알파값'이라 지칭함)을 100%, 제2 배경 프레임에 대한 알파 값(이하, '제2 알파값'이라 지칭함)을 0%로 하여 두 배경 프레임을 알파 블렌딩한다. 여기서 알파값이라 함은, 두 배경 프레임을 알파 블렌딩할 때, 각각의 배경 프레임에 대한 투명도를 의미한다.
그리고 제1 구간의 마지막 프레임인 200번 프레임에서는, 프로세서(110)는 제1 알파값을 0%, 제2 알파값을 100%로 하여 두 배경 프레임을 알파 블렌딩한다. 이때, 프로세서(110)는 0번 프레임부터 200번 프레임까지의 알파 값을 프레임마다 증가시키거나 감소시켜 알파 블렌딩한다.
즉, 프레임이 하나씩 증가할 때 마다 프로세서(110)는 제1 알파 값은 0.5%씩 감소하고, 제2 알파 값은 0.5%씩 증가시켜 알파 값을 설정한다. 이러한 규칙에 따르면, 두 번째 프레임에서의 제1 알파값은 99.5%, 제2 알파값은 0.5%가 된다. 본 발명에서는 이상에서 설명한 방법으로 프로세서(110)가 알파값을 설정하여 두 배경 프레임을 알파 블렌딩한 후 배경 프레임으로 제공하는 것을 예로 하여 설명하였으나, 반드시 이와 같이 한정되는 것은 아니다.
프로세서(110)가 프레임의 알파 블렌딩을 통해, 축약 동영상의 배경 프레임이 갑자기 낮에서 밤으로, 또는 밤에서 낮으로 전환되는 현상을 막고 자연스럽게 배경이 전환되어 축약 동영상으로 제공할 수 있다.
이와 같이 배경 프레임이 추출되면, 프로세서(110)는 메모리(120)에 저장된 오브젝트 메타데이터를 토대로 생성되는 오브젝트 정보를 배경 프레임에 합성하여, 축약 동영상을 생성한다. 프로세서(110)는 선택 정보를 통해 축약 동영상을 다양한 방법으로 생성할 수 있으며, 이에 대해 이후 설명한다.
프로세서(110)는 배경 프레임과 오브젝트 정보를 기초로 축약 동영상을 생성할 때, 사용자에 의해 선택 정보가 입력되면 이를 이용하여 다양한 방법으로 축약 동영상을 생성하게 된다. 여기서 선택 정보는 임의의 영역이 지정된 관심 영역 정보, 축약 동영상에서 한 화면에 노출시킬 최대 오브젝트의 수, 확인하고자 하는 선택 오브젝트 정보, 검색하고자 하는 오브젝트 검색 정보 중 어느 하나의 정보를 포함한다.
만약 선택 정보에 최대 오브젝트의 수가 포함되어 있다면, 최대 오브젝트의 수만큼의 오브젝트들이 동시에 축약 동영상에 노출될 수 있도록 하기 위하여, 프로세서(110)는 최대 오브젝트 수만큼의 오브젝트 레이어를 생성한다. 이때, 최대 오브젝트 수가 선택 정보에 포함되어 있지 않으면, 프로세서(110)는 미리 설정한 수만큼의 오브젝트 레이어를 생성하거나 추출한 오브젝트 수만큼 오브젝트 레이어를 생성할 수도 있다.
프로세서(110)는 추출한 오브젝트들을 큐에 삽입한 후, 큐에서 오브젝트 레이어에 하나씩 할당한다. 여기서, 프로세서(110)에 의해 큐에 삽입된 오브젝트를 '큐 오브젝트'라 지칭한다. 큐에 삽입되는 오브젝트들은 사용자에 의해 선택된 오브젝트이거나, 사용자가 검색하고자 하는 오브젝트 또는 선택 정보에 의해 추출된 오브젝트 중 어느 하나이다.
본 발명의 실시예에서는 큐 오브젝트를 오브젝트 레이어에 삽입한 후, 배경 프레임에 합성하는 것을 예로 하여 설명한다. 그러나, 프로세서(110)가 큐에 삽입된 큐 오브젝트를 바로 배경 프레임에 합성할 수도 있다.
이를 위해, 프로세서(110)는 큐 선택 정보를 최대 오브젝트 수만큼 설정하고, 큐 선택 정보에 저장되어 있는 큐 오브젝트들을 배경 프레임에 합성한다. 예를 들어, 최대 오브젝트 수가 5개라고 가정한다면, 프로세서(110)는 큐 선택 정보를 5로 설정하여, 5개의 큐에 삽입된 큐 오브젝트들을 배경 프레임에 합성한다.
프로세서(110)는 축약 동영상에서 재생될 큐 오브젝트들을 배경 프레임에 배치함에 있어, 오브젝트들이 동일한 공간상에서 겹치지 않도록 오브젝트 레이어에 큐 오브젝트들을 부여한다.
또는, 프로세서(110)는 큐 오브젝트들을 배경 프레임에 배치함에 있어, 오브젝트들이 동일한 공간 상에 겹쳐져도 무방하게, 오브젝트 레이어에 큐 오브젝트를 부여할 수도 있다.
오브젝트들이 동일한 공간 상에 겹쳐질 경우, 프로세서(110)는 사용자에 의해 입력되는 관심 영역을 토대로, 오브젝트들이 겹쳐지지 않도록 축약 동영상 또는 축약 이미지를 생성하는 첫 번째 방법을 이용하여 사용자에게 제공할 수 있다. 또는 프로세서(110)가 사전에 오브젝트들간의 겹침을 파악하여, 오브젝트들이 겹쳐지지 않도록 축약 동영상 또는 축약 이미지를 생성하는 두 번째 방법을 이용하여 사용자에게 제공할 수도 있다.
첫 번째 방법으로 사용자가 축약 동영상을 확인하는 과정에서 오브젝트들이 겹쳐진 부분을 관심 영역으로 선택하면, 프로세서(110)는 관심 영역 내에서 겹쳐지는 복수의 오브젝트들을 펼쳐 나열한 후 별도의 축약 이미지 또는 축약 동영상으로 제공한다. 여기서 프로세서(110)는 오브젝트들을 나열할 때, 오브젝트들이 영상 스트림에 최초 출현한 출현 시간 순서로 나열한다. 본 발명의 실시예에서는 프로세서(110)가 겹쳐진 오브젝트들을 출현 시간 순서로 나열하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
두 번째 방법으로 관심 영역이 선택되지 않았다고 가정하면, 프로세서(110)는 임의의 위치에서 이동하는 적어도 둘 이상의 오브젝트가 겹쳐지는지를 오브젝트의 이동 경로 정보를 토대로 확인한다. 그리고 복수의 오브젝트가 임의의 위치에서 겹쳐질 것으로 예측하면, 프로세서(110)는 겹쳐짐이 발생하는 위치를 기준으로 주변 영역의 크기를 조절하여 오브젝트들이 겹쳐지지 않도록 설정할 수 있다. 또는, 프로세서(110)는 겹쳐짐이 발생하는 위치를 지나는 복수의 오브젝트들을 재배치하여 오브젝트들이 겹쳐지지 않도록 설정할 수 있다. 이에 대해서는 이후 상세히 설명한다.
프로세서(110)는 수신한 선택 정보에 오브젝트를 검색하기 위한 오브젝트 검색 정보가 포함되어 있으면, 프로세서(110)는 오브젝트 검색 정보에 대응하는 오브젝트들만을 축약 동영상으로 생성한다.
또한, 프로세서(110)는 메모리(120)에 저장되어 있는 행위 판별 정보와 비교하여 이상 행위를 취하는 오브젝트가 있으면, 이상 행위를 취하는 오브젝트들을 축약 이미지로 생성한다. 만약 이상 행위를 취하는 오브젝트의 수가 많거나 검색된 오브젝트 수가 많을 경우에는, 프로세서(110)는 복수의 축약 이미지를 생성할 수도 있다.
그리고 프로세서(110)는 축약 이미지로 제공된 오브젝트들 중 임의의 오브젝트에 대한 오브젝트 선택 정보를 수신하면, 오브젝트 선택 정보를 토대로 별도로 축약 동영상을 생성한다.
프로세서(110)는 유효 오브젝트 각각에 대한 오브젝트 대표 색을 추출하기 위하여, 오브젝트의 크기 정보를 토대로 상위 영역과 하위 영역으로 구분 짓는다. 본 발명의 실시예에서는 크기 정보에서 상위 영역과 하위 영역을 구분 짓는 기준점을 어느 하나로 한정하지 않는다.
그리고, 상위 영역과 하위 영역 각각에서 RGB값 중 가장 많은 비율을 가지는 값을 대표 값으로 추출하여, 상의 색과 하의 색으로 설정한다. 프로세서(110)가 상위 영역과 하위 영역에서 나타나는 색을 RGB 값과 비교하여 대표 값을 추출하는 방법은 여러 방법으로 실행할 수 있으며, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다. 또한, 본 발명의 실시예에서는 오브젝트들의 대표 색을 상의 색과 하의 색 두 가지로 예를 들어 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
오브젝트 대표 색은 오브젝트의 식별 정보, 영역 정보 등과 함께 오브젝트 메타데이터로 메모리(120)에 저장된다. 본 발명의 실시예에서는 오브젝트 대표 색을 추출하여 제공하는 것을 예로 하여 설명하나, 얼굴 특징 정보, 차량 특징 정보 등 검색에 활용될 수 있는 다양한 정보들이 메타데이터로 저장될 수도 있다. 프로세서(110)는 오브젝트 대표 색을, 영상 스트림에서 유효 오브젝트로 추출된 시점에 함께 추출하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
그리고, 프로세서(110)는 관심 영역 내에 적어도 하나 이상의 오브젝트들이 위치하거나 오브젝트들이 관심 영역을 지나가면, 관심 영역에 진입한 순서대로 오브젝트들을 나열하여 별도의 축약 이미지로 제공한다. 여기서 관심 영역은 사용자에 의해 미리 지정되었거나, 축약 동영상 재생시 사용자에 의해 설정된 영역이다. 관심 영역은 하나만 설정될 수도 있고 복수 개 설정될 수도 있다.
하나의 관심 영역이 설정되어 있다고 가정하면, 프로세서(110)는 관심 영역 내에 이미 위치한 적어도 하나의 오브젝트들을 관심 영역에 진입한 순서대로 나열하여 축약 이미지로 제공한다. 관심 영역에 위치한 오브젝트들은 관심 영역 내에서 겹쳐진 상태로 위치할 수도 있고, 겹치지 않은 상태로 위치할 수도 있다. 프로세서(110)는 오브젝트들이 관심 영역에 진입한 순서를 오브젝트 정보를 토대로 확인할 수 있으며, 확인 방법은 여러 방법으로 수행할 수 있으므로 본 발명의 실시예에서는 상세한 설명을 생략한다.
또한, 하나의 관심 영역이 설정되어 있는 경우, 프로세서(110)는 관심 영역을 지나쳐 가는 적어도 하나 이상의 오브젝트들을 나열하여 축약 이미지로 제공한다. 여기서 관심 영역을 지나쳐 가는 오브젝트들이 관심 영역 내에서 겹쳐진 채로 지나쳐 갈 수도 있고, 겹치지 않은 채 지나쳐 갈 수도 있다. 그리고 프로세서(110)는 오브젝트들의 동선 정보를 토대로 관심 영역을 지나는 오브젝트들을 추출하여 축약 이미지로 제공하는데, 오브젝트들이 관심 영역에 진입한 순서대로 나열하여 제공한다.
한편, 복수의 관심 영역이 설정되어 있는 경우, 프로세서(100)는 복수의 관심 영역을 모두 지나는 오브젝트들의 동선을 분석하여, 관심 영역을 모두 통과한 순서대로 축약 이미지로 나열하여 제공한다. 이때, 오브젝트들은 복수의 관심 영역 중 어느 하나의 관심 영역에서 겹쳐져서 축약 동영상에서 노출될 수도 있고, 겹치지 않은 채로 축약 동영상에서 노출될 수도 있다. 그리고, 본 발명의 실시예에서는 관심 영역을 모두 통과한 순서대로 축약 이미지로 나열하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
프로세서(110)는 수신한 선택 정보에 임의의 영역에 대한 관심 영역 정보가 포함되어 있으면, 관심 영역 안과 관심 영역 밖에서의 오브젝트의 재생 속도에 변화를 준다. 예를 들어, 오브젝트가 관심 영역 안으로 진입할 경우, 관심 영역 내 오브젝트의 재생 속도를 관심 영역 밖에서의 오브젝트 재생 속도보다 빠르게 재생하거나 느리게 재생하도록 제어한다.
여기서 관심 영역은 복수의 오브젝트가 동일한 위치에 겹쳐져서 재생되거나, 사용자가 관심을 갖는 임의의 영역 중 어느 하나를 의미한다. 하나의 관심 영역 내에 해당 관심 영역보다 작은 범위로 또 다른 관심 영역이 중첩되어 선택될 수도 있고, 일부 영역만이 중첩되어 선택될 수도 있다.
이상에서 설명한 영상 축약 시스템(100)을 이용하여 메타데이터를 생성하는 방법에 대해 도 3을 참조로 설명한다.
도 3은 본 발명의 실시예에 따른 메타데이터 생성 방법에 대한 흐름도이다.
도 3에 도시된 바와 같이, 프로세서(110)는 관제 영상 수집 장치가 수집한 관제 영상인 영상 스트림을 수신한다(S100). 프로세서(110)는 S100 단계에서 수신한 영상 스트림을 구성하는 모든 복수의 프레임을, 시작 프레임인 첫 번째 프레임부터 확인한다(S110).
확인한 프레임에 오브젝트가 포함되어 있으면, 프로세서(110)는 해당 프레임에 포함되어 있는 적어도 하나의 모든 오브젝트들을 검출한다(S120). 프로세서(110)는 S120 단계에서 검출한 적어도 하나의 오브젝트 각각에 식별 정보를 부여한다. 그리고, 프로세서(110)는 현재 확인하고 있는 프레임에 대한 프레임 식별 정보도 확인한다.
프로세서(110)는 식별 정보가 부여된 오브젝트의 검출 횟수를 카운트하여, 영상 스트림에서 검출된 검출 횟수가 미리 설정한 임계값 보다 많은지 확인한다(S130). 여기서, 오브젝트 식별 정보는 오브젝트가 최초로 영상 스트림에 등장한 시점에 프로세서(110)가 할당하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
만약 오브젝트 검출 횟수가 미리 설정한 임계값 보다 적은 경우, 프로세서(110)는 검출한 오브젝트와 오브젝트에 대한 식별 정보는 임시 오브젝트로 설정한다(S140).
그러나, 오브젝트가 검출된 횟수가 임계값 보다 많은 경우, 프로세서(110)는 해당 오브젝트를 유효 오브젝트로 설정한다. 프로세서(110)는 오브젝트의 이동 경로 또는 오브젝트의 행동 등을 파악하기 위하여, 유효 오브젝트로 설정된 오브젝트를 처음 검출된 프레임부터 확인하여 추적한다(S150).
프로세서(110)는 S150 단계에서 오브젝트를 추적하면서, 유효 오브젝트 각각에 대한 오브젝트 추적 정보도 생성한다. 오브젝트 추적 정보는 현재 프레임에서 오브젝트의 좌표 정보와 오브젝트의 크기 정보, 오브젝트 대표 색 정보 그리고 오브젝트 식별 정보를 포함한다. 이를 위해, 프로세서(110)는 S150 단계에서 오브젝트를 추적하면서, 오브젝트에 대한 오브젝트 대표 색도 추출한다.
프로세서(110)는 S150 단계에서 생성한 오브젝트 추적 정보를 토대로 오브젝트 메타데이터를 생성한다(S170). 여기서, 오브젝트가 오브젝트 추적 정보가 생성된 프레임에서 최초로 나타났다면, 프로세서(150)는 현재 프레임에 대한 시간 정보를 오브젝트의 출현 시간 정보로 설정하여 오브젝트 메타데이터에 함께 저장할 수도 있다.
그리고 프로세서(110)는 생성한 오브젝트 메타데이터를 메모리(120)로 전달하여 저장한다. 여기서, 오브젝트 메타데이터는 프레임별로 메모리(120)에 저장되는데, 오브젝트 메타 데이터는 프레임 식별 정보와 해당 프레임에 검출한 모든 오브젝트들의 오브젝트 추적 정보를 포함한다.
프로세서(110)가 메타데이터를 생성하는 방법에 대해 예를 들어 설명하면 다음과 같다. 프로세서(110)가 12시간짜리 영상 스트림을 수신하였다고 가정하고, 영상 스트림이 초당 30프레임으로 촬영되었다고 가정한다.
그러면, 프로세서(110)는 시작 프레임인 첫 번째 프레임부터 검토하여, 모든 오브젝트들을 추출한다. 여기서 추출한 오브젝트 중 처음 영상 스트림에 등장한 오브젝트가 있다면, 프로세서(110)는 오브젝트에 대한 식별 정보를 생성한다. 그리고, 추출한 오브젝트들이 이후 등장하는 프레임에서도 검출되는지 확인하고, 확인한 오브젝트의 검출 횟수가 미리 설정한 임계값 보다 많은지 확인한다.
만약 검출 횟수가 임계값 보다 적은 경우에는, 프로세서(110)는 해당 오브젝트가 벌레나 먼지 등과 같이 관제에 영향을 주지 않는 오브젝트로 인식하여, 임시 오브젝트로 설정한다. 그러나, 오브젝트의 검출 횟수가 임계값 보다 많은 경우, 해당 오브젝트는 관제가 필요한 오브젝트일 가능성이 높을 수 있다.
따라서, 프로세서(110)는 임계값보다 많이 검출된 오브젝트를 유효 오브젝트로 설정한다. 그리고, 오브젝트가 최초 등장한 프레임부터 시작하여 이후 프레임들을 확인하여, 유효 오브젝트의 이동 경로나 유효 오브젝트가 취한 행동 등을 파악하기 위하여 오브젝트를 추적한다. 그리고 프로세서(110)는 추적한 유효 오브젝트에 대한 오브젝트 추적 정보를 생성하여, 프레임 식별 정보와 함께 오브젝트 메타 데이터로써 저장, 관리한다.
이상에서 설명한 방법으로 오브젝트 메타데이터를 생성한 후, 프로세서(110)가 오브젝트 메타데이터를 이용하여 축약 동영상을 제공하는 방법에 대해 도 4를 참조로 설명한다.
도 4는 본 발명의 실시예에 따른 축약 동영상 제공 방법에 대한 흐름도이다.
도 4에 도시된 바와 같이, 프로세서(110)는 먼저 영상 스트림을 이루고 있는 복수의 프레임에서 복수의 배경 후보 프레임을 추출한다(S200). 복수의 배경 후보 프레임이 선정되면, 프로세서(110)는 축약 동영상 생성시 오브젝트를 합성할 복수의 배경 프레임을 추출한다(S210).
이는 사용자에게 제공되는 축약 동영상의 배경이 실제 시간의 흐름(예를 들어, 낮에서 밤으로, 또는 밤에서 낮으로)과 유사하게 보이도록 하기 위함이며, 프로세서(110)는 복수 개의 배경 프레임을 추출할 수 있다. 그리고 추출된 복수의 배경 프레임에는 배경 프레임 식별 정보와 배경 프레임에 대한 시간 정보가 포함되어 있다.
먼저, 배경 후보 프레임에 오브젝트가 없는 경우에는, 프로세서(110)는 해당 배경 후보 프레임을 배경 프레임으로 추출한다. 그러나 배경 후보 프레임에 오브젝트가 존재한다면, 프로세서(110)는 메모리(120)에 저장된 오브젝트 메타데이터를 참조하여, 배경 후보 프레임에 인접한 다음 프레임을 이용하여 오브젝트 영역 겹침을 확인한다.
그리고 두 프레임에 각각 나타난 오브젝트의 영역들이 겹쳐지지 않으면, 프로세서(110)는 두 프레임에서 각각 오브젝트 영역을 지운다. 그리고, 프로세서(110)는 두 프레임을 논리 연산하여 오브젝트가 없는 배경 프레임으로 만들어 추출한다.
S200 단계를 통해 배경 프레임이 추출되면, 프로세서(110)는 메모리(120)에 저장되어 있는 오브젝트 메타데이터를 토대로, 영상 스트림에서 추출된 오브젝트를 큐에 삽입한다(S220). 큐에 삽입된 오브젝트를 "큐 오브젝트"라 지칭한다. 프로세서(110)는 미리 설정된 수, 추출된 오브젝트 수, 또는 사용자가 입력된 선택 정보에 의한 최대 오브젝트 수 중 어느 하나의 수만큼 오브젝트 레이어를 생성한다(S230).
본 발명의 실시예에서는 프로세서(110)가 오브젝트 레이어를 생성하는 것을 예로 하여 설명하나, 큐 오브젝트를 큐에서 직접 배경 프레임에 삽입할 경우를 대비하여 프로세서(110)가 어느 하나의 수에 대한 큐 선택 정보를 설정할 수도 있다. 프로세서(110)는 여러 방법으로 오브젝트 레이어를 생성하거나 큐 선택 정보를 설정할 수 있으며, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
본 발명의 실시예에서는 설명의 편의를 위하여, 프로세서(110)가 선택 정보에 포함되어 있는 최대 오브젝트 수만큼의 오브젝트 레이어를 생성하는 것을 예로 하여 설명한다. S230 단계에서 오브젝트 레이어가 생성되면, 프로세서(110)는 큐에 삽입된 큐 오브젝트의 오브젝트 정보를 오브젝트 레이어에 할당한다(S240).
오브젝트 레이어에 오브젝트 정보가 할당되기 때문에, 사용자는 해당 오브젝트가 어느 방향으로 이동하고, 언제 영상 스트림에 나타났으며, 오브젝트가 어떤 형태/크기인지, 오브젝트의 식별 정보가 무엇인지, 오브젝트의 대표 색이 무엇인지를 축약 동영상을 통해 파악할 수 있다.
프로세서(110)는 S240 단계에서 오브젝트 정보가 할당된 오브젝트 레이어를 S210 단계에서 추출한 배경 프레임에 합성한다(S250). 프로세서(110)가 오브젝트 레이어를 배경 프레임에 합성할 때, 오브젝트가 최초 나타난 오브젝트 출현 시간 정보와 배경 프레임의 시간 정보를 토대로 오브젝트 레이어를 배경 프레임에 합성한다. 즉, 오브젝트가 오전에 나타났다면, 프로세서(110)는 오전 시간대에 대한 배경 프레임에 오브젝트 레이어를 합성한다.
그리고, 프로세서(110)가 오브젝트 레이어를 배경 프레임에 합성할 때, 배경 프레임과 차이가 있는 부분 즉, 오브젝트가 나타난 위치만 마스크 영역으로 설정하고, 마스크 영역을 확장, 폐색 및 필터링하여 자연스럽게 배경 프레임과 합성되도록 한다. 또한, 프로세서(110)가 오브젝트 레이어를 배경 프레임에 합성할 때, 오브젝트들이 동일한 공간에 겹쳐지지 않도록 합성할 수도 있고, 동일한 공간상에 겹쳐지더라도 큐에 삽입된 순서대로 오브젝트 레이어를 합성할 수도 있다.
복수의 오브젝트 레이어가 배경 프레임에 합성되면, 프로세서(110)는 오브젝트 레이어와 배경 프레임이 합성된 동영상을 축약 동영상으로 사용자에게 제공한다(S260). 그리고 프로세서(110)는 어느 하나의 오브젝트 레이어에 할당된 오브젝트 정보에 대응하는 오브젝트가 축약 동영상을 통해 실행되어 오브젝트 레이어가 빈 상태가 되면, 큐가 비어있는 상태(underflow)인지 확인한다(S270).
만약 큐에 오브젝트가 여전히 삽입되어 있다면, 프로세서(110)는 비어있는 오브젝트 레이어로 큐에 남아있는 큐 오브젝트를 할당하는 S240 단계를 계속 수행한다. 그러나, 큐가 비어있는 상태라면, 축약 동영상의 제공을 종료한다.
이상에서 설명한 축약 동영상을 제공하는 과정에서, 오브젝트 레이어를 배경 프레임에 합성하는 예에 대해 도 5를 참조로 설명한다.
도 5는 본 발명의 실시예에 따른 오브젝트 합성 개념을 나타낸 예시도이다.
도 5에 도시된 바와 같이, 영상 스트림의 전체 프레임은, 오브젝트가 검출된 영역(②, ④, ⑥)과 미 검출 영역으로 구분 지을 수 있다. 이때, 오브젝트가 검출되지 않은 미 검출 영역(①, ③, ⑤) 중 임의의 세 개의 프레임은 배경 프레임으로 사용된다.
여기서, 제1 영역(①) 중 배경 프레임으로 추출된 임의의 프레임에는 제2 영역(②)에서 검출된 오브젝트가 합성되고, 제3 영역(③) 중 배경 프레임으로 추출된 임의의 프레임에는 제4 영역(④)에서 검출된 오브젝트들이 합성된다. 그리고 제5 영역(⑤) 중 배경 프레임으로 추출된 임의의 프레임에는 제6 영역(⑥)에서 검출된 오브젝트들이 합성되는 것을 예로 하여 설명한다.
그리고, 프로세서(110)는 전체 프레임에서 검출한 모든 오브젝트들을 큐에 삽입한다. 오브젝트 레이어가 생성되면 프로세서(110)는 큐에 삽입된 큐 오브젝트들에 대한 오브젝트 정보를 오브젝트 레이어에 삽입하고, 오브젝트 레이어를 배경 프레임에 합성하게 된다.
도 5에는 오브젝트 레이어가 3개 생성된 것을 예로 나타내었다. 첫 번째 레이어에는 제1 오브젝트(⑦)인 자동차가, 두 번째 레이어와 세 번째 레이어에는 제2 오브젝트(⑧), 제3 오브젝트(⑨)인 사람이 삽입된다.
여기서, 프로세서(110)가 오브젝트 레이어를 배경에 합성할 때, 프로세서(110)는 각 오브젝트의 크기 순서로 배경에 합성하거나, 추출된 오브젝트의 순서대로 배경에 합성할 수도 있다. 크기 순서로 합성하는 것을 예로 하여 설명하면, 제1 오브젝트인 자동차의 크기가 가장 큰 것으로 나타나 있으므로, 제1 오브젝트가 삽입된 오브젝트 레이어를 먼저 배경에 합성한다. 그리고 제2 오브젝트와 제3 오브젝트 순서로 오브젝트 레이어를 배경에 합성한다.
이때, 오브젝트끼리 겹쳐지는 경우에는 동시에 오브젝트 레이어를 배경에 합성하지 않고, 어느 하나의 오브젝트 레이어만 배경에 합성할 수도 있다. 이 경우, 프로세서(110)는 큐 오브젝트들이 축약 동영상에서 겹쳐지지 않도록 오브젝트 레이어에서의 시간 구간을 결정한다.
또는 프로세서(110)가 세 개의 오브젝트들을 모두 배경 프레임에 합성할 수도 있지만, 이 경우 동일한 영역에 오브젝트들이 겹쳐져서 합성될 수도 있다.
이상에서 설명한 생성된 축약 동영상을 재생하는 예에 대해 도 6 내지 도 10을 참조로 설명한다.
먼저, 프로세서(110)가 오브젝트들이 겹쳐지지 않도록 합성하는 경우에는, 도 6에 나타낸 바와 같이 오브젝트들끼리 동일한 공간에 겹쳐지지 않고 축약 동영상으로 실행할 수 있다.
도 6은 본 발명의 실시예에 따른 오브젝트 레이어 축약 동영상에 대한 예시도이다.
도 6에 도시된 바와 같이, 프로세서(110)는 오브젝트의 식별 정보와 오브젝트가 등장한 시간 정보, 오브젝트 크기나 오브젝트의 종류(예를 들어, 사람, 자동차 등) 정보(⑩)도 함께 표기하여 준다. 이를 토대로, 사용자는 오브젝트가 어떤 종류의 오브젝트이고, 어느 시간대에 나타났으며, 오브젝트의 크기에 대해 용이하게 파악할 수 있게 된다.
도 7은 본 발명의 실시예에 따른 객체 검색과 재생에 대한 예시도이다.
도 7에 나타낸 바와 같이 사용자가 도 6을 통해 제공되는 축약 동영상에서 오브젝트 식별 정보가 25인 오브젝트(⑪)를 선택하면, 프로세서(110)는 해당 오브젝트에 대한 이동 경로를 새로운 창(⑫)으로 보여줄 수 있다. 새로운 창에서는 다른 오브젝트들은 표시하지 않고, 해당 오브젝트만 표시하여 보여준다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 영역 설정에 대한 예시도이다.
도 8a에 도시된 바와 같이 사용자는 배경 프레임에서 관심 영역(⑬)을 설정할 수 있다. 여기서 관심 영역은 축약 동영상이 재생되기 전에 미리 설정할 수도 있고, 축약 동영상이 재생되는 중에 설정할 수도 있다. 프로세서(110)는 특정 영역에서의 오브젝트 움직임과 특정 영역 이외에서의 오브젝트 움직임 속도를 다르게 제어할 수 있다.
예를 들면, 도 8b에 나타낸 바와 같이 어느 오브젝트가 관심 영역에 진입하는 경우, 프로세서(110)는 이 오브젝트의 움직임을 느리게 보여지도록 처리한다. 그리고 이 오브젝트가 관심 영역을 벗어나면, 프로세서(110)는 관심 영역에 진입하기 전의 속도 또는 실제 움직임보다 빠른 속도로 오브젝트를 재생한다.
관심 영역에 진입한 오브젝트와 진입하지 않은 오브젝트들의 재생 속도를 조절하는 방법은 여러 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다. 그리고, 본 발명의 실시예에서는 관심 영역에서는 오브젝트들이 느리게 재생되도록 하고, 관심 영역 이외의 영역에 있는 오브젝트들은 빠르게 재생되도록 하는 것을 예로 하여 설명하였으나, 반드시 이와 같이 한정되는 것은 아니다.
그리고, 도 8a에는 하나의 관심 영역(⑬)만을 표시하였으나, 관심 영역 내에 또 다른 관심 영역이 중첩되어 위치할 수도 있고, 중첩되지 않은 관심 영역이 복수 개 설정될 수도 있다.
관심 영역이 중첩되어 두 개의 관심 영역(제1 관심 영역, 제2 관심 영역)이 설정되었다고 가정하면, 제1 관심 영역은 제2 관심 영역보다 넓은 범위로 설정된다. 그리고, 제2 관심 영역은 제1 관심 영역 내부에 중첩되어, 제1 관심 영역보다 좁은 범위로 설정될 수 있다. 또는 제1 관심 영역과 일부 영역이 겹쳐지고 제1 관심 영역의 범위와 비슷하거나 차이가 나게 제2 관심 영역이 설정될 수도 있다. 중첩된 관심 영역은 여러 형태로 설정될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
제2 관심 영역이 제1 관심 영역 내부에 중첩되어 형성되어 있고 오브젝트가 제1 관심 영역으로 진입하면, 프로세서(110)는 오브젝트의 재생 속도를 느리거나 혹은 빠르게 조절한다. 그리고 오브젝트가 제1 관심 영역에서 제2 관심 영역으로 진입하면, 프로세서(110)는 제1 관심 영역에서 재생되는 재생 속도보다 더욱 느리거나 혹은 더욱 빠르게 재생되도록 제어한다.
도 8a에 도시된 바와 같이, 본 발명의 실시예에서는 사용자가 축약 동영상을 생성할 시간 구간을 설정할 수 있다. 즉, 사용자가 확인하고자 하는 영상 스트림의 시작 위치(또는 시작 시간) 그리고 끝 위치(또는 종료 시간)을 입력하고, 시작 위치부터 끝 위치까지를 몇 분의 축약 동영상으로 생성할 지에 대한 축약 동영상 생성 시간 정보를 입력할 수 있다. 그러면, 프로세서(110)는 수신한 선택 정보를 토대로 축약 동영상을 생성한다.
이때, 미리 생성되어 있는 축약 동영상이 사용자에 의해 입력된 시간보다 길게 생성되어 있을 수 있다. 따라서, 프로세서(110)는 축약 영상 생성 시간 정보에 축약 동영상을 맞춰 생성하기 위하여 미리 설정된 값만큼 프레임을 건너뛰어 축약 동영상을 생성할 수 있다.
그리고, 프로세서(110)는 도 8a에 나타낸 바와 같이 사용자에 의해 미리 지정되었거나, 축약 동영상 재생시 사용자에 의해 설정된 관심 영역 내에 적어도 하나 이상의 오브젝트들이 위치하거나, 오브젝트들이 관심 영역을 지나가면, 관심 영역에 진입한 순서대로 오브젝트들을 나열하여 별도의 축약 이미지로 제공한다.
즉, 하나의 관심 영역이 설정되어 있다고 가정하면, 프로세서(110)는 관심 영역 내에 이미 위치한 적어도 하나의 오브젝트들을 관심 영역에 진입한 순서대로 나열하여 축약 이미지로 제공한다. 관심 영역에 위치한 오브젝트들은 관심 영역 내에서 겹쳐진 상태로 위치할 수도 있고, 겹치지 않은 상태로 위치할 수도 있다. 프로세서(110)는 오브젝트들이 관심 영역에 진입한 순서를 오브젝트 정보를 토대로 확인할 수 있으며, 확인 방법은 여러 방법으로 수행할 수 있으므로 본 발명의 실시예에서는 상세한 설명을 생략한다.
또한, 하나의 관심 영역이 설정되어 있는 경우, 프로세서(110)는 관심 영역을 지나쳐 가는 적어도 하나 이상의 오브젝트들을 나열하여 축약 이미지로 제공한다. 여기서 오브젝트들은 관심 영역 내에 겹쳐질 수도 있고 겹치지 않을 수도 있다. 그리고 프로세서(110)는 오브젝트들의 이동 경로 정보를 토대로 관심 영역을 지나는 오브젝트들을 추출하여 축약 이미지로 제공하는데, 오브젝트들이 관심 영역에 진입한 순서대로 나열하여 제공한다.
한편, 복수의 관심 영역이 설정되어 있는 경우, 프로세서(100)는 복수의 관심 영역을 모두 지나는 오브젝트들의 이동 경로 정보를 토대로, 관심 영역을 모두 통과한 순서대로 축약 이미지로 나열하여 제공한다. 이때, 오브젝트들은 복수의 관심 영역 중 어느 하나의 관심 영역에서 겹쳐져서 축약 동영상에서 노출될 수도 있고, 겹치지 않은 채로 축약 동영상에서 노출될 수도 있다.
한편, 프로세서(110)가 오브젝트들의 겹쳐짐을 고려하지 않고 배경 프레임에 오브젝트 레이어를 합성한 경우에 대해 도 9를 참조로 설명한다.
도 9는 본 발명의 실시예에 따른 겹쳐진 오브젝트의 처리 방법에 대한 예시도이다.
도 9에 나타낸 바와 같이, 복수의 오브젝트가 겹쳐져 있거나, 사용자가 특정 영역을 지나는 오브젝트들을 추출하고자 할 때, 프로세서(110)는 사용자로부터 입력되는 관심 영역(⑭)을 수신한다. 여기서, 관심 영역은 사전에 미리 설정될 수도 있고, 사용자가 재생되는 축약 동영상을 통해서도 설정할 수도 있다.
프로세서(110)는 관심 영역을 지나는 복수의 오브젝트들 즉, 관심 오브젝트들을 사용자가 인지하기 편하게 별도의 창으로 펼쳐 제공한다. 즉, 복수의 오브젝트들이 겹쳐져 합성된 관심 영역을 사용자가 선택하면, 프로세서(110)는 관심 영역에 존재하는 복수의 관심 오브젝트들에 대한 오브젝트 식별 정보를 확인한다.
그리고, 프로세서(110)는 확인한 식별 정보를 토대로, 해당 관심 오브젝트들이 영상 스트림에 등장한 시간 순서대로 나열하여 별도의 이미지 창으로 제공한다. 이때, 본 발명의 실시예에서는 도 9에 나타낸 바와 같이, 관심 오브젝트들이 별도의 이미지로 제공함과 동시에, 사용자가 제공된 축약 이미지에서 임의의 오브젝트를 선택하면, 이에 대한 축약 동영상을 제공할 수도 있다.
프로세서(110)는 관심 영역이 복수 개 설정될 경우, 복수 개의 관심 영역을 각각 지나친 관심 오브젝트들을 추출하여 제공할 수 있다. 또는, 프로세서(110)는 복수의 오브젝트들 중 복수 개의 관심 영역을 모두 지나친 오브젝트들만을 관심 오브젝트로써 추출하여 제공할 수도 있으며, 어느 하나의 방법으로 한정하지 않는다.
또한, 축약 동영상이 재생되는 중에, 임의의 지점에 복수개의 오브젝트가 겹쳐지는 경우, 이를 겹쳐지지 않도록 하여 제공하는 방법에 대해 도 10을 참조로 설명한다.
도 10은 본 발명의 실시예에 따른 겹침 오브젝트들의 재생 방법에 대한 예시도이다.
도 10에 도시된 바와 같이, 제1 오브젝트(obj1)와 제2 오브젝트(obj2)가 축약 동영상에서 재생되는 과정에서, 임의의 지점(설명의 편의를 위하여, '충돌 지점'이라 지칭함)(⑮)에서 겹쳐지는 경우가 발생한다고 가정한다.
프로세서(110)는 다음 두 가지 방법으로 제1 오브젝트와 제2 오브젝트가 충돌 지점에서 겹쳐지지 않게 재생되도록 제어할 수 있다.
첫 번째 방법으로는, 프로세서(110)는 축약 동영상에서 재생되는 복수의 오브젝트들에 대한 동선 정보를 확인한다. 그리고 제1 오브젝트와 제2 오브젝트가 충돌 지점에서 겹쳐지는 것으로 확인하면, 프로세서(110)는 제1 오브젝트와 제2 오브젝트를 충돌 지점을 기준으로 좌우 또는 상하 중 어느 하나의 대칭 방향으로 복수의 간격, 즉 공간을 추가하여 제1 오브젝트와 제2 오브젝트가 떨어져 재생되도록 간격을 재배치한다.
두 번째 방법으로는, 제1 오브젝트와 제2 오브젝트가 충돌 지점에 진입하면, 프로세서(110)는 충돌 지점을 기준으로 주변 영역의 오브젝트 비율을 임시로 축소시킨다. 이를 통해, 전체적인 축약 동영상 화면상에서는 제1 오브젝트와 제2 오브젝트가 충돌하지 않은 것처럼 재생할 수 있다. 프로세서(110)가 화면 비율을 임시로 축소시키는 방법이나 겹쳐지는 오브젝트 사이에 공간을 추가하는 방법은 여러 방법으로 실행할 수 있으며, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
다음은 도 11 내지 도 13을 참조로 하여 축약 이미지를 제공하는 방법에 대해 설명한다. 본 발명의 실시예에서는 프로세서(110)가 영상 스트림을 분석하는 와중에, 이상 행위(예를 들어, 쓰러지는 사람, 배회하는 사람, 사고 차량 등)를 하는 오브젝트가 있는 것으로 판단하면, 이상 행위를 한 오브젝트들을 하나의 이미지로 축약하여 사용자에게 제공할 수 있다. 또는, 사용자가 임의의 행동을 취하는 오브젝트들을 확인하고자 하는 경우, 또는 특정 오브젝트에 대한 선택 정보를 입력할 경우, 프로세서(110)는 축약 이미지를 제공할 수도 있다.
도 11은 본 발명의 실시예에 따른 축약 이미지 제공 방법에 대한 흐름도이다.
도 11에 도시된 바와 같이, 프로세서(110)는 생성한 오브젝트 메타데이터를 메모리(120)로 전달하는 과정에서, 메모리(120)에 저장되어 있는 행위 정보와 오브젝트 정보들을 비교하여 확인한다(S300). 또는, 메모리(120)에 오브젝트 메타데이터를 저장하는 과정에서, 프로세서(110)는 사용자에 의해 입력되는 선택 정보가 있는지 확인한다. 여기서 선택 정보에는 특정 행위에 대한 행위 정보가 포함될 수도 있다.
그리고 확인한 정보 중 미리 입력되어 있는 행위 판별 정보를 토대로, 프로세서(110)는 이상 행위를 하는 오브젝트가 있는지 또는 사용자에 의해 입력된 선택 정보에 의해 특정 행위를 수행하는 오브젝트가 있는지 확인한다(S310). 여기서, 행위 판별 정보는 이벤트 별로 해당 이벤트에 따른 정보들이 미리 획득되어 있는 것이다.
이벤트는 사람이 쓰러지는 행동, 사람들이 싸우는 행동, 사람이 달려가거나 물건을 유기하는 행동, 차량에 사고가 발생하는 행동 등의 이상 행위와, 사람들이 걸어가는 행동, 문을 통과하는 행동 등의 정상 행위로 구분 지을 수 있다. 이벤트 별로 이상 행위 또는 특정 행위를 수행하는 오브젝트의 유무 판별을 위한 행위 판별 정보를 수집하는 방법은 이미 알려져 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.
S310 단계에서 확인한 결과 확인한 오브젝트 중에 행위 판별 정보에 대한 행동을 취하는 오브젝트가 없다면, 축약 이미지의 생성을 종료한다. 그러나, 행위 판별 정보에 대응하는 행위를 취한 오브젝트가 있다면, 프로세서(110)는 배경 프레임에 오브젝트 정보를 삽입하여 축약 이미지로 생성한다(S320).
여기서 행위를 취한 오브젝트가 복수개인 경우, 오브젝트의 겹쳐짐이 발생하지 않도록 이미지를 생성할 수 있다. 이렇게 생성된 이미지에 대해 도 12 및 도 13을 참조로 먼저 설명한다.
도 12는 종래 기술에 따른 오브젝트 합성에 대한 예시도이고, 도 13은 본 발명의 실시예에 따른 축약 이미지에 대한 예시도이다.
도 12는 종래 비디오 시놉시스에 따라 다리 위를 지나가는 오브젝트들을 나타낸 것이다. 도 12에 도시된 바와 같이, 복수의 오브젝트들이 겹쳐져 있어 오브젝트를 사용자가 확인하기 어렵다. 또한, 단순히 걸어가거나 이동하는 오브젝트들을 모두 포함하여 제공하므로, 사용자가 관제해야 할 대상들을 놓칠 수도 있다.
따라서 도 13에 도시된 바와 같이, 본 발명의 실시예에서는 프로세서(110)가 행위를 취한 오브젝트들만을 모아서 이미지로 먼저 제공할 수 있다. 그리고, 해당 오브젝트들이 행위를 취한 시점의 시점 정보와, 오브젝트 정보를 포함하여 제공함으로써, 사용자가 해당 오브젝트들을 놓치지 않고 먼저 관제할 수 있게 한다.
도 13에서는 오브젝트들을 이모티콘 형태로 표시하였으나, 실제 오브젝트의 형상이 이미지로 제공될 수도 있다. 그리고 도 13에서는 이상 행위를 취한 오브젝트들만을 나타내었다. 그러나, 사용자가 입력한 선택 정보 상에 임의의 행동을 취하는 오브젝트의 검출을 원하는 정보가 포함되어 있을 경우, 프로세서(110)는 메모리(120)에 저장된 오브젝트 메타데이터 정보를 토대로, 임의의 행동을 취하는 오브젝트들만을 추출하여 이미지로 제공할 수 있다.
그리고, 본 발명의 실시예에서는 오브젝트의 정보에 오브젝트를 대표하는 오브젝트 대표 색을 함께 제공한다. 오브젝트 대표 색은 사용자가 오브젝트로 사람을 검색할 때 이용하는 정보로, 오브젝트의 상의 색과 하의 색을 나누어 표현한 것이다.
프로세서(110)는 오브젝트의 상체와 하체를 정확하게 추출하기 어렵다. 따라서, 본 발명의 실시예에서는 프로세서(110)가 오브젝트의 크기 정보를 토대로, 상위 영역과 하위 영역으로 구분 짓는다. 그리고, 상위 영역과 하위 영역 각각에서 RGB값 중 가장 많은 비율을 가지는 값을 대표 값으로 추출하여, 상의 색과 하의 색으로 설정한다.
오브젝트 대표 색은 오브젝트의 식별 정보, 영역 정보 등과 함께 오브젝트 메타데이터로 메모리(120)에 저장된다. 본 발명의 실시예에서는 오브젝트 대표 색을 추출하여 제공하는 것을 예로 하여 설명하나, 얼굴 특징 정보, 차량 특징 정보 등 검색에 활용될 수 있는 다양한 정보들이 메타데이터로 저장될 수도 있다.
한편, 도 11을 이어 설명하면, S320 단계에서 생성된 축약 이미지를 확인한 사용자가 임의의 오브젝트를 선택하면, 프로세서(110)는 선택된 오브젝트 정보를 수신한다(S330). 그러면, 프로세서(110)는 선택된 오브젝트 정보를 토대로 축약 영상을 생성하고, 디스플레이(130)는 사용자에게 선택 오브젝트에 대한 영상을 제공한다(S340).
이와 같은 시스템과 방법을 통해, CCTV를 관제해야 하는 사용자가 다수의 CCTV 영상을 단시간 내에 관심 있는 영역만 검토할 수 있도록 하고, 감시해야 할 오브젝트 수의 항상성을 둘 수 있기 때문에, 효과적으로 보안 업무를 처리할 수 있다.
또한, 종래에는 원본 저장 영상이나 실시간 영상 스트림이 있어야만 이벤트를 검출할 수 있고 축약 동영상에서는 이벤트를 검출할 수 없는 반면, 본 발명의 실시예에서는 프로세서(110)가 축약 동영상에서 이벤트를 검출할 수 있다. 즉, 축약 동영상에서 관심 영역을 설정하고, 해당 영역에서 보안 관제 관련 이벤트 예를 들어, 건물 내로 출입하는 오브젝트 검출, 관심 영역에서 서성이는 오브젝트, 쓰러진 오브젝트 등을 추출할 수 있다.
이와 같이 축약 동영상을 통해서 이벤트 검출이 가능하기 때문에, 원본 저장 영상이나 실시간 영상 스트림의 저장이 필요하지 않을 뿐만 아니라, 검출한 이벤트를 통해서도 다양한 마케팅에 사용할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
Claims (40)
- 영상 축약 시스템이 입력 영상을 축약하는 방법에 있어서,
영상 스트림에서 배경 프레임과 오브젝트들 각각의 오브젝트 정보를 추출하는 단계;
상기 배경 프레임의 일정 영역에 설정된 관심 영역을 입력 받는 단계;
추출한 오브젝트들을 큐 오브젝트로 선택하는 단계; 및
상기 큐 오브젝트와 배경 프레임 그리고 관심 영역을 기초로, 축약 동영상을 생성하는 단계
를 포함하는 영상 축약 방법. - 제1항에 있어서,
상기 축약 동영상을 생성하는 단계는,
상기 축약 영상 재생 시, 상기 관심 영역 밖과 상기 관심 영역 안에서의 임의의 오브젝트의 움직임 속도를 다르게 제어하는 단계
를 포함하는 영상 축약 방법. - 제2항에 있어서,
상기 다르게 제어하는 단계는,
상기 관심 영역 안으로 진입한 오브젝트가 상기 관심 영역 밖으로 이동하면, 상기 관심 영역에 진입하기 전의 속도로 오브젝트가 움직이도록 제어하는 영상 축약 방법. - 제2항에 있어서,
상기 다르게 제어하는 단계는,
상기 관심 영역은 복수 개 설정되며,
복수 개의 관심 영역 각각에서 오브젝트의 움직임 속도를 각각 다르게 제어하는 영상 축약 방법. - 제1항에 있어서,
상기 축약 동영상을 생성하는 단계는,
각 큐 오브젝트의 오브젝트 정보를 복수의 오브젝트 레이어 중 어느 하나의 오브젝트 레이어에 할당하는 단계; 및
상기 복수의 오브젝트 레이어와 상기 배경 프레임을 합성하는 단계
를 포함하는 영상 축약 방법. - 제5항에 있어서,
상기 배경 프레임을 합성하는 단계는,
상기 큐 오브젝트들의 움직임 경로를 기초로 상기 축약 동영상에서 재생되는 상기 큐 오브젝트들이 겹쳐지지 않도록, 큐 오브젝트별로 오브젝트 레이어 및 해당 오브젝트 레이어에서의 시간 구간을 결정하는 영상 축약 방법. - 제6항에 있어서,
상기 축약 동영상을 생성하기 위한 선택 조건으로 최대 오브젝트 수가 입력되면,
상기 오브젝트 레이어는 상기 최대 오브젝트 수에 대응하게 생성되는 영상 축약 방법. - 제1항에 있어서,
상기 축약 동영상을 생성하는 단계는,
상기 축약 동영상에서 재생되는 복수의 큐 오브젝트들이 상기 관심 영역에서 겹쳐지면,
겹쳐진 복수의 큐 오브젝트들이 상기 영상 스트림에 등장한 순서대로 상기 복수의 큐 오브젝트들을 배열하는 영상 축약 방법. - 제8항에 있어서,
상기 관심 영역에서 복수의 큐 오브젝트들이 겹쳐지면,
상기 복수의 큐 오브젝트들의 동선 정보를 토대로, 상기 복수의 큐 오브젝트들을 각각 어느 하나의 방향으로 재배치하여 큐 오브젝트들 사이의 간격을 설정하는 단계
를 포함하는 영상 축약 방법. - 제8항에 있어서,
상기 관심 영역에서 복수의 큐 오브젝트들이 겹쳐지면,
상기 충돌 지점을 기준으로 인접한 주변 영역의 오브젝트 크기의 비율을 축소하는 단계
를 포함하는 영상 축약 방법. - 제1항에 있어서,
상기 축약 동영상을 생성하는 단계는,
상기 축약 동영상을 생성하기 위한 선택 조건으로 최대 오브젝트 수가 입력되면, 입력된 최대 오브젝트 수를 기초로 큐 선택 정보를 생성하는 단계; 및
상기 큐 선택 정보를 토대로, 큐에 삽입된 오브젝트 정보와 상기 배경 프레임을 합성하는 단계
를 포함하는 영상 축약 방법. - 제1항에 있어서,
상기 축약 동영상을 생성하는 단계는,
상기 축약 동영상을 생성하기 위한 선택 조건으로 검색하고자 하는 오브젝트의 검색 정보가 입력되면,
상기 오브젝트의 검색 정보에 대응하는 오브젝트들만이 축약 동영상에서 출력되도록 축약 동영상을 생성하는 영상 축약 방법. - 제1항에 있어서,
상기 오브젝트 정보를 추출하는 단계 이전에,
상기 영상 스트림을 구성하는 복수의 프레임으로부터 오브젝트들을 검출하는 단계; 및
프레임에서 검출된 횟수가 미리 설정한 임계값 보다 많이 검출된 오브젝트인 유효 오브젝트를, 상기 복수의 프레임에서 추적하여 상기 유효 오브젝트에 대한 오브젝트 메타데이터를 생성하는 단계
를 포함하는 영상 축약 방법. - 제13항에 있어서,
상기 오브젝트 정보를 추출하는 단계는,
상기 영상 스트림에서 복수의 배경 후보 프레임을 선택하는 단계;
상기 오브젝트 메타데이터를 이용하여, 상기 복수의 배경 후보 프레임 중 하나인 제1 프레임에 오브젝트가 존재하는지 확인하는 단계;
상기 제1 프레임에 오브젝트가 존재하면, 상기 제1 프레임의 오브젝트 영역과 상기 제1 프레임에 인접한 제2 프레임의 오브젝트 영역을 비교하는 단계; 및
상기 제1 프레임의 오브젝트 영역과 상기 제2 프레임의 오브젝트 영역이 겹쳐지지 않으면, 오브젝트가 삭제된 제1 프레임과 제2 프레임을 이용하여 배경 프레임을 추출하는 단계
를 포함하는 영상 축약 방법. - 제1항에 있어서,
상기 축약 동영상을 생성하는 단계 이후에,
선택된 오브젝트의 오브젝트 식별 정보를 수신하는 단계; 및
상기 수신한 오브젝트 식별 정보에 대응하는 선택된 오브젝트에 대한 축약 동영상을 제공하는 단계
를 포함하는 영상 축약 방법. - 제1항에 있어서,
상기 축약 동영상을 생성하는 단계 이후에,
오브젝트 정보를 미리 저장되어 있는 행위 판별 정보와 비교하는 단계; 및
복수의 오브젝트들 중 상기 행위 판별 정보에 대응하는 행위를 취하는 적어도 하나의 오브젝트를 포함하여 축약 이미지를 생성하는 단계
를 더 포함하는 영상 축약 방법. - 제16항에 있어서,
상기 축약 이미지를 생성하는 단계 이후에,
상기 축약 이미지에 포함된 적어도 하나의 오브젝트 중, 선택 오브젝트 정보를 수신하는 단계; 및
상기 선택 오브젝트 정보를 토대로, 선택된 오브젝트에 대한 축약 동영상을 생성하여 제공하는 단계
를 포함하는 영상 축약 방법. - 제1항에 있어서,
상기 축약 동영상을 생성하는 단계 이후에,
상기 관심 영역 안에 위치한 적어도 하나의 오브젝트들을, 상기 관심 영역 안으로 진입한 순서대로 오브젝트를 배열하여 축약 이미지로 생성하는 영상 축약 방법. - 제1항에 있어서,
상기 축약 동영상을 생성하는 단계 이후에,
상기 축약 동영상에서 재생되는 복수의 오브젝트들 각각에 대한 이동 경로를 확인하고, 상기 관심 영역을 지나는 적어도 하나의 오브젝트들을 상기 관심 영역 안으로 진입한 순서대로 배열하여 축약 이미지로 생성하는 영상 축약 방법. - 제19항에 있어서,
상기 축약 동영상을 생성하는 단계 이후에,
상기 관심 영역이 복수 개 설정되면, 상기 축약 동영상에서 재생되는 복수의 오브젝트들 각각에 대한 이동 경로를 확인하고, 상기 복수 개의 관심 영역을 모두 지나는 적어도 하나의 오브젝트들을, 복수 개의 관심 영역을 모두 통과한 순서대로 오브젝트를 배열하여 축약 이미지로 생성하는 영상 축약 방법. - 입력 영상을 축약하는 시스템에 있어서,
영상 축약 프로그램을 저장하는 메모리; 및
상기 메모리와 연동하여 상기 영상 축약 프로그램을 실행하는 프로세서
를 포함하고,
상기 프로세서는,
영상 스트림으로부터 추출된 오브젝트들에 대한 큐 오브젝트와 상기 영상 스트림으로부터 추출된 배경 프레임, 그리고 상기 배경 프레임의 일정 영역에 설정된 관심 영역을 기초로 축약 동영상을 생성하는 영상 축약 시스템. - 제21항에 있어서,
상기 프로세서는,
상기 축약 동영상 재생 시 상기 관심 영역 밖과 상기 관심 영역 안에서의 오브젝트의 움직임 속도를 상이하게 제어하는 영상 축약 시스템. - 제22항에 있어서,
상기 프로세서는,
상기 관심 영역을 지나는 오브젝트들을 관심 오브젝트로 추출하고, 추출한 관심 오브젝트들을 상기 영상 스트림에 등장한 시간 순서로 펼쳐서 나열하는 영상 축약 시스템. - 제23항에 있어서,
상기 프로세서는,
상기 관심 영역 안으로 진입한 오브젝트가 상기 관심 영역 밖으로 이동하면, 상기 관심 영역에 진입하기 전의 속도로 오브젝트가 움직이도록 제어하는 영상 축약 시스템. - 제24항에 있어서,
상기 프로세서는,
상기 관심 영역은 복수 개 설정되며,
복수 개의 관심 영역 각각에서 오브젝트의 움직임 속도를 각각 다르게 제어하는 영상 축약 시스템. - 제21항에 있어서,
상기 프로세서는,
입력 조건을 토대로 축약 동영상을 생성하며,
상기 입력 조건은 상기 축약 동영상에 출력되는 최대 오브젝트 수 또는 상기 축약 동영상에 출력되는 선택 오브젝트들의 오브젝트 정보 중 어느 하나인 영상 축약 시스템. - 제26항에 있어서,
상기 프로세서는,
상기 입력 조건에 해당하는 선택 오브젝트들을 큐 오브젝트들로 선택하여 큐에 삽입하는 영상 축약 시스템. - 제27항에 있어서,
상기 프로세서는,
상기 최대 오브젝트 수에 대응하는 오브젝트 레이어 중 어느 하나의 오브젝트 레이어에 선택한 큐 오브젝트들의 오브젝트 정보를 할당하는 영상 축약 시스템. - 제28항에 있어서,
상기 프로세서는,
상기 큐 오브젝트들의 경로 정보를 토대로 상기 축약 동영상에서 상기 큐 오브젝트들이 겹치지 않도록 큐 오브젝트별로 오브젝트 레이어 및 해당 오브젝트 레이어에서의 시간 구간을 결정하는 영상 축약 시스템. - 제21항에 있어서,
상기 프로세서는,
상기 최대 오브젝트 수에 대응하여 상기 큐에 삽입된 큐 오브젝트들을 상기 배경 프레임에 합성하기 위한 큐 선택 정보를 설정하는 영상 축약 시스템. - 제21항에 있어서,
상기 프로세서는,
상기 축약 동영상에서 복수의 큐 오브젝트들이 겹쳐지면, 겹쳐진 큐 오브젝트들이 상기 영상 스트림에 등장한 순서대로 상기 복수의 큐 오브젝트들을 배열하는 영상 축약 시스템. - 제31항에 있어서,
상기 프로세서는,
겹쳐진 복수의 큐 오브젝트들의 동선 정보를 토대로, 상기 복수의 큐 오브젝트들을 각각 어느 하나의 방향으로 재배치하여 복수의 큐 오브젝트들 사이의 간격을 제어하는 영상 축약 시스템. - 제31항에 있어서,
상기 프로세서는,
겹쳐진 복수의 큐 오브젝트들의 충돌 지점을 기준으로 인접한 주변 영역의 오브젝트 비율을 축소하는 영상 축약 시스템. - 제21항에 있어서,
상기 프로세서는,
상기 축약 동영상에 출력되는 오브젝트들을 상기 오브젝트 각각에 대한 식별 정보, 상기 오브젝트가 상기 영상 스트림에 노출된 시간 정보, 그리고 오브젝트 종류 정보 중 하나 이상의 정보와 함께 출력되도록 하는 영상 축약 시스템. - 제21항에 있어서,
상기 프로세서는,
상기 오브젝트들의 오브젝트 정보를 미리 저장되어 있는 행위 판별 정보와 비교하고, 상기 행위 판별 정보에 대응하는 행위를 취하는 적어도 하나의 오브젝트를 포함하는 축약 이미지를 생성하는 영상 축약 시스템. - 제21항에 있어서,
상기 프로세서는,
추출된 오브젝트의 크기 정보를 토대로, 상위 영역의 색과 하위 영역의 색을 추출하여, 상기 오브젝트의 대표 색으로 설정하는 영상 축약 시스템. - 제21항에 있어서,
상기 프로세서는,
영상 스트림으로부터 추출된 복수의 배경 프레임에서 임의의 제1 배경 프레임과 제2 배경 프레임을 알파 블렌딩하는 영상 축약 시스템. - 제21항에 있어서,
상기 프로세서는,
상기 관심 영역 안에 위치한 적어도 하나의 오브젝트들을, 상기 관심 영역 안으로 진입한 순서대로 오브젝트를 배열하여 축약 이미지로 생성하는 영상 축약 시스템. - 제21항에 있어서,
상기 프로세서는,
상기 축약 동영상에서 재생되는 복수의 오브젝트들 각각에 대한 이동 경로를 확인하고, 상기 관심 영역을 지나는 적어도 하나의 오브젝트들을 상기 관심 영역 안으로 진입한 순서대로 배열하여 축약 이미지로 생성하는 영상 축약 시스템. - 제39항에 있어서,
상기 프로세서는,
상기 관심 영역이 복수 개 설정되면, 상기 축약 동영상에서 재생되는 복수의 오브젝트들 각각에 대한 이동 경로를 확인하고, 상기 복수 개의 관심 영역을 모두 지나는 적어도 하나의 오브젝트들을, 복수 개의 관심 영역을 모두 통과한 순서대로 오브젝트를 배열하여 축약 이미지로 생성하는 영상 축약 시스템.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160082957A KR102556393B1 (ko) | 2016-06-30 | 2016-06-30 | 영상 축약 시스템 및 방법 |
| PCT/KR2017/006960 WO2018004299A1 (ko) | 2016-06-30 | 2017-06-30 | 영상 축약 시스템 및 방법 |
| US16/314,529 US10614314B2 (en) | 2016-06-30 | 2017-06-30 | Image summarization system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160082957A KR102556393B1 (ko) | 2016-06-30 | 2016-06-30 | 영상 축약 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180003309A true KR20180003309A (ko) | 2018-01-09 |
| KR102556393B1 KR102556393B1 (ko) | 2023-07-14 |
Family
ID=60785147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160082957A KR102556393B1 (ko) | 2016-06-30 | 2016-06-30 | 영상 축약 시스템 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10614314B2 (ko) |
| KR (1) | KR102556393B1 (ko) |
| WO (1) | WO2018004299A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200082642A (ko) * | 2018-12-31 | 2020-07-08 | 강원대학교산학협력단 | 요약 비디오를 생성하는 방법 및 장치 |
| KR20210062281A (ko) * | 2019-11-21 | 2021-05-31 | 아이브스 주식회사 | 요약 영상 생성 장치 및 그 방법, 이를 이용한 요약 영상 검색 시스템 |
| WO2022059817A1 (ko) * | 2020-09-18 | 2022-03-24 | 주식회사 사이 | 이미지 및 동영상의 대사와 배경으로 알 수 있는 메타 정보 인지의 ai 최소 문맥 탐구 방법 |
| WO2022139262A1 (ko) * | 2020-12-22 | 2022-06-30 | 삼성전자 주식회사 | 관심 객체를 이용하여 비디오를 편집하는 전자 장치 및 그 동작 방법 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107949865B (zh) * | 2015-09-02 | 2021-10-29 | 富士通株式会社 | 异常检测装置、异常检测方法 |
| KR102585777B1 (ko) * | 2018-05-29 | 2023-10-10 | 삼성전자주식회사 | 전자 장치 및 그 제어방법 |
| US20200036909A1 (en) * | 2018-07-27 | 2020-01-30 | BriefCam Ltd. | System and method allowing simultaneous viewing of live and recorded video content |
| US11036995B2 (en) * | 2019-01-25 | 2021-06-15 | Gracenote, Inc. | Methods and systems for scoreboard region detection |
| US10997424B2 (en) | 2019-01-25 | 2021-05-04 | Gracenote, Inc. | Methods and systems for sport data extraction |
| US11010627B2 (en) | 2019-01-25 | 2021-05-18 | Gracenote, Inc. | Methods and systems for scoreboard text region detection |
| US11805283B2 (en) | 2019-01-25 | 2023-10-31 | Gracenote, Inc. | Methods and systems for extracting sport-related information from digital video frames |
| US11087161B2 (en) | 2019-01-25 | 2021-08-10 | Gracenote, Inc. | Methods and systems for determining accuracy of sport-related information extracted from digital video frames |
| CN109922294B (zh) * | 2019-01-31 | 2021-06-22 | 维沃移动通信有限公司 | 一种视频处理方法及移动终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070028155A (ko) * | 2005-09-07 | 2007-03-12 | 주식회사 팬택앤큐리텔 | 복수의 동영상 파일을 재생할 수 있는 휴대용 재생 장치 및그 방법 |
| KR20140040342A (ko) * | 2012-09-25 | 2014-04-03 | 삼성테크윈 주식회사 | 감시 영상 분석 방법 및 시스템 |
| KR20150026178A (ko) * | 2013-09-02 | 2015-03-11 | 에스케이텔레콤 주식회사 | 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 |
| KR20150084567A (ko) * | 2014-01-14 | 2015-07-22 | 한화테크윈 주식회사 | 요약 영상 브라우징 시스템 및 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040207656A1 (en) * | 2001-06-30 | 2004-10-21 | Sang-Youn Lee | Apparatus and method for abstracting summarization video using shape information of object, and video summarization and indexing system and method using the same |
| KR101294498B1 (ko) | 2011-11-29 | 2013-08-07 | 동의대학교 산학협력단 | 터널 유고 시스템의 객체 인식방법 |
| KR101251304B1 (ko) | 2012-11-26 | 2013-04-05 | 주식회사 누리콘 | 영상 제어 장치 |
| US20150104149A1 (en) * | 2013-10-15 | 2015-04-16 | Electronics And Telecommunications Research Institute | Video summary apparatus and method |
| KR102070924B1 (ko) | 2014-01-20 | 2020-01-29 | 한화테크윈 주식회사 | 영상 기록 시스템 |
| US10319410B1 (en) * | 2015-12-21 | 2019-06-11 | Amazon Technologies, Inc. | Video story assembly |
-
2016
- 2016-06-30 KR KR1020160082957A patent/KR102556393B1/ko active IP Right Grant
-
2017
- 2017-06-30 US US16/314,529 patent/US10614314B2/en active Active
- 2017-06-30 WO PCT/KR2017/006960 patent/WO2018004299A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070028155A (ko) * | 2005-09-07 | 2007-03-12 | 주식회사 팬택앤큐리텔 | 복수의 동영상 파일을 재생할 수 있는 휴대용 재생 장치 및그 방법 |
| KR20140040342A (ko) * | 2012-09-25 | 2014-04-03 | 삼성테크윈 주식회사 | 감시 영상 분석 방법 및 시스템 |
| KR20150026178A (ko) * | 2013-09-02 | 2015-03-11 | 에스케이텔레콤 주식회사 | 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 |
| KR20150084567A (ko) * | 2014-01-14 | 2015-07-22 | 한화테크윈 주식회사 | 요약 영상 브라우징 시스템 및 방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200082642A (ko) * | 2018-12-31 | 2020-07-08 | 강원대학교산학협력단 | 요약 비디오를 생성하는 방법 및 장치 |
| KR20210062281A (ko) * | 2019-11-21 | 2021-05-31 | 아이브스 주식회사 | 요약 영상 생성 장치 및 그 방법, 이를 이용한 요약 영상 검색 시스템 |
| WO2022059817A1 (ko) * | 2020-09-18 | 2022-03-24 | 주식회사 사이 | 이미지 및 동영상의 대사와 배경으로 알 수 있는 메타 정보 인지의 ai 최소 문맥 탐구 방법 |
| WO2022139262A1 (ko) * | 2020-12-22 | 2022-06-30 | 삼성전자 주식회사 | 관심 객체를 이용하여 비디오를 편집하는 전자 장치 및 그 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190180111A1 (en) | 2019-06-13 |
| US10614314B2 (en) | 2020-04-07 |
| KR102556393B1 (ko) | 2023-07-14 |
| WO2018004299A1 (ko) | 2018-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102618404B1 (ko) | 영상 축약 시스템 및 방법 | |
| KR20180003309A (ko) | 영상 축약 시스템 및 방법 | |
| CA2651464C (en) | Method and apparatus for caption production | |
| US6157744A (en) | Method and apparatus for detecting a point of change in a moving image | |
| KR101064573B1 (ko) | 입자 여과를 이용하여 이동 물체를 추적하는 시스템 | |
| US11676389B2 (en) | Forensic video exploitation and analysis tools | |
| JP3361587B2 (ja) | 動画像検索装置及び方法 | |
| US11308158B2 (en) | Information processing system, method for controlling information processing system, and storage medium | |
| CN105677694B (zh) | 支持智能搜索的视频记录设备及智能搜索方法 | |
| JP2018005555A (ja) | 画像処理装置、情報処理装置、および方法、並びにプログラム | |
| JP4536940B2 (ja) | 画像処理装置、画像処理方法、記憶媒体、及びコンピュータプログラム | |
| EP2787741A1 (en) | Video processing system and method | |
| JP5776471B2 (ja) | 画像表示システム | |
| JP6405606B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP5850188B2 (ja) | 画像表示システム | |
| JP5253101B2 (ja) | オブジェクト追尾方法および画像処理装置 | |
| KR20170050028A (ko) | 객체의 위치 검색 시스템 및 방법 | |
| JP2014067117A (ja) | 画像表示システムおよび画像処理装置 | |
| JP3379453B2 (ja) | 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置 | |
| Chen et al. | Multi-sensored vision for autonomous production of personalized video summaries | |
| US20230336843A1 (en) | Video summarization method for enabling easy identification of relevance between appearing objects in event | |
| JPH10150657A (ja) | 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 | |
| US20210287503A1 (en) | Video analysis system and video analysis method | |
| CN117743634A (zh) | 一种对象检索方法、系统及设备 | |
| CN114445770A (zh) | 统计进出人次的方法、装置、客流相机及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |