KR20210062281A - Appartus and method for making summary video and video summary search system using the same - Google Patents
Appartus and method for making summary video and video summary search system using the same Download PDFInfo
- Publication number
- KR20210062281A KR20210062281A KR1020190150307A KR20190150307A KR20210062281A KR 20210062281 A KR20210062281 A KR 20210062281A KR 1020190150307 A KR1020190150307 A KR 1020190150307A KR 20190150307 A KR20190150307 A KR 20190150307A KR 20210062281 A KR20210062281 A KR 20210062281A
- Authority
- KR
- South Korea
- Prior art keywords
- time
- summary image
- image
- appearance
- objects
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Abstract
Description
본 발명은 요약 영상 생성 장치 및 그 방법, 이를 이용한 요약 영상 검색 시스템에 관한 것으로서, 보다 상세하게는 각 오브젝트의 체공시간 길이에 따라 요약 영상의 등장 순서를 정한 후 각 오브젝트의 등장 간격에 해당하는 일정시간 간격으로 각 오브젝트를 요약 영상에 삽입함으로써 요약 영상의 길이를 조정 가능하게 하기 위한, 요약 영상 생성 장치 및 그 방법, 이를 이용한 요약 영상 검색 시스템에 관한 것이다.The present invention relates to an apparatus for generating a summary image, a method thereof, and a system for searching a summary image using the same, and more particularly, a schedule corresponding to the appearance interval of each object after determining the order of appearance of summary images according to the length of flight time of each object. The present invention relates to an apparatus for generating a summary image, a method for generating a summary image, and a system for searching a summary image using the same, for adjusting the length of the summary image by inserting each object into the summary image at time intervals.
영상 감시 시스템은 여러 지점에서 촬영된 영상을 이용하여 공공 안전 확보, 불법 침입 조사와 방지, 범죄 활동 감시, 분실물 찾기 등에 활용하고 있다. 이러한 영상 감시 시스템은 실시간으로 촬영하는 영상을 제공할 뿐만 아니라, 사후 확인 작업을 위한 녹화 영상도 제공하고 있다.The video surveillance system is used for securing public safety, investigating and preventing illegal intrusion, monitoring criminal activities, and finding lost items by using images taken at various points. Such a video surveillance system not only provides an image captured in real time, but also provides a recorded image for post-check work.
특히, 영상 감시 시스템에서 녹화 영상은 너무 많은 데이터량으로 생성되기 때문에 사후 판독을 통해 특정 이벤트를 확인하는 것이 쉽지 않다. 즉, 녹화 영상에서 특정 이벤트를 확인하는 과정은 많은 수의 인력이 상당한 확인 시간을 들여 녹화 영상에서 특정 이벤트를 확인하는 과정이 필요하다.In particular, it is difficult to confirm a specific event through post-reading because the recorded video is generated with too much data in the video surveillance system. That is, the process of checking a specific event in the recorded video requires a process of checking a specific event in the recorded video by a large number of personnel spending considerable verification time.
그래서, 최근에는 녹화 영상을 짧게 구성하여 축약하는 영상 요약(video summary)으로 편집하는 기술이 각광을 받고 있다. 이는 긴 녹화 영상을 내용의 핵심이 유지되는 짧은 요약 영상으로 편집 가능하다면, 기존에 영상 판독을 위해 필요한 인력과 시간을 줄여 효율적인 영상 판독이 가능해지기 때문이다.Therefore, in recent years, the technology of editing a recorded video into a video summary that shortens and abbreviates it has been in the spotlight. This is because if a long recorded video can be edited as a short summary video that maintains the core of the content, efficient video reading is possible by reducing the manpower and time required for reading the video.
예를 들어, 재생시간 2시간인 녹화 영상이 재생시간 3분인 요약 영상으로 편집 가능하다면, 영상 판독을 위한 많은 인력과 시간이 필요하지 않게 된다. 이 경우, 영상 판독은 1차적으로 요약 영상을 짧은 시간에 판독한 후, 확인된 특정 이벤트에 대해 원본 영상을 세밀하게 검증이 가능하다.For example, if a recorded video with a playing time of 2 hours can be edited as a summary video with a playing time of 3 minutes, a lot of manpower and time are not required for reading the video. In this case, in the image reading, after firstly reading the summary image in a short time, it is possible to verify the original image in detail with respect to the identified specific event.
한편, 기존의 영상 요약은 중요한 물체가 등장하지 않는 부분을 편집하여 제거하고, 인간이 인식하는데 불편함이 없을 정도의 복수 프레임 중 하나만 취하여 고속감기(fast forward) 영상을 만드는 방식이 있다. 고속감기 영상을 만들어 디스플레이하는 것은 영상 브라우징 엔진에서 사용되는 대표적인 옵션이나, 영상 요약 효율이 떨어질 수 있다.Meanwhile, in the conventional image summary, there is a method of creating a fast forward image by editing and removing a part where an important object does not appear, and taking only one of a plurality of frames that is not inconvenient for humans to recognize. Creating and displaying a fast-forward image is a typical option used in an image browsing engine, but image summary efficiency may be degraded.
그래서, 더욱더 압축적인 영상 요약 방식으로 영상에 등장하는 사물들을 객체로 취급하여 주어진 백그라운드 이미지에 객체가 포함된 영상을 모자이크처럼 붙이는 방식(이하 '시간 무시 방식'이라 함)이 제안되었다. Therefore, a more compact image summary method has been proposed in which objects appearing in an image are treated as objects, and an image including an object is attached to a given background image like a mosaic (hereinafter referred to as a'time-ignoring method').
시간 무시 방식은 물체의 절대적인 등장 시간을 완전 무시하기 때문에 나중에 일어난 사건도 먼저 일어난 사건으로 합성 가능하고, 또 먼저 일어난 사건도 나중에 일어난 사건으로 합성 가능하다. 특히, 여기서는 등장하는 오브젝트들이 (x,y,t) 공간에서 충돌이 발생하지 않게 하는 것이 중요한 전제이다.Since the time-ignoring method completely ignores the absolute time of appearance of an object, events that occur later can be synthesized as events that occur first, and events that occur first can be synthesized as events that occur later. In particular, it is an important premise that objects appearing here do not collide in the (x,y,t) space.
도 1은 기존의 시간 무시 방식을 설명하는 도면이다.1 is a diagram illustrating a conventional time ignoring method.
도 1을 참조하면, 세그먼트 영상(segment video)(1,2)은 가로축은 (x,y) 축(xy 변위축)을 위에서 본 것이고, 세로축은 t 축(시간축)을 나타낸다. Referring to FIG. 1, in a segment video (1,2), the horizontal axis represents the (x,y) axis (xy displacement axis) viewed from above, and the vertical axis represents the t axis (time axis).
세그먼트 영상(1,2) 내에 도시된 궤적은 오브젝트의 시공간 튜브(space-time tube)를 나타낸다. 예를 들어, 제1 오브젝트(O1)는 임의의 시간(Δt) 동안에 A 지점(x1,y1)에서 B 지점(x2,y2)까지 움직인다.The trajectories shown in the
시간 무시 방식은 원본 영상에서 주어진 각 오브젝트의 시공간 튜브를 고려하여 시간축상에서 움직여서 충돌이 나지 않게 하면서 최단시간 요약 영상을 만들 수 있도록, 각 오브젝트의 시공간 튜브를 짜맞춘다. The time-ignoring method combines the space-time tubes of each object so that it moves along the time axis by considering the space-time tube of each object given in the original image so that a shortest time summary image can be created without collision.
시간 무시 방식은 도 1의 요약 영상에 도시된 바와 같이, 물체의 절대적인 등장 시간을 무시하므로, 나중에 일어난 제1 오브젝트(O1)의 시공간 튜브를 먼저 일어난 제2 오브젝트(O2)의 시공간 튜브 보다 먼저 일어난 사건으로 합성하는 것을 알 수 있다.The time-ignoring method ignores the absolute appearance time of the object, as shown in the summary image of FIG. 1, so that the space-time tube of the first object O1 that occurred later was generated earlier than the space-time tube of the second object O2 that occurred earlier. It can be seen that it is synthesized as an event.
이 경우에는 각 오브젝트(O)의 시공간 튜브에서 x,y 좌표가 변하지 않아야 한다. 이는 각 오브젝트의 x,y 좌표가 변경됨에 따라 백그라운드 이미지의 다른 부분으로 이동되어 원래의 이동 경로를 왜곡시키는 것을 방지하기 위함이다.In this case, the x,y coordinates should not change in the space-time tube of each object O. This is to prevent distortion of the original movement path by moving to a different part of the background image as the x and y coordinates of each object are changed.
시간 무시 방식은 다른 시간대에 일어난 사건과 오브젝트가 동시에 섞여서 화면상에 표현되기 때문에, 요약 영상에 각 오브젝트들에 대해 사건이 일어난 절대 시간 정보를 표시해준다.In the time-ignoring method, events and objects that occurred in different time zones are simultaneously mixed and displayed on the screen, so the absolute time information of the event occurrence is displayed for each object in the summary image.
또한, 기존에는 시간 무시 방식과 유사하지만, 등장하는 오브젝트의 시간적 순서를 유지하면서 시간적 중첩정도를 변경하여 렌더링하는 방식(이하 '시간 고려 방식'이라 함)이 제안되었다. 이에 자세한 설명은 도 1의 설명으로 대신하기로 한다.In addition, although it is similar to the time-ignoring method in the past, a method of rendering by changing the temporal overlapping degree while maintaining the temporal order of appearing objects (hereinafter referred to as'time consideration method') has been proposed. Accordingly, a detailed description will be replaced with the description of FIG. 1.
도 2는 기존의 시간 고려 방식을 설명하는 도면이다.2 is a diagram illustrating a conventional time consideration method.
시간 고려 방식은 각 오브젝트의 세그먼트 영상(1,2)을 오브젝트의 등장시간을 고려하여 압축한다.The time consideration method compresses the
이러한 시간 고려 방식은 시간적인 순서를 유지하기 때문에 도 1의 시간 무시 방식에 비해 시간 압축 효율이 떨어진다. 즉, 도 1의 원본 영상이 시간 고려 방식에 적용되는 경우에, 도 2의 요약 영상은 도 1의 요약 영상에 시간 비해 압축 효율이 떨어지는 것을 확인할 수 있다.Since this time consideration method maintains the temporal order, the time compression efficiency is inferior to the time ignoring method of FIG. 1. That is, when the original image of FIG. 1 is applied to the time consideration method, it can be seen that the summary image of FIG. 2 has lower compression efficiency compared to the time of the summary image of FIG. 1.
그런데, 전술한 시간 무시 방식과 시간 고려 방식은 요약 영상의 길이를 예측할 수 없다. 예를 들어, 재생시간 2시간인 원본 영상은 시간 무시 방식 또는 시간 고려 방식을 적용할 경우 요약 영상의 길이가 결과에 따라 결정된다.However, the time-ignoring method and the time-considering method described above cannot predict the length of the summary image. For example, when a time-ignoring method or a time-considering method is applied to an original image with a playback time of 2 hours, the length of the summary image is determined according to the result.
따라서, 이러한 시간 무시 방식 또는 시간 고려 방식은 사용자가 원하는 요약 영상의 길이로 요약 영상을 만들어줄 수가 없다.Therefore, such a time-ignoring method or a time-considering method cannot create a summary image with the length of the summary image desired by the user.
본 발명의 목적은 각 오브젝트의 체공시간 길이에 따라 요약 영상의 등장 순서를 정한 후 각 오브젝트의 등장 간격에 해당하는 일정시간 간격으로 각 오브젝트를 요약 영상에 삽입함으로써 요약 영상의 길이를 조정 가능하게 하기 위한, 요약 영상 생성 장치 및 그 방법, 이를 이용한 요약 영상 검색 시스템을 제공하는데 있다.An object of the present invention is to determine the order of appearance of summary images according to the length of flight time of each object, and then insert each object into the summary image at predetermined time intervals corresponding to the appearance intervals of each object, so that the length of the summary image can be adjusted. It is to provide an apparatus for generating a summary image, a method for generating a summary image, and a system for searching a summary image using the same.
본 발명의 실시예에 따른 요약 영상 생성 방법은, 원본 영상의 메타데이터를 통해 확인된 오브젝트의 체공시간에 따라 요약 영상의 길이를 결정하는 단계; 상기 요약 영상에 삽입되는 상기 오브젝트의 시간 간격을 계산하는 단계; 및 상기 체공시간의 길이에 따라 순서대로 정해진 등장 시간과 상기 시간 간격에 따라 정해진 등장 간격에 기반하여 상기 오브젝트를 상기 요약 영상에 삽입하는 단계;를 포함할 수 있다.A method for generating a summary image according to an embodiment of the present invention includes: determining a length of the summary image according to a flight time of an object identified through metadata of the original image; Calculating a time interval of the object inserted into the summary image; And inserting the object into the summary image based on an appearance time determined in order according to the length of the flight time and an appearance interval determined according to the time interval.
상기 요약 영상의 길이는, 전체 오브젝트의 체공시간 중 가장 긴 최장 체공시간 이상으로 결정되는 것일 수 있다.The length of the summary image may be determined to be greater than or equal to the longest and longest air time among the air time of all objects.
상기 요약 영상의 길이는, 상기 시간 간격을 조정함에 따라 추가 압축이 가능한 것일 수 있다.The length of the summary image may be capable of additional compression by adjusting the time interval.
실시예에 따르면, 상기 시간 간격을 계산하는 단계 이전에, 전체 오브젝트 개수와 전체 프레임 개수를 비교하는 단계; 상기 전체 오브젝트 개수가 상기 전체 프레임 개수 초과일 때, 각 프레임에 할당되는 오브젝트 개수를 계산하는 단계; 및 상기 계산된 각 프레임에 할당되는 오브젝트 개수를 그룹핑하여 프레임 순서대로 할당하는 단계;를 더 포함할 수 있다.According to an embodiment, before the step of calculating the time interval, comparing the total number of objects and the total number of frames; Calculating the number of objects allocated to each frame when the total number of objects exceeds the total number of frames; And grouping the calculated number of objects allocated to each frame and allocating them in a frame order.
상기 시간 간격을 계산하는 단계는, 상기 전체 오브젝트 개수가 상기 전체 프레임 개수 이하일 때 상기 시간 간격을 계산하는 것일 수 있다.The calculating of the time interval may include calculating the time interval when the total number of objects is less than or equal to the total number of frames.
실시예에 따르면, 상기 요약 영상에 삽입하는 단계 이전에, 상기 등장 시간과 마지막 등장 가능 시간을 비교하는 단계; 및 상기 등장 시간이 상기 마지막 등장 가능 시간 이상일 때, 상기 등장 시간을 상기 마지막 등장 가능 시간으로 스케줄을 조정하는 단계;를 더 포함할 수 있다.According to an embodiment, before the step of inserting into the summary image, comparing the appearance time and the last possible appearance time; And when the appearance time is greater than or equal to the last appearance time, adjusting the schedule from the appearance time to the last appearance time.
상기 마지막 등장 가능 시간은, 상기 요약 영상의 전체 시간과 상기 오브젝트의 체공시간 간의 시간차에 해당하는 것일 수 있다.The last available time may correspond to a time difference between the total time of the summary image and the flying time of the object.
상기 요약 영상에 삽입하는 단계는, 상기 등장 시간이 상기 마지막 등장 가능 시간 전체 오브젝트 개수가 상기 전체 프레임 개수 미만일 때 상기 오브젝트를 상기 요약 영상에 삽입하는 것일 수 있다.The inserting into the summary image may include inserting the object into the summary image when the total number of objects at the last appearance time is less than the total number of frames.
또한, 본 발명의 실시예에 따른 요약 영상 생성 장치로서, 적어도 하나 이상의 프로세서; 및 컴퓨터 판독 가능한 명령들을 저장하기 위한 메모리;를 포함하며, 상기 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 요약 영상 생성 장치로 하여금, 원본 영상의 메타데이터를 통해 확인된 오브젝트의 체공시간에 따라 요약 영상의 길이를 결정하게 하고, 상기 요약 영상에 삽입되는 상기 오브젝트의 시간 간격을 계산하게 하며, 상기 체공시간의 길이에 따라 순서대로 정해진 등장 시간과 상기 시간 간격에 따라 정해진 등장 간격에 기반하여 상기 오브젝트를 상기 요약 영상에 삽입하게 하는 것일 수 있다.In addition, an apparatus for generating a summary image according to an embodiment of the present invention, comprising: at least one processor; And a memory for storing computer-readable instructions, wherein the instructions, when executed by the at least one processor, cause the summary image generating device to perform a flight time of the object identified through the metadata of the original image. The length of the summary image is determined according to, and the time interval of the object inserted into the summary image is calculated, based on the appearance time determined in order according to the length of the flight time and the appearance interval determined according to the time interval. Thus, the object may be inserted into the summary image.
상기 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 요약 영상 생성 장치로 하여금, 상기 시간 간격을 계산하기 이전에, 전체 오브젝트 개수와 전체 프레임 개수를 비교하게 하고, 상기 전체 오브젝트 개수가 상기 전체 프레임 개수 초과일 때, 각 프레임에 할당되는 오브젝트 개수를 계산하게 하며, 상기 계산된 각 프레임에 할당되는 오브젝트 개수를 그룹핑하여 프레임 순서대로 할당하게 하는 것일 수 있다.The instructions, when executed by the at least one processor, cause the summary image generating apparatus to compare the total number of objects and the total number of frames before calculating the time interval, and the total number of objects is When the number of frames exceeds the number of frames, the number of objects allocated to each frame may be calculated, and the calculated number of objects allocated to each frame may be grouped and allocated in a frame order.
상기 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 요약 영상 생성 장치로 하여금, 상기 전체 오브젝트 개수가 상기 전체 프레임 개수 이하일 때 상기 시간 간격을 계산하게 하는 것일 수 있다.The instructions, when executed by the at least one processor, may cause the summary image generating apparatus to calculate the time interval when the total number of objects is less than or equal to the total number of frames.
상기 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 요약 영상 생성 장치로 하여금, 상기 요약 영상에 삽입하기 이전, 상기 등장 시간과 마지막 등장 가능 시간을 비교하게 하고, 상기 등장 시간이 상기 마지막 등장 가능 시간 이상일 때, 상기 등장 시간을 상기 마지막 등장 가능 시간으로 스케줄을 조정하게 하는 것일 수 있다.The instructions, when executed by the at least one processor, cause the summary image generation device to compare the appearance time and the last possible appearance time before being inserted into the summary image, and the appearance time is the last appearance When it is longer than the available time, the schedule may be adjusted from the appearance time to the last possible appearance time.
상기 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 요약 영상 생성 장치로 하여금, 상기 등장 시간이 상기 마지막 등장 가능 시간 전체 오브젝트 개수가 상기 전체 프레임 개수 미만일 때 상기 오브젝트를 상기 요약 영상에 삽입하게 하는 것일 수 있다.The instructions, when executed by the at least one processor, cause the summary image generating apparatus to insert the object into the summary image when the appearance time is less than the total number of objects at the last appearance time. It can be.
또한, 본 발명의 실시예에 따른 요약 영상 검색 시스템은, 사용자에 의해 입력된 검색 조건을 분석하여 기 정의된 형태로 재구성하기 위한 쿼리 엔진; 상기 검색 조건에 대응하는 인덱스 데이터를 추출하고, 상기 인덱스 데이터에 대응하는 원본 영상을 추출하기 위한 검색 엔진; 및 상기 인덱스 데이터와 상기 원본 영상을 기초로 요약 영상을 생성하여 실시간 렌더링하기 위한 요약 영상 생성 장치;를 포함하되, 상기 요약 영상 생성 장치는, 적어도 하나 이상의 프로세서; 및 컴퓨터 판독 가능한 명령들을 저장하기 위한 메모리;를 포함하며, 상기 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 요약 영상 생성 장치로 하여금, 상기 원본 영상의 메타데이터를 통해 확인된 오브젝트의 체공시간에 따라 요약 영상의 길이를 결정하게 하고, 상기 요약 영상에 삽입되는 상기 오브젝트의 시간 간격을 계산하게 하며, 상기 체공시간의 길이에 따라 순서대로 정해진 등장 시간과 상기 시간 간격에 따라 정해진 등장 간격에 기반하여 상기 오브젝트를 상기 요약 영상에 삽입하게 하는 것일 수 있다.In addition, a summary image search system according to an embodiment of the present invention includes: a query engine for analyzing a search condition input by a user and reconstructing it into a predefined form; A search engine for extracting index data corresponding to the search condition and extracting an original image corresponding to the index data; And a summary image generating device for generating a summary image based on the index data and the original image and performing real-time rendering, wherein the summary image generating device comprises: at least one processor; And a memory for storing computer-readable instructions, wherein the instructions, when executed by the at least one processor, cause the summary image generating device to perform a flight of the object identified through the metadata of the original image. The length of the summary image is determined according to time, the time interval of the object inserted into the summary image is calculated, and the appearance time determined in order according to the length of the flight time and the appearance interval determined according to the time interval Based on this, the object may be inserted into the summary image.
실시예에 따르면, 상기 원본 영상에 대해 미리 정의된 온톨로지 구성요소에 따라 분석을 수행하여 메타데이터를 생성하여 저장하기 위한 영상 분석 엔진; 및 상기 메타데이터에 대한 구조화 및 정리를 통한 상기 인덱스 데이터를 생성하여 저장하기 위한 인덱싱 엔진;을 더 포함할 수 있다.According to an embodiment, an image analysis engine for generating and storing metadata by performing analysis on the original image according to a predefined ontology component; And an indexing engine for generating and storing the index data through structuring and organizing the metadata.
본 발명은 각 오브젝트의 체공시간 길이에 따라 요약 영상의 등장 순서를 정한 후 각 오브젝트의 등장 간격에 해당하는 일정시간 간격으로 각 오브젝트를 요약 영상에 삽입함으로써 요약 영상의 길이를 조정 가능하게 할 수 있다.According to the present invention, the length of the summary image can be adjusted by determining the appearance order of summary images according to the length of flight time of each object and then inserting each object into the summary image at a predetermined time interval corresponding to the appearance interval of each object. .
또한, 본 발명은 요약 영상의 길이를 미리 정하여 그에 따라 시공간 튜브를 시간상으로 움직여서 조정할 수 있다.In addition, according to the present invention, the length of the summary image may be determined in advance, and the space-time tube may be moved in time accordingly to adjust the length of the summary image.
또한, 본 발명은 요약 영상의 길이를 최단 길이로 압축할 수 있다.In addition, the present invention can compress the length of the summary image to the shortest length.
도 1은 기존의 시간 무시 방식을 설명하는 도면,
도 2는 기존의 시간 고려 방식을 설명하는 도면,
도 3은 본 발명의 실시예에 따른 요약 영상 생성 장치를 나타낸 도면,
도 4는 도 3의 요약 영상 생성 장치에서 요약 영상을 생성하는 과정을 설명하는 도면,
도 5는 본 발명의 실시예에 따른 요약 영상 생성 방법을 나타낸 도면이다.1 is a diagram illustrating a conventional time ignoring method;
2 is a diagram illustrating a conventional time consideration method;
3 is a diagram showing an apparatus for generating a summary image according to an embodiment of the present invention;
4 is a diagram illustrating a process of generating a summary image by the summary image generating apparatus of FIG. 3;
5 is a diagram illustrating a method of generating a summary image according to an embodiment of the present invention.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in the following description and the accompanying drawings, detailed descriptions of known functions or configurations that may obscure the subject matter of the present invention will be omitted. In addition, it should be noted that the same components are denoted by the same reference numerals as much as possible throughout the drawings.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present specification and claims described below should not be construed as being limited to their usual or dictionary meanings, and the inventors are appropriately defined as terms for describing their own invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention based on the principle that it can be done.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical ideas of the present invention. It should be understood that there may be equivalents and variations.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.In the accompanying drawings, some components are exaggerated, omitted, or schematically illustrated, and the size of each component does not entirely reflect the actual size. The present invention is not limited by the relative size or spacing drawn in the accompanying drawings.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.When a part of the specification is said to "include" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary. In addition, when a part is said to be "connected" with another part, this includes not only the case of being "directly connected", but also the case of being "electrically connected" with another element interposed therebetween.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. Terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, and one or more other features, numbers, or steps. It is to be understood that it does not preclude the possibility of the presence or addition of, operations, components, parts, or combinations thereof.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.In addition, the term "unit" used in the specification refers to a hardware component such as software, FPGA, or ASIC, and "unit" performs certain roles. However, "unit" is not meant to be limited to software or hardware. The “unit” may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors. Thus, as an example, "unit" refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Includes subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays and variables. The functions provided within the components and "units" may be combined into a smaller number of components and "units" or may be further separated into additional components and "units".
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are attached to similar parts throughout the specification.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
도 3은 본 발명의 실시예에 따른 요약 영상 검색 시스템를 나타낸 도면이다.3 is a diagram illustrating a system for retrieving a summary image according to an embodiment of the present invention.
본 발명의 실시예에 따른 요약 영상 검색 시스템(100)은 미리 정해진 요약 영상의 길이에 따라 시공간 튜브를 시간축 상에서 이동 조정함으로써 요약 영상을 생성한다.The summary image retrieval system 100 according to an embodiment of the present invention generates a summary image by moving and adjusting a space-time tube on a time axis according to a predetermined length of the summary image.
여기서, 요약 영상 검색 시스템(100)에 의해 생성되는 요약 영상의 길이는 도 1의 시간 무시 방식과 도 2의 시간 고려 방식의 요약 영상의 길이보다 짧게 설정되는 것이 바람직하다. Here, the length of the summary image generated by the summary image retrieval system 100 is preferably set to be shorter than the length of the summary image of the time-ignoring method of FIG. 1 and the time-considering method of FIG. 2.
이 과정에서 각 오브젝트의 시공간 튜브가 이동 조정될 때, 여러 오브젝트들의 시공간 튜브들이 백그라운드 이미지의 (x,y,t) 공간상에서 충돌할 가능성이 많아지게 된다. 이때, 오브젝트(object)는 저장공간에서 사물(예, 사람, 차량 등)에 할당되어 값을 가지거나 식별자에 의해 참조되는 공간으로서 세그먼트 영상(segment video)으로 정의될 수 있다.In this process, when the space-time tubes of each object are moved and adjusted, the possibility that the space-time tubes of several objects collide in the (x,y,t) space of the background image increases. In this case, the object is a space that is allocated to an object (eg, a person, a vehicle, etc.) in the storage space and has a value or is referred to by an identifier, and may be defined as a segment video.
여기서는 여러 오브젝트들의 시공간 튜브들이 동일 공간상에서 충돌이 발생하지 않도록 조정하는 것이 주목적이 아니고, 전체 요약 영상의 길이를 최단으로 요약하는 것에 우선순위를 둔다. Here, the main purpose is not to adjust the space-time tubes of multiple objects so that collision does not occur in the same space, and priority is given to summarizing the length of the entire summary image to the shortest.
다만, 충돌이 발생하는 여러 오브젝트들의 시공간 튜브들은 화면상에서 반투명하게 표현하게 되고, 원본 영상으로 접근하기 위한 사용자의 선택이 있을 경우 충돌이 발생하는 오브젝트들의 관련 리스트를 화면에 띄워 사용자에 의해 선택 가능하게 한다. 이는 사용자가 충돌이 발생하는 오브젝트들의 원본 영상에 접근 가능한 환경을 제공하기 위함이다.However, the space-time tubes of various objects in which collisions occur are expressed translucent on the screen, and if the user selects to access the original image, a related list of the objects in which collisions occur is displayed on the screen so that the user can select them. do. This is to provide an environment in which the user can access the original image of the objects in which the collision occurs.
도 3에 도시된 바와 같이, 요약 영상 검색 시스템(100)은 영상 분석부(110), 데이터베이스(120), 영상 검색부(130), 사용자 인터페이스부(140)를 포함한다.As shown in FIG. 3, the summary image search system 100 includes an
구체적으로, 영상 분석부(110)는 영상 DB(121)에 저장되어 있는 원본 영상을 온톨로지(ontology)에 기반하여 분석하고, 분석 결과를 메타데이터(metadata) 형태로 저장한다. 이러한 영상 분석부(110)는 영상 분석 엔진(video analytics engine)(111) 및 인덱싱 엔진(indexing engine)(112)을 포함할 수 있다.Specifically, the
영상 분석 엔진(111)은 원본 영상에 대해 미리 정의된 온톨로지 구성 요소에 따라 원본 영상에 대한 분석을 수행한다.The
여기서, 온톨로지 구성 요소는 예를 들어, 클래스(class), 속성(property), 관계(relation)로 정의될 수 있다. Here, the ontology component may be defined as, for example, a class, a property, and a relationship.
즉, 클래스는 사물이나 개념의 구체물이나 사건 등의 실질적인 형태를 나타낸 자체를 의미한다. 속성은 클래스의 특정한 성질, 성향 등을 나타내기 위한 특정한 값으로서, 종류, 색상, 크기, 형태, 움직임, 궤적 등으로 추출 가능하다. 관계는 클래스에 존재하는 관계들을 총칭하며, 폭넓은 개념과 구체적인 개념들로 구분하여 계층적으로 표현하는 관계 또는 인과적으로 표현하는 관계일 수 있다.In other words, a class refers to the actual form of an object or concept or an event. Attributes are specific values for representing specific properties and propensities of a class, and can be extracted by type, color, size, shape, movement, and trajectory. A relationship is a generic term for relationships that exist in a class, and may be a relationship expressed hierarchically by dividing into broad concepts and specific concepts, or a relationship expressed causally.
이때, 영상 분석 엔진(111)은 기 정의된 온톨로지 구성 요소에 따라 원본 영상을 분류한다. 온톨로지 구성 요소는 사용자가 제공받고자 입력하는 검색 조건이 반영될 수 있다. 이를 위해, 온톨로지 구성 요소는 검색 조건이 상호 연동되고, 요소가 추가 확장되면 검색 조건도 추가 확장이 가능하다.In this case, the
이러한 영상 분석 엔진(111)은 원본 영상에 대한 텍스트 기반의 구조화된 정보, 각 오브젝트(object)에 대한 세그먼트 영상 및 백그라운드 이미지 등에 대한 원본 영상의 영상 분석 결과를 추출한다.The
이를 통해, 영상 분석 엔진(111)은 원본 영상 내에서 오브젝트(object)의 움직임(등장, 동작, 사라짐)을 검출 및 추적하는 영상 분석을 수행할 수 있다.Through this, the
또한, 영상 분석 엔진(111)은 백그라운드 이미지 검출, 전경 및 오브젝트 검출, 오브젝트 카운팅, 카메라 탬퍼링(camera tampering) 검출, 얼굴 검출 등에 대한 영상 분석을 수행할 수 있다.In addition, the
그리고, 영상 분석 엔진(111)은 각 오브젝트의 세그먼트 영상에 대한 영상의 밝기(brightness), 색상(color), 질감(texture) 및 윤곽선(shape) 정보도 산출할 수 있다.In addition, the
한편, 영상 분석 엔진(111)은 원본 영상의 영상 분석 결과와 관련된 메타데이터(metadata)를 생성하여 메타데이터 DB(122)에 저장한다. 이때, 메타데이터는 텍스트 기반의 메타데이터 이외에 각 오브젝트의 세그먼트 영상과 같은 블랍(Binary Large Object, BLOB) 기반의 메타데이터와 백그라운 이미지와 같은 이미지 기반 메타데이터가 함께 저장된다. 여기서, 메타데이터는 ISO 15836 표준에 따른 더블린 코어(Dublin Core)로 저장 및 관리될 수 있다.Meanwhile, the
그리고, 인덱싱 엔진(112)은 검색이 용이하도록 메타데이터에 대한 구조화 및 정리를 통한 인덱스 데이터(index data)를 생성하여 인덱스 DB(123)에 저장한다. 인덱스 데이터는 검색을 통해 메타데이터에 접근하는 경우나 해당 메타데이터에 대응하는 원본 영상에 접근하는 경우에 사용된다.In addition, the
다음으로, 데이터베이스(120)는 원본 영상을 저장하는 영상 DB(121), 메타데이터를 저장하는 메타데이터 DB(122), 인덱스 데이터를 저장하는 인덱스 DB(123)를 포함한다.Next, the
다음으로, 영상 검색부(130)는 사용자에 의해 입력된 검색 조건에 따라 요약 영상(summarized video)을 생성하여 사용자에게 제공한다.Next, the
이러한 영상 검색부(130)는 쿼리 엔진(query engine)(131), 검색 엔진(search engine)(132), 요약 영상 생성 장치(133)를 포함할 수 있다.The
쿼리 엔진(131)은 사용자에 의해 입력된 검색 조건을 분석하여 기 정의된 형태로 재구성한다. 여기서, 사용자에 의해 입력된 검색 조건은 시간 구간, 카메라 채널 수, 오브젝트의 종류(사람, 차량 등), 색상, 화면 상의 특정 구역, 화면 상의 특정 라인 및 특정 방향 등일 수 있다.The
검색 엔진(132)은 재구성된 검색 조건에 대응하는 인덱스 데이터를 인덱스 DB(123)로부터 추출하고, 영상 DB(121)로부터 추출된 인덱스 데이터에 대응하는 원본 영상을 추출한다.The
요약 영상 생성 장치(133)는 추출된 인덱스 데이터 및 원본 영상을 기초로 요약 영상을 생성하여 실시간 렌더링(rendering)한다. 이때, 요약 영상 생성 장치(133)는 백그라운드 이미지를 렌더링하고, 백그라운드 이미지에 중첩하여 하나 이상의 움직이는 객체를 렌더링한다.The summary
또한, 요약 영상 생성 장치(133)는 충돌이 발생하는 여러 오브젝트들을 화면상에 반투명하게 표현하되, 사용자의 선택이 있을 경우에 원본 영상으로 접근이 가능하도록 충돌이 발생하는 각 오브젝트들과 관련된 인덱스 데이터를 리스트 형식으로 화면상에 띄워 사용자에 의해 선택 가능하게 한다. 이에, 사용자는 필요에 따라 충돌이 발생하는 여러 오브젝트들의 원본 영상에 선택적인 접근이 가능하다.In addition, the summary
아울러, 요약 영상 생성 장치(133)는 시간 정보(오브젝트 등장 시간, 이벤트 발생 시간 등)를 요약 영상에 표시할 수 있다. 요약 영상 생성 장치(133)에서 요약 영상을 생성하는 과정에 대해서는 후술할 도 4를 참조하여 상세히 설명하기로 한다.In addition, the summary
이러한 요약 영상 생성 장치(133)는 적어도 하나 이상의 프로세서와 컴퓨터 판독 가능한 명령들을 저장하기 위한 메모리를 포함한다.The summary
적어도 하나 이상의 프로세서는 메모리에 저장된 컴퓨터 판독 가능한 명령들을 실행할 때, 본 발명의 실시예에 따른 요약 영상 생성 방법을 수행하게 된다. 즉, 프로세서는 메모리에 저장된 컴퓨터 판독 가능한 명령들을 실행할 때, 요약 영상 생성 장치(133)에 포함된 영상 분석부(110), 데이터베이스(120), 영상 검색부(130), 사용자 인터페이스부(140)의 기능을 수행할 수 있게 된다.When at least one processor executes computer-readable instructions stored in a memory, it performs a method for generating a summary image according to an embodiment of the present invention. That is, when the processor executes computer-readable instructions stored in the memory, the
여기서, 프로세서는 적어도 하나 이상의 프로세서로서, 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다.Here, the processor is at least one processor, and may also be referred to as a controller, a microcontroller, a microprocessor, a microcomputer, or the like.
그리고, 프로세서는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.In addition, the processor may be implemented by hardware, firmware, software, or a combination thereof.
또한, 메모리는 하나의 저장 장치일 수 있거나, 또는 복수의 저장 엘리먼트의 집합적인 용어일 수 있다. 메모리에 저장된 컴퓨터 판독 가능한 명령들은 실행가능한 프로그램 코드 또는 파라미터, 데이터 등일 수 있다. Also, the memory may be a single storage device, or may be a collective term for a plurality of storage elements. Computer-readable instructions stored in the memory may be executable program code or parameters, data, and the like.
그리고, 메모리는 RAM(Random Access Memory)을 포함할 수 있거나, 또는 자기 디스크 저장장치 또는 플래시(flash) 메모리와 같은 NVRAM(Non-Volatile Memory)을 포함할 수 있다. In addition, the memory may include a random access memory (RAM), or may include a non-volatile memory (NVRAM) such as a magnetic disk storage device or a flash memory.
다음으로, 사용자 인터페이스부(140)는 사용자에 의한 검색 조건의 입력을 위한 입력 장치(141), 요약 영상 재생을 통해 사용자에게 제공하기 위한 디스플레이 장치(142)를 포함한다.Next, the
사용자는 요약 영상을 직접 리뷰하면서, 문제 영상에 대해 원본 영상을 확인하는 과정을 통해 세밀하게 검색하게 된다.The user directly reviews the summary image and searches in detail through the process of checking the original image for the problem image.
요약 영상 생성 장치(133)는 입력 장치(141)를 통해 검색 조건이 입력되지 않으면, 전체 오브젝트를 사용하여 요약 영상을 만들어 디스플레이 장치(142)를 통해 재생시킨다. 그리고, 요약 영상 생성 장치(133)는 입력 장치(141)를 통해 검색 조건이 입력되면, 검색 조건에 해당하는 오브젝트를 사용하여 요약 영상을 만들어 디스플레이 장치(142)를 통해 재생시킨다.If a search condition is not input through the
도 4는 도 3의 요약 영상 생성 장치에서 요약 영상을 생성하는 과정을 설명하는 도면이다.FIG. 4 is a diagram illustrating a process of generating a summary image by the summary image generating apparatus of FIG. 3.
요약 영상 생성 장치(133)는 각 오브젝트의 체공시간(즉, 오브젝트가 머무는 시간, 등장부터 퇴장까지 시간) 길이에 따라 요약 영상의 등장 순서를 정한 후 각 오브젝트의 등장 간격에 해당하는 일정시간 간격으로 각 오브젝트를 요약 영상에 삽입한다.The summary
요약 영상 생성 장치(133)는 오브젝트의 체공시간에 따라 요약 영상의 길이가 결정된다. 즉, 요약 영상의 길이는 '전체 오브젝트의 체공시간 중 가장 긴 체공시간'(즉, 최장 체공시간) 보다 짧지 않다. 다시 말해, 요약 영상의 최단 길이는 전체 오브젝트의 체공시간 중 최장 체공시간일 수 있다.The summary
예를 들어, 전체 오브젝트의 체공시간 중 최장 체공시간이 2분이라면, 요약 영상 생성 장치(133)는 요약 영상의 길이를 2분 이하로 만들지 않는다. 이는 해당 오브젝트가 요약 영상의 처음부터 삽입되더라도 끝까지 요약 영상에 남아 있어야 하기 때문이다.For example, if the longest flight time of the entire object is 2 minutes, the summary
이에 따라, 요약 영상 생성 장치(133)는 요약 영상 내에 삽입될 오브젝트의 개수(N), 일정시간 간격(TC) 및 최단 체공시간(TS)을 이용하여 요약 영상의 길이를 결정하되, 최장 체공시간(TL)을 고려해야 한다.Accordingly, the summary
구체적으로, 요약 영상의 길이는 하기 수학식 1과 같이 계산될 수 있다.Specifically, the length of the summary image may be calculated as in
여기서, TC는 일정시간 간격으로서, 두 개의 오브젝트가 요약 영상에 삽입되는 시간 간격을 나타낸다. N은 오브젝트의 개수로서, 원본 영상에 등장하는 전체 오브젝트의 개수로서 메타데이터를 통해 확인된다. TS는 최단 체공시간으로서, 전체 오브젝트의 체공시간 중 가장 짧은 체공시간을 나타낸다.Here, TC is a predetermined time interval and indicates a time interval at which two objects are inserted into the summary image. N is the number of objects, which is the number of all objects appearing in the original image, which is identified through metadata. TS is the shortest flight time and represents the shortest flight time among all objects.
이때, 요약 영상 생성 장치(133)는 상기 수학식 1에 의해 계산된 계산값과 최장 체공시간을 비교하여 해당 계산값이 최장 체공시간(TL) 보다 작으면, 최장 체공시간(TL)을 요약 영상의 길이로 결정한다. 이 경우, 요약 영상의 길이는 TL이다.In this case, the summary
예를 들어, 2시간 원본 영상에 등장하는 오브젝트의 개수(N)가 100개이고, 일정시간 간격(TC)이 100 프레임이며, 최단 체공시간(TS)이 1000 프레임(즉, 33.333초)으로 가정하면, 요약 영상의 길이는 상기 수학식 1에 의하면 10,900 프레임이 된다. 즉, 요약 영상의 길이는 (100 프레임)×(100-1)＋(1000 프레임)로서, 이를 계산하면 10,900 프레임이다. 10,900 프레임은 6.05분(＝10900/1800)에 해당한다. 참고로, 1초에 30 프레임이 재생되므로, 1분에 1800 프레임이 재생된다.For example, assuming that the number of objects (N) appearing in the original 2-hour video is 100, the regular time interval (TC) is 100 frames, and the shortest flight time (TS) is 1000 frames (that is, 33.333 seconds). , The length of the summary image is 10,900 frames according to
사용자는 일정시간 간격(TC)을 조정하여 요약 영상의 길이를 목표 수준으로 조정할 수 있게 된다. 이때, 사용자는 일정시간 간격(TC)를 줄이면서 요약 영상의 길이가 최장 체공시간이 될 때까지 조정 가능하다. 즉, 요약 영상의 길이가 최장 체공시간과 일치할 경우, 요약 영상은 최대 시간 압축을 의미한다. 예를 들어, 최장 체공시간이 2분이라면, 요약 영상을 2분으로 만드는 경우는 최대 시간 압축을 의미하게 된다.The user can adjust the length of the summary image to the target level by adjusting the predetermined time interval (TC). At this time, the user can adjust the length of the summary image until the length of the summary image reaches the longest flight time while reducing the predetermined time interval (TC). That is, when the length of the summary image matches the longest flight time, the summary image means maximum time compression. For example, if the longest flight time is 2 minutes, when the summary image is made into 2 minutes, it means maximum time compression.
이러한 요약 영상은 최장 체공시간이 상대적으로 짧고, 등장하는 오브젝트의 개수가 너무 많으면, 오브젝트의 충돌이 많이 발생하기 때문에 사용자가 너무 비좁게 느껴질 수 있다. 그러면, 사용자는 요약 영상의 길이를 임의로 늘릴 수 있다.In such a summary image, the longest flight time is relatively short, and if the number of objects appearing is too large, collisions of objects occur a lot, so the user may feel too cramped. Then, the user can arbitrarily increase the length of the summary image.
이와 같이, 요약 영상의 길이는 일정시간 간격(TC)을 감소시키면서 오브젝트의 등장 시간 간격을 줄이는 과정을 통해 조정할 수 있다. 즉, 요약 영상의 길이는 간단한 연산으로 더 짧게 조정할 수 있게 된다. 예를 들어, 일정시간 간격은 100 프레임일 때, 100 프레임에서 1 프레임까지 조정 가능하다. In this way, the length of the summary image can be adjusted through a process of reducing the appearance time interval of the object while decreasing the predetermined time interval TC. That is, the length of the summary image can be adjusted to be shorter with a simple operation. For example, when the predetermined time interval is 100 frames, it is adjustable from 100 frames to 1 frame.
이는 전체 오브젝트 개수가 전체 프레임 개수 이하(전체 오브젝트 개수≤전체 프레임 개수)일 때 적용된다. 전체 오브젝트 개수가 전체 프레임 개수보다 많을 경우(즉, 전체 오브젝트 개수＞전체 프레임 개수)에는 각 프레임에 할당되는 오브젝트 개수가 적어도 하나 이상이 된다.This is applied when the total number of objects is less than or equal to the total number of frames (the total number of objects ≤ the total number of frames). When the total number of objects is greater than the total number of frames (ie, total number of objects> total number of frames), the number of objects allocated to each frame is at least one or more.
또한, 요약 영상 생성 장치(133)는 오브젝트의 체공시간 길이 순서대로 요약 영상에 삽입한다. 즉, 요약 영상 생성 장치(133)는 체공시간이 가장 긴 오브젝트를 가장 먼저 요약 영상에 배열하여 삽입하기 시작한다. 즉, 오브젝트의 체공시간 길이는 요약 영상에 등장하는 순서와 관련된다.In addition, the summary
도 4를 참조하면, 오브젝트의 체공시간 길이 순서대로 번호가 부여되어 있다. 즉, ①번 오브젝트는 체공시간이 가장 길고, ⑤번 오브젝트는 체공시간이 가장 짧다. 예를 들어, ①번부터 ⑤번 오브젝트가 전체 오브젝트라 할 때, ①번 오브젝트는 최장 체공시간을 나타내고, ⑤번 오브젝트는 최단 체공시간을 나타낸다.Referring to FIG. 4, numbers are assigned in the order of the length of the object's flight time. In other words,
요약 영상 생성 장치(133)는 t1일 때 ①번 오브젝트를 요약 영상에 삽입하고, t2일 때 ②번 오브젝트를 삽입하며, t3일 때 ③번 오브젝트를 삽입하고, t4일 때 ④번 오브젝트를 삽입하며, t5일 때 ⑤번 오브젝트를 삽입한다. 여기서, 각 오브젝트의 등장 시간 순서는 t1＞t2＞t3＞t4＞t5이다.The summary
전술한 바와 같이, 2시간 길이의 원본 영상에 대한 요약 영상을 만드는 경우를 가정하고, 원본 영상에 등장하는 오브젝트의 개수는 100개이며, 최장 체공시간은 2분이고, 요약 영상의 길이 타겟은 6.05분이라 가정하면, 요약 영상의 길이 타겟은 최장 체공시간 보다 길기 때문에 6.05분이 가능하다.As described above, assuming the case of creating a summary image for the original image of 2 hours long, the number of objects appearing in the original image is 100, the longest flight time is 2 minutes, and the length target of the summary image is 6.05 minutes. Assuming this, since the length target of the summary image is longer than the longest flight time, 6.05 minutes is possible.
여기서는 최단 길이의 요약 영상을 만들기 위해 요약 영상의 길이 타켓을 2분으로 설정하는 경우로 설명하기로 한다. 1초에 30 프레임이 재생된다면, 1분간은 1800 프레임, 2분짜리 처음 요약 영상은 3600 프레임을 갖는다.Here, in order to create a summary video of the shortest length, a description will be made as a case in which the length target of the summary video is set to 2 minutes. If 30 frames per second are played, 1 minute is 1800 frames, and the first two-minute summary video has 3600 frames.
최단 길이의 요약 영상을 만드는 경우는 오브젝트들이 서로 충돌하는 확률이 증가하는 것을 예상할 수 있다. 그런데, 이 경우에는 오브젝트들이 특정 시간 구간에 집중적으로 등장하지 않도록 오브젝트를 일정시간 간격으로 요약 영상에서 등장시킴으로써 오브젝트들이 서로 충돌하는 상황을 관리하는 것이 바람직하다. 여기서, 충돌이라 함은 2개 이상의 오브젝트들이 서로 겹쳐서 보이는 상황을 의미한다.In the case of creating a summary image having the shortest length, it can be expected that the probability of objects colliding with each other increases. However, in this case, it is desirable to manage a situation in which objects collide with each other by making objects appear in the summary image at regular time intervals so that the objects do not appear intensively in a specific time period. Here, collision refers to a situation in which two or more objects overlap each other.
예를 들어, 마지막 100번째 오브젝트의 체공시간이 33.333초 정도의 1000프레임 시간이라면, 모든 오브젝트가 정상적으로 재생하기 위해서는 마지막 100번째 오브젝트가 적어도 마지막 1000 프레임을 남겨둔 상태에서 요약 영상에 등장해야 한다.For example, if the flight time of the last 100th object is about 1000 frames of 33.333 seconds, in order for all objects to play normally, the last 100th object must appear in the summary video with at least the last 1000 frames left.
이때, 각 오브젝트는 일정시간 간격으로 요약 영상에 등장할 경우, 26 프레임 마다 등장해야 한다. 즉, 2분짜리 요약 영상은 3600 프레임을 가지고, 마지막 100번째 오브젝트의 체공시간은 1000 프레임이므로, 100개의 각 오브젝트는 (3600-1000)/100로 계산되는 일정시간 간격 26 프레임 마다 등장해야 한다In this case, when each object appears in the summary image at regular time intervals, it must appear every 26 frames. In other words, the two-minute summary video has 3600 frames, and the last 100th object's flight time is 1000 frames, so each 100 objects must appear every 26 frames at a certain time interval calculated as (3600-1000)/100.
아울러, 일정시간 간격은 N번째 오브젝트의 마지막 등장 가능 시간을 확인할 필요가 있다. 이는 각 오브젝트가 요약 영상에 삽입할 때 끊김 없이 완전히 재생하려면 적어도 체공시간 만큼 필요하기 때문이다. 즉, 각 오브젝트는 요약 영상에 등장하지 않으면 안되는 가장 늦은 시간 즉, 마지막 등장 가능 시간이 존재한다.In addition, it is necessary to check the last possible appearance time of the N-th object at a predetermined time interval. This is because, when each object is inserted into the summary image, it takes at least as much air time to completely play it without interruption. That is, each object has the latest time when it must appear in the summary image, that is, the last available time.
이에 따라, 오브젝트 개수가 N개일 때, N번째 오브젝트는 마지막 프레임 시간으로부터 체공시간 만큼 시간을 확보하여 요약 영상에 삽입할 때 끊김없이 완전히 재생할 수 있게 된다. Accordingly, when the number of objects is N, the N-th object can be completely reproduced without interruption when inserting into the summary image by securing a time as much as the flight time from the last frame time.
그래서, N번째 오브젝트의 마지막 등장 가능 시간은 전체 프레임 시간에서 N번째 오브젝트의 체공시간을 뺀 값이 된다. 즉, N번째 오브젝트의 마지막 등장 가능 시간은 (전체 프레임수)―(N번째 오프젝트의 체공시간)이 된다. Thus, the last possible appearance time of the N-th object becomes a value obtained by subtracting the flight time of the N-th object from the total frame time. That is, the last possible appearance time of the N-th object is (total number of frames)-(the flight time of the N-th object).
앞서 언급한 예시에서, 마지막 100번째 오브젝트의 마지막 등장 가능 시간은 2600 프레임이 된다. 이때, 전체 프레임 개수가 3600 프레임이고, 마지막 100번째 오브젝트의 체공시간이 1000 프레임(즉, 33.333초)이다.In the above-mentioned example, the last possible appearance time of the last 100th object is 2600 frames. At this time, the total number of frames is 3600 frames, and the flight time of the last 100th object is 1000 frames (ie, 33.333 seconds).
또한, 각 오브젝트는 일정시간 간격으로 다음과 같이 등장하게 된다. 즉, 첫번째 오브젝트는 첫번째 프레임부터 등장하여 체공시간 만큼 요약 영상에 머물고 사라지고, 두번재 오브젝트는 26번째 프레임부터 등장하여 체공시간 만큼 요약 영상에 머물고 사라지며, 세번째 오브젝트는 52번째 프레임부터 등장하여 체공시간 만큼 요약 영상에 머물고 사라진다. 이런 과정으로 마지막 오브젝트는 2600번째 프레임에서 등장하여 체공시간 만큼 요약 영상에 머물고 사라진다. 이와 같이, 각 오브젝트는 일정시간 간격 마다 등장하여 체공시간 만큼 요약 영상에 머물고 사라진다.In addition, each object appears at regular time intervals as follows. In other words, the first object appears from the first frame, stays in the summary image for as long as the flight time, and disappears, the second object appears from the 26th frame, stays in the summary image as much as the flight time, and disappears, and the third object appears from the 52nd frame and disappears As long as it stays in the summary video and disappears. In this process, the last object appears in the 2600th frame, stays in the summary image for as long as the flight time, and disappears. In this way, each object appears at regular time intervals, stays in the summary image for as long as the flight time, and disappears.
이상에서 살펴본 바와 같이, 일정시간 간격(TC)은 하기 수학식 2와 같이 계산될 수 있다.As described above, the predetermined time interval TC may be calculated as in
여기서, FA는 요약 영상의 전체 프레임 개수, FL은 N번째 오브젝트의 체공시간 프레임 개수, N은 오브젝트의 개수를 나타낸다. FA-FL은 N번째 오브젝트의 마지막 등장 가능 시간에 해당된다. 즉, N번째 오브젝트의 마지막 등장 가능 시간은 요약 영상의 전체 시간과 N번째 오브젝트의 체공시간 간의 시간차이다.Here, FA denotes the total number of frames of the summary image, FL denotes the number of flight time frames of the N-th object, and N denotes the number of objects. FA-FL corresponds to the last possible appearance time of the Nth object. That is, the last possible appearance time of the N-th object is a time difference between the total time of the summary image and the flight time of the N-th object.
전술한 바와 같이, 요약 영상 생성 장치(133)는 각 오브젝트의 체공시간 길이 순서에 따라 등장 시간을 결정한다. 즉, 각 오브젝트가 요약 영상에 등장하는 시간은 체공시간이 가장 긴 오브젝트부터 일정시간 간격(TC)의 배수로 각 오브젝트들을 나열한다.As described above, the summary
즉, 가장 체공시간이 긴 오브젝트는 첫번째 프레임으로 등장 시간을 할당하고, 두번째로 체공시간이 긴 오브젝트는 1배수의 일정시간 간격의 프레임(1×TC)으로 등장 시간을 할당하며, 세번째로 체공시간이 긴 오브젝트는 2배수의 일정시간 간격의 프레임(2×TC)으로 등장 시간을 할당하고, N번째로 체공시간이 긴 오브젝트는 (N-1)배수의 일정시간 간격의 프레임((N-1)×TC)으로 등장 시간을 할당한다.In other words, the object with the longest flight time is assigned the appearance time as the first frame, the second object with the longest flight time is allotted the appearance time as a frame (1×TC) at a fixed time interval of one multiple, and the third flight time For this long object, the appearance time is allocated in a frame (2×TC) at a fixed time interval of twice the number of times, and the object with the Nth longest flight time is a frame at a fixed time interval ((N-1) times the number of (N-1). )×TC).
이상에서 살펴본 바와 같이, N번째 오브젝트의 등장 시간은 하기 수학식 3과 같이 계산될 수 있다.As described above, the appearance time of the N-th object may be calculated as in Equation 3 below.
여기서, N은 오브젝트의 개수, TC는 일정시간 간격을 나타낸다.Here, N denotes the number of objects, and TC denotes a predetermined time interval.
그런데, 요약 영상 생성 장치(133)는 'N번째 오브젝트의 등장 시간'과 'N번째 오브젝트의 마지막 등장 가능 시간'을 비교함에 따라, 'N번째 오브젝트의 등장 시간'이 'N번째 오브젝트의 마지막 등장 가능 시간' 보다 늦는다면 스케줄을 조정할 필요가 있다.By the way, the summary
이 경우, 요약 영상 생성 장치(133)는 'N번째 오브젝트의 등장 시간'을 'N번째 오브젝트의 마지막 등장 가능 시간'으로 스케줄을 조정한다.In this case, the summary
예를 들어, 두번째로 긴 체공시간을 가진 두번째 오브젝트의 체공시간이 3580 프레임이라고 가정하면, 두번째 오브젝트의 마지막 등장 가능 시간은 20 프레임(즉, 20＝3600―3580)이다. For example, assuming that the flight time of the second object with the second longest flight time is 3580 frames, the last possible appearance time of the second object is 20 frames (ie, 20=3600-3580).
두번째 오브젝트의 등장 시간은 1배수의 일정시간 간격의 프레임(즉, 1×TC)이므로, 앞서 언급한 일정시간 간격(TC)인 26 프레임에 해당한다.Since the appearance time of the second object is a frame at a constant time interval (ie, 1×TC) of one multiple, it corresponds to 26 frames, which is the aforementioned constant time interval (TC).
이와 같이, 요약 영상 생성 장치(133)는 두번째 오브젝트의 등장 시간이 26 프레임이고, 두번째 오브젝트의 마지막 등장 가능 시간이 20 프레임이므로(즉, 두번째 오브젝트 등장 시간＞두번째 오브젝트 마지막 등장 가능 시간), 두번째 오브젝트의 등장시간을 마지막 등장 가능 시간인 20 프레임으로 스케줄 조정한다.As described above, the summary
한편, 요약 영상 생성 장치(133)는 전체 오브젝트 개수가 전체 프레임 개수 보다 많을 경우에, 곧바로 일정시간 간격을 계산하여 적용하기 곤란하므로, 우선적으로 각 프레임에 할당되는 오브젝트 개수를 계산한다. 즉, 각 프레임에 할당되는 오브젝트 개수는 (전체 오브젝트 개수)/(전체 프레임 개수)로 계산하되, 올림값으로 계산된다. 전체 오브젝트 개수가 5000개이고, 전체 프레임 개수가 3600 프레임일 때, 각 프레임에 할당되는 오브젝트 개수는 1.39개이나, 이의 올림값 2개로 결정된다.Meanwhile, when the total number of objects is greater than the total number of frames, the summary
구체적으로, 요약 영상 생성 장치(133)는 각 오브젝트의 체공시간에 따라 나열한 후 각 프레임에 할당되는 오브젝트 개수 만큼 오브젝트들을 그룹핑하여 첫번째 프레임부터 순서대로 할당한다.Specifically, the summary
예를 들어, 2분(즉, 3600 프레임)에 삽입되는 전체 오브젝트의 개수가 5000개라면 할당 개수는 2개가 된다. For example, if the total number of objects inserted in 2 minutes (that is, 3600 frames) is 5000, the number of allocations is 2.
이는 전체 오브젝트의 개수가 2500개에 해당하는 것으로서, 마지막 오브젝트의 체공시간 프레임 개수가 확인될 경우 수학식 2를 통해 일정시간 간격을 확인 가능하다. 마지막 오브젝트의 체공시간 프레임 개수가 1000 프레임인 경우라면, 일정시간 간격은 1.1 프레임(약 1 프레임)일 수 있다.This corresponds to the total number of objects of 2500, and when the number of flight time frames of the last object is confirmed, it is possible to check a predetermined time interval through
이때, 전체 오브젝트를 체공시간 순서로 나열한 후, 첫 2개의 오브젝트를 첫번째 프레임에 할당하고, 그 다음 2개의 오브젝트를 두번째 프레임에 할당하며, 다시 그 다음 2개의 오브젝트를 세번째 프레임에 할당한다. 이러한 방식으로 전체 오브젝트 5000개는 2500 프레임의 각 프레임에 할당된다.At this time, after arranging all objects in the order of flight time, the first two objects are assigned to the first frame, the next two objects are assigned to the second frame, and the next two objects are assigned to the third frame. In this way, a total of 5000 objects are allocated to each frame of 2500 frames.
도 5는 본 발명의 실시예에 따른 요약 영상 생성 방법을 나타낸 도면이다.5 is a diagram showing a method of generating a summary image according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 요약 영상 생성 장치(133)는 원본 영상의 메타데이터를 통해 원본 영상의 오브젝트 개수 및 체공시간 길이를 확인한다(S201).As shown in FIG. 5, the summary
이후, 요약 영상 생성 장치(133)는 오브젝트의 체공시간 길이에 따라 요약 영상의 길이를 결정한다(S202). 이때, 요약 영상의 길이는 적어도 전체 오브젝트의 체공시간 중 최장 체공시간 이상으로 결정된다.Thereafter, the summary
그런 다음, 요약 영상 생성 장치(133)는 전체 오브젝트 개수가 전체 프레임 개수 이하일 때(S203), 각 오브젝트의 등장 간격에 해당하는 일정시간 간격을 계산한다(S204). 여기서, 일정시간 간격은 요약 영상의 전체 프레임 개수, 마지막 오브젝트의 체공시간 프레임 개수, 오브젝트의 개수를 이용하여 계산될 수 있다(수학식 2 참조). 전체 프레임 개수는 요약 영상의 길이를 통해 확인 가능하다.Then, when the total number of objects is less than the total number of frames (S203), the summary
반면에, 요약 영상 생성 장치(133)는 전체 오브젝트 개수가 전체 프레임 개수 초과일 때(S203), 각 프레임에 할당되는 오브젝트 개수를 계산한 다음, 각 프레임에 할당되는 오브젝트 개수 만큼 오브젝트들을 그룹핑하여 프레임 순서대로 할당한다(S209).On the other hand, when the total number of objects exceeds the total number of frames (S203), the summary
또한, 요약 영상 생성 장치(133)는 오브젝트의 등장 시간이 마지막 등장 가능 시간 미만일 때(S205), 오브젝트의 체공시간 길이와 일정시간 간격에 따라 각 오브젝트를 요약 영상에 삽입한다(S206).In addition, when the appearance time of the object is less than the last possible appearance time (S205), the summary
여기서, 오브젝트의 체공시간 길이는 각 오브젝트의 등장 순서와 관련되고, 일정시간 간격은 두 오브젝트 간 등장 간격에 해당한다.Here, the length of the object's flight time is related to the appearance order of each object, and the predetermined time interval corresponds to the appearance interval between two objects.
반면에, 요약 영상 생성 장치(133)는 오브젝트의 등장 시간이 마지막 등장 가능 시간 이상일 때(S205), 등장 시간을 마지막 등장 가능 시간으로 스케줄을 조정한 후(S210), 오브젝트의 체공시간 길이와 일정시간 간격에 따라 각 오브젝트를 요약 영상에 삽입한다(S206).On the other hand, when the appearance time of the object is greater than or equal to the last possible appearance time (S205), the summary
여기서, 마지막 오브젝트 등장 시간은 (N-1) 배수의 일정시간 간격의 프레임이고, 마지막 오브젝트 등장 가능 시간은 전체 프레임 시간에서 마지막 오브젝트의 체공시간을 뺀 값이 된다.Here, the last object appearance time is a frame at a constant time interval that is a multiple of (N-1), and the last object appearance time is a value obtained by subtracting the flight time of the last object from the total frame time.
한편, 요약 영상 생성 장치(133)는 일정시간 간격을 감소시키는 조정을 통해 요약 영상의 길이를 더욱 압축할 수 있다(S207, S208). Meanwhile, the summary
요약 영상 생성 장치(133)는 전술한 압축 기능을 이용하여 사용자가 원하는 더 짧은 길이로 요약 영상을 만들어 줄 수 있다. 반면에, 도 1의 시간 무시 방식과 도 2의 시간 고려 방식은 사용자가 원하는 길이로 요약 영상을 만들어줄 수 없다.The summary
일부 실시 예에 의한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The method according to some embodiments may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded in the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and magnetic-optical media such as floptical disks. A hardware device specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.Although the above description has been described with focus on the novel features of the present invention applied to various embodiments, those skilled in the art will have the above-described apparatus and method without departing from the scope of the present invention. It will be appreciated that various deletions, substitutions, and changes are possible in the form and detail of a document. Accordingly, the scope of the present invention is defined by the appended claims rather than by the above description. All modifications within the scope of equivalents of the claims are included in the scope of the present invention.
100 ; 요약 영상 검색 시스템
110 ; 영상 분석부
111 ; 영상 분석 엔진
112 ; 인덱싱 엔진
120 ; 데이터베이스
121 ; 영상 DB
122 ; 메타데이터 DB
123 ; 인덱스 DB
130 ; 영상 검색부
131 ; 쿼리 엔진
132 ; 검색 엔진
133 ; 요약 영상 생성 장치
140 ; 사용자 인터페이스부
141 ; 입력 장치
142 ; 디스플레이 장치100; Summary
111;
120;
122;
130;
132;
140;
142; Display device
Claims (18)
상기 요약 영상에 삽입되는 상기 오브젝트의 시간 간격을 계산하는 단계; 및
상기 체공시간의 길이에 따라 순서대로 정해진 등장 시간과 상기 시간 간격에 따라 정해진 등장 간격에 기반하여 상기 오브젝트를 상기 요약 영상에 삽입하는 단계;
를 포함하는 요약 영상 생성 방법.
Determining the length of the summary image according to the flight time of the object identified through the metadata of the original image;
Calculating a time interval of the object inserted into the summary image; And
Inserting the object into the summary image based on an appearance time determined in order according to the length of the flight time and an appearance interval determined according to the time interval;
A method for generating a summary image comprising a.
상기 요약 영상의 길이는,
전체 오브젝트의 체공시간 중 가장 긴 최장 체공시간 이상으로 결정되는 것인 요약 영상 생성 방법.
The method of claim 1,
The length of the summary image is,
A method of generating a summary image that is determined to be more than the longest and longest flight time among the total object flight time.
상기 요약 영상의 길이는,
상기 시간 간격을 조정함에 따라 추가 압축이 가능한 것인 요약 영상 생성 방법.
The method of claim 2,
The length of the summary image is,
The method of generating a summary image in which additional compression is possible by adjusting the time interval.
상기 시간 간격을 계산하는 단계 이전에, 전체 오브젝트 개수와 전체 프레임 개수를 비교하는 단계;
상기 전체 오브젝트 개수가 상기 전체 프레임 개수 초과일 때, 각 프레임에 할당되는 오브젝트 개수를 계산하는 단계; 및
상기 계산된 각 프레임에 할당되는 오브젝트 개수를 그룹핑하여 프레임 순서대로 할당하는 단계;
를 더 포함하는 요약 영상 생성 방법.
The method of claim 1,
Comparing the total number of objects and the total number of frames before calculating the time interval;
Calculating the number of objects allocated to each frame when the total number of objects exceeds the total number of frames; And
Grouping the calculated number of objects allocated to each frame and allocating them in frame order;
A method for generating a summary image further comprising a.
상기 시간 간격을 계산하는 단계는,
상기 전체 오브젝트 개수가 상기 전체 프레임 개수 이하일 때 상기 시간 간격을 계산하는 것인 요약 영상 생성 방법.
The method of claim 4,
The step of calculating the time interval,
When the total number of objects is less than or equal to the total number of frames, the time interval is calculated.
상기 요약 영상에 삽입하는 단계 이전에, 상기 등장 시간과 마지막 등장 가능 시간을 비교하는 단계; 및
상기 등장 시간이 상기 마지막 등장 가능 시간 이상일 때, 상기 등장 시간을 상기 마지막 등장 가능 시간으로 스케줄을 조정하는 단계;
를 더 포함하는 요약 영상 생성 방법.
The method of claim 1,
Comparing the appearance time and the last possible appearance time before inserting into the summary image; And
When the appearance time is greater than or equal to the last appearance time, adjusting a schedule from the appearance time to the last appearance time;
A method for generating a summary image further comprising a.
상기 마지막 등장 가능 시간은,
상기 요약 영상의 전체 시간과 상기 오브젝트의 체공시간 간의 시간차에 해당하는 것인 요약 영상 생성 방법.
The method of claim 6,
The last available time above is,
The method of generating a summary image corresponding to a time difference between the total time of the summary image and the flight time of the object.
상기 요약 영상에 삽입하는 단계는,
상기 등장 시간이 상기 마지막 등장 가능 시간 전체 오브젝트 개수가 상기 전체 프레임 개수 미만일 때 상기 오브젝트를 상기 요약 영상에 삽입하는 것인 요약 영상 생성 방법.
The method of claim 7,
The step of inserting into the summary image,
The method of generating a summary image, wherein the object is inserted into the summary image when the number of objects in the last appearance time is less than the total number of frames.
적어도 하나 이상의 프로세서; 및
컴퓨터 판독 가능한 명령들을 저장하기 위한 메모리;를 포함하며,
상기 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 요약 영상 생성 장치로 하여금,
원본 영상의 메타데이터를 통해 확인된 오브젝트의 체공시간에 따라 요약 영상의 길이를 결정하게 하고,
상기 요약 영상에 삽입되는 상기 오브젝트의 시간 간격을 계산하게 하며,
상기 체공시간의 길이에 따라 순서대로 정해진 등장 시간과 상기 시간 간격에 따라 정해진 등장 간격에 기반하여 상기 오브젝트를 상기 요약 영상에 삽입하게 하는 것인 요약 영상 생성 장치.
As a summary image generating device,
At least one processor; And
Including; a memory for storing computer-readable instructions,
The instructions, when executed by the at least one processor, cause the summary image generating apparatus,
Determine the length of the summary video according to the flight time of the object identified through the metadata of the original video,
To calculate the time interval of the object inserted in the summary image,
The apparatus for generating a summary image to insert the object into the summary image based on an appearance time determined in order according to the length of the flight time and an appearance interval determined according to the time interval.
상기 요약 영상의 길이는,
전체 오브젝트의 체공시간 중 가장 긴 최장 체공시간 이상으로 결정되는 것인 요약 영상 생성 장치.
The method of claim 9,
The length of the summary image is,
A summary image generating device that is determined to be greater than or equal to the longest and longest flight time among the total object flight time.
상기 요약 영상의 길이는,
상기 시간 간격을 조정함에 따라 추가 압축이 가능한 것인 요약 영상 생성 장치.
The method of claim 10,
The length of the summary image is,
An apparatus for generating a summary image in which additional compression is possible by adjusting the time interval.
상기 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 요약 영상 생성 장치로 하여금,
상기 시간 간격을 계산하기 이전에, 전체 오브젝트 개수와 전체 프레임 개수를 비교하게 하고,
상기 전체 오브젝트 개수가 상기 전체 프레임 개수 초과일 때, 각 프레임에 할당되는 오브젝트 개수를 계산하게 하며,
상기 계산된 각 프레임에 할당되는 오브젝트 개수를 그룹핑하여 프레임 순서대로 할당하게 하는 것인 요약 영상 생성 장치.
The method of claim 9,
The instructions, when executed by the at least one processor, cause the summary image generating apparatus,
Before calculating the time interval, compare the total number of objects and the total number of frames,
When the total number of objects exceeds the total number of frames, the number of objects allocated to each frame is calculated,
The summary image generating apparatus for grouping the calculated number of objects allocated to each frame and assigning them in frame order.
상기 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 요약 영상 생성 장치로 하여금,
상기 전체 오브젝트 개수가 상기 전체 프레임 개수 이하일 때 상기 시간 간격을 계산하게 하는 것인 요약 영상 생성 방법.
The method of claim 12,
The instructions, when executed by the at least one processor, cause the summary image generating apparatus,
When the total number of objects is less than or equal to the total number of frames, the time interval is calculated.
상기 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 요약 영상 생성 장치로 하여금,
상기 요약 영상에 삽입하기 이전, 상기 등장 시간과 마지막 등장 가능 시간을 비교하게 하고,
상기 등장 시간이 상기 마지막 등장 가능 시간 이상일 때, 상기 등장 시간을 상기 마지막 등장 가능 시간으로 스케줄을 조정하게 하는 것인 요약 영상 생성 장치.
The method of claim 9,
The instructions, when executed by the at least one processor, cause the summary image generating apparatus,
Before inserting into the summary image, compare the appearance time and the last possible appearance time,
When the appearance time is greater than or equal to the last appearance time, the summary image generating apparatus is configured to adjust the schedule from the appearance time to the last appearance time.
상기 마지막 등장 가능 시간은,
상기 요약 영상의 전체 시간과 상기 오브젝트의 체공시간 간의 시간차에 해당하는 것인 요약 영상 생성 방법.
The method of claim 14,
The last available time above is,
The method of generating a summary image corresponding to a time difference between the total time of the summary image and the flight time of the object.
상기 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 요약 영상 생성 장치로 하여금,
상기 등장 시간이 상기 마지막 등장 가능 시간 전체 오브젝트 개수가 상기 전체 프레임 개수 미만일 때 상기 오브젝트를 상기 요약 영상에 삽입하게 하는 것인 요약 영상 생성 장치.
The method of claim 15,
The instructions, when executed by the at least one processor, cause the summary image generating apparatus,
The apparatus for generating a summary image to insert the object into the summary image when the appearance time is less than the total number of objects at the last appearance time.
상기 검색 조건에 대응하는 인덱스 데이터를 추출하고, 상기 인덱스 데이터에 대응하는 원본 영상을 추출하기 위한 검색 엔진; 및
상기 인덱스 데이터와 상기 원본 영상을 기초로 요약 영상을 생성하여 실시간 렌더링하기 위한 요약 영상 생성 장치;를 포함하되,
상기 요약 영상 생성 장치는,
적어도 하나 이상의 프로세서; 및
컴퓨터 판독 가능한 명령들을 저장하기 위한 메모리;를 포함하며,
상기 명령들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 요약 영상 생성 장치로 하여금,
상기 원본 영상의 메타데이터를 통해 확인된 오브젝트의 체공시간에 따라 요약 영상의 길이를 결정하게 하고,
상기 요약 영상에 삽입되는 상기 오브젝트의 시간 간격을 계산하게 하며,
상기 체공시간의 길이에 따라 순서대로 정해진 등장 시간과 상기 시간 간격에 따라 정해진 등장 간격에 기반하여 상기 오브젝트를 상기 요약 영상에 삽입하게 하는 것인 요약 영상 검색 시스템.
A query engine for analyzing a search condition input by a user and reconstructing it into a predefined form;
A search engine for extracting index data corresponding to the search condition and extracting an original image corresponding to the index data; And
Including; a summary image generating device for generating a summary image based on the index data and the original image and rendering in real time;
The summary image generating device,
At least one processor; And
Including; a memory for storing computer-readable instructions,
The instructions, when executed by the at least one processor, cause the summary image generating apparatus,
Determine the length of the summary image according to the flight time of the object identified through the metadata of the original image,
To calculate the time interval of the object inserted in the summary image,
The summary image retrieval system to insert the object into the summary image based on an appearance time determined in order according to the length of the flight time and an appearance interval determined according to the time interval.
상기 원본 영상에 대해 미리 정의된 온톨로지 구성요소에 따라 분석을 수행하여 메타데이터를 생성하여 저장하기 위한 영상 분석 엔진; 및
상기 메타데이터에 대한 구조화 및 정리를 통한 상기 인덱스 데이터를 생성하여 저장하기 위한 인덱싱 엔진;
을 더 포함하는 요약 영상 검색 시스템.
The method of claim 17,
An image analysis engine for generating and storing metadata by performing analysis on the original image according to a predefined ontology component; And
An indexing engine for generating and storing the index data through structuring and organizing the metadata;
A summary image search system further comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190150307A KR102281147B1 (en) | 2019-11-21 | 2019-11-21 | Appartus and method for making summary video and video summary search system using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190150307A KR102281147B1 (en) | 2019-11-21 | 2019-11-21 | Appartus and method for making summary video and video summary search system using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210062281A true KR20210062281A (en) | 2021-05-31 |
| KR102281147B1 KR102281147B1 (en) | 2021-07-26 |
Family
ID=76150280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190150307A KR102281147B1 (en) | 2019-11-21 | 2019-11-21 | Appartus and method for making summary video and video summary search system using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102281147B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054561A (en) | 2000-06-12 | 2000-09-05 | 박성환 | A network-based video data retrieving system using a video indexing formula and operating method thereof |
| KR20160097870A (en) * | 2015-02-10 | 2016-08-18 | 한화테크윈 주식회사 | System and method for browsing summary image |
| KR20180003309A (en) * | 2016-06-30 | 2018-01-09 | 주식회사 케이티 | System and method for video summary |
-
2019
- 2019-11-21 KR KR1020190150307A patent/KR102281147B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054561A (en) | 2000-06-12 | 2000-09-05 | 박성환 | A network-based video data retrieving system using a video indexing formula and operating method thereof |
| KR20160097870A (en) * | 2015-02-10 | 2016-08-18 | 한화테크윈 주식회사 | System and method for browsing summary image |
| KR20180003309A (en) * | 2016-06-30 | 2018-01-09 | 주식회사 케이티 | System and method for video summary |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102281147B1 (en) | 2021-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102437839B1 (en) | System and method for browsing summary image | |
| KR101994592B1 (en) | AUTOMATIC VIDEO CONTENT Metadata Creation METHOD AND SYSTEM | |
| US10789698B2 (en) | Analysis apparatus, analysis method, and storage medium | |
| US5805746A (en) | Video retrieval method and apparatus | |
| CN105323656B (en) | The method of imaging device and offer image-forming information | |
| CN111095939B (en) | Identifying previously streamed portions of media items to avoid repeated playback | |
| CN102231820B (en) | Monitoring image processing method, device and system | |
| KR20180003304A (en) | System and method for video summary | |
| KR20180003309A (en) | System and method for video summary | |
| US11503375B2 (en) | Systems and methods for displaying subjects of a video portion of content | |
| CN110692251A (en) | Modifying digital video content | |
| EP3229174A1 (en) | Method for video investigation | |
| CN104394488A (en) | Video abstraction generation method and system | |
| KR20160005552A (en) | Imaging apparatus providing video summary and method for providing video summary thereof | |
| Ul Haq et al. | An effective video summarization framework based on the object of interest using deep learning | |
| JP5096259B2 (en) | Summary content generation apparatus and summary content generation program | |
| KR101021070B1 (en) | Method, system and program product for generating a content-based table of contents | |
| KR20160090593A (en) | Apparatus and method for providing primitive visual knowledge | |
| KR102281147B1 (en) | Appartus and method for making summary video and video summary search system using the same | |
| JP6203424B2 (en) | Video / audio recording apparatus and monitoring system | |
| US20210089577A1 (en) | Systems and methods for displaying subjects of a portion of content and displaying autocomplete suggestions for a search related to a subject of the content | |
| US20210089268A1 (en) | Systems and methods for displaying subjects of an audio portion of content and displaying autocomplete suggestions for a search related to a subject of the audio portion | |
| US20210089781A1 (en) | Systems and methods for displaying subjects of a video portion of content and displaying autocomplete suggestions for a search related to a subject of the video portion | |
| KR100392257B1 (en) | A Method of Summarizing Sports Video Based on Visual Features | |
| KR102118988B1 (en) | Video summarization method and device based on object region |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |