KR20180075145A - Method for generating and searching object data for analyzing large amounts of CCTV video - Google Patents
Method for generating and searching object data for analyzing large amounts of CCTV video Download PDFInfo
- Publication number
- KR20180075145A KR20180075145A KR1020160179139A KR20160179139A KR20180075145A KR 20180075145 A KR20180075145 A KR 20180075145A KR 1020160179139 A KR1020160179139 A KR 1020160179139A KR 20160179139 A KR20160179139 A KR 20160179139A KR 20180075145 A KR20180075145 A KR 20180075145A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- image
- generating
- inquiry
- displaying
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 abstract description 5
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- OWZREIFADZCYQD-NSHGMRRFSA-N deltamethrin Chemical compound CC1(C)[C@@H](C=C(Br)Br)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 OWZREIFADZCYQD-NSHGMRRFSA-N 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
본 발명은 대량의 CCTV 영상 분석을 위한 객체 데이터 생성 방법 및 조회 방법에 관한 것으로, 좀 더 구체적으로 전체 동영상의 이미지 프레임으로부터 객체 데이터 및 객체 요약 데이터를 산출하여 조회 조건에 따라 객체를 검색할 수 있도록 하고 검색된 복수의 객체를 하나의 화면에 동시에 디스플레이하는 것에 의하여 특정 객체를 식별하는데 좀 더 효과적인 검색을 제공할 수 있는 객체 데이터 생성 방법 및 조회 방법에 관한 것이다. The present invention relates to a method and a method for generating object data for analyzing a large number of CCTV images. More specifically, the present invention relates to a method for generating object data and object summary data from an image frame of an entire moving image, And more particularly, to an object data generation method and an object retrieval method capable of providing a more effective search for identifying a specific object by simultaneously displaying a plurality of retrieved objects on a single screen.
최근 범죄 예방, 교통상황 확인, 사고상황 확인, 불법행위 단속, 범죄 용의자 특정 및 검거 등의 목적으로 전국적으로 수많은 CCTV가 설치되어 있을 뿐 아니라, 개인적으로도 자동차 사고에 대한 책임 판단 및 사유재산 보호를 목적으로 한 블랙박스 및 CCTV(이하, CCTV로 통칭함)의 설치가 일반화되는 추세이다. 이러한 CCTV로 촬영된 영상은 범인 특정이나 검거, 사고 발생의 책임소재 확인 등에서 상당한 효과를 발휘하며, 따라서 사생활 침해의 논란에도 불구하고 점점 더 많은 CCTV의 설치가 요구되고 있다.Recently CCTV has been installed nationwide for purposes such as crime prevention, traffic situation check, accident situation check, crackdown on illegal activities, crime suspect identification and arrest, as well as personally responsible judgment on car accidents and protection of private property The installation of black boxes and CCTVs (hereinafter collectively referred to as CCTVs) for the purpose is becoming common. Such CCTV images have a considerable effect on identification of criminals, arrest, and identification of liability for accidents. Therefore, despite the controversy of privacy invasion, more and more CCTV installations are required.
이와 같이 CCTV를 통하여 촬영한 동영상은 범인 특정이나 검거, 사고 발생의 책임 소재 확인 등에 있어 큰 효과를 발휘하지만, 전체 촬영 영상으로부터 범죄가 발생한 부분이나 사고 발생 시점의 상황이 촬영된 부분을 찾아내는 것은 쉬운 일이 아니다. 특히 CCTV는 특정 지역에 고정 설치되어 특정 영역만을 촬영하고 있으므로, 범죄 혹은 사고 발생 시간과 장소를 정확히 특정하지 못한 상황에서 CCTV 영상 만으로 이를 확인하기 위해서는 녹화된 영상 파일 전체를 재생시켜 확인하여야 하는 문제가 있다.In this way, it is easy to find the part where the crime occurred or the part where the situation occurred at the time of the accident from the whole shooting video, although the video shot through the CCTV has a great effect on the identification of the criminal, It is not work. In particular, since CCTV is fixedly installed in a specific area and only a specific area is photographed, it is necessary to check the entire recorded video file in order to check the CCTV video only when the time and place of occurrence of the crime or accident can not be accurately specified have.
구체적으로, 하루 24시간 분량의 동영상 파일 전체를 재생하여 확인하려면 24시간이 소요되고 4배속으로 재생한다 하더라도 6시간이 소요된다. 특히 범죄 혹은 사고 발생 장소를 특정하지 못한 경우 예상 지역 인근의 CCTV 영상을 모두 확인해야 하므로 실제 소요 시간은 그에 수배에서 수십배에 해당하게 된다.Specifically, it takes 24 hours to reproduce and confirm the entire video file of 24 hours a day, and it takes 6 hours to reproduce at 4 times speed. In particular, if the location of the crime or accident can not be specified, the CCTV images near the expected area must be checked, so the actual time required is several times to several tens of times.
범인 검거나 사고 발생 상황의 확인을 위하여 빠른 확인이 필요한 상황에서 이와 같이 전체 동영상을 재생하여 확인하는데 소요되는 시간은 범인 검거 등의 골든 타임을 놓치게 되는 결과를 초래하며, 검거가 가능하다 하더라도 많은 인력 및 비용이 소비되는 문제가 있다.The time required to check and reproduce the whole video in such a situation that fast confirmation is required in order to check the criminal arrest or accident occurrence causes a result that the golden time such as the arrest is missed, and even if the arrest is possible, And a problem that the cost is consumed.
이러한 문제를 해결하기 위하여 등록특허 제0452097호 "영상데이터의 변화값 추출을 이용한 영상데이터 저장방법", 등록특허 제0873445호 "영상차이 인식 시스템 및 영상 시스템을 이용한 영상차이 인식 방법", 등록특허 제1074850호 "영상 검색 시스템" 등에서는 전체 동영상에서 이미지의 변화가 있는 부분만을 추출하여 디스플레이시킴으로써 모니터링 및 검색 시간을 단축하는 영상 검색 시스템에 관한 기술을 개시하고 있다. In order to solve such a problem, Patent Document No. 0452097 entitled " Method of Saving Image Data Using Extracting Change Values of Image Data ", Registered Patent No. 0873445 "Image Difference Recognition System and Image Difference Recognition Method Using Image System & 1074850 "Image Retrieval System" and the like discloses a technique related to an image retrieval system that shortens the monitoring and retrieval time by extracting and displaying only a portion where an image has changed in the entire moving image.
그러나, 상기 등록특허의 영상 검색 시스템들은 검색의 기준이 되는 기준 영상과 검색 대상이 되는 대상 영상을 상호비교하여 두 영상의 유사도를 판단함으로써 이미지의 변화가 있는 부분만을 추출하여 디스플레이하고 있을 뿐이다. 즉, 종래 영상 검색 시스템들은 객체(또는 움직임)가 감지되는 이미지 프레임들을 추출하여 일률적으로 디스플레이하고 있었을 뿐 추출된 객체들의 특징에 따른 검색이 불가능하다. 본 명세서에서 "객체"란 사람, 차량 등 움직임에 의해 영상에 의미를 부여할 수 있는 대상을 의미한다.However, the image retrieval systems of the above-described Patent Documents merely compare the reference image serving as the search reference and the target image to be searched to determine the similarity between the two images, thereby extracting and displaying only the portion with the changed image. That is, conventional image search systems extract image frames in which objects (or movements) are detected and display them uniformly, but search based on the characteristics of extracted objects is impossible. In the present specification, the term "object" means an object that can give meaning to an image by motion, such as a person or a vehicle.
또한, 변화가 있는 프레임 전체를 디스플레이하는 것에 의하여 각 객체가 포함된 이미지 프레임들을 개별적으로 디스플레이하고 있어 객체가 포함된 이미지 프레임들을 순차적으로 검색하여야 하므로 객체를 검색하는데 소요되는 시간을 단축하는데는 한계가 있다.In addition, since the entire frame having the changed image is displayed, the image frames including the objects are displayed separately, and the image frames including the object are sequentially retrieved. Therefore, there is a limit to shorten the time required to search for the object have.
따라서, 대량의 CCTV 영상으로부터 특정 객체를 식별하고 식별된 객체를 검색하는데 좀 더 효율적인 검색 시스템에 대한 필요성이 대두되고 있다.Therefore, there is a need for a more efficient search system for identifying a specific object from a large number of CCTV images and searching for the identified object.
본 발명은 이러한 문제점을 해결하기 위한 것으로, 조회 대상 영상에 포함된 객체 모두를 하나의 배경화면 상에 합성하여 디스플레이하는 것에 의하여 객체를 식별하기 위한 개별 영상의 분석 시간을 획기적으로 단축시킬 수 있는 객체 데이터 생성 방법 및 조회 방법을 제공하고자 하는 것이다.SUMMARY OF THE INVENTION The object of the present invention is to solve such a problem by providing an object which can dramatically shorten the analysis time of an individual image for identifying an object by combining all the objects included in the object image to be displayed on a background screen, And a method of generating and inquiring data.
본 발명의 다른 목적은 복수의 영상을 동시에 디스플레이하는 것에 의하여 직관적으로 조회 대상 영상을 선택할 수 있게 하는 것에 의하여 개별 영상 분석 시간은 물론 복수 영상의 분석 시간 또한 획기적으로 단축시킬 수 있는 객체 데이터 생성 방법 및 조회 방법을 제공하고자 하는 것이다.Another object of the present invention is to provide an object data generation method capable of drastically shortening an analysis time of an individual image as well as an individual image by making it possible to intuitively select an image to be searched by simultaneously displaying a plurality of images, And to provide a query method.
본 발명의 또 다른 목적은 각 프레임으로부터 추출된 객체의 연속성 여부를 판단하고 연속 객체의 객체 특징 데이터에 대한 객체 요약 데이터를 생성함으로써 객체의 행동 패턴에 따라 객체를 조회할 수 있어 좀 더 효율적인 검색이 가능한 객체 데이터 생성 방법 및 조회 방법을 제공하고자 하는 것이다.Yet another object of the present invention is to provide a method and apparatus for searching an object according to a behavior pattern of an object by judging whether the object extracted from each frame is continuous or not and generating object summary data of the object characteristic data of the continuous object, And to provide a method of generating and inquiring of possible object data.
본 발명의 또 다른 목적은 객체 조회 조건에 따라 객체 조회 데이터의 구성을 자동으로 결정하고 객체 리스트를 디스플레이하는 것에 의하여 디스플레이될 객체를 선택할 수 있어 좀 더 직관적인 검색이 가능한 객체 데이터 생성 방법 및 조회 방법을 제공하고자 하는 것이다.It is still another object of the present invention to provide an object data generation method and an object retrieval method capable of automatically selecting an object query data according to an object query condition and displaying an object list, .
본 발명의 또 다른 목적은 디스플레이 중 객체 조회 조건을 변경하면서 조회를 반복할 수 있도록 함으로써 좀 더 효율적으로 원하는 객체를 발견할 수 있는 객체 데이터 생성 방법 및 조회 방법을 제공하고자 하는 것이다.It is another object of the present invention to provide an object data generation method and an object retrieval method capable of finding a desired object more efficiently by allowing a query to be repeated while changing an object query condition in a display.
본 발명의 해결하고자 하는 또 다른 과제들은 다음의 상세한 설명과 도면으로부터 보다 명확해질 것이다.Further objects to be solved by the present invention will become more apparent from the following detailed description and drawings.
이를 위하여 본 발명의 일 실시예에 따른 객체 데이터 생성 방법은, 객체 데이터를 생성하기 위한 전체 동영상을 수신하는 동영상 수신 단계; 상기 수신된 전체 동영상의 각 이미지 프레임으로부터 객체 이미지 파일 및 객체 특징 데이터를 포함하는 객체 데이터를 생성하는 객체 데이터 생성 단계; 상기 객체 데이터로부터 객체 대표 이미지 파일 및 객체 특징 요약 데이터를 포함하는 객체 요약 데이터를 생성하는 객체 요약 데이터 생성 단계; 및 각 객체에 대한 객체 데이터 및 객체 요약 데이터를 저장하는 데이터 저장 단계를 포함한다.To this end, a method for generating object data according to an embodiment of the present invention includes: a moving image receiving step of receiving an entire moving image for generating object data; An object data generation step of generating object data including an object image file and object characteristic data from each image frame of the received whole moving image; An object summary data generation step of generating object summary data including an object representative image file and object feature summary data from the object data; And a data storing step of storing object data and object summary data for each object.
상기 객체 특징 데이터는 객체의 유형, 크기, 윤곽, 색, 등장 시간, 프레임 내 위치값을 포함할 수 있다.The object feature data may include an object type, a size, an outline, a color, an appearance time, and a position in a frame.
상기 객체 특징 요약 데이터는 복수의 이미지 프레임에 계속하여 나타나는 객체의 유형, 평균 크기, 평균 색, 등장 지속 시간, 객체 이동 방향, 객체 이동 속도를 포함할 수 있다.The object feature summary data may include an object type, an average size, an average color, an appearance duration, an object movement direction, and an object movement speed which are continuously displayed in a plurality of image frames.
상기 객체 데이터 생성 단계는, 이전 이미지 프레임에 포함된 객체 리스트와 현재 이미지 프레임에 포함된 객체 리스트의 객체 특징 데이터를 비교하여 상기 객체 특징 데이터의 유사도가 기준값 이상일 경우 해당 객체가 연속 객체임을 판단하는 연속 객체 판단 단계; 및 해당 객체가 연속 객체인 경우 기존 객체 리스트에 해당 객체의 객체 특징 데이터를 연관시키고, 해당 객체가 연속 객체가 아니라고 판단된 경우 해당 객체에 대한 신규 객체 리스트를 생성하는 단계를 포함할 수 있다.Wherein the object data generation step comprises the steps of: comparing the object feature data of the object list included in the previous image frame with the object feature data of the object list included in the current image frame to determine whether the object is a continuous object when the similarity degree of the object feature data is equal to or greater than a reference value; Object determining step; And associating the object feature data of the object with the existing object list when the object is a continuous object, and generating a new object list for the object when the object is determined not to be a continuous object.
본 발명의 다른 실시예에 따른 객체 데이터 조회 방법은 상술한 객체 데이터 생성 방법에 의하여 생성된 객체 데이터를 조회하는 방법에 있어서, 조회 대상 영상에 포함된 객체에 대한 상기 객체 데이터 및 객체 요약 데이터를 수신하는 데이터 수신 단계; 상기 객체를 조회하기 위한 객체 조회 조건을 입력받는 객체 조회 조건 입력 단계; 상기 객체 요약 데이터에 근거하여 상기 객체가 객체 조회 조건에 부합하는지 여부를 판단하는 단계; 상기 객체 조회 조건에 부합하는 객체 데이터에 의해 객체 조회 데이터를 구성하는 조회 데이터 구성 단계; 및 상기 객체 조회 데이터를 디스플레이하는 객체 디스플레이 단계를 포함하며, 상기 객체 조회 조건은 객체의 유형, 크기, 색, 등장 시간, 이동 방향, 이동 속도 중 적어도 하나를 포함하며, 상기 객체 조회 데이터를 디스플레이하는 단계는 상기 객체 조회 데이터에 포함된 적어도 하나의 객체 이미지를 하나의 화면 상에 동시에 디스플레이한다.The object data inquiry method according to another embodiment of the present invention is a method for retrieving object data generated by the above-described object data generation method, comprising the steps of: receiving object data and object summary data for an object included in an object- Receiving data; An object inquiry condition input step of receiving an object inquiry condition for inquiring the object; Determining whether the object satisfies an object query condition based on the object summary data; An inquiry data constructing step of constructing object inquiry data by object data meeting the object inquiry condition; And an object display step of displaying the object inquiry data, wherein the object inquiry condition includes at least one of an object type, a size, a color, an arrival time, a moving direction, and a moving speed, , Simultaneously displays at least one object image included in the object inquiry data on one screen.
상기 객체 데이터 조회 방법은 상기 데이터 수신 단계 전에, 상기 조회 대상 영상을 선택하기 위하여 복수의 동영상을 동시에 디스플레이하는 단계; 및 상기 복수의 동영상으로부터 상기 조회 대상 영상을 선택하는 단계를 포함할 수 있으며, 상기 동영상은 전체 동영상 중 객체가 인식된 이미지 프레임만을 포함하는 동영상일 수 있다.Wherein the object data inquiry method comprises: simultaneously displaying a plurality of moving images to select the inquiry target image before the data receiving step; And selecting the image to be searched from the plurality of moving images, wherein the moving image may be a moving image including only an image frame in which the object is recognized in the entire moving image.
상기 객체 데이터 조회 방법은 상기 복수의 동영상을 동시에 디스플레이하는 단계 전에, 상기 동영상에 포함된 객체의 최소 객체 노출 시간을 설정하는 단계를 더 포함할 수 있으며, 상기 복수의 동영상을 동시에 디스플레이하는 단계는 상기 최소 객체 노출 시간 이상 계속하여 존재하는 객체를 포함하는 이미지 프레임들만을 포함하는 동영상일 수 있다.The method of displaying object data may further include setting a minimum object exposure time of an object included in the moving image before displaying the plurality of moving images at the same time, But may be a moving picture that includes only image frames that include objects that continue to exist over a minimum object exposure time.
상기 객체 조회 조건 입력 단계는, 이전 객체 조회 조건에 따른 객체 리스트를 디스플레이하는 단계; 및 상기 객체 리스트로부터 디스플레이될 객체를 선택하는 객체 선택 단계 더 포함할 수 있다.Wherein the inputting of the object query condition comprises: displaying an object list according to a previous object query condition; And an object selecting step of selecting an object to be displayed from the object list.
상기 객체 데이터 조회방법은 상기 객체 디스플레이 단계 전에, 상기 객체를 디스플레이하기 위한 배경 이미지를 선택하는 단계를 더 포함할 수 있으며, 상기 객체 디스플레이 단계는 상기 배경 이미지 상에 상기 적어도 하나의 객체 이미지를 동시에 디스플레이할 수 있다.The object data inquiry method may further include, prior to the object display step, selecting a background image for displaying the object, the object display step simultaneously displaying the at least one object image on the background image can do.
상기 객체 데이터 조회 방법은 상기 객체 조회 조건을 변경하는 객체 조회 조건 변경 단계를 더 포함할 수 있으며, 상기 객체 조회 조건 변경시 상기 객체 조회 조건 입력 단계 내지 상기 객체 디스플레이 단계를 반복적으로 실행할 수 있다.본 발명의 또 다른 실시예에 따른 컴퓨터 판독가능한 저장 매체는 컴퓨팅 장치에 의해 실행시, 상기 컴퓨팅 장치가 상기 객체 데이터 생성 방법 및 상기 객체 데이터 조회 방법 중 적어도 하나를 실행하게 하는 프로그램 명령어들을 기록할 수 있다.The object data inquiry method may further include an object inquiry condition changing step of changing the object inquiry condition, and the object inquiry condition input step or the object display step may be repeatedly executed when the object inquiry condition is changed. A computer-readable storage medium according to another embodiment of the invention may record program instructions that, when executed by a computing device, cause the computing device to perform at least one of the object data generation method and the object data retrieval method .
본 발명에 따르면 조회 대상 영상에 포함된 객체 모두를 하나의 배경화면 상에 합성하여 디스플레이하는 것에 의하여 객체를 식별하기 위한 개별 영상의 분석 시간을 획기적으로 단축시킬 수 있다.According to the present invention, it is possible to remarkably shorten the analysis time of an individual image for identifying an object by displaying all the objects included in the image to be collated on a background screen.
본 발명의 다른 효과는 복수의 영상을 동시에 디스플레이하는 것에 의하여 직관적으로 조회 대상 영상을 선택할 수 있게 하는 것에 의하여 개별 영상 분석 시간은 물론 복수 영상의 분석 시간 또한 획기적으로 단축시킬 수 있는 것이다.Another advantage of the present invention is that it is possible to intuitively select an image to be searched by simultaneously displaying a plurality of images, thereby drastically shortening the analysis time of the plurality of images as well as the individual image analysis time.
본 발명의 또 다른 효과는 각 프레임으로부터 추출된 객체의 연속성 여부를 판단하고 연속 객체의 객체 특징 데이터에 대한 객체 요약 데이터를 생성함으로써 객체의 행동 패턴에 따라 객체를 조회할 수 있어 좀 더 효율적인 객체 검색이 가능한 것이다.Another effect of the present invention is to determine whether the objects extracted from each frame are continuous or not, and generate object summary data for the object feature data of the continuous object, thereby searching the object according to the behavior pattern of the object. This is possible.
본 발명의 또 다른 효과는 객체 객체 조회 조건에 따라 객체 조회 데이터의 구성을 자동으로 결정하고 객체 리스트를 디스플레이하는 것에 의하여 디스플레이될 객체를 선택할 수 있어 좀 더 직관적인 검색이 가능하다는 것이다.Another effect of the present invention is that the configuration of the object query data is automatically determined according to the object object query condition and the object to be displayed can be selected by displaying the object list, thereby making it possible to perform a more intuitive search.
본 발명의 또 다른 효과는 디스플레이 중 객체 조회 조건을 변경하면서 조회를 반복할 수 있도록 함으로써 좀 더 효율적으로 원하는 객체를 발견할 수 있는 것이다.Yet another advantage of the present invention is that it is possible to find a desired object more efficiently by repeating the query while changing the object query condition in the display.
본 발명의 해결하고자 하는 또 다른 과제들은 다음의 상세한 설명과 도면으로부터 보다 명확해질 것이다.Further objects to be solved by the present invention will become more apparent from the following detailed description and drawings.
도 1은 본 발명의 일 실시예에 따른 객체 데이터 생성 방법 및 조회 방법을 개념적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 데이터 생성 방법 및 조회 방법을 개략적으로 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 객체 데이터 생성 방법을 나타내는 흐름도이다.
도 4는 도 3의 객체 데이터 생성 방법에서 객체를 인식하고 인식된 객체에 대한 객체 데이터를 생성하는 방법을 개략적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 객체 데이터 조회 방법을 나타내는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 객체 데이터 조회 방법에 있어서 조회 영상 선택을 위한 동시 디스플레이를 나타내는 예시적인 화면이다.
도 7은 본 발명의 일 실시예에 따른 객체 데이터 조회 방법에서 조회 조건을 설정하는 방법 및 조회 조건에 따른 개별 화면 디스플레이를 나타내는 예시적인 실행 화면이다. 1 is a conceptual view illustrating an object data generation method and an inquiry method according to an embodiment of the present invention.
2 is a flowchart schematically illustrating an object data generating method and an inquiry method according to an embodiment of the present invention.
3 is a flowchart illustrating an object data generating method according to an embodiment of the present invention.
FIG. 4 is a diagram schematically illustrating a method of recognizing an object in the object data generating method of FIG. 3 and generating object data for the recognized object.
5 is a flowchart illustrating an object data inquiry method according to an embodiment of the present invention.
FIG. 6 is an exemplary view showing a simultaneous display for selecting a query image in the object data inquiry method according to an embodiment of the present invention.
7 is an exemplary execution screen showing a method of setting a query condition in the object data inquiry method and an individual screen display according to a query condition according to an embodiment of the present invention.
이하, 본 발명의 바람직한 실시예들을 첨부된 도 1 내지 8을 참고하여 더욱 상세히 설명한다. 본 발명의 실시예들은 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 설명하는 실시예들에 한정되는 것으로 해석되어서는 안 된다. 본 실시예들은 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 상세하게 설명하기 위해서 제공되는 것이다. 따라서 도면에 나타난 각 요소의 형상은 보다 분명한 설명을 강조하기 위하여 과장될 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The embodiments of the present invention can be modified in various forms, and the scope of the present invention should not be construed as being limited to the embodiments described below. The embodiments are provided to explain the present invention to a person having ordinary skill in the art to which the present invention belongs. Accordingly, the shape of each element shown in the drawings may be exaggerated to emphasize a clearer description.
도 1은 본 발명의 일 실시예에 따른 객체 데이터 생성 방법 및 조회 방법을 개념적으로 나타내는 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 데이터 생성 방법 및 조회 방법은 하나의 영상(또는 동일한 장소에 설치되어 배경이 동일한 CCTV로부터 획득된 다수의 영상)에 포함된 모든 객체가 동일한 시간에 나타난 것처럼 시간을 압축하여 디스플레이하는데, 이를 가르켜 이하에서는 "타임프레스(TIME-PRESS)" 기법이라 한다.1 is a conceptual view illustrating an object data generation method and an inquiry method according to an embodiment of the present invention. Referring to FIG. 1, an object data generation method and an inquiry method according to an embodiment of the present invention include a method of generating object data and a method of inquiring object data in the same place (a plurality of images acquired from CCTVs having the same background) It compresses and displays the time as it appears in time, which is referred to below as the "TIME-PRESS" technique.
타임프레스 기법은 도 1의 (a)와 같이 전체 영상 재생 시간 동안 서로 다른 시간대에 시간 간격을 두고 나타나는 객체들(도 1의 객체 1 내지 객체 4)을 도 1의 (b)와 같이 동일한 시간에 나타난 것처럼 하나의 시간에 디스플레이하는 것을 의미한다. 객체를 감지하는 구체적인 방법 및 이를 하나의 화면 상에 디스플레이하는 구체적인 방법에 대하여는 도 3 및 5를 참조하여 후술하기로 한다.The time press technique is a technique in which objects (
도 2는 본 발명의 일 실시예에 따른 객체 데이터 생성 방법 및 조회 방법을 개략적으로 나타내는 흐름도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 데이터 생성 및 조회 방법은 타임프레스 기법에 사용하기 위한 객체 데이터를 생성하기 위하여 원본 동영상을 수신하는 것으로 시작된다(S100). 일 실시예로 원본 동영상은 CCTV 촬영 영상일 수 있으나 이에 한정되지 않으며, 차량 블랙박스 영상, 캠코더 촬영 영상, 핸드폰 또는 디지털 카메라에 의한 촬영 영상, 일반 카메라나 방송용 카메라에 의한 촬영 영상, 인터넷을 통하여 수집한 동영상 등 복수의 이미지 프레임들이 연속하여 디스플레이되도록 형성된 임의의 적절한 동영상을 포함할 수 있다. 수신된 원본 동영상은 객체 데이터 생성 방법 및 조회 방법을 실행하기 위한 임의의 적절한 컴퓨팅 기기에 포함되는 또는 컴퓨팅 기기와 유무선으로 연결되는 저장 매체에 저장될 수 있다.2 is a flowchart schematically illustrating an object data generating method and an inquiry method according to an embodiment of the present invention. Referring to FIG. 1, an object data generation and inquiry method according to an embodiment of the present invention starts with receiving an original moving picture to generate object data for use in a time press technique (S100). In one embodiment, the original video may be a CCTV shot image, but the present invention is not limited thereto, and may be a vehicle black box image, a camcorder shot image, a shot image by a mobile phone or a digital camera, a shot image by a general camera or a broadcast camera, And may include any suitable moving image formed such that a plurality of image frames, such as one moving image, are continuously displayed. The received original video may be stored in a storage medium that is included in any suitable computing device for executing object data generation and inquiry methods, or wired or wirelessly connected to a computing device.
다음으로, 원본 동영상의 각 프레임으로부터 객체 데이터를 생성한다(S200). 객체 데이터는 객체 이미지 파일 및 객체 특징 데이터를 포함한다. 객체 이미지 파일이란 각 이미지 프레임으로부터 객체에 해당하는 이미지 픽셀만을 추출한 데이터를 의미하며 이후 타임프레스 기법으로 디스플레이하기 위하여 투명처리가 가능한 이미지 형식(예를 들어, png 형식)으로 이미지 파일을 생성한다. 객체 특징 데이터란 객체의 특징을 나타내는 데이터를 의미하는 것으로 예를 들어, 객체의 유형, 크기, 윤곽, 색, 등장 시간, 프레임 내 위치값 등을 포함하나 이에 한정되지 않으며 각 이미지 프레임에 포함된 객체의 특징을 나타낼 수 있는 임의의 적절한 특징값이 포함될 수 있다. 각 프레임으로부터 객체를 인식하는 방법 및 인식된 객체의 특징 데이터를 생성하는 구체적인 방법에 대하여는 도 3을 참조하여 후술하기로 한다. Next, object data is generated from each frame of the original moving image (S200). The object data includes an object image file and object characteristic data. The object image file refers to data obtained by extracting only image pixels corresponding to objects from each image frame, and then generates an image file in an image format (for example, png format) which can be transparently processed for display by the time press technique. The object characteristic data refers to data representing the characteristics of the object. For example, the object characteristic data includes an object type, a size, an outline, a color, an appearance time, Any suitable feature value may be included that may represent a feature of the < RTI ID = 0.0 > A method of recognizing an object from each frame and a specific method of generating characteristic data of the recognized object will be described later with reference to FIG.
다음으로, 추출된 각 객체에 대한 객체 요약 데이터를 생성한다(S300). 객체 요약 데이터란 다수의 이미지 프레임에 걸쳐 연속적으로 나타나는 객체에 대하여 생성된 요약 데이터로 객체 대표 이미지 데이터 및 객체 특징 요약 데이터를 포함한다. 객체 대표 이미지 데이터는 객체 이미지 파일 중 그 객체를 대표할 수 있는 객체 이미지 데이터를 의미하며, 일 예로 객체가 처음 인식된 시점의 객체 이미지를 객체 대표 이미지로 설정할 수 있으나 이에 한정되지 않으며 다른 예로, 객체 특징 요약 데이터와 가장 근사값을 가지는 객체 이미지가 대표 이미지로 설정될 수 있다. 특징 요약 데이터란 각 이미지 프레임에 나타난 객체 특징 데이터의 요약을 의미하는 것으로 예를 들어, 크기, 윤곽, 색 등의 평균 데이터, 객체 지속 시간, 객체의 움직임 방향 및 속도 등을 포함하나, 이에 한정되지 않으며 연속하는 이미지 프레임 속에 포함된 객체의 특징을 나타낼 수 있는 임의의 적절한 파라미터를 포함할 수 있다.Next, object summary data for each extracted object is generated (S300). The object summary data includes object representative image data and object feature summary data as summary data generated for objects continuously appearing over a plurality of image frames. The object representative image data refers to object image data that can represent the object in the object image file. For example, the object image at the time when the object is first recognized can be set as the object representative image. However, The characteristic summary data and the object image having the closest approximation value can be set as representative images. The feature summary data refers to a summary of the object feature data displayed in each image frame and includes, for example, average data such as size, contour, color, etc., object duration, movement direction and speed of the object, And may include any suitable parameters that may indicate the characteristics of the objects contained in the successive image frames.
원본 데이터와 마찬가지로 생성된 객체 데이터 및 객체 요약 데이터는 객체 데이터 생성 방법 및 조회 방법을 실행하기 위한 임의의 적절한 컴퓨팅 기기에 포함되는 또는 컴퓨팅 기기와 유무선으로 연결되는 저장 매체에 저장될 수 있다(S400).Like the original data, the generated object data and the object summary data may be stored in a storage medium included in any suitable computing device for executing the object data generating method and the inquiry method, or connected to a wired or wireless connection with the computing device (S400) .
이후, 객체 데이터 조회를 위하여 사용자가 객체 데이터 조회를 요청하는 경우, 컴퓨팅 기기는 상기 저장 매체로부터 객체 요약 데이터를 포함하는 복수의 CCTV 영상 데이터를 로딩한다(S500). 객체 데이터 조회에 대한 요청은 컴퓨팅 기기 내에 포함된 객체 데이터 조회 프로그램을 실행하는 것에 의하여 수행될 수 있다. 사용자가 객체 데이터 조회 프로그램을 실행하면, 상기 컴퓨팅 기기의 모니터에는 복수의 CCTV 영상에 대한 요약 정보가 동시에 디스플레이(이하, 동시 디스플레이라 함)될 수 있으며, 사용자는 이 동시 디스플레이 영상에 나타난 객체의 특징을 직관적으로 판단하는 것에 의하여 다수의 영상 중 조회할 하나의 영상(이하, 조회 대상 영상이라 함)을 선택할 수 있다(S600). 동시 디스플레이에 나타나는 객체 요약 정보는 각 CCTV 영상에서 객체가 등장하는 초기 화면과 전체 영상 시간 및 포함된 객체의 개수 등을 포함할 수 있다. 동시 디스플레이를 효과적으로 활용하기 위하여 객체의 최소 노출 시간을 설정하는 등 동시 디스플레이에 대한 다양한 조회 조건을 설정할 수 있다. 동시 디스플레이에 대한 구체적인 설명은 도 6을 참조하여 후술하기로 한다.When the user requests the object data inquiry to inquire the object data, the computing device loads a plurality of CCTV image data including the object summary data from the storage medium (S500). The request for object data inquiry can be performed by executing an object data inquiry program included in the computing device. When the user executes the object data inquiry program, summary information on a plurality of CCTV images can be simultaneously displayed on the monitor of the computing device (hereinafter referred to as simultaneous display) (Hereinafter referred to as an image to be searched) to be searched out among a plurality of images (S600). The object summary information displayed on the simultaneous display may include an initial screen in which an object appears in each CCTV image, a total image time, and the number of included objects. In order to effectively utilize the simultaneous display, various inquiry conditions for the simultaneous display can be set, such as setting the minimum exposure time of the object. A detailed description of the simultaneous display will be given later with reference to Fig.
조회할 CCTV 영상이 선택되면 컴퓨팅 기기는 사용자에 의해 입력된 객체 데이터에 대한 객체 조회 조건을 수신한다(S700). 객체 조회 조건은 객체가 나타난 시간대, 객체의 유형, 객체의 방향, 속도, 색 등을 포함하나 이에 한정되지 않으며, 객체 특징 요약 데이터에 포함된 임의의 적절한 조건을 포함할 수 있다. 객체 조회 조건이 수신되면, 조회 조건에 따라 재생될 객체 조회 데이터가 구성된다(S800). 객체 조회 데이터는 최종적으로 사용자에게 디스플레이될 객체 이미지 파일 및 객체 특징 데이터를 포함한다. 객체 조회 데이터를 구성하는 구체적인 방법에 대하여는 이하에서 도 5 내지 7을 참조하여 자세히 설명하기로 한다. If the CCTV image to be inquired is selected, the computing device receives the object inquiry condition for the object data input by the user (S700). The object query condition may include any suitable condition included in the object feature summary data, including but not limited to the time zone in which the object appears, the type of object, the direction, speed, color, etc. of the object. When the object query condition is received, the object query data to be reproduced is configured according to the query condition (S800). The object query data finally includes an object image file and object characteristic data to be displayed to the user. A specific method for constructing the object inquiry data will be described in detail with reference to FIGS. 5 to 7 below.
마지막으로, 객체 조회 데이터가 구성되면 상기 컴퓨팅 기기는 구성된 객체 조회 데이터에 포함된 객체 리스트에 대한 객체 요약 정보를 디스플레이하며, 사용자가 이를 확인하는 것에 의하여 조회 조건에 따른 객체들이 타임프레스 방식으로 한 화면상에 동시에 디스플레이된다(S900). 구성된 객체에 대한 요약 정보의 디스플레이와 조회 조건에 따른 객체들의 디스플레이의 구체적인 방식에 대하여는 도 7을 참조하여 후술하기로 한다. 객체 조회 조건은 객체들이 디스플레이되는 도중 변경될 수 있으며, 따라서 사용자는 객체 조회 조건을 변경하면서 조회를 반복하는 것에 의하여 원하는 객체를 특정할 수 있다.Finally, when the object inquiry data is constructed, the computing device displays object summary information of the object list included in the configured object inquiry data, and the user confirms the object summary information to display the objects according to the inquiry condition in a time- (S900). The concrete method of displaying the summary information on the configured object and displaying the objects according to the query condition will be described later with reference to FIG. The object query condition can be changed while the objects are being displayed, so the user can specify the desired object by repeating the query while changing the object query condition.
이하에서는 본 발명의 일 실시예에 따른 객체 데이터 생성 방법에 대하여 도 3을 참조하여 설명하기로 한다. 상술한 바와 같이 본 발명의 일 실시예에 따른 객체 데이터 생성 방법은 특정 지역을 촬영한 CCTV 영상을 예로 들어 설명하고 있으나, 이에 한정되지 않으며 본 발명의 객체 데이터 생성 방법은 임의의 적절한 동영상의 객체 데이터를 생성하기 위하여 사용될 수 있다. Hereinafter, a method of generating object data according to an embodiment of the present invention will be described with reference to FIG. As described above, the method of generating object data according to an embodiment of the present invention is described by taking a CCTV image taken in a specific region as an example, but the present invention is not limited thereto. . ≪ / RTI >
도 3은 본 발명의 일 실시예에 따른 객체 데이터 생성 방법을 나타내는 흐름도이다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 객체 데이터 생성 방법은 프레임 별 객체를 인식하여 객체 데이터를 생성하는 단계(S210~S290), 객체 요약 데이터를 생성하는 단계(S310) 및 객체 데이터 및 객체 요약 데이터를 저장하는 단계(S410)를 포함한다.3 is a flowchart illustrating an object data generating method according to an embodiment of the present invention. Referring to FIG. 3, an object data generating method according to an exemplary embodiment of the present invention includes generating object data by recognizing an object per frame (S210 to S290), generating object summary data (S310) And storing the object summary data (S410).
원본 동영상은 복수의 이미지 프레임들을 포함하고 있으며, 상술한 바와 같이 객체를 인식하기 위하여는 기준 이미지 프레임을 설정하고 기준 이미지 프레임과 각 이미지 프레임을 비교하고/비교하거나 원본 동영상에 포함된 이미지 프레임들 중 연속하는 두 개의 이미지 프레임들에 대한 비교 분석을 수행하여야 한다. 먼저, 객체 인식을 시작하기 위하여 n의 값을 2로 설정한다(S210). 다음으로 (n-1)번째 이미지 프레임과 n번째 이미지 프레임을 비교한다(S220). n의 초기값이 2이므로 1번째 이미지 프레임과 2번째 이미지 프레임의 각 픽셀이 비교 대상이 된다. 그 후, 이미지 프레임 비교 결과에 따라 각 이미지 프레임 내에 객체가 존재하는지 여부가 판단된다(S230). 구체적으로, 기준 프레임과 현재 프레임을 비교하여 또는 이전 프레임과 현재 프레임의 각 픽셀을 비교하여 픽셀값의 차이가 기설정된 값을 초과하는 경우 픽셀이 변경된 것으로 판단한다. 다음으로 변경된 픽셀의 개수를 카운트하여 전체 픽셀을 기준으로 변경된 픽셀의 개수가 기설정된 개수를 초과하는 경우 의미가 있는 객체가 존재하는 것으로 판단한다.The original video includes a plurality of image frames. In order to recognize the object as described above, a reference image frame is set, and the reference image frame and each image frame are compared / compared or the image frames A comparative analysis of two consecutive image frames should be performed. First, the value of n is set to 2 in order to start object recognition (S210). Next, the (n-1) -th image frame and the n-th image frame are compared (S220). Since the initial value of n is 2, each pixel of the first image frame and the second image frame is compared. Thereafter, it is determined whether an object exists in each image frame according to the result of the image frame comparison (S230). Specifically, when the difference between the pixel values of the reference frame and the current frame is compared or the pixels of the previous frame and the current frame are compared with each other, it is determined that the pixel has changed. Next, the number of pixels changed is counted, and if the number of pixels changed based on the entire pixels exceeds the predetermined number, it is determined that there is an object meaningful.
객체가 존재한다고 판단된 경우(S230의 예), 그 객체에 대한 객체 데이터를 생성한다(S240). 상술한 바와 같이 객체 데이터란 객체 이미지 파일 및 객체 특징 데이터를 포함할 수 있다. 도 4는 도 3의 객체 데이터 생성 방법에서 객체를 인식하고 인식된 객체에 대한 객체 데이터를 생성하는 방법을 개략적으로 나타내는 도면이다. 도 4에 도시한 바와 같이, 객체 이미지 파일을 생성하기 위하여 변경된 픽셀(410) 중 외곽 픽셀들(즉, 변경되지 않는 픽셀(420)과 인접한 픽셀들)을 연결하여 윤곽선을 생성하고 윤곽선을 기준으로 영역을 분리한다. 윤곽선 내에 포함된 픽셀들을 객체 영역으로 판단하고 이들 픽셀들에 의하여 객체 이미지 파일을 생성한다. 상술한 바와 같이 객체 이미지 파일을 타임프레스 방식의 디스플레이를 위한 합성화면을 생성하기 위하여 투명 처리가 가능한 이미지 형식을 가지는 것이 바람직하다. If it is determined that the object exists (YES in S230), object data for the object is generated (S240). As described above, the object data may include an object image file and object characteristic data. FIG. 4 is a diagram schematically illustrating a method of recognizing an object in the object data generating method of FIG. 3 and generating object data for the recognized object. As shown in FIG. 4, contour lines are generated by connecting outer pixels (that is, pixels adjacent to the unchanged pixel 420) among the changed
다음으로, 객체 영역의 픽셀 값들에 근거하여 객체 특징 데이터를 추출한다. 상술한 바와 같이 객체 특징 데이터는 객체의 유형, 크기, 윤곽, 색, 등장 시간, 프레임 내 위치값 등을 포함할 수 있다. 객체의 크기는 윤곽선을 포함하는 최소한의 직사각형의 가로 및 세로의 길이일 수 있으며, 객체의 색은 윤곽 내의 가장 지배적인 색 또는 색들의 평균값일 수 있고, 객체의 유형(사람, 차량 등)은 객체의 크기, 윤곽 등에 근거하여 기설정된 특징값과의 비교를 통하여 결정될 수 있다. 객체의 등장 시간은 객체가 포함된 이미지 프레임의 촬영 시간을 나타내며, 프레임 내 위치값은 그 객체가 이미지 프레임의 어느 위치에 존재하는가를 나타내는 것으로 2차원 좌표값으로 표현될 수 있다.Next, object feature data is extracted based on the pixel values of the object region. As described above, the object feature data may include the type, size, outline, color, appearance time, position value in the frame, and the like of the object. The size of the object may be the length and width of the minimum rectangle containing the contour and the color of the object may be the average of the dominant colors or colors within the contour and the type of object (person, vehicle, etc.) The size, contour, and the like of the user. The appearance time of an object represents a photographing time of an image frame including the object, and a position value within a frame indicates a position of the object in the image frame, and may be expressed by a two-dimensional coordinate value.
객체 특징 데이터가 생성되면, 생성된 객체 특징 데이터에 근거하여 현재 프레임에서 인식된 객체가 연속 객체인지 여부를 판단한다(S250). 연속 객체란 연속하는 프레임에 계속하여 존재하는 객체를 의미하는 것으로, 구체적으로 이전 프레임에 포함된 객체 리스트와 현재 프레임에 포함된 객체 리스트의 객체 특징 데이터를 비교하여 객체 특징 데이터의 유사도가 기준값 이상일 경우 동일한 객체로 판단할 수 있다.When the object feature data is generated, it is determined whether the object recognized in the current frame is a continuous object based on the generated object feature data (S250). The continuous object refers to an object continuously existing in a continuous frame. More specifically, when the similarity of the object characteristic data is equal to or greater than a reference value by comparing the object characteristic data of the object list included in the current frame with the object list included in the previous frame, It can be judged to be the same object.
연속 객체로 판단된 경우(S250의 예), 기존 객체 리스트에 해당 객체의 객체 이미지 파일과 객체 특징 데이터를 연관짓는다(S260). 즉, 기존 객체 리스트와 연관지어 생성된 객체 이미지 파일 및 객체 특징 데이터를 저장할 수 있다. 연속 객체로 판단되지 않는 경우(S250의 아니오), 즉 이전 프레임에 해당 객체 특징 데이터와 유사한 객체 특징 데이터를 가지는 객체 리스트가 존재하지 않는 경우, 해당 객체는 신규 객체로 판단하고 신규 객체 리스트를 생성한다(S270). 신규 객체 리스트는 객체 ID, 객체 이미지 파일 및 객체 특징 데이터를 포함할 수 있다.If it is determined as a continuous object (YES in S250), the object image file of the object is associated with the object feature data in the existing object list (S260). That is, the object image file and the object characteristic data generated in association with the existing object list can be stored. If it is not judged to be a continuous object (NO in S250), that is, if there is no object list having object feature data similar to the object feature data in the previous frame, the object is determined as a new object and a new object list is generated (S270). The new object list may include an object ID, an object image file, and object characteristic data.
현재 이미지 프레임까지의 객체 리스트와 객체 데이터 생성이 완료되면, 현재 이미지 프레임(n번째 프레임)이 전체 동영상의 마지막 이미지 프레임인지 여부를 판단한다(S280). 현재 이미지 프레임이 전체 동영상의 마지막 이미지 프레임이 아닌 경우(S280의 아니오), n값을 1씩 증가시켜 가면서 S220 내지 S270 단계를 반복한다(S290). n번째 이미지 프레임이 전체 동영상의 마지막 이미지 프레임인 경우(S280의 예), 객체 데이터 생성 방법은 각 객체에 대한 객체 요약 데이터를 생성하는 단계(S310)로 진행한다.When generation of the object list and object data up to the current image frame is completed, it is determined whether the current image frame (n-th frame) is the last image frame of the entire moving image (S280). If the current image frame is not the last image frame of the entire moving image (NO in S280), steps S220 to S270 are repeated while increasing the value of n by 1 (S290). If the n-th image frame is the last image frame of the entire moving image (YES in S280), the object data generating method proceeds to S310 of generating object summary data for each object.
S210 내지 S290 단계를 수행하는 것에 의하여 각 이미지 프레임에 대한 객체 데이터가 생성되면, 각 객체를 대표하는 객체 요약 데이터가 생성된다(S310). 이 실시예에서는 전체 프레임에 대한 객체 데이터가 생성된 후 객체 요약 데이터를 생성하는 것으로 기술하고 있으나 이에 한정되지 않으며, 다른 실시예로 이전 프레임에 존재하던 객체가 현재 프레임에 더 이상 존재하지 않는 경우 연속 객체가 종료됨을 인식하고 해당 연속 객체에 대한 객체 요약 데이터를 생성할 수 있다. When object data for each image frame is generated by performing steps S210 to S290, object summary data representing each object is generated (S310). In this embodiment, object summary data is generated after object data for the entire frame is generated. However, the present invention is not limited to this. However, in another embodiment, when an object existing in the previous frame is no longer present in the current frame, It can recognize that the object is terminated and generate object summary data for the continuous object.
객체 요약 데이터는 객체를 대표할 수 있는 데이터를 의미하는 것으로 상술한 바와 같이 객체 대표 이미지 데이터 및 객체 특징 요약 데이터를 포함한다. 구체적으로, 객체 대표 이미지 데이터는 예를 들어 객체가 처음 인식된 시점의 객체 이미지를 객체 대표 이미지로 설정할 수 있으나 이에 한정되지 않으며, 객체 특징 요약 데이터와 가장 근사값을 가지는 객체 이미지 등 임의의 적절한 이미지가 객체대표 이미지로 설정될 수 있다. 또 다른 예로, 각 이미지 프레임으로부터 생성된 객체 이미지 외에 객체 요약 데이터에 포함된 객체의 형태(크기, 색, 윤곽 등)를 가지는 객체 이미지를 객체의 대표 이미지로 별도로 생성할 수 있다.The object summary data refers to data that can represent an object, and includes object representative image data and object feature summary data as described above. For example, the object representative image data may include, for example, an object image at a point in time when the object is first recognized as an object representative image. However, the present invention is not limited thereto, and any suitable image such as an object image having the closest value to the object feature summary data It can be set as an object representative image. As another example, an object image having a shape (size, color, outline, etc.) of an object included in the object summary data in addition to the object image generated from each image frame can be separately generated as a representative image of the object.
일 실시예에서, 객체 특징 요약 데이터 중 크기, 색, 윤곽 등 객체의 형태를 나타내는 데이터는 각 객체 특징 데이터에 포함된 값들에 대한 평균 값을 객체 요약 데이터로 산출할 수 있다. 이 경우 정확한 요약 데이터를 생성하기 위하여 전체 데이터 평균값에서 기설정된 범위를 벗어나는 값 또는 객체 특징 데이터들 중 상위 및 하위 5%에 속하는 데이터는 왜곡 가능성이 있으므로 배제하는 것이 바람직하다. 객체 진행 방향은 다수의 이미지 프레임에서 연속적으로 나타난 객체의 프레임 내 위치값의 변화를 추적하는 것에 의하여 생성될 수 있다. 객체 진행 방향은 화면에 대하여 2차 평면(좌우, 상하)으로 나타날 수 있으나 이에 한정되지 않으며 객체의 크기 변화에 따라 화면의 깊이 방향(전후)으로의 진행 방향 또한 표시될 수 있다. 객체의 속도는 객체의 프레임 내 위치값의 변화량을 시간으로 나누는 것에 의하여 생성될 수 있다. 객체 지속 시간은 동영상 내에 객체가 연속하여 존재하는 시간을 의미하는 것으로 연속 객체의 첫 감지 시간과 종료 시간 사이의 차에 의하여 산출될 수 있다.In one embodiment, data representing the shape of an object, such as size, color, and outline, of the object feature summary data may be calculated as an object summary data of an average value of values included in each object feature data. In this case, in order to generate accurate summary data, it is preferable to exclude a value that deviates from a predetermined range in the entire data average value or data belonging to upper and lower 5% of the object characteristic data because there is a possibility of distortion. The object progression direction can be generated by tracking changes in position values of objects continuously displayed in a plurality of image frames. The direction of the object may be represented as a second plane (left and right, upper and lower) with respect to the screen, but the present invention is not limited thereto, and the direction of the depth direction (front and rear) of the screen may be displayed according to the size of the object. The velocity of an object can be generated by dividing the amount of change in position of the object in the frame by time. The object duration is a time when objects are continuously present in a moving image, and can be calculated by a difference between the first detection time and the ending time of the continuous object.
각 이미지 프레임에 대한 객체 데이터와 각 객체에 대한 객체 요약 데이터가 생성되면, 컴퓨팅 기기는 이 객체 데이터 및 객체 요약 데이터를 저장한다(S410). 객체 데이터 및 객체 요약 데이터는 객체 데이터 생성 방법 및 조회 방법을 실행하기 위한 임의의 적절한 컴퓨팅 기기에 포함되는 또는 컴퓨팅 기기와 유무선으로 연결되는 저장 매체에 저장될 수 있다.When the object data for each image frame and the object summary data for each object are generated, the computing device stores the object data and the object summary data (S410). Object data and object summary data may be stored in any suitable computing device for executing object data generation and query methods, or in a storage medium wired or wirelessly connected to the computing device.
이와 같은 방법에 의하여 객체 데이터 및 객체 요약 데이터가 생성되어 저장되면, 상기 객체 데이터를 조회하고자 하는 사용자는 이하에 설명되는 방법에 의하여 객체 데이터를 조회할 수 있다. 사용자가 객체 데이터를 조회하는 방법을 도 5를 참조하여 설명하도록 한다. 도 5는 본 발명의 일 실시예에 따른 객체 데이터 조회 방법을 나타내는 흐름도이다.When the object data and the object summary data are generated and stored by the above method, the user who wants to inquire the object data can inquire the object data by the method described below. A method by which a user inquires object data will be described with reference to FIG. 5 is a flowchart illustrating an object data inquiry method according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 일 실시예에 따른 객체 데이터 조회 방법은 사용자로부터 객체 데이터 조회에 대한 요청을 수신하는 것으로 시작된다(S510). 객체 데이터 조회에 대한 요청은 컴퓨팅 기기 내에 포함된 객체 데이터 조회 프로그램을 실행하는 것에 의해 수행될 수 있다. Referring to FIG. 5, an object data inquiry method according to an embodiment of the present invention starts with receiving a request for object data inquiry from a user (S510). The request for the object data inquiry can be performed by executing the object data inquiring program included in the computing device.
객체 데이터 조회에 대한 요청이 수신된 경우, 컴퓨팅 기기는 저장 매체로부터 객체 요약 데이터를 로딩하고 객체 데이터 조회 프로그램을 통하여 각 CCTV 영상에 대한 객체 요약 정보와 함께 복수의 CCTV 영상을 동시에 디스플레이할 수 있다(S610). 도 6은 본 발명의 일 실시예에 따른 객체 데이터 조회 방법에 있어서 조회 영상 선택을 위한 동시 디스플레이를 나타내는 예시적인 화면이다. 사용자가 객체 데이터 조회 프로그램을 실행하면, 도 6에 도시된 바와 같이 상기 컴퓨팅 기기의 모니터에는 복수의 CCTV 영상(610)이 동시에 디스플레이될 수 있다. 동시 디스플레이에서는 객체가 나타나는 화면의 첫 10~30개의 이미지 프레임들을 디스플레이할 수 있으며 여러 객체가 동시에 등장하여 객체가 나타나는 이미지 프레임들이 중복되는 경우 하나의 이미지 프레임만을 선택하여 디스플레이한다. 또, 필요한 경우 객체의 위치에 윤곽 처리를 함으로써 객체를 시인성 높게 표시할 수 있다. 이 실시예에서는 객체를 포함하는 이미지 프레임 자체를 디스플레이하는 것으로 설명하고 있으나, 이에 한정되지 않으며 배경 이미지를 선택하고 그 이미지 상에 객체를 투명 객체 이미지로 합성한 합성 이미지 프레임들이 디스플레이될 수 있다.When the request for object data inquiry is received, the computing device loads the object summary data from the storage medium and simultaneously displays the plurality of CCTV images together with the object summary information for each CCTV image through the object data inquiry program S610). FIG. 6 is an exemplary view showing a simultaneous display for selecting a query image in the object data inquiry method according to an embodiment of the present invention. When the user executes the object data inquiry program, a plurality of
사용자는 이 동시 디스플레이에 의하여 각 영상에 나타난 객체의 특징을 직관적으로 판단하는 것에 의하여 다수의 영상 중 조회 대상 영상을 선택할 수 있다(S620). 사용자는 동시 디스플레이에 의하여 사람이나 차량 등 어느 유형의 객체가 주로 나타나는지, 객체의 일반적인 행동 패턴이 어떠한지, 특정 객체가 일반적인 행동 패턴을 벗어난 이상 행동 패턴을 나타내는지 등을 파악하는 것에 의하여 분석해야 할 영상에서 나타나는 객체의 특징을 직관적으로 판단하여 객체를 식별할 수 있다.In operation S620, the user can intuitively determine the characteristics of an object displayed in each image by the simultaneous display, thereby selecting an image to be searched among the plurality of images. The user can identify the types of objects, such as people and vehicles, which are displayed by simultaneous display, the general behavior pattern of the object, and whether the particular object exhibits an abnormal behavior pattern out of the general behavior pattern, The object can be identified by intuitively determining the characteristics of the object appearing in the object.
도 6에 도시된 바와 같이, 이 실시예에서는 CCTV 영상의 상단 우측에 전체 영상의 재생 시간이 표시되고, 상단 좌측에 영상에 포함된 객체의 개수가 표시되고 있으나 이에 한정되지 않는다. 다른 실시예로 영상 화면 내에 또는 하단에 객체 포함 영상이 재생되는 시간이 타임라인 방식으로 디스플레이될 수 있으며, 타임 라인 상에 표시 바를 이동하는 것에 의하여 특정 시간의 객체를 검색할 수 있다. 복수의 CCTV 영상(610)은 객체가 포함되는 부분만이 실제 재생 속도와 같이 재생될 수 있으나 이에 한정되지 않으며, 공지된 방법에 의하여 각 영상의 재생 속도를 조정할 수 있다. 또한 사용자는 동시 디스플레이를 효과적으로 하기 위하여 최소 객체 노출 시간을 설정하는 등 다양한 환경 조건을 설정할 수 있다. 최소 객체 노출 시간이 설정되는 경우 그 시간 이상 연속적으로 등장하는 객체를 포함하는 이미지 프레임들만이 디스플레이될 수 있다.As shown in FIG. 6, in this embodiment, the reproduction time of the entire image is displayed on the upper right side of the CCTV image, and the number of objects included in the image is displayed on the upper left side. In another embodiment, the time at which the object-embedded image is reproduced in the image screen or at the bottom can be displayed in a timeline manner, and an object at a specific time can be retrieved by moving the display bar on the timeline. Only a portion of the plurality of
조회 대상 영상이 선택되면, 사용자는 컴퓨팅 기기의 사용자 인터페이스를 통하여 선택된 조회 대상 영상에 대한 객체 조회 조건을 입력할 수 있다(S710). 도 7은 본 발명의 일 실시예에 따른 객체 데이터 조회 방법에서 조회 조건을 설정하는 방법 및 조회 조건에 따른 개별 화면 디스플레이를 나타내는 예시적인 실행 화면이다. When the image to be collated is selected, the user can input an object retrieval condition for the selected colliding object image through the user interface of the computing device (S710). 7 is an exemplary execution screen showing a method of setting a query condition in the object data inquiry method and an individual screen display according to a query condition according to an embodiment of the present invention.
도 7에 도시한 바와 같이, 조회 대상 영상(710)이 선택되면 선택된 조회 대상 영상에 대한 객체 조회 조건을 입력할 수 있는 사용자 인터페이스(720, 730)가 조회 대상 영상 우측에 표시될 수 있다. 이 실시예에서는 조회 조건으로, 객체의 색(color)(상의, 하의 구분), 객체 출몰 시간(Time), 객체의 유형(Shape), 객체의 속도(Speed), 객체의 크기(Size), 객체의 이동 방향(Direction) 등을 포함하나 이에 한정되지 않으며, 객체 특징 요약 데이터에 포함된 임의의 적절한 조건을 포함할 수 있다.As shown in FIG. 7, when the
객체 조회 조건이 수신되면, 컴퓨팅 기기는 수신된 객체 조회 조건과 각 객체 리스트의 객체 요약 정보를 비교하여, 각 객체의 객체 요약 데이터가 수신된 객체 조회 조건에 부합하는지 여부를 판단한다(S720). 객체 요약 데이터가 수신된 객체 조회 조건에 부합하면(S720의 예), 해당 객체에 대한 객체 데이터를 로딩한다(S730). 여기서 객체 데이터의 로딩은 상기 저장 매체에 저장된 객체 이미지와 객체 특징 데이터를 컴퓨팅 기기의 내부 메모리로 가져오는 것을 의미할 수 있다. When the object query condition is received, the computing device compares the received object query condition with the object summary information of each object list, and determines whether the object summary data of each object conforms to the received object query condition (S720). If the object summary data matches the received object query condition (YES in S720), object data for the object is loaded (S730). The loading of the object data may mean bringing the object image and the object characteristic data stored in the storage medium into the internal memory of the computing device.
해당 객체에 대한 객체 데이터가 로딩되면, 그 객체가 저장된 객체 리스트 중 마지막 객체인지 여부를 판단한다(S740). 해당 객체가 마지막 객체가 아닌 경우 객체 리스트의 다음 객체에 대하여 단계 S720 내지 S730을 반복한다. 해당 객체가 마지막 객체인 경우(S740의 예), 로딩된 객체 데이터들에 근거하여 디스플레이할 객체 조회 데이터를 구성한다(S750). 객체 조회 데이터는 최종적으로 사용자에게 디스플레이될 객체 이미지 파일 및 객체 특징 데이터를 포함한다When the object data for the object is loaded, it is determined whether the object is the last object in the stored object list (S740). If the object is not the last object, steps S720 to S730 are repeated for the next object in the object list. If the object is the last object (YES in S740), object inquiry data to be displayed is configured based on the loaded object data (S750). The object query data finally includes an object image file and object characteristic data to be displayed to the user
도 7에 도시된 바와 같이, 이 실시예에서는 객체 조회 조건에 근거하여 추출된 객체 리스트를 우측 하단의 사용자 인터페이스(730)에 도시하는 것에 의하여 사용자가 객체 조회 조건을 변경하게 할 수 있다. 사용자는 우측 상단의 사용자 인터페이스(720)를 이용하여 조회 조건을 변경하거나 우측 하단의 사용자 인터페이스(730)를 이용하여 관심 객체를 선택 또는 해제할 수 있다(S770). 예를 들어 사용자는 우측 상단의 사용자 인터페이스(720)를 이용하여 객체의 특징 데이터의 범위나 일치율 등을 조정하는 것에 의하여 객체 조회 데이터에 포함될 객체의 개수를 많거나 적게 조정할 수 있다. 다른 예로 사용자는 우측 하단의 사용자 인터페이스(730)를 이용하여 현재 객체 조회 조건에 포함된 객체들을 검색하면서 체크박스의 체크를 선택 또는 해제 하는 것에 의하여 객체 별로 포함 여부를 결정할 수 있다. As shown in FIG. 7, in this embodiment, the object list extracted on the basis of the object query condition is displayed on the lower
객체 조회 조건이 변경되면(S760의 예), 객체 데이터 조회 방법은 단계 S720 내지 S750을 반복하는 것에 의하여 디스플레이 데이터를 다시 구성한다. 객체 조회 조건에 대한 변경이 없는 경우(S760의 아니오), 도 7에 좌측 영상으로 도시된 바와 같이 컴퓨팅 기기는 상기 객체 조회 조건에 포함된 객체 이미지들을 하나의 화면 상에 동시에 디스플레이한다(S770).If the object query condition is changed (YES in S760), the object data inquiry method re-configures the display data by repeating steps S720 to S750. If there is no change to the object query condition (NO in S760), the computing device simultaneously displays the object images included in the object query condition on one screen as shown in the left image in FIG. 7 (S770).
구체적으로, 사용자는 객체 조회 조건 입력 전후에 객체를 디스플레이할 영상의 배경 이미지를 선택하고 배경 이미지 상에 투명 객체 이미지 파일을 디스플레이하는 것에 의하여 실제 화면과 유사한 합성 화면을 생성할 수 있다. 일 실시예로 사용자는 아무런 객체가 등장하지 않는 이미지를 배경 이미지로 선택할 수 있으며, 이 경우 객체 조회 데이터에 포함된 객체 이미지들은 선택된 배경 이미지 위에 추출 시간대와 무관하게 동시에 디스플레이될 수 있다. 여기서, 객체 이미지는 객체 이미지를 제외한 빈 공간이 투명하게 처리가능한 이미지 타입(예를 들어, png 형식)으로 선택될 수 있으며, 다수의 객체가 겹쳐지는 경우 겹치는 색이 함께 보여지도록 디스플레이될 수 있다. 각 객체 이미지는 실시간 영상 재생 간격(예를 들어, 초당 10 프레임이면 100ms 간격)으로 디스플레이됨으로써 실제 영상처럼 재생될 수 있다. 또한, 도 7에 도시된 바와 같이, 이 실시예에서 각 객체 이미지에는 객체 ID 대신 그 객체가 등장한 시간 데이터와 함께 디스플레이될 수 있다. Specifically, a user can select a background image of an image to display an object before and after inputting an object query condition, and display a transparent object image file on the background image, thereby generating a composite image similar to an actual image. In one embodiment, the user can select an image in which no object appears as a background image. In this case, the object images included in the object inquiry data can be simultaneously displayed on the selected background image regardless of the extraction time zone. Here, the object image can be displayed in an image type (for example, png format) in which an empty space excluding the object image can be processed transparently, and overlapping colors can be displayed together when a plurality of objects are overlapped. Each object image can be played back like an actual image by being displayed at a real-time image playback interval (e.g., 100 ms intervals at 10 frames per second). Further, as shown in Fig. 7, in this embodiment, each object image may be displayed with time data in which the object appears instead of the object ID.
이상에서 설명한 바와 같이, 본 발명에 따르면 전체 동영상으로부터 객체만을 추출하고 객체 요약 정보를 생성함으로써 원하는 조건의 객체만 선택할 수 있게 한다.As described above, according to the present invention, only an object of a desired condition can be selected by extracting only an object from an entire moving image and generating object summary information.
또한, 본 발명에 따른 객체 데이터 생성 방법 및 조회 방법은 조회 조건에 따라 객체 리스트를 구성하여 구성된 객체들을 하나의 배경 이미지 상에 동시에 디스플레이하는 것에 의하여 모든 객체가 동시에 나타나는 것처럼 보이게 할 수 있으며 따라서 객체 검색 시간을 단축시키는 효과가 있다.In addition, the object data generation method and the inquiry method according to the present invention can display an object list according to a query condition so that all objects are simultaneously displayed by simultaneously displaying objects on a background image, It has the effect of shortening the time.
게다가, 본 발명에 따른 객체 데이터 생성 방법 및 조회 방법은 조건에 따라 복수의 객체 영상 간 상호 비교 판단을 지원함으로써 대량의 복수 영상을 동시에 효율적으로 분석하고 파악할 수 있을 뿐 아니라 CCTV 영상을 분석하는 시간을 극적으로 감소시키는 효과가 있다.In addition, the object data generation method and the inquiry method according to the present invention support the mutual comparison judgment between a plurality of object images according to conditions, thereby efficiently analyzing and grasping a large number of multiple images at the same time, There is a dramatic reduction effect.
S100: 객체 데이터를 생성하기 위한 원본 동영상 수신
S200: 원본 동영상의 각 프레임으로부터 객체 데이터생성
S300: 객체 요약 데이터 생성
S400: 객체 데이터 및 객체 요약 데이터 저장
S500: 객체 요약 데이터 로딩
S600: 객체 요약 디스플레이 및 조회 영상 선택
S700: 객체 조회 조건 수신
S800: 객체 조회 조건에 따른 객체 데이터 구성
S900: 구성된 객체 데이터 디스플레이S100: Receive original video to generate object data
S200: Create object data from each frame of original movie
S300: Create object summary data
S400: Save object data and object summary data
S500: Object summary data loading
S600: Display object summary and select view image
S700: Receive object query condition
S800: Organizing object data according to object query condition
S900: Display configured object data
Claims (12)
상기 수신된 전체 동영상의 각 이미지 프레임으로부터 객체 이미지 파일 및 객체 특징 데이터를 포함하는 객체 데이터를 생성하는 객체 데이터 생성 단계;
상기 객체 데이터로부터 객체 대표 이미지 파일 및 객체 특징 요약 데이터를 포함하는 객체 요약 데이터를 생성하는 객체 요약 데이터 생성 단계; 및
각 객체에 대한 객체 데이터 및 객체 요약 데이터를 저장하는 데이터 저장 단계를 포함하는, 객체 데이터 생성 방법.A moving picture receiving step of receiving an entire moving picture for generating object data;
An object data generation step of generating object data including an object image file and object characteristic data from each image frame of the received whole moving image;
An object summary data generation step of generating object summary data including an object representative image file and object feature summary data from the object data; And
And a data storing step of storing object data and object summary data for each object.
상기 객체 특징 데이터는 객체의 유형, 크기, 윤곽, 색, 등장 시간, 프레임 내 위치값을 포함하는, 객체 데이터 생성 방법.The method according to claim 1,
Wherein the object feature data includes a type, a size, an outline, a color, an appearance time, and a position value in a frame of the object.
상기 객체 특징 요약 데이터는 복수의 이미지 프레임에 계속하여 나타나는 객체의 유형, 평균 크기, 평균 색, 등장 지속 시간, 객체 이동 방향, 객체 이동 속도를 포함하는, 객체 데이터 생성 방법.The method according to claim 1,
Wherein the object feature summary data includes a type, an average size, an average color, an appearance duration, an object movement direction, and an object movement speed of an object continuously appearing in a plurality of image frames.
상기 객체 데이터 생성 단계는,
이전 이미지 프레임에 포함된 객체 리스트와 현재 이미지 프레임에 포함된 객체 리스트의 객체 특징 데이터를 비교하여 상기 객체 특징 데이터의 유사도가 기준값 이상일 경우 해당 객체가 연속 객체임을 판단하는 연속 객체 판단 단계; 및
해당 객체가 연속 객체인 경우 기존 객체 리스트에 해당 객체의 객체 특징 데이터를 연관시키고, 해당 객체가 연속 객체가 아니라고 판단된 경우 해당 객체에 대한 신규 객체 리스트를 생성하는 단계를 포함하는, 객체 데이터 생성 방법.The method according to claim 1,
Wherein the object data generation step comprises:
Comparing the object feature data of the object list included in the current image frame with the object list included in the previous image frame to determine that the object is a continuous object if the similarity degree of the object feature data is equal to or greater than a reference value; And
Associating object feature data of an object with an existing object list when the object is a continuous object and generating a new object list for the object when it is determined that the object is not a continuous object, .
조회 대상 영상에 포함된 객체에 대한 상기 객체 데이터 및 객체 요약 데이터를 수신하는 데이터 수신 단계;
상기 객체를 조회하기 위한 객체 조회 조건을 입력받는 객체 조회 조건 입력 단계;
상기 객체 요약 데이터에 근거하여 상기 객체가 객체 조회 조건에 부합하는지 여부를 판단하는 단계;
상기 객체 조회 조건에 부합하는 객체 데이터에 의해 객체 조회 데이터를 구성하는 조회 데이터 구성 단계; 및
상기 객체 조회 데이터에 포함된 객체 리스트를 디스플레이하는 객체 리스트 디스플레이 단계를 포함하며,
상기 객체 조회 조건은 객체의 유형, 크기, 색, 등장 시간, 이동 방향, 이동 속도 중 적어도 하나를 포함하는 것인, 객체 데이터 조회 방법.A method for querying object data generated by an object data generating method according to claim 1,
A data receiving step of receiving the object data and the object summary data for an object included in the query target video;
An object inquiry condition input step of receiving an object inquiry condition for inquiring the object;
Determining whether the object satisfies an object query condition based on the object summary data;
An inquiry data constructing step of constructing object inquiry data by object data meeting the object inquiry condition; And
And an object list display step of displaying an object list included in the object inquiry data,
Wherein the object query condition includes at least one of an object type, a size, a color, an appearance time, a movement direction, and a movement speed.
상기 데이터 수신 단계 전에,
상기 조회 대상 영상을 선택하기 위하여 복수의 동영상을 동시에 디스플레이하는 단계; 및
상기 복수의 동영상으로부터 상기 조회 대상 영상을 선택하는 단계를 포함하며,
상기 동영상은 전체 동영상 중 객체가 인식된 이미지 프레임만을 포함하는 동영상인, 객체 데이터 조회 방법.6. The method of claim 5,
Before the data receiving step,
Simultaneously displaying a plurality of moving images to select the image to be searched; And
And selecting the image to be collated from the plurality of moving images,
Wherein the moving image is a moving image including only an image frame in which an object is recognized among all moving images.
상기 복수의 동영상을 동시에 디스플레이하는 단계 전에,
상기 동영상에 포함된 객체의 최소 객체 노출 시간을 설정하는 단계를 더 포함하며,
상기 복수의 동영상을 동시에 디스플레이하는 단계는 상기 최소 객체 노출 시간 이상 계속하여 존재하는 객체를 포함하는 이미지 프레임들만을 포함하는 동영상인, 객체 데이터 조회 방법.The method according to claim 6,
Before displaying the plurality of moving images at the same time,
Setting a minimum object exposure time of an object included in the moving picture,
Wherein the step of simultaneously displaying the plurality of moving images is a moving image including only image frames including an object continuously existing over the minimum object exposure time.
상기 객체 조회 조건 입력 단계는,
이전 객체 조회 조건에 따른 객체 리스트를 디스플레이하는 단계;
상기 객체 리스트로부터 디스플레이될 객체를 선택하는 객체 선택 단계 더 포함하는, 객체 데이터 조회 방법.6. The method of claim 5,
Wherein the object query condition input step comprises:
Displaying an object list according to a previous object query condition;
And an object selection step of selecting an object to be displayed from the object list.
상기 객체 조회 조건을 변경하는 객체 조회 조건 변경 단계를 더 포함하며,
상기 객체 조회 조건 변경시 상기 객체 조회 조건 입력 단계 내지 상기 객체 리스트 디스플레이 단계를 반복적으로 실행하는, 객체 데이터 조회 방법.6. The method of claim 5,
Further comprising an object query condition changing step of changing the object query condition,
Wherein the object reference condition input step and the object list display step are repeatedly executed when the object query condition is changed.
상기 객체를 디스플레이하기 위한 배경 이미지를 선택하는 단계; 및
상기 배경 이미지 상에 상기 객체 조회 데이터에 포함된 모든 객체 이미지를 디스플레이하는 객체 디스플레이 단계를 포함하는, 객체 데이터 데스플레이 방법.A method for displaying object query data generated by an object data inquiry method according to claim 5,
Selecting a background image for displaying the object; And
And an object display step of displaying all object images included in the object inquiry data on the background image.
상기 객체 디스플레이 단계에서 디스플레이되는 상기 객체 이미지는 투명 처리된 이미지인, 객체 데이터 디스플레이 방법.11. The method of claim 10,
Wherein the object image displayed in the object display step is a transparent processed image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160179139A KR101904425B1 (en) | 2016-12-26 | 2016-12-26 | Method for searching object data for analyzing large amounts of CCTV video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160179139A KR101904425B1 (en) | 2016-12-26 | 2016-12-26 | Method for searching object data for analyzing large amounts of CCTV video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180075145A true KR20180075145A (en) | 2018-07-04 |
| KR101904425B1 KR101904425B1 (en) | 2018-10-05 |
Family
ID=62913234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160179139A KR101904425B1 (en) | 2016-12-26 | 2016-12-26 | Method for searching object data for analyzing large amounts of CCTV video |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101904425B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102043192B1 (en) * | 2019-05-27 | 2019-11-11 | 주식회사 인콘 | Cctv searching method and apparatus using deep learning |
| KR102229261B1 (en) * | 2019-12-23 | 2021-03-17 | 한국해양대학교 산학협력단 | Apparatus and method for summarizing object conditions reated to object using a plurality of camera modules |
| KR20230094425A (en) * | 2021-12-21 | 2023-06-28 | 빅웨이브로보틱스 주식회사 | Similar Solutions Providing Devices for Automation |
| KR102595318B1 (en) * | 2022-06-24 | 2023-10-26 | (주)제로웹 | Video control system for easy tracking of floating population |
| KR20240000291A (en) * | 2022-06-23 | 2024-01-02 | 한국전자기술연구원 | System and method for analyzing the progress of crime facts based on crime story timeline |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150043962A (en) * | 2013-10-15 | 2015-04-23 | 한국전자통신연구원 | Apparatus and method for summarizing video |
| KR20150084567A (en) * | 2014-01-14 | 2015-07-22 | 한화테크윈 주식회사 | System and method for browsing summary image |
| KR20160050721A (en) * | 2014-10-30 | 2016-05-11 | 에스케이텔레콤 주식회사 | Method for searching image based on image recognition and applying image search apparatus thereof |
-
2016
- 2016-12-26 KR KR1020160179139A patent/KR101904425B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150043962A (en) * | 2013-10-15 | 2015-04-23 | 한국전자통신연구원 | Apparatus and method for summarizing video |
| KR20150084567A (en) * | 2014-01-14 | 2015-07-22 | 한화테크윈 주식회사 | System and method for browsing summary image |
| KR20160050721A (en) * | 2014-10-30 | 2016-05-11 | 에스케이텔레콤 주식회사 | Method for searching image based on image recognition and applying image search apparatus thereof |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102043192B1 (en) * | 2019-05-27 | 2019-11-11 | 주식회사 인콘 | Cctv searching method and apparatus using deep learning |
| KR102229261B1 (en) * | 2019-12-23 | 2021-03-17 | 한국해양대학교 산학협력단 | Apparatus and method for summarizing object conditions reated to object using a plurality of camera modules |
| KR20230094425A (en) * | 2021-12-21 | 2023-06-28 | 빅웨이브로보틱스 주식회사 | Similar Solutions Providing Devices for Automation |
| KR20240000291A (en) * | 2022-06-23 | 2024-01-02 | 한국전자기술연구원 | System and method for analyzing the progress of crime facts based on crime story timeline |
| KR102595318B1 (en) * | 2022-06-24 | 2023-10-26 | (주)제로웹 | Video control system for easy tracking of floating population |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101904425B1 (en) | 2018-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101904425B1 (en) | Method for searching object data for analyzing large amounts of CCTV video | |
| EP2923487B1 (en) | Method and system for metadata extraction from master-slave cameras tracking system | |
| JP6674584B2 (en) | Video surveillance system | |
| JP4616702B2 (en) | Image processing | |
| US10204275B2 (en) | Image monitoring system and surveillance camera | |
| TWI554099B (en) | Method and camera for determining an image adjustment parameter | |
| WO2018003561A1 (en) | Image processing apparatus, information processing apparatus, image processing method, information processing method, image processing program, and information processing program | |
| CN103391424B (en) | The method of the object in the image that analysis monitoring video camera is caught and object analysis device | |
| KR101781358B1 (en) | Personal Identification System And Method By Face Recognition In Digital Image | |
| US20140214885A1 (en) | Apparatus and method for generating evidence video | |
| US10037467B2 (en) | Information processing system | |
| KR101960667B1 (en) | Suspect Tracking Apparatus and Method In Stored Images | |
| US20050265581A1 (en) | Object detection | |
| KR101863727B1 (en) | CCTV System Capable of Searching Objects Complied with Multiple Terms from Image and Searching Method thereof | |
| US20060159370A1 (en) | Video retrieval system and video retrieval method | |
| KR101212082B1 (en) | Image Recognition Apparatus and Vison Monitoring Method thereof | |
| KR102028319B1 (en) | Apparatus and method for providing image associated with region of interest | |
| KR101074850B1 (en) | Video retrieval system | |
| KR20160093253A (en) | Video based abnormal flow detection method and system | |
| KR20190041704A (en) | A cctv divided management system and method it | |
| JP2019029935A (en) | Image processing system and control method thereof | |
| JP2007134948A (en) | Device for imaging person in parked vehicle | |
| KR20210055567A (en) | Positioning system and the method thereof using similarity-analysis of image | |
| JP2016009896A (en) | Video monitoring system, and video retrieval method of video monitoring system | |
| JP6984942B2 (en) | Image processing equipment, image processing system, image processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20161226 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20170921 Patent event code: PE09021S01D |
|
| E90F | Notification of reason for final refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20180212 Patent event code: PE09021S02D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20180702 |
|
| PG1501 | Laying open of application | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20180927 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20180927 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20210927 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220802 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230920 Start annual number: 6 End annual number: 6 |