WO2013165048A1 - 영상 검색 시스템 및 영상 분석 서버 - Google Patents

영상 검색 시스템 및 영상 분석 서버 Download PDF

Info

Publication number
WO2013165048A1
WO2013165048A1 PCT/KR2012/004004 KR2012004004W WO2013165048A1 WO 2013165048 A1 WO2013165048 A1 WO 2013165048A1 KR 2012004004 W KR2012004004 W KR 2012004004W WO 2013165048 A1 WO2013165048 A1 WO 2013165048A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
search
module
feature
Prior art date
Application number
PCT/KR2012/004004
Other languages
English (en)
French (fr)
Inventor
최병호
송혁
신화선
임일명
강신일
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120045446A external-priority patent/KR101372860B1/ko
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority claimed from KR1020120053461A external-priority patent/KR101350882B1/ko
Publication of WO2013165048A1 publication Critical patent/WO2013165048A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to an image retrieval system and an image analysis server. More particularly, the present invention relates to an image analysis server that analyzes all subjects of an image and generates analysis data even potential risk factors.
  • An image analysis server for storing and managing attributes, and an image retrieval system for retrieving an image using analysis data of the image analysis server.
  • CCTVs are used to photograph and record the entrances and boundary areas of facilities.
  • the captured video and recorded video are used for criminal investigations, and the recorded video is inconvenient to be checked by a person, and thus, the video is analyzed more efficiently.
  • a conventional active video surveillance system includes a CCTV camera 100, an active video surveillance apparatus 200, a monitor 300, and a monitor mobile terminal 400.
  • the active video surveillance apparatus 200 includes an acquired image processor 210, a recorded image DB 220, an image characteristic analyzer 230, a behavior pattern DB 240, a situation coping unit 250, and an optional input unit ( 260, an output image controller 270, and a wireless communication module 280.
  • the active video surveillance apparatus 200 automatically extracts a behavior pattern from an image obtained from the CCTV camera 100 and automatically compares the extracted behavior pattern image with a previously stored behavior pattern image to automatically determine a dangerous situation of the surveillance area.
  • the control signal is output for each situation.
  • the behavior pattern may include not only the motion of a person or animal in the acquired image, but also an object such as a dangerous tool or a dangerous impression in the acquired image, and may be an additional image added to the fixed image.
  • a conventional NVR system 60 includes a receiver 62, a controller 64, a communicator 66, and a storage 68.
  • the receiver 62 receives image information of the surveillance zone from a plurality of network cameras installed in the surveillance zone to be monitored by the user.
  • the controller 64 determines whether an event is generated from the received image information, and generates an event generation signal when the event is determined.
  • the communication unit 66 transmits the generated event generation signal to an external terminal using a network transmission or a wireless LAN.
  • the storage unit 68 stores the received image information.
  • the conventional video surveillance apparatus only serves to monitor only preset risk factors (objects) and does not analyze an unexpected or potential risk factor (object).
  • the conventional NVR system only determines whether or not an event occurs through the monitoring camera, and informs, there is a problem that can not detect people or vehicles.
  • An object of the present invention is to provide an image analysis server capable of performing optimal performance by including and performing various image vision techniques in analyzing all subjects of an image, generating analysis data, and generating analysis data.
  • Another object of the present invention is to provide an image analysis server that enables communication between modules by allocating a common memory area to a module that performs various image vision techniques.
  • An object of the present invention is to provide an image analysis server for searching for subjects and abnormal behavior from the image data.
  • Another object of the present invention is to provide an image analysis server for searching for a subject area and an abnormal behavior area from image data.
  • an object of the present invention is to obtain the feature data of the subject and the search time of the subject from the image data.
  • an object of the present invention is to search for an object in the analysis data by using the object and the feature of the object to be searched, and to search for the movement of the object, moving lines, and the like.
  • Another image analysis server includes an image analysis module configured to analyze an input image and output the analyzed result through a built-in image analysis algorithm; A management module for allocating a memory for the image analysis module and managing an event between the image analysis modules; A server management module which receives an analysis start command from a user terminal, transmits the analysis start command to the management module, and transmits an image analysis result analyzed through the image analysis module to a user terminal; And a memory for storing data, wherein the image analysis module is plural, and the plurality of image analysis modules share and use the memory together.
  • the memory is one of a heap memory, a shared memory, and a socket memory, and when the management module receives a memory request from an image analysis module, the management module may select one region of the heap memory, the shared memory, and the socket memory from the image analysis module. May be assigned to
  • the image analysis module may search for a subject by analyzing image data, remove an background from the image data, and extract an object recognition image; And extracting feature data of the subject by analyzing the object recognition image and converting the feature data into a text format or a binary format to generate object feature data, and obtaining a playback time of the image data in which the object is found as an object search time. It may be characterized in that it comprises a; feature extraction module.
  • the feature extraction module extracts feature data of the person, converts the feature data into a text format or a binary form, generates object feature data, and a playback time of the image data from which the object is found.
  • a character feature extraction module for acquiring a symbol as an object search time; If the object recognition image is a car, the license plate information and feature data of the vehicle is extracted, and the license plate information and feature data are converted into a text format or a binary format to generate object feature data, and playback of the image data from which the object is retrieved.
  • a vehicle feature extraction module for obtaining the time as the object search time.
  • the object detecting module extracts a color of the subject and re-analyzes image data using the color of the subject, thereby preventing a detection error of the subject.
  • the person feature extraction module may generate object feature data by fusing feature data of a subject recognized as the same person.
  • the person feature extraction module may determine whether the subject is the same person by using the face clustering result.
  • an image analysis server may include: an object extraction module configured to analyze image data, search for a subject, and extract an object recognition image from which a background is removed from the image data; Extracts feature data of the subject by analyzing the object recognition image, converts the feature data into a text or binary format, generates object feature data, and obtains a reproduction time of the image data in which the object is found as an object search time; Extraction module; A storage unit which stores the object search time and the object feature data together as image analysis data; And a controller for driving the object detection module and the feature extraction module.
  • the feature extraction module extracts feature data of the person, converts the feature data into a text or binary format, generates object feature data, and displays a reproduction time of the image data found by the object.
  • the apparatus may further include a feature extraction module that is acquired at an object search time, wherein the feature extraction module generates feature data of a face using a Gabor wavelet.
  • the feature extraction module extracts license plate information and feature data of the vehicle when the object recognition image is a car, converts the license plate information and feature data into a text or binary format, and generates object feature data, and retrieves the object.
  • the apparatus may further include a vehicle feature extraction module configured to obtain a reproduction time of the image data as an object search time.
  • the vehicle extraction module may extract a license plate and feature data of a vehicle through a preprocessing process, gray image conversion, SCW-based binarization, license plate verification, and post-processing.
  • the object detecting module may extract a color of the subject and re-analyze the image data using the color of the subject, thereby preventing a detection error of the subject.
  • the feature extraction module may generate feature data of an object by fusion of all feature data of a subject recognized as the same person.
  • the person feature extraction module may determine whether the subject is the same person by using a face clustering result.
  • the image retrieval system receives a retrieval request from an image server and a user terminal storing an image captured by an image analysis server and a plurality of imaging devices as an original image, and analyzes the retrieval request.
  • the image search server may be configured to determine a condition, search for analysis data or an image corresponding to the search condition, and transmit a search completion message to a user terminal.
  • the image search server may search for analysis data corresponding to the search condition, and search for an image by using a time stamp value of the searched analysis data.
  • an object and a search condition to be searched may be extracted using an object detection module and a feature extraction module.
  • the present invention may provide an image analysis server capable of performing optimal performance by including and performing various image vision techniques in analyzing all subjects of an image, generating analysis data, and generating analysis data.
  • the present invention can provide an image analysis server that enables communication between modules by allocating a common memory area to a module that performs various image vision techniques.
  • the present invention can provide an image analysis server for searching for a subject and an abnormal behavior from the image data.
  • the present invention may provide an image analysis server for searching for a subject region and an abnormal behavior region from the image data.
  • the present invention may provide an image analysis server for acquiring the feature data of the subject and the search time of the subject from the image data.
  • the present invention is to search for an object in the image data using only the object and the feature of the object to be searched, and to search for the movement of the object, moving lines, and the like.
  • FIG. 1 is a block diagram showing a conventional active video surveillance system.
  • FIG. 2 is a block diagram illustrating an image analysis server according to an exemplary embodiment of the present invention.
  • FIG. 3 is a block diagram showing an image analysis server system according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining the operation of the image analysis module according to an embodiment of the present invention.
  • FIG 5 illustrates data definition for an image analysis module according to an embodiment of the present invention.
  • FIG. 6 is a block diagram showing a conventional image retrieval system.
  • FIG 7 illustrates an image retrieval system according to an embodiment of the present invention.
  • FIG. 8 is a block diagram of another image retrieval system according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a video retrieval method according to an embodiment of the present invention.
  • FIG. 10 is a block diagram of an image analysis server according to an embodiment of the present invention.
  • FIG. 11 is a block diagram of a feature extraction module of an image analysis server according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a method of analyzing an image of an image analysis server according to an embodiment of the present invention.
  • FIG. 13 illustrates a facial feature extraction method according to an embodiment of the present invention.
  • the image analysis server of the present invention applies various techniques to achieve optimal performance of vision techniques for image analysis.
  • FIG. 2 is a block diagram illustrating an image analysis server according to an exemplary embodiment of the present invention.
  • the image analysis server may include image analysis modules 140, a management module 110, a server management module 120, and a memory 130.
  • the management module 110 manages memory for the image analysis modules and manages events between the image analysis modules.
  • the management module 110 may provide an interface between the server management module 120 and the image analysis module.
  • the management module 110 allocates one area of the heap memory, shared memory, and socket memory for the image analysis module.
  • sharing the heap memory between the image analysis modules refers to allocating memory by transferring a heap memory address to the image analysis module requesting memory allocation.
  • the image analysis server according to the present invention may have one to three infinity image analysis modules.
  • Sharing the shared memory between the image analysis modules 140 refers to using the shared memory provided by the OS.
  • the validity of the data must be verified at the time of data transmission and reception.
  • the management module 110 may define information on the image analysis module 140 as a script.
  • the management module 110 may define a script for event and message processing between the image analysis module 140. This is as shown in FIG. 4.
  • the image analysis module 140 analyzes the input video (video, image) data.
  • the result analyzed by the image analysis module 140 from the image may be mainly information about a subject of the image.
  • the information on the subject includes a type and a characteristic of the subject.
  • the image analysis module 140 may include an object detection module and a feature extraction module, wherein the feature extraction module may include a person feature extraction module and a vehicle feature extraction module.
  • the object detection module extracts only the object region image in which the subject is removed by removing the background from the image data.
  • the object detection module may use a technique of using a difference image, a technique of analyzing a motion, a meanshift and an application technique, and a local binary pattern technique.
  • the object detection module scans the entire area of the image data and finds candidate areas that may be human faces or vehicles. The object detection module then sequentially passes through the classifiers connected in series to remove the non-human face area in the middle. After performing the above steps repeatedly, the remaining areas may be determined as the human face.
  • a face verification process may be performed using skin color information.
  • the feature extraction module analyzes the object recognition image to extract feature data of the subject, converts the feature data into a text format or binary format, generates object feature data, and acquires a playback time of the image data in which the subject is found as the object search time. do.
  • the object feature data may consist of the object's target and attribute values.
  • the attribute value may be the color of the skin, the shape of the eyes, the nose, the mouth, the height, the gender, the color of the clothes, the age, the body shape, and the like. If the object of the object is a vehicle, the attribute value may be a license plate, a color of the vehicle, a model of the vehicle, and the like.
  • the feature extraction module may first extract the feature data of the person by normalizing the object region image based on both eye positions.
  • the person feature extraction module detects a person from the input image and extracts a feature of the person.
  • the person feature extraction module extracts texture feature information of the face based on wrinkles, eye, nose, and mouth outline information of the face in the recognized face image.
  • the feature extraction module uses the gabor wavelet texture that resolves the face alignment error as the feature information of the recognized face.
  • the gabor wavelet may be used as color information to improve the performance of the feature extraction module to recognize the feature.
  • the person feature extraction module may fuse color texture face feature information extracted from the same person.
  • the face of the same person may be distinguished using face clustering results, and then unnecessary information may be removed to recognize the face.
  • the face facing the front has the highest recognition rate in extracting feature information from the image.
  • the vehicle feature extraction module detects the vehicle from the object region image, and extracts the license plate of the vehicle and the feature of the vehicle.
  • the license plate detection process is performed through preprocessing, gray image conversion, SCW-based binarization, license plate verification, and postprocessing.
  • the preprocessing process is a series of preprocessing operations for processing an input image, and includes image resizing and histogram smoothing processes.
  • the gray image conversion process converts a color image into a gray image for binarization.
  • SCW-based binarization binarizes the converted gray image based on SCW.
  • the license plate verification process extracts objects that meet the license plate conditions from the binarized image.
  • the post-processing process adjusts the extracted license plate candidate images to the same size and corrects the images through slope compensation.
  • the event extraction module extracts abnormal behavior of a person or a vehicle.
  • the extracted movement may be one of roaming, escape, intrusion, designated area intrusion, garbage dumping, illegal parking, and the like.
  • the extracted motion may be represented by a preset ID value.
  • a prowl is an act of hanging around or wandering around. If the object must be repeatedly present in the same area or if the object exists in the image for a predetermined time or more, it can be detected as a wandering action.
  • Escape is a sudden run. In the case of appearance, if the person who maintains the average speed and suddenly detects a sudden change in speed, it can be regarded as an escape action.
  • a designated area may be set in advance.
  • the region of interest may be set on a point basis or on a line basis. If an object appears and exists for more than a predetermined time, it can be detected as an abnormal behavior.
  • the server management module 120 receives an analysis start command from an external user terminal, receives the result of analyzing the image by the image analysis module 140, and delivers the result to the user terminal.
  • the server management module 120 may communicate with an external device in a wired or wireless communication method.
  • the memory 130 provides a memory for the management module 110, the server management module 120, the image analysis module 140, or stores data.
  • the image analysis server drives a plurality of image analysis modules simultaneously and allocates memory to share and use one memory area.
  • the image analysis server of the present invention can increase the stability of the application program by simplifying the thread model.
  • the image analysis server is connected to a camera or an image server to receive image data, and processes an event and a request received from a user terminal in real time.
  • the video analytics server asynchronously delivers the analysis results through the callback function.
  • FIG. 3 is a block diagram showing an image analysis server system according to an embodiment of the present invention.
  • the image analysis server system of FIG. 3 may include a B-Moniter, a B-Manager, a BrokerD, a NodD, and a Module.
  • B-Monitor is a client and receives and displays video monitoring and vision results.
  • B-Manager can set up vision-related settings and execute vision module execution command.
  • BrokerD acts as an intermediary (interface) between B-Monitor, B-Manager, NodD, and Module, and delivers the vision result to the user terminal.
  • NodD executes the vision module in response to a BrokerD request and acts as an intermediary between BrokerD and the Module. The module performs the requested vision function.
  • the image analysis system may be classified into detailed parts. It is divided into BrokerD which manages and supervises video analysis server system, NodD which manages internal modules in individual server, and Module which modularizes vision technology in each server. BrokerD manages the layout, connection and configuration of vision modules in the entire system, handles manager requests and transmits video analysis results through external clients.
  • BrokerD which manages and supervises video analysis server system
  • NodD which manages internal modules in individual server
  • Module which modularizes vision technology in each server.
  • BrokerD manages the layout, connection and configuration of vision modules in the entire system, handles manager requests and transmits video analysis results through external clients.
  • NodD resides in each server and is responsible for activating a vision module at the request of BrokerD and sending a message for that module.
  • the module creates a worker thread for a vision module with a common interface to handle external messages.
  • FIG. 4 is a view showing the operation of the image analysis module according to an embodiment of the present invention.
  • FIG 4 illustrates an operation of an object detection module of the image analysis module.
  • the object detection module recognizes an object as one of Person, Still Person, Luggage, and Unknown.
  • the object detection module detects an object from the first image, it may be classified as Unknown first and may be Person or Luggage according to the moving speed of the object.
  • the object detection module may detect the face using Haar-Like based on the geometric features of the human face.
  • the feature extraction method using Haar-Like uses darker colors than the eyes, nose, and mouth, and the cheeks and foreheads use similar dots.
  • the image analysis server which is a preferred embodiment of the present invention, may further include a display module that displays the analysis result received from the server management module and displays the received image for monitoring the received image.
  • FIG 7 illustrates an image retrieval system according to an embodiment of the present invention.
  • the metadata (feature information) output of the image analysis server is transmitted to the search server, and the search server stores the data in the analysis information DB.
  • the user instructs the search using a specific image or text in the search client.
  • the request of the search client is an image
  • the same operation as the image analysis performed by the image analysis server is performed to extract feature information.
  • the search server searches for an image or video from the analysis information DB using the received text (time stamp, that is, time, or specific color, car number, etc.) or feature information.
  • search client if the request of search client is text, it is the same as general DB search.
  • the request of the search client is the feature information
  • the feature information is binary data
  • the corresponding image or image is searched by searching for matching feature information using a separate method of matching the feature information.
  • Event detection information can be delivered to a separate monitoring (warning) server, and can be notified to a video surveillance person or security company.
  • FIG. 8 is a block diagram of an image retrieval system according to an embodiment of the present invention.
  • the image search system 800 may include an image analysis server 810, an image server 820, an image search server 830, and user terminals 840.
  • the search request may be input through the user terminal 840.
  • the search request may be divided into attributes corresponding to the object to be searched and characteristics of the object, and may include an image.
  • the search target may be a creature such as a person or an animal and an inanimate object such as a car.
  • the user terminal 840 may input an image or text to be searched by the user.
  • the user terminal may be equipped with a camera, or may include a separate storage unit for storing the image to be searched.
  • the user terminal 840 may be connected to an input device such as a mouse, a USB port, or a keyboard.
  • the feature information about the object person, car, etc.
  • the characteristic region, color, model, height, head shape, etc.
  • the user terminal 840, the image analysis server 810, the image search server 830, and the image server 820 may communicate by using a wired or wireless communication method.
  • the image server 820 may receive an image captured in real time from a remotely installed imager, or may receive a recorded image. In addition, the image server 820 may store and manage images together with identification information for identifying an image capturing apparatus.
  • the image server 820 may store images in the order of photographing time, and store images according to the image capturing apparatus.
  • the imaging device may be a CCTV camera, a smart camera, an IP camera, a DVR, an NVR.
  • the image server and the image pickup device may communicate using a wired or wireless communication method.
  • the image search server 830 may analyze the search request and convert the search request into a search condition.
  • the image search server 130 may search for a corresponding image by using a search condition.
  • the image search server 830 may access the image analysis server 810 and search for it by dividing it into an object and a property of the search.
  • the image analysis server 810 may analyze the image input from the image server 820, and store and manage analysis data (feature information data) configured of a target and an attribute in a text format and a binary format.
  • the image analysis server 810 may not generate an object in the image or generate no data for the image in which there is no change.
  • the analysis data which is a result of analyzing the image, may be configured in a text format and a binary format, and may include an object, an attribute, a time stamp, an identification number of the image pickup apparatus, and the like.
  • the image analysis server 810 may classify and store analysis data according to an object, and the analysis data according to an object may be arranged based on an attribute.
  • the object analyzed by the image analysis server 810 and features of the object may be stored as text or binary data.
  • the search result of the image search server 830 may be a time stamp list.
  • the image retrieval server 830 may then retrieve the image list from the image server 820 using the time stamp list.
  • the image search server 830 does not search while analyzing the image at the point of search, but searches using the result data (feature information data) pre-analyzed by the image analysis server 810, rather than searching the image. Get search results faster and faster.
  • the analyzed result data is stored in the image analysis server managed by the image search server 830.
  • FIG. 9 is a diagram illustrating a search method according to an embodiment of the present invention.
  • a search request is transmitted from a user terminal to a search server (S920), the search server analyzes the search request to obtain a search condition (S930), and the search server is connected to the search condition.
  • the method may include searching for corresponding image analysis data (S940), and searching for an image through a timestamp of the image analysis data (S950).
  • the image search server receives a search request from the user terminal using a wired or wireless communication method.
  • the image search server analyzes the search request to determine a search condition.
  • the image search server may evict the search subject and the search condition by analyzing the search request received from the user terminal.
  • the search request may be an image, an image, a text, a keyword.
  • the object of the search and the condition of the search may be extracted as in the analysis method of the image analysis server of FIG. 7.
  • the search server may search the image analysis server for image information and image information corresponding to the search target and the search condition.
  • the search can be performed using the object of the search and the features of the search.
  • the characteristics of the search may also vary according to the search target.
  • the search condition may be a feature of a face, a gender, a shape of an eye nose, a color of clothes, and the like.
  • the license plate may be used as an identifier, or the model, the color of the vehicle, or the like may be used as the search condition.
  • the image analysis server may analyze the image and store the object, the feature of the object, a time stamp, and an identification number of the image pickup device together with the image.
  • the search result of the image search server may include a time stamp, an identification number of the image capturing apparatus, and the like as the format of the image analysis data.
  • the original image may be obtained from the image server using the retrieved time stamp value.
  • an identification number of the imaging apparatus is obtained through the image analysis data, and the identification number makes it possible to know the photographed position.
  • the retrieval system and operation procedure according to an embodiment of the present invention can be used for the occurrence of a crime and the suspect arrest for the crime.
  • the search result of the image may be provided by a thumbnail view, a list view, a statistical report view, or the like.
  • the image search system may provide a combination search utilizing a profile function.
  • FIG. 10 is a block diagram of an image analysis server 810 according to an embodiment of the present invention.
  • an image analysis server may include an object detection module 1010, a feature extraction module 1020, a storage unit 1030, and a controller 1040.
  • the image analysis server 810 may further include a communication unit and a display unit.
  • the object detection module 1010 analyzes the input image data, searches for a subject, and extracts an object recognition image from which the background is removed from the image data.
  • the input image data may be image data captured by a CCTV camera, an IP camera, a smart camera, or a DVR.
  • the object detection module 1010 extracts only the object region image in which the subject is located by removing the background from the image data.
  • the object detection module may use a technique of using a difference image, a technique of analyzing a motion, a meanshift and an application technique, and a local binary pattern technique.
  • the object detection module scans the entire area of the image data and finds candidate areas that may be human faces or vehicles. The object detection module then sequentially passes through the classifiers connected in series to remove the non-human face area in the middle. After performing the above steps repeatedly, the remaining areas may be determined as the human face.
  • the object detection module 1010 may perform a face verification process using skin color information in order to prevent an error of incorrectly discriminating an area not corresponding to a face as a face.
  • the feature extraction module 1020 analyzes the object recognition image to extract feature data of the subject, converts the feature data into a text format or a binary format, generates object feature data, and retrieves a playback time of the image data from which the subject is found. Obtained in time.
  • the object feature data may consist of the object's target and attribute values.
  • the attribute value may be the color of the skin, the shape of the eyes, the nose, the mouth, the height, the gender, the color of the clothes, the age, the body shape, and the like. If the object of the object is a vehicle, the attribute value may be a license plate, a color of the vehicle, a model of the vehicle, and the like.
  • the feature extraction module 1020 may first normalize the object region image based on both eye positions to extract the feature data of the person.
  • the feature extraction module 1020 will be described with reference to FIG. 11.
  • the storage unit 1030 bundles object search time and object feature data into image analysis data to store and manage the image analysis data.
  • the object characteristic data may include information corresponding to who, when, what and how.
  • the controller 1040 drives the object detection module and the feature extraction module.
  • FIG. 11 is a block diagram of a feature extraction module of an image analysis server according to an embodiment of the present invention.
  • the feature extraction module of the image analysis server may include a person feature extraction module 1110, a vehicle feature extraction module 1120, and an event extraction module 1130. .
  • the person feature extraction module 1110 detects a person from the input image and extracts a feature of the person.
  • the person feature extraction module 1110 extracts texture feature information of the face based on wrinkles, eye, nose, and mouth outline information of the face in the recognized face image.
  • the feature extraction module uses the gabor wavelet texture that resolves the face alignment error as the feature information of the recognized face. Can be.
  • gabor wavelet can be used for the color information.
  • the person feature extraction module may fuse color texture face feature information extracted from the same person.
  • the face of the same person may be distinguished using face clustering results, and then unnecessary information may be removed to recognize the face.
  • the face facing the front has the highest recognition rate in extracting feature information from the image.
  • the vehicle feature extraction module 1120 detects the vehicle from the object region image, and extracts the license plate of the vehicle and the feature of the vehicle.
  • the license plate detection process is performed through preprocessing, gray image conversion, SCW-based binarization, license plate verification, and postprocessing.
  • the preprocessing process is a series of preprocessing operations for processing an input image, and includes image resizing and histogram smoothing processes.
  • the gray image conversion process converts a color image into a gray image for binarization.
  • SCW-based binarization binarizes the converted gray image based on SCW.
  • the license plate verification process extracts objects that meet the license plate conditions from the binarized image.
  • the post-processing process adjusts the extracted license plate candidate images to the same size and corrects the images through slope compensation.
  • the event extraction module 1130 extracts abnormal behavior of a person or a vehicle.
  • the extracted movement may be one of roaming, escape, intrusion, designated area intrusion, garbage dumping, illegal parking, and the like.
  • the extracted motion may be represented by a preset ID value.
  • a prowl is an act of hanging around or wandering around. If the object must be repeatedly present in the same area or if the object exists in the image for a predetermined time or more, it can be detected as a wandering action.
  • Escape is a sudden run. In the case of appearance, if the person who maintains the average speed and suddenly detects a sudden change in speed, it can be regarded as an escape action.
  • a designated area may be set in advance.
  • the region of interest may be set on a point basis or on a line basis.
  • FIG. 12 is a flowchart illustrating a method of analyzing an image of an image analysis server according to an embodiment of the present invention.
  • the method of analyzing an image of an image analysis server includes detecting and tracking an object (S1210), and detecting an event by analyzing the detected object (S1220). Determining whether the detected object is a human, extracting and storing a feature of a face by recognizing a face (S1230), determining whether the detected object is a vehicle, and extracting and storing a license plate and a feature of the vehicle (S1240). It may include.
  • the object detection module may use a technique of using a difference image, a technique of analyzing a motion, a meanshift and an application technique, and a local binary pattern technique.
  • the object When detecting an object from the image data, the object can be detected based on the movement. All moving objects can be detected as objects and tracked until they disappear.
  • the plant can also have movement, so it can be detected as an object.
  • S1220 is a step of detecting the object, tracking the object, and detecting the movement of the object.
  • the detected movement may be one of roaming, escaping, invading, designated area invading, garbage illegal dumping, illegal parking, and the like.
  • the detected motion may be represented by a preset ID value.
  • a prowl is an act of hanging around or wandering around. If the object must be repeatedly present in the same area or if the object exists in the image for a predetermined time or more, it can be detected as a wandering action.
  • Escape is a sudden run. When an object first appears, and the object maintains an average speed and suddenly has a sudden speed change, it can be regarded as an escape action.
  • the system operator may designate the area as a designated area (region of interest) in advance.
  • the designated area can be set on a point basis or on a line basis.
  • S1230 determines whether the detected object is a person, and extracts person characteristic data.
  • Gabor wavelet texture that solves the face alignment error is used as the feature information of the recognized face.
  • Gabor wavelets can be used for color information to improve recognition performance.
  • color texture facial feature information extracted from the same person may be fused.
  • the face of the same person may be distinguished using face clustering results, and then unnecessary information may be removed to recognize the face.
  • the face facing the front may be most advantageous for extracting feature information from the image.
  • S1240 is a step of extracting the license plate and features of the vehicle, if the detected object is a vehicle.
  • the license plate detection process is performed through preprocessing, gray image conversion, SCW-based binarization, license plate verification, and postprocessing.
  • the preprocessing process may include image resizing and histogram smoothing as a series of preprocessing operations for processing the input image.
  • the gray image conversion process converts a color image into a gray image for binarization.
  • SCW-based binarization binarizes the converted gray image based on SCW.
  • the license plate verification process extracts objects that meet the license plate conditions from the binarized image.
  • the post-processing process adjusts the extracted license plate candidate images to the same size and corrects the images through slope compensation.
  • FIG. 13 illustrates feature detection of a person according to an embodiment of the present invention.
  • the image analysis server may analyze the image data and store the analysis result in the form of text, and the stored analysis data may include a time stamp value and an identification number of the imaging apparatus.
  • the time stamp value of the analysis data and the identification number of the imaging device allow access to the original image.
  • the image analysis server may include a module for analyzing a vehicle, a person, an abnormal behavior, and the like.
  • the vehicle feature extraction module preferentially extracts the license plate of the vehicle and then extracts the feature of the vehicle.
  • the person feature extraction module may manage all the feature data of the object recognized as the same person.
  • the event extraction module may extract the abnormal behavior from the image data by tracking an object appearing in the image and determining whether a specific condition is satisfied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 검색 시스템 및 영상 분석 서버에 관한 것이며, 보다 구체적으로는 영상의 모든 피사체를 분석하여 잠재적인 위험 요소까지도 분석 데이터를 생성하는 영상 분석 서버에 관한 것과, 영상을 분석하여 영상의 대상 및 속성을 저장하고 관리하는 영상 분석 서버, 영상 분석 서버의 분석 데이터를 이용하여 영상을 검색하는 영상 검색 시스템에 관한 것이다. 본 발명은 영상의 모든 피사체를 분석하여, 분석 데이터를 생성하고, 분석 데이터를 생성함에 있어서, 다양한 영상 비젼 기술을 포함하고 수행하여 최적의 성능을 낼 수 있는 영상 분석 서버를 제공하고, 영상 데이터로부터 피사체의 특징 데이터 및 피사체의 검색 시간을 획득하는 영상 분석 서버를 제공한다. 또한, 영상 분석 서버를 통하여, 검색하고자 하는 대상 및 대상의 특징 만을 이용하여 영상 데이터에서 대상을 검색하고, 대상의 움직임, 동선 등을 검색하는 영상 검색 시스템을 제공한다.

Description

영상 검색 시스템 및 영상 분석 서버
본 발명은 영상 검색 시스템 및 영상 분석 서버에 관한 것이며, 보다 구체적으로는 영상의 모든 피사체를 분석하여 잠재적인 위험 요소까지도 분석 데이터를 생성하는 영상 분석 서버에 관한 것과, 영상을 분석하여 영상의 대상 및 속성을 저장하고 관리하는 영상 분석 서버, 영상 분석 서버의 분석 데이터를 이용하여 영상을 검색하는 영상 검색 시스템에 관한 것이다.
일반적으로 범죄 예방 및 범죄자 검거를 위해서 CCTV를 이용하여 시설물의 출입구 및 경계구역 등을 촬영하고 녹화한다. 이렇게 촬영된 영상 및 녹화된 영상은 범죄 수사에 이용하고 있으며, 녹화된 영상을 일일이 사람이 확인해야 하는 불편이 있으므로, 이러한 영상을 좀더 효율적으로 분석하고자 한다.
테러나 범죄의 위험성이 증가되면서 적은 수의 사람으로 여러 곳을 동시에 감시할 수 있는 감시 시스템에 대한 수요가 증가하였다. 전통적인 감시 시스템은 사람의 눈을 대신하여 단순하게 영상을 기록하는 기능을 한다. 이러한 감시 시스템의 등장으로 인하여 적은 수의 사람이 넓은 지역을 감시하는 것이 가능하게 된 것이다.
이와 관련하여, 종래 기술로는 행동패턴 데이터베이스를 이용한 능동형 영상감시 시스템 및 그 방법(특허출원번호 제10-2011-0130033호) 및 이벤트 기능을 포함하는 ＮＶＲ 시스템 및 그에 따른 제어 방법(특허출원번호 제10-2010-0018113호)이 있다.
도 1은 종래의 행동패턴 데이터베이스를 이용한 능동형 영상감시 시스템에 관한 것이다. 도 1를 참조하면, 종래의 능동형 영상감시 시스템은 CCTV 카메라(100), 능동형 영상감시 장치(200), 모니터(300) 및 감시자 이동 단말(400)을 포함한다. 이때, 능동형 영상감시 장치(200)는 획득영상 처리부(210), 녹화영상 DB(220), 영상특성 분석부(230), 행동패턴 DB(240), 상황 대처부(250), 선택사항 입력부(260), 출력영상 제어부(270) 및 무선통신 모듈(280)을 포함할 수 있다.
능동형 영상감시 장치(200)는 상기 CCTV 카메라(100)로부터 획득된 영상으로부터 행동패턴을 추출하고, 추출된 행동패턴 영상을 기저장된 행동패턴 영상과 비교하여 상기 감시 영역의 위험 상황을 자동으로 판단하며, 각각의 상황별로 제어신호를 출력한다. 여기서, 행동 패턴은 획득된 영상 내의 사람이나 동물의 동작 뿐만 아니라, 획득된 영상 내의 위험 도구 또는 위험 인상착의 등의 사물을 포함하며, 고정된 영상에 추가되는 부가 영상일 수 있다.
도 6은 종래의 NVR 시스템에 관한 것이다. 도 1를 참조하면, 종래의 NVR 시스템(60)은 수신부(62), 제어부(64), 통신부(66), 저장부(68)를 포함한다.
수신부(62)는 사용자가 감시하고자 하는 감시지역에 설치된 복수 개의 네트워크카메라로부터 상기 감시지역을 촬영한 영상정보를 수신한다.
제어부(64)는 수신한 영상정보로부터 이벤트 발생여부를 판단하고, 이벤트 발생 판단 시 이벤트발생신호를 생성한다.
통신부(66)는 생성된 이벤트 발생신호를 네트워크 전송 또는 무선랜을 이용하여 외부의 단말기로 전송한다.
저장부(68)는 상기 수신한 영상정보를 저장한다.
그러나, 종래의 영상 감시 장치는 영상을 미리 설정된 위험 요소(객체)들만을 감시하는 역할을 할 뿐, 예측되지 않거나 잠재적인 위험 요소(객체)를 분석하지 않는 문제점이 있었다.
또한, 종래의 NVR 시스템은 감시 카메라를 통해서 이벤트 발생 여부 만을 판단하여 알려줄 뿐이며, 사람이나 차량 등을 검출할 수 없는 문제점이 있었다.
본 발명의 목적은 영상의 모든 피사체를 분석하여, 분석 데이터를 생성하고, 분석 데이터를 생성함에 있어서, 다양한 영상 비젼 기술을 포함하고 수행하여 최적의 성능을 낼 수 있는 영상 분석 서버를 제공하는데 있다.
또한 본 발명의 목적은 다양한 영상 비젼 기술을 수행하는 모듈에게 공통 메모리 영역을 할당함으로써, 모듈 간 통신이 가능하도록 하는 영상 분석 서버를 제공하는데 있다.
본 발명의 목적은 영상 데이터로부터 피사체 및 이상 행위를 검색하는 영상 분석 서버를 제공하는데 있다.
또한 본 발명의 목적은 영상 데이터로부터 피사체 영역 및 이상 행위 영역을 검색하는 영상 분석 서버를 제공하는데 있다.
또한, 본 발명의 목적은 영상 데이터로부터 피사체의 특징 데이터 및 피사체의 검색 시간을 획득하는데 있다.
또한, 본 발명의 목적은 검색하고자 하는 대상 및 대상의 특징을 이용하여 분석 데이터에서 대상을 검색하고, 대상의 움직임, 동선 등을 검색하는데 있다.
본 발명의 일실시예에 다른 영상 분석 서버는 내장된 영상 분석 알고리즘을 통해, 입력 영상을 분석하고, 분석된 결과를 출력하는 영상분석 모듈; 상기 영상분석 모듈를 위한 메모리를 할당하고, 상기 영상분석 모듈간의 이벤트를 관리하는 관리 모듈; 사용자 단말기로부터 분석 시작 명령을 전달받고, 상기 분석 시작 명령을 상기 관리 모듈에 전달하고, 상기 영상분석 모듈을 통해 분석된 영상 분석 결과를 사용자 단말기로 전달하는 서버관리 모듈; 및 데이터를 저장하는 메모리;를 포함하고, 상기 영상분석 모듈은 복수이며, 상기 복수 개의 영상분석 모듈들이 상기 메모리를 함께 공유하여 사용함을 특징으로 할 수 있다.
상기 메모리는 힙 메모리, 공유 메모리, 소켓 메모리 중 하나이고, 상기 관리 모듈은 영상분석 모듈로부터 메모리 요청을 수신 받는 경우, 상기 힙 메모리, 상기 공유 메모리, 상기 소켓 메모리 중 하나의 영역을 상기 영상분석 모듈에게 할당함을 특징으로 할 수 있다.
상기 영상분석 모듈은 영상 데이터를 분석하여 피사체를 검색하고, 상기 영상 데이터에서 배경을 제거하나 객체 인식 영상을 추출하는 객체 검출 모듈; 및 상기 객체 인식 영상을 분석하여 상기 피사체의 특징 데이터를 추출하고 상기 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생시간을 객체 검색 시간으로 획득하는 특징 추출 모듈;를 포함함을 특징으로 할 수 있다.
상기 특징 추출 모듈은 상기 객체 인식 영상이 인물인 경우, 인물의 특징 데이터를 추출하고, 상기 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생시간을 객체 검색 시간으로 획득하는 인물 특징 추출 모듈; 상기 객체 인식 영상이 자동차인 경우, 차량의 번호판 정보 및 특징 데이터를 추출하고, 상기 번호판 정보 및 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 차량 특징 추출 모듈을 포함함을 특징으로 할 수 있다.
상기 객체 검출 모듈은 피사체의 색깔을 추출하고, 상기 피사체의 색깔을 이용하여, 영상 데이터를 재 분석함으로써, 피사체의 검출 오류를 방지함을 특징으로 할 수 있다.
상기 인물 특징 추출 모듈은 동일한 사람으로 인식된 피사체의 특징 데이터를 융합하는 방법으로 객체 특징 데이터를 생성함을 특징으로 할 수 있다.
상기 인물 특징 추출 모듈이 얼굴 클러스터링 결과를 이용하여 피사체가 동일한 사람인지 여부를 판단함을 특징으로 할 수 있다.
본 발명의 일실시예에 다른 영상 분석 서버는 영상 데이터를 분석하여 피사체를 검색하고, 상기 영상 데이터에서 배경을 제거한 객체 인식 영상을 추출하는 객체 추출 모듈; 상기 객체 인식 영상을 분석하여 상기 피사체의 특징 데이터를 추출하고, 상기 특징 데이터를 텍스트 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 특징 추출 모듈; 상기 객체 검색 시간 및 객체 특징 데이터를 함께 영상 분석 데이터로 저장하는 저장부; 및 상기 객체 검출 모듈과 상기 특징 추출 모듈을 구동시키는 제어부를 포함할 수 있다.
상기 특징 추출 모듈은 상기 객체 인식 영상이 인물인 경우, 인물의 특징 데이터를 추출하고, 상기 특징 데이터를 텍스트 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 인물 특징 추출 모듈을 더 포함하고, 상기 인물 특징 추출 모듈은 가보 웨이블릿을 이용하여 얼굴의 특징 데이터를 생성함을 특징으로 할 수 있다.
상기 특징 추출 모듈은 상기 객체 인식 영상이 자동차인 경우, 차량의 번호판 정보 및 특징 데이터를 추출하고, 상기 번호판 정보 및 특징 데이터를 텍스트 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 차량 특징 추출 모듈을 더 포함할 수 있다.
상기 차량 추출 모듈은 전처리 과정, 그레이 영상 변환, SCW 기반 이진화, 번호판 검증, 후처리 과정을 통해 차량의 번호판 및 특징 데이터를 추출함을 특징으로 할 수 있다.
상기 객체 검출 모듈은 피사체의 색깔을 추출하고, 상기 피사체의 색깔을 이용하여 영상 데이터를 재 분석함으로써, 피사체의 검출 오류를 방지함을 특징으로 할 수 있다.
상기 인물 특징 추출 모듈은 동일한 사람으로 인식된 피사체의 특징 데이터 모두를 융합하는 방법으로 객체의 특징 데이터를 생성함을 특징으로 할 수 있다.
상기 인물 특징 추출 모듈은 얼굴 클러스터링 결과를 이용하여 피사체가 동일한 사람인지 여부를 판단함을 특징으로 할 수 있다.
본 발명의 일실시예에 따른 영상 검색 시스템은 영상 분석 서버와 복 수의 촬상장치가 촬영한 영상을 원본 영상으로 저장하는 영상 서버 및 사용자 단말기로부터 검색 요청을 전달받고, 상기 검색 요청을 분석하여 검색 조건을 결정하고, 상기 검색 조건과 대응되는 분석 데이터 혹은 영상을 검색하고, 사용자 단말기로 검색 완료 메시지를 전송하는 영상 검색 서버를 포함할 수 있다.
상기 영상 검색 서버는 상기 검색 조건과 대응되는 분석 데이터를 검색하고, 검색된 분석 데이터의 타임 스탬프 값을 이용하여 영상을 검색함을 특징으로 할 수 있다.
상기 검색 조건이 이미지 혹은 영상인 경우, 객체 검출 모듈 및 특징 추출 모듈을 이용하여 검색하고자 하는 대상 및 검색 조건을 추출함을 특징으로 할 수 있다.
본 발명은 영상의 모든 피사체를 분석하여, 분석 데이터를 생성하고, 분석 데이터를 생성함에 있어서, 다양한 영상 비젼 기술을 포함하고 수행하여 최적의 성능을 낼 수 있는 영상 분석 서버를 제공할 수 있다.
또한 본 발명은 다양한 영상 비젼 기술을 수행하는 모듈에게 공통 메모리 영역을 할당함으로써, 모듈 간 통신이 가능하도록 하는 영상 분석 서버를 제공할 수 있다.
본 발명은 영상 데이터로부터 피사체 및 이상 행위를 검색하는 영상 분석 서버를 제공할 수 있다.
또한 본 발명은 영상 데이터로부터 피사체 영역 및 이상 행위 영역을 검색하는 영상 분석 서버를 제공할 수 있다.
또한 본 발명은 영상 데이터로부터 피사체의 특징 데이터 및 피사체의 검색 시간을 획득하는 영상 분석 서버를 제공할 수 있다.
또한 본 발명은 검색하고자 하는 대상 및 대상의 특징 만을 이용하여 영상 데이터에서 대상을 검색하고, 대상의 움직임, 동선 등을 검색하는데 있다.
도 1은 종래의 능동형 영상 감시 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 따른 영상 분석 서버를 나타내는 블록도이다.
도 3은 본 발명의 일실시예에 따른 영상 분석 서버 시스템를 나타내는 구성도이다.
도 4은 본 발명의 일실시예에 따른 영상분석 모듈의 동작을 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 영상분석 모듈을 위한 데이터 정의를 나타낸다.
도 6은 종래의 영상 검색시스템을 나타내는 블록도이다.
도 7은 본 발명의 일실시예에 따른 영상 검색시스템을 나타낸다.
도 8은 본 발명의 일실시예에 따른 다른 영상 검색시스템의 블록도를 나타낸다.
도 9는 본 발명의 일실시예에 따른 영상 검색 방법의 흐름도를 나타내는 도면이다.
도 10은 본 발명의 일실시예에 따른 영상 분석 서버의 블록도를 나타낸다.
도 11은 본 발명의 일실시예에 따른 영상 분석 서버의 특징 추출 모듈의 블록도를 나타내는 도면이다.
도 12는 본 발명의 일실시예에 따른 영상 분석 서버의 영상을 분석하는 방법의 흐름도를 나타낸다.
도 13은 본 발명의 일실시예에 따른 얼굴 특징 추출 방법을 나타낸다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자하는 것은 아니다.
본 발명의 영상 분석 서버는 영상 분석을 위한 비젼 기술들을 최적의 성능을 낼 수 있도록 다양한 기술을 적용한다.
도 2는 본 발명의 일실시예에 따른 영상 분석 서버를 나타내는 블록도이다.
본 발명의 일실시예에 따른 영상 분석 서버는 영상분석 모듈들(140), 관리 모듈(110), 서버관리 모듈(120), 메모리(130)를 포함할 수 있다.
관리 모듈(110)은 영상분석 모듈들을 위한 메모리를 관리하고, 영상분석 모듈간의 이벤트를 관리한다. 또한, 관리 모듈(110)은 서버관리 모듈(120)과 영상분석 모듈 간의 인터페이스를 제공할 수 있다. 영상분석 모듈을 위한 메모리와 관련해서는, 관리 모듈(110)은 힙 메모리, 공유 메모리, 소켓 메모리 중 하나의 영역을 영상분석 모듈을 위해서 할당한다.
여기서, 영상분석 모듈들 간에 힙 메모리를 공유하는 것은 메모리 할당을 요청한 영상분석 모듈에게 힙 메모리 번지를 전달함으로써, 메모리를 할당하는 것을 말한다. 도면에는 영상분석 모듈이 3개 이지만, 본 발명에 따른 영상 분석 서버는 1개부터 무한대까지의 영상분석 모듈을 가질 수 있다.
영상분석 모듈(140)들 간에 공유 메모리를 공유하는 것은 OS가 제공하는 공유 메모리를 사용하는 것을 말하며, 공유 메모리를 공유하게 되면, 데이터 전달 및 수신시에 데이터의 유호성을 검증해야 한다.
관리 모듈(110)은 영상분석 모듈(140)에 대한 정보를 스크립트로 정의할 수 있다. 또한, 관리 모듈(110)은 영상분석 모듈(140) 간의 이벤트 및 메시지 처리에 대해서도 스크립트로 정의할 수 있다. 이에 대해서는 도 4에 도시한 바와 같다.
영상분석 모듈(140)은 입력된 영상(video, image) 데이터를 분석한다. 영상분석 모듈(140)이 영상으로부터 분석된 결과는 주로 영상의 피사체에 대한 정보일 수 있다. 여기서 피사체에 대한 정보는 피사체의 종류 및 특징을 포함한다.
또한 영상분석 모듈(140)은 객체 검출 모듈, 특징 추출 모듈을 포함할 수 있고, 여기서, 특징 추출 모듈은 인물 특징 추출 모듈, 차량 특징 추출 모듈을 포함할 수 있다.
객체 검출 모듈은 영상 데이터에서 배경을 제거하여 피사체가 있는 객체 영역 영상만을 추출하게 된다. 이때, 객체 검출 모듈은 차영상을 이용하는 기법, 움직임을 분석하는 기법, Meanshift 및 응용 기법, Local Binary Pattern 기법을 사용할 수 있다.
만약 피사체가 인물인 경우에는 객체 검출 모듈은 영상 데이터의 전 영역을 스캔하면서 사람 얼굴 혹은 차량 일 가능성이 있는 후보영역들을 찾는다. 그런 다음 객체 검출 모듈은 직렬로 연결된 분별기들을 순차적으로 거치면서 사람 얼굴 영역이 아닌 영역을 중간에 제거하게 된다. 상기의 과정들을 반복적으로 수행하고 남은 영역들이 사람 얼굴로 결정 될 수 있다.
객체 검출 모듈이 얼굴에 해당하지 않는 영역을 얼굴로 잘못 판별하는 오류를 방지하기 위하여 피부 색상 정보를 이용하여 얼굴 검증 과정을 수행할 수 있다.
특징 추출 모듈은 객체 인식 영상을 분석하여 피사체의 특징 데이터를 추출하고, 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 피사체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득한다.
객체 특징 데이터는 객체의 대상 및 속성 값으로 구성될 수 있다.
만약 객체의 대상이 인물이라면, 속성 값은 피부의 색깔, 눈, 코, 입의 모양, 키, 성별, 옷 색깔, 나이, 체형 등 일 수 있다. 만약 객체의 대상이 차량이라면, 속성 값은 번호판, 차량의 색깔, 차종 등 일 수 있다.
특징 추출 모듈이 인물의 특징 데이터를 추출하기 위해서 먼저 객체 영역 영상을 양쪽 눈 위치를 기반으로 정규화 하여 인물의 특징 데이터를 추출 할 수 있다.
인물 특징 추출 모듈은 입력된 영상으로부터 인물을 검출하고, 인물의 특징을 추출한다. 인물 특징 추출 모듈은 인식된 얼굴로부터 특징정보를 추출할 때에는 인식된 얼굴 영상에서 얼굴의 주름이나, 눈, 코, 입 윤곽정보에 기반하여 얼굴에 대한 텍스처 특징정보를 추출한다.
만약 CCTV영상에서 얼굴 검출할 때, 낮은 해상도, 안경 착용 등에 의해 양쪽 눈의 위치를 정확히 찾는 것이 어려운 경우에는 인물 특징 추출 모듈은 얼굴 정렬 오류를 해결한 가보 웨이블릿 텍스처를 인식된 얼굴의 특징정보로 사용할 수 있다. 또한, 인물 특징 추출 모듈이 특징을 인식하는 성능을 향상시키기 위해 컬러 정보를 가보 웨이블릿을 이용할 수 있다.
또한, 얼굴의 표정 변화, 자세 변화가 빈번하게 발생하는 경우에는 인물 특징 추출 모듈이 동일한 사람으로부터 추출한 컬러 텍스처 얼굴 특징정보들을 융합할 수 있다.
여기서, 동일한 사람으로부터 추출한 컬러 텍스처 얼굴 특징 정보들을 융합할 때, 얼굴 클러스터링 결과를 이용하여 동일한 사람의 얼굴을 구분하고, 그런 다음 얼굴을 인식하는데 불필요한 정보를 제거할 수 있다.
이때 얼굴이 정면을 향하는 경우가 영상으로부터 특징 정보를 추출하는데 가장 높은 인식률을 가진다.
차량 특징 추출 모듈은 객체 영역 영상으로부터 차량을 검출하고, 차량의 번호판 및 차량의 특징을 추출한다.
번호판 검출 과정은 전처리 과정, 그레이 영상 변환 과정, SCW 기반 이진화 과정, 번호판 검증 과정, 후처리 과정을 통해서 이루어진다.
전처리 과정은 입력 영상의 처리를 위한 일련의 사전 처리 작업으로 영상 크기 조정과 히스토그램 평활화 과정들을 포함한다.
그레이 영상 변환 과정은 컬러 영상을 이진화 하기 위해서 그레이 영상으로 변환한다.
SCW 기반 이진화 과정은 변환된 그레이 영상을 SCW를 기반으로 이진화 한다. 번호판 검증 과정은 이진화 영상에서 번호판의 조건에 맞는 객체를 추출한다.
후처리 과정은 추출된 번호판 후보 영상들을 동일한 크기로 조정하고, 기울기 보상 등을 통해 영상을 보정한다.
이벤트 추출 모듈은 사람 혹은 차량의 이상 행위를 추출한다.
추출된 움직임은 배회 행위, 도주 행위, 침입 행위, 지정 영역 침입 행위, 쓰레기 불법 투기, 불법 주정차 등의 행위 중 하나가 될 수 있다. 추출된 움직임은 미리 설정된 ID 값으로 표현될 수 있다.
배회 행위는 어슬렁거리거나, 이리저리 돌아다니는 행위를 말한다. 동일한 영역에 객체가 반복적으로 존재해야 하거나, 영상 내에서 객체가 일정 시간 이상 존재한다면, 배회 행위로 검출할 수 있다.
도주 행위는 갑자기 달리는 행위를 말한다. 등장 했을 경우는 평균 속도를 유지하다가 갑자기 급격한 속도 변화를 가지는 사람이 검출되면, 도주 행위로 볼 수 있다.
지정 영역에 대한 행위를 검출하기 위해서는 미리 지정 영역(관심 영역, region of interest)을 설정할 수 있다. 관심 영역은 포인트 기반으로 설정하거나 선 기반으로 설정할 수 있다. 객체가 나타나고 미리 설정한 소정의 시간 이상 존재할 경우, 이상 행위로 검출 할 수 있다.
서버관리 모듈(120)은 외부의 사용자 단말기로부터 분석 시작 명령을 전달받고, 영상분석 모듈(140)이 영상을 분석한 결과를 전달받아 사용자 단말기에 전달한다. 또한, 서버관리 모듈(120)은 외부 장치와 유선 혹은 무선 통신 방법으로 통신할 수 있다.
메모리(130)는 관리 모듈(110), 서버관리 모듈(120), 영상분석 모듈(140)을 위한 메모리를 제공하거나, 데이터를 저장한다.
본 발명의 바람직한 일실시예에 따른 영상 분석 서버는 복수 개의 영상분석 모듈을 동시에 구동시키고, 하나의 메모리 영역을 공유하여 사용할 수 있도록 메모리를 할당한다. 또한, 본 발명의 영상 분석 서버는 쓰레드 모델을 간소화하여 응용 프로그램의 안정성을 높일 수 있다. 영상 분석 서버는 카메라 혹은 영상 서버와 연결되어 있어 영상 데이터를 전달 받을 수 있고, 사용자 단말기로부터 전달 받은 이벤트 및 요청을 실시간으로 처리 한다. 또한 영상 분석 서버는 분석 결과를 콜백 함수를 통해 비동기적으로 전달한다.
도 3은 본 발명의 일실시예에 따른 영상 분석 서버 시스템을 나타내는 구성도이다.
도 3의 영상 분석 서버 시스템은 B-Moniter, B-Manager, BrokerD, NodD, Module을 포함할 수 있다.
B-Monitor는 클라이언트이며, 영상 모니터링 및 비젼 결과를 받아 디스플레이 한다. B-Manager는 비젼 관련하여 설정을 할 수 있고, 비젼 모듈 실행 명령을 수행할 수 있다. BrokerD는 B-Monitor, B-Manager와 NodD, Module 사이의 중간자(인터페이스) 역할을 하고, 비젼 결과를 사용자 단말기에 전달한다. NodD는 BrokerD 요청에 응답하여 비젼 모듈을 실행하고, BrokerD와 Module 사이의 중간자 역할을 한다. Module은 요청 받은 비젼 기능을 수행한다.
도 3에 도시된 바와 같이 영상 분석 시스템은 크게 세부분으로 나눌 수 있다. 영상 분석 서버 시스템을 관리, 감독하는 BrokerD, 개별 서버에서 내부 모듈들을 관리하는 NodD, 각 서버에서 비젼 기술을 모듈화한 Module로 구분된다. BrokerD는 전제 시스템 내의 비전 모듈들의 배치, 연결, 설정을 관리하며 외부 클라이언트와의 여결을 통해 관리자의요청을 처리하며 영상 분석 결과를 전송하는 역할을 담당한다.
NodD는 각각의 서버에 상주하면서 BrokerD의 요청에 따라 비전 모듈을 활성화를 담당하며 해당 모듈에 맞는 메시지를 전송한다. Module은 공통 인터페이스가 적용된 비전 모듈을 위한 worker 스레드를 구성하여 외부 메시지를 전달하여 처리한다.
도 3의 화살표는 BrokerD, NodD, Module 간의 구성 관계 및 메시지 전달 경로를 나타낸다.
도 4은 본 발명의 일실시예에 따른 영상분석 모듈의 동작을 나타내는 도면이다.
도 4은 영상분석 모듈 중 객체 검출 모듈의 동작을 나타낸다.
객체 검출 모듈은 객체를 Person, Still Person, Luggage, Unknown 중 하나로 인식한다. 객체 검출 모듈이 제일 처음 영상으로부터 객체를 검출하게 되면, 우선 Unknown으로 분류하고, 객체의 이동 속도에 따라 Person 혹은 Luggage가 될 수 있다.
객체 검출 모듈은 사람 얼굴의 기하학적 특징에 기초하여 Haar-Like를 이용하여 얼굴을 검출할 수 있다. Haar-Like를 이용한 특징 추출 방법은 눈, 코, 입은 주변보다 어두운 색으로 이루어져 있고, 뺨, 이마는 주변과 비슷한 색으로 이루어진 점을 이용한다.
본 발명의 바람직한 일실시예인 영상 분석 서버는 서버관리 모듈로부터 전달받은 분석 결과를 디스플레이 하고, 수신 영상의 모니터링을 위해서, 수신영상을 디스플레이 시키는 디스플레이 모듈를 더 포함 할 수 있다.
도 7는 본 발명의 일실시예에 따른 영상 검색시스템을 나타낸다.
도 7에 도시된 바와 같이 영상분석 서버의 메타데이터(특징 정보) 출력이 검색 서버로 전달되고, 검색 서버는 이 데이터를 분석 정보 DB에 보관한다. 사용자는 검색 클라이언트에서 특정 이미지 또는 텍스트를 이용하여 검색을 지시한다. 이때 검색 클라이언트의 요청이 이미지인 경우, 영상분석 서버에서 수행하는 영상분석과 동일한 작업을 수행하여, 특징 정보를 추출한다. 특징 정보를 검색 서버로 전달한다. 검색 서버는 전달받은 텍스트(타임스탬프, 즉 시간, 또는 특정 색상, 자동차 번호 등) 또는 특징 정보를 이용하여 분석 정보 DB로부터 이미지 혹은 영상을 검색한다.
이때 검색 클라이언트의 요청이 텍스트인 경우 일반 DB 검색과 동일하다.
만약, 검색 클라이언트의 요청이 특징 정보인 경우, 특징 정보는 이진 데이터이므로 이를 매칭하는 별도의 방식을 사용하여 매칭되는 특징 정보를 검색하는 방식으로 해당 이미지 혹은 영상을 검색한다.
그 외 영상분석 서버에서 영상을 분석하면 이벤트 여부를 감지할 수 있다. 이벤트 감지 정보는 별도의 감시(경고) 서버에 전달할 수 있으며, 영상 감시 담당자 또는 보안 업체에 통보할 수 있다.
도 8는 본 발명의 일실시예에 따른 영상 검색 시스템의 블록도를 나타낸다.
도 8에 도시된 바와 같이 영상 검색 시스템(800)은 영상 분석 서버(810), 영상 서버(820), 영상 검색 서버(830), 사용자 단말기들(840)을 포함할 수 있다.
사용자 단말기(840)를 통해 검색 요청이 입력 될 수 있다. 검색 요청은 검색하고자 하는 대상 및 대상의 특징에 해당하는 속성으로 구분 될 수 있고, 이미지를 포함할 수도 있다. 검색 대상은 사람, 동물 등의 생물과 자동차 등의 무생물이 될 수 있다.
사용자 단말기(840)는 사용자가 검색하고자 하는 영상을 입력하거나 텍스트를 입력 할 수 있다. 또한 사용자 단말기는 카메라를 탑재하고 있거나, 검색하고자 하는 이미지를 저장하는 별도의 저장부를 포함할 수 있다.
사용자 단말기(840)는 마우스, USB포트, 키보드 등의 입력 장치와 연결될 수 있다.
만약 사용자가 검색하고자 하는 이미지 및 영상을 입력한 경우에는 이미지 및 영상으로부터 검색하고자 하는 대상(사람, 자동차 등), 대상의 특징(성별, 색깔, 차종, 키, 머리 모양 등)에 대해 특징 정보를 추출할 수 있으며, 사람 얼굴의 경우, 바람직하게 도 8과 같은 방식으로 축출 할 수 있다.
사용자 단말기(840), 영상 분석 서버(810), 영상 검색 서버(830), 영상 서버(820)는 유무선 통신 방법을 이용하여 통신할 수 있다.
영상 서버(820)는 원격으로 설치된 촬상 장치로부터 실시간으로 촬영한 영상을 전달 받거나, 녹화된 영상을 전달받을 수 있다. 또한 영상 서버(820)는 영상들을 촬상 장치를 구분하는 식별정보와 함께 저장하고 관리할 수 있다.
영상 서버(820)는 촬영된 시간 순서로 영상을 저장될 수 있고, 촬상장치에 따라서 구분하여 영상을 저장할 수 있다.
여기서, 촬상장치는 CCTV 카메라, 스마트 카메라, IP 카메라, DVR, NVR 등 일 수 있다. 영상서버와 촬상 장치는 유무선 통신 방법을 이용하여 통신할 수 있다.
영상 검색 서버(830)는 사용자의 검색 요청을 전달받으면, 검색 요청을 분석하여 검색 조건으로 변환할 수 있다. 또한 영상 검색 서버(130)는 검색 조건을 이용하여 그에 상응하는 영상을 검색할 수 있다.
영상 검색 서버(830)가 검색 조건을 이용하여 영상을 검색할 때, 검색의 대상 및 속성으로 구분하여 영상 분석 서버(810)에 접근하여 검색 할 수 있다.
영상 분석 서버(810)는 영상 서버(820)로부터 입력된 영상을 분석하여, 대상 및 속성을 텍스트 형식 및 이진 형식으로 구성된 분석 데이터(특징 정보 데이터)를 저장하고 관리할 수 있다. 영상 분석 서버(810)는 영상에 대상이 등장하지 않거나, 변화가 없는 영상에 대해서는 아무런 데이터도 생성하지 않을 수 있다.
영상을 분석한 결과인 분석 데이터는 텍스트 형식 및 이진 형식으로 구성될 있으며, 대상, 속성, 타임 스탬프, 촬상장치의 식별번호 등을 포함할 수 있다.
영상 분석 서버(810)는 분석 데이터를 대상에 따라 구분하여 저장할 수 있고, 대상에 따른 분석 데이터는 속성을 기준으로 정렬될 수 있다. 또한, 영상 분석 서버(810)에 의해 분석된 대상 및 대상의 특징 등을 텍스트 또는 이진(binary) 데이터로 저장할 수 있다.
영상 검색 서버(830)가 검색한 결과는 타임 스탬프 리스트 일 수 있다. 그런 다음 영상 검색 서버(830)는 타임 스탬프 리스트를 이용하여 영상 서버(820)로부터 영상 리스트를 검색할 수 있다.
영상 검색 서버(830)가 검색 시점에 영상을 분석하면서 검색하는 것이 아니라, 영상 분석 서버(810)에 의해 미리 분석된 결과 데이터(특징 정보 데이터)를 이용하여 검색을 하므로, 영상을 검색하는 것 보다 더 빠르고 신속하게 검색 결과를 얻을 수 있다. 분석된 결과 데이터는 영상 검색 서버(830)가 관리하는 영상 분석 서버에 보관되어 있다.
도 9은 본 발명의 일 실시예에 따른 검색 방법을 나타내는 도면이다.
도 9에 도시된 바와 같이 검색 방법은 사용자 단말기로부터 검색 요청을 검색 서버로 전달하는 단계(S920), 검색 서버가 검색 요청을 분석하여 검색 조건을 획득하는 단계(S930), 검색 서버가 검색 조건에 대응하는 영상 분석 데이터를 검색하는 단계(S940), 영상 분석 데이터의 타임스탬프를 통하여 영상을 검색하는 단계(S950)를 포함할 수 있다.
S920에서 영상 검색 서버는 사용자 단말기로부터 유무선 통신 방법을 이용하여 검색 요청을 수신 받는다.
S930에서 영상 검색 서버는 검색 요청을 분석하여 검색 조건을 결정하는 단계이다.
영상 검색 서버는 사용자 단말기로부터 전달받은 검색 요청을 분석하여 검색의 대상 및 검색 조건을 축출할 수 있다. 여기서, 검색 요청은 영상, 이미지, 텍스트, 키워드 일 수 있다.
만약 검색 요청이 이미지 혹은 영상이라면, 도 7의 영상 분석 서버의 분석 방법과 같이 검색의 대상 및 검색의 조건을 축출 할 수 있다.
S940에서는 검색 서버는 검색 대상 및 검색 조건에 대응되는 영상 정보 및 이미지 정보를 영상 분석 서버에서 검색할 수 있다.
텍스트인 검색 조건을 이용하는 경우, 검색의 대상 및 검색의 특징을 이용하여 검색 할 수 있다. 이때, 검색의 대상에 따라서 검색의 특징 역시 달라 질 수 있다.
예를 들어, 검색의 대상이 사람인 경우, 얼굴의 특징, 성별, 눈 코 입의 모양, 옷의 색상 등을 검색 조건으로 할 수 있다.
또한 검색의 대상이 차량인 경우, 차량 번호판을 식별자로 사용하거나, 차종, 차량의 색상 등을 검색 조건으로 할 수 있다.
영상 분석 서버는 영상을 분석하여 영상에 등장하는 대상 및 대상의 특징, 타임 스탬프, 촬상장치의 식별번호 등을 함께 저장할 수 있다. 또한, 영상 검색 서버의 검색 결과는 영상 분석 데이터의 포맷과 마찬가지로, 타임 스탬프, 촬상 장치의 식별번호 등을 포함할 수 있다. 이렇게 검색된 타임 스탬프 값을 이용하여 영상 서버에서 원 영상을 획득 할 수 있다.
또한, 영상 분석 데이터를 통해 촬상 장치의 식별 번호를 획득하며 이러한 식별번호는 촬영된 위치를 알 수 있게 한다.
그러므로 본 발명의 일실시예에 따른 검색 시스템 및 동작 절차는 범죄의 발생 및 발생한 범죄에 대한 용의자 검거 등에 이용될 수 있다.
영상을 검색한 결과는 썸네일 보기, 리스트 보기, 통계 리포트 보기 등의 방법으로 제공될 수 있다. 또한 영상 검색 시스템은 프로파일 기능을 활용한 조합 검색을 제공할 수 있다.
도 10는 본 발명의 일 실시예에 따른 영상 분석 서버(810)의 블록도를 나타낸다.
도 10에 도시된 바와 같이 본 발명의 일 실시예에 따른 영상 분석 서버는 객체 검출 모듈(1010), 특징 추출 모듈(1020), 저장부(1030), 제어부(1040)를 포함할 수 있다. 또한, 영상 분석 서버(810)는 통신부 및 디스플레이부를 더 포함할 수 있다.
객체 검출 모듈(1010)은 입력된 영상 데이터를 분석하여 피사체를 검색하고 상기 영상 데이터에서 배경을 제거한 객체 인식 영상을 추출한다.
입력된 영상 데이터는 CCTV 카메라, IP 카메라, 스마트 카메라, DVR 등으로 촬영된 영상 데이터일 수 있다.
객체 검출 모듈(1010)은 영상 데이터에서 배경을 제거하여 피사체가 있는 객체 영역 영상만을 추출하게 된다. 이때, 객체 검출 모듈은 차영상을 이용하는 기법, 움직임을 분석하는 기법, Meanshift 및 응용 기법, Local Binary Pattern 기법을 사용할 수 있다.
만약 피사체가 인물인 경우에는 객체 검출 모듈은 영상 데이터의 전 영역을 스캔하면서 사람 얼굴 혹은 차량 일 가능성이 있는 후보영역들을 찾는다. 그런 다음 객체 검출 모듈은 직렬로 연결된 분별기들을 순차적으로 거치면서 사람 얼굴 영역이 아닌 영역을 중간에 제거하게 된다. 상기의 과정들을 반복적으로 수행하고 남은 영역들이 사람 얼굴로 결정 될 수 있다.
객체 검출 모듈(1010)이 얼굴에 해당하지 않는 영역을 얼굴로 잘못 판별하는 오류를 방지하기 위하여 피부 색상 정보를 이용하여 얼굴 검증 과정을 수행할 수 있다.
특징 추출 모듈(1020)은 객체 인식 영상을 분석하여 피사체의 특징 데이터를 추출하고, 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 피사체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득한다.
객체 특징 데이터는 객체의 대상 및 속성 값으로 구성될 수 있다.
만약 객체의 대상이 인물이라면, 속성 값은 피부의 색깔, 눈, 코, 입의 모양, 키, 성별, 옷 색깔, 나이, 체형 등 일 수 있다. 만약 객체의 대상이 차량이라면, 속성 값은 번호판, 차량의 색깔, 차종 등 일 수 있다.
특징 추출 모듈(1020)이 인물의 특징 데이터를 추출하기 위해서 먼저 객체 영역 영상을 양쪽 눈 위치를 기반으로 정규화 하여 인물의 특징 데이터를 추출 할 수 있다.
특징 추출 모듈(1020)에 대해서는 도 11에서 설명하겠다.
저장부(1030)는 객체 검색 시간 및 객체 특징 데이터를 함께 영상 분석 데이터로 묶어, 상기 영상 분석 데이터를 저장하고 관리한다.
객체 특징 데이터는 누가, 언제, 무엇을 어떻게에 해당하는 정보를 포함할 수 있다.
제어부(1040)는 객체 검출 모듈과 특징 추출 모듈을 구동시킨다.
도 11은 본 발명의 일 실시예에 따른 영상 분석 서버의 특징 추출 모듈의 블럭도를 나타내는 도면이다.
도 11에 도시된 바와 같이 본 발명의 일 실시예에 따른 영상 분석 서버의 특징 추출 모듈은 인물 특징 추출 모듈(1110)과 차량 특징 추출 모듈(1120), 이벤트 추출 모듈(1130)을 포함할 수 있다.
인물 특징 추출 모듈(1110)은 입력된 영상으로부터 인물을 검출하고, 인물의 특징을 추출한다.
인물 특징 추출 모듈(1110)은 인식된 얼굴로부터 특징정보를 추출할 때에는 인식된 얼굴 영상에서 얼굴의 주름이나, 눈, 코, 입 윤곽정보에 기반하여 얼굴에 대한 텍스처 특징정보를 추출한다.
만약 CCTV영상에서 얼굴 검출할 때, 낮은 해상도, 안경 착용 등에 의해 양쪽 눈의 위치를 정확히 찾는 것이 어려운 경우에는 인물 특징 추출 모듈은 얼굴 정렬 오류를 해결한 가보 웨이블릿 텍스처를 인식된 얼굴의 특징정보로 사용할 수 있다. 또한, 인물 특징 추출 모듈이 특징을 인식하는 성능을 향상 시키기 위해 컬러 정보를 가보 웨이블릿을 이용할 수 있다.
또한, 얼굴의 표정 변화, 자세 변화가 빈번하게 발생하는 경우에는 인물 특징 추출 모듈이 동일한 사람으로부터 추출한 컬러 텍스처 얼굴 특징정보들을 융합할 수 있다.
여기서, 동일한 사람으로부터 추출한 컬러 텍스처 얼굴 특징 정보들을 융합할 때, 얼굴 클러스터링 결과를 이용하여 동일한 사람의 얼굴을 구분하고, 그런 다음 얼굴을 인식하는데 불필요한 정보를 제거할 수 있다.
이때 얼굴이 정면을 향하는 경우가 영상으로부터 특징 정보를 추출하는데 가장 높은 인식률을 가진다.
차량 특징 추출 모듈(1120)은 객체 영역 영상으로부터 차량을 검출하고, 차량의 번호판 및 차량의 특징을 추출한다.
번호판 검출 과정은 전처리 과정, 그레이 영상 변환 과정, SCW 기반 이진화 과정, 번호판 검증 과정, 후처리 과정을 통해서 이루어진다.
전처리 과정은 입력 영상의 처리를 위한 일련의 사전 처리 작업으로 영상 크기 조정과 히스토그램 평활화 과정들을 포함한다.
그레이 영상 변환 과정은 컬러 영상을 이진화 하기 위해서 그레이 영상으로 변환한다.
SCW 기반 이진화 과정은 변환된 그레이 영상을 SCW를 기반으로 이진화 한다. 번호판 검증 과정은 이진화 영상에서 번호판의 조건에 맞는 객체를 추출한다.
후처리 과정은 추출된 번호판 후보 영상들을 동일한 크기로 조정하고, 기울기 보상 등을 통해 영상을 보정한다.
이벤트 추출 모듈(1130)은 사람 혹은 차량의 이상 행위를 추출한다.
추출된 움직임은 배회 행위, 도주 행위, 침입 행위, 지정 영역 침입 행위, 쓰레기 불법 투기, 불법 주정차 등의 행위 중 하나가 될 수 있다. 추출된 움직임은 미리 설정된 ID 값으로 표현될 수 있다.
배회 행위는 어슬렁거리거나, 이리저리 돌아다니는 행위를 말한다. 동일한 영역에 객체가 반복적으로 존재해야 하거나, 영상 내에서 객체가 일정 시간 이상 존재한다면, 배회 행위로 검출할 수 있다.
도주 행위는 갑자기 달리는 행위를 말한다. 등장 했을 경우는 평균 속도를 유지하다가 갑자기 급격한 속도 변화를 가지는 사람이 검출되면, 도주 행위로 볼 수 있다.
지정 영역에 대한 행위를 검출하기 위해서는 미리 지정 영역(관심 영역, region of interest)을 설정할 수 있다. 관심 영역은 포인트 기반으로 설정하거나 선 기반으로 설정할 수 있다.
객체가 나타나고 미리 설정한 소정의 시간 이상 존재할 경우, 이상 행위로 검출 할 수 있다.
도 12는 본 발명의 일 실시예에 따른 영상 분석 서버의 영상을 분석하는 방법의 흐름도를 나타낸다.
도 12에 도시된 바와 같이 본 발명의 일 실시예에 따른 영상 분석 서버의 영상을 분석하는 방법은 객체를 검출, 추적하는 단계(S1210), 검출된 객체를 분석하여 이벤트를 검출하는 단계(S1220), 검출된 객체가 사람인지 판단하고, 얼굴을 인식하여 얼굴의 특징을 추출하고 저장하는 단계(S1230), 검출된 객체가 차량인지 판단하고 차량의 번호판 및 특징을 추출하고, 저장하는 단계(S1240)를 포함할 수 있다.
S1210은 영상 데이터에서 배경을 제거하여 피사체가 있는 객체 영역 영상만을 추출하게 된다. 이때, 객체 검출 모듈은 차영상을 이용하는 기법, 움직임을 분석하는 기법, Meanshift 및 응용 기법, Local Binary Pattern 기법을 사용할 수 있다.
영상 데이터에서 객체를 검출 할 때에는 움직임을 기준으로 객체를 검출할 수 있다. 움직이는 모든 대상을 객체로 검출하고 사라질 때까지 추적할 수 있다.
만약 바람이 부는 상황이라면 식물도 움직임을 가질 수 있으므로, 객체로 검출될 수 있다.
S1220은 객체를 검출하고 객체를 추적하고, 객체의 움직임을 검출하는 단계이다.
검출된 움직임은 배회 행위, 도주 행위, 침입 행위, 지정 영역 침입 행위, 쓰레기 불법 투기, 불법 주정차 등의 행위 중 하나가 될 수 있다. 검출된 움직임은 미리 설정된 ID 값으로 표현될 수 있다.
배회 행위는 어슬렁거리거나, 이리저리 돌아다니는 행위를 말한다. 동일한 영역에 객체가 반복적으로 존재해야 하거나, 영상 내에서 객체가 일정 시간 이상 존재한다면, 배회 행위로 검출할 수 있다.
도주 행위는 갑자기 달리는 행위를 말한다. 객체가 처음 등장하고, 객체가 평균 속도를 유지하다가 갑자기 급격한 속도 변화를 가지게 되면 도주 행위로 볼 수 있다.
지정 영역에 대한 행위를 검출하기 위해서는 시스템 운영자는 미리 영역을 지정 영역(관심 영역, region of interest)으로 지정할 수 있다. 지정 영역은 포인트 기반으로 설정하거나 선 기반으로 설정할 수 있다.
객체가 나타나고 미리 설정한 소정의 시간 이상 존재할 경우, 이상 행위로 검출 할 수 있다.
S1230은 검출된 객체가 사람인지 판단하고, 인물 특징 데이터를 추출한다.
만약 낮은 해상도, 안경 착용 등에 의해 양쪽 눈의 위치를 정확히 찾는 것이 어려운 경우에는 얼굴 정렬 오류를 해결한 가보 웨이블릿 텍스처를 인식된 얼굴의 특징정보로 사용한다. 또한, 인식 성능을 향상시키기 위해 컬러 정보를 가보 웨이블릿을 이용할 수 있다.
만약 얼굴의 표정 변화, 자세 변화가 빈번하게 발생하는 경우에는 동일한 사람으로부터 추출한 컬러 텍스처 얼굴 특징정보들을 융합할 수 있다.
여기서, 동일한 사람으로부터 추출한 컬러 텍스처 얼굴 특징 정보들을 융합할 때, 얼굴 클러스터링 결과를 이용하여 동일한 사람의 얼굴을 구분하고, 그런 다음 얼굴을 인식하는데 불필요한 정보를 제거할 수 있다.
이때 얼굴이 정면을 향하는 경우가 영상으로부터 특징 정보를 추출하는데 가장 유리할 수 있다.
S1240은 검출된 객체가 차량이면, 차량의 번호판 및 특징을 추출하는 단계이다.
번호판 검출 과정은 전처리 과정, 그레이 영상 변환 과정, SCW 기반 이진화 과정, 번호판 검증 과정, 후처리 과정을 통해서 이루어진다.
전처리 과정은 입력 영상의 처리를 위한 일련의 사전 처리 작업으로 영상 크기 조정과 히스토그램 평활화 과정들을 포함할 수 있다.
그레이 영상 변환 과정은 컬러 영상을 이진화 하기 위해서 그레이 영상으로 변환한다. SCW 기반 이진화 과정은 변환된 그레이 영상을 SCW를 기반으로 이진화 한다. 번호판 검증 과정은 이진화 영상에서 번호판의 조건에 맞는 객체를 추출한다. 후처리 과정은 추출된 번호판 후보 영상들을 동일한 크기로 조정하고, 기울기 보상 등을 통해 영상을 보정한다.
도 13는 본 발명의 일실시예에 따른 인물의 특징 검출을 나타낸다.
본 발명의 일실시예에 따른 영상 분석 서버는 영상 데이터를 분석하여 텍스트의 형식으로 분석 결과를 저장하고, 저장된 분석 데이터에는 타임 스탬프 값, 촬상 장치의 식별번호를 포함할 수 있다. 분석 데이터의 타임 스탬프 값 및 촬상 장치의 식별번호는 원본 영상으로 접근 할 수 있게 한다.
또한, 본 발명의 일실시예에 따른 영상 분석 서버는 차량, 인물, 이상 행위 등을 분석하는 모듈을 포함할 수 있다.
차량 특징 추출 모듈은 차량의 번호판을 우선적으로 추출한 후 차량의 특징을 추출한다.
인물 특징 추출 모듈은 동일 인물로 인식된 대상의 특징 데이터를 모두 합쳐서, 관리할 수 있다.
이벤트 추출 모듈은 영상에 등장하는 객체를 추적하여, 특정 조건을 만족하는지 여부를 판단함으로써, 영상 데이터로부터 이상 행위를 추출할 수 있다.
이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (17)

  1. 내장된 영상 분석 알고리즘을 통해, 입력 영상을 분석하고, 분석된 결과를 출력하는 영상분석 모듈;
    상기 영상분석 모듈을 위한 메모리를 할당하고, 상기 영상분석 모듈간의 이벤트를 관리하고, 상기 영상분석 모듈과 서버관리 모듈 사이의 인터페이스를 제공하는 관리 모듈;
    사용자 단말기로부터 분석 시작 명령을 전달받고, 상기 분석 시작 명령을 상기 관리 모듈에 전달하고, 상기 영상분석 모듈을 통해 분석된 영상 분석 결과를 사용자 단말기로 전달하고, 상기 영상분석 모듈들의 연결관계를 규정하고, 규정된 상기 연결관계를 상기 관리 모듈에 전달하는 서버관리 모듈; 및
    데이터를 저장하는 메모리;를 포함하고, 상기 영상분석 모듈은 복수이며, 상기 복수 개의 영상분석 모듈들이 상기 메모리를 함께 공유하여 사용함을 특징으로 하는 영상 분석 서버.
  2. 제 1 항에 있어서,
    상기 메모리는 힙 메모리, 공유 메모리, 소켓 메모리 중 하나이고,
    상기 관리 모듈은 영상분석 모듈로부터 메모리 요청을 수신 받는 경우, 상기 힙 메모리, 상기 공유 메모리, 상기 소켓 메모리 중 하나의 영역을 상기 영상분석 모듈에게 할당함을 특징으로 하는 영상 분석 서버.
  3. 제 1 항에 있어서,
    상기 영상분석 모듈은
    영상 데이터를 분석하여 피사체를 검색하고, 상기 영상 데이터에서 배경을 제거하나 객체 인식 영상을 추출하는 객체 검출 모듈; 및
    상기 객체 인식 영상을 분석하여 상기 피사체의 특징 데이터를 추출하고 상기 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생시간을 객체 검색 시간으로 획득하는 특징 추출 모듈;를 포함함을 특징으로 하는 영상 분석 서버.
  4. 제 3 항에 있어서,
    상기 특징 추출 모듈은
    상기 객체 인식 영상이 인물인 경우, 인물의 특징 데이터를 추출하고, 상기 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생시간을 객체 검색 시간으로 획득하는 인물 특징 추출 모듈;
    상기 객체 인식 영상이 자동차인 경우, 차량의 번호판 정보 및 특징 데이터를 추출하고, 상기 번호판 정보 및 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 차량 특징 추출 모듈을 포함함을 특징으로 하는 영상 분석 서버.
  5. 제 3 항에 있어서,
    상기 객체 검출 모듈은 피사체의 색깔을 추출하고, 상기 피사체의 색깔을 이용하여, 영상 데이터를 재 분석함으로써, 피사체의 검출 오류를 방지함을 특징으로 하는 영상 분석 서버.
  6. 제 4 항에 있어서,
    상기 인물 특징 추출 모듈은 동일한 사람으로 인식된 피사체의 특징 데이터를 융합하는 방법으로 객체 특징 데이터를 생성함을 특징으로 하는 영상 분석 서버.
  7. 제 4 항에 있어서,
    상기 인물 특징 추출 모듈이 얼굴 클러스터링 결과를 이용하여 피사체가 동일한 사람인지 여부를 판단함을 특징으로 하는 영상 분석 서버.
  8. 영상 데이터를 분석하여 피사체를 검색하고, 상기 영상 데이터에서 배경을 제거한 객체 인식 영상을 추출하는 객체 검출 모듈;
    상기 객체 인식 영상을 분석하여 상기 피사체의 특징 데이터를 추출하고 상기 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 특징 추출 모듈;
    상기 객체 검색 시간 및 객체 특징 데이터를 함께 영상 분석 데이터로 저장하는 저장부; 및
    상기 객체 검출 모듈과 상기 특징 추출 모듈을 구동시키는 제어부;를 포함하는 영상 분석 서버.
  9. 제 8 항에 있어서,
    상기 특징 추출 모듈은 상기 객체 인식 영상이 인물인 경우, 인물의 특징 데이터를 추출하고, 상기 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 인물 특징 추출 모듈을 더 포함하고,
    상기 인물 특징 추출 모듈은 가보 웨이블릿을 이용하여 얼굴의 특징 데이터를 생성함을 특징으로 하는 영상 분석 서버.
  10. 제 8 항에 있어서,
    상기 특징 추출 모듈은 상기 객체 인식 영상이 자동차인 경우, 차량의 번호판 정보 및 특징 데이터를 추출하며, 상기 번호판 정보 및 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 차량 특징 추출 모듈을 더 포함함을 특징으로 하는 영상 분석 서버.
  11. 제 10 항에 있어서,
    상기 차량 특징 추출 모듈은 전처리 과정, 그레이 영상 변환, SCW 기반 이진화, 번호판 검증, 후처리 과정을 통해 차량의 번호판 및 특징 데이터를 추출함을 특징으로 하는 영상 분석 서버.
  12. 제 8 항에 있어서,
    상기 객체 검출 모듈은 피사체의 색깔을 추출하고, 상기 피사체의 색깔을 이용하여, 영상 데이터를 재 분석함으로써, 피사체의 검출 오류를 방지함을 특징으로 하는 영상 분석 서버.
  13. 제 9 항에 있어서,
    상기 인물 특징 추출 모듈은 동일한 사람으로 인식된 피사체의 특징 데이터를 융합하는 방법으로 객체 특징 데이터를 생성함을 특징으로 하는 영상 분석 서버.
  14. 제 12 항에 있어서,
    상기 인물 특징 추출 모듈이 얼굴 클러스터링 결과를 이용하여 피사체가 동일한 사람인지 여부를 판단함을 특징으로 하는 영상 분석 서버.
  15. 제 9 항 내지 제 10 항 중 하나의 항에 따른 영상 분석 서버를 포함하고,
    복수의 촬상장치가 촬영한 영상인 원본 영상을 저장하고 관리하는 영상 서버; 및
    사용자 단말기로부터 상기 검색 요청을 전달받고, 상기 검색 요청을 분석하여 검색 조건을 결정하고, 상기 검색 조건과 대응되는 분석 데이터 혹은 영상을 검색하고, 사용자 단말기로 검색 완료 메시지를 전송하는 영상 검색 서버;를 포함하는 영상 검색 시스템.
  16. 제 15 항에 있어서,
    상기 영상 검색 서버는 상기 검색 조건과 대응되는 분석 데이터를 검색하고, 검색된 분석 데이터의 타임 스탬프 값을 이용하여 영상을 검색함을 특징으로 하는 영상 검색 시스템.
  17. 제 16 항에 있어서,
    상기 검색 조건이 이미지 혹은 영상인 경우, 객체 검출 모듈 및 특징 추출 모듈을 이용하여 검색하고자 하는 대상 및 검색 조건을 추출함을 특징으로 하는 영상 검색 시스템.
PCT/KR2012/004004 2012-04-30 2012-05-21 영상 검색 시스템 및 영상 분석 서버 WO2013165048A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020120045446A KR101372860B1 (ko) 2012-04-30 2012-04-30 영상 검색 시스템 및 영상 분석 서버
KR10-2012-0045446 2012-04-30
KR10-2012-0053461 2012-05-21
KR1020120053461A KR101350882B1 (ko) 2012-05-21 2012-05-21 영상 분석 서버

Publications (1)

Publication Number Publication Date
WO2013165048A1 true WO2013165048A1 (ko) 2013-11-07

Family

ID=49514438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/004004 WO2013165048A1 (ko) 2012-04-30 2012-05-21 영상 검색 시스템 및 영상 분석 서버

Country Status (1)

Country Link
WO (1) WO2013165048A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015072631A1 (ko) * 2013-11-15 2015-05-21 삼성테크윈 주식회사 영상 처리 장치 및 방법
WO2015142359A1 (en) * 2014-03-21 2015-09-24 Empire Technology Development Llc Identification of recorded image data
CN107155018A (zh) * 2016-03-04 2017-09-12 阔展科技(深圳)有限公司 智能分析摄像机
WO2018207969A1 (ko) * 2017-05-10 2018-11-15 국방과학연구소 객체 검출 및 분류 방법
CN109643321A (zh) * 2017-02-15 2019-04-16 富士通株式会社 基于视频监控的视频分析系统和视频分析方法
US10474901B2 (en) 2016-05-02 2019-11-12 Electronics And Telecommunications Research Institute Video interpretation apparatus and method
CN110659597A (zh) * 2019-09-11 2020-01-07 安徽超清科技股份有限公司 一种基于大数据的明厨亮灶管理系统
CN111382737A (zh) * 2018-12-29 2020-07-07 深圳光启空间技术有限公司 多路负载均衡异步目标检测方法、存储介质及处理器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020069084A (ko) * 2001-02-23 2002-08-29 김진환 유무선 통신망을 이용한 자동 홈 보안관리장치 및 그 방법
KR20070106094A (ko) * 2006-04-28 2007-11-01 (주)아이디스 텍스트 검색 기반의 디지털 영상 저장장치
KR20090027409A (ko) * 2007-09-12 2009-03-17 한국철도기술연구원 승강장 모니터링 시스템
KR20100053715A (ko) * 2008-10-31 2010-05-24 에스케이 텔레콤주식회사 동영상 분류 및 검색 시스템 및 방법과 이를 위한 동영상 분류 및 검색 서버
KR101113515B1 (ko) * 2011-09-20 2012-02-29 제주특별자치도 감시카메라를 이용한 비디오 색인 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020069084A (ko) * 2001-02-23 2002-08-29 김진환 유무선 통신망을 이용한 자동 홈 보안관리장치 및 그 방법
KR20070106094A (ko) * 2006-04-28 2007-11-01 (주)아이디스 텍스트 검색 기반의 디지털 영상 저장장치
KR20090027409A (ko) * 2007-09-12 2009-03-17 한국철도기술연구원 승강장 모니터링 시스템
KR20100053715A (ko) * 2008-10-31 2010-05-24 에스케이 텔레콤주식회사 동영상 분류 및 검색 시스템 및 방법과 이를 위한 동영상 분류 및 검색 서버
KR101113515B1 (ko) * 2011-09-20 2012-02-29 제주특별자치도 감시카메라를 이용한 비디오 색인 시스템 및 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723702B (zh) * 2013-11-15 2019-06-18 韩华泰科株式会社 图像处理装置及方法
KR20150056381A (ko) * 2013-11-15 2015-05-26 삼성테크윈 주식회사 영상 처리 장치 및 방법
CN105723702A (zh) * 2013-11-15 2016-06-29 韩华泰科株式会社 图像处理装置及方法
US9807338B2 (en) 2013-11-15 2017-10-31 Hanwha Techwin Co., Ltd. Image processing apparatus and method for providing image matching a search condition
KR102126868B1 (ko) 2013-11-15 2020-06-25 한화테크윈 주식회사 영상 처리 장치 및 방법
WO2015072631A1 (ko) * 2013-11-15 2015-05-21 삼성테크윈 주식회사 영상 처리 장치 및 방법
WO2015142359A1 (en) * 2014-03-21 2015-09-24 Empire Technology Development Llc Identification of recorded image data
CN107155018A (zh) * 2016-03-04 2017-09-12 阔展科技(深圳)有限公司 智能分析摄像机
US10474901B2 (en) 2016-05-02 2019-11-12 Electronics And Telecommunications Research Institute Video interpretation apparatus and method
CN109643321A (zh) * 2017-02-15 2019-04-16 富士通株式会社 基于视频监控的视频分析系统和视频分析方法
WO2018207969A1 (ko) * 2017-05-10 2018-11-15 국방과학연구소 객체 검출 및 분류 방법
CN111382737A (zh) * 2018-12-29 2020-07-07 深圳光启空间技术有限公司 多路负载均衡异步目标检测方法、存储介质及处理器
CN110659597A (zh) * 2019-09-11 2020-01-07 安徽超清科技股份有限公司 一种基于大数据的明厨亮灶管理系统
CN110659597B (zh) * 2019-09-11 2022-09-20 安徽超清科技股份有限公司 一种基于大数据的明厨亮灶管理系统

Similar Documents

Publication Publication Date Title
WO2013165048A1 (ko) 영상 검색 시스템 및 영상 분석 서버
WO2015102361A1 (ko) 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
WO2018110964A1 (en) Electronic device and method for recognizing object by using plurality of sensors
WO2016129917A1 (ko) 사용자 단말 및 이의 제공 방법
WO2021095916A1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
WO2018008881A1 (ko) 단말장치 및 서비스서버, 그 장치에 의해 수행되는 진단분석 서비스를 제공하기 위한 방법 및 프로그램과, 그 프로그램이 기록된 컴퓨터 판독 가능 기록매체
WO2015160207A1 (en) System and method for detecting region of interest
WO2022114731A1 (ko) 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
KR101372860B1 (ko) 영상 검색 시스템 및 영상 분석 서버
WO2022139111A1 (ko) 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2014017697A1 (ko) 가이디드 가버 필터를 이용한 지정맥 패턴 추출 방법 및 장치
KR20190035186A (ko) 딥 러닝 기법을 활용한 지능형 무인 보안 시스템
WO2015137666A1 (ko) 오브젝트 인식 장치 및 그 제어 방법
WO2013085278A1 (ko) 선택적 주의 집중 모델을 이용한 모니터링 장치 및 그 모니터링 방법
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
WO2020080734A1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
WO2020207038A1 (zh) 基于人脸识别的人数统计方法、装置、设备及存储介质
WO2021006482A1 (en) Apparatus and method for generating image
WO2020017814A1 (ko) 이상 개체 검출 시스템 및 방법
WO2020085558A1 (ko) 고속분석 영상처리장치 및 그 장치의 구동방법
WO2022097766A1 (ko) 가려진 영역 복원 방법 및 장치
WO2019017720A1 (ko) 사생활 보호를 위한 카메라 시스템 및 그 방법
WO2019088338A1 (ko) 전자 장치 및 그 제어 방법
WO2023132657A1 (ko) 상품 트렌드 예측 서비스 제공 장치, 방법 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12875754

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12875754

Country of ref document: EP

Kind code of ref document: A1