WO2018034377A1 - 이벤트 검색 시스템, 장치 및 방법 - Google Patents

이벤트 검색 시스템, 장치 및 방법 Download PDF

Info

Publication number
WO2018034377A1
WO2018034377A1 PCT/KR2016/009698 KR2016009698W WO2018034377A1 WO 2018034377 A1 WO2018034377 A1 WO 2018034377A1 KR 2016009698 W KR2016009698 W KR 2016009698W WO 2018034377 A1 WO2018034377 A1 WO 2018034377A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
search
metadata
unit
image
Prior art date
Application number
PCT/KR2016/009698
Other languages
English (en)
French (fr)
Inventor
장세미
임정은
노승인
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to US16/313,877 priority Critical patent/US11086933B2/en
Publication of WO2018034377A1 publication Critical patent/WO2018034377A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72418—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services
    • H04M1/72421—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services with automatic activation of emergency service functions, e.g. upon sensing an alarm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present invention relates to an event search system, an apparatus, and a method, and more particularly, by designating an area to be searched by a user after an event occurs as a search area, so that only an event occurring in the search area can be derived as a search result.
  • An event search system, apparatus, and method are disclosed.
  • surveillance systems are widely used in various places, including banks, department stores, and residential areas. Such a surveillance system may be used for crime prevention and security purposes, but recently, it is also used to monitor indoor pets or young children in real time.
  • the most commonly used surveillance system is a closed-circuit television system, in which a camera is installed at an appropriate position to capture an area to be monitored, and a user can monitor by monitoring a video captured by the camera. CCTV) system.
  • An event refers to various events that occur while the camera photographs a specific area. Examples include motion events in which people or animals move, motion and sound events in which cupboards drop off, and heat and light events in which fires occur.
  • CCTV is connected with various sensors, and when a specific event occurs, the sensor detects it and provides an event notification function to notify the user of the event occurrence.
  • the user may wish to check the contents of the event that occurred. For example, if a user returns home after going out and the vase is broken in the living room, they may wish to monitor what event has occurred in the past.
  • the user in order to search for such an event, the user could input only a time condition.
  • An object of the present invention is to provide an event search system, an apparatus, and a method for deriving only an event occurring in a search area as a search result by designating an area to be searched by a user after an event occurs. It is.
  • the event search system for solving the above problems is a sensor for generating a signal by detecting the occurrence of the event; A camera which receives the signal from the sensor and photographs a surveillance area to generate a plurality of image frames and metadata regarding the image frames; An event search system comprising an event search device for searching for an event by receiving the plurality of video frames and the metadata from the camera, wherein the event search device, the plurality of video frames and the occurrence of an event on the video frame; A first communication unit configured to receive metadata including time information and location information from the camera; A user interface for receiving an event search region as a search condition for searching for the event; And a screen unit to display the event search area on the image frame. And a controller configured to search for an event that satisfies the search condition in the event search area by using the metadata, wherein the event search area may be changed by at least one of position, size, and shape by the user. Can be.
  • the event search apparatus for solving the above problems is a plurality of image frames obtained by photographing the surveillance area, and the occurrence of the event on the image frame
  • a first communication unit configured to receive metadata including time information and location information from the camera
  • a user interface for receiving an event search region as a search condition for searching for the event
  • a screen unit to display the event search area on the image frame.
  • a controller configured to search for an event that satisfies the search condition in the event search area by using the metadata, wherein the event search area may be changed by at least one of position, size, and shape by the user. Can be.
  • search area Even after an event occurs, if an area to be searched by a user is designated as a search area, only an event occurring in the search area may be derived as a search result.
  • FIG. 1 is a block diagram showing the configuration of an event search system according to an embodiment of the present invention.
  • FIG. 2 is a perspective view of the event search apparatus 1 of FIG. 1.
  • FIG 3 is a diagram illustrating a state in which a starting icon 113 is displayed on the screen unit 11 of the event search apparatus 1 according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a tab performed on the starting icon 113 shown in FIG. 3.
  • FIG. 5 is a diagram illustrating a menu wheel icon 114 displayed on the screen 11 as a result performed in FIG. 4.
  • FIG. 6 is a view illustrating a tab performed on an event menu among the menu wheel icons 114 shown in FIG. 5.
  • FIG. 7 is a diagram illustrating a display of the select icon 115 on the screen unit 11 as a result of FIG. 6.
  • FIG. 8 is a view showing a guide window 112a for starting setting of an event search region 116 according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an event search region 116 displayed on the screen unit 11 according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a drag performed on one joint 1161 of the event search region 116 according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a state in which an event search region 116 is modified as a result of FIG. 10.
  • FIG. 12 is a diagram illustrating a drag performed on the event search region 116 according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an enlarged size of the event search region 116 as a result of FIG. 12.
  • FIG. 14 is a diagram illustrating a drag performed after a double tab is performed on the event search region 116 according to an embodiment of the present invention.
  • FIG. 15 is a diagram illustrating the event search region 116 moving as a result of FIG. 14.
  • 16 is a view illustrating a setting icon 119 selected according to an embodiment of the present invention.
  • FIG. 17 illustrates the setting window 1191 displayed on the screen unit 11 as a result performed in FIG. 16.
  • FIG. 18 is a diagram illustrating a case in which a tab is performed once on the screen unit 11 according to another exemplary embodiment of the present invention.
  • FIG. 19 is a view illustrating a state in which a tab is performed twice on the screen unit 11 according to another embodiment of the present invention.
  • FIG. 20 is a view illustrating a state in which a tab is performed once more on the screen unit 11 according to another embodiment of the present invention.
  • FIG. 21 is a diagram illustrating a tab performed on a search button 117 according to an embodiment of the present invention.
  • FIG. 22 is a diagram illustrating a search result output as a result of FIG. 21.
  • FIG. 23 is a block diagram showing a detailed configuration of the camera 2 according to an embodiment of the present invention.
  • 24 is a block diagram showing a detailed configuration of the control unit 14 according to an embodiment of the present invention.
  • 25 is a block diagram showing the detailed configuration of the event occurrence determination unit 22 according to an embodiment of the present invention.
  • FIG. 26 is a diagram illustrating an event occurring in the image 112 acquired by the camera 2 according to an embodiment of the present invention.
  • FIG. 27 is a diagram illustrating an identification of the object 4 that generates a motion event in FIG. 26.
  • FIG. 29 is a conceptual diagram illustrating a time stamp 61 and a flag 62 set at a point corresponding to a point where a motion event in FIG. 27 occurs on the search map 6 according to an embodiment of the present invention. .
  • FIG. 30 is a diagram illustrating an event in FIG. 26 progressing with time.
  • FIG. 31 illustrates a state in which a time stamp 61 and a first flag 62a are set at a point corresponding to a point where a motion event in FIG. 26 is changed on the search map 6 according to an embodiment of the present invention.
  • FIG. 32 is a view illustrating a time stamp 61 and a second flag 62b set at a point corresponding to a point where a sound event in FIG. 30 is changed on the search map 6 according to an embodiment of the present invention.
  • FIG. 33 is a conceptual diagram illustrating how the time stamp 61, the first flag 62a, and the second flag 62b are set on one search map 6 in FIGS. 31 and 32.
  • FIG. 34 is a diagram illustrating an event search region set according to an embodiment of the present invention at a position to be searched on an image.
  • FIG. 35 is a conceptual diagram illustrating how a region corresponding to the event search region of FIG. 34 is designated on the search map 5 according to an embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of an event search system according to an embodiment of the present invention
  • Figure 2 is a perspective view of the event search device (1) of FIG.
  • the event search area 116 is displayed on the screen unit 11 of the event search apparatus 1.
  • the user may easily designate a location condition to search for an event occurring at a specific location from the image 112 previously photographed and stored in the past through the event search area 116.
  • the event search apparatus 1 may search only the metadata in which the event occurs and output the search result quickly by using the generated metadata. Can be.
  • the camera (2) for capturing a specific area to obtain an image 112
  • the sensor (3) for transmitting a signal when the occurrence of the event is detected
  • an event search apparatus 1 for receiving and displaying the acquired image 112 and receiving a signal transmitted from the sensor 3.
  • the camera 2 or the sensor 3 and the event retrieval apparatus 1 may be wired or wirelessly connected to each other to transmit and receive image data or signals.
  • the camera 2 captures a specific area to acquire an image 112.
  • the camera 2 according to the embodiment of the present invention is preferably a pan tilt camera capable of panning and tilting.
  • the camera 2 may be a recently introduced 360 ° camera.
  • the 360 ° camera refers to a camera 2 in which the camera 2 itself is not physically panned or tilted, and a plurality of fisheye lenses are mounted so that the omnidirectional shooting can be performed simultaneously.
  • the image 112 acquired by the 360 ° camera is panned or tilted through software installed in the event search apparatus 1.
  • the camera 2 according to an embodiment of the present invention is not limited thereto, and various cameras may be used.
  • Camera 2 is preferably a digital camera that outputs video data by taking a digital conversion of two-dimensional images of 15 to 30 frames per second, but is not limited thereto. If the camera 2 is not a digital camera, the photographed image is an RGB analog video signal, so an A / D converter should be separately provided. However, if the camera 2 is a digital camera, the A / D converter is not necessary. In addition, since the camera 2 itself is equipped with a function of encoding an image, when the camera 2 captures an image, it is encoded immediately to generate compressed image data.
  • the image 112 captured by the camera 2 is transmitted to the event search apparatus 1 through wired or wireless communication, and displayed through the screen unit 11 embedded in the event search apparatus 1. However, if the camera 2 is mounted on the event retrieval apparatus 1, the image 112 captured by the camera 2 is transmitted to the screen unit 11 via an internal circuit and displayed instead of wireless communication. It may be.
  • the sensor 3 may detect an event.
  • a fire detection sensor 3 for detecting a fire occurrence
  • a smoke detection sensor 3 for detecting a smoke generation
  • a heat detection or motion detection sensor 3 for detecting the appearance of a person or animal.
  • IoT Internet of Things
  • the sensor 3 according to an embodiment of the present invention may be a sensor 3 embedded in an IoT dedicated module to implement such IoT technology. That is, the sensor 3 is not limited, and various kinds of sensors 3 may be used as long as it can detect any kind of event.
  • the event retrieval apparatus 1 may detect the occurrence of an event even when the sensor 3 does not exist. That is, even if there is no sensor 3, if an event occurs while the camera 2 captures a specific area, the occurrence of the event is detected and analyzed through the image 112 itself obtained by the camera 2. Details of a method of detecting the occurrence of an event through the image 112 itself will be described below.
  • the event search apparatus 1 receives and displays an image 112 obtained by the camera 2 and searches for an event by receiving a user input.
  • the event search device 1 may be a device that is easy to carry and move, such as a smartphone, a tablet PC, a laptop, and the like, but is not limited thereto.
  • Desktop and video wall It may be a device that is not easy to move.
  • the event search apparatus 1 receives image data and signals from a main body 10, a screen unit 11 displaying an image 112, a camera 2, and a sensor 3.
  • the screen unit 11 displays an image 112 obtained from the camera 2.
  • the image 112 may be a real-time image 112 obtained by photographing the camera 2 in real time, or may be an image 112 that is already photographed in the past, stored in the storage unit 13, and then loaded and displayed. have.
  • the screen unit 11 displays the event search area 116 to facilitate the search of the stored video 112 or the event.
  • the screen unit 11 may include a touch sensor 111. In this case, the user may directly input a touch signal through the screen unit 11.
  • the touch sensor 111 may be integrally mounted together with the screen unit 11, and detects a touch generated from the screen unit 11 to detect coordinates, a number of touches, and an intensity of an area where a touch is generated.
  • the detected result is transmitted to the controller 14.
  • various methods such as a capacitive type, an electric resistive film type, an ultrasonic type, and an infrared type may be used.
  • a separate touch pad may be provided as an input unit if the screen unit 11 does not include the touch sensor 111.
  • the touch may be performed using a finger, but is not limited thereto, and may be performed using a stylus pen equipped with a tip through which a minute current may flow. If the event search apparatus 1 does not provide a touch function, an input unit for inputting a user's command such as a mouse may be separately provided.
  • the first communication unit 12 transmits and receives signals and data to and from the camera 2 and the sensor 3 through a wired or wireless connection.
  • the first communication unit 12 modulates and frequency upconverts and transmits the signal and data from the control unit 14, or frequency down the signal and data received from the camera 2 and the sensor 3. Converted and demodulated and provided to the control unit 14.
  • the first communication unit 12 may receive image 112 data from the camera 2 or receive a signal from the sensor 3, and transmit the data or signal generated from the control unit 14 to the camera 2. ) Or to the sensor 3.
  • the storage unit 13 stores a program for processing and controlling operations of the event retrieval apparatus 1, various data generated during each program execution, and image data transmitted through the camera 2.
  • the storage unit 13 may be built in the event search apparatus 1, but in the case of the network camera 2 system, a separate device such as a network video recorder (NVR) may be provided.
  • NVR network video recorder
  • the controller 14 controls the overall operation of the event search apparatus 1. For example, the controller 14 performs processing and control for signal and data communication between the first communication unit 12 and the camera 2, and decodes when the image 112 is transmitted through the first communication unit 12. And image 112 processing such as rendering.
  • the screen unit 11 controls the event search area 116 to be displayed. When the event search area 116 is set, the event search area 116 searches for events that occur during a specific time.
  • the controller 112 stores the image 112 in the storage 13 and loads the stored image 112.
  • a central processing unit CPU
  • MCU micro controller unit
  • DSP digital signal processor
  • the controller 14 includes a gesture detector 141 and a coordinate converter 142.
  • the gesture detector 141 detects a touch gesture from the touch sensor 111.
  • the touch gesture includes all touch operations generated from the touch sensor 111. If the event search apparatus 1 does not provide a touch function, a user command input through an input unit such as a mouse is detected.
  • the gesture detector 141 manages the touch sensor 111 and includes an application program interface (API) for allowing a user to easily use a touch gesture in an application.
  • An API is an interface that controls the functionality provided by an operating system or programming language for use in an application.
  • the gesture detector 141 receives a user command for executing the camera 2 control application through an API, and receives a user command for controlling the activated application.
  • the coordinate converter 142 receives the coordinates of the user command input from the gesture detector 141, and generates a position change value of the event search region 116 based on the coordinates. If the user touches one joint 1161 of the event search region 116 to specify a location condition, the coordinates for the joint 1161 are extracted. When the user drags the joint 1161, the coordinates on the drag path are extracted at regular intervals or intervals.
  • the coordinate converting unit 142 may grasp the direction and distance in which the drag is performed through the extracted coordinates, and convert the coordinates into a value at which the position of the joint 1161 is to be changed. By changing the position of the joint 1161 using the above value and displaying the result through the screen unit 11, the position condition can be designated according to a user's command.
  • FIG 3 is a diagram illustrating a state in which a starting icon 113 is displayed on the screen unit 11 of the event search apparatus 1 according to an embodiment of the present invention.
  • the live view is first displayed on the screen unit 11, and at the same time, the starting icon 113 is displayed.
  • the starting icon 113 is displayed at one corner of the screen unit 11.
  • the size of the starting icon 113 may be very small so as not to disturb the monitoring of the user of the image 112 such as the live view.
  • the shape of the starting icon 113 may be triangular as shown in FIG. 3, but is not limited thereto and may have various shapes such as a semicircle and a rectangle.
  • FIG. 4 is a view illustrating a tab performed on the starting icon 113 shown in FIG. 3, and FIG. 5 is a result of the operation performed in FIG. 4, and the menu wheel icon 114 is displayed on the screen 11. The figure shows the displayed state.
  • the tab is one of touch gestures, and refers to release of a touch immediately after a short touch on the screen unit 11.
  • the duration of the touch is less than 1 second. Whenever multiple taps are performed in succession within a short time, double taps are performed twice and triple taps are performed three times.
  • the menu wheel icon 114 When the user taps on the starting icon 113, the menu wheel icon 114 is displayed at the position where the starting icon 113 was displayed. Accordingly, the menu wheel icon 114 may also be displayed on one side corner of the screen unit 11 of the event search apparatus 1 like the starting icon 113. In addition, while the menu wheel icon 114 is displayed, the starting icon 113 may disappear. If the user can input a command to the event search apparatus 1 through a mouse, the menu wheel icon 114 may be displayed by clicking the starting icon 113.
  • the menu wheel icon 114 is preferably formed of dots and lines so as not to disturb the monitoring of the user when the image 112 is displayed.
  • the shape of the menu wheel icon 114 may be a semi-circle as shown in FIG. 5, but is not limited thereto and may have various shapes such as a triangle and a rectangle.
  • the menu wheel icon 114 displays various menus for the user to select.
  • the types of menus include Live View, Event, Play Back, and Setting.
  • Each menu consists of a point forming a selection area for the user to select, and a phrase indicating the name of the menu as shown in FIG. 5.
  • the menu wheel icon 114 When the user taps or clicks on the menu of the menu wheel icon 114, the menu is selected.
  • the menu wheel icon 114 When the user drags the menu wheel icon 114 upward or downward, the menu wheel icon 114 rotates according to the direction in which the drag is performed, and the positions of the menus change.
  • the live view refers to an image 112 in which an area currently photographed by the camera 2 is displayed on the event search apparatus 1 in real time.
  • the playback (Play Back) refers to an image 112 that is already taken and stored in the storage unit 13 and then loaded and displayed in the event search apparatus 1.
  • Event refers to data recorded when a specific event occurs. For example, when a certain movement is captured in a house where no one is captured, the position and time at which the movement is captured are automatically recorded and dataized. Setting means that the user can change various options.
  • the menu displayed on the menu wheel icon 114 is not limited thereto, and various types of menus may exist.
  • FIG. 6 is a view illustrating a tab performed on an event menu among the menu wheel icons 114 shown in FIG. 5, and FIG. 7 is a result performed in FIG. 6 and is displayed on the screen unit 11. It is a diagram showing how the select icon 115 is displayed.
  • a user performs a tab or click on an event menu among various menus displayed on the menu wheel icon 114. Then, as shown in FIG. 7, the select icon 115 for selecting a method of searching for an event is displayed on the screen unit 11.
  • Select icon 115 date event to search for an event by specifying a time condition, an area event to specify a location condition after setting an event, an area event to set a specific location after an event occurs, and an event to occur You can select one of the Spot Events that previously set a specific location.
  • the present invention is not limited thereto, and if the event search apparatus 1 according to the exemplary embodiments of the present invention provides a function of searching for an event by another method, the select icon 115 is additionally displayed on the screen unit 11. Can be. In the present specification, the user selects an area event icon 115b.
  • FIG. 8 is a view showing a guide window 112a for starting setting of an event search region 116 according to an embodiment of the present invention.
  • Guide window 112a is displayed.
  • the guide window 112a simply guides the user how to set up the event search area 116.
  • the lower left side of the guide window 112a is described with a check box. The user may no longer wish to view the guide window 112a. At this time, if the user selects the check box, the guide window 112a may not be displayed on the screen unit 11 even if the user later selects an area event icon 115b.
  • the confirmation button 112b is formed on the lower right of the guide window (112a).
  • the guide window 112a disappears and the main image 112 is displayed on the screen 11.
  • the main image 112 is preferably a live view obtained by photographing the camera 2 in real time.
  • the present invention is not limited thereto, and may be an image 112 that is already taken in the past and then loaded and displayed.
  • FIG. 9 is a diagram illustrating an event search region 116 displayed on the screen unit 11 according to an embodiment of the present invention.
  • the event search area 116 is also displayed on the main image 112.
  • the event search region 116 is formed by connecting a plurality of joints 1161 in a straight line to form a single closed curve.
  • the event search region 116 has a polygonal shape, and a plurality of joints 1161 are positioned at vertices of the polygonal shape.
  • the polygon is preferably rectangular, but is not limited thereto and may be variously formed.
  • the number of joints 1161 may be six, but the number of joints 1161 may be arbitrarily changed by the user.
  • the event occurrence determiner 22 detects the occurrence of the event by using the acquired image 112. If an event has occurred, the metadata generator 23 generates metadata 5 including information such as the time and location of the event. If the user later designates a search condition for searching for an event, the data search unit 146 uses the metadata 5 to derive a search result that satisfies the search condition. At this time, the event search area 116 is used for the user to specify a location condition among the search conditions. Details thereof will be described later.
  • the event search region 116 may be displayed on the main image 112 at a point corresponding to the position where the event occurrence determiner 22 determines the occurrence of the event. If the location of the event is determined to be plural, the event search area 116 may also be plural and may be displayed at points on the main image 112 corresponding to the location of the event. Alternatively, the image may be displayed at a point on the main image 112 corresponding to the position at which the event is most recently determined, or may be displayed at an arbitrary position. That is, the event search region 116 according to an embodiment of the present invention may be displayed at various points on the main image 112 without being limited.
  • FIG. 10 is a diagram illustrating a drag performed on one joint 1161 of the event search region 116 according to an embodiment of the present invention
  • FIG. 11 is a result performed in FIG. 10.
  • the shape of the search area 116 is modified.
  • Drag is one of touch gestures, which means to drag a specific object from one point to another to move the specific object on the screen.
  • Hold means that the touch is held for a predetermined time or more before the drag is performed.
  • the predetermined time is preferably about 0.5 seconds to 1 second, but is not limited thereto.
  • one joint 1161 is drawn from one point to another.
  • one joint 1161 moves from one point to another point according to dragging of a finger or the like.
  • the straight line connecting the one joint 1161 and the other joint 1161 adjacent thereto also changes its length and forming direction so that the connection between the joints 1161 is maintained.
  • the shape of the event search region 116 changes as shown in FIG. 11.
  • the user In order to drag the one joint 1161, the user must keep the touch. After reaching the desired point, the held touch is released. When the touch is released, the joint 1161 that was dragged is fixed to the point where the touch is released.
  • the joint 1161 may move from one point to another. .
  • FIG. 12 is a diagram illustrating a drag performed on the event search region 116 according to an embodiment of the present invention
  • FIG. 13 is a result of FIG. 12 and shows the size of the event search region 116. Is a view showing a state in which is enlarged.
  • the event search region 116 is dragged from one point to another.
  • the size of the event search region 116 is changed. If the direction in which the drag is directed toward the outside of the event search area 116, when the size of the event search area 116 is enlarged, and the direction in which the drag is directed toward the inside of the event search area 116, The size of the event search area 116 is reduced.
  • the user in order to change the size of the event search area 116, the user must keep the touch. After the desired size is changed, the held touch is released. When the touch is released, the changed size of the event search region 116 is fixed to a specific size.
  • the size of the event search region 116 may be changed by dragging the center of the event search region 116 with the mouse. have.
  • the user may enlarge the event search region 116 by performing a pinch in.
  • the pinch is one of touch gestures, which means sliding in a direction facing each other while maintaining touch of two fingers on the screen unit 11.
  • the pinch is used to adjust the magnification of the screen displayed on the screen unit 11. If the distance between the two fingers is sliding in a direction closer to each other, the pinch in (Pinch In) or pinch close (Pinch Close), the image 112 is preferably reduced. On the contrary, if the distance between the two fingers is slid away, it is referred to as pinch out or pinch open. In this case, the image 112 is preferably enlarged.
  • the size of the event search area 116 is reduced.
  • the size of the event search region 116 is enlarged.
  • FIG. 14 is a diagram illustrating a drag performed after a double tab is performed on the event search region 116 according to an embodiment of the present invention
  • FIG. 15 is a result of FIG. 14. As an example, the event search area 116 is moved.
  • the user double touches and holds the center of the event search area 116 to perform a drag.
  • the double touch and hold is performed to touch the screen 11 twice in a short time, but the first touch is released immediately after the short touch on the screen 11.
  • the tap is performed, and the second touch refers to performing a hold to hold the touch for a predetermined time or more.
  • the event search region 116 is dragged from one point to another.
  • the event search region 116 moves from one point to another point according to dragging of a finger.
  • the held touch is released.
  • the event search area 116 that was dragged is fixed at the point where the touch is released.
  • the event search region ( 116 ) may move from one point to another.
  • FIG. 16 is a view illustrating a setting icon 119 being selected according to an embodiment of the present invention
  • FIG. 17 is a result performed in FIG. 16, in which a setting window 1191 is displayed on the screen unit 11. It is a figure showing the state.
  • the setting window 1191 is displayed on the screen unit 11 as shown in FIG. 17.
  • the setting window 1191 may change various settings of the event search region 116.
  • the number of initially displayed event search regions 116, the number of joints 1161 of the event search region 116, and the color and transparency of the event search region 116 may be set.
  • the event search region 116 is preferably displayed at a point corresponding to the position where the event occurrence determining unit determines the occurrence of the event on the main image 112. If there are a plurality of locations where the occurrence of an event is detected, the event search area 116 may also be a plurality and may be displayed at points on the main image 112 corresponding to the location of the event. However, even if there are a plurality of positions where the occurrence of an event is detected, the user may want to search for occurrence of the event only for one position.
  • the user may limit the number of event search areas 116 to one through the setting window 1191.
  • a user may want to search for occurrence of an event with respect to a plurality of positions even if only one position where the occurrence of an event is detected.
  • the user may change the number of event search areas 116 to a plurality of values through the setting window 1191.
  • the location to be searched should be more detailed.
  • the shape of the event search region 116 may be more diverse and detailed.
  • the event search region 116 is formed by connecting a plurality of joints 1161 in a straight line to each other, so that the joint 1161 may be a vertex of the event search region 116, and a straight line may be formed at the corner of the event search region 116.
  • the user may change the number of joints 1161 of the event search region 116 to change the shape of the event search region 116 in various ways.
  • at least three joints 1161 must exist.
  • the minimum number of joints 1161 that can be changed in the setting window 1191 is preferably limited to three.
  • the present invention is not limited thereto, and the number of joints 1161 may be set to one or two.
  • the event search region 116 is formed of a point if the number of joints 1161 is one, and a line if two. That is, the event search area 116 is no longer an area having a width, and the user specifies a location condition of the event search by a dot or a line.
  • the color can be changed to the user's preference, simply to give the user a visual aesthetic. However, the color may be changed to distinguish the event search region 116 from the background of the displayed image 112. For example, if the event search area 116 is dark when the image 112 is entirely dark, it is difficult for a user to distinguish the event search area 116. However, if the event search area 116 changes to a light color, the user can easily distinguish the event search area 116. That is, the color not only performs an aesthetic function, but also performs a function of identifying the event search area 116.
  • the event search region 116 is displayed on the main image 112, thereby preventing the user from monitoring the image 112. Accordingly, the user may adjust the transparency of the event search region 116 so that the main image 112 can be easily monitored.
  • FIG. 18 is a view illustrating a state in which a tab is performed once on the screen unit 11 according to another embodiment of the present invention
  • FIG. 19 is a tab on the screen unit 11 according to another embodiment of the present invention.
  • (Tab) is a view showing a state that is performed two more times.
  • the event search area 116 is immediately displayed on the screen 11 as shown in FIG. 9.
  • the event search region 116 may be set by directly designating a position to be searched by the user on the main image 112.
  • FIG. 18 when a user performs a tap once on the screen unit 11, the user performs a tab on the main image 112 displayed on the screen unit 11.
  • the first joint 1161a is marked at this point.
  • FIG. 19 when the user performs the tab twice more on the screen unit 11, on the main image 112 displayed on the screen unit 11, the user taps the tab.
  • the second and third joints 1161b and 1161c are displayed at the points where the step is further performed.
  • the event search region 116 in order for the event search region 116 to have a polygonal shape, at least three joints 1161 must be present. Therefore, as shown in FIG. 19, when the first to third joints 1161a, 1161b, and 1161c are displayed on the screen unit 11, the first to third joints 1161a, 1161b, and 1161c are each straight.
  • the event search region 116 having a triangular shape while being connected is displayed.
  • FIG. 20 is a view illustrating a state in which a tab is performed once more on the screen unit 11 according to another embodiment of the present invention.
  • the user tabs on the main image 112 on the screen 11 as shown in FIG. 20.
  • the fourth joint 1161d is displayed at the point where the step is further performed.
  • one straight line disappears among the straight lines connecting the first to third joints 1161a, 1161b, and 1161c to each other.
  • the straight line located closest to the fourth joint 1161d disappears.
  • the two joints 1161 which have disappeared the straight lines are respectively adjacent to the fourth joint 1161d, and one straight line which connects the two joints 1161 and the fourth joint 1161d that has disappeared is formed.
  • the event search area 116 has a rectangular shape. That is, each time the user further performs a tab on the screen unit 11, the number of vertices of the event search area 116 increases, and the shape of the event search area 116 changes.
  • FIG. 21 is a diagram illustrating a tab performed on a search button 117 according to an embodiment of the present invention
  • FIG. 22 is a diagram illustrating a search result output as a result of FIG. 21. to be.
  • the user taps the search button 117. Then, as illustrated in FIG. 22, events generated in the event search region 116 are searched for and output. When each of the searched images 112 is played back, the user can check the events that have occurred.
  • the search results show the number of events that have occurred, the types of events that have occurred, and the like. For example, the total number of events that meet the specified search condition is 43 times.
  • events satisfying the specified search condition are searched for and output. If only the event occurs, the camera 2 captures a picture of the corresponding area, and if the event ends, the picture is immediately terminated, and the content of one event may be recorded in one image 112. In this case, the number of the retrieved images 112 is 43. When the respective images 112 are played back, the user can check the events that have occurred.
  • FIG. 23 is a block diagram showing a detailed configuration of the camera 2 according to an embodiment of the present invention.
  • the camera 2 includes an image capturing unit 21 which receives an image signal, a second communication unit 24 which transmits an image 112 and data to the event searching apparatus 1, and an event occurrence determining unit that determines whether an event has occurred. (22) and a metadata generator 23 for generating metadata 5 using the information on the event when an event occurs.
  • the imaging unit 21 receives an image signal for a specific area.
  • the imaging unit 21 generally includes an imaging device such as a charge coupled device (CCD) or a CMOS image sensor.
  • CCD charge coupled device
  • CMOS image sensor When a plurality of photodiodes is irradiated with light, the CCD accumulates and transmits electrons generated by the photoelectric effect. At this time, by analyzing the change in the amount of electrons generated according to the amount of photons and reconstruct the information, image information forming the screen is generated.
  • CCD has the advantage of clear image quality and low noise, but has the disadvantage of high power consumption and slow processing speed.
  • CMOS image sensor is an image sensor using CMOS (Complementary Metal Oxide Semiconductor), each cell has an amplifier to amplify and transmit the electrons generated by the light directly into an electrical signal.
  • CMOS image sensors are inexpensive, have low power consumption, have a high processing speed, but have a lot of noise.
  • the event occurrence determination unit 22 determines whether an event has occurred.
  • the image 112 of the camera 2 may be analyzed by itself and may be determined.
  • a separate sensor 3 may be provided to receive the signal generated by the sensor 3.
  • the type of the sensor 3 may include a motion detection sensor for detecting the movement of a person or an animal, a sound detection sensor for detecting the ambient sound, and a temperature around the sensor. Temperature sensor, gas detection sensor for detecting gas generation, and the like.
  • the sensor 3 is not limited thereto, and various kinds of sensors 3 may be used as long as it can detect any kind of event.
  • the event 112 is obtained by securing the usual image 112 in advance and then changing the pixel value in the frame of the image 112. Determine the occurrence of In this case, the occurrence of an event such as a movement, fire, or an earthquake of the object 4 may be determined in detail and easily through the image 112.
  • the event occurrence determination unit 22 will be described in detail with respect to the process of determining the occurrence of the event.
  • the metadata generator 23 When the event occurs, the metadata generator 23 generates the metadata 5 by using the information about the event.
  • the metadata 5 is data which described the description about specific data, and summarized the type. Detailed description of the metadata 5 according to an embodiment of the present invention will be described later.
  • the second communication unit 24 transmits and receives signals and data to and from the event retrieval apparatus 1 via wired or wireless.
  • the second communication unit 24 modulates and frequency upconverts signals and data to transmit them to the event search apparatus 1, or frequency downconverts and demodulates signals and data received from the event search apparatus 1. do.
  • the second communication unit 24 may receive data or receive a signal from the event search apparatus 1, and may transmit image data, metadata 5, or a signal to the event search apparatus 1. have.
  • 24 is a block diagram showing a detailed configuration of the control unit 14 according to an embodiment of the present invention.
  • the controller 14 generates a search map for generating the search map 6 by mapping the image 112 to correspond to the image 112 when the event occurs.
  • the metadata analyzer 143 analyzes the metadata 5.
  • the metadata analyzer 143 analyzes the generated metadata 5.
  • the metadata 5 according to an embodiment of the present invention includes information on the identified object 4, the location of the event, the time of occurrence of the event, and the like.
  • the metadata analyzer 143 analyzes the metadata 5 to extract such information, and transmits the information to the time stamp and flag setting unit 145.
  • the search map generator 144 generates the search map 6 by mapping the image 112 to correspond to the image 112 when an event occurs.
  • the search map generator 144 recognizes that the metadata 5 has been transmitted, and the search map 6 has already been created and stored in the storage 13. Check for this. If the search map 6 has already been stored, there is no need to generate the search map 6, but if there is no stored search map 6, the search map 6 is newly generated.
  • the search map 6 is a space in which the time 112 and the flag 62 can be set at the point where the event is generated by mapping the video 112 to correspond to the video 112. .
  • the data search unit 146 may quickly output a desired search result by searching for a time stamp 61 and a flag 62 set in the search map 6. . Therefore, the search map 6 is a concept similar to a search tool that collects bibliographic information in advance and inputs it at a time, and then searches the entire event only by searching the search map 6 later.
  • the search map 6 is a space generated inside the event search apparatus 1 to facilitate event search. Therefore, it is not a concept that is physically present or is displayed through the screen unit 11 and can be confirmed with the naked eye of the user. However, the present invention is not limited thereto, and the search map 6 may be displayed through the screen unit 11 according to a user's command.
  • the search map 6 corresponds to the image 112, if the image 112 displayed through the screen unit 11 is a rectangle, the search map 6 is also a rectangle.
  • the aspect ratio of the image 112 and the aspect ratio of the search map 6 are preferably the same.
  • the search map 6 since the search map 6 only needs to correspond to the time and coordinates of the image 112, the resolution, the FPS, the bit rate, etc. of the image 112 do not affect the search map 6. Therefore, even if the resolution, FPS, bit rate, etc. of the image 112 are changed, the search through the search map 6 is not an obstacle.
  • the search map 6 may be divided into a plurality of blocks having a predetermined size. Such a plurality of blocks serve as a reference for a search condition for an area when the data search unit 146 searches for data later.
  • the time stamp and flag setting unit 145 sets the time stamp 61 and the flag 62 on the search map 6.
  • the time stamp and flag setting unit 145 performs a time stamp 61 based on the information.
  • flag 62 are set on search map 6. A detailed description of the process of setting the time stamp 61 and the flag 62 on the search map 6 will be described later.
  • the data retrieval unit 146 retrieves event data according to a user's command.
  • the user may specify a search condition such as a time condition and a location condition to search for event data.
  • the data search unit 146 may quickly output a search result that satisfies the specified search condition by searching for the time stamp 61 and the flag 62 set in the search map 6. Searching for the time stamp 61 and the flag 62 meeting the specified search condition, it is possible to derive the metadata 5 corresponding to the searched time stamp 61 and the flag 62, the derived Image data corresponding to the metadata 5 may be loaded from the storage unit 13 and output to the screen unit 11.
  • 25 is a block diagram showing the detailed configuration of the event occurrence determination unit 22 according to an embodiment of the present invention.
  • the event occurrence determining unit 22 determines whether an event has occurred by analyzing an image of the camera 2 by itself or receiving a signal generated from the sensor 3.
  • the event occurrence determining unit 22 accumulates the values that are normally input and calculates the representative value.
  • the accumulated representative value calculating unit 221 compares the calculated representative value with the newly received value to determine whether an event occurs.
  • an exception determination unit 223 for determining whether the event is not specific, such as an event that occurs regularly or repeatedly.
  • the cumulative representative value calculating section 221 first receives an image, audio or other signal during the data construction period from the image capturing section 21 or the sensor 3 of the camera 2. And the representative value is calculated by accumulating the input values. For example, after the sound sensor is installed, the user receives various sounds generated around 1 week. The cumulative representative value calculator 221 calculates an average value by accumulating the received loudness.
  • the average value may be calculated using various average calculation methods such as an arithmetic mean, geometric mean, harmonic mean, and the like.
  • the average is calculated as a representative value, but various representative values such as a mode value and a median value can be used without being limited thereto.
  • the data construction period is a period for receiving values that are normally input.
  • a week is set as the data construction period, but the present invention is not limited thereto and may be variously set.
  • the data construction period is not a fixed period of time, and it is preferable that the current time point always be a boil over time. Therefore, each time the values are newly received, the comparator 222 compares the cumulative representative value and at the same time, the cumulative representative value calculator 221 reflects the newly received value in the cumulative representative value to update in real time. If the data construction period is defined as a specific period, such as a week in the above example, the boil is at the present time and the period is a time retroactive to the specific period from the boil.
  • the data construction period is a period from the specific time point to the present time.
  • the data construction period and the timing change when one is fixed and the other is fluid.
  • the present invention is not limited thereto, and the data construction period may be formed in various ways, such as fixing periods, periods, and periods.
  • the cumulative representative value calculator 221 may calculate the cumulative representative value differently for each specific time period. For example, when there is a construction site nearby, a loud sound is generated. By the way, when the sound from the nearby construction site occurs most of the time from 9 am to 5 pm, the first cumulative representative from 9 am to 5 pm based on historical statistics accumulated during the data construction period. The value may be calculated, and at other times, the second cumulative representative value may be calculated to form a separate reference.
  • the comparator 222 determines whether an event occurs by comparing the calculated cumulative representative value with a newly received value.
  • the calculated cumulative representative value is stored in advance, and when any sound is generated, the comparator 222 compares the cumulative representative value with the newly input sound level. If the loudness is greater than the cumulative representative value, it is determined that a sound event has occurred. If the loudness is smaller than the cumulative representative value, it is determined that a sound event has not occurred.
  • the exception determination unit 223 determines whether the event is predictable, such as an event that occurs regularly or repeatedly. For example, in the case of a cuckoo clock, the sound of the cuckoo clock is initially greater than the cumulative representative value accumulated normally, so that the comparator 222 determines that an event has occurred. However, when the cuckoo clock is on time every hour, it will ring as many times as the corresponding time. The exception determination unit 223 determines that the sound of the cuckoo clock that sounds at the hourly hour based on the past statistical data accumulated during the data construction period is predictable and thus is not an event.
  • the event is predictable, such as an event that occurs regularly or repeatedly. For example, in the case of a cuckoo clock, the sound of the cuckoo clock is initially greater than the cumulative representative value accumulated normally, so that the comparator 222 determines that an event has occurred. However, when the cuckoo clock is on time every hour, it will ring as many times as the corresponding time. The exception determination unit 223 determine
  • the exception determination unit 223 does not determine whether the event is predictable only by regularity. For example, when there is a construction site nearby, a loud sound is generated. However, if the glass on the table falls to the hard floor and breaks, a sound of a waveform different from the sound generated at the construction site is generated. In this case, even if the sound is not greater than the cumulative representative value, the exception determination unit 223 determines that the sound generated at the construction site does not have an event, and the sound generated by the broken glass is determined as the event has occurred. do.
  • a sound event is taken as an example.
  • pixel values of an image may be accumulated and calculated as a representative value, and a change amount may be determined. That is, the event occurrence determining unit 22 is not limited and may determine whether various types of events occur.
  • FIG. 26 is a view illustrating an event occurring in the image 112 acquired by the camera 2 according to an embodiment of the present invention
  • FIG. 27 illustrates an object 4 generating a motion event in FIG. 26. It is a figure which showed the state which identifies.
  • the event occurrence determiner 22 determines occurrence of the event. For example, as shown in FIG. 26, it is assumed that the glass on the table has fallen. In the following, the above example is described first as a motion event.
  • the image capturing unit 21 of the camera 2 acquires an image 112 by capturing an area near the table, and the event occurrence determining unit 22 is configured to display the image 112 due to the motion of the object 4 called glass.
  • the event occurrence determining unit 22 is configured to display the image 112 due to the motion of the object 4 called glass.
  • a motion event is recognized. Then, as shown in Fig. 27, the object 4 causing the occurrence of the motion event is identified.
  • the window 41 is formed in the form of a single closed curve to surround the object 4 on the image 112, and preferably has a rectangular shape as shown in FIG. 27.
  • the metadata generator 23 when an event occurs, the metadata generator 23 generates the metadata 5 using the information about the event.
  • the meta data is data in which the description of the specific data is described and organized in order to facilitate the retrieval of the specific data. At this time, if the specific data is large in size, such as music and video, and is not easy to search, the meta data 5 is composed of character strings and is very small in size and easy to search.
  • the metadata 5 includes information about a unique ID for the identified object 4, the number of the identified objects 4, the location of the object 4, an event occurrence time, and the like. .
  • utc illustrated in FIG. 28 is information on a time when an event occurs
  • numObj is the number of identified objects 4
  • event.type represents the type of the event.
  • the generated event may be represented by a number such as 1 if the event is a motion event and 2 if the event is a sound event.
  • obj [0] .left, right, top, bottom and the like are coordinate information about the position of the object 4, that is, the position of each vertex of the window 41 surrounding the object 4.
  • Obj [0] .objID is an ID representing a unique identifier of the object 4. If one object 4 moves or disappears for a while, then the camera 2 identifies as the same object 4 and still gives the same ID. However, after one object 4 disappears, if another object 4 appears, the camera 2 identifies the other object 4 and gives a new ID. Accordingly, the event retrieval apparatus 1 may also facilitate tracking of the specific object 4.
  • FIG. 29 is a conceptual diagram illustrating a time stamp 61 and a flag 62 set at a point corresponding to a point where a motion event in FIG. 27 occurs on the search map 6 according to an embodiment of the present invention. .
  • the metadata 5 is generated when an event occurs. This is because there is no information included in the metadata 5 if the event does not occur, and thus the metadata 5 does not need to be generated. Therefore, normally, the camera 2 transmits only the image data to the event retrieval apparatus 1. However, when an event occurs, the camera 2 transmits not only the image data but also the metadata 5 to the event search apparatus 1.
  • the search map generator 144 recognizes that the metadata 5 has been transmitted and is already generated in the storage 13. Check whether there is a saved search map (6). If the search map 6 is already stored, it is not necessary to generate the search map 6, but if there is no stored search map 6, the image 112 is mapped to correspond to the image 112 where an event occurs. To generate a new search map 6.
  • the metadata analyzer 143 analyzes the transmitted metadata 5 and transmits the information included in the metadata 5 to the time stamp and flag setter 145.
  • the timestamp and flag setting unit 145 performs a timestamp 61 and a flag 62 on a point corresponding to a point where an event occurs in the image 112 on the generated search map 6 based on the information. Set. The two points do not have to correspond exactly. However, at least, it is preferable to set the time stamp 61 and the flag 62 to be included in one block corresponding to the point where the event occurred among the plurality of blocks formed in the search map 6.
  • the time stamp 61 refers to an indication of the specific time at which any data was created or changed.
  • the flag 62 is an indication used to identify whether a specific state is established or to leave a promised signal.
  • the flag 62 according to an embodiment of the present invention indicates the type of an event that has occurred. That is, through the flag 62, it is possible to know whether the generated event is a motion event or a sound event.
  • the time stamp 61 and the flag 62 are set, the time stamp 61 and the flag 62 are displayed as points on the search map 6.
  • the generated event is a motion event
  • the timestamp 61 and the first flag 62a are set on the search map 6
  • the window 41 for enclosing the object 4 in the image 112 first is the search map. Assume that it is also displayed on (6).
  • the first flag 62a is a flag 62 indicating that the type of event is a motion event.
  • the center of the window 41a assumed to be displayed on the search map 6 is determined as the set point of the time stamp 61 and the first flag 62a.
  • the center of the window 41a which corresponds to the window 41 surrounding the glass cup and the search map 6, as shown in FIG. 27.
  • the timestamp 61 and the first flag 62a are set at the point.
  • the present invention is not limited thereto, and the time stamp 61 and the first flag 62a may be set at various points, such as setting the time stamp 61 at any one of four vertices of the window 41.
  • time stamp 61 and the flag 62 have different roles, they are displayed at the same point on the search map 6. Thus, as shown in FIG. 29, only one display is shown to be set on the search map 6.
  • the timestamp 61 itself simply contains information about the event occurrence time.
  • the flag 62 itself simply contains information on the type of event.
  • the coordinates in which the time stamp 61 and the flag 62 are set on the search map 6 indicate the event occurrence position. As a result, the timestamp 61 and the flag 62 can determine the type of the event, the event occurrence time, and the location.
  • FIG. 30 is a view illustrating an event in FIG. 26 progressing over time
  • FIG. 31 illustrates a point where a motion event in FIG. 26 is changed on a search map 6 according to an embodiment of the present invention. It is a conceptual diagram showing how the time stamp 61 and the first flag 62a are set at corresponding points.
  • the generation of the motion event continues with the passage of time.
  • the glass cup on the table begins to fall to the floor, and the generation of a motion event may continue until the glass is broken.
  • Each metadata 5 is generated a certain number of times per fixed time.
  • Each metadata 5 includes an event occurrence time that changes as the motion event progresses and a position coordinate of the object 4 that changes.
  • the time stamp and flag setting unit 1. 145 sets a plurality of time stamps 61 and first flags 62a on the search map 6 based on the information included in the metadata 5.
  • the plurality of time stamps 61 and the first flag 62a are respectively set at points corresponding to the position coordinates of the changed object 4.
  • the speed at which the time stamp 61 and the first flag 62a are set preferably matches the speed at which the metadata 5 is generated. For example, if the metadata 5 is generated ten times per second, the time stamp 61 and the first flag 62a are also set ten times per second on the search map 6.
  • the slower the speed at which the time stamps 61 and flags 62 are set the smaller the number of time stamps 61 and flags 62 set in the search map 6. Therefore, the speed may be increased when searching for an event later.
  • the interval between the time stamp 61 and the flag 62 becomes wider, the process of the generated event cannot be displayed in detail on the search map 6. Accordingly, the speed of setting the time stamp 61 and the flag 62 may be variously changed according to the performance of the event search apparatus 1 and the surrounding environment used.
  • the search map 6 in which the time stamp 61 and the flag 62 are set is stored in the storage unit 13, and the search map 6 is loaded every time the metadata 5 is transmitted, and thus the time stamp 61 is set. ) Is set and updated.
  • the event occurrence determining unit 22 determines the occurrence of the event.
  • the generated event is a sound event, and the sound may be generated as shown in FIG. 30 as the glass that is placed on the table falls to a hard floor.
  • the metadata generating unit 23 generates the metadata 5 using the information on the event.
  • FIG. 32 is a view illustrating a time stamp 61 and a second flag 62b set at a point corresponding to a point where a sound event in FIG. 30 is changed on the search map 6 according to an embodiment of the present invention.
  • the position of the sound source where the sound is generated must be identified.
  • the location of the sound source is closer to the sound detection sensor where the sound is louder than the sound detection sensor where the sound is small. It is also closer to the sound detection sensor where sound is detected faster than the sound detection sensor that is detected late.
  • the present invention is not limited thereto, and various methods may be used as long as the location of the sound source where the sound is generated can be determined.
  • the metadata generator 23 If the metadata generator 23 generates the metadata 5 using the information on the sound event, since the object 4 cannot be identified, the number of the objects 4 and the unique ID of the object 4 may be determined. no need. In addition, since the window 41 surrounding the object 4 does not exist, the position coordinates of the object 4 are not included. However, the number of the sound source from which the sound is generated, the position coordinates of the sound source, and the like. In addition, the size and time of the sound source detected by each sound sensor is also included. In addition, the generated sound can be given an ID. Waveforms such as frequency of frequency, nifty, etc. are analyzed and the same ID is given if the same sound is generated again within a few seconds. In addition, event.type indicating the type of event may be displayed as 2. However, the present invention is not limited thereto, and the metadata 5 may include various information about an event that has occurred.
  • the metadata analyzer 143 analyzes the transmitted metadata 5, and the information included in the metadata 5.
  • the timestamp and flag setting unit 145 sets the timestamp 61 and the second flag 62b on the search map 6 at a point corresponding to the position coordinate where the sound event occurred on the search map 6. .
  • the second flag 62b is a flag 62 indicating that the type of event is a sound event.
  • the timestamp 61 and the second flag 62b are set only at points corresponding to the position coordinates of the sound source included in the metadata 5 as in the case of a motion event, the user may search for the event. It would be very tricky to enter a location condition for it. Unlike a motion event, in the case of a sound event, if the user was not in the field when the event occurred, it is often because the position where the event occurred is not known exactly when searching for the event later.
  • the event occurrence determining unit 22 must determine a range for setting the time stamp 61 and the second flag 62b based on the position coordinates of the sound source included in the metadata 5. do.
  • the above range is defined as a limit by a specific distance that is spaced from all the three-dimensional directions from the position of the sound source. Therefore, when all points connected to the limit are connected, a shape of all or part of a sphere having a specific distance as a radius around the position of the sound source is formed.
  • the specific distance is an element that determines whether or not the generated sound event is derived as a search result when the user searches by specifying a location condition. If the specific distance is too long, as described above, there is no difference between the case where the user specifies the location condition and the case where the user does not. On the other hand, if the specific distance is too short, it is very difficult to input the location condition because the user must designate a location very close to the sound source of the sound as the search result. Therefore, the specific distance is preferably determined by integrating the environment or user's intention of using the event search apparatus according to an embodiment of the present invention.
  • FIG. 33 is a conceptual diagram illustrating how the time stamp 61, the first flag 62a, and the second flag 62b are set on one search map 6 in FIGS. 31 and 32.
  • the search map 6 is a virtual space for setting the time stamp 61 and the flag 62 to easily search for an event.
  • the type of event may be distinguished through the flag 62. Therefore, it is not necessary to generate the search map 6 separately according to the type of event. That is, as shown in Fig. 33, regardless of the type of event, it is preferable to set the time stamp 61 and the flag 62 on one search map 6 as soon as the event occurs.
  • a timestamp 61 and a first flag 62a are set at points corresponding to the position coordinates of the object 4 that change according to the movement of the object 4, respectively.
  • the timestamp 61 and the second flag 62b are set in a range spaced apart by a specific distance based on the position coordinates of the sound source, respectively.
  • FIG. 34 is a diagram illustrating an event search region set up at a position to be searched on an image
  • FIG. 35 is a diagram of a search map 5 according to an embodiment of the present invention. This is a conceptual diagram showing how a region corresponding to the event search region of the system is designated.
  • a location condition is designated through the UI of the event search apparatus.
  • the contents of the method of designating the location condition are all described in the description of FIGS. 8 to 22. That is, the user sets an event search region at a position to be searched on the image as shown in FIG. 34.
  • the event search area 116 is designated on the image 112
  • the event search area 116a is also displayed on the search map 5 as shown in FIG.
  • the search map 5 is formed by dividing into a plurality of blocks of constant size.
  • the data search unit 144 searches for a case where the time stamp 61 and the flag 62 exist in the blocks including the event search area 116a.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 이벤트 검색 시스템은 이벤트의 발생을 감지하여 신호를 생성하는 센서; 상기 센서로부터 상기 신호를 수신하고, 감시 영역을 촬영하여 복수의 영상 프레임과 메타데이터를 생성하는 카메라; 상기 복수의 영상 프레임 및 상기 메타데이터를 상기 카메라로부터 전송받아 이벤트를 검색하는 이벤트 검색 장치를 포함하되, 상기 이벤트 검색 장치는, 상기 영상 프레임과, 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 수신하는 제1 통신부; 상기 이벤트를 검색하기 위한 이벤트 검색 영역을 입력받는 사용자 인터페이스; 및 상기 영상 프레임 상에 상기 이벤트 검색 영역을 표시하는 화면부; 및 상기 메타데이터를 이용하여, 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 제어부를 포함하고, 상기 이벤트 검색 영역은, 위치, 사이즈 및 모양 중 적어도 하나가 변경될 수 있다.

Description

이벤트 검색 시스템, 장치 및 방법
본 발명은 이벤트 검색 시스템, 장치 및 방법에 관한 것으로서, 보다 상세하게는 이벤트가 발생한 이후에 사용자가 검색하고자 하는 영역을 검색 영역으로 지정함으로써, 검색 영역 내에서 발생한 이벤트만을 검색 결과로 도출될 수 있는 이벤트 검색 시스템, 장치 및 방법에 관한 것이다.
일반적으로 은행, 백화점, 일반 주택가를 비롯한 다양한 장소에서 감시 시스템이 널리 사용되고 있다. 이러한 감시 시스템은 범죄 예방, 보안을 목적으로 사용될 수 있으나, 최근에는 실내의 애완동물 또는 어린 아이를 실시간으로 감시하기 위해서도 사용되기도 한다. 그리고 이러한 감시 시스템으로 가장 많이 사용하는 시스템은, 감시를 원하는 영역을 촬영할 수 있도록 적절한 위치에 카메라를 설치하고, 사용자는 카메라가 촬영한 영상을 모니터링 함으로써 감시할 수 있는 폐쇄회로 텔레비전(Closed Circuit Television: CCTV) 시스템이다.
최근에는 이러한 CCTV 시스템은 이벤트(Event) 검색 기능을 제공하고 있다. 이벤트(Event)란, 카메라가 특정 영역을 촬영하는 도중에 발생하는 여러 가지 각종 사건을 말한다. 예를 들면, 사람이나 동물이 움직이는 모션 이벤트, 찬장의 유리잔이 떨어져 깨지는 모션 및 소리 이벤트, 화재가 발생하는 열 및 빛 이벤트 등이 있다. 최근 CCTV는 각종 센서들과 연결되어, 특정 이벤트가 발생하면 센서가 이를 감지하고, 사용자에게 이벤트 발생 사실을 알려주는 이벤트 알림 기능도 제공하고 있다.
그러나, 이미 이벤트가 발생한 경우, 사용자가 발생하였던 이벤트의 내용을 확인하기를 희망하는 경우가 있다. 예를 들어, 사용자가 외출 후 집에 복귀했는데 거실에 꽃병이 깨져있는 경우, 과거에 어떤 이벤트가 발생했었는지 모니터링 하기를 희망할 수 있다. 그런데 종래의 경우에는 이러한 이벤트를 검색하기 위해, 사용자가 시간 조건만을 입력할 수 있었다.
또는, 위치에 대한 조건을 입력하더라도, 이벤트가 발생한 이후에 입력하는 것이 아니라, 사용자가 미리 관심 영역(ROI, Region Of Interest)을 설정하면, 추후에 상기 관심 영역 내에서 발생한 이벤트만을 검색할 수 있을 뿐이었다. 따라서, 이미 과거에 특정 영역에 대하여 발생하였던 이벤트를 추후에 검색하기 위해, 위치에 대한 조건을 검색 조건으로 입력할 필요가 있다.
본 발명이 해결하고자 하는 과제는, 이벤트가 발생한 이후에 사용자가 검색하고자 하는 영역을 검색 영역으로 지정함으로써, 검색 영역 내에서 발생한 이벤트만을 검색 결과로 도출될 수 있는 이벤트 검색 시스템, 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 이벤트 검색 시스템은 이벤트의 발생을 감지하여 신호를 생성하는 센서; 상기 센서로부터 상기 신호를 수신하고, 감시 영역을 촬영하여 복수의 영상 프레임과, 상기 영상 프레임에 관한 메타데이터를 생성하는 카메라; 상기 복수의 영상 프레임 및 상기 메타데이터를 상기 카메라로부터 전송받아 이벤트를 검색하는 이벤트 검색 장치를 포함하는 이벤트 검색 시스템으로서, 상기 이벤트 검색 장치는, 상기 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부; 상기 이벤트를 검색하기 위한 검색 조건으로, 이벤트 검색 영역을 입력받는 사용자 인터페이스; 및 상기 영상 프레임 상에 상기 이벤트 검색 영역을 표시하는 화면부; 및 상기 메타데이터를 이용하여, 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 제어부를 포함하되, 상기 이벤트 검색 영역은, 상기 사용자에 의해 위치, 사이즈 및 모양 중 적어도 하나가 변경될 수 있다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 이벤트 검색 장치는 감시 영역을 촬영하여 획득된 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부; 상기 이벤트를 검색하기 위한 검색 조건으로, 이벤트 검색 영역을 입력받는 사용자 인터페이스; 및 상기 영상 프레임 상에 상기 이벤트 검색 영역을 표시하는 화면부; 및 상기 메타데이터를 이용하여, 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 제어부를 포함하되, 상기 이벤트 검색 영역은, 상기 사용자에 의해 위치, 사이즈 및 모양 중 적어도 하나가 변경될 수 있다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 이벤트 검색 방법은 카메라가 감시 영역을 촬영하여 복수의 영상 프레임을 획득하는 단계; 상기 카메라가 상기 복수의 영상 프레임을 토대로, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 생성하는 단계; 이벤트 검색 장치가 상기 복수의 영상 프레임과 상기 메타데이터를 수신하는 단계; 상기 이벤트를 검색하기 위한 검색 조건으로, 상기 이벤트 검색 장치가 이벤트 검색 영역을 입력받는 단계; 상기 영상 프레임 상에 상기 이벤트 검색 영역이, 상기 이벤트 검색 장치의 화면부를 통해 표시되는 단계; 및 상기 이벤트 검색 장치의 제어부가, 상기 메타데이터를 이용하여 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 단계를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
이벤트가 발생한 이후라 하더라도, 사용자가 검색하고자 하는 영역을 검색 영역으로 지정한다면, 검색 영역 내에서 발생한 이벤트만을 검색 결과로 도출될 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 이벤트 검색 시스템의 구성을 나타낸 블록도이다.
도 2는 도 1의 이벤트 검색 장치(1)의 사시도이다.
도 3은 본 발명의 일 실시예에 따른 이벤트 검색 장치(1)의 화면부(11)에 스타팅 아이콘(113)이 표시된 모습을 나타낸 도면이다.
도 4는 도 3에 표시된 스타팅 아이콘(113)에 탭(Tab)을 수행하는 모습을 나타낸 도면이다.
도 5는 도 4에서 수행된 결과로서, 화면부(11)에 메뉴 휠 아이콘(114)이 표시된 모습을 나타낸 도면이다.
도 6은 도 5에 표시된 메뉴 휠 아이콘(114) 중에서 이벤트(Event) 메뉴에 탭(Tab)을 수행하는 모습을 나타낸 도면이다.
도 7은 도 6에서 수행된 결과로서, 화면부(11)에 셀렉트 아이콘(115)이 표시된 모습을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)의 설정을 시작하기 위한 안내 창(112a)이 표시되는 모습을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)이 화면부(11)에 표시된 모습을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)의 하나의 조인트(1161)에 드래그(Drag)가 수행되는 모습을 나타낸 도면이다.
도 11은 도 10에서 수행된 결과로서, 이벤트 검색 영역(116)의 모양이 변형되는 모습을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)에 드래그(Drag)가 수행되는 모습을 나타낸 도면이다.
도 13은 도 12에서 수행된 결과로서, 이벤트 검색 영역(116)의 사이즈가 확대되는 모습을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)에 더블 탭(Double Tab)이 수행된 후 드래그(Drag)가 수행되는 모습을 나타낸 도면이다.
도 15는 도 14에서 수행된 결과로서, 이벤트 검색 영역(116)이 이동하는 모습을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 설정 아이콘(119)이 선택되는 모습은 나타낸 도면이다.
도 17은 도 16에서 수행된 결과로서, 설정 창(1191)이 화면부(11)에 표시되는 모습을 나타낸 도면이다.
도 18은 본 발명의 다른 실시예에 따른 화면부(11)에 탭(Tab)이 1 회 수행되는 모습을 나타낸 도면이다.
도 19는 본 발명의 다른 실시예에 따른 화면부(11)에 탭(Tab)이 2 회 더 수행되는 모습을 나타낸 도면이다.
도 20은 본 발명의 다른 실시예에 따른 화면부(11)에 탭(Tab)이 1 회 더 수행되는 모습을 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 검색 버튼(117)에 탭(Tab)이 수행되는 모습을 나타낸 도면이다.
도 22는 도 21에서 수행된 결과로서, 검색 결과가 출력된 모습을 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른 카메라(2)의 상세한 구성을 나타낸 블록도이다.
도 24는 본 발명의 일 실시예에 따른 제어부(14)의 상세한 구성을 나타낸 블록도이다.
도 25는 본 발명의 일 실시예에 따른 이벤트 발생 판단부(22)의 상세한 구성을 나타낸 블록도이다.
도 26은 본 발명의 일 실시예에 따른 카메라(2)가 획득한 영상(112)에서 이벤트가 발생하는 모습을 나타낸 도면이다.
도 27은 도 26에서의 모션 이벤트를 발생시키는 객체(4)를 식별하는 모습을 나타낸 도면이다.
도 28은 모션 이벤트가 발생하는 경우 생성되는 본 발명의 일 실시예에 따른 메타데이터(5)의 예시도이다.
도 29는 본 발명의 일 실시예에 따른 서치 맵(6) 상에서, 도 27에서의 모션 이벤트가 발생한 지점과 대응되는 지점에 타임스탬프(61) 및 플래그(62)가 설정되는 모습을 나타낸 개념도이다.
도 30은 도 26에서의 이벤트가 시간의 흐름에 따라 진행된 모습을 나타낸 도면이다.
도 31은 본 발명의 일 실시예에 따른 서치 맵(6) 상에서, 도 26에서의 모션 이벤트가 변화한 지점과 대응되는 지점에 타임스탬프(61) 및 제1 플래그(62a)가 설정되는 모습을 나타낸 개념도이다.
도 32은 본 발명의 일 실시예에 따른 서치 맵(6) 상에서, 도 30에서의 소리 이벤트가 변화한 지점과 대응되는 지점에 타임스탬프(61) 및 제2 플래그(62b)가 설정되는 모습을 나타낸 개념도이다.
도 33은 도 31 및 도 32에서 타임스탬프(61), 제1 플래그(62a) 및 제2 플래그(62b)가 하나의 서치 맵(6) 상에서 설정된 모습을 나타낸 개념도이다.
도 34는 영상 상에서 검색하고자 하는 위치에 본 발명의 일 실시예에 따른 이벤트 검색 영역이 설정되는 모습을 나타낸 도면이다.
도 35는 본 발명의 일 실시예에 따른 서치 맵(5) 상에서, 도 34의 이벤트 검색 영역과 대응되는 영역이 지정되는 모습을 나타낸 개념도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이벤트 검색 시스템의 구성을 나타낸 블록도이고, 도 2는 도 1의 이벤트 검색 장치(1)의 사시도이다.
본 발명의 일 실시예에 따른 이벤트 검색 시스템을 이용하는 방법에 따르면, 이벤트 검색 장치(1)의 화면부(11)에 이벤트 검색 영역(116)이 표시된다. 그리고 사용자는 이벤트 검색 영역(116)을 통해 과거에 이미 촬영하여 저장된 영상(112)으로부터, 특정 위치에서 발생한 이벤트 등을 검색하기 위해 위치 조건을 용이하게 지정할 수 있다. 이 때, 이벤트의 발생이 기록된 영상(112)들을 직접 검색할 필요 없이, 미리 생성된 메타 데이터를 이용하여, 이벤트 검색 장치(1)는 이벤트가 발생한 메타 데이터만을 검색하여 빠르게 검색 결과를 출력할 수 있다.
본 발명의 일 실시예에 따른 이벤트 검색 시스템은, 특정 영역을 촬영하여 영상(112)을 획득하는 카메라(2), 이벤트의 발생을 감지하면 신호를 송신하는 센서(3), 카메라(2)가 획득한 영상(112)을 전송받아 디스플레이 하고, 센서(3)로부터 송신된 신호를 수신하는 이벤트 검색 장치(1)를 포함한다. 카메라(2) 또는 센서(3)와 이벤트 검색 장치(1)는 서로 유선 또는 무선으로 연결되어, 영상 데이터 또는 신호를 송수신할 수 있다.
카메라(2)는 특정 영역을 촬영하여 영상(112)을 획득한다. 본 발명의 일 실시예에 따른 카메라(2)는 패닝(Panning), 틸팅(Tilting)이 가능한 팬틸트 카메라인 것이 바람직하다. 또는, 카메라(2)는 최근에 소개된 360°카메라일 수도 있다. 360°카메라란, 카메라(2) 자체가 물리적인 패닝 또는 틸팅이 되지 않고, 어안 렌즈를 복수로 장착하여 전방위가 동시에 촬영이 가능한 카메라(2)를 말한다. 이러한 경우에는, 360°카메라가 획득한 영상(112)은, 이벤트 검색 장치(1) 내에 설치된 소프트웨어를 통해 패닝 또는 틸팅된다. 본 발명의 일 실시예에 따른 카메라(2)는 이에 제한되지 않고, 다양한 카메라를 사용할 수 있다.
본 발명의 일 실시예에 따른 카메라(2)는 매초 15~30프레임의 2차원 화상을 촬영하여 디지털 변환함으로써 동영상 데이터를 출력하는 디지털카메라인 것이 바람직하나, 이에 제한되지 않는다. 카메라(2)가 디지털카메라가 아니라면 촬영한 영상은 RGB 아날로그 영상 신호이므로 A/D컨버터가 별도로 구비되어야 하나, 카메라(2)가 디지털카메라라면 A/D컨버터가 필요하지 않다. 또한 카메라(2) 자체에서 영상을 인코딩하는 기능이 탑재되어 있으므로, 카메라(2)가 영상을 촬영하면 곧바로 인코딩되어 압축 영상 데이터가 생성된다.
카메라(2)로부터 촬영된 영상(112)은 유선 또는 무선 통신을 통해 이벤트 검색 장치(1)로 전송되어, 이벤트 검색 장치(1)에 내장된 화면부(11)를 통해 디스플레이 된다. 그러나 만약, 카메라(2)가 이벤트 검색 장치(1)에 장착되는 구조라면, 카메라(2)로부터 촬영된 영상(112)은 무선 통신이 아닌 내부 회로를 통해 화면부(11)로 전송되어 디스플레이 될 수도 있다.
센서(3)는 이벤트를 감지할 수 있다. 예를 들면, 화재 발생을 감지하는 화재 감지 센서(3), 연기 발생을 감지하는 연기 감지 센서(3), 사람 또는 동물의 출몰을 감지하는 열 감지 또는 모션 감지 센서(3) 등이 있다. 나아가, 최근에는 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망이 발전하고 있다. 본 발명의 일 실시예에 따른 센서(3)는 이러한 IoT 기술을 구현하기 위해서 IoT 전용 모듈에 내장된 센서(3)일 수도 있다. 즉, 센서(3)는 제한되지 않고, 어떠한 종류의 이벤트가 발생하더라도 이를 감지할 수 있다면, 다양한 종류의 센서(3)가 사용될 수 있다.
본 발명의 일 실시예에 따른 이벤트 검색 장치(1)는 센서(3)가 존재하지 않더라도 이벤트의 발생을 감지할 수 있다. 즉, 센서(3)가 없더라도, 카메라(2)가 특정 영역을 촬영하는 도중에 이벤트가 발생한다면, 카메라(2)가 획득한 영상(112) 자체를 통해 상기 이벤트의 발생을 감지하고 분석한다. 상기 영상(112) 자체를 통해 이벤트의 발생을 감지하는 방법에 대한 내용은 하기 기술한다.
이벤트 검색 장치(1)는 카메라(2)가 획득한 영상(112)을 전송받아 디스플레이 하고, 사용자의 입력을 받아 이벤트를 검색한다. 이벤트 검색 장치(1)는 스마트폰(Smartphone), 태블릿 PC(Tablet PC), 랩탑(Laptop) 등 휴대 및 이동이 용이한 장치일 수도 있으나, 이에 제한되지 않고 데스크탑(Desktop), 비디오 월(Video Wall) 등 이동이 용이하지 않은 장치일 수도 있다.
도 1에 도시된 바와 같이, 이벤트 검색 장치(1)는 본체(10), 영상(112)을 디스플레이 하는 화면부(11), 카메라(2) 및 센서(3)로부터 영상 데이터 및 신호를 전송받는 제1 통신부(12), 상기 영상(112)을 저장하는 저장부(13), 타 구성요소들을 제어하는 제어부(14)를 포함한다.
화면부(11)는 카메라(2)로부터 획득된 영상(112)을 디스플레이 한다. 상기 영상(112)은, 카메라(2)가 실시간으로 촬영하여 획득한 실시간 영상(112)일 수도 있고, 이미 과거에 촬영하여 저장부(13)에 저장된 후 로딩되어 디스플레이 되는 영상(112)일 수도 있다. 그리고 화면부(11)는, 저장된 영상(112) 또는 이벤트의 검색을 용이하게 할 수 있도록, 이벤트 검색 영역(116)을 표시한다. 이벤트 검색 장치(1)가 터치 기능을 제공한다면, 화면부(11)는 터치 센서(111)를 포함할 수 있다. 이 경우에는 사용자가 화면부(11)를 통해 직접 터치 신호를 입력할 수 있다. 터치 센서(111)는 화면부(11)와 함께 일체로 장착될 수 있으며, 화면부(11)에서 발생되는 터치를 감지하여 터치가 발생된 영역의 좌표, 터치의 횟수 및 세기 등을 검출하고, 상기 검출된 결과를 제어부(14)에 전달한다. 터치 센서(111)가 터치를 감지하는 방식에 따라, 정전 용량 방식, 전기저항막 방식, 초음파 방식, 적외선 방식 등 다양한 방식이 사용될 수 있다. 이벤트 검색 장치(1)가 터치 기능을 제공하더라도, 화면부(11)가 터치 센서(111)를 포함하지 않는다면 별도의 터치 패드가 입력부로써 마련될 수도 있다. 그리고 터치는 손가락을 이용하여 수행될 수도 있으나, 이에 제한되지 않고, 미세 전류가 흐를 수 있는 팁이 장착된 스타일러스 펜 등을 이용하여 수행될 수도 있다. 만약, 이벤트 검색 장치(1)가 터치 기능을 제공하지 않는다면, 마우스 등 사용자의 명령을 입력할 수 있는 입력부가 별도로 마련될 수 있다.
제1 통신부(12)는 카메라(2) 및 센서(3)와 유무선으로 신호 및 데이터를 송수신한다. 예를 들어, 상기 제1 통신부(12)는 상기 제어부(14)로부터의 신호 및 데이터를 변조 및 주파수 업컨버팅하여 송신하거나, 카메라(2) 및 센서(3)로부터 수신되는 신호 및 데이터를 주파수 다운컨버팅 및 복조하여 제어부(14)로 제공한다. 이러한 과정으로, 제1 통신부(12)는 카메라(2)로부터 영상(112)데이터를 전송받거나 센서(3)의 신호를 수신할 수 있고, 제어부(14)로부터 생성된 데이터 또는 신호를 카메라(2) 또는 센서(3)로 송신할 수도 있다.
저장부(13)는 이벤트 검색 장치(1)의 동작들을 처리 및 제어하기 위한 프로그램과 각 프로그램 수행 중에 발생되는 각종 데이터, 그리고 카메라(2)를 통해 전송된 영상 데이터를 저장한다. 저장부(13)는 이벤트 검색 장치(1)에 내장될 수도 있으나, 네트워크 카메라(2) 시스템의 경우에는 NVR(Network Video Recorder) 등과 같이 별도의 장치가 마련될 수도 있다.
제어부(14)는 이벤트 검색 장치(1)의 전반적인 동작을 제어한다. 예를 들어, 제어부(14)는 제1 통신부(12)와 카메라(2)의 신호 및 데이터 통신을 위한 처리 및 제어를 수행하고, 제1 통신부(12)를 통해 영상(112)이 전송되면 디코딩 및 렌더링 등 영상(112) 처리를 수행한다. 또한, 화면부(11)가 이벤트 검색 영역(116)을 표시하도록 제어하며, 이벤트 검색 영역(116)이 설정되면, 이벤트 검색 영역(116) 내에서 특정 시간 동안 발생한 이벤트들을 검색한다. 그리고 저장부(13)에 영상(112)을 저장시키고, 저장된 영상(112)을 로딩하도록 제어한다. 본 발명의 일 실시예에 따른 제어부(14)로는 CPU(Central Processing Unit), MCU(Micro Controller Unit) 또는 DSP(Digital Signal Processor) 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 논리 연산 프로세서가 사용될 수 있다.
제어부(14)는 제스처 검출부(141), 좌표 변환부(142)를 포함한다. 제스처 검출부(141)는 터치 센서(111)로부터 터치 제스처를 검출한다. 터치 제스처는, 터치 센서(111)로부터 발생한 모든 터치 동작들을 포함한다. 만약, 이벤트 검색 장치(1)가 터치 기능을 제공하지 않는다면, 마우스 등의 입력부를 통해 입력한 사용자 명령을 검출한다. 제스처 검출부(141)는 터치 센서(111)를 관리하며, 사용자가 어플리케이션에서 터치 제스처의 사용을 용이하게 하는 응용 프로그램 인터페이스(Application Program Interface, API)를 포함한다. API는 응용 프로그램에서 사용할 수 있도록 운영 체제나 프로그래밍 언어가 제공하는 기능을 제어하는 인터페이스를 말한다. 제스처 검출부(141)는 API를 통해, 카메라(2) 제어 어플리케이션을 실행하기 위한 사용자 명령을 입력 받고, 활성화된 어플리케이션의 제어를 위한 사용자 명령을 입력 받는다.
좌표 변환부(142)는 제스처 검출부(141)로부터 사용자 명령이 입력된 좌표를 전달받고, 이를 기초로 이벤트 검색 영역(116)의 위치 변화 값을 생성한다. 사용자가 위치 조건을 지정하기 위해 이벤트 검색 영역(116)의 하나의 조인트(1161)에 터치(Touch)를 수행한다면, 조인트(1161)에 대한 좌표가 추출된다. 그리고 사용자가 조인트(1161)에 드래그(Drag)를 수행하면, 드래그 경로 상의 좌표를 일정 주기 또는 간격마다 추출한다. 좌표 변환부(142)는 상기 추출한 좌표들을 통해 드래그가 수행되는 방향 및 거리를 파악할 수 있으며, 이를 조인트(1161)의 위치가 변화되어야 할 값으로 변환한다. 상기 값을 이용하여 조인트(1161)의 위치를 변화시켜, 화면부(11)를 통해 디스플레이 함으로써, 사용자의 명령대로 위치 조건이 지정될 수 있다.
도 3은 본 발명의 일 실시예에 따른 이벤트 검색 장치(1)의 화면부(11)에 스타팅 아이콘(113)이 표시된 모습을 나타낸 도면이다.
본 발명의 일 실시예에 따른 이벤트 검색 장치(1)를 실행하면, 우선 라이브 뷰가 화면부(11)를 통해 디스플레이 되고, 이와 동시에 스타팅 아이콘(113)이 표시된다. 스타팅 아이콘(113)은 화면부(11)의 일측 모서리에 표시된다. 그리고 라이브 뷰 등의 영상(112)에 대한 사용자의 모니터링을 방해하지 않도록, 스타팅 아이콘(113)의 크기가 매우 작은 것이 바람직하다. 스타팅 아이콘(113)의 모양은 도 3에 도시된 바와 같이 삼각형일 수 있으나, 이에 제한되지 않고 반원, 사각형 등 다양한 모양을 가질 수 있다.
도 4는 도 3에 표시된 스타팅 아이콘(113)에 탭(Tab)을 수행하는 모습을 나타낸 도면이고, 도 5는 도 4에서 수행된 결과로서, 화면부(11)에 메뉴 휠 아이콘(114)이 표시된 모습을 나타낸 도면이다.
탭(Tab)이란 터치 제스처 중 하나로서, 화면부(11)에 짧게 터치를 한 후 즉시 터치를 해제하는 것을 말한다. 일반적으로 터치가 유지되는 시간은 1초 미만이다. 그리고 짧은 시간 내에 연속적으로 탭을 여러 번 수행할 때 마다, 두 번 수행하면 더블 탭(Double Tab), 세 번 수행하면 트리플 탭(Triple Tab)이라 한다.
사용자가 스타팅 아이콘(113)에 탭을 수행하면, 스타팅 아이콘(113)이 표시되던 위치에 메뉴 휠 아이콘(114)이 표시된다. 따라서, 메뉴 휠 아이콘(114)도 스타팅 아이콘(113)과 같이, 이벤트 검색 장치(1)의 화면부(11)의 일측 모서리에 표시되는 것이 바람직하다. 그리고, 메뉴 휠 아이콘(114)이 표시되면서, 스타팅 아이콘(113)이 사라질 수 있다. 만약, 사용자가 이벤트 검색 장치(1)에 마우스를 통해 명령을 입력할 수 있다면, 상기 스타팅 아이콘(113)을 클릭(Click)하면 메뉴 휠 아이콘(114)이 표시될 수 있다.
메뉴 휠 아이콘(114)은 영상(112)이 디스플레이 될 때 사용자의 모니터링을 방해하지 않도록, 점과 선으로 형성되는 것이 바람직하다. 메뉴 휠 아이콘(114)의 모양은 도 5에 도시된 바와 같이 반원일 수 있으나, 이에 제한되지 않고 삼각형, 사각형 등 다양한 모양을 가질 수 있다.
메뉴 휠 아이콘(114)에는 다양한 메뉴가 표시되어 사용자가 이를 선택할 수 있다. 예를 들어, 메뉴의 종류에는 라이브 뷰(Live View), 이벤트(Event), 플레이백(Play Back), 설정(Setting) 등이 있다. 그리고 각각의 메뉴는 도 5에 도시된 바와 같이, 사용자가 선택할 수 있도록 선택 영역을 형성하는 점과, 해당 메뉴의 이름을 나타내는 문구로 구성된다. 사용자가 메뉴 휠 아이콘(114)의 메뉴에 대하여 탭(Tab) 또는 클릭(Click)을 수행하면 메뉴가 선택된다. 그리고 사용자가 메뉴 휠 아이콘(114)을 상방 또는 하방으로 드래그(Drag)를 수행하면, 메뉴 휠 아이콘(114)은 드래그가 수행된 방향에 따라 회전하며 각각의 메뉴들의 위치가 변한다.
라이브 뷰(Live View)는 현재 카메라(2)가 촬영하고 있는 영역이 실시간으로 이벤트 검색 장치(1)에 디스플레이 되는 영상(112)을 말한다. 플레이백(Play Back)은 이미 촬영이 완료되어 저장부(13)에 저장된 후, 이벤트 검색 장치(1)에서 로딩되어 디스플레이 되는 영상(112)을 말한다. 이벤트(Event)는 특정 사건이 발생한 경우에, 이를 기록한 데이터를 말한다. 예를 들어, 아무도 없는 집에서 특정 움직임이 포착된 경우, 자동으로 상기 움직임이 포착된 위치 및 시간을 기록하여 데이터화 한다. 설정(Setting)은 사용자가 원하는 각종 옵션을 변경할 수 있는 것을 말한다. 메뉴 휠 아이콘(114)에 표시되는 메뉴는 이에 제한되지 않고, 다양한 종류의 메뉴가 존재할 수 있다.
도 6은 도 5에 표시된 메뉴 휠 아이콘(114) 중에서 이벤트(Event) 메뉴에 탭(Tab)을 수행하는 모습을 나타낸 도면이고, 도 7은 도 6에서 수행된 결과로서, 화면부(11)에 셀렉트 아이콘(115)이 표시된 모습을 나타낸 도면이다.
도 6에 도시된 바와 같이, 사용자가 메뉴 휠 아이콘(114)에 표시되어 있는 다양한 메뉴 중에, 이벤트(Event) 메뉴에 탭(Tab) 또는 클릭(Click)을 수행한다. 그러면, 도 7에 도시된 바와 같이, 화면부(11)에 이벤트를 검색하는 방법을 선택하기 위한 셀렉트 아이콘(115)이 표시된다.
셀렉트 아이콘(115)으로, 시간 조건을 지정하여 이벤트를 검색하는 데이트 이벤트(Date Event), 위치 조건을 지정하되 이벤트 발생 후에 특정 위치를 설정하는 에어리어 이벤트(Area Event), 위치 조건을 지정하되 이벤트 발생 전에 미리 특정 위치를 설정하는 스팟 이벤트(Spot Event) 가운데 하나를 선택할 수 있다. 다만, 이에 제한되지 않고 본 발명의 실시예들에 따른 이벤트 검색 장치(1)가 다른 방법으로 이벤트를 검색할 수 있는 기능을 제공한다면, 셀렉트 아이콘(115)이 추가로 화면부(11)에 표시될 수 있다. 본 명세서에서는, 사용자가 에어리어 이벤트(Area Event) 아이콘(115b)을 선택한 것을 설명한다.
도 8은 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)의 설정을 시작하기 위한 안내 창(112a)이 표시되는 모습을 나타낸 도면이다.
사용자가 도 7에 표시된 셀렉트 아이콘(115) 중에서 에어리어 이벤트(Area Event) 아이콘(115b)을 선택하면, 도 8에 도시된 바와 같이 화면부(11)에 이벤트 검색 영역(116)의 설정을 시작하기 위한 안내 창(112a)이 표시된다. 상기 안내 창(112a)은, 사용자에게 이벤트 검색 영역(116)을 설정하는 방법을 간단히 가이드 한다. 상기 안내 창(112a)의 좌측 하단에는 체크박스와 함께 '다시 보지 않기'가 기재되어 있다. 사용자는 상기 안내 창(112a)을 더 이상 보기를 원하지 않을 수도 있다. 이 때, 사용자가 상기 체크박스를 선택한다면, 사용자가 추후에 다시 에어리어 이벤트(Area Event) 아이콘(115b)을 선택하더라도, 상기 안내 창(112a)이 화면부(11)에 표시되지 않을 수 있다.
한편, 상기 안내 창(112a)의 우측 하단에는 확인 버튼(112b)이 형성되어 있다. 사용자가 확인 버튼(112b)에 단순히 탭(Tab) 또는 클릭(Click)을 수행하면, 안내 창(112a)이 사라지고 화면부(11)에는 메인 영상(112)이 디스플레이 된다. 메인 영상(112)은, 카메라(2)가 실시간으로 촬영하여 획득한 라이브 뷰(Live View)인 것이 바람직하다. 그러나, 이에 제한되지 않고, 이미 과거에 촬영된 후 로딩되어 디스플레이 되는 영상(112)일 수도 있다.
도 9는 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)이 화면부(11)에 표시된 모습을 나타낸 도면이다.
안내 창(112a)이 사라진 후, 화면부(11)에는 도 9에 도시된 바와 같이, 메인 영상(112) 상에서 이벤트 검색 영역(116)도 표시된다. 이벤트 검색 영역(116)은, 도 9에 도시된 바와 같이 복수의 조인트(1161)들이 서로 직선으로 연결되어 하나의 단일폐곡선을 이룸으로써 형성된다. 그 결과, 이벤트 검색 영역(116)은 다각형의 모양을 가지며, 다각형의 모양의 꼭지점에 복수의 조인트(1161)들이 위치하게 된다. 특히, 상기 다각형은 사각형인 것이 바람직하나, 이에 제한되지 않고 다양하게 형성될 수 있다. 그리고, 조인트(1161)의 개수는 6개일 수 있으나, 이는 사용자가 임의로 변경할 수 있다.
카메라(2)가 특정 영역을 촬영하여 영상(112)을 획득하면, 이벤트 발생 판단부(22)는 상기 획득한 영상(112)을 이용하여 이벤트의 발생을 검출한다. 그리고 이벤트가 발생하였다면, 메타데이터 생성부(23)는 이벤트가 발생한 시간 및 위치 등의 정보가 포함된 메타데이터(5)를 생성한다. 추후에 사용자가 이벤트를 검색하기 위한 검색 조건을 지정하면, 데이터 검색부(146)가 상기 메타데이터(5)들을 이용하여 상기 검색 조건을 충족하는 검색 결과를 도출해 낸다. 이 때, 이벤트 검색 영역(116)은 사용자가 검색 조건 가운데 위치 조건을 지정하기 위해 사용된다. 이에 대한 자세한 내용은 후술한다.
이벤트 검색 영역(116)은 메인 영상(112) 상에서, 이벤트 발생 판단부(22)가 이벤트의 발생을 판단한 위치와 대응되는 지점에 표시되는 것이 바람직하다. 만약, 이벤트의 발생을 판단한 위치가 복수라면, 상기 이벤트 검색 영역(116)도 복수가 되어, 이벤트 발생 위치에 대응되는 메인 영상(112) 상에서의 지점에 각각 표시될 수 있다. 또는, 가장 최근에 이벤트 발생을 판단한 위치에 대응되는 메인 영상(112) 상에서의 지점에 표시될 수도 있으며, 또는 임의의 위치에 표시될 수도 있다. 즉, 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)은 제한되지 않고 메인 영상(112) 상에서 다양한 지점에 표시될 수 있다.
도 10은 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)의 하나의 조인트(1161)에 드래그(Drag)가 수행되는 모습을 나타낸 도면이고, 도 11은 도 10에서 수행된 결과로서, 이벤트 검색 영역(116)의 모양이 변형되는 모습을 나타낸 도면이다.
드래그(Drag)란, 터치 제스처 중 하나로서, 화면 상에서 특정 오브젝트를 이동시키기 위해, 일 지점으로부터 타 지점까지 상기 특정 오브젝트를 끌어오는 것을 말한다.
사용자는 드래그(Drag)를 수행하기 위해, 이벤트 검색 영역(116)의 하나의 조인트(1161)를 터치 앤 홀드(Touch And Hold)한다. 여기서 홀드(Hold)는, 드래그(Drag)를 수행하기 전에 소정의 시간 이상 터치를 유지한다는 것을 의미한다. 상기 소정의 시간은 대략, 0.5초 내지 1초인 것이 바람직하나, 이에 제한되지 않는다. 그리고 도 10에 도시된 바와 같이, 하나의 조인트(1161)를 일 지점으로부터 타 지점까지 끌어온다. 그러면 도 11에 도시된 바와 같이 하나의 조인트(1161)가 손가락 등의 드래그에 따라 일 지점으로부터 타 지점으로 이동하게 된다. 그리고, 상기 하나의 조인트(1161)와, 그에 이웃하는 다른 조인트(1161)들을 연결하는 직선 또한, 조인트(1161) 간의 연결이 유지되도록 길이와 형성 방향이 변화한다. 그 결과, 도 11에 도시된 바와 같이 이벤트 검색 영역(116)의 모양이 변화하게 된다. 이 때, 상기 하나의 조인트(1161)를 끌기 위해서, 사용자는 터치를 계속 유지하여야 한다. 원하는 지점에 도착한 후에는, 상기 유지하던 터치(Touch)를 해제한다. 터치를 해제하면, 드래그되던 조인트(1161)는 터치가 해제된 지점에 고정된다.
만약, 사용자가 이벤트 검색 장치(1)에 마우스를 통해 명령을 입력할 수 있다면, 상기 하나의 조인트(1161)를 마우스로 드래그(Drag)하면 조인트(1161)가 일 지점으로부터 타 지점으로 이동할 수 있다.
도 12는 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)에 드래그(Drag)가 수행되는 모습을 나타낸 도면이고, 도 13은 도 12에서 수행된 결과로서, 이벤트 검색 영역(116)의 사이즈가 확대되는 모습을 나타낸 도면이다.
사용자는 드래그(Drag)를 수행하기 위해, 이벤트 검색 영역(116)의 대략 중심을 터치 앤 홀드(Touch And Hold)한다. 그리고 도 12에 도시된 바와 같이, 이벤트 검색 영역(116)을 일 지점으로부터 타 지점까지 끌어온다. 그러면 도 13에 도시된 바와 같이 이벤트 검색 영역(116)의 사이즈가 변경된다. 만약, 드래그를 수행하는 방향이 이벤트 검색 영역(116)의 외부를 향하게 되면, 이벤트 검색 영역(116)의 사이즈는 확대되고, 드래그를 수행하는 방향이 이벤트 검색 영역(116)의 내부를 향하게 되면, 이벤트 검색 영역(116)의 사이즈는 축소된다. 이 때, 이벤트 검색 영역(116)의 사이즈를 변경하기 위해서, 사용자는 터치를 계속 유지하여야 한다. 원하는 사이즈로 변경된 후에는, 상기 유지하던 터치(Touch)를 해제한다. 터치를 해제하면, 변경되던 이벤트 검색 영역(116)의 사이즈는 특정 사이즈로 고정된다.
만약, 사용자가 이벤트 검색 장치(1)에 마우스를 통해 명령을 입력할 수 있다면, 이벤트 검색 영역(116)의 대략 중심을 마우스로 드래그(Drag)하면 이벤트 검색 영역(116)의 사이즈가 변경될 수 있다.
또한, 도면에 도시되지는 않았으나, 사용자는 핀치 인(Pinch In)을 수행하여 이벤트 검색 영역(116)을 확대할 수도 있다. 여기서 핀치(Pinch)란, 터치 제스처 중 하나로서, 화면부(11)에 두 손가락의 터치를 유지한 상태에서, 서로 대향하는 방향으로 슬라이딩을 하는 것을 말한다. 일반적으로 핀치는 화면부(11)에 디스플레이 되는 화면의 배율을 조정하기 위해 사용한다. 만약 두 손가락의 거리가 가까워지는 방향으로 슬라이딩된다면, 핀치 인(Pinch In) 또는 핀치 클로즈(Pinch Close)라 하고, 이 때에는 영상(112)이 축소되는 것이 바람직하다. 반대로 두 손가락의 거리가 멀어지는 방향으로 슬라이딩된다면, 핀치 아웃(Pinch Out) 또는 핀치 오픈(Pinch Open)이라 하고, 이 때에는 영상(112)이 확대되는 것이 바람직하다.
사용자가 이벤트 검색 영역(116)에 두 손가락으로 터치를 수행한 후, 핀치 인(Pinch In)을 수행한다면, 이벤트 검색 영역(116)의 사이즈가 축소된다. 반면에, 이벤트 검색 영역(116)에 두 손가락으로 터치를 수행한 후, 핀치 아웃(Pinch Out)을 수행한다면, 이벤트 검색 영역(116)의 사이즈가 확대된다.
도 14는 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)에 더블 탭(Double Tab)이 수행된 후 드래그(Drag)가 수행되는 모습을 나타낸 도면이고, 도 15는 도 14에서 수행된 결과로서, 이벤트 검색 영역(116)이 이동하는 모습을 나타낸 도면이다.
사용자는 드래그(Drag)를 수행하기 위해, 이벤트 검색 영역(116)의 대략 중심을 더블 터치 앤 홀드(Double Touch And Hold)한다. 여기서 더블 터치 앤 홀드(Double Touch And Hold)란, 화면부(11)에 짧은 시간 내에 두 번 연속으로 터치를 수행하나, 첫 번째 터치는 화면부(11)에 짧게 터치를 한 후 즉시 터치를 해제하는 탭(Tab)을 수행하고, 두 번째 터치는 소정의 시간 이상 터치를 유지하는 홀드(Hold)를 수행하는 것을 말한다. 그리고 도 14에 도시된 바와 같이, 이벤트 검색 영역(116)을 일 지점으로부터 타 지점까지 끌어온다. 그러면 도 15에 도시된 바와 같이 이벤트 검색 영역(116)이 손가락 등의 드래그에 따라 일 지점으로부터 타 지점으로 이동하게 된다. 이 때, 이벤트 검색 영역(116)을 끌기 위해서, 사용자는 터치를 계속 유지하여야 한다. 원하는 지점에 도착한 후에는, 상기 유지하던 터치(Touch)를 해제한다. 터치를 해제하면, 드래그되던 이벤트 검색 영역(116)은 터치가 해제된 지점에 고정된다.
만약, 사용자가 이벤트 검색 장치(1)에 마우스를 통해 명령을 입력할 수 있다면, 이벤트 검색 영역(116)의 대략 중심을 마우스로 더블 클릭(Double Click)을 하고 드래그(Drag)하면 이벤트 검색 영역(116)이 일 지점으로부터 타 지점으로 이동할 수 있다.
도 16은 본 발명의 일 실시예에 따른 설정 아이콘(119)이 선택되는 모습은 나타낸 도면이고, 도 17은 도 16에서 수행된 결과로서, 설정 창(1191)이 화면부(11)에 표시되는 모습을 나타낸 도면이다.
사용자가 도 16에 도시된 바와 같이 설정 아이콘(119)에 탭(Tab)을 수행하면, 도 17에 도시된 바와 같이 화면부(11)에 설정 창(1191)이 표시된다. 설정 창(1191)은 이벤트 검색 영역(116)에 대한 각종 설정을 변경할 수 있다.
설정 창(1191)에서는 초기에 표시되는 이벤트 검색 영역(116)의 개수, 이벤트 검색 영역(116)의 조인트(1161)의 개수, 이벤트 검색 영역(116)의 색상 및 투명도 등을 설정할 수 있다. 이벤트 검색 영역(116)은 상기 기술한 바와 같이, 메인 영상(112) 상에서, 이벤트 발생 판단부가 이벤트의 발생을 판단한 위치에 대응되는 지점에 표시되는 것이 바람직하다. 만약, 이벤트의 발생을 검출한 위치가 복수라면, 상기 이벤트 검색 영역(116)도 복수가 되어, 상기 이벤트 발생 위치에 대응되는 메인 영상(112) 상에서의 지점에 각각 표시될 수 있다. 그러나, 이벤트의 발생을 검출한 위치가 복수라도, 사용자는 하나의 위치에 대하여만 이벤트의 발생을 검색하고자 할 경우가 있다. 이 때, 사용자는 설정 창(1191)을 통해 이벤트 검색 영역(116)의 개수를 한 개로 제한할 수 있다. 또는, 이벤트의 발생을 검출한 위치가 하나라도, 사용자는 복수의 위치에 대하여 이벤트의 발생을 검색하고자 할 경우가 있다. 이 때, 사용자는 설정 창(1191)을 통해 이벤트 검색 영역(116)의 개수를 복수 개로 변경할 수도 있다.
검색하고자 하는 위치가 더욱 세밀한 모양이 되어야 하는 경우도 발생한다. 이 때, 이벤트 검색 영역(116)이 가지는 꼭지점의 개수가 많을수록, 이벤트 검색 영역(116)의 모양이 더욱 다양하고 세밀할 수 있다. 한편, 이벤트 검색 영역(116)은, 복수의 조인트(1161)들이 서로 직선으로 연결되어 형성되므로, 조인트(1161)는 이벤트 검색 영역(116)의 꼭지점, 직선은 이벤트 검색 영역(116)의 모서리에 해당한다. 따라서, 사용자는 이벤트 검색 영역(116)의 모양을 더욱 다양하게 변경할 수 있도록 이벤트 검색 영역(116)의 조인트(1161)의 개수를 변경할 수도 있다. 이 때, 이벤트 검색 영역(116)이 넓이를 가지는 영역이기 위해서는, 조인트(1161)의 개수는 적어도 3개는 존재해야 한다. 따라서 설정 창(1191)에서 변경할 수 있는 조인트(1161)의 최소 개수는 3개로 제한되는 것이 바람직하다. 다만, 이에 제한되지 않고, 조인트(1161)의 개수가 1개 또는 2개로 설정될 수도 있다. 이벤트 검색 영역(116)은, 조인트(1161)의 개수가 1개라면 점(Point), 2개라면 선(Line)으로 형성된다. 즉, 이벤트 검색 영역(116)은 더 이상 넓이를 가지는 영역이 아니며, 사용자는 점 또는 선으로 이벤트 검색의 위치 조건을 지정하게 된다.
색상은, 단순히 사용자에게 시각적인 심미감을 제공하기 위해, 사용자의 취향대로 변경될 수 있다. 그러나, 이벤트 검색 영역(116)을, 디스플레이 되는 영상(112)의 배경과 구별하기 위해 색상이 변경될 수도 있다. 예를 들어, 영상(112)이 전체적으로 어두운 배경일 때 이벤트 검색 영역(116)이 어두운 색이라면, 사용자가 이벤트 검색 영역(116)을 구별하는 것이 어렵다. 그러나, 이벤트 검색 영역(116)이 밝은 색으로 변경된다면, 사용자가 이벤트 검색 영역(116)을 용이하게 구별할 수 있다. 즉, 색상은 심미적인 기능뿐만 아니라, 이벤트 검색 영역(116)을 식별하는 기능도 수행한다.
또한, 이벤트 검색 영역(116)이 메인 영상(112) 위에 표시되어, 영상(112)에 대한 사용자의 모니터링을 방해하는 경우도 발생한다. 따라서, 사용자는 메인 영상(112)을 용이하게 모니터링 할 수 있도록, 이벤트 검색 영역(116)의 투명도를 조절할 수도 있다.
사용자가 이벤트 검색 영역(116)에 대한 각종 설정의 변경을 완료한 후, 저장 버튼을 탭(Tab)하면 변경된 설정이 저장되고 설정 창(1191)이 사라진다.
도 18은 본 발명의 다른 실시예에 따른 화면부(11)에 탭(Tab)이 1 회 수행되는 모습을 나타낸 도면이고, 도 19는 본 발명의 다른 실시예에 따른 화면부(11)에 탭(Tab)이 2 회 더 수행되는 모습을 나타낸 도면이다.
본 발명의 일 실시예에서는, 도 8에 도시된 안내 창(112a)이 사라진 후, 화면부(11)에는 도 9에 도시된 바와 같이, 이벤트 검색 영역(116)이 곧바로 표시된다. 그러나, 본 발명의 다른 실시예에서는, 도 8에 도시된 안내 창(112a)이 사라지더라도 화면부(11)에 이벤트 검색 영역(116)이 곧바로 표시되지 않는다. 그리고, 사용자가 메인 영상(112) 상에서 검색하고자 하는 위치를 직접 지정하여 이벤트 검색 영역(116)을 설정할 수 있다. 도 18에 도시된 바와 같이, 사용자가 화면부(11)에 탭(Tab)을 1 회 수행하면, 화면부(11)에 디스플레이 되는 메인 영상(112) 상에서, 사용자가 탭(Tab)을 수행한 지점에 제1 조인트(1161a)가 표시된다. 그리고 이어서 도 19에 도시된 바와 같이, 사용자가 화면부(11)에 탭(Tab)을 2 회 더 수행하면, 화면부(11)에 디스플레이 되는 메인 영상(112) 상에서, 사용자가 탭(Tab)을 더 수행한 지점에 각각 제2 및 제3 조인트(1161b, 1161c)가 표시된다.
상기 기술한 바와 같이, 이벤트 검색 영역(116)이 다각형의 모양을 가지기 위해, 조인트(1161)의 개수는 적어도 3개는 존재해야 한다. 따라서, 도 19에 도시된 바와 같이, 화면부(11)에 제1 내지 제3 조인트(1161a, 1161b, 1161c)가 표시되면, 제1 내지 제3 조인트(1161a, 1161b, 1161c)가 각각 직선으로 연결되면서 삼각형의 모양을 가지는 이벤트 검색 영역(116)이 표시된다.
도 20은 본 발명의 다른 실시예에 따른 화면부(11)에 탭(Tab)이 1 회 더 수행되는 모습을 나타낸 도면이다.
만약, 사용자가 더 이어서 화면부(11)에 탭(Tab)을 1 회 더 수행하게 된다면, 도 20에 도시된 바와 같이 화면부(11)에 메인 영상(112) 상에서, 사용자가 탭(Tab)을 더 수행한 지점에 제4 조인트(1161d)가 표시된다. 이 때, 제1 내지 제3 조인트(1161a, 1161b, 1161c)를 서로 연결하는 직선들 가운데, 하나의 직선이 사라진다. 여기서, 상기 제4 조인트(1161d)에 가장 근접하게 위치한 직선이 사라지는 것이 바람직하다. 그러면, 직선이 사라진 두 개의 조인트(1161)는 각각 제4 조인트(1161d)와 이웃하게 되고, 상기 직선이 사라진 두 개의 조인트(1161)와 제4 조인트(1161d)를 연결하는 직선이 각각 하나씩 형성된다. 따라서, 이벤트 검색 영역(116)은 사각형의 모양을 가지게 된다. 즉, 사용자가 화면부(11)에 탭(Tab)을 더 수행할 때마다, 이벤트 검색 영역(116)의 꼭지점의 개수가 증가하며, 이벤트 검색 영역(116)의 모양이 변화하게 된다.
도 21은 본 발명의 일 실시예에 따른 검색 버튼(117)에 탭(Tab)이 수행되는 모습을 나타낸 도면이고, 도 22는 도 21에서 수행된 결과로서, 검색 결과가 출력된 모습을 나타낸 도면이다.
사용자가 검색하고자 하는 위치에 대하여 이벤트 검색 영역(116)의 설정을 완료한 후, 도 21에 도시된 바와 같이 사용자는 검색 버튼(117)에 탭(Tab)을 수행한다. 그러면, 도 22에 도시된 바와 같이, 이벤트 검색 영역(116)에서 발생된 이벤트들이 검색되어 출력된다. 상기 검색된 영상(112)들을 각각 재생시키면, 사용자는 발생한 이벤트들을 확인할 수 있다.
검색 결과에는, 발생한 이벤트의 횟수, 발생한 이벤트의 종류 등이 나타난다. 예를 들어, 지정된 검색 조건을 충족하는, 전체 이벤트의 횟수는 43회이다. 그리고, 사용자가 검색 버튼(117)에 대하여 탭(Tab)을 수행하면, 도 22에 도시된 바와 같이, 상기 지정된 검색 조건을 충족하는 이벤트 들이 검색되어 출력된다. 만약, 이벤트가 발생한 경우에만 카메라(2)가 해당 영역에 대하여 촬영을 수행하였고, 이벤트가 종료된 경우 곧바로 촬영도 종료하였다면, 하나의 영상(112)에는 하나의 이벤트의 내용이 촬영되어 있을 것이다. 이러한 경우, 상기 검색된 영상(112)들의 개수는 43개가 된다. 그리고 상기 각각의 영상(112)들을 재생시키면, 사용자는 발생한 이벤트들을 확인할 수 있다.
지금까지, 사용자가 이벤트 검색을 하기 위하여, 위치 조건을 지정하는 방법에 대하여 기술하였다. 이러한 방법은 이벤트 검색 장치(1)의 UI(User Interface)를 통해 실시될 수 있다. 이하, 사용자가 상기의 방법을 통해 위치 조건을 지정하는 경우, 본 발명의 일 실시예에 따른 이벤트 검색 장치(1)가 이벤트를 검색하는 동작에 대하여 기술한다.
도 23은 본 발명의 일 실시예에 따른 카메라(2)의 상세한 구성을 나타낸 블록도이다.
카메라(2)는 이미지 신호를 수신하는 촬상부(21), 이벤트 검색 장치(1)로 영상(112) 및 데이터를 전송하는 제2 통신부(24), 이벤트의 발생 여부를 판단하는 이벤트 발생 판단부(22), 이벤트가 발생하면 상기 이벤트에 대한 정보를 이용하여 메타데이터(5)를 생성하는 메타데이터 생성부(23)를 포함한다.
촬상부(21)는 특정 영역에 대한 이미지 신호를 수신한다. 촬상부(21)에는 일반적으로 CCD(Charge Coupled Device, 전하결합소자)나 CMOS 이미지 센서 등의 촬상 소자가 포함된다. CCD는 복수의 포토다이오드(Photodiode)에 광이 조사되면 광전효과에 의해 발생한 전자들을 축적시킨 후 전송하는 방식이다. 이 때, 광자의 양에 따라 발생하는 전자량의 변화를 분석하고 정보를 재구성함으로써, 화면을 이루는 이미지 정보가 생성된다. CCD는 화질이 선명하고 노이즈가 적다는 장점이 있으나, 전력소비가 높고 처리속도가 느리다는 단점이 있다.
CMOS 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor)를 이용하는 이미지 센서로서, 각 셀마다 증폭기가 있어 광에 의해 발생한 전자를 곧바로 전기신호로 증폭시켜 전송하는 방식이다. CMOS 이미지 센서는 가격이 저렴하고 전력소비가 낮으며 처리속도가 빠르나, 노이즈가 많다는 단점이 있다.
이벤트 발생 판단부(22)는 이벤트의 발생 여부를 판단한다. 이벤트가 발생하면, 카메라(2)의 영상(112)을 자체적으로 분석하여 판단할 수도 있고, 별도의 센서(3)가 마련되어 센서(3)로부터 생성된 신호를 수신함으로써 판단할 수도 있다. 만약, 센서(3)를 통해 이벤트의 발생을 판단한다면, 센서(3)의 종류로는 사람 또는 동물의 움직임을 감지하는 모션 감지 센서, 주변의 소리를 감지하는 소리 감지 센서, 주변의 온도를 감지하는 온도 감지 센서, 가스 발생을 감지하는 가스 감지 센서 등이 있다. 센서(3)는 이에 제한되지 않고, 어떠한 종류의 이벤트가 발생하더라도 이를 감지할 수 있다면, 다양한 종류의 센서(3)가 사용될 수 있다.
그러나 만약, 카메라(2)의 영상(112)을 자체적으로 분석하여 이벤트의 발생을 판단한다면, 평상시의 영상(112)을 미리 확보한 후 영상(112)의 프레임 내에서 픽셀값의 변화를 통해 이벤트의 발생을 판단한다. 이러한 경우, 영상(112)을 통해 객체(4)의 움직임, 화재, 지진 등의 이벤트의 발생을 구체적이고 용이하게 판단할 수 있다. 이벤트 발생 판단부(22)가 이벤트의 발생을 판단하는 과정에 대한 자세한 설명은 후술한다.
메타데이터 생성부(23)는 이벤트가 발생하면 상기 이벤트에 대한 정보를 이용하여 메타데이터(5)를 생성한다. 메타데이터(5)란, 특정 데이터에 대한 설명을 기술하고 유형을 정리한 데이터이다. 본 발명의 일 실시예에 따른 메타데이터(5)에 대한 자세한 설명은 후술한다.
제2 통신부(24)는 이벤트 검색 장치(1)와 유무선으로 신호 및 데이터를 송수신한다. 예를 들어, 상기 제2 통신부(24)는 신호 및 데이터를 변조 및 주파수 업컨버팅하여 이벤트 검색 장치(1)로 송신하거나, 이벤트 검색 장치(1)로부터 수신되는 신호 및 데이터를 주파수 다운컨버팅 및 복조한다. 이러한 과정으로, 제2 통신부(24)는 이벤트 검색 장치(1)로부터 데이터를 전송받거나 신호를 수신할 수 있고, 영상 데이터, 메타데이터(5) 또는 신호를 이벤트 검색 장치(1)로 송신할 수도 있다.
도 24는 본 발명의 일 실시예에 따른 제어부(14)의 상세한 구성을 나타낸 블록도이다.
제어부(14)는 메타데이터(5)를 분석하는 메타데이터 분석부(143), 이벤트가 발생하면 영상(112)과 대응되도록 영상(112)을 매핑하여 서치 맵(6)을 생성하는 서치 맵 생성부(144), 상기 생성된 서치 맵(6)에 타임스탬프(61) 및 플래그(62)를 설정하는 타임스탬프 및 플래그 설정부(145), 사용자의 명령에 따라 데이터를 검색하는 데이터 검색부(146)를 포함한다.
메타데이터 분석부(143)는 상기 생성된 메타데이터(5)를 분석한다. 본 발명의 일 실시예에 따른 메타데이터(5)에는 식별된 객체(4), 이벤트의 발생 위치, 이벤트의 발생 시간 등에 대한 정보가 포함되어 있다. 메타데이터 분석부(143)는 메타데이터(5)들을 분석하여 이러한 정보들을 추출하고, 타임스탬프 및 플래그 설정부(145)에 전송한다.
서치 맵 생성부(144)는 이벤트가 발생하면 영상(112)과 대응되도록 영상(112)을 매핑하여 서치 맵(6)을 생성한다. 카메라(2)로부터 메타데이터(5)가 전송되면, 서치 맵 생성부(144)는 메타데이터(5)가 전송된 사실을 인지하고, 저장부(13)에 이미 생성되어 저장된 서치 맵(6)이 있는지 확인한다. 그리고, 이미 생성된 서치 맵(6)이 저장되어 있다면, 서치 맵(6)을 생성할 필요가 없으나, 저장된 서치 맵(6)이 없다면, 서치 맵(6)을 새롭게 생성한다.
서치 맵(Search Map, 6)이란, 상기 영상(112)과 대응되도록 상기 영상(112)을 매핑하여, 이벤트가 발생한 지점에 대하여 타임스탬프(61) 및 플래그(62)를 설정할 수 있는 공간을 말한다. 사용자가 이벤트를 검색하기 위하여 검색 조건을 입력하면, 데이터 검색부(146)는 상기 서치 맵(6)에 설정된 타임스탬프(61) 및 플래그(62)를 검색함으로써 원하는 검색 결과를 빠르게 출력할 수 있다. 따라서, 서치 맵(6)은 미리 서지 정보들을 모아서 한번에 입력해놓고, 추후에 서치 맵(6)만을 검색하면 전체 이벤트를 검색할 수 있는 검색 도구와 같은 개념이다.
서치 맵(6)은 이벤트 검색이 용이하도록, 이벤트 검색 장치(1) 내부적으로 생성되는 공간이다. 따라서, 물리적으로 실재하거나, 화면부(11)를 통해 디스플레이 되어 사용자의 육안으로 확인할 수 있는 개념이 아니다. 그러나 이에 제한되지 않고, 사용자의 명령에 따라 서치 맵(6)이 화면부(11)를 통해 디스플레이 될 수도 있다.
서치 맵(6)은 영상(112)과 대응되므로, 화면부(11)를 통해 디스플레이 되는 영상(112)이 사각형이라면, 서치 맵(6) 또한 사각형이다. 그리고 영상(112)의 화면비(가로세로비, Aspect Ratio)와 서치 맵(6)의 화면비는 동일한 것이 바람직하다. 그러나, 서치 맵(6)은 영상(112)의 시간 및 좌표만이 대응되면 족하므로, 영상(112)의 해상도, FPS, 비트레이트 등은 서치 맵(6)에 영향을 미치지 않는다. 따라서, 영상(112)의 해상도, FPS, 비트레이트 등이 변경되더라도 서치 맵(6)을 통한 검색에 장애가 되지 않는다. 또한, 서치 맵(6)은 일정한 크기의 복수의 블록들로 분할되어 형성될 수 있다. 이러한 복수의 블록들은, 추후에 데이터 검색부(146)가 데이터를 검색을 할 때, 영역에 대한 검색 조건의 기준이 된다.
타임스탬프 및 플래그 설정부(145)는, 서치 맵(6) 상에서 타임스탬프(61) 및 플래그(62)를 설정한다. 메타데이터 분석부(143)가 메타데이터(5) 내에 포함된 정보들을 타임스탬프 및 플래그 설정부(145)에 전송하면, 타임스탬프 및 플래그 설정부(145)는 상기 정보들을 토대로 타임스탬프(61) 및 플래그(62)를 서치 맵(6) 상에 설정하게 된다. 서치 맵(6) 상에 타임스탬프(61) 및 플래그(62)를 설정하는 과정에 대한 자세한 설명은 후술한다.
데이터 검색부(146)는 사용자의 명령에 따라 이벤트 데이터를 검색한다. 사용자는 이벤트 데이터를 검색하기 위해 시간 조건과 위치 조건 등과 같은 검색 조건을 지정하게 된다. 그리고 데이터 검색부(146)는 상기 기술한 바와 같이 상기 서치 맵(6)에 설정된 타임스탬프(61) 및 플래그(62)를 검색함으로써 상기 지정된 검색 조건에 부합하는 검색 결과를 빠르게 출력할 수 있다. 상기 지정된 검색 조건에 부합하는 타임스탬프(61) 및 플래그(62)를 검색하면, 상기 검색된 타임스탬프(61) 및 플래그(62)에 대응되는 메타데이터(5)를 도출할 수 있고, 상기 도출된 메타데이터(5)와 대응되는 영상 데이터를 저장부(13)로부터 로딩하여 화면부(11)에 출력할 수 있다.
도 25는 본 발명의 일 실시예에 따른 이벤트 발생 판단부(22)의 상세한 구성을 나타낸 블록도이다.
이벤트 발생 판단부(22)는 카메라(2)의 영상을 자체적으로 분석하거나, 센서(3)로부터 생성된 신호를 수신함으로써, 이벤트의 발생 여부를 판단한다. 이벤트 발생 판단부(22)는 평상시 입력되는 값들을 누적하여 대표값을 연산하는 누적 대표값 연산부(221), 상기 연산된 누적 대표값과 새롭게 수신된 값을 비교하여 이벤트 발생 여부를 판단하는 비교부(222), 규칙적, 반복적으로 발생하는 이벤트와 같이 특수성이 없는 이벤트인지 여부를 판단하는 예외 판단부(223)를 포함한다.
누적 대표값 연산부(221)는 우선, 카메라(2)의 촬상부(21) 또는 센서(3)로부터 데이터 구축 기간 동안 영상, 음성 또는 기타 신호를 수신한다. 그리고 평상시 입력되는 값들을 누적하여 대표값을 연산한다. 예를 들면, 소리 감지 센서가 설치된 후, 대략 일주일 정도 주변에서 발생하는 각종 소리를 입력받는다. 그리고, 누적 대표값 연산부(221)는 수신된 소리의 크기를 누적하여 평균값을 연산한다.
상기 평균값은 산술 평균, 기하 평균, 조화 평균 등 다양한 평균 계산법을 사용하여 연산될 수 있다. 또한, 대표값으로 상기의 예시에서는, 평균을 연산한 것으로 기술하였으나, 이에 제한되지 않고 최빈값, 중앙값 등의 다양한 대표값을 사용할 수 있다.
데이터 구축 기간은 평상시 입력되는 값들을 수신하는 기간이다. 상기의 예시에서는 대략 일주일을 데이터 구축 기간으로 설정하였으나, 이에 제한되지 않고 다양하게 설정될 수 있다. 데이터 구축 기간은 종기가 고정된 기간이 아니며, 시간의 흐름에 따라 현재의 시점이 항상 종기가 되는 것이 바람직하다. 따라서, 값들이 새롭게 수신될 때마다, 비교부(222)에서는 누적 대표값과 비교하는 동시에, 누적 대표값 연산부(221)는 새롭게 수신된 값을 누적 대표값에 반영하여 실시간으로 업데이트를 한다. 만약, 데이터 구축 기간이, 상기의 예시에서 일주일과 같이, 특정 기간으로 정해져 있다면, 종기는 현재의 시점이고 시기는 종기로부터 특정 기간만큼 소급된 시점이다. 그러나 만약, 데이터 구축 기간의 시기가 특정 시점으로 정해져 있다면, 데이터 구축 기간은 상기 특정 시점부터 현재의 시점까지의 기간이 된다. 즉, 데이터 구축 기간과 그 시기는, 둘 중 하나가 고정되면 나머지 하나는 유동적으로 변화한다. 다만, 이에 제한되지 않고 시기, 종기, 기간을 모두 고정시킬 수도 있는 등 데이터 구축 기간은 다양하게 형성될 수 있다.
누적 대표값 연산부(221)는 특정 시간대 마다 누적 대표값을 다르게 연산할 수 있다. 예를 들어, 근처에 공사장이 있는 경우에는 시끄러운 소리가 발생하게 된다. 그런데, 근처의 공사장에서 발생하는 소리가 대부분 오전 9시부터 오후 5시까지의 시간에 발생하는 경우, 데이터 구축 기간 동안 누적된 과거의 통계 자료들을 토대로 오전 9시부터 오후 5시까지에는 제1 누적 대표값을 연산하고, 그 외의 시간에는 제2 누적 대표값을 연산하여 별도의 기준을 형성할 수 있다.
비교부(222)는, 상기 연산된 누적 대표값과 새롭게 수신된 값을 비교하여 이벤트 발생 여부를 판단한다. 상기의 예시에서, 연산된 누적 대표값을 미리 저장하고, 임의의 소리가 발생하였을 때, 비교부(222)는 누적 대표값과 새롭게 입력된 소리의 크기를 비교한다. 그리고, 소리의 크기가 누적 대표값보다 크다면 소리 이벤트가 발생한 것으로 판단하고, 소리의 크기가 누적 대표값보다 작다면 소리 이벤트가 발생하지 않은 것으로 판단한다.
예외 판단부(223)은 규칙적, 반복적으로 발생하는 이벤트와 같이 예측이 가능한 이벤트인지 여부를 판단한다. 예를 들어 뻐꾸기 시계의 경우, 초기에는 뻐꾸기 시계의 소리는 평상시 누적되었던 누적 대표값보다 클 것이므로, 비교부(222)는 이벤트가 발생한 것으로 판단한다. 그러나, 뻐꾸기 시계는 매 시간 정각이 되면, 해당되는 시간에 대응되는 횟수만큼 울리게 된다. 예외 판단부(223)는 데이터 구축 기간 동안 누적된 과거의 통계 자료들을 토대로 매 시간 정각에 울리는 뻐꾸기 시계의 소리는 예측이 가능하므로, 이벤트가 아닌 것으로 판단한다.
예외 판단부(223)는 규칙성 만으로 예측 가능한 이벤트인지를 판단하는 것은 아니다. 예를 들어, 근처에 공사장이 있는 경우에는 시끄러운 소리가 발생하게 된다. 그런데 테이블 위에 올려져 있던 유리컵이 단단한 바닥으로 떨어져 파손되면, 공사장에서 발생하는 소리와는 다른 파형의 소리가 발생한다. 이러한 경우에는, 비록 누적 대표값보다 큰 소리가 아니더라도, 예외 판단부(223)는 공사장에서 발생하는 소리는 이벤트가 발생하지 않은 것으로 판단하고, 유리컵이 파손되어 발생하는 소리는 이벤트가 발생한 것으로 판단한다.
상기의 예시는 소리 이벤트의 경우를 예로 들었으나, 모션 이벤트의 경우에는 영상의 픽셀값을 누적하여 대표값으로 연산하고, 변화량을 판단할 수 있다. 즉, 이벤트 발생 판단부(22)는 제한되지 않고 다양한 종류의 이벤트 발생 여부를 판단할 수 있다.
도 26은 본 발명의 일 실시예에 따른 카메라(2)가 획득한 영상(112)에서 이벤트가 발생하는 모습을 나타낸 도면이고, 도 27은 도 26에서의 모션 이벤트를 발생시키는 객체(4)를 식별하는 모습을 나타낸 도면이다.
카메라(2)가 특정 영역을 촬영하는 도중에 이벤트가 발생하면, 이벤트 발생 판단부(22)는 이벤트의 발생을 판단한다. 예를 들어 도 26에 도시된 바와 같이, 테이블 위에 올려져 있던 유리컵이 떨어졌다고 가정한다. 그리고 이하, 상기의 예시를 모션 이벤트가 발생한 것으로 먼저 설명한다.
카메라(2)의 촬상부(21)는 테이블 근방의 영역을 촬영하여 영상(112)을 획득하고, 이벤트 발생 판단부(22)는 유리컵이라는 객체(4)의 모션으로 인해 영상(112)의 프레임 내에서 픽셀값의 변화가 발생하면 모션 이벤트의 발생을 인식한다. 그리고, 도 27에 도시된 바와 같이, 모션 이벤트의 발생을 일으키는 객체(4)를 식별해 낸다.
이벤트 발생 판단부(22)가 객체(4)를 식별하면, 도 27에 도시된 바와 같이 영상(112) 상에서 객체(4)의 주위를 윈도우(41)로 포위한다. 윈도우(41)란 영상(112) 상에서 객체(4)를 둘러싸도록 단일폐곡선의 형태로 형성되며, 도 27에 도시된 바와 같이 사각형의 모양을 가지는 것이 바람직하다.
도 28은 모션 이벤트가 발생하는 경우 생성되는 본 발명의 일 실시예에 따른 메타데이터(5)의 예시도이다.
상기 기술한 바와 같이 이벤트가 발생하면, 메타데이터 생성부(23)는 상기 이벤트에 대한 정보를 이용하여 메타데이터(5)를 생성한다. 메타 데이터란, 특정 데이터의 검색을 용이하게 하기 위해 상기 특정 데이터에 대한 설명을 기술하고 유형을 정리한 데이터이다. 이 때, 특정 데이터는 음악, 동영상 등의 크기가 크고 검색이 용이하지 않은 데이터라면, 메타 데이터(5)는 문자열로 이루어져 크기가 매우 작고 검색이 용이하다.
도 28에 도시된 바와 같이 메타데이터(5)에는 식별된 객체(4)에 대한 고유 ID, 식별된 객체(4)의 개수, 객체(4)의 위치, 이벤트 발생 시간 등에 대한 정보가 포함되어 있다. 구체적으로 도 28에 도시된 utc란 이벤트가 발생한 시간에 대한 정보, numObj는 식별된 객체(4)의 개수, event.type은 발생한 이벤트의 종류를 나타낸다. 예를 들어, 발생한 이벤트가 모션 이벤트라면 1, 소리 이벤트라면 2 등의 숫자로 표시될 수 있다. obj[0].left, right, top, bottom 등은 객체(4)의 위치, 즉 객체(4)를 포위하는 윈도우(41)의 각 꼭지점의 위치에 대한 좌표 정보이다. 그리고 obj[0].objID는 객체(4)의 고유의 식별자를 나타내는 ID이다. 만약 하나의 객체(4)가 이동하거나 잠시 사라진 후 다시 출몰하더라도, 카메라(2)는 동일한 객체(4)로 식별하여 여전히 동일한 ID를 부여한다. 그러나 하나의 객체(4)가 사라진 후, 다른 객체(4)가 출몰한다면 카메라(2)는 다른 객체(4)로 식별하여 새로운 ID를 부여한다. 따라서, 이벤트 검색 장치(1)는 특정 객체(4)에 대한 추적도 용이하게 할 수 있다.
도 29는 본 발명의 일 실시예에 따른 서치 맵(6) 상에서, 도 27에서의 모션 이벤트가 발생한 지점과 대응되는 지점에 타임스탬프(61) 및 플래그(62)가 설정되는 모습을 나타낸 개념도이다.
본 발명의 일 실시예에 따른 메타데이터(5)는 이벤트가 발생한 경우에 생성된다. 이벤트가 발생하지 않으면 메타데이터(5)에 포함되는 정보가 없으므로, 메타데이터(5)가 생성될 필요가 없기 때문이다. 따라서 평상시에는, 카메라(2)는 이벤트 검색 장치(1)에 영상 데이터만을 전송한다. 그러나, 이벤트가 발생하면, 카메라(2)는 이벤트 검색 장치(1)에 영상 데이터뿐만 아니라 메타데이터(5)도 함께 전송한다.
이벤트 검색 장치(1)가 카메라(2)로부터 메타데이터(5)를 전송받으면, 서치 맵 생성부(144)는 메타데이터(5)가 전송된 사실을 인지하고, 저장부(13)에 이미 생성되어 저장된 서치 맵(6)이 있는지 확인한다. 그리고, 이미 서치 맵(6)이 저장되어 있다면, 서치 맵(6)을 생성할 필요가 없으나, 저장된 서치 맵(6)이 없다면, 이벤트가 발생한 영상(112)과 대응되도록 영상(112)을 매핑하여 서치 맵(6)을 새롭게 생성한다.
한편, 메타데이터 분석부(143)는 상기 전송된 메타데이터(5)를 분석하여, 메타데이터(5)에 포함된 정보들을 타임스탬프 및 플래그 설정부(145)에 전송한다. 그리고, 타임스탬프 및 플래그 설정부(145)는 상기 정보들을 토대로 상기 생성된 서치 맵(6) 상에서, 영상(112)에서 이벤트가 발생한 지점과 대응되는 지점에 타임스탬프(61) 및 플래그(62)를 설정한다. 상기 두 지점이 정확하게 대응될 필요는 없다. 그러나 적어도, 서치 맵(6)에 형성된 복수의 블록 중, 이벤트가 발생한 지점과 대응되는 하나의 블록 내에 포함되도록 타임스탬프(61) 및 플래그(62)를 설정하는 것이 바람직하다.
타임스탬프(61)는 어떠한 데이터가 생성 또는 변경된 특정 시각을 나타내는 표시를 말한다. 그리고 플래그(62)는 특정 상태의 성립 여부를 식별하거나, 약속된 신호를 남기기 위해 사용되는 표시로서, 본 발명의 일 실시예에 따른 플래그(62)는 발생한 이벤트의 종류를 표시한다. 즉, 플래그(62)를 통해, 발생한 이벤트가 모션 이벤트인지, 소리 이벤트인지 등을 알 수 있다.
도 29에 도시된 바와 같이, 타임스탬프(61) 및 플래그(62)가 설정되면, 서치 맵(6) 상에서 타임스탬프(61) 및 플래그(62)는 점(Point)으로 표시된다. 만약 발생한 이벤트가 모션 이벤트라면, 타임스탬프(61) 및 제1 플래그(62a)를 서치 맵(6) 상에서 설정할 때에는, 우선 영상(112)에서 객체(4)를 포위한 윈도우(41)가 서치 맵(6) 상에서도 표시된다고 가정한다. 여기서 제1 플래그(62a)란, 이벤트의 종류가 모션 이벤트라는 것을 나타내는 플래그(62)이다. 서치 맵(6) 상에서 표시되는 것으로 가정한 윈도우(41a)의 중심을 타임스탬프(61) 및 제1 플래그(62a)의 설정 지점으로 정한다. 따라서, 상기의 예시와 같이 테이블 위에 올려져 있던 유리컵이 떨어진 경우, 도 27에 도시된 바와 같이 유리컵을 포위하는 윈도우(41)와 서치 맵(6) 상에서 대응되는, 윈도우(41a)의 중심 지점에 타임스탬프(61) 및 제1 플래그(62a)를 설정한다. 다만, 이에 제한되지 않고 윈도우(41)의 네 꼭지점 가운데 임의의 하나의 꼭지점에 타임스탬프(61)를 설정하는 등 다양한 지점에 타임스탬프(61) 및 제1 플래그(62a)를 설정할 수 있다.
타임스탬프(61)와 플래그(62)는 역할이 다르지만, 서치 맵(6) 상에서는 동일한 지점에 표시된다. 따라서, 도 29에 도시된 바와 같이 서치 맵(6) 상에서는 하나의 표시만이 설정된 것으로 보여진다.
타임스탬프(61) 자체에는 단순히 이벤트 발생 시간에 대한 정보만이 담겨있다. 그리고 플래그(62) 자체에는 단순히 이벤트의 종류에 대한 정보만이 담겨있다. 그러나 서치 맵(6) 상에서 타임스탬프(61) 및 플래그(62)가 설정된 좌표가 이벤트 발생 위치를 나타낸다. 결과적으로는 타임스탬프(61) 및 플래그(62)를 통해 이벤트의 종류, 이벤트 발생 시간 및 위치를 모두 파악할 수 있다.
도 30은 도 26에서의 이벤트가 시간의 흐름에 따라 진행된 모습을 나타낸 도면이고, 도 31은 본 발명의 일 실시예에 따른 서치 맵(6) 상에서, 도 26에서의 모션 이벤트가 변화한 지점과 대응되는 지점에 타임스탬프(61) 및 제1 플래그(62a)가 설정되는 모습을 나타낸 개념도이다.
모션 이벤트가 발생한 후, 상기 객체(4)가 지속적으로 움직이게 되면, 시간의 흐름에 따라 모션 이벤트의 발생이 계속 진행된다. 상기의 예시에서, 테이블 위에 올려져 있던 유리컵이 바닥으로 떨어지기 시작하여, 유리컵이 파손될 때까지, 모션 이벤트의 발생이 계속 진행될 수 있다.
이 때에는 일정 시간 당 일정 횟수로 메타데이터(5)가 생성된다. 그리고, 각각의 메타데이터(5)에는 모션 이벤트가 진행됨에 따라 변화되는 이벤트 발생 시간과 변화되는 객체(4)의 위치 좌표가 각각 포함되어 있다.
이벤트 검색 장치(1)가 카메라(2)로부터 복수의 메타데이터(5)를 전송받고, 메타데이터 분석부(143)가 전송된 복수의 메타데이터(5)를 분석하면, 타임스탬프 및 플래그 설정부(145)는 메타데이터(5)에 포함된 정보를 토대로 도 31에 도시된 바와 같이, 서치 맵(6) 상에 복수의 타임스탬프(61) 및 제1 플래그(62a)를 설정한다. 이 때, 복수의 타임스탬프(61) 및 제1 플래그(62a)는, 변화되는 객체(4)의 위치 좌표와 대응되는 지점에 각각 설정된다. 타임스탬프(61) 및 제1 플래그(62a)가 설정되는 속도는, 메타데이터(5)가 생성된 속도와 일치하는 것이 바람직하다. 예를 들어, 메타데이터(5)가 1초당 10회 생성된다면, 타임스탬프(61) 및 제1 플래그(62a)도 서치 맵(6) 상에서 1초당 10회씩 설정된다.
타임스탬프(61) 및 플래그(62)가 설정되는 속도가 빠를수록 서치 맵(6)에 설정되는 타임스탬프(61) 및 플래그(62)의 개수가 많아진다. 따라서, 추후에 이벤트 검색 시 속도가 느려질 수 있다. 그러나 연속되는 이벤트의 발생에 타임스탬프(61) 및 플래그(62) 간의 간격이 좁아진다. 따라서, 발생된 이벤트가 진행되는 과정을 서치 맵(6) 상에 자세히 표시할 수 있다.
반면에, 타임스탬프(61) 및 플래그(62)가 설정되는 속도가 느릴수록 서치 맵(6)에 설정되는 타임스탬프(61) 및 플래그(62)의 개수가 적어진다. 따라서, 추후에 이벤트 검색 시 속도가 빨라질 수 있다. 그러나 타임스탬프(61) 및 플래그(62) 간의 간격이 넓어지므로, 발생된 이벤트가 진행되는 과정을 서치 맵(6) 상에 자세히 표시할 수가 없다. 따라서, 이벤트 검색 장치(1)의 성능 및 사용되는 주변 환경 등에 따라 타임스탬프(61) 및 플래그(62) 설정 속도는 다양하게 변경될 수 있다.
타임스탬프(61) 및 플래그(62)가 설정된 서치 맵(6)은 저장부(13)에 저장되고, 메타데이터(5)가 전송될 때마다 서치 맵(6)이 로딩되어, 타임스탬프(61)가 새롭게 설정되며 갱신된다.
한편, 소리 이벤트가 발생하는 경우에도 이벤트 발생 판단부(22)는 이벤트의 발생을 판단한다. 상기의 예시에서, 발생한 이벤트가 소리 이벤트로서, 테이블 위에 올려져 있던 유리컵이 단단한 바닥으로 떨어져 파손되면서 도 30에 도시된 바와 같이 소리가 발생할 수 있다. 이벤트 발생 판단부(22)가 소리 이벤트의 발생을 판단한 경우, 메타데이터 생성부(23)는 상기 이벤트에 대한 정보를 이용하여 메타데이터(5)를 생성한다.
도 32은 본 발명의 일 실시예에 따른 서치 맵(6) 상에서, 도 30에서의 소리 이벤트가 변화한 지점과 대응되는 지점에 타임스탬프(61) 및 제2 플래그(62b)가 설정되는 모습을 나타낸 개념도이다.
소리 이벤트에 대한 정보를 이용하여 메타데이터(5)를 생성하기 위해, 모션 이벤트와는 달리, 우선 소리가 발생한 음원의 위치를 파악해야 한다. 그러나, 음원의 위치는 모션 이벤트의 경우와 같이 영상의 분석만으로 파악하기는 어렵다. 따라서, 영상을 분석하는 방법이 아닌, 다른 방법을 사용하는 것이 바람직하다. 예를 들면, 소리 감지 센서를 복수로, 각각 이격되도록 설치한 후, 특정 소리가 발생하면 복수의 소리 감지 센서가 소리를 감지한 시간, 크기 등을 분석한다. 음원의 위치는 소리가 작게 감지된 소리 감지 센서보다, 소리가 크게 감지된 소리 감지 센서에 더욱 가깝다. 또한, 소리가 늦게 감지된 소리 감지 센서보다, 소리가 빠르게 감지된 소리 감지 센서에 더욱 가깝다. 이러한 원리를 토대로 소리의 속도, 소리 감지 센서 간의 거리 등을 함께 고려하면, 음원의 위치를 파악할 수 있다. 그리고, 소리 감지 센서의 개수가 많을수록, 음원의 위치를 더욱 정확하게 파악할 수 있다. 다만, 이에 제한되지 않고 소리가 발생한 음원의 위치를 파악할 수 있다면 다양한 방법을 사용할 수 있다.
메타데이터 생성부(23)가 소리 이벤트에 대한 정보를 이용하여 메타데이터(5)를 생성한다면, 객체(4)를 식별할 수 없으므로 객체(4)의 개수, 객체(4)의 고유 ID 등은 필요가 없다. 또한, 객체(4)를 포위하는 윈도우(41)가 존재하지 않으므로, 객체(4)의 위치 좌표도 포함되지 않는다. 다만, 소리가 발생한 음원의 개수, 음원의 위치 좌표 등이 포함된다. 그리고, 각각의 소리 감지 센서에서 감지한 음원의 크기 및 시간도 포함된다. 또한, 발생한 소리에도 ID를 부여할 수 있다. 소리의 주파수, 맵시 등의 파형을 분석하여, 한 번 발생한 소리와 동일한 소리가 수 초 내에 다시 발생한다면, 동일한 ID를 부여한다. 그리고 이벤트의 종류를 나타내는 event.type은 2로 표시될 수 있다. 다만, 이에 제한되지 않고, 메타데이터(5)는 발생한 이벤트에 대한 다양한 정보를 포함할 수 있다.
이벤트 검색 장치(1)가 카메라(2)로부터 메타데이터(5)를 전송받으면, 메타데이터 분석부(143)는 상기 전송된 메타데이터(5)를 분석하여, 메타데이터(5)에 포함된 정보들을 타임스탬프 및 플래그 설정부(145)에 전송한다. 그리고, 타임스탬프 및 플래그 설정부(145)는 상기 정보들을 토대로, 서치 맵(6) 상에서, 소리 이벤트가 발생한 위치 좌표와 대응되는 지점에 타임스탬프(61) 및 제2 플래그(62b)를 설정한다. 여기서 제2 플래그(62b)란, 이벤트의 종류가 소리 이벤트라는 것을 나타내는 플래그(62)이다
한편, 소리 이벤트가 발생하면, 소리는 음원을 중심으로 공기 또는 물 등을 매개로 하여 일정한 파장을 가지며 사방으로 퍼져나간다. 따라서, 상기의 예시에서, 유리컵이 파손되면서 발생한 소리와 같이 크기가 큰 소리의 경우에는 쉽게 퍼져나간다. 만약, 음원으로부터 발생한 소리의 파동이 전달되는 모든 지점에 대하여 타임스탬프(61) 및 제2 플래그(62b)를 설정한다면 이는 무의미한 설정이 될 것이다. 사용자가 위치 조건을 지정하여 이벤트 검색을 수행하게 되면, 이벤트가 발생한 위치 좌표의 정보를 이용하여 이벤트 검색의 결과를 도출한다. 그러나, 영상(112) 상에서 거의 모든 지점의 위치 좌표를 소리 이벤트가 발생한 것으로 판단하면, 사용자가 위치 조건을 지정하는 경우와 지정하지 않는 경우의 차이가 없기 때문이다.
이와 반면에, 만약, 모션 이벤트의 경우처럼 메타데이터(5)에 포함된 음원의 위치 좌표에 대응되는 지점에만 타임스탬프(61) 및 제2 플래그(62b)를 설정한다면, 사용자가 이벤트를 검색하기 위한 위치 조건을 입력하는 것이 매우 까다로울 것이다. 모션 이벤트와 달리, 소리 이벤트의 경우에는 이벤트가 발생하였을 때 사용자가 현장에 부재중이었다면, 추후에 이벤트를 검색할 때 이벤트가 발생된 위치를 정확히 알 수 없는 경우가 많이 때문이다.
따라서, 이벤트 발생 판단부(22)는 모션 이벤트의 경우와는 달리, 메타데이터(5)에 포함된 음원의 위치 좌표를 기준으로 타임스탬프(61) 및 제2 플래그(62b)를 설정할 범위를 정해야 한다. 상기의 범위는, 음원의 위치로부터 3차원의 모든 방향에 대하여 이격되어 있는 특정 거리만큼을 한도로 정한다. 따라서, 한도로 정해진 지점을 모두 연결하면, 음원의 위치를 중심으로 상기 특정 거리를 반지름으로 하는 구(Sphere)의 전부 또는 일부의 형상이 형성된다.
여기서 특정 거리는 사용자가 위치 조건을 지정하여 검색할 때, 발생한 소리 이벤트가 검색 결과로 도출되는지 여부를 결정하는 요소가 된다. 만약, 특정 거리가 너무 길다면 상기 기술한 바와 같이, 사용자가 위치 조건을 지정하는 경우와 지정하지 않는 경우의 차이가 없다. 반면에, 특정 거리가 너무 짧다면, 사용자가 소리의 음원에 매우 가까운 위치를 위치 조건으로 지정하여야만 검색 결과로 도출되므로 위치 조건의 입력이 매우 까다롭게 된다. 따라서, 상기 특정 거리는 본 발명의 일 실시예에 따른 이벤트 검색 장치를 사용하는 환경 또는 사용자의 의도 등을 종합하여 결정되는 것이 바람직하다.
도 33은 도 31 및 도 32에서 타임스탬프(61), 제1 플래그(62a) 및 제2 플래그(62b)가 하나의 서치 맵(6) 상에서 설정된 모습을 나타낸 개념도이다.
서치 맵(6)은 타임스탬프(61) 및 플래그(62)를 설정하여, 용이하게 이벤트 검색을 하기 위한 가상의 공간이다. 그리고, 이벤트의 종류는 플래그(62)를 통해 구분할 수 있다. 따라서, 이벤트의 종류에 따라 서치 맵(6)을 별도로 생성할 필요가 없다. 즉, 도 33에 도시된 바와 같이, 이벤트의 종류와 무관하게, 이벤트가 발생했다면 곧바로 하나의 서치 맵(6) 상에 타임스탬프(61) 및 플래그(62)를 설정하는 것이 바람직하다.
따라서 상기의 예시와 같이 테이블 위에 올려져 있던 유리컵이 떨어진 경우에는, 모션 이벤트와 소리 이벤트가 함께 발생한다. 따라서, 하나의 서치 맵(6)에, 객체(4)의 움직임에 따라 변화되는 객체(4)의 위치 좌표와 대응되는 지점에 타임스탬프(61) 및 제1 플래그(62a)가 각각 설정되고, 음원의 위치 좌표를 기준으로 특정 거리만큼 이격되어 있는 범위 내에 타임스탬프(61) 및 제2 플래그(62b)가 각각 설정된다.
도 34는 영상 상에서 검색하고자 하는 위치에 본 발명의 일 실시예에 따른 이벤트 검색 영역이 설정되는 모습을 나타낸 도면이고, 도 35는 본 발명의 일 실시예에 따른 서치 맵(5) 상에서, 도 34의 이벤트 검색 영역과 대응되는 영역이 지정되는 모습을 나타낸 개념도이다.
사용자가 이벤트 검색을 하기 위하여, 이벤트 검색 장치의 UI를 통해 위치 조건을 지정한다. 그리고, 위치 조건을 지정하는 방법에 대한 내용은 상기 도 8 내지 도 22에 대한 설명에서 모두 기술하였다. 즉, 사용자는 도 34에 도시된 바와 같이 영상 상에서 검색하고자 하는 위치에 이벤트 검색 영역을 설정한다.
영상(112) 상에서 이벤트 검색 영역(116)이 지정되었다면, 도 35에 도시된 바와 같이 이벤트 검색 영역(116a)이 서치 맵(5) 상에서도 표시된다. 한편, 상기 기술한 바와 같이, 서치 맵(5)은 일정한 크기의 복수의 블록들로 분할되어 형성된다. 그리고, 데이터 검색부(144)는 이벤트 검색 영역(116a)을 포함하는 블록들 내부에 타임스탬프(61) 및 플래그(62)가 존재하는 경우를 검색한다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 이벤트의 발생을 감지하여 신호를 생성하는 센서;
    상기 센서로부터 상기 신호를 수신하고, 감시 영역을 촬영하여 복수의 영상 프레임과, 상기 영상 프레임에 관한 메타데이터를 생성하는 카메라;
    상기 복수의 영상 프레임 및 상기 메타데이터를 상기 카메라로부터 전송받아 이벤트를 검색하는 이벤트 검색 장치를 포함하는 이벤트 검색 시스템으로서,
    상기 이벤트 검색 장치는,
    상기 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부;
    상기 이벤트를 검색하기 위한 검색 조건으로, 이벤트 검색 영역을 입력받는 사용자 인터페이스;
    상기 영상 프레임 상에 상기 이벤트 검색 영역을 표시하는 화면부; 및
    상기 메타데이터를 이용하여, 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 제어부를 포함하되,
    상기 이벤트 검색 영역은,
    상기 사용자에 의해 위치, 사이즈 및 모양 중 적어도 하나가 변경될 수 있는, 이벤트 검색 시스템.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 영상 프레임들과 대응되는 화면비를 가지며, 복수의 블록들로 구성된 서치 맵을 생성하는 서치 맵 생성부;
    상기 위치 정보를 기초로, 상기 서치 맵 상에서 상기 복수의 블록 중 대응되는 블록 내에, 타임스탬프 및 플래그를 설정하는 타임스탬프 및 플래그 설정부;
    상기 복수의 블록 중에서 상기 검색 위치를 포함하는 블록에 속하는 상기 타임스탬프 및 상기 플래그를 검색하고, 상기 복수의 영상 프레임 중에서 상기 검색된 타임스탬프 및 상기 플래그가 지시하는 영상 프레임에 관한 메타데이터를 대상으로 상기 이벤트 검색을 수행하는 이벤트 검색부를 더 포함하는, 이벤트 검색 시스템.
  3. 제2항에 있어서,
    상기 타임스탬프는,
    상기 이벤트의 발생 시간에 대한 정보를 포함하고,
    상기 플래그는,
    상기 이벤트의 종류에 대한 정보를 포함하는, 이벤트 검색 시스템.
  4. 제1항에 있어서,
    상기 메타데이터는,
    상기 이벤트를 발생시킨 객체의 식별자를 더 포함하고,
    상기 검색 조건은,
    이벤트 발생의 위치 조건을 포함하며,
    상기 위치 정보는,
    상기 객체의 2차원 평면 상의 좌표 정보인, 이벤트 검색 시스템.
  5. 제1항에 있어서,
    상기 카메라는,
    상기 감시 영역을 촬영하여 복수의 영상 프레임을 생성하는 촬상부;
    상기 센서로부터 상기 생성된 신호, 또는 상기 영상 프레임으로부터 상기 이벤트 발생 여부를 판단하는 이벤트 발생 판단부;
    상기 이벤트의 발생 시간 정보와 상기 위치 정보를 포함하는 상기 메타데이터를 생성하는 메타데이터 생성부; 및
    상기 생성된 영상 프레임 및 상기 메타데이터를 상기 제1 통신부로 송신하는 제2 통신부를 포함하는, 이벤트 검색 시스템.
  6. 제5항에 있어서,
    상기 이벤트 발생 판단부는,
    상기 영상 프레임 또는 상기 센서를 통해 데이터 구축 기간동안 입력되는 값들을 누적하여 대표값을 연산하는 누적 대표값 연산부;
    상기 연산된 누적 대표값과 새롭게 수신되는 값을 비교하여 상기 이벤트 발생 여부를 판단하는 비교부; 및
    상기 이벤트가 특수성이 없는 이벤트인지 여부를 판단하는 예외 판단부를 포함하는, 이벤트 검색 시스템.
  7. 제6항에 있어서,
    상기 비교부는,
    상기 새롭게 수신되는 값이 상기 누적 대표값보다 크다면 상기 이벤트가 발생한 것으로 판단하고,
    상기 새롭게 수신되는 값이 상기 누적 대표값보다 크지 않다면 상기 이벤트가 발생하지 않은 것으로 판단하는, 이벤트 검색 시스템.
  8. 감시 영역을 촬영하여 획득된 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부;
    상기 이벤트를 검색하기 위한 검색 조건으로, 이벤트 검색 영역을 입력받는 사용자 인터페이스;
    상기 영상 프레임 상에 상기 이벤트 검색 영역을 표시하는 화면부; 및
    상기 메타데이터를 이용하여, 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 제어부를 포함하되,
    상기 이벤트 검색 영역은,
    상기 사용자에 의해 위치, 사이즈 및 모양 중 적어도 하나가 변경될 수 있는, 이벤트 검색 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 영상 프레임들과 대응되는 화면비를 가지며, 복수의 블록들로 구성된 서치 맵을 생성하는 서치 맵 생성부;
    상기 위치 정보를 기초로, 상기 서치 맵 상에서 상기 복수의 블록 중 대응되는 블록 내에, 타임스탬프 및 플래그를 설정하는 타임스탬프 및 플래그 설정부;
    상기 복수의 블록 중에서 상기 검색 위치를 포함하는 블록에 속하는 상기 타임스탬프 및 상기 플래그를 검색하고, 상기 복수의 영상 프레임 중에서 상기 검색된 타임스탬프 및 상기 플래그가 지시하는 영상 프레임에 관한 메타데이터를 대상으로 상기 이벤트 검색을 수행하는 이벤트 검색부를 더 포함하는, 이벤트 검색 장치.
  10. 제9항에 있어서,
    상기 타임스탬프는,
    상기 이벤트의 발생 시간에 대한 정보를 포함하고,
    상기 플래그는,
    상기 이벤트의 종류에 대한 정보를 포함하는, 이벤트 검색 장치.
  11. 제8항에 있어서,
    상기 메타데이터는,
    상기 이벤트를 발생시킨 객체의 식별자를 더 포함하고,
    상기 검색 조건은,
    이벤트 발생의 위치 조건을 포함하며,
    상기 위치 정보는,
    상기 객체의 2차원 평면 상의 좌표 정보인, 이벤트 검색 장치.
  12. 제8항에 있어서,
    상기 카메라는,
    상기 감시 영역을 촬영하여 복수의 영상 프레임을 생성하는 촬상부;
    이벤트의 발생을 감지하는 센서로부터 상기 생성된 신호, 또는 상기 영상 프레임으로부터 상기 이벤트 발생 여부를 판단하는 이벤트 발생 판단부;
    상기 이벤트의 발생 시간 정보와 상기 위치 정보를 포함하는 상기 메타데이터를 생성하는 메타데이터 생성부; 및
    상기 생성된 영상 프레임 및 상기 메타데이터를 상기 제1 통신부로 송신하는 제2 통신부를 포함하는, 이벤트 검색 장치.
  13. 제12항에 있어서,
    상기 이벤트 발생 판단부는,
    상기 영상 또는 센서를 통해 데이터 구축 기간동안 입력되는 값들을 누적하여 대표값을 연산하는 누적 대표값 연산부;
    상기 연산된 누적 대표값과 새롭게 수신되는 값을 비교하여 상기 이벤트 발생 여부를 판단하는 비교부; 및
    상기 이벤트가 특수성이 없는 이벤트인지 여부를 판단하는 예외 판단부를 포함하는, 이벤트 검색 장치.
  14. 카메라가 감시 영역을 촬영하여 복수의 영상 프레임을 획득하는 단계;
    상기 카메라가 상기 복수의 영상 프레임을 토대로, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 생성하는 단계;
    이벤트 검색 장치가 상기 복수의 영상 프레임과 상기 메타데이터를 수신하는 단계;
    상기 이벤트를 검색하기 위한 검색 조건으로, 상기 이벤트 검색 장치가 이벤트 검색 영역을 입력받는 단계;
    상기 영상 프레임 상에 상기 이벤트 검색 영역이, 상기 이벤트 검색 장치의 화면부를 통해 표시되는 단계; 및
    상기 이벤트 검색 장치의 제어부가, 상기 메타데이터를 이용하여 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 단계를 포함하는 이벤트 검색 방법.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 영상 프레임들과 대응되는 화면비를 가지며, 복수의 블록들로 구성된 서치 맵을 생성하는 서치 맵 생성부;
    상기 위치 정보를 기초로, 상기 서치 맵 상에서 상기 복수의 블록 중 대응되는 블록 내에, 타임스탬프 및 플래그를 설정하는 타임스탬프 및 플래그 설정부;
    상기 복수의 블록 중에서 상기 검색 위치를 포함하는 블록에 속하는 상기 타임스탬프 및 상기 플래그를 검색하고, 상기 복수의 영상 프레임 중에서 상기 검색된 타임스탬프 및 상기 플래그가 지시하는 영상 프레임에 관한 메타데이터를 대상으로 상기 이벤트 검색을 수행하는 이벤트 검색부를 더 포함하는, 이벤트 검색 방법.
  16. 제15항에 있어서,
    상기 타임스탬프는,
    상기 이벤트의 발생 시간에 대한 정보를 포함하고,
    상기 플래그는,
    상기 이벤트의 종류에 대한 정보를 포함하는, 이벤트 검색 방법.
  17. 제15항에 있어서,
    상기 메타데이터는,
    상기 이벤트를 발생시킨 객체의 식별자를 더 포함하고,
    상기 검색 조건은,
    이벤트 발생의 위치 조건 및 이벤트 발생의 시간 조건을 포함하며,
    상기 위치 정보는,
    상기 객체의 2차원 평면 상의 좌표 정보인, 이벤트 검색 방법.
  18. 제14항에 있어서,
    상기 카메라는,
    상기 감시 영역을 촬영하여 복수의 영상 프레임을 생성하는 촬상부;
    이벤트의 발생을 감지하는 센서로부터 상기 생성된 신호, 또는 상기 영상 프레임으로부터 상기 이벤트 발생 여부를 판단하는 이벤트 발생 판단부;
    상기 이벤트의 발생 시간 정보와 상기 위치 정보를 포함하는 상기 메타데이터를 생성하는 메타데이터 생성부; 및
    상기 생성된 영상 프레임 및 상기 메타데이터를 상기 제1 통신부로 송신하는 제2 통신부를 포함하는, 이벤트 검색 방법.
  19. 제18항에 있어서,
    상기 이벤트 발생 판단부는,
    상기 영상 또는 센서를 통해 데이터 구축 기간동안 입력되는 값들을 누적하여 대표값을 연산하는 누적 대표값 연산부;
    상기 연산된 누적 대표값과 새롭게 수신되는 값을 비교하여 상기 이벤트 발생 여부를 판단하는 비교부; 및
    상기 이벤트가 특수성이 없는 이벤트인지 여부를 판단하는 예외 판단부를 포함하는, 이벤트 검색 방법.
  20. 제19항에 있어서,
    상기 비교부는,
    상기 새롭게 수신되는 값이 상기 누적 대표값보다 크다면 상기 이벤트가 발생한 것으로 판단하고,
    상기 새롭게 수신되는 값이 상기 누적 대표값보다 크지 않다면 상기 이벤트가 발생하지 않은 것으로 판단하는, 이벤트 검색 방법.
PCT/KR2016/009698 2016-08-18 2016-08-31 이벤트 검색 시스템, 장치 및 방법 WO2018034377A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/313,877 US11086933B2 (en) 2016-08-18 2016-08-31 Event search system, device, and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160104593A KR102673041B1 (ko) 2016-08-18 2016-08-18 이벤트 검색 시스템, 장치 및 방법
KR10-2016-0104593 2016-08-18

Publications (1)

Publication Number Publication Date
WO2018034377A1 true WO2018034377A1 (ko) 2018-02-22

Family

ID=61196676

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/009698 WO2018034377A1 (ko) 2016-08-18 2016-08-31 이벤트 검색 시스템, 장치 및 방법

Country Status (3)

Country Link
US (1) US11086933B2 (ko)
KR (1) KR102673041B1 (ko)
WO (1) WO2018034377A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866697B2 (en) * 2017-10-24 2020-12-15 Microchip Technology Incorporated Touch-sensitive user-interface including configurable virtual widgets
US11405581B2 (en) * 2017-12-26 2022-08-02 Pixart Imaging Inc. Motion detection methods and image sensor devices capable of generating ranking list of regions of interest and pre-recording monitoring images
KR102252662B1 (ko) * 2019-02-12 2021-05-18 한화테크윈 주식회사 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법
US20220165304A1 (en) * 2020-11-24 2022-05-26 Nvidia Corporation Trigger-responsive clip extraction based on remote analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070248244A1 (en) * 2006-04-06 2007-10-25 Mitsubishi Electric Corporation Image surveillance/retrieval system
US20120173577A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Searching recorded video
KR20120113014A (ko) * 2011-04-04 2012-10-12 주식회사 아이티엑스시큐리티 영상인식장치 및 그 영상 감시방법
KR20120130936A (ko) * 2011-05-24 2012-12-04 삼성테크윈 주식회사 감시 시스템
KR20140141025A (ko) * 2013-05-31 2014-12-10 삼성에스디에스 주식회사 영상 검색 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090265747A1 (en) 2008-03-17 2009-10-22 Canada Anv Systems Inc. Systems and methods for providing web based self serviced video monitoring and security features for systems comprising ip video terminals and servers
US9141640B2 (en) 2008-07-09 2015-09-22 MLSListings, Inc. Methods and systems of advanced real estate searching
US9141859B2 (en) * 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
US8798318B2 (en) * 2012-01-18 2014-08-05 Xerox Corporation System and method for video episode viewing and mining
JP5248685B1 (ja) 2012-01-20 2013-07-31 楽天株式会社 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070248244A1 (en) * 2006-04-06 2007-10-25 Mitsubishi Electric Corporation Image surveillance/retrieval system
US20120173577A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Searching recorded video
KR20120113014A (ko) * 2011-04-04 2012-10-12 주식회사 아이티엑스시큐리티 영상인식장치 및 그 영상 감시방법
KR20120130936A (ko) * 2011-05-24 2012-12-04 삼성테크윈 주식회사 감시 시스템
KR20140141025A (ko) * 2013-05-31 2014-12-10 삼성에스디에스 주식회사 영상 검색 장치 및 방법

Also Published As

Publication number Publication date
US11086933B2 (en) 2021-08-10
KR20180020374A (ko) 2018-02-28
KR102673041B1 (ko) 2024-06-07
US20190146996A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
AU2014297039B2 (en) Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
WO2018034377A1 (ko) 이벤트 검색 시스템, 장치 및 방법
WO2017039308A1 (en) Virtual reality display apparatus and display method thereof
WO2017119664A1 (en) Display apparatus and control methods thereof
EP3281058A1 (en) Virtual reality display apparatus and display method thereof
WO2014175592A1 (en) Moving robot, user terminal apparatus and control method thereof
WO2017078361A1 (en) Electronic device and method for recognizing speech
KR102644782B1 (ko) 모니터링 장치 및 시스템
WO2018124510A1 (ko) 이벤트 저장 장치, 이벤트 검색 장치, 및 이벤트 알람 장치
WO2017018683A1 (en) User terminal apparatus and controlling method thereof
WO2014025185A1 (en) Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
WO2014133219A1 (en) Digital device and method for controlling the same
KR102249498B1 (ko) 이벤트 검색 장치 및 시스템
WO2016028042A1 (en) Method of providing visual sound image and electronic device implementing the same
US10791258B2 (en) Monitoring apparatus and system
WO2015186964A1 (ko) 촬영 장치 및 촬영 장치의 비디오 생성방법
WO2015005722A1 (en) Mobile device, display apparatus and method for sharing contents thereof
WO2015182811A1 (ko) 사용자 인터페이스 제공 장치 및 방법
WO2017176066A2 (en) Electronic apparatus and operating method thereof
WO2018048178A1 (en) Display device
WO2022240274A1 (ko) 로봇 장치, 그 제어 방법, 및 프로그램이 기록된 기록매체
WO2018021609A1 (ko) 검색 장치
WO2017209342A1 (ko) 모니터링 장치 및 모니터링 시스템
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
WO2018131747A1 (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16913560

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16913560

Country of ref document: EP

Kind code of ref document: A1