WO2018135695A1 - 모니터링 장치 및 시스템 - Google Patents

모니터링 장치 및 시스템 Download PDF

Info

Publication number
WO2018135695A1
WO2018135695A1 PCT/KR2017/002229 KR2017002229W WO2018135695A1 WO 2018135695 A1 WO2018135695 A1 WO 2018135695A1 KR 2017002229 W KR2017002229 W KR 2017002229W WO 2018135695 A1 WO2018135695 A1 WO 2018135695A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
event
unit
metadata
Prior art date
Application number
PCT/KR2017/002229
Other languages
English (en)
French (fr)
Inventor
이호정
김주복
조미란
김연우
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to CN201780080760.XA priority Critical patent/CN110140153A/zh
Publication of WO2018135695A1 publication Critical patent/WO2018135695A1/ko
Priority to US16/446,895 priority patent/US11495103B2/en
Priority to US17/982,741 priority patent/US20230067154A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19684—Portable terminal, e.g. mobile phone, used for viewing video remotely
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to a monitoring device and system, and more particularly, even if a user does not select and confirm which image a pet or a young child exists among a plurality of images, the pet or young child may be monitored immediately.
  • the present invention relates to a monitoring device and a system that can be used.
  • surveillance systems are widely used in various places, including banks, department stores, and residential areas. This surveillance system can be used for crime prevention and security purposes.
  • the most commonly used surveillance system is a closed-circuit television system, in which a camera is installed at an appropriate position to capture an area to be monitored, and a user can monitor by monitoring a video captured by the camera. CCTV) system.
  • the monitoring device lists the user to select one image among the images of the plurality of home cameras. Provided. However, the user could not know which of the plurality of home cameras is currently photographing a pet or a young child.
  • the problem to be solved by the present invention is a monitoring device and system that can immediately monitor the pet or young child, even if the user does not select and confirm which one of the plurality of images the pet or young child present in the image To provide.
  • a plurality of cameras installed in a room acquires images by capturing specific regions, respectively, streaming data and metadata of the images are transmitted from the plurality of cameras, respectively.
  • Receiving communication unit A metadata analyzer configured to analyze the received metadata and extract information on the generated event;
  • An image selecting unit which selects an image including a region where an event occurs among the plurality of images based on the extracted event information;
  • a screen unit which receives the selected image from the image selection unit and displays the image immediately after the operation is executed.
  • a plurality of cameras installed in a room acquires images by capturing specific regions, respectively, streaming data and metadata of the images are transmitted from the plurality of cameras, respectively.
  • Receiving communication unit A metadata analyzer configured to analyze the received metadata and extract information on the generated event;
  • An image selecting unit which selects an image including a region where an event occurs among the plurality of images based on the extracted event information;
  • a screen unit which receives and displays the selected image from the image selector;
  • a storage unit which stores the streaming data and the metadata of the transmitted video.
  • a monitoring system for solving the above problems is installed in a plurality, each comprising a plurality of imaging section for capturing a specific area to obtain an image and an event occurrence determination unit for determining whether an event occurs from the image; camera; And a communicator configured to receive streaming data and metadata of the video from a plurality of cameras, and an image selector configured to select an image including an area where an event occurs among the images based on the information on the generated event. And a monitoring device including a screen unit configured to receive and display the selected image.
  • an image of the pet or the young child moving is immediately displayed on the screen unit.
  • the user may immediately monitor the pet or young child as an image even if the user does not select and confirm which image exists among the plurality of images.
  • FIG. 1 is a block diagram showing the configuration of a monitoring system 1 according to an embodiment of the present invention.
  • FIG. 2 is a perspective view of the monitoring device 10 of FIG. 1.
  • FIG. 3 is a block diagram showing the configuration of a camera 20 according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram of metadata 3 according to an embodiment of the present invention, which is generated when an event occurs.
  • control unit 11 is a block diagram showing a detailed configuration of the control unit 11 according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a state in which the monitoring device 10 according to an embodiment of the present invention automatically displays a first image in which an object 2 such as a pet or a child is photographed and an event is generated.
  • FIG. 7 is a diagram illustrating an object 2 moving to another space in FIG. 6 and disappearing from the first image displayed by the monitoring apparatus 10 according to an exemplary embodiment.
  • FIG. 8 is a diagram illustrating a state in which the object 2 moves to another space in FIG. 7 and appears on a second image displayed by the monitoring apparatus 10 according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a state in which the monitoring apparatus 10 according to an embodiment of the present invention displays a second image photographing another space where the object 2 is completely moved.
  • FIG. 10 is a diagram illustrating a state in which an image is searched by inputting a search condition to the monitoring apparatus 10 according to an exemplary embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a state in which the monitoring device 10 according to an embodiment of the present invention displays an image in which an event occurs among images corresponding to the search condition input in FIG. 10.
  • FIG. 12 is a diagram illustrating a case in which the monitoring device 10 according to an embodiment of the present invention displays a plurality of images simultaneously by generating a split screen when an event occurs in a plurality of images in FIG. 11.
  • FIG. 13 is a diagram illustrating a case in which the monitoring device 10 according to an embodiment of the present invention no longer displays an image in which an event ends when an event ends in one image in FIG. 12.
  • FIG. 1 is a block diagram showing the configuration of a monitoring system 1 according to an embodiment of the present invention
  • Figure 2 is a perspective view of the monitoring device 10 of FIG.
  • a plurality of cameras 20 are installed in various directions in various locations in the indoor space. Then, different areas are photographed to obtain an image.
  • the user may execute an operation of the monitoring apparatus 10 or input a search condition to perform a search. Then, the monitoring apparatus 10 first displays an image of the object 2 (shown in FIG. 6), such as a pet or a young child, from among the images transmitted by the plurality of cameras 20. Therefore, the user can immediately monitor the object 2 as an image even if the user does not select and confirm which image exists in the plurality of images.
  • the object 2 shown in FIG. 6
  • Monitoring system 1 according to an embodiment of the present invention, as shown in Figure 1, a plurality of cameras 20 to capture a specific region to obtain an image, streaming of the images obtained by the plurality of cameras 20 It includes a monitoring device 10 for receiving and displaying data.
  • the camera 20 and the monitoring device 10 may be wired or wirelessly connected to each other to transmit and receive image data or signals.
  • the camera 20 acquires an image by photographing a specific area and receiving an image signal for the specific area.
  • the camera 20 generally includes an imaging device such as a charge coupled device (CCD) or a CMOS image sensor.
  • the camera 20 is preferably a pan-tilt camera capable of panning and tilting.
  • the camera 20 is a camera 20 capable of panning at 360 ° and shooting in front, rear, left and right directions. It is preferable.
  • the camera 20 may be a recently introduced 360 ° camera.
  • the 360 ° camera refers to a camera that is equipped with a plurality of fisheye lenses so that the camera itself is not physically panned or tilted, and the camera can shoot simultaneously in all directions.
  • the image acquired by the 360 ° camera is panned or tilted through software installed in the monitoring device 10.
  • the camera 20 according to an exemplary embodiment of the present invention is not limited thereto, and various cameras 20 may be used as long as the camera 20 can photograph a plurality of areas.
  • the camera 20 may perform a video analysis function. Detailed description thereof will be described later.
  • the monitoring device 10 receives and displays an image acquired by the camera 20.
  • the monitoring device 10 may be a portable device such as a smartphone, a tablet PC, a laptop, a smartwatch, etc., which is easy for a user to carry.
  • the present invention is not limited thereto and may be a device that is not easy to carry, such as a desktop.
  • the user may install and delete various applications on the monitoring device 10.
  • the camera control application may be executed, and a signal for controlling panning or tilting of an image may be generated through an input method such as a touch or a mouse. If the image can be panned or tilted by performing the physical panning or tilting of the camera 20 itself, the control signal is transmitted to the camera 20. However, when the camera 20 is a 360 ° camera, the control signal pans or tilts the image through software installed in the monitoring device 10.
  • the monitoring apparatus 10 includes a control unit 11, a storage unit 12, and a screen unit 13. In addition, these components may be connected and communicate with each other via the bus 15. All components included in the controller 11 may be connected to the bus 15 through at least one interface or adapter, or may be directly connected to the bus 15. The bus 15 may also be connected to other subsystems in addition to the components described above.
  • the bus 15 includes a memory bus, a memory controller, a peripheral bus, and a local bus.
  • the control unit 11 controls the overall operation of the monitoring device 10. For example, the controller 11 performs processing and control for signal and data communication between the first network interface 31 and the camera 20, and images from the camera 20 through the first network interface 31. When streaming data is transmitted, image processing such as decoding and rendering is performed. In addition, when the metadata 3 (shown in FIG. 4) is transmitted from the camera 20, it is stored. When a user inputs a search condition and performs a search, the stored metadata 3 is searched to derive a search result that meets the condition. Image Selector 112 (shown in FIG. 5) When a specific image is selected from among a plurality of images, the specific image is loaded and controlled to be displayed on the screen unit 13.
  • the control unit 11 preferably uses a central processing unit (CPU), a micro controller unit (MCU), a digital signal processor (DSP), or the like, but various logic operation processors may be used without being limited thereto. Detailed description of the control unit 11 will be described later.
  • CPU central processing unit
  • MCU micro controller unit
  • DSP digital signal processor
  • the storage unit 12 stores a program for processing and controlling operations of the monitoring apparatus 10, and various data or received signals generated during each program execution.
  • the video streaming data and the metadata 3 transmitted through the camera 20 are stored.
  • the storage unit 12 may be embedded in the monitoring device 10, but in the case of the network 30 camera 20 system, a separate device such as a network video recorder (NVR) may be provided.
  • the storage unit 12 includes a nonvolatile memory device and a volatile memory device.
  • the nonvolatile memory device is a NAND flash memory which is small in size, light in weight and resistant to external shock, and the volatile memory device is preferably DDR SDRAM.
  • the screen unit 13 displays an image transmitted from the camera 20.
  • the image may be a real-time image obtained by capturing the camera 20 in real time, or may be an image which is already taken in the past, stored in the storage unit 12, and is loaded and displayed.
  • the input unit 14 is provided separately.
  • the input unit 14 most commonly used includes a mouse, a keyboard, a joystick, a remote controller, and the like.
  • the input unit 14 may be connected to the bus 15 through an input interface 141 including a serial port, a parallel port, a game port, a USB, and the like.
  • the screen unit 13 may include a touch sensor.
  • the input unit 14 does not need to be separately provided, and the user may directly input a touch signal through the screen unit 13.
  • the touch may be performed using a finger, but is not limited thereto, and may be performed using a stylus pen or the like equipped with a tip through which a minute current may flow.
  • the monitoring device 10 provides a touch function, if the screen unit 13 does not include a touch sensor, a separate touch pad may be provided as the input unit 14.
  • the screen unit 13 may use various methods such as a liquid crystal display (LCD), an organic liquid crystal display (OLED), a cathode ray tube (CRT), a plasma display panel (PDP), and the like.
  • the screen unit 13 is connected to the bus 15 through the video interface 131, and data transmission between the screen unit 13 and the bus 15 may be controlled by the graphic controller 132.
  • the monitoring device 10 may be connected to the network 30. Therefore, the monitoring device 10 may be connected with other devices through the network 30 to transmit and receive various data and signals including the metadata 3.
  • the first network interface 31 receives communication data in the form of one or more packets from the network 30, and the monitoring device 10 stores the received communication data for processing of the control unit 11. Can be.
  • the monitoring device 10 may store the transmitted communication data in the form of one or more packets in the storage unit 12, and the first network interface 31 may transmit the communication data to the network 30.
  • the first network interface 31 may include a first network interface card, a modem, or the like, and the network 30 may be the Internet, a wide area network (WAN), a local area network (LAN), a telephone network 30, or directly.
  • WAN wide area network
  • LAN local area network
  • telephone network 30 may be the Internet, a wide area network (WAN), a local area network (LAN), a telephone network 30, or directly.
  • Various wired and wireless communication methods such as connection communication may be included.
  • the camera 20 and the monitoring device 10 may be directly connected through the network 30, or may be connected through a separate storage server (not shown).
  • the storage server is formed separately from the storage unit 12 of the monitoring device 10 and stores the video streaming data and the metadata 3 of the camera 20. Therefore, even when the monitoring device 10 is turned off or in a state in which data is not received, various data are stored in the storage server.
  • data stored in the storage server may be transmitted from the storage server to the monitoring device 10.
  • the storage server may be a storage device such as a network video recorder (NVR) or a digital video recorder (DVR), or may be a storage device provided by a separate service provider such as a cloud.
  • NVR network video recorder
  • DVR digital video recorder
  • FIG. 3 is a block diagram showing the configuration of a camera 20 according to an embodiment of the present invention.
  • the camera 20 includes an image capturing unit 21 for receiving an image signal, a second network interface 24 for transmitting an image and data to the monitoring device 10 through a network 30, and an event for determining whether an event has occurred.
  • the generation determination unit 22 includes a metadata generation unit 23 for generating metadata 3 (shown in FIG. 4) by using information on the event when an event occurs.
  • these components may be connected to a bus (not shown) through at least one interface or adapter, or may be directly connected to the bus.
  • the imaging unit 21 receives an image signal for a specific area.
  • the imaging unit 21 generally includes an imaging device such as a charge coupled device (CCD) or a CMOS image sensor.
  • CCD charge coupled device
  • CMOS image sensor When a plurality of photodiodes is irradiated with light, the CCD accumulates and transmits electrons generated by the photoelectric effect. At this time, by analyzing the change in the amount of electrons generated according to the amount of photons and reconstruct the information, image information forming the screen is generated.
  • CCD has the advantage of clear image quality and low noise, but has the disadvantage of high power consumption and slow processing speed.
  • CMOS image sensor is an image sensor using CMOS (Complementary Metal Oxide Semiconductor), each cell has an amplifier to amplify and transmit the electrons generated by the light directly into an electrical signal.
  • CMOS image sensors are inexpensive, have low power consumption, have a high processing speed, but have a lot of noise.
  • the event occurrence determiner 22 determines whether an event occurs through a video analysis (VA) function.
  • the image analysis (VA) function refers to a function of separating an object (shown in FIG. 6) and a background from an image and automatically extracting features of the object 2.
  • a window navigation technique can be used.
  • the features of the object 2 may be extracted with Binary Coded Feature (LBP, MCT), SURF (Speeded-Up Robust Features), SIFT (Scale Invariant Feature Transform), HOG (Histogram) Like of Oriented Gradient, it can be extracted as a histogram feature that will later calculate the histogram.
  • LBP Binary Coded Feature
  • MCT Binary Coded Feature
  • SURF Speeded-Up Robust Features
  • SIFT Scale Invariant Feature Transform
  • HOG Histogram
  • the event occurrence determiner 22 may perform a face recognition function.
  • a window search technique can be used, and a classifier stored in the window can be used in various ways such as Adaboost, Random Forest, Support Vector Machine, and Natural Network (NN). The method can be used.
  • NN Natural Network
  • the method can be used.
  • the event occurrence determination unit 22 performs an image analysis function to separate the object 2 from the background and extracts the features of the object 2, the image analysis result is converted into metadata 3 and monitored. To the device 10.
  • the present invention is not limited thereto, and the camera 20 may not perform the image analysis (VA) function, but the VA engine provided separately may perform the image analysis function.
  • the VA engine receives the image streaming data directly from the camera 20, and performs the image analysis function.
  • the image analysis result data may be converted into metadata 3 and transmitted to the monitoring apparatus 10. That is, if the monitoring device 10 can receive the image analysis result as the metadata 3, the monitoring system 1 may be variously formed without being limited.
  • the monitoring system 1 according to an exemplary embodiment of the present invention will be described as determining the occurrence of an event by the event occurrence determining unit 22 included in the camera 20 analyzing the image by itself.
  • this is for convenience of explanation and is not intended to limit the scope of the rights.
  • the metadata generator 23 When the event occurs, the metadata generator 23 generates the metadata 3 using the information about the event.
  • the metadata 3 is data which described the description about specific data, and summarized the type. Detailed description of the metadata 3 according to an embodiment of the present invention will be described later.
  • the camera 20 may be connected to other devices through the network 30 to transmit and receive various data and signals including the metadata 3.
  • the second network interface 24 may receive communication data in the form of one or more packets from the network 30, and the camera 20 may store the received communication data.
  • the camera 20 may store the transmitted communication data in a storage unit (not shown) in the form of one or more packets, and the second network interface 24 may transmit the communication data to the network 30.
  • the second network interface 24 may include a second network interface card, a modem, or the like, and the network 30 may include the Internet, a wide area network (WAN), a local area network (LAN), a telephone network 30, or directly.
  • WAN wide area network
  • LAN local area network
  • telephone network 30 may include the Internet, a wide area network (WAN), a local area network (LAN), a telephone network 30, or directly.
  • Various wired and wireless communication methods such as connection communication may be included.
  • FIG. 4 is an exemplary diagram of metadata 3 according to an embodiment of the present invention, which is generated when an event occurs.
  • the metadata generator 23 when an event occurs, the metadata generator 23 generates the metadata 3 using the information about the event.
  • the metadata 3 is data in which the description of the specific data is described and the types are summarized in order to facilitate the retrieval of the specific data.
  • the specific data is large data such as music, video, etc., and is not easy to search
  • the metadata 3 is composed of character strings and is very small in size and easy to search.
  • the metadata 3 includes a unique ID for the identified object 2, the number of identified objects 2 (shown in FIG. 6), the location of the object 2, an event occurrence time, Information on the identifier of the camera 20 that acquired the image is included.
  • utc illustrated in FIG. 4 may indicate information on a time when an event occurs
  • cam.ID may indicate an identifier of a camera 20 that has acquired an image
  • numObj may indicate the number of identified objects 2.
  • obj [0] .left, right, top, bottom, and the like are coordinate information about the position of the object 2, that is, the position of each vertex of the virtual window surrounding the object 2.
  • Obj [0] .objID is an ID representing a unique identifier of the object 2. If one object 2 moves or disappears for a while, the camera 20 identifies the same object 2 through image analysis and still gives the same ID. However, if another object 2 appears, the camera 20 identifies the other object 2 and gives a new ID.
  • the camera 20 is formed in plural. After a specific ID is assigned to a specific object 2 in the first image photographed by the first camera 20a, the object 2 disappears from the first image of the first camera 20a and the second camera 20b. ) May appear in the captured second image. At this time, the second camera 20b gives the object 2 the same ID as the specific ID given by the first camera 20a.
  • the second camera 20b when the second camera 20b detects the appearance of the object 2 from the captured second image, the second camera 20b should communicate with the first camera 20a among the plurality of cameras 20.
  • the first camera 20a assigns a specific ID to the object 2 before the second camera 20b, and the second camera 20b indicates that the first camera 20a assigns an ID to the object 2. This is because the same ID can be given if it is known whether it has been assigned.
  • the second camera 20b may communicate with each other in order to know which camera 20 of the plurality of cameras 20 has taken the object 2 first. In this case, the plurality of cameras 20 may be directly connected and communicated with each other.
  • the plurality of cameras 20 may be connected and communicated in various ways without being limited, such as through a monitoring device 10 or a separate AP.
  • the first camera 20b first checks the occurrence time of the event, and then closes the occurrence time of the event among the plurality of cameras 20. Select the cameras 20 that detect the occurrence of. Thereafter, the result of analyzing the images of the selected cameras 20 and the result of analyzing the image of the object 2 by the second camera 20b are compared.
  • the object 2 is determined to be the same object 2 and the first camera 20a is assigned to the object 2.
  • the 2nd camera 20b gives the said object 2 the same ID as the ID which the 1st camera 20a gave. Therefore, when the user later searches for an image, the image may be automatically converted by detecting the movement of the same object 2.
  • the coincidence rate indicates a ratio having the same feature among the features of the object 2 when the features of the object 2 are extracted from each image through image analysis (VA). And, these features, for example, the type of pet, the color of the hair, the size of the body and the like.
  • the specific criterion is preferably about 80 to 90%, but is not limited thereto. Various specific criteria may be set.
  • control unit 11 is a block diagram showing a detailed configuration of the control unit 11 according to an embodiment of the present invention.
  • the controller 11 may include a metadata analyzer 111 for analyzing the metadata 3, an image selector 112 for selecting an image in which an event occurs among a plurality of images, and an image search for searching for an image according to a user's command.
  • the unit 113 is included.
  • the metadata analyzer 111 analyzes the generated metadata 3. As described above, the metadata 3 includes information about the identified object (shown in FIG. 6), the location of the object 2, the occurrence time of the event, the identifier of the camera 20 that acquired the corresponding image, and the like. Information is included. The metadata analyzer 111 analyzes the metadata 3 transmitted from the camera 20 and transmits the information about the event to the image selector 112.
  • the image selector 112 selects an image in which an event occurs among images transmitted from the plurality of cameras 20. In this case, whether or not an event occurs may be determined based on the information received from the metadata analyzer 111. If a motion event occurs due to the movement of the specific object 2 in the image photographed from the specific camera 20, the image selector 112 transmits information on the event from the metadata analyzer 111. Receive. The image selector 112 selects an image in which the motion event occurs among the plurality of images acquired from the plurality of cameras 20. When the image selector 112 transmits the selected image to the screen unit 13, the screen unit 13 loads the selected image and displays the user to monitor the specific object 2.
  • the image selector 112 may synthesize the plurality of images in the order of the time when the event occurs. Then, when the specific object 2 moves and disappears from the first image while the specific object 2 moves and appears in the second image, the first image is displayed on the screen unit 13 and the screen is naturally displayed as the second image. It is converted and displayed.
  • a plurality of events may occur at the same time.
  • the plurality of cameras 20 may capture a plurality of events to obtain an image.
  • the image selecting unit 112 may select all of the plurality of images, synthesize them in a specific arrangement, and transmit them to the screen unit 13.
  • the screen unit 13 may generate a split screen according to the specific arrangement and simultaneously display a plurality of images. If the user selects one image from among the plurality of images, the split screen disappears, and the screen unit 13 may display only the image selected by the user.
  • the plurality of cameras 20 preferably acquire images of the indoor space.
  • the user acquires an image by photographing a pet or a young child left in the indoor space while going out.
  • the objects 2 existing in the indoor space generally have 1 to 2 pets and 1 or 2 young children.
  • the number of events occurring simultaneously at a specific time is not as high as several. Therefore, even if a plurality of images are displayed at the same time by generating such a split screen, the size of one split screen does not become much smaller.
  • the user can easily monitor the object 2 without having to miss the object 2 or look in the other cameras 20 where it is located.
  • the image retrieval unit 113 searches for an image meeting the search condition input by the user among the images stored in the storage unit 12.
  • the user may monitor the current situation of the area photographed by the plurality of cameras 20 in real time live image.
  • the user may search for an image meeting a specific search condition among the images stored in the storage unit 12 and then monitor the image.
  • the user inputs a search condition such as a time condition to search for an image.
  • the image retrieval unit 113 retrieves the stored metadata 3.
  • the image selecting unit 112 selects the image in which the event occurs among the images specified in the metadata 3.
  • the image is transmitted to the screen unit 13 and displayed on the screen unit 13 so that a user can monitor the specific object 2.
  • an image that satisfies the specified search condition can be quickly derived as a search result.
  • Each component of the monitoring apparatus 10 described so far is a software, such as a task, a class, a subroutine, a process, an object 2, an execution thread, a program, or an FPGA (field), which is performed in a predetermined area on a memory. It may be implemented in hardware such as a programmable gate array or an application-specific integrated circuit (ASIC), or may be a combination of the software and hardware.
  • the components may be included in a computer readable storage medium or a part of the components may be distributed and distributed among a plurality of computers.
  • each block may represent a portion of a module, segment, or code that includes one or more executable instructions for executing a specified logical function (s). It is also possible in some alternative implementations that the functions mentioned in the blocks occur out of order. For example, the two blocks shown in succession may in fact be executed substantially concurrently, and the blocks may sometimes be executed in the reverse order, depending on the corresponding function.
  • FIG. 6 is a diagram illustrating a state in which the monitoring device 10 according to an embodiment of the present invention automatically displays a first image in which an object 2 such as a pet or a child is photographed and an event is generated.
  • the plurality of cameras 20 are installed in various directions in various locations of the indoor space.
  • the first camera 20a may be installed in various places such as a living room
  • the second camera 20b may be a room
  • the third camera 20c may be a kitchen.
  • Each camera 20 acquires an image of an area photographed by itself.
  • the monitoring device 10 is ready to receive data.
  • the plurality of cameras 20 transmits streaming data and metadata 3 of the image acquired by the cameras 20 to the monitoring apparatus 10, respectively.
  • the first camera 20a installed in the living room determines the occurrence of the event through an image analysis function and extracts the features of the object 2.
  • the metadata generator 23 of the first camera 20a generates metadata 3 including information on the generated event.
  • the metadata analyzer 111 analyzes the metadata 3 to select information on an event. Passed to section 112.
  • the image selector 112 recognizes that the current event is occurring in the first image or the most recent event has occurred, and selects the first image.
  • the image selector 112 transmits the first image to the screen unit 13, the screen unit 13 loads and displays the received first image as shown in FIG. 6.
  • the monitoring apparatus 10 displays an image in which a current event is generated or a most recent event has occurred among the plurality of received images. Accordingly, the user may directly monitor the object 2 without checking the images acquired by the plurality of cameras 20 and finding the object 2.
  • FIG. 7 is a diagram illustrating an object 2 moving to another space in FIG. 6 and disappearing from the first image displayed by the monitoring apparatus 10 according to an exemplary embodiment.
  • the object 2 such as a pet or a young child, does not always stay in only one space.
  • the object 2 in the living room may move to another space such as a kitchen or a room.
  • the first camera 20a photographs only the living room, the object 2 may not be included in the angle of view of the first camera 20a after the object 2 moves.
  • the first camera 20a is a pan tilt camera or a 360 ° camera, if the object 2 moves to another space separated by a wall, the object 2 exists in the blind spot of the first camera 20a. Done. Therefore, the first camera 20a can no longer photograph the object 2, and as shown in FIG. 7, the object 2 disappears from the first image. In this case, the first camera 20a cannot determine the occurrence of the event in the first image acquired by the first camera 20a.
  • FIG. 8 is a view illustrating an object 2 moving to another space in FIG. 7 and appearing on a second image displayed by the monitoring apparatus 10 according to an exemplary embodiment.
  • FIG. 9 is an object 2.
  • FIG. 2 is a diagram illustrating a state in which the monitoring apparatus 10 according to an embodiment of the present invention displays a second image photographing another space in which) is completely moved.
  • another camera 20 is installed in another space such as a kitchen or a room.
  • the object 2 may move from the living room to the room, as shown in FIG. 8.
  • the second camera 20b installed in the room determines the occurrence of the event through the image analysis function and extracts the features of the object 2.
  • the occurrence time of the event is checked and communicated through the network 30, and among the plurality of cameras 20, the cameras 20 that detect the occurrence of the event are selected at a time close to the occurrence time of the event. Thereafter, the result of analyzing the images of the selected cameras 20 and the result of analyzing the image of the object 2 by the second camera 20b are compared.
  • the metadata generator 23 of the second camera 20b may include metadata 3 including information on the generated event, such as an ID of the object 2, an event occurrence time, and an identifier of the second camera 20b.
  • the metadata analyzer 111 analyzes the metadata 3 to select information on an event. Passed to section 112.
  • the image selector 112 recognizes that the current event is occurring or the most recent event has occurred in the second image, and selects the second image.
  • the image selector 112 stops transmitting the first image and transmits the second image to the screen unit 13, the screen unit 13 displays the first image as illustrated in FIGS. 8 and 9. Stops and loads and displays the received second image. Therefore, the user can directly monitor the object 2 without having to check a plurality of images in order to find the missing object 2.
  • FIG. 10 is a diagram illustrating a state in which an image is searched by inputting a search condition to the monitoring apparatus 10 according to an exemplary embodiment of the present invention.
  • the monitoring apparatus 10 may directly display an image acquired by the camera 20. Therefore, the user can easily grasp the current situation by monitoring the live video.
  • the user may wish to check the contents of the event that occurred. For example, if a user returns home after going out and the vase is broken in the living room, they may wish to monitor what event has occurred in the past.
  • the monitoring device 10 uses the monitoring device 10 according to an embodiment of the present invention to not only a live image, but also an image acquired and stored in the past may be displayed. To this end, the user first inputs a search condition, as shown in FIG. 10. Enter the date and time you want to monitor and click or touch the 'Search' button.
  • FIG. 11 is a diagram illustrating a state in which the monitoring device 10 according to an embodiment of the present invention displays an image in which an event occurs among images corresponding to the search condition input in FIG. 10.
  • the image search unit 113 derives a plurality of images that meet the search condition as a search result.
  • events do not always occur in all areas photographed by the plurality of cameras 20. If a motion event occurs because the object 2 moves in the living room at a corresponding time input as a search condition, the first camera 20a installed in the living room generates metadata 3 including information about the generated event. would have done.
  • the image selector 112 may determine that the event generated at the corresponding time is included in the first image acquired by the first camera 20a by using information about the event included in the metadata 3. have. Therefore, the image selector 112 selects the first image from the plurality of images. When the image selector 112 transmits the first image to the screen unit 13, the screen unit 13 loads and displays the received first image as illustrated in FIG. 11.
  • FIG. 12 is a diagram illustrating a case in which the monitoring device 10 according to an embodiment of the present invention displays a plurality of images simultaneously by generating a split screen when an event occurs in a plurality of images in FIG. 11.
  • the monitoring device 10 according to an embodiment of the present invention no longer displays an image where the event ends.
  • a plurality of events may occur at the same time.
  • the plurality of cameras 20 may capture a plurality of events to obtain an image.
  • the image selector 112 may select and synthesize all of the plurality of images and transmit the same to the screen unit 13. Then, as illustrated in FIG. 12, the screen unit 13 may generate a split screen and display all of a plurality of images at the same time.
  • the image selector 112 may arrange the plurality of images horizontally and synthesize the images, or may synthesize the plurality of images vertically. Alternatively, if more and more images are arranged, the images may be arranged in a grid and synthesized. The sizes may be the same for each image, but may be different. Further, when the user inputs a command to change the arrangement while monitoring the image, the image selector 112 changes the arrangement according to the user's command and synthesizes the image.
  • the screen unit 13 generates a divided screen as a plurality of images are synthesized. If the user selects one image among the plurality of images, the split screen disappears, and the screen unit 13 may display only the selected image.
  • a plurality of events may already occur.
  • a plurality of images may be displayed simultaneously from the beginning.
  • only one event may occur at a time corresponding to the start condition, and a plurality of events may occur along the way.
  • the first object 2a in the living room is already moving and a motion event occurs, and the second object 2b in the room exists. May sleep without moving and move after a certain amount of time, resulting in a late motion event.
  • the image selector 112 may synthesize the plurality of images in the order of the time when the event occurs. First, only the first image may be selected from a time corresponding to the start condition. Therefore, initially, as illustrated in FIG. 11, the screen unit 13 of the monitoring device 10 may display only the first image. Thereafter, the first image and the second image may be synthesized from the time when the second object 2b moves. Therefore, after some time passes, the screen unit 13 of the monitoring apparatus 10 may display a composite image of the first image and the second image, as shown in FIG. 12.
  • the first image and the synthesized image of the first image and the second image may be synthesized in chronological order. Therefore, even when the split screen is generated, the image may be naturally displayed.
  • the screen selector 112 deselects the first image and selects only the second image. Then, only the second image is synthesized in chronological order after the synthesized image of the first meditation and the second image. Thus, as shown in FIG. 13, the screen unit 13 displays only the second image. At this time, the user does not monitor the first object 2a that has stopped moving, but monitors the second object 2b that is continuously moving.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 모니터링 장치는 실내에 설치된 복수의 카메라가 각각 특정 영역을 촬영하여 영상을 획득하면, 상기 복수의 카메라로부터 각각 상기 영상의 스트리밍 데이터 및 메타데이터를 전송받는 통신부; 상기 전송받은 메타데이터를 분석하여, 발생한 이벤트의 정보를 추출하는 메타데이터 분석부; 상기 추출된 이벤트의 정보를 토대로 상기 복수의 영상 중에서 이벤트가 발생한 영역을 포함하는 영상을 선택하는 영상 선택부; 및 동작이 실행되면, 상기 영상 선택부로부터 상기 선택된 영상을 전송받아 곧바로 디스플레이 하는 화면부를 포함한다.

Description

모니터링 장치 및 시스템
본 발명은 모니터링 장치 및 시스템에 관한 것으로서, 보다 상세하게는 사용자가 복수의 영상 중에서 어느 영상에 애완 동물 또는 어린 아이가 존재하는지 일일이 선택하여 확인하지 않더라도, 곧바로 애완 동물 또는 어린 아이를 영상으로 모니터링 할 수 있는 모니터링 장치 및 시스템에 관한 것이다.
일반적으로 은행, 백화점, 일반 주택가를 비롯한 다양한 장소에서 감시 시스템이 널리 사용되고 있다. 이러한 감시 시스템은 범죄 예방, 보안을 목적으로 사용될 수 있다. 그리고 이러한 감시 시스템으로 가장 많이 사용하는 시스템은, 감시를 원하는 영역을 촬영할 수 있도록 적절한 위치에 카메라를 설치하고, 사용자는 카메라가 촬영한 영상을 모니터링 함으로써 감시할 수 있는 폐쇄회로 텔레비전(Closed Circuit Television: CCTV) 시스템이다.
한편, 예전부터 집 안에 개나 고양이와 같은 애완 동물을 기르거나, 어린 아이를 키우는 가구가 많았다. 그런데 사용자가 외출 중에는, 애완 동물 또는 어린 아이가 집 안에 혼자 남겨질 수 있다. 이 때, 애완 동물 또는 어린 아이가 집 안에서 돌아다니거나 장난을 치다가 다치는 경우도 있고, 기물이 파손되는 경우도 있다. 이에 따라, 집 안에서도 사용되는 CCTV 시스템이 증가하고 있으며, 최근에는 집 안에 설치하는 전용 카메라인 홈 카메라도 많이 출시되고 있다. 그럼으로써 사용자는 외부에서도 집 안의 애완 동물 또는 어린 아이의 모습을 확인하기 위해, 모니터링 장치를 이용하여 상기 카메라의 영상을 실시간으로 모니터링 하거나, 과거의 영상을 검색하여 모니터링 할 수 있다.
종래의 홈 카메라는 한 집에 하나만 설치되는 경우가 많았다. 그러나, 홈 카메라에는 화각이 제한되어 있어, 하나의 홈 카메라가 집 안의 모든 영역을 촬영하는 것이 용이하지 않다. 특히 각각의 영역이 벽으로 분리된 경우에는, 하나의 홈 카메라가 집 안의 모든 영역을 촬영하는 것이 전혀 불가능하다. 따라서 최근에는 거실, 부엌, 각 방마다 하나씩 설치되어, 한 집에 복수의 홈 카메라가 설치되는 경우도 증가하고 있다.
그런데 종래에는 복수의 홈 카메라가 설치되는 경우, 사용자가 외부에서 카메라의 영상을 모니터링 하기 위해 모니터링 장치의 동작을 실행하면, 모니터링 장치는 사용자가 복수의 홈 카메라의 영상 중에 하나의 영상을 선택하도록 리스트를 제공하였다. 그러나 사용자는 복수의 홈 카메라 중에, 현재 어느 카메라가 애완 동물 또는 어린 아이를 촬영하고 있는지 알 수가 없었다.
특정 시간 조건을 검색 조건으로 입력하여 검색을 수행한 경우에도, 복수의 홈 카메라 중에, 어느 카메라가 상기 입력한 해당 시간에 애완 동물 또는 어린 아이를 촬영하고 있었는지 알 수가 없었다. 따라서, 사용자가 일일이 모든 리스트의 카메라들을 선택하여 모든 영상을 확인해야 하는 번거로움이 있었다.
본 발명이 해결하고자 하는 과제는, 사용자가 복수의 영상 중에서 어느 영상에 애완 동물 또는 어린 아이가 존재하는지 일일이 선택하여 확인하지 않더라도, 곧바로 애완 동물 또는 어린 아이를 영상으로 모니터링 할 수 있는 모니터링 장치 및 시스템를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 모니터링 장치는 실내에 설치된 복수의 카메라가 각각 특정 영역을 촬영하여 영상을 획득하면, 상기 복수의 카메라로부터 각각 상기 영상의 스트리밍 데이터 및 메타데이터를 전송받는 통신부; 상기 전송받은 메타데이터를 분석하여, 발생한 이벤트의 정보를 추출하는 메타데이터 분석부; 상기 추출된 이벤트의 정보를 토대로 상기 복수의 영상 중에서 이벤트가 발생한 영역을 포함하는 영상을 선택하는 영상 선택부; 및 동작이 실행되면, 상기 영상 선택부로부터 상기 선택된 영상을 전송받아 곧바로 디스플레이 하는 화면부를 포함한다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 모니터링 장치는 실내에 설치된 복수의 카메라가 각각 특정 영역을 촬영하여 영상을 획득하면, 상기 복수의 카메라로부터 각각 상기 영상의 스트리밍 데이터 및 메타데이터를 전송받는 통신부; 상기 전송받은 메타데이터를 분석하여, 발생한 이벤트의 정보를 추출하는 메타데이터 분석부; 상기 추출된 이벤트의 정보를 토대로 상기 복수의 영상 중에서 이벤트가 발생한 영역을 포함하는 영상을 선택하는 영상 선택부; 상기 영상 선택부로부터 상기 선택된 영상을 전송받아 디스플레이 하는 화면부; 및 전송된 상기 영상의 스트리밍 데이터 및 상기 메타데이터를 저장하는 저장부를 포함한다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 모니터링 시스템은 내에 설치되며, 각각 특정 영역을 촬영하여 영상을 획득하는 촬상부 및 상기 영상으로부터 이벤트 발생 여부를 판단하는 이벤트 발생 판단부를 포함하는 복수의 카메라; 및 기 복수의 카메라로부터 각각 상기 영상의 스트리밍 데이터 및 메타데이터를 전송받는 통신부, 상기 발생한 이벤트의 정보를 토대로 상기 영상 중에서 이벤트가 발생한 영역을 포함하는 영상을 선택하는 영상 선택부, 상기 영상 선택부로부터 상기 선택된 영상을 전송받아 디스플레이 하는 화면부를 포함하는 모니터링 장치를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
사용자가 모니터링 장치의 동작을 실행하면, 애완 동물 또는 어린 아이가 움직이고 있는 영상이 곧바로 화면부에 디스플레이 된다.
또한, 사용자가 특정 검색 조건을 입력하여 영상을 검색하면, 상기 특정 검색 조건에 부합하는 영상 중에서 애완 동물 또는 어린 아이가 움직이는 영상이 화면부에 디스플레이 된다.
따라서, 사용자는 복수의 영상 중에서 어느 영상에 애완 동물 또는 어린 아이가 존재하는지 일일이 선택하여 확인하지 않더라도, 곧바로 애완 동물 또는 어린 아이를 영상으로 모니터링 할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 모니터링 시스템(1)의 구성을 나타낸 블록도이다.
도 2는 도 1의 모니터링 장치(10)의 사시도이다.
도 3은 본 발명의 일 실시예에 따른 카메라(20)의 구성을 나타낸 블록도이다.
도 4는 이벤트가 발생하는 경우 생성되는 본 발명의 일 실시예에 따른 메타데이터(3)의 예시도이다.
도 5는 본 발명의 일 실시예에 따른 제어부(11)의 자세한 구성을 나타낸 블록도이다.
도 6은 애완 동물 또는 어린 아이 등의 오브젝트(2)가 촬영되어 이벤트가 발생한 제1 영상을, 본 발명의 일 실시예에 따른 모니터링 장치(10)가 자동으로 디스플레이 하는 모습을 나타낸 도면이다.
도 7은 도 6에서 오브젝트(2)가 다른 공간으로 이동하여, 본 발명의 일 실시예에 따른 모니터링 장치(10)에서 디스플레이 되는 제1 영상에서 사라지는 모습을 나타낸 도면이다.
도 8은 도 7에서 오브젝트(2)가 다른 공간으로 이동하여, 본 발명의 일 실시예에 따른 모니터링 장치(10)에서 디스플레이 되는 제2 영상에 나타나는 모습을 나타낸 도면이다.
도 9는 오브젝트(2)가 완전히 이동한 다른 공간을 촬영한 제2 영상을, 본 발명의 일 실시예에 따른 모니터링 장치(10)가 디스플레이 하는 모습을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 모니터링 장치(10)에 검색 조건을 입력하여 영상을 검색하는 모습을 나타낸 도면이다.
도 11은 도 10에서 입력한 검색 조건에 부합하는 영상 중에서 이벤트가 발생한 영상을, 본 발명의 일 실시예에 따른 모니터링 장치(10)가 디스플레이 하는 모습을 나타낸 도면이다.
도 12는 도 11에서 복수의 영상에서 이벤트가 발생한 경우, 본 발명의 일 실시예에 따른 모니터링 장치(10)가 분할 화면을 생성하여 복수의 영상을 동시에 디스플레이 하는 모습을 나타낸 도면이다.
도 13은 도 12에서 하나의 영상에서 이벤트가 종료된 경우, 본 발명의 일 실시예에 따른 모니터링 장치(10)가 이벤트가 종료된 영상을, 더 이상 디스플레이 하지 않는 모습을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 모니터링 시스템(1)의 구성을 나타낸 블록도이고, 도 2는 도 1의 모니터링 장치(10)의 사시도이다.
본 발명의 일 실시예에 따른 모니터링 시스템(1)을 이용하는 방법에 의하면, 복수의 카메라(20)가 실내 공간의 다양한 위치에 다양한 방향을 향하여 설치된다. 그리고, 각각 상이한 영역을 촬영하여 영상을 획득한다. 이 때, 사용자가 모니터링 장치(10)의 동작을 실행시키거나, 검색 조건을 입력하여 검색을 수행할 수 있다. 그러면 모니터링 장치(10)는 복수의 카메라(20)가 전송하는 영상 중에서, 애완 동물 또는 어린 아이 등의 오브젝트(2, 도 6에 도시됨)가 촬영된 영상을 먼저 디스플레이 한다. 따라서, 사용자는 복수의 영상 중에서 어느 영상에 오브젝트(2)가 존재하는지 일일이 선택하여 확인하지 않더라도, 곧바로 오브젝트(2)를 영상으로 모니터링 할 수 있다.
본 발명의 일 실시예에 따른 모니터링 시스템(1)은 도 1에 도시된 바와 같이, 특정 영역을 촬영하여 영상을 획득하는 복수의 카메라(20), 복수의 카메라(20)가 획득한 영상의 스트리밍 데이터들을 전송받아 디스플레이하는 모니터링 장치(10)를 포함한다. 카메라(20)와 모니터링 장치(10)는 서로 유선 또는 무선으로 연결되어, 영상 데이터 또는 신호를 송수신 할 수 있다.
본 발명의 일 실시예에 따른 카메라(20)는 특정 영역을 촬영하여 특정 영역에 대한 이미지 신호를 수신함으로써 영상을 획득한다. 이를 위해 일반적으로 카메라(20)에는, CCD(Charge Coupled Device, 전하결합소자)나 CMOS 이미지 센서 등의 촬상 소자가 포함된다. 카메라(20)는 패닝(Panning), 틸팅(Tilting)이 가능한 팬틸트 카메라인 것이 바람직하며, 특히 360°로 패닝이 가능하여 전, 후, 좌, 우 방향으로 모두 촬영이 가능한 카메라(20)인 것이 바람직하다. 또는, 카메라(20)는 최근에 소개된 360° 카메라일 수도 있다. 360° 카메라란, 어안 렌즈를 복수로 장착하여 카메라 자체가 물리적인 패닝 또는 틸팅이 되지 않고, 전방위가 동시에 촬영이 가능한 카메라를 말한다. 이러한 경우에는, 360° 카메라가 획득한 영상은, 모니터링 장치(10) 내에 설치된 소프트웨어를 통해 패닝 또는 틸팅된다. 본 발명의 일 실시예에 따른 카메라(20)는 이에 제한되지 않고, 복수의 영역을 향해 촬영이 가능하다면 다양한 카메라(20)를 사용할 수 있다. 카메라(20)는 영상 분석(Video Analysis) 기능을 수행할 수도 있다. 이에 대한 자세한 설명은 후술한다.
본 발명의 일 실시예에 따른 모니터링 장치(10)는 카메라(20)가 획득한 영상을 전송받아 디스플레이한다. 모니터링 장치(10)는 도 2에 도시된 바와 같이, 스마트폰(Smartphone), 태블릿 PC(Tablet PC), 랩탑(Laptop), 스마트워치(Smartwatch) 등 사용자가 휴대하기 용이한 포터블 장치인 것이 바람직하나, 이에 제한되지 않고 데스크탑(Desktop) 등 휴대하기 용이하지 않은 장치일 수도 있다.
사용자는 모니터링 장치(10)에 다양한 어플리케이션을 설치 및 삭제할 수 있다. 이 가운데, 카메라 제어 어플리케이션을 실행하고, 터치 또는 마우스 등의 입력 방법을 통해 영상의 패닝 또는 틸팅을 제어하는 신호를 생성할 수 있다. 만약, 카메라(20) 자체가 물리적인 패닝 또는 틸팅을 수행함으로써 영상이 패닝 또는 틸팅 될 수 있다면, 상기 제어 신호는 카메라(20)로 전송된다. 그러나, 카메라(20)가 360°카메라인 경우에는, 상기 제어 신호는 모니터링 장치(10) 내에 설치된 소프트웨어를 통해 영상을 패닝 또는 틸팅시킨다.
모니터링 장치(10)는 도 1에 도시된 바와 같이, 제어부(11), 저장부(12), 화면부(13)를 포함한다. 그리고, 이들 구성요소들은 버스(15)를 통해 상호간에 연결되어 통신할 수 있다. 제어부(11)에 포함된 모든 구성요소들은 적어도 하나의 인터페이스 또는 어댑터를 통해 버스(15)에 접속되거나, 직접 버스(15)에 연결될 수 있다. 또한, 버스(15)는 상기 기술한 구성요소 외에 다른 서브 시스템들과 연결될 수도 있다. 버스(15)는 메모리 버스, 메모리 컨트롤러, 주변 버스(Peripheral Bus), 로컬 버스를 포함한다.
제어부(11)는 모니터링 장치(10)의 전반적인 동작을 제어한다. 예를 들어, 제어부(11)는 제1 네트워크 인터페이스(31)와 카메라(20)의 신호 및 데이터 통신을 위한 처리 및 제어를 수행하고, 카메라(20)로부터 제1 네트워크 인터페이스(31)를 통해 영상 스트리밍 데이터가 전송되면 디코딩 및 렌더링 등 영상 처리를 수행한다. 또한, 카메라(20)로부터 메타데이터(3, 도 4에 도시됨)가 전송되면 이를 저장한다. 사용자가 검색 조건을 입력하여 검색을 수행하면, 저장된 메타데이터(3)를 검색하여 상기 조건에 부합하는 검색 결과를 도출한다. 영상 선택부(112, 도 5에 도시됨) 복수의 영상들 중에서 특정 영상을 선택하면, 특정 영상을 로딩하여 화면부(13)에서 디스플레이하도록 제어한다. 제어부(11)로는 CPU(Central Processing Unit), MCU(Micro Controller Unit) 또는 DSP(Digital Signal Processor) 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 논리 연산 프로세서가 사용될 수 있다. 제어부(11)에 대한 자세한 설명은 후술한다.
저장부(12)는 모니터링 장치(10)의 동작들을 처리 및 제어하기 위한 프로그램과 각 프로그램 수행 중에 발생되는 각종 데이터 또는 수신된 신호 등을 저장한다. 그리고, 카메라(20)를 통해 전송된 영상 스트리밍 데이터 및 메타데이터(3)를 저장한다. 저장부(12)는 모니터링 장치(10)에 내장될 수도 있으나, 네트워크(30) 카메라(20) 시스템의 경우에는 NVR(Network Video Recorder) 등과 같이 별도의 장치가 마련될 수도 있다. 저장부(12)는 비휘발성 메모리 장치 및 휘발성 메모리 장치를 포함한다. 비휘발성 메모리 장치는 부피가 작고 가벼우며 외부의 충격에 강한 NAND 플래시 메모리이고, 휘발성 메모리 장치는 DDR SDRAM인 것이 바람직하다.
화면부(13)는 카메라(20)로부터 전송된 영상을 디스플레이 한다. 상기 영상은, 카메라(20)가 실시간으로 촬영하여 획득한 실시간 영상일 수도 있고, 이미 과거에 촬영하여 저장부(12)에 저장된 후 로딩되어 디스플레이 되는 영상일 수도 있다. 만약, 모니터링 장치(10)가 터치 기능을 제공하지 않는다면, 입력부(14)가 별도로 마련된다. 일반적으로 가장 많이 사용되는 입력부(14)로는 마우스, 키보드, 조이스틱, 리모콘 등이 있다. 이러한 입력부(14)는 직렬 포트, 병렬포트, 게임 포트, USB 등을 포함하는 입력 인터페이스(141)를 통해 버스(15)에 연결될 수 있다. 그러나 만약 모니터링 장치(10)가 터치 기능을 제공한다면, 화면부(13)는 터치 센서를 포함할 수 있다. 이 경우에는 입력부(14)가 별도로 마련될 필요가 없고, 사용자가 화면부(13)를 통해 직접 터치 신호를 입력할 수 있다. 터치는 손가락을 이용하여 수행될 수도 있으나, 이에 제한되지 않고, 미세 전류가 흐를 수 있는 팁이 장착된 스타일러스 펜 등을 이용하여 수행될 수도 있다. 모니터링 장치(10)가 터치 기능을 제공하더라도, 화면부(13)가 터치 센서를 포함하지 않는다면 별도의 터치 패드가 입력부(14)로서 마련될 수도 있다.
화면부(13)는 LCD(Liquid Crystal Display), OLED(Organic Liquid Crystal Display), CRT(Cathode Ray Tube), PDP(Plasma Display Panel) 등 다양한 방식이 사용될 수 있다. 이러한 화면부(13)는 비디오 인터페이스(131)를 통하여 버스(15)에 연결되고, 화면부(13)와 버스(15) 간의 데이터 전송은 그래픽 컨트롤러(132)에 의해 제어될 수 있다.
모니터링 장치(10)는 네트워크(30)에 연결될 수도 있다. 따라서 모니터링 장치(10)는 다른 장치들과 네트워크(30)를 통하여 연결되어, 메타데이터(3)를 포함한 각종 데이터 및 신호들을 송수신할 수 있다. 이 때, 제1 네트워크 인터페이스(31)는 네트워크(30)로부터 하나 이상의 패킷의 형태로 된 통신 데이터를 수신하고, 모니터링 장치(10)는 제어부(11)의 처리를 위해 상기 수신된 통신 데이터를 저장할 수 있다. 마찬가지로, 모니터링 장치(10)는 송신한 통신 데이터를 하나 이상의 패킷 형태로 저장부(12)에 저장하고, 제1 네트워크 인터페이스(31)는 상기 통신 데이터를 네트워크(30)로 송신할 수 있다.
제1 네트워크 인터페이스(31)는 제1 네트워크 인터페이스 카드, 모뎀 등을 포함할 수 있고, 네트워크(30)는 인터넷, WAN(wide area network), LAN(local area network), 전화 네트워크(30), 직접 연결 통신 등 다양한 유무선 통신 방법을 포함할 수 있다.
카메라(20)와 모니터링 장치(10)는 네트워크(30)를 통해 직접 연결될 수도 있으나, 별도의 저장 서버(미도시)를 거쳐 연결될 수도 있다. 저장 서버는 모니터링 장치(10)의 저장부(12)와 별도로 형성되어, 카메라(20)의 영상 스트리밍 데이터 및 메타데이터(3)를 저장한다. 따라서, 모니터링 장치(10)의 전원이 꺼져 있거나, 데이터를 전송받지 않는 상태인 경우라도, 저장 서버에 각종 데이터들이 저장된다. 그리고, 모니터링 장치(10)의 전원이 켜지거나, 동작이 실행되어 데이터를 전송받을 수 있는 상태가 되는 경우에는, 저장 서버에 저장되어 있던 데이터들이 저장 서버로부터 모니터링 장치(10)로 전송될 수 있다. 이러한 저장 서버는 NVR(Network Video Recorder), DVR(Digital Video Recorder)와 같은 저장 장치일 수도 있으나, 클라우드(Cloud)와 같은 별도의 서비스 사업자가 제공하는 저장 장치일 수도 있다.
도 3은 본 발명의 일 실시예에 따른 카메라(20)의 구성을 나타낸 블록도이다.
카메라(20)는 이미지 신호를 수신하는 촬상부(21), 네트워크(30)를 통해 모니터링 장치(10)로 영상 및 데이터를 전송하는 제2 네트워크 인터페이스(24), 이벤트의 발생 여부를 판단하는 이벤트 발생 판단부(22), 이벤트가 발생하면 상기 이벤트에 대한 정보를 이용하여 메타데이터(3, 도 4에 도시됨)를 생성하는 메타데이터 생성부(23)를 포함한다. 그리고, 이들 구성요소들은 적어도 하나의 인터페이스 또는 어댑터를 통해 버스(미도시)에 접속되거나, 직접 버스에 연결될 수 있다.
촬상부(21)는 특정 영역에 대한 이미지 신호를 수신한다. 촬상부(21)에는 일반적으로 CCD(Charge Coupled Device, 전하결합소자)나 CMOS 이미지 센서 등의 촬상 소자가 포함된다. CCD는 복수의 포토다이오드(Photodiode)에 광이 조사되면 광전효과에 의해 발생한 전자들을 축적시킨 후 전송하는 방식이다. 이 때, 광자의 양에 따라 발생하는 전자량의 변화를 분석하고 정보를 재구성함으로써, 화면을 이루는 이미지 정보가 생성된다. CCD는 화질이 선명하고 노이즈가 적다는 장점이 있으나, 전력소비가 높고 처리속도가 느리다는 단점이 있다.
CMOS 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor)를 이용하는 이미지 센서로서, 각 셀마다 증폭기가 있어 광에 의해 발생한 전자를 곧바로 전기신호로 증폭시켜 전송하는 방식이다. CMOS 이미지 센서는 가격이 저렴하고 전력소비가 낮으며 처리속도가 빠르나, 노이즈가 많다는 단점이 있다.
이벤트 발생 판단부(22)는 영상 분석(Video Analysis, VA) 기능을 통해 이벤트의 발생 여부를 판단한다. 여기서 영상 분석(VA) 기능이란, 영상 상에서 오브젝트(2, 도 6에 도시됨)와 배경을 분리하고, 오브젝트(2)가 가진 특징들을 자동으로 추출할 수 있는 기능을 말한다. 오브젝트(2)와 배경을 분리하기 위해, 예를 들면 윈도우 탐색 기법을 사용할 수 있다. 그리고, 오브젝트(2)의 특징을 추출하기 위해서는 LBP, MCT와 같이 이진화 특징(Binary Coded Feature)으로 추출할 수도 있으나, SURF(Speeded-Up Robust Features), SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient)와 같이, 추후에 히스토그램을 계산하게 되는 히스토그램 특징(Histogram Feature)으로 추출할 수도 있다. 나아가, 이벤트 발생 판단부(22)는 얼굴 인식 기능을 수행할 수도 있다. 사람의 얼굴 영역을 검출하기 위해, 윈도우 탐색 기법을 사용할 수 있으며, 윈도우 내에 저장된 분류기로는 아다부스트(Adaboost), 랜덤 포레스트(Random Forest), SVM(Support Vector Machine), NN(Neural Network) 등 다양한 방법이 사용될 수 있다. 이벤트 발생 판단부(22)가 영상 분석 기능을 수행하여 오브젝트(2)를 배경으로부터 분리하고, 오브젝트(2)가 가진 특징들을 추출하면, 이러한 영상 분석 결과를 메타데이터(3)로 변환하여, 모니터링 장치(10)로 전송한다.
다만, 이에 제한되지 않고 카메라(20)가 영상 분석(VA) 기능을 수행하는 것이 아니라, 별도로 마련된 VA 엔진이 영상 분석 기능을 수행할 수도 있다. 이러한 경우에는, VA 엔진이 카메라(20)로부터 직접 영상 스트리밍 데이터를 전송받아, 영상 분석 기능을 수행한다. 그리고 영상 분석 결과 데이터를 메타데이터(3)로 변환하여, 모니터링 장치(10)로 전송할 수 있다. 즉, 모니터링 장치(10)가 영상 분석 결과를 메타데이터(3)로 전송받을 수 있다면, 모니터링 시스템(1)은 제한되지 않고 다양하게 형성될 수 있다.
이하, 본 발명의 일 실시예에 따른 모니터링 시스템(1)은, 카메라(20)에 포함된 이벤트 발생 판단부(22)가 영상을 자체적으로 분석하여 이벤트의 발생을 판단하는 것으로 설명한다. 그러나, 이는 설명의 편의를 위한 것이며, 권리범위를 제한하기 위함이 아니다.
메타데이터 생성부(23)는 이벤트가 발생하면 상기 이벤트에 대한 정보를 이용하여 메타데이터(3)를 생성한다. 메타데이터(3)란, 특정 데이터에 대한 설명을 기술하고 유형을 정리한 데이터이다. 본 발명의 일 실시예에 따른 메타데이터(3)에 대한 자세한 설명은 후술한다.
카메라(20)는 다른 장치들과 네트워크(30)를 통하여 연결되어, 메타데이터(3)를 포함한 각종 데이터 및 신호들을 송수신할 수 있다. 이 때, 제2 네트워크 인터페이스(24)는 네트워크(30)로부터 하나 이상의 패킷의 형태로 된 통신 데이터를 수신하고, 카메라(20)는 상기 수신된 통신 데이터를 저장할 수 있다. 마찬가지로, 카메라(20)는 송신한 통신 데이터를 하나 이상의 패킷 형태로 저장부(미도시)에 저장하고, 제2 네트워크 인터페이스(24)는 상기 통신 데이터를 네트워크(30)로 송신할 수 있다.
제2 네트워크 인터페이스(24)는 제2 네트워크 인터페이스 카드, 모뎀 등을 포함할 수 있고, 네트워크(30)는 인터넷, WAN(wide area network), LAN(local area network), 전화 네트워크(30), 직접 연결 통신 등 다양한 유무선 통신 방법을 포함할 수 있다.
도 4는 이벤트가 발생하는 경우 생성되는 본 발명의 일 실시예에 따른 메타데이터(3)의 예시도이다.
상기 기술한 바와 같이 이벤트가 발생하면, 메타데이터 생성부(23)는 상기 이벤트에 대한 정보를 이용하여 메타데이터(3)를 생성한다. 메타데이터(3)란, 특정 데이터의 검색을 용이하게 하기 위해 상기 특정 데이터에 대한 설명을 기술하고 유형을 정리한 데이터이다. 이 때, 특정 데이터는 음악, 동영상 등의 크기가 크고 검색이 용이하지 않은 데이터라면, 메타데이터(3)는 문자열로 이루어져 크기가 매우 작고 검색이 용이하다.
도 4에 도시된 바와 같이 메타데이터(3)에는 식별된 오브젝트(2)에 대한 고유 ID, 식별된 오브젝트(2, 도 6에 도시됨)의 개수, 오브젝트(2)의 위치, 이벤트 발생 시간, 영상을 획득한 카메라(20)의 식별자 등에 대한 정보가 포함되어 있다. 구체적으로 도 4에 도시된 utc란 이벤트가 발생한 시간에 대한 정보, cam.ID는 영상을 획득한 카메라(20)의 식별자, numObj는 식별된 오브젝트(2)의 개수를 나타낼 수 있다. obj[0].left, right, top, bottom 등은 오브젝트(2)의 위치, 즉 오브젝트(2)를 포위하는 가상의 윈도우의 각 꼭지점의 위치에 대한 좌표 정보이다.
그리고 obj[0].objID는 오브젝트(2)의 고유의 식별자를 나타내는 ID이다. 만약 하나의 오브젝트(2)가 이동하거나 잠시 사라진 후 다시 출몰하더라도, 카메라(20)는 영상 분석을 통해 동일한 오브젝트(2)로 식별하여 여전히 동일한 ID를 부여한다. 그러나 다른 오브젝트(2)가 출몰한다면, 카메라(20)는 다른 오브젝트(2)로 식별하여 새로운 ID를 부여한다.
상기 기술한 바와 같이, 카메라(20)는 복수로 형성된다. 그리고 제1 카메라(20a)가 촬영한 제1 영상에서 특정 오브젝트(2)에 특정 ID를 부여한 후, 상기 오브젝트(2)가 제1 카메라(20a)의 제1 영상으로부터 사라지고, 제2 카메라(20b)가 촬영한 제2 영상에서 나타나는 경우가 있다. 이 때, 제2 카메라(20b)는 상기 오브젝트(2)에 대하여, 제1 카메라(20a)가 부여한 상기 특정 ID와 동일한 ID를 부여한다.
그런데, 제2 카메라(20b)는 촬영한 제2 영상으로부터 상기 오브젝트(2)의 출몰을 감지하면, 복수의 카메라(20) 중에 제1 카메라(20a)와 통신해야 한다. 제1 카메라(20a)가 제2 카메라(20b)보다 먼저 상기 오브젝트(2)에 특정 ID를 부여했고, 제2 카메라(20b)는 제1 카메라(20a)가 상기 오브젝트(2)에 어떤 ID를 부여하였는지를 알아야, 그와 동일한 ID를 부여할 수 있기 때문이다. 제2 카메라(20b)는 복수의 카메라(20) 중에 어느 카메라(20)가 상기 오브젝트(2)를 먼저 촬영하였는지 알기 위해, 복수의 카메라(20)들이 상호간에 통신할 수 있다. 이 때, 복수의 카메라(20)들은 직접 연결되어 통신할 수도 있으나, 모니터링 장치(10) 또는 별도의 AP 등을 통하여 연결되는 등 제한되지 않고 다양한 방법으로 연결되어 통신할 수 있다. 그리고 제2 카메라(20b)는 상기 특정 오브젝트(2)가 출몰한 이벤트의 발생을 감지하면, 먼저 이벤트의 발생 시간을 체크하고, 복수의 카메라(20) 중에 상기 이벤트의 발생 시간과 근접한 시간에 이벤트의 발생을 감지한 카메라(20)들을 선정한다. 그 후, 상기 선정된 카메라(20)들이 영상 분석한 결과와, 제2 카메라(20b)가 해당 오브젝트(2)에 대하여 영상 분석한 결과를 비교한다. 만약 제1 카메라(20a)의 영상에 출몰한 오브젝트(2)와 일치율이 특정 기준보다 높은 것으로 판단되면, 동일한 오브젝트(2)인 것으로 판단하고 제1 카메라(20a)가 해당 오브젝트(2)에 부여한 ID를 파악한다. 그리고 제2 카메라(20b)는 상기 출몰한 오브젝트(2)에, 제1 카메라(20a)가 부여한 ID와 동일한 ID를 부여한다. 따라서, 추후에 사용자가 영상을 검색하면, 동일한 오브젝트(2)의 움직임을 파악하여 영상이 자동으로 변환될 수 있다.
여기서 일치율이란, 영상 분석(VA)을 통해 각각의 영상에서 오브젝트(2)가 가진 특징들을 추출하면, 상기 오브젝트(2)가 가진 특징들 중에서 동일한 특징을 가지는 비율을 나타낸다. 그리고, 이러한 특징들은 예를 들면, 애완 동물의 종류, 털의 색상, 몸의 크기 등을 말한다. 또한, 상기 특정 기준은 대략 80 내지 90%인 것이 바람직하나, 이에 제한되지 않고 다양하게 특정 기준이 설정될 수 있다.
도 5는 본 발명의 일 실시예에 따른 제어부(11)의 자세한 구성을 나타낸 블록도이다.
제어부(11)는 메타데이터(3)를 분석하는 메타데이터 분석부(111), 복수의 영상 중에 이벤트가 발생한 영상을 선택하는 영상 선택부(112), 사용자의 명령에 따라 영상을 검색하는 영상 검색부(113)를 포함한다.
메타데이터 분석부(111)는 상기 생성된 메타데이터(3)를 분석한다. 상기 기술한 바와 같이, 메타데이터(3)에는 식별된 오브젝트(2, 도 6에 도시됨), 오브젝트(2)의 위치, 이벤트의 발생 시간, 해당 영상을 획득한 카메라(20)의 식별자 등에 대한 정보가 포함되어 있다. 메타데이터 분석부(111)는 카메라(20)로부터 전송된 메타데이터(3)들을 분석하여, 상기의 이벤트에 대한 정보를 영상 선택부(112)에 전달한다.
영상 선택부(112)는 복수의 카메라(20)로부터 전송되는 영상 중에, 이벤트가 발생한 영상을 선택한다. 이 때, 이벤트의 발생 여부는 상기 메타데이터 분석부(111)로부터 전달받은 정보를 통해 판단할 수 있다. 만약, 특정 카메라(20)로부터 촬영된 영상에서, 특정 오브젝트(2)가 출몰하여 움직이는 모션 이벤트가 발생한다면, 영상 선택부(112)는 메타데이터 분석부(111)로부터 이러한 이벤트에 대한 정보를 전송받는다. 그리고, 영상 선택부(112)는 복수의 카메라(20)로부터 획득된 복수의 영상 중에, 상기 모션 이벤트가 발생한 영상을 선택한다. 영상 선택부(112)가 상기 선택한 영상을 화면부(13)로 전송하면, 화면부(13)는 상기 선택된 영상을 로딩하여 사용자가 상기 특정 오브젝트(2)를 모니터링 할 수 있도록 디스플레이 한다.
만약, 특정 오브젝트(2)가 이동을 하여 복수의 영상에서 이벤트가 발생한다면, 영상 선택부(112)는 복수의 영상을 이벤트가 발생한 시간 순서대로 합성할 수도 있다. 그러면, 제1 영상에서 특정 오브젝트(2)가 이동하여 사라지면서 제2 영상에서 상기 특정 오브젝트(2)가 이동하여 나타나면, 화면부(13)에서는 제1 영상이 디스플레이 되다가 자연스럽게 제2 영상으로 화면이 변환되어 디스플레이 된다.
나아가, 오브젝트(2)가 복수인 경우, 예를 들어 사용자가 애완 동물을 두 마리 이상 키우는 경우에는 동시에 복수의 이벤트가 발생할 수 있다. 그리고 복수의 카메라(20)가 각각 복수의 이벤트를 촬영하여 영상을 획득할 수 있다. 이러한 경우, 영상 선택부(112)는 복수의 영상을 모두 선택하여 특정 배열로 합성한 후, 화면부(13)로 전송할 수 있다. 그러면, 화면부(13)는 상기 특정 배열에 따라 분할 화면을 생성하여 복수의 영상을 모두 동시에 디스플레이 할 수 있다. 그리고 사용자가 복수의 영상 가운데 하나의 영상을 선택한다면 분할 화면이 사라지고, 화면부(13)는 사용자가 선택한 영상만을 디스플레이 할 수 있다.
상기 기술한 바와 같이 복수의 카메라(20)는, 실내 공간에 대한 영상을 획득하는 것이 바람직하다. 특히, 사용자가 외출 중에, 실내 공간에 남겨지는 애완 동물 또는 어린 아이를 촬영하여 영상을 획득하는 것이 더욱 바람직하다. 그럼으로써, 사용자가 외출 중에도 모니터링 장치(10)를 이용하여 애완 동물 또는 어린 아이를 모니터링하는 것이 용이하다. 한편, 실내 공간에 존재하는 오브젝트(2)는, 일반적으로 애완 동물로는 1 내지 2마리, 어린 아이는 1 내지 2명 정도이다. 이에 따라, 특정 시간에 동시에 발생하는 이벤트의 개수는, 수 개 정도로 많지가 않다. 따라서, 이러한 분할 화면을 생성하여 복수의 영상이 모두 동시에 디스플레이 되더라도, 하나의 분할 화면의 크기가 많이 작아지지 않는다.
이와 같은 방법으로, 사용자는 상기 오브젝트(2)를 놓치거나, 어디에 위치하는지 다른 카메라(20)들을 일일이 찾아볼 필요 없이, 용이하게 상기 오브젝트(2)를 모니터링할 수 있다.
영상 검색부(113)는 저장부(12)에 저장된 영상 중에, 사용자가 입력한 검색 조건에 부합하는 영상을 검색한다. 사용자는 복수의 카메라(20)가 촬영하는 영역의 현재 상황을, 실시간 라이브 영상으로 모니터링 할 수 있다. 뿐만 아니라, 사용자는 저장부(12)에 저장된 영상 중에서, 특정 검색 조건에 부합하는 영상을 검색한 후, 모니터링 할 수도 있다. 이 경우, 사용자는 영상을 검색하기 위해 시간 조건 등과 같은 검색 조건을 입력한다. 그러면, 영상 검색부(113)는 저장된 메타데이터(3)들을 검색한다. 그리고, 상기 검색 조건에 부합하는 영상에 대한 메타데이터(3)들을 찾으면, 영상 선택부(112)는 해당 메타데이터(3)에 지정된 영상들 중에 이벤트가 발생한 영상을 선택한다. 그리고, 상기 영상을 화면부(13)로 전송하여, 사용자가 상기 특정 오브젝트(2)를 모니터링 할 수 있도록, 화면부(13)를 통해 디스플레이 한다. 그럼으로써 저장부(12)에 저장된 영상 중에서, 상기 지정된 검색 조건에 부합하는 영상을 빠르게 검색 결과로 도출할 수 있다.
지금까지 기술한 모니터링 장치(10)의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트(2), 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
도 6은 애완 동물 또는 어린 아이 등의 오브젝트(2)가 촬영되어 이벤트가 발생한 제1 영상을, 본 발명의 일 실시예에 따른 모니터링 장치(10)가 자동으로 디스플레이 하는 모습을 나타낸 도면이다.
이하, 본 발명의 일 실시예에 따른 모니터링 시스템(1)이 동작하는 과정에 대하여, 구체적으로 예를 들어 설명한다.
복수의 카메라(20)가 실내 공간의 다양한 위치에 다양한 방향을 향하여 설치된다. 예를 들면 일반 가정 집에서, 제1 카메라(20a)는 거실, 제2 카메라(20b)는 방, 제3 카메라(20c)는 부엌 등 다양한 위치에 설치될 수 있다. 그리고, 각각의 카메라(20)는 자신이 촬영하는 영역에 대한 영상을 획득한다.
이 때, 사용자가 본 발명의 일 실시예에 따른 모니터링 장치(10)의 동작을 실행하면, 모니터링 장치(10)는 데이터를 전송받을 준비를 한다. 그리고 복수의 카메라(20)는 각각 자신이 획득한 영상의 스트리밍 데이터 및 메타데이터(3)들을 모니터링 장치(10)로 전송한다. 이 때, 거실에 존재하던 특정 오브젝트(2)가 움직이는 모션 이벤트가 발생한 경우, 거실에 설치된 제1 카메라(20a)는 영상 분석 기능을 통해 이벤트 발생을 판단하고 오브젝트(2)의 특징을 추출한다. 그리고 제1 카메라(20a)의 메타데이터 생성부(23)는 상기 발생한 이벤트에 대한 정보가 포함된 메타데이터(3)를 생성한다. 모니터링 장치(10)가 복수의 카메라(20)로부터 각각 영상 스트리밍 데이터 및 메타데이터(3)를 전송받으면, 메타데이터 분석부(111)는 메타데이터(3)를 분석하여 이벤트에 대한 정보를 영상 선택부(112)에 전달한다. 영상 선택부(112)는 이러한 정보를 통해, 제1 영상에서 현재 이벤트가 발생하고 있거나, 가장 최근에 이벤트가 발생했던 사실을 인지하고, 제1 영상을 선택한다. 영상 선택부(112)가 제1 영상을 화면부(13)로 전송하면, 화면부(13)는 도 6에 도시된 바와 같이, 전송받은 제1 영상을 로딩하여 디스플레이 한다. 그러면, 모니터링 장치(10)는 전송받은 복수의 영상 중에 현재 이벤트가 발생하고 있거나, 가장 최근에 이벤트가 발생하였던 영상을 디스플레이 하게 된다. 따라서 사용자는, 복수의 카메라(20)가 획득하는 영상들을 일일이 확인해가며 오브젝트(2)를 찾을 필요가 없이, 곧바로 오브젝트(2)를 모니터링 할 수 있다.
도 7은 도 6에서 오브젝트(2)가 다른 공간으로 이동하여, 본 발명의 일 실시예에 따른 모니터링 장치(10)에서 디스플레이 되는 제1 영상에서 사라지는 모습을 나타낸 도면이다.
애완 동물 또는 어린 아이와 같은 오브젝트(2)는, 항상 한 공간에만 머물러 있는 것이 아니다. 예를 들어 거실에 있던 오브젝트(2)가 움직이면서 부엌이나 방 등 다른 공간으로 이동할 수 있다. 이 때, 제1 카메라(20a)가 거실만을 촬영하고 있다면, 오브젝트(2)가 이동한 이후에는 제1 카메라(20a)의 화각 내에 오브젝트(2)가 포함되지 않을 수 있다. 비록, 제1 카메라(20a)가 팬틸트 카메라이거나 360° 카메라라 하더라도, 오브젝트(2)가 벽으로 분리된 다른 공간으로 이동한다면, 오브젝트(2)는 제1 카메라(20a)의 사각지대에 존재하게 된다. 따라서, 제1 카메라(20a)는 더 이상 오브젝트(2)를 촬영할 수 없고, 도 7에 도시된 바와 같이 제1 영상에서는 오브젝트(2)가 사라진다. 이러한 경우, 제1 카메라(20a)는 자신이 획득한 제1 영상에서 이벤트의 발생을 판단할 수가 없게 된다.
도 8은 도 7에서 오브젝트(2)가 다른 공간으로 이동하여, 본 발명의 일 실시예에 따른 모니터링 장치(10)에서 디스플레이 되는 제2 영상에 나타나는 모습을 나타낸 도면이고, 도 9는 오브젝트(2)가 완전히 이동한 다른 공간을 촬영한 제2 영상을, 본 발명의 일 실시예에 따른 모니터링 장치(10)가 디스플레이 하는 모습을 나타낸 도면이다.
한편, 부엌이나 방 등 다른 공간에는 다른 카메라(20)가 설치되어 있다. 이 때, 오브젝트(2)가 도 8에 도시된 바와 같이, 거실에서 방으로 이동할 수 있다. 그러면, 방에 설치된 제2 카메라(20b)는 영상 분석 기능을 통해 이벤트 발생을 판단하고 오브젝트(2)의 특징을 추출한다. 그리고, 이벤트의 발생 시간을 체크하고, 네트워크(30)를 통해 통신하여, 복수의 카메라(20) 중에 상기 이벤트의 발생 시간과 근접한 시간에 이벤트의 발생을 감지한 카메라(20)들을 선정한다. 그 후, 상기 선정된 카메라(20)들이 영상 분석한 결과와, 제2 카메라(20b)가 해당 오브젝트(2)에 대하여 영상 분석한 결과를 비교한다. 제1 카메라(20a)의 영상에 출몰한 오브젝트(2)와 일치율이 특정 기준보다 높은 것으로 판단되면, 동일한 오브젝트(2)인 것으로 판단하고 제1 카메라(20a)가 해당 오브젝트(2)에 부여한 ID를 파악한다. 그리고 제2 카메라(20b)는 상기 출몰한 오브젝트(2)에, 제1 카메라(20a)가 부여한 ID와 동일한 ID를 부여한다. 제2 카메라(20b)의 메타데이터 생성부(23)는 상기 부여한 오브젝트(2)의 ID, 이벤트 발생 시간, 제2 카메라(20b)의 식별자 등 상기 발생한 이벤트에 대한 정보가 포함된 메타데이터(3)를 생성한다.
모니터링 장치(10)가 복수의 카메라(20)로부터 각각 영상 스트리밍 데이터 및 메타데이터(3)를 전송받으면, 메타데이터 분석부(111)는 메타데이터(3)를 분석하여 이벤트에 대한 정보를 영상 선택부(112)에 전달한다. 영상 선택부(112)는 이러한 정보를 통해, 제2 영상에서 현재 이벤트가 발생하고 있거나, 가장 최근에 이벤트가 발생했던 사실을 인지하고, 제2 영상을 선택한다. 영상 선택부(112)가 제1 영상의 전송을 중단하고 제2 영상을 화면부(13)로 전송하면, 화면부(13)는 도 8 및 도 9에 도시된 바와 같이, 제1 영상의 디스플레이를 중단하고 전송받은 제2 영상을 로딩하여 디스플레이 한다. 따라서 사용자는, 사라진 오브젝트(2)를 찾기 위해 일일이 복수의 영상들을 확인할 필요가 없이, 곧바로 오브젝트(2)를 모니터링 할 수 있다.
도 10은 본 발명의 일 실시예에 따른 모니터링 장치(10)에 검색 조건을 입력하여 영상을 검색하는 모습을 나타낸 도면이다.
도 6 내지 도 9에 대한 설명에서 기술한 바와 같이, 모니터링 장치(10)는 카메라(20)가 획득한 영상을 곧바로 디스플레이 할 수 있다. 따라서, 사용자는 이러한 라이브 영상을 모니터링 함으로써, 현재의 상황을 용이하게 파악할 수 있다.
그런데 이미 이벤트가 발생한 경우, 사용자가 발생하였던 이벤트의 내용을 확인하기를 희망하는 경우가 있다. 예를 들어, 사용자가 외출 후 집에 복귀했는데 거실에 꽃병이 깨져있는 경우, 과거에 어떤 이벤트가 발생했었는지 모니터링 하기를 희망할 수 있다.
본 발명의 일 실시예에 따른 모니터링 장치(10)를 이용하면, 라이브 영상뿐만 아니라, 과거에 획득되어 저장된 영상도 디스플레이 할 수 있다. 이를 위해 사용자는 먼저, 도 10에 도시된 바와 같이, 검색 조건을 입력한다. 사용자가 모니터링 하기를 원하는 날짜 및 시간을 입력하고 '검색' 버튼을 클릭(Click)하거나 터치(Touch)한다.
도 11은 도 10에서 입력한 검색 조건에 부합하는 영상 중에서 이벤트가 발생한 영상을, 본 발명의 일 실시예에 따른 모니터링 장치(10)가 디스플레이 하는 모습을 나타낸 도면이다.
복수의 카메라(20)가 실내 공간을 상시 촬영하고 있다면, 복수의 영상이 저장된다. 따라서, 사용자가 도 10에 도시된 바와 같이 검색 조건을 입력하고 영상 검색을 수행한다면, 영상 검색부(113)는 해당 검색 조건에 부합하는 복수의 영상을 검색 결과로 도출한다.
그러나, 복수의 카메라(20)가 촬영하는 모든 영역에서 항상 이벤트가 발생하는 것은 아니다. 만약, 검색 조건으로 입력한 해당 시간에 오브젝트(2)가 거실에서 움직여 모션 이벤트가 발생하였다면, 거실에 설치된 제1 카메라(20a)는 상기 발생한 이벤트에 대한 정보가 포함된 메타데이터(3)를 생성했을 것이다. 영상 선택부(112)는 이러한 메타데이터(3)에 포함된 이벤트에 대한 정보를 이용하여, 제1 카메라(20a)가 획득한 제1 영상에 상기 해당 시간에 발생된 이벤트가 포함되었다는 것을 파악할 수 있다. 따라서, 영상 선택부(112)는 복수의 영상 중에서 제1 영상을 선택한다. 영상 선택부(112)가 제1 영상을 화면부(13)로 전송하면, 화면부(13)는 도 11에 도시된 바와 같이, 전송받은 제1 영상을 로딩하여 디스플레이 한다.
도 12는 도 11에서 복수의 영상에서 이벤트가 발생한 경우, 본 발명의 일 실시예에 따른 모니터링 장치(10)가 분할 화면을 생성하여 복수의 영상을 동시에 디스플레이 하는 모습을 나타낸 도면이고, 도 13은 도 12에서 하나의 영상에서 이벤트가 종료된 경우, 본 발명의 일 실시예에 따른 모니터링 장치(10)가 이벤트가 종료된 영상을, 더 이상 디스플레이 하지 않는 모습을 나타낸 도면이다.
상기 기술한 바와 같이, 오브젝트(2a, 2b)가 복수인 경우에는 동시에 복수의 이벤트가 발생할 수 있다. 그리고 복수의 카메라(20)가 각각 복수의 이벤트를 촬영하여 영상을 획득할 수 있다. 이러한 경우, 영상 선택부(112)는 복수의 영상을 모두 선택하여 합성한 후, 화면부(13)로 전송할 수 있다. 그러면, 화면부(13)는 도 12에 도시된 바와 같이, 분할 화면을 생성하여 복수의 영상을 모두 동시에 디스플레이 할 수 있다.
이 때, 영상 선택부(112)는 복수의 영상을 가로로 배열하여 합성할 수도 있고, 세로로 배열하여 합성할 수도 있다. 또는, 영상이 점점 많아진다면, 격자로 배열하여 합성할 수도 있으며, 각각의 영상마다 크기가 동일할 수도 있으나, 상이할 수도 있다. 나아가, 사용자가 영상을 모니터링 하는 도중에 배열을 변경하도록 명령을 입력하는 경우, 영상 선택부(112)는 사용자의 명령에 따라 배열을 변경하여 영상을 합성한다. 그리고 화면부(13)는 복수의 영상이 합성된 대로 분할 화면이 생성된다. 사용자가 복수의 영상 가운데 하나의 영상을 선택한다면 분할 화면이 사라지고, 화면부(13)는 선택된 영상만을 디스플레이 할 수 있다.
사용자가 입력한 검색 조건의 시작 조건에 대응되는 시간부터, 이미 복수의 이벤트가 발생할 수도 있다. 이러한 경우에는 처음부터 복수의 영상이 동시에 디스플레이 될 수 있다. 그러나, 상기 시작 조건에 대응되는 시간에는 하나의 이벤트만이 발생하다가, 도중에 복수의 이벤트가 발생할 수도 있다. 예를 들면, 거실과 방에 각각 다른 오브젝트(2a, 2b)가 존재하였지만, 거실에 존재하는 제1 오브젝트(2a)는 이미 움직이고 있어서 모션 이벤트가 발생하였고, 방에 존재하는 제2 오브젝트(2b)는 움직이지 않고 잠을 자다가, 어느 정도 시간이 흐른 뒤에 움직여서 뒤늦게 모션 이벤트가 발생할 수 있다.
이러한 경우 영상 선택부(112)는, 복수의 영상을 이벤트가 발생한 시간 순서대로 합성할 수 있다. 우선, 시작 조건에 대응되는 시간부터 제1 영상만을 선택할 수 있다. 따라서 초기에 모니터링 장치(10)의 화면부(13)는 도 11에 도시된 바와 같이, 제1 영상만을 디스플레이 할 수 있다. 그 후, 제2 오브젝트(2b)가 움직인 시간부터, 제1 영상과 제2 영상을 합성할 수 있다. 따라서, 어느 정도 시간이 흐른 뒤에 모니터링 장치(10)의 화면부(13)는 도 12에 도시된 바와 같이, 제1 영상 및 제2 영상의 합성 영상을 디스플레이 할 수 있다.
그리고, 제1 영상과, 제1 영상 및 제2 영상의 합성 영상을 시간 순서대로 합성할 수도 있다. 따라서, 분할 화면이 생성되더라도 자연스럽게 영상이 디스플레이 될 수 있다.
거실과 방에서 각각 제1 오브젝트(2a)와 제2 오브젝트(2b)가 움직이다가, 제1 오브젝트(2a)가 움직임을 멈추고 잠이 드는 경우, 그 시간 이후로는 제2 오브젝트(2b)만이 움직이고 있다. 그러면 화면 선택부(112)는 제1 영상의 선택을 해제하고, 제2 영상만을 선택한다. 그리고, 제2 영상만을 상기 제1 명상 및 제2 영상의 합성 영상의 뒤에 시간 순서대로 합성한다. 따라서, 화면부(13)는 도 13에 도시된 바와 같이, 제2 영상만을 디스플레이 하게 된다. 이 때 사용자는 움직임을 멈춘 제1 오브젝트(2a)를 모니터링 하지 않고, 계속 움직이고 있는 제2 오브젝트(2b)를 모니터링 하게 된다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 실내에 설치된 복수의 카메라가 각각 특정 영역을 촬영하여 영상을 획득하면, 상기 복수의 카메라로부터 각각 상기 영상의 스트리밍 데이터 및 메타데이터를 전송받는 통신부;
    상기 전송받은 메타데이터를 분석하여, 발생한 이벤트의 정보를 추출하는 메타데이터 분석부;
    상기 추출된 이벤트의 정보를 토대로 상기 복수의 영상 중에서 이벤트가 발생한 영역을 포함하는 영상을 선택하는 영상 선택부; 및
    동작이 실행되면, 상기 영상 선택부로부터 상기 선택된 영상을 전송받아 곧바로 디스플레이 하는 화면부를 포함하는 모니터링 장치.
  2. 제1항에 있어서,
    상기 영상은,
    실시간 라이브 영상인, 모니터링 장치.
  3. 제1항에 있어서,
    상기 이벤트가 발생한 영역이 복수인 경우,
    상기 영상 선택부는,
    상기 이벤트가 발생한 영역을 포함하는 복수의 상기 영상을 선택하는, 모니터링 장치.
  4. 제3항에 있어서,
    상기 영상 선택부는,
    상기 복수의 영상을 특정 배열로 합성하여 상기 화면부에 전송하는, 모니터링 장치.
  5. 제4항에 있어서,
    상기 화면부는,
    상기 특정 배열에 따라 분할 화면을 생성하는, 모니터링 장치.
  6. 제5항에 있어서,
    상기 복수의 영상 중에 하나의 영상이 사용자에 의해 선택되면,
    상기 화면부는,
    상기 사용자에 의해 선택된 하나의 영상만을 디스플레이 하는, 모니터링 장치.
  7. 제1항에 있어서,
    상기 이벤트가 발생한 영역이 시간에 따라 변화한다면,
    상기 영상 선택부는,
    상기 이벤트가 발생한 영역을 포함하는 복수의 상기 영상을 시간 순서대로 합성하여 상기 화면부에 전송하는, 모니터링 장치.
  8. 실내에 설치된 복수의 카메라가 각각 특정 영역을 촬영하여 영상을 획득하면, 상기 복수의 카메라로부터 각각 상기 영상의 스트리밍 데이터 및 메타데이터를 전송받는 통신부;
    상기 전송받은 메타데이터를 분석하여, 발생한 이벤트의 정보를 추출하는 메타데이터 분석부;
    상기 추출된 이벤트의 정보를 토대로 상기 복수의 영상 중에서 이벤트가 발생한 영역을 포함하는 영상을 선택하는 영상 선택부;
    상기 영상 선택부로부터 상기 선택된 영상을 전송받아 디스플레이 하는 화면부; 및
    전송된 상기 영상의 스트리밍 데이터 및 상기 메타데이터를 저장하는 저장부를 포함하는 모니터링 장치.
  9. 제8항에 있어서,
    상기 복수의 영상은,
    과거에 촬영되어 상기 저장부에 저장된 영상인, 모니터링 장치.
  10. 제9항에 있어서,
    검색 조건을 입력받아, 상기 저장부에 저장된 영상 중에 상기 검색 조건에 부합하는 영상을 검색 결과로 도출하는 영상 검색부를 더 포함하는 모니터링 장치.
  11. 제10항에 있어서,
    상기 영상 선택부는,
    상기 검색 결과로 도출된 영상 중에서 이벤트가 발생한 영역을 포함하는 영상을 선택하는, 모니터링 장치.
  12. 제8항에 있어서,
    상기 이벤트가 발생한 영역이 복수인 경우,
    상기 영상 선택부는,
    상기 이벤트가 발생한 영역을 포함하는 복수의 상기 영상을 선택하는, 모니터링 장치.
  13. 제12항에 있어서,
    상기 영상 선택부는,
    상기 복수의 영상을 특정 배열로 합성하여 상기 화면부에 전송하는, 모니터링 장치.
  14. 제13항에 있어서,
    상기 화면부는,
    상기 특정 배열에 따라 분할 화면을 생성하는, 모니터링 장치.
  15. 제14항에 있어서,
    상기 복수의 영상 중에 하나의 영상이 선택되면,
    상기 화면부는,
    상기 선택된 하나의 영상만을 디스플레이 하는, 모니터링 장치.
  16. 제8항에 있어서,
    상기 이벤트가 발생한 영역이 시간에 따라 변화한다면,
    상기 영상 선택부는,
    상기 이벤트가 발생한 영역을 포함하는 복수의 상기 영상을 시간 순서대로 합성하여 상기 화면부에 전송하는, 모니터링 장치.
  17. 실내에 설치되며, 각각 특정 영역을 촬영하여 영상을 획득하는 촬상부 및 상기 영상으로부터 이벤트 발생 여부를 판단하는 이벤트 발생 판단부를 포함하는 복수의 카메라; 및
    상기 복수의 카메라로부터 각각 상기 영상의 스트리밍 데이터 및 메타데이터를 전송받는 통신부, 상기 발생한 이벤트의 정보를 토대로 상기 영상 중에서 이벤트가 발생한 영역을 포함하는 영상을 선택하는 영상 선택부, 상기 영상 선택부로부터 상기 선택된 영상을 전송받아 디스플레이 하는 화면부를 포함하는 모니터링 장치를 포함하는 모니터링 시스템.
  18. 제17항에 있어서,
    전송된 상기 영상의 스트리밍 데이터 및 상기 메타데이터를 저장하는 저장부를 더 포함하고,
    상기 복수의 영상은,
    과거에 촬영되어 상기 저장부에 저장된 영상인, 모니터링 시스템.
  19. 제18항에 있어서,
    검색 조건을 입력받아, 상기 저장부에 저장된 영상 중에 상기 검색 조건에 부합하는 영상을 검색 결과로 도출하는 영상 검색부를 더 포함하고,
    상기 영상 선택부는,
    상기 검색 결과로 도출된 영상 중에서 이벤트가 발생한 영역을 포함하는 영상을 선택하는, 모니터링 시스템.
  20. 제17항에 있어서,
    상기 이벤트가 발생한 영역이 복수인 경우,
    상기 영상 선택부는,
    상기 이벤트가 발생한 영역을 포함하는 복수의 상기 영상을 선택하여 특정 배열로 합성하고,
    상기 화면부는,
    상기 특정 배열에 따라 분할 화면을 생성하는, 모니터링 시스템.
PCT/KR2017/002229 2017-01-23 2017-02-28 모니터링 장치 및 시스템 WO2018135695A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780080760.XA CN110140153A (zh) 2017-01-23 2017-02-28 监控装置与系统
US16/446,895 US11495103B2 (en) 2017-01-23 2019-06-20 Monitoring apparatus and system
US17/982,741 US20230067154A1 (en) 2017-01-23 2022-11-08 Monitoring apparatus and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170010382A KR20180086662A (ko) 2017-01-23 2017-01-23 모니터링 장치 및 시스템
KR10-2017-0010382 2017-01-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/446,895 Continuation US11495103B2 (en) 2017-01-23 2019-06-20 Monitoring apparatus and system

Publications (1)

Publication Number Publication Date
WO2018135695A1 true WO2018135695A1 (ko) 2018-07-26

Family

ID=62908563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/002229 WO2018135695A1 (ko) 2017-01-23 2017-02-28 모니터링 장치 및 시스템

Country Status (4)

Country Link
US (2) US11495103B2 (ko)
KR (1) KR20180086662A (ko)
CN (1) CN110140153A (ko)
WO (1) WO2018135695A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200036945A1 (en) * 2018-07-24 2020-01-30 Comcast Cable Communications, Llc Neighborhood Proximity Media Capture For Life Safety Alarm Events
KR20200090403A (ko) * 2019-01-21 2020-07-29 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102271606B1 (ko) * 2019-10-29 2021-07-02 주식회사 엘지유플러스 반려 동물 모니터링을 위한 장치 및 방법
US11394932B2 (en) 2020-06-03 2022-07-19 Honeywell International Inc. System and method for auto selecting a video for display on a mobile device based on the proximity of the mobile device relative to the video source
US20220165304A1 (en) * 2020-11-24 2022-05-26 Nvidia Corporation Trigger-responsive clip extraction based on remote analysis
AT17341U1 (de) * 2021-01-27 2022-01-15 Pke Holding Ag Anordnung von Kameras zur Überwachung eines Bereiches

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006067139A (ja) * 2004-08-25 2006-03-09 Matsushita Electric Ind Co Ltd 複数カメラ映像検索装置、複数カメラ映像検索方法、及び複数カメラ映像検索プログラム
JP2009171472A (ja) * 2008-01-18 2009-07-30 Hitachi Ltd ネットワーク映像モニタリングシステム及びモニタ装置
KR20150035322A (ko) * 2013-09-27 2015-04-06 삼성테크윈 주식회사 영상 감시 시스템
KR20150053162A (ko) * 2013-11-07 2015-05-15 삼성테크윈 주식회사 검색 시스템 및 영상 검색 방법
KR20160053601A (ko) * 2014-11-05 2016-05-13 한화테크윈 주식회사 영상 처리 장치 및 방법

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030025599A1 (en) * 2001-05-11 2003-02-06 Monroe David A. Method and apparatus for collecting, sending, archiving and retrieving motion video and still images and notification of detected events
US20040219980A1 (en) * 2003-04-30 2004-11-04 Nintendo Co., Ltd. Method and apparatus for dynamically controlling camera parameters based on game play events
US8589373B2 (en) * 2003-09-14 2013-11-19 Yaron Mayer System and method for improved searching on the internet or similar networks and especially improved MetaNews and/or improved automatically generated newspapers
JP4716744B2 (ja) 2005-02-01 2011-07-06 株式会社日立製作所 映像監視配信装置
JP2006221355A (ja) * 2005-02-09 2006-08-24 Hitachi Ltd 監視装置及び監視システム
JP4881766B2 (ja) * 2007-03-06 2012-02-22 パナソニック株式会社 カメラ間連結関係情報生成装置
EP2418849B1 (en) * 2009-04-10 2013-10-02 Omron Corporation Monitoring system, and monitoring terminal
US8503539B2 (en) * 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
GB201113633D0 (en) * 2011-08-08 2011-09-21 Vision Semantics Ltd User-primed iterative discovery of object associations in distributed multi-source data
US10769913B2 (en) * 2011-12-22 2020-09-08 Pelco, Inc. Cloud-based video surveillance management system
CN102695045B (zh) * 2012-06-14 2014-05-14 北京航天通联物网科技有限公司 Rfid视频智能追踪系统
KR20140098959A (ko) 2013-01-31 2014-08-11 한국전자통신연구원 증거 영상 생성 장치 및 방법
US20160110884A1 (en) * 2013-03-14 2016-04-21 Aperture Investments, Llc Systems and methods for identifying objects within video content and associating information with identified objects
US20160110041A1 (en) * 2013-03-14 2016-04-21 Aperture Investments, Llc Systems and methods for selecting and displaying identified objects within video content along with information associated with the identified objects
KR20140141025A (ko) * 2013-05-31 2014-12-10 삼성에스디에스 주식회사 영상 검색 장치 및 방법
JP5506990B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US9900177B2 (en) * 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
CN103886729B (zh) * 2014-03-03 2016-06-08 深圳市敢为软件技术有限公司 报警视频显示方法和系统
US9948902B1 (en) * 2014-03-07 2018-04-17 Alarm.Com Incorporated Video camera and sensor integration
US20150264296A1 (en) * 2014-03-12 2015-09-17 videoNEXT Federal, Inc. System and method for selection and viewing of processed video
US9170707B1 (en) * 2014-09-30 2015-10-27 Google Inc. Method and system for generating a smart time-lapse video clip
US9418153B2 (en) 2014-07-29 2016-08-16 Honeywell International Inc. Video search and playback interface for vehicle monitor
CN105338293B (zh) * 2014-08-04 2019-01-08 杭州海康威视数字技术股份有限公司 报警事件的输出显示方法及装置
KR101703413B1 (ko) 2015-02-13 2017-02-06 수상에스티(주) 애완동물 모니터링 장치, 제어단말 및 그 방법
US20160342846A1 (en) * 2015-05-21 2016-11-24 Facewatch Limited Systems, Methods, and Devices for Information Sharing and Matching
JP6285614B2 (ja) * 2015-07-01 2018-02-28 株式会社日立国際電気 監視システム、撮影側装置、及び照合側装置
US9704537B2 (en) * 2015-09-03 2017-07-11 Echostar Technologies L.L.C. Methods and systems for coordinating home automation activity
GB2545900B (en) * 2015-12-21 2020-08-12 Canon Kk Method, device, and computer program for re-identification of objects in images obtained from a plurality of cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006067139A (ja) * 2004-08-25 2006-03-09 Matsushita Electric Ind Co Ltd 複数カメラ映像検索装置、複数カメラ映像検索方法、及び複数カメラ映像検索プログラム
JP2009171472A (ja) * 2008-01-18 2009-07-30 Hitachi Ltd ネットワーク映像モニタリングシステム及びモニタ装置
KR20150035322A (ko) * 2013-09-27 2015-04-06 삼성테크윈 주식회사 영상 감시 시스템
KR20150053162A (ko) * 2013-11-07 2015-05-15 삼성테크윈 주식회사 검색 시스템 및 영상 검색 방법
KR20160053601A (ko) * 2014-11-05 2016-05-13 한화테크윈 주식회사 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR20180086662A (ko) 2018-08-01
US20190304276A1 (en) 2019-10-03
US11495103B2 (en) 2022-11-08
CN110140153A (zh) 2019-08-16
US20230067154A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
WO2018135695A1 (ko) 모니터링 장치 및 시스템
US11308777B2 (en) Image capturing apparatus with variable event detecting condition
US20230014519A1 (en) Video search device, data storage method and data storage device
JP5213105B2 (ja) 映像ネットワークシステム及び映像データ管理方法
WO2012020856A1 (en) Region of interest based video synopsis
WO2018021608A1 (ko) 모니터링 장치 및 시스템
EP3338433A1 (en) Apparatus and method for user-configurable interactive region monitoring
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2014193065A1 (en) Video search apparatus and method
KR102249498B1 (ko) 이벤트 검색 장치 및 시스템
WO2021167374A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
TWI407386B (zh) 影像自動追蹤之監控方法
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
WO2020057353A1 (zh) 基于高速球的物体跟踪方法、监控服务器、视频监控系统
WO2019088651A1 (ko) 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
WO2018004036A1 (ko) 모니터링 장치 및 시스템
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
WO2016064107A1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
WO2019216572A1 (ko) 휴대 단말에서의 영상 제공 방법 및 그 장치
WO2021251652A1 (ko) 영상 분석 장치 및 방법
JP5865584B2 (ja) 特定人物検知システムおよび検知方法
KR20180020374A (ko) 이벤트 검색 시스템, 장치 및 방법
JP6632632B2 (ja) 監視システム
WO2017034217A1 (en) Apparatus and method for user-configurable interactive region monitoring

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17892426

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17892426

Country of ref document: EP

Kind code of ref document: A1