WO2017090892A1 - Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템 - Google Patents

Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템 Download PDF

Info

Publication number
WO2017090892A1
WO2017090892A1 PCT/KR2016/011810 KR2016011810W WO2017090892A1 WO 2017090892 A1 WO2017090892 A1 WO 2017090892A1 KR 2016011810 W KR2016011810 W KR 2016011810W WO 2017090892 A1 WO2017090892 A1 WO 2017090892A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
osd information
osd
information
unit
Prior art date
Application number
PCT/KR2016/011810
Other languages
English (en)
French (fr)
Inventor
심정민
조성봉
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to US15/746,219 priority Critical patent/US10986314B2/en
Priority to CN201680055969.6A priority patent/CN108141568B/zh
Priority to EP16868791.1A priority patent/EP3383030B1/en
Publication of WO2017090892A1 publication Critical patent/WO2017090892A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19663—Surveillance related processing done local to the camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound

Definitions

  • the present invention relates to an OSD information generating camera, an OSD information synthesizing terminal, and an OSD information sharing system including the same, and more particularly, to acquire an image, to generate OSD information by itself, and to generate the image and the OSD information.
  • OSD information generating camera for transmitting separately
  • OSD information synthesizing terminal for receiving the image and the OSD information from the OSD information generating camera, and whether or not to synthesize the image and the OSD information according to the user's authority or degree of screen division
  • An OSD information sharing system comprising the OSD information generating camera and the OSD information synthesizing terminal.
  • surveillance systems are widely used in various places, including banks, department stores, and residential areas. Such a surveillance system may be used for crime prevention and security purposes, but recently, it is also used to monitor indoor pets or young children in real time.
  • the most commonly used surveillance system is a closed-circuit television system, in which a camera is installed at an appropriate position to capture an area to be monitored, and a user can monitor by monitoring a video captured by the camera. CCTV) system.
  • the information provider since it is not automatically determined whether or not to view the information according to the user's authority, in order to exchange the information, the information provider has to specify the information receiver. Furthermore, since the exchange of such information requires the use of separate communication equipment, the type of information that can be exchanged is also limited. In the case of the special information to be displayed on the image, the image and the information are directly synthesized, and any user who views the image regardless of the user's authority can read the information and there is a problem of confidentiality.
  • An object of the present invention is to provide an OSD information generating camera that acquires an image, generates OSD information by itself, and transmits the image and the OSD information separately.
  • the present invention also provides an OSD information synthesizing terminal that receives the image and the OSD information from the OSD information generating camera and varies the synthesis of the image and the OSD information according to a user's authority or degree of screen division.
  • the present invention also provides an OSD information sharing system comprising the OSD information generating camera and the OSD information synthesizing terminal.
  • OSD information generation camera for solving the above problems is an image pickup unit for receiving an image signal to generate an image; A controller which extracts basic information from which the OSD information can be generated; An OSD information generation unit generating the OSD information based on the basic information extracted by the controller; And a communication unit for separating and transmitting data of the image and the OSD information to the outside.
  • OSD information synthesizing terminal for solving the above problems is a communication unit for receiving an image from the outside; An input unit for receiving a command of a user; An OSD information generation unit generating OSD information according to the input user command; A synthesizer for synthesizing the image and the OSD information when meeting a specific criterion; And a monitor displaying an image synthesized with the OSD information.
  • the OSD information sharing system for solving the above problems is to obtain an image by capturing a specific area, the OSD information generating camera for generating first OSD information for the acquired image; And a plurality of OSD information synthesizing terminals for synthesizing the image and the OSD information when meeting a specific criterion, wherein the OSD information generating camera comprises: an imaging unit configured to receive an image signal and generate the image; A controller configured to extract basic information from which the first OSD information can be generated; A first OSD information generation unit generating the first OSD information based on the basic information extracted by the controller; And a first communication unit configured to separate and transmit data of the image and the first OSD information to the outside, wherein the OSD information synthesizing terminal comprises: receiving the image and the data of the first OSD information separately; Communication unit; A synthesizer for synthesizing the image and the OSD information when meeting a specific criterion; And a monitor displaying an image synthesized with the OSD information.
  • the OSD information generating camera transmits the image and the OSD information separately, and the OSD information synthesizing terminal receives and synthesizes the image and the OSD information separately. Accordingly, whether or not the image and the OSD information are synthesized can be changed according to a criterion such as a user's authority or a degree of screen division, thereby enhancing security of the OSD information.
  • the image and the OSD information is synthesized in the terminal, not the camera, the image and OSD information is stored separately so that only the OSD information is needed later or only the image without the synthesized OSD information is loaded and used separately. Can be.
  • the user since the user may directly produce the OSD information, it is possible to perform information exchange or communication with other users without a separate communication device through this.
  • the OSD information includes personal information of a person who has been stored in advance
  • a user having an administrator right may immediately identify personal information of a person selected as a principal person in an image.
  • the OSD information includes privacy mask data
  • the privacy mask may be applied to an innocent person to protect the privacy.
  • the OSD information includes heat map data, it is easy to check the frequency of movement of people in the corresponding area.
  • the OSD information includes the image of the license plate of the vehicle, so that the number of the vehicle can be confirmed quickly and more clearly.
  • FIG. 1 is a schematic diagram showing the configuration of an OSD system 1 according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing in detail the configuration of the camera 10 according to an embodiment of the present invention.
  • control unit 14 is a block diagram showing in detail the configuration of the control unit 14 according to an embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating in detail the first OSD information generation unit 15 according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating in detail a terminal 20 according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an image acquired by photographing a specific area by the camera 10 according to an exemplary embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a composite image in which a heat map 41 is synthesized with the image obtained in FIG. 6.
  • FIG. 8 is a diagram illustrating a composite image in which the personal information 42 of a person is overlaid on the image and synthesized from the image obtained in FIG. 6.
  • FIG. 9 is a diagram illustrating a synthesized image synthesized by applying a privacy mask 43 to a face of a person in the image obtained in FIG. 6.
  • FIG. 10 is a diagram illustrating a composite image obtained by synthesizing a license plate image 44 of a vehicle from the image obtained in FIG. 6.
  • FIG. 11 is a diagram illustrating a synthesized image obtained by synthesizing information 45 and 46 directly generated by a user having administrator authority from the image obtained in FIG. 6.
  • FIG. 12 is a view illustrating another user's transmission of second OSD information in response to second OSD information transmitted by a user having administrator authority in FIG. 11.
  • FIG. 13 is a diagram illustrating a screen in which the screen of the monitor 23 is divided into four divided screens according to an exemplary embodiment.
  • FIG. 14 is a diagram illustrating a screen in which the screen of the monitor 23 is divided into 16 divided screens according to an exemplary embodiment.
  • FIG. 1 is a schematic diagram showing the configuration of an OSD system 1 according to an embodiment of the present invention.
  • the OSD system 1 includes a camera 10 which captures a specific area to acquire an image, and generates first OSD information with respect to the acquired image.
  • the plurality of terminals 20 transmit second OSD information to the camera 10 or receive and synthesize images and OSD information from the camera 10.
  • the camera 10 and the terminal 20 may be wired or wirelessly connected to each other to transmit and receive image data and OSD information data.
  • the camera 10 of the OSD system 1 captures a specific area to obtain an image.
  • the image and the first OSD information are transmitted to the terminal 20.
  • the image and the first OSD information are transmitted without being synthesized.
  • a user having administrator authority may generate second OSD information and transmit the second OSD information to another terminal 20.
  • the second OSD information may be transmitted to the other terminal 20 through the camera 10 or a separate server.
  • the terminal 20 determines whether to combine the image and the OSD information according to the user's authority or the degree of screen division. If the user has authority, the composite image is displayed. If the user does not have authority, the composite image is displayed only. Alternatively, if the number of split screens is small, the composite image is displayed. If the number of split screens is large, only the image without synthesized OSD information is displayed. As a result, various OSD information can be easily transmitted to other users, and whether or not the OSD information is provided can be changed according to the user's authority.
  • the camera 10 acquires an image by photographing a specific area.
  • the camera 10 may be installed in a space spaced from a place where the plurality of terminals 20 are located.
  • the camera 10 according to an embodiment of the present invention is preferably a pan tilt camera capable of panning and tilting.
  • the camera 10 may be a recently introduced 360 ° camera.
  • the 360 ° camera refers to a camera that can be simultaneously photographed in all directions by attaching a plurality of fisheye lenses without physical panning or tilting.
  • the image obtained by the 360 ° camera is panned or tilted through software installed in the terminal 20.
  • the camera 10 according to an embodiment of the present invention is not limited thereto, and various cameras 10 may be used.
  • the terminal 20 is connected to the camera 10 by wire or wirelessly, and receives an image and OSD information acquired by the camera 10.
  • the terminal 20 determines whether to combine the image and the OSD information according to the user's authority or the degree of screen division.
  • the monitor 23 displays the synthesized image or the non-synthesized image.
  • the terminal 20 may be a device that is easy to carry and move, such as a smartphone, a tablet PC, a laptop, and the like, but is not limited thereto and is not easily moved, such as a desktop. It may be.
  • the OSD On Screen Display
  • the OSD refers to a function of directly displaying a variety of information to a user separately from an image displayed on a screen in a display device such as a monitor 23.
  • the OSD displays a window for setting the display device itself, for example, brightness, RGB adjustment, up, down, left, right, and position adjustment.
  • OSD information refers to information related to an image displayed through the monitor 23, rather than setting the monitor 23 itself of the terminal 20. For example, when the personal information 42, the privacy mask 43, the heat map 41, and the license plate of the vehicle which are displayed through the image are recognized, an image 44 of the license plate and a user having administrator authority Refers to information 45 and 46 that are directly generated.
  • FIG. 1 Arrows denoted by A in FIG. 1 illustrate transmission paths of image data transmitted by the camera 10 to each terminal 20.
  • Each terminal 20 and users may be located in different places.
  • a wired or wireless communication network connecting the camera 10 and the plurality of terminals 20 may further include a server, and the camera 10 and the terminals 20 may transmit and receive data and signals through the server.
  • An arrow denoted by B in FIG. 1 illustrates a transmission path of second OSD information generated in the first terminal 20a by the first user 30a having administrator authority and transmitted to the camera 10.
  • the arrow indicated by C in FIG. 1 illustrates a transmission path through which the first OSD information generated by the camera 10 and the second OSD information transmitted to the camera 10 are transmitted to each terminal 20.
  • the second OSD information when the second OSD information is transmitted to the second to fourth terminals 20, the second OSD information is transmitted through the camera 10 through the B path and then transmitted through the C path.
  • the second OSD information when transmitted to the first terminal 20a, since the second OSD information is generated in the first terminal 20a from the beginning, the second OSD information may be stored inside the first terminal 20a, and then passes through the camera 10 and then again. It does not need to be transmitted to the first terminal 20a.
  • first user 30a has the authority of an administrator, and the second OSD information is generated from the first terminal 20a.
  • the present invention is not limited thereto and a plurality of users have the authority of an administrator.
  • Second OSD information may be generated from the plurality of terminals 20, respectively.
  • FIG. 2 is a block diagram showing in detail the configuration of the camera 10 according to an embodiment of the present invention.
  • the camera 10 receives an image signal to generate an image, an image capturing unit 11, an encoder 12 encoding the generated image, and controls an operation of components of the camera 10 and a first OSD through the image.
  • the controller 14 extracts basic information from which the information can be generated, the first OSD information generator 15 generating the first OSD information based on the basic information extracted by the controller 14, and the image to the terminal 20.
  • a first communication unit 13 for transmitting the OSD information data
  • a storage unit 16 for storing the generated image and the OSD information data.
  • the camera 10 is connected to the imaging unit 11, the encoder 12, the control unit 14, the first OSD information generation unit 15, the first communication unit 13, and the storage unit 16 via a bus 17.
  • Components may communicate with each other. All these components may be connected directly to the bus 17 or through one or more interfaces or adapters.
  • Bus 17 is connected to a wide variety of subsystems.
  • the bus 17 may include a memory bus, a memory controller, a peripheral bus, a local bus, and a combination thereof.
  • the imaging unit 11 receives an image signal of a specific area and generates an image.
  • the imaging unit 11 generally includes an imaging device such as a charge coupled device (CCD) or a CMOS image sensor.
  • CCD charge coupled device
  • CMOS image sensor When a plurality of photodiodes is irradiated with light, the CCD accumulates and transmits electrons generated by the photoelectric effect. At this time, by analyzing the change in the amount of electrons generated according to the amount of photons and reconstruct the information, image information forming the screen is generated.
  • CCD has the advantage of clear image quality and low noise, but has the disadvantage of high power consumption and slow processing speed.
  • CMOS image sensor is an image sensor using CMOS (Complementary Metal Oxide Semiconductor), each cell has an amplifier to amplify and transmit the electrons generated by the light directly into an electrical signal.
  • CMOS image sensors are inexpensive, have low power consumption, have a high processing speed, but have a lot of noise.
  • the encoder 12 encodes the generated image and outputs compressed image data.
  • UHD ultra high definition
  • HEVC High Efficiency Video Coding
  • the standardization of High Efficiency Video Coding (HEVC) for UHD video encoding is completed, and the encoding efficiency is more than doubled than that of H.264 / MPEG-4 AVC.
  • HEVC High Efficiency Video Coding
  • As a codec for encoding the video it is preferable to use MPEG4 or H.264 / MPEG-4 AVC, HEVC, and the like, which are mainly used recently, but various types of codecs may be used without being limited thereto.
  • the first communication unit 13 is connected to the second communication unit 21 of the terminal 20 through the network 2, and transmits and receives images and OSD information data by wire or wireless. At this time, the first communication unit 13 transmits the image and the first OSD information separately without combining the images. For example, the first communication unit 13 modulates and up-converts the image and OSD information data to transmit to the second communication unit 21 of the terminal 20, or the OSD information data or signal received from the terminal 20. Downconvert and demodulate the frequency. In this process, the first communication unit 13 may receive data or receive a signal from the terminal 20, and may transmit data or a signal to the terminal 20.
  • the network 2 includes the Internet, a wide area network (WAN), a local area network (LAN), a telephone network, direct connection communication, and the like, and may use a wired or wireless communication method.
  • the network interface receives communication data in the form of one or more packets from the network 2 or transmits communication data in the form of one or more packets to the network 2.
  • the network interface may include a network interface card, a modem, and the like.
  • the controller 14 controls operations of the elements of the camera 10 and extracts basic information on which first OSD information can be generated through the image.
  • the controller 14 it is preferable to use a central processing unit (CPU), a micro controller unit (MCU), a digital signal processor (DSP), or the like, but various logic operation processors are not limited thereto. Can be used. Detailed description of the control unit 14 will be described later.
  • the first OSD information generator 15 generates first OSD information based on the basic information extracted by the controller 14.
  • OSD information refers to information related to an image displayed through the monitor 23, rather than setting the monitor 23 itself of the terminal 20.
  • the first OSD information refers to OSD information generated from the camera 10 and transmitted to the terminal 20.
  • the personal information 42, the privacy mask 43, the heat map 41, and the license plate image 44 of the vehicle, which are displayed through the image are referred to.
  • the storage unit 16 stores the image and the OSD information data. At this time, since the image and the OSD information have not yet been synthesized, the two types of data are stored separately. In addition, in order to properly display the personal information 42 or the privacy mask 43 among the OSD information displayed on the image in the OSD system 1, the face of a person must be recognized.
  • the storage unit 16 may store a plurality of learning data about the face of the person in advance so that the camera 10 may recognize the face of the person. Furthermore, in order to automatically recognize the number of the vehicle, a plurality of learning data for the number may also be stored.
  • the storage unit 16 is a medium that can be read by a device such as a computer, and may be embedded in the camera 10.
  • the storage unit 16 is preferably a small and light flash memory.
  • the memory device may include various types of memory devices such as random access memory (RAM), read-only memory (ROM), and a combination thereof.
  • the storage unit 16 may include a BIOS or firmware having basic routines necessary for booting in the camera 10.
  • the present invention is not limited thereto, and in the case of the network camera 10 system, a separate device such as a network video recorder (NVR) may be provided.
  • NVR network video recorder
  • the camera 10 is a digital camera that outputs video data by capturing and digitally converting two-dimensional images of 15 to 30 frames per second, but is not limited thereto. If the camera 10 is not a digital camera, the captured image is an RGB analog video signal, and thus an A / D converter should be separately provided. However, if the camera 10 is a digital camera, the A / D converter is not necessary.
  • the image taken from the camera 10 is transmitted to the terminal 20 through wired or wireless communication, and displayed on the monitor 23 built in the terminal 20.
  • control unit 14 is a block diagram showing in detail the configuration of the control unit 14 according to an embodiment of the present invention.
  • the controller 14 may optionally include a cache memory that is local storage for temporarily storing instructions, data, or computer addresses.
  • the storage unit 16 stores software modules implementing particular embodiments, and the control unit 14 may execute a software module or instruction stored in the storage unit 16.
  • the controller 14 includes a dynamic object extractor 141, a face detector 142, a face recognizer 143, a number extractor 144, and a number recognizer 145.
  • the dynamic object extractor 141 extracts an object having motion from the image to generate a heat map 41.
  • the heat map 41 is a picture in which various information that can be expressed in color are output as visual graphics in a heat distribution form.
  • the dynamic object extracting unit 141 first estimates a background area from an image acquired by the imaging unit 11.
  • the background area estimates an area of the image that is not continuously moved for a specific time as a background area. After the background area is estimated, the background area is excluded from the image. This allows you to extract dynamic objects.
  • the controller 14 includes a function of automatically recognizing a face of a person displayed on an image.
  • the controller 14 includes a face detector 142 and a face recognizer 143.
  • the face detector 142 detects a face region from the image acquired by the image pickup unit 11. First, the face detector 142 detects a face candidate region by using a window search technique based on the extracted histogram feature.
  • the face candidate region refers to a region where a face region is likely to be a face region on the input image.
  • the classifier learned in advance is stored in the window to determine whether the area searched by the window is an object or a background.
  • the classifier according to the embodiment of the present invention is preferably Adaboost, which is a complex nonlinear classifier to effectively model the distribution of data in order to improve recognition performance.
  • Adaboost has a structure that creates a strong classifier by combining a plurality of weak classifiers. In this case, weak means that the classifier distinguishes positive and negative images with low accuracy, and strong means that the classifier distinguishes positive and negative images with high accuracy.
  • the Adaboost Learning algorithm is the best known boost algorithm and has the advantage of being simple and efficient.
  • the classifier using Adboost determines whether the specified area is a face area by determining whether each feature value extracted from the window is authentic.
  • the face recognition unit 143 identifies who is the face of the detected face region.
  • There are a number of effective features on the face for 200 to 3000 recognitions.
  • face recognition module learning process for large-scale DB is conducted.
  • a feature extraction process which means a conversion from an image space to a feature space, includes a PCA (Principle Component Analysis) and an LDA (Linear Discriminant Analysis).
  • PCA uses vectors that maximize the spread of all data as the basis vector, which is suitable for representing data, and minimizes errors in restoring data from projected low-dimensional space back to high-dimensional space.
  • PCA represents data using orthonormal eigenvectors obtained as eigenvalues of the data covariance matrix as basis vectors.
  • LDA is a method that recognizes faces by analyzing eigenvalues on individual matrices. It is a linear classifier that finds linear transformations that maximize the spread between classes (Between Scatter, BS) and minimize within classes (with Scatter, WS). When there are positive and negative data given as multidimensional vectors, LDA projects them in one dimension to obtain a projection vector that maximizes the degree of separation between the two classes.
  • the dispersion (SW) in the class means a variation when the data is projected in one dimension.
  • SB spread between classes
  • the controller 14 includes a function of automatically recognizing a vehicle number displayed on the image.
  • the vehicle number recognition finds a license plate from a photographed image, and recognizes a character included in the license plate using a license plate recognition algorithm (LPR).
  • the controller 14 further includes a number extractor 144 and a number recognizer 145 for this purpose.
  • the number extracting unit 144 extracts a number area from the image obtained from the image capturing unit 11.
  • image preprocessing is performed on an image including a vehicle number. That is, the brightness and histogram of the input image are analyzed and then the input values of the image filters are adjusted to be converted into various types of candidate images. After the converted candidate image is subjected to preprocessing such as negative image and noise removal, various thresholds are determined to extract a binary image.
  • the labeling process is used to classify the set of pixels existing in the image using a binary image
  • labels that are assumed to be characters are selected, and the similarities with the respective patterns are compared.
  • the pattern that best matches each label is retrieved as a recognition value, and then the characters are linked by identifying the positional link between the labels. If the license plate area cannot be obtained as a labeling result, the license plate area is extracted through the license plate rectangular area candidate group using image inversion.
  • the number recognition unit 145 recognizes which number is the extracted number. First, the position of the extracted license plates and the degree of tilt of each number are obtained to rotate the image according to the horizontal and vertical reference. In addition, the license plate area is normalized by applying an image filter from variously distorted vehicle images due to sunlight and shadow effects. Contrast and line scans are used to correct the error and to separate the characters precisely. Then, the image is converted into a standard standard, and the separated characters are compared with the standard pattern stored in the storage unit 16 in advance to determine the most matching character.
  • FIG. 4 is a block diagram illustrating in detail the first OSD information generation unit 15 according to an embodiment of the present invention.
  • the first OSD information generator 15 receives data for generating an OSD from the controller 14 and generates first OSD information based on the received OSD data.
  • the first OSD information generator 15 may include a heat map data generator 151, a person determiner 152, a privacy mask generator 153, a personal information / OSD converter 154, and an image generator 155. It includes.
  • the heat map data generation unit 151 generates the heat map data 41 by accumulating the trajectories of the dynamic objects when the movement of the dynamic objects occurs in a specific area photographed by the camera 10.
  • the heat map data generator 151 receives data about the movement of the dynamic object from the dynamic object extractor 141.
  • the heat map data 41 is generated by accumulating the motion of the dynamic object to calculate the frequency and determining the movement trend of the object.
  • the heat map data 41 generated by the heat map data generating unit 151 includes information required to generate a heat map image such as pixel coordinate values and a generation time or an elapsed time after generation of the locus area of the dynamic object.
  • the heat map data 41 may include a color value for each pixel.
  • the initial color value can be any color between red and blue, which can be updated over time.
  • the person determining unit 152 determines whether the person having the identified face is a monitoring target or a protection target. For example, if the place where the camera 10 is installed is a non-participant-excluded area, if a face of a person is recognized as a person corresponding to the person stored in the storage unit 16, there is no problem, but the person is recognized as a person who is not related. If it is considered to be an illegal invasion.
  • the information is transmitted to the personal information / OSD converter 154 to convert the person's personal information 42 into first OSD information.
  • the place where the camera 10 is installed is a casino
  • the person is determined to be a dangerous person.
  • the information is transmitted to the personal information / OSD converter 154 to convert the person's personal information 42 into first OSD information.
  • it is recognized as a person who is not stored in the storage unit 16, it is determined as a general guest.
  • the information is transmitted to the privacy mask generator 153 to generate the privacy mask 43 on the face of the person.
  • the privacy mask generator 153 generates the privacy mask data to be protected so that the privacy mask 43 is applied to a region corresponding to the face of the person in the image.
  • the privacy mask data includes position coordinates and the like when the protection target is displayed on the image.
  • the face of the person particularly refers to the face of the person determined by the person determining unit 152 as the protection target.
  • the privacy mask data may further include a position coordinate or an object ID corresponding to the face of the person in the image. Therefore, the terminal 20 can recognize exactly who is the object of protection to which the privacy mask 43 is to be applied.
  • the personal information / OSD conversion unit 154 converts the personal information 42 into OSD information so that the personal information 42 is displayed in the vicinity of an area corresponding to the face of the person in the image.
  • the personal information 42 includes information about a specific person such as a name, age, affiliation, and a previous record of the specific person previously stored in the storage unit 16.
  • the face of the person particularly refers to the face of the person determined by the person determining unit 152 as the monitoring target.
  • the OSD information may further include a location coordinate or an object ID corresponding to the face of the person in the image. Therefore, the terminal 20 can recognize exactly who is the monitoring target to display the personal information 42.
  • the OSD information obtained by converting the heat map data, the privacy mask data, and the personal information is metadata, and the first OSD information is transmitted to the terminal 20 together with the image.
  • the terminal 20 may generate the synthesized image by synthesizing the received first OSD information with the image.
  • the image generator 155 generates the license plate image 44 of the vehicle from the image.
  • the image generator 155 When the number extraction unit 144 extracts the license plate area of the vehicle, the image generator 155 generates only the image 44 of the license plate area of the vehicle separately from the image.
  • the image 44 itself becomes metadata, which is the first OSD information that is later transmitted to the terminal 20 together with the image.
  • the present invention is not limited thereto, and if only the position coordinates of the area corresponding to the license plate of the vehicle are the metadata and are transmitted to the terminal 20, the terminal 20 uses the position coordinates in the image 44 in the image. ) Can be extracted. That is, if the license plate image 44 of the vehicle can be synthesized and displayed in the image, the metadata may be formed in various ways without limitation.
  • FIG. 5 is a block diagram illustrating in detail a terminal 20 according to an embodiment of the present invention.
  • the terminal 20 transmits the second OSD information to the camera 10 or receives the image and the OSD information from the camera 10 and synthesizes the image and the OSD information. At this time, the terminal 20 determines whether to combine the image and the OSD information according to the user's authority or the degree of screen division.
  • the terminal 20 includes a second communication unit 21, a synthesizer 22, a monitor 23, a screen divider 24, a user authority determiner 25, an input unit 26, and a second OSD information generator ( 27).
  • the terminal 20 also uses a second communication unit 21, a synthesizer 22, a monitor 23, a screen divider 24, a user authority determiner 25, an input unit 26, and the like through a bus (not shown).
  • Components such as the second OSD information generation unit 27 may communicate with each other. All these components may be connected directly to the bus (not shown) or through one or more interfaces or adapters.
  • the bus (not shown) is connected to a wide range of subsystems.
  • the bus (not shown) may include a memory bus, a memory controller, a peripheral bus, a local bus, and a combination thereof.
  • the second communication unit 21 transmits and receives images and OSD information data with the first communication unit 13 of the camera 10 in a wired or wireless manner. At this time, the second communication unit 21 receives the image and the first OSD information without being synthesized. For example, the second communication unit 21 modulates and upconverts the OSD information data or the signal and transmits the same to the first communication unit 13 of the camera 10, or the image and OSD information data received from the camera 10. Downconvert and demodulate the frequency. In this process, the second communication unit 21 may receive data or receive a signal from the camera 10, and transmit data or a signal to the camera 10.
  • the network 2 includes the Internet, a wide area network (WAN), a local area network (LAN), a telephone network, direct connection communication, and the like, and may use a wired or wireless communication method.
  • the network interface receives communication data in the form of one or more packets from the network 2 or transmits communication data in the form of one or more packets to the network 2.
  • the network interface may include a network interface card, a modem, and the like.
  • the synthesizing unit 22 generates a synthesized image by synthesizing the image and the OSD information according to the user's authority or the degree of screen division. In detail, if the user has authority, the composite image is displayed. If the user does not have authority, the composite image is displayed only. Alternatively, if the number of split screens is small, the composite image is displayed. If the number of split screens is large, only the image without synthesized OSD information is displayed. A detailed description of the various composite images generated according to the type of OSD information will be described later.
  • the monitor 23 displays a synthesized or non-synthesized image in which OSD information is synthesized.
  • the monitor 23 may be various types of monitors 23 such as a liquid crystal display (LCD), an organic liquid crystal display (OLED), a cathode ray tube (CRT), a plasma display panel (PDP), and the like.
  • the monitor 23 is connected to a bus (not shown) via a video interface, and data transmission between the monitor 23 and the bus (not shown) can be controlled by a graphics controller.
  • the input unit 26 is separately provided.
  • the input unit 26 most commonly used includes a mouse, a keyboard, a joystick, a remote controller, and the like.
  • the input unit 26 may be connected to a bus (not shown) through an input interface including a serial port, a parallel port, a game port, a USB, and the like.
  • the input unit 26 is separately provided in the terminal 20, but is not limited thereto.
  • the monitor 23 may include a touch sensor. In this case, the user may directly input the touch signal through the monitor 23.
  • the touch sensor may be integrally mounted together with the monitor 23, and detects a touch generated from the monitor 23 to detect coordinates, a number of touches, and an intensity of an area where the touch is generated.
  • various methods such as capacitive type, resistive film type, ultrasonic type, and infrared type may be used.
  • the touch may be performed using a finger, but is not limited thereto, and may be performed using a stylus pen equipped with a tip through which a minute current may flow.
  • the terminal 20 provides a touch function, if the monitor 23 does not include a touch sensor, a separate touch pad may be provided as the input unit 26.
  • the screen divider 24 divides the screen into a plurality of divided screens according to a user input or automatically, and generates thumbnails. If there are three images to be displayed, the monitor 23 generates thumbnails including three divided screens, and if six images, generate thumbnails including six divided screens.
  • the camera 10 may be formed in plural.
  • the plurality of cameras 10 may be installed at different positions, respectively, to acquire different images by photographing different regions.
  • Each of the acquired image data may be transmitted to each terminal 20.
  • the plurality of images may be displayed on the monitor 23 through the plurality of split screens.
  • the camera 10 is a 360 ° camera, one camera acquires an image for all directions.
  • a plurality of correction images may be generated while dwarping the original image through software installed in the terminal 20. have.
  • the plurality of correction images may be displayed on the monitor 23 through a plurality of split screens, respectively.
  • the present invention is not limited thereto, and a plurality of images may be used if the plurality of images may be displayed through the plurality of split screens on the monitor 23 of the terminal 20.
  • the size of the split screens is too small, and it may be difficult for a user to monitor the OSD information even if the OSD information is synthesized.
  • the split screen is smaller than the size of the monitor 23, the size of the split screen is sufficiently large, and therefore, it is preferable to provide OSD information to the user. That is, the number of divided screens compared to the size of the monitor 23 is one criterion of whether to integrate OSD information into an image. And the criteria can be determined experimentally according to the degree to which the user can monitor easily.
  • the user authority determining unit 25 determines the authority of the user currently using the terminal 20. For example, when a user logs in to the OSD system 1 by inputting an ID and password through the input unit 26, the user can be known. By doing so, you can see immediately what permissions the user has.
  • the OSD system 1 may have a predetermined rating for each user. For example, there may be a level of an administrator, an operator, a general user, a guest, and the like.
  • a user having the authority of the administrator may directly generate the second OSD information and monitor the OSD information.
  • a user with the authority of an operator can monitor the OSD information without restriction, and can generate the second OSD information with the administrator's permission.
  • Normal users can monitor OSD information with limited administrator's permission. The guest cannot monitor the OSD information at all, only the video.
  • the second OSD information generation unit 27 generates second OSD information based on the content input from the input unit 26.
  • OSD information refers to information related to an image displayed through the monitor 23, rather than setting the monitor 23 itself of the terminal 20.
  • the second OSD information refers to OSD information generated by the terminal 20 and transmitted to the other terminal 20 through the camera 10 or a separate server.
  • information 45 and 46 directly generated by a user having an administrator authority, that is, a description of a specific object displayed on an image or a question, a picture, an emoticon, etc. transmitted to another user.
  • the terminal 20 may further include a storage 16 capable of storing the image and the OSD information data.
  • a storage 16 capable of storing the image and the OSD information data.
  • two types of data may be stored separately, such as an image and OSD information, or a composite image output from the combining unit 22 may be stored.
  • the storage unit 16 is a medium that can be read by a device such as a computer, and may be embedded in the terminal 20.
  • the storage unit 16 is preferably a small and light flash memory. However, it may be provided as a separate device outside the terminal 20.
  • the terminal 20 may further include an image processor which decodes the transmitted compressed image data and performs other image processing.
  • the image processing unit may include a buffer memory that temporarily stores frame data of a waiting image, a graphics renderer that performs rendering of an image, and a superimposor that overlays a plurality of images to generate a composite image. can do.
  • the present invention is not limited thereto, and when a part of a process of encoding and decoding an image or other image processing is not necessary, the image processor may not include a part of the above-described buffer memory, graphic renderer, or superimposer. . That is, the image processor may be variously configured according to the method of processing the image transmitted from the camera 10.
  • the terminal 20 may include one or more output devices such as an audio speaker and a printer.
  • the output device may be connected to a bus (not shown) through an output interface including a serial port, a parallel port, a game port, a USB, and the like.
  • FIG. 6 is a diagram illustrating an image acquired by photographing a specific area by the camera 10 according to an exemplary embodiment of the present invention.
  • the camera 10 captures a specific area to acquire an image.
  • the obtained image may include objects such as various people or a car.
  • the information of these objects and the movement trend are very important for the user who monitors the video.
  • information exchange between multiple users should be easy and quick without additional equipment.
  • FIG. 7 is a diagram illustrating a composite image in which a heat map 41 is synthesized with the image obtained in FIG. 6.
  • the synthesis unit 22 synthesizes the heat map 41 with the image using the heat map data.
  • the synthesizing unit 22 may generate a heat map image as illustrated in FIG. 7 by reflecting a predetermined color to pixels corresponding to pixel coordinate values included in the heat map data and synthesizing the transmitted image.
  • the initial color value per pixel may be any color between red and blue. Red means high frequency, blue means low frequency, and the initial color value at the initial appearance of an object may have any color between red and blue.
  • the combiner 22 generates a heat map image by reflecting the initial color values to the pixels.
  • the synthesizer 22 gradually changes the color to red for the pixels at the position where the dynamic object has passed, and gradually changes to blue for the pixels at the position where the dynamic object has been staying.
  • the heat map image may be updated.
  • the color may be gradually changed for pixels at the position where the dynamic object has passed, and the initial color value may be maintained only for pixels at the position where the dynamic object stays.
  • FIG. 8 is a diagram illustrating a composite image in which the personal information 42 of a person is overlaid on the image and synthesized from the image obtained in FIG. 6.
  • the synthesizing unit 22 When the first OSD information received from the camera 10 by the terminal 20 is the personal information 42 of the person, the synthesizing unit 22 synthesizes the personal information 42 with the image. At this time, the terminal 20 also receives a position coordinate or an object ID corresponding to the face of the person to be monitored. The synthesizing unit 22 generates the synthesized image as shown in FIG. 8 by synthesizing the personal information 42 in the image so that the personal information 42 is displayed near the area corresponding to the face of the person in the image. do.
  • FIG. 9 is a diagram illustrating a synthesized image synthesized by applying a privacy mask 43 to a face of a person in the image obtained in FIG. 6.
  • the combining unit 22 synthesizes the privacy mask 43 with the image.
  • the terminal 20 also receives a position coordinate or an object ID corresponding to the face of the person to be protected.
  • the synthesis unit 22 synthesizes the privacy mask 43 to the image so that the privacy mask 43 is applied to a region corresponding to the face of the person in the image, thereby generating a synthesized image as shown in FIG. 9.
  • the face of the person to be protected is preferably filtered and blackened.
  • the present invention is not limited thereto, and the RGB color value of the face of the person to be protected is mapped to the average color value of the surrounding pixels to blur the image, or to adjust the number of pixels of the face of the person to mosaic. The method can be applied.
  • FIG. 10 is a diagram illustrating a composite image obtained by synthesizing a license plate image 44 of a vehicle from the image obtained in FIG. 6.
  • the synthesizer 22 synthesizes the license plate image 44 of the vehicle with the image. If the license plate image 44 itself of the vehicle becomes metadata, the image 44 itself is transmitted on a different channel than the image. Then, the synthesizer 22 may enlarge the image and the image 44 and synthesize them as they are, to generate a synthesized image as shown in FIG. 10. However, if only the position coordinates of the area corresponding to the license plate of the vehicle becomes the metadata, the synthesis unit 22 may extract the image 44 from the image using the position coordinates. The synthesis unit 22 may enlarge the image 44 extracted from the image, and then generate the synthesized image as shown in FIG. 10.
  • FIG. 11 is a diagram illustrating a synthesized image obtained by synthesizing information 45 and 46 directly generated by a user having administrator authority from the image obtained in FIG.
  • the synthesizing unit 22 converts the second OSD information into an image. By combining, a synthesized image is generated as shown in FIG. 11.
  • the information 45 and 46 generated by a user having administrator authority may be a description of a specific object or an instruction or question 45 transmitted to another user.
  • FIG. 12 is a view illustrating another user's transmission of second OSD information in response to second OSD information transmitted by a user having administrator authority in FIG. 11.
  • the user of the administrator and the operator's level with the administrator's permission can also generate the second OSD information.
  • an administrator and a user of an operator level obtained by the administrator's permission in response to the second OSD information transmitted in FIG. 11, receive another second OSD. Information can be generated and transmitted.
  • the synthesizing unit 22 of the other terminal 20 having received the second second OSD information synthesizes another second OSD information with the image to generate the synthesized image as shown in FIG. 12.
  • FIG. 13 is a diagram illustrating a screen in which the screen of the monitor 23 is divided into four divided screens according to an exemplary embodiment.
  • the screen divider 24 of the terminal 20 divides the screen into a plurality of divided screens according to a user's input or automatically, thereby generating thumbnails.
  • the OSD information can be monitored.
  • the synthesizer 22 of the terminal 20 synthesizes OSD information into an image to generate a synthesized image.
  • the monitor 23 may display a composite image as shown in FIG. 13.
  • FIG. 14 is a diagram illustrating a screen in which the screen of the monitor 23 is divided into 16 divided screens according to an exemplary embodiment.
  • the monitor 23 may display an image that is not synthesized as shown in FIG. 14.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 OSD 정보 생성 카메라는 이미지 신호를 수신하여 영상을 생성하는 촬상부; 상기 영상으로부터 OSD 정보가 생성될 수 있는 기초 정보를 추출하는 제어부; 상기 제어부가 추출한 상기 기초 정보를 토대로 상기 OSD 정보를 생성하는 OSD 정보 생성부; 및 외부로 상기 영상 및 상기 OSD 정보의 데이터를 분리하여 전송하는 통신부를 포함한다.

Description

OSD 정보 생성 카메라, OSD 정보 합성 단말기(20) 및 이들로 구성된 OSD 정보 공유 시스템
본 발명은 OSD 정보 생성 카메라, OSD 정보 합성 단말기 및 이들로 구성된 OSD 정보 공유 시스템에 관한 것으로서, 보다 상세하게는 영상을 획득하고 상기 영상을 통해 OSD 정보를 자체적으로 생성하며 상기 영상과 상기 OSD 정보를 별도로 전송하는 OSD 정보 생성 카메라, 상기 OSD 정보 생성 카메라로부터 상기 영상과 상기 OSD 정보를 수신하고 사용자의 권한 또는 화면 분할 정도에 따라 상기 영상과 상기 OSD 정보의 합성 여부를 달리하는 OSD 정보 합성 단말기, 그리고 상기 OSD 정보 생성 카메라와 상기 OSD 정보 합성 단말기로 구성된 OSD 정보 공유 시스템에 관한 것이다.
일반적으로 은행, 백화점, 일반 주택가를 비롯한 다양한 장소에서 감시 시스템이 널리 사용되고 있다. 이러한 감시 시스템은 범죄 예방, 보안을 목적으로 사용될 수 있으나, 최근에는 실내의 애완동물 또는 어린 아이를 실시간으로 감시하기 위해서도 사용되기도 한다. 그리고 이러한 감시 시스템으로 가장 많이 사용하는 시스템은, 감시를 원하는 영역을 촬영할 수 있도록 적절한 위치에 카메라를 설치하고, 사용자는 카메라가 촬영한 영상을 모니터링 함으로써 감시할 수 있는 폐쇄회로 텔레비전(Closed Circuit Television: CCTV) 시스템이다.
최근에는 이러한 CCTV 시스템은 네트워크 기술의 발달로 하나의 카메라의 영상을 다수 사용자가 공유하여 동시에 확인할 수 있게 되었다. 그리고 다수의 사용자들 역시 한 장소에 위치하지 않고, 각자 다른 장소에서 CCTV 카메라의 영상을 확인할 수 있다.
그러나, 기존에 CCTV 카메라가 사용자들에게 동시에 영상을 전송하는 방식은, 단방향의 정보 전달 구조를 가지고 있었다. 따라서 서로 다른 장소에 있는 사용자들이 영상을 보며 다른 사용자와 정보 교환을 하기 위해서는 별도의 통신 장비를 이용해야 하였다.
또한, 사용자의 권한에 따라 상기 정보의 열람 유무를 자동으로 판단하는 것이 아니므로, 정보를 교환하기 위해 정보 제공자는 정보 수신자를 일일이 특정하여야 하였다. 나아가, 이러한 정보의 교환은 별도의 통신 장비를 이용해야 하므로, 교환될 수 있는 정보의 종류도 제한되었다. 그리고, 상기 영상 상에 표시되어야 하는 특수한 정보의 경우에는 영상과 정보가 곧바로 합성되어, 사용자의 권한과 무관하게 영상을 시청하는 사용자라면 모두 정보를 열람할 수 있어 비밀 유지에도 문제가 있었다.
본 발명이 해결하고자 하는 과제는, 영상을 획득하고 상기 영상을 통해 OSD 정보를 자체적으로 생성하며 상기 영상과 상기 OSD 정보를 별도로 전송하는 OSD 정보 생성 카메라를 제공하는 것이다.
또한, 상기 OSD 정보 생성 카메라로부터 상기 영상과 상기 OSD 정보를 수신하고 사용자의 권한 또는 화면 분할 정도에 따라 상기 영상과 상기 OSD 정보의 합성 여부를 달리하는 OSD 정보 합성 단말기를 제공하는 것이다.
또한, 상기 OSD 정보 생성 카메라와 상기 OSD 정보 합성 단말기로 구성된 OSD 정보 공유 시스템을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 OSD 정보 생성 카메라는 이미지 신호를 수신하여 영상을 생성하는 촬상부; 상기 영상으로부터 OSD 정보가 생성될 수 있는 기초 정보를 추출하는 제어부; 상기 제어부가 추출한 상기 기초 정보를 토대로 상기 OSD 정보를 생성하는 OSD 정보 생성부; 및 외부로 상기 영상 및 상기 OSD 정보의 데이터를 분리하여 전송하는 통신부를 포함한다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 OSD 정보 합성 단말기 는 외부로부터 영상을 수신하는 통신부; 사용자의 명령을 입력받는 입력부; 상기 입력된 사용자의 명령에 따라 OSD 정보를 생성하는 OSD 정보 생성부; 특정 기준에 부합하는 경우, 상기 영상 및 상기 OSD 정보를 합성하는 합성부; 및 상기 OSD 정보가 합성된 영상을 디스플레이 하는 모니터를 포함한다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 OSD 정보 공유 시스템은 특정 영역을 촬영하여 영상을 획득하고, 상기 획득한 영상에 대하여 제1 OSD 정보를 생성하는 OSD 정보 생성 카메라; 및 특정 기준에 부합하는 경우 상기 영상과 OSD 정보를 합성하는 복수의 OSD 정보 합성 단말기를 포함하되, 상기 OSD 정보 생성 카메라는, 이미지 신호를 수신하여 상기 영상을 생성하는 촬상부; 상기 영상으로부터 상기 제1 OSD 정보가 생성될 수 있는 기초 정보를 추출하는 제어부; 상기 제어부가 추출한 상기 기초 정보를 토대로 상기 제1 OSD 정보를 생성하는 제1 OSD 정보 생성부; 및 외부로 상기 영상 및 상기 제1 OSD 정보의 데이터를 분리하여 전송하는 제1 통신부를 포함하고, 상기 OSD 정보 합성 단말기는, 상기 영상 및 상기 제1 OSD 정보의 데이터를 분리된 채로 수신하는 제2 통신부; 특정 기준에 부합하는 경우, 상기 영상 및 상기 OSD 정보를 합성하는 합성부; 및 상기 OSD 정보가 합성된 영상을 디스플레이 하는 모니터를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
OSD 정보 생성 카메라는 상기 영상과 상기 OSD 정보를 별도로 전송하고, OSD 정보 합성 단말기는 상기 영상과 상기 OSD 정보를 별도로 수신하여 합성한다. 따라서, 사용자의 권한 또는 화면 분할 정도 등과 같은 기준에 따라 영상과 OSD 정보의 합성 여부를 달리할 수 있어, OSD 정보의 보안 유지를 강화할 수 있다.
또한, 상기 영상과 OSD 정보를 카메라가 아닌 단말기에서 합성하므로, 상기 영상과 OSD 정보를 따로 저장하게 되어 추후에 OSD 정보만이 필요하거나, OSD 정보가 합성되지 않은 영상만이 필요한 경우 따로 로딩하여 사용할 수 있다.
또한, 사용자가 상기 OSD 정보를 직접 생산할 수도 있으므로, 이를 통해 별도의 통신장비 없이도 다른 사용자와 정보 교환 또는 통신을 수행할 수 있다.
또한, OSD 정보에는 미리 저장된 사람의 개인정보가 포함되므로, 관리자 권한을 가진 사용자는 영상에서 요주 인물로 선별된 사람의 신상정보를 곧바로 파악할 수 있다.
또한, OSD 정보에는 프라이버시 마스크 데이터도 포함되므로, 무고한 사람에 대하여는 프라이버시 마스크가 적용되어 프라이버시를 보호할 수 있다.
또한, OSD 정보에는 히트 맵 데이터도 포함되므로 해당 영역에서 사람들의 이동 빈도를 용이하게 확인할 수 있다.
또한, OSD 정보에는 차량의 번호판 이미지도 포함되므로, 차량의 번호를 빠르고 더욱 명확하게 확인할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 OSD 시스템(1)의 구성을 나타낸 개략도이다.
도 2는 본 발명의 일 실시예에 따른 카메라(10)의 구성을 자세히 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제어부(14)의 구성을 자세히 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 제1 OSD 정보 생성부(15)를 자세히 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 단말기(20)를 자세히 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 카메라(10)가 특정 영역을 촬영하여 획득한 영상을 나타낸 도면이다.
도 7은 도 6에서 획득한 영상에 히트 맵(41)이 합성된 합성 영상을 나타낸 도면이다.
도 8은 도 6에서 획득한 영상에서 사람의 개인정보(42)가 영상 상에 오버레이(Overlay)되어 합성된 합성 영상을 나타낸 도면이다.
도 9는 도 6에서 획득한 영상에서 사람의 얼굴에 프라이버시 마스크(43)가 적용되어 합성된 합성 영상을 나타낸 도면이다.
도 10은 도 6에서 획득한 영상에서 차량의 번호판 이미지(44)가 합성된 합성 영상을 나타낸 도면이다.
도 11은 도 6에서 획득한 영상에서 관리자 권한을 가진 사용자가 직접 생성한 정보(45, 46)가 합성된 합성 영상을 나타낸 도면이다.
도 12는 도 11에서 관리자 권한을 가진 사용자가 전송한 제2 OSD 정보에 대한 답장으로, 다른 사용자가 제2 OSD 정보를 전송한 모습을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 모니터(23)의 화면이 4개의 분할 화면으로 분할된 모습을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 모니터(23)의 화면이 16개의 분할 화면으로 분할된 모습을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 OSD 시스템(1)의 구성을 나타낸 개략도이다.
본 발명의 일 실시예에 따른 OSD 시스템(1)은 도 1에 도시된 바와 같이, 특정 영역을 촬영하여 영상을 획득하고, 상기 획득한 영상에 대하여 제1 OSD 정보를 생성하는 카메라(10), 상기 카메라(10)로 제2 OSD 정보를 전송하거나, 상기 카메라(10)로부터 영상 및 OSD 정보를 수신하여 합성하는 복수의 단말기(20)를 포함한다. 카메라(10)와 단말기(20)는 서로 유선 또는 무선으로 연결되어, 영상 데이터 및 OSD 정보 데이터를 송수신할 수 있다.
본 발명의 일 실시예에 따른 OSD(On Screen Display) 시스템을 이용하는 방법에 따르면, OSD 시스템(1)의 카메라(10)가 특정 영역을 촬영하여 영상을 획득한다. 그리고, 상기 획득한 영상에 대하여 제1 OSD 정보를 생성한 뒤, 단말기(20)로 상기 영상과 상기 제1 OSD 정보를 전송한다. 이 때, 상기 영상과 상기 제1 OSD 정보는 합성되지 않고 분리되어 전송된다. 또는, 관리자 권한을 가진 사용자는 제2 OSD 정보를 생성하여 다른 단말기(20)로 전송할 수도 있다. 이 때, 제2 OSD 정보는 상기 카메라(10) 또는 별도의 서버를 거쳐 다른 단말기(20)로 전송될 수 있다. 단말기(20)는 상기 영상과 상기 제1 또는 제2 OSD 정보를 수신하면, 사용자의 권한 또는 화면 분할 정도에 따라 영상과 OSD 정보를 합성할 것인지를 판단한다. 그리고 사용자가 권한이 있다면 합성 영상을 디스플레이하고, 사용자가 권한이 없다면 OSD 정보를 합성하지 않은 영상만을 디스플레이 한다. 또는 분할 화면의 개수가 적다면 합성 영상을 디스플레이하고, 분할 화면의 개수 많다면 OSD 정보를 합성하지 않은 영상만을 디스플레이 한다. 그럼으로써, 다양한 OSD 정보를 용이하게 다른 사용자에게 전송할 수 있으며, 이 때 사용자의 권한에 따라 OSD 정보 제공 여부가 달라질 수 있다.
카메라(10)는 특정 영역을 촬영하여 영상을 획득한다. 카메라(10)는 복수의 단말기(20)들이 위치하는 장소와 이격된 공간에 설치될 수 있다. 본 발명의 일 실시예에 따른 카메라(10)는 패닝(Panning), 틸팅(Tilting)이 가능한 팬틸트 카메라인 것이 바람직하다. 또는, 카메라(10)는 최근에 소개된 360°카메라일 수도 있다. 360°카메라란, 카메라 자체가 물리적인 패닝 또는 틸팅이 되지 않고, 어안 렌즈를 복수로 장착하여 전방위가 동시에 촬영이 가능한 카메라를 말한다. 이러한 경우에는, 360°카메라가 획득한 영상은, 단말기(20) 내에 설치된 소프트웨어를 통해 패닝 또는 틸팅된다. 본 발명의 일 실시예에 따른 카메라(10)는 이에 제한되지 않고, 다양한 카메라(10)를 사용할 수 있다.
단말기(20)는 카메라(10)와 유선 또는 무선으로 연결되어, 카메라(10)가 획득한 영상 및 OSD 정보를 수신한다. 단말기(20)는 상기 영상과 상기 OSD 정보를 수신하면 사용자의 권한 또는 화면 분할 정도에 따라 영상과 OSD 정보를 합성할 것인지를 판단한다. 그리고 모니터(23)를 통해 합성 영상 또는 합성하지 않은 영상을 디스플레이 한다. 이러한 단말기(20)는 스마트폰(Smartphone), 태블릿 PC(Tablet PC), 랩탑 (Laptop) 등 휴대 및 이동이 용이한 장치일 수도 있으나, 이에 제한되지 않고 데스크탑(Desktop) 등 이동이 용이하지 않은 장치일 수도 있다.
여기서 OSD(On Screen Display)란, 모니터(23)와 같은 디스플레이 장치에서 사용자에게 각종 정보를, 화면상에 디스플레이 되는 영상과는 별도로 직접 표시하는 기능을 말한다. 일반적으로 OSD는 디스플레이 장치 자체의 설정, 예를 들면 밝기, RGB 조정, 상하좌우 크기, 위치 조정 등을 위한 창을 표시한다. 그러나, 본 발명의 일 실시예에 따른 OSD 정보는, 단말기(20)의 모니터(23) 자체의 설정보다는, 모니터(23)를 통해 디스플레이 되는 영상과 관련된 정보를 지칭한다. 예를 들면, 영상을 통해 표시되는 사람의 개인정보(42), 프라이버시 마스크(43), 히트 맵(41), 자동차의 번호판을 인식한 경우 해당 번호판에 대한 이미지(44), 관리자 권한을 가진 사용자가 직접 생성하는 정보(45, 46) 등을 지칭한다.
도 1에서 A로 표시된 화살표는 카메라(10)가 각각의 단말기(20)로 전송하는 영상 데이터의 전송 경로를 도시한 것이다. 각각의 단말기(20) 및 사용자들은 서로 다른 장소에 위치할 수 있다. 그리고, 카메라(10)와 복수의 단말기(20)들을 연결하는 유선 또는 무선 통신망에는 서버가 더 포함되어, 카메라(10)와 단말기(20)들은 서버를 거쳐 데이터 및 신호들을 송수신할 수도 있다.
도 1에서 B로 표시된 화살표는 관리자 권한을 가진 제1 사용자(30a)에 의해 제1 단말기 (20a)에서 생성되어 카메라(10)로 전송되는 제2 OSD 정보의 전송 경로를 도시한 것이다. 그리고 도 1에서 C로 표시된 화살표는 카메라(10)에서 생성된 제1 OSD 정보 및 카메라(10)로 전송된 제2 OSD 정보가 각각의 단말기(20)로 전송되는 전송 경로를 도시한 것이다. 여기서 제2 OSD 정보의 경우, 나머지 제2 내지 제4 단말기(20)로 전송될 때에는 B 경로로 카메라(10)를 거친 후, C 경로로 전송된다. 그러나, 제1 단말기 (20a)로 전송될 때에는 제2 OSD 정보가 처음부터 제1 단말기(20a)에서 생성되었으므로, 제1 단말기(20a)의 내부에 저장되면 되고, 카메라(10)를 거친 후 다시 제1 단말기(20a)로 전송될 필요가 없다.
도 1에서는 제1 사용자(30a) 한 명만이 관리자의 권한을 가져, 제2 OSD 정보는 제1 단말기(20a)로부터 생성된 것으로 도시하였으나, 이에 제한되지 않고 복수의 사용자가 관리자의 권한을 가진다면 복수의 단말기(20)로부터 각각 제2 OSD 정보가 생성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 카메라(10)의 구성을 자세히 나타낸 블록도이다.
카메라(10)는 이미지 신호를 수신하여 영상을 생성하는 촬상부(11), 상기 생성된 영상을 인코딩하는 인코더(12), 카메라(10)의 구성요소들의 동작을 제어하고 영상을 통해 제1 OSD 정보가 생성될 수 있는 기초 정보를 추출하는 제어부(14), 상기 제어부(14)가 추출한 기초 정보를 토대로 제1 OSD 정보를 생성하는 제1 OSD 정보 생성부(15), 단말기(20)로 영상 및 OSD 정보 데이터를 전송하는 제1 통신부(13), 상기 생성된 영상 및 OSD 정보 데이터를 저장하는 저장부(16)를 포함한다.
카메라(10)는 버스(17)를 통해 상기 촬상부(11), 인코더(12), 제어부(14), 제1 OSD 정보 생성부(15), 제1 통신부(13), 저장부(16) 등의 구성요소들이 상호 간에 통신할 수 있다. 이러한 모든 구성요소들은 상기 버스(17)에 직접 또는 하나 이상의 인터페이스들 또는 어댑터 들을 통하여 접속될 수 있다. 버스(17)는 광범위한 서브 시스템들과 연결된다. 버스(17)는 메모리 버스, 메모리 컨트롤러, 주변 버스(Peripheral Bus), 로컬 버스 및 이들의 조합을 포함할 수 있다.
촬상부(11)는 특정 영역에 대한 이미지 신호를 수신하여 영상을 생성한다. 촬상부(11)에는 일반적으로 CCD(Charge Coupled Device, 전하결합소자)나 CMOS 이미지 센서 등의 촬상 소자가 포함된다. CCD는 복수의 포토다이오드(Photodiode)에 광이 조사되면 광전효과에 의해 발생한 전자들을 축적시킨 후 전송하는 방식이다. 이 때, 광자의 양에 따라 발생하는 전자량의 변화를 분석하고 정보를 재구성함으로써, 화면을 이루는 이미지 정보가 생성된다. CCD는 화질이 선명하고 노이즈가 적다는 장점이 있으나, 전력소비가 높고 처리속도가 느리다는 단점이 있다.
CMOS 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor)를 이용하는 이미지 센서로서, 각 셀마다 증폭기가 있어 광에 의해 발생한 전자를 곧바로 전기신호로 증폭시켜 전송하는 방식이다. CMOS 이미지 센서는 가격이 저렴하고 전력소비가 낮으며 처리속도가 빠르나, 노이즈가 많다는 단점이 있다.
인코더(12)는 상기 생성된 영상을 인코딩하여 압축 영상 데이터를 출력한다. 최근에는 초고해상도 영상인 UHD(Ultra High Definition)의 관심이 높아지면서 UHD 영상 인코딩을 위한 HEVC(High Efficiency Video Coding)의 표준화가 완료되며 H.264/MPEG-4 AVC보다 2배 이상의 인코딩 효율을 향상시켰다. 상기 영상을 인코딩하기 위한 코덱으로는, 최근 주로 사용되는 MPEG4 또는 H.264/MPEG-4 AVC, 상기 소개한 HEVC 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 종류의 코덱이 사용될 수 있다.
제1 통신부(13)는 단말기(20)의 제2 통신부(21)와 네트워크(2)를 통하여 연결되며, 유무선으로 영상 및 OSD 정보 데이터를 송수신한다. 이 때, 제1 통신부(13)는 상기 영상과 상기 제1 OSD 정보를 합성하지 않고 분리하여 전송한다. 예를 들어, 제1 통신부(13)는 영상 및 OSD 정보 데이터를 변조 및 주파수 업컨버팅하여 단말기(20)의 제2 통신부(21)로 송신하거나, 단말기(20)로부터 수신되는 OSD 정보 데이터 또는 신호를 주파수 다운컨버팅 및 복조한다. 이러한 과정으로, 제1 통신부(13)는 단말기(20)로부터 데이터를 전송받거나 신호를 수신할 수 있고, 데이터 또는 신호를 단말기(20)로 송신할 수도 있다. 네트워크(2)는 인터넷, WAN(Wide Area Network), LAN(Local Area Network), 전화 네트워크, 직접 연결 통신 등이 있으며, 유선 또는 무선 통신 방식을 사용할 수 있다. 이 때, 네트워크 인터페이스는 네트워크(2)로부터 하나 이상의 패킷의 형태로 된 통신 데이터를 수신하거나, 하나 이상의 패킷 형태로 된 통신 데이터를 네트워크(2)로 전송한다. 네트워크 인터페이스는 네트워크 인터페이스 카드, 모뎀 등을 포함할 수 있다.
제어부(14)는 카메라(10)의 구성요소들의 동작을 제어하고 영상을 통해 제1 OSD 정보가 생성될 수 있는 기초 정보를 추출한다. 본 발명의 일 실시예에 따른 제어부(14)로는 CPU(Central Processing Unit), MCU(Micro Controller Unit) 또는 DSP(Digital Signal Processor) 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 논리 연산 프로세서가 사용될 수 있다. 제어부(14)에 관한 자세한 설명은 후술한다.
제1 OSD 정보 생성부(15)는 상기 제어부(14)가 추출한 기초 정보를 토대로 제1 OSD 정보를 생성한다. 상기 기술한 바와 같이, 본 발명의 일 실시예에 따른 OSD 정보는, 단말기(20)의 모니터(23) 자체의 설정보다는, 모니터(23)를 통해 디스플레이 되는 영상과 관련된 정보를 지칭한다. 특히 제1 OSD 정보는, 카메라(10)로부터 생성되어 단말기(20)로 전송되는 OSD 정보를 지칭한다. 예를 들면, 영상을 통해 표시되는 사람의 개인정보(42), 프라이버시 마스크(43), 히트 맵(41), 자동차의 번호판 이미지(44) 등을 지칭한다.
저장부(16)는 상기 영상 및 OSD 정보 데이터를 저장한다. 이 때, 아직 영상과 OSD 정보가 합성되지 않았으므로, 두 종류의 데이터는 따로 저장된다. 또한, OSD 시스템(1)에서 영상에 표시되는 OSD 정보 가운데, 개인정보(42) 또는 프라이버시 마스크(43)가 적절하게 표시되기 위해서는, 사람의 얼굴을 인식할 수 있어야 한다. 저장부(16)는 카메라(10)가 상기 사람의 얼굴을 인식하기 위해 사람의 얼굴에 대한 복수의 학습 데이터를 미리 저장할 수 있다. 나아가, 자동차의 번호를 자동인식하기 위해, 숫자에 대한 복수의 학습 데이터도 저장할 수 있다.
저장부(16)는 컴퓨터 등의 장치로 읽을 수 있는 매체로서, 카메라(10)에 내장될 수도 있으며, 이러한 경우에는 부피가 작고 가벼운 플래시 메모리인 것이 바람직하다. 또는 RAM(Random Access Memory), ROM(Read-Only Memory) 및 이들의 조합 등 다양한 종류의 메모리 장치를 포함할 수도 있다. 또한, 카메라(10) 내에서 부팅(Booting)을 위해 필요한 기본 루틴들을 구비하는 바이오스(Bios) 또는 펌웨어(Firmware)가 저장부(16)에 포함될 수 있다. 다만 이에 제한되지 않고, 네트워크 카메라(10) 시스템의 경우에는 NVR(Network Video Recorder) 등과 같이 별도의 장치가 마련될 수도 있다.
카메라(10)는 매초 15~30프레임의 2차원 화상을 촬영하여 디지털 변환함으로써 동영상 데이터를 출력하는 디지털카메라인 것이 바람직하나, 이에 제한되지 않는다. 카메라(10)가 디지털카메라가 아니라면 촬영한 영상은 RGB 아날로그 영상 신호이므로 A/D컨버터가 별도로 구비되어야 하나, 카메라(10)가 디지털카메라라면 A/D컨버터가 필요하지 않다. 카메라(10)로부터 촬영된 영상은 유선 또는 무선 통신을 통해 단말기(20)로 전송되어, 단말기(20)에 내장된 모니터(23)를 통해 디스플레이 된다.
도 3은 본 발명의 일 실시예에 따른 제어부(14)의 구성을 자세히 나타낸 블록도이다.
제어부(14)는 인스트럭션, 데이터 또는 컴퓨터 주소들을 일시 저장하기 위한 로컬 스토리지인 캐쉬 메모리를 선택적으로 포함할 수 있다. 저장부(16)는 특정 실시예들을 구현하는 소프트웨어 모듈을 저장하고, 제어부(14)는 상기 저장부(16)에 저장된 소프트웨어 모듈 또는 인스트럭션을 실행할 수 있다.
제어부(14)는 동적 객체 추출부(141), 얼굴 검출부(142), 얼굴 인식부(143), 번호 추출부(144), 번호 인식부(145)를 포함한다.
동적 객체 추출부(141)는 히트 맵(Heat Map, 41)을 생성하기 위해 영상으로부터 움직임을 가지는 객체를 추출한다. 여기서 히트 맵(Heat Map, 41)이란, 색상으로 표현할 수 있는 다양한 정보를 열분포 형태의 시각적 그래픽으로 출력한 그림이다. 동적 객체 추출부(141)는 우선, 촬상부(11)가 획득한 영상으로부터 배경 영역을 추정한다. 배경 영역은, 영상에서 특정 시간 동안 지속적으로 움직임이 없는 영역을 배경 영역으로 추정한다. 배경 영역을 추정한 후, 영상에서 상기 배경 영역을 제외한다. 그럼으로써 동적 객체를 추출할 수 있다.
제어부(14)는 영상에 나타난 사람의 얼굴을 자동으로 인식하는 기능을 포함하고 있으며, 이를 위해 얼굴 검출부(142), 얼굴 인식부(143)를 포함한다.
얼굴 검출부(142)는 촬상부(11)가 획득한 영상으로부터 얼굴 영역을 검출한다. 우선, 얼굴 검출부(142)는 추출된 히스토그램 특징을 기초로, 윈도우 탐색 기법을 이용하여 얼굴 후보 영역을 검출한다. 여기서 얼굴 후보 영역이란, 입력된 영상 상에서, 얼굴 영역이 될 가능성이 높은 영역을 지칭한다. 윈도우 내에는 미리 학습된 분류기가 저장되어 있어, 윈도우가 탐색하는 영역이 객체(Object)인지 배경(Background)인지를 판별하게 된다.
일반적으로, 상기 윈도우 내에 미리 저장된 분류기로는, 아다부스트(Adaboost), 랜덤 포레스트(Random Forest), SVM(Support Vector Machine), NN(Neural Network) 등 다양한 방법이 사용될 수 있다. 그러나, 본 발명의 일 실시예에 따른 분류기는, 인식 성능을 향상시키기 위해, 데이터의 분포를 효과적으로 모델링 할 수 있도록 복잡한 비선형 분류기인 아다부스트(Adaboost)인 것이 바람직하다. 아다부스트는 복수의 약분류기(Weak Classifier)들을 조합하여 강분류기(Strong Classifier)를 만드는 구조를 가진다. 이 때, 약하다는 것은 그 분류기가 양성 및 음성의 영상들을 낮은 정확도로 구별한다는 것을 의미하고, 강하다는 것은 그 분류기가 양성 및 음성의 영상들을 높은 정확도로 구별한다는 것을 의미한다. 아다부스트 학습 알고리즘은 가장 잘 알려진 부스트 알고리즘이며, 단순하면서도 효율적이라는 장점을 가진다. 아다부스트를 이용하는 분류기는, 윈도우에서 추출한 특징 값을 각각 단계별로 진위 여부를 판단하여, 지정된 영역이 얼굴 영역인지 판단한다.
얼굴 인식부(143)는 영상에서 얼굴 후보 영역이 얼굴 영역으로 판단되면, 검출된 얼굴 영역의 얼굴이 누구의 얼굴인지 식별한다. 얼굴에는 200개 내지 3000개 정도의 인식을 위한 유효 특징 수가 존재한다. 이러한 유효 특징들 중에서 조명과 표정변화에 강건하게 활용할 수 있는 특징을 추출하기 위하여 대규모 DB를 대상으로 한 얼굴인식모듈 학습과정을 거치게 된다. 일반적으로 이미지 공간에서 특징공간으로의 전환을 의미하는 특징 추출(Feature Extraction) 과정은 PCA(Principle Component Analysis), LDA(Linear Discriminant Analysis) 등이 있다.
PCA는 모든 데이터의 퍼짐(Scatter)을 최대화하는 벡터를 기저벡터로 사용하기 때문에 데이터를 표현하는데 적합하고, 투영된 저차원 공간의 데이터로부터 다시 고차원 공간의 데이터로 복원하는데 오류를 최소화할 수 있다. PCA는 데이터 공분산 행렬의 고유값(Eigenvalue) 순으로 얻어진 서로 직교(Orthonormal)하는 고유벡터(Eigenvector)들을 기저벡터로 사용하여 데이터를 나타낸다.
LDA는 개별행렬 상에서 고유값 분석을 통하여 얼굴을 인식하는 방법으로, 클래스 간 산포(Between Scatter, BS)를 최대화하고 클래스 내 산포(Within Scatter, WS)를 최소화하는 선형변환을 찾아내는 선형 분류기이다. 다차원 벡터로 주어진 양성(Positive) 및 음성(Negative) 데이터가 있을 때, LDA는 이들을 1차원으로 프로젝션(Projection)시켜, 두 클래스 간의 분리도가 최대가 되는 프로젝션 벡터(Projection Vector)를 구한다. 여기서, 클래스 내 산포(SW)는 데이터를 1차원으로 프로젝션 시켰을 때의 분산(Variation)을 의미한다. 반면에, 클래스 간 산포(SB)는 클래스 간의 떨어진 정도를 의미한다.
제어부(14)는 영상에 나타난 차량의 번호를 자동으로 인식하는 기능을 포함하고 있다. 차량 번호 인식은 촬영된 영상으로부터 차량 번호판을 찾고, 차량 번호판에 포함된 문자를 차량 번호 인식 알고리즘(License Plate Recognition, LPR)을 이용하여 인식한다. 제어부(14)는 이를 위해 번호 추출부(144), 번호 인식부(145)를 더 포함한다.
번호 추출부(144)는 촬상부(11)로부터 획득된 영상으로부터 번호 영역을 추출한다. 우선, 차량의 번호가 포함된 영상에 대하여, 영상 전처리(Preprocessing)를 수행한다. 즉, 입력 영상의 밝기 및 히스토그램 등을 분석한 후 영상필터의 입력 값을 조 절하여 여러 종류의 후보영상으로 변환한다. 그리고 변환된 후보영상을 영상반전(Negative Image) 및 노이즈 제거 등의 전처리 과정을 거친 후에 다양한 임계값(Threshold)을 결정하여 이진 영상을 추출한다.
이진 영상을 이용하여 영상 내에 존재하는 픽셀들의 집합을 구분해주는 라벨링(Labelling) 과정을 거쳐 문자로 추측되는 라벨들을 선별한 후, 각각의 패턴들과의 유사성을 비교한다. 각각의 라벨들과 가장 일치하는 패턴을 인식 값으로 가져온 후에 각 라벨들 간의 위치 연결성을 파악하여 문자들을 링크시킨다. 만약 번호판 영역을 라벨링 결과로 얻을 수 없는 경우에는 영상반전을 이용하여 번호판 사각형 영역 후보군을 통해 번호판 영역을 추출한다.
번호 인식부(145)는 영상에서 번호 영역이 추출되면, 추출된 번호가 어떤 번호인지 인식한다. 먼저, 추출된 번호판들의 위치 및 각 숫자들의 기울임 정도 값을 구하여 수평 및 수직 기준에 맞춰 영상을 회전시킨다. 그리고, 햇빛 영향 그리고 그림자 영향 등으로 다양하게 왜곡된 차량 영상들로부터 이미지 필터를 적용하여 번호판 영역을 정규화시킨다. 그리고 명암 및 라인 스캔을 통해 오차를 보정하여 문자들을 각각 정교하게 분리해 낸다. 그 후, 영상을 표준 규격으로 변환하여, 분리해낸 문자들을 미리 저장부(16)에 저장된 표준 패턴과 비교함으로써 가장 일치하는 문자를 결정한다.
도 4는 본 발명의 일 실시예에 따른 제1 OSD 정보 생성부(15)를 자세히 나타낸 블록도이다.
제1 OSD 정보 생성부(15)는 제어부(14)로부터 OSD 생성을 위한 데이터를 전송받아, 이를 토대로 제1 OSD 정보를 생성한다. 제1 OSD 정보 생성부(15)는 히트 맵 데이터 생성부(151), 사람 판단부(152), 프라이버시 마스크 생성부(153), 개인정보/OSD 변환부(154), 이미지 생성부(155)를 포함한다.
히트 맵 데이터 생성부(151)는 카메라(10)가 촬영하는 특정 영역 내에서 동적 객체의 움직임 발생 시에, 동적 객체의 궤적을 누적하여 히트 맵 데이터(41)를 생성한다. 본 발명의 일 실시예에 따르면, 히트 맵 데이터 생성부(151)는 동적 객체 추출부(141)로부터 동적 객체의 움직임에 관한 데이터를 전송받는다. 그리고, 동적 객체의 움직임을 누적하여 빈도 수를 연산하고, 객체의 움직임 동향을 판단함으로써 히트 맵 데이터(41)를 생성한다.
히트 맵 데이터 생성부(151)가 생성한 히트 맵 데이터(41)는, 동적 객체의 궤적 영역의 픽셀 좌표값 및 발생시간 또는 발생 후 경과 시간 등 히트 맵 영상을 생성하는데 필요한 정보를 포함한다. 또한 히트 맵 데이터(41)에는 픽셀별 색상 값이 포함될 수 있다. 초기 색상 값은 붉은색과 푸른색 사이의 임의의 색상일 수 있으며, 이 색상 값은 시간의 경과에 따라 갱신될 수 있다.
사람 판단부(152)는, 상기 얼굴 인식부(143)가 누구의 얼굴인지 식별하면, 상기 식별된 얼굴을 가진 사람이 감시 대상인지 보호 대상인지 판단한다. 예를 들면, 카메라(10)가 설치되는 장소가 관계자 외 출입금지 구역인 경우, 사람의 얼굴이 저장부(16)에 저장된 관계자에 해당되는 사람으로 인식되면 문제가 없으나, 관계자가 아닌 사람으로 인식되면 불법 침입으로 판단한다. 그리고 이러한 정보를 개인정보/OSD 변환부(154)에 전송하여 해당 사람의 개인정보(42)를 제1 OSD 정보로 변환한다. 또 다른 예를 들면, 카메라(10)가 설치되는 장소가 카지노인 경우, 사람의 얼굴이 저장부(16)에 블랙리스트로 저장된 사람으로 인식되면 위험 인물로 판단한다. 그리고 이러한 정보를 개인정보/OSD 변환부(154)에 전송하여 해당 사람의 개인정보(42)를 제1 OSD 정보로 변환한다. 반면에 저장부(16)에 저장되지 않은 사람으로 인식되면 일반 손님으로 판단한다. 그리고 이러한 정보를 프라이버시 마스크 생성부(153)로 전송하여 해당 사람의 얼굴에 프라이버시 마스크(43)를 생성하도록 한다.
프라이버시 마스크 생성부(153)는, 영상에서 사람의 얼굴에 해당되는 영역에 프라이버시 마스크(43)가 적용되도록, 보호 대상의 프라이버시 마스크 데이터를 생성한다. 여기서 프라이버시 마스크 데이터란, 보호 대상이 영상 상에서 표시될 때의 위치 좌표 등을 포함한다. 그리고 여기서 사람의 얼굴은, 특히 사람 판단부(152)가 보호 대상으로 판단한 사람의 얼굴을 지칭한다. 또한, 프라이버시 마스크 데이터에는 영상에서 사람의 얼굴에 해당하는 위치 좌표 또는 객체 ID가 더 포함될 수도 있다. 따라서, 단말기(20)는 프라이버시 마스크(43)를 적용할 보호 대상이 어떠한 사람인지 정확히 인지할 수 있다.
개인정보/OSD 변환부(154)는, 영상에서 사람의 얼굴에 해당하는 영역의 근방에 개인정보(42)가 표시되도록, 개인정보(42)를 OSD 정보로 변환한다. 여기서 개인정보(42)란, 저장부(16)에 미리 저장되어 있는 특정 사람의 이름, 나이, 소속, 전과 등 특정 사람에 대한 정보들을 포함한다. 그리고, 여기서 사람의 얼굴은, 특히 사람 판단부(152)가 감시 대상으로 판단한 사람의 얼굴을 지칭한다. 또한, OSD 정보에는 영상에서 사람의 얼굴에 해당하는 위치 좌표 또는 객체 ID가 더 포함될 수도 있다. 따라서, 단말기(20)는 개인정보(42)를 표시할 감시 대상이 어떠한 사람인지 정확히 인지할 수 있다.
상기 히트 맵 데이터, 프라이버시 마스크 데이터, 개인 정보가 변환된 OSD 정보는 메타데이터로서, 추후에 영상과 함께 단말기(20)로 전송되는 제1 OSD 정보가 된다. 그리고, 단말기(20)에서는 전송받은 제1 OSD 정보를 영상과 합성하여 합성 영상을 생성할 수 있다.
이미지 생성부(155)는 영상에서 차량의 번호판 이미지(44)를 생성한다. 번호 추출부(144)에서 차량의 번호판 영역을 추출하면, 이미지 생성부(155)는 영상에서 차량의 번호판 영역의 이미지(44)만을 따로 생성한다. 이러한 이미지(44) 자체가 메타데이터가 되어, 추후에 영상과 함께 단말기(20)로 전송되는 제1 OSD 정보가 된다. 다만, 이에 제한되지 않고, 영상에서 차량의 번호판에 해당되는 영역에 대한 위치 좌표만이 메타데이터가 되어 단말기(20)로 전송되면, 단말기(20)가 상기 위치 좌표를 이용하여 영상에서 이미지(44)를 추출할 수도 있다. 즉, 영상에서 차량의 번호판 이미지(44)가 합성되어 표시될 수 있다면, 제한되지 않고 메타데이터는 다양한 방식으로 형성될 수 있다.
도 5는 본 발명의 일 실시예에 따른 단말기(20)를 자세히 나타낸 블록도이다.
단말기(20)는 카메라(10)로 제2 OSD 정보를 전송하거나, 상기 카메라(10)로부터 영상 및 OSD 정보를 수신하여, 영상과 OSD 정보를 합성한다. 이 때 단말기(20)는, 사용자의 권한 또는 화면 분할 정도에 따라 영상과 OSD 정보를 합성할 것인지를 판단한다. 단말기(20)는 제2 통신부(21), 합성부(22), 모니터(23), 화면 분할부(24), 사용자 권한 판단부(25), 입력부(26), 제2 OSD 정보 생성부(27)를 포함한다.
단말기(20)도 버스(미도시)를 통해 제2 통신부(21), 합성부(22), 모니터(23), 화면 분할부(24), 사용자 권한 판단부(25), 입력부(26), 제2 OSD 정보 생성부(27) 등의 구성요소들이 상호간에 통신할 수 있다. 이러한 모든 구성요소들은 상기 버스(미도시)에 직접 또는 하나 이상의 인터페이스들 또는 어댑터 들을 통하여 접속될 수 있다. 버스(미도시)는 광범위한 서브 시스템들과 연결된다. 버스(미도시)는 메모리 버스, 메모리 컨트롤러, 주변 버스(Peripheral Bus), 로컬 버스 및 이들의 조합을 포함할 수 있다.
제2 통신부(21)는 카메라(10)의 제1 통신부(13)와 유무선으로 영상 및 OSD 정보 데이터를 송수신한다. 이 때, 제2 통신부(21)는 상기 영상과 상기 제1 OSD 정보를 합성되지 않고 분리된 채로 전송받는다. 예를 들어, 제2 통신부(21)는 OSD 정보 데이터 또는 신호를 변조 및 주파수 업컨버팅하여 카메라(10)의 제1 통신부(13)로 송신하거나, 카메라(10)로부터 수신되는 영상 및 OSD 정보 데이터를 주파수 다운컨버팅 및 복조한다. 이러한 과정으로, 제2 통신부(21)는 카메라(10)로부터 데이터를 전송받거나 신호를 수신할 수 있고, 데이터 또는 신호를 카메라(10)로 송신할 수도 있다. 네트워크(2)는 인터넷, WAN(Wide Area Network), LAN(Local Area Network), 전화 네트워크, 직접 연결 통신 등이 있으며, 유선 또는 무선 통신 방식을 사용할 수 있다. 이 때, 네트워크 인터페이스는 네트워크(2)로부터 하나 이상의 패킷의 형태로 된 통신 데이터를 수신하거나, 하나 이상의 패킷 형태로 된 통신 데이터를 네트워크(2)로 전송한다. 네트워크 인터페이스는 네트워크 인터페이스 카드, 모뎀 등을 포함할 수 있다.
합성부(22)는 사용자의 권한 또는 화면 분할 정도에 따라, 영상과 OSD 정보를 합성하여 합성 영상을 생성한다. 구체적으로, 사용자가 권한이 있다면 합성 영상을 디스플레이하고, 사용자가 권한이 없다면 OSD 정보를 합성하지 않은 영상만을 디스플레이 한다. 또는, 분할 화면의 개수가 적다면 합성 영상을 디스플레이하고, 분할 화면의 개수가 많다면 OSD 정보를 합성하지 않은 영상만을 디스플레이 한다. OSD 정보의 종류에 따라 생성되는 여러 합성 영상들에 대한 자세한 설명은 후술한다.
모니터(23)는 영상에 OSD 정보가 합성된 합성 영상 또는 합성되지 않은 영상을 디스플레이 한다. 모니터(23)는 LCD(Liquid Crystal Display), OLED(Organic Liquid Crystal Display), CRT(Cathode Ray Tube), PDP(Plasma Display Panel) 등 다양한 종류의 모니터(23)일 수 있다. 모니터(23)는 비디오 인터페이스를 통하여 버스(미도시)에 연결되고, 모니터(23)와 버스(미도시) 간의 데이터 전송은 그래픽 컨트롤러에 의해 제어될 수 있다.
단말기(20)가 터치 기능을 제공하지 않는다면, 입력부(26)가 별도로 마련된다. 일반적으로 가장 많이 사용되는 입력부(26)로는 마우스, 키보드, 조이스틱, 리모콘 등이 있다. 이러한 입력부(26)는 직렬 포트, 병렬 포트, 게임 포트, USB 등을 포함하는 입력 인터페이스를 통해 버스(미도시)에 접속될 수 있다. 도 5에는 단말기(20)에 입력부(26)가 별도로 마련된 것으로 도시되었으나 이에 제한되지 않고, 만약 단말기(20)가 터치 기능을 제공한다면, 모니터(23)는 터치 센서를 포함할 수 있다. 이 경우에는 사용자가 모니터(23)를 통해 직접 터치 신호를 입력할 수 있다. 터치 센서는 모니터(23)와 함께 일체로 장착될 수 있으며, 모니터(23)에서 발생되는 터치를 감지하여 터치가 발생된 영역의 좌표, 터치의 횟수 및 세기 등을 검출한다. 터치 센서가 터치를 감지하는 방식에 따라, 정전 용량 방식, 전기저항막 방식, 초음파 방식, 적외선 방식 등 다양한 방식이 사용될 수 있다. 그리고 터치는 손가락을 이용하여 수행될 수도 있으나, 이에 제한되지 않고, 미세 전류가 흐를 수 있는 팁이 장착된 스타일러스 펜 등을 이용하여 수행될 수도 있다. 단말기(20)가 터치 기능을 제공하더라도, 모니터(23)가 터치 센서를 포함하지 않는다면 별도의 터치 패드가 입력부(26)로써 마련될 수도 있다.
화면 분할부(24)는 사용자의 입력에 따라 또는 자동으로 화면을 복수의 분할 화면으로 분할하여, 섬네일(Thumbnail)을 생성한다. 만약, 디스플레이 되어야 할 영상이 3개라면, 모니터(23)는 분할 화면을 3개 포함하는 섬네일을 생성하고, 영상이 6개라면, 분할 화면을 6개 포함하는 섬네일을 생성한다.
이 때, 카메라(10)는 복수로 형성될 수 있다. 상기 복수의 카메라(10)는 각각 다른 위치에 설치되어 다른 영역을 촬영함으로써 다른 영상을 획득할 수 있다. 그리고 각각 획득된 영상 데이터들을 각각의 단말기(20)로 전송할 수 있다. 그러면 모니터(23)에서 복수의 분할 화면을 통해 복수의 영상이 각각 디스플레이 될 수 있다. 만약 카메라(10)가 360°카메라라면, 하나의 카메라가 전방위에 대한 영상을 획득한다. 이 경우, 360°카메라로 획득된 하나의 원본 영상이 그대로 단말기(20)에 전송되면, 단말기(20) 내에 설치된 소프트웨어를 통해 상기 원본 영상을 드워핑(Dwarping)하면서 복수의 보정 영상을 생성할 수 있다. 그리고, 이러한 복수의 보정 영상이 모니터(23)에서 복수의 분할 화면을 통해 각각 디스플레이 될 수 있다. 다만 이에 제한되지 않고, 단말기(20)의 모니터(23)에서 복수의 분할 화면을 통해 복수의 영상이 디스플레이 될 수 있다면, 다양한 방법이 사용될 수 있다.
모니터(23)의 크기에 비해 분할 화면이 너무 많은 경우에는, 분할 화면의 크기가 너무 작아, 영상에 OSD 정보를 합성하여도 사용자가 이를 모니터링 하기 어려울 수 있다. 그러나, 모니터(23)의 크기에 비해 분할 화면이 적은 경우에는, 분할 화면의 크기가 충분히 크므로, 사용자에게 OSD 정보를 제공하는 것이 바람직하다. 즉, 모니터(23)의 크기 대비 분할 화면의 개수가, 영상에 OSD 정보를 합성할 것인지의 하나의 기준이 된다. 그리고 그 기준은, 사용자가 모니터링 하기 용이한 정도에 따라 실험적으로 정할 수 있다.
사용자 권한 판단부(25)는 현재 단말기(20)를 사용하는 사용자의 권한을 판단한다. 예를 들어, 사용자가 입력부(26)를 통해 ID 및 패스워드를 입력하여 OSD 시스템(1)에 로그인을 하면, 사용자를 알 수 있다. 그럼으로써, 사용자가 가진 권한을 곧바로 파악할 수 있다.
OSD 시스템(1)에는 사용자들마다 등급을 미리 정해놓을 수 있다. 예를 들면, 관리자(Administrator), 운영자(Operator), 일반 사용자(General User), 게스트(Guest) 등의 등급이 있을 수 있다. 그리고, 관리자의 권한을 가진 사용자는 제2 OSD 정보를 직접 생성하며, OSD 정보들을 모니터링 할 수 있다. 운영자의 권한을 가진 사용자는 OSD 정보를 제한없이 모니터링 할 수 있고, 관리자의 허락을 얻어 제한적으로 제2 OSD 정보를 생성할 수 있다. 일반 사용자는 관리자의 허락을 얻어 제한적으로 OSD 정보를 모니터링 할 수 있다. 게스트는 OSD 정보를 전혀 모니터링 할 수 없고, 오직 영상만을 모니터링 할 수 있다.
제2 OSD 정보 생성부(27)는 입력부(26)로부터 입력된 내용을 토대로 제2 OSD 정보를 생성한다. 상기 기술한 바와 같이, 본 발명의 일 실시예에 따른 OSD 정보는, 단말기(20)의 모니터(23) 자체의 설정보다는, 모니터(23)를 통해 디스플레이 되는 영상과 관련된 정보를 지칭한다. 특히 제2 OSD 정보는, 단말기(20)에서 생성되어 카메라(10) 또는 별도의 서버를 거쳐 다른 단말기(20)로 전송되는 OSD 정보를 지칭한다. 예를 들면, 관리자 권한을 가진 사용자가 직접 생성하는 정보(45, 46), 즉 영상에 표시되는 특정 대상에 대한 설명 또는 다른 사용자에게 전송하는 질문, 그림, 이모티콘 등을 지칭한다.
도면에 도시되지는 않았으나, 단말기(20)는 영상 및 OSD 정보 데이터를 저장할 수 있는 저장부(16)를 더 포함할 수도 있다. 이 때, 영상 및 OSD 정보 두 종류의 데이터가 따로 저장될 수도 있고, 합성부(22)에서 출력된 합성 영상이 저장될 수도 있다. 저장부(16)는 컴퓨터 등의 장치로 읽을 수 있는 매체로서, 단말기(20)에 내장될 수도 있으며, 이러한 경우에는 부피가 작고 가벼운 플래시 메모리인 것이 바람직하다. 그러나, 단말기(20)의 외부에 별도의 장치로써 마련될 수도 있다.
도면에 도시되지는 않았으나, 단말기(20)는 전송된 압축 영상 데이터를 디코딩 및 기타 영상처리를 하는 영상 처리부를 더 포함할 수 있다. 그리고 영상 처리부는 대기하는 영상의 프레임 데이터를 임시로 저장하는 버퍼 메모리, 영상의 렌더링(Rendering) 작업을 수행하는 그래픽 렌더러, 복합 영상을 생성하기 위해 복수의 영상의 오버레이를 수행하는 슈퍼 임포저를 포함할 수 있다. 다만, 이에 제한되지 않고, 영상의 인코딩 및 디코딩의 과정이나 기타 영상 처리 중 일부가 필요하지 않은 경우에는, 영상 처리부는 상기 기술한 버퍼 메모리, 그래픽 렌더러 또는 슈퍼 임포저 중에 일부를 포함하지 않을 수 있다. 즉, 카메라(10)로부터 전송된 영상의 처리 방법에 따라, 영상 처리부는 다양하게 구성될 수 있다.
그 외에도 단말기(20)는 오디오 스피커, 프린터 등과 같은 하나 이상의 출력 장치를 포함할 수 있다. 그리고 이러한 출력 장치는 직렬 포트, 병렬 포트, 게임 포트, USB 등을 포함하는 출력 인터페이스를 통해 버스(미도시)에 접속될 수 있다.
도 6은 본 발명의 일 실시예에 따른 카메라(10)가 특정 영역을 촬영하여 획득한 영상을 나타낸 도면이다.
카메라(10)는 도 6에 도시된 바와 같이, 특정 영역을 촬영하여 영상을 획득한다. 상기 획득한 영상에는 여러 사람들 또는 자동차 등의 객체들이 포함될 수 있다. CCTV 시스템에서 이러한 객체들의 정보, 움직임의 동향 등은, 영상을 모니터링 하는 사용자에게 매우 중요하다. 특히, 여러 사용자들이 동시에 영상을 모니터링 할 수 있는 경우에는, 여러 사용자들 간의 정보 교환이 별도의 장비 없이 용이하고 빠르게 이루어질 수 있어야 한다. 나아가, 사용자의 권한에 따라 이러한 정보의 열람 유무들 자동으로 판단하여, 선별적으로 상기 정보들이 공개될 필요가 있다.
도 7은 도 6에서 획득한 영상에 히트 맵(41)이 합성된 합성 영상을 나타낸 도면이다.
단말기(20)가 카메라(10)로부터 전송받은 제1 OSD 정보가 히트 맵 데이터인 경우에는, 합성부(22)는 히트 맵 데이터를 이용하여 히트 맵(41)을 영상과 합성한다. 합성부(22)는 히트 맵 데이터에 포함된 픽셀 좌표값에 해당하는 픽셀들에 정해진 색상을 반영하여, 전송된 영상과 합성함으로써, 도 7에 도시된 바와 같이 히트 맵 영상을 생성할 수 있다. 픽셀별 최초 색상 값은 붉은색과 푸른색 사이의 임의의 색상일 수 있다. 붉은색은 빈도 수가 높음을 의미하고 푸른색은 빈도 수가 낮음을 의미하며, 객체의 최초 출현 시에 최초 색상 값은 붉은색과 푸른색 사이의 임의의 색상을 가질 수 있다.
합성부(22)는 픽셀들에 최초 색상 값을 반영하여 히트 맵 영상을 생성한다. 이 때, 합성부(22)는 시간의 경과에 따라 동적 객체가 지나간 위치의 픽셀들에 대해서는 색상을 붉은색으로 점점 변화시키고, 동적 객체가 머물고 있는 위치의 픽셀들에 대해서는 푸른색으로 점점 변화시키며 히트 맵 영상을 갱신할 수 있다. 또는, 동적 객체가 지나간 위치의 픽셀들에 대해서는 색상을 점점 변화시키며, 동적 객체가 머물고 있는 위치의 픽셀들에 대해서만 초기 색상 값을 유지할 수도 있다.
도 8은 도 6에서 획득한 영상에서 사람의 개인정보(42)가 영상 상에 오버레이(Overlay)되어 합성된 합성 영상을 나타낸 도면이다.
단말기(20)가 카메라(10)로부터 전송받은 제1 OSD 정보가 사람의 개인정보(42)인 경우에는, 합성부(22)는 개인정보(42)를 영상과 합성한다. 이 때 단말기(20)는, 감시 대상이 되는 사람의 얼굴에 해당하는 위치 좌표 또는 객체 ID도 함께 수신한다. 합성부(22)는 영상에서 상기 사람의 얼굴에 해당하는 영역의 근방에 개인정보(42)가 표시되도록, 영상에 개인정보(42)를 합성함으로써, 도 8에 도시된 바와 같이 합성 영상을 생성한다.
도 9는 도 6에서 획득한 영상에서 사람의 얼굴에 프라이버시 마스크(43)가 적용되어 합성된 합성 영상을 나타낸 도면이다.
단말기(20)가 카메라(10)로부터 전송받은 제1 OSD 정보가 프라이버시 마스크 데이터인 경우에는, 합성부(22)는 프라이버시 마스크(43)를 영상과 합성한다. 이 때 단말기(20)는, 보호 대상이 되는 사람의 얼굴에 해당하는 위치 좌표 또는 객체 ID도 함께 수신한다. 합성부(22)는 영상에서 상기 사람의 얼굴에 해당하는 영역에 프라이버시 마스크(43)가 적용되도록, 영상에 프라이버시 마스크(43)를 합성함으로써, 도 9에 도시된 바와 같이 합성 영상을 생성한다.
프라이버시 마스크(43)가 적용되는 방식은, 보호 대상이 되는 사람의 얼굴을 필터링하여 검게 처리하는 것이 바람직하다. 그러나, 이에 제한되지 않고 보호 대상이 되는 사람의 얼굴의 RGB 색상값을 주변 픽셀의 평균 색상 값으로 맵핑 처리하여 영상을 흐리게 하는 방식, 또는 사람의 얼굴의 픽셀 수를 조절하여 모자이크 처리하는 방식 등 다양한 방식을 적용할 수 있다.
도 10은 도 6에서 획득한 영상에서 차량의 번호판 이미지(44)가 합성된 합성 영상을 나타낸 도면이다.
단말기(20)가 카메라(10)로부터 전송받은 제1 OSD 정보가 차량의 번호판 이미지(44)인 경우에는, 합성부(22)는 차량의 번호판 이미지(44)를 영상과 합성한다. 차량의 번호판 이미지(44) 자체가 메타데이터가 된 경우, 이미지(44) 자체가 영상과는 다른 채널로 전송된다. 그리고, 합성부(22)는 영상과 이미지(44)를 확대한 후 그대로 합성하여, 도 10에 도시된 바와 같이 합성 영상을 생성할 수 있다. 그런데 만약, 차량의 번호판에 해당되는 영역에 대한 위치 좌표만이 메타데이터가 된 경우, 합성부(22)는 상기 위치 좌표를 이용하여 영상에서 이미지(44)를 추출할 수 있다. 합성부(22)는 영상으로부터 추출한 이미지(44)를 확대한 후, 도 10에 도시된 바와 같이 합성 영상을 생성할 수도 있다.
도 11은 도 6에서 획득한 영상에서 관리자 권한을 가진 사용자가 직접 생성한 정보(45, 46)가 합성된 합성 영상을 나타낸 도면이다.
단말기(20)가 카메라(10)로부터 전송받은 제2 OSD 정보가 관리자 권한을 가진 사용자가 직접 생성한 정보(45, 46)인 경우에는, 합성부(22)는 상기 제2 OSD 정보를 영상과 합성함으로써, 도 11에 도시된 바와 같이 합성 영상을 생성한다. 이 때 도 11에 도시된 바와 같이, 관리자 권한을 가진 사용자가 생성한 정보(45, 46)는 특정 대상에 대한 설명 또는 다른 사용자에게 전송하는 지시 또는 질문(45) 등 일 수 있다.
도 12는 도 11에서 관리자 권한을 가진 사용자가 전송한 제2 OSD 정보에 대한 답장으로, 다른 사용자가 제2 OSD 정보를 전송한 모습을 나타낸 도면이다.
상기 기술한 바와 같이, 관리자 및 관리자의 허락을 얻은 운영자의 등급의 사용자도 제2 OSD 정보를 생성할 수 있다. 도 11에 도시된 합성 영상을 모니터링 하는 사용자 가운데, 관리자 및 관리자의 허락을 얻은 운영자의 등급의 사용자는, 상기 도 11에서 전송된 제2 OSD 정보에 대한 답장(46)으로, 또 다른 제2 OSD 정보를 생성하여 전송할 수 있다. 상기 또 다른 제2 OSD 정보를 수신한 다른 단말기(20)의 합성부(22)는, 또 다른 제2 OSD 정보를 영상과 합성함으로써, 도 12에 도시된 바와 같이 합성 영상을 생성한다.
도 13은 본 발명의 일 실시예에 따른 모니터(23)의 화면이 4개의 분할 화면으로 분할된 모습을 나타낸 도면이다.
상기 기술한 바와 같이, 단말기(20)의 화면 분할부(24)는 사용자의 입력에 따라 또는 자동으로 화면을 복수의 분할 화면으로 분할하여, 섬네일(Thumbnail)을 생성한다. 한편, 만약 사용자가 관리자 또는 운영자의 등급이거나, 관리자의 허락을 얻은 일반 사용자의 등급이라면, OSD 정보를 모니터링할 수 있다.
이 때 만약, 모니터(23)의 크기에 비해 분할 화면의 개수가 적은 경우에는, 분할 화면의 크기가 충분히 크므로, 사용자에게 OSD 정보를 제공하는 것이 바람직하다. 이 경우, 단말기(20)의 합성부(22)는 OSD 정보를 영상에 합성하여 합성 영상을 생성한다. 그리고 모니터(23)는 도 13에 도시된 바와 같이 합성 영상을 디스플레이 할 수 있다.
도 14는 본 발명의 일 실시예에 따른 모니터(23)의 화면이 16개의 분할 화면으로 분할된 모습을 나타낸 도면이다.
반면에, 모니터(23)의 크기에 비해 분할 화면의 개수가 너무 많은 경우에는, 분할 화면의 크기가 너무 작아, 영상에 OSD 정보를 합성하여도 사용자가 이를 모니터링 하기 어려울 수 있다. 따라서, 단말기(20)의 합상부는 OSD 정보를 영상에 합성하지 않는다. 그리고 모니터(23)는 도 14에 도시된 바와 같이 합성하지 않은 영상을 디스플레이 할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 이미지 신호를 수신하여 영상을 생성하는 촬상부;
    상기 영상으로부터 OSD 정보가 생성될 수 있는 기초 정보를 추출하는 제어부;
    상기 제어부가 추출한 상기 기초 정보를 토대로 상기 OSD 정보를 생성하는 OSD 정보 생성부; 및
    외부로 상기 영상 및 상기 OSD 정보의 데이터를 분리하여 전송하는 통신부를 포함하는 OSD 정보 생성 카메라.
  2. 제1항에 있어서,
    상기 영상으로부터 움직이는 객체를 추출하는 동적 객체 추출부;
    상기 추출된 객체의 움직임 궤적을 누적하여 히트 맵 데이터를 생성하는 히트 맵 생성부를 더 포함하는 OSD 정보 생성 카메라.
  3. 제1항에 있어서,
    상기 영상으로부터 사람의 얼굴 영역을 검출하는 얼굴 검출부;
    상기 검출된 얼굴 영역을 통해 특정 사람을 식별하는 얼굴 인식부;
    상기 식별된 사람이 감시 대상인지 보호 대상인지 여부를 판단하는 사람 판단부를 더 포함하는 OSD 정보 생성 카메라.
  4. 제3항에 있어서,
    상기 OSD 정보 생성부는,
    상기 사람 판단부가 상기 식별된 사람을 보호 대상으로 판단한 경우, 상기 영상 상에서 상기 식별된 사람의 얼굴에 적용할 수 있는 프라이버시 마스크를 생성하는 프라이버시 마스크 생성부를 더 포함하는, OSD 정보 생성 카메라.
  5. 제3항에 있어서,
    상기 OSD 정보 생성부는,
    상기 사람 판단부가 상기 식별된 사람을 감시 대상으로 판단한 경우, 상기 영상 상에서 상기 식별된 사람의 얼굴 주변에 표시될 수 있는 개인정보 데이터를 상기 OSD 정보로 변환하는 개인정보/OSD 변환부를 더 포함하는, OSD 정보 생성 카메라.
  6. 제1항에 있어서,
    상기 영상으로부터 차량의 번호 영역을 추출하는 번호 추출부;
    상기 영상에서 상기 차량의 번호판 이미지를 생성하는 이미지 생성부를 더 포함하는 OSD 정보 생성 카메라.
  7. 외부로부터 영상을 수신하는 통신부;
    사용자의 명령을 입력받는 입력부;
    상기 입력된 사용자의 명령에 따라 OSD 정보를 생성하는 OSD 정보 생성부;
    특정 기준에 부합하는 경우, 상기 영상 및 상기 OSD 정보를 합성하는 합성부; 및
    상기 OSD 정보가 합성된 영상을 디스플레이 하는 모니터를 포함하는 OSD 정보 합성 단말기.
  8. 제7항에 있어서,
    상기 통신부는,
    외부로부터 새로운 OSD 정보의 데이터를 상기 영상과 분리된 채로 수신하는, OSD 정보 합성 단말기.
  9. 제7항에 있어서,
    상기 특정 기준은,
    사용자의 권한을 포함하며,
    상기 사용자의 권한을 판단하여 상기 합성부의 상기 영상과 상기 OSD 정보의 합성 여부를 달리하는 사용자 권한 판단부를 더 포함하는, OSD 정보 합성 단말기.
  10. 제7항에 있어서,
    상기 모니터의 화면을 분할하는 화면 분할부를 더 포함하고,
    상기 특정 기준은,
    상기 화면의 분할 정도를 포함하며,
    상기 합성부는,
    상기 화면의 분할 정도에 따라 상기 영상과 상기 OSD 정보의 합성 여부를 달리하는, OSD 정보 합성 단말기.
  11. 특정 영역을 촬영하여 영상을 획득하고, 상기 획득한 영상에 대하여 제1 OSD 정보를 생성하는 OSD 정보 생성 카메라; 및
    특정 기준에 부합하는 경우 상기 영상과 OSD 정보를 합성하는 복수의 OSD 정보 합성 단말기를 포함하되,
    상기 OSD 정보 생성 카메라는,
    이미지 신호를 수신하여 상기 영상을 생성하는 촬상부;
    상기 영상으로부터 상기 제1 OSD 정보가 생성될 수 있는 기초 정보를 추출하는 제어부;
    상기 제어부가 추출한 상기 기초 정보를 토대로 상기 제1 OSD 정보를 생성하는 제1 OSD 정보 생성부; 및
    외부로 상기 영상 및 상기 제1 OSD 정보의 데이터를 분리하여 전송하는 제1 통신부를 포함하고,
    상기 OSD 정보 합성 단말기는,
    상기 영상 및 상기 제1 OSD 정보의 데이터를 분리된 채로 수신하는 제2 통신부;
    특정 기준에 부합하는 경우, 상기 영상 및 상기 OSD 정보를 합성하는 합성부; 및
    상기 OSD 정보가 합성된 영상을 디스플레이 하는 모니터를 포함하는, OSD 정보 공유 시스템.
  12. 제11항에 있어서,
    상기 OSD 정보 합성 단말기는,
    상기 사용자의 명령을 입력받는 입력부;
    상기 입력된 사용자의 명령에 따라 제2 OSD 정보를 생성하는 제2 OSD 정보 생성부를 더 포함하는, OSD 정보 공유 시스템.
  13. 제12항에 있어서,
    상기 특정 기준은,
    사용자의 권한을 포함하며,
    상기 OSD 정보 합성 단말기는,
    상기 사용자의 권한을 판단하여 상기 합성부의 상기 영상과 상기 OSD 정보의 합성 여부를 달리하는 사용자 권한 판단부를 더 포함하는, OSD 정보 공유 시스템.
  14. 제12항에 있어서,
    상기 모니터의 화면을 복수의 분할 화면으로 분할하는 화면 분할부를 더 포함하고,
    상기 특정 기준은,
    상기 화면의 분할 정도를 포함하며,
    상기 합성부는,
    상기 화면의 분할 정도에 따라 상기 영상과 상기 OSD 정보의 합성 여부를 달리하는, OSD 정보 공유 시스템.
  15. 제14항에 있어서,
    상기 OSD 정보 생성 카메라는 복수로 형성되며,
    상기 복수의 OSD 정보 생성 카메라가 각각 영상을 획득하여 상기 OSD 정보 합성 단말기로 전송하면,
    상기 OSD 정보 합성 단말기는,
    상기 모니터를 통해 상기 복수의 분할 화면마다 상기 전송된 영상을 각각 디스플레이 하는, OSD 정보 공유 시스템.
  16. 제11항에 있어서,
    상기 OSD 정보 생성 카메라는,
    상기 영상으로부터 움직이는 객체를 추출하는 동적 객체 추출부;
    상기 추출된 객체의 움직임 궤적을 누적하여 히트 맵 데이터를 생성하는 히트 맵 생성부를 더 포함하는, OSD 정보 공유 시스템.
  17. 제11항에 있어서,
    상기 OSD 정보 생성 카메라는,
    상기 영상으로부터 사람의 얼굴 영역을 검출하는 얼굴 검출부;
    상기 검출된 얼굴 영역을 통해 특정 사람을 식별하는 얼굴 인식부;
    상기 식별된 사람이 감시 대상인지 보호 대상인지 여부를 판단하는 사람 판단부를 더 포함하는, OSD 정보 공유 시스템.
  18. 제17항에 있어서,
    상기 제1 OSD 정보 생성부는,
    상기 사람 판단부가 상기 식별된 사람을 보호 대상으로 판단한 경우, 상기 영상 상에서 상기 식별된 사람의 얼굴에 적용할 수 있는 프라이버시 마스크를 생성하는 프라이버시 마스크 생성부를 더 포함하는, OSD 정보 공유 시스템.
  19. 제17항에 있어서,
    상기 제1 OSD 정보 생성부는,
    상기 사람 판단부가 상기 식별된 사람을 감시 대상으로 판단한 경우, 상기 영상 상에서 상기 식별된 사람의 얼굴 주변에 표시될 수 있는 개인정보 데이터를 상기 제1 OSD 정보로 변환하는 개인정보/OSD 변환부를 더 포함하는, OSD 정보 공유 시스템.
  20. 제11항에 있어서,
    상기 OSD 정보 생성 카메라는,
    상기 영상으로부터 차량의 번호 영역을 추출하는 번호 추출부;
    상기 영상에서 상기 차량의 번호판 이미지를 생성하는 이미지 생성부를 더 포함하는, OSD 정보 공유 시스템.
PCT/KR2016/011810 2015-11-27 2016-10-20 Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템 WO2017090892A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/746,219 US10986314B2 (en) 2015-11-27 2016-10-20 On screen display (OSD) information generation camera, OSD information synthesis terminal, and OSD information sharing system including the same
CN201680055969.6A CN108141568B (zh) 2015-11-27 2016-10-20 Osd信息生成摄像机、合成终端设备及共享系统
EP16868791.1A EP3383030B1 (en) 2015-11-27 2016-10-20 Osd information generation camera, osd information synthesis terminal (20), and osd information sharing system comprising same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150167143A KR102361088B1 (ko) 2015-11-27 2015-11-27 영상 공유 방법
KR10-2015-0167143 2015-11-27

Publications (1)

Publication Number Publication Date
WO2017090892A1 true WO2017090892A1 (ko) 2017-06-01

Family

ID=58763245

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/011810 WO2017090892A1 (ko) 2015-11-27 2016-10-20 Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템

Country Status (5)

Country Link
US (1) US10986314B2 (ko)
EP (1) EP3383030B1 (ko)
KR (1) KR102361088B1 (ko)
CN (1) CN108141568B (ko)
WO (1) WO2017090892A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2569572A (en) * 2017-12-20 2019-06-26 Canon Kk A surveillance method, a surveillance apparatus, a surveillance system, and a program

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419671B2 (en) * 2016-06-30 2019-09-17 Optim Corporation System, method, and program for displaying omnidirectional camera image
EP3526964B1 (en) * 2016-10-14 2024-02-21 Genetec Inc. Masking in video stream
US10419728B2 (en) * 2017-08-22 2019-09-17 Chekt Llc Monitoring system having personal information protection function and method thereof
US10929561B2 (en) * 2017-11-06 2021-02-23 Microsoft Technology Licensing, Llc Removing personally identifiable data before transmission from a device
US11587420B2 (en) * 2019-03-14 2023-02-21 Johnson Controls Tyco IP Holdings LLP Systems and methods of combining RFID and VMS for people tracking and intrusion detection
US11250606B2 (en) * 2019-07-31 2022-02-15 Grabango Co. Privacy protection in vision systems
CN114449322A (zh) * 2020-10-30 2022-05-06 海信视像科技股份有限公司 一种显示设备及图像绘制方法
CN114880052A (zh) * 2021-02-05 2022-08-09 京东方科技集团股份有限公司 显示装置及其显示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080180525A1 (en) * 2007-01-29 2008-07-31 Sony Corporation Network equipment, network system and surveillance camera system
KR20130033116A (ko) * 2011-09-26 2013-04-03 삼성테크윈 주식회사 차량 감시 시스템
KR101347871B1 (ko) * 2012-07-31 2014-01-03 주식회사세오 보안 영상 표시 처리 시스템 및 그 제어방법
KR20140144398A (ko) * 2013-06-11 2014-12-19 임철수 Cctv영상자료 외부제공시스템 및 외부제공방법
KR101543712B1 (ko) * 2011-08-25 2015-08-12 한국전자통신연구원 증강현실을 이용한 보안 감시 장치 및 방법

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0656727B1 (en) * 1993-11-03 1999-04-28 SONY-WEGA PRODUKTIONS GmbH Teletext receiver
US6418556B1 (en) * 1993-09-09 2002-07-09 United Video Properties, Inc. Electronic television program guide schedule system and method
JP3855282B2 (ja) * 1995-02-06 2006-12-06 ソニー株式会社 受信装置および受信方法
GB9526304D0 (en) * 1995-05-22 1996-02-21 British Sky Broadcasting Ltd Interactive services interface
US7634662B2 (en) * 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US20080018052A1 (en) * 2001-06-14 2008-01-24 Osmany Hornia Partnering game and method of playing same
KR100561629B1 (ko) * 2003-12-03 2006-03-20 한국전자통신연구원 보안 정보 통합 관리 시스템 및 그 방법
US20060158514A1 (en) * 2004-10-28 2006-07-20 Philip Moreb Portable camera and digital video recorder combination
KR100631610B1 (ko) * 2004-11-26 2006-10-09 엘지전자 주식회사 휴대단말기의 영상신호 합성장치 및 방법
JP2008035095A (ja) * 2006-07-27 2008-02-14 Sony Corp 監視装置、監視システム、監視方法及びプログラム
US8599315B2 (en) * 2007-07-25 2013-12-03 Silicon Image, Inc. On screen displays associated with remote video source devices
US8605151B2 (en) * 2007-09-21 2013-12-10 Utc Fire & Security Americas Corporation, Inc. Methods and systems for operating a video surveillance system
JP2009267526A (ja) * 2008-04-22 2009-11-12 Sharp Corp 大量のコンテンツの一覧表示方法及び一覧表示装置
KR101025170B1 (ko) * 2008-05-09 2011-03-31 강승민 Ｉｐｔｖ와 연동한 원격 감시 시스템 및 그 방법
DE102008031271B4 (de) * 2008-07-02 2011-07-28 Continental Automotive GmbH, 30165 Düsenbaugruppe für ein Einspritzventil
US8345101B2 (en) * 2008-10-31 2013-01-01 International Business Machines Corporation Automatically calibrating regions of interest for video surveillance
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US9204823B2 (en) * 2010-09-23 2015-12-08 Stryker Corporation Video monitoring system
KR101303163B1 (ko) * 2011-11-21 2013-11-13 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR101403322B1 (ko) * 2011-11-23 2014-06-09 성신여자대학교 산학협력단 콘텐츠 서비스 시스템
US9195883B2 (en) * 2012-04-09 2015-11-24 Avigilon Fortress Corporation Object tracking and best shot detection system
US8781293B2 (en) * 2012-08-20 2014-07-15 Gorilla Technology Inc. Correction method for object linking across video sequences in a multiple camera video surveillance system
KR102066939B1 (ko) 2013-09-27 2020-01-16 한화테크윈 주식회사 영상 감시 시스템
US9569669B2 (en) * 2013-11-27 2017-02-14 International Business Machines Corporation Centralized video surveillance data in head mounted device
US9323983B2 (en) * 2014-05-29 2016-04-26 Comcast Cable Communications, Llc Real-time image and audio replacement for visual acquisition devices
CN104159076B (zh) * 2014-08-01 2019-03-01 北京奇虎科技有限公司 摄像装置、视频监控系统以及视频监控方法
US10009657B2 (en) * 2014-10-01 2018-06-26 Lg Electronics Inc. Image display apparatus
TWI551146B (zh) * 2014-12-25 2016-09-21 晶睿通訊股份有限公司 影像資料播放方法及其影像監視系統
WO2016114392A1 (ja) * 2015-01-15 2016-07-21 日本電気株式会社 情報出力装置、カメラ、情報出力システム、情報出力方法及びプログラム
US9350914B1 (en) * 2015-02-11 2016-05-24 Semiconductor Components Industries, Llc Methods of enforcing privacy requests in imaging systems
JP6540099B2 (ja) * 2015-03-02 2019-07-10 セイコーエプソン株式会社 画像処理装置、表示装置、及び、画像処理方法
US9805567B2 (en) * 2015-09-14 2017-10-31 Logitech Europe S.A. Temporal video streaming and summaries

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080180525A1 (en) * 2007-01-29 2008-07-31 Sony Corporation Network equipment, network system and surveillance camera system
KR101543712B1 (ko) * 2011-08-25 2015-08-12 한국전자통신연구원 증강현실을 이용한 보안 감시 장치 및 방법
KR20130033116A (ko) * 2011-09-26 2013-04-03 삼성테크윈 주식회사 차량 감시 시스템
KR101347871B1 (ko) * 2012-07-31 2014-01-03 주식회사세오 보안 영상 표시 처리 시스템 및 그 제어방법
KR20140144398A (ko) * 2013-06-11 2014-12-19 임철수 Cctv영상자료 외부제공시스템 및 외부제공방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3383030A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2569572A (en) * 2017-12-20 2019-06-26 Canon Kk A surveillance method, a surveillance apparatus, a surveillance system, and a program

Also Published As

Publication number Publication date
KR20170061937A (ko) 2017-06-07
EP3383030A4 (en) 2019-07-24
EP3383030B1 (en) 2021-07-14
US20180234665A1 (en) 2018-08-16
CN108141568B (zh) 2020-11-13
EP3383030A1 (en) 2018-10-03
CN108141568A (zh) 2018-06-08
KR102361088B1 (ko) 2022-02-09
US10986314B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
KR101215948B1 (ko) 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
US9807300B2 (en) Display apparatus for generating a background image and control method thereof
WO2012020856A1 (en) Region of interest based video synopsis
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2020235819A1 (ko) 인공지능을 이용한 영상 기반의 실시간 침입 감지 방법 및 감시카메라
WO2021095916A1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
WO2014069822A1 (en) Apparatus and method for face recognition
WO2014051337A1 (ko) 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2020138736A1 (ko) 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
WO2017115905A1 (ko) 인체 포즈 인지 시스템 및 방법
WO2019225964A1 (en) System and method for fast object detection
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
US9996743B2 (en) Methods, systems, and media for detecting gaze locking
KR101921868B1 (ko) 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
Kumar et al. Border surveillance system using computer vision
JP2019050553A (ja) 画像処理装置、画像提供装置、それらの制御方法及びプログラム
WO2023158205A1 (ko) Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거
WO2019124634A1 (ko) 압축영상에 대한 신택스 기반의 객체 추적 방법
WO2021182750A1 (en) Display apparatus and method thereof
WO2017209468A1 (ko) 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16868791

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15746219

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE