WO2021172943A1 - 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템 - Google Patents

영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템 Download PDF

Info

Publication number
WO2021172943A1
WO2021172943A1 PCT/KR2021/002471 KR2021002471W WO2021172943A1 WO 2021172943 A1 WO2021172943 A1 WO 2021172943A1 KR 2021002471 W KR2021002471 W KR 2021002471W WO 2021172943 A1 WO2021172943 A1 WO 2021172943A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
search
metaphor
thumbnail
channel
Prior art date
Application number
PCT/KR2021/002471
Other languages
English (en)
French (fr)
Inventor
김현호
신재영
안병기
구대현
윤영인
김지은
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Publication of WO2021172943A1 publication Critical patent/WO2021172943A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • An embodiment of the present invention relates to a network surveillance camera system, and more particularly, an image search apparatus displaying a metaphor icon of a detection target on a timeline of an image search viewer that displays received images for each channel, and a network including the same It relates to a surveillance camera system.
  • a recent surveillance camera system can transmit various image analysis information acquired in a surveillance area together with image and audio signals by using a network camera that performs intelligent image analysis.
  • the network-based surveillance camera system includes a network surveillance camera and a DVR (Digital Video Recorder), NVR (Network Video Recorder), etc. It may be configured to include an image receiving device.
  • the information transmission method adopts a standard protocol through a video surveillance standardization organization such as ONVIF, and RTSP (Real Time Streaming Protocol) is a standard communication protocol (RFC2326) developed by the IETF, which controls the media server remotely. can be used when In order to transmit media streaming data including actual video and audio, the Real-time Transport Protocol (RTP) protocol can be used together as a transport layer.
  • RTSP Real-time Transport Protocol
  • a timeline interface may be displayed on the display of the image receiving device in order to provide convenience of image search, but the existing timeline interface selects a playback time of each channel received by the image receiving device, or It is used only in terms of control. That is, there is a disadvantage in that it is difficult to select a point in time when a specific event to be searched by a user occurs by using the existing timeline interface.
  • An embodiment of the present invention receives a surveillance image for each channel and image analysis information corresponding to the surveillance image transmitted from a plurality of network cameras, and uses the image analysis information to apply the thumbnail image for each channel and the thumbnail image.
  • a video search device that generates a corresponding metaphor icon and displays the metaphor icon on a timeline of a video search viewer that displays received video for each channel to provide a user with the convenience of searching, and a network surveillance camera system including the same do.
  • a network monitoring camera system acquires image information for each monitoring area by photographing a plurality of monitoring areas, and transmits the acquired image information for each monitoring area to each channel.
  • a plurality of cameras to transmit to; and an image search apparatus connected to the plurality of cameras through a network to receive image information from the cameras in real time, and perform a search for the transmitted multi-channel image information, wherein the image search apparatus includes A thumbnail image corresponding to an event of each channel and a metaphor icon corresponding to the thumbnail image are generated based on the image analysis information for each channel, and the generated thumbnail image and metaphor icon are displayed to obtain the transmitted multi-channel image information. It includes an image search viewer (viewer) that performs a search for.
  • the camera may include: a metadata generator for generating image analysis information corresponding to the surveillance area as metadata; and a still image generator generating a still image by cropping an image portion corresponding to an identifiable object detected within the monitoring area among the image analysis information.
  • the image search viewer may display the plurality of thumbnail images corresponding to events generated for each channel, and further display a timeline interface including a metaphor icon display unit and a time axis below the thumbnail images.
  • the metaphor icon display unit may display metaphor icons corresponding to the thumbnail images generated for each channel, and the metaphor icons may be displayed along the time axis at an event occurrence time of the thumbnail images corresponding thereto.
  • the metaphor icons may be generated as images having a shape representing the detection target according to the detection target included in each event.
  • the image search viewer further displays a separate pop-up window corresponding to a predetermined metaphor icon selected from among the metaphor icons, wherein the pop-up window displays at least one or more thumbnail images corresponding to the selected metaphor icon, and among the thumbnail images
  • the screen may further include an instant player screen that reproduces video data of a detected image corresponding to the selected thumbnail image.
  • the image information is provided without a client such as an image search device performing a separate image decoding procedure. You can search the video data of the surveillance area more quickly and accurately by using
  • FIG. 1 is a block diagram schematically showing the configuration of a network surveillance camera system according to an embodiment of the present invention.
  • Fig. 2 is a block diagram showing the configuration of the camera shown in Fig. 1;
  • Fig. 3 is a block diagram showing an embodiment of an internal configuration of the processor shown in Fig. 2;
  • Fig. 4 is a block diagram showing the configuration of the image search apparatus shown in Fig. 1;
  • Fig. 5 is a block diagram showing an embodiment of an internal configuration of the processor shown in Fig. 4;
  • FIG. 6 is a view showing a display screen of an image search viewer provided by the image search apparatus according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining an example of the operation of the image search viewer shown in FIG.
  • FIG. 8 is a view showing a display screen of an image search viewer provided by an image search apparatus according to another embodiment of the present invention.
  • FIG. 9 is a view for explaining an example of the operation of the image search viewer shown in FIG.
  • Each block in the accompanying block diagram may be executed by computer program instructions (execution engine), which may be loaded into the processor of a general-purpose computer, special-purpose computer, or other programmable data processing equipment, so that the computer or The instructions, executed by the processor of the other programmable data processing equipment, will create means for performing the functions described in each block of the block diagram.
  • execution engine computer program instructions
  • These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory. It is also possible that the instructions stored in the block diagram produce an article of manufacture containing instruction means for performing the functions described in each block of the block diagram.
  • the computer program instructions may be mounted on a computer or other programmable data processing equipment, a series of operating steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other program. It is also possible that instructions for performing the possible data processing equipment provide functionality for performing the functions described in each block of the block diagram.
  • each block may represent a module, segment, or portion of code comprising one or more executable instructions for executing specified logical functions, and in some alternative embodiments the functions recited in the blocks or steps may be It is also possible to occur out of sequence.
  • the two illustrated blocks may be substantially simultaneously performed, and also, the blocks may be performed in the reverse order of the corresponding functions, if necessary.
  • FIG. 1 is a block diagram schematically showing the configuration of a network surveillance camera system according to an embodiment of the present invention.
  • a network surveillance camera system may include a camera 100 , a network 200 , and an image search apparatus 300 .
  • the image information acquired from the camera 100 is transmitted to the image search apparatus 300 through the network 200 , and an administrator uses the image search apparatus 300 to transmit the transmitted multi-channel image. You can search for information. That is, in the embodiment of the present invention, the camera 100 may serve as a server transmitting data, and the image search apparatus 300 may serve as a client receiving the transmitted data.
  • the camera 100 captures the monitoring area to obtain video and audio signals for the monitoring area, which can capture the monitoring area in real time for the purpose of monitoring or security.
  • a plurality of cameras 100 are implemented, through which a plurality of monitoring areas are photographed to obtain image information for each monitoring area, and the acquired image information for each monitoring area is transmitted to each channel. can be sent to
  • the plurality of cameras 100 may be implemented to obtain image information such as an image signal for each monitoring area. That is, each of the plurality of cameras 100 may generate and transmit multi-channel image signals corresponding to respective monitoring areas.
  • the camera 100 may be implemented as a PTZ camera capable of panning and tilting and adjustable zoom magnification of a lens, and the camera 100 is implemented as a network camera performing an intelligent image analysis function can be
  • the camera 100 may generate and transmit image analysis information on the image information in the form of metadata in addition to image information including an image signal corresponding to the surveillance area.
  • the metadata may be written in text format, and may be implemented in various formats interpretable by the system. For example, it may be implemented in a text format having rules such as XML, JSON, or a binary form defined by its own protocol.
  • the metadata includes object detection information (movement, sound, intrusion into a designated area, etc.) photographed in the monitoring area, object identification information (person, car, face, hat, clothes, etc.), and unique identifier information of an object for object tracking. , location information (coordinates, size, etc.) of the detected object, and time information.
  • This metadata is transmitted to the image receiving device 300 through the network 200 in real time together with the video and audio signals detected in the monitoring area, and is used for real-time control and video search to increase control convenience and search efficiency. can
  • the camera 100 is a network camera that generates the image analysis signal by performing an intelligent image analysis function as an example.
  • the operation of the network monitoring camera system according to the embodiment of the present invention is limited thereto. it's not going to be
  • the camera 100 transmits image information corresponding to each monitoring area, and the image search apparatus 300 that has received the image information analyzes the image information to generate image analysis information for the image information. You may.
  • the camera 100 may capture a still image for a specific analysis area among the image analysis information while generating the metadata, and transmit it together in real time.
  • the still image may be implemented as a JPEG image file.
  • the camera 100 may transmit information to the image receiving device 300 using various wired/wireless communication methods such as Ethernet, Wi-Fi, Bluetooth, etc., and from the image search device 300 . You can also receive commands.
  • the network 200 is, for example, a wired network such as LANs (Local Area Networks), WANs (Wide Area Networks), MANs (Metropolitan Area Networks), ISDNs (Integrated Service Digital Networks), wireless LANs, CDMA, Bluetooth, satellite communication, etc. may cover a wireless network, but the scope of the present invention is not limited thereto.
  • LANs Local Area Networks
  • WANs Wide Area Networks
  • MANs Metropolitan Area Networks
  • ISDNs Integrated Service Digital Networks
  • wireless LANs Code Division Multiple Access
  • CDMA Code Division Multiple Access
  • Bluetooth satellite communication
  • the image search apparatus 300 may receive and store image information for each channel transmitted from the cameras 100 , and perform an operation of analyzing and monitoring it.
  • the image search apparatus 300 is illustrated as one block, but the configuration and operation of the image search apparatus 300 according to the embodiment of the present invention is not limited thereto.
  • the image search apparatus 300 has a function of the image receiving apparatus to receive and store data transmitted from the camera 100 and a function of the image search apparatus to analyze and monitor the data. can be implemented.
  • the image receiving apparatus and the image search apparatus may be configured physically separately or may be implemented together through one server system.
  • the image receiving apparatus may be implemented as a DVR (Digital Video Recorder), NVR (Network Video Recorder), VMS (Video Management System), etc.
  • the image search apparatus stores the camera image data stored in the image receiving apparatus. It may be implemented as a separate device or application software that performs a function of searching and analyzing it using the image search apparatus 300 , through which an administrator can search for the transmitted multi-channel image information using the image search apparatus 300 .
  • a search for multi-channel image information can be performed using the image search viewer provided by the image search apparatus 300, and an embodiment of a screen provided by the image search viewer is shown in the following figure. 6 to 9 will be described in more detail.
  • FIG. 2 is a block diagram illustrating the configuration of the camera illustrated in FIG. 1
  • FIG. 3 is a block diagram illustrating an embodiment of the internal configuration of the processor illustrated in FIG. 2
  • the camera 100 shown in FIGS. 2 and 3 is a network camera that generates the image analysis signal by performing an intelligent image analysis function as an example, but network monitoring according to an embodiment of the present invention The operation of the camera system is not necessarily limited thereto.
  • the camera 100 includes an image sensor 110 , an encoder 120 , a memory 130 , an event sensor 140 , a processor 140 , and a communication interface 150 .
  • the image sensor 110 performs a function of acquiring an image by photographing a monitoring area, and may be implemented as, for example, a charge-coupled device (CCD) sensor, a complementary metal-oxide-semiconductor (CMOS) sensor, or the like.
  • CCD charge-coupled device
  • CMOS complementary metal-oxide-semiconductor
  • the encoder 120 encodes an image acquired through the image sensor 110 into a digital signal, which is, for example, H.264, H.265, Moving Picture Experts Group (MPEG), and Motion M-JPEG (Motion). Joint Photographic Experts Group) standards, etc. may be followed.
  • a digital signal which is, for example, H.264, H.265, Moving Picture Experts Group (MPEG), and Motion M-JPEG (Motion). Joint Photographic Experts Group) standards, etc.
  • the memory 130 may store image data, audio data, still images, metadata, and the like.
  • the metadata includes object detection information (movement, sound, intrusion into a designated area, etc.) photographed in the monitoring area, object identification information (person, car, face, hat, clothes, etc.), and a detected location. It may be data including information (coordinates, size, etc.).
  • the still image is generated together with the metadata and stored in the memory 130 , and may be generated by capturing image information for a specific analysis area among the image analysis information.
  • the still image may be implemented as a JPEG image file.
  • the still image may be generated by cropping a specific region of image data determined to be an identifiable object among the image data of the surveillance region detected for a specific region and a specific period, which is the metadata. can be transmitted in real time.
  • the communication interface 150 transmits the image data, audio data, still images, and/or metadata to the image receiving apparatus 300 .
  • the communication interface 150 may transmit image data, audio data, still images, and/or metadata to the image search apparatus 300 in real time.
  • the communication interface 150 may perform at least one communication function among wired and wireless Local Area Network (LAN), Wi-Fi, ZigBee, Bluetooth, and Near Field Communication.
  • the processor 140 controls the overall operation of the camera 100 , and may be configured to process commands of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to processor 140 by memory 130 or communication interface 150 .
  • the processor 140 may be configured to execute a received command according to a program code stored in a recording device such as the memory 130 . That is, the processor 140 may include a program module implemented by software such as C, C++, Java, Visual Basic, Visual C, and the like to perform various functions.
  • the processor 140 of the network camera 100 may include a metadata generator 142 and a still image generator 144 .
  • the processor 140 may be implemented to execute an instruction according to the code of the operating system and at least one program code included in the memory 130 , and in this case, the components in the processor 140 , that is, , the metadata generating unit 142 and the still image generating unit 144 may be understood to express different functions performed by the processor 140 according to a control command provided by the program code stored in the camera 100 separately. may be
  • the metadata generator 142 performs a function of generating image analysis information corresponding to the monitoring area of each camera in the form of metadata.
  • the metadata includes object detection information (movement, sound, intrusion into a designated area, etc.) photographed in the monitoring area, object identification information (person, car, face, hat, clothes, etc.), and unique identifier information of an object for object tracking; It may include location information (coordinates, size, etc.) and time information of the detected object, and such metadata is transmitted through the network 200 together with the video and audio signals detected in the monitoring area in real time. ) and can be used for real-time control and video search to increase control convenience and search efficiency.
  • the processor 140 of the camera 100 generates the metadata and captures a still image for a specific analysis area among the image analysis information through the still image generation unit 144. may be generated, and the still image generated by the still image generator 144 may be stored in the memory 130 .
  • the still image may be generated by cropping a specific region of the image data determined to be an identifiable object among the image data of the surveillance region detected for a specific region and a specific period.
  • the still image is a still image generated by cropping an image portion corresponding to an identifiable object detected in a specific area, that is, an identifiable object detected within the monitoring area, among the image analysis information corresponding to the monitoring area written in the metadata. It can be an image.
  • a "best shot” still image capable of recognizing a specific object best among the image data captured in the surveillance area may be selected, which may be transmitted together with the metadata in real time. Accordingly, a client such as the image search apparatus 300 may use the image data as a thumbnail image when searching for image data transmitted using the still image without performing decoding as an example of separate image processing.
  • FIG. 4 is a block diagram showing the configuration of the image search apparatus shown in FIG. 1
  • FIG. 5 is a block diagram showing an embodiment of the internal configuration of the processor shown in FIG. 4 .
  • the image search apparatus 300 receives and stores data transmitted from the camera 100 , and may serve as a client for analyzing and monitoring the data.
  • the image search apparatus 300 implements an image receiving function for receiving multi-channel image information from the cameras 100 and an image search function for analyzing and searching the received multi-channel image information.
  • the image search function can be operated by mounting an application program (image search viewer) that can implement it in the server system constituting the image receiving device.
  • the image search apparatus 300 may be implemented as a configuration in which the image receiving apparatus and the image search apparatus are separated, respectively.
  • An image search viewer as shown in FIGS. 6 to 10 can be provided through an application program that performs the image search function, through which the administrator uses the image search device 300 to transmit the image.
  • a search for channel image information may be performed.
  • the image search apparatus 300 includes a memory 310 , a database 320 , a processor 330 , a communication module 350 , and an input/output interface 340 .
  • the memory 310 is a computer-readable recording medium and may include a non-volatile mass storage device such as a RAM, a ROM, and a disk drive.
  • the memory 310 may store, for example, signals transmitted from the camera 100 shown in FIG. 1 , image data, audio data, still images, metadata, and the like, corresponding to the monitoring area of the camera.
  • the database 320 may store and maintain unique information (eg, camera ID, etc.) of the camera 100 illustrated in FIG. 1 . That is, when surveillance cameras connected to the image receiving device 300 are added and/or changed, information corresponding thereto may also be updated in the database 320 .
  • unique information eg, camera ID, etc.
  • the processor 330 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations.
  • the command may be provided to the processor 330 by the memory 310 or the communication module 350 .
  • the processor 330 may be configured to execute a received instruction according to a program code stored in a recording device such as the memory 310 . That is, the processor 330 may include a program module implemented by software such as C, C++, Java, Visual Basic, Visual C, and the like to perform various functions.
  • the communication module 350 may provide a function to communicate with the camera 100 through the network 200 .
  • a control signal or command provided under the control of the processor 330 of the image search device 300 may be transmitted to the camera 100 through the network 200 through the communication module 350,
  • the captured image information and/or location information generated by the camera 100 may be transmitted to the image search apparatus 300 via the network 200 .
  • the input/output interface 340 may serve to provide an interface between an input device implemented as a keyboard or mouse and an output device such as a display.
  • the processor 330 of the image search apparatus 300 includes a metadata receiver 332 , a still image receiver 334 , a thumbnail image generator 336 , and a metaphor icon.
  • a generator 338 may be included.
  • the processor 330 may be implemented to execute an instruction according to an operating system code and at least one program code included in the memory 310 , and in this case, the components in the processor 330 , that is, , the metadata receiving unit 332 , the still image receiving unit 334 , the thumbnail image generating unit 336 , and the metaphor icon generating unit 338 by the control command provided by the program code stored in the image search apparatus 300 , the processor 330 . ) can be understood as expressing the different functions performed by
  • the metadata receiver 332 is a functional block corresponding to the metadata generator 142, which is a functional block in the processor 140 of the camera 100 described above with reference to FIG. 3, and is generated by the metadata generator 142. to receive the transmitted metadata.
  • the metadata includes object detection information (movement, sound, intrusion into a designated area, etc.) captured in the monitoring area in which the event occurs when an event occurs for each channel among the monitoring images captured in the monitoring area for each channel of each camera. , object identification information (person, car, face, hat, clothes, etc.), unique identifier information of an object for object tracking, location information (coordinates, size, etc.) of the detected object, and time information.
  • object detection information movement, sound, intrusion into a designated area, etc.
  • object identification information person, car, face, hat, clothes, etc.
  • unique identifier information of an object for object tracking unique identifier information of an object for object tracking
  • location information coordinates, size, etc.
  • the still image receiver 334 is a functional block corresponding to the still image generator 144, which is a functional block in the processor 140 of the camera 100 described above with reference to FIG. 3, and is generated by the still image generator 144. to receive the transmitted still image.
  • the still image may be generated by cropping a specific region of the image data determined to be an identifiable object among the image data of the surveillance region detected for a specific region and a specific period.
  • the still image is a still image generated by cropping an image portion corresponding to an identifiable object detected in a specific area, that is, an identifiable object detected within the monitoring area, among the image analysis information corresponding to the monitoring area written in the metadata. It can be an image. That is, it may be selected as a "best shot" still image capable of recognizing a specific object best among the image data captured in the monitoring area.
  • the thumbnail image generating unit 336 performs a function of generating a thumbnail image by using the still image received through the still image receiving unit 334 .
  • the thumbnail image may be generated using an image that can best represent the event when an event occurs among the image information corresponding to the monitoring area transmitted for each channel, that is, the “best shot” still image.
  • event information for each channel displayed as the thumbnail image can be more easily searched.
  • the metaphor icon generator 338 may generate a metaphor icon corresponding to the generated thumbnail image, and the generated metaphor icon may be displayed on a timeline interface of the image search viewer.
  • the metaphor icon includes a first metaphor icon of a shape that can be recognized as a person if the detection target in the best shot still image included in the thumbnail image is a person, and a car if the detection target in the best shot still image is a car. It may include a second metaphor icon in the shape of a The metaphor icon may be implemented in various shapes that can represent a main detection target included in the thumbnail image in addition to the human shape and the car shape.
  • the generated metaphor icons may be displayed to correspond to a time axis of a timeline corresponding to a time point at which respective thumbnail images corresponding thereto are generated.
  • FIG. 6 is a diagram illustrating a display screen of an image search viewer provided by an image search apparatus according to an embodiment of the present invention.
  • FIG. 6 shows an example of a function provided by an application program (image search viewer) that implements the image search function of the image search apparatus that analyzes and searches the received multi-channel image information.
  • image search viewer image search viewer
  • FIG. 6 shows a screen 600 corresponding to an image search viewer capable of performing a search for multi-channel image information received from a plurality of cameras.
  • thumbnail images 610 corresponding to events generated for each channel may be displayed on the screen 600 of the image search viewer.
  • the thumbnail images 610 are shown in a form in which they are arranged side by side in a matrix form, but the embodiment of the present invention is not necessarily limited thereto.
  • the thumbnail images 610 may be displayed in an array in a floating form.
  • the image search viewer may include a timeline interface 620, and as shown in FIG. 6, the timeline interface 620 is displayed at the lower end of the screen 600 and each The received image information for each channel can be checked over time.
  • the timeline interface 620 may include a metaphor icon display unit 622 and a time axis 624 .
  • the metaphor icon display unit 622 displays metaphor icons 630a and 630b corresponding to the thumbnail images generated for each channel, and the generated metaphor icons 630a and 630b are thumbnail images corresponding thereto.
  • the event occurrence time of the images 610 may be displayed to correspond to the time axis of the timeline corresponding to the time at which the best shot still image of the thumbnail images 610 is received.
  • the metaphor icons 630a and 630b include a first metaphor icon 630a of a shape that can be recognized as a person if the detection target in the best shot still image included in the thumbnail image is a human, and the detection in the best shot still image. If the target is a car, a second metaphor icon 630b having a shape that can be recognized as a car may be included. However, the metaphor icon may be implemented in various shapes that can represent the main detection target included in the thumbnail image in addition to the human shape and the car shape.
  • the metaphor icon display unit 622 displays the metaphor icons 630a and 630b of the detection target included in the best shot received for each channel along the time axis 624 of the timeline interface 620. It can be displayed at the time it was received.
  • a human-shaped first metaphor icon 630a and a car-shaped second metaphor icon 630b may be displayed according to the object type of the target detected at the corresponding time period.
  • these metaphor icons may be overlapped and displayed, or metaphor icons of different shapes indicating an overlapping state may be displayed.
  • the number of metaphor icons 630a and 630b displayed on the metaphor icon display unit 622 may be adjusted according to the resolution of the metaphor icon display unit 622 .
  • FIG. 7 is a view for explaining an example of the operation of the image search viewer shown in FIG. 6 , which is implemented in the same way as the screen 600 of the embodiment shown in FIG. 6 , but in FIG. 7 , the user selects a specific metaphor icon 630c ) is different in that it describes an example of the operation when selecting.
  • a pop-up window 700 including thumbnail images 710 corresponding to best shots of a detection target corresponding to the metaphor icon selected by the user. ) can be displayed. In this case, if there are a plurality of detection targets, they may be displayed as a list in the pop-up window 700 .
  • an instant player screen 720 may be created in the pop-up window 700 as shown in FIG. 7 , and through this, the selected thumbnail image Video data of a detected image corresponding to may be immediately reproduced according to a time point at which the detection target is selected.
  • FIG. 8 is a diagram illustrating a display screen 600' of an image search viewer provided by an image search apparatus according to another embodiment of the present invention.
  • the display screen 600' of the image search viewer of FIG. 8 is similar to the display screen 600 of the image search viewer of FIG. 6, but there is a difference in the form or content of the pop-up window displayed when a specific metaphor icon 630c is selected. have.
  • the image search viewer displays the control pointer 640
  • An image time list 800 in which one or more thumbnail images 810 including an object corresponding to the pointing metaphor icon 630c are displayed in chronological order is displayed in the form of a pop-up window.
  • the control pointer 640 may be, for example, a mouse pointer, and placing the control pointer 640 means simply overlapping the control pointer on a specific object, but is not limited thereto. , input by mouse click or touch is not excluded.
  • the one or more thumbnail images 810 are arranged in a direction parallel to the time axis 624 .
  • the image time list 800 includes an indicator marker 840 pointing to the metaphor icon 630c pointed to by the control pointer 640 . Through this indication marker 630c, the user can intuitively know which metaphor icon 630c is currently indicated.
  • the image time list 800 automatically moves in the direction of the one end 820a, 820b. It can also be implemented to be scrollable.
  • the image time list 800 may further include a time scroll bar 830 extending in the arrangement direction of the thumbnail images 810 arranged in the time order. Accordingly, when the user manipulates the time scroll bar, the image time list 800 may be jumped or scrolled in the manipulation direction.
  • the image search viewer displays thumbnail images including objects corresponding to the metaphor icons.
  • the search viewer may display all one or more thumbnail images included in the object type to which the corresponding object belongs.
  • thumbnail images are displayed based on only a specific person. .
  • the image search viewer displays a context menu 900 on or near the thumbnail image 810 ′ indicated by the control pointer 640 . is displayed in the form of a pop-up window.
  • the context menu 900 includes a filtering option 910 that allows the user to select only a specific attribute from among the one or more thumbnail images 810 .
  • the filtering option 910 displays attributes that a corresponding object (eg, a person) can have, and when the user selects a specific attribute, the video search viewer filters the one or more thumbnail images 810 and only displays the resulting image. It is displayed on the image time list 800 .
  • the filtering option may vary according to the object type of the indicated thumbnail image.
  • the metaphor icon 630c corresponding to a person since the metaphor icon 630c corresponding to a person is selected, attributes related to a person such as human (person only), age (age), gender, and clothes (wear) will be displayed, If a metaphor icon 630b corresponding to a vehicle is selected, attributes (eg, vehicle model, displacement, vehicle color, driving status, etc.) different from this may be displayed in the filtering option 910 .
  • the context menu 900 may further include a search option 920 for performing a search based on the thumbnail image among the one or more thumbnail images 810 .
  • the search option 920 may include a similarity search (“search by similarity”) to retrieve a thumbnail image similar to the indicated thumbnail image, a search within images corresponding to the one or more thumbnail images (“ It may include at least one of a search from picture”) and a search in a database in which all images are stored (“search from DB”).
  • the metaphor icons 631, 632, 633, and 634 matching the search results by the filtering option 910 or the search option 920 are The metaphor icon may be changed to look different from other metaphor icons and displayed on the metaphor icon display unit 622 .
  • various methods such as highlighting, color change, additional figure addition, icon size change, three-dimensional display, and blinking display may be used.
  • the metaphor icon other than the metaphor icon matching the search result may be implemented in a manner that removes it from the metaphor icon display unit 622 .
  • the user can intuitively grasp the characteristics of events generated for each channel over time, and as a result, event information for each channel more easily You can search.

Abstract

본 발명의 실시예는 복수의 네트워크 카메라들로부터 전송되는 각 채널 별 감시 영상 및 상기 감시 영상에 대응하는 영상분석 정보를 수신하고, 상기 영상분석 정보를 활용하여 각 채널 별 썸네일 이미지 및 상기 썸네일 이미지에 대응되는 메타포 아이콘을 생성하며, 채널 별 수신 영상을 표시하는 영상 검색 뷰어의 타임라인 상에 상기 메타포 아이콘을 표시하여 사용자에게 검색의 편의를 제공하는 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템을 제공한다.

Description

영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
본 발명의 실시예는 네트워크 감시 카메라 시스템에 관한 것으로, 보다 구체적으로는, 채널 별 수신 영상을 표시하는 영상 검색 뷰어의 타임라인 상에 검출 대상의 메타포 아이콘을 표시하는 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템에 관한 것이다.
최근의 감시 카메라 시스템은 지능형 영상분석을 수행하는 네트워크 카메라를 활용하여 감시영역에서 취득되는 다양한 영상분석 정보를 영상 및 오디오 신호와 함께 전송할 수 있다.
상기 네트워크 기반의 감시 카메라 시스템은 네트워크 감시 카메라 및 상기 네트워크 감시 카메라에서 취득된 정보를 RTP/RTSP를 응용한 미디어 스트리밍 방식 등을 통해 수신하는 DVR(Digital Video Recorder), NVR(Network Video Recorder) 등의 영상수신장치를 포함하여 구성될 수 있다. 이 때, 상기 정보 전송 방식은 ONVIF 등의 영상감시 표준화 기구를 통해 표준 프로토콜을 채택하고 있으며, RTSP(Real Time Streaming Protocol)는 IETF가 개발한 표준 통신규약(RFC2326)으로서, 미디어 서버를 원격으로 제어할 때 사용될 수 있다. 실제 비디오, 오디오를 포함한 미디어 스트리밍 데이터를 전송하기 위해서는, 주로 RTP(Real-time Transport Protocol) 규약을 전송계층으로 함께 사용할 수 있다.
기존의 네트워크 기반의 감시 카메라 시스템의 경우, 각 감시 카메라들로부터 촬영된 채널 별 영상을 영상 수신 장치의 디스플레이를 통해 확인할 수 있으나, 각 채널 별로 화면이 분할되어 있고, 분할된 다수의 화면 중 어떤 채널에서 이벤트의 발생 빈도가 높은지 직관적으로 관제하기 어렵다는 문제가 있다.
또한, 영상 검색의 편의를 제공하기 위해 타임라인 인터페이스가 상기 영상 수신 장치의 디스플레이에 표시될 수 있으나, 기존의 타임라인 인터페이스는 상기 영상 수신 장치에 의해 수신되는 각 채널 별 영상의 재생 시점을 선택하거나 조절하는 측면에서만 활용되고 있는 실정이다. 즉, 기존의 타임라인 인터페이스에 의해서는 사용자가 검색하고자 하는 특정 이벤트가 발생된 시점을 선택하기 어렵다는 단점이 있다.
본 발명의 실시예는 복수의 네트워크 카메라들로부터 전송되는 각 채널 별 감시 영상 및 상기 감시 영상에 대응하는 영상분석 정보를 수신하고, 상기 영상분석 정보를 활용하여 각 채널 별 썸네일 이미지 및 상기 썸네일 이미지에 대응되는 메타포 아이콘을 생성하며, 채널 별 수신 영상을 표시하는 영상 검색 뷰어의 타임라인 상에 상기 메타포 아이콘을 표시하여 사용자에게 검색의 편의를 제공하는 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템을 제공한다.
상기 목적을 달성하기 위하여 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템은, 복수의 감시 영역들을 촬영하여 상기 각 감시영역에 대한 영상 정보를 취득하고, 상기 취득한 각 감시 영역별 영상 정보를 각각의 채널로 전송하는 복수의 카메라들; 상기 복수의 카메라들과 네트워크를 통해 연결되어 실시간으로 상기 카메라들로부터 영상 정보들을 수신하며, 상기 전송된 다채널 영상 정보들에 대한 검색을 수행하는 영상검색장치를 포함하고, 상기 영상검색장치는 상기 각 채널 별 영상 분석 정보에 근거하여 각 채널의 이벤트에 대응되는 썸네일 이미지 및 상기 썸네일 이미지에 대응되는 메타포 아이콘을 생성하며, 상기 생성된 썸네일 이미지 및 메타포 아이콘을 표시하여 상기 전송된 다채널 영상 정보들에 대한 검색을 수행하는 영상 검색 뷰어(viewer)를 포함한다.
상기 카메라는, 상기 감시영역에 대응하는 영상분석 정보들을 메타데이터로 생성하는 메타데이터 생성부; 및 상기 영상분석 정보들 중 상기 감시영역 내에서 검출된 식별 가능한 객체에 해당하는 영상 부분을 크롭핑하여 스틸 이미지를 생성하는 스틸 이미지 생성부를 포함할 수 있다.
상기 영상 검색 뷰어는 각 채널 별로 발생된 이벤트들에 대응하는 상기 복수개의 썸네일 이미지들을 표시하고, 상기 썸네일 이미지들 하단에 메타포 아이콘 표시부 및 시간축을 포함하는 타임라인 인터페이스를 더 표시할 수 있다.
상기 메타포 아이콘 표시부는 상기 각 채널 별로 생성된 썸네일 이미지에 대응되는 메타포 아이콘들을 표시하며, 상기 메타포 아이콘들은 이와 대응되는 상기 썸네일 이미지들의 이벤트 발생 시점에 상기 시간축을 따라 표시될 수 있다.
상기 메타포 아이콘들은 각 이벤트에 포함된 검출 대상에 따라 상기 검출 대상을 대표하는 형상의 이미지로 생성될 수 있다.
상기 영상 검색 뷰어는 상기 메타포 아이콘들 중 선택된 소정의 메타포 아이콘에 대응하는 별도의 팝업창을 더 표시하며, 상기 팝업창은 상기 선택된 메타포 아이콘에 대응하는 적어도 하나 이상의 썸네일 이미지들을 표시하고, 상기 썸네일 이미지들 중 선택된 썸네일 이미지에 대응하는 감지 영상의 비디오 데이터를 재생하는 인스턴트 플레이어 화면을 더 포함할 수 있다.
이와 같은 본 발명의 실시예에 의하면, 감시영역에 대한 영상분석 정보들 중 식별 가능한 특정영역의 스틸 이미지를 제공함으로써, 영상검색장치 등과 같은 클라이언트가 별도의 영상 디코딩 절차를 수행하지 않고서도 상기 이미지 정보를 이용하여 보다 신속하고 정확하게 감시영역의 영상 데이터를 검색할 수 있다.
또한, 복수의 네트워크 카메라들로부터 전송되는 각 채널 별 감시 영상 및 이에 대응하는 영상분석 정보를 수신하고, 상기 영상분석 정보를 활용하여 각 채널 별 썸네일 이미지 및 상기 썸네일 이미지에 대응되는 메타포 아이콘을 생성하며, 채널 별 수신 영상을 표시하는 영상 검색 뷰어의 타임라인 상에 상기 메타포 아이콘을 표시함으로써 감시 영상 분석시 사용자에게 편의를 제공할 수 있다.
도 1은 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템의 구성을 개략적으로 나타내는 블록도.
도 2는 도 1에 도시된 카메라의 구성을 나타내는 블록도.
도 3은 도 2에 도시된 프로세서의 내부 구성의 일 실시예를 나타내는 블록도.
도 4는 도 1에 도시된 영상검색장치의 구성을 나타내는 블록도.
도 5는 도 4에 도시된 프로세서의 내부 구성의 일 실시예를 나타내는 블록도.
도 6은 본 발명의 실시예에 의한 영상검색장치에서 제공하는 영상 검색 뷰어의 표시 화면을 나타내는 도면.
도 7은 도 6에 도시된 영상 검색 뷰어의 동작의 일 예를 설명하는 도면.
도 8은 본 발명의 다른 실시예에 의한 영상검색장치에서 제공하는 영상 검색 뷰어의 표시 화면을 나타내는 도면.
도 9는 도 8에 도시된 영상 검색 뷰어의 동작의 일 예를 설명하는 도면.
위 발명의 배경이 되는 기술 란에 기재된 내용은 오직 본 발명의 기술적 사상에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
아래의 서술에서, 설명의 목적으로, 다양한 실시예들의 이해를 돕기 위해 많은 구체적인 세부 내용들이 제시된다. 그러나, 다양한 실시예들이 이러한 구체적인 세부 내용들 없이 또는 하나 이상의 동등한 방식으로 실시될 수 있다는 것은 명백하다. 다른 예시들에서, 잘 알려진 구조들과 장치들은 다양한 실시예들을 불필요하게 이해하기 어렵게 하는 것을 피하기 위해 블록도로 표시된다.
첨부된 블록도의 각 블록은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성하여 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록에서 설명되는 기능들을 실행하기 위한 기능을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다.
즉, 도시된 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
여기에서 사용된 용어는 특정한 실시예들을 설명하는 목적이고 제한하기 위한 목적이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함한다" 고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 다른 정의가 없는 한, 여기에 사용된 용어들은 본 발명이 속하는 분야에서 통상적인 지식을 가진 자에게 일반적으로 이해되는 것과 같은 의미를 갖는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명하도록 한다.
도 1은 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템은, 카메라(100), 네트워크(200) 및 영상검색장치(300)를 포함하여 구성될 수 있다. 상기 네트워크 감시 카메라 시스템은 상기 카메라(100)에서 취득된 영상 정보들이 네트워크(200)를 통해 영상검색장치(300)로 전송되고, 관리자가 영상검색장치(300)를 이용하여 상기 전송된 다채널 영상 정보들에 대한 검색을 수행할 수 있다. 즉, 본 발명의 실시예에서는 상기 카메라(100)가 데이터를 전송하는 서버의 역할을 수행하고, 상기 영상검색장치(300)가 상기 전송된 데이터를 수신하는 클라이언트의 역할을 수행할 수 있다.
상기 카메라(100)는 감시영역을 촬영하여 상기 감시영역에 대한 영상 및 오디오 신호를 획득하는 것으로, 이는 감시 또는 보안의 목적으로 상기 감시영역을 실시간으로 촬영할 수 있다. 본 발명의 실시예에서는 상기 카메라(100)가 복수 개로 구현되며, 이를 통해 복수의 감시 영역들을 촬영하여 상기 각 감시영역에 대한 영상 정보를 취득하고, 상기 취득한 각 감시 영역별 영상 정보를 각각의 채널로 전송할 수 있다. 다시 말하면, 본 발명의 실시예는 상기 카메라(100)가 복수 개로 구현되어 각각의 감시영역에 대한 영상 신호 등의 영상 정보를 취득하는 동작을 수행할 수 있다. 즉, 상기 복수 개의 카메라(100)들 각각은 각자의 감시영역에 대응하는 다 채널의 영상 신호를 생성하고 이를 전송하는 동작을 수행할 수 있다.
상기 카메라(100)는 패닝(panning)과 틸팅(tilting)이 가능하며 렌즈의 줌 배율이 조절 가능한 PTZ 카메라로 구현될 수 있으며, 상기 카메라(100)는 지능형 영상분석 기능을 수행하는 네트워크 카메라로 구현될 수 있다.
일 예로, 본 발명의 실시예에 의한 카메라(100)는 상기 감시영역에 대응하는 영상 신호를 포함한 영상 정보 외에 상기 영상 정보에 대한 영상분석 정보들을 메타데이터 형태로 생성하여 전송할 수 있다. 상기 메타데이터는 텍스트 형식으로 작성될 수 있을 뿐 아니라, 시스템에 의해 해석 가능한 다양한 형태로 구현될 수 있다. 일 예로, XML, JSON 등의 규칙을 갖는 텍스트 포맷 또는 자체 프로토콜로 정의된 바이너리 형태로도 구현될 수 있다.
상기 메타데이터는 상기 감시영역에 촬영된 객체 검출 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 객체 추적을 위한 객체의 고유 식별자 정보, 검출된 객체의 위치 정보(좌표, 크기 등), 시간 정보를 포함할 수 있다. 이러한 메타데이터는 상기 감시영역에서 검출된 영상 및 오디오 신호와 함께 실시간으로 네트워크(200)를 통해 영상수신장치(300)로 전송되어 실시간 관제, 영상 검색 시 활용하여 관제 편의성과 검색 효율을 높이는데 사용될 수 있다.
이하의 실시예에서는 상기 카메라(100)가 지능형 영상분석 기능을 수행하여 상기 영상분석 신호를 생성하는 네트워크 카메라임을 그 예로 설명하나, 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템의 동작이 반드시 이에 한정되는 것은 아니다. 일 예로, 상기 카메라(100)에서는 각 감시영역에 대응하는 영상 정보를 전송하고, 상기 영상 정보를 수신한 영상검색장치(300)에서 상기 영상 정보를 분석하여 상기 영상 정보에 대한 영상분석 정보들을 생성할 수도 있다.
본 발명의 실시예에 의한 카메라(100)는 상기 메타데이터를 생성함과 함께 상기 영상분석 정보들 중 특정 분석 영역에 대한 스틸 이미지를 캡쳐하고, 이를 실시간으로 함께 전송할 수도 있다. 일 예로, 상기 스틸 이미지는 JPEG 이미지 파일로 구현될 수 있다.
상기 카메라(100)는 이더넷(Ethernet), 와이파이(Wi-Fi), 블루투스(Bluetooth) 등 다양한 유무선 통신 방식을 이용하여 영상수신장치(300)에 정보를 전송할 수도 있고, 영상검색장치(300)로부터 명령을 수신할 수도 있다.
네트워크(200)는 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
영상검색장치(300)는 상기 카메라(100)들로부터 전송된 각 채널 별 영상 정보들을 수신하고 저장하며, 이를 분석 및 모니터링하는 동작을 수행할 수 있다.
이하의 실시예에서는 상기 영상검색장치(300)를 하나의 블록으로 도시하여 설명하지만, 본 발명의 실시예에 의한 영상검색장치(300)의 구성 및 동작이 이에 한정되는 것은 아니다.
보다 구체적으로, 상기 영상검색장치(300)는 상기 카메라(100)로부터 전송된 데이터들을 수신 및 저장하는 영상수신장치의 기능과 상기 데이터들에 대한 분석 및 모니터링의 동작을 수행하는 영상검색장치의 기능을 구현할 수 있다. 이 때, 상기 영상수신장치 및 영상검색장치는 물리적으로 분리되어 구성되거나, 하나의 서버 시스템을 통해 함께 구현할 수도 있다.
일 예로, 상기 영상수신장치는 DVR (Digital Video Recorder), NVR (Network Video Recorder), VMS (Video Management System) 등으로 구현될 수 있고, 상기 영상검색장치는 상기 영상수신장치에 저장된 카메라 영상 데이터들 이용하여 이를 검색하고 분석하는 기능을 수행하는 별도의 디바이스 또는 응용 소프트웨어로 구현될 수 있으며, 이를 통해 관리자가 영상검색장치(300)를 이용하여 상기 전송된 다채널 영상 정보들에 대한 검색을 수행할 수 있다.
본 발명의 실시예에서는 상기 영상검색장치(300)에서 제공하는 영상 검색 뷰어를 이용하여 다채널 영상 정보들에 대한 검색을 수행할 수 있으며, 상기 영상 검색 뷰어에서 제공하는 화면의 실시예는 이하 도 6 내지 9를 통해 보다 상세히 설명하도록 한다.
도 2는 도 1에 도시된 카메라의 구성을 나타내는 블록도이고, 도 3은 도 2에 도시된 프로세서의 내부 구성의 일 실시예를 나타내는 블록도이다. 앞서 언급한 바와 같이, 도 2 및 도 3에 도시된 카메라(100)는 지능형 영상분석 기능을 수행하여 상기 영상분석 신호를 생성하는 네트워크 카메라임을 그 예로 설명하나, 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템의 동작이 반드시 이에 한정되는 것은 아니다.
먼저 도 2를 참조하면, 카메라(100)는 이미지 센서(110), 인코더(120), 메모리(130), 이벤트 센서(140), 프로세서(140), 및 통신 인터페이스(150)를 포함한다.
이미지 센서(110)는 감시 영역을 촬영하여 영상을 획득하는 기능을 수행하는 것으로서, 예컨대, CCD(Charge-Coupled Device) 센서, CMOS(Complementary Metal-Oxide-Semiconductor) 센서 등으로 구현될 수 있다.
인코더(120)는 이미지 센서(110)를 통해 획득한 영상을 디지털 신호로 부호화하는 동작을 수행하며, 이는 예컨대, H.264, H.265, MPEG(Moving Picture Experts Group), M-JPEG(Motion Joint Photographic Experts Group) 표준 등을 따를 수 있다.
메모리(130)는 영상 데이터, 음성 데이터, 스틸 이미지, 메타데이터 등을 저장할 수 있다. 앞서 언급한 바와 같이, 상기 메타데이터는 상기 감시영역에 촬영된 객체 검출 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 검출된 위치 정보(좌표, 크기 등)을 포함하는 데이터일 수 있다.
또한, 상기 스틸 이미지는 상기 메타데이터와 함께 생성되어 메모리(130)에 저장되는 것으로서, 상기 영상분석 정보들 중 특정 분석 영역에 대한 이미지 정보를 캡쳐하여 생성될 수 있다. 일 예로, 상기 스틸 이미지는 JPEG 이미지 파일로 구현될 수 있다.
일 예로, 상기 스틸 이미지는 특정 영역 및 특정 기간 동안 검출된 상기 감시영역의 영상 데이터들 중 식별 가능한 객체로 판단된 영상 데이터의 특정영역을 크롭핑(cropping)하여 생성될 수 있으며, 이는 상기 메타데이터와 함께 실시간으로 전송될 수 있다.
통신 인터페이스(150)는 상기 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 영상수신장치(300)에 전송한다. 일 실시예에 따른 통신 인터페이스(150)는 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 를 영상검색장치(300)에 실시간으로 전송할 수 있다. 통신 인터페이스(150)는 유무선 LAN(Local Area Network), 와이파이(Wi-Fi), 지그비(ZigBee), 블루투스(Bluetooth), 근거리 통신(Near Field Communication) 중 적어도 하나의 통신 기능을 수행할 수 있다.
프로세서(140)는 카메라(100)의 전반적인 동작을 제어하는 것으로서, 이는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(130) 또는 통신 인터페이스(150)에 의해 프로세서(140)로 제공될 수 있다. 일 예로, 프로세서(140)는 메모리(130)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 즉, 상기 프로세서(140)는 소프트웨어적으로 C, C++, Java, Visual Basic, Visual C 등 에 의해 구현되어 다양한 기능들을 수행하는 프로그램 모듈(Module)을 포함할 수 있다.
도 3을 참조하면, 본 발명의 실시예에 의한 네트워크 카메라(100)의 프로세서(140)는 메타데이터 생성부(142) 및 스틸 이미지 생성부(144)를 포함할 수 있다.
여기서, 상기 프로세서(140)는 메모리(130)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있으며, 이때, 상기 프로세서(140) 내의 구성요소들 즉, 메타데이터 생성부(142) 및 스틸 이미지 생성부(144)는 카메라(100)에 저장된 프로그램 코드가 제공하는 제어 명령에 의해 프로세서(140)에 의해 수행되는 서로 다른 기능들을 구분하여 표현하는 것으로 이해할 수도 있다.
메타데이터 생성부(142)는 각 카메라의 감시영역에 대응하는 영상분석 정보들을 메타데이터 형태로 생성하는 기능을 수행한다. 상기 메타데이터는 감시영역에 촬영된 객체 검출 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 객체 추적을 위한 객체의 고유 식별자 정보, 검출된 객체의 위치 정보(좌표, 크기 등), 시간 정보를 포함할 수 있으며, 이러한 메타데이터는 상기 감시영역에서 검출된 영상 및 오디오 신호와 함께 실시간으로 네트워크(200)를 통해 영상검색장치(300)로 전송되어 실시간 관제, 영상 검색 시 활용하여 관제 편의성과 검색 효율을 높이는데 사용될 수 있다.
본 발명의 실시예에 의한 카메라(100)의 프로세서(140)는 상기 메타데이터를 생성함과 함께 스틸 이미지 생성부(144)를 통해 상기 영상분석 정보들 중 특정 분석 영역에 대한 스틸 이미지를 캡쳐하여 생성할 수 있고, 상기 스틸 이미지 생성부(144)를 통해 생성된 스틸 이미지는 상기 메모리(130)에 저장될 수 있다.
일 예로, 상기 스틸 이미지는 특정 영역 및 특정 기간 동안 검출된 상기 감시영역의 영상 데이터들 중 식별 가능한 객체로 판단된 영상 데이터의 특정영역을 크롭핑(cropping)하여 생성될 수 있다.
보다 구체적으로, 상기 스틸 이미지는 상기 메타데이터로 작성된 상기 감시영역에 대응하는 영상분석 정보들 중 특정 영역 즉, 상기 감시영역 내에서 검출된 식별 가능한 객체에 해당하는 영상 부분을 크롭핑하여 생성된 스틸 이미지일 수 있다.
즉, 상기 감시영역에서 촬영된 영상 데이터들 중 특정 객체를 가장 잘 인식할 수 있는 "베스트 샷(best shot)" 스틸 이미지로 선택될 수 있으며, 이는 상기 메타데이터와 함께 실시간으로 전송될 수 있다. 이에 영상검색장치(300)와 같은 클라이언트는 별도의 영상 처리 일 예로 디코딩을 수행하지 않고 상기 스틸 이미지를 사용하여 전송된 영상 데이터의 검색시 썸네일 이미지로 활용할 수 있다.
도 4는 도 1에 도시된 영상검색장치의 구성을 나타내는 블록도이고, 도 5는 도 4에 도시된 프로세서의 내부 구성의 일 실시예를 나타내는 블록도이다.
영상검색장치(300)는 상기 카메라(100)에서 전송된 데이터들을 수신하고 저장하며, 이를 분석 및 모니터링하는 클라이언트의 역할을 수행할 수 있다. 일 예로, 상기 영상검색장치(300)는 카메라(100)들로부터 다채널 영상 정보들을 수신하는 영상수신 기능과 상기 수신된 다채널 영상 정보들에 대한 분석 및 검색을 수행하는 영상검색 기능을 구현하는 것으로서, 특히 상기 영상검색 기능은 이를 구현할 수 있는 응용 프로그램(영상 검색 뷰어)을 영상수신장치를 구성하는 서버 시스템에 탑재됨으로써 동작할 수 있다. 다만, 이는 하나의 실시예로서 앞서 언급한 바와 같이 상기 영상검색장치(300)는 각각 영상수신장치와 영상검색장치로 분리된 구성으로도 구현될 수 있다.
상기 영상검색 기능을 수행하는 응용 프로그램을 통해 도 6 내지 도 10에 도시된 바와 같은 영상 검색 뷰어(viewer)를 제공할 수 있으며, 이를 통해 관리자가 영상검색장치(300)를 이용하여 상기 전송된 다채널 영상 정보들에 대한 검색을 수행할 수 있다.
먼저 도 4를 참조하면, 본 발명의 실시예에 의한 영상검색장치(300)는 메모리(310), 데이터베이스(320) 프로세서(330), 통신모듈(350) 및 입출력 인터페이스(340)을 포함한다.
메모리(310)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM, ROM 및 디스크 드라이브와 같은 비휘발성 대용량 기록장치를 포함할 수 있다. 상기 메모리(310)에는 도 1에 도시된 카메라(100)로부터 전송된 신호들 일 예로, 상기 카메라의 감시영역에 대응하는 영상 데이터, 음성 데이터, 스틸 이미지, 메타데이터 등을 저장할 수 있다.
데이터베이스(320)는 도 1에 도시된 카메라(100)의 고유 정보들(예: 카메라 ID 등)을 저장 및 유지할 수 있다. 즉, 상기 영상수신장치(300)와 연결되는 감시 카메라들이 추가 및/또는 변경되면 이에 대응하는 정보 역시 상기 데이터베이스(320)에 업데이트될 수 있다.
프로세서(330)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(310) 또는 통신모듈(350)에 의해 프로세서(330)로 제공될 수 있다. 일 예로, 프로세서(330)는 메모리(310)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 즉, 상기 프로세서(330)는 소프트웨어적으로 C, C++, Java, Visual Basic, Visual C 등 에 의해 구현되어 다양한 기능들을 수행하는 프로그램 모듈(Module)을 포함할 수 있다.
통신모듈(350)은 네트워크(200)를 통해 카메라(100)와 통신할 수 있도록 하는 기능을 제공할 수 있다. 일 예로, 영상검색장치(300)의 프로세서(330)의 제어에 따라 제공되는 제어신호, 명령 등이 통신모듈(350)을 통해 상기 네트워크(200)을 거쳐 카메라(100)로 전송될 수 있고, 마찬가지로 상기 카메라(100)에서 생성되는 촬영 영상 정보 및/또는 위치 정보들은 상기 네트워크(200)을 거쳐 영상검색장치(300)로 전송될 수 있다.
입출력 인터페이스(340)는 키보드 또는 마우스 등으로 구현되는 입력장치 및 디스플레이 등과 같은 출력장치 간의 인터페이스를 제공하는 역할을 할 수 있다.
도 5를 참조하면, 본 발명의 실시예에 의한 영상검색장치(300)의 프로세서(330)는 메타데이터 수신부(332), 스틸 이미지 수신부(334), 썸네일 이미지 생성부(336), 및 메타포 아이콘 생성부(338)를 포함할 수 있다.
여기서, 상기 프로세서(330)는 메모리(310)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있으며, 이때, 상기 프로세서(330) 내의 구성요소들 즉, 메타데이터 수신부(332), 스틸 이미지 수신부(334), 썸네일 이미지 생성부(336) 메타포 아이콘 생성부(338)는 영상검색장치(300)에 저장된 프로그램 코드가 제공하는 제어 명령에 의해 프로세서(330)에 의해 수행되는 서로 다른 기능들을 구분하여 표현하는 것으로 이해할 수도 있다.
메타데이터 수신부(332)는 앞서 도 3에서 설명된 카메라(100)의 프로세서(140) 내의 기능블록인 메타데이터 생성부(142)와 대응되는 기능블록으로서, 상기 메타데이터 생성부(142)에서 생성하여 전송한 메타데이터를 수신하는 기능을 수행한다.
상기 메타데이터는 각 카메라의 채널 별 감시영역에서 촬영된 감시 영상 중 상기 각 채널 별로 이벤트가 발생된 경우, 상기 이벤트가 발생된 감시 영역에서 촬영된 객체 검출 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 객체 추적을 위한 객체의 고유 식별자 정보, 검출된 객체의 위치 정보(좌표, 크기 등), 시간 정보를 포함할 수 있다.
스틸 이미지 수신부(334)는 앞서 도 3에서 설명된 카메라(100)의 프로세서(140) 내의 기능블록인 스틸 이미지 생성부(144)와 대응되는 기능블록으로서, 상기 스틸 이미지 생성부(144)에서 생성하여 전송한 스틸 이미지를 수신하는 기능을 수행한다. 일 예로, 상기 스틸 이미지는 특정 영역 및 특정 기간 동안 검출된 상기 감시영역의 영상 데이터들 중 식별 가능한 객체로 판단된 영상 데이터의 특정영역을 크롭핑(cropping)하여 생성될 수 있다. 보다 구체적으로, 상기 스틸 이미지는 상기 메타데이터로 작성된 상기 감시영역에 대응하는 영상분석 정보들 중 특정 영역 즉, 상기 감시영역 내에서 검출된 식별 가능한 객체에 해당하는 영상 부분을 크롭핑하여 생성된 스틸 이미지일 수 있다. 즉, 상기 감시영역에서 촬영된 영상 데이터들 중 특정 객체를 가장 잘 인식할 수 있는 "베스트 샷(best shot)" 스틸 이미지로 선택될 수 있다.
썸네일 이미지 생성부(336)는 상기 스틸 이미지 수신부(334)를 통해 수신한 스틸 이미지를 이용하여 썸네일 이미지를 생성하는 기능을 수행한다. 상기 썸네일 이미지는 채널 별로 전송된 감시영역에 대응하는 영상 정보들 중 이벤트 발생 시 이를 가장 잘 나타낼 수 있는 이미지 즉, 상기 "베스트 샷(best shot)" 스틸 이미지를 활용하여 생성될 수 있으며, 사용자는 앞서 설명한 영상 검색 뷰어에서 상기 썸네일 이미지로 표시되는 각 채널별 이벤트 정보들을 보다 용이하게 검색할 수 있다.
메타포 아이콘 생성부(338)는 상기 생성된 썸네일 이미지에 대응되는 메타포 아이콘을 생성하는 기능을 수행할 수 있으며, 상기 생성된 메타포 아이콘은 상기 영상 검색 뷰어의 타임 라인 인터페이스에 표시될 수 있다.
상기 메타포 아이콘은 상기 썸네일 이미지가 포함하는 베스트 샷 스틸 이미지 내의 검출 대상이 사람이면 사람으로 인지될 수 있는 형상의 제1 메타포 아이콘과, 상기 베스트 샷 스틸 이미지 내의 검출 대상이 자동차이면 자동차로 인지될 수 있는 형상의 제2 메타포 아이콘을 포함할 수 있다. 상기 메타포 아이콘은 상기 사람 형상, 자동차 형상 외에도 상기 썸네일 이미지 내에 포함된 주요 검출 대상을 대표할 수 있는 다양한 형상으로 구현될 수 있다.
또한, 상기 생성된 메타포 아이콘들은 이와 대응되는 각각의 썸네일 이미지들이 생성된 시점에 해당하는 타임라인의 시간 축에 대응되도록 표시될 수 있다. 이를 통해 사용자는 시간의 흐름에 따라 각 채널 별로 발생되는 이벤트의 특성을 직관적으로 파악할 수 있으며, 이를 통해 채널별 이벤트 정보들을 보다 용이하게 검색할 수 있다. 이하, 도 6 및 도 7을 통해 본 발명의 실시예에 의한 영상 검색 뷰어의 동작을 보다 자세히 설명하도록 한다.
도 6은 본 발명의 실시예에 의한 영상검색장치에서 제공하는 영상 검색 뷰어의 표시 화면을 나타내는 도면이다.
즉, 도 6은 수신된 다채널 영상 정보들에 대한 분석 및 검색을 수행하는 상기 영상검색장치의 영상검색 기능을 구현하는 응용 프로그램(영상 검색 뷰어)에 의해 제공되는 기능의 일 예를 나타낸다.
구체적으로, 도 6은 복수의 카메라들로부터 수신한 다채널 영상 정보들에 대한 검색을 수행할 수 있는 영상 검색 뷰어(viewer)에 대응하는 화면(600)을 나타낸다.
도 6을 참조하면, 영상 검색 뷰어의 화면(600)에는 각 채널 별로 발생된 이벤트들에 대응하는 복수개의 썸네일 이미지들(610)이 표시될 수 있다. 단, 도 6에 도시된 실시예에서는 상기 썸네일 이미지들(610)이 매트릭스 형태로 나란하게 배열되는 형태로 도시되어 있으나, 본 발명의 실시예가 반드시 이에 한정되는 것은 아니다. 일 예로, 상기 썸네일 이미지들(610)은 플로팅(floating) 형태로 나열되어 표시될 수도 있다.
또한, 본 발명의 실시예에 의한 영상 검색 뷰어는 타임라인 인터페이스(620)를 포함할 수 있으며, 도 6에 도시된 바와 같이 상기 타임라인 인터페이스(620)는 화면(600)의 하단부에 표시되어 각 채널 별로 수신된 영상 정보들을 시간의 흐름에 따라 확인할 수 있다.
상기 타임라인 인터페이스(620)는 메타포 아이콘 표시부(622) 및 시간축(624)을 포함할 수 있다. 상기 메타포 아이콘 표시부(622)는 상기 각 채널 별로 생성된 썸네일 이미지에 대응되는 메타포 아이콘들(630a, 630b)을 표시하는 것으로서, 상기 생성된 메타포 아이콘들(630a, 630b)은 이와 대응되는 각각의 썸네일 이미지들(610)의 이벤트 발생 시점 즉, 상기 썸네일 이미지들(610)의 베스트 샷 스틸 이미지가 수신된 시점에 해당하는 타임라인의 시간 축에 대응되도록 표시될 수 있다.
상기 메타포 아이콘들(630a, 630b)은 상기 썸네일 이미지가 포함하는 베스트 샷 스틸 이미지 내의 검출 대상이 사람이면 사람으로 인지될 수 있는 형상의 제1 메타포 아이콘(630a)과, 상기 베스트 샷 스틸 이미지 내의 검출 대상이 자동차이면 자동차로 인지될 수 있는 형상의 제2 메타포 아이콘(630b)을 포함할 수 있다. 단, 상기 메타포 아이콘은 상기 사람 형상, 자동차 형상 외에도 상기 썸네일 이미지 내에 포함된 주요 검출 대상을 대표할 수 있는 다양한 형상으로 구현될 수 있다.
즉, 상기 메타포 아이콘 표시부(622)에서는 각 채널 별로 수신된 베스트 샷에 포함된 검출 대상의 메타포 아이콘들(630a, 630b)을 상기 타임라인 인터페이스(620)의 시간축(624)을 따라 상기 베스트 샷이 수신된 시점에 표시할 수 있다.
도 6을 참조하면, 해당 시간대에 검출된 대상의 객체 타입에 따라 사람 형상의 제1 메타포 아이콘(630a) 및 자동차 형상의 제2 메타포 아이콘(630b)이 표시될 수 있다. 이 때, 특정 시점에 검출된 대상의 객체 타입이 복수인 경우에는, 이들 메타포 아이콘들을 겹쳐서 표시하거나, 또는 겹쳐진 상태를 나타내는 다른 형상의 메타포 아이콘을 표시할 수 있다. 또한, 상기 메타포 아이콘 표시부(622)의 해상도에 따라 상기 메타포 아이콘 표시부(622)에 표시되는 메타포 아이콘들(630a, 630b)의 개수가 조절될 수 있다.
도 7은 도 6에 도시된 영상 검색 뷰어의 동작의 일 예를 설명하는 도면으로서, 이는 도 6에 도시된 실시예의 화면(600)과 동일하게 구현되나, 도 7에서는 사용자가 특정 메타포 아이콘(630c)을 선택한 경우의 동작에 대한 예를 설명하는 점에서 그 차이가 있다.
도 7에 도시된 바와 같이, 사용자가 특정 메타포 아이콘(630c)을 클릭하여 선택하면, 사용자가 선택한 메타포 아이콘에 해당하는 검출 대상의 베스트 샷들에 대응하는 썸네일 이미지들(710)을 포함하는 팝업창(700)을 표시할 수 있다. 이때, 상기 검출 대상이 복수개인 경우에는 상기 팝업창(700)에 리스트로 표시할 수도 있다.
이후, 사용자가 상기 썸네일 이미지들(710) 중 특정 썸네일 이미지를 선택하면, 도 7에 도시된 바와 같이 상기 팝업창(700)에 인스턴트 플레이어 화면(720)이 생성될 수 있으며, 이를 통해 상기 선택된 썸네일 이미지에 대응하는 감지 영상의 비디오 데이터가 상기 검출 대상이 선택된 시점에 맞추어 즉시 재생될 수 있다.
도 8은 본 발명의 다른 실시예에 의한 영상검색장치에서 제공하는 영상 검색 뷰어의 표시 화면(600')을 나타내는 도면이다. 도 8의 영상 검색 뷰어의 표시 화면(600')는 도 6의 영상 검색 뷰어의 표시 화면(600)와 유사하지만 특정 메타포 아이콘(630c)을 선택했을 때 표시되는 팝업창의 형태나 내용면에서 차이가 있다.
도 8을 참조하면, 사용자가 상기 메타포 아이콘들(도 6의 630a, 630b 참조) 중 하나에 컨트롤 포인터(도 9의 640 참조)를 올려 놓을 때, 상기 영상 검색 뷰어는 상기 컨트롤 포인터(640)가 가리키는 메타포 아이콘(630c)에 대응하는 객체가 포함된 하나 이상의 썸네일 이미지들(810)을 시간 순서로 표시한 이미지 타임 리스트(800)를 팝업창 형태로 표시한다. 여기서, 컨트롤 포인터(640)는 예를 들어 마우스 포인터일 수 있으며, 상기 컨트롤 포인터(640)를 올려 놓는다는 것은 상기 컨트롤 포인터를 특정 대상 위에 단순히 중첩시키는 것(mouseover)을 의미하지만, 이에 한하지 않고, 마우스 클릭이나 터치에 의한 입력도 배제하는 것은 아니다.
이 때, 상기 이미지 타임 리스트(800)에는 상기 하나 이상의 썸네일 이미지들(810)이 상기 시간축(624)에 평행한 방향으로 나열된다. 또한, 상기 이미지 타임 리스트(800)는 상기 컨트롤 포인터(640)가 가리키는 메타포 아이콘(630c)을 향하는 지시 마커(840)를 포함한다. 이러한 지시 마커(630c)를 통해 사용자는 현재 지시된 메타포 아이콘(630c)이 어떤 것인지 직관적으로 알 수 있게 된다.
또한, 상기 사용자가 상기 컨트롤 포인터(640)를 상기 나열된 썸네일 이미지들 중 일단(820a, 820b) 부근으로 이동시킬 때, 상기 이미지 타임 리스트(800)는 상기 일단(820a, 820b)의 방향으로 자동으로 스크롤되도록 구현할 수도 있다.
또한, 상기 이미지 타임 리스트(800)는 상기 시간 순서로 나열된 썸네일 이미지들(810)의 배치방향으로 연장된 시간 스크롤 바(830)를 더 포함할 수 있다. 따라서, 상기 사용자가 상기 시간 스크롤 바를 조작하면, 상기 이미지 타임 리스트(800)가 상기 조작 방향으로 점프되거나 스크롤되도록 할 수도 있다.
한편, 도 8에서는 사용자가 상기 메타포 아이콘들 중 하나에 컨트롤 포인터를 올려 놓을 때, 상기 영상 검색 뷰어가 상기 메타포 아이콘들에 대응되는 객체가 포함된 썸네일 이미지들을 표시하였지만, 다른 실시예로서, 상기 영상 검색 뷰어가 상기 대응되는 객체가 속하는 객체 타입에 포함된 하나 이상의 썸네일 이미지들을 모두 표시할 수도 있다.
즉, 전자는 객체를 기준으로 하므로 사람이라고 하더라도 특정인만을 기준으로 썸네일 이미지들을 표시한다면, 후자는 객체 종류를 기준으로 하므로 특정인을 선택하더라도 "사람”이라는 객체 종류 전체를 기준으로 썸네일 이미지들을 표시할 것이다.
한편 도 9를 참조하면, 상기 사용자의 상기 컨트롤 포인터 조작에 따라, 상기 영상 검색 뷰어는 상기 컨트롤 포인터(640)에 의해 지시된 썸네일 이미지(810') 위에 또는 근처에 컨텍스트 메뉴(context menu, 900)를 팝업창의 형태로 표시한다. 상기 컨텍스트 메뉴(900)는 상기 사용자가 상기 하나 이상의 썸네일 이미지(810)의 중에서 특정 어트리뷰트(attribute)만을 선택할 수 있게 해주는 필터링 옵션(910)을 포함한다. 상기 필터링 옵션(910)은 해당 객체(예: 사람)가 가질 수 있는 어트리뷰트들을 표시하고, 사용자가 특정 어트리뷰트를 선택하면 상기 영상 검색 뷰어는 상기 하나 이상의 썸네일 이미지(810)를 필터링하여 그 결과 이미지만을 상기 이미지 타임 리스트(800) 상에 표시한다.
여기서, 상기 필터링 옵션은 상기 지시된 썸네일 이미지가 갖는 객체 타입에 따라 가변될 수 있다. 도 9의 실시예에서는 사람에 해당하는 메타포 아이콘(630c)이 선택되었으므로, human(사람만), age(나이), 성별(gender), 의상(wear)와 같은 사람과 관련된 어트리뷰트가 표시될 것이지만, 만약 자동차에 해당하는 메타포 아이콘(630b)이 선택되었다면, 이와 다른 어트리뷰트(예: 차종, 배기량, 차량 색상, 주행 여부 등)가 필터링 옵션(910)에 표시될 수 있을 것이다.
한편, 상기 컨텍스트 메뉴(900)는 상기 하나 이상의 썸네일 이미지(810) 중에서 상기 썸네일 이미지를 기초로 검색을 수행하기 위한 검색 옵션(920)을 더 포함할 수 있다. 예를 들어, 상기 검색 옵션(920)은 상기 지시된 썸네일 이미지와 유사한 썸네일 이미지를 검색하는 유사도 검색(“search by similarity"), 상기 하나 이상의 썸네일 이미지들에 대응되는 영상들 내에서의 검색(“search from picture”) 및 전체 영상들이 저장된 데이터베이스 내에서의 검색(“search from DB”) 중 적어도 하나 이상을 포함할 수 있다.
이와 같이 특정 썸네일 이미지(810)에 마우스-오버하여 필터링 및 검색을 수행하게 해 주는 컨텍스트 메뉴를 이용한다면, 사용자는 별도의 검색화면으로 전환하는 번거로움 없이도 현재 모니터링 중인 화면상에서 즉시 필터링 및 검색이 가능하게 된다.
한편, 상기 영상 검색 뷰어는 상기 메타포 아이콘들(630a, 630b) 중에서 상기 필터링 옵션(910) 또는 상기 검색 옵션(920)에 의한 검색 결과에 매칭되는 상기 메타포 아이콘(631, 632, 633, 634)은 다른 메타포 아이콘과 상이하게 보이도록 변경하여 상기 메타포 아이콘 표시부(622) 상에 표시할 수 있다. 이와 같이 상이하게 표시하는 방식으로는 하이라이트, 색상 변경, 별도의 도형 부가, 아이콘의 크기 변경, 입체 표시, 점멸 표시 등 다양한 방식을 사용할 수 있을 것이다. 뿐만이 아니라, 검색 결과에 매칭되는 메타포 아이콘 이외의 다른 메타포 아이콘을 메타포 아이콘 표시부(622) 상에서 제거하는 방식으로 구현할 수도 있을 것이다.
이를 통해 사용자는, 전체 타임 라인 상에서 자산이 필터링 하거나 검색한 결과에 해당하는 메타포 아이콘을 직관적으로 확인할 수 있으며, 이와 같이 상이하게 표시된 메타포 아이콘만을 선택하여 필터링/검색 결과에 매칭되는 썸네일 이미지를 조회할 수 있게 된다.
이와 같이 본 발명의 실시예들에 의한 영상 검색 뷰어의 기능을 통해 사용자는 시간의 흐름에 따라 각 채널 별로 발생되는 이벤트의 특성을 직관적으로 파악할 수 있으며, 결과적으로 각 채널 별 이벤트 정보들을 보다 용이하게 검색할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (17)

  1. 복수의 감시 영역들을 촬영하여 상기 각 감시영역에 대한 영상 정보를 취득하고, 상기 취득한 각 감시 영역별 영상 정보를 각각의 채널로 전송하는 복수의 카메라들;
    상기 복수의 카메라들과 네트워크를 통해 연결되어 실시간으로 상기 카메라들로부터 영상 정보들을 수신하며, 상기 전송된 다채널 영상 정보들에 대한 검색을 수행하는 영상검색장치를 포함하고,
    상기 영상검색장치는 상기 각 채널 별 영상 분석 정보에 근거하여 각 채널의 이벤트에 대응되는 썸네일 이미지 및 상기 썸네일 이미지에 대응되는 메타포 아이콘을 생성하며, 상기 생성된 썸네일 이미지 및 메타포 아이콘을 표시하여 상기 전송된 다채널 영상 정보들에 대한 검색을 수행하는 영상 검색 뷰어(viewer)를 포함하되,
    상기 메타포 아이콘은 타임라인 인터페이스 상에 상기 이벤트가 발생된 시간순으로 표시되는 네트워크 감시 카메라 시스템.
  2. 제1 항에 있어서,
    상기 카메라는,
    상기 감시영역에 대응하는 영상분석 정보들을 메타데이터로 생성하는 메타데이터 생성부; 및
    상기 영상분석 정보들 중 상기 감시영역 내에서 검출된 식별 가능한 객체에 해당하는 영상 부분을 크롭핑하여 스틸 이미지를 생성하는 스틸 이미지 생성부를 포함하는 네트워크 감시 카메라 시스템.
  3. 제1 항에 있어서,
    상기 영상 검색 뷰어는 각 채널 별로 발생된 이벤트들에 대응하는 상기 복수개의 썸네일 이미지들을 표시하고,
    상기 타임라인 인터페이스는 상기 썸네일 이미지들 하단에 메타포 아이콘 표시부 및 시간축을 포함하는 네트워크 감시 카메라 시스템.
  4. 제3 항에 있어서,
    상기 메타포 아이콘 표시부는 상기 각 채널 별로 생성된 썸네일 이미지에 대응되는 메타포 아이콘들을 표시하며,
    상기 메타포 아이콘들은 이와 대응되는 상기 썸네일 이미지들의 이벤트 발생 시점에 상기 시간축을 따라 표시되는 네트워크 감시 카메라 시스템.
  5. 제1 항에 있어서,
    상기 메타포 아이콘들은 각 이벤트에 포함된 검출 대상에 따라 상기 검출 대상을 대표하고 상기 검출 대상의 객체 타입에 따라 상이한 형상의 이미지로 생성되는 네트워크 감시 카메라 시스템.
  6. 제3 항에 있어서,
    상기 영상 검색 뷰어는 상기 메타포 아이콘들 중 사용자에 의해 선택된 소정의 메타포 아이콘에 대응하는 별도의 팝업창을 더 표시하며,
    상기 팝업창은 상기 선택된 메타포 아이콘에 대응하는 적어도 하나 이상의 썸네일 이미지들을 표시하고, 상기 썸네일 이미지들 중 선택된 썸네일 이미지에 대응하는 감지 영상의 비디오 데이터를 재생하는 인스턴트 플레이어 화면을 더 포함하는 네트워크 감시 카메라 시스템.
  7. 제3 항에 있어서,
    사용자가 상기 메타포 아이콘들 중 하나에 컨트롤 포인터를 올려 놓을 때, 상기 영상 검색 뷰어는 상기 포인터가 가리키는 메타포 아이콘에 대응하는 객체가 포함된 하나 이상의 썸네일 이미지들을 시간 순서로 표시한 이미지 타임 리스트를 팝업창 형태로 표시하며,
    상기 이미지 타임 리스트에는 상기 하나 이상의 썸네일 이미지들이 상기 시간축에 평행한 방향으로 나열되는 네트워크 감시 카메라 시스템.
  8. 제7 항에 있어서,
    상기 이미지 타임 리스트는 상기 포인터가 가리키는 메타포 아이콘을 향하는 지시 마커를 포함하는 네트워크 감시 카메라 시스템.
  9. 제8 항에 있어서,
    상기 사용자가 상기 컨트롤 포인터를 상기 나열된 썸네일 이미지들 중 일단 부근으로 이동시킬 때, 상기 이미지 타임 리스트는 상기 일단의 방향으로 자동 스크롤되는 네트워크 감시 카메라 시스템.
  10. 제8 항에 있어서,
    상기 이미지 타임 리스트는 상기 시간 순서로 나열된 썸네일 이미지들의 배치방향으로 연장된 시간 스크롤 바를 더 포함하며,
    상기 사용자에 의한 상기 시간 스크롤 바의 조작에 따라, 상기 이미지 타임 리스트가 상기 조작 방향으로 수동 스크롤되는 네트워크 감시 카메라 시스템.
  11. 제3 항에 있어서,
    사용자가 상기 메타포 아이콘들 중 하나에 컨트롤 포인터를 올려 놓을 때, 상기 영상 검색 뷰어는 상기 포인터가 가리키는 메타포 아이콘이 속하는 객체 타입에 포함되는 하나 이상의 썸네일 이미지들을 시간 순서로 표시한 이미지 타임 리스트를 더 표시하며,
    상기 이미지 타임 리스트에는 상기 하나 이상의 썸네일 이미지들이 상기 시간축에 평행한 방향으로 나열되는 네트워크 감시 카메라 시스템.
  12. 제7 항에 있어서,
    상기 사용자의 상기 컨트롤 포인터 조작에 따라, 상기 영상 검색 뷰어는 상기 컨트롤 포인터에 의해 지시된 썸네일 이미지 위에 또는 근처에 컨텍스트 메뉴를 팝업창의 형태로 표시하며,
    상기 컨텍스트 메뉴는 상기 사용자가 상기 하나 이상의 썸네일 이미지의 중에서 특정 어트리뷰트만을 선택할 수 있게 해주는 필터링 옵션을 포함하고,
    상기 사용자가 선택한 필터링 옵션에 따라, 상기 영상 검색 뷰어는 상기 하나 이상의 썸네일 이미지를 필터링하여 상기 이미지 타임 리스트 상에 표시하는 네트워크 감시 카메라 시스템.
  13. 제12 항에 있어서, 상기 필터링 옵션은
    상기 지시된 썸네일 이미지가 갖는 객체 타입에 따라 가변되는, 네트워크 감시 카메라 시스템.
  14. 제12 항에 있어서, 상기 컨텍스트 메뉴는
    상기 하나 이상의 썸네일 이미지 중에서 상기 지시된 썸네일 이미지를 기초로 검색을 수행하기 위한 검색 옵션을 더 포함하는, 네트워크 감시 카메라 시스템.
  15. 제14 항에 있어서,
    상기 검색 옵션은 상기 지시된 썸네일 이미지와 유사한 썸네일 이미지를 검색하는 유사도 검색, 상기 하나 이상의 썸네일 이미지들에 대응되는 영상들 내에서의 검색 및 전체 영상들이 저장된 데이터베이스 내에서의 검색 중 적어도 하나 이상을 포함하는, 네트워크 감시 카메라 시스템.
  16. 제14 항에 있어서,
    상기 영상 검색 뷰어는 상기 메타포 아이콘들 중에서 상기 필터링 옵션 또는 상기 검색 옵션에 의한 검색 결과에 매칭되는 상기 메타포 아이콘을 다른 메타포 아이콘과 상이하게 되도록 변경하여 상기 메타포 아이콘 표시부 상에 표시하는, 네트워크 감시 카메라 시스템.
  17. 복수의 감시 영역들을 촬영하여 상기 각 감시영역에 대한 영상 정보를 취득하는 복수의 카메라들로부터, 각각의 채널을 통해 상기 영상 정보를 수신하는 단계;
    상기 각 채널 별 영상 정보의 영상 분석에 근거하여 각 채널의 이벤트에 대응되는 썸네일 이미지 및 상기 썸네일 이미지에 대응되는 메타포 아이콘을 생성하는 단계;
    상기 생성된 썸네일 이미지 및 메타포 아이콘을 영상 검색 뷰어 상에 표시하는 단계; 및
    상기 썸네일 이미지 및 메타포 아이콘에 대한 사용자 입력에 기초하여 상기 전송된 다채널 영상 정보들에 대한 검색을 수행하는 단계를 포함하되,
    상기 메타포 아이콘은 상기 영상 검색 뷰어의 타임라인 인터페이스 상에 상기 이벤트가 발생된 시간순으로 표시되는 영상 검색 방법.
PCT/KR2021/002471 2020-02-26 2021-02-26 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템 WO2021172943A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200023601A KR20210108691A (ko) 2020-02-26 2020-02-26 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
KR10-2020-0023601 2020-02-26

Publications (1)

Publication Number Publication Date
WO2021172943A1 true WO2021172943A1 (ko) 2021-09-02

Family

ID=77491903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/002471 WO2021172943A1 (ko) 2020-02-26 2021-02-26 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템

Country Status (2)

Country Link
KR (1) KR20210108691A (ko)
WO (1) WO2021172943A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102469915B1 (ko) * 2022-01-25 2022-11-23 (주)현명 데이터 저장 및 검색 효율이 향상된 지능형 영상 감시 시스템
KR102520581B1 (ko) * 2022-08-29 2023-04-12 주식회사 심시스글로벌 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075322A1 (en) * 2000-12-20 2002-06-20 Eastman Kodak Company Timeline-based graphical user interface for efficient image database browsing and retrieval
JP2008167082A (ja) * 2006-12-27 2008-07-17 Toshiba Corp 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム
KR20130045251A (ko) * 2010-04-09 2013-05-03 소니 주식회사 콘텐츠 검색 장치 및 방법과 프로그램
JP2014106637A (ja) * 2012-11-26 2014-06-09 Sony Corp 情報処理装置および方法、並びにプログラム
KR20190026738A (ko) * 2016-06-06 2019-03-13 아비질론 코포레이션 비디오 레코딩 내에 존재하는 동일한 사람 또는 물건을 대화형으로 식별하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075322A1 (en) * 2000-12-20 2002-06-20 Eastman Kodak Company Timeline-based graphical user interface for efficient image database browsing and retrieval
JP2008167082A (ja) * 2006-12-27 2008-07-17 Toshiba Corp 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム
KR20130045251A (ko) * 2010-04-09 2013-05-03 소니 주식회사 콘텐츠 검색 장치 및 방법과 프로그램
JP2014106637A (ja) * 2012-11-26 2014-06-09 Sony Corp 情報処理装置および方法、並びにプログラム
KR20190026738A (ko) * 2016-06-06 2019-03-13 아비질론 코포레이션 비디오 레코딩 내에 존재하는 동일한 사람 또는 물건을 대화형으로 식별하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품

Also Published As

Publication number Publication date
KR20210108691A (ko) 2021-09-03

Similar Documents

Publication Publication Date Title
WO2021167374A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
KR100896949B1 (ko) 객체식별이 가능한 영상처리 감시시스템 및 감시방법
US10019877B2 (en) Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site
WO2016189782A1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
WO2021172943A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
WO2018066742A1 (ko) 영상 제공 장치 및 방법
US20080291279A1 (en) Method and System for Performing Video Flashlight
EP1873732A2 (en) Image processing apparatus, image processing system and filter setting method
US8724970B2 (en) Method and apparatus to search video data for an object of interest
US8174571B2 (en) Apparatus for processing images, apparatus for processing reproduced images, method of processing images, and method of processing reproduced images
WO2014193065A1 (en) Video search apparatus and method
JP6799779B2 (ja) 監視映像解析システム及び監視映像解析方法
KR101933153B1 (ko) 관심객체 이동방향에 따른 관제 영상 재배치 방법 및 장치
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
JP2008092279A (ja) 監視システム及び監視方法
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
JP2006093955A (ja) 映像処理装置
KR20220003779A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
WO2023128437A1 (ko) 영상 수신/검색 장치 및 영상 표시 방법
KR101666812B1 (ko) 가상라인을 이용하여 방향별 발생 이벤트를 감지할 수 있는 cctv모니터링 시스템 및 그 방법
KR101498608B1 (ko) 영상데이터 검색장치
WO2021107421A1 (ko) 사건 중심의 다채널 영상 백업 장치 및 그 방법과, 이를 포함한 네트워크 감시 카메라 시스템
WO2024075962A1 (ko) 음성 입력을 이용한 어노테이션을 제공하는 방법 및 디바이스
KR20190051924A (ko) 관심객체의 선택에 의한 영상 탐색장치 및 방법
US20220239826A1 (en) Network surveillance camera system and method for operating same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21761799

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21761799

Country of ref document: EP

Kind code of ref document: A1