WO2018084347A1 - 영상 제공 장치 및 방법 - Google Patents

영상 제공 장치 및 방법 Download PDF

Info

Publication number
WO2018084347A1
WO2018084347A1 PCT/KR2016/012792 KR2016012792W WO2018084347A1 WO 2018084347 A1 WO2018084347 A1 WO 2018084347A1 KR 2016012792 W KR2016012792 W KR 2016012792W WO 2018084347 A1 WO2018084347 A1 WO 2018084347A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
image
region
generating
interest
Prior art date
Application number
PCT/KR2016/012792
Other languages
English (en)
French (fr)
Inventor
이호정
김연우
이정훈
김현호
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to US16/329,462 priority Critical patent/US10643304B2/en
Publication of WO2018084347A1 publication Critical patent/WO2018084347A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • Embodiments of the present invention relate to an image providing apparatus and method.
  • a multi-channel image display device for receiving an image from a plurality of cameras and monitoring an area to be monitored is actively developed.
  • Such a video display device is inconvenient to provide a live image and a recorded image according to different layouts and interfaces so that a user who is watching the live image needs to switch modes in order to view the recorded image.
  • the present invention has been made to solve the above-mentioned problems, and to provide an image providing apparatus and method that can immediately check the recorded image with a simple operation on the live image.
  • an aspect of the present invention is to provide an apparatus and method for providing an image capable of checking a recorded image of a specific portion of a live image.
  • Another object of the present invention is to provide an apparatus and method for providing an image capable of intensively observing an ROI or an object of interest.
  • an aspect of the present invention is to provide an apparatus and method for providing an image capable of observing images of various viewpoints centered on a region of interest.
  • An image providing method may include generating a first layer on which a first image is displayed; Generating a second layer displaying a second image different from the first image; Generating a mask based on a location of the ROI in the first image; And generating a display image based on at least one of the first layer, the second layer, and the mask.
  • Generating the display image according to the image providing method according to an embodiment of the present invention comprises the steps of: generating a masked second layer by applying the mask to the second layer; And generating the display image by overlapping the masked second layer on the first layer.
  • the generating of the masked second layer may make the area corresponding to the remaining area except for the ROI in the second layer to be transparent.
  • Generating the display image according to the image providing method comprises the steps of: generating a masked first layer by applying the mask to the first layer; And generating the display image by overlapping the masked first layer on the second layer.
  • the generating of the masked first layer may make the area corresponding to the ROI in the first layer transparent.
  • the generating of the display image according to the image providing method according to another exemplary embodiment of the present invention may include the first partial region and the ROI of the second layer, which are other than the region corresponding to the ROI of the first layer.
  • the display image may be generated based on a second partial area, which is an area corresponding to.
  • the generating of the mask may include setting the ROI based on a user's input to the first image.
  • the setting of the ROI may include obtaining a first input for a first point on the first image; Obtaining a second input that is continuous with the first input as an input to a second point on the first image; And determining the ROI based on the first input and the second input.
  • the setting of the ROI may further include, after determining the ROI, changing at least one of a position and a size of the determined ROI based on the user input.
  • the generating of the mask may include updating the region of interest based on a movement position of the object of interest in the first image.
  • the region of interest may be a plurality, and the generating of the mask may include generating a mask based on positions of the plurality of regions of interest.
  • the image providing method according to an embodiment of the present invention may further include displaying the display image.
  • the first image may be a live image
  • the second image may be a recorded image
  • the generating of the second layer may include obtaining an input regarding a display time point of the second image of a user. Can be.
  • the displaying may further include displaying a time slider indicating one or more display time points, and obtaining an input regarding the display time point may obtain an input of the user on the time slider.
  • the image providing apparatus generates a first layer, a second layer, and a mask, and based on at least one of the first layer, the second layer, and the mask.
  • the control unit may generate a display image.
  • the controller generates the first layer on which the first image is displayed, generates the second layer on which a second image different from the first image is displayed, and is based on a location of the ROI within the first image.
  • the mask may be generated, and a display image may be generated based on at least one of the first layer, the second layer, and the mask.
  • the control unit generates a masked second layer by applying the mask to the second layer, generates the display image by overlapping the masked second layer on the first layer, and the masked agent
  • the second layer may be a layer in which a region corresponding to the remaining region other than the region of interest in the second layer is transparent.
  • the controller generates the masked first layer by applying the mask to the first layer, generates the display image by overlapping the masked first layer on the second layer, and generates the masked agent.
  • the first layer may be a layer in which a region corresponding to the ROI is transparent in the first layer.
  • the controller may generate the display image based on a first partial region, which is a region other than the region of interest of the first layer, and a second partial region, which is a region corresponding to the region of interest of the second layer. Can be.
  • the controller may set the ROI based on a user's input to the first image.
  • the controller may update the ROI based on the movement position of the object of interest in the first image.
  • the region of interest may be a plurality, and the controller may generate a mask based on positions of the plurality of regions of interest.
  • the controller may display the display image on a display unit.
  • an image providing apparatus and a method for directly checking a recorded image may be implemented by a simple operation on a live image.
  • an image providing apparatus and method that can check the recorded image for a particular portion of the live image.
  • an image providing apparatus and method capable of intensively observing a region of interest or an object of interest may be implemented.
  • an image providing apparatus and method capable of observing images of various viewpoints around a region of interest may be implemented.
  • FIG 1 schematically shows an image providing system according to an embodiment of the present invention.
  • FIG. 2 schematically illustrates a configuration of an image providing apparatus according to an embodiment of the present invention.
  • FIG 3 illustrates an example of setting a region of interest based on a user input by a controller according to an embodiment of the present invention.
  • 5A to 5B are diagrams for describing a method of generating, by a controller, a display image according to a first method, according to an exemplary embodiment.
  • 6A to 6B are diagrams for describing a method of generating, by a controller according to a second method, a display image according to an exemplary embodiment of the present invention.
  • FIG. 7 is a diagram for describing a method of generating, by a controller, a display image according to a third method according to an exemplary embodiment.
  • FIG. 8 is an example of a display image displayed on a display unit according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating an image providing method performed by the image providing apparatus of FIG. 1.
  • An image providing method may include generating a first layer on which a first image is displayed; Generating a second layer displaying a second image different from the first image; Generating a mask based on a location of the ROI in the first image; And generating a display image based on at least one of the first layer, the second layer, and the mask.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.
  • Embodiments of the present invention can be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions. For example, embodiments of the invention may be implemented directly, such as memory, processing, logic, look-up table, etc., capable of executing various functions by the control of one or more microprocessors or other control devices. Circuit configurations can be employed. Similar to the components of an embodiment of the present invention may be implemented in software programming or software elements, embodiments of the present invention include various algorithms implemented in combinations of data structures, processes, routines or other programming constructs. It may be implemented in a programming or scripting language such as C, C ++, Java, assembler, or the like.
  • inventions may be implemented with an algorithm running on one or more processors.
  • embodiments of the present invention may employ the prior art for electronic configuration, signal processing, and / or data processing.
  • Terms such as mechanism, element, means, configuration can be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.
  • FIG 1 schematically shows an image providing system according to an embodiment of the present invention.
  • an image providing system may include an image providing apparatus 100, a surveillance camera 200, and an image storage device 300.
  • Surveillance camera 200 may be a device including a lens and an image sensor.
  • the lens may be a lens group composed of one or more lenses.
  • the image sensor may convert an image input by the lens into an electrical signal.
  • the image sensor may be a semiconductor device capable of converting an optical signal into an electrical signal (described below as an image), such as a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
  • CCD charge-coupled device
  • CMOS complementary metal oxide semiconductor
  • the surveillance camera 200 may be a camera that provides an image, an infrared image, or a distance image including distance information, which is configured with RGB of a space to be photographed.
  • the surveillance camera 200 may further include an event detection means.
  • the event detecting means may be means for detecting movement of a person and / or an animal, for example, a PIR sensor, an infrared sensor, or the like.
  • the event detecting means may be a means for detecting a change in environment such as a temperature sensor, humidity sensor, gas sensor, or the like.
  • the event detecting means may be means for determining whether an event occurs by comparing the before and after image acquired over time.
  • this is merely an example, and may vary depending on the location and / or the purpose of installing the image providing system according to the present invention.
  • the surveillance camera 200 may be installed in the surveillance target area.
  • the monitored area may be various spaces for which an administrator needs to manage.
  • the area to be monitored may be a space where items may be stolen, such as an office, a public facility, a school, or a house.
  • the area to be monitored may be a place where an accident may occur, such as a factory, a power plant, or a facility room.
  • this is merely exemplary, and the spirit of the present invention is not limited thereto.
  • the surveillance camera 200 may transmit the image acquired through the network to the image providing device 100 and / or the image storage device 300.
  • the networks described in the present invention are, for example, wireless networks, wired networks, public networks such as the Internet, private networks, global systems for mobile communication networks (GSM) networks, general packet wireless networks (general) packet radio network (GPRS), local area network (LAN), wide area network (WAN), metropolitan area network (MAN), cellular network, public switched telephone network ; PSTN, personal area network, Bluetooth, Wi-Fi Direct, Near Field communication, Ultra Wide band, combinations thereof, or any Other networks may be, but are not limited to these.
  • GSM global systems for mobile communication networks
  • GPRS general packet wireless networks
  • LAN local area network
  • WAN wide area network
  • MAN metropolitan area network
  • PSTN personal area network
  • Bluetooth Wi-Fi Direct
  • Near Field communication Ultra Wide band
  • combinations thereof or any Other networks may be, but are not limited to these.
  • the surveillance camera 200 may be one or more. However, hereinafter, the description will be given on the premise that the monitoring camera 200 is singular.
  • the image storage device 300 may receive and store a multimedia object such as an image, an image, and a sound obtained by the surveillance camera 200 from the surveillance camera 200 through a network. Also, the image storage device 300 may provide multimedia objects such as an image, an image, and a sound stored in the image storage device 300 according to a request of the image providing device 100.
  • the image storage device 300 may be various means for storing and reproviding information handled by an electronic communication device.
  • the video storage device 300 may be any one of a video management system (VMS), a central management system (CMS), a network video recorder (NVR), and a digital video recorder (DVR).
  • the image storage device 300 may be a personal computer (PC) or a portable terminal.
  • PC personal computer
  • the image storage device 300 of the present invention may be used. Can be used without limitation.
  • the image storage device 300 may have a unique identifier that can identify the image storage device 300 on the network, that is, a storage device identifier.
  • the storage device identifier may be, for example, any one of an IP address and a MAC address of the image storage device 300.
  • the image storage device 300 may be one or more.
  • FIG. 2 schematically illustrates a configuration of an image providing apparatus 100 according to an embodiment of the present invention.
  • the image providing apparatus 100 may include a display 110, a communicator 120, a controller 130, and a memory 140.
  • the display 110 may refer to a display device that displays a figure, a character, or an image according to an electric signal generated by the controller 130.
  • the display unit 110 may be configured of any one of a cathode ray tube (CRT), a liquid crystal display (LCD), a plasma display panel (PDP), a light-emitting diode (LED), and an organic light emitting diode (OLED).
  • CTR cathode ray tube
  • LCD liquid crystal display
  • PDP plasma display panel
  • LED light-emitting diode
  • OLED organic light emitting diode
  • the communication unit 120 allows the image providing apparatus 100 to transmit and receive a control signal and / or an image through a wired or wireless connection with an external device such as the surveillance camera 200 and the image storage device 300. It may be a device including hardware and software necessary for the purpose.
  • the controller 130 may include all kinds of devices capable of processing data, such as a processor.
  • the 'processor' may refer to a data processing apparatus embedded in hardware having, for example, a circuit physically structured to perform a function represented by code or instructions included in a program.
  • a data processing device embedded in hardware a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, and an application-specific integrated device (ASIC) It may include a processing device such as a circuit, a field programmable gate array (FPGA), etc., but the scope of the present invention is not limited thereto.
  • the memory 140 performs a function of temporarily or permanently storing data processed by the image providing apparatus 100.
  • the memory may include magnetic storage media or flash storage media, but the scope of the present invention is not limited thereto.
  • the image providing apparatus 100 may be a device included in the image storage device 300 described above.
  • the image providing apparatus 100 may be a device included in any one of a video management system (VMS), a central management system (CMS), a network video recorder (NVR), and a digital video recorder (DVR).
  • the image providing device 100 may be a device included in the surveillance camera 200.
  • VMS video management system
  • CMS central management system
  • NVR network video recorder
  • DVR digital video recorder
  • the image providing device 100 may be a device included in the surveillance camera 200.
  • the image providing device 100 is an independent device for convenience of description.
  • the controller 130 generates a first layer, a second layer, and a mask, and generates a display image based on at least one of the first layer, the second layer, and the mask. Can be generated.
  • the controller 130 may generate a first layer in which the first image is displayed. Similarly, the controller 130 may generate a second layer on which the second image is displayed.
  • the first image and the second image may be different images.
  • the first image may be a live image acquired by the surveillance camera 200
  • the second image may be a recorded image acquired in the past by the same surveillance camera 200.
  • the recorded image may be an image stored in the above-described image storage device 300.
  • a 'layer' such as a first layer and a second layer may mean a virtual layer for displaying an image overlaid.
  • the second image displayed on the second layer may be covered by the first image displayed on the first layer within a range overlapping with the first layer.
  • the controller 130 may generate a mask based on the location of the ROI in the first image.
  • the 'region of interest' may mean an area to be observed in an image different from the image currently viewed by the user. For example, if a user finds a suspicious person while watching a live video, the user may set a region including the person as a region of interest in the live video to observe the person's past behavior in more detail.
  • the ROI may be set based on a user input.
  • the controller 130 may set an ROI based on a user's input to the first image.
  • FIG 3 illustrates an example in which the controller 130 sets the ROI 601 based on a user input.
  • the user may set the ROI 601 by inputting the live image 400.
  • the controller 130 obtains a user input to a first point 601a and a second point 601b different from the first point 601a on the first image, and based on this, the ROI 601. Can be determined.
  • the first input and the second input may be continuous inputs.
  • 'continuous input' may mean that a plurality of inputs are connected to a drag input.
  • the first input may be an input (for example, a click, a tap or a touch) for the first point described above
  • the second input may be an input for the second point (for example, release of a drag, double-click, or double touch).
  • the user may set the ROI 601 by inputting the first point 601a and the second point 601b in the live image 400.
  • the controller 130 may change at least one of the location and size of the ROI determined based on a user input. For example, when the person in the region of interest 601 moves to the right in FIG. 3 so that the person no longer belongs to the region of interest 601, the user extends the region of interest 601 to the right or the region of interest 601. Move to the right to be included in the changed region of interest (not shown).
  • the change of the ROI may be performed by the controller 130.
  • the controller 130 may update the region of interest based on the movement position of the object of interest in the first image.
  • the user changes at least one of the position and size of the ROI 601 according to the movement of the person of interest.
  • the controller 130 may recognize the object of interest to determine a location in the image and change at least one of the location and size of the ROI based on the identified location. As a result, the present invention can set a more significant region of interest.
  • the controller 130 may obtain a user input for setting one or more regions of interest and set one or more regions of interest accordingly. In this case, there may be more than one region of interest for the same image.
  • the controller 130 may generate a mask based on the location of the ROI in the first image. In other words, the controller 130 may generate a mask including location information of the ROI in the first image.
  • FIG. 4 illustrates an example of a mask 602 generated by the controller 130.
  • the controller 130 may generate a mask 602 including location information 603 of the ROI (601 of FIG. 3) in the live image (400 of FIG. 3).
  • the generated mask may be used to extract and / or exclude the remaining regions except for the region corresponding to the region of interest or the region corresponding to the region of interest in the first layer or the second layer. Detailed description thereof will be described later.
  • the controller 130 may generate a display image based on at least one of the generated first layer, second layer, and mask.
  • 5A to 7 are diagrams for describing various methods of the controller 130 generating a display image.
  • 5A to 5B are diagrams for describing a method of generating, by the controller 130, the display image according to the first method, according to an exemplary embodiment.
  • the controller 130 may generate the masked second layer 502 by applying the mask 602a to the second layer 501.
  • the controller 130 may generate a masked second layer 502 by transparently processing a region corresponding to the remaining region except for the ROI in the second layer 501.
  • the controller 130 may display only the region corresponding to the ROI and generate the masked second layer 502 that is transparent.
  • 'transparent' a specific area of a layer may mean that an image of a layer located below the layer may be displayed through the layer.
  • the display image of the first layer 401 under the masked second layer 502 may be displayed on the masked second layer 502 corresponding to a region other than the ROI. Can be.
  • controller 130 may overlap the masked second layer 502 on the first layer 401 to generate a display image.
  • an embodiment of the present invention can simultaneously display the first image and the second image, which are the entire image, and in particular, make it easier to check the recorded image of a specific part of the live image.
  • 6A to 6B are diagrams for describing a method of generating, by the controller 130, the display image according to the second method, according to an exemplary embodiment.
  • the controller 130 may generate the masked first layer 402 by applying the mask 602b to the first layer 501.
  • the controller 130 may generate the masked first layer 402 by transparently processing a region corresponding to the ROI in the first layer 401.
  • the controller 130 may display only the remaining regions except for the region corresponding to the ROI, and may generate the masked first layer 402 that is transparent.
  • controller 130 may overlap the masked first layer 402 on the second layer 501 to generate a display image.
  • an embodiment of the present invention can simultaneously display the first image and the second image, which are the entire image, and in particular, make it easier to check the recorded image of a specific part of the live image.
  • FIG. 7 is a diagram for describing a method of generating, by the controller 130, a display image according to a third method, according to an exemplary embodiment.
  • the controller 130 corresponds to the ROIs of the first partial region 403 and the second layer 501 except for the region corresponding to the ROI of the first layer 401.
  • a display image may be generated based on the second partial region 503, which is a region to be formed.
  • the controller 130 may generate the display image by merging the first partial region 403 and the second partial region 503 into one image.
  • the controller 130 may display the display image generated by the above-described method on the display 110.
  • the controller 130 may obtain an input regarding a display time point of the user's second image.
  • the controller 130 may obtain an input regarding a display time of the second image by displaying a time slider displaying at least one display time and obtaining a user input on the displayed time slider.
  • FIG. 8 is an illustration of a display screen 701 displayed on the display 110 according to an embodiment of the present invention. For convenience of explanation, it is assumed that the user has set the ROI (601 of FIG. 3) as shown in FIG. 3.
  • the screen 701 may include an image 702 of a region of interest, an image 703 of a region other than the region of interest, and a time slider 705.
  • the controller 130 may obtain an input to the knob 706 on the time slider 705 to determine a display time point of the second image displayed on the ROI 702. For example, when the user moves the knob 706 to the left of the time slider, the image of the past may be displayed in the ROI 702 rather than the current display image.
  • the user may end the viewing of the image according to the above-described method by performing an input to the end of view of the interested area button 704.
  • the controller 130 may display only one layer of the first layer and the second layer on the display 110.
  • FIG. 9 is a flowchart illustrating an image providing method performed by the image providing apparatus 100 of FIG. 1.
  • FIGS. 1 to 8 detailed descriptions of contents overlapping with those described in FIGS. 1 to 8 will be omitted.
  • the controller 130 may generate a first layer in which the first image is displayed. (S91) Similarly, the controller 130 may be configured to display a second image.
  • the first image and the second image may be different images.
  • the first image may be a live image acquired by the surveillance camera 200
  • the second image may be a recorded image acquired in the past by the same surveillance camera 200.
  • the recorded image may be an image stored in the above-described image storage device 300.
  • a 'layer' such as a first layer and a second layer may mean a virtual layer for displaying an image overlaid.
  • the second image displayed on the second layer may be covered by the first image displayed on the first layer within a range overlapping with the first layer. .
  • the controller 130 may generate a mask based on the location of the ROI in the above-described first image (S93).
  • the 'region of interest' may mean an area to be observed in an image different from the image currently viewed by the user. For example, if a user finds a suspicious person while watching a live video, the user may set a region including the person as a region of interest in the live video to observe the person's past behavior in more detail.
  • the ROI may be set based on a user input.
  • the controller 130 may set an ROI based on a user's input to the first image.
  • the controller 130 may obtain a user input for a first point on the first image and a second point different from the first point, and determine the ROI based on the input.
  • the first input and the second input may be continuous inputs.
  • 'continuous input' may mean that a plurality of inputs are connected to a drag input.
  • the first input may be an input (for example, a click, a tap or a touch) for the first point described above
  • the second input may be an input for the second point (for example, release of a drag, double-click, or double touch).
  • the controller 130 may change at least one of the location and size of the ROI determined based on a user input. For example, when a person in the region of interest moves to the right and the person no longer belongs to the region of interest, the user extends the region of interest to the right or moves the region of interest to the right to include the person to be observed in the changed region of interest. You can do that.
  • the change of the ROI may be performed by the controller 130.
  • the controller 130 may update the region of interest based on the movement position of the object of interest in the first image.
  • the user changes at least one of the location and size of the ROI in accordance with the movement of the person of interest.
  • the controller 130 recognizes the object of interest to determine the position in the image and changes at least one of the position and size of the region of interest based on the identified position. As a result, the present invention can set a more significant region of interest.
  • the controller 130 may obtain a user input for setting one or more regions of interest and set one or more regions of interest accordingly. In this case, there may be more than one region of interest for the same image.
  • the controller 130 may generate a mask based on the location of the ROI in the first image. In other words, the controller 130 may generate a mask including location information of the ROI in the first image.
  • the generated mask may be used to extract and / or exclude the remaining regions except for the region corresponding to the region of interest or the region corresponding to the region of interest in the first layer or the second layer.
  • the controller 130 may generate a display image based on at least one of the generated first layer, second layer, and mask (S94).
  • the controller 130 may generate a masked second layer by applying a mask to the second layer.
  • the controller 130 may generate a masked second layer by transparently processing a region corresponding to the remaining region except for the ROI in the second layer.
  • the controller may display only the region corresponding to the ROI and generate the second masked layer that is transparent.
  • 'transparent' a specific area of a layer may mean that an image of a layer located below the layer may be displayed through the layer. For example, as described above, the display image of the first layer under the masked second layer may be displayed in the area corresponding to the remaining region except for the ROI in the masked second layer.
  • controller 130 may generate the display image by overlapping the masked second layer on the first layer.
  • the controller 130 may generate a masked first layer by applying a mask to the first layer.
  • the controller 130 may generate a masked first layer by transparently processing an area corresponding to the ROI in the first layer.
  • the controller 130 may display only the remaining regions except for the region corresponding to the ROI, and generate the masked first layer that is the ROI.
  • controller 130 may generate the display image by overlapping the masked first layer on the second layer.
  • the controller 130 may include the first partial region, which is a region other than the region of interest of the first layer, and the second region, which is a region corresponding to the region of interest of the second layer.
  • the display image may be generated based on the partial region.
  • the controller 130 may generate the display image by merging the first partial region and the second partial region into one image.
  • the controller 130 may display the display image generated by the above-described method on the display 110. (S95) In this case, the controller 130 may display the second image of the user. An input relating to the display time point may be obtained. For example, the controller 130 may obtain an input regarding a display time of the second image by displaying a time slider displaying at least one display time and obtaining a user input on the displayed time slider.
  • the image providing method may be embodied as computer readable codes on a computer readable recording medium.
  • Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 제공 방법은, 제1 영상이 표시되는 제1 레이어(Layer)를 생성하는 단계; 상기 제1 영상과 상이한 제2 영상이 표시되는 제2 레이어를 생성하는 단계; 상기 제1 영상 내에서의 관심영역의 위치에 기초하여 마스크(Mask)를 생성하는 단계; 및 상기 제1 레이어, 상기 제2 레이어 및 상기 마스크 중 적어도 하나에 기초하여 표시 영상을 생성하는 단계;를 포함할 수 있다.

Description

영상 제공 장치 및 방법
본 발명의 실시예들은 영상 제공 장치 및 방법에 관한 것입니다.
오늘날 다수의 감시카메라가 도처에 설치되어 있고, 감시카메라가 획득한 영상에서 이벤트 발생을 감지하여 녹화, 저장 하는 기술들이 개발되고 있다.
특히 감시카메라의 설치 대수가 증가함에 따라, 복수의 카메라로부터 영상을 전송 받아 감시 대상 영역을 감시하는 다채널 영상 표시 장치 등이 활발하게 개발되고 있다.
그러나 이러한 영상 표시 장치는 라이브 영상과 녹화 영상을 서로 상이한 레이아웃과 인터페이스에 따라 제공하여 라이브 영상을 시청하던 사용자가 녹화 영상을 보기 위해서는 모드 전환을 해야 하는 등의 불편함이 있었다.
본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로써 라이브 영상에 대한 간편한 조작으로 녹화영상을 바로 확인할 수 있는 영상 제공 장치 및 방법을 제공하고자 한다.
또한 본 발명은 라이브 영상의 특정 부분에 대한 녹화영상을 확인할 수 있는 영상 제공 장치 및 방법을 제공하고자 한다.
또한 본 발명은 관심영역 또는 관심객체의 집중적인 관찰이 가능한 영상 제공 장치 및 방법을 제공하고자 한다.
나아가 본 발명은 다양한 시점의 영상을 관심영역을 중심으로 관찰할 수 있는 영상 제공 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 영상 제공 방법은, 제1 영상이 표시되는 제1 레이어(Layer)를 생성하는 단계; 상기 제1 영상과 상이한 제2 영상이 표시되는 제2 레이어를 생성하는 단계; 상기 제1 영상 내에서의 관심영역의 위치에 기초하여 마스크(Mask)를 생성하는 단계; 및 상기 제1 레이어, 상기 제2 레이어 및 상기 마스크 중 적어도 하나에 기초하여 표시 영상을 생성하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 제공 방법에 따른 상기 표시 영상을 생성하는 단계는 상기 제2 레이어에 상기 마스크를 적용하여 마스킹된 제2 레이어를 생성하는 단계; 및 상기 마스킹된 제2 레이어를 상기 제1 레이어 위에 오버랩(Overlap)하여 상기 표시 영상을 생성하는 단계;를 포함할 수 있다. 이 때 상기 마스킹된 제2 레이어를 생성하는 단계는 상기 제2 레이어에서 상기 관심영역을 제외한 나머지 영역과 대응되는 영역을 투명(透明)하게 할 수 있다.
본 발명의 다른 실시예에 따른 영상 제공 방법에 따른 상기 표시 영상을 생성하는 단계는 상기 제1 레이어에 상기 마스크를 적용하여 마스킹된 제1 레이어를 생성하는 단계; 및 상기 마스킹된 제1 레이어를 상기 제2 레이어 위에 오버랩(Overlap)하여 상기 표시 영상을 생성하는 단계;를 포함할 수 있다. 이 때 상기 마스킹된 제1 레이어를 생성하는 단계는 상기 제1 레이어에서 상기 관심영역과 대응되는 영역을 투명(透明)하게 할 수 있다.
본 발명의 다른 실시예에 따른 영상 제공 방법에 따른 상기 표시 영상을 생성하는 단계는 상기 제1 레이어의 상기 관심영역과 대응되는 영역을 제외한 나머지 영역인 제1 부분 영역 및 상기 제2 레이어의 관심영역과 대응되는 영역인 제2 부분 영역에 기초하여 상기 표시 영상을 생성할 수 있다.
상기 마스크를 생성하는 단계는, 상기 제1 영상에 대한 사용자의 입력에 기초하여 상기 관심영역을 설정하는 단계;를 포함할 수 있다.
상기 관심영역을 설정하는 단계는 상기 제1 영상 상의 제1 지점에 대한 제1 입력을 획득하는 단계; 상기 제1 영상 상의 제 2 지점에 대한 입력으로, 상기 제1 입력과 연속하는 제2 입력을 획득하는 단계; 및 상기 제1 입력 및 상기 제2 입력에 기초하여 상기 관심영역을 결정하는 단계;를 포함할 수 있다.
상기 관심영역을 설정하는 단계는 상기 관심영역을 결정하는 단계 이후에, 상기 사용자의 입력에 기초하여 상기 결정된 관심영역의 위치 및 크기 중 적어도 하나를 변경하는 단계;를 더 포함할 수 있다.
상기 마스크를 생성하는 단계는 상기 제1 영상 내에서의 관심객체의 이동 위치에 기초하여 상기 관심영역을 갱신하는 단계;를 포함할 수 있다.
상기 관심영역은 복수개이고, 상기 마스크를 생성하는 단계는 상기 복수개의 관심영역의 위치에 기초하여 마스크를 생성할 수 있다.
본 발명의 일 실시예에 따른 영상 제공 방법은, 상기 표시 영상을 디스플레이 하는 단계;를 더 포함할 수 있다.
상기 제1 영상은 라이브(Live)영상이고, 상기 제2 영상은 녹화영상이고, 상기 제2 레이어를 생성하는 단계는 사용자의 상기 제2 영상의 표시 시점에 관한 입력을 획득하는 단계;를 포함할 수 있다.
상기 디스플레이 하는 단계는 하나 이상의 표시 시점을 표시하는 타임 슬라이더(Time Slider)를 더 디스플레이하고, 상기 표시 시점에 관한 입력을 획득하는 단계는 상기 타임 슬라이더 상의 상기 사용자의 입력을 획득할 수 있다.
본 발명의 일 실시예에 따른 영상 제공 장치는, 제1 레이어(Layer), 제2 레이어 및 마스크(Mask)를 생성하고, 상기 제1 레이어, 상기 제2 레이어 및 상기 마스크 중 적어도 하나에 기초하여 표시 영상을 생성하는 제어부;를 포함할 수 있다.
상기 제어부는 제1 영상이 표시되는 상기 제1 레이어를 생성하고, 상기 제1 영상과 상이한 제2 영상이 표시되는 상기 제2 레이어를 생성하고, 상기 제1 영상 내에서의 관심영역의 위치에 기초하여 상기 마스크를 생성하고, 상기 제1 레이어, 상기 제2 레이어 및 상기 마스크 중 적어도 하나에 기초하여 표시 영상을 생성할 수 있다.
상기 제어부는 상기 제2 레이어에 상기 마스크를 적용하여 마스킹된 제2 레이어를 생성하고, 상기 마스킹된 제2 레이어를 상기 제1 레이어 위에 오버랩(Overlap)하여 상기 표시 영상을 생성하고, 상기 마스킹된 제2 레이어는 상기 제2 레이어에서 상기 관심영역을 제외한 나머지 영역과 대응되는 영역이 투명(透明)처리된 레이어일 수 있다.
상기 제어부는 상기 제1 레이어에 상기 마스크를 적용하여 마스킹된 제1 레이어를 생성하고, 상기 마스킹된 제1 레이어를 상기 제2 레이어 위에 오버랩(Overlap)하여 상기 표시 영상을 생성하고, 상기 마스킹된 제1 레이어는 상기 제1 레이어에서 상기 관심영역과 대응되는 영역이 투명(透明)처리된 레이어일 수 있다.
상기 제어부는 상기 제1 레이어의 상기 관심영역과 대응되는 영역을 제외한 나머지 영역인 제1 부분 영역 및 상기 제2 레이어의 관심영역과 대응되는 영역인 제2 부분 영역에 기초하여 상기 표시 영상을 생성할 수 있다.
상기 제어부는 상기 제1 영상에 대한 사용자의 입력에 기초하여 상기 관심영역을 설정할 수 있다.
상기 제어부는 상기 제1 영상 내에서의 관심객체의 이동 위치에 기초하여 상기 관심영역을 갱신할 수 있다.
상기 관심영역은 복수개이고, 상기 제어부는 상기 복수개의 관심영역의 위치에 기초하여 마스크를 생성할 수 있다.
상기 제어부는 상기 표시 영상을 디스플레이부에 디스플레이 할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예들에 따르면 라이브 영상에 대한 간편한 조작으로 녹화영상을 바로 확인할 수 있는 영상 제공 장치 및 방법을 구현할 수 있다.
또한 본 발명의 실시예들에 따르면 라이브 영상의 특정 부분에 대한 녹화영상을 확인할 수 있는 영상 제공 장치 및 방법을 구현할 수 있다.
또한 본 발명의 실시예들에 따르면 관심영역 또는 관심객체의 집중적인 관찰이 가능한 영상 제공 장치 및 방법을 구현할 수 있다.
나아가 본 발명의 실시예들에 따르면 다양한 시점의 영상을 관심영역을 중심으로 관찰할 수 있는 영상 제공 장치 및 방법을 구현할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 영상 제공 시스템을 개략적으로 도시한다.
도 2 는 본 발명의 일 실시예에 따른 영상 제공 장치의 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 제어부가 사용자의 입력에 기초하여 관심영역을 설정하는 예시이다.
도 4는 제어부가 생성한 마스크의 예시이다.
도 5a 내지 도 5b는 본 발명의 일 실시예에 따른 제어부가 제1 방법에 따라 표시 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 6a 내지 도 6b는 본 발명의 일 실시예에 따른 제어부가 제2 방법에 따라 표시 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 제어부가 제3 방법에 따라 표시 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 디스플레이부에 표시되는 표시 영상의 예시이다.
도 9는 도 1의 영상 제공 장치에 의해 수행되는 영상 제공 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따른 영상 제공 방법은, 제1 영상이 표시되는 제1 레이어(Layer)를 생성하는 단계; 상기 제1 영상과 상이한 제2 영상이 표시되는 제2 레이어를 생성하는 단계; 상기 제1 영상 내에서의 관심영역의 위치에 기초하여 마스크(Mask)를 생성하는 단계; 및 상기 제1 레이어, 상기 제2 레이어 및 상기 마스크 중 적어도 하나에 기초하여 표시 영상을 생성하는 단계;를 포함할 수 있다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 제공 시스템을 개략적으로 도시한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 제공 시스템은 영상 제공 장치(100), 감시카메라(200) 및 영상 저장 장치(300)를 포함할 수 있다.
본 발명의 일 실시예에 따른 감시카메라(surveillance camera)(200)는 렌즈 및 이미지 센서를 포함하는 장치 일 수 있다. 렌즈는 1매 이상의 렌즈로 구성되는 렌즈군일 수 있다. 이미지 센서는 렌즈에 의하여 입력된 영상을 전기적 신호로 변환할 수 있다. 예컨대 이미지 센서는 CCD(Charge-Coupled Device) 또는 CMOS (Complementary Metal Oxide Semiconductor)와 같이 광학 신호를 전기적 신호(이하 영상으로 설명함)로 변환할 수 있는 반도체 소자일 수 있다.
감시카메라(200)는 촬영 대상 공간에 대한 RGB로 구성된 영상, 적외선 영상 또는 거리 정보를 포함하는 거리 영상 등을 제공하는 카메라 일 수도 있다.
한편 감시카메라(200)는 이벤트 검출 수단을 더 포함할 수 있다. 이벤트 검출 수단은 예컨대, PIR센서, 적외선 센서 등과 같이 사람 및/또는 동물의 움직임을 검출하는 수단일 수 있다. 이벤트 검출 수단은 온도센서, 습도센서, 가스센서 등과 같이 환경의 변화를 검출하는 수단일 수 있다. 또한 이벤트 검출 수단은 시간의 흐름에 따라 획득된 전/후 영상을 비교함으로써, 이벤트 발생 여부를 판단하는 수단일 수도 있다. 다만 이는 예시적인 것으로, 본 발명에 따른 영상 제공 시스템이 설치되는 장소 및/또는 목적에 따라 달라질 수 있다.
감시카메라(200)는 감시 대상 영역에 설치될 수 있다. 이 때 감시 대상 영역은 관리자의 관리가 필요한 다양한 공간일 수 있다. 예컨대, 감시 대상 영역은 사무실, 공공시설, 학교, 주택과 같이 물품 도난의 우려가 있는 공간일 수 있다. 또한 감시 대상 영역은 공장, 발전소, 설비실과 같이 사고 발생의 우려가 있는 공간일 수 있다. 다만 이는 예시적인 것으로, 본 발명의 사상이 이에 제한되는 것은 아니다.
감시카메라(200)는 네트워크를 통하여 획득한 영상을 영상 제공 장치(100) 및/또는 영상 저장 장치(300)에 전송할 수 있다. 본 발명에서 설명되는 네트워크는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(global system for mobile communication network; GSM) 네트워크, 범용 패킷 무선 네트워크(general packet radio network; GPRS), 근거리 네트워크(local area network; LAN), 광역 네트워크(wide area network; WAN), 거대도시 네트워크(metropolitan area network; MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(public switched telephone network; PSTN), 개인 네트워크(personal area network), 블루투스, Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초 광 대역(Ultra Wide band), 이들의 조합, 또는 임의의 다른 네트워크일 수 있지만 이들로 한정되는 것은 아니다.
본 발명에서 감시카메라(200)는 하나 이상일 수 있다. 다만 이하에서는 설명의 편의를 위하여 감시카메라(200)가 단수인 것을 전제로 설명한다.
본 발명의 일 실시예에 따른 영상 저장 장치(300)는 감시카메라(200)가 획득한 영상, 이미지 및 음향 등의 멀티 미디어 개체를 네트워크를 통하여 감시카메라(200)로부터 전송 받아 저장할 수 있다. 또한 영상 저장 장치(300)는 영상 저장 장치(300)에 저장된 영상, 이미지 및 음향 등의 멀티 미디어 개체를 영상 제공 장치(100)의 요청에 따라 제공할 수 있다.
영상 저장 장치(300)는 전자통신장비에서 다루어지는 정보를 저장하였다가 다시 제공할 수 있도록 하는 다양한 수단일 수 있다. 가령 영상 저장 장치(300)는 VMS(Video Management System), CMS(Central Management System), NVR(Network Video Recorder) 및 DVR(Digital Video Recorder)중 어느 하나일 수 있다. 물론 영상 저장 장치(300)는 퍼스널 컴퓨터(Personal Computer, PC)일 수도 있고 휴대용 단말일 수도 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 제한되는 것은 아니며, 네트워크를 통하여 감시카메라(200)가 획득한 영상을 수신하여 디스플레이 및/또는 저장 할 수 있는 장치이면 본 발명의 영상 저장 장치(300)로 제한 없이 사용될 수 있다.
한편 영상 저장 장치(300)는 네트워크 상에서 영상 저장 장치(300)를 식별할 수 있는 고유의 식별자, 즉 저장장치 식별자를 가질 수 있다. 이 때 저장장치 식별자는 예컨대, 영상 저장 장치(300)의 IP 주소(IP address) 및 MAC 주소(Mac Address)중 어느 하나일 수 있다. 한편 본 발명에서 영상 저장 장치(300)는 하나 이상일 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 제공 장치(100)의 구성을 개략적으로 도시한다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 제공 장치(100)는 디스플레이부(110), 통신부(120), 제어부(130) 및 메모리(140)를 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이부(110)는 제어부(130)가 생성한 전기 신호에 따라 도형, 문자 또는 영상을 표시하는 표시장치를 의미할 수 있다. 예컨대, 디스플레이부(110)는 CRT(Cathode Ray Tube), LCD(Liquid Crystal Display), PDP (Plasma Display Panel), LED(Light-Emitting Diode) 및 OLED(Organic Light Emitting Diode) 중 어느 하나로 구성될 수 있으나, 본 발명의 사상은 이에 제한되지 않는다.
본 발명의 일 실시예에 따른 통신부(120)는 영상 제공 장치(100)가 감시카메라(200) 및 영상 저장 장치(300)와 같은 외부장치와 유무선 연결을 통해 제어 신호 및/또는 영상을 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
본 발명의 일 실시예에 따른 제어부(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 메모리(140)는 영상 제공 장치(100)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
한편 본 발명의 일 실시예에 따른 영상 제공 장치(100)는 전술한 영상 저장 장치(300)에 포함된 장치일 수 있다. 가령 영상 제공 장치(100)는 VMS(Video Management System), CMS(Central Management System), NVR(Network Video Recorder) 및 DVR(Digital Video Recorder)중 어느 하나에 포함된 장치일 수 있다. 또한 영상 제공 장치(100)는 감시카메라(200)에 포함된 장치일 수도 있다. 다만 이하에서는 설명의 편의를 위하여 영상 제공 장치(100)가 독립된 장치인 것을 전제로 설명한다.
본 발명의 일 실시예에 따른 제어부(130)는 제1 레이어(Layer), 제2 레이어 및 마스크(Mask)를 생성하고, 제1 레이어, 제2 레이어 및 마스크 중 적어도 하나에 기초하여 표시 영상을 생성할 수 있다.
이를 위하여 본 발명의 일 실시예에 따른 제어부(130)는 제1 영상이 표시되는 제1 레이어(Layer)를 생성할 수 있다. 또한 이와 유사하게 제어부(130)는 제2 영상이 표시되는 제2 레이어를 생성할 수 있다.
이 때 제1 영상과 제2 영상은 상이한 영상일 수 있다. 가령, 제1 영상은 감시카메라가(200)가 획득한 라이브(Live) 영상이고, 제2 영상은 동일한 감시카메라(200)가 과거에 획득한 녹화영상일 수 있다. 이 때 녹화영상은 전술한 영상 저장 장치(300)에 저장된 영상일 수 있다.
한편 본 발명에서 제1 레이어 및 제2 레이어와 같은 '레이어'는 영상을 겹쳐서 표시하기 위한 가상의 층을 의미할 수 있다. 가령 제1 레이어가 제2 레이어 위에 오버랩(Overlap) 되는 경우, 제2 레이어에 표시되는 제2 영상은 제1 레이어와 중첩되는 범위 내에서 제1 레이어에 표시되는 제1 영상에 의해 가려질 수 있다.
본 발명의 일 실시예에 따른 제어부(130)는 전술한 제1 영상 내에서의 관심영역의 위치에 기초하여 마스크(Mask)를 생성할 수 있다.
본 발명에서 '관심영역'은 사용자가 현재 시청하고 있는 영상과 촬영 시점이 상이한 영상에서 관찰하고자 하는 영역을 의미할 수 있다. 가령, 사용자가 라이브 영상을 시청하던 중, 행동이 수상한 사람을 발견한 경우 사용자는 그 사람의 과거 행동을 보다 상세하게 관찰하기 위해 라이브 영상에서 그 사람을 포함하는 영역을 관심영역으로 설정할 수 있다.
이와 같이 관심영역은 사용자의 입력에 기초하여 설정될 수 있다. 바꾸어 말하면 제어부(130)는 제1 영상에 대한 사용자의 입력에 기초하여 관심영역을 설정할 수 있다.
도 3은 본 발명의 일 실시예에 따른 제어부(130)가 사용자의 입력에 기초하여 관심영역(601)을 설정하는 예시이다.
도 3을 참조하여, 사용자가 라이브 영상(400)을 시청하던 중, 행동이 수상한 사람을 발견하였다고 가정한다. 이러한 경우, 사용자는 라이브 영상(400)에 대한 입력을 수행하여 관심영역(601)을 설정할 수 있다.
보다 상세히, 제어부(130)는 제1 영상 상의 제1 지점(601a) 및 제1 지점(601a)과 상이한 제2 지점(601b)에 대한 사용자의 입력을 획득하고, 이에 기초하여 관심영역(601)을 결정할 수 있다. 이 때 제1 입력과 제2 입력은 연속하는 입력일 수 있다.
본 발명에서 '연속하는 입력'은 복수의 입력이 드래그(Drag)입력으로 연결되는 것을 의미할 수 있다. 가령 제1 입력은 전술한 제1 지점에 대한 입력(가령 클릭, 탭 또는 터치)이고, 제2 입력은 전술한 제2 지점에 대한 입력(가령 드래그의 해제, 더블클릭 또는 더블터치)일 수 있다.
도 3의 경우, 사용자는 라이브 영상(400)에서 제1 지점(601a) 및 제2 지점(601b)에 대한 입력을 수행하여 관심영역(601)을 설정할 수 있다.
본 발명의 일 실시예에 따른 제어부(130)는 사용자의 입력에 기초하여 결정된 관심영역의 위치 및 크기 중 적어도 하나를 변경할 수 있다. 가령 도 3에서 관심영역(601) 내의 사람이 우측으로 이동하여 사람이 더 이상 관심영역(601)에 속하지 않게 된 경우, 사용자는 관심영역(601)을 우측으로 확장시키거나 또는 관심영역(601)을 우측으로 이동시켜 관찰하고자 하는 사람이 변경된 관심영역(미도시)내에 포함되도록 할 수 있다.
한편 이와 같은 관심영역의 변경은 제어부(130)에 의해 수행될 수도 있다. 보다 상세히, 본 발명의 일 실시예에 따른 제어부(130)는 제1 영상 내에서의 관심객체의 이동 위치에 기초하여 관심영역을 갱신할 수 있다. 전술한 예시에서는, 관심객체인 사람의 이동에 따라 사용자가 관심영역(601)의 위치 및 크기 중 적어도 하나를 변경하였다. 그러나 본 예시에서는 제어부(130)가 관심객체를 인식하여 영상 내에서의 위치를 파악하고, 파악된 위치에 기초하여 관심영역의 위치 및 크기 중 적어도 하나를 변경할 수 있다. 이로써 본 발명은 보다 유의미한 관심영역을 설정할 수 있다.
한편 제어부(130)는 하나 이상의 관심영역을 설정하기 위한 사용자의 입력을 획득하고, 이에 대응하여 하나 이상의 관심영역을 설정할 수도 있다. 이러한 경우 동일한 영상에 대한 관심영역이 하나 이상일 수 있다.
본 발명의 일 실시예에 따른 제어부(130)는 제1 영상 내에서의 관심영역의 위치에 기초하여 마스크(Mask)를 생성할 수 있다. 바꾸어 말하면, 제어부(130)는 제1 영상 내에서의 관심영역의 위치정보를 포함하는 마스크를 생성할 수 있다.
도 4는 제어부(130)가 생성한 마스크(602)의 예시이다.
가령, 사용자가 도 3과 같이 라이브 영상(도 3의 400)에 대해 관심영역(도 3의 601)을 설정하였다고 가정해보자.
이러한 경우 제어부(130)는 라이브 영상(도 3의 400) 내에서의 관심영역(도 3의 601)의 위치정보(603)를 포함하는 마스크(602)를 생성할 수 있다.
생성된 마스크는 제1 레이어 또는 제2 레이어에서 관심영역에 대응되는 영역 또는 관심영역에 대응되는 영역을 제외한 나머지 영역을 추출 및/또는 배제 하는데 사용될 수 있다. 이에 대한 상세한 설명은 후술한다.
본 발명의 일 실시예에 따른 제어부(130)는 생성된 제1 레이어, 제2 레이어 및 마스크 중 적어도 하나에 기초하여 표시 영상을 생성할 수 있다.
도 5a 내지 도 7은 제어부(130)가 표시 영상을 생성하는 다양한 방법을 설명하기 위한 도면이다.
도 5a 내지 도 5b는 본 발명의 일 실시예에 따른 제어부(130)가 제1 방법에 따라 표시 영상을 생성하는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 제어부(130)는 제2 레이어(501)에 마스크(602a)를 적용하여 마스킹된 제2 레이어(502)를 생성할 수 있다. 보다 상세히, 제어부(130)는 제2 레이어(501)에서 관심영역을 제외한 나머지 영역과 대응되는 영역을 투명(透明)하게 처리하여 마스킹된 제2 레이어(502)를 생성할 수 있다. 바꾸어 말하면 제어부(130)는 관심영역과 대응되는 영역만이 표시되고, 나머지 영역은 투명인 마스킹된 제2 레이어(502)를 생성할 수 있다.
한편 본 발명에서 레이어의 특정 영역을 '투명'하게 하는 것은, 해당 레이어의 아래에 위치하는 레이어의 영상이 해당 레이어를 투과하여 표시될 수 있도록 하는 것을 의미할 수 있다. 가령 전술한 바와 같이 마스킹된 제2 레이어(502)에서 관심영역을 제외한 나머지 영역과 대응되는 영역에 대하여는 마스킹된 제2 레이어(502)의 아래에 있는 제1 레이어(401)의 표시 영상이 표시될 수 있다.
이후 제어부(130)는 마스킹된 제2 레이어(502)를 제1 레이어(401) 위에 오버랩(Overlap)하여 표시 영상을 생성할 수 있다.
이로써 본 발명의 일 실시예는 전체영상인 제1 영상과 부분영상인 제2 영상을 동시에 표시할 수 있으며, 특히 라이브 영상의 특정 부분에 대한 녹화영상을 보다 간편하게 확인할 수 있도록 한다.
도 6a 내지 도 6b는 본 발명의 일 실시예에 따른 제어부(130)가 제2 방법에 따라 표시 영상을 생성하는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 제어부(130)는 제1 레이어(501)에 마스크(602b)를 적용하여 마스킹된 제1 레이어(402)를 생성할 수 있다. 보다 상세히, 제어부(130)는 제1 레이어(401)에서 관심영역과 대응되는 영역을 투명(透明)하게 처리하여 마스킹된 제1 레이어(402)를 생성할 수 있다. 바꾸어 말하면 제어부(130)는 관심영역과 대응되는 영역을 제외한 나머지 영역만이 표시되고, 관심영역은 투명인 마스킹된 제1 레이어(402)를 생성할 수 있다.
이후 제어부(130)는 마스킹된 제1 레이어(402)를 제2 레이어(501) 위에 오버랩(Overlap)하여 표시 영상을 생성할 수 있다.
이로써 본 발명의 일 실시예는 전체영상인 제1 영상과 부분영상인 제2 영상을 동시에 표시할 수 있으며, 특히 라이브 영상의 특정 부분에 대한 녹화영상을 보다 간편하게 확인할 수 있도록 한다.
도 7은 본 발명의 일 실시예에 따른 제어부(130)가 제3 방법에 따라 표시 영상을 생성하는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 제어부(130)는 제1 레이어(401)의 관심영역과 대응되는 영역을 제외한 나머지 영역인 제1 부분 영역(403) 및 제2 레이어(501)의 관심영역과 대응되는 영역인 제2 부분 영역(503)에 기초하여 표시 영상을 생성할 수 있다. 바꾸어 말하면, 제어부(130)는 제1 부분 영역(403)과 제2 부분 영역(503)을 하나의 영상으로 병합하여 표시 영상을 생성할 수 있다.
본 발명의 일 실시예에 따른 제어부(130)는 전술한 방법에 의해 생성된 표시 영상을 디스플레이부(110)에 표시할 수 있다.
이 때 제어부(130)는 사용자의 제2 영상의 표시 시점에 관한 입력을 획득할 수 있다. 예컨대 제어부(130)는 하나 이상의 표시 시점을 표시하는 타임 슬라이더(Time Slider)를 디스플레이 하고, 표시된 타임 슬라이더 상의 사용자 입력을 획득하는 방법으로 제2 영상의 표시 시점에 관한 입력을 획득할 수 있다.
도 8은 본 발명의 일 실시예에 따른 디스플레이부(110)에 표시되는 표시 화면(701)의 예시이다. 설명의 편의를 위하여 사용자가 도 3에 도시된 바와 같이 관심영역(도 3의 601)을 설정하였다고 가정한다.
이러한 경우 화면(701)은 관심영역에 대한 영상(702), 관심영역에 외의 영역에 대한 영상(703), 타임 슬라이더(705)를 포함할 수 있다.
전술한 바와 같이 제어부(130)는 타임 슬라이더(705) 상의 노브(706)에 대한 입력을 획득하여 관심영역(702)에 표시되는 제2 영상의 표시 시점을 결정할 수 있다. 가령 사용자가 노브(706)를 타임 슬라이더의 왼쪽으로 이동시킨 경우, 관심영역(702)에는 현재 표시 영상보다 과거의 영상이 표시될 수 있다.
한편 사용자는 관심영역 보기 종료 버튼(704)에 대한 입력을 수행함으로써, 전술한 방법에 따른 영상 시청을 종료할 수 있다. 영상 시청이 종료된 경우 제어부(130)는 제1 레이어 및 제2 레이어 중 어느 하나의 레이어 만을 디스플레이부(110)에 표시할 수 있다.
도 9는 도 1의 영상 제공 장치(100)에 의해 수행되는 영상 제공 방법을 설명하기 위한 흐름도이다. 이하에서는 도 1 내지 도 8에서 설명한 내용과 중복하는 내용의 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 제어부(130)는 제1 영상이 표시되는 제1 레이어(Layer)를 생성할 수 있다.(S91) 또한 이와 유사하게 제어부(130)는 제2 영상이 표시되는 제2 레이어를 생성할 수 있다.(S92) 이 때 제1 영상과 제2 영상은 상이한 영상일 수 있다. 가령, 제1 영상은 감시카메라가(200)가 획득한 라이브(Live) 영상이고, 제2 영상은 동일한 감시카메라(200)가 과거에 획득한 녹화영상일 수 있다. 이 때 녹화영상은 전술한 영상 저장 장치(300)에 저장된 영상일 수 있다. 한편 본 발명에서 제1 레이어 및 제2 레이어와 같은 '레이어'는 영상을 겹쳐서 표시하기 위한 가상의 층을 의미할 수 있다. 가령 제1 레이어가 제2 레이어 위에 오버랩(Overlap) 되는 경우, 제2 레이어에 표시되는 제2 영상은 제1 레이어와 중첩되는 범위 내에서 제1 레이어에 표시되는 제1 영상에 의해 가려질 수 있다.
본 발명의 일 실시예에 따른 제어부(130)는 전술한 제1 영상 내에서의 관심영역의 위치에 기초하여 마스크(Mask)를 생성할 수 있다.(S93)
본 발명에서 '관심영역'은 사용자가 현재 시청하고 있는 영상과 촬영 시점이 상이한 영상에서 관찰하고자 하는 영역을 의미할 수 있다. 가령, 사용자가 라이브 영상을 시청하던 중, 행동이 수상한 사람을 발견한 경우 사용자는 그 사람의 과거 행동을 보다 상세하게 관찰하기 위해 라이브 영상에서 그 사람을 포함하는 영역을 관심영역으로 설정할 수 있다.
이와 같이 관심영역은 사용자의 입력에 기초하여 설정될 수 있다. 바꾸어 말하면 제어부(130)는 제1 영상에 대한 사용자의 입력에 기초하여 관심영역을 설정할 수 있다.
보다 상세히, 제어부(130)는 제1 영상 상의 제1 지점 및 제1 지점과 상이한 제2 지점에 대한 사용자의 입력을 획득하고, 이에 기초하여 관심영역을 결정할 수 있다. 이 때 제1 입력과 제2 입력은 연속하는 입력일 수 있다.
본 발명에서 '연속하는 입력'은 복수의 입력이 드래그(Drag)입력으로 연결되는 것을 의미할 수 있다. 가령 제1 입력은 전술한 제1 지점에 대한 입력(가령 클릭, 탭 또는 터치)이고, 제2 입력은 전술한 제2 지점에 대한 입력(가령 드래그의 해제, 더블클릭 또는 더블터치)일 수 있다.
한편, 본 발명의 일 실시예에 따른 제어부(130)는 사용자의 입력에 기초하여 결정된 관심영역의 위치 및 크기 중 적어도 하나를 변경할 수 있다. 가령 관심영역 내의 사람이 우측으로 이동하여 사람이 더 이상 관심영역에 속하지 않게 된 경우, 사용자는 관심영역을 우측으로 확장시키거나 또는 관심영역을 우측으로 이동시켜 관찰하고자 하는 사람이 변경된 관심영역내에 포함되도록 할 수 있다.
한편 이와 같은 관심영역의 변경은 제어부(130)에 의해 수행될 수도 있다. 보다 상세히, 본 발명의 일 실시예에 따른 제어부(130)는 제1 영상 내에서의 관심객체의 이동 위치에 기초하여 관심영역을 갱신할 수 있다. 전술한 예시에서는, 관심객체인 사람의 이동에 따라 사용자가 관심영역의 위치 및 크기 중 적어도 하나를 변경하였다. 그러나 본 예시에서는 제어부(130)가 관심객체를 인식하여 영상 내에서의 위치를 파악하고, 파악된 위치에 기초하여 관심영역의 위치 및 크기 중 적어도 하나를 변경한다. 이로써 본 발명은 보다 유의미한 관심영역을 설정할 수 있다.
한편 제어부(130)는 하나 이상의 관심영역을 설정하기 위한 사용자의 입력을 획득하고, 이에 대응하여 하나 이상의 관심영역을 설정할 수도 있다. 이러한 경우 동일한 영상에 대한 관심영역이 하나 이상일 수 있다.
본 발명의 일 실시예에 따른 제어부(130)는 제1 영상 내에서의 관심영역의 위치에 기초하여 마스크(Mask)를 생성할 수 있다. 바꾸어 말하면, 제어부(130)는 제1 영상 내에서의 관심영역의 위치정보를 포함하는 마스크를 생성할 수 있다.
생성된 마스크는 제1 레이어 또는 제2 레이어에서 관심영역에 대응되는 영역 또는 관심영역에 대응되는 영역을 제외한 나머지 영역을 추출 및/또는 배제 하는데 사용될 수 있다.
본 발명의 일 실시예에 따른 제어부(130)는 생성된 제1 레이어, 제2 레이어 및 마스크 중 적어도 하나에 기초하여 표시 영상을 생성할 수 있다.(S94)
일 예로, 본 발명의 일 실시예에 따른 제어부(130)는 제2 레이어에 마스크를 적용하여 마스킹된 제2 레이어를 생성할 수 있다. 보다 상세히, 제어부(130)는 제2 레이어에서 관심영역을 제외한 나머지 영역과 대응되는 영역을 투명(透明)하게 처리하여 마스킹된 제2 레이어를 생성할 수 있다. 바꾸어 말하면 제어부는 관심영역과 대응되는 영역만이 표시되고, 나머지 영역은 투명인 마스킹된 제2 레이어를 생성할 수 있다. 한편 본 발명에서 레이어의 특정 영역을 '투명'하게 하는 것은, 해당 레이어의 아래에 위치하는 레이어의 영상이 해당 레이어를 투과하여 표시될 수 있도록 하는 것을 의미할 수 있다. 가령 전술한 바와 같이 마스킹된 제2 레이어에서 관심영역을 제외한 나머지 영역과 대응되는 영역에 대하여는 마스킹된 제2 레이어의 아래에 있는 제1 레이어의 표시 영상이 표시될 수 있다.
이후 제어부(130)는 마스킹된 제2 레이어를 제1 레이어 위에 오버랩(Overlap)하여 표시 영상을 생성할 수 있다.
다른 예로, 본 발명의 일 실시예에 따른 제어부(130)는 제1 레이어에 마스크를 적용하여 마스킹된 제1 레이어를 생성할 수 있다. 보다 상세히, 제어부(130)는 제1 레이어에서 관심영역과 대응되는 영역을 투명(透明)하게 처리하여 마스킹된 제1 레이어를 생성할 수 있다. 바꾸어 말하면 제어부(130)는 관심영역과 대응되는 영역을 제외한 나머지 영역만이 표시되고, 관심영역은 투명인 마스킹된 제1 레이어를 생성할 수 있다.
이후 제어부(130)는 마스킹된 제1 레이어를 제2 레이어 위에 오버랩(Overlap)하여 표시 영상을 생성할 수 있다.
또 다른 예로, 본 발명의 일 실시예에 따른 제어부(130)는 제1 레이어의 관심영역과 대응되는 영역을 제외한 나머지 영역인 제1 부분 영역 및 제2 레이어의 관심영역과 대응되는 영역인 제2 부분 영역에 기초하여 표시 영상을 생성할 수 있다. 바꾸어 말하면, 제어부(130)는 제1 부분 영역과 제2 부분 영역을 하나의 영상으로 병합하여 표시 영상을 생성할 수 있다.
본 발명의 일 실시예에 따른 제어부(130)는 전술한 방법에 의해 생성된 표시 영상을 디스플레이부(110)에 표시할 수 있다.(S95) 이 때 제어부(130)는 사용자의 제2 영상의 표시 시점에 관한 입력을 획득할 수 있다. 예컨대 제어부(130)는 하나 이상의 표시 시점을 표시하는 타임 슬라이더(Time Slider)를 디스플레이 하고, 표시된 타임 슬라이더 상의 사용자 입력을 획득하는 방법으로 제2 영상의 표시 시점에 관한 입력을 획득할 수 있다.
본 발명의 실시예에 따른 영상 제공 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다.

Claims (20)

  1. 제1 영상이 표시되는 제1 레이어(Layer)를 생성하는 단계;
    상기 제1 영상과 상이한 제2 영상이 표시되는 제2 레이어를 생성하는 단계;
    상기 제1 영상 내에서의 관심영역의 위치에 기초하여 마스크(Mask)를 생성하는 단계; 및
    상기 제1 레이어, 상기 제2 레이어 및 상기 마스크 중 적어도 하나에 기초하여 표시 영상을 생성하는 단계;를 포함하는 영상 제공 방법.
  2. 제1 항에 있어서
    상기 표시 영상을 생성하는 단계는
    상기 제2 레이어에 상기 마스크를 적용하여 마스킹된 제2 레이어를 생성하는 단계; 및
    상기 마스킹된 제2 레이어를 상기 제1 레이어 위에 오버랩(Overlap)하여 상기 표시 영상을 생성하는 단계;를 포함하고,
    상기 마스킹된 제2 레이어를 생성하는 단계는
    상기 제2 레이어에서 상기 관심영역을 제외한 나머지 영역과 대응되는 영역을 투명(透明)하게 하는, 영상 제공 방법.
  3. 제1 항에 있어서
    상기 표시 영상을 생성하는 단계는
    상기 제1 레이어에 상기 마스크를 적용하여 마스킹된 제1 레이어를 생성하는 단계; 및
    상기 마스킹된 제1 레이어를 상기 제2 레이어 위에 오버랩(Overlap)하여 상기 표시 영상을 생성하는 단계;를 포함하고,
    상기 마스킹된 제1 레이어를 생성하는 단계는
    상기 제1 레이어에서 상기 관심영역과 대응되는 영역을 투명(透明)하게 하는, 영상 제공 방법.
  4. 제1 항에 있어서
    상기 표시 영상을 생성하는 단계는
    상기 제1 레이어의 상기 관심영역과 대응되는 영역을 제외한 나머지 영역인 제1 부분 영역 및 상기 제2 레이어의 관심영역과 대응되는 영역인 제2 부분 영역에 기초하여 상기 표시 영상을 생성하는, 영상 제공 방법.
  5. 제1 항에 있어서
    상기 마스크를 생성하는 단계는,
    상기 제1 영상에 대한 사용자의 입력에 기초하여 상기 관심영역을 설정하는 단계;를 포함하는, 영상 제공 방법.
  6. 제5 항에 있어서
    상기 관심영역을 설정하는 단계는
    상기 제1 영상 상의 제1 지점에 대한 제1 입력을 획득하는 단계;
    상기 제1 영상 상의 제 2 지점에 대한 입력으로, 상기 제1 입력과 연속하는 제2 입력을 획득하는 단계; 및
    상기 제1 입력 및 상기 제2 입력에 기초하여 상기 관심영역을 결정하는 단계;를 포함하는, 영상 제공 방법.
  7. 제6 항에 있어서
    상기 관심영역을 설정하는 단계는
    상기 관심영역을 결정하는 단계 이후에,
    상기 사용자의 입력에 기초하여 상기 결정된 관심영역의 위치 및 크기 중 적어도 하나를 변경하는 단계;를 더 포함하는, 영상 제공 방법.
  8. 제6 항에 있어서
    상기 마스크를 생성하는 단계는
    상기 제1 영상 내에서의 관심객체의 이동 위치에 기초하여 상기 관심영역을 갱신하는 단계;를 포함하는, 영상 제공 방법.
  9. 제1 항에 있어서
    상기 관심영역은 복수개이고,
    상기 마스크를 생성하는 단계는
    상기 복수개의 관심영역의 위치에 기초하여 마스크를 생성하는, 영상 제공 방법.
  10. 제1 항에 있어서
    상기 표시 영상을 디스플레이 하는 단계;를 더 포함하는, 영상 제공 방법.
  11. 제10 항에 있어서
    상기 제1 영상은 라이브(Live)영상이고, 상기 제2 영상은 녹화영상이고,
    상기 제2 레이어를 생성하는 단계는
    사용자의 상기 제2 영상의 표시 시점에 관한 입력을 획득하는 단계;를 포함하는, 영상 제공 방법.
  12. 제11 항에 있어서
    상기 디스플레이 하는 단계는
    하나 이상의 표시 시점을 표시하는 타임 슬라이더(Time Slider)를 더 디스플레이하고,
    상기 표시 시점에 관한 입력을 획득하는 단계는 상기 타임 슬라이더 상의 상기 사용자의 입력을 획득하는, 영상 제공 방법.
  13. 제1 레이어(Layer), 제2 레이어 및 마스크(Mask)를 생성하고, 상기 제1 레이어, 상기 제2 레이어 및 상기 마스크 중 적어도 하나에 기초하여 표시 영상을 생성하는 제어부;를 포함하고,
    상기 제어부는
    제1 영상이 표시되는 상기 제1 레이어를 생성하고,
    상기 제1 영상과 상이한 제2 영상이 표시되는 상기 제2 레이어를 생성하고,
    상기 제1 영상 내에서의 관심영역의 위치에 기초하여 상기 마스크를 생성하고,
    상기 제1 레이어, 상기 제2 레이어 및 상기 마스크 중 적어도 하나에 기초하여 표시 영상을 생성하는, 영상 제공 장치.
  14. 제13 항에 있어서
    상기 제어부는
    상기 제2 레이어에 상기 마스크를 적용하여 마스킹된 제2 레이어를 생성하고,
    상기 마스킹된 제2 레이어를 상기 제1 레이어 위에 오버랩(Overlap)하여 상기 표시 영상을 생성하고,
    상기 마스킹된 제2 레이어는
    상기 제2 레이어에서 상기 관심영역을 제외한 나머지 영역과 대응되는 영역이 투명(透明)처리된 레이어인, 영상 제공 장치.
  15. 제13 항에 있어서
    상기 제어부는
    상기 제1 레이어에 상기 마스크를 적용하여 마스킹된 제1 레이어를 생성하고,
    상기 마스킹된 제1 레이어를 상기 제2 레이어 위에 오버랩(Overlap)하여 상기 표시 영상을 생성하고,
    상기 마스킹된 제1 레이어는
    상기 제1 레이어에서 상기 관심영역과 대응되는 영역이 투명(透明)처리된 레이어인, 영상 제공 장치.
  16. 제13 항에 있어서
    상기 제어부는
    상기 제1 레이어의 상기 관심영역과 대응되는 영역을 제외한 나머지 영역인 제1 부분 영역 및 상기 제2 레이어의 관심영역과 대응되는 영역인 제2 부분 영역에 기초하여 상기 표시 영상을 생성하는, 영상 제공 장치.
  17. 제13 항에 있어서
    상기 제어부는
    상기 제1 영상에 대한 사용자의 입력에 기초하여 상기 관심영역을 설정하는, 영상 제공 장치.
  18. 제17 항에 있어서
    상기 제어부는
    상기 제1 영상 내에서의 관심객체의 이동 위치에 기초하여 상기 관심영역을 갱신하는, 영상 제공 장치.
  19. 제13 항에 있어서
    상기 관심영역은 복수개이고,
    상기 제어부는
    상기 복수개의 관심영역의 위치에 기초하여 마스크를 생성하는, 영상 제공 장치.
  20. 제13 항에 있어서
    상기 제어부는
    상기 표시 영상을 디스플레이부에 디스플레이 하는, 영상 제공 장치.
PCT/KR2016/012792 2016-11-03 2016-11-08 영상 제공 장치 및 방법 WO2018084347A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/329,462 US10643304B2 (en) 2016-11-03 2016-11-08 Image providing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160145829A KR102561305B1 (ko) 2016-11-03 2016-11-03 영상 제공 장치 및 방법
KR10-2016-0145829 2016-11-03

Publications (1)

Publication Number Publication Date
WO2018084347A1 true WO2018084347A1 (ko) 2018-05-11

Family

ID=62075794

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/012792 WO2018084347A1 (ko) 2016-11-03 2016-11-08 영상 제공 장치 및 방법

Country Status (3)

Country Link
US (1) US10643304B2 (ko)
KR (1) KR102561305B1 (ko)
WO (1) WO2018084347A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11787413B2 (en) * 2019-04-26 2023-10-17 Samsara Inc. Baseline event detection system
WO2023182624A1 (ko) * 2022-03-22 2023-09-28 엘지전자 주식회사 디스플레이 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030002919A (ko) * 2001-07-02 2003-01-09 에이알비전 (주) 방송 영상에서의 실시간 이미지 삽입 시스템
KR20090100741A (ko) * 2008-03-21 2009-09-24 (주)아이뮤직소프트 영상 합성 방법
KR20100013106A (ko) * 2008-07-30 2010-02-09 삼성전자주식회사 재생되는 영상의 타겟 영역을 확대 디스플레이하기 위한장치 및 방법
KR20120115015A (ko) * 2011-04-08 2012-10-17 엘지전자 주식회사 이동 단말기 및 3ｄ 멀티 앵글 뷰 제어방법
US20150296177A1 (en) * 2012-11-26 2015-10-15 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69420168T2 (de) * 1993-03-30 2000-04-06 Koninkl Philips Electronics Nv Röntgenuntersuchungsgerät mit einer Bildformungsvorrichtung mit mehreren Bildsensoren
AU679601B2 (en) * 1993-11-30 1997-07-03 Arch Development Corporation Automated method and system for the alignment and correlation of images from two different modalities
WO2001028405A2 (en) * 1999-10-20 2001-04-26 The Trustees Of The University Of Pennsylvania Enhancement of images for ophthalmic disgnosis
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US20060098897A1 (en) * 2004-11-10 2006-05-11 Agfa-Gevaert Method of superimposing images
US8150155B2 (en) * 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US20080089584A1 (en) * 2006-10-13 2008-04-17 Vanmetter Richard L Viewing glass display for multi-component images
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
US20110181716A1 (en) * 2010-01-22 2011-07-28 Crime Point, Incorporated Video surveillance enhancement facilitating real-time proactive decision making
JP2013538482A (ja) 2010-07-13 2013-10-10 トムソン ライセンシング マルチメディアアプリケーションのためのピクチャ・イン・ピクチャの方法
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
JP5954762B2 (ja) * 2011-11-29 2016-07-20 東芝メディカルシステムズ株式会社 Ｘ線画像診断装置
KR20130104215A (ko) 2012-03-13 2013-09-25 계원예술대학교 산학협력단 영상의 적응적 부분대체 방법과, 이를 이용하여 광고영상이 삽입된 프로그램 동영상을 생성하는 방법
KR101514143B1 (ko) 2013-09-25 2015-04-22 서울시립대학교 산학협력단 다중시기 영상의 모자이크 방법
KR102268668B1 (ko) * 2014-03-12 2021-06-24 삼성메디슨 주식회사 대상체에 대한 복수의 상이한 영상들을 디스플레이하는 방법 및 장치
KR101475895B1 (ko) 2014-06-24 2014-12-23 서울공간정보 주식회사 영상이미지의 업데이트를 위한 지점인식 및 자동수정 방식의 영상이미지 처리시스템
KR102301231B1 (ko) * 2014-07-31 2021-09-13 삼성전자주식회사 영상 제공 방법 및 이를 위한 장치
US9554063B2 (en) * 2015-06-12 2017-01-24 Google Inc. Using infrared images of a monitored scene to identify windows
US9607391B2 (en) * 2015-08-04 2017-03-28 Adobe Systems Incorporated Image object segmentation using examples
US9898668B2 (en) * 2015-08-27 2018-02-20 Qualcomm Incorporated System and method of object detection
US10674185B2 (en) * 2015-10-08 2020-06-02 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030002919A (ko) * 2001-07-02 2003-01-09 에이알비전 (주) 방송 영상에서의 실시간 이미지 삽입 시스템
KR20090100741A (ko) * 2008-03-21 2009-09-24 (주)아이뮤직소프트 영상 합성 방법
KR20100013106A (ko) * 2008-07-30 2010-02-09 삼성전자주식회사 재생되는 영상의 타겟 영역을 확대 디스플레이하기 위한장치 및 방법
KR20120115015A (ko) * 2011-04-08 2012-10-17 엘지전자 주식회사 이동 단말기 및 3ｄ 멀티 앵글 뷰 제어방법
US20150296177A1 (en) * 2012-11-26 2015-10-15 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network

Also Published As

Publication number Publication date
US20190251658A1 (en) 2019-08-15
KR102561305B1 (ko) 2023-07-31
US10643304B2 (en) 2020-05-05
KR20180049645A (ko) 2018-05-11

Similar Documents

Publication Publication Date Title
WO2015012441A1 (en) Digital device and control method thereof
WO2016060370A1 (en) Terminal for internet of things and operation method of the same
WO2017018683A1 (en) User terminal apparatus and controlling method thereof
WO2019203528A1 (en) Electronic apparatus and method for controlling thereof
WO2020207030A1 (zh) 视频编码方法、系统、设备及计算机可读存储介质
WO2015016579A1 (en) Method for deciding location of target device and electronic device thereof
EP3342160A1 (en) Display apparatus and control methods thereof
EP3523960A1 (en) Device and method of displaying images
WO2015005722A1 (en) Mobile device, display apparatus and method for sharing contents thereof
WO2018084347A1 (ko) 영상 제공 장치 및 방법
WO2019114587A1 (zh) 虚拟现实终端的信息处理方法、装置及可读存储介质
WO2020153568A1 (en) Electronic apparatus and control method thereof
WO2014073939A1 (en) Method and apparatus for capturing and displaying an image
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
WO2018038300A1 (ko) 이미지 제공 장치, 방법 및 컴퓨터 프로그램
WO2019137219A1 (zh) 调节视频通话亮度的方法、装置和计算机存储介质
WO2018101533A1 (ko) 영상 처리 장치 및 방법
WO2019124770A1 (ko) 단말 장치 및 단말 장치의 제어 방법
WO2016036049A1 (ko) 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
WO2019112308A1 (en) Electronic device, user terminal apparatus, and control method thereof
WO2017150841A1 (ko) 전자장치, 어플리케이션 실행 시스템 및 그 제어방법
WO2018062602A1 (ko) 광각 영상 처리 방법 및 이를 위한 장치
WO2018070638A1 (en) Display apparatus and method for generating capture image
WO2018143584A1 (ko) 이미지를 촬영하고 표시하는 전자 장치 및 방법
WO2022097806A1 (ko) Cctv 카메라 검색 방법, 장치 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16920486

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16920486

Country of ref document: EP

Kind code of ref document: A1