WO2018066742A1 - 영상 제공 장치 및 방법 - Google Patents

영상 제공 장치 및 방법 Download PDF

Info

Publication number
WO2018066742A1
WO2018066742A1 PCT/KR2016/011735 KR2016011735W WO2018066742A1 WO 2018066742 A1 WO2018066742 A1 WO 2018066742A1 KR 2016011735 W KR2016011735 W KR 2016011735W WO 2018066742 A1 WO2018066742 A1 WO 2018066742A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
image
thumbnail
displaying
display unit
Prior art date
Application number
PCT/KR2016/011735
Other languages
English (en)
French (fr)
Inventor
이호웅
김계원
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to US16/339,708 priority Critical patent/US11074291B2/en
Publication of WO2018066742A1 publication Critical patent/WO2018066742A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Definitions

  • the present invention relates to an image providing apparatus and method, and more particularly, to an image providing apparatus displaying a heat map on a timeline to intuitively check the type and frequency of events detected in an image acquired through a camera. And to a method.
  • FIG. 1 is a view schematically showing a user interface (UI) of a conventional image providing apparatus.
  • the time line included in the UI of the conventional image providing apparatus may be displayed in a predetermined color according to the type of the generated event so that the event occurs at a position corresponding to the time of occurrence of the event.
  • the event having the highest priority is displayed first according to a predetermined priority, and the event having the lower priority may be checked through a separate setting.
  • An object of the present invention is to provide an apparatus and method for providing an image that can easily identify the time at which an event occurs, the type and frequency of occurrence of the event.
  • an image providing apparatus includes an image storage unit for storing an image acquired through a camera, a display area for displaying the image stored in the image storage unit, and a time line corresponding to a reproduction time of the image. And a time line area displaying a time line, and displaying a type of an event occurring in the image in different colors on the time line corresponding to the time of occurrence of the corresponding event.
  • the display unit may include an event detection module that detects an event occurrence from the image, and the event may include a motion detection, a facial detection, and a camera event.
  • the event detection module may receive coordinate information indicating an event occurrence position, and determine the saturation or shadow of the color using the accumulated coordinate information.
  • the display unit may further include a thumbnail display area that displays a thumbnail extracted from the image, wherein the thumbnail is linked to the timeline to display event information corresponding to a selected point on the timeline. .
  • the thumbnail may indicate a location where the corresponding event occurs in a predetermined color or shade corresponding to the type and frequency of the event.
  • the display unit may display a thumbnail corresponding to a time interval designated by a user in the thumbnail display area, and display an event change pattern generated during the time interval in the color or shade.
  • the display unit may display the type of the event or the frequency of occurrence of the corresponding event by using a color or a shade displayed on an n ⁇ n size pixel.
  • the display unit may further display the type of the event detected during the time interval specified by the user and the detection count for each event type.
  • the image storage unit for storing the image obtained through the camera and the display area for displaying the image stored in the image storage unit, corresponding to the playback time of the image
  • a display unit including a time line area displaying a time line and a scale selection area changing a scale of the time line, wherein the display part is generated in the image when the scale is less than or equal to a preset first scale;
  • a color or shade corresponding to the number of events is displayed at an event occurrence position on the timeline, and when the scale is larger than the first scale, the type of the event generated in the image corresponds to the timeline of the corresponding event occurrence time.
  • Each different color on the screen is possible.
  • the display unit may include an event detection module that detects an event occurrence from the image, and the event may include a motion detection, a facial detection, and a camera event.
  • the event detection module may receive coordinate information indicating an event occurrence position, and determine the saturation or shadow of the color using the accumulated coordinate information.
  • the display unit may further include a thumbnail display area that displays a thumbnail extracted from the image, wherein the thumbnail is linked to the timeline to display event information corresponding to a selected point on the timeline. .
  • the thumbnail may indicate a location where the corresponding event occurs in a predetermined color or shade corresponding to the type and frequency of the event.
  • the display unit may display a thumbnail corresponding to a time interval designated by a user in the thumbnail display area, and display an event change pattern generated during the time interval in the color or shade.
  • the display unit may display the type of the event or the frequency of occurrence of the corresponding event by using a color or a shade displayed on an n ⁇ n size pixel.
  • the display unit may further display the type of the event detected during the time interval specified by the user and the detection count for each event type.
  • An image providing method is an image providing method using an image providing apparatus including a display area for reproducing an image and a time line corresponding to a reproduction time of the image. Detecting an event, determining the type of the detected event and the number of occurrences of the event, and displaying the type of the event generated in the image in different colors on the timeline corresponding to the event occurrence time. Include.
  • the method may further include displaying a thumbnail extracted from the image, wherein the thumbnail is linked to the timeline to display event information corresponding to a selected point on the timeline.
  • the thumbnail may indicate a location where the corresponding event occurs in a predetermined color or shade corresponding to the type and frequency of the event.
  • thumbnail display step a thumbnail corresponding to a time interval designated by a user may be displayed, and an event change pattern generated during the time interval may be displayed in the color or shade.
  • the present invention can provide an apparatus and method for providing an image that can easily identify the time at which an event occurred, the type and frequency of occurrence of the event.
  • FIG. 1 is a diagram schematically illustrating a configuration of a conventional image providing apparatus.
  • FIG. 2 is a diagram schematically illustrating a configuration of an image providing apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a time line included in an image providing apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram exemplarily illustrating a method of providing a type and an occurrence frequency of an event provided through an image providing device according to an exemplary embodiment.
  • FIG. 5 is a diagram exemplarily illustrating a thumbnail provided through an image providing apparatus according to another exemplary embodiment.
  • FIG. 6 is a diagram illustrating a time line included in an image providing apparatus according to another exemplary embodiment of the present invention.
  • FIG. 7 is a flowchart schematically illustrating a flow of an image providing method according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating a configuration of an image providing apparatus according to an embodiment of the present invention.
  • the image providing apparatus 100 includes an image storage unit 110 and a display unit 120.
  • the image storage unit 110 stores an image acquired through the camera
  • the display unit 120 includes a display area and a timeline area, and allows a user to play back an image stored in the image storage unit 110 and to play the image.
  • a user interface (UI) for checking information about an image is provided.
  • the display area displays an image stored in the image storage unit 110, and the timeline area displays a time line corresponding to a reproduction time of the image.
  • the display unit 110 displays the type of the event occurring in the image and the frequency of occurrence of the corresponding event in different colors on the timeline corresponding to the event occurrence time.
  • the display unit 120 may display the two different types at positions corresponding to the first time point on the timeline.
  • Kinds of events may be displayed, wherein the two different types of events may be displayed in different colors.
  • the display unit 120 indicates the one event at a position corresponding to the second time point.
  • a color may be displayed and a color representing the three events may be displayed at a position corresponding to the third time point.
  • the colors representing the respective events are the same, and the color displayed at the position corresponding to the third time point is higher than the color displayed at the position corresponding to the second time point. It can have high saturation.
  • a position corresponding to the third time point may be displayed in a darker color.
  • the display unit 120 may include an event detection module 130.
  • the event detection module 130 detects an event occurrence from the image.
  • the events detected by the event detection module 130 include motion detection (MD), facial detection (FD), and camera event.
  • the motion detection refers to the motion of the object detected in the image, and the event detection module 130 may determine that an event has occurred when a motion outside the preset motion degree is detected.
  • the face detection FD means that a face region of a person is detected from an object detected in the image, and the event detection module 130 may determine that the corresponding event has occurred when the face of the person is detected in the image. .
  • face data of a person previously stored in a separate storage medium not shown
  • information on a person corresponding to the detected face area may be tagged.
  • the camera event refers to an event related to the movement of an object passing through a specific point and may include events such as Entering, Passing, and People Counting.
  • FIG. 3 is a diagram illustrating a time line included in an image providing apparatus according to an embodiment of the present invention.
  • the display unit 120 displays the event in color at a position on the timeline corresponding to the time when the event occurred.
  • 3A illustrates a timeline area included in the display unit 120, which may display a timeline, a time A1, and a camera identification number A2.
  • the time A1 represents a time when an image reproduced in the display area of the display unit 120 is acquired, and can be generally displayed from 0 to 24 hours.
  • Camera identification number (A2) represents the identification number of the camera photographing the image currently being played, when the image is obtained from different places using a plurality of cameras, the identification number of the plurality of cameras may be displayed, A plurality of timelines corresponding to each of the plurality of cameras may be displayed.
  • FIG. 3B is an enlarged view of a portion of the time line, and exemplarily shows an event detected for about 3 hours from 3 am.
  • the display unit 120 may display the type of the event and the frequency of occurrence of the corresponding event using a color displayed on an n ⁇ n pixel.
  • the motion event is displayed in blue (B)
  • the schedule event is displayed in green (G)
  • the sensor event is displayed in yellow (Y).
  • a sensor event occurs intensively around 3 am on the time line, and a large number of motion events occur for about an hour from about 4 am.
  • a motion event, a schedule event, and a sensor event occur several times from about 6 am for about an hour.
  • the image providing apparatus 100 By displaying an event using a time line as shown in FIG. 3, the image providing apparatus 100 according to the present invention allows a user to time an event occurs and the type and frequency (or frequency) of occurrence of the event. Provides an effect that can be seen at a glance.
  • the display unit 120 may display whether or not an individual event occurs by using a pixel of 1 ⁇ 1 size.
  • the color displayed through one pixel represents one event, and when five events occur at the same time, the display unit 110 displays five on the timeline corresponding to the same time regardless of whether the event types are the same. Colors displayed through individual pixels may indicate that an event has occurred. In addition, since the individual pixels indicate that individual events that are distinguished from each other occur, they may be displayed so as not to overlap each other.
  • FIG. 4 is a diagram exemplarily illustrating a method of providing a type and an occurrence frequency of an event provided through an image providing device according to an exemplary embodiment.
  • the display unit 120 may further display the type of the event detected during the time interval designated by the user and the number of detections for each event type. 4 shows that a motion event and an audio event have been detected three times in total.
  • the motion event may be displayed together with an icon displayed in blue (B), and the audio event may be displayed together with an icon displayed in red (R).
  • Information shown in FIG. 4 may be displayed together with a time line shown in FIG. 3, and events of the same type are displayed in the same color in the time line and the example of FIG. 4.
  • the display unit 120 may display the type of the event and the number of occurrences of the event as shown in FIG. 4.
  • the number of occurrences of the motion event and the audio event are summed and displayed.
  • this is only an exemplary embodiment of the present invention, and the number of occurrences of each event may be separately displayed.
  • the user may directly input a time section to check whether an event occurs, or may designate a time section through an operation such as a mouse drag on a time line.
  • FIG. 5 is a diagram exemplarily illustrating a thumbnail provided through an image providing apparatus according to another exemplary embodiment.
  • the display unit 120 may further include a thumbnail display area B2 for displaying a thumbnail extracted from the image.
  • the thumbnail may be linked to the time line to display event information corresponding to a selected point on the time line.
  • the thumbnail shown in the thumbnail display area B2 may be understood as a set of thumbnails corresponding to the viewpoint selected by the user, and FIG. 5 illustrates an example in which the user selects 8:35 am.
  • the right side of the display area may include an information window that displays a time point at which an event occurs and a type of the event.
  • FIG. 5 illustrates a case where a user selects a motion event.
  • the display unit 120 may display one or more thumbnails corresponding to the selected time point in the thumbnail display area B2.
  • the extracted thumbnails may be displayed for one minute before and after including the selection point.
  • thumbnails displayed in the thumbnail display area B2 correspond to different viewpoints, but can be understood as displaying images included in the minute.
  • a time interval for extracting and displaying thumbnails may be set in advance, and the thumbnails indicate a location where an event selected by a user in the image being played occurs in a predetermined color or shade corresponding to an event occurrence frequency. can do.
  • thumbnails displayed in the thumbnail display area B2 display shaded areas in which a motion event occurs at each time point.
  • the strong portion of the movement may be displayed in dark, and the weak portion of the movement may be displayed in light.
  • the high frequency of occurrence of the event may be displayed in bold, and the low frequency of the part may be displayed in light.
  • FIG. 5 illustrates a case in which the user wants to check a motion event as an example, and may indicate the intensity or occurrence frequency of the event using a color corresponding to the motion event, for example, blue.
  • the portion of the intensity of movement or the frequency of occurrence of the event may be displayed in blue with high saturation, and the portion of the movement of weakness or the frequency of occurrence of the event may be displayed in blue with low saturation.
  • a portion with a high degree of movement or a high frequency of event occurrence may be displayed in a color closer to red, and a portion with a low degree of movement or a low frequency of event occurrence may be displayed with a color closer to blue.
  • the user can check the occurrence frequency (or occurrence number) of the event selected by the user in a specific time interval and the intensity of the event at a glance.
  • the thumbnails displayed on the thumbnail display area B2 may be continuously played in chronological order.
  • the thumbnails continuously reproduce color or shadow information provide an effect of efficiently identifying a change pattern of a position where an event selected by a user occurs.
  • the event detection module 130 may receive coordinate information indicating an event occurrence position, and determine the saturation of the color corresponding to each event by using the accumulated coordinate information. Or shading.
  • the coordinate information of the location where the event occurs may be obtained by a camera that captures an image including the corresponding event and stored in the image storage unit 110 as metadata.
  • the event detection module 130 may determine the coordinates. By receiving the information, the coordinate information of the location where the event occurs may be classified according to the type of the event, and a value obtained by accumulating the type of the event corresponding to each coordinate information may be calculated.
  • the display unit may determine the coordinates at which the event occurred using the accumulated value, and determine what kind of event occurred at each coordinate and how many times each event occurred.
  • the vector information may be analyzed while decoding the image stored in the image storage unit 110 to determine whether the event has occurred, and the coordinate of the location where the event has occurred.
  • the information may be used to determine saturation or shade of a color corresponding to each event.
  • FIG. 6 is a diagram illustrating a time line included in an image providing apparatus according to another exemplary embodiment of the present invention.
  • An image providing apparatus includes an image storage unit and a display unit as described with reference to FIG. 2.
  • the image storage unit and the display unit perform substantially the same functions as described above, and only detailed descriptions thereof will be omitted.
  • the display unit further includes a scale selection area C1 including a display area and a timeline area.
  • the display unit displays a color or shade corresponding to the number of events occurring in the image reproduced in the display area at an event occurrence position on a time line.
  • the scale selection area C1 includes a zoom in button and a zoom out button as shown in FIG. 6.
  • the time line illustrated in FIG. 6 is shown in a state capable of displaying an event occurrence for 24 hours.
  • a time section displayed on the time line is displayed. Will be shortened.
  • the zoom-in button For example, each time the zoom-in button is selected, the time interval displayed on the time line is shortened by 50%. In the example of FIG. 6, the zoom-in button is selected once. In this case, it can be changed to a state capable of displaying 12 hours of event occurrence.
  • the timeline region and the region in which the time is displayed can be dragged, and when a time interval shorter than 24 hours is displayed, the event occurring in the non-displayed time interval can be checked by dragging the corresponding region left or right.
  • event information generated for 24 hours is displayed on the time line, and as described above, event occurrence is indicated by color or shade corresponding to the number of events.
  • FIG. 6 illustrates an embodiment indicating the number of events through shading, and it can be seen that the darkest is displayed for about 6 hours from 0 o'clock. In addition, it may be confirmed that the period is lightest during the period from about 19 to 24 hours. That is, it can be seen that many events occurred during 0 hours to 6 hours, and a small number of events occurred during about 5 hours from 19 hours to 24 hours.
  • the number of events may be displayed through color, and the number of events that occur may be displayed in a color close to blue, and the number of events that occur may be displayed in a color close to red.
  • the display on the time line by using a shade or color corresponding to the number of events may be limited to the case of being set to a preset first scale or less.
  • the scale may mean a display range of time displayed in correspondence to the time line, and the user can change the scale by using the zoom-in and zoom-out buttons of the scale selection area C1. have.
  • the zoom-in button when the zoom-in button is selected, a time of a section shorter than the currently displayed time interval is displayed.
  • the zoom-in button when the zoom-in button is selected, the zoom-in button is scaled up and zoomed-in. If the out button is selected, it will be described as being scaled down.
  • the display unit When the zoom-in button is scaled up by selecting the zoom-in button and the scale becomes larger than the first scale, the display unit displays the type of the event occurring in the image on the time line corresponding to the time of occurrence of the corresponding event. Each color is shown in a different color.
  • the type of the event that occurs using the timeline as described with reference to FIG. 3 may be displayed in more detail.
  • the user may select the zoom-in button to scale up the display, and the display unit may display the type of event as shown in FIG. 3. .
  • FIG. 7 is a flowchart schematically illustrating a flow of an image providing method according to an embodiment of the present invention.
  • an image providing method may include providing an image using an image providing apparatus including a display area for image reproduction and a time line corresponding to a reproduction time of the image.
  • the method includes detecting an event in an image (S110), determining an event type and a number (S120), and displaying an event in color or shade on a timeline (S130).
  • an event is detected from an image photographed by a camera, and the detected event includes a motion detection (MD), a facial detection (FD), and a camera event. do.
  • MD motion detection
  • FD facial detection
  • a camera event do.
  • the motion detection (MD) refers to the motion of the object detected in the image, and in the event detecting step (S110), it may be determined that an event has occurred when a motion outside the preset motion degree is detected.
  • Facial detection means that a human face area is detected from an object detected in the image, and in the event detecting step (S110), when a human face is detected in the image, it may be determined that a corresponding event has occurred. have.
  • face data of a person previously stored in a separate storage medium not shown
  • information on a person corresponding to the detected face area may be tagged.
  • the camera event refers to an event related to the movement of an object passing through a specific point and may include events such as Entering, Passing, and People Counting.
  • each event may be detected by a camera capturing the image, or may be detected by using vector information generated in a decoding process for reproduction after storing the image.
  • the type and number of occurrences of an event detected in the event detection step (S120) are determined.
  • the coordinate information of the location where the corresponding event is detected and the type of the generated event may be accumulated and stored, and the number of occurrences according to the type of the detected event and the type of the event may be determined using the accumulated number of stored times. Can be.
  • the types of events occurring in the image are displayed in different colors on a time line corresponding to the time of occurrence of the corresponding event.
  • the image providing apparatus used in the image providing method according to the present invention provides a user interface (UI) including a display area and a timeline area as shown in FIG. 2.
  • UI user interface
  • the type of events occurring in the image and the frequency of occurrence of the corresponding events are displayed in different colors on the timeline corresponding to the event occurrence time.
  • the two different types of events are displayed at a position corresponding to the first time point on the timeline.
  • the two different types of events may be displayed in different colors.
  • a color representing the one event is displayed at a position corresponding to the second time point
  • Colors representing the three events may be displayed at a position corresponding to the third time point.
  • the colors representing the respective events are the same, and the color displayed at the position corresponding to the third time point is higher than the color displayed at the position corresponding to the second time point. It can have high saturation.
  • a position corresponding to the third time point may be displayed in a darker color.
  • the image providing method may further include a thumbnail display step, the thumbnail is extracted from the image corresponding to the point selected on the timeline linked to the timeline Event information may be displayed, and the thumbnail may indicate a location where the corresponding event occurs in a predetermined color or shade corresponding to the type and frequency of occurrence of the event.
  • thumbnail display step a thumbnail corresponding to a time interval designated by a user may be displayed, and an event change pattern generated during the time interval may be displayed in the color or shade.
  • the thumbnail display step displays one or more thumbnails corresponding to the selected time point in the thumbnail display area B2.
  • the extracted thumbnail may be displayed for 1 minute before and after including the selection point.
  • thumbnails displayed in the thumbnail display area B2 correspond to different viewpoints, but can be understood as displaying images included in the minute.
  • a time interval for extracting and displaying thumbnails may be set in advance, and the thumbnails indicate a location where an event selected by a user in the image being played occurs in a predetermined color or shade corresponding to an event occurrence frequency. can do.
  • thumbnails displayed in the thumbnail display area B2 display shaded areas in which a motion event occurs at each time point.
  • the strong portion of the movement may be displayed in dark, and the weak portion of the movement may be displayed in light.
  • the high frequency of occurrence of the event may be displayed in bold, and the low frequency of the part may be displayed in light.
  • FIG. 5 illustrates a case in which the user wants to check a motion event as an example, and may indicate the intensity or occurrence frequency of the event using a color corresponding to the motion event, for example, blue.
  • the portion of the intensity of movement or the frequency of occurrence of the event may be displayed in blue with high saturation, and the portion of the movement of weakness or the frequency of occurrence of the event may be displayed in blue with low saturation.
  • a portion with a high degree of movement or a high frequency of event occurrence may be displayed in a color closer to red, and a portion with a low degree of movement or a low frequency of event occurrence may be displayed with a color closer to blue.
  • the user can check the occurrence frequency (or occurrence number) of the event selected by the user in a specific time interval and the intensity of the event at a glance.
  • the thumbnails displayed on the thumbnail display area B2 may be continuously played in a time sequence in the thumbnail display step. have.
  • the thumbnails continuously reproduce color or shadow information provide an effect of efficiently identifying a change pattern of a position where an event selected by a user occurs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

영상 제공 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 영상 제공 장치는, 카메라를 통해 획득된 영상을 저장하는 영상 저장부 및 상기 영상 저장부에 저장된 상기 영상을 표시하는 표시 영역과 상기 영상의 재생 시간에 대응하는 타임 라인(Time Line)을 표시하는 타임 라인 영역을 포함하며, 상기 영상에서 발생한 이벤트의 종류를 해당 이벤트 발생 시점에 대응하는 상기 타임 라인 상에 각각 서로 다른 색상으로 표시하는 표시부를 포함한다.

Description

영상 제공 장치 및 방법
본 발명은 영상 제공 장치 및 방법에 관한 것으로, 보다 구체적으로는 카메라를 통해 획득된 영상에서 검출된 이벤트의 종류와 발생 빈도를 직관적으로 확인할 수 있도록 타임 라인 상에 히트 맵 형태로 표시하는 영상 제공 장치 및 방법에 관한 것이다.
촬영된 영상 안에서 이벤트 발생 시, 검출된 이벤트에 관한 정보를 사용자에게 제공하는 시스템이 광범위하게 사용되고 있다. 그리고, 이러한 시스템에 연결된 카메라의 개수가 많아지면서 보다 효율적인 방법을 통하여 이벤트 검출 정보를 제공하는 것이 중요해지고 있다.
도 1은 종래의 영상 제공 장치의 UI(User Interface)를 개략적으로 나타내는 도면이다. 종래의 영상 제공 장치의 UI에 포함된 타임 라인(Time Line)은 이벤트가 발생한 시간에 대응하는 위치에 이벤트가 발생했음을 알 수 있도록 발생한 이벤트의 종류에 따라 미리 결정된 색상으로 표시할 수 있다.
이때, 동일한 시간에 서로 다른 종류의 이벤트가 발생한 경우, 미리 결정된 우선 순위에 따라 우선 순위가 높은 이벤트가 가장 먼저 표시되며, 우선 순위가 낮은 이벤트는 별도의 설정을 통해 확인할 수 있다.
종래 기술에 따른 영상 제공 장치를 이용하는 경우, 우선 순위가 가장 높은 하나의 이벤트만이 표시되므로 해당 시간대에 몇 개의 이벤트가 발생했는지 한 번에 확인할 수 없으며, 어떤 종류의 이벤트가 발생했는지도 확인에 어려움이 있을 수 있다.
본 발명은 이벤트가 발생한 시간과 발생한 이벤트의 종류 및 발생 빈도를 용이하게 확인할 수 있는 영상 제공 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 영상 제공 장치는, 카메라를 통해 획득된 영상을 저장하는 영상 저장부 및 상기 영상 저장부에 저장된 상기 영상을 표시하는 표시 영역과 상기 영상의 재생 시간에 대응하는 타임 라인(Time Line)을 표시하는 타임 라인 영역을 포함하며, 상기 영상에서 발생한 이벤트의 종류를 해당 이벤트 발생 시점에 대응하는 상기 타임 라인 상에 각각 서로 다른 색상으로 표시하는 표시부를 포함한다.
또한, 상기 표시부는 상기 영상으로부터 이벤트 발생을 검출하는 이벤트 검출 모듈을 포함하고, 상기 이벤트는 움직임 검출(Motion Detection), 안면 검출(Facial Detection) 및 카메라 이벤트(Camera Event)를 포함할 수 있다.
또한, 상기 이벤트 검출 모듈은 이벤트 발생 위치를 나타내는 좌표 정보를 수신하고, 누적된 상기 좌표 정보를 이용하여 상기 색상의 채도 또는 음영을 결정할 수 있다.
또한, 상기 표시부는 상기 영상으로부터 추출되는 썸네일(Thumbnail)을 표시하는 썸네일 표시 영역을 더 포함하고, 상기 썸네일은 상기 타임 라인에 연동되어 상기 타임 라인 상에서 선택된 지점에 대응하는 이벤트 정보를 표시할 수 있다.
또한, 상기 썸네일은 이벤트의 종류와 발생 빈도에 대응하여 미리 결정된 색상 또는 음영으로 해당 이벤트가 발생한 위치를 표시할 수 있다.
또한, 상기 표시부는 사용자에 의해 지정된 시간 구간에 대응하는 썸네일을 상기 썸네일 표시 영역에 표시하되, 상기 시간 구간 동안 발생한 이벤트 변화 패턴을 상기 색상 또는 음영으로 표시할 수 있다.
또한, 상기 표시부는 n×n 크기의 픽셀에 표시되는 색상 또는 음영을 이용하여 상기 이벤트의 종류 또는 해당 이벤트의 발생 빈도를 표시할 수 있다.
또한, 상기 표시부는 사용자에 의해 지정된 시간 구간 동안 검출된 이벤트의 종류 및 이벤트 종류별 검출 횟수를 더 표시할 수 있다.
한편, 본 발명의 다른 실시예에 따른 영상 제공 장치는, 카메라를 통해 획득된 영상을 저장하는 영상 저장부 및 상기 영상 저장부에 저장된 상기 영상을 표시하는 표시 영역, 상기 영상의 재생 시간에 대응하는 타임 라인(Time Line)을 표시하는 타임 라인 영역 및 상기 타임 라인의 스케일을 변경하는 스케일 선택 영역을 포함하는 표시부를 포함하고, 상기 표시부는 상기 스케일이 미리 설정된 제1 스케일 이하인 경우, 상기 영상에서 발생한 이벤트의 개수에 대응하는 색상 또는 음영을 상기 타임 라인 상의 이벤트 발생 위치에 표시하고, 상기 스케일이 상기 제1 스케일 보다 큰 경우, 상기 영상에서 발생한 이벤트의 종류를 해당 이벤트 발생 시점에 대응하는 상기 타임 라인 상에 각각 서로 다른 색상으로 표시한다.
또한, 상기 표시부는 상기 영상으로부터 이벤트 발생을 검출하는 이벤트 검출 모듈을 포함하고, 상기 이벤트는 움직임 검출(Motion Detection), 안면 검출(Facial Detection) 및 카메라 이벤트(Camera Event)를 포함할 수 있다.
또한, 상기 이벤트 검출 모듈은 이벤트 발생 위치를 나타내는 좌표 정보를 수신하고, 누적된 상기 좌표 정보를 이용하여 상기 색상의 채도 또는 음영을 결정할 수 있다.
또한, 상기 표시부는 상기 영상으로부터 추출되는 썸네일(Thumbnail)을 표시하는 썸네일 표시 영역을 더 포함하고, 상기 썸네일은 상기 타임 라인에 연동되어 상기 타임 라인 상에서 선택된 지점에 대응하는 이벤트 정보를 표시할 수 있다.
또한, 상기 썸네일은 이벤트의 종류와 발생 빈도에 대응하여 미리 결정된 색상 또는 음영으로 해당 이벤트가 발생한 위치를 표시할 수 있다.
또한, 상기 표시부는 사용자에 의해 지정된 시간 구간에 대응하는 썸네일을 상기 썸네일 표시 영역에 표시하되, 상기 시간 구간 동안 발생한 이벤트 변화 패턴을 상기 색상 또는 음영으로 표시할 수 있다.
또한, 상기 표시부는 n×n 크기의 픽셀에 표시되는 색상 또는 음영을 이용하여 상기 이벤트의 종류 또는 해당 이벤트의 발생 빈도를 표시할 수 있다.
또한, 상기 표시부는 사용자에 의해 지정된 시간 구간 동안 검출된 이벤트의 종류 및 이벤트 종류별 검출 횟수를 더 표시할 수 있다.
한편 본 발명의 일 실시예에 따른 영상 제공 방법은, 영상 재생을 위한 표시 영역과 상기 영상의 재생 시간에 대응하는 타임 라인(Time Line)을 포함하는 영상 제공 장치를 이용하는 영상 제공 방법으로, 상기 영상에서 이벤트를 검출하는 단계, 검출된 상기 이벤트의 종류 및 발생 횟수를 판별하는 단계 및 상기 영상에서 발생한 이벤트의 종류를 해당 이벤트 발생 시점에 대응하는 상기 타임 라인 상에 각각 서로 다른 색상으로 표시하는 단계를 포함한다.
또한, 상기 영상으로부터 추출되는 썸네일(Thumbnail)을 표시하는 단계를 더 포함하고, 상기 썸네일은 상기 타임 라인에 연동되어 상기 타임 라인 상에서 선택된 지점에 대응하는 이벤트 정보를 표시할 수 있다.
또한, 상기 썸네일은 이벤트의 종류와 발생 빈도에 대응하여 미리 결정된 색상 또는 음영으로 해당 이벤트가 발생한 위치를 표시할 수 있다.
또한, 상기 썸네일 표시 단계에서는 사용자에 의해 지정된 시간 구간에 대응하는 썸네일을 표시하되, 상기 시간 구간 동안 발생한 이벤트 변화 패턴을 상기 색상 또는 음영으로 표시할 수 있다.
본 발명은 이벤트가 발생한 시간과 발생한 이벤트의 종류 및 발생 빈도를 용이하게 확인할 수 있는 영상 제공 장치 및 방법을 제공할 수 있다.
도 1은 종래의 영상 제공 장치의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 제공 장치의 구성을 개략적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 제공 장치에 포함되는 타임 라인(Time Line)을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 제공 장치를 통해 제공되는 이벤트의 종류 및 발생 횟수를 제공하는 방법을 예시적으로 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 영상 제공 장치를 통해 제공되는 썸네일을 예시적으로 나타내는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 영상 제공 장치에 포함되는 타임 라인(Time Line)을 예시적으로 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 2는 본 발명의 일 실시예에 따른 영상 제공 장치의 구성을 개략적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 제공 장치(100)는, 영상 저장부(110)와 표시부(120)를 포함한다. 영상 저장부(110)는 카메라를 통해 획득된 영상을 저장하고, 표시부(120)는 표시 영역과 타임 라인 영역을 포함하며, 사용자로 하여금 영상 저장부(110)에 저장된 영상을 재생하고, 재생중인 영상에 관한 정보를 확인할 수 있는 유저 인터페이스(User Interface, UI)를 제공한다.
상기 표시 영역은 영상 저장부(110)에 저장된 영상을 표시하며, 상기 타임 라인 영역은 상기 영상의 재생 시간에 대응하는 타임 라인(Time Line)을 표시한다.
표시부(110)는 상기 영상에서 발생한 이벤트의 종류와 해당 이벤트의 발생 빈도를 상기 이벤트 발생 시점에 대응하는 상기 타임 라인 상에 각각 서로 다른 색상으로 표시한다.
예를 들어, 상기 표시 영역에서 재생중인 영상의 제1 시점에 2개의 서로 다른 종류의 이벤트가 발생한 경우, 표시부(120)는 상기 타임 라인 상의 상기 제1 시점에 해당하는 위치에 상기 2개의 서로 다른 종류의 이벤트를 표시할 수 있으며, 이 때 상기 2개의 서로 다른 종류의 이벤트는 서로 다른 색상으로 표시될 수 있다.
또 다른 예로써, 상기 영상의 제2 시점에 1개의 이벤트가 발생하고, 제3 시점에 3개의 이벤트가 발생한 경우, 표시부(120)는 상기 제2 시점에 해당하는 위치에 상기 1개의 이벤트를 나타내는 색상을 표시하고, 상기 제3 시점에 해당하는 위치에 상기 3개의 이벤트를 나타내는 색상을 표시할 수 있다.
이 때 상기 총 4개의 이벤트가 서로 동일한 종류인 경우, 각각의 이벤트를 나타내는 색상은 동일하며, 상기 제3 시점에 대응하는 위치에 표시되는 색상은 상기 제2 시점에 대응하는 위치에 표시되는 색상보다 높은 채도를 가질 수 있다.
또는, 상기 타임 라인 상에 음영으로 이벤트 발생을 표시하는 경우, 상기 제3 시점에 대응하는 위치는 더 진하게 표시될 수 있다.
한편, 표시부(120)는 이벤트 검출 모듈(130)을 포함할 수 있다. 이벤트 검출 모듈(130)은 상기 영상으로부터 이벤트 발생을 검출한다. 이벤트 검출 모듈(130)에서 검출되는 이벤트는 움직임 검출(Motion Detection, MD), 안면 검출(Facial Detection, FD) 및 카메라 이벤트(Camera Event)를 포함한다.
움직임 검출(MD)은 상기 영상에서 검출된 객체의 움직임을 의미하며, 이벤트 검출 모듈(130)은 미리 설정된 움직임 정도를 벗어나는 움직임이 검출되는 경우 이벤트가 발생한 것으로 판단할 수 있다.
안면 검출(FD)은 상기 영상에서 검출된 객체에서 사람의 얼굴 영역이 검출된 것을 의미하며, 이벤트 검출 모듈(130)은 상기 영상에서 사람의 얼굴이 검출되는 경우 해당 이벤트가 발생한 것으로 판단할 수 있다. 그리고, 별도의 저장 매체(미도시)에 미리 저장된 사람의 얼굴 데이터가 존재하는 경우, 검출된 얼굴 영역에 해당하는 사람에 관한 정보를 태그(tag)할 수 있다.
카메라 이벤트는 특정 지점을 통과하는 객체의 움직임에 관한 이벤트를 의미하며, 엔터링(Entering), 패싱(Passing) 및 피플 카운팅(People Counting) 등의 이벤트를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 제공 장치에 포함되는 타임 라인(Time Line)을 예시적으로 나타내는 도면이다.
도 2를 참조로 하여 설명한 바와 같이, 표시부(120)는 이벤트가 발생한 시점에 대응하는 상기 타임 라인 상의 위치에 해당 이벤트를 색상으로 표시한다. 도 3(a)는 표시부(120)에 포함되는 타임 라인 영역을 도시하며, 상기 타임 라인 영역은 타임 라인(Time Line), 시간(A1) 및 카메라 식별 번호(A2)를 표시할 수 있다.
시간(A1)은 표시부(120)의 표시 영역에서 재생되는 영상이 획득된 시간을 나타내며, 일반적으로 0시부터 24시까지 표시할 수 있다. 카메라 식별 번호(A2)는 현재 재생 중인 영상을 촬영한 카메라의 식별 번호를 나타내며, 복수의 카메라를 이용하여 서로 다른 장소에서 영상을 획득한 경우, 복수의 카메라의 식별 번호가 표시될 수 있으며, 상기 복수의 카메라 각각에 대응하는 복수의 타임 라인이 표시될 수 있다.
도 3(b)는 상기 타임 라인(Time Line)의 일부 영역을 확대하여 나타낸 것으로, 오전 3시부터 약 3시간 동안 검출된 이벤트를 예시적으로 나타낸다.
도 3(b)를 참조하면, 상기 타임 라인(Time Line)에는 이벤트가 발생한 시점에 각각의 이벤트를 나타내는 색상이 표시된다. 표시부(120)는 n×n 크기의 픽셀에 표시되는 색상을 이용하여 상기 이벤트의 종류 및 해당 이벤트의 발생 빈도를 표시할 수 있다.
도 3(b)에서, 움직임(Motion) 이벤트는 파란색(B)으로 표시되고, 스케줄(Schedule) 이벤트는 녹색(G), 그리고 센서(Sensor) 이벤트는 노란색(Y)으로 표시된다. 또한, 상기 타임 라인(Time Line) 상에서 오전 3시경에 센서 이벤트가 집중적으로 발생하고, 오전 4시경부터 약 한 시간 동안 움직임(Motion) 이벤트가 다수 발생한 것을 확인할 수 있다. 그리고, 오전 6시경부터 약 한 시간 동안에는 움직임(Motion) 이벤트, 스케줄 이벤트 및 센서 이벤트가 여러 번 발생한 것을 확인할 수 있다.
도 3과 같은 타임 라인(Time Line)을 이용하여 이벤트를 표시함으로써, 본 발명에 따른 영상 제공 장치(100)는 사용자로 하여금 이벤트가 발생한 시점과 발생한 이벤트의 종류 및 발생 횟수(또는, 발생 빈도)를 한 눈에 확인할 수 있는 효과를 제공한다.
한편, 표시부(120)는 개별 이벤트의 발생 여부를 1×1 크기의 픽셀을 이용하여 표시할 수 있다. 하나의 픽셀을 통해 표시되는 색상은 하나의 이벤트를 나타내며, 동일한 시점에 5개의 이벤트가 발생한 경우 표시부(110)는 이벤트 종류의 동일 여부에 관계없이 상기 동일한 시점에 대응하는 상기 타임 라인 상에 5개의 개별 픽셀을 통해 표시되는 색상으로 이벤트가 발생하였음을 표시할 수 있다. 또한, 개별 픽셀들은 서로 구분되는 개별 이벤트가 발생하였음을 나타내므로, 서로 겹치지 않도록 표시될 수 있다.
한편, 동일한 시점에 발생한 이벤트의 개수가 일정 수를 초과하는 경우에는 상기 타임 라인(Time Line) 상에 개별 이벤트를 나타내는 픽셀(내지는 색상)들이 서로 겹치게 될 수 있으며, 서로 겹쳐서 표시되는 픽셀들의 개수가 많아질수록 사용자는 해당 이벤트가 빈번하게 발생하였음을 알 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 제공 장치를 통해 제공되는 이벤트의 종류 및 발생 횟수를 제공하는 방법을 예시적으로 나타내는 도면이다.
표시부(120)는 사용자에 의해 지정된 시간 구간 동안 검출된 이벤트의 종류 및 이벤트 종류별 검출 횟수를 더 표시할 수 있다. 도 4는 움직임(Motion) 이벤트와 오디오(Audio) 이벤트가 총 3번 검출되었음을 나타낸다.
도 4에서 상기 움직임 이벤트는 파란색(B)으로 표시되는 아이콘과 함께 표시될 수 있으며, 상기 오디오 이벤트는 빨간색(R)으로 표시되는 아이콘과 함께 표시될 수 있다. 도 4에 도시되는 정보는 도 3에 도시되는 타임 라인(Time Line)과 함께 표시될 수 있으며, 동일한 종류의 이벤트는 상기 타임 라인(Time Line)과 도 4의 예시에서 서로 동일한 색상으로 표시된다.
사용자가 오전 6시부터 1분 동안의 시간 구간을 지정하면, 표시부(120)는 상기 1분 동안 발생한 이벤트의 종류와 이벤트 발생 횟수를 도 4와 같이 표시할 수 있다. 도 4에서는 상기 움직임 이벤트와 오디오 이벤트가 발생한 횟수를 합산하여 표시하고 있으나, 이는 본 발명의 일 실시예에 불과하며 각각의 이벤트가 발생한 횟수를 구분하여 표시할 수도 있다.
한편, 사용자는 이벤트 발생 여부를 확인하기 위하여 직접 시간 구간을 입력할 수 있으며, 또는 타임 라인(Time Line) 상에서 마우스 드래그 등의 동작을 통하여 시간 구간을 지정할 수 있을 것이다.
도 5는 본 발명의 다른 실시예에 따른 영상 제공 장치를 통해 제공되는 썸네일을 예시적으로 나타내는 도면이다.
도 5를 참조하면, 본 발명의 다른 실시예에 따른 영상 제공 장치에서 표시부(120)는 영상으로부터 추출되는 썸네일(Thumbnail)을 표시하는 썸네일 표시 영역(B2)을 더 포함할 수 있다.
상기 썸네일은 상기 타임 라인(Time Line)에 연동되어 상기 타임 라인(Time Line) 상에서 선택된 지점에 대응하는 이벤트 정보를 표시할 수 있다.
도 5에서 상기 썸네일 표시 영역(B2)에 도시되는 썸네일은 사용자에 의하여 선택된 시점에 대응하는 썸네일들의 집합으로 이해할 수 있으며, 도 5는 사용자가 오전 8시 35분을 선택한 경우를 예로써 도시한다. 그리고, 표시 영역(Display) 우측에는 이벤트가 발생한 시점과 발생한 이벤트의 종류를 표시하는 정보 창이 위치할 수 있으며, 도 5는 사용자가 움직임(Motion) 이벤트를 선택한 경우를 예로써 도시한다.
일 실시예로서, 사용자가 타임 라인(Time Line) 상의 임의의 시점을 선택하면, 표시부(120)는 상기 썸네일 표시 영역(B2)에 상기 선택 시점에 대응하는 하나 이상의 썸네일을 표시할 수 있으며, 이때 상기 선택 시점을 포함한 전후 1분 동안 추출된 썸네일을 표시할 수 있다.
따라서, 상기 썸네일 표시 영역(B2)에 표시되는 썸네일들은 각각 서로 다른 시점에 대응하되, 상기 1분에 포함되는 이미지를 표시하는 것으로 이해할 수 있다.
썸네일을 추출하고 표시하기 위한 시간 구간은 미리 설정될 수 있으며, 상기 썸네일들은 재생중인 영상에서 사용자가 선택한 이벤트가 발생한 영역을 이벤트 발생 빈도에 대응하여 미리 결정된 색상 또는 음영으로 해당 이벤트가 발생한 위치를 표시할 수 있다.
도 5를 참조하면, 상기 썸네일 표시 영역(B2)에 표시되는 썸네일들은 각 시점에서 움직임(Motion) 이벤트가 발생한 영역을 음영으로 표시한다. 이때, 움직임의 정도가 강한 부분은 진하게 표시하고, 움직임의 정도가 약한 부분은 옅게 표시할 수 있다. 또는, 이벤트 발생 빈도가 높은 부분은 진하게 표시하고, 빈도가 낮은 부분은 옅게 표시할 수도 있다.
한편, 도 5는 사용자가 움직임(Motion) 이벤트를 확인하고자 하는 경우를 예로써 도시하고 있으며, 움직임 이벤트에 대응하는 색상, 예를 들어 파란색, 을 이용하여 이벤트의 강도 또는 발생 빈도를 나타낼 수 있다.
즉, 움직임의 정도가 강하거나 이벤트 발생 빈도가 높은 부분일수록 높은 채도의 파란색으로 표시하고, 움직임의 정도가 약하거나 이벤트 발생 빈도가 낮은 부분일수록 낮은 채도의 파란색으로 표시할 수 있다.
이와 유사하게는, 움직임의 정도가 강하거나 이벤트 발생 빈도가 높은 부분일수록 빨간색에 가까운 색상으로 표시하고, 움직임의 정도가 약하거나 이벤트 발생 빈도가 낮은 부분일수록 파란색에 가까운 색상으로 표시할 수 있다.
이러한 방법으로 표시되는 썸네일을 통하여, 사용자는 특정한 시간 구간에서 자신이 선택한 이벤트의 발생 빈도(내지는 발생 횟수), 이벤트의 강도를 한 눈에 확인할 수 있다.
또 다른 실시예로서, 상기 썸네일 표시 영역(B2) 하단에 표시되는 ‘PLAY’ 버튼을 선택하면, 상기 썸네일 표시 영역(B2)에 표시되는 썸네일들이 시간 순서에 따라 연속 재생될 수 있다.
이때, 연속 재생되는 썸네일은 색상 또는 음영 정보를 그대로 포함하고 있으므로, 연속 재생되는 썸네일은 사용자가 선택한 이벤트가 발생하는 위치의 변화 패턴을 효율적으로 확인할 수 있게 하는 효과를 제공한다.
한편, 본 발명의 또 다른 실시예에 있어서, 이벤트 검출 모듈(130)은 이벤트 발생 위치를 나타내는 좌표 정보를 수신할 수 있으며, 누적된 상기 좌표 정보를 이용하여 각각의 이벤트에 대응하는 색상의 채도를 결정하거나, 음영을 결정할 수 있다.
이벤트가 발생 위치의 좌표 정보는 해당 이벤트를 포함하는 영상을 촬영하는 카메라에 의해 획득되어 영상 저장부(110)에 메타 데이터(Meta Data)로서 저장될 수 있으며, 이벤트 검출 모듈(130)은 상기 좌표 정보를 수신하여 이벤트가 발생한 위치의 좌표 정보를 이벤트의 종류에 따라 분류하고 각각의 좌표 정보에 대응하는 이벤트의 종류를 누적한 값을 산출할 수 있다.
누적된 값을 이용하여 표시부는 이벤트가 발생한 좌표를 판단할 수 있으며, 각각의 좌표에서 어떤 종류의 이벤트가 발생하였는지, 각각의 이벤트가 몇 번 발생하였는지 판단할 수 있다.
영상을 촬영하는 단계에서 이벤트를 검출하지 않는 경우에는, 영상 저장부(110)에 저장된 영상을 디코딩(Decoding)하는 동안 벡터 정보를 분석하여 이벤트 발생 여부를 판단할 수 있고, 이벤트가 발생한 위치의 좌표 정보를 이용하여 각각의 이벤트에 대응하는 색상의 채도를 결정하거나, 음영을 결정할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 영상 제공 장치에 포함되는 타임 라인(Time Line)을 예시적으로 나타내는 도면이다.
본 발명의 다른 실시예에 따른 영상 제공 장치는, 도 2를 참조로 하여 설명한 바와 같이, 영상 저장부와 표시부를 포함한다. 상기 영상 저장부와 표시부는 앞서 설명한 기능을 실질적으로 동일하게 수행하며, 중복되는 내용에 한하여 구체적인 설명은 생략하도록 한다.
본 발명의 다른 실시예에 있어서, 상기 표시부는 표시 영역, 타임 라인 영역을 비롯하여 스케일 선택 영역(C1)을 더 포함한다. 상기 표시부는 상기 스케일이 미리 설정된 제1 스케일 이하인 경우, 상기 표시 영역에 재생되는 영상에서 발생한 이벤트의 개수에 대응하는 색상 또는 음영을 타임 라인(Time Line) 상의 이벤트 발생 위치에 표시한다.
상기 스케일 선택 영역(C1)은 도 6에 도시되는 바와 같이 줌-인(Zoom In) 버튼과 줌-아웃(Zoom Out) 버튼을 포함한다. 도 6에 도시되는 타임 라인(Time Line)은 24시간 동안의 이벤트 발생을 표시할 수 있는 상태로 도시되어 있으며, 상기 줌-인 버튼이 선택되면 상기 타임 라인(Time Line)에 표시되는 시간 구간이 짧아지게 된다.
예를 들어, 상기 줌-인 버튼이 한 번 선택될 때마다 상기 타임 라인(Time Line)에 표시되는 시간 구간이 50%씩 짧아지게 되며, 도 6의 예시에서 상기 줌-인 버튼이 한 번 선택되면 12시간 동안의 이벤트 발생을 표시할 수 있는 상태로 변경될 수 있다.
또한, 상기 타임 라인 영역과 시간이 표시되는 영역은 드래그 가능하며, 24시간보다 짧은 시간 구간이 표시되는 경우 해당 영역을 좌우로 드래그 함으로써 표시되지 않는 시간 구간에서 발생한 이벤트를 확인할 수 있다.
도 6을 참조하면, 상기 타임 라인(Time Line)에는 24시간 동안 발생한 이벤트 정보가 표시되며, 앞서 설명한 바와 같이 이벤트의 개수에 대응하는 색상 또는 음영을 통해 이벤트 발생을 나타낸다.
도 6은 음영을 통해 이벤트 개수를 나타내는 실시예를 도시하는데, 0시부터 약 6시간 동안 가장 진하게 표시된 것을 확인할 수 있다. 그리고, 약 19시부터 24시까지 구간 동안 가장 연하게 표시된 것을 확인할 수 있다. 즉, 0시부터 6시간 동안 많은 이벤트가 발생하였음, 19시부터 24시까지의 약 5시간 동안은 적은 개수의 이벤트가 발생한 것을 알 수 있다.
또한, 상기 이벤트의 개수는 색상을 통해서도 표시 가능하며, 발생한 이벤트의 개수가 적을수록 파란색에 가까운 색상으로 표시하고 발생한 이벤트의 개수가 많아질수록 빨간색에 가까운 색상으로 표시할 수 있을 것이다.
한편, 이벤트의 개수에 대응하는 음영 또는 색상을 이용하여 상기 타임 라인(Time Line) 상에 표시하는 것은 미리 설정된 제1 스케일 이하로 설정된 경우에 한할 수 있다. 상기 스케일은 상기 타임 라인(Time Line)에 대응하여 표시되는 시간의 표시 범위를 의미할 수 있으며, 상기 스케일 선택 영역(C1)의 줌-인, 줌-아웃 버튼을 이용하여 사용자는 스케일을 변경할 수 있다.
앞서 설명한 바와 같이, 상기 줌-인 버튼이 선택되면 현재 표시되는 시간 구간보다 짧은 구간의 시간이 표시되며, 본 명세서에서는 줌-인 버튼이 선택되는 경우 스케일-업(Scale-Up) 되고, 줌-아웃 버튼이 선택되는 경우 스케일-다운(Scale-Down) 되는 것으로 설명하도록 한다.
줌-인 버튼이 선택됨으로써 스케일-업 되어 상기 스케일이 상기 제1 스케일 보다 커지게 되면, 상기 표시부는 상기 영상에서 발생하 이벤트의 종류를 해당 이벤트 발생 시점에 대응하는 상기 타임 라인(Time Line) 상에 각각 서로 다른 색상으로 표시한다.
즉, 상기 스케일이 상기 제1 스케일 보다 큰 경우에는 도 3을 참조로 하여 설명한 바와 같은 타임 라인을 이용하여 발생한 이벤트의 종류를 보다 구체적으로 표시할 수 있다.
발생한 개별 이벤트를 하나하나 표시하는 경우, 발생한 이벤트의 개수가 많아질수록 색상의 혼합된 색상의 뭉쳐지거나 겹침으로써 구체적으로 어떤 이벤트가 발생했는지를 확인하기 어려울 수 있다. 따라서, 이러한 경우에는 전체 시간구간, 예를 들어 24시간 동안 발생한 이벤트를 미리 설정된 스케일 이하에서는 이벤트의 종류 구분 없이 발생한 이벤트의 개수만을 고려하여 이벤트의 발생 빈도 만을 표시할 수 있다.
그리고, 사용자가 특정 시간 구간을 선택하여 보다 자세하게 확인하고자 하는 경우에는 상기 줌-인 버튼을 선택하여 스케일-업 할 수 있으며, 이때 표시부는 도 3에 도시되는 바와 같이 이벤트의 종류를 표시할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 7을 참조하면, 본 발명의 일 실시에에 따른 영상 제공 방법은, 영상 재생을 위한 표시 영역과 상기 영상의 재생 시간에 대응하는 타임 라인(Time Line)을 포함하는 영상 제공 장치를 이용하는 영상 제공 방법으로서, 영상에서 이벤트를 검출하는 단계(S110), 이벤트 종류 및 횟수를 판별하는 단계(S120) 및 타임 라인 상에 색상 또는 음영으로 이벤트를 표시하는 단계(S130)를 포함한다.
상기 이벤트 검출 단계(S110)에서는 카메라를 통해 촬영된 영상에서 이벤트를 검출하며, 검출되는 이벤트는 움직임 검출(Motion Detection, MD), 안면 검출(Facial Detection, FD) 및 카메라 이벤트(Camera Event)를 포함한다.
움직임 검출(MD)은 상기 영상에서 검출된 객체의 움직임을 의미하며, 상기 이벤트 검출 단계(S110)에서는 미리 설정된 움직임 정도를 벗어나는 움직임이 검출되는 경우 이벤트가 발생한 것으로 판단할 수 있다.
안면 검출(FD)은 상기 영상에서 검출된 객체에서 사람의 얼굴 영역이 검출된 것을 의미하며, 상기 이벤트 검출 단계(S110)에서는 상기 영상에서 사람의 얼굴이 검출되는 경우 해당 이벤트가 발생한 것으로 판단할 수 있다. 그리고, 별도의 저장 매체(미도시)에 미리 저장된 사람의 얼굴 데이터가 존재하는 경우, 검출된 얼굴 영역에 해당하는 사람에 관한 정보를 태그(tag)할 수 있다.
카메라 이벤트는 특정 지점을 통과하는 객체의 움직임에 관한 이벤트를 의미하며, 엔터링(Entering), 패싱(Passing) 및 피플 카운팅(People Counting) 등의 이벤트를 포함할 수 있다.
한편, 각각의 이벤트는 상기 영상을 촬영하는 카메라에서 검출될 수 있으며, 또는 상기 영상을 저장한 이후에 재생을 위한 디코딩(Decoding) 과정에서 생성되는 벡터 정보를 이용하여 검출될 수도 있다.
상기 이벤트 종류 및 횟수 판별 단계(S120)에서는 상기 이벤트 검출 단계(S120)에서 검출된 이벤트의 종류와 발생 횟수를 판별한다. 이벤트가 검출되면 해당 이벤트가 검출된 위치의 좌표 정보와 발생한 이벤트의 종류가 누적되어 저장될 수 있으며, 누적된 저장 횟수를 이용하여 검출된 이벤트의 종류 및 상기 이벤트의 종류에 따른 발생 횟수가 판별될 수 있다.
상기 표시 단계(S130)에서는 상기 영상에서 발생한 이벤트의 종류를 해당 이벤트 발생 시점에 대응하는 타임 라인(Time Line) 상에 각각 서로 다른 색상으로 표시한다.
본 발명에 따른 영상 제공 방법에서 이용하는 상기 영상 제공 장치는, 도 2에 도시되는 바와 같이 표시 영역과 타임 라인 영역을 포함하는 유저 인터페이스(User Interface, UI)를 제공한다.
상기 표시 단계(S130)에서는 상기 영상에서 발생한 이벤트의 종류와 해당 이벤트의 발생 빈도를 상기 이벤트 발생 시점에 대응하는 상기 타임 라인 상에 각각 서로 다른 색상으로 표시한다.
예를 들어, 상기 표시 영역에서 재생중인 영상의 제1 시점에 2개의 서로 다른 종류의 이벤트가 발생한 경우, 상기 타임 라인 상의 상기 제1 시점에 해당하는 위치에 상기 2개의 서로 다른 종류의 이벤트를 표시할 수 있으며, 이 때 상기 2개의 서로 다른 종류의 이벤트는 서로 다른 색상으로 표시될 수 있다.
또 다른 예로써, 상기 영상의 제2 시점에 1개의 이벤트가 발생하고, 제3 시점에 3개의 이벤트가 발생한 경우, 상기 제2 시점에 해당하는 위치에 상기 1개의 이벤트를 나타내는 색상을 표시하고, 상기 제3 시점에 해당하는 위치에 상기 3개의 이벤트를 나타내는 색상을 표시할 수 있다.
이 때 상기 총 4개의 이벤트가 서로 동일한 종류인 경우, 각각의 이벤트를 나타내는 색상은 동일하며, 상기 제3 시점에 대응하는 위치에 표시되는 색상은 상기 제2 시점에 대응하는 위치에 표시되는 색상보다 높은 채도를 가질 수 있다.
또는, 상기 타임 라인 상에 음영으로 이벤트 발생을 표시하는 경우, 상기 제3 시점에 대응하는 위치는 더 진하게 표시될 수 있다.
한편, 본 발명의 다른 실시예에 따른 영상 제공 방법은, 썸네일(Thumbnail) 표시 단계를 더 포함할 수 있으며, 상기 썸네일은 상기 영상으로부터 추출되며 상기 타임 라인에 연동되어 상기 타임 라인 상에서 선택된 지점에 대응하는 이벤트 정보를 표시할 수 있으며, 상기 썸네일은 이벤트의 종류와 발생 빈도에 대응하여 미리 결정된 색상 또는 음영으로 해당 이벤트가 발생한 위치를 표시할 수 있다.
또한, 상기 썸네일 표시 단계에서는 사용자에 의해 지정된 시간 구간에 대응하는 썸네일을 표시하되, 상기 시간 구간 동안 발생한 이벤트 변화 패턴을 상기 색상 또는 음영으로 표시할 수 있다.
도 5를 참조로 하여 설명한 바와 같이, 사용자가 타임 라인(Time Line) 상의 임의의 시점을 선택하면, 상기 썸네일 표시 단계에서는 상기 썸네일 표시 영역(B2)에 상기 선택 시점에 대응하는 하나 이상의 썸네일을 표시할 수 있으며, 이때 상기 선택 시점을 포함한 전후 1분 동안 추출된 썸네일을 표시할 수 있다.
따라서, 상기 썸네일 표시 영역(B2)에 표시되는 썸네일들은 각각 서로 다른 시점에 대응하되, 상기 1분에 포함되는 이미지를 표시하는 것으로 이해할 수 있다.
썸네일을 추출하고 표시하기 위한 시간 구간은 미리 설정될 수 있으며, 상기 썸네일들은 재생중인 영상에서 사용자가 선택한 이벤트가 발생한 영역을 이벤트 발생 빈도에 대응하여 미리 결정된 색상 또는 음영으로 해당 이벤트가 발생한 위치를 표시할 수 있다.
도 5를 참조하면, 상기 썸네일 표시 영역(B2)에 표시되는 썸네일들은 각 시점에서 움직임(Motion) 이벤트가 발생한 영역을 음영으로 표시한다. 이때, 움직임의 정도가 강한 부분은 진하게 표시하고, 움직임의 정도가 약한 부분은 옅게 표시할 수 있다. 또는, 이벤트 발생 빈도가 높은 부분은 진하게 표시하고, 빈도가 낮은 부분은 옅게 표시할 수도 있다.
한편, 도 5는 사용자가 움직임(Motion) 이벤트를 확인하고자 하는 경우를 예로써 도시하고 있으며, 움직임 이벤트에 대응하는 색상, 예를 들어 파란색, 을 이용하여 이벤트의 강도 또는 발생 빈도를 나타낼 수 있다.
즉, 움직임의 정도가 강하거나 이벤트 발생 빈도가 높은 부분일수록 높은 채도의 파란색으로 표시하고, 움직임의 정도가 약하거나 이벤트 발생 빈도가 낮은 부분일수록 낮은 채도의 파란색으로 표시할 수 있다.
이와 유사하게는, 움직임의 정도가 강하거나 이벤트 발생 빈도가 높은 부분일수록 빨간색에 가까운 색상으로 표시하고, 움직임의 정도가 약하거나 이벤트 발생 빈도가 낮은 부분일수록 파란색에 가까운 색상으로 표시할 수 있다.
이러한 방법으로 표시되는 썸네일을 통하여, 사용자는 특정한 시간 구간에서 자신이 선택한 이벤트의 발생 빈도(내지는 발생 횟수), 이벤트의 강도를 한 눈에 확인할 수 있다.
또 다른 실시예로서, 상기 썸네일 표시 영역(B2) 하단에 표시되는 ‘PLAY’ 버튼을 선택하면, 상기 썸네일 표시 단계에서는 상기 썸네일 표시 영역(B2)에 표시되는 썸네일들이 시간 순서에 따라 연속 재생될 수 있다.
이때, 연속 재생되는 썸네일은 색상 또는 음영 정보를 그대로 포함하고 있으므로, 연속 재생되는 썸네일은 사용자가 선택한 이벤트가 발생하는 위치의 변화 패턴을 효율적으로 확인할 수 있게 하는 효과를 제공한다.
지금까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. 카메라를 통해 획득된 영상을 저장하는 영상 저장부; 및
    상기 영상 저장부에 저장된 상기 영상을 표시하는 표시 영역과 상기 영상의 재생 시간에 대응하는 타임 라인(Time Line)을 표시하는 타임 라인 영역을 포함하며, 상기 영상에서 발생한 이벤트의 종류를 해당 이벤트 발생 시점에 대응하는 상기 타임 라인 상에 각각 서로 다른 색상으로 표시하는 표시부;
    를 포함하는 영상 제공 장치.
  2. 제1항에 있어서,
    상기 표시부는 상기 영상으로부터 이벤트 발생을 검출하는 이벤트 검출 모듈을 포함하고,
    상기 이벤트는 움직임 검출(Motion Detection), 안면 검출(Facial Detection) 및 카메라 이벤트(Camera Event)를 포함하는 영상 제공 장치.
  3. 제1항에 있어서,
    상기 이벤트 검출 모듈은 이벤트 발생 위치를 나타내는 좌표 정보를 수신하고, 누적된 상기 좌표 정보를 이용하여 상기 색상의 채도 또는 음영을 결정하는 영상 제공 장치.
  4. 제1항에 있어서,
    상기 표시부는 상기 영상으로부터 추출되는 썸네일(Thumbnail)을 표시하는 썸네일 표시 영역을 더 포함하고,
    상기 썸네일은 상기 타임 라인에 연동되어 상기 타임 라인 상에서 선택된 지점에 대응하는 이벤트 정보를 표시하는 영상 제공 장치.
  5. 제4항에 있어서,
    상기 썸네일은 이벤트의 종류와 발생 빈도에 대응하여 미리 결정된 색상 또는 음영으로 해당 이벤트가 발생한 위치를 표시하는 영상 제공 장치.
  6. 제5항에 있어서,
    상기 표시부는 사용자에 의해 지정된 시간 구간에 대응하는 썸네일을 상기 썸네일 표시 영역에 표시하되, 상기 시간 구간 동안 발생한 이벤트 변화 패턴을 상기 색상 또는 음영으로 표시하는 영상 제공 장치.
  7. 제1항에 있어서,
    상기 표시부는 n×n 크기의 픽셀에 표시되는 색상 또는 음영을 이용하여 상기 이벤트의 종류 또는 해당 이벤트의 발생 빈도를 표시하는 영상 제공 장치.
  8. 제1항에 있어서,
    상기 표시부는 사용자에 의해 지정된 시간 구간 동안 검출된 이벤트의 종류 및 이벤트 종류별 검출 횟수를 더 표시하는 영상 제공 장치.
  9. 카메라를 통해 획득된 영상을 저장하는 영상 저장부; 및
    상기 영상 저장부에 저장된 상기 영상을 표시하는 표시 영역, 상기 영상의 재생 시간에 대응하는 타임 라인(Time Line)을 표시하는 타임 라인 영역 및 상기 타임 라인의 스케일을 변경하는 스케일 선택 영역을 포함하는 표시부;
    를 포함하고,
    상기 표시부는 상기 스케일이 미리 설정된 제1 스케일 이하인 경우, 상기 영상에서 발생한 이벤트의 개수에 대응하는 색상 또는 음영을 상기 타임 라인 상의 이벤트 발생 위치에 표시하고,
    상기 스케일이 상기 제1 스케일 보다 큰 경우, 상기 영상에서 발생한 이벤트의 종류를 해당 이벤트 발생 시점에 대응하는 상기 타임 라인 상에 각각 서로 다른 색상으로 표시하는 영상 제공 장치.
  10. 제9항에 있어서,
    상기 표시부는 상기 영상으로부터 이벤트 발생을 검출하는 이벤트 검출 모듈을 포함하고,
    상기 이벤트는 움직임 검출(Motion Detection), 안면 검출(Facial Detection) 및 카메라 이벤트(Camera Event)를 포함하는 영상 제공 장치.
  11. 제9항에 있어서,
    상기 이벤트 검출 모듈은 이벤트 발생 위치를 나타내는 좌표 정보를 수신하고, 누적된 상기 좌표 정보를 이용하여 상기 색상의 채도 또는 음영을 결정하는 영상 제공 장치.
  12. 제9항에 있어서,
    상기 표시부는 상기 영상으로부터 추출되는 썸네일(Thumbnail)을 표시하는 썸네일 표시 영역을 더 포함하고,
    상기 썸네일은 상기 타임 라인에 연동되어 상기 타임 라인 상에서 선택된 지점에 대응하는 이벤트 정보를 표시하는 영상 제공 장치.
  13. 제12항에 있어서,
    상기 썸네일은 이벤트의 종류와 발생 빈도에 대응하여 미리 결정된 색상 또는 음영으로 해당 이벤트가 발생한 위치를 표시하는 영상 제공 장치.
  14. 제13항에 있어서,
    상기 표시부는 사용자에 의해 지정된 시간 구간에 대응하는 썸네일을 상기 썸네일 표시 영역에 표시하되, 상기 시간 구간 동안 발생한 이벤트 변화 패턴을 상기 색상 또는 음영으로 표시하는 영상 제공 장치.
  15. 제9항에 있어서,
    상기 표시부는 n×n 크기의 픽셀에 표시되는 색상 또는 음영을 이용하여 상기 이벤트의 종류 또는 해당 이벤트의 발생 빈도를 표시하는 영상 제공 장치.
  16. 제9항에 있어서,
    상기 표시부는 사용자에 의해 지정된 시간 구간 동안 검출된 이벤트의 종류 및 이벤트 종류별 검출 횟수를 더 표시하는 영상 제공 장치.
  17. 영상 재생을 위한 표시 영역과 상기 영상의 재생 시간에 대응하는 타임 라인(Time Line)을 포함하는 영상 제공 장치를 이용하는 영상 제공 방법에 있어서,
    상기 영상에서 이벤트를 검출하는 단계;
    검출된 상기 이벤트의 종류 및 발생 횟수를 판별하는 단계; 및
    상기 영상에서 발생한 이벤트의 종류를 해당 이벤트 발생 시점에 대응하는 상기 타임 라인 상에 각각 서로 다른 색상으로 표시하는 단계;
    를 포함하는 영상 제공 방법.
  18. 제17항에 있어서,
    상기 영상으로부터 추출되는 썸네일(Thumbnail)을 표시하는 단계를 더 포함하고,
    상기 썸네일은 상기 타임 라인에 연동되어 상기 타임 라인 상에서 선택된 지점에 대응하는 이벤트 정보를 표시하는 영상 제공 방법.
  19. 제18항에 있어서,
    상기 썸네일은 이벤트의 종류와 발생 빈도에 대응하여 미리 결정된 색상 또는 음영으로 해당 이벤트가 발생한 위치를 표시하는 영상 제공 방법.
  20. 제19항에 있어서,
    상기 썸네일 표시 단계에서는 사용자에 의해 지정된 시간 구간에 대응하는 썸네일을 표시하되, 상기 시간 구간 동안 발생한 이벤트 변화 패턴을 상기 색상 또는 음영으로 표시하는 영상 제공 방법.
PCT/KR2016/011735 2016-10-06 2016-10-19 영상 제공 장치 및 방법 WO2018066742A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/339,708 US11074291B2 (en) 2016-10-06 2016-10-19 Apparatus and method for providing image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160129089A KR20180038241A (ko) 2016-10-06 2016-10-06 영상 제공 장치 및 방법
KR10-2016-0129089 2016-10-06

Publications (1)

Publication Number Publication Date
WO2018066742A1 true WO2018066742A1 (ko) 2018-04-12

Family

ID=61831484

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/011735 WO2018066742A1 (ko) 2016-10-06 2016-10-19 영상 제공 장치 및 방법

Country Status (3)

Country Link
US (1) US11074291B2 (ko)
KR (1) KR20180038241A (ko)
WO (1) WO2018066742A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102280759B1 (ko) * 2018-05-07 2021-07-23 애플 인크. 라이브 비디오 피드들 및 기록된 비디오를 보기 위한 사용자 인터페이스들
KR102637949B1 (ko) * 2018-08-14 2024-02-20 주식회사 케이티 썸네일을 관리하는 서버, 방법, 썸네일을 이용하는 단말
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
KR102079770B1 (ko) * 2019-09-20 2020-02-20 주식회사 토브넷 이동형 ｃｃｔｖ 원격 감시 시스템 및 방법
KR20210094686A (ko) 2020-01-21 2021-07-30 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어방법
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US11589010B2 (en) 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
US11657614B2 (en) 2020-06-03 2023-05-23 Apple Inc. Camera and visitor user interfaces
EP4189682A1 (en) 2020-09-05 2023-06-07 Apple Inc. User interfaces for managing audio for media items

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7703044B2 (en) * 2001-11-19 2010-04-20 Ricoh Company, Ltd. Techniques for generating a static representation for time-based media information
KR100982165B1 (ko) * 2002-06-18 2010-09-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 프로그램용 비디오마크를 제공하는 시스템 및 방법
KR20100134610A (ko) * 2008-02-19 2010-12-23 구글 인코포레이티드 비디오 인터벌 주석
KR20150032193A (ko) * 2013-09-16 2015-03-25 엑시스 에이비 이벤트 타임라인 생성
KR20150108223A (ko) * 2014-03-17 2015-09-25 한화테크윈 주식회사 영상검색기능이 개선된 타임라인을 지원하는 영상장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262472A1 (en) 2011-04-13 2012-10-18 Honeywell International Inc. Heatmap timeline for visualization of time series data
US9269243B2 (en) * 2011-10-07 2016-02-23 Siemens Aktiengesellschaft Method and user interface for forensic video search
KR20140052744A (ko) 2012-10-25 2014-05-07 에스케이텔레콤 주식회사 영상 내에 발생한 이벤트를 탐색하는 장치 및 방법
KR101978216B1 (ko) 2013-01-04 2019-05-14 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102082754B1 (ko) 2013-07-11 2020-04-16 삼성전자주식회사 청소 로봇 및 그 제어 방법
KR102015954B1 (ko) 2014-03-21 2019-08-29 한화테크윈 주식회사 영상 처리 시스템 및 영상 처리 방법
US9170707B1 (en) * 2014-09-30 2015-10-27 Google Inc. Method and system for generating a smart time-lapse video clip
KR102170693B1 (ko) 2014-07-18 2020-10-27 한화테크윈 주식회사 영상재생장치 및 영상재생장치에서 영상정보 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7703044B2 (en) * 2001-11-19 2010-04-20 Ricoh Company, Ltd. Techniques for generating a static representation for time-based media information
KR100982165B1 (ko) * 2002-06-18 2010-09-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 프로그램용 비디오마크를 제공하는 시스템 및 방법
KR20100134610A (ko) * 2008-02-19 2010-12-23 구글 인코포레이티드 비디오 인터벌 주석
KR20150032193A (ko) * 2013-09-16 2015-03-25 엑시스 에이비 이벤트 타임라인 생성
KR20150108223A (ko) * 2014-03-17 2015-09-25 한화테크윈 주식회사 영상검색기능이 개선된 타임라인을 지원하는 영상장치

Also Published As

Publication number Publication date
US20190286651A1 (en) 2019-09-19
KR20180038241A (ko) 2018-04-16
US11074291B2 (en) 2021-07-27

Similar Documents

Publication Publication Date Title
WO2018066742A1 (ko) 영상 제공 장치 및 방법
WO2018124510A1 (ko) 이벤트 저장 장치, 이벤트 검색 장치, 및 이벤트 알람 장치
WO2015012441A1 (en) Digital device and control method thereof
WO2021167374A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
WO2012176953A1 (ko) 설정 인터페이스를 구비한 피플 카운터 및 그 설정 방법
EP2979154A1 (en) Display device and control method thereof
WO2015108232A1 (en) Portable device and method for controlling the same
WO2014193065A1 (en) Video search apparatus and method
WO2012064115A9 (ko) 폐쇄회로 텔레비전 카메라를 이용한 실시간 화재 감시 시스템 및 그 방법
WO2020009550A1 (en) Method and apparatus for capturing dynamic images
WO2018021608A1 (ko) 모니터링 장치 및 시스템
WO2017073852A1 (en) Photographing apparatus using multiple exposure sensor and photographing method thereof
EP3120217A1 (en) Display device and method for controlling the same
WO2017213439A1 (ko) 멀티 스티커를 이용한 영상 생성 방법 및 장치
WO2019108028A1 (ko) 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템
JP2016018571A (ja) 画像記憶再生制御装置、画像記憶再生制御方法、画像記憶再生制御システム、及びプログラム
WO2015088101A1 (en) Display device and method of controlling the same
WO2018004036A1 (ko) 모니터링 장치 및 시스템
EP3818692A1 (en) Method and apparatus for capturing dynamic images
WO2021172943A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
WO2012050244A1 (ko) 영상 감시 장치 및 그 오브젝트 검색 방법
WO2018070584A1 (ko) 감시 카메라의 제어 방법 및 이 방법을 채용한 감시 시스템
WO2018124689A1 (en) Managing display of content on one or more secondary device by primary device
WO2021071118A1 (ko) 전경 분리 장치 및 방법
WO2018021609A1 (ko) 검색 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16918363

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16918363

Country of ref document: EP

Kind code of ref document: A1