WO2015108236A1 - 요약 영상 브라우징 시스템 및 방법 - Google Patents

요약 영상 브라우징 시스템 및 방법 Download PDF

Info

Publication number
WO2015108236A1
WO2015108236A1 PCT/KR2014/002533 KR2014002533W WO2015108236A1 WO 2015108236 A1 WO2015108236 A1 WO 2015108236A1 KR 2014002533 W KR2014002533 W KR 2014002533W WO 2015108236 A1 WO2015108236 A1 WO 2015108236A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
summary image
sorted
browsing
Prior art date
Application number
PCT/KR2014/002533
Other languages
English (en)
French (fr)
Inventor
유연걸
박동준
신학철
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to US15/107,011 priority Critical patent/US10032483B2/en
Publication of WO2015108236A1 publication Critical patent/WO2015108236A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • Embodiments of the present invention relate to a summary image browsing system and method.
  • An object of the present invention is to provide an image browsing system and a browsing method that enable a user to conveniently grasp a search result.
  • Summary video browsing method the step of tracking the motion trajectory of the object from the input video; Extracting the object from the input video to generate a series of object segments; And generating a summary image for each object extracted from the input video by synthesizing the series of object segments with a background image along the motion trajectory of the object and having a thickness according to the appearance time of the object.
  • the summary image may include a display area and a text area indicating information of the object, and a border of the display area may be assigned a specific color according to the category of the object.
  • the object segment may be disposed not to overlap the background image along the movement trajectory of the object, and may be displayed in a specific color or a specific figure, and may vary in size according to a position in the background image.
  • the method may further include arranging and displaying at least one summary image matching the search condition among the summary images generated for each object along the time axis in order of appearance time of the object.
  • the method includes receiving an input for changing a view point of the aligned summary images; And rotating and moving the respective summary images based on the transformation relationship assigned to each summary image.
  • the method may further include detecting an operation of dragging and dropping a first summary image among the sorted summary images to a second summary image; And arranging and displaying the synthesized summary image obtained by merging the first summary image with the second summary image, in alignment with the remaining summary images.
  • the method may further include arranging and displaying a composite summary image obtained by merging at least one summary image partially overlapping the appearance retention time of the sorted summary images with the remaining summary images.
  • the displaying of the synthesized summary image may include displaying the synthesized summary image in which the summary image selected by the user among the sorted summary images and at least one summary image partially overlapping the appearance maintenance time are aligned with the remaining summary images. It may include;
  • the method includes receiving a request to reorder the sorted summary images by category; And classifying the sorted summary images by category and sorting and displaying the sorted summary images along the time axis in order of object appearance time within each category.
  • the method includes receiving a selection of a summary image among the sorted summary images; And highlighting the selected summary image and displaying the selected summary image by overlapping the remaining summary images.
  • the method includes providing a play icon on the highlighted summary image; And when the selection of the play icon is received, playing the objects of the summary image in chronological order.
  • the method includes receiving a background removal or background addition request for at least one summary image of the sorted summary images; And removing or adding a background of the at least one summary image to display the background image.
  • the method may further include clustering searched summary images for each search condition.
  • the object tracking unit for tracking the movement trajectory of the object from the input video, and extracts the object to generate a series of object segments;
  • a summary image generator configured to synthesize the series of object segments into a background image along the motion trajectory of the object and generate a summary image having a thickness according to the appearance time of the object for each object extracted from the input video.
  • the summary image may include a display area and a text area indicating information of the object, and a border of the display area may be assigned a specific color according to the category of the object.
  • the object segment may be disposed not to overlap the background image along the movement trajectory of the object, and may be displayed in a specific color or a specific figure, and may vary in size according to a position in the background image.
  • the system may further include a browsing engine configured to display at least one summary image matching the search condition among the summary images generated for each object, aligned along the time axis in order of appearance time of the object.
  • a browsing engine configured to display at least one summary image matching the search condition among the summary images generated for each object, aligned along the time axis in order of appearance time of the object.
  • the browsing engine may rotate and move for each summary image based on a transformation relationship assigned to each summary image in response to a request for changing the viewpoint of the sorted summary images.
  • the browsing engine may align and display the composite summary image obtained by merging some summary images of the sorted summary images with the other summary images according to a user's selection or a partial overlap of the maintenance time of the appearance of the object.
  • the browsing engine highlights a selected summary image among the sorted summary images and displays the overlapping summary image separately from the other summary images, provides a playback icon on the highlighted summary image, and when selection of the playback icon is received,
  • the objects in the summary image may be played in chronological order.
  • the browsing engine may cluster summary images searched for each search condition.
  • the embodiment of the present invention by generating the object and the image-based summary image and aligning the three-dimensional structure, it is possible to grasp the trend of the object at a glance, and to facilitate user convenience.
  • FIG. 1 is a block diagram schematically illustrating an image browsing system according to an exemplary embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating the image processing engine of FIG. 1.
  • FIG. 3 is a flowchart schematically illustrating an image browsing method according to an embodiment of the present invention.
  • FIG. 4 is a flowchart schematically illustrating a method of generating a summary image of FIG. 3.
  • FIG. 5 illustrates an example of a plurality of summary images generated from an input video according to an embodiment of the present invention.
  • FIG. 6 illustrates an example in which a summary image is three-dimensionally aligned in a time sequence on a screen according to an exemplary embodiment of the present invention.
  • FIG. 7 is an exemplary diagram illustrating rotation of a summary image arranged on a screen according to an embodiment of the present invention.
  • FIG. 8 illustrates an example in which summary images arranged on a screen according to an exemplary embodiment of the present invention are rearranged by category.
  • FIG. 9 is an exemplary diagram illustrating an interaction between summary images arranged on a screen according to an embodiment of the present invention.
  • FIG. 10 is an exemplary diagram in which a summary of interest image is highlighted on a screen according to an embodiment of the present invention.
  • FIG. 11 is an exemplary diagram illustrating a summary image in which a background aligned with a screen is removed or added according to an exemplary embodiment of the present invention.
  • FIG. 12 is an exemplary diagram illustrating clustering of a summary image displayed on a screen according to an embodiment of the present invention.
  • Summary video browsing method the step of tracking the motion trajectory of the object from the input video; Extracting the object from the input video to generate a series of object segments; And generating a summary image for each object extracted from the input video by synthesizing the series of object segments with a background image along the motion trajectory of the object and having a thickness according to the appearance time of the object.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.
  • Embodiments of the present invention can be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions. For example, embodiments of the invention may be implemented directly, such as memory, processing, logic, look-up table, etc., capable of executing various functions by the control of one or more microprocessors or other control devices. Circuit configurations can be employed. Similar to the components of an embodiment of the present invention may be implemented in software programming or software elements, embodiments of the present invention include various algorithms implemented in combinations of data structures, processes, routines or other programming constructs. It may be implemented in a programming or scripting language such as C, C ++, Java, assembler, or the like.
  • inventions may be implemented with an algorithm running on one or more processors.
  • embodiments of the present invention may employ the prior art for electronic configuration, signal processing, and / or data processing.
  • Terms such as mechanism, element, means, configuration can be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.
  • FIG. 1 is a block diagram schematically illustrating an image browsing system according to an exemplary embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating the image processing engine of FIG. 1.
  • the image browsing system 1 may display a search result to a user and perform a series of processes for allowing the user to grasp the search result.
  • the image browsing system 1 may include an image processing engine 10, a database 20, a query engine 30, a search engine 40, and a browsing engine 50.
  • the image processing engine 10 may perform image analysis such as appearance and disappearance of an object, motion detection of an object, image off, and the like in the input video. Also, the image processing engine 10 may perform background detection, foreground and object detection, object counting, camera tampering detection, face detection, and the like. The image processing engine 10 may also calculate brightness, color, texture, and contour information of the image.
  • the image processing engine 10 may include a background generator 101, an object extractor 103, and a summary image generator 105.
  • the background generator 101 may generate a background image by extracting a background from a plurality of image frames constituting the input video.
  • the background generator 101 may determine a still area as a background of the plurality of image frames and generate a background image.
  • the background image generating method is not particularly limited, and various known methods may be applied.
  • the input video may be a video directly transmitted from a camera (not shown) that is an image sensor connected to the video browsing system 1, and may be a digital video recorder (DVR) or a network video recorder connected to the video browsing system 1.
  • the video may be a video stored in a network video recorder (NVR) or may be a video input through various paths through a network (not shown).
  • the object extractor 103 may determine a movement region as the object of interest from the plurality of image frames and track the movement trajectory of the object.
  • the object extractor 103 may acquire tracking information about an object in the video by collecting information about object change between successive image frames.
  • the object extracting unit 103 may generate a series of object segments by extracting objects from the plurality of image frames.
  • the object segment may be a blob surrounding the object. Since the object size changes according to the position in the image frame, the object segment may change in size (height and width) correspondingly.
  • the object extractor 103 may extract the object in consideration of the importance along the tracked movement trajectory. Importance can be determined by considering the degree of change in the direction of movement (movement trajectory).
  • the object extractor 103 may omit the extraction of an object in some image frames according to importance.
  • the summary image generator 105 may generate a summary image by synthesizing a series of object segments with a background image along the motion trajectory of the object.
  • the summary image is a video summary image obtained by condensing a video based on the object, in which consecutive movements of the object are not overlapped with the background image.
  • the motion trajectory may take the form of a zigzag due to the change in size of the object segment and the non-overlapping arrangement.
  • the summary image generator 105 may perform trajectory smoothing for smooth copper line display.
  • the summary image generator 105 may perform visualization to clearly distinguish the background from the foreground (object).
  • an object may be displayed in a specific color or in a specific shape (square, circle, etc.).
  • One summary image is an image summarizing the movement of one object for a certain time. Therefore, the number of summary images generated from the input video may correspond to the number of detected objects.
  • the thickness of the summary image may represent the time until the object appears (appears) and disappears, that is, the appearance duration. Therefore, the longer the appearance retention time is, the thicker the summary image is.
  • Each summary image may include a display area in which the movement of the object is displayed and a text area indicating information of the object.
  • the border of the display area may be assigned a specific color according to the category (type) of the object.
  • the border color and object segment color are separate.
  • information on a category of an object eg, a person, a vehicle, an animal, etc.
  • an appearance maintenance time e.g., an object segment color, and the like
  • the summary image generator 105 may index the motion trajectory, the object segment, the object information, the summary image, and the like to make a database.
  • the image processing engine 10 may generate an event when the set event occurrence condition is satisfied by performing image analysis.
  • the event may include a system event set inside the system, such as when a network error occurs or when a new camera is set.
  • the database 20 stores an input video, a video analysis result, and the like.
  • the analysis result of the video may be stored in a text-based metadata or an image-based metadata format.
  • the image processing engine 10 may structure and organize metadata in a database 20 to facilitate retrieval.
  • the query engine 30 receives a search condition from the user through the input device 60, analyzes the user's requirements from the search condition, and reconstructs the search condition into a predefined form. For example, the user may input a time interval, a category of an object (a person, a vehicle, etc.), a color, a specific region (ROI) of a background image, a specific line of a background image, a specific direction, etc. through the input device 60. Can be entered as a search condition.
  • the search engine 40 may access the database 20 according to a search condition and find necessary information.
  • the search engine 40 may extract a summary image matching or similar to the search condition from the database 20.
  • the browsing engine 50 may render the searched summary image on the display device 70 in real time.
  • the browsing engine 50 may display the at least one summary image generated for each object that matches the search condition by sorting the objects along the time axis in the order of appearance time of the object.
  • the browsing engine 50 may configure a 3D by arranging a plurality of summary images in each layer in a 3D space. That is, the summary image which is earlier in time is disposed in the layer behind the summary image which is backward in time.
  • the summary image of the previous layer may be at least partially obscured by the summary image of the previous layer, and the user may move and / or rotate to monitor the summary image.
  • the browsing engine 50 may receive a control signal for changing a view point of the sorted summary images and change and display positions of the summary images for each summary image based on a conversion relationship assigned to each summary image.
  • the viewpoint change control signal may be, for example, a movement of a mouse or a wheel rotating or moving about a defined axis, a touch movement on a screen, and the like.
  • the user can rotate or move the collection of layers in three-dimensional space to observe a summary image of a particular layer. Accordingly, the movement of the object of interest can be checked at once from the summary image of each layer.
  • three dimensions may be modeled as a set of planes (layers) and an independent transformation relationship may be assigned to each plane.
  • the independent transformation assigned to each plane may use a two-dimensional transformation relationship such as Affine or Homography.
  • the three-dimensional representation is composed of several planes, when the user changes the view point, real-time three-dimensional rendering is possible by using a plurality of two-dimensional transforms.
  • the browsing engine 50 may receive a control signal for merging some selected summary images among the sorted summary images, and display the synthesized summary images in which the selected summary images are merged together with the remaining summary images.
  • the merge control signal may be, for example, an operation of selecting the first summary image and dragging and dropping the first summary image to the second summary image.
  • the browsing engine 50 may detect selection, drag and drop operations, and generate a composite summary image in which the first summary image and the second summary image are merged.
  • the summary image is in the form of a composite image, and consists of a visualization element of a background, a foreground, and a foreground. Therefore, two or more summary images may be merged into one summary image.
  • the browsing engine 50 may render an image blob of an object, that is, a segment, on the same background image by using an appearance time and a location. Accordingly, a summary image based on interactions between different objects may be provided.
  • the browsing engine 50 may display a composite summary image in which at least one summary image which partially overlaps the appearance retention time among the summary images arranged by automatic setting or by user selection may be displayed in alignment with the remaining summary images. have.
  • the browsing engine 50 may receive a control signal for rearranging the sorted summary images by category, reclassify the sorted summary images by category, and sort and display the sorted summary images along the time axis in order of object appearance time within each category. .
  • the browsing engine 50 may receive a control signal for selecting a summary image among the sorted summary images, highlight the selected summary image, and display the overlapping image on the top of the remaining summary images.
  • the browsing engine 50 may provide a playback icon to the highlighted summary image, receive a control signal for activating the playback icon, and continuously reproduce the movement of an object in the summary image.
  • the browsing engine 50 may play a video including a time section of the summary video to be played.
  • the browsing engine 50 may receive a control signal for removing a background or adding a background of at least one summary image among the sorted summary images, and may display the removed or added background for each summary image.
  • the browsing engine 50 may receive a control signal for clustering the summarized images searched for each search condition and cluster the data into one or more groups.
  • the number of summary images included in the cluster indicates the cluster size, and the size of the cluster indicates the probability of occurrence of the corresponding search condition.
  • the user terminal 80 is a terminal used by a user or a security person who manages the image browsing system 1 and may be a computer or a mobile terminal. The user may control the image browsing system 1 through the user terminal 80.
  • the user terminal 80 includes an input device 60 which is a user interface for inputting a query (search condition) to the image browsing system 1.
  • the input device 60 is connected to the image browsing system 1 by wire or wirelessly to generate input data for controlling the operation of the image browsing system 1 by the user.
  • the input device 60 includes a key pad, a dome switch, a touch pad (contact capacitive type, pressure resistive type, infrared sensing type, surface ultrasonic conduction type, integral tension measuring type, Piezo effect method), a mouse, a remote controller, a jog wheel, a jog switch, and the like.
  • the user terminal 80 may set the display condition of the resultant image by modifying, adding, or deleting a search condition using the input device 60.
  • the user terminal 80 may adjust the alignment, merging, and playback of the displayed result image using the input device 60.
  • the display device 70 provides the user with the resultant image output from the browsing engine 50, thereby allowing the user to monitor the displayed image.
  • the display device 70 may provide visual information and / or audio information to a user.
  • the display device 70 may be formed of a liquid crystal display panel (LCD), an organic light emitting display panel (OLED), an electrophoretic display panel (EPD), or the like.
  • the display device 70 may be provided in the form of a touch screen to receive an input through a user's touch and operate as an input interface.
  • FIG. 3 is a flowchart schematically illustrating an image browsing method according to an embodiment of the present invention.
  • 4 is a flowchart schematically illustrating a method of generating a summary image of FIG. 3.
  • the image browsing system may generate a summary image from the input video (S31).
  • the image browsing system may detect a background from a plurality of image frames to generate a background image (S311), and detect a motion of an object (S313).
  • the image browsing system tracks objects of interest continuously in time using recognition, motion detection, and tracking techniques in every image frame, extracting and restoring the motion trajectory of the objects of interest. It may recover (S315).
  • the image browsing system may generate a series of object segments by extracting objects from the plurality of image frames (S317).
  • the object segment may be visualized in a specific color or a specific figure for each object.
  • the image browsing system may generate a summary image by synthesizing a series of object segments on a background image along a motion trajectory of the object (S319).
  • the object segments are disposed not to overlap along the movement trajectory, and may vary in size depending on their position in the background image.
  • FIG. 5 illustrates an example of a plurality of summary images generated from an input video according to an embodiment of the present invention.
  • the image browsing system may separate the region of interest from the input image by using the extracted motion information of the object of interest, and finally synthesize it with the background image to generate a summary image corresponding to the object of interest.
  • one summary image represents a motion summary of one object.
  • the number of summary images may correspond to the number of detected objects.
  • six people Person 1 to Person 6
  • five vehicles Car 1 to Car5
  • 11 summary images were generated.
  • the object segments synthesized in the background image along the moving line of each object may be displayed in different colors or different shapes for each object.
  • the size of the segment may vary according to the position of the object in the background image.
  • Each summary image may include a display area surrounded by a border of a specific color and a text area representing information of an object.
  • the summary images of the objects belonging to the same category may be displayed with borders of the same color.
  • 5 shows an example in which a person is indicated by a blue border (light outline) and a vehicle is indicated by a red border (dark outline).
  • information about the category of the object, the appearance maintenance time, the color of the object segment, and the like may be displayed as the information of the object.
  • the text area may also be set to be surrounded by a border having the same color as the display area.
  • Objects belonging to the same category may be distinguished by color and / or numbering.
  • the thickness of the summary image may be proportional to the appearance retention time. For example, the longer the appearance retention time, the thicker the summary image is.
  • the summary image represents a spatial-temporal volume of each object moving line extracted from the original video.
  • the image browsing system may display the summary images generated for each object in alignment with the time axis in the order of appearance time of the objects (S35).
  • the image browsing system may detect and display at least one summary image matching the search condition.
  • the image browsing system may arrange a summary image for each object in a three-dimensional space for each layer. That is, one layer represents one object of interest, and a summary image of an object that appears first in time is disposed on a later layer in a three-dimensional space, and a summary image of an object that appears later is placed on a previous layer.
  • one summary image may be generated for each object, and the generated summary image may be arranged in each layer of the three-dimensional space in time order to facilitate user convenience.
  • FIG. 6 illustrates an example in which a summary image is three-dimensionally aligned in a time sequence on a screen according to an exemplary embodiment of the present invention.
  • a summary image of an object that appears first in time is disposed on the rearmost layer in the three-dimensional space, and the object that appears last is disposed on the frontmost layer.
  • Each summary image may have a different thickness depending on the appearance retention time. In the lower left of the screen, a description of the color for each category may be intuitively displayed.
  • the image browsing system may change the display of the sorted summary images according to a setting or according to a user input (S39).
  • the user can change the 3D view point to effectively view the summary image of all layers.
  • the image browsing system may receive a viewpoint change input input by a user, and may render in real time by independently rotating and / or moving three-dimensionally for each layer (by summary image).
  • the image browsing system may select, move, or hide a summary image of a specific layer or a plurality of layers by assigning independent transformation relationships to each layer.
  • FIG. 7 is an exemplary diagram illustrating rotation of a summary image arranged on a screen according to an embodiment of the present invention.
  • the sorted summary image may be rotated / moved based on a plurality of predetermined axes. As shown in FIG. 7A, conversion relations H1, H2,... Hn-1 and Hn are set in each of the summary images arranged in a line on the front of the screen. As shown in the drawing, the image may be rotated and / or moved individually or collectively according to a conversion relationship set for each summary image.
  • the image browsing system may receive a request for rearranging the sorted summary images by category, classify the object into categories, and display the sorted images along the time axis in order of object appearance time within each category.
  • 8 illustrates an example in which summary images arranged on a screen according to an exemplary embodiment of the present invention are rearranged by category. 8 is an exemplary diagram illustrating rearranged results by classifying the sorted summary image into people and vehicles.
  • the image browsing system may secure user convenience by linking the classification of the image summary with a search condition. For example, when the search condition has a color, the summary images may be classified and visualized according to the color.
  • the video browsing system can provide classification visualization that matches the search conditions required by the user.
  • the image browsing system may receive a merge request of two or more summary images of the sorted summary images, generate a composite summary image in which the selected summary images are merged, and display the image in alignment with the remaining summary images.
  • the summary image of one layer contains one object information.
  • the image browsing system merges summary images of a plurality of layers to display the interaction of one layer.
  • a plurality of object information may be displayed on the summary image.
  • the user may merge the two summary images into the summary image of one layer by selecting the summary image of the layer to be merged (for example, clicking the mouse) and dragging and dropping the summary image of the layer to be merged.
  • FIG. 9 is an exemplary diagram illustrating an interaction between summary images arranged on a screen according to an embodiment of the present invention.
  • FIG. 9 illustrates a composite summary image in which two adjacent layers, the fourth and fifth summary images are merged, and the composite summary image in which the tenth and eleventh summary images are merged.
  • the selected summary images may be merged according to the user moving the mouse on the layer.
  • a plurality of summary images having some overlapping time intervals may be automatically merged. Accordingly, the user can grasp the interaction between different objects as well as the movement of each object.
  • the synthesis summary image may have a thickness obtained by adding up the thicknesses of the summary images before merging.
  • the edges of the synthesized summary image may display all the border colors of each category.
  • the synthesized summary image may be displayed on part or all of the screen, instantly highlighted, or disposed on other summary images for the user to check.
  • the image browsing system may receive a selection of a summary image among the sorted summary images, highlight the selected summary image, and display the overlapping display alone with the remaining summary images.
  • the image browsing system may provide a play icon to the highlighted summary image, and when a selection for activating the play icon is received, the image browsing system may continuously play the movement of the object in the selected summary image.
  • the image browsing system may play a video including a time section of the summary video to be played.
  • FIG. 10 is an exemplary diagram in which a summary of interest image is highlighted on a screen according to an embodiment of the present invention.
  • the selected summary image is highlighted, and according to activation of a play icon, an object in the summary image may play an operation of moving along a movement trajectory. have.
  • the original video of the time interval of the summary video may be played according to the activation of the play icon.
  • the image browsing system may receive a background removal or background addition request for at least one summary image among the sorted summary images, and remove or display a background of the at least one summary image.
  • FIG. 11 is an exemplary diagram illustrating a summary image in which a background aligned with a screen is removed or added according to an exemplary embodiment of the present invention.
  • the background image is removed and only the object of interest is displayed. If the user selects the summary image of the layer of interest again, the background image may be added to the selected summary image. In the example of FIG. 11, the background image is displayed only on the summary image of the lowest layer, and the background image is removed from the remaining summary images.
  • the image browsing system may cluster the summary images searched by the search conditions.
  • the image browsing system may identify the content of each search condition by configuring and visualizing the cluster through the number of summary images corresponding to each search condition, that is, the number of objects.
  • the size of each cluster represents the probability of occurrence of the corresponding search condition. Accordingly, the probability of occurrence and content tendency according to the corresponding search condition can be identified at a glance according to the size of the cluster.
  • FIG. 12 is an exemplary diagram illustrating clustering of a summary image displayed on a screen according to an embodiment of the present invention.
  • FIG. 12 shows a cluster (a) of summary images of search results according to a first search condition (person), a cluster (b) of summary images of search results according to a second search condition (vehicle), and a third search condition (train) Shows a cluster (c) of summary images of the searched results.
  • the user can know the content tendency by grasping the occurrence probability of the search condition from the cluster size of the search condition.
  • the summary image is not an abbreviated video, but an object-based image
  • the trend of the object can be grasped at a glance, and the user's convenience can be achieved by the three-dimensional structure.
  • the summary image browsing method according to the present invention can be embodied as computer readable codes on a computer readable recording medium.
  • Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.

Abstract

본 발명의 실시예는 요약 영상 브라우징 시스템 및 방법을 개시한다. 본 발명의 요약 영상 브라우징 방법은, 입력 동영상으로부터 객체의 움직임 궤적을 추적하는 단계; 상기 입력 동영상으로부터 상기 객체를 추출하여 일련의 객체 세그먼트를 생성하는 단계; 및 상기 객체의 움직임 궤적을 따라 배경 영상에 상기 일련의 객체 세그먼트가 합성되고 상기 객체의 출현 시간에 따른 두께를 갖는 요약 영상을, 상기 입력 동영상에서 추출된 객체별로 생성하는 단계;를 포함할 수 있다.

Description

요약 영상 브라우징 시스템 및 방법
본 발명의 실시예는 요약 영상 브라우징 시스템 및 방법에 관한 것이다.
영상(이미지), 비디오 등 멀티미디어 서비스의 수요가 증가하고 휴대용 멀티미디어 기기가 보편적으로 보급되면서 방대한 양의 멀티미디어 데이터를 관리하고 소비자가 원하는 컨텐츠를 빠르고 정확하게 찾아내 제공하는 효율적인 멀티미디어 검색 및 브라우징 시스템의 필요성도 커지고 있다.
본 발명은 사용자가 편리하게 검색 결과를 파악할 수 있는 영상 브라우징 시스템 및 브라우징 방법을 제공하고자 한다.
본 발명의 실시예에 따른 요약 영상 브라우징 방법은, 입력 동영상으로부터 객체의 움직임 궤적을 추적하는 단계; 상기 입력 동영상으로부터 상기 객체를 추출하여 일련의 객체 세그먼트를 생성하는 단계; 및 상기 객체의 움직임 궤적을 따라 배경 영상에 상기 일련의 객체 세그먼트가 합성되고 상기 객체의 출현 시간에 따른 두께를 갖는 요약 영상을, 상기 입력 동영상에서 추출된 객체별로 생성하는 단계;를 포함할 수 있다.
상기 요약 영상은 표시 영역과 상기 객체의 정보를 나타내는 텍스트 영역을 포함하고, 상기 표시 영역의 테두리는 상기 객체의 카테고리에 따라 특정 색상이 할당될 수 있다.
상기 객체 세그먼트는 상기 객체의 움직임 궤적을 따라 상기 배경 영상에 중복되지 않게 배치되고, 특정 색상 또는 특정 도형으로 표시되고, 상기 배경 영상에서의 위치에 따라 크기가 달라질 수 있다.
상기 방법은, 객체별로 생성된 요약 영상들 중 검색 조건에 매칭하는 적어도 하나의 요약 영상을 상기 객체의 출현 시간 순서로 시간 축을 따라 정렬하여 디스플레이하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 정렬된 요약 영상들의 뷰 포인트를 변경하는 입력을 수신하는 단계; 및 각 요약 영상에 할당된 변환관계를 기초로 요약 영상별로 회전 및 이동하여 디스플레이하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 정렬된 요약 영상들 중 제1 요약 영상을 제2 요약 영상으로 드래그 앤 드롭하는 동작을 감지하는 단계; 및 상기 제1 요약 영상을 상기 제2 요약 영상과 병합한 합성 요약 영상을 나머지 요약 영상들과 정렬하여 디스플레이하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 정렬된 요약 영상들 중 출현 유지 시간이 일부 중첩하는 적어도 하나의 요약 영상을 병합한 합성 요약 영상을 나머지 요약 영상들과 정렬하여 디스플레이하는 단계;를 더 포함할 수 있다.
상기 합성 요약 영상 디스플레이 단계는, 상기 정렬된 요약 영상들 중 사용자에 의해 선택된 요약 영상과 출현 유지 시간이 일부 중첩하는 적어도 하나의 요약 영상을 병합한 합성 요약 영상을 나머지 요약 영상들과 정렬하여 디스플레이하는 단계;를 포함할 수 있다.
상기 방법은, 상기 정렬된 요약 영상들을 카테고리별로 재정렬하는 요청을 수신하는 단계; 및 상기 정렬된 요약 영상들을 카테고리별로 분류하고, 각 카테고리 내에서 객체 출현 시간 순서로 시간 축을 따라 정렬하여 디스플레이하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 정렬된 요약 영상들 중 요약 영상의 선택을 수신하는 단계; 및 상기 선택된 요약 영상을 하이라이트하고, 나머지 요약 영상들과 중첩하여 단독 디스플레이하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 하이라이트된 요약 영상에 재생 아이콘을 제공하는 단계; 및 상기 재생 아이콘의 선택이 수신되면, 상기 요약 영상의 객체를 시간 순서로 재생하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 정렬된 요약 영상들 중 적어도 하나의 요약 영상에 대한 배경 제거 또는 배경 추가 요청을 수신하는 단계; 및 상기 적어도 하나의 요약 영상의 배경을 제거 또는 추가하여 디스플레이하는 단계;를 더 포함할 수 있다.
상기 방법은, 검색 조건별로 검색된 요약 영상들을 클러스터링하는 단계;를 더 포함할 수 있다.
본 발명의 실시예에 따른 요약 영상 브라우징 시스템은, 입력 동영상으로부터 객체의 움직임 궤적을 추적하고, 상기 객체를 추출하여 일련의 객체 세그먼트를 생성하는 객체추출부; 및 상기 객체의 움직임 궤적을 따라 배경 영상에 상기 일련의 객체 세그먼트가 합성되고 상기 객체의 출현 시간에 따른 두께를 갖는 요약 영상을, 상기 입력 동영상에서 추출된 객체별로 생성하는 요약영상생성부;를 포함할 수 있다.
상기 요약 영상은 표시 영역과 상기 객체의 정보를 나타내는 텍스트 영역을 포함하고, 상기 표시 영역의 테두리는 상기 객체의 카테고리에 따라 특정 색상이 할당될 수 있다.
상기 객체 세그먼트는 상기 객체의 움직임 궤적을 따라 상기 배경 영상에 중복되지 않게 배치되고, 특정 색상 또는 특정 도형으로 표시되고, 상기 배경 영상에서의 위치에 따라 크기가 달라질 수 있다.
상기 시스템은, 객체별로 생성된 요약 영상들 중 검색 조건에 매칭하는 적어도 하나의 요약 영상을 상기 객체의 출현 시간 순서로 시간 축을 따라 정렬하여 디스플레이하는 브라우징 엔진;을 더 포함할 수 있다.
상기 브라우징 엔진은, 상기 정렬된 요약 영상들의 뷰 포인트 변경 요청에 응답하여, 각 요약 영상에 할당된 변환관계를 기초로 요약 영상별로 회전 및 이동하여 디스플레이할 수 있다.
상기 브라우징 엔진은, 사용자의 선택 또는 객체의 출현 유지 시간의 일부 중첩에 따라, 상기 정렬된 요약 영상들 중 일부 요약 영상을 병합한 합성 요약 영상을 나머지 요약 영상들과 정렬하여 디스플레이할 수 있다.
상기 브라우징 엔진은, 상기 정렬된 요약 영상들 중 선택된 요약 영상을 하이라이트하여 나머지 요약 영상들과 중첩하여 단독 디스플레이하고, 상기 하이라이트된 요약 영상에 재생 아이콘을 제공하고, 상기 재생 아이콘의 선택이 수신되면, 상기 요약 영상 내의 객체를 시간 순서로 재생할 수 있다.
상기 브라우징 엔진은, 검색 조건별로 검색된 요약 영상들을 클러스터링할 수 있다.
본 발명의 실시예는 객체 및 이미지 기반 요약 영상을 생성하여 3차원 구조로 정렬함으로써, 객체의 동향을 한눈에 파악할 수 있고, 사용자 편의성을 도모할 수 있다.
도 1은 본 발명의 실시 예에 따른 영상 브라우징 시스템을 개략적으로 도시한 블록도이다.
도 2는 도 1의 영상처리엔진을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 영상 브라우징 방법을 개략적으로 도시한 흐름도이다.
도 4는 도 3의 요약 영상 생성 방법을 개략적으로 도시한 흐름도이다.
도 5는 본 발명의 실시예에 따라 입력 동영상으로부터 생성된 복수의 요약 영상들의 예를 도시한다.
도 6은 본 발명의 실시예에 따른 화면에 요약 영상이 시간 순서로 3차원적으로 정렬된 예를 도시한다.
도 7은 본 발명의 실시예에 따른 화면에 정렬된 요약 영상의 회전을 설명하는 예시도이다.
도 8은 본 발명의 실시예에 따른 화면에 정렬된 요약 영상을 카테고리별로 재정렬된 예를 도시한다.
도 9는 본 발명의 실시예에 따른 화면에 정렬된 요약 영상들 간의 상호작용을 나타내는 예시도이다.
도 10은 본 발명의 실시예에 따른 화면에 관심 요약 영상이 하이라이트된 예시도이다.
도 11은 본 발명의 실시예에 따른 화면에 정렬된 배경이 제거 또는 추가된 요약 영상을 나타내는 예시도이다.
도 12는 본 발명의 실시예에 따른 화면에 표시된 요약 영상의 클러스터링을 나타낸 예시도이다.
본 발명의 실시예에 따른 요약 영상 브라우징 방법은, 입력 동영상으로부터 객체의 움직임 궤적을 추적하는 단계; 상기 입력 동영상으로부터 상기 객체를 추출하여 일련의 객체 세그먼트를 생성하는 단계; 및 상기 객체의 움직임 궤적을 따라 배경 영상에 상기 일련의 객체 세그먼트가 합성되고 상기 객체의 출현 시간에 따른 두께를 갖는 요약 영상을, 상기 입력 동영상에서 추출된 객체별로 생성하는 단계;를 포함할 수 있다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
도 1은 본 발명의 실시 예에 따른 영상 브라우징 시스템을 개략적으로 도시한 블록도이다. 도 2는 도 1의 영상처리엔진을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 영상 브라우징 시스템(1)은 검색 결과를 사용자에게 보여주고, 사용자가 검색 결과를 파악할 수 있도록 하는 일련의 과정을 수행할 수 있다. 영상 브라우징 시스템(1)은 영상처리엔진(10), 데이터베이스(20), 쿼리엔진(30), 검색엔진(40) 및 브라우징엔진(50)을 포함할 수 있다.
영상처리엔진(10)은 입력 동영상 내에서 객체의 등장과 사라짐, 객체의 움직임 감지, 영상 꺼짐 등과 같은 영상 분석을 수행할 수 있다. 또한 영상처리엔진(10)은 배경 검출, 전경 및 객체 검출, 객체 카운팅, 카메라 탬퍼링(camera tampering) 검출, 얼굴 검출 등을 수행할 수 있다. 또한 영상처리엔진(10)은 영상의 밝기(brightness), 색상(color), 질감(texture) 및 윤곽선(shape) 정보도 산출할 수 있다.
영상처리엔진(10)은 배경 생성부(101), 객체 추출부(103) 및 요약 영상 생성부(105)를 포함할 수 있다.
배경 생성부(101)는 입력 동영상(video)을 구성하는 복수의 영상 프레임(image frame)으로부터 배경을 추출하여 배경 영상을 생성할 수 있다. 배경 생성부(101)는 복수의 영상 프레임에서 정지 영역을 배경으로 판단하고 배경 영상을 생성할 수 있다. 본 발명의 실시예에서 배경 영상 생성 방법은 특별히 제한되지 않으며, 다양한 공지의 방법을 적용할 수 있다.
입력 동영상은 영상 브라우징 시스템(1)에 연결된 영상 센서인 카메라(미도시)로부터 직접 전송된 동영상일 수 있고, 영상 브라우징 시스템(1)에 연결된 디지털 비디오 레코더(DVR: digital video recorder) 또는 네트워크 비디오 레코더(NVR: network video recorder)에 저장된 동영상일 수 있고, 또는 네트워크(미도시)를 통하여 다양한 경로로 입력되는 동영상일 수 있다.
객체 추출부(103)는 복수의 영상 프레임으로부터 움직임 영역을 관심 객체로 판단하고, 객체의 움직임 궤적을 추적할 수 있다. 객체 추출부(103)는 연속되는 영상 프레임 간의 객체 변화에 대한 정보를 수집해 나감으로써 동영상 내에서의 객체에 대한 추적 정보를 획득할 수 있다.
그리고, 객체 추출부(103)는 복수의 영상 프레임으로부터 객체를 추출하여 일련의 객체 세그먼트를 생성할 수 있다. 객체 세그먼트는 객체를 둘러싸는 블랍일 수 있다. 영상 프레임 내 위치에 따라 객체 크기가 변하므로, 객체 세그먼트는 그에 대응하여 크기(높이 및 폭)가 변할 수 있다. 객체 추출부(103)는 추적된 움직임 궤적을 따라 중요도를 고려하여 객체를 추출할 수 있다. 중요도는 동선(움직임 궤적) 방향의 변화 정도를 고려하여 정해질 수 있다. 객체 추출부(103)는 중요도에 따라 일부 영상 프레임에서는 객체의 추출을 생략할 수 있다.
요약 영상 생성부(105)는 객체의 움직임 궤적을 따라 배경 영상에 일련의 객체 세그먼트를 합성하여 요약 영상을 생성할 수 있다. 본 발명의 실시예에서 요약 영상은 객체의 연속적인 움직임을 배경 영상에 중복되지 않게 배치한, 객체를 기반으로 동영상을 축약한 동영상 요약 영상(Video summary image)이다.
움직임 궤적은 객체 세그먼트의 크기 변동 및 중복되지 않게 배치함으로 인해 지그재그 형태를 취할 수 있다. 요약 영상 생성부(105)는 부드러운(smooth) 동선 표시를 위해 궤적 평탄화(trajectory smoothing)를 수행할 수 있다.
요약 영상 생성부(105)는 배경과 전경(객체)의 뚜렷한 구별을 위해 시각화(visualization)를 수행할 수 있다. 시각화의 예로서, 객체를 특정 색상으로 표시하거나 특정 도형(사각형, 원형 등)으로 표시할 수 있다. 하나의 요약 영상은 일정 시간 동안 하나의 객체의 움직임을 요약한 영상이다. 따라서, 입력 동영상에서 생성되는 요약 영상의 수는 검출한 객체의 수에 대응할 수 있다. 요약 영상의 두께는 객체가 출현(등장)해서 사라질 때까지의 시간, 즉 출현 유지 시간(appearance duration)을 나타낼 수 있다. 따라서, 출현 유지 시간이 길수록 요약 영상의 두께가 두꺼워진다.
각 요약 영상은 객체의 움직임이 표시된 표시 영역과 객체의 정보를 나타내는 텍스트 영역을 포함할 수 있다. 표시 영역의 테두리는 객체의 카테고리(유형)에 따라 특정 색상이 할당될 수 있다. 테두리 색상과 객체 세그먼트 색상은 별개이다. 텍스트 영역에는 객체의 카테고리(예를 들어, 사람, 차량, 동물 등)에 대한 정보, 출현 유지 시간, 객체 세그먼트 색상 등이 객체의 정보로서 표시될 수 있다.
요약 영상 생성부(105)는 움직임 궤적, 객체 세그먼트, 객체 정보, 요약 영상 등을 인덱싱하여 데이터베이스화할 수 있다.
또한, 영상처리엔진(10)은 영상 분석을 수행하여 설정된 이벤트 발생 조건에 만족하는 경우 이벤트를 발생시킬 수 있다. 여기서 이벤트라 함은, 네트워크 에러가 발생한 경우, 새로운 카메라가 설정된 경우 등과 같이 시스템 내부에 설정된 시스템 이벤트를 포함할 수 있다. 또한 객체의 출현, 사용자가 특정한 이미지(예를 들어, 얼굴 인식이 불가능한 얼굴 등장) 발생, 화면 색깔이 바뀌는 경우, 설정된 영역에서 움직임 발생한 경우, 음원의 경우에 비정상적인 음원(예를 들어, 자동차 타이어 마찰음(스키드), 유리 깨지는 소리, 경보음, 충돌음 등) 발생, 사용자가 특정한 음원(예를 들어, 고함, 비명, 울음소리 등) 발생, 임계값 이상의 음성이 발생한 경우 등과 같이 사용자에 의해 설정된 사용자 이벤트를 포함할 수 있다.
데이터베이스(20)는 입력 동영상 및 동영상 분석 결과 등을 저장한다. 동영상의 분석 결과는 텍스트(text) 기반의 메타데이터 또는 영상(image) 기반의 메타데이터 형식으로 저장될 수 있다. 영상처리엔진(10)은 검색이 용이하도록 메타데이터를 구조화 및 정리하여 데이터베이스(20)에 저장할 수 있다.
쿼리 엔진(30)은 사용자로부터 입력 장치(60)를 통해 검색 조건을 입력받고, 검색 조건으로부터 사용자의 요구 사항을 분석하여 기 정의된 형태로 재구성한다. 예를 들어, 사용자는 입력 장치(60)를 통해 시간 구간, 객체의 카테고리(사람, 차량 등), 색상, 배경 영상의 특정 구역(관심 영역: ROI), 배경 영상의 특정 라인 및 특정 방향 등을 검색 조건으로 입력할 수 있다.
검색 엔진(40)은 검색 조건에 따라 데이터베이스(20)로 접근하여 필요한 정보를 찾을 수 있다. 검색 엔진(40)은 검색 조건에 매칭하는 또는 유사한 요약 영상을 데이터베이스(20)로부터 추출할 수 있다.
브라우징 엔진(50)은 검색된 요약 영상을 디스플레이 장치(70)에 실시간 렌더링할 수 있다. 브라우징 엔진(50)은 검색 조건에 매칭하는 객체별로 생성된 적어도 하나의 요약 영상을 객체의 출현 시간(등장 시간) 순서로 시간 축을 따라 정렬함으로써 디스플레이할 수 있다. 브라우징 엔진(50)은 복수의 요약 영상들을 3차원 공간 상의 각 레이어에 배치하여 3차원을 구성할 수 있다. 즉, 시간상 앞선 요약 영상이 시간상 뒤선 요약 영상보다 뒤 레이어에 배치된다.
앞 레이어의 요약 영상에 의해 뒤 레이어의 요약 영상이 적어도 일부 가려질 수 있고, 사용자는 요약 영상의 모니터링을 위해 이동 및/또는 회전할 수 있다. 브라우징 엔진(50)은 정렬된 요약 영상들의 뷰 포인트를 변경하는 제어신호를 입력받고, 각 요약 영상에 할당된 변환관계를 기초로 요약 영상별로 위치를 변경하여 디스플레이할 수 있다. 뷰 포인트 변경 제어신호는 예를 들어, 정의된 축을 중심으로 회전 또는 이동하는 마우스 또는 휠의 움직임, 화면 상의 터치 움직임 등일 수 있다. 사용자는 특정 레이어의 요약 영상을 관찰하기 위해서 레이어의 집합체를 3차원 공간에서 회전하거나 이동시킬 수 있다. 이에 따라 각 레이어의 요약 영상으로부터 관심 객체의 움직임 추이를 한 번에 확인할 수 있다.
본 발명의 실시예에서는 3차원을 평면(레이어)의 집합으로 모델링하고 각 평면에 독립적인 변환 관계를 할당할 수 있다. 여기에서 각 평면에 할당된 독립적인 변환은 어핀(Affine) 또는 호모그래피(Homography)와 같은 2차원 변환 관계를 이용할 수 있다. 본 발명의 실시예에서 3차원 표현은 몇 개의 평면으로 구성되기 때문에 사용자가 뷰 포인트를 변경했을 때 복수의 2차원 변환을 이용하여 고속으로 실시간 3차원 렌더링이 가능하다.
브라우징 엔진(50)은 정렬된 요약 영상들 중 선택된 일부 요약 영상을 병합하는 제어신호를 입력받고, 선택된 요약 영상들을 병합한 합성 요약 영상을 나머지 요약 영상들과 함께 정렬하여 디스플레이할 수 있다. 병합 제어신호는 예를 들어, 제1 요약 영상의 선택 및 제1 요약 영상을 제2 요약 영상으로 드래그 앤 드롭하는 동작일 수 있다. 브라우징 엔진(50)은 선택 및 드래그 앤 드롭 동작을 감지하고, 제1 요약 영상과 제2 요약 영상을 병합한 합성 요약 영상을 생성할 수 있다.
본 발명의 실시예에 따른 요약 영상은 합성 이미지 형태이며, 배경과 전경 및 전경의 시각화 요소로 이루어진다. 따라서, 둘 이상의 요약 영상을 하나의 요약 영상으로 병합(merge)할 수 있다. 브라우징 엔진(50)은 객체의 영상 블랍(Blob), 즉 세그먼트를 등장시간 및 위치를 이용하여, 동일 배경 영상에 렌더링(Rendering)할 수 있다. 이에 따라, 상이한 객체들 간의 상호작용기반 요약 영상을 제공할 수 있다.
브라우징 엔진(50)은 자동 설정에 의해 또는 사용자 선택에 의해 정렬된 요약 영상들 중 출현 유지 시간이 일부 중첩하는 적어도 하나의 요약 영상을 병합한 합성 요약 영상을 나머지 요약 영상들과 정렬하여 디스플레이할 수 있다.
브라우징 엔진(50)은 정렬된 요약 영상들을 카테고리별로 재정렬하는 제어신호를 입력받고, 정렬된 요약 영상들을 카테고리별로 재분류하고, 각 카테고리 내에서 객체 출현 시간 순서로 시간 축을 따라 정렬하여 디스플레이할 수 있다.
브라우징 엔진(50)은 정렬된 요약 영상들 중 요약 영상을 선택하는 제어신호를 입력받고, 선택된 요약 영상을 하이라이트하고, 나머지 요약 영상들 상부에 중첩하여 단독 디스플레이할 수 있다. 그리고, 브라우징 엔진(50)은 하이라이트된 요약 영상에 재생 아이콘을 제공하고, 재생 아이콘을 활성화하는 제어신호를 입력받고, 요약 영상 내 객체의 움직임을 연속적으로 재생할 수 있다. 또는 브라우징 엔진(50)은 재생될 요약 영상의 시간 구간을 포함하는 동영상을 재생시킬 수도 있다.
브라우징 엔진(50)은 정렬된 요약 영상들 중 적어도 하나의 요약 영상에 대한 배경을 제거하거나 배경을 추가하는 제어신호를 입력받고, 요약 영상별로 배경을 제거 또는 추가하여 디스플레이할 수 있다.
브라우징 엔진(50)은 검색 조건별로 검색된 요약 영상들을 클러스터링하는 제어신호를 입력받고, 하나 이상의 그룹으로 클러스터링할 수 있다. 클러스터에 포함되는 요약 영상의 수는 클러스터 크기를 나타내고, 클러스터의 크기는 해당 검색 조건의 발생 확률을 나타낸다.
사용자 단말(80)은 영상 브라우징 시스템(1)을 관리하는 사용자 또는 보안 관계자가 사용하는 단말로서, 컴퓨터 또는 이동 단말기일 수 있다. 사용자는 사용자 단말(80)을 통해 영상 브라우징 시스템(1)을 제어할 수 있다. 사용자 단말(80)은 영상 브라우징 시스템(1)에 질의(검색 조건)를 입력할 수 있는 사용자 인터페이스인 입력 장치(60)를 구비한다.
입력 장치(60)는 영상 브라우징 시스템(1)과 유선 또는 무선으로 연결되어 사용자가 영상 브라우징 시스템(1)의 동작 제어를 위한 입력 데이터를 발생시킨다. 입력 장치(60)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 마우스, 리모컨, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 사용자 단말(80)은 입력 장치(60)를 사용하여 검색 조건을 수정, 추가, 또는 삭제를 수행하여, 결과 영상의 표시 조건을 설정할 수 있다. 사용자 단말(80)은 입력 장치(60)를 사용하여 표시된 결과 영상의 정렬, 병합, 재생 등을 조절할 수 있다.
디스플레이 장치(70)는 브라우징 엔진(50)으로부터 출력되는 결과 영상을 사용자에게 제공함으로써, 사용자가 표시되는 영상을 모니터링할 수 있도록 한다. 디스플레이 장치(70)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 디스플레이 장치(70)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이 장치(70)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 입력 인터페이스로서 동작할 수 있다.
도 3은 본 발명의 실시예에 따른 영상 브라우징 방법을 개략적으로 도시한 흐름도이다. 도 4는 도 3의 요약 영상 생성 방법을 개략적으로 도시한 흐름도이다.
도 3 및 도 4를 함께 참조하면, 영상 브라우징 시스템은 입력 동영상으로부터 요약 영상을 생성할 수 있다(S31).
영상 브라우징 시스템은 복수의 영상 프레임으로부터 배경을 검출하여 배경 영상(background image)을 생성하고(S311), 객체의 움직임을 검출할 수 있다(S313).
영상 브라우징 시스템은 모든 영상 프레임에서 인식(Recognition), 움직임 검출(Motion detection)과 추적(Tracking) 기술을 이용하여 관심 물체를 시간상 연속적으로 추적하여, 관심 물체의 움직임 궤적(motion trajectory)을 추출 및 복원(recovery)할 수 있다(S315).
영상 브라우징 시스템은 복수의 영상 프레임으로부터 객체를 추출하여 일련의 객체 세그먼트를 생성할 수 있다(S317). 객체 세그먼트는 객체별로 특정 색상 또는 특정 도형으로 시각화될 수 있다.
영상 브라우징 시스템은 객체의 움직임 궤적을 따라 배경 영상에 일련의 객체 세그먼트를 합성하여 요약 영상을 생성할 수 있다(S319). 객체 세그먼트는 움직임 궤적을 따라 중복되지 않게 배치되고, 배경 영상에서의 위치에 따라 크기가 달라질 수 있다.
도 5는 본 발명의 실시예에 따라 입력 동영상으로부터 생성된 복수의 요약 영상들의 예를 도시한다.
영상 브라우징 시스템은 추출된 관심 물체의 움직임 정보를 이용하여 입력 영상에서 관심 물체 영역을 분리한 후, 최종적으로 배경 영상과 합성하여 관심 객체에 해당하는 요약 영상을 생성할 수 있다.
도 5를 참조하면, 하나의 요약 영상은 하나의 객체의 움직임 요약을 나타낸다. 따라서, 요약 영상의 수는 검출한 객체의 수에 대응할 수 있다. 도 5의 예에서는 08시 00분부터 09시 25분까지 6명의 사람(Person 1 내지 Person 6)과 5대의 차량(Car 1 내지 Car5)이 등장했다 사라지고, 따라서 11개의 요약 영상이 생성되었다. 각 객체의 동선을 따라 배경 영상에 합성된 객체 세그먼트는 객체별로 상이한 색상 또는 상이한 도형으로 표시될 수 있다. 그리고, 배경 영상에서 객체의 위치에 따라 세그먼트의 크기가 달라질 수 있다.
각 요약 영상은 특정 색상의 테두리로 둘러싼 표시 영역과 객체의 정보를 나타내는 텍스트 영역을 포함할 수 있다. 동일한 카테고리에 속하는 객체들의 요약 영상은 동일한 색상의 테두리로 표시될 수 있다. 도 5는 사람이 푸른색 테두리(옅은 윤곽선)로 표시되고, 차량이 붉은색 테두리(짙은 윤곽선)로 표시된 예이다. 텍스트 영역에는 객체의 카테고리에 대한 정보, 출현 유지 시간, 객체 세그먼트의 색상 등이 객체의 정보로서 표시될 수 있다. 도 5에서는 표시 영역만이 색상을 갖는 테두리로 구분되고 있으나, 텍스트 영역 또한 표시 영역과 동일한 색상의 테두리로 둘러싸도록 설정할 수도 있다. 동일한 카테고리에 속하는 객체들은 색상 및/또는 넘버링에 의해 구분될 수 있다. 요약 영상의 두께는 출현 유지 시간에 비례할 수 있다. 예를 들어, 출현 유지 시간이 길수록 요약 영상의 두께는 두꺼워진다. 즉, 요약 영상은 원본 동영상에서 추출된 각 객체 동선의 시공간 볼륨(Spatio-temporal Volume)을 나타낸다.
다시 도 3을 참조하면, 영상 브라우징 시스템은 객체별로 생성된 요약 영상들을 객체의 출현 시간 순서로 시간 축을 따라 정렬하여 디스플레이할 수 있다(S35). 영상 브라우징 시스템은 검색 조건에 매칭하는 적어도 하나의 요약 영상들을 검출하여 디스플레이할 수 있다.
영상 브라우징 시스템은 3차원 공간에 객체별 요약 영상을 레이어별로 배치할 수 있다. 즉, 하나의 레이어는 하나의 관심 객체를 나타내고, 시간적으로 먼저 출현한 객체의 요약 영상은 3차원 공간에서 뒤 레이어에 배치하고, 나중에 출현한 객체의 요약 영상은 앞 레이어에 배치한다.
본 발명의 실시예에 따른 3차원 브라우징 방법은 객체별로 한 장의 요약 영상을 생성하고, 생성된 요약 영상을 3차원 공간의 각 레이어에 시간 순서로 배치하여 사용자의 편의성을 도모할 수 있다.
도 6은 본 발명의 실시예에 따른 화면에 요약 영상이 시간 순서로 3차원적으로 정렬된 예를 도시한다.
도 6을 참조하면, 시간적으로 먼저 출현한 객체의 요약 영상은 3차원 공간에서 가장 뒤 레이어에 배치되고, 가장 나중에 출현한 객체는 가장 앞 레이어에 배치된다. 각 요약 영상은 출현 유지 시간에 따라 상이한 두께를 가질 수 있다. 화면의 좌하단에는 카테고리별 색상에 대한 설명이 직관적으로 표시될 수 있다.
영상 브라우징 시스템은 설정에 따라 또는 사용자 입력에 따라 정렬된 요약 영상들의 디스플레이를 변경할 수 있다(S39).
사용자는 모든 레이어의 요약 영상을 효과적으로 보기 위해서, 3차원 뷰 포인트를 변경할 수 있다. 영상 브라우징 시스템은 사용자에 의해 입력되는 뷰 포인트 변경 입력을 수신하고, 각 레이어별(요약 영상별)로 독립적으로 3차원 회전 및/또는 이동시켜 실시간으로 렌더링할 수 있다. 영상 브라우징 시스템은 각 레이어에 독립적인 변환 관계를 할당함으로써 특정 레이어 또는 복수의 레이어의 요약 영상을 선택하고 이동시키거나 숨길 수 있다.
도 7은 본 발명의 실시예에 따른 화면에 정렬된 요약 영상의 회전을 설명하는 예시도이다.
정렬된 요약 영상은 기 정해진 복수의 축을 기준으로 회전/이동이 가능하다. 도 7(a)에 도시된 바와 같이, 화면의 정면에 일렬로 정렬된 요약 영상들 각각에는 변환관계(H1, H2, ... Hn-1, Hn)가 설정되어, 도 7(b)에 도시된 바와 같이, 요약 영상별로 설정된 변환관계에 따라 개별적으로 또는 일괄적으로 회전 및/또는 이동될 수 있다.
영상 브라우징 시스템은 정렬된 요약 영상들을 카테고리별로 재정렬하는 요청을 수신하고, 객체의 카테고리별로 분류하여, 각 카테고리 내에서 객체 출현 시간 순서로 시간 축을 따라 정렬하여 디스플레이할 수 있다.
도 8은 본 발명의 실시예에 따른 화면에 정렬된 요약 영상을 카테고리별로 재정렬된 예를 도시한다. 도 8은 정렬된 요약 영상을 사람과 차량으로 분류하여 재정렬한 결과를 보여 주는 예시도이다.
또한 영상 브라우징 시스템은 영상 요약의 분류를 검색 조건과 연동함으로써 사용자의 편의성을 확보할 수 있다. 예를 들어, 검색 조건에 색상이 있을 경우, 요약 영상들을 색상에 따라 분류하여 시각화할 수 있다. 따라서, 영상 브라우징 시스템은 사용자가 요구하는 검색 조건과 부합한 분류 시각화를 제공할 수 있다.
영상 브라우징 시스템은 정렬된 요약 영상들 둘 이상의 요약 영상들의 병합 요청을 수신하고, 선택된 요약 영상들을 병합한 합성 요약 영상을 생성하고, 나머지 요약 영상들과 정렬하여 디스플레이할 수 있다.
하나의 레이어의 요약 영상은 하나의 객체 정보를 담고 있다. 사용자가 복수의 객체들(예를 들어, 차량과 차량, 또는 차량과 사람) 사이의 상호작용(interaction)을 검색하고자 하는 경우, 영상 브라우징 시스템은 복수의 레이어의 요약 영상들을 병합하여 하나의 레이어의 요약 영상에 복수의 객체 정보를 표시할 수 있다. 이때, 사용자는 병합될 레이어의 요약 영상을 선택하고(예를 들어, 마우스 클릭), 병합할 레이어의 요약 영상으로 드래그 앤 드롭함으로써, 두 요약 영상을 하나의 레이어의 요약 영상으로 병합할 수 있다.
도 9는 본 발명의 실시예에 따른 화면에 정렬된 요약 영상들 간의 상호작용을 나타내는 예시도이다.
도 9는 인접한 두 개 레이어, 네 번째 및 다섯 번째 요약 영상들이 병합된 합성 요약 영상과, 열 번째 및 열한 번째 요약 영상들이 병합된 합성 요약 영상을 도시한다. 사용자가 레이어 상에서 마우스를 옮기는 행위에 따라 선택된 요약 영상들이 병합될 수도 있다. 또는 자동으로 시간 구간이 일부 중첩하는 복수의 요약 영상들이 병합될 수도 있다. 이에 따라, 사용자는 객체별 움직임뿐만 아니라 상이한 객체들 간의 상호작용을 파악할 수 있다.
합성 요약 영상은 병합 전 요약 영상 각각의 두께를 합한 두께를 가질 수 있다. 상이한 카테고리의 객체에 대한 요약 영상들이 병합된 경우, 합성 요약 영상의 테두리는 카테고리별 테두리 색상을 모두 표시할 수 있다.
합성 요약 영상은 사용자가 확인할 수 있도록 화면의 일부 또는 전부에 디스플레이되거나, 순간적으로 하이라이트 되거나, 타 요약 영상들 상부에 배치될 수 있다.
영상 브라우징 시스템은 정렬된 요약 영상들 중 요약 영상의 선택을 수신하고, 선택된 요약 영상을 하이라이트하고, 나머지 요약 영상들과 중첩하여 단독 디스플레이할 수 있다. 이때 영상 브라우징 시스템은 하이라이트된 요약 영상에 재생 아이콘을 제공하고, 재생 아이콘을 활성화하는 선택이 수신되면, 선택된 요약 영상 내 객체의 움직임을 연속적으로 재생할 수 있다. 또는 영상 브라우징 시스템은 재생될 요약 영상의 시간 구간을 포함하는 동영상을 재생시킬 수도 있다.
도 10은 본 발명의 실시예에 따른 화면에 관심 요약 영상이 하이라이트된 예시도이다.
도 10을 참조하면, 사용자가 관심을 가지는 레이어의 요약 영상을 선택했을 때, 선택된 요약 영상이 하이라이트(Highlight)되고, 재생 아이콘의 활성화에 따라 요약 영상 내의 객체가 움직임 궤적을 따라 움직이는 동작을 재생할 수 있다. 또는 재생 아이콘의 활성화에 따라 해당 요약 영상의 시간 구간의 원본 동영상을 재생할 수도 있다.
영상 브라우징 시스템은 정렬된 요약 영상들 중 적어도 하나의 요약 영상에 대한 배경 제거 또는 배경 추가 요청을 수신하고, 적어도 하나의 요약 영상의 배경을 제거 또는 추가하여 디스플레이할 수 있다.
도 11은 본 발명의 실시예에 따른 화면에 정렬된 배경이 제거 또는 추가된 요약 영상을 나타내는 예시도이다.
도 11을 참조하면, 배경 영상은 제거되고, 관심 객체만 디스플레이되고 있다. 사용자가 관심 있는 레이어의 요약 영상을 다시 선택하면, 선택된 요약 영상에 배경 영상이 추가될 수 있다. 도 11의 예에서는 가장 하부 레이어의 요약 영상에만 배경 영상이 표시되고, 나머지 요약 영상들에는 배경 영상이 제거되어 있다.
영상 브라우징 시스템은 검색 조건별로 검색된 요약 영상들을 클러스터링할 수 있다. 사용자에 의해 클러스터링 요청이 수신되면, 영상 브라우징 시스템은 각 검색 조건에 해당되는 요약 영상의 개수, 즉 객체 수를 통해 클러스터를 구성하고 이를 시각화함으로써, 각 검색 조건에 대한 내용파악이 가능하다. 각 클러스터의 크기는 해당 검색 조건의 발생 확률을 나타낸다. 이에 따라 클러스터의 크기에 따라 해당 검색 조건에 따른 발생 확률과 내용 경향성을 한눈에 파악할 수 있다.
도 12는 본 발명의 실시예에 따른 화면에 표시된 요약 영상의 클러스터링을 나타낸 예시도이다.
도 12는 제1 검색 조건(사람)에 따라 검색된 결과의 요약 영상들의 클러스터(a), 제2 검색 조건(차량)에 따라 검색된 결과의 요약 영상들의 클러스터(b), 제3 검색 조건(기차)에 따라 검색된 결과의 요약 영상들의 클러스터(c)를 도시하고 있다. 사용자는 검색 조건의 클러스터 크기로부터 검색 조건의 발생 확률을 파악하여 내용 경향성을 알 수 있다.
본 발명의 실시예는 요약 영상이 축약된 동영상이 아니라 객체 기반의 이미지이므로, 객체의 동향을 한눈에 파악할 수 있고, 3차원 구조로 정렬됨으로써 사용자 편의성을 도모할 수 있다.
본 발명에 따른 요약 영상 브라우징 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

Claims (20)

  1. 입력 동영상으로부터 객체의 움직임 궤적을 추적하는 단계;
    상기 입력 동영상으로부터 상기 객체를 추출하여 일련의 객체 세그먼트를 생성하는 단계; 및
    상기 객체의 움직임 궤적을 따라 배경 영상에 상기 일련의 객체 세그먼트가 합성되고 상기 객체의 출현 시간에 따른 두께를 갖는 요약 영상을, 상기 입력 동영상에서 추출된 객체별로 생성하는 단계;를 포함하는, 요약 영상 브라우징 방법.
  2. 제1항에 있어서,
    상기 요약 영상은 표시 영역과 상기 객체의 정보를 나타내는 텍스트 영역을 포함하고, 상기 표시 영역의 테두리는 상기 객체의 카테고리에 따라 특정 색상이 할당된, 요약 영상 브라우징 방법.
  3. 제1항에 있어서,
    상기 객체 세그먼트는 상기 객체의 움직임 궤적을 따라 상기 배경 영상에 중복되지 않게 배치되고,
    상기 객체 세그먼트는 특정 색상 또는 특정 도형으로 표시되고, 상기 배경 영상에서의 위치에 따라 크기가 달라지는, 요약 영상 브라우징 방법.
  4. 제1항에 있어서,
    객체별로 생성된 요약 영상들 중 검색 조건에 매칭하는 적어도 하나의 요약 영상을 상기 객체의 출현 시간 순서로 시간 축을 따라 정렬하여 디스플레이하는 단계;를 더 포함하는, 요약 영상 브라우징 방법.
  5. 제4항에 있어서,
    상기 정렬된 요약 영상들의 뷰 포인트를 변경하는 입력을 수신하는 단계; 및
    각 요약 영상에 할당된 변환관계를 기초로 요약 영상별로 회전 및 이동하여 디스플레이하는 단계;를 더 포함하는, 요약 영상 브라우징 방법.
  6. 제4항에 있어서,
    상기 정렬된 요약 영상들 중 제1 요약 영상을 제2 요약 영상으로 드래그 앤 드롭하는 동작을 감지하는 단계; 및
    상기 제1 요약 영상을 상기 제2 요약 영상과 병합한 합성 요약 영상을 나머지 요약 영상들과 정렬하여 디스플레이하는 단계;를 더 포함하는, 요약 영상 브라우징 방법.
  7. 제4항에 있어서,
    상기 정렬된 요약 영상들 중 출현 유지 시간이 일부 중첩하는 적어도 하나의 요약 영상을 병합한 합성 요약 영상을 나머지 요약 영상들과 정렬하여 디스플레이하는 단계;를 더 포함하는, 요약 영상 브라우징 방법.
  8. 제7항에 있어서, 상기 합성 요약 영상 디스플레이 단계는,
    상기 정렬된 요약 영상들 중 사용자에 의해 선택된 요약 영상과 출현 유지 시간이 일부 중첩하는 적어도 하나의 요약 영상을 병합한 합성 요약 영상을 나머지 요약 영상들과 정렬하여 디스플레이하는 단계;를 포함하는, 요약 영상 브라우징 방법.
  9. 제4항에 있어서,
    상기 정렬된 요약 영상들을 카테고리별로 재정렬하는 요청을 수신하는 단계; 및
    상기 정렬된 요약 영상들을 카테고리별로 분류하고, 각 카테고리 내에서 객체 출현 시간 순서로 시간 축을 따라 정렬하여 디스플레이하는 단계;를 더 포함하는, 요약 영상 브라우징 방법.
  10. 제4항에 있어서,
    상기 정렬된 요약 영상들 중 요약 영상의 선택을 수신하는 단계; 및
    상기 선택된 요약 영상을 하이라이트하고, 나머지 요약 영상들과 중첩하여 단독 디스플레이하는 단계;를 더 포함하는, 요약 영상 브라우징 방법.
  11. 제10항에 있어서,
    상기 하이라이트된 요약 영상에 재생 아이콘을 제공하는 단계; 및
    상기 재생 아이콘의 선택이 수신되면, 상기 요약 영상의 객체를 시간 순서로 재생하는 단계;를 더 포함하는, 요약 영상 브라우징 방법.
  12. 제4항에 있어서,
    상기 정렬된 요약 영상들 중 적어도 하나의 요약 영상에 대한 배경 제거 또는 배경 추가 요청을 수신하는 단계; 및
    상기 적어도 하나의 요약 영상의 배경을 제거 또는 추가하여 디스플레이하는 단계;를 더 포함하는, 요약 영상 브라우징 방법.
  13. 제4항에 있어서,
    검색 조건별로 검색된 요약 영상들을 클러스터링하는 단계;를 더 포함하는, 요약 영상 브라우징 방법.
  14. 입력 동영상으로부터 객체의 움직임 궤적을 추적하고, 상기 객체를 추출하여 일련의 객체 세그먼트를 생성하는 객체추출부; 및
    상기 객체의 움직임 궤적을 따라 배경 영상에 상기 일련의 객체 세그먼트가 합성되고 상기 객체의 출현 시간에 따른 두께를 갖는 요약 영상을, 상기 입력 동영상에서 추출된 객체별로 생성하는 요약영상생성부;를 포함하는, 요약 영상 브라우징 시스템.
  15. 제14항에 있어서,
    상기 요약 영상은 표시 영역과 상기 객체의 정보를 나타내는 텍스트 영역을 포함하고, 상기 표시 영역의 테두리는 상기 객체의 카테고리에 따라 특정 색상이 할당되고,
    상기 객체 세그먼트는 상기 객체의 움직임 궤적을 따라 상기 배경 영상에 중복되지 않게 배치되고,
    상기 객체 세그먼트는 특정 색상 또는 특정 도형으로 표시되고, 상기 배경 영상에서의 위치에 따라 크기가 달라지는, 요약 영상 브라우징 시스템.
  16. 제14항에 있어서,
    객체별로 생성된 요약 영상들 중 검색 조건에 매칭하는 적어도 하나의 요약 영상을 상기 객체의 출현 시간 순서로 시간 축을 따라 정렬하여 디스플레이하는 브라우징 엔진;을 더 포함하는, 요약 영상 브라우징 시스템.
  17. 제16항에 있어서, 상기 브라우징 엔진은,
    상기 정렬된 요약 영상들의 뷰 포인트 변경 요청에 응답하여, 각 요약 영상에 할당된 변환관계를 기초로 요약 영상별로 회전 및 이동하여 디스플레이하는, 요약 영상 브라우징 시스템.
  18. 제16항에 있어서, 상기 브라우징 엔진은,
    사용자의 선택 또는 객체의 출현 유지 시간의 일부 중첩에 따라, 상기 정렬된 요약 영상들 중 일부 요약 영상을 병합한 합성 요약 영상을 나머지 요약 영상들과 정렬하여 디스플레이하는, 요약 영상 브라우징 시스템.
  19. 제16항에 있어서, 상기 브라우징 엔진은,
    상기 정렬된 요약 영상들 중 선택된 요약 영상을 하이라이트하여 나머지 요약 영상들과 중첩하여 단독 디스플레이하고,
    상기 하이라이트된 요약 영상에 재생 아이콘을 제공하고, 상기 재생 아이콘의 선택이 수신되면, 상기 요약 영상 내의 객체를 시간 순서로 재생하는, 요약 영상 브라우징 시스템.
  20. 제16항에 있어서, 상기 브라우징 엔진은,
    검색 조건별로 검색된 요약 영상들을 클러스터링하는, 요약 영상 브라우징 시스템.
PCT/KR2014/002533 2014-01-14 2014-03-26 요약 영상 브라우징 시스템 및 방법 WO2015108236A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/107,011 US10032483B2 (en) 2014-01-14 2014-03-26 Summary image browsing system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140004701A KR101804383B1 (ko) 2014-01-14 2014-01-14 요약 영상 브라우징 시스템 및 방법
KR10-2014-0004701 2014-01-14

Publications (1)

Publication Number Publication Date
WO2015108236A1 true WO2015108236A1 (ko) 2015-07-23

Family

ID=53543105

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/002533 WO2015108236A1 (ko) 2014-01-14 2014-03-26 요약 영상 브라우징 시스템 및 방법

Country Status (3)

Country Link
US (1) US10032483B2 (ko)
KR (1) KR101804383B1 (ko)
WO (1) WO2015108236A1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108028969A (zh) * 2015-09-25 2018-05-11 高通股份有限公司 用于视频处理的系统和方法
CN108460032A (zh) * 2017-02-17 2018-08-28 杭州海康威视数字技术股份有限公司 一种视频摘要的生成方法及装置
WO2018156795A1 (en) * 2017-02-22 2018-08-30 Rebellion Photonics, Inc. Systems and methods for monitoring remote installations
US10254166B2 (en) 2012-05-18 2019-04-09 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system for chemical detection
US10267686B2 (en) 2013-11-12 2019-04-23 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US10375327B2 (en) 2016-10-21 2019-08-06 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
US10444070B2 (en) 2012-05-18 2019-10-15 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US10458905B2 (en) 2014-07-07 2019-10-29 Rebellion Photonics, Inc. Gas leak emission quantification with a gas cloud imager
US10605725B2 (en) 2017-11-09 2020-03-31 Rebellion Photonics, Inc. Window obscuration sensors for mobile gas and chemical imaging cameras
US10648960B2 (en) 2015-05-29 2020-05-12 Rebellion Photonics, Inc. Hydrogen sulfide imaging system
US10834338B2 (en) 2014-05-01 2020-11-10 Rebllion Photonics, Inc. Mobile gas and chemical imaging camera
US10948404B2 (en) 2016-10-21 2021-03-16 Rebellion Photonics, Inc. Gas imaging system
US11290662B2 (en) 2014-05-01 2022-03-29 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016018796A1 (en) * 2014-07-28 2016-02-04 Flir Systems, Inc. Systems and methods for video synopses
US10356317B2 (en) * 2014-10-30 2019-07-16 Technion Research & Development Foundation Limited Wide-scale terrestrial light-field imaging of the sky
CN107249135B (zh) * 2016-05-31 2019-01-25 杭州海康威视数字技术股份有限公司 视频数据存储系统及其操作方法、以及索引服务器
CN107493520A (zh) * 2016-06-13 2017-12-19 合肥君正科技有限公司 一种视频摘要生成方法及装置
TWI579718B (zh) * 2016-06-15 2017-04-21 陳兆煒 圖形資源管理系統及方法與內儲圖形資源管理程式之電腦程式產品
US10331319B2 (en) * 2016-06-29 2019-06-25 Adobe Inc. Objects alignment and distribution layout
KR102618404B1 (ko) * 2016-06-30 2023-12-26 주식회사 케이티 영상 축약 시스템 및 방법
KR102556393B1 (ko) 2016-06-30 2023-07-14 주식회사 케이티 영상 축약 시스템 및 방법
KR101904425B1 (ko) * 2016-12-26 2018-10-05 이정무 대량의 cctv 영상 분석을 위한 객체 데이터 조회 방법
KR102426089B1 (ko) * 2018-02-13 2022-07-28 삼성전자주식회사 전자 장치 및 전자 장치의 요약 영상 생성 방법
KR102585777B1 (ko) * 2018-05-29 2023-10-10 삼성전자주식회사 전자 장치 및 그 제어방법
KR102137516B1 (ko) * 2018-11-22 2020-07-24 한국항공대학교산학협력단 공간 방향 객체 겹침 정도를 고려한 시간방향 비디오 요약 장치 및 방법
US10999534B2 (en) * 2019-03-29 2021-05-04 Cisco Technology, Inc. Optimized video review using motion recap images
CN110536087A (zh) * 2019-05-06 2019-12-03 珠海全志科技股份有限公司 电子设备及其运动轨迹照片合成方法、装置和嵌入式装置
JP7078021B2 (ja) * 2019-08-08 2022-05-31 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
WO2021107421A1 (ko) * 2019-11-26 2021-06-03 한화테크윈 주식회사 사건 중심의 다채널 영상 백업 장치 및 그 방법과, 이를 포함한 네트워크 감시 카메라 시스템
WO2021162019A1 (ja) * 2020-02-14 2021-08-19 ソニーグループ株式会社 コンテンツ処理装置、コンテンツ処理方法およびコンテンツ処理プログラム
CN113810587B (zh) * 2020-05-29 2023-04-18 华为技术有限公司 一种图像处理方法及装置
CN111832538A (zh) 2020-07-28 2020-10-27 北京小米松果电子有限公司 视频处理方法及装置、存储介质
WO2022131833A1 (en) 2020-12-17 2022-06-23 Samsung Electronics Co., Ltd. Method and electronic device for producing video summary
KR20220102418A (ko) * 2021-01-13 2022-07-20 삼성전자주식회사 멀티미디어 콘텐트를 제공하는 장치 및 그 방법
KR102336480B1 (ko) * 2021-03-04 2021-12-07 주식회사 스누아이랩 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
CN115037992A (zh) * 2022-06-08 2022-09-09 中央广播电视总台 视频处理方法、装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080105387A (ko) * 2007-05-30 2008-12-04 삼성전자주식회사 스포츠 동영상 요약 방법 및 장치
KR20090117771A (ko) * 2007-02-01 2009-11-12 이섬 리서치 디벨러프먼트 컴파니 오브 더 히브루 유니버시티 오브 예루살렘 비디오 인덱싱 및 비디오 시놉시스 방법 및 시스템
WO2010044186A1 (ja) * 2008-10-17 2010-04-22 パナソニック株式会社 動線作成システム、動線作成装置及び３次元動線表示装置
JP4920395B2 (ja) * 2006-12-12 2012-04-18 ヤフー株式会社 動画要約自動作成装置、方法、及びコンピュータ・プログラム
KR101264667B1 (ko) * 2012-12-28 2013-05-15 (주)지란지교소프트 비디오 파일의 썸네일 이미지 생성 방법 및 그 방법이 기록된 기록매체

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4325075B2 (ja) 2000-04-21 2009-09-02 ソニー株式会社 データオブジェクト管理装置
US7868912B2 (en) 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
KR100547370B1 (ko) 2001-06-30 2006-01-26 주식회사 케이티 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템
JP2004164563A (ja) * 2002-09-26 2004-06-10 Toshiba Corp 画像解析方法、画像解析装置、画像解析プログラム
JP2008529118A (ja) 2005-01-20 2008-07-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像ブラウズ用のユーザインターフェイス
JP4368819B2 (ja) * 2005-03-30 2009-11-18 株式会社日立製作所 要約再生装置及び要約再生装置の制御方法
JP4492462B2 (ja) * 2005-06-30 2010-06-30 ソニー株式会社 電子機器、映像処理装置及び映像処理方法
US8254626B2 (en) * 2006-12-22 2012-08-28 Fujifilm Corporation Output apparatus, output method and program for outputting a moving image including a synthesized image by superimposing images
JP5147308B2 (ja) * 2007-06-20 2013-02-20 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP5343443B2 (ja) 2008-08-12 2013-11-13 コニカミノルタ株式会社 電子写真感光体
JP5537285B2 (ja) * 2010-06-28 2014-07-02 日本放送協会 要約映像生成装置及び要約映像生成プログラム
JP5691289B2 (ja) * 2010-08-11 2015-04-01 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
KR101256873B1 (ko) 2011-11-18 2013-04-22 광주과학기술원 객체 추적 방법, 객체 추적 장치 및 이를 이용한 교통 감시 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4920395B2 (ja) * 2006-12-12 2012-04-18 ヤフー株式会社 動画要約自動作成装置、方法、及びコンピュータ・プログラム
KR20090117771A (ko) * 2007-02-01 2009-11-12 이섬 리서치 디벨러프먼트 컴파니 오브 더 히브루 유니버시티 오브 예루살렘 비디오 인덱싱 및 비디오 시놉시스 방법 및 시스템
KR20080105387A (ko) * 2007-05-30 2008-12-04 삼성전자주식회사 스포츠 동영상 요약 방법 및 장치
WO2010044186A1 (ja) * 2008-10-17 2010-04-22 パナソニック株式会社 動線作成システム、動線作成装置及び３次元動線表示装置
KR101264667B1 (ko) * 2012-12-28 2013-05-15 (주)지란지교소프트 비디오 파일의 썸네일 이미지 생성 방법 및 그 방법이 기록된 기록매체

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11313724B2 (en) 2012-05-18 2022-04-26 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system for chemical detection
US11879775B2 (en) 2012-05-18 2024-01-23 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US10254166B2 (en) 2012-05-18 2019-04-09 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system for chemical detection
US10444070B2 (en) 2012-05-18 2019-10-15 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US10989597B2 (en) 2012-05-18 2021-04-27 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system for chemical detection
US11821792B2 (en) 2012-05-18 2023-11-21 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system for chemical detection
US10914632B2 (en) 2012-05-18 2021-02-09 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US11326957B2 (en) 2013-11-12 2022-05-10 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US10267686B2 (en) 2013-11-12 2019-04-23 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US11867564B2 (en) 2013-11-12 2024-01-09 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US10914639B2 (en) 2013-11-12 2021-02-09 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US10893220B2 (en) 2014-05-01 2021-01-12 Rebellion Photonics, Inc. Dual-band divided-aperture infra-red spectral imaging system
US10834338B2 (en) 2014-05-01 2020-11-10 Rebllion Photonics, Inc. Mobile gas and chemical imaging camera
US11805221B2 (en) 2014-05-01 2023-10-31 Rebellion Photonics, Inc. Dual-band divided-aperture infra-red spectral imaging system
US11290662B2 (en) 2014-05-01 2022-03-29 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
US11917321B2 (en) 2014-05-01 2024-02-27 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
US10458905B2 (en) 2014-07-07 2019-10-29 Rebellion Photonics, Inc. Gas leak emission quantification with a gas cloud imager
US11796454B2 (en) 2014-07-07 2023-10-24 Rebellion Photonics, Inc. Gas leak emission quantification with a gas cloud imager
US10648960B2 (en) 2015-05-29 2020-05-12 Rebellion Photonics, Inc. Hydrogen sulfide imaging system
US11846619B2 (en) 2015-05-29 2023-12-19 Rebellion Photonics, Inc. Hydrogen sulfide imaging system
US11287409B2 (en) 2015-05-29 2022-03-29 Rebellion Photonics, Inc. Hydrogen sulfide imaging system
US10708673B2 (en) 2015-09-25 2020-07-07 Qualcomm Incorporated Systems and methods for video processing
CN108028969A (zh) * 2015-09-25 2018-05-11 高通股份有限公司 用于视频处理的系统和方法
CN108028969B (zh) * 2015-09-25 2021-07-06 高通股份有限公司 用于视频处理的系统和方法
US11044423B2 (en) 2016-10-21 2021-06-22 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
US11733158B2 (en) 2016-10-21 2023-08-22 Rebellion Photonics, Inc. Gas imaging system
US10375327B2 (en) 2016-10-21 2019-08-06 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
US10948404B2 (en) 2016-10-21 2021-03-16 Rebellion Photonics, Inc. Gas imaging system
CN108460032A (zh) * 2017-02-17 2018-08-28 杭州海康威视数字技术股份有限公司 一种视频摘要的生成方法及装置
US10955355B2 (en) 2017-02-22 2021-03-23 Rebellion Photonics, Inc. Systems and methods for monitoring remote installations
WO2018156795A1 (en) * 2017-02-22 2018-08-30 Rebellion Photonics, Inc. Systems and methods for monitoring remote installations
US11467098B2 (en) 2017-02-22 2022-10-11 Rebellion Photonics, Inc. Systems and methods for monitoring remote installations
US11313791B2 (en) 2017-11-09 2022-04-26 Rebellion Photonics, Inc. Window obscuration sensors for mobile gas and chemical imaging cameras
US11391671B2 (en) 2017-11-09 2022-07-19 Rebellion Photonics, Inc. Window obscuration sensors for mobile gas and chemical imaging cameras
US11698339B2 (en) 2017-11-09 2023-07-11 Rebellion Photonics, Inc. Window obscuration sensors for mobile gas and chemical imaging cameras
US10605725B2 (en) 2017-11-09 2020-03-31 Rebellion Photonics, Inc. Window obscuration sensors for mobile gas and chemical imaging cameras
US11624705B2 (en) 2017-11-09 2023-04-11 Rebellion Photonics, Inc. Window obscuration sensors for mobile gas and chemical imaging cameras
US11933723B2 (en) 2017-11-09 2024-03-19 Rebellion Photonics, Inc. Window obscuration sensors for mobile gas and chemical imaging cameras

Also Published As

Publication number Publication date
KR101804383B1 (ko) 2017-12-04
KR20150084567A (ko) 2015-07-22
US20170040036A1 (en) 2017-02-09
US10032483B2 (en) 2018-07-24

Similar Documents

Publication Publication Date Title
WO2015108236A1 (ko) 요약 영상 브라우징 시스템 및 방법
KR102437839B1 (ko) 요약 영상 브라우징 시스템 및 방법
US9269243B2 (en) Method and user interface for forensic video search
Meghdadi et al. Interactive exploration of surveillance video through action shot summarization and trajectory visualization
KR102025362B1 (ko) 검색 시스템 및 영상 검색 방법
KR102015954B1 (ko) 영상 처리 시스템 및 영상 처리 방법
EP1024666A2 (en) Image recording/reproducing apparatus in monitor system
EP2980767B1 (en) Video search and playback interface for vehicle monitor
US11308158B2 (en) Information processing system, method for controlling information processing system, and storage medium
CN105323656B (zh) 成像设备和提供成像信息的方法
WO2014193065A1 (en) Video search apparatus and method
JP2007299381A (ja) 監視データベースへの問合せ方法
EP3973446A1 (en) Forensic video exploitation and analysis tools
JP4678043B2 (ja) 画像記憶装置、監視システム、記憶媒体
WO2015080371A1 (en) Image search system and method
US9552345B2 (en) Gestural annotations
JP3372096B2 (ja) 画像情報アクセス装置
WO2021172943A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
JP2006129519A (ja) 画像記憶装置、監視システム、記憶媒体
US20230052278A1 (en) Information processing apparatus, information processing method, and storage medium
WO2024076202A1 (ko) 복수의 프레임 간 비교에 기반하여 반응형 영상을 생성하는 전자 장치 및 그 방법
WO2024076201A1 (ko) 반응형 영상에 대한 입력조작의 의도 및 감정에 기반하여 반응형 영상을 재생하는 전자 장치 및 그 방법
US20220301403A1 (en) Clustering and active learning for teach-by-example
KR102336906B1 (ko) 다수의 녹화 영상 채널을 효율적으로 검색할 수 있는 영상 검색 인터페이스 장치
US20230127421A1 (en) System for associating a digital map with a video feed, and method of use thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14878710

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15107011

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14878710

Country of ref document: EP

Kind code of ref document: A1