WO2014092446A1 - 객체 기반 영상 검색시스템 및 검색방법 - Google Patents

객체 기반 영상 검색시스템 및 검색방법 Download PDF

Info

Publication number
WO2014092446A1
WO2014092446A1 PCT/KR2013/011451 KR2013011451W WO2014092446A1 WO 2014092446 A1 WO2014092446 A1 WO 2014092446A1 KR 2013011451 W KR2013011451 W KR 2013011451W WO 2014092446 A1 WO2014092446 A1 WO 2014092446A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
search
class
registered
Prior art date
Application number
PCT/KR2013/011451
Other languages
English (en)
French (fr)
Inventor
김정태
구경모
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to US14/649,840 priority Critical patent/US20150310012A1/en
Priority to CN201380067598.XA priority patent/CN104903892B/zh
Publication of WO2014092446A1 publication Critical patent/WO2014092446A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/289—Object oriented databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present invention relates to an object-based image retrieval system and a retrieval method capable of effectively retrieving a registered image or a video or a related information having a similar composition of information input by a user and object-based information.
  • the Internet provides effective computer and information retrieval means for many computer users.
  • search methods that compare and provide corresponding images or videos have been developed one after another, and have made significant advances in information retrieval of text or images on the Internet.
  • the present invention has been made in an effort to provide an object-based image retrieval system and a retrieval method for reflecting object information of each registered image or video in order to be able to cope with complex information included in various query means of a user. have.
  • Another object of the present invention is to object-based image retrieval system for quickly processing more information of the image and video within a specific unit of memory usage while minimizing the loss of information by clustering the registered image or video based on the object; To provide a search method.
  • Another object of the present invention is an object-based image retrieval system capable of retrieving a similar image or video or similar information similar to the naked eye by using not only the recognition of the same object but also the configuration information of the object in a single retrieval system. And a search method.
  • An object-based image retrieval system includes a first registered image management module 202 for storing and managing various registered images or moving images to be searched; A first registered image information extraction module 203 for extracting a feature point or a visual attribute of the feature point from the registered image or video as image information; A class generation module 209 for generating or classifying one or more classes according to the similarity of the image information extracted by the first registered image information extraction module 203; A first class information management module 210 for storing and managing information on the class generated by the class generation module 209; A first search content information extraction module 211 for extracting relevant information of search content for searching from an image or video received through a user terminal or voice or text; A first registered image search module 216 for searching for the same or similar matching class or registered image by comparing the search content information extracted through the first search content information extraction module 211 with previously classified class information; And a first search result display module 219 for providing class information of the registered video or the registered video searched by the first registered video search module 216 as a
  • the feature points constituting the image information extracted by the first registered image information extraction module 203 are information generated by outlines or corners or poles (parts darker or lighter than the surrounding brightness) included in the image or video.
  • the visual property of the feature point may be brightness information, color information, or pattern information of images around the feature point.
  • the first registered image information extracting module 203 includes: a first registered image image information extracting unit 204 for extracting and storing feature points or visual attributes of the feature points included in the registered images as image information; A first scene dividing unit 206 for dividing the front and rear video sections into a scene based on a point where a visual element is converted by analyzing the registered video, and selecting one or more frames represented in each scene as representative frames. Extracting the first registered video image information comprising a first representative frame selector 207 and a first representative frame image information extractor 208 for extracting and storing a feature point or visual attributes of the feature points from the selected representative frame as image information. It characterized in that it comprises a unit (205).
  • the first scene dividing unit 206 creates a frequency graph of HSV (color / saturation / brightness) of each frame of the video content, compares the graph of the previous frame with the current frame, and exceeds a predetermined distance between graphs. It is characterized in that the scene is determined to determine that the frame is changing.
  • HSV color / saturation / brightness
  • the class generating module 209 generates or classifies one or more classes by clustering them when the feature point or the visual property of the feature point is similar to each other.
  • the classifier may classify the same or similar class together.
  • the class information of the first class information management module 210 is one or more of text information, image information, category information, and specialized information describing a class.
  • the first search content information extraction module 211 includes a first search voice processing unit 214 for analyzing the voice provided from the user terminal and converting it into text; And a first search text processing unit 215 for analyzing the search text received from the user terminal or the text converted by the first search voice processing unit 214.
  • the first registered image search module 216 searches for the same or similar matching class by comparing the image information extracted from the search image or the search video received by the user with the image information for each class in the class information, A first image search unit 217 for searching a registered image or a registered video including some or all of the searched classes; Compares the text information extracted or converted from the text or voice received by the user with the text information in the class information to search for a class that matches the same or similarly, and to search for a registered image or video that includes some or all of the searched classes. It characterized in that it comprises a first text search unit 218.
  • the object-based image retrieval system for receiving and storing an object image containing one or more objects and extracting and storing image information from the registered object image and; Second class information management, which classifies and classifies one or more of the same classes according to the similarity of the image information of the object image extracted through the object image management module 301 and stores the text of the class describing the class together as class information.
  • a second registered image management module 303 for storing and managing various registered images or videos as search images as registered images
  • a second registered image information extraction module 304 for extracting a feature point or a visual attribute of the feature point as image information from all or part of the registered image or video;
  • a registered image classification module 310 A second search content information extraction module 311 for extracting search content information from the search content of the image or video received through the user terminal or voice or text;
  • the search content information extracted by the second search content information extraction module 216 is compared with the image information of the previously generated class or the text of the class to search for a class that is identical or similarly matched, and includes all or some of the searched classes.
  • a second registered image search module 316 for searching for a registered image or a registered video; And a second search result display module 319 for providing the class information or the registered image information searched by the second registered image search module 316 as a search result to the user terminal, and the second search content information extraction module 311 includes:
  • the second search image processing unit 312 extracts the image information included in the search image received from the user, and analyzes the search video to divide the before and after video sections into scenes based on the point where the visual elements are converted.
  • a second search video processor 313 which selects one or more frames represented in the scene as a representative frame, extracts image information from the selected representative frame, and analyzes the voice provided from the user terminal and converts the voice into text;
  • the search voice processor 314, the search text provided from the user terminal, or the text converted by the second search voice processor 314 may be analyzed. And at least one of the second search text processing unit 315.
  • the object-based image retrieval system has an advantage of effectively coping with complex information input through various query means by using a plurality of object-based information extracted from an image or a video.
  • FIG. 1 is a block diagram of an object-based image retrieval system according to a first embodiment of the present invention.
  • FIG. 2 is a flowchart of an image content retrieval process using an object-based image retrieval system according to a first embodiment of the present invention.
  • FIG. 3 is an exemplary diagram for creating a class according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart of a search process using voice or text using the object-based image retrieval system according to the first embodiment of the present invention.
  • FIG. 5 is a block diagram of an object-based image retrieval system according to a second embodiment of the present invention.
  • FIG. 6 is a flowchart of an image content retrieval process using an object-based image retrieval system according to a second embodiment of the present invention.
  • the basic concept of the image content retrieval system according to the first embodiment of the present invention is to classify or cluster a registered image or video based on an object based on a feature point and a property of a feature point, thereby allowing a user to use a PC, tablet, mobile, or connected TV.
  • a searched registration image or a registered video is simply searched to provide a corresponding result or related information to the user terminal.
  • the video content search system includes a first registered video management module 202, a first registered video information extraction module 203, a class generating module 209, and a first class information.
  • the management module 210 includes a first search content information extraction module 211, a first registered image search module 216, and a first search result display module 219.
  • the first registered image management module 202 stores and manages various registered images or videos to be searched in the first registered image DB 221.
  • the first registered image management module 202 may store an image or a video to be searched as a registered image or a registered video, or search and use the web in real time.
  • related information including a name, a copyright holder, and the like of the registered image or video may be stored together.
  • the first registered image information extraction module 203 extracts a feature point or a visual attribute of the feature point from the registered image or video as image information.
  • Feature points extracted as image information are information generated by contours or corners or poles (parts darker or lighter than the surrounding brightness) included in the image or video, and the visual properties of the feature points are brightness information or colors of images around the feature points. Information or pattern information.
  • the first registered image information extraction module 203 extracts first registered image image information extracting unit 204 for extracting image information from a registered image, and extracts first registered image image information for extracting image information from a registered image. Section 205.
  • the first registered image image information extractor 204 extracts one or more feature points or visual attributes of the feature points included in the registered images as image information and stores the extracted image information together with the registered image.
  • the first registered image image information extractor 204 may extract all the image information included in each of the registered images.
  • the first registered video image information extracting unit 205 analyzes the registered video and divides the before and after video sections into scenes based on the point where the visual elements are converted, and each scene.
  • a first representative frame selecting unit 207 for selecting one or more frames represented as a representative frame, and a first extracting one or more feature points or visual attributes of the feature points from the selected representative frame as image information and storing the same with the registered video.
  • the representative frame image information extraction unit 208 is formed.
  • the first scene dividing unit 206 prepares each frame of the video content as a frequency graph of HSV (color / saturation / brightness), compares the graph of the previous frame with the current frame, and exceeds a predetermined distance between graphs.
  • the frame changes may be identified, and a unique ID is preferably assigned to each identified scene. In this case, it is preferable to distinguish the frame at which the change starts with S (Start) and to mark the frame at which the change is finished with E (End).
  • the representative frame selected by the first representative frame selecting unit 207 may select any frame of the front, middle, or rear end because the frames constituting the scene are almost similar.
  • the first registered image information extraction module 203 may extract not only the image information of the registered image but also all the image information included in the registered video.
  • the class generation module 209 compares the image information of the registered image or the registered image extracted through the first registered image information extraction module 203 or visual information of the feature point with each other and clusters them together in the same or similar case. If it is created with the above class or the same as the existing class, it is classified together with the existing class. For example, classes may be categorized as nature >> mountain, sea, sky, land >> sky >> blue sky, evening sky, and the like.
  • the first class information management module 210 stores and manages class information of the class generated through the class generation module 209 in the class information DB 222.
  • the class information stored in the class information DB 222 includes at least one of image information, category information, text information about a class description, and specialized information of each class.
  • the image information includes feature points or visual attributes of each class generated by the first class generation module 209, and category information refers to class information divided by upper and lower concepts, dependencies, and associations between the classes. .
  • category information refers to class information divided by upper and lower concepts, dependencies, and associations between the classes.
  • the category information by dependency includes information of another registered image or registered video in the DB that includes the class and similar classes for each class, and the category information by the association is different in the DB similar to the class for each class.
  • the text information includes a keyword or text describing or representing each class, and the information may be provided from the first registered image management module 202 or an administrator who stores the name of the registered image or video, copyright information, and the like.
  • the first search content information extraction module 211 extracts related information of the search content for searching from an image or a video received through a user terminal, or voice or text.
  • the user terminal includes a terminal such as a PC, a tablet, a mobile, and a connected TV, and the search image is provided with an image which is being reproduced or photographed in the user terminal or a stored image file or image.
  • the first search content information extraction module 211 includes a first search image processor 212, a first search video processor 213, a first search voice processor 214, and a first search text processor 215.
  • the first search image processor 212 extracts image information from the search image received from the user.
  • the image information extracted by the first search image processing unit 212 may be an outline, a corner, or a pole of an object included in the search image in the same way as the first registration image image information extracting unit 204 extracts the image information. And feature information about a portion darker or lighter than the ambient brightness, and visual information such as brightness information, color information, or pattern information of images around the feature point.
  • the first search image processor 212 may extract image information included in the search image received by the user.
  • the first search video processor 213 analyzes the search video and divides the sections of the before and after video into a scene based on the point at which the visual elements are converted, selects the frames represented in each scene as the representative frames, and selects the selected frames. Image information is extracted from the representative frame.
  • the image information extracted by the first search video processing unit 213 may include the first scene segmentation unit 206, the first representative frame selection unit 207, and the first scene of the first registered video image information extraction unit 205. In the same process as the representative frame image information extracting unit 208, image information of the representative frame is extracted from the search video. Accordingly, the first search video processing unit 213 may extract the image information included in the search video received by the user.
  • the first search voice processor 214 analyzes the voice provided from the user terminal and converts the voice into text.
  • the first search voice processor 214 may convert the voice into text using a voice recognizer. For example, if it says, "Find a city image with people, cars, and buildings, but instead take a video taken in the evening," convert it to text.
  • the first search text processing unit 215 analyzes the search text provided from the user terminal or the text converted by the first search voice processing unit 214.
  • the first registered image search module 216 searches for one or more classes that are identically or similarly matched by comparing the information of the searched content extracted through the first search content information extraction module 211 with previously classified class information. Search for registration images or registration videos that include all or part of the class.
  • the first registered image retrieval module 216 includes a first image retrieval unit 218 for retrieving image information and a first text retrieval unit 218 for comparing text.
  • the first image search unit 217 compares the image information extracted from the search image or the search video received by the user with the image information for each class in the class, and searches for a class that matches the same or similarly or partially or all of the searched classes. Search for registered images or registered videos to include. In this case, one or more classes corresponding to the respective image information may be searched first from the search image or the video information of the searched video, and the registered image or registered video including all or part of one or more classes searched in the second may be searched. .
  • the first text search unit 218 searches for the same or similar matching class by comparing the text information extracted or converted from the text or voice received by the user with the text in the class information, and includes some or all of the searched classes. Search for a registered image or a registered video. In this case, the first text search unit 218 first searches for the same or similar class, and secondly searches for a registration image or a registered video including all or part of the class.
  • the text information analyzed by the first text search unit 218 is "Find a city image of a person, a car, and a building, but exclude an image taken in the evening."
  • the matching class is detected by comparing the text information stored in the text information with the class information, but the red class may be excluded by reflecting the text information on the color extracted from the image information of the class.
  • the registered image or the registered video including all or part of the same or similar class as the detected class may be searched through selection and control.
  • the first search result display module 219 provides the user terminal with the information of the class or the registered video information searched by the first registered image search module 216 as a search result.
  • a feature point or a visual property of a feature point of a registered image to be searched is extracted as image information through the first registration image information extraction module 203 (step S101), and the feature point or feature point of each representative frame is registered from the registered video.
  • the attribute is extracted as image information (step S102).
  • the feature point extracted as image information is information generated by an outline or a corner or a pole (darker or lighter than the surrounding brightness) included in the image or video
  • the visual property of the feature point is the brightness information of the images around the feature point. Or color information or pattern information.
  • the registered video divides the front and rear sections of the video into scenes based on the point where the visual elements are transformed, selects frames represented in each scene as representative frames, and visual attributes of the feature points or feature points from the selected representative frames. Can be extracted as image information. Through this process, image information on a feature point or visual properties of the feature point can be extracted from a registered image or a representative frame.
  • the class generation module 209 clusters according to the sameness or similarity of the extracted image information to generate or classify into one or more classes, and the registered image or video and each class information in the registered image or video can be easily called mutually. Link or store together in the form (step S103).
  • the newly created class having image information similar to the existing generated class may be classified together with the same or similar class as the previously generated class.
  • the first class information management module 210 stores the class information of the class generated through the class generation module 209 in the class information DB 222 (step S104).
  • the class information includes one or more of image information, category information, text information, and specialized information for each class, and includes a first registered image management module 202 or a first that stores a name of a registered image or video, copyright information, and the like.
  • the data provided by the registered image management module 202 may be provided with such information from a second search result or an administrator through the web. Accordingly, even if a plurality of classes are included in the registered image or the video recording, the class information can be stored together to easily check which classes are included.
  • the first search content information extraction module 211 extracts the video information of the search content provided from the user.
  • the search image or the search video provided from the user terminal extracts the feature point or the visual attribute of the feature point from the search image as image information by the first search image processing unit 212 of the search image information extraction module (step S106).
  • the retrieval video processor 213 extracts the feature points or the visual attributes of the feature points included in the representative frame from the retrieval video as image information (step S107).
  • image information can be extracted from feature points and visual properties of feature points as well as search images.
  • the first registered image search module 216 searches for the same or similar class by comparing the image information such as the feature point extracted from the search image or the search video or the visual property of the feature point with the image information of the class (step S108), and the retrieved class.
  • the registered image or the registered video including all or part of the class is searched (step S109).
  • the searched class information or information on the registered image is listed and provided as a search result to the user terminal through the first search result display module 219 (step S110).
  • the search content information extraction module 211 of the first The search voice processing unit 214 converts the received voice into text using a voice recognizer or the like (step S203).
  • the first text search unit 218 of the first registered image search module 216 matches the same or similarly by comparing the text converted from the voice or the search text provided as text directly from the user terminal with the text of the class information.
  • the class having the text to be searched is searched (step S204), and a registered image or a registered video including all or part of the searched class is searched (step S205). Accordingly, a related registered image or a registered video can be searched for from a voice or text describing an image or a video.
  • the searched class information or information on the registered image is listed and provided as a search result to the user terminal through the first search result display module 219 (step S206).
  • the basic concept of the image content retrieval system is to input an object image including one or more objects into the image content retrieval system and extract the image information therefrom to obtain one or more images according to the similarity or identity of the image information.
  • After creating or classifying as a class and matching the generated video information with the registered image or video information of the registered video to be searched if the user requests a search for the video with search content of image, video, voice or text
  • the search content information is extracted from the searched content, and class information matching the searched content is searched, and then a registered image or a registered video sharing one or more classes similar or identical to the searched result is searched.
  • the image content search system includes an object image management module 301, a second class information management module 302, and a second registered image management.
  • the module 303 includes a second registered image information extraction module 304, a second search content information extraction module 311, a second registered image search module 316, and a second search result display module 319.
  • the object image management module 301 receives an object image including one or more various objects, such as a sky, a person, a building, and a street, stores the object image in the object image DB 320 and extracts image information from the registered object image, and then image information. Clustered according to the identity or similarity of the generated or classified into one or more classes or stored together in the object image DB (320). At this time, the image information of the object image includes feature point information on the contour, corner, or pole (darker or lighter than the surrounding brightness) of the object included in the image, and visual properties of the feature point (brightness information or color information of the images around the feature point). Or pattern information). Grouping is generated or classified into one or more classes according to the similarity of the image information of the extracted object image, and newly created classes having image information similar to the existing generated classes may be classified together into the same or similar classes.
  • the second class information management module 302 stores the information of the class generated by the object image management module 301 together in the object image DB 320.
  • each class may be assigned a unique ID, and the class information includes one or more of image information, category information, text information, and specialized information for each class.
  • the second registered image management module 303 stores and manages various registered images or videos to be searched in the second registered image DB 321 similarly to the first registered image management module 202 of the first embodiment. .
  • related information including the name of the registered image or the video, the copyright holder, and the like may be stored together.
  • the second registered image information extraction module 304 extracts a feature point or a visual property of the feature point of the registered image or video as image information in the same manner as the first registered image information extraction module 203 of the first embodiment.
  • the second registered image information extraction module 304 may include a second registered image image information extractor 305 for extracting image information from a registered image, and a second registered video image information extractor for extracting image information from a registered video.
  • the registered video image information extracting unit 306 further includes a second scene dividing unit 307, a second representative frame selecting unit 308, and a second representative frame image information extracting unit 309.
  • the second registered image video information extractor 305 and the second registered video image information extractor 306 are the first registered image video information extractor 204 and the first registered video image information extractor 205 of the first embodiment. ), So a description thereof is omitted.
  • the registered image classification module 310 is configured to extract the image information from the registered image or the registered video through the second registered image information extraction module 304, and the image information of each class stored in the object image DB 320. Stores information about a class having the same or similar image information compared to the information. In this case, the registered image classification module 310 may store and record ID information of a class matched with each registered image.
  • the second search content information extraction module 311 uses the same information as the first search content information extraction module 211 according to the first embodiment to retrieve information of the search content for searching from an image, video, voice, or text received through the user terminal. Extract.
  • the second search content information extraction module 311 is the same as the first search content information extraction module 211, the second search image processing unit 312, the second search video processing unit 313, the second search audio processing unit 314 And a second search text processing unit 315.
  • the second registered image search module 316 compares the image information of the search content extracted through the second search content information extraction module 311 with the image information of the class stored in the object image DB 320 and matches the same or similarly. Search for one or more classes, and search for registration images or registration videos that include all or part of the classes.
  • the second registered image search module 316 includes a second image search unit 317 for searching image information and a second text search unit 318 for comparing text.
  • the second image retrieval unit 317 compares the image information extracted from the search image or the search video received by the user with the image information of the class, searches for a class that matches the same or similarly, and includes some or all of the found classes. Search for a registered image or a registered video. At this time, one or more classes corresponding to the searched image or the video information of the searched video may be searched first, and secondly, the registered images or the registered video including all or part of the corresponding class may be searched.
  • the second text search unit 318 searches for the same or similar matching class by comparing the text information extracted or converted from the text or voice received by the user with the text in the class information, and includes some or all of the searched classes. Search for a registered image or a registered video. In this case, the second text search unit 318 first searches for the same or similar class and secondly searches for the registered image or the registered video.
  • the second search result display module 319 provides the user terminal with the information of the class or the registered video information searched by the second registered image search module 316 as a search result.
  • the object image management module 301 receives an image including one or more various objects, such as a sky, a building, a person, and a street, stores the image in the object image DB 320 and extracts the image information of the registered object image.
  • Cluster or generate as one or more classes according to the identity or similarity of the information step S301).
  • the object images may be generated or classified as classes by grouping them according to the similarity between the feature point information on the contours, corners, or poles (parts darker or lighter than the surrounding brightness) of the objects included in the image and the visual properties of the feature points.
  • the second class information management module 302 stores the image information of the class and the information related to the class in the object image DB 320 (step S302).
  • each class may be assigned a unique ID
  • the information related to the class includes one or more of text information, category information, and specialized information describing the class.
  • the registered image or registered video to be searched is registered and stored through the second registered image management module 303 (step S303), the registered registered image or registered video is the second registered image information extraction module 304 Image information is extracted from the registered image through (step S304), and image information of each representative frame is extracted from the registered video (step S305).
  • the image information of the registered image or video extracted through the second registered image management module 303 is compared with the image information in the class to identify a class that is identically or similarly matched (step S306), and the matched class is matched.
  • Information about the information is stored together in the registered image (step S307). Accordingly, even if a plurality of objects are included in the registered image or the registered video, storing the ID of the matching class together can easily identify which object is included.
  • the second search content information extraction module 311 extracts the video information of the search content provided from the user for the search.
  • the visual properties of the feature points or the feature points are extracted as the image information from the search image provided from the user terminal (step S309), or the visual properties of the feature points or the feature points included in the representative frame are extracted from the search video as the image information. S310).
  • the image information can be extracted from the search video as well as the search image.
  • the second registered image search module 316 searches for a matching class by comparing the image information extracted from the search image or the search video inputted through the user terminal with the image information of the class (step S311), and searches all of the found classes. Or search for a registration image or a registration video containing a portion (step S312).
  • the searched class information or information on the registered image is listed and provided as a search result to the user terminal through the second search result display module 319 (step S313).

Abstract

본 발명은 사용자에 의해 입력된 정보와 객체 기반 정보의 구성이 유사한 등록 이미지 또는 동영상 또는 이와 관련된 정보를 효과적으로 검색할 수 있는 객체 기반 영상 검색시스템에 관한 것이다. 본 발명에 따른 객체 기반 영상 검색시스템은, 등록된 이미지 또는 동영상을 특징점 및 특징점의 속성에　따라 객체 기반으로 분류 또는 클러스터링하여 사용자가 PC, 태블릿, 모바일 및 커넥티드 TV 등의 사용자 단말기를 통해 이미지, 동영상을 업로드하거나 또는 음성, 텍스트로로 검색하면 간단하게 매치되는 등록이미지 또는 등록동영상을 검색하여 사용자 단말기로 해당 결과 또는 관련 정보를 제공하는 것이다.

Description

객체 기반 영상 검색시스템 및 검색방법
본 발명은 사용자에 의해 입력된 정보와 객체 기반 정보의 구성이 유사한 등록 이미지 또는 동영상 또는 이와 관련된 정보를 효과적으로 검색할 수 있는 객체 기반 영상 검색시스템 및 검색방법에 관한 것이다.
일반적으로 인터넷은 많은 컴퓨터 이용자들에게 유효 적절한 통신 및 정보검색수단을 제공한다. 특히, 최근에는 사용자가 이미지 또는 동영상을 업로드하면 이에 대응되는 이미지 또는 동영상을 비교하여 제공하는 검색방법들이 속속 개발되어 인터넷상에서 텍스트나 영상에 대한 정보검색에 상당한 진보를 이루어냈다.
그러나, 이러한 검색방법들은 사용자가 질의한 이미지 또는 동영상 내 다수의 객체들에 대한 정보를 반영하지 못 할뿐더러 유사 영상을 검색하는 과정에서 수반되는 활용 정보의 부족 또는 오인식 등에 의해 최초 사용자의 의도를 정확히 반영하는 결과를 제공하지 못 하는 문제가 있다.
또한 대용량의 이미지 또는 동영상 DB 내에서 정보의 손실을 최소화하면서 빠른 검색을 가능하게 하기 위해서 많은 정보의 요약방법이 거론되어 왔으나 일반적으로 DB의 양에 비례하여 검색속도가 증가할 수밖에 없었고 특정 단위의 메모리 사용량 내에서 더 많은 이미지 정보를 처리하기 위해서는 그에 비례한 정보의 손실이 수반되었다.
이를 극복하기 위해 이미지 또는 동영상으로 구성된 DB를 색상, 모양, 질감, 패턴 등의 1차원적 요소로 카테고리화할 경우 사용이 번거로워지거나 검색의 정확도가 심각히 훼손되는 문제가 있었다.
본 발명이 해결하고자 하는 과제는 사용자의 다양한 질의 수단이 포함하는 복합적인 정보에 대응 가능하기 위해 등록된 이미지 또는 동영상 각각의 객체정보를 검색에 반영하는 객체 기반 영상 검색시스템 및 검색방법을 제공하는 데 있다.
본 발명의 다른 해결과제는 등록된 이미지 또는 동영상을 객체 기반으로 클러스터링 함으로써 정보의 손실을 최소화한 상태에서 특정 단위의 메모리 사용량 내에서 보다 많은 이미지와 동영상의 정보를 빠르게 처리하는 객체 기반 영상 검색시스템 및 검색방법을 제공하는 데 있다.
본 발명의 또다른 해결과제는 단일 검색시스템에 있어 동일한 객체의 인식뿐만 아니라 객체의 구성정보를 활용해 육안과 흡사한 기준의 유사 이미지 또는 동영상 또는 이와 관련된 정보를 검색할 수 있는 객체 기반 영상 검색시스템 및 검색방법을 제공하는 데 있다.
본 발명의 제1실시예에 따른 객체 기반 영상 검색시스템은, 검색대상이 되는 등록된 각종 이미지 또는 동영상을 저장하고 관리하는 제1 등록영상 관리모듈(202)과; 등록된 이미지 또는 동영상으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하는 제1 등록영상정보 추출모듈(203)과; 제1 등록영상정보 추출모듈(203)을 통해 추출된 영상정보의 유사성에 따라 하나 이상의 클래스를 생성하거나 분류하는 클래스 생성모듈(209)과; 클래스 생성모듈(209)을 통해 생성된 클래스에 대한 정보를 저장하고 관리하는 제1 클래스정보 관리모듈(210)과; 사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트로부터 검색을 위해 검색콘텐츠의 관련 정보를 추출하는 제1 검색콘텐츠정보 추출모듈(211)과; 제1 검색콘텐츠정보 추출모듈(211)을 통해 추출된 검색콘텐츠정보를 기 분류된 클래스정보와 비교하여 동일 또는 유사하게 매치되는 클래스 또는 등록영상을 검색하는 제1 등록영상 검색모듈(216)과; 제1 등록영상 검색모듈(216)에서 검색된 등록영상 또는 등록영상의 클래스정보를 사용자 단말기에 검색결과로 제공하는 제1 검색결과 표시모듈(219)을 포함하며, 제1 검색콘텐츠정보 추출모듈(211)은 사용자로부터 접수된 검색이미지에 포함된 영상정보를 추출하는 제1 검색이미지 처리부(212), 또는 검색동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 영상정보를 추출하는 제1 검색동영상 처리부(213)를 포함하는 것을 특징으로 한다.
바람직하게, 제1 등록영상정보 추출모듈(203)에서 추출되는 영상정보를 구성하는 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보인 것을 특징으로 한다.
바람직하게, 제1 등록영상정보 추출모듈(203)은 등록된 이미지들에 포함된 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 저장하는 제1 등록이미지 영상정보 추출부(204)와; 등록된 동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하는 제1 씬 분할부(206)와, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하는 제1 대표프레임 선정부(207)와, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 저장하는 제1 대표프레임 영상정보 추출부(208)로 이루어진 제1 등록동영상 영상정보 추출부(205)를 포함하는 것을 특징으로 한다.
바람직하게, 제1 씬 분할부(206)는 동영상 콘텐츠의 각 프레임을 HSV(색상/채도/밝기)의 빈도수 그래프로 작성하여 이전 프레임과 현재 프레임의 그래프를 비교하여 정해진 그래프간 거리값을 넘는 경우에는 프레임이 변하는 것으로 판단하여 씬으로 확인하는 것을 특징으로 한다.
바람직하게, 클래스 생성모듈(209)은 영상정보인 특징점 또는 특징점의 시각적 속성이 등록이미지 또는 등록동영상 내의 영상정보가 상호 유사할 경우 이를 군집화 하여 하나 이상의 클래스로 생성하거나 분류하며 이때 생성된 클래스가 기존에 생성된 클래스와 유사한 영상정보를 갖는 경우 동일하거나 유사한 클래스로 함께 분류하는 것을 특징으로 한다.
바람직하게, 제1 클래스정보 관리모듈(210)의 클래스정보는 클래스를 설명하는 텍스트정보, 영상정보, 카테고리정보, 특화정보 중 하나 이상인 것을 특징으로 한다.
바람직하게, 제1 검색콘텐츠정보 추출모듈(211)은 사용자 단말기로부터 제공받은 음성을 분석하여 텍스트로 변환시키는 제1 검색음성 처리부(214)와; 사용자 단말기로부터 제공받은 검색텍스트 또는 제1 검색음성 처리부(214)에서 변환된 텍스트를 분석하는 제1 검색텍스트 처리부(215)를 포함하는 것을 특징으로 한다.
바람직하게, 제1 등록영상 검색모듈(216)은 사용자에 의해 접수된 검색이미지 또는 검색동영상으로부터 추출된 영상정보를 클래스정보 내의 클래스별 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색하는 제1 영상 검색부(217)와; 사용자에 의해 접수된 텍스트 또는 음성으로부터 추출되거나 변환된 텍스트정보를 클래스정보 내의 텍스트정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색하는 제1 텍스트 검색부(218)를 포함하는 것을 특징으로 한다.
또한, 본 발명의 제2실시예에 따른 객체 기반 영상 검색시스템은, 객체가 하나 이상 포함된 객체이미지를 등록받아 저장하고 등록받은 객체이미지에서 영상정보를 추출하여 저장하는 객체이미지 관리모듈(301)과; 객체이미지 관리모듈(301)을 통해 추출된 객체이미지의 영상정보의 유사성에 따라 군집화 하여 하나 이상의 동일한 클래스로 분류한 후 해당 클래스를 설명하는 클래스의 텍스트를 클래스정보로 함께 저장하는 제2 클래스정보 관리모듈(302)과; 검색대상이 되는 등록된 각종 이미지 또는 동영상을 등록영상으로 저장하고 관리하는 제2 등록영상 관리모듈(303)과; 등록된 이미지 또는 동영상의 전체 또는 일부로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하는 제2 등록영상정보 추출모듈(304)과; 등록된 이미지 또는 등록된 동영상으로부터 각각의 영상정보가 추출되면 해당 영상정보를 기 생성된 클래스의 영상정보와 비교하여 동일하거나 유사한 영상정보를 갖는 클래스에 대한 정보를 등록된 이미지 또는 동영상에 함께 저장하는 등록영상 분류모듈(310)과; 사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트의 검색콘텐츠로부터 검색콘텐츠정보를 추출하는 제2 검색콘텐츠정보 추출모듈(311)과; 제2 검색콘텐츠정보 추출모듈(216)을 통해 추출된 검색콘텐츠정보를 기 생성된 클래스의 영상정보 또는 클래스의 텍스트와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색하는 제2 등록영상 검색모듈(316)과; 제2 등록영상 검색모듈(316)에서 검색된 클래스정보 또는 등록영상정보를 사용자 단말기에 검색결과로 제공하는 제2 검색결과 표시모듈(319)을 포함하며, 제2 검색콘텐츠정보 추출모듈(311)은 사용자로부터 접수된 검색이미지에 포함된 영상정보를 추출하는 제2 검색이미지 처리부(312), 검색동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 영상정보를 추출하는 제2 검색동영상 처리부(313), 사용자 단말기로부터 제공받은 음성을 분석하여 음성을 텍스트로 변환시키는 제2 검색음성 처리부(314), 사용자 단말기로부터 제공받은 검색텍스트 또는 제2 검색음성 처리부(314)에서 변환된 텍스트를 분석하는 제2 검색텍스트 처리부(315) 중 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에 따른 객체 기반 영상 검색시스템은 이미지 또는 동영상에서 추출된 복수의 객체 기반 정보를 이용함으로써 다양한 질의 수단을 통해 입력된 복합적인 정보에 효과적으로 대응할 수 있는 장점이 있다.
또한, 등록된 이미지 또는 동영상을 객체 기반으로 클러스터링함으로써 정보의 손실을 최소화한 상태에서 특정 단위의 메모리 사용량 내에서 보다 많은 이미지와 동영상의 정보를 빠르게 처리할 수 있는 장점이 있다.
또한, 동일 객체의 인식뿐만 아니라 객체의 구성정보를 활용해 육안과 흡사한 기준의 유사 이미지 또는 동영상 또는 이와 관련된 정보를 단일 시스템에서 검색 가능함으로써 사용자의 의도에 부합하는 입체적인 검색 방법을 제공하는 장점이 있다.
도 1은 본 발명의 제1실시예에 따른 객체 기반 영상 검색시스템의 블록도.
도 2는 본 발명의 제1실시예에 따른 객체 기반 영상 검색시스템을 이용한 영상 콘텐츠 검색과정의 플로차트.
도 3은 본 발명의 제1실시예에 따라 클래스를 생성하는 예시도.
도 4는 본 발명의 제1실시예에 따른 객체 기반 영상 검색시스템을 이용한 음성 또는 텍스트를 이용한 검색과정의 플로차트.
도 5는 본 발명의 제2실시예에 따른 객체 기반 영상 검색시스템의 블록도.
도 6은 본 발명의 제2실시예에 따른 객체 기반 영상 검색시스템을 이용한 영상 콘텐츠 검색과정의 플로차트.
이하, 첨부된 도면을 참조하여 본 발명의 객체 기반 영상 검색시스템에 대하여 자세히 살펴본다.
본 발명의 제1실시예에 따른 영상 콘텐츠 검색시스템의 기본 개념은 등록된 이미지 또는 동영상을 특징점 및 특징점의 속성에　따라 객체 기반으로 분류 또는 클러스터링하여 사용자가 PC, 태블릿, 모바일 및 커넥티드 TV 등의 사용자 단말기를 통해 이미지, 동영상을 업로드하거나 또는 음성, 텍스트로로 검색하면 간단하게 매치되는 등록이미지 또는 등록동영상을 검색하여 사용자 단말기로 해당 결과 또는 관련 정보를 제공하는 것이다.
도 1을 참조하여 영상 콘텐츠 검색시스템에 자세히 살펴보면, 영상 콘텐츠 검색시스템은 제1 등록영상 관리모듈(202), 제1 등록영상정보 추출모듈(203), 클래스 생성모듈(209), 제1 클래스정보 관리모듈(210), 제1 검색콘텐츠정보 추출모듈(211), 제1 등록영상 검색모듈(216), 제1 검색결과 표시모듈(219)을 포함한다.
제1 등록영상 관리모듈(202)은 검색대상이 되는 등록된 각종 이미지 또는 동영상을 제1 등록영상DB(221)에 저장하고 관리한다. 이때, 제1 등록영상 관리모듈(202)은 검색대상이 되는 이미지 또는 동영상을 등록이미지 또는 등록동영상으로 저장하거나 또는 실시간으로 웹을 검색하여 사용할 수 있다. 또한 제1 등록영상 관리모듈(202)에 이미지와 동영상이 등록되는 경우에는 등록된 이미지 또는 동영상의 이름, 저작권자 등을 포함한 관련정보가 함께 저장될 수 있다.
제1 등록영상정보 추출모듈(203)은 등록된 이미지 또는 동영상으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다. 영상정보로 추출되는 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 등을 의미한다.
이러한 제1 등록영상정보 추출모듈(203)은 등록된 이미지로부터 영상정보를 추출하는 제1 등록이미지 영상정보 추출부(204)와, 등록된 동영상으로부터 영상정보를 추출하는 제1 등록동영상 영상정보 추출부(205)로 이루어진다.
제1 등록이미지 영상정보 추출부(204)는 등록된 이미지들에 포함된 하나 이상의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 추출된 영상정보를 등록이미지와 함께 저장한다. 이러한 제1 등록이미지 영상정보 추출부(204)를 통해 등록된 각각의 이미지들이 포함하는 영상정보를 모두 추출할 수 있다.
제1 등록동영상 영상정보 추출부(205)는 등록된 동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하는 제1 씬 분할부(206)와, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하는 제1 대표프레임 선정부(207)와, 선정된 대표프레임으로부터 하나 이상의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 등록동영상과 함께 저장하는 제1 대표프레임 영상정보 추출부(208)로 이루어진다. 이때, 제1 씬 분할부(206)는 동영상 콘텐츠의 각 프레임을 HSV(색상/채도/밝기)의 빈도수 그래프로 작성하여 이전 프레임과 현재 프레임의 그래프를 비교하여 정해진 그래프간 거리값을 넘는 경우에는 프레임이 변하는 것으로 판단하여 씬으로 확인할 수 있으며, 확인된 각각의 씬에는 고유 ID가 부여되는 것이 바람직하다. 이때, 변화가 시작되는 프레임은 S(Start)로 표시하고, 변화가 종료되는 프레임은 E(End)로 표시하여 구분하는 것이 바람직하다. 또한, 제1 대표프레임 선정부(207)에서 선정되는 대표프레임은 씬을 구성하는 프레임들이 거의 유사하므로 전단, 중간 또는 후단의 어느 프레임을 선정하더라도 무방하다. 이러한 제1 등록영상정보 추출모듈(203)에 의하여 등록된 이미지의 영상정보 뿐만아니라 등록된 동영상에 포함된 영상정보도 모두 추출할 수 있다.
클래스 생성모듈(209)은 제1 등록영상정보 추출모듈(203)을 통해 추출된 등록이미지 또는 등록동영상의 특징점 또는 특징점의 시각적 속성에 대한 영상정보를 서로 비교하여 동일 또는 유사한 경우 이를 함께 군집화 하여 하나 이상의 클래스로 생성하거나 기존에 생성된 클래스와 동일하면 기존의 클래스로 함께 분류한다. 예를 들면, 클래스는 자연>>산, 바다, 하늘, 땅>>하늘>>푸른하늘, 저녁 하늘 등과 같이 분류될 수 있다.
제1 클래스정보 관리모듈(210)은 클래스 생성모듈(209)을 통해 생성된 클래스의 클래스정보를 클래스정보DB(222)에 저장하고 관리한다. 이때 클래스정보DB(222)에 저장되는 클래스정보는 각 클래스의 영상정보, 카테고리정보, 클래스의 설명에 대한 텍스트정보, 특화정보 중 하나 이상을 포함하여 구성된다. 영상정보는 제1 클래스 생성모듈(209)을 통해 생성된 각 클래스의 특징점 또는 특징점의 시각적 속성을 포함하며, 카테고리정보는 각 클래스 간의 상 하위 개념, 종속성, 연관성 등에 의해 구분된 클래스정보를 의미한다. 예를 들어 상 하위 개념에 의한 카테고리정보의 경우 도 2에 도시된 바와 같이, 이미지의 영상정보로부터 푸른 하늘(sky), 횡단보도가 있는 도로(street), 시가지 고층 빌딩(building), LG, 펩시, 사람들(people), 차량(car) 등을 클래스로 분류할 수 있다. 또한, 푸른 하늘에 대한 클래스는 자연>하늘>푸른 하늘이라는 카테고리로 상 하위 개념에 의해 구분된다. 그리고 종속성에 의한 카테고리정보는 각 클래스 별로 해당 클래스 및 이와 유사한 클래스를 포함하고 있는 DB 내 다른 등록 이미지 또는 등록 동영상의 정보가 포함되며, 연관성에 의한 카테고리정보는 각 클래스별로 해당 클래스와 유사한 DB내 다른 클래스의 정보가 포함된다. 텍스트정보는 각 클래스를 설명하거나 나타내는 키워드 또는 텍스트를 포함하며 이러한 정보는 등록된 이미지 또는 동영상의 이름, 저작권자 정보 등을 함께 저장한 제1 등록영상 관리모듈(202) 또는 관리자로부터 제공받을 수 있다.
제1 검색콘텐츠정보 추출모듈(211)은 사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트로부터 검색을 위해 검색콘텐츠의 관련 정보를 추출한다. 사용자 단말기는 PC, 태블릿, 모바일 및 커넥티드 TV 등의 단말기를 포함하며, 검색영상은 사용자 단말기에서 재생되거나 촬영 중인 영상 또는 저장된 이미지 파일 또는 영상을 제공받는다.
제1 검색콘텐츠정보 추출모듈(211)은 제1 검색이미지 처리부(212), 제1 검색동영상 처리부(213), 제1 검색음성 처리부(214), 제1 검색텍스트 처리부(215)로 이루어진다.
제1 검색이미지 처리부(212)는 사용자로부터 접수된 검색이미지로부터 영상정보를 추출한다. 이러한, 제1 검색이미지 처리부(212)에서 추출되는 영상정보는 제1 등록이미지 영상정보 추출부(204)에서 영상정보를 추출하는 방법과 동일하게 검색이미지에 포함된 객체의 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 대한 특징점 정보와 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 등의 시각적 정보를 포함한다. 이러한 제1 검색이미지 처리부(212)를 통해 사용자가 접수한 검색이미지에 포함된 영상정보를 추출할 수 있다.
제1 검색동영상 처리부(213)는 검색동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 영상정보를 추출한다. 이러한 제1 검색동영상 처리부(213)에서 추출되는 영상정보는 전술한 제1 등록동영상 영상정보 추출부(205)의 제1 씬 분할부(206), 제1 대표프레임 선정부(207), 제1 대표프레임 영상정보 추출부(208)와 동일한 과정으로 검색동영상으로부터 대표프레임에 대한 영상정보를 추출한다. 이에 따라 제1 검색동영상 처리부(213)를 통해 사용자가 접수한 검색동영상에 포함된 영상정보를 추출할 수 있다.
제1 검색음성 처리부(214)는 사용자 단말기로부터 제공받은 음성을 분석하여 음성을 텍스트로 변환시킨다. 이러한 제1 검색음성 처리부(214)는 음성인식기를 이용하여 음성을 텍스트로 변환시킬 수 있다. 예를 들면, "사람과 자동차와 빌딩이 있는 시가지 영상을 찾아줘, 대신 저녁 시간에 촬영된 영상은 제외해"라는 내용이면 이를 텍스트로 변환한다.
제1 검색텍스트 처리부(215)는 사용자 단말기로부터 제공받은 검색텍스트 또는 제1 검색음성 처리부(214)에서 변환된 텍스트를 분석한다.
제1 등록영상 검색모듈(216)은 제1 검색콘텐츠정보 추출모듈(211)을 통해 추출된 검색콘텐츠의 정보를 기 분류된 클래스정보와 비교하여 동일 또는 유사하게 매치되는 하나 이상의 클래스를 검색하고 해당 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색한다. 제1 등록영상 검색모듈(216)은 영상정보를 검색하는 제1 영상 검색부(217)와 텍스트를 비교하는 제1 텍스트 검색부(218)로 이루어진다.
제1 영상 검색부(217)는 사용자에 의해 접수된 검색이미지 또는 검색동영상으로부터 추출된 영상정보를 클래스 내의 클래스별 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하거나 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색한다. 이때, 검색이미지 또는 검색동영상의 영상정보로부터 1차로 각각의 영상정보에 대응되는 하나 이상의 클래스를 검색할 수 있고, 2차로 검색된 하나 이상의 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색할 있다.
제1 텍스트 검색부(218)는 사용자에 의해 접수된 텍스트 또는 음성으로부터 추출되거나 변환된 텍스트정보를 클래스정보 내의 텍스트와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색한다. 이때, 제1 텍스트 검색부(218)가 1차로 동일 또는 유사한 클래스를 검색하고, 2차로 해당 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색한다. 예를 들면 제1 텍스트 검색부(218)가 분석한 텍스트정보가 "사람과 자동차와 빌딩이 있는 시가지 영상을 찾아줘, 대신 저녁 시간에 촬영된 영상은 제외해"인 경우 사람과 자동차와 빌딩에 대한 텍스트정보와 클래스정보로 저장된 텍스트를 비교하여 매치되는 클래스를 검출하되 클래스의 영상정보로부터 추출된 색상에 대한 텍스트 정보를 반영하여 붉은색 계열의 클래스는 제외할 수 있다. 이와 같이 선택과 제어를 통해 검출된 클래스와 동일하거나 유사한 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색할 수 있다.
제1 검색결과 표시모듈(219)은 제1 등록영상 검색모듈(216)에서 검색된 클래스의 정보 또는 등록영상의 정보를 사용자 단말기에 검색결과로 제공한다.
이하, 도 3의 플로차트를 참조하여 본 발명의 제1실시예에 따른 객체기반 영상검색 시스템의 검색과정에 대하여 자세히 살펴한다.
먼저, 제1 등록영상정보 추출모듈(203)을 통해 검색대상이 되는 등록이미지의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고(단계 S101), 등록동영상으로부터 각 대표프레임의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다(단계 S102). 이때, 영상정보로 추출되는 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 등을 의미한다. 또한, 등록동영상은 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출할 수 있다. 이러한 과정을 통해 등록이미지 또는 대표프레임으로부터 특징점 또는 특징점의 시각적 속성에 대한 영상정보를 추출할 수 있다.
한편, 클래스 생성모듈(209)은 추출된 영상정보의 동일성 또는 유사성에 따라 군집화 하여 하나 이상의 클래스로 생성하거나 분류하고 등록된 이미지 또는 동영상과 등록된 이미지 또는 동영상 내의 각 클래스정보가 상호 호출되기 용이한 형태로 함께 연동하거나 저장한다(단계 S103). 이때, 기존에 생성된 클래스와 유사한 영상정보를 갖는 신규 생성된 클래스는 기존에 생성된 클래스와 동일하거나 유사한 클래스로 함께 분류할 수 있다.
한편, 제1 클래스정보 관리모듈(210)은 클래스 생성모듈(209)을 통해 생성된 클래스의 클래스정보를 클래스정보DB(222)에 저장한다(단계 S104). 클래스정보는 각 클래스 별 영상정보, 카테고리정보, 텍스트정보, 특화정보 중 하나 이상을 포함하며 등록된 이미지 또는 동영상의 이름, 저작권자 정보 등을 함께 저장한 제1 등록영상 관리모듈(202) 또는 제 1 등록영상 관리모듈(202)이 제공하는 데이터로 웹을 통해 2차 검색한 결과 또는 관리자로부터 이러한 정보를 제공받을 수 있다. 이에 따라 등록이미지 또는 동록동영상에 다수의 클래스가 포함되어 있더라도 클래스정보를 함께 저장하여 간단하게 어떠한 클래스가 포함되어 있는 지를 확인할 수 있다.
한편, 사용자 단말기로부터 검색하고자 하는 이미지, 검색동영상 등의 검색콘텐츠를 제공받으면(단계 S105), 제1 검색콘텐츠정보 추출모듈(211)은 사용자로부터 제공받은 검색콘텐츠의 영상정보를 추출한다.
즉, 사용자 단말기로부터 제공받은 검색이미지 또는 검색동영상은 검색영상정보 추출모듈의 제1 검색이미지 처리부(212)에서 검색이미지로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고(단계 S106), 제1 검색동영상 처리부(213)에서 검색동영상으로부터 대표프레임에 포함된 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다(단계 S107). 이러한 과정을 통해 검색이미지뿐만 아니라 또는 검색동영상에서도 특징점 및 특징점의 시각적 속성으로부터 영상정보를 추출할 수 있다.
그리고 제1 등록영상 검색모듈(216)은 검색이미지 또는 검색동영상으로부터 추출된 특징점 또는 특징점의 시각적 속성 등의 영상정보를 클래스의 영상정보와 비교하여 동일 또는 유사한 클래스를 검색하고(단계 S108), 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색한다(단계 S109).
한편, 검색된 클래스정보 또는 등록영상에 대한 정보는 리스트화되어 제1 검색결과 표시모듈(219)을 통해 사용자 단말기에 검색결과로 제공한다(단계 S110).
한편, 도 4에 도시된 바와 같이, 검색콘텐츠 접수모듈을 통해서 사용자 단말기로부터 검색하고자 하는 음성 및 텍스트 등의 검색콘텐츠를 제공받으면(단계 S202), 제1 검색콘텐츠정보 추출모듈(211)의 제1 검색음성 처리부(214)는 제공받은 음성을 음성인식기 등으로 음성을 텍스트로 변환시킨다(단계 S203).
그리고, 제1 등록영상 검색모듈(216)의 제1 텍스트 검색부(218)는 음성에서 변환된 텍스트 또는 사용자 단말기로부터 직접 텍스트로 제공받는 검색텍스트를 클래스정보의 텍스트와 비교하여 동일 또는 유사하게 매치되는 텍스트를 갖는 클래스를 검색하고(단계 S204), 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색한다(단계 S205). 이에 따라 이미지 또는 동영상을 설명하는 음성 또는 텍스트로부터 관련된 등록이미지 또는 등록동영상을 검색할 수 있다.
한편, 검색된 클래스정보 또는 등록영상에 대한 정보는 리스트화되어 제1 검색결과 표시모듈(219)을 통해 사용자 단말기에 검색결과로 제공된다(단계 S206).
본 발명의 제2 실시예에 따른 영상 콘텐츠 검색시스템의 기본 개념은 영상 콘텐츠 검색시스템에 하나 이상의 객체가 포함된 객체이미지를 입력하고 이로부터 영상정보를 추출하여 영상정보의 유사성 또는 동일성에 따라 하나 이상의 클래스로 생성하거나 분류한 후 생성된 클래스의 영상정보를 검색대상이 되는 등록이미지 또는 등록동영상의 영상정보와 매치시킨 상태에서 사용자가 이미지, 동영상, 음성 또는 텍스트의 검색콘텐츠로 영상의 검색을 요청하면 검색콘텐츠로부터 검색콘텐츠정보를 추출하여 이와 매치되는 클래스정보를 검색한 후 검색된 결과와 유사하거나 동일한 하나 이상의 클래스를 공유하는 등록이미지 또는 등록동영상을 검색하는 것이다.
도 6을 참조하여 본 발명의 제2실시예에 따른 영상 콘텐츠 검색시스템에 자세히 살펴보면, 영상 콘텐츠 검색시스템은 객체이미지 관리모듈(301), 제2 클래스정보 관리모듈(302), 제2 등록영상 관리모듈(303), 제2 등록영상정보 추출모듈(304), 제2 검색콘텐츠정보 추출모듈(311), 제2 등록영상 검색모듈(316), 제2 검색결과 표시모듈(319)을 포함한다.
객체이미지 관리모듈(301)은 하늘, 사람, 빌딩, 거리 등의 각종 객체가 하나 이상 포함된 객체이미지를 등록받아 객체이미지DB(320)에 저장하고 등록받은 객체이미지에서 영상정보를 추출한 후 영상정보의 동일성 또는 유사성에 따라 군집화하여 하나 이상의 클래스로 생성하거나 분류하여 객체이미지DB(320)에 함께 저장한다. 이때, 객체이미지의 영상정보는 이미지에 포함된 객체의 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 대한 특징점 정보와 특징점의 시각적 속성(특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 등)에 따라 추출할 수 있다. 추출된 객체 이미지의 영상정보의 유사성에 따라 군집화 하여 하나 이상의 클래스로 생성하거나 분류하며 기존에 생성된 클래스와 유사한 영상정보를 갖는 신규 생성된 클래스는 동일하거나 유사한 클래스로 함께 분류될 수 있다.
제2 클래스정보 관리모듈(302)은 객체이미지 관리모듈(301)을 통해 생성된 클래스의 정보를 객체이미지DB(320)에 함께 저장한다. 이때, 클래스는 각각 고유 ID가 부여될 수 있으며, 클래스정보는 각 클래스 별 영상정보, 카테고리정보, 텍스트정보, 특화정보 중 하나 이상이 포함된다.
제2 등록영상 관리모듈(303)은 실시예1의 제1 등록영상 관리모듈(202)과 동일하게 검색대상이 되는 등록된 각종 이미지 또는 동영상을 제2 등록영상DB(321)에 저장하고 관리한다. 제2 등록영상 관리모듈(303)에 이미지와 동영상이 등록되는 경우에는 등록된 이미지 또는 동영상의 이름, 저작권자 등을 포함한 관련정보가 함께 저장될 수 있다.
제2 등록영상정보 추출모듈(304)은 실시예1의 제1 등록영상정보 추출모듈(203)과 동일하게 등록된 이미지 또는 동영상의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다. 제2 등록영상정보 추출모듈(304)은 등록된 이미지로부터 영상정보를 추출하는 제2 등록이미지 영상정보 추출부(305)와, 등록된 동영상으로부터 영상정보를 추출하는 제2 등록동영상 영상정보 추출부(306)로 이루어지고, 또한, 등록동영상 영상정보 추출부(306)는 제2 씬 분할부(307)와, 제2 대표프레임 선정부(308)와, 제2 대표프레임 영상정보 추출부(309)로 이루어진다. 제2 등록이미지 영상정보 추출부(305)와 제2 등록동영상 영상정보 추출부(306)는 실시예1의 제1 등록이미지 영상정보 추출부(204)와 제1 등록동영상 영상정보 추출부(205)와 동일하므로 이에 대한 설명은 생략한다.
등록영상 분류모듈(310)은 제2 등록영상정보 추출모듈(304)을 통해 등록된 이미지 또는 등록된 동영상으로부터 각각의 영상정보가 추출되면 영상정보를 객체이미지DB(320)에 저장된 각 클래스의 영상정보와 비교하여 동일하거나 유사한 영상정보를 갖는 클래스에 대한 정보를 저장한다. 이때, 등록영상 분류모듈(310)은 각각 등록영상에 매치된 클래스의 ID 정보를 함께 저장하여 기록할 수 있다.
제2 검색콘텐츠정보 추출모듈(311)은 실시예1의 제1 검색콘텐츠정보 추출모듈(211)과 동일하게 사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트로부터 검색을 위해 검색콘텐츠의 정보를 추출한다. 제2 검색콘텐츠정보 추출모듈(311)은 제1 검색콘텐츠정보 추출모듈(211)과 동일하게 제2 검색이미지 처리부(312), 제2 검색동영상 처리부(313), 제2 검색음성 처리부(314), 제2 검색텍스트 처리부(315)로 이루어진다.
제2 등록영상 검색모듈(316)은 제2 검색콘텐츠정보 추출모듈(311)을 통해 추출된 검색콘텐츠의 영상정보를 객체이미지DB(320)에 저장된 클래스의 영상정보와 비교하여 동일 또는 유사하게 매치되는 하나 이상의 클래스를 검색하고 해당 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색한다. 제2 등록영상 검색모듈(316)은 영상정보를 검색하는 제2 영상 검색부(317)와 텍스트를 비교하는 제2 텍스트 검색부(318)로 이루어진다.
제2 영상 검색부(317)는 사용자에 의해 접수된 검색이미지 또는 검색동영상으로부터 추출된 영상정보를 클래스의 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색한다. 이때, 1차로 검색이미지 또는 검색동영상의 영상정보에 대응되는 하나 이상의 클래스를 검색할 수 있고, 2차로 해당 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색할 있다.
제2 텍스트 검색부(318)는 사용자에 의해 접수된 텍스트 또는 음성으로부터 추출되거나 변환된 텍스트정보를 클래스정보 내의 텍스트와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색한다. 이때, 제2 텍스트 검색부(318)는 1차로 동일 또는 유사한 클래스를 검색하고, 2차로 등록이미지 또는 등록동영상을 검색한다.
제2 검색결과 표시모듈(319)은 제2 등록영상 검색모듈(316)에서 검색된 클래스의 정보 또는 등록영상의 정보를 사용자 단말기에 검색결과로 제공한다.
이하, 도 5의 플로차트를 참조하여 본 발명에 따른 영상 콘텐츠 검색과정에 대하여 자세히 살펴한다.
먼저, 객체이미지 관리모듈(301)은 하늘, 빌딩, 사람, 거리 등의 각종 객체가 하나 이상 포함된 이미지를 등록받아 객체이미지DB(320)에 저장하고 등록받은 객체이미지의 영상정보를 추출한 후 영상정보의 동일성 또는 유사성에 따라 군집화하여 하나 이상의 클래스로 생성하거나 분류(단계 S301). 이때, 객체이미지는 이미지에 포함된 객체의 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 대한 특징점 정보와 특징점의 시각적 속성의 유사성에 따라 군집화 하여 클래스로 생성하거나 분류할 수 있다.
그리고, 제2 클래스정보 관리모듈(302)은 클래스의 영상정보와 클래스에 관련된 정보를 객체이미지DB(320)에 함께 저장한다(단계 S302). 이때, 클래스는 각각 고유 ID가 부여될 수 있으며, 클래스에 관련된 정보는 클래스를 설명하는 텍스트정보, 카테고리정보, 특화정보 중 하나 이상으로 구성된다.
한편, 검색대상이 되는 등록이미지 또는 등록동영상은 제2 등록영상 관리모듈(303)을 통해서 등록받아 저장하며(단계 S303), 등록된 등록이미지 또는 등록동영상은 제2 등록영상정보 추출모듈(304)을 통해 등록이미지로부터 영상정보를 추출하고(단계 S304), 등록동영상으로부터 각 대표프레임의 영상정보를 추출한다(단계 S305).
그리고, 제2 등록영상 관리모듈(303)을 통해 추출된 등록된 이미지 또는 동영상의 영상정보를 클래스 내의 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 확인하고(단계 S306), 매치되는 클래스에 대한 정보를 등록영상에 함께 저장한다(단계 S307). 이에 따라 등록이미지 또는 등록동영상에 다수의 객체가 포함되어 있더라도 매치되는 클래스의 ID를 함께 저장하면 간단하게 어떠한 객체가 포함되어 있는 지를 확인할 수 있다.
한편, 사용자 단말기로부터 검색하고자 하는 이미지, 검색동영상의 검색콘텐츠를 제공받으면(단계 S308), 제2 검색콘텐츠정보 추출모듈(311)은 검색을 위해 사용자로부터 제공받은 검색콘텐츠의 영상정보를 추출한다.
즉, 사용자 단말기로부터 제공받은 검색이미지로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하거나(단계 S309), 검색동영상으로부터 대표프레임에 포함된 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다.(단계 S310). 이러한 과정을 통해 검색이미지뿐만 아니라 검색동영상에서도 영상정보를 추출할 수 있다.
그리고 제2 등록영상 검색모듈(316)은 사용자 단말기를 통해 입력된 검색이미지 또는 검색동영상으로부터 추출된 영상정보를 클래스의 영상정보와 비교하여 매치되는 클래스를 검색하고(단계 S311), 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색한다(단계 S312).
검색된 클래스정보 또는 등록영상에 대한 정보는 리스트화되어 제2 검색결과 표시모듈(319)을 통해 사용자 단말기에 검색결과로 제공한다(단계 S313).
한편, 실시예2의 객체 기반 영상 검색시스템을 이용하여 검색콘텐츠가 음성 또는 텍스트인 경우에 검색하는 과정은 실시예 1과 동일하므로 이에 대한 설명은 생략한다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

Claims (20)

  1. 검색대상이 되는 등록된 각종 이미지 또는 동영상을 저장하고 관리하는 제1 등록영상 관리모듈(202)과;
    등록된 이미지 또는 동영상으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하는 제1 등록영상정보 추출모듈(203)과;
    제1 등록영상정보 추출모듈(203)을 통해 추출된 영상정보의 유사성에 따라 하나 이상의 클래스를 생성하거나 분류하는 클래스 생성모듈(209)과;
    클래스 생성모듈(209)을 통해 생성된 클래스에 대한 정보를 저장하고 관리하는 제1 클래스정보 관리모듈(210)과;
    사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트로부터 검색을 위해 검색콘텐츠정보를 추출하는 제1 검색콘텐츠정보 추출모듈(211)과;
    제1 검색콘텐츠정보 추출모듈(211)을 통해 추출된 검색콘텐츠정보를 클래스정보와 비교하여 동일 또는 유사하게 매치되는 클래스 또는 등록영상을 검색하는 제1 등록영상 검색모듈(216)과;
    제1 등록영상 검색모듈(216)에서 검색된 클래스의 정보 또는 등록영상의 정보를 사용자 단말기에 검색결과로 제공하는 제1 검색결과 표시모듈(219)을 포함하며,
    제1 검색콘텐츠정보 추출모듈(211)은 사용자로부터 접수된 검색이미지에 포함된 영상정보를 추출하는 제1 검색이미지 처리부(212), 또는 검색동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 영상정보를 추출하는 제1 검색동영상 처리부(213)를 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  2. 청구항 1에 있어서, 제1 등록영상 관리모듈(202)은 검색대상이 되는 이미지 또는 동영상을 등록이미지 또는 등록동영상으로 저장하거나 또는 실시간으로 웹을 검색하여 사용하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  3. 청구항 1에 있어서, 제1 등록영상정보 추출모듈(203)에서 추출되는 영상정보로 추출되는 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보인 것을 특징으로 하는 객체 기반 영상 검색시스템.
  4. 청구항 1에 있어서, 제1 등록영상정보 추출모듈(203)은 등록된 이미지들에 포함된 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 추출된 영상정보를 저장하는 제1 등록이미지 영상정보 추출부(204)와; 등록된 동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하는 제1 씬 분할부(206)와, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하는 제1 대표프레임 선정부(207)와, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하는 제1 대표프레임 영상정보 추출부(208)로 이루어진 제1 등록동영상 영상정보 추출부(205)를 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  5. 청구항 4에 있어서, 제1 씬 분할부(206)는 동영상 콘텐츠의 각 프레임을 HSV(색상/채도/밝기)의 빈도수 그래프로 작성하여 이전 프레임과 현재 프레임의 그래프를 비교하여 정해진 그래프간 거리값을 넘는 경우에는 프레임이 변하는 것으로 판단하여 씬으로 확인하며, 확인된 각각의 씬에는 고유 ID가 부여되는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  6. 청구항 1에 있어서, 클래스 생성모듈(209)은 영상정보인 특징점 또는 특징점의 시각적 속성이 등록이미지 또는 등록동영상 내의 영상정보가 상호 유사할 경우 이를 군집화 하여 하나 이상의 클래스로 생성하거나 분류하며 이때 생성된 클래스가 기존에 생성된 클래스와 유사한 영상정보를 갖는 경우 동일하거나 유사한 클래스로 함께 분류하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  7. 청구항 1에 있어서, 제1 클래스정보 관리모듈(210)의 클래스정보는 클래스 별 영상정보, 카테고리정보, 클래스를 설명하는 텍스트정보, 특화정보 중 하나 이상을 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  8. 청구항 1에 있어서, 제1 검색콘텐츠정보 추출모듈(211)은 사용자 단말기로부터 제공받은 음성을 분석하여 음성을 텍스트로 변환시키는 제1 검색음성 처리부(214)와; 사용자 단말기로부터 제공받은 검색텍스트 또는 제1 검색음성 처리부(214)에서 변환된 텍스트를 분석하는 제1 검색텍스트 처리부(215)를 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  9. 청구항 1에 있어서, 제1 등록영상 검색모듈(216)은 사용자에 의해 접수된 검색이미지 또는 검색동영상으로부터 추출된 영상정보를 클래스 내의 클래스별 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색하는 제1 영상 검색부(217)와; 사용자에 의해 접수된 텍스트 또는 음성으로부터 추출되거나 변환된 텍스트정보를 클래스 내의 텍스트정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색하는 제1 텍스트 검색부(218)를 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  10. 하나 이상의 객체가 포함된 객체이미지를 등록받아 저장하고 등록받은 객체이미지에서 영상정보를 추출하여 함께 저장하는 객체이미지 관리모듈(301)과;
    객체이미지 관리모듈(301)을 통해 추출된 객체이미지의 영상정보를 유사성에 따라 하나 이상의 클래스로 생성하거나 분류하는 제2 클래스정보 관리모듈(302)과;
    검색대상이 되는 등록된 각종 이미지 또는 동영상을 저장하고 관리하는 제2 등록영상 관리모듈(303)과;
    등록된 이미지 또는 동영상으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하는 제2 등록영상정보 추출모듈(304)과;
    제2 등록영상정보 추출모듈(304)을 통해 추출된 영상정보를 클래스의 영상정보와 비교하여 동일하거나 유사한 영상정보를 갖는 클래스에 대한 정보를 등록된 이미지 또는 동영상에 함께 저장하는 등록영상 분류모듈(310)과;
    사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트로부터 검색을 위한 정보를 추출하는 제2 검색콘텐츠정보 추출모듈(311)과;
    제2 검색콘텐츠정보 추출모듈(216)을 통해 추출된 검색콘텐츠정보를 클래스의 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색하는 제2 등록영상 검색모듈(316)과;
    제2 등록영상 검색모듈(316)에서 검색된 클래스의 정보 또는 등록영상의 정보를 사용자 단말기에 검색결과로 제공하는 제2 검색결과 표시모듈(319)을 포함하며,
    제2 검색콘텐츠정보 추출모듈(311)은 사용자로부터 접수된 검색이미지에 포함된 영상정보를 추출하는 제2 검색이미지 처리부(312), 검색동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 영상정보를 추출하는 제2 검색동영상 처리부(313), 사용자 단말기로부터 제공받은 음성을 분석하여 음성을 텍스트로 변환시키는 제2 검색음성 처리부(314), 사용자 단말기로부터 제공받은 검색텍스트 또는 제2 검색음성 처리부(314)에서 변환된 텍스트를 분석하는 제2 검색텍스트 처리부(315) 중 하나 이상을 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  11. 청구항 10에 있어서, 객체이미지의 영상정보는 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 대한 특징점 정보와 특징점의 시각적 속성에 따라 생성되며, 영상정보를 유사성에 따라 군집화 하여 하나 이상의 클래스로 생성하거나 분류하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  12. 청구항 10에 있어서, 클래스는 각각 고유 ID가 부여되며, 클래스정보는 클래스 별 영상정보, 카테고리정보, 클래스를 설명하는 텍스트정보, 특화정보 중 하나 이상을 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  13. 청구항 10에 있어서, 제2 등록영상정보 추출모듈(304)은 등록된 이미지로부터 영상정보를 추출하는 제2 등록이미지 영상정보 추출부(305)와, 등록된 동영상으로부터 영상정보를 추출하는 제2 등록동영상 영상정보 추출부(306)로 이루어진 것을 특징으로 하는 객체 기반 영상 검색시스템.
  14. 청구항 10에 있어서, 제2 등록영상 검색모듈(316)은 영상정보를 검색하는 제2 영상 검색부(317)와 텍스트를 비교하는 제2 텍스트 검색부(318)로 이루어진 것을 특징으로 하는 객체 기반 영상 검색시스템.
  15. 검색대상이 되는 등록이미지의 특징점 또는 특징점의 시각적 속성을 제1 등록영상정보 추출모듈(203)을 통해 영상정보로 추출하는 단계와;
    추출된 영상정보의 동일성 또는 유사성에 따라 클래스 생성모듈(209)은 군집화하여 이를 하나 이상의 클래스로 생성하거나 분류하는 단계와;
    제1 클래스정보 관리모듈(210)을 통해 생성된 클래스의 클래스에 대한 정보를 제공받아 클래스정보로 저장하는 단계와;
    사용자 단말기로부터 검색하고자 하는 이미지, 검색동영상, 음성 또는 텍스트에서 선택한 어느 하나의 검색콘텐츠를 제공받으면, 제1 검색콘텐츠정보 추출모듈(211)은 제공받은 검색콘텐츠의 영상정보를 추출하는 단계와;
    제1 등록영상 검색모듈(216)은 검색콘텐츠에서 추출된 영상정보를 클래스의 영상정보와 비교하여 동일 또는 유사한 클래스와 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색하는 단계; 및
    검색된 클래스정보 또는 등록영상에 대한 정보를 리스트화되어 제1 검색결과 표시모듈(219)을 통해 사용자 단말기에 검색결과로 제공하는 단계; 및
    검색콘텐츠가 음성이면 제공받은 음성을 텍스트로 변환시키는 단계를 더 포함하며,
    음성에서 변환된 텍스트 또는 사용자 단말기로부터 직접 텍스트로 제공받는 검색텍스트를 클래스정보의 텍스트와 비교하여 동일 또는 유사하게 매치되는 텍스트를 갖는 클래스를 검색하는 것을 특징으로 하는 객체 기반 영상 검색방법
  16. 청구항 15에 있어서, 등록이미지 또는 검색이미지의 영상정보로 추출되는 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 인 것을 특징으로 하는 객체 기반 영상 검색방법.
  17. 청구항 15에 있어서, 등록동영상 또는 검색동영상은 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출할 수 있다. 이러한 과정을 통해 등록이미지 또는 대표프레임으로부터 특징점 또는 특징점의 시각적 속성에 대한 영상정보를 추출하는 것을 특징으로 하는 객체 기반 영상 검색방법.
  18. 각종 객체가 하나 이상 포함된 이미지를 객체이미지 관리모듈(301)을 통해 등록받아 저장하고 등록받은 객체이미지의 영상정보를 추출한 후 영상정보의 동일성 또는 유사성에 따라 군집화하여 하나 이상의 클래스로 생성하거나 분류하는 단계와;
    제2 클래스정보 관리모듈(302)을 통해 생성된 클래스의 클래스에 대한 정보를 제공받아 클래스정보로 저장하는 단계와;
    검색대상이 되는 이미지 또는 동영상을 등록받으면, 제2 등록영상정보 추출모듈(304)을 통해 등록된 등록이미지 또는 등록동영상으로부터 영상정보를 추출하는 단계와;
    제2 등록영상 관리모듈(303)을 통해서 추출된 등록된 이미지 또는 동영상의 영상정보를 클래스 내의 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 확인하고, 매치되는 클래스에 대한 정보를 등록영상에 함께 저장하는 단계와;
    사용자 단말기로부터 검색하고자 하는 이미지, 검색동영상, 음성 또는 텍스트에서 선택한 어느 하나의 검색콘텐츠를 제공받으면, 제2 검색콘텐츠정보 추출모듈(311)은 제공받은 검색콘텐츠의 영상정보를 추출하는 단계와;
    제2 등록영상 검색모듈(316)은 검색콘텐츠에서 추출된 영상정보를 클래스의 영상정보와 비교하여 매치되는 동일 또는 유사한 클래스와 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색하는 단계와;
    검색된 클래스정보 또는 등록영상에 대한 정보를 리스트화되어 제2 검색결과 표시모듈(319)을 통해 사용자 단말기에 검색결과로 제공하는 단계; 및
    검색콘텐츠가 음성이면 제공받은 음성을 텍스트로 변환시키는 단계를 더 포함하며,
    음성에서 변환된 텍스트 또는 사용자 단말기로부터 직접 텍스트로 제공받는 검색텍스트를 클래스정보의 텍스트와 비교하여 동일 또는 유사하게 매치되는 텍스트를 갖는 클래스를 검색하는 것을 특징으로 하는 객체 기반 영상 검색방법.
  19. 청구항 18에 있어서, 등록이미지 또는 검색이미지의 영상정보로 추출되는 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 인 것을 특징으로 하는 객체 기반 영상 검색방법.
  20. 청구항 18에 있어서, 등록동영상 또는 검색동영상은 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출할 수 있다. 이러한 과정을 통해 등록이미지 또는 대표프레임으로부터 특징점 또는 특징점의 시각적 속성에 대한 영상정보를 추출하는 것을 특징으로 하는 객체 기반 영상 검색방법.
PCT/KR2013/011451 2012-12-12 2013-12-11 객체 기반 영상 검색시스템 및 검색방법 WO2014092446A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/649,840 US20150310012A1 (en) 2012-12-12 2013-12-11 Object-based image search system and search method thereof
CN201380067598.XA CN104903892B (zh) 2012-12-12 2013-12-11 基于对象的影像检索系统及检索方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20120144059 2012-12-12
KR10-2012-0144059 2012-12-12
KR10-2013-0002728 2013-01-10
KR1020130002728A KR101289085B1 (ko) 2012-12-12 2013-01-10 객체 기반 영상 검색시스템 및 검색방법

Publications (1)

Publication Number Publication Date
WO2014092446A1 true WO2014092446A1 (ko) 2014-06-19

Family

ID=48997925

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/011451 WO2014092446A1 (ko) 2012-12-12 2013-12-11 객체 기반 영상 검색시스템 및 검색방법

Country Status (4)

Country Link
US (1) US20150310012A1 (ko)
KR (1) KR101289085B1 (ko)
CN (1) CN104903892B (ko)
WO (1) WO2014092446A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102085036B1 (ko) * 2013-08-22 2020-03-05 에스케이 텔레콤주식회사 시간 기준을 이용한 영상 검색장치, 방법 및 컴퓨터로 읽을 수 있는 기록매체
KR101664400B1 (ko) * 2014-07-14 2016-10-10 장수진 온라인을 이용한 오프라인 매장의 상품을 검색하기 위한 시스템 및 그 처리 방법
KR101724143B1 (ko) * 2014-09-05 2017-04-06 네이버 주식회사 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
CN104580802A (zh) * 2014-12-20 2015-04-29 佛山市海科知识产权服务有限公司 一种移动智能终端的图像传送系统及其实现方法
KR102565485B1 (ko) * 2016-01-11 2023-08-14 한국전자통신연구원 도시 거리 검색 서비스 제공 서버 및 방법
US20170235828A1 (en) * 2016-02-12 2017-08-17 Microsoft Technology Licensing, Llc Text Digest Generation For Searching Multiple Video Streams
US9984314B2 (en) 2016-05-06 2018-05-29 Microsoft Technology Licensing, Llc Dynamic classifier selection based on class skew
KR101859050B1 (ko) * 2016-06-02 2018-05-21 네이버 주식회사 내용 기반의 지도 이미지 탐색 방법 및 시스템
KR20180024200A (ko) * 2016-08-29 2018-03-08 오드컨셉 주식회사 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
CN106372607A (zh) * 2016-09-05 2017-02-01 努比亚技术有限公司 一种从视频中提取图片的方法及移动终端
CN106550268B (zh) * 2016-12-26 2020-08-07 Tcl科技集团股份有限公司 视频处理方法和视频处理装置
KR102055733B1 (ko) * 2017-02-24 2019-12-13 권오민 이미지광고 온라인 제공 방법
US10423659B2 (en) 2017-06-30 2019-09-24 Wipro Limited Method and system for generating a contextual audio related to an image
CN110019938A (zh) * 2017-11-29 2019-07-16 深圳Tcl新技术有限公司 基于rgb分类的视频信息检索方法、装置及存储介质
CN108710653B (zh) * 2018-05-09 2021-05-07 北京儒博科技有限公司 一种绘本朗读点播方法、装置及系统
KR102639278B1 (ko) * 2018-07-02 2024-02-22 주식회사 넥슨코리아 게임 제공 장치 및 방법
KR102592463B1 (ko) * 2018-08-01 2023-10-23 삼성전자 주식회사 카메라 모듈을 통해 획득한 영상에 기반하여 정보를 저장하는 방법 및 이를 사용하는 전자 장치
CN111368106B (zh) * 2018-12-26 2024-04-26 中兴通讯股份有限公司 野广告处理方法、装置以及计算机可读存储介质
CN110134830A (zh) * 2019-04-15 2019-08-16 深圳壹账通智能科技有限公司 视频信息数据处理方法、装置、计算机设备和存储介质
CN112019789B (zh) * 2019-05-31 2022-05-31 杭州海康威视数字技术股份有限公司 录像回放方法及装置
KR102252083B1 (ko) * 2019-10-17 2021-05-14 주식회사 지오비전 이벤트의 등장 객체간 관련성 파악이 용이한 비디오 서머리방법
KR102110894B1 (ko) * 2019-11-27 2020-05-14 주식회사 종달랩 의류 원단을 촬영한 동영상을 이용하여 유사한 원단을 검색하고 추천하는 인공지능 원단 검색 시스템
US10771965B1 (en) * 2020-01-09 2020-09-08 Lexisnexis Risk Solutions Inc. Systems and methods for photo recognition-based identity authentication
CN111524518B (zh) * 2020-04-01 2023-04-18 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN115278326A (zh) * 2021-04-29 2022-11-01 腾讯科技（深圳）有限公司 视频展示方法、装置、计算机可读介质及电子设备
CN114741557B (zh) * 2022-03-31 2022-11-15 慧之安信息技术股份有限公司 视图数据库管理分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040016906A (ko) * 2001-06-30 2004-02-25 주식회사 케이티 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템
JP2004280254A (ja) * 2003-03-13 2004-10-07 Sanyo Electric Co Ltd コンテンツ分類方法および装置
KR20070009338A (ko) * 2005-07-15 2007-01-18 (주)첫눈 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치
JP2008262279A (ja) * 2007-04-10 2008-10-30 Mitsubishi Electric Corp 音声検索装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263507B1 (en) * 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
US6100900A (en) * 1997-12-11 2000-08-08 Synopsys, Inc. Displaying numerical data in various colors based upon their relative contribution to the whole
US20050028194A1 (en) * 1998-01-13 2005-02-03 Elenbaas Jan Hermanus Personalized news retrieval system
KR20010108159A (ko) * 1999-01-29 2001-12-07 다니구찌 이찌로오, 기타오카 다카시 화상 특징 부호화 방법 및 화상 검색 방법
US20050234992A1 (en) * 2004-04-07 2005-10-20 Seth Haberman Method and system for display guide for video selection
US7657126B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
KR20070058927A (ko) * 2005-12-05 2007-06-11 주식회사 대우일렉트로닉스 Ｐｖｒ 장치가 내장된 텔레비전의 녹화방법
CN100493195C (zh) * 2007-05-24 2009-05-27 上海交通大学 结合节目内容元数据和内容分析的时移电视视频匹配方法
US8719288B2 (en) * 2008-04-15 2014-05-06 Alexander Bronstein Universal lookup of video-related data
CN102207966B (zh) * 2011-06-01 2013-07-10 华南理工大学 基于对象标签的视频内容快速检索方法
CN102663015B (zh) * 2012-03-21 2015-05-06 上海大学 基于特征袋模型和监督学习的视频语义标注方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040016906A (ko) * 2001-06-30 2004-02-25 주식회사 케이티 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템
JP2004280254A (ja) * 2003-03-13 2004-10-07 Sanyo Electric Co Ltd コンテンツ分類方法および装置
KR20070009338A (ko) * 2005-07-15 2007-01-18 (주)첫눈 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치
JP2008262279A (ja) * 2007-04-10 2008-10-30 Mitsubishi Electric Corp 音声検索装置

Also Published As

Publication number Publication date
CN104903892B (zh) 2018-02-02
KR101289085B1 (ko) 2013-07-30
US20150310012A1 (en) 2015-10-29
CN104903892A (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
WO2014092446A1 (ko) 객체 기반 영상 검색시스템 및 검색방법
KR101336736B1 (ko) 영상에 포함된 객체를 식별하는 방법
JP4553650B2 (ja) 画像グループの表現方法および表現方法によって導出される記述子、探索方法、装置、コンピュータプログラム、ならびに記憶媒体
JP5318115B2 (ja) 場所別画像分類
JP4777059B2 (ja) 画像検索装置および画像検索方法
CN110235138A (zh) 用于外观搜索的系统和方法
KR20080078217A (ko) 영상에 포함된 객체 색인 방법과 그 색인 정보를 이용한부가 서비스 방법 및 그 영상 처리 장치
Sajjad et al. Integrating salient colors with rotational invariant texture features for image representation in retrieval systems
WO2020122456A1 (ko) 이미지와 텍스트간 유사도 매칭 시스템 및 방법
JP2007128526A (ja) 標準照明色の変換方法、標準照明色の変換プログラム、標準照明色の変換プログラムを記録したコンピュータにて読取り可能な記録媒体、色情報抽出方法、色情報抽出プログラムを記録したコンピュータにて読取り可能な記録媒体、及び色情報抽出装置
CN110020093A (zh) 视频检索方法、边缘设备、视频检索装置及存储介质
WO2013073805A1 (ko) 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN110516707B (zh) 一种图像标注方法及其装置、存储介质
KR20030029410A (ko) 웹 기반 영상 데이터 검색 시스템 및 그 방법
WO2019143137A1 (ko) 영상 전처리 방법, 장치 및 컴퓨터 프로그램
CN108198202A (zh) 一种基于光流和神经网络的视频内容检测方法
CN110166851B (zh) 一种视频摘要生成方法、装置和存储介质
WO2011055930A2 (ko) 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
CN106169065A (zh) 一种信息处理方法及电子设备
WO2021221209A1 (ko) 동영상 내부의 정보를 검색하는 방법 및 장치
KR20200068769A (ko) 속성 지식 확장 시스템 및 속성 지식 확장 방법
KR20090096401A (ko) 영상에 포함된 객체를 식별하여 부가 서비스를 제공하는 시스템
Mylonas et al. Context modelling for multimedia analysis
CN115527220A (zh) 一种文档图像分类方法和装置
CN112069357B (zh) 视频资源处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13862314

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14649840

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 18/08/2015)

122 Ep: pct application non-entry in european phase

Ref document number: 13862314

Country of ref document: EP

Kind code of ref document: A1