WO2020251233A1 - 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램 - Google Patents

영상데이터의 추상적특성 획득 방법, 장치 및 프로그램 Download PDF

Info

Publication number
WO2020251233A1
WO2020251233A1 PCT/KR2020/007426 KR2020007426W WO2020251233A1 WO 2020251233 A1 WO2020251233 A1 WO 2020251233A1 KR 2020007426 W KR2020007426 W KR 2020007426W WO 2020251233 A1 WO2020251233 A1 WO 2020251233A1
Authority
WO
WIPO (PCT)
Prior art keywords
individual
characteristic
emotional
appearance
image data
Prior art date
Application number
PCT/KR2020/007426
Other languages
English (en)
French (fr)
Inventor
이종혁
Original Assignee
(주)사맛디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)사맛디 filed Critical (주)사맛디
Publication of WO2020251233A1 publication Critical patent/WO2020251233A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a method, apparatus, and program for obtaining abstract characteristics of image data.
  • CBIR Content-based Image Retrieval
  • Text-based Image Retrieval is a method of searching for images corresponding to text by querying text.
  • the visual content of the image is represented by a manually tagged text descriptor, and is used to perform image search in a dataset management system. That is, in the existing image or video search method, a search is performed based on information directly tagged by a user.
  • the method of acquiring user interest information through an image is also acquired based on information directly tagged by the user, and there is a problem that the acquisition result becomes inaccurate if the user incorrectly tags the keyword in the image.
  • since there may be differences in keywords defined for each user there is a problem in that the results provided according to the keywords selected by the user inputting an image differ.
  • the present invention for solving the above-described problem is to obtain abstract characteristics, which are emotional characteristics felt for a specific object, by using appearance description data including a plurality of individual appearance characteristics calculated from image data rather than image data itself. , To provide a method, apparatus, and program for obtaining abstract characteristics of image data.
  • the server inputs a plurality of individual appearance characteristics calculated for the image data into an abstract characteristic recognition model to calculate abstract characteristics. And generating appearance description data by combining the calculated plurality of individual appearance characteristics and abstract characteristics by the server, wherein the individual appearance characteristics are a specific classification criterion for describing the appearance of the object. It expresses various external characteristics within a standard, and the abstract characteristic may include a first emotional characteristic recognized based on the external shape of the object.
  • the individual appearance characteristic is calculated by inputting the image data to each of a plurality of individual characteristic recognition modules that determine different appearance classification criteria in the appearance characteristic recognition model, wherein the individual characteristic recognition module comprises: It may be to calculate the individual appearance characteristics included in the specific appearance classification criteria of.
  • the external appearance classification standard may include a specialized external classification standard applied only to a specific type of object and a universal external classification standard applied to all types of objects.
  • the abstract characteristic recognition model includes a first emotional characteristic recognition model, and the first emotional characteristic recognition model is input as a score for each of a plurality of first individual emotional characteristics is set for each individual appearance characteristic.
  • the first emotional characteristic may be calculated by summing the scores for each of the first individual emotional characteristics set in the plurality of individual external characteristics.
  • the step of generating the appearance description data includes extracting a code value corresponding to each of a plurality of individual appearance characteristics and a first emotional characteristic of the image data, and the appearance of a code sequence in which the plurality of code values are combined.
  • Descriptive data is generated, and the code value corresponding to the first emotional characteristic may include information on a score summed for each of the first individual emotional characteristics.
  • the abstract characteristic further includes a second emotional characteristic recognized based on information given to the product of the object, and the abstract characteristic recognition model calculates a second emotional characteristic by receiving product information of the object.
  • a second emotional feature recognition model wherein the second emotional feature recognition model may include a plurality of second individual emotional feature recognition modules that determine second individual emotional features for different product information.
  • the server may further include generating recommended image data information, which is information on one or more image data including the recommended appearance description data by calculating, by the server, recommended appearance description data matching the appearance description data. .
  • the server in the step of generating the recommended image data information, the server generates recommended image data information by calculating recommended appearance description data based on a degree of association between the appearance description data and the first individual emotional characteristic,
  • the degree of association between the first individual emotional characteristics may include a degree of similarity and a degree of dissimilarity between each of the first individual emotional characteristics.
  • the server calculates the recommended appearance description data based on the relationship between the appearance description data, the first individual emotional characteristic, and user preference information, and provides the recommended image data information.
  • the user preference information may be generated, and the user preference information may be preference information for each of the first individual emotional characteristics of the user.
  • the step of the server matching one or more first individual emotional characteristics with a keyword and the server extracting the first individual emotional characteristics matched with the search keyword received from the user client, and including the first individual emotional characteristics It may further include transmitting the image data to the user client.
  • the server further comprises the step of calculating style information by inputting the calculated first emotional characteristic into a style recognition model, wherein the style recognition model includes a plurality of styles in the first emotional characteristic space map.
  • style information of the area in which the input first emotional characteristic is located is calculated, and the first emotional characteristic spatial map includes a plurality of first individual emotional characteristics. It may be an image space arranged on a plane based on a degree of association between the two.
  • a server apparatus for obtaining abstract characteristics of image data includes at least one computer and performs the above-described method for obtaining abstract characteristics.
  • a program for obtaining abstract characteristics of image data according to another embodiment of the present invention is combined with hardware to execute the aforementioned method for obtaining abstract characteristics, and is stored in a recording medium.
  • the abstract characteristic can be calculated by reflecting each characteristic by subdividing the detailed calculation method of the abstract characteristic of image data by country, region, or individual.
  • Personalized recommended video data or search results can be provided.
  • FIG. 1 is a flowchart of a method for obtaining abstract characteristics of image data according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an external feature recognition model according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of an abstract feature recognition model according to an embodiment of the present invention.
  • FIG. 4 is an exemplary view for explaining setting of a first individual emotional characteristic score for an individual external characteristic according to an embodiment of the present invention.
  • FIG. 5 is a flowchart of a method for obtaining an abstract characteristic further including the step of generating recommended image data information according to an embodiment of the present invention.
  • FIG. 6 is a flowchart of a method of obtaining an abstract characteristic further including a step of matching a first individual emotional characteristic of a keyword and a step of searching for a user according to an embodiment of the present invention.
  • FIG. 7 is a flowchart of a method of obtaining an abstract characteristic further including a step of calculating style information according to an embodiment of the present invention.
  • FIG. 8 is an exemplary diagram for explaining a first emotional characteristic spatial map according to an embodiment of the present invention.
  • FIG. 9 is a block diagram of an abstract feature acquisition server according to an embodiment of the present invention.
  • a'computer' includes all various devices capable of performing arithmetic processing and providing results to a user.
  • computers are not only desktop PCs and notebooks, but also smart phones, tablet PCs, cellular phones, PCS phones, and synchronous/asynchronous systems.
  • a mobile terminal of the International Mobile Telecommunication-2000 (IMT-2000), a Palm Personal Computer (PC), a personal digital assistant (PDA), and the like may also be applicable.
  • a head mounted display (HMD) device includes a computing function
  • the HMD device may be a computer.
  • the computer may correspond to the server 10 that receives a request from a client and performs information processing.
  • client' refers to all devices including a communication function that users can install and use a program (or application). That is, the client device may include at least one of a telecommunication device such as a smart phone, a tablet, a PDA, a laptop, a smart watch, and a smart camera, and a remote controller, but is not limited thereto.
  • a telecommunication device such as a smart phone, a tablet, a PDA, a laptop, a smart watch, and a smart camera, and a remote controller, but is not limited thereto.
  • object refers to an article of a specific classification or category included in image data.
  • 'image data' means a two-dimensional or three-dimensional static or dynamic image including a specific object. That is,'image data' may be static image data that is one frame, or dynamic image data (ie, moving image data) in which a plurality of frames are consecutive.
  • the'appearance classification standard' refers to a classification standard of an appearance expression necessary for describing the appearance of a specific object or for annotation. That is, the'appearance classification criterion' is a specific classification criterion for describing the appearance of a specific object, and includes a plurality of individual appearance characteristics expressing various appearance characteristics within the same classification criterion of the object.
  • the appearance classification standard is a classification standard for the appearance of the clothing, and may correspond to a pattern, color, fit, length, and the like. That is, when the appearance classification standard for a specific object increases, the external shape of a specific article belonging to the object can be described in detail.
  • 'individual appearance characteristics' refers to various characteristics included in a specific appearance classification standard. For example, if the appearance classification criterion is color, the individual appearance characteristics mean various individual colors.
  • the'abstract characteristic' is an abstract characteristic perceived with respect to a specific object, and includes a first emotional characteristic or a second emotional characteristic.
  • the'first emotional characteristic' means an emotional characteristic perceived based on the appearance of a specific object.
  • it may be an emotional or trendy expression such as'cute' or'vintage' about the appearance of a specific object.
  • the'second emotional characteristic' refers to an emotional characteristic recognized based on information given to a product of a specific object.
  • it may be an emotional expression such as'cheap' or'expensive' recognized for a price among product information of a specific object.
  • FIG. 1 is a flowchart of a method for obtaining abstract characteristics of image data according to an embodiment of the present invention.
  • a server inputs a plurality of individual appearance characteristics calculated for image data into an abstract characteristic recognition model to calculate abstract characteristics. Step S4100; And generating, by the server, external appearance description data by combining the calculated plurality of individual appearance characteristics and abstract characteristics (S4200).
  • S4100 inputs a plurality of individual appearance characteristics calculated for image data into an abstract characteristic recognition model to calculate abstract characteristics.
  • Step S4200 generating, by the server, external appearance description data by combining the calculated plurality of individual appearance characteristics and abstract characteristics
  • the server 10 inputs a plurality of individual appearance characteristics calculated for the image data into the abstract characteristic recognition model 300 to calculate the abstract characteristic (S4100).
  • the individual external characteristics may represent various external characteristics within the external appearance classification standard, which is a specific classification standard for describing the external appearance of the object.
  • the individual appearance characteristics may be calculated by inputting image data into the external appearance characteristic recognition model 200 by the server.
  • FIG. 2 is a block diagram of an external feature recognition model according to an embodiment of the present invention.
  • the external characteristic recognition model 200 includes a plurality of individual characteristic recognition modules 210 for determining different appearance classification criteria. That is, the appearance characteristic recognition model includes a plurality of individual characteristic recognition modules specialized to recognize each appearance classification criterion. The more the appearance classification standard of a specific object is, the more the server includes a plurality of individual characteristic recognition modules in the external characteristic recognition model.
  • the individual characteristic recognition module calculates individual appearance characteristics included in a specific appearance classification criterion of image data.
  • the individual characteristic recognition module may be trained through a deep learning learning model by matching individual appearance characteristics of a specific appearance classification criterion with respect to a plurality of training image data. That is, the individual characteristic recognition module is constructed with a specific deep learning algorithm, and may be learning by matching a specific one of a plurality of appearance classification criteria with image data for learning.
  • the individual appearance characteristic may be calculated by inputting the image data to a specialized external characteristic recognition model corresponding to the object type information.
  • obtaining type information of an object prior to calculating individual appearance characteristics for specific image data, obtaining type information of an object; may be further included.
  • Acquiring the type information of the object includes, but is not limited to, obtaining image data by inputting image data into the object type recognition model 100.
  • the object type recognition model 100 may be trained through machine learning or deep learning learning models.
  • the specialized external characteristic recognition model includes individual characteristic recognition modules of a plurality of external appearance classification criteria set in advance to be applied according to specific object type information. That is, the type of the external classification criteria applied may be determined according to the object type information calculated for specific image data.
  • a specialized external characteristic recognition in which a combination of different external classification criteria (i.e., a combination of individual characteristic recognition modules) is set according to specific object type information (object 1, object 2, object 3).
  • object 1, object 2, object 3 specific object type information
  • a model can be created, and individual external characteristics are calculated by inputting the image data into each of a plurality of individual characteristic recognition modules in the specialized external characteristic recognition model of the corresponding type information according to the object type information calculated for specific image data. can do.
  • the combination of individual characteristic recognition modules in the specialized external characteristic recognition model of different object type information may be the same.
  • the appearance classification standard includes a specialized external classification standard applied only to a specific type of object and a general-purpose external classification standard applied to all types of objects, and the plurality of object type information
  • Each specialized external feature recognition model for Korea can share and use a general-purpose individual feature recognition module.
  • external classification standards such as'color','pattern', and'texture' can be applied regardless of the type of object (individual appearance characteristics are calculated). May correspond to.
  • an abstract characteristic is calculated.
  • the server may further include object type information as well as a plurality of individual appearance characteristics and input it into the abstract characteristic recognition model, and input in the form of appearance description data in which individual appearance characteristics or object type information are combined. I can.
  • the present invention by calculating the abstract characteristics based on the outline description data calculated from the image data, not the image data itself such as images, it is possible to efficiently process the data and calculate the objective abstract characteristics.
  • the abstract feature recognition model 300 may be trained through machine learning or deep learning learning models.
  • the abstract characteristic includes a first emotional characteristic.
  • the first emotional characteristic is an emotional characteristic perceived based on an external shape of a specific object, and includes a plurality of first individual emotional characteristics that are specific emotional characteristics.
  • the definition and number of each of the first individual emotional characteristics included in the first emotional characteristic may be set by the server, and may be added or changed.
  • the first emotional characteristic which is an emotional characteristic with respect to the external appearance of an object, may be defined differently depending on the age or region, and thus it is intended to be variously changed accordingly.
  • each of the first individual emotional characteristics may be set to be'cute','soft','modern', etc.
  • each first individual emotional characteristic It may be set to further include contrasted first individual emotional characteristics such as'Elegant','Wild', and'Classic'.
  • the first individual emotional characteristic of the present invention is not limited thereto and may be variously set.
  • the abstract feature recognition model 300 includes a first emotional feature recognition model 310 that receives individual external features and calculates a first emotional feature.
  • each of the first individual emotions set in the input plurality of individual external characteristics It may be to calculate the first emotional characteristic by summing the scores for the characteristic.
  • a score for each of the first individual emotional characteristics may be set for each of a plurality of individual appearance characteristics included in each appearance classification criterion.
  • each score is indicated as 0 or 1, but the score is not limited thereto and may be set in various ways, such as a number between 0 and 1 or a negative number.
  • a score table in which a score for each individual emotional characteristic is set for each individual appearance characteristic may generate not only one score table but also a plurality of different score tables.
  • a score table may be different for each country or region, or a personalized score table for each user may be generated, and the score table may be freely changed by the server.
  • the score value, weight, etc. of each user's score table are adjusted when data for each user is accumulated. By updating it, it is possible to calculate a first individual emotional characteristic optimized for each individual.
  • each first individual emotional characteristic score is summed to calculate a first emotional characteristic.
  • the summed score for each of the first individual emotional characteristics is'cute: 1' ,'Elegant: 2','Smooth: 0','Rough: 1','Modern: 0','Classic: 1', and the first emotional characteristic can be calculated based on this.
  • the first emotional characteristic may be calculated including a ratio of each first individual emotional characteristic score to the total score. For example, in the case of the above example, since the total score is 5, the first emotional characteristic is "cute: 0.2, elegant: 0.4, soft: 0, rough: 0.2, modern Classic: 0, Classic: 0.2" can be calculated.
  • the first emotional characteristic may be calculated including each first individual emotional characteristic score.
  • the first emotional characteristic is "cute: 1, elegant: 2, soft: 0, rough: 1, modern: 0, classic: 1, so as to include each first individual emotional characteristic score. Can be calculated as ".
  • the first emotional characteristic may be to calculate only the first individual emotional characteristic in which each first individual emotional characteristic score is equal to or greater than a preset threshold. For example, in the above-described example, when the threshold value is 2 (or a ratio of 0.4), only the first individual emotional characteristic of'elegant' may be calculated as the first emotional characteristic.
  • the calculation of the first emotional characteristic is not limited to the above example and may be calculated using various algorithms.
  • the definition of each first individual emotional characteristic perceived for each user may be different.
  • the first emotional characteristic is calculated by inputting individual appearance characteristics to the standardized first emotional characteristic recognition model 320, the same first emotional characteristic is calculated for the same image data (i.e., the same individual appearance characteristic). Can be.
  • the server when a specific user recognizes that user A is'cute' with respect to video data related to a'elegant' jacket of a general definition, and tries to search for similar image data by inputting the image data, the server On the other hand, even if the first individual emotional characteristic of'elegant (defined on the standardized first emotional characteristic recognition model)' is calculated, the server provides the image data including the first individual emotional characteristic to the user as similar image data.
  • the provided image data will include the first emotional characteristic of'cute for user A (that is, the same as'elegant' in the general definition)', so there is no problem in the user's search.
  • the method for obtaining an abstract characteristic of image data according to an embodiment of the present invention may further include setting a personalized abstract characteristic for a user.
  • the definition of the first individual emotional characteristic defined in the first emotional characteristic recognition model and the definition perceived by a specific user for the first individual emotional characteristic may be different, a specific first individual emotional characteristic
  • the definition of the first emotional characteristic recognition model for the characteristic and the definition that the user thinks may be matched.
  • the personalized abstract characteristic can be used.
  • the server calculates a first individual emotional characteristic of'cute' rather than'elegant' in the first emotional characteristic recognition model from the search keyword according to the matching result, and provides a search result including the same. , Since the user will recognize the search result as'elegant', similarly, no problem occurs in the user's search.
  • the definition recognized by a specific user for the first individual emotional characteristic may be obtained in various ways.
  • a plurality of image data for which a first emotional characteristic is calculated may be provided to a user to receive and match a meaning felt by the user, but is not limited thereto.
  • the server when performing a search based on a search keyword, may change at least one external classification standard from the description information of the abstract characteristic corresponding to the search keyword. Additional image data can be provided to user clients by expanding the search range while changing to individual appearance characteristics. Thereafter, the server may receive one or more desired image images from the expanded search range from the user. In addition, the server may personalize a search keyword or abstract characteristic input by the user based on the selected image image. In other words, since the external definition of the general abstract characteristic and the external definition of the abstract characteristic that the user thinks may be different, the server is based on the external description data of the video image selected by the user in the expanded search result.
  • Characteristic description information or external appearance definition ie, personalized abstract character description information
  • the server does not search based on the description information of the general abstract characteristic, but performs a search based on the description information of the personalized abstract characteristic.
  • the abstract characteristic includes a second emotional characteristic.
  • the second emotional characteristic is an emotional characteristic perceived based on information given to a product of a specific object, and includes a second individual emotional characteristic, which is various emotional characteristics felt for different types of product information.
  • the second individual emotional characteristic of'cheap' and'expensive' felt for product information of'price' may include. That is, in terms of the user's preference for a specific object, not only the appearance (design), but also the information given to the product of the image data, such as price and delivery time, can be an important factor, so emotional characteristics for this are additionally calculated. .
  • the abstract feature recognition model 300 includes a second emotional feature recognition model 320 that receives product information on an object of image data and calculates a second emotional feature. do.
  • the second emotional characteristic recognition model 320 includes a plurality of second individual emotional characteristic recognition modules for determining emotional characteristics for different product information.
  • the second individual emotional characteristic recognition module calculates each second individual emotional characteristic for specific product information of an object of image data.
  • the second emotional characteristic may be calculated by considering various information such as individual appearance characteristics, object type information, or user information, as well as the product information.
  • the criteria for determining the second individual emotional characteristic according to the type, brand, and user type of the object Since this may be different, the second emotional characteristic is calculated in consideration of various information including the same.
  • the server generates appearance description data by combining a plurality of individual appearance characteristics and abstract characteristics calculated for the image data (S4200).
  • a code value corresponding to each of a plurality of individual appearance characteristics and abstract characteristics of the image data is extracted, and a code string form in which the plurality of code values are combined It includes generating the external descriptive data. That is, as the server codes the individual appearance characteristics and abstract characteristics, the appearance description data can be generated as a code string, and through this, the processing of the appearance description data can be efficiently performed.
  • an abstract characteristic is calculated by inputting external appearance description data in which a plurality of individual appearance characteristics are combined into an abstract characteristic recognition model, a code value corresponding to the abstract characteristic is extracted and added to the existing appearance description data. You can simply update the appearance description data.
  • the code value corresponding to the first emotional characteristic may include information on a score summed for each of the first individual emotional characteristics.
  • the first emotional characteristic is calculated as "cute: 0.2, elegant: 0.4, soft: 0, rough: 0.2, modern: 0, classic: 0.2", and each of the first individual emotional characteristics If the code value corresponding to "cute: Aa, elegant: Ac, soft: Ad, rough: Af, modern: Ai, classic: Ap", the external description data in the form of a code string for the first emotional characteristic is It can be produced as "Aa20, Ac40, Ad00, Af20, Ai00, Ap20".
  • the external description data of the image data is a combination of "Aa20, Ac40, Ad00, Af20, Ai00, Ap20" , Bb02, Oa02".
  • the code system of the present invention is not limited thereto and can be constructed in various ways.
  • the method for obtaining abstract characteristics of image data further includes the step of generating, by the server, recommended image data information based on appearance description data (S4300).
  • the recommended image data information refers to information on recommended image data, which is image data that can be grouped with the image data because it is similar to or related to specific image data.
  • the recommended video data of video data for a specific jacket may be grouped with specific video data, such as video data related to other jackets similar to the jacket, or video data related to bottoms, accessories or interiors matching the jacket. It contains various image data.
  • the server calculates recommended appearance description data that matches the appearance description data of specific image data, and generates recommended image data information for the image data including the same. It can be. That is, the recommended image data is calculated based on the calculated appearance description data, not the specific image data itself.
  • the calculation of the recommended appearance description data is based on not only a plurality of individual appearance characteristics included in the appearance description data, but also the calculated first individual emotional characteristics and the degree of association between each of the first individual emotional characteristics.
  • Recommended appearance description data can be calculated.
  • the degree of association between the first individual emotional characteristics includes a degree of similarity and a degree of dissimilarity between each of the first individual emotional characteristics. That is, the degree of association between the first individual emotional characteristics may mean a degree to which other emotional characteristics are appropriate or arranged with respect to a specific emotional characteristic.
  • the first individual emotional trait of'cute' matches the first individual emotional traits of'pure','soft', and'natural', but is different from the first individual emotional traits of'sexy' and'rough'. It doesn't fit or can be deployed. Accordingly, a degree of association between each of the first individual emotional characteristics is set, and based on this, the first individual emotional characteristics that are similar or matched to the first individual emotional characteristics of the input image data are included, and the arranged first individual emotional characteristics are included. Recommended appearance description data can be calculated so as not to do so.
  • the calculation of the recommended appearance description data may be calculated by further considering the preference information for each of the individual appearance characteristics, the first individual emotion characteristics, or the second individual emotion characteristics of a specific user by the server. .
  • the server calculates the recommended appearance description data for the image data, the user's individual preference.
  • Appropriate recommended appearance description data for each input user may be calculated in consideration of the information, and user-customized recommended image data information may be generated based on this. That is, for the same image data, recommended image data information may be different according to users.
  • the method for obtaining abstract characteristics of image data further includes a step (S4400) of matching one or more first individual emotional characteristics to a keyword by a server. That is, one or more first individual emotional characteristics may be matched to a specific word.
  • the first individual emotional characteristics of'Modern' and'Simple' are matched to the keyword "Dandy", or the keyword of "Party” is matched with'Sexy' and'Luxury.
  • the first individual emotional characteristic of'Luxury' can be matched.
  • one or more first individual emotional characteristics may be matched to the new keyword based on the first individual emotional characteristic matched to an existing keyword similar to the new keyword. have.
  • the server transmits image data corresponding to the search keyword received from the user client to the user client (S4500). That is, when a user inputs a search keyword to search for image data, image data corresponding to the search keyword may be extracted and transmitted as a search result to the user client.
  • object type information in the extraction of image data corresponding to the search keyword, object type information, individual appearance characteristics, first individual emotional characteristics or second individual emotional characteristics matching the search keyword are extracted, and the extracted characteristics are It may be to extract image data of the included outline description data.
  • the server may transmit image data having appearance description data including the extracted characteristics to the user client as a search result.
  • step S4400 it is possible to calculate appropriate image data as a search result even if it is not a search keyword that directly expresses information on the type or appearance of a specific object. There is.
  • the user's individual appearance characteristic, the first individual emotional characteristic, or the preference information for each of the second individual emotional characteristic may be further considered and extracted.
  • the search result may be different depending on the user who inputs the search keyword.
  • the server inputs the calculated first emotional characteristics into a style recognition model 500, and the style information It further includes a; calculating step (S4600).
  • the style recognition model 500 may be trained through machine learning or deep learning learning models.
  • the style information is information on a style, a look, or TPO (Time, Place, Occasion) for a form or method that is unique in fashion, for example, casual ( Casual), Party, Dandy, Girlish style (look), etc.
  • TPO Time, Place, Occasion
  • Each style type or definition can be set by the server, and can be freely changed or added.
  • the style recognition model 500 is input first emotional characteristics (one or more first individual emotional characteristics) as regions of each of the plurality of styles are set in the first emotional characteristic space map 520 It may be to calculate style information of the region in which this location is located.
  • the first emotional characteristic spatial map 520 is based on a degree of association between each of the first individual emotional characteristics as shown in FIG. 8(a). It means an image space arranged on a plane. That is, when each first individual emotional characteristic is input, a position of each first individual emotional characteristic on the first emotional characteristic spatial map may be determined.
  • the input first emotional characteristic is "elegant: 2, practical: 1, cheerful: 2, light: 4, soft: 1, stylish: 3, feminine: 3, gorgeous: 1, sexy: 2, Delicate: 2, Cool: 3, Natural: 1, Mild: 2", when calculated to include the score of each of the first individual emotional characteristics, the position of each of the first individual emotional characteristics as shown in Fig. 8(a) And points 530 may be displayed on the first emotional characteristic spatial map based on the score.
  • regions 540 of each of a plurality of styles may be set in the first emotional characteristic spatial map as shown in FIG. 8B. That is, the style area may be preset in consideration of the degree of association of the individual first emotional characteristics with each style, and each style area may include an overlapping portion.
  • a region 540 of each of a plurality of styles is set in the first emotional characteristic spatial map 520 in the style recognition model 500, and the first emotional characteristic calculated from specific image data is
  • style information for the image data may be calculated based on the displayed first individual emotional characteristic.
  • the largest number of first individual emotional characteristics 530 A'romantic style' which is a style of the style area 543 located, may be calculated as style information.
  • a plurality of style information may be calculated.
  • a plurality of style information is set by setting a priority based on the number of the first individual emotional characteristics 530 located in each style area 540. Can be calculated.
  • the calculated style information may be used to generate recommended image data information in step S4300 described above. That is, when style information is calculated based on the external description data of specific image data, image data having style information identical to or similar to the style information may be generated as recommended image data information.
  • the area set on the first emotional characteristic spatial map includes not only the above-described style area, but also various conceptual areas associated with the first emotional characteristic, which is an emotional characteristic perceived with respect to the external appearance of the object. Can be set.
  • the abstract characteristic calculation step (S4100) may be characterized in that it is performed for each frame in the moving image data.
  • the data generation step S4200 may be characterized in that a plurality of individual appearance characteristics and abstract characteristics of each frame are sequentially arranged and generated.
  • the server apparatus for obtaining abstract characteristics of image data includes one or more computers and performs the above-described method for obtaining abstract characteristics.
  • the server apparatus 10 for obtaining abstract characteristics of image data includes an abstract characteristic recognition model 300, an appearance description data generation unit 600, and a database 800. And, the above-described abstract characteristic acquisition method is performed.
  • the server device 10 is an object type recognition model 100, an appearance characteristic recognition model 200, a detailed type recognition model 400, a style recognition model 500, or a recommended image data generation unit. One or more of 700 may be further included.
  • the above-described method for obtaining abstract characteristics of image data may be implemented as a program (or application) and stored in a medium to be executed in combination with a computer that is hardware.
  • the above-described program includes C, C++, JAVA, machine language, etc. that can be read by the computer's processor (CPU) through the computer's device interface in order for the computer to read the program and execute the methods implemented as programs
  • It may include a code (Code) coded in the computer language of.
  • code may include a functional code related to a function defining necessary functions for executing the methods, and a control code related to an execution procedure necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do.
  • code may further include additional information required for the processor of the computer to execute the functions or code related to a memory reference to which location (address address) of the internal or external memory of the computer should be referenced. have.
  • the code may use the communication module of the computer It may further include a communication related code for how to communicate with the server 10 or the like, and what information or media to transmit and receive during communication.
  • the stored medium is not a medium that stores data for a short moment, such as a register, cache, memory, etc., but a medium that stores data semi-permanently and can be read by a device.
  • examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. That is, the program may be stored in various recording media on various servers 10 to which the computer can access, or on various recording media on the computer of the user.
  • the medium may be distributed over a computer system connected through a network, and computer-readable codes may be stored in a distributed manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

영상데이터의 추상적특성 획득 방법, 장치 및 프로그램이 제공된다. 본 발명의 일 실시예에 따른 영상데이터의 추상적특성 획득 방법은, 서버가 영상데이터에 대하여 산출된 복수의 개별외형특성을 추상적특성 인식모델에 입력하여, 추상적특성을 산출하는 단계 및 상기 서버가 상기 산출된 복수의 개별외형특성 및 추상적특성을 조합하여 외형서술데이터를 생성하는 단계를 포함하고, 상기 개별외형특성은, 대상체의 외형을 서술하기 위한 특정한 분류기준인 외형분류기준 내의 다양한 외형특성을 표현하는 것이고, 상기 추상적특성은, 상기 대상체의 외형을 기반으로 인지되는 제1 감성특성을 포함하는 것일 수 있다.

Description

영상데이터의 추상적특성 획득 방법, 장치 및 프로그램
본 발명은 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램에 관한 것이다.
최근 인터넷의 발달로 소셜 미디어 네트워크 서비스가 급격히 성장하고 있다. 그 결과, 멀티미디어의 양이 폭발 적으로 증가하면서 효과적인 이미지 검색 시스템이 요구되며, 이미지 어노테이션은 폭발적으로 증가하는 웹이미지에 따른 효율적인 이미지 검색의 필요성으로 인해 그 중요도가 점점 높아지고 있다.
대부분의 이미지 검색 연구는 주로 이미지의 내용을 분석하는 내용 기반 이미지 검색(CBIR: Content-based Image Retrieval) 방법이 많이 진행되어 왔다. 내용 기반 이미지 검색은 색상, 텍스처 및 형태와 같은 시각적 특징을 이용하여 이미지의 내용을 분석한다. 이러한 방법은 정의하는 태그의 개수가 적을 경우에는 잘 작동하지만, 데이터셋이 커지고 태그의 종류가 다양해짐에 따라 성능이 떨어지게 된다.
텍스트 기반 이미지 검색(TBIR: Text-based Image Retrieval)은 텍스트를 쿼리로 하여 텍스트에 대응되는 이미지를 검색하는 방식이다. 이 방식은 이미지의 시각적 내용이 수동으로 태깅된 텍스트 디스크립터에 의해 표현되며, 데이터셋 관리 시스템에서 이미지 검색을 수행하는데 사용된다. 즉, 기존의 이미지 또는 영상 검색 방식은 사용자가 직접 태깅한 정보를 기반으로 검색이 이루어진다. 또한, 이미지를 통한 사용자 관심정보 획득 방식도 사용자가 직접 태깅한 정보를 기반으로 획득이 이루어져, 사용자가 영상에 키워드를 잘못 태깅하면 획득 결과가 부정확해지는 문제점이 존재하였다. 또한, 사용자마다 정의하는 키워드에 차이가 존재할 수 있어서, 이미지를 입력하는 사용자가 선택한 키워드에 따라 제공되는 결과가 상이한 문제가 존재하였다.
또한, 기존의 이미지에 대한 추상적특성 획득은, 특정한 이미지에 대하여 느껴지는 감성적 특성인 추상적특성을 사용자가 이미지에 직접 태깅하여 데이터베이스를 구축하고, 이를 기초로 학습된 학습모델에 이미지를 입력하여 추상적특성을 산출하는 방식으로 이루어졌다. 그러나, 이 경우 이미지에 추상적특성을 태깅하는 사용자 개인, 사용자가 속한 집단, 문화, 지역적 특성 등에 따라 추상적특성의 획득 결과가 상이하여, 각 그룹별 데이터베이스 및 학습모델을 구축해야 하는 문제가 존재하였다.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은, 영상데이터 자체가 아닌 영상데이터로부터 산출된 복수의 개별외형특성을 포함하는 외형서술데이터를 이용하여 특정한 대상체에 대하여 느껴지는 감성적 특성인 추상적특성을 획득하는, 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램을 제공하고자 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상데이터의 추상적특성 획득 방법은, 서버가 영상데이터에 대하여 산출된 복수의 개별외형특성을 추상적특성 인식모델에 입력하여, 추상적특성을 산출하는 단계 및 상기 서버가 상기 산출된 복수의 개별외형특성 및 추상적특성을 조합하여 외형서술데이터를 생성하는 단계를 포함하고, 상기 개별외형특성은, 대상체의 외형을 서술하기 위한 특정한 분류기준인 외형분류기준 내의 다양한 외형특성을 표현하는 것이고, 상기 추상적특성은, 상기 대상체의 외형을 기반으로 인지되는 제1 감성특성을 포함하는 것일 수 있다.
또한, 상기 개별외형특성은, 외형특성 인식모델 내의 상이한 외형분류기준을 판단하는 복수의 개별특성인식모듈 각각에 상기 영상데이터를 입력하여 산출되는 것을 특징으로 하고, 상기 개별특성인식모듈은, 영상데이터의 특정한 외형분류기준에 포함된 개별외형특성을 산출하는 것일 수 있다.
또한, 상기 외형분류기준은, 특정 유형의 대상체에만 적용되는 특화 외형분류기준 및 모든 유형의 대상체에 적용되는 범용 외형분류기준을 포함하는 것일 수 있다.
또한, 상기 추상적특성 인식모델은, 제1 감성특성 인식모델을 포함하고, 상기 제1 감성특성 인식모델은, 각 개별외형특성마다 복수의 제1 개별감성특성 각각에 대한 점수가 설정됨에 따라, 입력된 복수의 개별외형특성에 설정된 각각의 제1 개별감성특성에 대한 점수를 합산하여 제1 감성특성을 산출하는 것일 수 있다.
또한, 상기 외형서술데이터를 생성하는 단계는, 상기 영상데이터에 대한 복수의 개별외형특성 및 제1 감성특성 각각에 대응하는 코드값을 추출하여, 상기 복수의 코드값이 조합된 코드열 형태의 외형서술데이터를 생성하는 것이고, 상기 제1 감성특성에 대응하는 코드값은, 상기 제1 개별감성특성 각각에 대하여 합산된 점수에 대한 정보를 포함하는 것일 수 있다.
또한, 상기 추상적특성은, 상기 대상체의 상품에 부여되는 정보를 기반으로 인지되는 제2 감성특성을 더 포함하고, 상기 추상적특성 인식모델은, 상기 대상체의 상품정보를 입력 받아 제2 감성특성을 산출하는 제2 감성특성 인식모델을 포함하고, 상기 제2 감성특성 인식모델은, 상이한 상품정보에 대한 제2 개별감성특성을 판단하는 복수의 제2 개별감성특성 인식모듈을 포함하는 것일 수 있다.
또한, 상기 서버가 상기 외형서술데이터에 매칭되는 추천외형서술데이터를 산출하여, 상기 추천외형서술데이터를 포함하는 하나 이상의 영상데이터에 대한 정보인 추천영상데이터정보를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 추천영상데이터정보 생성단계는, 상기 서버가 상기 외형서술데이터 및 제1 개별감성특성 간 연관도를 기초로 추천외형서술데이터를 산출하여, 추천영상데이터정보를 생성하는 것을 특징으로 하고, 상기 제1 개별감성특성 간 연관도는, 각각의 제1 개별감성특성 간 유사도 및 비유사도를 포함하는 것일 수 있다.
또한, 상기 추천영상데이터정보를 생성하는 단계는, 상기 서버가 상기 외형서술데이터, 상기 제1 개별감성특성 간 연관도 및 사용자 선호도정보를 기초로 추천외형서술데이터를 산출하여, 추천영상데이터정보를 생성하는 것을 특징으로 하고, 상기 사용자 선호도정보는, 상기 사용자의 제1 개별감성특성 각각에 대한 선호 정보인 것일 수 있다.
또한, 상기 서버가 키워드에 하나 이상의 제1 개별감성특성을 매칭하는 단계 및 상기 서버가 사용자 클라이언트로부터 수신한 검색키워드에 매칭된 제1 개별감성특성을 추출하여, 상기 제1 개별감성특성을 포함하는 영상데이터를 상기 사용자 클라이언트에 전송하는 단계를 더 포함할 수 있다.
또한, 상기 서버가 상기 산출된 제1 감성특성을 스타일(style) 인식모델에 입력하여, 스타일정보를 산출하는 단계를 더 포함하고, 상기 스타일 인식모델은, 제1 감성특성 공간맵에 복수의 스타일 각각의 영역이 설정됨에 따라, 입력된 제1 감성특성이 위치하는 영역의 스타일정보를 산출하는 것이고, 상기 제1 감성특성 공간맵은, 복수의 제1 개별감성특성을 각각의 제1 개별감성특성 간의 연관도를 기초로 평면상에 배치한 이미지 공간인 것일 수 있다.
본 발명의 다른 실시예에 따른 영상데이터의 추상적특성 획득 서버장치는, 하나 이상의 컴퓨터를 포함하고, 상기 언급된 추상적특성 획득 방법을 수행한다.
본 발명의 또 다른 실시예에 따른 영상데이터의 추상적특성 획득 프로그램은, 하드웨어와 결합되어 상기 언급된 추상적특성 획득 방법을 실행하며, 기록매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명에 따르면, 영상데이터 자체가 아닌 영상데이터로부터 산출된 외형서술데이터를 이용하여 추상적특성을 산출함으로써, 데이터의 처리를 효율적으로 할 수 있다.
또한, 본 발명에 따르면, 영상데이터의 추상적특성의 구체적인 산출 방식을 국가별, 지역별 또는 개인별로 세분화함에 따라 각각의 특성을 반영하여 추상적특성을 산출할 수 있다.
또한, 본 발명에 따르면, 대상체의 외형에 대한 제1 감성특성뿐만 아니라, 가격 등 대상체의 상품정보에 대한 제2 감성특성을 산출하고, 사용자별 각각의 개별감성특성에 대한 선호도를 입력 받음으로써, 개인화된 추천영상데이터 또는 검색결과를 제공할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 영상데이터의 추상적특성 획득 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 외형특성 인식모델의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 추상적특성 인식모델의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 개별외형특성에 대한 제1 개별감성특성 점수 설정을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 추천영상데이터정보 생성 단계를 더 포함하는 추상적특성 획득 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 키워드의 제1 개별감성특성 매칭 단계 및 사용자 검색 단계를 더 포함하는 추상적특성 획득 방법의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 스타일정보 산출 단계를 더 포함하는 추상적특성 획득 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 제1 감성특성 공간맵을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 추상적특성 획득 서버의 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1 ", "제2 " 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 '컴퓨터'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버(10)가 해당될 수 있다.
본 명세서에서 '클라이언트'는 사용자들이 프로그램(또는 어플리케이션)을 설치하여 사용할 수 있는 통신 기능을 포함한 모든 장치를 말한다. 즉, 클라이언트 장치는 스마트폰, 태블릿, PDA, 랩톱, 스마트워치, 스마트카메라 등과 같은 전기 통신 장치, 리모트 콘트롤러 중 하나 이상을 포함할 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 '대상체'는 영상데이터에 포함된 특정한 분류 또는 카테고리의 물품을 의미한다.
본 명세서에서, '영상데이터'는 특정한 대상체를 포함하는 2차원 또는 3차원의 정적 또는 동적 이미지를 의미한다. 즉, '영상데이터'는 하나의 프레임인 정적 영상데이터일 수도 있고, 복수의 프레임이 연속되는 동적 영상데이터(즉, 동영상데이터)일 수도 있다.
본 명세서에서 '외형분류기준'은 특정한 대상체의 외형을 서술(description)하거나 주석 삽입(annotation)을 위해 필요한 외형 표현의 분류기준을 의미한다. 즉, '외형분류기준'은 특정한 대상체의 외형을 서술하기 위한 특정한 분류기준으로서, 상기 대상체의 동일한 분류기준 내의 다양한 외형특성을 표현하는 복수의 개별외형특성을 포함한다. 예를 들어, 대상체가 의류인 경우, 외형분류기준은 의류의 외형에 대한 분류기준으로, 패턴(Pattern), 색상(Color), 핏(fit), 기장(Length) 등이 해당될 수 있다. 즉, 특정한 대상체에 대해 외형분류기준이 많아지면, 대상체에 속하는 특정한 물품의 외형을 상세히 기술할 수 있다.
본 명세서에서 '개별외형특성'은 특정한 외형분류기준 내에 포함되는 다양한 특성을 의미한다. 예를 들어, 외형분류기준이 색상인 경우, 개별외형특성은 다양한 개별 색상을 의미한다.
본 명세서에서 '추상적 특성'은 특정한 대상체에 대하여 인지되는 추상적인 특성으로서, 제1 감성특성 또는 제2 감성특성을 포함한다.
본 명세서에서 '제1 감성특성'은 특정한 대상체의 외형을 기반으로 인지되는 감성적 특성을 의미한다. 예를 들어, 특정한 대상체의 외형에 대한 '귀여운' 또는 '빈티지'와 같은 감성적 또는 유행적 표현일 수 있다.
본 명세서에서 '제2 감성특성'은 특정한 대상체의 상품에 부여되는 정보를 기반으로 인지되는 감성적 특성을 의미한다. 예를 들어, 특정한 대상체의 상품 정보 중 가격에 대하여 인지되는 '저렴한', '비싼'과 같은 감성적 표현일 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상데이터의 추상적특성 획득 방법의 흐름도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상데이터의 추상적특성 획득 방법은, 서버가 영상데이터에 대하여 산출된 복수의 개별외형특성을 추상적특성 인식모델에 입력하여, 추상적특성을 산출하는 단계(S4100); 및 상기 서버가 상기 산출된 복수의 개별외형특성 및 추상적특성을 조합하여 외형서술데이터를 생성하는 단계(S4200)를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기술한다.
서버(10)가 영상데이터에 대하여 산출된 복수의 개별외형특성을 추상적특성 인식모델(300)에 입력하여, 추상적특성을 산출한다(S4100). 상기 개별외형특성은, 대상체의 외형을 서술하기 위한 특정한 분류기준인 외형분류기준 내의 다양한 외형특성을 표현하는 것일 수 있다.
일 실시예에서, 상기 개별외형특성은, 서버가 영상데이터를 외형특성 인식모델(200)에 입력하여 산출되는 것일 수 있다.
도 2는 본 발명의 일 실시예에 따른 외형특성 인식모델의 블록도이다.
도 2를 참조하면, 일 실시예에서 상기 외형특성 인식모델(200)은, 상이한 외형분류기준을 판단하는 복수의 개별특성인식모듈(210)을 포함한다. 즉, 상기 외형특성 인식모델은 각각의 외형분류기준을 인식하는 것으로 특화된 복수의 개별특성인식모듈을 포함한다. 특정한 대상체의 외형분류기준이 많을수록, 서버는 다수의 개별특성인식모듈을 외형특성 인식모델 내에 포함한다.
상기 개별특성인식모듈은 영상데이터의 특정한 외형분류기준에 포함된 개별외형특성을 산출하는 것이다. 일 실시예에서, 상기 개별특성인식모듈은, 복수의 학습용 영상데이터에 대해 특정한 외형분류기준의 개별외형특성을 매칭하여 딥러닝 학습모델을 통해 트레이닝이 된 것일 수 있다. 즉, 개별특성인식모듈은 특정한 딥러닝 알고리즘으로 구축되는 것으로, 복수의 외형분류기준 중에서 특정한 하나와 학습용 영상데이터를 매칭하여 학습을 수행한 것일 수 있다.
또한, 일 실시예에서, 상기 개별외형특성은, 대상체 유형정보에 대응되는 특화 외형특성 인식모델에 상기 영상데이터를 입력하여 산출되는 것일 수 있다.
이를 위하여, 일 실시예에서, 특정 영상데이터에 대하여 개별외형특성을 산출하기에 앞서, 대상체의 유형정보를 획득하는 단계;를 더 포함할 수 있다. 상기 대상체의 유형정보 획득은, 영상데이터를 대상체유형 인식모델(100)에 입력하여 획득하는 것을 포함하나, 이에 제한되지 않는다. 또한, 대상체유형 인식모델(100)은 머신러닝 또는 딥러닝 학습모델을 통해 트레이닝이 된 것일 수 있다.
일 실시예에서, 상기 특화 외형특성 인식모델은, 특정 대상체 유형정보에 따라 적용하도록 미리 설정된 복수의 외형분류기준의 개별특성인식모듈을 포함한다. 즉, 특정 영상데이터에 대하여 산출되는 대상체 유형정보에 따라 적용되는 외형분류기준의 종류가 결정될 수 있다.
구체적으로, 도 2를 참조하면, 특정한 대상체 유형정보(대상체1, 대상체2, 대상체3)에 따라 각각 상이한 외형분류기준의 조합(즉, 개별특성인식모듈의 조합)이 설정되어 있는 특화 외형특성 인식모델을 생성할 수 있고, 특정한 영상데이터에 대하여 산출된 대상체 유형정보에 따라 상기 영상데이터를 해당하는 유형정보의 특화 외형특성 인식모델 내의 복수의 개별특성인식모듈 각각에 입력하여, 개별외형특성을 산출할 수 있다. 또한, 상이한 대상체 유형정보의 특화 외형특성 인식모델 내의 개별특성인식모듈의 조합이 동일할 수 있음은 물론이다.
또한, 일 실시예에서, 도 2와 같이 상기 외형분류기준은, 특정 유형의 대상체에만 적용되는 특화 외형분류기준 및 모든 유형의 대상체에 적용되는 범용 외형분류기준을 포함하고, 복수의 대상체 유형정보에 대한 각 특화 외형특성 인식모델은 범용 개별특성인식모듈을 공유하여 사용할 수 있다.
예를 들어, '색상(color)', '패턴(pattern)', '질감(texture)'등의 외형분류기준은 대상체 유형에 무관하게 적용이(개별외형특성 산출) 가능하므로, 범용 외형분류기준에 해당할 수 있다.
전술한 방법에 의하여 산출된 복수의 개별외형특성을 추상적특성 인식모델(300)에 입력하여, 추상적특성을 산출한다.
일 실시예에서, 서버는 복수의 개별외형특성뿐만 아니라 대상체 유형정보를 더 포함하여 상기 추상적특성 인식모델에 입력할 수 있으며, 개별외형특성 또는 대상체 유형정보가 조합된 외형서술데이터의 형태로 입력할 수 있다.
즉, 본 발명에 따르면 이미지와 같은 영상데이터 자체가 아닌, 영상데이터로부터 산출된 외형서술데이터를 기초로 추상적특성을 산출함에 따라, 데이터의 효율적인 처리 및 객관적인 추상적특성 산출이 가능하다.
또한, 일 실시예에서, 추상적특성 인식모델(300)은 머신러닝 또는 딥러닝 학습모델을 통해 트레이닝이 된 것일 수 있다.
일 실시예에서, 상기 추상적특성은, 제1 감성특성을 포함한다. 상기 제1 감성특성은, 특정한 대상체의 외형을 기반으로 인지되는 감성적 특성으로, 특정한 감성적 특성인 복수의 제1 개별감성특성을 포함한다.
일 실시예에서, 제1 감성특성에 포함된 각각의 제1 개별감성특성의 정의 및 개수는 서버에 의하여 설정될 수 있으며, 추가 또는 변경될 수 있다. 대상체의 외형에 대한 감성적 특성인 제1 감성특성은, 시0대 또는 지역에 따라 상이하게 정의될 수 있으므로, 이에 맞추어 다양하게 변경 가능하도록 하기 위함이다.
예를 들어, 각각의 제1 개별감성특성은 '귀여운(Cute)', '부드러운(soft)', '현대적인(Modern)' 등으로 설정될 수 있으며, 또한, 각각의 제1 개별감성특성에 대조되는 제1 개별감성특성인 '우아한(Elegant)', '거친(Wild)', '고전적인(Classic)' 등을 더 포함하도록 설정될 수도 있다. 그러나, 본 발명의 제1 개별감성특성은 이에 제한되지 않고 다양하게 설정될 수 있다.
도 3을 참조하면, 일 실시예에서, 상기 추상적특성 인식모델(300)은, 개별외형특성을 입력 받아 제1 감성특성을 산출하는 제1 감성특성 인식모델(310)을 포함한다.
일 실시예에서, 상기 제1 감성특성 인식모델은, 각 개별외형특성마다 복수의 제1 개별감성특성 각각에 대한 점수가 설정됨에 따라, 입력된 복수의 개별외형특성에 설정된 각각의 제1 개별감성특성에 대한 점수를 합산하여 제1 감성특성을 산출하는 것일 수 있다.
예를 들어, 도 4와 같이 각 외형분류기준에 포함된 복수의 개별외형특성마다 제1 개별감성특성 각각에 대한 점수가 설정될 수 있다. 도 4에서는 각 점수가 0 또는 1로 표시되었으나, 이에 제한되지 않고 0~1 사이의 수 또는 음수 등 다양한 방식으로 점수가 설정될 수 있다.
일 실시예에서, 각각의 개별외형특성에 제1 개별감성특성별 점수가 설정된 점수표는, 하나의 점수표뿐만 아니라, 상이한 복수의 점수표가 생성될 수 있다. 예를 들어, 국가별 또는 지역별로 점수표가 상이하거나, 사용자별 개인화된 점수표가 생성될 수 있으며, 상기 점수표는 서버에 의하여 자유롭게 변경될 수 있음은 물론이다.
구체적으로, 동일한 개별외형특성에 대하여 사용자마다 인지하는 제1 개별감성특성의 유형이나 정도가 상이할 수 있으므로, 이에 대한 사용자 각각의 데이터가 축적되면 상기 사용자 각각의 점수표의 점수값, 가중치 등을 조절하여 업데이트함으로써, 개인별 최적화된 제1 개별감성특성을 산출할 수 있다.
이어서, 입력된 복수의 개별외형특성 및 개별외형특성에 설정된 각각의 제1 개별감성특성 점수를 기반으로, 각각의 제1 개별감성특성 점수를 합산하여 제1 감성특성을 산출한다.
예를 들어, 도 4의 예시에 있어서 특정 영상데이터로부터 산출된 '브이넥' 및 '빨간색'의 개별외형특성이 입력된 경우, 각각의 제1 개별감성특성별 합산된 점수는, '귀여운: 1', '우아한: 2', '부드러운: 0', '거친: 1', '현대적인: 0', '고전적인: 1'이고, 이를 기초로 제1 감성특성을 산출할 수 있다.
일 실시예에서, 상기 제1 감성특성은 각 제1 개별감성특성 점수의 전체 점수에 대한 비율을 포함하여 산출될 수 있다. 예를 들어, 전술한 예시의 경우 전체 점수가 5이므로, 제1 감성특성은 각 제1 개별감성특성 점수의 비율을 포함하도록 "귀여운: 0.2, 우아한: 0.4, 부드러운: 0, 거친: 0.2, 현대적인: 0, 고전적인: 0.2"으로 산출될 수 있다.
다른 실시예에서, 상기 제1 감성특성은 각 제1 개별감성특성 점수를 포함하여 산출될 수 있다. 예를 들어, 전술한 예시의 경우 제1 감성특성은 각 제1 개별감성특성 점수를 포함하도록 "귀여운: 1, 우아한: 2, 부드러운: 0, 거친: 1, 현대적인: 0, 고전적인: 1"으로 산출될 수 있다.
다른 실시예에서, 상기 제1 감성특성은 각 제1 개별감성특성 점수가 미리 설정된 임계값 이상인 제1 개별감성특성만 산출하는 것일 수 있다. 예를 들어, 전술한 예시에서 임계값이 2(혹은 비율 0.4)인 경우, 제1 감성특성은 '우아한'의 제1 개별감성특성만 산출될 수 있다. 그러나, 제1 감성특성의 산출은 전술한 예시에 제한되지 않고 다양한 알고리즘으로 산출될 수 있다.
일 실시예에서, 제1 감성특성은 대상체의 외형에 대하여 느껴지는 감성적인 특성이므로, 각각의 제1 개별감성특성에 대하여 사용자마다 인지하는 정의는 상이할 수 있다. 그러나, 제1 감성특성은, 표준화된 제1 감성특성 인식모델(320)에 개별외형특성을 입력함으로써 산출되는 것이므로, 동일한 영상데이터(즉, 동일한 개별외형특성)에 대하여는 동일한 제1 감성특성이 산출될 수 있다.
예를 들어, 특정한 사용자가 일반적인 정의의 '우아한' 자켓에 관한 영상데이터에 대하여 사용자 A가 '귀여운'이라 인지하고, 상기 영상데이터를 입력하여 유사한 영상데이터를 검색하려는 경우, 서버가 상기 영상데이터에 대하여 '우아한(표준화된 제1 감성특성 인식모델 상 정의)'의 제1 개별감성특성을 산출하였다 하더라도, 서버가 사용자에게 상기 제1 개별감성특성을 포함하는 영상데이터를 유사한 영상데이터로 제공함에 있어서 제공되는 영상데이터는 '사용자 A에 있어서 귀여운(즉, 일반적인 정의의 '우아한'과 동일)' 제1 감성특성을 포함할 것이므로, 사용자의 검색에 있어서 문제가 발생하지 않는다.
또한, 일 실시예에서, 본 발명의 일 실시예에 따른 영상데이터의 추상적특성 획득 방법은, 사용자에 대한 개인화 추상적특성을 설정하는 단계;를 더 포함할 수 있다.
즉, 전술한 바와 같이 상기 제1 감성특성 인식모델에 정의된 제1 개별감성특성의 정의와, 상기 제1 개별감성특성에 대하여 특정 사용자가 인지하는 정의는 상이할 수 있으므로, 특정 제1 개별감성특성에 대한 상기 제1 감성특성 인식모델의 정의와 상기 사용자가 생각하는 정의를 매칭시킬 수 있다. 이를 통해, 해당 사용자가 후술하는 바와 같이, 특정 검색키워드를 이용하여 영상데이터의 검색을 수행하는 경우 상기 개인화 추상적특성을 이용할 수 있다.
예를 들어, 제1 감성특성 인식모델의 '귀여운' 제1 개별감성특성에 대하여, 특정 사용자가 '우아한'으로 인지하는 것으로 매칭된 경우, 상기 사용자가 "우아한 자켓"의 검색키워드를 이용하여 영상데이터를 검색하는 경우, 상기 매칭 결과에 따라 서버는 상기 검색키워드로부터 상기 제1 감성특성 인식모델 상 '우아한'이 아닌 '귀여운'의 제1 개별감성특성을 산출하여 이를 포함하는 검색 결과를 제공하더라도, 상기 사용자는 검색 결과에 대하여 '우아한'으로 인지할 것이므로, 마찬가지로 사용자의 검색에 있어서 문제가 발생하지 않는다.
또한, 일 실시예에서, 상기 제1 개별감성특성에 대하여 특정 사용자가 인지하는 정의는 다양한 방식으로 획득될 수 있다. 예를 들어, 제1 감성특성이 산출된 복수의 영상데이터를 사용자에게 제공하여 사용자가 느끼는 의미를 입력 받아 매칭시킬 수 있으나, 이에 한정되지 않는다.
제1 개별감성특성에 대해 특정 사용자가 인지하는 정의를 획득하는 방법의 구체적인 예로, 검색키워드 기반으로 검색 수행 시, 서버는 검색키워드에 상응하는 추상적 특성의 서술정보에서 적어도 하나의 외형분류기준을 다른 개별외형특성으로 변경하면서 검색범위를 확장하여 추가영상데이터를 사용자 클라이언트에 제공할 수 있다. 그 후, 서버는 사용자로부터 확장된 검색범위에서 원하는 하나 이상의 영상이미지를 선택받을 수 있다. 그리고, 서버는 선택된 영상이미지를 기반으로 사용자가 입력한 검색키워드 또는 추상적 특성에 대해 개인화를 수행할 수 있다. 즉, 일반적인 추상적 특성의 외형 정의와 사용자가 생각하고 있는 추상적 특성의 외형 정의가 상이할 수 있으므로, 서버는 확장된 검색결과에서 사용자에 의해 선택된 영상이미지의 외형서술데이터를 기반으로 사용자가 생각하는 추상적 특성의 서술정보 또는 외형 정의(즉, 개인화된 추상적 특성의 서술정보)를 설정할 수 있다. 이 경우, 해당 사용자가 추후에도 동일한 검색키워드 또는 추상적 특성으로 검색을 수행하면, 서버는 일반적인 추상적 특성의 서술정보를 기반으로 검색하지 않고, 개인화된 추상적 특성의 서술정보를 기반으로 검색을 수행하여 사용자가 원하는 이미지를 먼저 제공할 수 있는 효과가 있다.
일 실시예에서, 상기 추상적특성은, 제2 감성특성을 포함한다. 상기 제2 감성특성은, 특정한 대상체의 상품에 부여되는 정보를 기반으로 인지되는 감성적 특성으로, 상이한 종류의 상품정보에 대하여 느껴지는 다양한 감성적 특성인 제2 개별감성특성을 포함한다.
예를 들어, '가격'의 상품정보에 대하여 느껴지는 '저렴한', '비싼'의 제2 개별감성특성 또는 '배송 시간'의 상품정보에 대하여 느껴지는 '빠른', '느린'의 제2 개별감성특성을 포함할 수 있다. 즉, 사용자의 특정 대상체에 대한 호감도에 있어서, 외형(디자인)뿐만 아니라 가격, 배송시간 등 해당 영상데이터의 상품에 부여된 정보도 중요한 고려요소가 될 수 있으므로, 이에 대한 감성적 특성을 추가적으로 산출하는 것이다.
도 3을 참조하면, 일 실시예에서, 상기 추상적특성 인식모델(300)은, 영상데이터의 대상체에 대한 상품정보를 입력 받아 제2 감성특성을 산출하는 제2 감성특성 인식모델(320)을 포함한다.
또한, 일 실시예에서, 상기 제2 감성특성 인식모델(320)은, 상이한 상품정보에 대한 감성적 특성을 판단하는 복수의 제2 개별감성특성 인식모듈을 포함한다. 상기 제2 개별감성특성 인식모듈은 영상데이터의 대상체의 특정한 상품정보에 대한 각각의 제2 개별감성특성을 산출하는 것이다.
또한, 일 실시예에서, 상기 제2 감성특성은, 상기 상품정보뿐만 아니라 개별외형특성, 대상체 유형정보, 또는 사용자 정보 등 다양한 정보를 고려하여 산출될 수 있다.
예를 들면, 상품정보 중 '가격'에 대한 제2 개별감성특성(예를 들어, '비싼' 또는 '저렴한) 경우, 대상체의 유형이나 브랜드, 사용자 유형에 따라 제2 개별감성특성을 판단하는 기준이 상이할 수 있으므로, 이를 포함하는 다양한 정보를 고려하여 제2 감성특성을 산출하는 것이다.
이어서, 상기 서버가 상기 영상데이터에 대하여 산출된 복수의 개별외형특성 및 추상적특성을 조합하여 외형서술데이터를 생성한다(S4200).
일 실시예에서, 상기 외형서술데이터 생성단계(S4200)는, 상기 영상데이터에 대한 복수의 개별외형특성 및 추상적특성 각각에 대응하는 코드값을 추출하여, 상기 복수의 코드값이 조합된 코드열 형태의 외형서술데이터를 생성하는 것을 포함한다. 즉, 서버가 개별외형특성 및 추상적특성을 코드화 함에 따라 외형서술데이터를 코드열로 생성할 수 있고, 이를 통해 외형서술데이터의 처리가 효율적으로 될 수 있다.
일 실시예에서, 복수의 개별외형특성이 조합된 외형서술데이터를 추상적특성 인식모델에 입력하여 추상적특성을 산출한 경우, 상기 추상적특성에 대응되는 코드값을 추출하여 기존의 외형서술데이터에 추가함으로써 간단하게 외형서술데이터를 업데이트할 수 있다.
또한, 일 실시예에서, 상기 제1 감성특성에 대응하는 코드값은, 상기 제1 개별감성특성 각각에 대하여 합산된 점수에 대한 정보를 포함할 수 있다.
구체적으로, 전술한 예시에서 "귀여운: 0.2, 우아한: 0.4, 부드러운: 0, 거친: 0.2, 현대적인: 0, 고전적인: 0.2"로 제1 감성특성이 산출되고, 각각의 제1 개별감성특성에 대응하는 코드값이 "귀여운: Aa, 우아한: Ac, 부드러운: Ad, 거친: Af, 현대적인: Ai, 고전적인: Ap"인 경우, 제1 감성특성에 대한 코드열 형태의 외형서술데이터는 "Aa20, Ac40, Ad00, Af20, Ai00, Ap20"으로 생성될 수 있다. 또한, 개별외형특성인 '빨간색', '브이넥'에 대응되는 코드값이 'Oa02, 'Bb02'라면, 상기 영상데이터의 외형서술데이터는 이를 조합한 "Aa20, Ac40, Ad00, Af20, Ai00, Ap20, Bb02, Oa02"로 생성될 수 있다. 그러나, 본 발명의 코드시스템은 이에 제한되지 않고 다양한 방식으로 구축될 수 있다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 영상데이터의 추상적특성 획득 방법은, 상기 서버가 외형서술데이터를 기초로 추천영상데이터정보 생성하는 단계(S4300);를 더 포함한다.
일 실시예에서, 상기 추천영상데이터정보는, 특정한 영상데이터와 유사하거나 연관성이 있어 상기 영상데이터와 그룹핑(grouping)될 수 있는 영상데이터인 추천영상데이터에 대한 정보를 의미한다.
예를 들어, 특정 자켓에 관한 영상데이터의 추천영상데이터는, 상기 자켓과 유사한 다른 자켓에 관한 영상데이터나, 상기 자켓과 어울리는 하의, 액세서리 또는 인테리어에 관한 영상데이터 등 특정 영상데이터와 그룹핑 될 수 있는 다양한 영상데이터를 포함한다.
일 실시예에서, 상기 추천영상데이터정보 생성 단계(S4300)는, 서버가 특정 영상데이터의 외형서술데이터에 매칭되는 추천외형서술데이터를 산출하고, 이를 포함하는 영상데이터에 대한 추천영상데이터정보를 생성하는 것일 수 있다. 즉, 특정 영상데이터 자체가 아닌, 산출된 외형서술데이터를 기준으로 추천영상데이터를 산출하는 것이다.
일 실시예에서, 상기 추천외형서술데이터의 산출은, 상기 외형서술데이터에 포함된 복수의 개별외형특성뿐만 아니라, 산출된 제1 개별감성특성 및 각각의 제1 개별감성특성 간 연관도를 기초로 추천외형서술데이터를 산출할 수 있다.
일 실시예에서, 상기 제1 개별감성특성 간 연관도는, 각각의 제1 개별감성특성 간 유사도 및 비유사도를 포함한다. 즉, 상기 제1 개별감성특성 간 연관도는, 특정한 감성적 특성에 대하여, 다른 감성적 특성이 어울리는 정도 또는 배치되는 정도를 의미할 수 있다.
예를 들어, '귀여운'의 제1 개별감성특성은, '순수한', '부드러운', '자연스러운'의 제1 개별감성특성들과 어울리나, '섹시한', '거친'의 제1 개별감성특성들과는 어울리지 않거나 배치될 수 있다. 따라서, 각각의 제1 개별감성특성 간 연관도를 설정하고, 이를 기초로 입력된 영상데이터의 제1 개별감성특성과 유사하거나 어울리는 제1 개별감성특성을 포함하고 배치되는 제1 개별감성특성을 포함하지 않도록 추천외형서술데이터를 산출할 수 있다.
또한, 일 실시예에서, 상기 추천외형서술데이터의 산출은, 상기 서버가 특정한 사용자의 개별외형특성, 제1 개별감성특성 또는 제2 개별감성특성 각각에 대한 선호 정보를 더 고려하여 산출할 수 있다.
즉, 일 실시예에서, 서버에 특정한 영상데이터의 외형서술데이터뿐만 아니라 특정한 사용자 각각의 선호도정보가 입력된 경우, 상기 서버는 상기 영상데이터에 대한 추천외형서술데이터를 산출함에 있어서, 사용자 개인의 선호도정보를 고려하여 입력된 사용자별로 적절한 추천외형서술데이터를 산출할 수 있고, 이를 기초로 사용자 개인 맞춤형 추천영상데이터정보를 생성할 수 있다. 즉, 동일한 영상데이터에 대하여 사용자에 따라 추천영상데이터정보가 상이할 수 있다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 영상데이터의 추상적특성 획득 방법은, 서버가 키워드에 하나 이상의 제1 개별감성특성을 매칭하는 단계(S4400);를 더 포함한다. 즉, 특정 단어에 하나 이상의 제1 개별감성특성을 매칭할 수 있다.
예를 들어, "댄디(Dandy)" 키워드에 '현대적인(Modern)', '단순한(Simple)'의 제1 개별감성특성을 매칭하거나, "파티" 키워드에 '섹시한(Sexy)', '사치스러운(Luxury)'의 제1 개별감성특성을 매칭할 수 있다.
또한, 일 실시예에서, 서버에 새로운 키워드가 입력되는 경우, 상기 새로운 키워드와 유사한 기존의 키워드에 매칭된 제1 개별감성특성을 기초로, 새로운 키워드에 하나 이상의 제1 개별감성특성이 매칭될 수 있다.
또한, 일 실시예에서, 서버가 사용자 클라이언트로부터 수신한 검색키워드에 대응되는 영상데이터를 상기 사용자 클라이언트에 전송하는 단계(S4500);를 더 포함한다. 즉, 사용자가 영상데이터 검색을 위하여 검색키워드를 입력한 경우, 상기 검색키워드에 대응되는 영상데이터를 추출하여 검색결과로써 사용자 클라이언트에 전송할 수 있다.
일 실시예에서, 상기 검색키워드에 대응되는 영상데이터의 추출은, 상기 검색키워드에 매칭되는 대상체 유형정보, 개별외형특성, 제1 개별감성특성 또는 제2 개별감성특성을 추출하고, 추출된 특성을 포함하는 외형서술데이터의 영상데이터를 추출하는 것일 수 있다.
예를 들면, 사용자가 "파티에 어울리는 저렴한 브이넥 셔츠"를 검색키워드로 입력한 경우, 상기 검색키워드로부터 대상체 유형정보로 '셔츠', 개별외형특성으로 '브이넥', 제2 개별감성특성으로 '저렴한'을 추출하고, "파티" 키워드에 대하여 S4400단계에서 매칭된 제1 개별감성특성인 '섹시한', '사치스러운'을 추출할 수 있다. 따라서, 서버는 추출된 특성을 포함하는 외형서술데이터를 갖는 영상데이터를 검색결과로 사용자 클라이언트에 전송할 수 있다.
다른 예를 들면, 사용자가 "파티"의 검색키워드만 입력한 경우에도, 위와 같이 '섹시한', '사치스러운'의 제1 개별감성특성을 추출하여 이를 포함하는 외형서술데이터를 갖는 영상데이터를 사용자 클라이언트에 전송할 수 있다.
즉, S4400단계에서 키워드에 제1 개별감성특성을 매칭함에 따라, 특정 대상체의 유형이나 외형에 대한 정보를 직접적으로 표현하는 검색키워드가 아닌 경우에도, 적절한 영상데이터를 검색결과로 산출할 수 있는 효과가 있다.
또한, 일 실시예에서, 상기 검색키워드에 대응되는 영상데이터의 추출 시, 상기 사용자의 개별외형특성, 제1 개별감성특성 또는 제2 개별감성특성 각각에 대한 선호정보를 더 고려하여 추출할 수 있다. 이 경우, 동일한 검색키워드가 입력되는 경우라도, 검색키워드를 입력하는 사용자에 따라 검색결과가 상이할 수 있다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 영상데이터의 추상적특성 획득 방법은, 상기 서버가 상기 산출된 제1 감성특성을 스타일(style) 인식모델(500)에 입력하여, 스타일정보를 산출하는 단계(S4600);를 더 포함한다.
일 실시예에서, 스타일 인식모델(500)은 머신러닝 또는 딥러닝 학습모델을 통해 트레이닝이 된 것일 수 있다.
또한, 일 실시예예서, 상기 스타일정보는, 패션 등에서 특유한 형태나 방식에 대한 스타일(style), 룩(look) 또는 , T.P.O.(Time, Place, Occasion)에 대한 정보로, 예를 들어, 캐주얼(Casual), 파티(Party), 댄디(Dandy), 걸리쉬(Girlish) 스타일(룩) 등을 포함할 수 있다. 각각의 스타일 유형 또는 정의는 서버에 의하여 설정될 수 있으며, 자유롭게 변경 또는 추가될 수 있다.
일 실시예에서, 상기 스타일 인식모델(500)은, 제1 감성특성 공간맵(520)에 복수의 스타일 각각의 영역이 설정됨에 따라, 입력된 제1 감성특성(하나 이상의 제1 개별감성특성)이 위치하는 영역의 스타일정보를 산출하는 것일 수 있다.
도 8을 참조하면, 일 실시예에서, 상기 제1 감성특성 공간맵(520)은, 도 8(a)와 같이 복수의 제1 개별감성특성을 각각의 제1 개별감성특성 간의 연관도를 기초로 평면상에 배치한 이미지 공간을 의미한다. 즉, 각각의 제1 개별감성특성이 입력되는 경우, 각각의 제1 개별감성특성의 상기 제1 감성특성 공간맵 상에서의 위치가 정해질 수 있다.
예를 들어, 입력된 제1 감성특성이 "우아한: 2, 실용적인: 1, 경쾌한: 2, 가벼운: 4, 부드러운: 1, 사랑스러운: 3, 여성스러운: 3, 화려한: 1, 섹시한: 2, 섬세한: 2, 시원한: 3, 자연스러운: 1, 순한: 2"으로, 각각의 제1 개별감성특성의 점수를 포함하도록 산출된 경우, 도 8(a)와 같이 각각의 제1 개별감성특성의 위치 및 점수를 기초로 제1 감성특성 공간맵 상에서 점으로 표시(530)될 수 있다.
또한, 일 실시예에서, 도 8(b)와 같이 상기 제1 감성특성 공간맵에 복수의 스타일 각각의 영역(540)이 설정될 수 있다. 즉, 각각의 스타일에 대한 개별제1 감성특성의 연관도를 고려하여 스타일 영역이 미리 설정될 수 있고, 각 스타일 영역은 겹치는 부분을 포함할 수 있다.
즉, 일 실시예에서, 스타일 인식모델(500) 내의 제1 감성특성 공간맵(520)에 복수의 스타일 각각의 영역(540)이 설정되어 있고, 특정 영상데이터로부터 산출된 제1 감성특성이 상기 스타일 인식모델에 입력됨으로써 각각의 제1 개별감성특성이 상기 제1 감성특성 공간맵에 표시(530)된 경우, 표시된 제1 개별감성특성을 기초로 상기 영상데이터에 대한 스타일정보를 산출할 수 있다.
구체적으로, 도 8(b)를 참조하면, 전술한 예시의 제1 감성특성이 입력되고 복수의 스타일 영역이 설정된 제1 감성특성 공간맵 상에 표시된 경우, 가장 많은 제1 개별감성특성(530)이 위치한 스타일 영역(543)의 스타일인 '로맨틱(Romantic) 스타일'을 스타일정보로 산출할 수 있다.
또한, 일 실시예에서, 복수의 스타일정보를 산출할 수 있으며, 이 경우 각 스타일 영역(540)에 위치한 제1 개별감성특성(530)의 개수를 기반으로 우선순위를 설정하여 복수의 스타일정보를 산출할 수 있다.
구체적으로, 전술한 예시에서 복수의 스타일정보를 산출하는 경우, 각 스타일 영역에 위치한 제1 개별감성특성의 개수를 기반으로 '로맨틱(Romantic) 스타일(543)', '엘레강스(Elegance) 스타일(544)', '캐주얼(Casual) 스타일(541)' 순으로 우선순위를 설정하여 복수의 스타일정보를 산출할 수 있다.
일 실시예에서, 산출된 상기 스타일정보는, 전술한 S4300단계에서 추천영상데이터정보를 생성하는 데 이용될 수 있다. 즉, 특정한 영상데이터의 외형서술데이터를 기초로 스타일정보가 산출된 경우, 상기 스타일정보와 동일하거나 유사한 스타일정보를 갖는 영상데이터를 추천영상데이터정보로 생성할 수 있다.
또한, 일 실시예에서, 상기 제1 감성특성 공간맵 상에 설정되는 영역은, 전술한 스타일 영역뿐만 아니라, 대상체의 외형에 대하여 인지되는 감성적 특성인 제1 감성특성과 연관되는 다양한 개념의 영역이 설정될 수 있다.
일 실시예에서, 상기 영상데이터가 복수의 프레임을 포함하는 동영상데이터인 경우, 상기 추상적특성 산출단계(S4100)는, 상기 동영상데이터 내의 각각의 프레임에 대해 수행되는 것을 특징으로 할 수 있고, 외형서술데이터 생성단계(S4200)는 각 프레임에 대한 복수의 개별외형특성 및 추상적특성을 순차적으로 나열하여 생성하는 것을 특징으로 할 수 있다.
본 발명의 다른 일실시예에 따른 영상데이터의 추상적특성 획득 서버장치는, 하나 이상의 컴퓨터를 포함하고, 상기 언급된 추상적특성 획득 방법을 수행한다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 영상데이터의 추상적특성 획득 서버장치(10)는, 추상적특성 인식모델(300), 외형서술데이터 생성부(600) 및 데이터베이스(800)를 포함하며, 전술한 추상적특성 획득 방법을 수행한다.
또한, 다른 실시예에서, 상기 서버장치(10)는 대상체유형 인식모델(100), 외형특성 인식모델(200), 세부유형 인식모델(400), 스타일 인식모델(500) 또는 추천영상데이터 생성부(700) 중 하나 이상을 더 포함할 수 있다.
또한, 전술한 본 발명의 일 실시예에 따른 영상데이터의 추상적특성 획득 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버(10) 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버(10) 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버(10) 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (13)

  1. 서버가 영상데이터에 대하여 산출된 복수의 개별외형특성을 추상적특성 인식모델에 입력하여, 추상적특성을 산출하는 단계; 및
    상기 서버가 상기 산출된 복수의 개별외형특성 및 추상적특성을 조합하여 외형서술데이터를 생성하는 단계를 포함하고,
    상기 개별외형특성은, 대상체의 외형을 서술하기 위한 특정한 분류기준인 외형분류기준 내의 다양한 외형특성을 표현하는 것이고,
    상기 추상적특성은, 상기 대상체의 외형을 기반으로 인지되는 제1 감성특성을 포함하는, 영상데이터의 추상적특성 획득 방법.
  2. 제1 항에 있어서,
    상기 개별외형특성은, 외형특성 인식모델 내의 상이한 외형분류기준을 판단하는 복수의 개별특성인식모듈 각각에 상기 영상데이터를 입력하여 산출되는 것을 특징으로 하고,
    상기 개별특성인식모듈은, 영상데이터의 특정한 외형분류기준에 포함된 개별외형특성을 산출하는 것인, 영상데이터의 추상적특성 획득 방법.
  3. 제1 항에 있어서,
    상기 외형분류기준은, 특정 유형의 대상체에만 적용되는 특화 외형분류기준 및 모든 유형의 대상체에 적용되는 범용 외형분류기준을 포함하는, 영상데이터의 추상적특성 획득 방법.
  4. 제1 항에 있어서,
    상기 추상적특성 인식모델은, 제1 감성특성 인식모델을 포함하고,
    상기 제1 감성특성 인식모델은,
    각 개별외형특성마다 복수의 제1 개별감성특성 각각에 대한 점수가 설정됨에 따라, 입력된 복수의 개별외형특성에 설정된 각각의 제1 개별감성특성에 대한 점수를 합산하여 제1 감성특성을 산출하는 것인, 영상데이터의 추상적특성 획득 방법.
  5. 제4 항에 있어서,
    상기 외형서술데이터를 생성하는 단계는,
    상기 영상데이터에 대한 복수의 개별외형특성 및 제1 감성특성 각각에 대응하는 코드값을 추출하여, 상기 복수의 코드값이 조합된 코드열 형태의 외형서술데이터를 생성하는 것이고,
    상기 제1 감성특성에 대응하는 코드값은,
    상기 제1 개별감성특성 각각에 대하여 합산된 점수에 대한 정보를 포함하는 것을 특징으로 하는, 영상데이터의 추상적특성 획득 방법.
  6. 제1 항에 있어서,
    상기 추상적특성은, 상기 대상체의 상품에 부여되는 정보를 기반으로 인지되는 제2 감성특성을 더 포함하고,
    상기 추상적특성 인식모델은, 상기 대상체의 상품정보를 입력 받아 제2 감성특성을 산출하는 제2 감성특성 인식모델을 포함하고,
    상기 제2 감성특성 인식모델은, 상이한 상품정보에 대한 제2 개별감성특성을 판단하는 복수의 제2 개별감성특성 인식모듈을 포함하는, 영상데이터의 추상적특성 획득 방법.
  7. 제1 항에 있어서,
    상기 서버가 상기 외형서술데이터에 매칭되는 추천외형서술데이터를 산출하여, 상기 추천외형서술데이터를 포함하는 하나 이상의 영상데이터에 대한 정보인 추천영상데이터정보를 생성하는 단계를 더 포함하는, 영상데이터의 추상적특성 획득 방법.
  8. 제7 항에 있어서,
    상기 추천영상데이터정보 생성단계는,
    상기 서버가 상기 외형서술데이터 및 제1 개별감성특성 간 연관도를 기초로 추천외형서술데이터를 산출하여, 추천영상데이터정보를 생성하는 것을 특징으로 하고,
    상기 제1 개별감성특성 간 연관도는, 각각의 제1 개별감성특성 간 유사도 및 비유사도를 포함하는, 영상데이터의 추상적특성 획득 방법.
  9. 제8 항에 있어서,
    상기 추천영상데이터정보를 생성하는 단계는,
    상기 서버가 상기 외형서술데이터, 상기 제1 개별감성특성 간 연관도 및 사용자 선호도정보를 기초로 추천외형서술데이터를 산출하여, 추천영상데이터정보를 생성하는 것을 특징으로 하고,
    상기 사용자 선호도정보는, 상기 사용자의 제1 개별감성특성 각각에 대한 선호 정보인, 영상데이터의 추상적특성 획득 방법.
  10. 제1 항에 있어서,
    상기 서버가 키워드에 하나 이상의 제1 개별감성특성을 매칭하는 단계; 및
    상기 서버가 사용자 클라이언트로부터 수신한 검색키워드에 매칭된 제1 개별감성특성을 추출하여, 상기 제1 개별감성특성을 포함하는 영상데이터를 상기 사용자 클라이언트에 전송하는 단계를 더 포함하는, 영상데이터의 추상적특성 획득 방법.
  11. 제1 항에 있어서,
    상기 서버가 상기 산출된 제1 감성특성을 스타일(style) 인식모델에 입력하여, 스타일정보를 산출하는 단계를 더 포함하고,
    상기 스타일 인식모델은,
    제1 감성특성 공간맵에 복수의 스타일 각각의 영역이 설정됨에 따라, 입력된 제1 감성특성이 위치하는 영역의 스타일정보를 산출하는 것이고,
    상기 제1 감성특성 공간맵은, 복수의 제1 개별감성특성을 각각의 제1 개별감성특성 간의 연관도를 기초로 평면상에 배치한 이미지 공간인, 영상데이터의 추상적특성 획득 방법.
  12. 하나 이상의 컴퓨터를 포함하며, 제1 항 내지 제11 항 중 어느 한 항의 방법을 실행하는, 영상데이터의 추상적특성 획득 서버장치.
  13. 하드웨어인 컴퓨터와 결합되어, 제1 항 내지 제11 항 중 어느 한 항의 방법을 실행시키기 위하여 기록매체에 저장된, 영상데이터의 추상적특성 획득 프로그램.
PCT/KR2020/007426 2019-06-10 2020-06-09 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램 WO2020251233A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0067795 2019-06-10
KR20190067795 2019-06-10
KR10-2020-0012943 2020-02-04
KR1020200012943A KR102119253B1 (ko) 2019-06-10 2020-02-04 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램

Publications (1)

Publication Number Publication Date
WO2020251233A1 true WO2020251233A1 (ko) 2020-12-17

Family

ID=70910841

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/KR2020/007426 WO2020251233A1 (ko) 2019-06-10 2020-06-09 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램
PCT/KR2020/007445 WO2020251238A1 (ko) 2019-06-10 2020-06-09 입력영상데이터 기반 사용자 관심정보 획득 방법 및 대상체 디자인 커스터마이징 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/007445 WO2020251238A1 (ko) 2019-06-10 2020-06-09 입력영상데이터 기반 사용자 관심정보 획득 방법 및 대상체 디자인 커스터마이징 방법

Country Status (2)

Country Link
KR (9) KR20200141373A (ko)
WO (2) WO2020251233A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200141373A (ko) * 2019-06-10 2020-12-18 (주)사맛디 외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램
KR102387907B1 (ko) * 2020-06-26 2022-04-18 주식회사 이스트엔드 크리에이터와 프로슈머가 참여하는 무지 의류 디자인 커스터마이징 방법 및 이를 위한 시스템
KR102524049B1 (ko) * 2021-02-08 2023-05-24 (주)사맛디 대상체 특성 정보에 기반한 사용자 코디 추천 장치 및 방법
KR102556642B1 (ko) 2021-02-10 2023-07-18 한국기술교육대학교 산학협력단 기계 학습 훈련을 위한 데이터 생성방법
CN113360477A (zh) * 2021-06-21 2021-09-07 四川大学 一种大规模定制女式皮鞋的分类方法
CN113807708B (zh) * 2021-09-22 2024-03-01 深圳市微琪思服饰有限公司 一种基于分布式的服装柔性生产制造平台系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1183461A (ja) * 1997-09-09 1999-03-26 Mitsubishi Electric Corp 物品種別認識システム
KR20110123006A (ko) * 2010-05-06 2011-11-14 윤진호 취향 요소에 기초한 상품 추천 방법과 추천된 상품들을 표시하는 방법 및 이들을 이용한 상품 추천 시스템
KR20120078837A (ko) * 2011-01-03 2012-07-11 김건민 코디네이션시스템을 이용한 상품 판매 및 경영관리시스템
CN108268539A (zh) * 2016-12-31 2018-07-10 上海交通大学 基于文本分析的视频匹配系统
KR102119253B1 (ko) * 2019-06-10 2020-06-04 (주)사맛디 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584633B (zh) 2012-08-23 2018-12-18 交互数字专利控股公司 在无线系统中采用多个调度器进行操作
KR101579617B1 (ko) * 2014-04-04 2015-12-22 홍익대학교세종캠퍼스산학협력단 3ｄ 프린팅 로봇의 이미지 변환 툴 시스템 및 이의 구동 방법
KR20170096971A (ko) * 2016-02-17 2017-08-25 옴니어스 주식회사 스타일 특징을 이용한 상품 추천 방법
KR20180014495A (ko) * 2016-08-01 2018-02-09 삼성에스디에스 주식회사 객체 인식 장치 및 방법
KR102530045B1 (ko) * 2016-12-23 2023-05-09 삼성전자주식회사 전자 장치 및 그 동작 방법
KR20180133200A (ko) 2018-04-24 2018-12-13 김지우 기록매체에 기록된 의류관리 어플리케이션 프로그램, 이를 이용한 의류 관리 시스템 및 방법
KR102024818B1 (ko) * 2018-04-30 2019-09-24 오드컨셉 주식회사 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1183461A (ja) * 1997-09-09 1999-03-26 Mitsubishi Electric Corp 物品種別認識システム
KR20110123006A (ko) * 2010-05-06 2011-11-14 윤진호 취향 요소에 기초한 상품 추천 방법과 추천된 상품들을 표시하는 방법 및 이들을 이용한 상품 추천 시스템
KR20120078837A (ko) * 2011-01-03 2012-07-11 김건민 코디네이션시스템을 이용한 상품 판매 및 경영관리시스템
CN108268539A (zh) * 2016-12-31 2018-07-10 上海交通大学 基于文本分析的视频匹配系统
KR102119253B1 (ko) * 2019-06-10 2020-06-04 (주)사맛디 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OMNIOUS MEDIA: "Omnius tagger introduction video", YOUTUBE, 23 May 2019 (2019-05-23), pages 1 - 2, XP054981533, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=bbhjsKRy34o> [retrieved on 20210312] *

Also Published As

Publication number Publication date
KR20200141373A (ko) 2020-12-18
KR102115574B1 (ko) 2020-05-27
KR20200141388A (ko) 2020-12-18
KR20200141375A (ko) 2020-12-18
KR102227896B1 (ko) 2021-03-15
KR20200141384A (ko) 2020-12-18
KR20210002410A (ko) 2021-01-08
WO2020251238A1 (ko) 2020-12-17
KR102355702B1 (ko) 2022-01-26
KR20200141929A (ko) 2020-12-21
KR102115573B1 (ko) 2020-05-26
KR102119253B1 (ko) 2020-06-04
KR102366580B1 (ko) 2022-02-23

Similar Documents

Publication Publication Date Title
WO2020251233A1 (ko) 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램
WO2021132927A1 (en) Computing device and method of classifying category of data
WO2010120101A2 (ko) 역 벡터 공간 모델을 이용한 키워드 추천방법 및 그 장치
WO2021025397A1 (en) Method and electronic device for quantifying user interest
WO2016125949A1 (ko) 문서 자동 요약 방법 및 서버
WO2021141419A1 (en) Method and apparatus for generating customized content based on user intent
WO2021132802A1 (en) Apparatus for video searching using multi-modal criteria and method thereof
WO2021051558A1 (zh) 基于知识图谱的问答方法、装置和存储介质
WO2022060066A1 (ko) 전자 장치, 컨텐츠 검색 시스템 및 검색 방법
WO2019125054A1 (en) Method for content search and electronic device therefor
WO2019093599A1 (ko) 사용자 관심 정보 생성 장치 및 그 방법
WO2024091080A1 (ko) 동영상 자동 생성 방법 및 동영상 자동 생성 서버
WO2021051557A1 (zh) 基于语义识别的关键词确定方法、装置和存储介质
WO2022139327A1 (en) Method and apparatus for detecting unsupported utterances in natural language understanding
KR20200141387A (ko) 딥러닝 알고리즘을 이용한 영상데이터 검색방법, 장치 및 프로그램
WO2024075927A1 (en) Meta-searching method and apparatus
WO2011078430A1 (ko) 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법
WO2020251236A1 (ko) 딥러닝 알고리즘을 이용한 영상데이터 검색 방법, 장치 및 프로그램
WO2023018150A1 (en) Method and device for personalized search of visual media
WO2016080695A1 (ko) 음향 정보에 기초한 사용자 다수 행위 인식 방법
WO2019194569A1 (ko) 이미지 검색 방법, 장치 및 컴퓨터 프로그램
WO2020050550A1 (en) Methods and systems for performing editing operations on media
WO2020149687A1 (ko) 뷰티 콘텐츠 기반 데이터베이스 구축 방법 및 이를 이용한 뷰티 콘텐츠 또는 뷰티 오브젝트 검색 방법
KR102366595B1 (ko) 영상데이터의 외형서술데이터 획득 방법, 장치 및 프로그램
WO2021149930A1 (en) Electronic device and story generation method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20822978

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 260422)

122 Ep: pct application non-entry in european phase

Ref document number: 20822978

Country of ref document: EP

Kind code of ref document: A1