WO2018097379A1 - 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버 - Google Patents

영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버 Download PDF

Info

Publication number
WO2018097379A1
WO2018097379A1 PCT/KR2016/013953 KR2016013953W WO2018097379A1 WO 2018097379 A1 WO2018097379 A1 WO 2018097379A1 KR 2016013953 W KR2016013953 W KR 2016013953W WO 2018097379 A1 WO2018097379 A1 WO 2018097379A1
Authority
WO
WIPO (PCT)
Prior art keywords
post
hash tag
image
video
name
Prior art date
Application number
PCT/KR2016/013953
Other languages
English (en)
French (fr)
Inventor
박정화
Original Assignee
주식회사 인디씨에프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인디씨에프 filed Critical 주식회사 인디씨에프
Publication of WO2018097379A1 publication Critical patent/WO2018097379A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08—Annexed information, e.g. attachments

Definitions

  • the present invention relates to a method for setting a hash tag for online distribution of image content, and the method of automatically inserting a related hash tag by performing object recognition on a corresponding image, and software for storing the software. Relates to a distribution server.
  • a hash tag is a kind of identification code used in a social network service, and when a specific word is written after the hash symbol (#), posts about the word can be collected.
  • the first hashtag was used in 1970. It wasn't the same as it is, but it was used for programming code. It began to be used in social media (or social networking services) such as Twitter, Facebook, and Instagram, and as such, it is widely used by the general public. It became. When uploading your post or video as a post on Facebook, etc., use hashtags in the post.
  • hash tag is used a lot as one of social media advertising techniques.
  • Posts that use the company's trademark or product name as hashtags are registered, and consumers who are interested in the content of the post re-post the content or use the process of participating in a new event resulting from the advertisement method.
  • hashtags can be used to collect posts tagged with the same hashtag, they have also been used in advertising because they can monitor the results of advertisement promotions or events.
  • the advertising market is a complex market that produces, distributes, and consumes advertising goods within a distribution structure connected to advertisers, media companies (or media), and advertising companies. Every economic entity that provides services or supplies goods uses the advertising market to take advantage of a marketing tool called advertising that promotes its products to consumers.
  • video advertisements are not only immediately delivered to the public through sight and hearing, but because they can convey a story even though it is a short time, the advertisement effect is relatively larger than other forms of advertisements.
  • the video advertisement has a different degree of exposure or effect depending on the medium in which the video advertisement is played.
  • TV TV
  • the cost is very expensive, and only a limited number of advertisers can use it.
  • advertising using Internet portal sites or social media advertising platforms is relatively inexpensive, but less effective.
  • Advertisement using post itself distributed through social media is not a special platform for advertisements, so various efforts or additional means are required for the advertisement function, and one of them is a method using hashtags.
  • the present invention extracts a hash tag by comparing the feature information extracted from the sale product image with the property information of the prestored reference image and selecting a hash tag of the reference image having a certain degree of similarity or more with the sale product image.
  • This method is difficult to apply to a video such as an advertisement video in that the hash tag is extracted for the image other than the video.
  • the present invention finds a reference image having a similarity in the overall dimension of an image and extracts a hash tag thereof.
  • it is difficult to apply the hash tag is not managed separately if a predetermined video.
  • An object of the present invention relates to a method of setting a hash tag for internet distribution of image content, and to insert an associated hash tag by performing object recognition on the corresponding image, and performing the method.
  • the present invention provides a software distribution server in which software is stored.
  • the present invention is performed in a terminal capable of generating a post for posting a video on a social media website, and discloses a method for automatically inserting a hashtag (Hashtag) in the post .
  • the method may further include displaying a post generation screen for generating a post as a post by the post generation unit of the terminal; Recognizing, by the image processing unit of the terminal, at least one object from each image frame of the video and extracting a name of the recognized at least one object from a database; Extracting at least one noun from the subtitle inserted into the video by the image processor; And completing the post by inserting a name and a noun of the at least one object together with the video into a hash tag on the post generation screen by the post generation unit of the terminal.
  • the method may include: receiving, by the post generator, a reference hash tag from a user, and using the pre-established associative algorithm, the reference hash among the names and nouns of the at least one object.
  • the method may further include extracting a word associated with the tag.
  • the step of completing the post inserts the extracted words into hashtags in place of names and nouns of the at least one object.
  • One of the methods for receiving the reference hash tag includes receiving a message to be included in the post from the user through the post generation screen, and then using the reference hash tag with the most repeated nouns among at least one noun included in the message. Is to use.
  • the database is preferably a server of the social media web site.
  • the method may further include selecting, by the post generator, a predetermined number of words in order of high repetition rate among names and nouns of the at least one object. In this case, completing the post inserts the selected word into a hashtag.
  • the step of completing the post may insert the name of the person extracted from the database together with the selected word into a hashtag.
  • the database is preferably a server of the social media web site.
  • the present invention also extends to a software distribution server that stores software for performing operations of the image processor and post generator of the hash tag setting method described above.
  • the software distribution server stores and manages the software in a computer-readable storage medium, and the terminal can download the software by accessing the software distribution server through the Internet.
  • the terminal may automatically extract and insert a word to be used as a hash tag from the video.
  • the possibility of the image being searched through the hash tag search becomes very high. Since a specific video is more likely to be searched for in a user's general search keyword on an open platform called social media, the advertisement effect is increased when the video is an advertising video.
  • FIG. 1 is a block diagram of a system including a terminal in which the method of the present invention is performed;
  • FIG. 2 is a view showing an example of a post generation screen displayed on the terminal of the present invention.
  • 3 is a flowchart provided to explain the hashtag generation method of the present invention.
  • the method of the present invention may be performed by software for performing the method of the present invention on a terminal capable of connecting to the Internet and accessing social media.
  • the terminal in which the software for processing the method of the present invention is installed becomes the terminal of the present invention.
  • the terminal of the present invention can be used not only in a portable terminal such as a smart phone but also in a personal computer, a notebook, and the like.
  • the mobile terminal will be described.
  • the terminal 100 of the present invention may be connected to a social media server (hereinafter, simply referred to as a “media server”) 30 through the Internet 10, and may be connected to a software distribution server 50 or the like. It may be.
  • the terminal 100 provides an interface for generating a post for uploading to a social media web page to the user, and the user can post his / her own image on social media using the interface.
  • the terminal 100 of the present invention may extract a word from the user's video material and automatically insert the word into the post as a hash tag.
  • the video material refers to a video, and may include a plurality of video frames, an audio source, a subtitle, and the like.
  • a 60 frame rate, 15 second video is produced with 900 video frames and compressed to the standard of Moving Picture Experts Group (MPEG) 4.
  • MPEG Moving Picture Experts Group
  • the media server 30 may be any server that operates social media capable of posting posts containing videos.
  • social media include Facebook, Instagram and the like, for example, a server that operates Facebook corresponds to the media server 30 of the present invention.
  • the media server 30 not only provides an interface for uploading a post, but also provides an API (Application Programming Interface) for informing the name of a person matching the feature data described below in response to a request of the terminal 100 of the present invention. And APIs to provide relevant search terms for specific words.
  • API Application Programming Interface
  • the software distribution server 50 is a server called a "app store”.
  • the image processing unit 111 and the post generation unit 113 of the terminal 100 described below may be made of at least one software that performs the operation.
  • the terminal 100 may be configured from the software distribution server 50. You can download the software.
  • the terminal 100 of the present invention includes a display unit 101, an input unit 103, a network interface 105, and a control unit 110, and a camera (not shown) and a microphone ( Not shown).
  • the display unit 101 is a means for visually displaying various types of information to the user, and the input unit 103 receives a user's control command or a message to be input to a post.
  • the display unit 101 and the input unit 103 may be integrally formed like a touch screen.
  • the network interface 105 connects to the media server 30 or the software distribution server 50 via the Internet 10.
  • the controller 110 controls the overall operation of the mobile terminal 100, and includes an image processor 111 and a post generator 113 specifically for automatically registering the hash tag of the present invention.
  • the control unit 110 may be interpreted as a configuration specially installed for the present invention, but in general, the control unit 110 is installed in the manufacturing state of the terminal to perform the main or basic functions (eg, telephone, communication, etc.) of the mobile terminal 100. It may be a configuration. As such, when the controller 110 is configured to perform the basic functions of the mobile terminal 100, the controller 110 may include a processor chip, which is hardware that the mobile terminal 100 basically holds, and the chip. It may be a functional indication of the configuration implemented by an operating system program (OS) operating based on. In other words, the conventional terminal to which the present invention is not applied may also include a controller 110.
  • OS operating system program
  • the image processing unit 111 and the post generating unit 113 may be installed in an existing terminal for the implementation of the present invention as an application (Application) that is software that operates on the operating system program.
  • Application Application
  • the portable terminal 100 of the present invention becomes.
  • an application may be software recorded in a computer-readable storage medium 51 provided by a separate software distribution server 50, the portable terminal 100 is connected to the software distribution server 50 You can also download and install the application (or software).
  • the image processing unit 111 and the post generating unit 113 may be set to operate at all times in the mobile terminal 100 so that the mobile terminal 100 may operate even when the mobile terminal 100 is in a locked state. It is preferable to operate only when inputting an operation command (icon click or the like).
  • the image processor 111 extracts a word to be used as a hash tag from an image to be inserted into a post of a user, and a method of recognizing an object from an image and a method of extracting a word from a caption inserted into the image.
  • the image processor 111 performs image processing for extracting an object from all frames of the image.
  • the object may be anything such as a human face, a phone, a car, a cup, or a fruit, and may be extracted only from one frame among a plurality of frames of an image.
  • the method used for object extraction may use a conventionally known method such as contour detection. For example, in the case of a face of a person, it is checked whether a face is displayed on a specific area of an image by recognizing ordinary 'Facial Features' of the face of the person. Since the object is extracted for each image frame, the object repeatedly extracted at the same position of the plurality of image frames by the image processing technique is determined to be the same object, and so on, the image processor 111 at least one or more from the corresponding image object. Extract the object.
  • contour detection For example, in the case of a face of a person, it is checked whether a face is displayed on a specific area of an image by recognizing ordinary 'Facial Features' of the face of the person. Since the object is extracted for each image frame, the object repeatedly extracted at the same position of the plurality of image frames by the image processing technique is determined to be the same object, and so on, the image processor 111 at least one or more from the corresponding image object. Extract the object.
  • the image processor 111 extracts the recognized name of at least one object from the database.
  • the database may be provided in the terminal 100, but it is usually preferable that the media server (30).
  • the image processor 111 may provide feature data to the media server 30 to obtain the name of the extracted person.
  • the media server 30 may correspond to publishing an API providing a name of a person matching the feature data.
  • the image processor 111 extracts at least one noun from the subtitles inserted into the video material. Parsing data of a video that is text is parsed to extract nouns from the text.
  • the image processing unit 111 may include an algorithm for extracting nouns from text, but may also separate text nouns by providing text to a separate external server, for example, the media server 30.
  • the image processor 111 provides the post generator 113 with the words extracted from the image.
  • the word extracted as an image includes a name of at least one object obtained through object recognition and at least one noun obtained through parsing a subtitle.
  • the post generation unit 113 generates a post to be uploaded to a corresponding social media according to a user's control command when uploading an image to a specific social media. At this time, the post generation unit 113 displays a screen for creating a post to the user through the display unit 101.
  • the user may select an image after the post generation screen (A) is displayed, or when the user requests a post generation while the user first selects the video, the post generation unit 113 displays the post generation screen (A) on the display unit 101. You may. In any case, when a user selects an image, the image processor 111 extracts a word to be used as a hash tag from the image.
  • FIG. 2 is an example of a post generation screen A displayed on the display unit 101.
  • the post generation screen (A) the 'image area A1' into which the image is inserted, the 'message area A3' where the text message input by the user is displayed, and the post generation unit 113 described below are automatically generated. Includes a 'hash tag area A5' in which the generated hash tag is displayed.
  • an input window A7 for inputting text is displayed in the message area A3 and the hash tag area A5.
  • the post generator 113 selects a hash tag to be automatically inserted into the post by the user using the words extracted from the image by the image processor 111, and the hash tag area A5 of the post generation screen A. Mark on.
  • the post generation unit 113 completes the post generation and uploads the completed post to the social media server 30 using the network interface 105.
  • the post generator 113 inserts all the words extracted from the image by the image processor 111 into the hash tag. When a plurality of words are extracted, the post generation unit 113 adds a '#' in front of each word and inserts a space in the hash tag area A5.
  • the post generator 113 may select a preset number (eg, five) from the names and nouns of the objects extracted by the image processor 111 according to a preset priority, and set only the selected ones as hashtags. have.
  • a preset number eg, five
  • the names and nouns of the objects extracted by the image processor 111 are very likely to include the same ones. Therefore, the priority may be basically set in the order of high repetition rate among names and nouns extracted by the image processor 111. Accordingly, the post generator 113 may select five words that overlap a lot from the names and nouns of the objects extracted by the image processor 111.
  • the hash tag is used as an identifier for users to collect and retrieve data
  • the most important thing when determining the priority is how the general user uses the hash tag.
  • users use hashtags to search for posts on a topic or issue, they tend to use people's names and nouns. Therefore, when the object is a face of a person and the image processing unit 111 detects a 'person's name' by the name of the object, the object needs to be used as a hash tag in preference to others.
  • the post generation unit 113 may select the hash tag word together with the repetition word selected in the first embodiment.
  • Example 3 Standard Hash Tag of a User
  • the post generator 113 may receive a reference hash tag from the user.
  • the user can enter his or her name, trademark or any other word as a base hashtag.
  • the reference hash tag is naturally displayed in the hash tag area A5 as a hash tag.
  • the post generator 113 extracts an associated word using a predetermined association algorithm, and hashes the matched word among the names and nouns of the object extracted by the image processor 111. Can be set by tag.
  • the terminal 100 or the post generator 113 may have an associated word extraction algorithm.
  • the post generator 113 may receive a related word by providing a reference hash tag to an external server (eg, a social media server) having an associated word extraction algorithm for a specific word, and the image processor 111 may receive the related word.
  • Hashtags can be extracted from the names and nouns of the extracted objects that match the associated words.
  • the post generation unit 113 selects some words as reference hashtags from messages input by the user in the message area A3 of the post generation screen A, in addition to directly receiving a reference hashtag from the user. Can be.
  • the post generation unit 113 may receive a message to be included in the post from the user through the message area (A3) of the post generation screen (A).
  • the post generator 113 may apply the most repeated nouns among the at least one noun included in the message as a reference hash tag when a message is input.
  • the post generator 113 displays the post generation screen A on the display unit 101 (S303).
  • the user may request a post generation screen (A) and select an image.
  • the image processor 111 recognizes the object from the image, extracts the name of the recognized object (S305), and extracts a noun from the subtitles inserted into the image (S307).
  • the name and words of the extracted object are transmitted to the post generator 113.
  • the post generator 113 waits for input of the reference hash tag itself from the user (S309).
  • the post generation unit 113 checks the corresponding word as the reference hash tag (S311). ).
  • the post generator 113 waits for the message to be inserted into the post from the user to the message area A3 (S313), and if the message is inserted, the post generator 113 sends the message.
  • step S315 a word to be used as a hash tag is selected from the method of the fourth embodiment described above.
  • the post generator 113 finally selects a hash tag to be inserted into the post by using the words extracted through the steps S305 and S307 and the reference hash tag selected through the steps S311 or S315.
  • the post generator 113 may use at least one method selected from the first to fourth embodiments described above.
  • the post generation unit 113 uses the words extracted through steps S305 and S307 to hash the method according to the first and / or second embodiments described above. Select a tag.
  • the post generator 113 After inputting the hash tag as the last selected word in step S317, the post generator 113 waits for the user's upload command (S319) and uploads the post to the media server 30 (S321).
  • the hash tag insertion method according to the image recognition of the present invention is performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버가 개시된다. 본 발명의 단말기는 사용자가 자신의 동영상을 소셜 미디어의 웹 페이지에 업로드하기 위한 게시물을 만들 때, 동영상으로부터 해시태그로 사용할 단어를 자동으로 추출하여 삽입할 수 있다. 영상에 대한 객체 인식을 통해 획득한 객체의 이름이나 영상물에 삽입된 자막으로부터 추출한 단어를 해시태그로 이용하기 때문에, 영상물이 해시태그 검색을 통해서 검색될 가능성이 매우 높아진다.

Description

영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버
본 발명은 영상 콘텐츠의 온라인 유통을 위한 해시 태그(Hash Tag) 설정방법에 관한 것으로서, 해당 영상에 대한 객체 인식을 수행하여 관련 해시태그를 자동으로 삽입하는 방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버에 관한 것이다.
해시 태그(Hash Tag)란, 소셜 관계망 서비스 등에서 사용되는 식별코드의 일종으로, 해시 기호(#) 뒤에 특정 단어를 쓰면 그 단어에 대한 게시물을 모아 볼 수 있다.
해시태그가 처음 사용된 것은 1970년이다. 지금과 같은 기능은 아니었지만, 프로그래밍 코드 등에 사용되었다. 그러던 것이 트위터(Twitter), 페이스북(Facebook), 인스타그램(Instagram)과 같은 소셜 미디어(Social Media)(또는 사회 관계망 서비스)에서 사용하기 시작하면서 앞에서 정의한 것과 같은 역할로 일반인들도 널리 사용하게 되었다. 페이스북 등에 자신의 글이나 영상을 게시물로 업로드할 때, 해시태그를 게시되는 글 중에 포함하는 방식으로 사용한다.
최근에 소셜 미디어를 이용한 광고 기법의 하나로 해시태그를 많이 이용한다. 기업의 상표나 제품명 등을 해시태그로 사용한 게시물이 등록되고, 게시물의 내용에 흥미를 느낀 소비자들이 해당 콘텐츠를 다시 게시하거나, 그로부터 비롯되는 새로운 이벤트에 참여하는 과정을 광고의 방법으로 이용하는 것이다. 예를 들어, 해시태그를 이용하면 동일한 해시태그가 붙은 게시물들을 모아 볼 수 있기 때문에, 광고 프로모션이나 이벤트의 결과를 모니터링 할 수 있다는 점에서도 광고에 많이 사용되기 시작했다.
한편, 광고시장은 광고주, 매체사(또는 매체), 광고회사가 연결된 유통구조 내에서 광고라는 재화를 생산, 분배, 소비하는 복합적인 시장이다. 용역을 제공하거나 상품을 공급하는 모든 경제주체는 자신의 상품을 소비자에게 널리 알리는 광고라는 마케팅 수단을 활용하기 위하여 광고시장을 이용한다.
광고물의 형태적인 측면에서 영상 광고는 시각과 청각을 통해 즉각적으로 대중에게 전달될 뿐만 아니라 비록 짧은 시간이지만 하나의 스토리를 전달할 수 있기 때문에 다른 형태의 광고에 비하여 그 광고효과가 상대적으로 크다. 영상 광고는 영상 광고가 재생되는 매체에 따라 그 광고의 노출 정도나 효과가 다르다. 알려진 것처럼, 티브이(TV)라는 대중매체가 영상 광고를 위한 매체로 가장 널리 사용되고 효과도 크지만 비용이 매우 고가인 점에서, 제한된 일부 광고주만 이용할 수밖에 없다. 그런 측면에서, 인터넷 포털 사이트나 소셜 미디어의 광고 플랫폼을 이용한 광고는 상대적으로 비용이 적게 드는 장점이 있지만 그만큼 효과도 적다.
소셜 미디어를 통해 유통되는 게시물 자체를 이용한 광고는 특별히 광고 전문 플랫폼이 아니므로, 광고 기능을 하기 위해서는 여러 가지 노력이나 부가 수단이 필요하고, 그 중 하나가 해시태그를 이용하는 방법이다.
영상 콘텐츠를 소셜 미디어에 업로드하면서 해시태그를 부착할 때, 반드시 영상의 내용을 요약한 단어를 선택해야 한다거나 하는 특별한 제한이 있는 것은 아니며 어떠한 것이라도 해시태그로 가능하다. 오히려 이러한 점이 의외의 광고 효과로 발현되기도 한다.
[관련 선행기술]
대한민국 등록특허 제1657582호 (웹을 이용한 상품 이미지의 해시 태그 추출 시스템 및 방법)
이 발명은 판매 상품 이미지로부터 추출한 특성 정보를 기저장된 기준 이미지의 특성 정보와 비교하여 판매 상품 이미지와 일정한 유사도 이상의 유사도를 갖는 기준 이미지의 해시 태그를 선택하는 방식으로 해시 태그를 추출한다.
이 방법은 동영상이 아닌 이미지에 대하여 해시 태그를 추출하는 점에서 광고 영상물과 같은 동영상에 적용하기가 어렵다. 예를 들어, 이 발명은 이미지 전체 차원의 유사도가 있는 기준 이미지를 찾아 그 해시태그를 추출하는데, 동영상의 차원에서 이러한 유사도를 가지는 동영상을 추출하기는 어렵다. 또한, 해시태그가 기설정된 동영상을 별도로 관리하지 않으면 적용하기가 어려운 점이 있다.
본 발명의 목적은, 영상 콘텐츠의 인터넷 유통을 위한 해시 태그(Hash Tag) 설정방법에 관한 것으로서, 해당 영상에 대한 객체 인식 등을 수행하여 관련 해시태그를 자동으로 삽입하는 방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버를 제공함에 있다.
상기 목적을 달성하기 위하여, 본 발명은 소셜 미디어의 웹 사이트에 동영상을 게시하기 위한 게시물을 생성할 수 있는 단말기에서 수행되는 것으로서, 상기 게시물에 해시태그(Hashtag)를 자동으로 삽입하는 방법을 개시한다. 본 발명의 방법은, 상기 단말기의 게시물생성부가 상기 동영상을 상기 게시물로 생성하기 위한 게시물 생성화면을 표시하는 단계와; 상기 단말기의 영상처리부가 상기 동영상의 각 영상 프레임으로부터 적어도 하나의 객체를 인식하고 상기 인식한 적어도 하나의 객체의 이름을 데이터베이스로부터 추출하는 단계와; 상기 영상처리부가 상기 동영상에 삽입된 자막으로부터 적어도 하나의 명사를 추출하는 단계; 및 상기 단말기의 게시물생성부가 상기 게시물 생성화면에 상기 동영상과 함께 상기 적어도 하나의 객체의 이름과 명사를 해시태그로 삽입하여 상기 게시물을 완성하는 단계를 포함한다.
실시 예에 따라, 본 발명의 방법은, 상기 게시물생성부가 사용자로부터 기준 해시태그를 입력받는 단계와, 상기 게시물생성부가 기설정된 연관 알고리즘을 이용하여 상기 적어도 하나의 객체의 이름과 명사 중에서 상기 기준 해시태그에 연관된 단어를 추출하는 단계를 더 포함할 수 있다. 이 경우, 상기 게시물을 완성하는 단계는 상기 적어도 하나의 객체의 이름과 명사를 대신하여 상기 추출된 단어를 해시태그로 삽입한다. 상기 기준 해시태그를 입력받는 방법 중 하나는, 상기 게시물 생성화면을 통해 사용자로부터 상기 게시물에 포함될 메시지를 입력받는 다음, 상기 메시지에 포함된 적어도 하나의 명사 중에서 가장 많이 반복된 명사를 상기 기준 해시태그로 사용하는 것이다.
다른 실시 예에 따라, 상기 추출한 객체가 사람의 얼굴인 경우에, 상기 데이터베이스는 상기 소셜 미디어 웹 사이트의 서버인 것이 바람직하다.
또 다른 실시 예에 따라, 본 발명의 방법은, 상기 게시물생성부가 상기 적어도 하나의 객체의 이름과 명사 중에서 반복률이 높은 순서로 기설정된 개수의 단어를 선택하는 단계를 더 포함할 수 있다. 이 경우, 상기 게시물을 완성하는 단계는 상기 선택된 단어를 해시태그로 삽입한다.
더 나아가, 본 발명은 상기 추출한 객체가 사람의 얼굴인 경우에, 상기 게시물을 완성하는 단계는 상기 선택된 단어와 함께 상기 데이터베이스로부터 추출한 상기 사람의 이름을 해시태그로 삽입할 수 있다. 이때, 상기 데이터베이스는 상기 소셜 미디어 웹 사이트의 서버인 것이 바람직하다.
본 발명은 앞서 설명한 해시태그 설정방법의 상기 영상처리부 및 게시물생성부의 동작을 수행하는 소프트웨어를 저장하고 있는 소프트웨어 분배 서버에도 미친다. 이때 소프트웨어 분배 서버는 컴퓨터로 읽을 수 있는 저장매체에 상기 소프트웨어를 저장하여 관리하고 있으며, 상기 단말기는 인터넷을 통해 소프트웨어 분배 서버에 접속하여 상기 소프트웨어를 다운로드 할 수 있다.
본 발명의 단말기는 사용자가 자신의 동영상을 소셜 미디어의 웹 페이지에 업로드하기 위한 게시물을 만들 때, 동영상으로부터 해시태그로 사용할 단어를 자동으로 추출하여 삽입할 수 있다.
영상에 대한 객체 인식을 통해 획득한 객체의 이름이나 영상물에 삽입된 자막으로부터 추출한 단어를 해시태그로 이용하기 때문에, 영상물이 해시태그 검색을 통해서 검색될 가능성이 매우 높아진다. 소셜 미디어라는 공개 플랫폼에서 특정 동영상이 사용자의 일반적인 검색 키워드에서 검색될 가능성이 높아지므로, 해당 동영상이 광고 영상인 경우에 광고 효과도 높아진다.
도 1은 본 발명의 방법이 수행되는 단말기를 포함하는 시스템의 구성도,
도 2는 본 발명의 단말기에 표시되는 게시물 생성화면의 일 예를 도시한 도면, 그리고
도 3은 본 발명의 해시태그 생성방법의 설명에 제공되는 흐름도이다.
이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
본 발명의 방법은 인터넷에 접속하여 소셜 미디어에 접속할 수 있는 단말기에서 본 발명의 방법을 수행하는 소프트웨어에 의해 수행될 수 있다. 따라서 본 발명의 방법을 처리하는 소프트웨어가 설치된 단말기는 본 발명의 단말기가 된다. 예컨대 스마트 폰과 같은 휴대 단말기뿐만 아니라 개인용 컴퓨터, 노트북 등에서 본 발명의 단말기가 될 수 있다. 이하에서는 그 중에서도 휴대 단말기를 중심으로 설명한다.
도 1을 참조하면, 본 발명의 단말기(100)는 인터넷(10)을 통해 소셜 미디어 서버(이하, 간단히 '미디어 서버'라 함)(30)에 연결될 수 있고, 소프트웨어 분배 서버(50) 등에 연결될 수도 있다. 단말기(100)는 소셜 미디어 웹 페이지에 업로드하기 위한 게시물을 생성할 수 있는 인터페이스를 사용자에게 제공하며, 사용자는 그 인터페이스를 이용하여 자신의 영상물을 소셜 미디어에 게시할 수 있다.
이때, 본 발명의 단말기(100)는 사용자의 영상물로부터 단어를 추출하여, 게시물에 해시태그로 자동 삽입할 수 있다. 여기서, 영상물은 동영상을 의미하는 것으로서, 복수 개의 영상 프레임과, 오디오 소스와 자막 등이 포함될 수 있다. 예를 들어, 60 프레임 레이트(Frame Rate), 15초 영상이면 900개의 영상 프레임으로 제작되며, MPEG(Moving Picture Experts Group) 4의 표준으로 압축된다.
미디어 서버(30)는 동영상이 포함된 게시물을 게시할 수 있는 소셜 미디어를 운영하는 서버이면 어떠한 것이어도 무방하다. 현재 널리 알려진 소셜 미디어로는 페이스북, 인스타그램 등이 있으며, 예를 들어 페이스북을 운용하는 서버는 본 발명의 미디어 서버(30)에 해당한다. 미디어 서버(30)는 게시물의 업로드를 위한 인터페이스를 제공할 뿐만 아니라, 본 발명의 단말기(100)의 요청에 따라 아래에서 설명하는 특징 데이터에 매칭하는 사람의 이름을 알려주는 API(Application Programming Interface)와, 특정 단어에 대한 연관 검색어를 제공해 주는 API를 개방해야 한다.
소프트웨어 분배 서버(50)는 소위 '앱 스토어'로 불리는 서버이다. 아래에서 설명되는 단말기(100)의 영상처리부(111)와 게시물생성부(113)는 그 동작을 수행하는 적어도 하나의 소프트웨어로 만들어질 수 있는데, 단말기(100)는 소프트웨어 분배 서버(50)로부터 이 소프트웨어를 다운로드 받을 수 있다.
본 발명의 단말기(100)는 표시부(101), 입력부(103), 네트워크 인터페이스(105) 및 제어부(110)를 구비하며, 필요에 따라 영상물을 자체로 생성하기 위하여 카메라(미도시)와 마이크로폰(미도시) 등을 구비할 수 있다.
표시부(101)는 사용자에게 각종 정보를 시각적으로 표시하기 위한 수단이며, 입력부(103)는 사용자의 제어명령이나 게시물에 입력할 메시지 등을 입력받는다. 표시부(101)와 입력부(103)는 터치 스크린(Touch Screen)처럼 일체로 형성될 수 있다. 네트워크 인터페이스(105)는 인터넷(10)을 통해 미디어 서버(30)나 소프트웨어 분배 서버(50)에 접속한다.
제어부(110)는 휴대 단말기(100)의 전반적인 동작을 제어하며, 본 발명의 해시태그 자동 등록을 위하여 특별히 영상처리부(111)와 게시물생성부(113)를 포함한다.
제어부(110)는 본 발명을 위해 특별히 설치된 구성으로 해석될 수도 있으나, 일반적으로는 휴대 단말기(100)의 주된 또는 기본 기능(예컨대, 전화, 통신 등)을 수행하기 위해 단말기의 제조상태에서 기설치된 구성일 수도 있다. 이처럼 제어부(110)가 휴대 단말기(100)의 기본 기능을 수행하기 위해 설치된 구성일 경우, 제어부(110)는 휴대 단말기(100)가 기본적으로 보유하는 하드웨어인 프로세서 칩(Processor Chip)과, 그 칩에 기반하여 동작하는 운영체제 프로그램(OS: Operating System)으로 구현되는 구성을 기능적으로 지시한 것일 수 있다. 다시 말해, 본 발명이 적용되지 않은 종래의 단말기 역시 제어부(110)를 구비할 수 있다.
이런 측면에서, 영상처리부(111)와 게시물생성부(113)는 그 운영체제 프로그램상에서 동작하는 소프트웨어인 어플리케이션(Application)으로서 본 발명의 실시를 위해 기존의 단말기에 설치된 것일 수 있다. 다시 말해 기존의 휴대 단말기에 본 발명의 게시물생성부(113), 영상처리부(111) 및 게시물생성부(113)가 설치되면 본 발명의 휴대 단말기(100)가 되는 것이다. 한편, 이러한 어플리케이션은 별도의 소프트웨어 분배 서버(50)가 구비한 컴퓨터로 읽을 수 있는 저장매체(51)에 기록된 소프트웨어일 수 있으며, 휴대 단말기(100)가 소프트웨어 분배 서버(50)에 접속하여 해당 어플리케이션(또는 소프트웨어)을 다운로드 받아 설치할 수도 있다.
영상처리부(111)와 게시물생성부(113)는 휴대 단말기(100) 내에서 상시 동작하도록 설정됨으로써 휴대 단말기(100)가 잠금 상태에 있는 경우에도 동작하도록 할 수 있지만, 잠금 상태를 해제하고 별도의 동작명령(아이콘 클릭 등)을 입력한 때에 비로소 동작하는 것이 바람직하다.
영상처리부(111)는 사용자의 게시물에 삽입할 영상물로부터 해시태그로 사용할 단어를 추출하며, 영상으로부터 객체를 인식하는 방법과 영상물에 삽입된 자막으로부터 단어를 추출하는 방법이 사용된다.
객체 인식을 위하여, 영상처리부(111)는 영상물의 모든 프레임으로부터 객체(Object)를 추출하기 위한 영상처리를 수행한다. 여기서, 객체는 사람의 얼굴, 전화기, 자동차, 컵, 과일 등 어떠한 것이어도 무방하며, 영상물의 복수 개 프레임 중 한 개의 프레임에서만 추출한 것이어도 무방하다.
객체 추출에 사용되는 방법은 외곽선 추출(Contour Detection)과 같은 종래에 알려진 방법을 사용할 수 있다. 예컨대, 사람의 얼굴인 경우에 사람의 얼굴이 가지는 보통의 '특징 데이터'(Facial Features)를 인식하는 방법으로 영상의 특정 영역에 표시된 것이 사람의 얼굴인지 확인한다. 객체는 각 영상 프레임마다 추출되므로, 영상처리 기법에 의해 여러 장의 영상 프레임의 동일한 위치에 반복적으로 추출되는 객체는 동일한 객체로 판단하는 과정 등을 거쳐서, 영상처리부(111)는 해당 영상물로부터 적어도 하나 이상의 객체를 추출하게 된다.
객체가 인식되면, 영상처리부(111)는 인식한 적어도 하나의 객체의 이름을 데이터베이스로부터 추출한다. 이때, 데이터베이스는 단말기(100) 내에 구비될 수도 있으나, 통상은 미디어 서버(30)인 것이 바람직하다. 특히, 추출된 객체가 사람의 얼굴인 경우에 영상처리부(111)는 미디어 서버(30)로 특징 데이터를 제공하여 추출된 사람의 이름을 획득한다. 이때의 미디어 서버(30)는 특징 데이터에 매칭하는 사람의 이름을 제공하는 API를 공개하는 것이 해당할 것이다.
두 번째로, 영상처리부(111)는 영상물에 삽입된 자막으로부터 적어도 하나의 명사를 추출한다. 텍스트인 영상물의 자막 데이터를 파싱(Parsing)하여 해당 텍스트에서 명사(Noun)를 추출하는 것이다. 이를 위해, 영상처리부(111)는 텍스트로부터 명사를 추출하는 알고리즘을 구비할 수도 있지만, 별도의 외부 서버, 예컨대 미디어 서버(30)에게 텍스트를 제공하여 명사를 구분할 수도 있다.
영상처리부(111)는 영상물에서 추출한 단어를 게시물생성부(113)에게 제공한다. 영상물로 추출한 단어에는 객체인식을 통해 획득한 적어도 하나의 객체의 이름과, 자막 파싱을 통해 획득한 적어도 하나의 명사가 포함된다.
게시물생성부(113)는 영상물을 특정 소셜 미디어에 업로드할 때, 사용자의 제어명령에 따라 해당 소셜 미디어에 업로드할 게시물을 생성한다. 이때, 게시물생성부(113)는 게시물 생성을 위한 화면을 표시부(101)를 통해 사용자에게 표시한다. 사용자는 게시물 생성화면(A)이 표시된 후에 영상물을 선택할 수도 있고, 사용자가 영상물을 먼저 선택한 상태에서 게시물 생성을 요청하면 게시물생성부(113)가 게시물 생성화면(A)을 표시부(101)에 표시할 수도 있다. 어떤 경우라도, 사용자가 영상물을 선택하면, 영상처리부(111)는 해당 영상물로부터 해시태그로 사용할 단어를 추출한다.
도 2는 표시부(101)에 표시된 게시물 생성화면(A)의 일 예이다. 게시물 생성화면(A)에는 영상물이 삽입되는 '영상물 영역(A1)'과, 사용자가 입력하는 텍스트 메시지가 표시되는 '메시지 영역(A3)'과, 아래에서 설명하는 게시물생성부(113)가 자동으로 생성한 해시태그가 표시되는 '해시태그 영역(A5)'이 포함된다. 게시물 생성화면(A)에는 메시지 영역(A3)과 해시태그 영역(A5)에 텍스트를 입력하기 위한 입력창(A7)이 표시된다.
게시물생성부(113)는 영상처리부(111)가 영상물에서 추출한 단어를 이용하여 사용자가 게시물에 자동 삽입할 해시태그를 선택하고, 선택한 해시태그를 게시물 생성화면(A)의 해시태그 영역(A5)에 표시한다. 사용자가 게시물 생성을 완료하면, 게시물생성부(113)는 게시물 생성을 완료하고 완성된 게시물을 네트워크 인터페이스(105)를 이용하여 소셜 미디어 서버(30)로 업로드한다.
<해시태그의 선택>
기본적으로, 게시물생성부(113)는 영상처리부(111)가 영상물에서 추출한 모든 단어를 해시태그로 삽입한다. 복수 개의 단어가 추출된 경우, 게시물생성부(113)는 각 단어마다 앞에 '#'를 부가하고 띄어쓰기하여 해시태그 영역(A5)에 삽입한다.
하나의 영상물에서 검출된 객체가 많거나 자막 데이터로부터 추출한 명사가 많을 경우에는 해당 객체의 이름과 명사를 모두 해시태그로 설정하는 것이 부적절하거나 공간의 제약으로 불가능할 수 있다. 이 경우에 게시물생성부(113)는 기설정된 우선순위에 따라 영상처리부(111)가 추출한 객체의 이름과 명사 중에서 기설정된 개수(예컨대, 5개)를 선택하고, 선택된 것만을 해시태그로 설정할 수 있다.
<실시 예 1: 단어 반복에 따른 우선순위>
예를 들어, 영상처리부(111)가 추출한 객체의 이름과 명사 중에는 서로 동일한 것들이 포함될 가능성이 매우 크다. 따라서 우선순위는 기본적으로 영상처리부(111)가 추출한 이름과 명사 중에서 반복률이 높은 순서로 정할 수 있다. 따라서 게시물생성부(113)는 영상처리부(111)가 추출한 객체의 이름과 명사 중에서 많이 중복되는 5개의 단어를 선택할 수 있다.
<실시 예 2: 사람 이름의 우선권>
한편, 해시태그는 사용자들이 데이터를 수집하고 검색하기 위한 식별자로 사용되는 것이므로, 우선순위를 정할 때 무엇보다 중요한 것은 일반 사용자들이 해시태그를 사용하는 방식일 것이다. 알려진 것에 의하면, 사용자들이 어떤 주제나 이슈에 대한 게시물을 검색하기 위해 해시태그를 이용할 때, 주로 사람의 이름과 명사를 사용하는 경향이 있다. 따라서 객체가 사람의 얼굴이어서 영상처리부(111)가 객체의 이름으로 '사람의 이름'을 검출한 경우에는 다른 것보다 우선하여 해시태그로 사용할 필요가 있다.
따라서 어떤 우선순위에 의해 해시태그를 선택하더라도, 영상처리부(111)가 추출한 이름 중에 사람의 이름이 있으면, 우선순위를 무시하고 해시태그로 사용할 필요가 있다. 당연히, 실시 예 1과 실시 예 2는 배타적인 것이 아니어서 실시 예 1과 실시 예 2를 동시에 적용할 수 있다. 따라서 게시물생성부(113)는 실시 예 2를 통해서 선택된 사람의 이름이 실시 예 1에서 선택된 반복 단어에 포함되지 않더라도, 실시 예 1을 통해 선택한 반복 단어와 함께 해시태그 단어로 선택할 수 있다.
<실시 예 3: 사용자의 기준 해시태그>
실시 예에 따라, 게시물생성부(113)는 사용자로부터 기준 해시태그를 입력받을 수 있다. 사용자는 자신의 이름이나 상표 기타 어떠한 단어라도 기준 해시태그로 입력할 수 있다.
기준 해시태그는 당연히 해시태그로 해시태그 영역(A5)에 표시한다. 더불어, 기준 해시태그가 입력되면, 게시물생성부(113)가 기설정된 연관 알고리즘을 이용하여 연관 단어를 추출하고, 영상처리부(111)가 추출한 객체의 이름과 명사 중에서 그 연관 단어와 일치하는 것을 해시태그로 설정할 수 있다.
이러한 동작을 위해, 단말기(100) 또는 게시물생성부(113)는 연관 단어 추출 알고리즘을 보유할 수도 있다. 다른 방법으로, 게시물생성부(113)는 특정 단어에 대해 연관 단어 추출 알고리즘을 보유한 외부 서버(예컨대, 소셜 미디어 서버 등)에 기준 해시태그를 제공하여 연관 단어를 제공받고, 영상처리부(111)가 추출한 객체의 이름과 명사 중에서 연관 단어와 일치하는 단어를 해시태그로 추출할 수 있다.
<실시 예 4: 기준 해시태그>
실시 예 3에서처럼, 게시물생성부(113)는 사용자로부터 기준 해시태그를 직접 입력받는 방법 이외에 사용자가 게시물 생성화면(A)의 메시지 영역(A3)에 입력하는 메시지 중에서 일부 단어를 기준 해시태그로 선택할 수 있다.
이를 위하여, 게시물생성부(113)는 게시물 생성화면(A)의 메시지 영역(A3)을 통해 사용자로부터 게시물에 포함될 메시지를 입력받을 수 있다. 게시물생성부(113)는 메시지가 입력되면, 해당 메시지에 포함된 적어도 하나의 명사 중에서 가장 많이 반복된 명사를 기준 해시태그로 적용할 수 있다.
이하에서는, 도 3을 참조하여, 본 발명의 영상 인식에 의한 해시태그 삽입방법을 설명한다.
<게시물의 생성 개시: S301, S303>
사용자가 영상물을 선택하고(S301), 특정 미디어 서버(30)에 게시물을 생성하기를 요청하면, 게시물생성부(113)는 게시물 생성화면(A)을 표시부(101)에 표시한다(S303).
앞서 설명한 것처럼, 사용자가 게시물 생성화면(A)을 요청하고, 영상물을 선택할 수도 있다.
<영상물로부터 단어 추출: S305, S307>
영상처리부(111)는 영상물로부터 객체를 인식하고, 인식된 객체의 이름을 추출하고(S305), 영상물에 삽입된 자막으로부터 명사를 추출한다(S307). 추출한 객체의 이름과 단어를 게시물생성부(113)에게 전달한다.
<기준 해시태그의 입력: S309 내지 S315>
한편, S305 및 S307 단계와 병행하여, 게시물생성부(113)는 사용자로부터 기준 해시태그 자체의 입력이 있는지 대기하고(S309), 기준 해시태그가 입력되면 해당 단어를 기준 해시태그로 확인한다(S311).
만약, 기준 해시태그가 입력되지 않으면, 게시물생성부(113)는 사용자로부터 게시물에 삽입할 메시지가 메시지 영역(A3)으로 입력되기를 기다리며(S313), 메시지가 삽입되면 게시물생성부(113)는 메시지로부터 앞서 설명한 실시 예 4의 방법으로 해시태그로 사용할 단어를 선택한다(S315).
<해시태그의 설정: S317>
게시물생성부(113)는 S305 및 S307 단계를 통해 추출한 단어와, S311 단계 또는 S315 단계를 통해 선택된 기준 해시태그를 이용하여, 게시물에 삽입할 해시태그를 최종 선택한다. 이때, 게시물생성부(113)는 앞서 설명한 실시 예 1 내지 실시 예 4 중에서 선택된 적어도 하나의 방법을 사용할 수 있다.
만약, 기준 해시태그도 입력되지 않고 메시지도 입력되지 않았으면, 게시물생성부(113)는 S305 및 S307 단계를 통해 추출한 단어만을 이용하여, 앞서 설명한 실시 예 1 및/또는 실시 예 2의 방법으로 해시태그를 선택한다.
<게시물의 완성 및 업로드: S319, S321>
S317 단계에서 최종 선택된 단어로 해시태그를 입력한 다음, 게시물생성부(113)는 사용자의 업로드 명령을 기다렸다가(S319), 해당 게시물을 미디어 서버(30)에 업로드한다(S321).
이상의 방법으로 본 발명의 영상 인식에 의한 해시태그 삽입방법이 수행된다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (7)

  1. 소셜 미디어의 웹 사이트에 동영상을 게시하기 위한 게시물을 생성할 수 있는 단말기가 상기 게시물에 해시태그를 삽입하는 방법에 있어서,
    게시물생성부가 상기 동영상을 상기 게시물로 생성하기 위한 게시물 생성화면을 표시하는 단계;
    영상처리부가 상기 게시물 생성화면에 삽입된 동영상의 각 영상 프레임으로부터 적어도 하나의 객체를 인식하고 상기 인식한 적어도 하나의 객체의 이름을 데이터베이스로부터 추출하는 단계;
    상기 영상처리부가 상기 동영상에 삽입된 자막으로부터 적어도 하나의 명사를 추출하는 단계; 및
    상기 게시물생성부가 상기 적어도 하나의 객체의 이름과 명사를 해시태그로 삽입하여 상기 게시물을 완성하는 단계를 포함하는 것을 특징으로 하는 해시태그 삽입방법.
  2. 제1항에 있어서,
    상기 게시물생성부가 사용자로부터 기준 해시태그를 입력받는 단계; 및
    상기 게시물생성부가 기설정된 연관 알고리즘을 이용하여, 상기 적어도 하나의 객체의 이름과 명사 중에서 상기 기준 해시태그에 연관된 단어를 선택하는 단계를 더 포함하고,
    상기 게시물을 완성하는 단계는 상기 적어도 하나의 객체의 이름과 명사를 대신하여 상기 선택된 단어를 해시태그로 삽입하는 것을 특징으로 하는 해시태그 설정방법.
  3. 제2항에 있어서,
    상기 기준 해시태그를 입력받는 단계는,
    상기 게시물 생성화면을 통해 사용자로부터 상기 게시물에 포함될 메시지를 입력받는 단계; 및
    상기 메시지에 포함된 적어도 하나의 명사 중에서 가장 많이 반복된 명사를 상기 기준 해시태그로 적용하는 단계를 포함하는 것을 특징으로 하는 해시태그 설정방법.
  4. 제1항에 있어서,
    상기 게시물생성부가 상기 적어도 하나의 객체의 이름과 명사 중에서 반복률이 높은 순서로 기설정된 개수의 단어를 선택하는 단계를 더 포함하고,
    상기 게시물을 완성하는 단계는 상기 선택된 단어를 해시태그로 삽입하는 것을 특징으로 하는 해시태그 설정방법.
  5. 제4항에 있어서,
    상기 추출한 객체가 사람의 얼굴인 경우에, 상기 게시물을 완성하는 단계는 상기 선택된 단어와 함께 상기 데이터베이스로부터 추출한 상기 사람의 이름을 해시태그로 삽입하며,
    상기 데이터베이스는 상기 소셜 미디어 웹 사이트의 서버인 것을 특징으로 하는 해시태그 설정방법.
  6. 제1항에 있어서,
    상기 추출한 객체가 사람의 얼굴인 경우에,
    상기 데이터베이스는 상기 소셜 미디어 웹 사이트의 서버인 것을 특징으로 하는 해시태그 설정방법.
  7. 제1항의 해시태그 설정방법의 상기 영상처리부 및 게시물생성부의 동작을 수행하는 소프트웨어가 저장된 컴퓨터로 읽을 수 있는 저장매체를 구비하고 상기 단말기가 인터넷을 통해 접속할 경우 상기 소프트웨어를 다운로드 할 수 있게 한 것을 특징으로 하는 소프트웨어 분배 서버.
PCT/KR2016/013953 2016-11-25 2016-11-30 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버 WO2018097379A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160158308A KR101912237B1 (ko) 2016-11-25 2016-11-25 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버
KR10-2016-0158308 2016-11-25

Publications (1)

Publication Number Publication Date
WO2018097379A1 true WO2018097379A1 (ko) 2018-05-31

Family

ID=62190662

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/013953 WO2018097379A1 (ko) 2016-11-25 2016-11-30 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버

Country Status (3)

Country Link
US (1) US20180152500A1 (ko)
KR (1) KR101912237B1 (ko)
WO (1) WO2018097379A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018152685A1 (en) * 2017-02-22 2018-08-30 Tencent Technology (Shenzhen) Company Limited Image processing in a vr system
KR101853410B1 (ko) * 2017-04-12 2018-04-30 한국과학기술연구원 태깅 정보를 포함하는 미디어 콘텐츠를 클라이언트 단말에 제공하는 소셜 미디어 서버 및 클라이언트 단말
WO2018211552A1 (ja) * 2017-05-15 2018-11-22 オリンパス株式会社 通信端末、画像管理システム、画像管理方法、およびプログラム
CN108984678A (zh) * 2018-06-29 2018-12-11 百度在线网络技术（北京）有限公司 可穿戴设备、信息处理方法、装置和系统
KR102109890B1 (ko) * 2018-08-31 2020-05-12 대구대학교 산학협력단 마케팅 효과 제고를 위한 해시태그 교정 서비스 방법 및 이를 위한 시스템
KR101969264B1 (ko) * 2018-08-27 2019-04-16 주식회사 엔디소프트 컨텐츠 검색용 단어를 특수식별기호와 함께 자동 삽입하는 방법
CN109344291B (zh) * 2018-09-03 2020-08-25 腾讯科技（武汉）有限公司 一种视频生成方法及装置
CN109783671B (zh) 2019-01-30 2021-10-08 京东方科技集团股份有限公司 一种以图搜图的方法、计算机可读介质及服务器
CN110609914B (zh) * 2019-08-06 2021-08-17 厦门大学 一种基于快速类别更新的在线哈希学习图像检索方法
KR20210040656A (ko) * 2019-10-04 2021-04-14 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102265120B1 (ko) * 2019-11-01 2021-06-15 (주) 아이디얼랩스 이미지 분석 기반 매칭 서비스 제공 방법 및 장치
KR102498905B1 (ko) * 2020-09-18 2023-02-09 송정우 영상을 공유하는 방법, 이를 이용하는 장치 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155695A (ja) * 2011-01-07 2012-08-16 Kddi Corp 動画コンテンツにおける注目シーンにキーワードタグを付与するプログラム、端末、サーバ及び方法
KR20150007403A (ko) * 2013-07-10 2015-01-21 삼성전자주식회사 인물 인식 방법, 그리고 인물 정보 데이터 운용 방법 및 장치
KR20150093263A (ko) * 2014-02-06 2015-08-18 에스케이플래닛 주식회사 개인 컨텐츠에 기반하여 동영상을 생성하는 컨텐츠 생성 서비스 장치, 개인 컨텐츠에 기반하여 동영상을 생성하는 방법 및 컴퓨터 프로그램이 기록된 기록매체
US20150348097A1 (en) * 2014-01-24 2015-12-03 Google Inc. Autocreated campaigns for hashtag keywords
KR20160105239A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 전자 장치 및 그의 영상 표시 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155695A (ja) * 2011-01-07 2012-08-16 Kddi Corp 動画コンテンツにおける注目シーンにキーワードタグを付与するプログラム、端末、サーバ及び方法
KR20150007403A (ko) * 2013-07-10 2015-01-21 삼성전자주식회사 인물 인식 방법, 그리고 인물 정보 데이터 운용 방법 및 장치
US20150348097A1 (en) * 2014-01-24 2015-12-03 Google Inc. Autocreated campaigns for hashtag keywords
KR20150093263A (ko) * 2014-02-06 2015-08-18 에스케이플래닛 주식회사 개인 컨텐츠에 기반하여 동영상을 생성하는 컨텐츠 생성 서비스 장치, 개인 컨텐츠에 기반하여 동영상을 생성하는 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20160105239A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 전자 장치 및 그의 영상 표시 방법

Also Published As

Publication number Publication date
KR101912237B1 (ko) 2018-10-26
KR20180059117A (ko) 2018-06-04
US20180152500A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
WO2018097379A1 (ko) 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버
US11902633B2 (en) Dynamic overlay video advertisement insertion
US20180152767A1 (en) Providing related objects during playback of video data
CN102342124B (zh) 用于提供与广播节目相关的信息的装置和方法
WO2016035970A1 (ko) 검색광고를 이용한 광고 시스템
WO2013055161A1 (en) System and method for providing information regarding content
CN104602128A (zh) 视频处理方法和视频处理装置
CN108040125A (zh) 内容识别及推送方法及电视伴随式ai助理装置
CN102938727A (zh) 即时通信中显示广告信息的方法及系统
CN109508427A (zh) 一种信息推荐方法及服务器、语音交互终端
CN104102683A (zh) 用于增强视频显示的上下文查询
CN113536172B (zh) 一种百科信息展示的方法、装置及计算机存储介质
WO2018043923A1 (ko) 디스플레이장치 및 그 제어방법
US20130191323A1 (en) System and method for identifying the context of multimedia content elements displayed in a web-page
US20170134806A1 (en) Selecting content based on media detected in environment
CN113612830A (zh) 信息推送方法、装置、终端设备及存储介质
KR20140003138A (ko) 옥외 광고 ｌｅｄ 전광판 및 상호 작용 방법
KR101331162B1 (ko) 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템
WO2017135488A1 (ko) 공공 디스플레이를 통한 사용자 맞춤형 뉴스 제공 시스템 및 이를 이용한 뉴스 제공 방법
CN112542172A (zh) 基于在线会议的沟通辅助方法、装置、设备及介质
CN109151599B (zh) 视频处理方法和装置
KR20140129569A (ko) 빅데이터를 활용한 사용자 위치기반 광고제공장치 및 광고제공방법
KR20140100595A (ko) 소셜 네트워크 서비스를 이용한 미디어 콘텐츠 추천 방법
CN113438532B (zh) 视频处理、视频播放方法、装置、电子设备及存储介质
KR101597248B1 (ko) ＶｏＩＰ 기반 음성 통화 시 음성 인식을 이용한 광고 제공 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16922263

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 14.10.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16922263

Country of ref document: EP

Kind code of ref document: A1