KR101912237B1 - 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버 - Google Patents

영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버 Download PDF

Info

Publication number
KR101912237B1
KR101912237B1 KR1020160158308A KR20160158308A KR101912237B1 KR 101912237 B1 KR101912237 B1 KR 101912237B1 KR 1020160158308 A KR1020160158308 A KR 1020160158308A KR 20160158308 A KR20160158308 A KR 20160158308A KR 101912237 B1 KR101912237 B1 KR 101912237B1
Authority
KR
South Korea
Prior art keywords
post
hashtag
video
software
hash tag
Prior art date
Application number
KR1020160158308A
Other languages
English (en)
Other versions
KR20180059117A (ko
Inventor
박정화
Original Assignee
주식회사 인디씨에프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인디씨에프 filed Critical 주식회사 인디씨에프
Priority to KR1020160158308A priority Critical patent/KR101912237B1/ko
Priority to PCT/KR2016/013953 priority patent/WO2018097379A1/ko
Priority to US15/385,163 priority patent/US20180152500A1/en
Publication of KR20180059117A publication Critical patent/KR20180059117A/ko
Application granted granted Critical
Publication of KR101912237B1 publication Critical patent/KR101912237B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06F17/3079—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G06F17/3082—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08—Annexed information, e.g. attachments

Abstract

영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버가 개시된다. 본 발명의 단말기는 사용자가 자신의 동영상을 소셜 미디어의 웹 페이지에 업로드하기 위한 게시물을 만들 때, 동영상으로부터 해시태그로 사용할 단어를 자동으로 추출하여 삽입할 수 있다. 영상에 대한 객체 인식을 통해 획득한 객체의 이름이나 영상물에 삽입된 자막으로부터 추출한 단어를 해시태그로 이용하기 때문에, 영상물이 해시태그 검색을 통해서 검색될 가능성이 매우 높아진다.

Description

영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버{Method for Attaching Hash-Tag Using Image Recognition Process and Software Distributing Server Storing Software for the same Method}
본 발명은 영상 콘텐츠의 온라인 유통을 위한 해시 태그(Hash Tag) 설정방법에 관한 것으로서, 해당 영상에 대한 객체 인식을 수행하여 관련 해시태그를 자동으로 삽입하는 방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버에 관한 것이다.
해시 태그(Hash Tag)란, 소셜 관계망 서비스 등에서 사용되는 식별코드의 일종으로, 해시 기호(#) 뒤에 특정 단어를 쓰면 그 단어에 대한 게시물을 모아 볼 수 있다.
해시태그가 처음 사용된 것은 1970년이다. 지금과 같은 기능은 아니었지만, 프로그래밍 코드 등에 사용되었다. 그러던 것이 트위터(Twitter), 페이스북(Facebook), 인스타그램(Instagram)과 같은 소셜 미디어(Social Media)(또는 사회 관계망 서비스)에서 사용하기 시작하면서 앞에서 정의한 것과 같은 역할로 일반인들도 널리 사용하게 되었다. 페이스북 등에 자신의 글이나 영상을 게시물로 업로드할 때, 해시태그를 게시되는 글 중에 포함하는 방식으로 사용한다.
최근에 소셜 미디어를 이용한 광고 기법의 하나로 해시태그를 많이 이용한다. 기업의 상표나 제품명 등을 해시태그로 사용한 게시물이 등록되고, 게시물의 내용에 흥미를 느낀 소비자들이 해당 콘텐츠를 다시 게시하거나, 그로부터 비롯되는 새로운 이벤트에 참여하는 과정을 광고의 방법으로 이용하는 것이다. 예를 들어, 해시태그를 이용하면 동일한 해시태그가 붙은 게시물들을 모아 볼 수 있기 때문에, 광고 프로모션이나 이벤트의 결과를 모니터링 할 수 있다는 점에서도 광고에 많이 사용되기 시작했다.
한편, 광고시장은 광고주, 매체사(또는 매체), 광고회사가 연결된 유통구조 내에서 광고라는 재화를 생산, 분배, 소비하는 복합적인 시장이다. 용역을 제공하거나 상품을 공급하는 모든 경제주체는 자신의 상품을 소비자에게 널리 알리는 광고라는 마케팅 수단을 활용하기 위하여 광고시장을 이용한다.
광고물의 형태적인 측면에서 영상 광고는 시각과 청각을 통해 즉각적으로 대중에게 전달될 뿐만 아니라 비록 짧은 시간이지만 하나의 스토리를 전달할 수 있기 때문에 다른 형태의 광고에 비하여 그 광고효과가 상대적으로 크다. 영상 광고는 영상 광고가 재생되는 매체에 따라 그 광고의 노출 정도나 효과가 다르다. 알려진 것처럼, 티브이(TV)라는 대중매체가 영상 광고를 위한 매체로 가장 널리 사용되고 효과도 크지만 비용이 매우 고가인 점에서, 제한된 일부 광고주만 이용할 수밖에 없다. 그런 측면에서, 인터넷 포털 사이트나 소셜 미디어의 광고 플랫폼을 이용한 광고는 상대적으로 비용이 적게 드는 장점이 있지만 그만큼 효과도 적다.
소셜 미디어를 통해 유통되는 게시물 자체를 이용한 광고는 특별히 광고 전문 플랫폼이 아니므로, 광고 기능을 하기 위해서는 여러 가지 노력이나 부가 수단이 필요하고, 그 중 하나가 해시태그를 이용하는 방법이다.
영상 콘텐츠를 소셜 미디어에 업로드하면서 해시태그를 부착할 때, 반드시 영상의 내용을 요약한 단어를 선택해야 한다거나 하는 특별한 제한이 있는 것은 아니며 어떠한 것이라도 해시태그로 가능하다. 오히려 이러한 점이 의외의 광고 효과로 발현되기도 한다.
[관련 선행기술]
대한민국 등록특허 제1657582호 (웹을 이용한 상품 이미지의 해시 태그 추출 시스템 및 방법)
이 발명은 판매 상품 이미지로부터 추출한 특성 정보를 기저장된 기준 이미지의 특성 정보와 비교하여 판매 상품 이미지와 일정한 유사도 이상의 유사도를 갖는 기준 이미지의 해시 태그를 선택하는 방식으로 해시 태그를 추출한다.
이 방법은 동영상이 아닌 이미지에 대하여 해시 태그를 추출하는 점에서 광고 영상물과 같은 동영상에 적용하기가 어렵다. 예를 들어, 이 발명은 이미지 전체 차원의 유사도가 있는 기준 이미지를 찾아 그 해시태그를 추출하는데, 동영상의 차원에서 이러한 유사도를 가지는 동영상을 추출하기는 어렵다. 또한, 해시태그가 기설정된 동영상을 별도로 관리하지 않으면 적용하기가 어려운 점이 있다.
본 발명의 목적은, 영상 콘텐츠의 인터넷 유통을 위한 해시 태그(Hash Tag) 설정방법에 관한 것으로서, 해당 영상에 대한 객체 인식 등을 수행하여 관련 해시태그를 자동으로 삽입하는 방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버를 제공함에 있다.
상기 목적을 달성하기 위하여, 본 발명은 소셜 미디어의 웹 사이트에 동영상을 게시하기 위한 게시물을 생성할 수 있는 단말기에서 수행되는 것으로서, 상기 게시물에 해시태그(Hashtag)를 자동으로 삽입하는 방법을 개시한다. 본 발명의 방법은, 상기 단말기의 게시물생성부가 상기 동영상을 상기 게시물로 생성하기 위한 게시물 생성화면을 표시하는 단계와; 상기 단말기의 영상처리부가 상기 동영상의 각 영상 프레임으로부터 적어도 하나의 객체를 인식하고 상기 인식한 적어도 하나의 객체의 이름을 데이터베이스로부터 추출하는 단계와; 상기 영상처리부가 상기 동영상에 삽입된 자막으로부터 적어도 하나의 명사를 추출하는 단계; 및 상기 단말기의 게시물생성부가 상기 게시물 생성화면에 상기 동영상과 함께 상기 적어도 하나의 객체의 이름과 명사를 해시태그로 삽입하여 상기 게시물을 완성하는 단계를 포함한다.
실시 예에 따라, 본 발명의 방법은, 상기 게시물생성부가 사용자로부터 기준 해시태그를 입력받는 단계와, 상기 게시물생성부가 기설정된 연관 알고리즘을 이용하여 상기 적어도 하나의 객체의 이름과 명사 중에서 상기 기준 해시태그에 연관된 단어를 추출하는 단계를 더 포함할 수 있다. 이 경우, 상기 게시물을 완성하는 단계는 상기 적어도 하나의 객체의 이름과 명사를 대신하여 상기 추출된 단어를 해시태그로 삽입한다. 상기 기준 해시태그를 입력받는 방법 중 하나는, 상기 게시물 생성화면을 통해 사용자로부터 상기 게시물에 포함될 메시지를 입력받는 다음, 상기 메시지에 포함된 적어도 하나의 명사 중에서 가장 많이 반복된 명사를 상기 기준 해시태그로 사용하는 것이다.
다른 실시 예에 따라, 상기 추출한 객체가 사람의 얼굴인 경우에, 상기 데이터베이스는 상기 소셜 미디어 웹 사이트의 서버인 것이 바람직하다.
또 다른 실시 예에 따라, 본 발명의 방법은, 상기 게시물생성부가 상기 적어도 하나의 객체의 이름과 명사 중에서 반복률이 높은 순서로 기설정된 개수의 단어를 선택하는 단계를 더 포함할 수 있다. 이 경우, 상기 게시물을 완성하는 단계는 상기 선택된 단어를 해시태그로 삽입한다.
더 나아가, 본 발명은 상기 추출한 객체가 사람의 얼굴인 경우에, 상기 게시물을 완성하는 단계는 상기 선택된 단어와 함께 상기 데이터베이스로부터 추출한 상기 사람의 이름을 해시태그로 삽입할 수 있다. 이때, 상기 데이터베이스는 상기 소셜 미디어 웹 사이트의 서버인 것이 바람직하다.
본 발명은 앞서 설명한 해시태그 설정방법의 상기 영상처리부 및 게시물생성부의 동작을 수행하는 소프트웨어를 저장하고 있는 소프트웨어 분배 서버에도 미친다. 이때 소프트웨어 분배 서버는 컴퓨터로 읽을 수 있는 저장매체에 상기 소프트웨어를 저장하여 관리하고 있으며, 상기 단말기는 인터넷을 통해 소프트웨어 분배 서버에 접속하여 상기 소프트웨어를 다운로드 할 수 있다.
본 발명의 단말기는 사용자가 자신의 동영상을 소셜 미디어의 웹 페이지에 업로드하기 위한 게시물을 만들 때, 동영상으로부터 해시태그로 사용할 단어를 자동으로 추출하여 삽입할 수 있다.
영상에 대한 객체 인식을 통해 획득한 객체의 이름이나 영상물에 삽입된 자막으로부터 추출한 단어를 해시태그로 이용하기 때문에, 영상물이 해시태그 검색을 통해서 검색될 가능성이 매우 높아진다. 소셜 미디어라는 공개 플랫폼에서 특정 동영상이 사용자의 일반적인 검색 키워드에서 검색될 가능성이 높아지므로, 해당 동영상이 광고 영상인 경우에 광고 효과도 높아진다.
도 1은 본 발명의 방법이 수행되는 단말기를 포함하는 시스템의 구성도,
도 2는 본 발명의 단말기에 표시되는 게시물 생성화면의 일 예를 도시한 도면, 그리고
도 3은 본 발명의 해시태그 생성방법의 설명에 제공되는 흐름도이다.
이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
본 발명의 방법은 인터넷에 접속하여 소셜 미디어에 접속할 수 있는 단말기에서 본 발명의 방법을 수행하는 소프트웨어에 의해 수행될 수 있다. 따라서 본 발명의 방법을 처리하는 소프트웨어가 설치된 단말기는 본 발명의 단말기가 된다. 예컨대 스마트 폰과 같은 휴대 단말기뿐만 아니라 개인용 컴퓨터, 노트북 등에서 본 발명의 단말기가 될 수 있다. 이하에서는 그 중에서도 휴대 단말기를 중심으로 설명한다.
도 1을 참조하면, 본 발명의 단말기(100)는 인터넷(10)을 통해 소셜 미디어 서버(이하, 간단히 '미디어 서버'라 함)(30)에 연결될 수 있고, 소프트웨어 분배 서버(50) 등에 연결될 수도 있다. 단말기(100)는 소셜 미디어 웹 페이지에 업로드하기 위한 게시물을 생성할 수 있는 인터페이스를 사용자에게 제공하며, 사용자는 그 인터페이스를 이용하여 자신의 영상물을 소셜 미디어에 게시할 수 있다.
이때, 본 발명의 단말기(100)는 사용자의 영상물로부터 단어를 추출하여, 게시물에 해시태그로 자동 삽입할 수 있다. 여기서, 영상물은 동영상을 의미하는 것으로서, 복수 개의 영상 프레임과, 오디오 소스와 자막 등이 포함될 수 있다. 예를 들어, 60 프레임 레이트(Frame Rate), 15초 영상이면 900개의 영상 프레임으로 제작되며, MPEG(Moving Picture Experts Group) 4의 표준으로 압축된다.
미디어 서버(30)는 동영상이 포함된 게시물을 게시할 수 있는 소셜 미디어를 운영하는 서버이면 어떠한 것이어도 무방하다. 현재 널리 알려진 소셜 미디어로는 페이스북, 인스타그램 등이 있으며, 예를 들어 페이스북을 운용하는 서버는 본 발명의 미디어 서버(30)에 해당한다. 미디어 서버(30)는 게시물의 업로드를 위한 인터페이스를 제공할 뿐만 아니라, 본 발명의 단말기(100)의 요청에 따라 아래에서 설명하는 특징 데이터에 매칭하는 사람의 이름을 알려주는 API(Application Programming Interface)와, 특정 단어에 대한 연관 검색어를 제공해 주는 API를 개방해야 한다.
소프트웨어 분배 서버(50)는 소위 '앱 스토어'로 불리는 서버이다. 아래에서 설명되는 단말기(100)의 영상처리부(111)와 게시물생성부(113)는 그 동작을 수행하는 적어도 하나의 소프트웨어로 만들어질 수 있는데, 단말기(100)는 소프트웨어 분배 서버(50)로부터 이 소프트웨어를 다운로드 받을 수 있다.
본 발명의 단말기(100)는 표시부(101), 입력부(103), 네트워크 인터페이스(105) 및 제어부(110)를 구비하며, 필요에 따라 영상물을 자체로 생성하기 위하여 카메라(미도시)와 마이크로폰(미도시) 등을 구비할 수 있다.
표시부(101)는 사용자에게 각종 정보를 시각적으로 표시하기 위한 수단이며, 입력부(103)는 사용자의 제어명령이나 게시물에 입력할 메시지 등을 입력받는다. 표시부(101)와 입력부(103)는 터치 스크린(Touch Screen)처럼 일체로 형성될 수 있다. 네트워크 인터페이스(105)는 인터넷(10)을 통해 미디어 서버(30)나 소프트웨어 분배 서버(50)에 접속한다.
제어부(110)는 휴대 단말기(100)의 전반적인 동작을 제어하며, 본 발명의 해시태그 자동 등록을 위하여 특별히 영상처리부(111)와 게시물생성부(113)를 포함한다.
제어부(110)는 본 발명을 위해 특별히 설치된 구성으로 해석될 수도 있으나, 일반적으로는 휴대 단말기(100)의 주된 또는 기본 기능(예컨대, 전화, 통신 등)을 수행하기 위해 단말기의 제조상태에서 기설치된 구성일 수도 있다. 이처럼 제어부(110)가 휴대 단말기(100)의 기본 기능을 수행하기 위해 설치된 구성일 경우, 제어부(110)는 휴대 단말기(100)가 기본적으로 보유하는 하드웨어인 프로세서 칩(Processor Chip)과, 그 칩에 기반하여 동작하는 운영체제 프로그램(OS: Operating System)으로 구현되는 구성을 기능적으로 지시한 것일 수 있다. 다시 말해, 본 발명이 적용되지 않은 종래의 단말기 역시 제어부(110)를 구비할 수 있다.
이런 측면에서, 영상처리부(111)와 게시물생성부(113)는 그 운영체제 프로그램상에서 동작하는 소프트웨어인 어플리케이션(Application)으로서 본 발명의 실시를 위해 기존의 단말기에 설치된 것일 수 있다. 다시 말해 기존의 휴대 단말기에 본 발명의 게시물생성부(113), 영상처리부(111) 및 게시물생성부(113)가 설치되면 본 발명의 휴대 단말기(100)가 되는 것이다. 한편, 이러한 어플리케이션은 별도의 소프트웨어 분배 서버(50)가 구비한 컴퓨터로 읽을 수 있는 저장매체(51)에 기록된 소프트웨어일 수 있으며, 휴대 단말기(100)가 소프트웨어 분배 서버(50)에 접속하여 해당 어플리케이션(또는 소프트웨어)을 다운로드 받아 설치할 수도 있다.
영상처리부(111)와 게시물생성부(113)는 휴대 단말기(100) 내에서 상시 동작하도록 설정됨으로써 휴대 단말기(100)가 잠금 상태에 있는 경우에도 동작하도록 할 수 있지만, 잠금 상태를 해제하고 별도의 동작명령(아이콘 클릭 등)을 입력한 때에 비로소 동작하는 것이 바람직하다.
영상처리부(111)는 사용자의 게시물에 삽입할 영상물로부터 해시태그로 사용할 단어를 추출하며, 영상으로부터 객체를 인식하는 방법과 영상물에 삽입된 자막으로부터 단어를 추출하는 방법이 사용된다.
객체 인식을 위하여, 영상처리부(111)는 영상물의 모든 프레임으로부터 객체(Object)를 추출하기 위한 영상처리를 수행한다. 여기서, 객체는 사람의 얼굴, 전화기, 자동차, 컵, 과일 등 어떠한 것이어도 무방하며, 영상물의 복수 개 프레임 중 한 개의 프레임에서만 추출한 것이어도 무방하다.
객체 추출에 사용되는 방법은 외곽선 추출(Contour Detection)과 같은 종래에 알려진 방법을 사용할 수 있다. 예컨대, 사람의 얼굴인 경우에 사람의 얼굴이 가지는 보통의 '특징 데이터'(Facial Features)를 인식하는 방법으로 영상의 특정 영역에 표시된 것이 사람의 얼굴인지 확인한다. 객체는 각 영상 프레임마다 추출되므로, 영상처리 기법에 의해 여러 장의 영상 프레임의 동일한 위치에 반복적으로 추출되는 객체는 동일한 객체로 판단하는 과정 등을 거쳐서, 영상처리부(111)는 해당 영상물로부터 적어도 하나 이상의 객체를 추출하게 된다.
객체가 인식되면, 영상처리부(111)는 인식한 적어도 하나의 객체의 이름을 데이터베이스로부터 추출한다. 이때, 데이터베이스는 단말기(100) 내에 구비될 수도 있으나, 통상은 미디어 서버(30)인 것이 바람직하다. 특히, 추출된 객체가 사람의 얼굴인 경우에 영상처리부(111)는 미디어 서버(30)로 특징 데이터를 제공하여 추출된 사람의 이름을 획득한다. 이때의 미디어 서버(30)는 특징 데이터에 매칭하는 사람의 이름을 제공하는 API를 공개하는 것이 해당할 것이다.
두 번째로, 영상처리부(111)는 영상물에 삽입된 자막으로부터 적어도 하나의 명사를 추출한다. 텍스트인 영상물의 자막 데이터를 파싱(Parsing)하여 해당 텍스트에서 명사(Noun)를 추출하는 것이다. 이를 위해, 영상처리부(111)는 텍스트로부터 명사를 추출하는 알고리즘을 구비할 수도 있지만, 별도의 외부 서버, 예컨대 미디어 서버(30)에게 텍스트를 제공하여 명사를 구분할 수도 있다.
영상처리부(111)는 영상물에서 추출한 단어를 게시물생성부(113)에게 제공한다. 영상물로 추출한 단어에는 객체인식을 통해 획득한 적어도 하나의 객체의 이름과, 자막 파싱을 통해 획득한 적어도 하나의 명사가 포함된다.
게시물생성부(113)는 영상물을 특정 소셜 미디어에 업로드할 때, 사용자의 제어명령에 따라 해당 소셜 미디어에 업로드할 게시물을 생성한다. 이때, 게시물생성부(113)는 게시물 생성을 위한 화면을 표시부(101)를 통해 사용자에게 표시한다. 사용자는 게시물 생성화면(A)이 표시된 후에 영상물을 선택할 수도 있고, 사용자가 영상물을 먼저 선택한 상태에서 게시물 생성을 요청하면 게시물생성부(113)가 게시물 생성화면(A)을 표시부(101)에 표시할 수도 있다. 어떤 경우라도, 사용자가 영상물을 선택하면, 영상처리부(111)는 해당 영상물로부터 해시태그로 사용할 단어를 추출한다.
도 2는 표시부(101)에 표시된 게시물 생성화면(A)의 일 예이다. 게시물 생성화면(A)에는 영상물이 삽입되는 '영상물 영역(A1)'과, 사용자가 입력하는 텍스트 메시지가 표시되는 '메시지 영역(A3)'과, 아래에서 설명하는 게시물생성부(113)가 자동으로 생성한 해시태그가 표시되는 '해시태그 영역(A5)'이 포함된다. 게시물 생성화면(A)에는 메시지 영역(A3)과 해시태그 영역(A5)에 텍스트를 입력하기 위한 입력창(A7)이 표시된다.
게시물생성부(113)는 영상처리부(111)가 영상물에서 추출한 단어를 이용하여 사용자가 게시물에 자동 삽입할 해시태그를 선택하고, 선택한 해시태그를 게시물 생성화면(A)의 해시태그 영역(A5)에 표시한다. 사용자가 게시물 생성을 완료하면, 게시물생성부(113)는 게시물 생성을 완료하고 완성된 게시물을 네트워크 인터페이스(105)를 이용하여 소셜 미디어 서버(30)로 업로드한다.
<해시태그의 선택>
기본적으로, 게시물생성부(113)는 영상처리부(111)가 영상물에서 추출한 모든 단어를 해시태그로 삽입한다. 복수 개의 단어가 추출된 경우, 게시물생성부(113)는 각 단어마다 앞에 '#'를 부가하고 띄어쓰기하여 해시태그 영역(A5)에 삽입한다.
하나의 영상물에서 검출된 객체가 많거나 자막 데이터로부터 추출한 명사가 많을 경우에는 해당 객체의 이름과 명사를 모두 해시태그로 설정하는 것이 부적절하거나 공간의 제약으로 불가능할 수 있다. 이 경우에 게시물생성부(113)는 기설정된 우선순위에 따라 영상처리부(111)가 추출한 객체의 이름과 명사 중에서 기설정된 개수(예컨대, 5개)를 선택하고, 선택된 것만을 해시태그로 설정할 수 있다.
<실시 예 1: 단어 반복에 따른 우선순위>
예를 들어, 영상처리부(111)가 추출한 객체의 이름과 명사 중에는 서로 동일한 것들이 포함될 가능성이 매우 크다. 따라서 우선순위는 기본적으로 영상처리부(111)가 추출한 이름과 명사 중에서 반복률이 높은 순서로 정할 수 있다. 따라서 게시물생성부(113)는 영상처리부(111)가 추출한 객체의 이름과 명사 중에서 많이 중복되는 5개의 단어를 선택할 수 있다.
<실시 예 2: 사람 이름의 우선권>
한편, 해시태그는 사용자들이 데이터를 수집하고 검색하기 위한 식별자로 사용되는 것이므로, 우선순위를 정할 때 무엇보다 중요한 것은 일반 사용자들이 해시태그를 사용하는 방식일 것이다. 알려진 것에 의하면, 사용자들이 어떤 주제나 이슈에 대한 게시물을 검색하기 위해 해시태그를 이용할 때, 주로 사람의 이름과 명사를 사용하는 경향이 있다. 따라서 객체가 사람의 얼굴이어서 영상처리부(111)가 객체의 이름으로 '사람의 이름'을 검출한 경우에는 다른 것보다 우선하여 해시태그로 사용할 필요가 있다.
따라서 어떤 우선순위에 의해 해시태그를 선택하더라도, 영상처리부(111)가 추출한 이름 중에 사람의 이름이 있으면, 우선순위를 무시하고 해시태그로 사용할 필요가 있다. 당연히, 실시 예 1과 실시 예 2는 배타적인 것이 아니어서 실시 예 1과 실시 예 2를 동시에 적용할 수 있다. 따라서 게시물생성부(113)는 실시 예 2를 통해서 선택된 사람의 이름이 실시 예 1에서 선택된 반복 단어에 포함되지 않더라도, 실시 예 1을 통해 선택한 반복 단어와 함께 해시태그 단어로 선택할 수 있다.
<실시 예 3: 사용자의 기준 해시태그>
실시 예에 따라, 게시물생성부(113)는 사용자로부터 기준 해시태그를 입력받을 수 있다. 사용자는 자신의 이름이나 상표 기타 어떠한 단어라도 기준 해시태그로 입력할 수 있다.
기준 해시태그는 당연히 해시태그로 해시태그 영역(A5)에 표시한다. 더불어, 기준 해시태그가 입력되면, 게시물생성부(113)가 기설정된 연관 알고리즘을 이용하여 연관 단어를 추출하고, 영상처리부(111)가 추출한 객체의 이름과 명사 중에서 그 연관 단어와 일치하는 것을 해시태그로 설정할 수 있다.
이러한 동작을 위해, 단말기(100) 또는 게시물생성부(113)는 연관 단어 추출 알고리즘을 보유할 수도 있다. 다른 방법으로, 게시물생성부(113)는 특정 단어에 대해 연관 단어 추출 알고리즘을 보유한 외부 서버(예컨대, 소셜 미디어 서버 등)에 기준 해시태그를 제공하여 연관 단어를 제공받고, 영상처리부(111)가 추출한 객체의 이름과 명사 중에서 연관 단어와 일치하는 단어를 해시태그로 추출할 수 있다.
<실시 예 4: 기준 해시태그>
실시 예 3에서처럼, 게시물생성부(113)는 사용자로부터 기준 해시태그를 직접 입력받는 방법 이외에 사용자가 게시물 생성화면(A)의 메시지 영역(A3)에 입력하는 메시지 중에서 일부 단어를 기준 해시태그로 선택할 수 있다.
이를 위하여, 게시물생성부(113)는 게시물 생성화면(A)의 메시지 영역(A3)을 통해 사용자로부터 게시물에 포함될 메시지를 입력받을 수 있다. 게시물생성부(113)는 메시지가 입력되면, 해당 메시지에 포함된 적어도 하나의 명사 중에서 가장 많이 반복된 명사를 기준 해시태그로 적용할 수 있다.
이하에서는, 도 3을 참조하여, 본 발명의 영상 인식에 의한 해시태그 삽입방법을 설명한다.
<게시물의 생성 개시: S301, S303>
사용자가 영상물을 선택하고(S301), 특정 미디어 서버(30)에 게시물을 생성하기를 요청하면, 게시물생성부(113)는 게시물 생성화면(A)을 표시부(101)에 표시한다(S303).
앞서 설명한 것처럼, 사용자가 게시물 생성화면(A)을 요청하고, 영상물을 선택할 수도 있다.
<영상물로부터 단어 추출: S305, S307>
영상처리부(111)는 영상물로부터 객체를 인식하고, 인식된 객체의 이름을 추출하고(S305), 영상물에 삽입된 자막으로부터 명사를 추출한다(S307). 추출한 객체의 이름과 단어를 게시물생성부(113)에게 전달한다.
<기준 해시태그의 입력: S309 내지 S315>
한편, S305 및 S307 단계와 병행하여, 게시물생성부(113)는 사용자로부터 기준 해시태그 자체의 입력이 있는지 대기하고(S309), 기준 해시태그가 입력되면 해당 단어를 기준 해시태그로 확인한다(S311).
만약, 기준 해시태그가 입력되지 않으면, 게시물생성부(113)는 사용자로부터 게시물에 삽입할 메시지가 메시지 영역(A3)으로 입력되기를 기다리며(S313), 메시지가 삽입되면 게시물생성부(113)는 메시지로부터 앞서 설명한 실시 예 4의 방법으로 해시태그로 사용할 단어를 선택한다(S315).
<해시태그의 설정: S317>
게시물생성부(113)는 S305 및 S307 단계를 통해 추출한 단어와, S311 단계 또는 S315 단계를 통해 선택된 기준 해시태그를 이용하여, 게시물에 삽입할 해시태그를 최종 선택한다. 이때, 게시물생성부(113)는 앞서 설명한 실시 예 1 내지 실시 예 4 중에서 선택된 적어도 하나의 방법을 사용할 수 있다.
만약, 기준 해시태그도 입력되지 않고 메시지도 입력되지 않았으면, 게시물생성부(113)는 S305 및 S307 단계를 통해 추출한 단어만을 이용하여, 앞서 설명한 실시 예 1 및/또는 실시 예 2의 방법으로 해시태그를 선택한다.
<게시물의 완성 및 업로드: S319, S321>
S317 단계에서 최종 선택된 단어로 해시태그를 입력한 다음, 게시물생성부(113)는 사용자의 업로드 명령을 기다렸다가(S319), 해당 게시물을 미디어 서버(30)에 업로드한다(S321).
이상의 방법으로 본 발명의 영상 인식에 의한 해시태그 삽입방법이 수행된다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (7)

  1. 소셜 미디어의 웹 사이트에 동영상을 게시하기 위한 게시물을 생성할 수 있는 단말기가 상기 게시물에 해시태그를 삽입하는 방법에 있어서,
    게시물생성부가 상기 동영상을 상기 게시물로 생성하기 위한 게시물 생성화면을 표시하는 단계;
    영상처리부가 상기 게시물 생성화면에 삽입된 동영상의 각 영상 프레임으로부터 적어도 하나의 객체를 인식하고 상기 인식한 적어도 하나의 객체의 이름을 데이터베이스로부터 추출하는 단계;
    상기 영상처리부가 상기 동영상에 삽입된 자막으로부터 적어도 하나의 명사를 추출하는 단계;
    상기 게시물생성부가 사용자로부터 기준 해시태그를 입력받는 단계;
    상기 게시물생성부가 기설정된 연관 알고리즘을 이용하여, 상기 적어도 하나의 객체의 이름과 명사 중에서 상기 기준 해시태그에 연관된 단어를 선택하는 단계; 및
    상기 게시물생성부가 상기 기준 해시태그에 연관된 것으로 선택된 단어를 해시태그로 삽입하여 상기 게시물을 완성하는 단계를 포함하는 것을 특징으로 하는 해시태그 삽입방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 기준 해시태그를 입력받는 단계는,
    상기 게시물 생성화면을 통해 사용자로부터 상기 게시물에 포함될 메시지를 입력받는 단계; 및
    상기 메시지에 포함된 적어도 하나의 명사 중에서 가장 많이 반복된 명사를 상기 기준 해시태그로 적용하는 단계를 포함하는 것을 특징으로 하는 해시태그 삽입방법.
  4. 제1항에 있어서,
    상기 기준 해시태그에 연관된 단어를 선택하는 단계는, 상기 기준 해시태그에 연관된 단어 중에서 반복률이 높은 순서로 기설정된 개수의 단어를 선택하는 단계를 더 포함하는 것을 특징으로 하는 해시태그 삽입방법.
  5. 제4항에 있어서,
    상기 추출한 객체가 사람의 얼굴인 경우에, 상기 게시물을 완성하는 단계는 상기 선택된 단어와 함께 상기 데이터베이스로부터 추출한 상기 사람의 이름을 해시태그로 삽입하며,
    상기 데이터베이스는 상기 소셜 미디어 웹 사이트의 서버인 것을 특징으로 하는 해시태그 삽입방법.
  6. 제1항에 있어서,
    상기 추출한 객체가 사람의 얼굴인 경우에,
    상기 데이터베이스는 상기 소셜 미디어 웹 사이트의 서버인 것을 특징으로 하는 해시태그 삽입방법.
  7. 제1항의 해시태그 삽입방법의 상기 영상처리부 및 게시물생성부의 동작을 수행하는 소프트웨어가 저장된 컴퓨터로 읽을 수 있는 저장매체를 구비하고 상기 단말기가 인터넷을 통해 접속할 경우 상기 소프트웨어를 다운로드 할 수 있게 한 것을 특징으로 하는 소프트웨어 분배 서버.
KR1020160158308A 2016-11-25 2016-11-25 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버 KR101912237B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160158308A KR101912237B1 (ko) 2016-11-25 2016-11-25 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버
PCT/KR2016/013953 WO2018097379A1 (ko) 2016-11-25 2016-11-30 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버
US15/385,163 US20180152500A1 (en) 2016-11-25 2016-12-20 Method for attaching hash-tag using image recognition process and software distributing server storing software for the same method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160158308A KR101912237B1 (ko) 2016-11-25 2016-11-25 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버

Publications (2)

Publication Number Publication Date
KR20180059117A KR20180059117A (ko) 2018-06-04
KR101912237B1 true KR101912237B1 (ko) 2018-10-26

Family

ID=62190662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160158308A KR101912237B1 (ko) 2016-11-25 2016-11-25 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버

Country Status (3)

Country Link
US (1) US20180152500A1 (ko)
KR (1) KR101912237B1 (ko)
WO (1) WO2018097379A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021066509A1 (ko) * 2019-10-04 2021-04-08 삼성전자 주식회사 전자 장치 및 이의 제어 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018152685A1 (en) * 2017-02-22 2018-08-30 Tencent Technology (Shenzhen) Company Limited Image processing in a vr system
KR101853410B1 (ko) * 2017-04-12 2018-04-30 한국과학기술연구원 태깅 정보를 포함하는 미디어 콘텐츠를 클라이언트 단말에 제공하는 소셜 미디어 서버 및 클라이언트 단말
WO2018211552A1 (ja) * 2017-05-15 2018-11-22 オリンパス株式会社 通信端末、画像管理システム、画像管理方法、およびプログラム
CN108984678A (zh) * 2018-06-29 2018-12-11 百度在线网络技术（北京）有限公司 可穿戴设备、信息处理方法、装置和系统
KR102109890B1 (ko) * 2018-08-31 2020-05-12 대구대학교 산학협력단 마케팅 효과 제고를 위한 해시태그 교정 서비스 방법 및 이를 위한 시스템
KR101969264B1 (ko) * 2018-08-27 2019-04-16 주식회사 엔디소프트 컨텐츠 검색용 단어를 특수식별기호와 함께 자동 삽입하는 방법
CN109344291B (zh) * 2018-09-03 2020-08-25 腾讯科技（武汉）有限公司 一种视频生成方法及装置
CN109783671B (zh) 2019-01-30 2021-10-08 京东方科技集团股份有限公司 一种以图搜图的方法、计算机可读介质及服务器
CN110609914B (zh) * 2019-08-06 2021-08-17 厦门大学 一种基于快速类别更新的在线哈希学习图像检索方法
KR102265120B1 (ko) * 2019-11-01 2021-06-15 (주) 아이디얼랩스 이미지 분석 기반 매칭 서비스 제공 방법 및 장치
KR102498905B1 (ko) * 2020-09-18 2023-02-09 송정우 영상을 공유하는 방법, 이를 이용하는 장치 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155695A (ja) * 2011-01-07 2012-08-16 Kddi Corp 動画コンテンツにおける注目シーンにキーワードタグを付与するプログラム、端末、サーバ及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150007403A (ko) * 2013-07-10 2015-01-21 삼성전자주식회사 인물 인식 방법, 그리고 인물 정보 데이터 운용 방법 및 장치
WO2015110845A1 (en) * 2014-01-24 2015-07-30 Google Inc. Autocreated campaigns for hashtag keywords
KR102135287B1 (ko) * 2014-02-06 2020-07-17 십일번가 주식회사 개인 컨텐츠에 기반하여 동영상을 생성하는 컨텐츠 생성 서비스 장치, 개인 컨텐츠에 기반하여 동영상을 생성하는 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102379171B1 (ko) * 2015-02-27 2022-03-25 삼성전자주식회사 전자 장치 및 그의 영상 표시 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155695A (ja) * 2011-01-07 2012-08-16 Kddi Corp 動画コンテンツにおける注目シーンにキーワードタグを付与するプログラム、端末、サーバ及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021066509A1 (ko) * 2019-10-04 2021-04-08 삼성전자 주식회사 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
US20180152500A1 (en) 2018-05-31
WO2018097379A1 (ko) 2018-05-31
KR20180059117A (ko) 2018-06-04

Similar Documents

Publication Publication Date Title
KR101912237B1 (ko) 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버
US11902633B2 (en) Dynamic overlay video advertisement insertion
US20180152767A1 (en) Providing related objects during playback of video data
CN108012162B (zh) 内容推荐方法及装置
US9123061B2 (en) System and method for personalized dynamic web content based on photographic data
CN103760968B (zh) 数字标牌显示内容选择方法和装置
CN112104899A (zh) 直播中的信息推荐方法、装置、电子设备及存储介质
CN107918622A (zh) 内容推荐、展示方法、客户端、服务器和系统
JP2014016882A (ja) 情報提供装置、情報提供方法および情報提供プログラム
CN113129045A (zh) 视频数据的处理、显示方法、装置、电子设备及存储介质
US10798425B1 (en) Personalized key object identification in a live video stream
CN112464031A (zh) 交互方法、装置、电子设备以及存储介质
US20170034586A1 (en) System for content matching and triggering for reality-virtuality continuum-based environment and methods thereof
KR102522989B1 (ko) 멀티미디어 콘텐츠 내 상품 정보 제공 장치 및 방법
US20220415360A1 (en) Method and apparatus for generating synopsis video and server
US10756913B2 (en) Creation and conveyance of device-targeted messages
CN114268848A (zh) 一种视频生成方法、装置、电子设备及存储介质
CN113438532A (zh) 视频处理、视频播放方法、装置、电子设备及存储介质
JP6794740B2 (ja) プレゼンテーション資料生成装置、プレゼンテーション資料生成システム、コンピュータプログラム及びプレゼンテーション資料生成方法
KR101538593B1 (ko) 모바일 단말의 영상 편집을 이용한 광고 삽입 장치
TW201308238A (zh) 網頁中插入影音廣告之方法
US20220164090A1 (en) Abstract generation method and apparatus
CN116137648A (zh) 视频处理方法、装置、电子设备和计算机可读存储介质
CN115776578A (zh) 一种视频生成方法及装置、一种音频播放方法及装置
CN113657929A (zh) 广告展示方法、装置、存储介质以及终端设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant