KR20200077176A - 영상과 관련된 키워드를 추천하는 장치 및 방법 - Google Patents

영상과 관련된 키워드를 추천하는 장치 및 방법 Download PDF

Info

Publication number
KR20200077176A
KR20200077176A KR1020180166429A KR20180166429A KR20200077176A KR 20200077176 A KR20200077176 A KR 20200077176A KR 1020180166429 A KR1020180166429 A KR 1020180166429A KR 20180166429 A KR20180166429 A KR 20180166429A KR 20200077176 A KR20200077176 A KR 20200077176A
Authority
KR
South Korea
Prior art keywords
image
keyword
behavior
video
similarity
Prior art date
Application number
KR1020180166429A
Other languages
English (en)
Other versions
KR102299960B1 (ko
Inventor
박구만
이재현
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020180166429A priority Critical patent/KR102299960B1/ko
Publication of KR20200077176A publication Critical patent/KR20200077176A/ko
Application granted granted Critical
Publication of KR102299960B1 publication Critical patent/KR102299960B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

영상과 관련된 키워드를 추천하는 장치는 제작자 단말로부터 촬영된 영상을 수신하는 수신부, 상기 수신한 영상으로부터 객체를 검출하고, 상기 검출된 객체를 분석하는 객체 분석부, 상기 분석된 객체의 행동을 인식하는 행동 인식부, 상기 인식된 객체의 행동에 기초하여 상기 영상을 인식하는 영상 인식부, 상기 인식된 영상과 관련하여 기업로드된 유사 컨텐츠 및 상기 영상을 비교하여 유사도를 분석하는 유사도 분석부 및 상기 분석된 유사도에 기초하여 상기 영상에 대한 키워드를 추천하는 추천부를 포함한다.

Description

영상과 관련된 키워드를 추천하는 장치 및 방법{APPARATUS AND METHOD FOR RECOMMENDING KEYWORD RELATED TO VIDEO}
본 발명은 영상과 관련된 키워드를 추천하는 장치 및 방법에 관한 것이다.
1인 미디어란 개인이 혼자서 컨텐츠를 기획하여 제작하고, 제작된 컨텐츠를 유통시키는 것을 의미한다. 1인 미디어의 등장으로 누구나 방송 컨텐츠를 제작하여 유통할 수 있게 됨으로써, 개인이 미디어에 대해 소비자가 아닌 생산자로서 참여가 가능해졌다.
크리에이터(Creator)란 이러한 1인 미디어을 제작하여 업로드하는 창작자를 일컫는다. 크리에이터는 1인 미디어를 통해 시청자와 일상적인 대화를 나누며, 친근한 소재의 컨텐츠를 제작하여 시청자에게 보여줄 수 있다.
이러한 1인 미디어를 제작하는 기술과 관련하여, 선행기술인 한국공개특허 제 2012-0067884호는 개인 방송 수신 단말기, 개인 방송 서버, 개인 방송 서비스 제공 장치 및 방법을 개시하고 있다.
일반적으로 1인 미디어를 시청하는 시청자들은 자신이 있어하는 관심 분야의 컨텐츠만 시청한다. 이러한 점을 고려하여 크리에이터들은 자신이 제작한 1인 미디어가 많은 시청자들이 시청하도록 하기 위해 시청자들의 시선을 끌 제목을 선택해야 한다. 또한, 크리에이터들은 자신이 제작한 1인 미디어가 플랫폼의 상위에 노출될 수 있도록 하는 관련 키워드를 선택해야 한다.
시청자가 자신이 관심 있는 분야의 컨텐츠를 시청하는 경우, 시청자는 제목을 통해 컨텐츠의 시청 유무를 결정하게 되므로, 시청자의 관심을 유도할 수 있도록 영상의 제목을 추천하는 영상과 관련된 키워드를 추천하는 장치 및 방법을 제공하고자 한다.
시청자가 관심 있는 컨텐츠를 시청하기 위해 컨텐츠 검색을 수행한 경우, 검색 결과에서 크리에이터가 제작한 영상을 상위에 노출시킬 수 있도록 키워드를 추천하는 영상과 관련된 키워드를 추천하는 장치 및 방법을 제공하고자 한다.
크리에이터가 제작한 영상과 유명 크리에이터가 제작한 영상을 비교하여 유명 크리에이터가 제작한 영상에서 사용된 키워드를 추천함으로써, 크리에이터가 제작한 영상이 유명 크리에이터가 제작한 영상과 관련된 영상으로 노출될 수 있도록 하는 영상과 관련된 키워드를 추천하는 장치 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 제작자 단말로부터 촬영된 영상을 수신하는 수신부, 상기 수신한 영상으로부터 객체를 검출하고, 상기 검출된 객체를 분석하는 객체 분석부, 상기 분석된 객체의 행동을 인식하는 행동 인식부, 상기 인식된 객체의 행동에 기초하여 상기 영상을 인식하는 영상 인식부, 상기 인식된 영상과 관련하여 기업로드된 유사 컨텐츠 및 상기 영상을 비교하여 유사도를 분석하는 유사도 분석부 및 상기 분석된 유사도에 기초하여 상기 영상에 대한 키워드를 추천하는 추천부를 포함하는 키워드 추천 장치를 제공할 수 있다.
일 실시예에 따르면, 상기 객체 분석부는 상기 수신한 영상을 복수의 픽셀 집합으로 분할하고, 상기 분할된 복수의 픽셀 집합에 기초하여 상기 영상에 포함된 경계선을 통해 배경 및 객체 중 적어도 하나를 검출하고, 상기 검출된 적어도 하나의 배경 및 객체에 대해 카테고리를 분류할 수 있다.
일 실시예에 따르면, 상기 행동 인식부는 상기 검출된 객체에 대한 포즈 예측을 통해 복수의 신체 관절을 검출하고, 상기 검출된 복수의 신체 관절들 간의 각도를 측정하고, 상기 측정된 각 관절 간의 각도 조합에 기초하여 상기 객체의 행동을 인식할 수 있다.
일 실시예에 따르면, 상기 영상 인식부는 상기 인식된 배경 정보, 객체 정보, 행동 정보 중 적어도 하나에 기초하여 상기 영상과 관련된 키워드를 나열하고, 상기 나열된 영상과 관련된 키워드에 기초하여 상기 영상을 인식할 수 있다.
일 실시예에 따르면, 상기 유사도 분석부는 상기 영상 및 상기 유사 컨텐츠에 대해 전체 프레임별 배경 정보, 객체 정보 및 행동 정보 중 적어도 하나를 비교하여 유사도를 산출하고, 상기 산출된 유사도에 기초하여 상기 유사 컨텐츠와 관련된 키워드를 추출하고, 상기 추천부는 상기 추출된 유사 컨텐츠와 관련된 키워드를 상기 영상에 대한 키워드로 추천할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 시청자가 자신이 관심 있는 분야의 컨텐츠를 시청하는 경우, 시청자는 제목을 통해 컨텐츠의 시청 유무를 결정하게 되므로, 시청자의 관심을 유도할 수 있도록 영상의 제목을 추천하는 영상과 관련된 키워드를 추천하는 장치 및 방법을 제공할 수 있다.
시청자가 관심 있는 컨텐츠를 시청하기 위해 컨텐츠 검색을 수행한 경우, 검색 결과에서 크리에이터가 제작한 영상을 상위에 노출시킬 수 있도록 키워드를 추천하는 영상과 관련된 키워드를 추천하는 장치 및 방법을 제공할 수 있다.
크리에이터가 제작한 영상과 유명 크리에이터가 제작한 영상을 비교하여 유명 크리에이터가 제작한 영상에서 사용된 키워드를 추천함으로써, 크리에이터가 제작한 영상이 유명 크리에이터가 제작한 영상과 관련된 영상으로 노출될 수 있도록 하는 영상과 관련된 키워드를 추천하는 장치 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 키워드 추천 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 키워드 추천 장치의 구성도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 객체의 행동을 인식하는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 키워드 추천 장치에서 영상과 관련된 키워드를 추천하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 키워드 추천 시스템의 구성도이다. 도 1을 참조하면, 키워드 추천 시스템(1)은 제작자 단말(110) 및 키워드 추천 장치(120)를 포함할 수 있다. 제작자 단말(110) 및 키워드 추천 장치(120)는 키워드 추천 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 키워드 추천 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 키워드 추천 장치(120)는 제작자 단말(110)과 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
제작자 단말(110)은 제작자에 의해 특정 주제에 대한 영상을 촬영하고, 촬영된 영상을 키워드 추천 장치(120)로 전송할 수 있다. 특정 주제에 대한 영상은 예를 들어, 음식, 게임, 여행 등과 관련된 것으로, 제작자가 영상에 방송 진행자로서 직접 출연하여 촬영한 영상 또는 나레이션을 통해 비출연하여 촬영한 영상일 수 있다.
키워드 추천 장치(120)는 제작자 단말(110)로부터 촬영된 영상을 수신할 수 있다.
키워드 추천 장치(120)는 수신한 영상으로부터 객체를 검출하고, 검출된 객체를 분석할 수 있다. 예를 들어, 키워드 추천 장치(120)는 수신한 영상을 복수의 픽셀 집합으로 분할하고, 분할된 복수의 픽셀 집합에 기초하여 영상에 포함된 경계선을 통해 배경 및 객체 중 적어도 하나를 검출하고, 검출된 적어도 하나의 배경 및 객체에 대해 카테고리를 분류할 수 있다.
키워드 추천 장치(120)는 분석된 객체의 행동을 인식할 수 있다. 예를 들어, 키워드 추천 장치(120)는 검출된 객체에 대한 포즈 예측을 통해 복수의 신체 관절을 검출하고, 검출된 복수의 신체 관절들 간의 각도를 측정하고, 측정된 각 관절 간의 각도 조합에 기초하여 객체의 행동을 인식할 수 있다.
키워드 추천 장치(120)는 인식된 객체의 행동에 기초하여 영상을 인식할 수 있다. 예를 들어, 키워드 추천 장치(120)는 인식된 배경 정보, 객체 정보, 행동 정보 중 적어도 하나에 기초하여 영상과 관련된 키워드를 나열하고, 나열된 영상과 관련된 키워드에 기초하여 영상을 인식할 수 있다.
키워드 추천 장치(120)는 인식된 영상과 관련하여 기업로드된 유사 컨텐츠 및 영상을 비교하여 유사도를 분석할 수 있다. 예를 들어, 키워드 추천 장치(120)는 영상 및 유사 컨텐츠에 대해 전체 프레임별 배경 정보, 객체 정보 및 행동 정보 중 적어도 하나를 비교하여 유사도를 산출하고, 산출된 유사도에 기초하여 유사 컨텐츠와 관련된 키워드를 추출할 수 있다.
키워드 추천 장치(120)는 분석된 유사도에 기초하여 영상에 대한 키워드를 추천할 수 있다. 예를 들어, 키워드 추천 장치(120)는 추출된 유사 컨텐츠와 관련된 키워드를 영상에 대한 키워드로 추천할 수 있다.
도 2는 본 발명의 일 실시예에 따른 키워드 추천 장치의 구성도이다. 도 2를 참조하면, 키워드 추천 장치(120)는 수신부(210), 객체 분석부(220), 행동 인식부(230), 영상 인식부(240), 유사도 분석부(250) 및 추천부(260)를 포함할 수 있다.
수신부(210)는 제작자 단말(110)로부터 촬영된 영상을 수신할 수 있다.
객체 분석부(220)는 수신한 영상으로부터 객체를 검출하고, 검출된 객체를 분석할 수 있다. 이를 위해, 객체 분석부(220)는 FCN(Fully Convolution Networks) 알고리즘을 이용하여 수신한 영상을 복수의 픽셀 집합으로 분할하고, 분할된 복수의 픽셀 집합에 기초하여 영상에 포함된 경계선을 통해 배경 및 객체(예를 들어, 사람, 사물, 동물 등) 중 적어도 하나를 검출할 수 있다. 이 때, 동일 객체가 검출된 경우, 객체 분석부(220)는 검출된 동일 객체의 수를 파악할 수 있다.
객체 분석부(220)는 SVM(Support Vector Machine) 알고리즘을 이용하여 검출된 적어도 하나의 배경 및 객체에 대해 카테고리를 분류할 수 있다. 이 때, 객체 분석부(220)는 분류된 카테고리를 통해 다수의 객체 정보(클래스)를 파악하여 각 객체에 대한 행동 인식을 수행할 수 있다.
행동 인식부(230)는 분석된 객체의 행동을 인식할 수 있다. 예를 들어, 객체 분석부(220)에서 영상으로부터 방송 진행자(예를 들어, BJ, 유투버 등), 사람 형태의 게임 캐릭터 등을 객체로 검출한 경우, 행동 인식부(230)는 LSTM(Long Short Term Memory) 알고리즘을 이용하여 검출된 객체에 대한 포즈 예측을 통해 복수의 신체 관절을 검출할 수 있다.
행동 인식부(230)는 검출된 복수의 신체 관절들 간의 각도를 측정할 수 있다. 예를 들어, 행동 인식부(230)는 예를 들어, 목, 가슴, 골반, 어깨, 팔, 무릎과 같은 관절 간의 각도를 측정할 수 있다.
행동 인식부(230)는 측정된 각 관절 간의 각도 조합에 기초하여 객체의 행동을 인식할 수 있다. 예를 들어, 행동 인식부(230)는 방송 진행자의 오른팔 또는 왼 팔의 관절 각도를 측정하고, 측정된 관절 간의 각도 조합에 기초하여 방송 진행자가 현재 먹는 행동(식사)을 하고 있음을 인식할 수 있다. 다른 예를 들어, 행동 인식부(230)는 게임 캐릭터의 어깨, 팔, 무릎과 같은 간절 간의 각도를 측정하고, 측정된 관절 간의 각도 조합에 기초하여 게임 캐릭터가 엎드림, 달림, 사망, 사격 등의 행동을 하고 있음을 인식할 수 있다.
이와 같이, 행동 인식부(230)는 각 객체(사람, 게임 캐릭터 등) 마다 어떤 행동을 취하고 있는지를 프레임별로 인식할 수 있다.
영상 인식부(240)는 인식된 객체의 행동에 기초하여 영상을 인식할 수 있다. 예를 들어, 영상 인식부(240)는 인식된 배경 정보, 객체 정보, 행동 정보 중 적어도 하나에 기초하여 영상과 관련된 키워드를 나열할 수 있다. 이 때, 영상 인식부(240)는 전체 프레임에 대해 객체가 어떤 행동을 취하고 있는지를 알 수 있으므로, 각 프레임별 정보를 이용하여 해당 영상의 키워드를 나열할 수 있다.
영상 인식부(240)는 나열된 영상과 관련된 키워드에 기초하여 영상을 인식할 수 있다. 영상과 관련된 키워드를 나열하여 영상을 인식하는 과정에 대해서는 도 3a 및 도 3b를 통해 상세히 설명하도록 한다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 객체의 행동을 인식하는 과정을 설명하기 위한 예시적인 도면이다.
도 3a를 참조하면, 객체 분석부(220)는 객체를 방송 진행자(300) 및 치킨 2마리(310)를 인식할 수 있다. 행동 인식부(230)는 방송 진행자(300)의 신체 관절(320)들 간의 각도를 측정하여 방송 진행자(300)의 행동이 현재 식사중임을 인식할 수 있다.
영상 인식부(240)는 인식된 배경 정보, 객체 정보, 행동 정보 등에 기초하여 영상과 관련된 키워드를 '[치킨 2마리][사람 1명][식사]'와 같이 나열하고, 나열된 키워드에 기초하여 영상을 '먹방 영상'으로 인식할 수 있다.
도 3b를 참조하면, 객체 분석부(220)는 객체를 게임 캐릭터(330)를 인식할 수 있다. 행동 인식부(230)는 게임 캐릭터(330)의 신체 관절(340)들 간의 각도를 측정하여 게임 캐릭터(330)의 행동이 현재 사격중임을 인식할 수 있다.
영상 인식부(240)는 인식된 배경 정보, 객체 정보, 행동 정보 등에 기초하여 영상과 관련된 키워드를 '[게임명][캐릭터][캐릭터 행동(사격)]'과 같이 나열하고, 나열된 키워드에 기초하여 영상을 '게임 방송'으로 인식할 수 있다.
이를 통해, 영상 인식부(240)는 영상을 먹는 방송, 야외 길거리 방송, 여행 방송, 게임 방송 등으로 인식할 수 있다.
다시 도 2로 돌아와서, 유사도 분석부(250)는 인식된 영상과 관련하여 기업로드된 유사 컨텐츠 및 영상을 비교하여 유사도를 분석할 수 있다. 여기서, 유사 컨텐츠는 유명 크리에이터, 유명 크리에이터의 제작 영상을 구독하는 구독자 수, 조회수, 시청 시간, 좋아요 수 등에 기초하여 추출된 것일 수 있다.
유사도 분석부(250)는 추출된 유사 컨텐츠 및 영상을 비교하여 유사도를 분석할 수 있다. 이 때, 유사도 분석부(250)는 우선 순위에 기초하여 추출된 유사 컨텐츠와 영상을 비교하여 유사도를 분석하고, 유사 컨텐츠와 영상의 유사도가 낮은 경우, 우선 순위에 따라 다음 유사 컨텐츠와 영상을 비교하여 유사도를 분석할 수 있다.
유사도 분석부(250)는 영상 및 유사 컨텐츠에 대해 전체 프레임별 배경 정보, 객체 정보 및 행동 정보 중 적어도 하나를 비교하여 유사도를 산출할 수 있다. 예를 들어, 유사도 분석부(250)는 영상의 전체 프레임별 배경 정보, 객체 정보 및 행동 정보와 유사 컨텐츠의 전체 프레임별 배경 정보, 객체 정보 및 행동 정보를 비교하여 유사도를 산출할 수 있다.
유사도 분석부(250)는 산출된 유사도에 기초하여 유사 컨텐츠와 관련된 키워드를 추출할 수 있다. 예를 들어, 유사도 분석부(250)는 영상 및 유사 컨텐츠에 대한 유사도가 90%이상 일치하는 경우, 유사 컨텐츠의 제목 및 태그를 키워드로 추출할 수 있다.
추천부(260)는 분석된 유사도에 기초하여 영상에 대한 키워드를 추천할 수 있다. 예를 들어, 추천부(260)는 추출된 유사 컨텐츠와 관련된 키워드를 RNN(Recurrent Neural Network) 알고리즘을 이용하여 영상에 대한 키워드로 추천할 수 있다.
도 4는 본 발명의 일 실시예에 따른 키워드 추천 장치에서 영상과 관련된 키워드를 추천하는 방법의 순서도이다. 도 4에 도시된 키워드 추천 장치(120)에서 영상과 관련된 키워드를 추천하는 방법은 도 1 내지 도 3b에 도시된 실시에에 의해 키워드 추천 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 3b에 도시된 실시예에 따른 키워드 추천 장치(120)에서 영상과 관련된 키워드를 추천하는 방법에도 적용된다.
단계 S410에서 키워드 추천 장치(120)는 제작자 단말(110)로부터 촬영된 영상을 수신할 수 있다.
단계 S420에서 키워드 추천 장치(120)는 수신한 영상으로부터 객체를 검출하고, 검출된 객체를 분석할 수 있다.
단계 S430에서 키워드 추천 장치(120)는 분석된 객체의 행동을 인식할 수 있다.
단계 S440에서 키워드 추천 장치(120)는 인식된 객체의 행동에 기초하여 영상을 인식할 수 있다.
단계 S450에서 키워드 추천 장치(120)는 인식된 영상과 관련하여 기업로드된 유사 컨텐츠 및 영상을 비교하여 유사도를 분석할 수 있다.
단계 S460에서 키워드 추천 장치(120)는 분석된 유사도에 기초하여 영상에 대한 키워드를 추천할 수 있다.
상술한 설명에서, 단계 S410 내지 S460은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 4를 통해 설명된 키워드 추천 장치에서 영상과 관련된 키워드를 추천하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 4를 통해 설명된 키워드 추천 장치에서 영상과 관련된 키워드를 추천하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 제작자 단말
120: 키워드 추천 장치
210: 수신부
220: 객체 분석부
230: 행동 인식부
240: 영상 인식부
250: 유사도 분석부
260: 추천부

Claims (5)

  1. 영상과 관련된 키워드를 추천하는 장치에 있어서,
    제작자 단말로부터 촬영된 영상을 수신하는 수신부;
    상기 수신한 영상으로부터 객체를 검출하고, 상기 검출된 객체를 분석하는 객체 분석부;
    상기 분석된 객체의 행동을 인식하는 행동 인식부;
    상기 인식된 객체의 행동에 기초하여 상기 영상을 인식하는 영상 인식부;
    상기 인식된 영상과 관련하여 기업로드된 유사 컨텐츠 및 상기 영상을 비교하여 유사도를 분석하는 유사도 분석부; 및
    상기 분석된 유사도에 기초하여 상기 영상에 대한 키워드를 추천하는 추천부를 포함하는, 키워드 추천 장치.
  2. 제 1 항에 있어서,
    상기 객체 분석부는 상기 수신한 영상을 복수의 픽셀 집합으로 분할하고,
    상기 분할된 복수의 픽셀 집합에 기초하여 상기 영상에 포함된 경계선을 통해 배경 및 객체 중 적어도 하나를 검출하고,
    상기 검출된 적어도 하나의 배경 및 객체에 대해 카테고리를 분류하는 것인, 키워드 추천 장치.
  3. 제 2 항에 있어서,
    상기 행동 인식부는 상기 검출된 객체에 대한 포즈 예측을 통해 복수의 신체 관절을 검출하고,
    상기 검출된 복수의 신체 관절들 간의 각도를 측정하고,
    상기 측정된 각 관절 간의 각도 조합에 기초하여 상기 객체의 행동을 인식하는 것인, 키워드 추천 장치.
  4. 제 3 항에 있어서,
    상기 영상 인식부는 상기 인식된 배경 정보, 객체 정보, 행동 정보 중 적어도 하나에 기초하여 상기 영상과 관련된 키워드를 나열하고,
    상기 나열된 영상과 관련된 키워드에 기초하여 상기 영상을 인식하는 것인, 키워드 추천 장치.
  5. 제 4 항에 있어서,
    상기 유사도 분석부는 상기 영상 및 상기 유사 컨텐츠에 대해 전체 프레임별 배경 정보, 객체 정보 및 행동 정보 중 적어도 하나를 비교하여 유사도를 산출하고,
    상기 산출된 유사도에 기초하여 상기 유사 컨텐츠와 관련된 키워드를 추출하고,
    상기 추천부는 상기 추출된 유사 컨텐츠와 관련된 키워드를 상기 영상에 대한 키워드로 추천하는 것인, 키워드 추천 장치.
KR1020180166429A 2018-12-20 2018-12-20 영상과 관련된 키워드를 추천하는 장치 및 방법 KR102299960B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180166429A KR102299960B1 (ko) 2018-12-20 2018-12-20 영상과 관련된 키워드를 추천하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180166429A KR102299960B1 (ko) 2018-12-20 2018-12-20 영상과 관련된 키워드를 추천하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200077176A true KR20200077176A (ko) 2020-06-30
KR102299960B1 KR102299960B1 (ko) 2021-09-08

Family

ID=71121233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180166429A KR102299960B1 (ko) 2018-12-20 2018-12-20 영상과 관련된 키워드를 추천하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102299960B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191671A1 (ko) * 2021-03-12 2022-09-15 삼성전자 주식회사 전자 장치 및 이의 제어 방법
KR20220132393A (ko) * 2021-03-23 2022-09-30 아도바 주식회사 다중 채널 네트워크의 컨텐츠 관리 방법, 장치 및 시스템
KR20220132392A (ko) * 2021-03-23 2022-09-30 아도바 주식회사 다중 채널 네트워크의 컨텐츠 관리 방법, 장치 및 시스템
KR102662251B1 (ko) * 2023-07-24 2024-04-30 주식회사 이투온 인공지능 기반의 치매 환자 추적 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010035786A (ko) * 1999-10-02 2001-05-07 정선종 관절점 기반 동작 정보를 통한 영상 데이터 색인화 장치 및 방법과 그를 이용한 검색 장치 및 방법
KR101389730B1 (ko) * 2013-06-10 2014-04-28 스카이커뮤니티주식회사 동영상 파일의 주제별 분할 위치 생성 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010035786A (ko) * 1999-10-02 2001-05-07 정선종 관절점 기반 동작 정보를 통한 영상 데이터 색인화 장치 및 방법과 그를 이용한 검색 장치 및 방법
KR101389730B1 (ko) * 2013-06-10 2014-04-28 스카이커뮤니티주식회사 동영상 파일의 주제별 분할 위치 생성 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191671A1 (ko) * 2021-03-12 2022-09-15 삼성전자 주식회사 전자 장치 및 이의 제어 방법
KR20220132393A (ko) * 2021-03-23 2022-09-30 아도바 주식회사 다중 채널 네트워크의 컨텐츠 관리 방법, 장치 및 시스템
KR20220132392A (ko) * 2021-03-23 2022-09-30 아도바 주식회사 다중 채널 네트워크의 컨텐츠 관리 방법, 장치 및 시스템
KR102662251B1 (ko) * 2023-07-24 2024-04-30 주식회사 이투온 인공지능 기반의 치매 환자 추적 방법

Also Published As

Publication number Publication date
KR102299960B1 (ko) 2021-09-08

Similar Documents

Publication Publication Date Title
KR102299960B1 (ko) 영상과 관련된 키워드를 추천하는 장치 및 방법
EP3321844B1 (en) Action recognition in a video sequence
CN104994426B (zh) 节目视频识别方法及系统
US20150193472A1 (en) Generating user insights from user images and other data
US20160112746A1 (en) Media Playback Method, Apparatus, and System
CN110633669B (zh) 家居环境中基于深度学习的移动端人脸属性识别方法
US20150227780A1 (en) Method and apparatus for determining identity and programing based on image features
US10104345B2 (en) Data-enhanced video viewing system and methods for computer vision processing
KR101895846B1 (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
CN103581705A (zh) 视频节目识别方法和系统
CN202998337U (zh) 视频节目识别系统
US10257569B2 (en) Display apparatus and method for providing service thereof
WO2015091192A1 (en) Method for annotating an object in a multimedia asset
US20230206632A1 (en) Computerized system and method for fine-grained video frame classification and content creation therefrom
KR102534270B1 (ko) 메타 데이터 제공 장치 및 방법
Uribe et al. New access services in HbbTV based on a deep learning approach for media content analysis
CN114357301A (zh) 数据处理方法、设备及可读存储介质
US20200074218A1 (en) Information processing system, information processing apparatus, and non-transitory computer readable medium
KR101997909B1 (ko) 해상도 복원을 위한 ai 영상학습 파라미터 추출 프로그램 및 기록매체
US9747330B2 (en) Demographic determination for media consumption analytics
CN112040260A (zh) 一种截图方法、装置、设备及计算机可读存储介质
KR102339262B1 (ko) 영상과 관련된 메타데이터를 생성하는 장치 및 방법
EP2902924A1 (en) Method for automatically selecting a real-time video stream among a plurality of available real-time video streams, and associated system
KR102549073B1 (ko) 분석 중계 서버의 분석 영상 중계 방법 및 분석 중계 시스템
CN110704680B (zh) 标签生成方法、电子设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant