KR20200080417A - 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치 - Google Patents

채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치 Download PDF

Info

Publication number
KR20200080417A
KR20200080417A KR1020180165235A KR20180165235A KR20200080417A KR 20200080417 A KR20200080417 A KR 20200080417A KR 1020180165235 A KR1020180165235 A KR 1020180165235A KR 20180165235 A KR20180165235 A KR 20180165235A KR 20200080417 A KR20200080417 A KR 20200080417A
Authority
KR
South Korea
Prior art keywords
vector
data
unit
audio data
highlight
Prior art date
Application number
KR1020180165235A
Other languages
English (en)
Other versions
KR102153201B1 (ko
Inventor
이계민
김은율
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020180165235A priority Critical patent/KR102153201B1/ko
Publication of KR20200080417A publication Critical patent/KR20200080417A/ko
Application granted granted Critical
Publication of KR102153201B1 publication Critical patent/KR102153201B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G06K9/00751—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

영상의 제공 중에 발생하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치에 있어서, 채팅 데이터 및 오디오 데이터 중 어느 하나를 일정 시간 구간으로 분리하여 특징 벡터를 추출하는 추출부, 추출부의 특징 벡터와 이전 시간 구간의 정보를 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 생성하는 순방향 학습부, 추출부의 특징 벡터와 이후 시간 구간의 정보를 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 는 역방향 학습부 및 순방향 생성부의 결과 벡터와 역방향 생성부의 결과 벡터로부터 해당 일정 시간 구간이 하이라이트로 예측될 수 있는 확률에 대한 스코어 벡터를 생성하는 예측부를 포함하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치를 개시하고 있다.

Description

채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치 {APARATUS FOR GENERATING A HIGHLIGHT VIDEO USING CHAT DATA AND AUDIO DATA}
본 발명은 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치에 관한 것으로서, 더욱 상세하게는 순환 인공 신경망을 이용하여 하이라이트를 예측하여 최종 하이라이트를 식별 및 생성하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치에 관한 것이다.
순환 인공 신경망(RNN, Recurrent Neural Network)은　인공 신경망의 한 종류이며, 유닛(unit)간의 연결이　순환적 구조를 갖는 특징을 가지고 있다. 이러한 구조는 시변적 동적 특징을 모델링 할 수 있도록 신경망 내부에 상태를 저장할 수 있게 해준다.　전방 전달 신경망과 달리, 순환 인공 신경망(RNN)은 내부의　메모리를 이용해 시퀀스　형태의 입력을 처리할 수 있다. 따라서 순환 인공 신경망(RNN)은 필기체 인식이나　음성 인식과 같이 시변적 특징을 가지는 데이터를 처리할 수 있다.
장단기 메모리(LSTM, Long Short Term Memory)는 순환 신경망(RNN)의 한 종류이며, 셀(cell), 입력 게이트(input gate), 출력 게이트(output gate) 및 망각 게이트(forget gate)로 구성된다. 이 때 장단기 메모리(LSTM) 단위로 구성된 순환 신경망(RNN)을 장단기 메모리(LSTM) 네트워크라고 한다. 장단기 메모리(LSTM) 네트워크는 시계열에서 중요한 이벤트 사이에 알 수 없는 지속 시간이 지연 될 수 있기 때문에 시계열 데이터를 기반으로 예측을 분류, 처리 및 예측하는 데 적합하다.
퍼셉트론(Perceptron)은 인공신경망의 한 종류로, 가중치 세트를 특징 벡터와 결합하는 선형 예측 함수에 기초하여 예측하는 분류 알고리즘이다. 숫자 벡터로 표현 된 입력이 특정 클래스에 속하는지 여부를 결정할 수 있는 함수인 이진 분류자(binary classifier)의 감독 학습을 위한 알고리즘이다.
다층 퍼셉트론(MLP, Multi-Layer Perceptron)은 입력 레이어(input layer), 출력 레이어(output layer) 및 숨겨진 레이어(hidden layer)를 포함하는 적어도 세 개의 레이어로 구성되는 일종의 피드포워드(feed-forward) 인공 신경망(neural network)이다. 훈련을 위해 역전파(back-propagation)이라고 하는 감독 학습 기법을 사용한다. 퍼셉트론(Perceptron)과 달리 선형으로 분리할 수 없는 데이터를 구별할 수 있다.
스트리밍(streaming) 형식의 영상을 제공할 때 발생하는 채팅 데이터와 오디오 데이터는 시변적 특성을 가지는 시계열 데이터이므로 순환 인공 신경망(RNN)을 통해 처리될 수 있다. 이 때, 순환 인공 신경망(RNN)을 이용하여 데이터를 적절하게 처리하기 위해서는 입력 데이터의 특징이 명확해야 한다.
오디오 데이터에서 특징 값을 추출하기 위해 멜 주파수 셉스트랄 계수(MFCC, Mel Frequency Cepstral Coefficient)를 일반적으로 이용하고, 채팅 내역과 같은 문자 데이터에서 특징 값을 추출하기 위해 일반적으로 자연 언어 처리(NLP, Natural Language Processing) 알고리즘을 이용한다.
멜 주파수 셉스트랄 계수(MFCC, Mel Frequency Cepstral Coefficient)는 소리의 특징을 추출하는 기법이며, 입력된 소리 전체를 대상으로 하는 것이 아니라, 일정　구간으로 나누어, 해당 구간에 대한　스펙트럼을 분석하여　특징을 추출하는 기법이다.
자연 언어 처리(NLP, Natural Language Processing) 알고리즘은 인간 언어 분석과 표현을 자동화하기 위한 계산 기법이다. fastText는 자연 언어 처리(NLP, Natural Language Processing) 알고리즘의 일종으로 단어 삽입 및 텍스트 분류를 학습하는 라이브러리이다.
한편, 방송 플랫폼을 통한 스포츠 경기 영상 등의 송출과 중계가 늘어나고 있다. 해당 영상을 송출하는 자 또는 중계하는 자는 영상에서 시청자가 관심을 가질 부분을 모아 하이라이트 영상을 제작하여 제공하고 있고, 시청자는 원하는 영상을 찾기 위해 하이라이트 영상을 보고 선별하는 것이 일반적이다.
이에 따라, 하이라이트 영상을 제공하는 것이 일반적인 추세로서 제작 수요가 증가하고 있으나, 일반적인 개인 방송과 같은 소규모 방송의 경우 시간적, 비용적, 기술적 제약으로 인해 하이라이트 영상 제작에 어려움을 겪고 있다.
이를 극복하기 위해 종래에는 영상에 포함된 음성 신호의 세기를 이용하여 하이라이트를 추출하는 방법(일본공개특허 JP.H08079674.A) 및 오디오 트랙의 신호 에너지 레벨을 이용하여 하이라이트로 추출하는 방법(미국등록특허 US 6,973,256 B1)등이 개시되어 사용하여 오고 있다. 스포츠 게임이나 e-스포츠 게임을 중계할 때, 브로드캐스터(Broadcaster)의 목소리나 관객들의 함성이 커지는 부분이 하이라이트일 가능성이 높다. 다만, 중계 방식에 따라 소리가 안 들어가거나 작게 들어갈 수 있고, 긴장되는 순간에는 조용히 관전할 수 있다. 따라서, 해당 순간의 오디오 신호의 세기나 에너지 밀도만으로 하이라이트 부분인지를 판단하기에는 정확도가 떨어진다. 이에 따라, 하이라이트를 예측하기 위해서는 보다 많은 정보를 활용할 필요성이 대두되고 있다.
도 1은 본 발명의 인터넷 개인 방송의 실시 화면으로, 도 1을 참조하면, 개인 방송의 경우 컴퓨터 장치의 디스플레이를 통해 제공된다. 화면은 중계 영상이 제공되는 부분(110), 시청자의 의견이 개시되는 부분(120), 개인 방송을 하는 크리에이터(creator), 스트리머(streamer) 및 중계자(BJ, Broadcasting Jockey)등과 같은 브로드캐스터(Broadcaster)에 의 영상이 제공되는 부분(130)으로 나뉘어져 중계 영상을 보는 시청자는 채팅을 통해 브로드캐스터(Broadcaster)와 소통을 한다.
이에 따라, 영상의 흐름에 따라 중계 영상내의 소리 및 방송 진행자(BJ)의 음성과 같은 오디오 데이터의 음성 및 밀도와 시청자의 반응인 채팅 데이터 양에 변화가 발생한다.
한국공개특허 제10-2005-0003071호(2005.01.10) 한국공개특허 제10-2014-0056618호(2014.05.12) 한국등록특허 제10-1867082호(2018.6.5) 일본공개특허 JP.H08079674.A(1996.03.22) 미국등록특허 US 6,973,256 B1 (2005.12.06)
본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은, 개인 방송을 송출할 때 생성되는 채팅 데이터와 오디오 데이터를 순환 인공 신경망(RNN, Recurrent Neural Network)에 학습시켜 전후의 맥락까지 고려한 하이라이트 영상을 자동으로 생성하는 장치를 제공하는 것이다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상의 제공 중에 발생하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치에 있어서, 채팅 데이터 및 오디오 데이터 중 어느 하나를 일정 시간 구간으로 분리하여 특징 벡터를 추출하는 추출부; 상기 추출부의 특징 벡터와 이전 시간 구간의 정보를 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 생성하는 순방향 학습부; 상기 추출부의 특징 벡터와 이후 시간 구간의 정보를 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 는 역방향 학습부; 및 상기 순방향 생성부의 결과 벡터와 상기 역방향 생성부의 결과 벡터로부터 해당 일정 시간 구간이 하이라이트로 예측될 수 있는 확률에 대한 스코어 벡터를 생성하는 예측부;를 포함할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상의 제공 중에 발생하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치에 있어서, 채팅 데이터 및 오디오 데이터 각각을 일정 시간 구간으로 분리하여 특징 벡터를 추출하는 추출부; 채팅 데이터 및 오디오 데이터 각각에 대해 상기 추출부의 특징 벡터들과 이전 시간 구간의 정보들을 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 생성하는 순방향 학습부; 채팅 데이터 및 오디오 데이터 각각에 대해 상기 추출부의 특징 벡터들과 이후 시간 구간의 정보들을 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 생성하는 역방향 학습부; 채팅 데이터 및 오디오 데이터 각각에 대해 상기 순방향 생성부의 결과 벡터와 상기 역방향 생성부의 결과 벡터를 결합하여 최종 결과 벡터를 생성하는 결합부; 및 상기 결합부의 최종 결과 벡터를 다층 퍼셉트론(MLP, Multi-Layer Perceptron)을 통해 일정 시간 구간이 하이라이트로 예측될 수 있는 확률에 대한 스코어 벡터를 생성하는 예측부;를 포함할 수 있다.
본 발명의 일 실시 예에서, 상기 예측부에서 생성한 스코어 벡터에서 확률이 높은 순서대로 하이라이트 구간으로 결정되어 미리 정해둔 길이만큼 최종 하이라이트로 분류하는 결정부;를 더 포함할 수 있다.
본 발명의 일 실시 예에서, 상기 추출부는 특징 벡터를 추출하기 위해, 채팅 데이터의 경우에는 자연 언어 처리(NLP, Natural Language Processing) 도구를 이용하고, 오디오 데이터의 경우에는 멜 주파수 셉스트럴 계수(MFCC, Mel Frequency cepstral coefficients)를 이용할 수 있다.
본 발명의 일 실시 예에서, 상기 순방향 학습부 및 상기 역방향 학습부는, 순환 인공 신경망(RNN, Recurrent Neural Network)의 일종인 장단기 메모리(LSTM, Long Short Term Memory)를 이용할 수 있다.
상술한 본 발명의 일 측면에 따르면, 본 발명의 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치에 의해 제공되는 효과는, 개인 방송을 하는 브로드캐스터(Broadcaster)는 인공 신경망을 통해 채팅 데이터와 오디오 데이터의 특징을 학습한 장치에 의해 하이라이트 영상을 자동으로 생성할 수 있게 된다. 따라서, 브로드캐스터(Broadcaster)는 별도의 시간 및 비용을 절감할 수 있고, 시청자는 다양한 하이라이트 영상을 제공받을 수 있게 되는 유리한 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 인터넷 개인 방송의 실시 화면이다.
도 2는 본 발명의 일 실시 예에 따른 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치의 개략적인 블록도이다.
도 3은 일반적인 장단기 메모리(LSTM, Long Short Term Memory)로 셀(cell)내부에서의 데이터 흐름을 나타내는 블록도이다.
도 4는 장단기 메모리(LSTM, Long Short Term Memory)의 게이트의 구조를 나타낸 블록도이다.
도 5 내지 도 9는 장단기 메모리(LSTM, Long Short Term Memory)의 각각의 연산 과정을 나타내는 흐름도이다.
도 10은 장단기 메모리(LSTM, Long Short Term Memory)의 단위 간의 데이터의 이동을 나타내는 흐름도이다.
도 11은 단일 데이터 하이라이트 예측 모델(S-BiLSTM) 에서 데이터의 흐름을 나타내는 상세하게 나타내는 블록도이다.
도 12는 단일 데이터 하이라이트 예측 모델(S-BiLSTM) 에서 데이터의 흐름을 나타내는 간략하게 나타내는 블록도이다.
도 13은 다중 데이터 하이라이트 예측 모델(M-BiLSTM)에서 데이터의 흐름을 나타내는 블록도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시 예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시 예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 각각의 개시된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예에 따른 하이라이트 영상 생성 장치에 대해서 상세하게 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치의 개략적인 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치(200)는 추출부(210), 순방향 학습부(220), 역방향 학습부(230), 결합부(240), 예측부(250) 및 결정부(260)를 포함할 수 있음을 알 수 있다.
본 발명의 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치(200)는 하이라이트 영상 생성 작업을 수행하기 위한 소프트웨어(어플리케이션)가 설치되어 실행될 수 있으며, 추출부(210), 순방향 학습부(220), 역방향 학습부(230), 결합부(240), 예측부(250) 및 결정부(260)의 구성은 장치(100)에서 실행되는 소프트웨어에 의해 제어될 수 있다.
본 발명의 채팅 데이터는 영상의 시청자들이 직접 입력하여 전송한 대화 내역이고, 오디오 데이터는 브로드캐스터(Broadcaster)의 음성 및 현장 관객들의 함성 등을 의미한다.
추출부(210)는 하이라이트 생성에 이용하기 위해 일정한 시간으로 정해진 구간(t)에서의 채팅 데이터와 오디오 데이터로부터 특징 벡터(Xt)를 추출한다.
추출부(210)는 일정 시간 구간으로 구분된 채팅 데이터(chatt)에 대해 각 구간에서 FastText와 같은 자연 언어 처리(NLP, Natural Language Processing) 도구를 이용하여 특징 벡터(Xt)를 추출할 수 있다. 채팅 데이터에는 일정 시간 구간(t) 내에 몇 개의 채팅이 등장하였는지에 관한 정보를 이용하기 위해 모든 채팅의 끝에 특정 문자를 추가한다. 채팅 특징 벡터는 채팅 수, 특정 키워드 등에 관한 정보를 포함한다. 이는 아래와 같은 수식으로 표현할 수 있다.
Figure pat00001
추출부(210)는 일정 시간 구간으로 구분된 오디오 데이터(audiot)에 대해 각 구간에서 멜 주파수 셉스트랄 계수(MFCC, Mel Frequency Cepstral Coefficient)와 같은 음성 인식 기술을 이용하여 스펙트럼을 분석하여 특징 벡터(Xt)를 추출할 수 있다. 이 때, 오디오 특징 벡터는 해설자의 목소리 크기와 톤, 말하는 속도 등에 관한 정보를 포함한다. 이는 아래와 같은 수식으로 표현할 수 있다.
Figure pat00002
채팅 데이터 및 오디오 데이터 그 자체가 아닌 그로부터 추출한 특징 벡터를 이용하면, 순환 인공 신경망(RNN, Recurrent Neural Network)을 이용하여 학습할 때 연산 시간과 메모리 효율이 개선되는 장점이 있다.
순방향 학습부(220)는 과거 시점의 정보를 학습하여 현재의 결과 벡터(ht)의 생성에 이용하며, 순환 인공 신경망(RNN, Recurrent Neural Network)을 의미한다.
역방향 학습부(230)는 미래 시점의 정보를 학습하여 현재의 결과 벡터(ht)의 생성에 이용하며, 순환 인공 신경망(RNN, Recurrent Neural Network)을 의미한다.
순방향 학습부(220) 및 역방향 학습부(230)는 하나의 단위를 나타낼 수 있고, 모든 단위를 포함한 네트워크를 의미할 수 있다.
이 때, 순환 인공 신경망(RNN, Recurrent Neural Network)은 개별 단위 간의 간격이 멀어질 경우 학습능력이 크게 저하되는 vanishing gradient 문제를 극복하기 위해 순환 신경망(RNN, Recurrent Neural Network)의 일종인 장단기 메모리(LSTM, Long Short Term Memory)를 사용할 수 있다.
또한, 장단기 메모리(LSTM, Long Short Term Memory)는 다양한 방식으로 알고리즘을 설계할 수 있으며, 이하에서는 대표적인 모델을 기준으로 설명한다.
장단기 메모리(LSTM, Long Short Term Memory)는 입력 게이트(input gate), 출력 게이트(output gate) 및 망각 게이트(forget gate)로 구성된다. 각각의 게이트는 정해진 방법으로 계산을 수행하여 중간 값을 생성한다. 중간 값은 입력 게이트에 대한 출력 값(it), 출력 게이트에 대한 출력 값(Ot) 및 망각 게이트의 출력 값(ft)을 포함한다.
도 3은 장단기 메모리(LSTM, Long Short Term Memory)의 셀(cell)내부에서의 데이터 흐름을 나타내는 블록도이다.
도 3을 참조하면, 특징 벡터(Xt), 이전 단계의 결과 벡터(ht) 및 이전 단계의 셀 상태 벡터(Ct)들 간의 연산 과정을 알 수 있다. 상세한 내용은 이하에서 도 5 내지 도 9와 함께 설명한다.
도 4는 장단기 메모리(LSTM, Long Short Term Memory)의 게이트의 구조를 나타낸 블록도이다.
도 4를 참조하면, 게이트(gate)는 정보의 흐름을 선택하기 위한 것으로, 시그모이드 레이어(σ)와 요소별 점단위 곱셈 연산(×)으로 구성됨을 알 수 있다. 시그모이드 레이어(σ)는 0 혹은 1의 값을 출력하며, 각각의 구성요소가 얼마만큼의 영향을 주게 될지 결정한다.
도 5 내지 도 9는 장단기 메모리(LSTM, Long Short Term Memory)의 각각의 연산 과정을 나타내는 흐름도이다.
도 5를 참조하면, 셀 상태 벡터(Ct)가 셀을 관통하여 이전 단계로부터 이후 단계로 이동하는 과정을 알 수 있다.
셀 상태 벡터(Ct)는 셀(cell)의 현재 시점의 상태(state)이며 체인의 전체를 가로지르면서, 게이트(gate)를 통해 셀(cell)에 정보를 추가하거나 제거하여 정제된 결과이다. 장단기 메모리(LSTM)는 입력 게이트(input gate), 출력 게이트(output gate), 망각 게이트(forget gate)를 사용하여 셀 상태 벡터(Ct)를 보호하고 조절한다.
도 6을 참조하면, 망각 게이트(forget gate)의 연산 과정을 알 수 있다. 망각 게이트(forget gate)는 특징 벡터(Xt)와 이전 시간 구간의 결과 벡터(ht-1)를 참조하여 유지할지 제거할지 결정한다. 출력 값(ft)은 망각 게이트 레이어(forget gate layer)를 통과하여 얻으며, 이를 수식으로 표현하면 아래와 같다.
Figure pat00003
도 7을 참조하면 입력 게이트(input gate)의 연산 과정을 알 수 있다. 입력 게이트(input gate)의 특징 벡터(Xt)와 이전 시간 구간의 결과 벡터(ht-1)를 보고, 어떤 새로운 정보를 셀 상태 벡터(Ct, cell state)에 저장할지 결정한다. 출력 값(it)은 출력 게이트 레이어(output gate layer)를 통과하여 얻으며, 이를 수식으로 표현하면 아래와 같다.
Figure pat00004
후보 벡터(
Figure pat00005
)는 셀 상태 벡터(Ct)에 더해질 새로운 후보 값들을 포함한다. 후보 벡터(
Figure pat00006
)는 하이퍼볼릭 탄젠트 레이어(tanh layer)를 거쳐 얻으며, 수식으로 표현하면 아래와 같다.
Figure pat00007
도 8을 참조하면, 셀 상태 벡터(Ct)의 연산 과정을 알 수 있다. 셀 상태 벡터(Ct)는 이전 셀 상태 벡터(Ct-1)에 망각 게이트의 출력(ft)을 곱한 값과 입력 게이트의 출력(it)과 후보 벡터(
Figure pat00008
)를 곱한 값을 더하여 새로운 셀 상태 벡터(Ct, cell state)를 얻게 된다. 이를 수식으로 표현하면 아래와 같다.
Figure pat00009
도 9를 참조하면 출력 게이트(output gate)의 연산 과정을 알 수 있다. 출력 게이트(output gate)는 특징 벡터(Xt)와 이전 시간 구간의 결과 벡터(ht-1)를 보고, 셀 상태의 어느 부분을 아웃풋으로 낼지 결정한다. 출력 값(Ot)은 출력 게이트 레이어(output gate layer)를 통과하여 얻을 수 있으며, 이를 수식으로 표현하면 아래와 같다.
Figure pat00010
마지막으로 결과 벡터(ht)는 장단기 메모리(LSTM)의 결과 벡터로 최종 결과를 무엇을 낼지 결정한다. 결과 벡터(ht)는 셀 상태 벡터(Ct)를 하이퍼볼릭 탄젠트 레이어(tanh layer)에 통과한 결과 값에 출력 게이트의 출력 값(Ot)를 곱하여 얻게 된다. 이를 수식으로 표현하면 다음과 같다.
Figure pat00011
도 10은 장단기 메모리(LSTM, Long Short Term Memory)의 단위 간의 데이터의 이동을 나타내는 흐름도이다.
도 10을 참조하면 각각의 장단기 메모리(LSTM)간의 선후 관계 및 데이터의 흐름을 알 수 있다. 수행 결과물인 셀 상태 벡터(Ct)와 결과 벡터(ht)는 다음 일정 시간 구간의 셀 상태 벡터(Ct+1)와 결과 벡터(ht+1)를 도출하기 위해 사용된다.
이상에서 설명한 과정은 현재 시점의 결과 벡터(ht)를 생성하는데 과거 시점의 정보(Ct-1, ht-1)를 이용하는 순방향 학습부(220)를 기준으로 한 것이며, 역방향 학습부(230)의 경우에는 미래 시점의 정보(Ct+1, ht+1)를 이용하는 점에서 차이가 있을 뿐 동일한 과정을 수행하게 된다.
예측부(250)는 상기 결합부(240)에서 얻은 결과 벡터(ht)로부터 일정 시간 구간(t)이 하이라이트로 예측될 수 있는 확률 벡터인 스코어 벡터(St)를 얻을 수 있다. 이 때, 채팅 데이터 또는 오디오 데이터 중 하나만을 활용하는 경우(도3 및 도 4, S-BiLSTM)와 둘 다 활용하는 경우(도 5, M-BiLSTM)가 차이가 있으므로 나누어 설명한다.
도 11은 단일 데이터 하이라이트 예측 모델(S-BiLSTM)에서 데이터의 흐름을 나타내는 상세하게 나타내는 블록도이다.
도 11을 참조하면, 각각의 일정 시간 구간의 특징 벡터(X110, X120, X130)들에 대해 하이라이트가 될 예측 확률에 대한 스코어 벡터(St)를 생성하는 것을 알 수 있다. 첫 번째 일정 시간 구간의 특징 벡터(X110, X1)는 순방향 학습부(F110) 및 역방향 학습부(B110)를 거쳐 해당 입력구간이 하이라이트 예측 확률(S1)을 얻을 수 있다. 이 때, 동일한 과정을 모든 입력 구간(X110, X120, X130)에 대해 순방향 학습부(F110, F120, F130)과 역방향 학습부(B110, B120, B130)를 거쳐 얻은 결과 벡터로부터 스코어 벡터(S1, S2, ??, Sn)를 얻을 수 있다.
도 12는 단일 데이터 하이라이트 예측 모델(S-BiLSTM)에서 데이터의 흐름을 나타내는 간략하게 나타내는 블록도이다.
도 12를 참조하면 도 11에서 설명한 과정을 간략하게 보여주는 모델로 특징 벡터(X210)에 대해 순방향 학습부(F210)를 거친 결과 벡터(
Figure pat00012
)와 역방향 학습부(B210)를 거친 결과 벡터(
Figure pat00013
)를 고려하여 최종적으로 스코어 벡터(S210)를 생성하는 것을 알 수 있다. 모든 일정 시간 구간, 즉 t=1,2, ??, n을 가지는 모든 입력 구간에 대해 동일한 과정을 거치는 것을 나타낸다. 이를 수식으로 표현하면 아래와 같다.
Figure pat00014
도 13은 다중 데이터 하이라이트 예측 모델(M-BiLSTM)에서 데이터의 흐름을 나타내는 블록도이다.
도 13을 참조하면, 채팅 데이터 또는 오디오 데이터 중 하나를 이용하는 단일 데이터 하이라이트 예측 모델(S-BiLSTM)과 비교하면, 다중 데이터 하이라이트 예측 모델(M-BiLSTM)은 두 가지 데이터를 모두 활용하는 점에서 차이가 있음을 알 수 있다. 이러한 차이로 인해 다중 데이터 하이라이트 예측 모델(M-BiLSTM)은 다층 퍼셉트론(M410, MLP, Multi-Layer Perceptron)을 추가로 이용한다.
채팅 데이터의 특징 벡터(X410)에 대해 순방향 학습부(F410)의 결과 벡터 및 역방향 학습부(B410)의 결과 벡터와 오디오 데이터의 특징 벡터(X420)에 대해 순방향 학습부(F420)의 결과 벡터 및 역방향 학습부(B420)의 결과 벡터들을 모두 이어 붙여 다중 데이터 특징 벡터를 생성한다.
생성된 다중 데이터 특징 벡터를 다층 퍼셉트론(M410, MLP)에 입력하여 스코어 벡터(S410, St)를 생성한다. 이를 수식으로 표현하면 아래와 같다.
Figure pat00015
결정부(260)는 상기 예측부의 스코어 벡터(St)에서 하이라이트 예측 확률이 높은 순으로 하이라이트 구간으로 선택하고, 미리 정해둔 영상의 길이만큼 최종 하이라이트로 판별한다.
이상에서는 실시 예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
200: 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
210: 추출부
220: 순방향 학습부
230: 역방향 학습부
240: 결합부
250: 예측부
260: 결정부

Claims (5)

  1. 영상의 제공 중에 발생하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치에 있어서,
    채팅 데이터 및 오디오 데이터 중 어느 하나를 일정 시간 구간으로 분리하여 특징 벡터를 추출하는 추출부;
    상기 추출부의 특징 벡터와 이전 시간 구간의 정보를 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 생성하는 순방향 학습부;
    상기 추출부의 특징 벡터와 이후 시간 구간의 정보를 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 는 역방향 학습부; 및
    상기 순방향 생성부의 결과 벡터와 상기 역방향 생성부의 결과 벡터로부터 해당 일정 시간 구간이 하이라이트로 예측될 수 있는 확률에 대한 스코어 벡터를 생성하는 예측부;를 포함하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치.
  2. 영상의 제공 중에 발생하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치에 있어서,
    채팅 데이터 및 오디오 데이터 각각을 일정 시간 구간으로 분리하여 특징 벡터를 추출하는 추출부;
    채팅 데이터 및 오디오 데이터 각각에 대해 상기 추출부의 특징 벡터들과 이전 시간 구간의 정보들을 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 생성하는 순방향 학습부;
    채팅 데이터 및 오디오 데이터 각각에 대해 상기 추출부의 특징 벡터들과 이후 시간 구간의 정보들을 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 생성하는 역방향 학습부;
    채팅 데이터 및 오디오 데이터 각각에 대해 상기 순방향 생성부의 결과 벡터와 상기 역방향 생성부의 결과 벡터를 결합하여 최종 결과 벡터를 생성하는 결합부; 및
    상기 결합부의 최종 결과 벡터를 다층 퍼셉트론(MLP, Multi-Layer Perceptron)을 통해 일정 시간 구간이 하이라이트로 예측될 수 있는 확률에 대한 스코어 벡터를 생성하는 예측부;를 포함하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치.
  3. 제1항 및 제2항에 있어서,
    상기 예측부에서 생성한 스코어 벡터에서 확률이 높은 순서대로 하이라이트 구간으로 결정하여 미리 정해둔 길이로 최종 하이라이트로 분류하는 결정부;를 더 포함하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치.
  4. 제1항 및 제2항에 있어서, 상기 추출부는
    특징 벡터를 추출하기 위해, 채팅 데이터의 경우에는 자연 언어 처리(NLP, Natural Language Processing) 도구를 이용하고, 오디오 데이터의 경우에는 멜 주파수 셉스트럴 계수(MFCC, Mel Frequency cepstral coefficients)를 이용하는, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치.
  5. 제1항 및 제2항에 있어서, 상기 순방향 학습부 및 상기 역방향 학습부는,
    순환 인공 신경망(RNN, Recurrent Neural Network)의 일종인 장단기 메모리(LSTM, Long Short Term Memory)인, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치.
KR1020180165235A 2018-12-19 2018-12-19 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치 KR102153201B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180165235A KR102153201B1 (ko) 2018-12-19 2018-12-19 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180165235A KR102153201B1 (ko) 2018-12-19 2018-12-19 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치

Publications (2)

Publication Number Publication Date
KR20200080417A true KR20200080417A (ko) 2020-07-07
KR102153201B1 KR102153201B1 (ko) 2020-09-07

Family

ID=71602828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180165235A KR102153201B1 (ko) 2018-12-19 2018-12-19 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치

Country Status (1)

Country Link
KR (1) KR102153201B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3932494A1 (en) 2020-06-30 2022-01-05 LG Electronics Inc. Mask apparatus and method for controlling the same
KR102435035B1 (ko) * 2021-02-19 2022-08-22 성균관대학교산학협력단 가짜 뉴스 동영상 탐지 시스템 및 그의 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879674A (ja) 1994-09-06 1996-03-22 Hitachi Ltd 動画像検索方式
KR20050003071A (ko) 2003-06-30 2005-01-10 주식회사 대우일렉트로닉스 하이라이트 구간 검출 장치 및 방법
US6973256B1 (en) 2000-10-30 2005-12-06 Koninklijke Philips Electronics N.V. System and method for detecting highlights in a video program using audio properties
KR20140056618A (ko) 2012-10-30 2014-05-12 주식회사 케이티 콘텐츠 장면별 키워드 추출 서버 및 방법
JP2015068897A (ja) * 2013-09-27 2015-04-13 国立大学法人 東京大学 発話の評価方法及び装置、発話を評価するためのコンピュータプログラム
KR101867082B1 (ko) 2017-08-23 2018-06-12 서울과학기술대학교 산학협력단 하이라이트 영상 생성 장치 및 방법
JP2018181343A (ja) * 2017-04-14 2018-11-15 セールスフォース ドット コム インコーポレイティッド 抽象的要約のためのディープ強化モデル

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879674A (ja) 1994-09-06 1996-03-22 Hitachi Ltd 動画像検索方式
US6973256B1 (en) 2000-10-30 2005-12-06 Koninklijke Philips Electronics N.V. System and method for detecting highlights in a video program using audio properties
KR20050003071A (ko) 2003-06-30 2005-01-10 주식회사 대우일렉트로닉스 하이라이트 구간 검출 장치 및 방법
KR20140056618A (ko) 2012-10-30 2014-05-12 주식회사 케이티 콘텐츠 장면별 키워드 추출 서버 및 방법
JP2015068897A (ja) * 2013-09-27 2015-04-13 国立大学法人 東京大学 発話の評価方法及び装置、発話を評価するためのコンピュータプログラム
JP2018181343A (ja) * 2017-04-14 2018-11-15 セールスフォース ドット コム インコーポレイティッド 抽象的要約のためのディープ強化モデル
KR101867082B1 (ko) 2017-08-23 2018-06-12 서울과학기술대학교 산학협력단 하이라이트 영상 생성 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3932494A1 (en) 2020-06-30 2022-01-05 LG Electronics Inc. Mask apparatus and method for controlling the same
KR102435035B1 (ko) * 2021-02-19 2022-08-22 성균관대학교산학협력단 가짜 뉴스 동영상 탐지 시스템 및 그의 방법

Also Published As

Publication number Publication date
KR102153201B1 (ko) 2020-09-07

Similar Documents

Publication Publication Date Title
KR102153211B1 (ko) 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치 및 방법
CN109891897B (zh) 用于分析媒体内容的方法
Tzinis et al. Improving universal sound separation using sound classification
Dinkel et al. Towards duration robust weakly supervised sound event detection
Abdelwahab et al. Active learning for speech emotion recognition using deep neural network
WO2022033231A1 (en) Dual-modality relation networks for audio-visual event localization
Senthilkumar et al. Speech emotion recognition based on Bi-directional LSTM architecture and deep belief networks
CN111916061B (zh) 语音端点检测方法、装置、可读存储介质及电子设备
US20210390316A1 (en) Method for identifying a video frame of interest in a video sequence, method for generating highlights, associated systems
Chen et al. Audio-visual synchronisation in the wild
KR102153201B1 (ko) 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
Alcazar et al. End-to-end active speaker detection
EP4141700A1 (en) Multi-modal content based automated feature recognition
Goyal et al. Cross-modal learning for multi-modal video categorization
Camacho et al. Fake speech recognition using deep learning
Potharaju et al. Classification of ontological violence content detection through audio features and supervised learning
Hou et al. Confidence-guided self refinement for action prediction in untrimmed videos
Ghose et al. Enabling an IoT system of systems through auto sound synthesis in silent video with DNN
Seresht et al. Environmental sound classification with low-complexity convolutional neural network empowered by sparse salient region pooling
CN109492124B (zh) 选择性注意线索指导的不良主播检测方法、装置及电子设备
Phan et al. Enabling early audio event detection with neural networks
Yang et al. Prediction of personality first impressions with deep bimodal LSTM
Hajarolasvadi et al. Deep emotion recognition based on audio–visual correlation
Liaw et al. Live stream highlight detection using chat messages
Jayanthi et al. Sign Language Recognition using Deep CNN with Normalised Keyframe Extraction and Prediction using LSTM

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant