KR20230099180A - 비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법 - Google Patents

비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법 Download PDF

Info

Publication number
KR20230099180A
KR20230099180A KR1020210188323A KR20210188323A KR20230099180A KR 20230099180 A KR20230099180 A KR 20230099180A KR 1020210188323 A KR1020210188323 A KR 1020210188323A KR 20210188323 A KR20210188323 A KR 20210188323A KR 20230099180 A KR20230099180 A KR 20230099180A
Authority
KR
South Korea
Prior art keywords
information
feature information
term
visual
short
Prior art date
Application number
KR1020210188323A
Other languages
English (en)
Other versions
KR102685651B1 (ko
Inventor
이계민
윤원빈
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020210188323A priority Critical patent/KR102685651B1/ko
Publication of KR20230099180A publication Critical patent/KR20230099180A/ko
Application granted granted Critical
Publication of KR102685651B1 publication Critical patent/KR102685651B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 하이라이트 영상 생성 장치에 관한 것으로, 음성 정보와 시각 정보를 분리하여 추출하는 비디오 분리부; 음성 특징 정보를 생성하는 음성 분석부; 시각 특징 정보를 생성하는 시각 분석부; 장기 특징 정보를 생성하는 장기 정보 분석부; 단기 특징 정보를 생성하는 단기 정보 분석부; 상기 장기 특징 정보와 상기 단기 특징 정보의 연관성을 나타내는 맥락 정보를 생성하는 맥락 분석부; 및 상기 맥락 정보에 기초하여 하이라이트 영상을 생성하는 영상 생성부를 포함한다. 이에 의해 비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법을 제공함으로써, 비디오 영상의 한 장면과 전체적인 맥락을 고려하여 하이라이트 영상을 생성할 수 있다.

Description

비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법 {HIGHLIGHT VIDEO GENERATION DEVICE AND METHOD FOR CONSIDERING THE CONTEXTS OF IMAGE AND AUDIO INFORMATION OF A VIDEO}
본 발명은 비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법에 관한 것으로, 보다 상세하게는 시각 정보와 음성 정보를 함께 이용하여 비디오의 하이라이트 영상을 생성하는 비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법에 관한 것이다.
스마트폰, 인터넷 등의 IT 기술의 발전으로 스트리밍 플랫폼 서비스(Streaming Platform Service)에 대한 접근이 편리해지면서, 축구, 야구, e-스포츠 등의 경기 영상 콘텐츠가 대량으로 생산 및 업로드되는 추세이며, 이에 따라, 축구, 야구, e-스포츠 등의 경기 영상 콘텐츠에 대한 수요도 나날이 증가하는 추세이다.
이에 따라, 방송국에서는 시청자의 편의와 네트워크의 효율을 위해 긴 시간 간격으로 나타나는 경기 영상에서, 시청자들의 흥미를 끄는 장면들을 추출하여 짧은 시간 간격으로 나타나는 하이라이트 영상을 제공하고 있다.
그러나, 기존의 하이라이트 영상은 편집자가 경기 영상을 직접 확인하고, 경기 영상으로부터 일부의 장면을 추출하여 직접 편집하게 되며, 이러한 방법은 전문적인 편집 기술과 편집을 수행하는 긴 시간이 요구된다.
이에 따라, 긴 시간 간격으로 나타나는 경기 영상 등의 비디오 영상으로부터 효율적으로 하이라이트 영상을 생성하는 방안이 요구되는 실정이다.
한국등록특허공보 제10-1475669호
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 본 발명의 목적은 비디오 영상의 한 장면과 전체적인 맥락을 고려하여 하이라이트 영상을 생성하는 비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 하이라이트 영상 생성 장치는, 비디오 영상으로부터 음성 정보와 시각 정보를 분리하여 추출하는 비디오 분리부; 상기 음성 정보를 분석하여 음성 특징 정보를 생성하는 음성 분석부; 상기 시각 정보로부터 시각 특징 정보를 생성하는 시각 분석부; 사전에 설정되는 장기 시간 간격에 따라 상기 음성 특징 정보와 상기 시각 특징 정보를 분석하여 장기 특징 정보를 생성하는 장기 정보 분석부; 상기 음성 특징 정보와 상기 시각 특징 정보를 결합하고, 결합된 정보를 분석하여 단기 특징 정보를 생성하는 단기 정보 분석부; 상기 장기 특징 정보와 상기 단기 특징 정보의 연관성을 나타내는 맥락 정보를 생성하는 맥락 분석부; 및 상기 맥락 정보에 기초하여 하이라이트 영상을 생성하는 영상 생성부를 포함한다.
그리고 상기 단기 정보 분석부는, 상기 음성 특징 정보와 상기 시각 특징 정보를 결합하고, 결합된 정보를 분석하여 심층 특징 정보를 생성할 수 있다.
여기서 상기 단기 특징 정보는, 사전에 설정되는 단기 시간 간격에 따라 상기 결합된 정보를 분석하여 생성된 정보이고, 상기 심층 특징 정보는, 사전에 설정되되 상기 단기 시간 간격보다는 길고, 상기 장기 시간 간격보다는 짧은 시간 간격에 따라 상기 결합된 정보를 분석하여 생성된 정보일 수 있다.
한편 상기 음성 분석부는, 상기 음성 정보를 사전에 설정되는 세그먼트 개수에 따라 복수개의 세그먼트로 분리하고, 상기 세그먼트로부터 사전에 설정되는 주파수 차원 개수에 따라 각각의 주파수 대역에서의 음성 특징 정보를 생성할 수 있다.
한편 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 하이라이트 영상 생성 장치를 이용한 하이라이트 영상 생성 방법은, 비디오 영상으로부터 음성 정보와 시각 정보를 분리하여 추출하는 단계; 상기 음성 정보를 분석하여 음성 특징 정보를 생성하는 단계; 상기 시각 정보로부터 시각 특징 정보를 생성하는 단계; 사전에 설정되는 중장기 시간 간격에 따라 상기 음성 특징 정보와 상기 시각 특징 정보 각각에 대한 장기 특징 정보를 생성하는 단계; 상기 음성 특징 정보와 상기 시각 특징 정보를 결합하고, 결합된 정보를 분석하여 단기 특징 정보를 생성하는 단계; 상기 장기 특징 정보와 상기 단기 특징 정보의 연관성을 나타내는 맥락 정보를 생성하는 단계; 및 상기 맥락 정보에 기초하여 하이라이트 영상을 생성하는 단계를 포함한다.
상술한 본 발명의 일측면에 따르면, 비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법을 제공함으로써, 비디오 영상의 한 장면과 전체적인 맥락을 고려하여 하이라이트 영상을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 하이라이트 영상 생성 장치의 개략도,
도 2는 본 발명의 일 실시예에 따른 하이라이트 영상 생성 장치의 제어블록도,
도 3은 본 발명의 단기 정보 분석부 또는 장기 정보 분석부에서 결합된 정보를 분석하는 과정을 나타낸 블록도,
도 4는 본 발명의 영상 생성부에서 하이라이트 영상을 생성하는 과정을 나타낸 블록도,
도 5는 본 발명의 하이라이트 영상 생성 장치에서 하이라이트 영상을 생성한 결과를 나타낸 도면,
도 6은 본 발명의 일 실시예에 따른 하이라이트 영상 생성 장치의 일 실시예를 나타낸 개략도,
도 7은 본 발명의 다른 실시예에 따른 하이라이트 영상 생성 장치의 일 실시예를 나타낸 개략도,
도 8은 본 발명의 일 실시예에 따른 하이라이트 영상 생성 방법의 흐름도, 그리고
도 9는 본 발명의 다른 실시예에 따른 하이라이트 영상 생성 방법의 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 하이라이트 영상 생성 장치의 개략도이다.
하이라이트 영상 생성 장치(100)는 비디오 영상(OV)으로부터 나타나는 일부 장면을 추출하고, 이로부터 하이라이트 영상(HV)을 생성할 수 있다.
비디오 영상(OV)은 하이라이트 영상 생성 장치(100)로 입력 또는 수신되는 가공되지 않은 원본 영상이거나, 하이라이트 영상 생성 장치(100)에서 생성되는 하이라이트 영상(HV)과 비교하여 시간 간격이 긴 영상 정보인 것일 수 있다. 보다 구체적으로 예를 들면 비디오 영상(OV)은 축구, 야구, E-스포츠 등의 경기 영상을 포함할 수 있다.
이에 따라 비디오 영상(OV)은 프레임 단위로 마련되어, 시청자의 시각적 자극을 유발하는 시각 정보와 시청자의 청각적 자극을 유발하는 음성 정보를 포함할 수 있다.
그리고 비디오 영상(OV)은 트위치(Twitch), 카카오TV(Kakao TV), 아프리카TV(Afreeca TV), 유튜브(Youtube) 및 네이버TV(Naver TV) 등의 비디오 영상(OV)을 제공하는 플랫폼(Platform)의 서버 장치로부터 제공되는 것일 수 있다.
한편 하이라이트 영상(HV)은 비디오 영상(OV)으로부터 일부 장면을 추출하여 비디오 영상(OV)에서 나타나는 시간 순서에 따라 연결한 것으로 이해할 수 있으며, 이 때, 비디오 영상(OV)의 일부 장면은 임의의 연속된 프레임 간격으로 나타나는 장면을 의미할 수 있다. 그리고 장면은 비디오 영상(OV)으로부터 임의의 시간 간격의 음성 정보와 시각 정보가 추출된 것으로 이해할 수 있다.
이에 따라 하이라이트 영상 생성 장치(100)는 비디오 영상(OV)에 포함되는 하나 이상의 시점으로부터 일부 장면을 추출하여 연결할 수 있으며, 이 때 하이라이트 영상 생성 장치(100)는 추출된 하나 이상의 일부 장면을 연결하여 하이라이트 영상(HV)을 생성할 수 있다.
보다 구체적으로 하이라이트 영상(HV)은 비디오 영상(OV)의 주요 장면을 추출하여 연결한 것일 수 있는데, 주요 장면은 비디오 영상(OV)이 스포츠 경기인 경우에 득점 장면, 실점 장면, 득점 실패 장면, 반칙 장면 등을 포함할 수 있다. 그리고 주요 장면은 해설자의 톤이 높게 측정되는 장면, 관중의 함성 소리가 발생하는 장면, 관중의 박수 소리가 발생하는 장면, 관중의 야유 소리가 발생하는 장면 등을 포함할 수 있다.
이 때 득점 장면, 실점 장면, 득점 실패 장면, 반칙 장면 등은 시청자의 시각적 자극을 유발하는 비디오 영상(OV)의 시각 정보를 이용하여 판단될 수 있고, 해설자의 톤이 높게 측정되는 장면, 관중의 함성 소리가 발생하는 장면, 관중의 박수 소리가 발생하는 장면, 관중의 야유 소리가 발생하는 장면 등은 시청자의 청각적 자극을 유발하는 비디오 영상(OV)의 음성 정보를 이용하여 판단될 수 있다.
이하에서 비디오 영상(OV)으로부터 하이라이트 영상(HV)을 생성하는 하이라이트 영상 생성 장치(100)에 대해 상세히 설명하기로 한다.
하이라이트 영상 생성 장치(100)는 비디오 영상(OV)으로부터 시간 순서에 따라 연속되도록 음성 정보와 시각 정보를 분리할 수 있다.
이 때 하이라이트 영상 생성 장치(100)는 분리되는 음성 정보 또는 시각 정보가 사전에 설정되는 시간 간격으로 나타나도록 비디오 영상(OV)을 분리할 수 있는데, 예를 들어 하이라이트 영상 생성 장치(100)는 비디오 영상(OV)으로부터 분리되는 음성 정보 또는 영상 정보가 1초의 시간 간격으로 나타나도록 설정될 수 있다.
그리고 하이라이트 영상 생성 장치(100)는 비디오 영상(OV)으로부터 시각 정보가 추출되는 시점과 음성 정보가 추출되는 시점이 동일하도록 시각 정보와 음성 정보를 분리할 수 있다.
또한 하이라이트 영상 생성 장치(100)는 비디오 영상(OV)으로부터 시각 정보가 추출된 시점에서, 사전에 설정되는 지연 시간이 경과된 시점에서 음성 정보를 추출할 수 있다.
여기서 지연 시간은 시각 정보로부터 임의의 상황이 나타나는 시점과 임의의 상황에 대해 음성 정보로부터 임의의 반응이 나타나는 시점의 시간 차이로 설정될 수 있다.
예를 들어, 지연 시간은 비디오 영상(OV)이 축구, 야구, e-스포츠 등의 경기 영상인 경우에, 경기를 수행하는 선수의 행동과 선수의 행동에 의한 관중의 반응에 따라 설정될 수 있으며, 보다 상세하게는, 지연 시간은 비디오 영상(OV)에서, 경기를 수행하는 선수의 행동이 시각 정보로부터 나타나는 시점과, 비디오 영상(OV)에서, 선수의 행동에 의한 관중의 반응이 음성 정보로부터 나타나는 시점의 차이로 설정될 수 있다.
이 때, 선수의 행동은 선수가 득점을 하는 장면, 선수가 실점을 하는 장면, 선수가 득점을 실패하는 장면, 선수가 반칙을 하는 장면 등으로부터 나타날 수 있으며, 관중의 반응은 득점에 대한 해설자의 톤 상승, 관중의 환호 또는 박수, 실점에 대한 해설자의 톤 하강, 관중의 야유 또는 응원 등을 포함할 수 있다.
그리고 하이라이트 영상 생성 장치(100)는 추출된 음성 정보를 분석하여 음성 특징 정보를 생성할 수 있다.
이 때 하이라이트 영상 생성 장치(100)는 음성 정보를 사전에 설정되는 세그먼트 개수에 따라 복수개의 세그먼트로 분리할 수 있고, 하이라이트 영상 생성 장치(100)는 분리된 세그먼트로부터 음성 특징 정보를 추출할 수 있다.
예를 들어, 하이라이트 영상 생성 장치(100)는 1초의 시간 간격으로 나타나도록 추출된 음성 정보를 25개의 세그먼트로 분리할 수 있으며, 이러한 경우에, 각각의 세그먼트는 0.04초의 음성 정보로 나타날 수 있다.
이와 관련하여, 하이라이트 영상 생성 장치(100)는 하나의 세그먼트로부터 MFCC(Mel-Frequency Cepstral Coefficient)를 이용하여 서로 다른 주파수 대역의 정보를 추출할 수 있으며, 이때, 하이라이트 영상 생성 장치(100)는 사전에 설정되는 주파수 차원 개수에 따라 하나의 세그먼트로 분리된 음성 정보로부터 서로 다른 주파수 대역의 정보를 추출할 수 있다.
여기서 주파수 차원 개수는 하나의 세그먼트로부터 추출하는 서로 다른 주파수 대역의 개수를 의미할 수 있다.
예를 들어, 하이라이트 영상 생성 장치(100)는 하나의 세그먼트로 분리된 음성 정보로부터 20차원의 MFCC를 이용하여 20개의 주파수 대역의 정보를 추출할 수 있다. 이러한 경우 하이라이트 영상 생성 장치(100)는 1초의 시간 간격으로 나타나도록 추출되어 25개의 세그먼트로 분리된 음성 정보로부터 20차원의 주파수 대역의 정보를 추출할 수 있다.
여기서 MFCC는 복수개의 주파수 대역으로 나타나는 오디오 신호 등으로부터 인간의 청각에 민감한 주파수 대역의 에너지를 강조하도록 마련되는 멜 스케일(Mel-Scale)을 이용하여 각각의 주파수 대역의 신호를 추출하는 기법일 수 있다.
이와 같이 하이라이트 영상 생성 장치(100)는 사전에 설정되는 주파수 차원 개수에 따라, 하나의 세그먼트로부터 분리된 음성 정보로부터 복수개의 주파수 대역의 정보를 추출할 수 있다.
따라서 하이라이트 영상 생성 장치(100)는 추출된 각각의 주파수 대역의 정보로부터 BiLSTM(bidirectional Long-Short Term Memory)을 이용하여 음성 특징 정보를 생성할 수 있다.
여기서 BiLSTM은 시계열로 나타나는 임의의 신호가 순방향으로 입력되는 LSTM(Long-Short Term Memory)과 순방향으로 입력되는 신호와 동일한 신호가 역방향으로 입력되는 LSTM을 이용하여 양방향으로 LSTM을 수행하는 기법이며, LSTM은 시계열로 나타나는 임의의 신호를 입력받아 처리하는 기법으로써, 이전 시점에 입력된 신호를 현재 시점에 입력된 신호에 반영하여 시간적으로 연속하는 정보를 처리하는 기법으로 이해할 수 있다.
예를 들어 하이라이트 영상 생성 장치(100)는 1초의 시간 간격으로 나타나도록 추출되어 25개의 세그먼트로 분리된 음성 정보로부터 20차원의 주파수 대역의 정보를 추출하도록 마련되는 경우에, 각각의 주파수 대역에서 음성 특징 정보를 생성할 수 있으며, 이에 따라 하이라이트 영상 생성 장치(100)는 1초당 500개(또는 500 차원)의 음성 특징 정보를 생성할 수 있다.
이 때 하이라이트 영상 생성 장치(100)는 다른 시간 간격으로 음성 특징 정보를 생성할 수도 있음은 물론이며, 하이라이트 영상 생성 장치(100)는 설정된 시간 간격 당 생성되는 음성 특징 정보의 개수가 다른 개수로 생성되도록 설정될 수 있음은 물론이다.
그리고 하이라이트 영상 생성 장치(100)는 사전에 마련된 학습모델에 기초하여 시각 정보로부터 시각 특징 정보를 생성할 수 있다. 이를 위해 하이라이트 영상 생성 장치(100)는 임의의 비디오 영상(OV)에서 프레임 단위로 분리된 시각 정보로부터 시각 특징 정보가 추출되도록 학습하여 학습 모델을 생성할 수 있다.
이 때 하이라이트 영상 생성 장치(100)는 CNN(Convolution Neural Network)를 이용하여 임의의 비디오 영상(OV)에서 프레임 단위로 분리된 시각 정보를 학습할 수 있다.
여기서 CNN은 하나 이상의 합성곱 층(Convolution Layer), 저류층(Pooling Layer) 및 완전 연결 층(Fully-Connected Layer)으로 마련될 수 있다. 이에 따라 CNN은 영상 또는 이미지 등의 정보를 입력 받아, 사전에 학습된 필터를 통해 입력된 정보의 특징 값을 추출하는 기법으로 이해할 수 있다. 이에 따라 하이라이트 영상 생성 장치(100)는 CNN이 적용된 BiLSTM을 이용하여 시각 정보로부터 시각 특징 정보를 추출할 수 있게 된다.
이 때 하이라이트 영상 생성 장치(100)는 비디오 영상(OV)에서 분리된 시각 정보에 나타나는 각각의 프레임으로부터 시각 특징 정보를 각각 추출할 수 있다.
그리고 하이라이트 영상 생성 장치(100)는 사전에 설정되는 단기 시간 간격에 따라 연속되도록 생성되는 음성 특징 정보와 시각 특징 정보를 결합할 수 있고, 하이라이트 영상 생성 장치(100)는 결합된 정보를 분석하여 단기 특징 정보를 생성할 수 있다.
여기서 하이라이트 영상 생성 장치(100)는 BiLSTM을 이용하여 결합된 정보로부터 단기 특징 정보를 생성할 수 있으며, 이 때 음성 특징 정보와 시각 특징 정보를 결합하는 것은 음성 특징 정보와 시각 특징 정보를 중첩하는 것일 수 있으며, 또는 음성 특징 정보와 시각 특징 정보를 이용하여 다차원의 정보를 생성하는 것일 수도 있다.
이러한 경우, 단기 특징 정보는 하이라이트 영상 생성 장치(100)에서 비디오 영상(OV)으로부터 연속되도록 분리되는 음성 특징 정보와 시각 특징 정보에 대해 매치되도록 생성될 수 있으며, 다시 말해서 하이라이트 영상 생성 장치(100)는 결합된 정보를 연속되도록 분석하여 단기 특징 정보를 생성하는 것으로 이해할 수 있다.
그리고 하이라이트 영상 생성 장치(100)는 사전에 설정되는 장기 시간 간격에 따라 음성 특징 정보와 시각 특징 정보 각각에 대한 장기 특징 정보를 생성할 수 있다.
여기에서 하이라이트 영상 생성 장치(100)는 BiLSTM을 이용하여, 장기 시간 간격에 따라 각각의 음성 특징 정보와 시각 특징 정보를 분석하여 장기 특징 정보를 생성할 수 있다. 사전에 설정되는 장기 시간 간격은 음성 특징 정보와 시각 특징 정보가 BiLSTM에 입력되는 시간을 의미할 수 있으며, 구체적으로 하이라이트 영상 생성 장치(100)는 장기 시간 간격에 따른 시점마다 장기 특징 정보가 생성되도록 음성 특징 정보와 시각 특징 정보를 BiLSTM에 입력하는 것으로 이해할 수 있다. 이에 따라 하이라이트 영상 생성 장치(100)는 장기 시간 간격에 따른 시점마다 정보를 분석하여 장기 특징 정보를 생성할 수 있다.
이러한 경우에, 장기 시간 간격은 장기 시간 간격에 따라 비디오 영상(OV)의 장면 변화를 검출하도록 설정될 수 있으며, 이를 통해 장기 특징 정보는 비디오 영상(OV)의 장면 변화에 대해 단기 특징 정보와 비교하여 보다 긴 시간 간격으로 변화하는 특징을 나타내도록 생성되는 것으로 이해할 수 있다.
하이라이트 영상 생성 장치(100)는 단기 특징 정보와 장기 특징 정보를 비교하여, 장기 특징 정보와 단기 특징 정보의 연관성을 나타내는 맥락 정보를 생성할 수 있다.
이 때 하이라이트 영상 생성 장치(100)는 임의의 시점에서 결합된 정보로부터 생성된 단기 특징 정보를 비교할 수 있는 것은 물론, 하이라이트 영상 생성 장치(100)는 임의의 시점에서 결합된 정보로부터 생성된 단기 특징 정보와, 각각의 음성 특징 정보와 시각 특징 정보로부터 생성된 복수의 장기 특징 정보를 각각 비교할 수도 있다.
여기서 임의의 장기 특징 정보와 비교되는 단기 특징 정보는 장기 시간 간격 내에서 생성된 것일 수 있고, 임의의 장기 특징 정보와 비교되는 단기 특징 정보는 비디오 영상(OV)에서 나타나는 시간 간격 내에서 생성된 것일 수 있다.
이에 따라 하이라이트 영상 생성 장치(100)는 장기 특징 정보와 단기 특징 정보를 비교하여 맥락 정보를 생성할 수 있으며, 하이라이트 영상 생성 장치(100)는 생성된 맥락 정보를 완전 연결 층(FC, Fully Connected Layer)을 이용하여 하이라이트 스코어를 생성할 수 있다.
그리고 하이라이트 영상 생성 장치(100)는 장기 특징 정보와 단기 특징 정보를 비교하여 생성된 맥락 정보를 완전 연결 층에 입력하여 출력으로 나타나는 하이라이트 스코어를 생성할 수도 있다.
이 때 완전 연결 층은 입력 값에 매칭되는 결과 값을 출력하도록 마련되는 기법을 의미할 수 있다.
이와 관련하여 하이라이트 영상 생성 장치(100)는 하기의 수학식 1 내지 수학식 3의 수식을 이용하여 맥락 정보를 생성할 수 있다.
[수학식 1]
Figure pat00001
Figure pat00002
여기에서
Figure pat00003
및
Figure pat00004
는 각각 단기 특징 정보와 장기 특징 정보를 비교하여 산출되는 제1 가중치 계수 및 제2 가중치 계수를 의미할 수 있고,
Figure pat00005
는 단기 특징 정보를,
Figure pat00006
및
Figure pat00007
는 각각 음성 특징 정보에 기초한 장기 특징 정보와 시각 특징 정보에 기초한 장기 특징 정보를 의미할 수 있다. 또한 T는 행렬의 행과 열을 변환하는 전치 연산(Transpose)을 의미할 수 있다.
이에 따라, 하이라이트 영상 생성 장치(100)는 단기 특징 정보의 행과 열을 변환한 값과, 음성 특징 정보 또는 시각 특징 정보에 기초한 장기 특징 정보를 곱하여 제1 가중치 계수 및 제2 가중치 계수를 산출할 수 있다.
[수학식 2]
Figure pat00008
Figure pat00009
여기에서
Figure pat00010
및
Figure pat00011
는 각각 제3 가중치 계수 및 제4 가중치 계수를 의미할 수 있으며, 이에 따라 하이라이트 영상 생성 장치(100)는 제1 가중치 계수의 총합에 대한 임의의 하나의 제1 가중치 계수의 비율에 따라 제3 가중치 계수를 산출할 수 있다. 또한 하이라이트 영상 생성 장치(100)는 제2 가중치 계수의 총합에 대한 임의의 하나의 제2 가중치 계수의 비율에 따라 제4 가중치 계수를 산출할 수 있다.
이와 관련하여 softmax()는 softmax function을 의미할 수 있으며, softmax function은 임의의 집합 내에 존재하는 모든 정보의 합에 대한 해당 집합 내에 존재하는 임의의 하나의 정보의 비율을 산출하는 기법일 수 있다.
[수학식 3]
Figure pat00012
Figure pat00013
여기에서
Figure pat00014
및
Figure pat00015
는 각각 음성에 대한 맥락 정보와 시각에 대한 맥락 정보를 의미할 수 있으며, N은 임의의 비디오 영상(OV)에서 생성된 장기 특징 정보의 개수를 의미할 수 있다. 이에 하이라이트 영상 생성 장치(100)는 임의의 비디오 영상(OV)에서 생성된 장기 특징 정보와 제3 가중치 계수의 곱의 총합, 그리고 장기 특징 정보와 제4 가중치 계수의 곱의 총합으로 각각의 가중치를 산출할 수 있다.
그리고 하이라이트 영상 생성 장치(100)는 하기의 수학식 4에서와 같이 생성된 음성 및 시각에 대한 맥락 정보를 단기 특징 정보에 곱하거나 더하여 맥락 정보가 적용된 단기 특징 정보를 생성할 수 있다.
[수학식 4]
Figure pat00016
이와 관련하여 하이라이트 영상 생성 장치(100)는 단기 특징 정보와 장기 특징 정보로부터 attention 기법을 이용하여 맥락 정보를 생성하는 것일 수 있다.
여기서 attention 기법은 시계열로 생성된 정보 중, 중요한 정보로 판단되는 곳에 가중치를 부여하고, 합을 계산하여 정보들 간의 관계를 나타내는 기법일 수 있다.
이러한 경우에, 하이라이트 영상 생성 장치(100)는 Attention 기법을 이용하여, 장기 특징 정보 및 단기 특징 정보로부터 맥락 정보를 생성하고, 생성된 맥락 정보를 단기 특징 정보에 적용할 수 있으며, 이후, 하이라이트 영상 생성 장치(100)는 맥락 정보가 적용된 단기 특징 정보를 완전 연결 층(Fully-Connected Layer)에 입력하여, 하이라이트 점수를 생성할 수 있다.
그리고 하이라이트 영상 생성 장치(100)는 하이라이트 점수에 기초하여 하이라이트 영상(HV)을 생성할 수 있다. 이때 하이라이트 영상 생성 장치(100)는 맥락 정보로부터 생성되는 하이라이트 중요도 점수를 추출할 수 있고, 추출된 하이라이트 점수에 매칭되는 단기 특징 정보가 생성되는 프레임, 즉 비디오 영상(OV)의 일부 장면을 결합하여 하이라이트 영상(HV)을 생성할 수 있다.
여기에서 하이라이트 영상 생성 장치(100)의 일부 장면을 추출하는 것은 추출된 하나 이상의 단기 특징 정보가 비디오 영상(OV)으로부터 나타나는 시간 간격 또는 프레임 간격에 따라, 비디오 영상(OV)으로부터 해당 시간 간격 또는 프레임 간격의 영상 정보와 음성 정보를 추출하여 연결하는 것일 수 있다.
이를 통해 하이라이트 영상 생성 장치(100)는 하나 이상의 단기 특징 정보에 따라 비디오 영상(OV)으로부터 추출된 영상 정보와 음성 정보를 시간 순서에 따라 연결하여 하이라이트 영상(HV)을 생성할 수 있다.
이때 하이라이트 영상 생성 장치(100)는 사전에 설정된 하이라이트 영상(HV)의 길이에 기초하여 하나 이상의 하이라이트 점수를 추출할 수 있고, 추출된 하이라이트 점수를 이용하여 하이라이트 영상(HV)을 생성할 수 있다.
구체적으로 사전에 설정된 하이라이트 영상(HV)의 길이가 비디오 영상(OV)의 길이의 10%로 설정된 경우를 예로 들면, 하이라이트 영상 생성 장치(100)는 하이라이트 점수 중 상위 10%를 만족하는 하이라이트 점수에 따라 하이라이트 영상(HV)을 생성할 수 있다.
한편, 도 2는 본 발명의 일 실시예에 따른 하이라이트 영상 생성 장치(100)의 제어블록도, 도 3은 본 발명의 단기 정보 분석부(140) 또는 장기 정보 분석부(150)에서 결합된 정보를 분석하는 과정을 나타낸 블록도, 도 4는 본 발명의 영상 생성부(170)에서 하이라이트 영상을 생성하는 과정을 나타낸 블록도, 그리고 도 5는 본 발명의 하이라이트 영상 생성 장치에서 하이라이트 영상을 생성한 결과를 나타낸 도면이다. 하이라이트 영상 생성 장치(100)는 도시된 바와 같이 비디오 분리부(110), 음성 분석부(120), 시각 분석부(130), 장기 정보 분석부(150), 단기 정보 분석부(140), 맥락 분석부(160) 및 영상 생성부(170)를 포함할 수 있다.
비디오 분리부(110)는 비디오 영상(OV)으로부터 시간 순서에 따라 연속되도록 음성 정보와 시각 정보를 분리할 수 있다. 이때, 비디오 분리부(110)는 분리되는 음성 정보 또는 시각 정보가 사전에 설정되는 시간 간격으로 나타나도록 비디오 영상(OV)을 분리할 수 있다.
그리고 비디오 분리부(110)는 비디오 영상(OV)으로부터 시각 정보가 추출되는 시점과 음성 정보가 추출되는 시점이 동일하도록 영상 정보와 음성 정보를 분리할 수 있고, 비디오 분리부(110) 비디오 영상(OV)으로부터 시각 정보가 추출된 시점에서 사전에 설정되는 지연 시간이 경과된 시점에서 음성 정보를 추출할 수 있다.
음성 분석부(120)는 추출된 음성 정보를 분석하여 음성 특징 정보를 생성할 수 있다. 이 때 음성 분석부(120)는 음성 정보를 사전에 설정되는 세그먼트 개수에 따라 복수개의 세그먼트로 분리할 수 있고 음성 분석부(120)는 분리된 세그먼트로부터 음성 특징 정보를 추출할 수 있다.
이와 관련하여, 음성 분석부(120)는 하나의 세그먼트로부터 MFCC(Mel-Frequency Cepstral Coefficient)를 이용하여 서로 다른 주파수 대역의 정보를 추출할 수 있으며, 이때, 음성 분석부(120)는 사전에 설정되는 주파수 차원 개수에 따라 하나의 세그먼트로 분리된 음성 정보로부터 서로 다른 주파수 대역의 정보를 추출할 수 있다.
이와 같이 음성 분석부(120)는 사전에 설정되는 주파수 차원 개수에 따라, 하나의 세그먼트로 분리된 음성 정보로부터 복수개의 주파수 대역의 정보를 추출할 수 있다.
이에 따라 음성 분석부(120)는 추출된 각각의 주파수 대역의 정보로부터 BiLSTM(bidirectional Long-Short Term Memory)을 이용하여 음성 특징 정보를 생성할 수 있다.
한편 시각 분석부(130)는 사전에 마련되는 학습 모델에 기초하여 시각 정보로부터 시각 특징 정보를 추출할 수 있다. 이를 위해 시각 분석부(130)는 임의의 비디오 영상(OV)에서 프레임 단위로 분리된 시각 정보로부터 시각 특징 정보가 추출되도록 학습하여 학습 모델을 생성할 수 있다.
이때, 시각 분석부(130)는 CNN(Convolution Neural Network)를 이용하여 임의의 비디오 영상(OV)에서 프레임 단위로 분리된 시각 정보를 학습할 수 있고, CNN이 적용된 BiLSTM을 이용하여 시각 정보로부터 시각 특징 정보를 추출할 수 있다. 이에 시각 분석부(130)는 비디오 영상(OV)에서 분리된 시각 정보에 나타나는 각각의 프레임으로부터 영상 특징 정보를 각각 추출할 수 있다.
장기 정보 분석부(150)는 사전에 설정되는 장기 시간 간격에 따라 음성 특징 정보와 시각 특징 정보 각각에 대한 장기 특징 정보를 생성할 수 있다.
이러한 장기 정보 분석부(150)는 BiLSTM을 이용하여, 장기 시간 간격에 따라 각각의 음성 특징 정보와 시각 특징 정보를 개별적으로 분석하여 음성 특징 정보에 대한 장기 특징 정보, 시각 특징 정보에 대한 장기 특징 정보를 생성할 수 있다.
단기 정보 분석부(140)는 연속되도록 생성되는 음성 특징 정보와 시각 특징 정보를 결합할 수 있고, 단기 정보 분석부(140)는 결합된 정보를 분석하여 단기 특징 정보를 생성할 수 있다.
여기서 단기 정보 분석부(140)는 BiLSTM을 이용하여 결합된 정보로부터 단기 특징 정보를 생성할 수 있으며, 이 때 음성 특징 정보와 시각 특징 정보를 결합하는 것은 음성 특징 정보와 시각 특징 정보를 중첩하는 것이거나, 음성 특징 정보와 시각 특징 정보를 이용하여 다차원의 정보를 생성하는 것일 수도 있다.
한편 맥락 분석부(160)는 단기 특징 정보와 장기 특징 정보를 비교하여, 장기 특징 정보와 단기 특징 정보의 연관성을 나타내는 맥락 정보를 생성할 수 있다.
이러한 맥락 분석부(160)는 임의의 시점에서 결합된 정보로부터 생성된 단기 특징 정보를 비교할 수 있는 것은 물론, 임의의 시점에서 결합된 정보로부터 생성된 단기 특징 정보와, 각각의 음성 특징 정보와 시각 특징 정보로부터 생성된 복수의 장기 특징 정보를 각각 비교할 수도 있다.
이에 따라 맥락 분석부(160)는 장기 특징 정보와 단기 특징 정보를 비교하여 맥락 정보를 생성할 수 있으며, 생성된 맥락 정보를 단기 특징 정보에 적용할 수 있다.
그리고 맥락 분석부(160)는 맥락 정보가 적용된 단기 특징 정보를 완전 연결 측에 입력하여 출력으로 하이라이트 점수를 생성할 수도 있다.
영상 생성부(170)는 맥락 정보 또는 하이라이트 점수에 기초하여 하이라이트 영상(HV)을 생성할 수 있다. 이때 영상 생성부(170)는 맥락 정보로부터 생성되는 하이라이트 점수의 크기에 따라 하나 이상의 하이라이트 점수를 추출할 수 있다.
이때 영상 생성부(170)는 비디오 영상(OV)의 길이에 대한 하이라이트 영상(HV)의 길이의 비율에 따라 하나 이상의 하이라이트 점수를 추출할 수 있고, 영상 생성부(170)는 추출된 하이라이트 점수 또는 단기 특징 정보를 이용하여 하이라이트 영상(HV)을 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 하이라이트 영상 생성 장치의 일 실시예를 나타낸 개략도이다.
도 6을 참조하면, 비디오 영상(OV)으로부터 음성 정보와 시각 정보가 분리되어 서로 다른 BiLSTM에 입력되는 것을 알 수 있다.
도 6에서 Video는 비디오 영상(OV)을 의미하고 audio는 음성 정보를 의미하며 image는 시각 정보를 의미할 수 있다. 그리고
Figure pat00017
는 사전에 설정된 시간 간격으로 분리된 음성 정보를 의미할 수 있고,
Figure pat00018
는 사전에 설정된 시간 간격으로 분리된 시각 정보를 의미할 수 있다. 또한
Figure pat00019
는 단기 특징 정보를,
Figure pat00020
와
Figure pat00021
는 각각 음성 특징 정보에 기초한 장기 특징 정보와 시각 특징 정보에 기초한 장기 특징 정보를 의미할 수 있다.
즉 도면에 도시된 바와 같이 어텐션 심층 신경망을 포함하는 하이라이트 영상 생성 장치(100)는 BiLSTM에서 출력된 음성 특징 정보와 시각 특징 정보가 연산을 거쳐 서로 다른 세 개의 LSTM으로 입력될 수 있다.
따라서 하나의 LSTM은 BiLSTM에서 출력된 음성 특징 정보와 시각 특징 정보의 결합을 입력받아 모든 비디오 영상(OV)의 모든 프레임 사이의 단기적인 전후 관계를 파악하는 단기 특징 정보
Figure pat00022
를 출력하고, 나머지 두개의 LSTM은 일정 시간 간격으로 입력되는 음성 특징 정보 및 시각 특징 정보를 입력받아 장기적 맥락 정보를 가지는 음성 특징 정보에 기초한 장기 특징 정보
Figure pat00023
와 시각 특징 정보에 기초한 장기 특징 정보
Figure pat00024
를 출력할 수 있다.
그리고 하이라이트 영상 생성 장치(100)는 맥락 정보가 적용된 단기 특징 정보가 완전 연결 층(FC)에 입력되어 출력되는 하이라이트 점수
Figure pat00025
를 생성할 수 있고, 이에 따라 하이라이트 영상 생성 장치(100)는 맥락 정보 또는 하이라이트 점수에 기초하여 비디오 영상(OV)으로부터 하이라이트 영상(HV)을 생성할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 하이라이트 영상 생성 장치(100)의 일 실시예를 나타낸 개략도로, 도면에 도시된 바와 같이 도 6의 일 실시예에 따른 하이라이트 영상 생성 장치(100)의 일 실시예와는 달리 다른 실시예에 따른 하이라이트 영상 생성 장치(100)의 일 실시예에서는 BiLSTM에서 출력된 음성 특징 정보와 시각 특징 정보가 연산을 거쳐 4개의 LSTM으로 입력되도록 마련될 수 있다.
이러한 다른 실시예에 따른 하이라이트 생성 장치(100)는 단기 정보 분석부(140) 및 맥락 분석부(160)를 제외한 나머지 구성은 모두 상술한 도 1 내지 도 6에 도시된 일 실시예에 따른 하이라이트 영상 생성 장치(100)와 동일하거나 이로부터 충분히 유추가능한 바 중복되는 설명은 생략하기로 한다.
다른 실시예에 따른 단기 정보 분석부(140)는 음성 특징 정보와 시각 특징 정보를 결합할 수 있고, 결합된 정보를 분석하여 단기 특징 정보와 심층 특징 정보를 함께 생성할 수 있다.
여기서 단기 정보 분석부(140)는 BiLSTM을 이용하여 결합된 정보로부터 단기 특징 정보 및 심층 특징 정보를 생성할 수 있으며, 이 때 음성 특징 정보와 시각 특징 정보를 결합하는 것은 음성 특징 정보와 시각 특징 정보를 중첩하는 것이거나, 음성 특징 정보와 시각 특징 정보를 이용하여 다차원의 정보를 생성하는 것일 수도 있다.
이러한 경우, 심층 특징 정보는 단기 정보 분석부(140)에서 비디오 영상(OV)으로부터 일정 시간 간격으로 분리되는 음성 특징 정보와 시각 특징 정보에 대해 매치되도록 생성될 수 있으며, 다시 말해서 결합된 정보를 일정 시간 간격으로 분석하여 심층 특징 정보를 생성하는 것으로 이해할 수 있다.
여기서 심층 특징 정보가 생성되는 일정 시간 간격은 사전에 설정되되 단기 특징 정보가 생성되는 단기 시간 간격보다는 길고, 장기 특징 정보가 분석되는 시간 간격인 장기 시간 간격보다는 짧은 시간 간격을 의미할 수 있다. 이에 따라 단기 정보 분석부(140)는 음성 특징 정보와 시각 특징 정보가 결합된 정보를 단기 시간 간격보다는 길고 장기 시간 간격보다는 짧은 시간 간격에 따라 분석하여 심층 특징 정보를 생성할 수 있다. 보다 구체적으로 예를 들면 단기 시간 가격은 초 단위이라면, 심층 특징 정보를 생성하기 위한 시간 간격은 분 단위일 수 있다.
한편 맥락 분석부(160)는 단기 특징 정보, 심층 특징 정보, 그리고 장기 특징 정보를 비교하여, 단기 특징 정보, 심층 특징 정보, 그리고 장기 특징 정보의 연관성을 나타내는 맥락 정보를 생성할 수 있다.
이 때 맥락 분석부(160)는 임의의 시점에서 결합된 정보로부터 생성된 단기 특징 정보 및 심층 특징 정보 그리고 각각의 음성 특징 정보와 시각 특징 정보로부터 생성된 복수의 장기 특징 정보를 각각 비교할 수도 있다. 여기서 임의의 장기 특징 정보와 비교되는 단기 특징 정보 및 심층 특징 정보는 장기 시간 간격 내에서 생성된 것일 수 있고, 임의의 장기 특징 정보와 비교되는 단기 특징 정보 및 심층 특징 정보는 비디오 영상(OV)에서 나타나는 시간 간격 내에서 생성된 것일 수 있다.
이에 따라 맥락 분석부(160)는 단기 특징 정보, 심층 특징 정보, 그리고 장기 특징 정보를 비교하여 맥락 정보를 생성할 수 있다.
이상의 다른 실시예에 따른 단기 정보 분석부(140) 및 맥락 분석부(160)를 포함하는 다른 실시예에 따른 하이라이트 영상 생성 장치(100)는 생성된 맥락 정보를 일 실시예에 따른 하이라이트 영상 생성 장치(100)와 마찬가지로 완전 연결 층에 입력하여 출력으로 하이라이트 스코어를 생성할 수 있다.
이와 관련하여 다른 실시예에 따른 하이라이트 영상 생성 장치(100)는 상술한 수학식 1 내지 3의 수식과 함께 하기의 수학식 5 내지 7의 수식을 이용하여 맥락 정보를 생성할 수 있다.
[수학식5]
Figure pat00026
여기에서
Figure pat00027
는 단기 특징 정보와 심층 특징 정보를 비교하여 산출되는 제5 가중치 계수를 의미할 수 있고,
Figure pat00028
는 단기 특징 정보를,
Figure pat00029
는 심층 특징 정보를 의미할 수 있다. 또한 T는 행렬의 행과 열을 변환하는 전치 연산(Transpose)을 의미할 수 있다.
이에 따라, 다른 실시예에 따른 하이라이트 영상 생성 장치(100)는 단기 특징 정보의 행과 열을 변환한 값과, 심층 특징 정보를 곱하여 제5 가중치 계수를 산출할 수 있다.
[수학식6]
Figure pat00030
여기에서
Figure pat00031
는 제6 가중치 계수를 의미할 수 있으며, 이에 따라 다른 실시예에 따른 하이라이트 영상 생성 장치(100)는 제5 가중치 계수의 총합에 대한 임의의 하나의 제5 가중치 계수의 비율에 따라 제6 가중치 계수를 산출할 수 있다.
이와 관련하여 softmax()는 softmax function을 의미할 수 있으며, softmax function은 임의의 집합 내에 존재하는 모든 정보의 합에 대한 해당 집합 내에 존재하는 임의의 하나의 정보의 비율을 산출하는 기법일 수 있다.
[수학식7]
Figure pat00032
여기에서
Figure pat00033
는 음성 및 시각이 결합된 정보에 대한 맥락 정보를 의미할 수 있고, N은 임의의 비디오 영상(OV)에서 생성된 심층 특징 정보의 개수를 의미할 수 있다. 이에 하이라이트 영상 생성 장치(100)는 임의의 비디오 영상(OV)에서 생성된 심층 특징 정보와 제6 가중치 계수의 곱의 총합으로 가중치를 산출할 수 있다.
그리고 다른 실시예에 따른 하이라이트 영상 생성 장치(100)는 하기의 수학식 8에서와 같이 수학식 7을 통해 생성된 음성 및 시각이 결합된 정보에 대한 맥락 정보와 수학식 3을 통해 생성된 음성 및 시각에 대한 맥락 정보를 단기 특징 정보에 곱하거나 더하여 맥락 정보가 적용된 단기 특징 정보를 생성할 수 있다.
[수학식 8]
Figure pat00034
이와 관련하여 다른 실시예에 따른 하이라이트 영상 생성 장치(100)는 단기 특징 정보, 심층 특징 정보와 장기 특징 정보로부터 attention 기법을 이용하여 맥락 정보를 생성하는 것일 수 있다.
여기서 attention 기법은 시계열로 생성된 정보 중, 중요한 정보로 판단되는 곳에 가중치를 부여하고, 합을 계산하여 정보들 간의 관계를 나타내는 기법일 수 있다.
이러한 경우에, 다른 실시예에 따른 하이라이트 영상 생성 장치(100)는 Attention 기법을 이용하여, 장기 특징 정보, 심층 특징 정보 및 단기 특징 정보로부터 맥락 정보를 생성하고, 생성된 맥락 정보를 단기 특징 정보에 적용할 수 있으며, 이후, 하이라이트 영상 생성 장치(100)는 맥락 정보가 적용된 단기 특징 정보를 완전 연결 층(Fully-Connected Layer)에 입력하여, 하이라이트 점수를 생성할 수 있다.
따라서 도 7에서 Video는 비디오 영상(OV)을 의미하고 audio는 음성 정보를 의미하며 image는 시각 정보를 의미할 수 있다. 그리고
Figure pat00035
는 사전에 설정된 시간 간격으로 분리된 음성 정보를 의미할 수 있고,
Figure pat00036
는 사전에 설정된 시간 간격으로 분리된 시각 정보를 의미할 수 있다. 또한
Figure pat00037
는 단기 특징 정보를,
Figure pat00038
는 심층 특징 정보를,
Figure pat00039
와
Figure pat00040
는 각각 음성 특징 정보에 기초한 장기 특징 정보와 시각 특징 정보에 기초한 장기 특징 정보를 의미할 수 있다.
즉 도면에 도시된 바와 같이 어텐션 심층 신경망을 포함하는 하이라이트 영상 생성 장치(100)는 BiLSTM에서 출력된 음성 특징 정보와 시각 특징 정보가 연산을 거쳐 서로 다른 네 개의 LSTM으로 입력될 수 있다.
따라서 하나의 LSTM은 BiLSTM에서 출력된 음성 특징 정보와 시각 특징 정보의 결합을 입력받아 모든 비디오 영상(OV)의 모든 프레임 사이의 단기적인 전후 관계를 파악하는 단기 특징 정보
Figure pat00041
를 출력하고, 다른 하나의 LSTM은 BiLSTM에서 출력된 음성 특징 정보와 시각 특징 정보의 결합을 입력받아 장기적 맥락 정보를 가지는 음성 특징과 시각 특징이 결합된 정보에 기초한 심층 특징 정보
Figure pat00042
를 출력할 수 있다.
그리고 나머지 두개의 LSTM 각각은 일정 시간 간격으로 입력되는 음성 특징 정보 및 시각 특징 정보를 각각 입력받아 장기적 맥락 정보를 가지는 음성 특징 정보에 기초한 장기 특징 정보
Figure pat00043
와 시각 특징 정보에 기초한 장기 특징 정보
Figure pat00044
를 출력할 수 있다.
그리고 하이라이트 영상 생성 장치(100)는 맥락 정보가 적용된 단기 특징 정보가 완전 연결 층(FC)에 입력되어 출력되는 하이라이트 점수
Figure pat00045
를 생성할 수 있고, 이에 따라 하이라이트 영상 생성 장치(100)는 맥락 정보 또는 하이라이트 점수에 기초하여 비디오 영상(OV)으로부터 하이라이트 영상(HV)을 생성할 수 있다.
따라서 본 발명의 하이라이트 영상 생성 장치(100)는 하이라이트 여부를 판단하기 위해 음성과 시각 정보에 대한 개별적인 어텐션을 진행함으로써 비디오 내의 한 장면과 전체적 맥락 사이의 상호 연관성을 고려할 수 있어 비디오 전체 맥락에 대한 이해도를 높일 수 있고, 더욱 유의미한 정보를 가지고 하이라이트 구간을 검출할 수 있다는 장점이 있다.
도 8은 본 발명의 일 실시예에 따른 하이라이트 영상 생성 방법의 흐름도이다. 본 발명의 일 실시예에 따른 하이라이트 영상 생성 방법은 도 1에 도시된 하이라이트 영상 생성 장치(100)와 실질적으로 동일한 구성 상에서 진행되므로, 도 1의 하이라이트 영상 생성 장치(100)와 동일한 구성요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.
하이라이트 영상 생성 방법은, 음성 정보와 시각 정보를 분리하여 추출하는 단계(S110), 음성 특징 정보를 생성하는 단계(S120), 시각 특징 정보를 생성하는 단계(S130), 장기 특징 정보를 생성하는 단계(S140), 단기 특징 정보를 생성하는 단계(S150), 맥락 정보를 생성하는 단계(S160) 및 하이라이트 영상을 생성하는 단계(S170)를 포함할 수 있다.
음성 정보와 시각 정보를 분리하여 추출하는 단계(S110)는 비디오 분리부(110)가 비디오 영상으로부터 시간 순서에 따라 연속되도록 음성 정보와 시각 정보를 분리하는 단계일 수 있다.
음성 특징 정보를 생성하는 단계(S120)는 음성 분석부(120)가 음성 정보를 분석하여 음성 특징 정보를 생성하는 단계일 수 있다.
시각 특징 정보를 생성하는 단계(S130)는 시각 분석부(130)가 사전에 마련되는 학습 모델에 기초하여 시각 정보로부터 시각 특징 정보를 생성하는 단계일 수 있다.
장기 특징 정보를 생성하는 단계(S140)는 장기 정보 분석부(150)에서 사전에 설정되는 장기 시간 간격에 따라 음성 특징 정보와 시각 특징 정보 각각에 대한 장기 특징 정보를 생성하는 단계일 수 있다.
단기 특징 정보를 생성하는 단계(S150)는 단기 정보 분석부(140)가 연속되도록 생성되는 음성 특징 정보와 시각 특징 정보를 결합하고, 결합된 정보를 분석하여 단기 특징 정보를 생성하는 단계일 수 있다.
그리고 도면에서는 장기 특징 정보를 생성하는 단계(S140) 및 단기 특징 정보를 생성하는 단계(S150)가 서로 순차적으로 진행되는 것으로 도시되었으나, 이는 예시적 사항으로, 해당 단계들은 동시에 수행되거나, 단기 특징 정보를 먼저 생성하고 장기 특징 정보를 생성할 수도 있음은 물론이다.
맥락 정보를 생성하는 단계(S160)는 맥락 분석부(160)가 단기 특징 정보와 장기 특징 정보를 비교하여, 장기 특징 정보와 단기 특징 정보의 연관성을 나타내는 맥락 정보를 생성하는 단계일 수 있다.
하이라이트 영상을 생성하는 단계(S170)는 영상 생성부(170)가 맥락 정보에 기초하여 하이라이트 영상을 생성하는 단계일 수 있다.
한편 도 9는 본 발명의 다른 실시예에 따른 하이라이트 영상 생성 방법의 흐름도이다. 본 발명의 다른 실시예에 따른 하이라이트 영상 생성 방법은 도 1에 도시된 하이라이트 영상 생성 장치(100)와 실질적으로 동일한 구성 상에서 진행되므로, 도 1의 하이라이트 영상 생성 장치(100)와 동일한 구성요소에 대해 동일한 도면 부호를 부여하고, 상술한 도 8의 일 실시예에 따른 하이라이트 영상 생성 방법과 반복되는 설명은 생략하기로 한다.
본 발명의 다른 실시예에 따른 하이라이트 영상 생성 방법은, 음성 정보와 시각 정보를 분리하여 추출하는 단계(S210), 음성 특징 정보를 생성하는 단계(S220), 시각 특징 정보를 생성하는 단계(S230), 장기 특징 정보를 생성하는 단계(S240), 단기 특징 정보를 생성하는 단계(S250), 심층 특징 정보를 생성하는 단계(S260), 맥락 정보를 생성하는 단계(S270) 및 하이라이트 영상을 생성하는 단계(S280)를 포함할 수 있다.
음성 정보와 시각 정보를 분리하여 추출하는 단계(S210)는 비디오 분리부(110)가 비디오 영상으로부터 시간 순서에 따라 연속되도록 음성 정보와 시각 정보를 분리하는 단계일 수 있다.
음성 특징 정보를 생성하는 단계(S220)는 음성 분석부(120)가 음성 정보를 분석하여 음성 특징 정보를 생성하는 단계일 수 있다.
시각 특징 정보를 생성하는 단계(S230)는 시각 분석부(130)가 사전에 마련되는 학습 모델에 기초하여 시각 정보로부터 시각 특징 정보를 생성하는 단계일 수 있다.
장기 특징 정보를 생성하는 단계(S240)는 장기 정보 분석부(150)에서 사전에 설정되는 장기 시간 간격에 따라 음성 특징 정보와 시각 특징 정보 각각에 대한 장기 특징 정보를 생성하는 단계일 수 있다.
단기 특징 정보를 생성하는 단계(S250)는 단기 정보 분석부(140)가 연속되도록 생성되는 음성 특징 정보와 시각 특징 정보를 결합하고, 결합된 정보를 분석하여 단기 특징 정보를 생성하는 단계일 수 있다.
심층 특징 정보를 생성하는 단계(S260)는 단기 정보 분석부(140)가 일정 시간 간격으로 분리되는 음성 특징 정보와 시각 특징 정보를 결합하고, 결합된 정보를 분석하여 심층 특징 정보를 생성하는 단계일 수 있다. 이러한 단기 특징 정보를 생성하는 단계(S250)와 심층 특징 정보를 생성하는 단계(S260)는 단기 정보 분석부(140)에서 수행될 수 있다. 이 때 단기 특징 정보는, 사전에 설정되는 단기 시간 간격에 따라 결합된 정보를 분석하여 생성된 정보이고, 심층 특징 정보는, 단기 시간 간격보다는 길고, 장기 시간 간격보다는 짧은 시간 간격에 따라 결합된 정보를 분석하여 생성된 정보일 수 있다.
그리고 도면에서는 장기 특징 정보를 생성하는 단계(S240), 단기 특징 정보를 생성하는 단계(S250) 및 심층 특징 정보를 생성하는 단계(S260) 순서로 진행되는 것으로 도시되었으나, 이는 설명의 편의를 위한 예시적 사항으로, 해당 단계들은 동시에 또는 다른 순서로 수행될 수도 있다.
맥락 정보를 생성하는 단계(S270)는 맥락 분석부(160)가 단기 특징 정보, 심층 특징 정보와 장기 특징 정보를 비교하여, 장기 특징 정보, 단기 특징 정보 및 심층 특징 정보의 연관성을 나타내는 맥락 정보를 생성하는 단계일 수 있다.
하이라이트 영상을 생성하는 단계(S280)는 영상 생성부(170)가 맥락 정보에 기초하여 하이라이트 영상을 생성하는 단계일 수 있다.
본 발명에 따른 구성요소들은 물리적인 구분이 아니라 기능적인 구분에 의해서 정의되는 구성요소들로서 각각이 수행하는 기능들에 의해서 정의될 수 있다. 각각의 구성요소들은 하드웨어 또는 각각의 기능을 수행하는 프로그램 코드 및 프로세싱 유닛으로 구현될 수 있을 것이며, 두 개 이상의 구성요소의 기능이 하나의 구성요소에 포함되어 구현될 수도 있을 것이다. 따라서 이하의 실시예에서 구성요소에 부여되는 명칭은 각각의 구성요소를 물리적으로 구분하기 위한 것이 아니라 각각의 구성요소가 수행되는 대표적인 기능을 암시하기 위해서 부여된 것이며, 구성요소의 명칭에 의해서 본 발명의 기술적 사상이 한정되지 않는 것임에 유의하여야 한다.
그리고 하이라이트 영상 생성 장치(100)는 하이라이트 영상 생성 방법을 수행하기 위한 소프트웨어(어플리케이션)가(이) 설치되어 실행될 수 있다.
이와 같은 본 발명의 하이라이트 영상 생성 방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 본 발명의 다양한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
OV : 비디오 영상 100 : 하이라이트 영상 생성 장치
110 : 비디오 분리부 120 : 음성 분석부
130 : 시각 분석부 140 : 장기 정보 분석부
150 : 단기 정보 분석부 160 : 맥락 분석부
170 : 영상 생성부 HV : 하이라이트 영상

Claims (5)

  1. 비디오 영상으로부터 음성 정보와 시각 정보를 분리하여 추출하는 비디오 분리부;
    상기 음성 정보를 분석하여 음성 특징 정보를 생성하는 음성 분석부;
    상기 시각 정보로부터 시각 특징 정보를 생성하는 시각 분석부;
    사전에 설정되는 장기 시간 간격에 따라 상기 음성 특징 정보와 상기 시각 특징 정보를 분석하여 장기 특징 정보를 생성하는 장기 정보 분석부;
    상기 음성 특징 정보와 상기 시각 특징 정보를 결합하고, 결합된 정보를 분석하여 단기 특징 정보를 생성하는 단기 정보 분석부;
    상기 장기 특징 정보와 상기 단기 특징 정보의 연관성을 나타내는 맥락 정보를 생성하는 맥락 분석부; 및
    상기 맥락 정보에 기초하여 하이라이트 영상을 생성하는 영상 생성부를 포함하는 하이라이트 영상 생성 장치.
  2. 제1항에 있어서,
    상기 단기 정보 분석부는,
    상기 음성 특징 정보와 상기 시각 특징 정보를 결합하고, 결합된 정보를 분석하여 심층 특징 정보를 생성하는 것을 특징으로 하는 하이라이트 영상 생성 장치.
  3. 제2항에 있어서,
    상기 단기 특징 정보는,
    사전에 설정되는 단기 시간 간격에 따라 상기 결합된 정보를 분석하여 생성된 정보이고,
    상기 심층 특징 정보는,
    사전에 설정되되 상기 단기 시간 간격보다는 길고, 상기 장기 시간 간격보다는 짧은 시간 간격에 따라 상기 결합된 정보를 분석하여 생성된 정보인 것을 특징으로 하는 하이라이트 영상 생성 장치.
  4. 제1항에 있어서,
    상기 음성 분석부는,
    상기 음성 정보를 사전에 설정되는 세그먼트 개수에 따라 복수개의 세그먼트로 분리하고, 상기 세그먼트로부터 사전에 설정되는 주파수 차원 개수에 따라 각각의 주파수 대역에서의 음성 특징 정보를 생성하는 것을 특징으로 하는 하이라이트 영상 생성 장치.
  5. 하이라이트 영상 생성 장치를 이용한 하이라이트 영상 생성 방법에 있어서,
    비디오 영상으로부터 음성 정보와 시각 정보를 분리하여 추출하는 단계;
    상기 음성 정보를 분석하여 음성 특징 정보를 생성하는 단계;
    상기 시각 정보로부터 시각 특징 정보를 생성하는 단계;
    사전에 설정되는 중장기 시간 간격에 따라 상기 음성 특징 정보와 상기 시각 특징 정보 각각에 대한 장기 특징 정보를 생성하는 단계;
    상기 음성 특징 정보와 상기 시각 특징 정보를 결합하고, 결합된 정보를 분석하여 단기 특징 정보를 생성하는 단계;
    상기 장기 특징 정보와 상기 단기 특징 정보의 연관성을 나타내는 맥락 정보를 생성하는 단계; 및
    상기 맥락 정보에 기초하여 하이라이트 영상을 생성하는 단계를 포함하는 하이라이트 영상 생성 방법.
KR1020210188323A 2021-12-27 2021-12-27 비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법 KR102685651B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210188323A KR102685651B1 (ko) 2021-12-27 2021-12-27 비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210188323A KR102685651B1 (ko) 2021-12-27 2021-12-27 비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법

Publications (2)

Publication Number Publication Date
KR20230099180A true KR20230099180A (ko) 2023-07-04
KR102685651B1 KR102685651B1 (ko) 2024-07-16

Family

ID=87156109

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210188323A KR102685651B1 (ko) 2021-12-27 2021-12-27 비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법

Country Status (1)

Country Link
KR (1) KR102685651B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102620737B1 (ko) * 2023-09-19 2024-01-05 박준언 기업 마케팅 콘텐츠를 제작하기 위한 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475669B1 (ko) 2012-05-15 2014-12-24 에스케이플래닛 주식회사 하이라이트 동영상 기록 장치 및 방법
KR102293073B1 (ko) * 2020-09-11 2021-08-25 서울과학기술대학교 산학협력단 비디오 영상의 맥락을 고려한 핵심 영상 생성 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475669B1 (ko) 2012-05-15 2014-12-24 에스케이플래닛 주식회사 하이라이트 동영상 기록 장치 및 방법
KR102293073B1 (ko) * 2020-09-11 2021-08-25 서울과학기술대학교 산학협력단 비디오 영상의 맥락을 고려한 핵심 영상 생성 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이한솔, 딥러닝을 이용한 장시간 영상의 하이라이트 검출 알고리즘, 서울과학기술대학교 공학석사 학위논문, 2021. 2.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102620737B1 (ko) * 2023-09-19 2024-01-05 박준언 기업 마케팅 콘텐츠를 제작하기 위한 장치 및 방법

Also Published As

Publication number Publication date
KR102685651B1 (ko) 2024-07-16

Similar Documents

Publication Publication Date Title
CN108780643B (zh) 自动配音方法和装置
US9552807B2 (en) Method, apparatus and system for regenerating voice intonation in automatically dubbed videos
US10037313B2 (en) Automatic smoothed captioning of non-speech sounds from audio
US8938393B2 (en) Extended videolens media engine for audio recognition
JP4920395B2 (ja) 動画要約自動作成装置、方法、及びコンピュータ・プログラム
JP5460709B2 (ja) 音響信号処理装置および方法
JP4635891B2 (ja) 情報処理装置および方法、並びにプログラム
JP3891111B2 (ja) 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム
Brown et al. Playing a part: Speaker verification at the movies
WO2000045604A1 (en) Signal processing method and video/voice processing device
CN109584904B (zh) 应用于基础音乐视唱教育的视唱音频唱名识别建模方法
US12176008B2 (en) Method and apparatus for matching music with video, computer device, and storage medium
CN112995756A (zh) 短视频的生成方法及装置、短视频生成系统
KR102293073B1 (ko) 비디오 영상의 맥락을 고려한 핵심 영상 생성 장치 및 방법
KR20230099180A (ko) 비디오 영상의 시각 및 음성 정보의 개별적 맥락을 고려한 하이라이트 영상 생성 장치 및 하이라이트 영상 생성 방법
JP3757719B2 (ja) 音響データ分析方法及びその装置
JP2005532763A (ja) 圧縮ビデオをセグメント化する方法
Uhlich et al. The Sound Demixing Challenge 2023-Cinematic Demixing Track.
CN110381336B (zh) 基于5.1声道的视频片段情感判定方法、装置和计算机设备
JP2000285242A (ja) 信号処理方法及び映像音声処理装置
KR102369620B1 (ko) 다중 시구간 정보를 이용한 하이라이트 영상 생성 장치 및 방법
KR101369270B1 (ko) 멀티 채널 분석을 이용한 비디오 스트림 분석 방법
Bajcsy et al. Fast forwarding egocentric videos by listening and watching
KR102173858B1 (ko) 사용자 선호도 입력 기반 인물 중심 장면 생성 및 비디오 요약 장치 및 방법
CN114495946A (zh) 声纹聚类方法、电子设备和存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211227

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240322

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240708

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240711

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240712

End annual number: 3

Start annual number: 1

PG1601 Publication of registration