KR20210087095A - 비디오 중의 핫스팟 세그먼트를 추출하는 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램 제품 - Google Patents
비디오 중의 핫스팟 세그먼트를 추출하는 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램 제품 Download PDFInfo
- Publication number
- KR20210087095A KR20210087095A KR1020217019156A KR20217019156A KR20210087095A KR 20210087095 A KR20210087095 A KR 20210087095A KR 1020217019156 A KR1020217019156 A KR 1020217019156A KR 20217019156 A KR20217019156 A KR 20217019156A KR 20210087095 A KR20210087095 A KR 20210087095A
- Authority
- KR
- South Korea
- Prior art keywords
- video
- processed
- frame
- user
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
- H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
Abstract
본 출원은 멀티미디어 처리 기술 분야에 관한 것으로서, 비디오 중의 핫스팟 세그먼트를 추출하는 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체를 제공한다. 본 출원에 따르면, 비디오 중의 핫스팟 세그먼트를 추출하기 위해 선택한 구현 방법은, 처리될 비디오를 획득하는 것, 상기 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링하여, 상기 처리될 비디오에 대한 간결화된 세그먼트를 획득하는 것, 상기 처리될 비디오에 대응하는 사용자 시청 정보에 따라, 상기 간결화된 세그먼트 중의 각 프레임의 영상에 대해 스코어링하는 것, 스코어링 결과가 사전 설정된 조건을 만족하는 영상 프레임을 순차적으로 모아 이은 후, 모아 이어된 결과를 상기 처리될 비디오의 핫스팟 세그먼트로 하는 것을 포함한다. 본 출원에 따르면, 핫스팟 세그먼트의 추출 정확도를 향상시킬 수 있고, 핫스팟 세그먼트의 크기를 줄일 수 있어, 사용자의 메모리 자원 및 대역폭의 낭비를 감소시킬 수 있다.
Description
본 출원은 출원일이 2020년 02월 21일이고, 출원 번호가 202010108683.8이며, 발명 명칭이 "비디오 중의 핫스팟 세그먼트를 추출하는 방법 및 장치"인 중국 특허 출원의 우선권을 주장한다.
본 출원은 인터넷 기술 분야에 관한 것으로서, 특히 멀티미디어 처리 기술 분야 내의 비디오 중의 핫스팟 세그먼트를 추출하는 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.
인터넷 기술의 발전에 따라, 네트워크 상에 존재하는 비디오의 형식은 점점 다양화되고 있고, 비디오 내의 하이라이트 또는 중요한 콘텐츠를 획득하는 것이 점점 더 많은 사용자의 핵심 요구가 되고 있다.
종래 기술에서, 사용자는 통상적으로 배속 재생, 스킵 재생 등 조작을 통하여 비디오에 대한 신속한 시청을 실현한다. 여기서, 배속 재생은 오디오 체험이 비교적 나쁘고, 스킵 재생은 속도 조절이 어렵기 때문에, 빨리 감기 속도가 너무 빠름으로 인하여 일부 콘텐츠가 누락되거나, 빨리 감기 속도가 너무 느려 반복 콘텐츠를 시청하게 되기 쉽다. 따라서, 사용자가 비디오 내의 핫스팟 세그먼트를 편리하고 정확하게 시청할 수 있게 하는 방법이 필요하다.
기술적 과제를 해결하기 위해, 본 출원에 따른 기술 방안은 비디오 중의 핫스팟 세그먼트를 추출하는 방법을 제공한다. 비디오 중의 핫스팟 세그먼트를 추출하는 방법에 있어서, 처리될 비디오를 획득하는 것, 상기 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링하여, 상기 처리될 비디오에 대한 간결화된 세그먼트를 획득하는 것, 상기 처리될 비디오에 대응하는 사용자 시청 정보에 따라, 상기 간결화된 세그먼트 중의 각 프레임의 영상에 대해 스코어링하는 것, 스코어링 결과가 사전 설정된 조건을 만족하는 영상 프레임을 순차적으로 모아 이은 후, 모아 이어된 결과를 상기 처리될 비디오의 핫스팟 세그먼트로 하는 것을 포함한다. 본 출원은 사용자로 하여금 비디오 내의 하이라이트를 보다 정확하고 편리하게 시청할 수 있도록 하고, 핫스팟 세그먼트의 크기를 효과적으로 줄일 수 있어, 사용자의 메모리 자원 및 대역폭의 낭비를 감소시킬 수 있다.
본 출원의 바람직한 실시예에 따르면, 상기 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링하는 것은, 상기 처리될 비디오의 비디오 영상 시퀀스를 획득하는 것, 상기 비디오 영상 시퀀스 중의 각 프레임의 영상 사이의 콘텐츠 반복도를 계산하는 것, 상기 콘텐츠 반복도가 제1 임계치를 초과하는지를 결정하고, 초과하는 경우, 상기 각 프레임의 영상 중의 한 프레임의 영상을 보류하고 기타 영상은 필터링하며, 그렇지 않으면, 상기 각 프레임의 영상을 보류하는 것을 포함한다. 본 단계에 따르면, 영상 프레임에 대한 필터링의 정확도를 향상시킬 수 있다.
본 출원의 바람직한 실시예에 따르면, 상기 처리될 비디오에 대응하는 사용자 시청 정보는, 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수, 및 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수 중 적어도 하나를 포함한다. 본 단계에 따르면, 사용자 시청 정보의 유형을 풍부하게 하여, 영상 프레임에 대한 스코어링 결과의 정확도를 향상시킬 수 있다.
본 출원의 바람직한 실시예에 따르면, 상기 처리될 비디오에 대응하는 사용자 시청 정보에 따라, 상기 간결화된 세그먼트 중의 각 프레임의 영상에 대해 스코어링하는 것은, 대응하는 영상 프레임이 표기된 제1 가중치, 및 대응하는 영상 프레임이 유효적으로 시청된 제2 가중치를 획득하는 것, 영상 프레임의 표기 횟수와 제1 가중치에 따라 제1 스코어를 획득하고, 영상 프레임의 유효 시청 횟수와 제2 가중치에 따라 제2 스코어를 획득하는 것, 제1 스코어와 제2 스코어의 합계 결과를 영상 프레임에 대한 스코어링 결과로 하는 것을 포함한다. 본 단계는, 다차원 정보를 통해 영상 프레임에 대한 스코어링을 진행하여, 스코어링 결과의 정확도를 향상시킬 수 있다.
본 출원의 바람직한 실시예에 따르면, 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수를 획득하는 것은, 상기 처리될 비디오의 재생 과정에서 표기 버튼을 제공하는 것, 상기 처리될 비디오의 각 영상 프레임을 재생할 때, 상기 표기 버튼의 트리거 횟수를 통계하여, 상기 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수로 하는 것을 포함한다.
본 출원의 바람직한 실시예에 따르면, 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수를 획득하는 것은, 재생 과정에서 상기 처리될 비디오의 각 영상 프레임의 재생 속도를 결정하는 것, 상기 처리될 비디오 중의 각 영상 프레임이 정상 속도로 재생되는 횟수를 통계하여, 상기 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수로 하는 것을 포함한다.
본 출원의 바람직한 실시예에 따르면, 상기 방법은, 사용자가 선택해서 시청할 수 있도록, 상기 처리될 비디오 및 대응하는 핫스팟 세그먼트를 동시에 사용자에게 표시하는 것을 더 포함한다. 본 단계에 따르면, 비디오 디스플레이의 유연성을 향상시키고, 사용자에게 더 많은 시청 선택을 제공할 수 있다.
기술적 과제를 해결하기 위해, 본 출원에 따른 기술 방안은 비디오 중의 핫스팟 세그먼트를 추출하는 장치를 제공한다. 비디오 중의 핫스팟 세그먼트를 추출하는 장치에 있어서, 처리될 비디오를 획득하기 위한 획득부, 상기 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링하여, 상기 처리될 비디오에 대한 간결화된 세그먼트를 획득하기 위한 간결부, 상기 처리될 비디오에 대응하는 사용자 시청 정보에 따라, 상기 간결화된 세그먼트 중의 각 프레임의 영상에 대해 스코어링하기 위한 스코어링부, 스코어링 결과가 사전 설정된 조건을 만족하는 영상 프레임을 순차적으로 모아 이은 후, 모아 이어된 결과를 상기 처리될 비디오의 핫스팟 세그먼트로 하기 위한 처리부를 포함한다.
본 출원의 바람직한 실시예에 따르면, 상기 간결부가 상기 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링할 때, 구체적으로, 상기 처리될 비디오의 비디오 영상 시퀀스를 획득하는 것, 상기 비디오 영상 시퀀스 중의 각 프레임의 영상 사이의 콘텐츠 반복도를 계산하는 것, 상기 콘텐츠 반복도가 제1 임계치를 초과하는지를 결정하고, 초과하는 경우, 상기 각 프레임의 영상 중의 한 프레임의 영상을 보류하고 기타 영상을 필터링하며, 그렇지 않으면, 상기 각 프레임의 영상을 보류하는 것을 실행한다.
본 출원의 바람직한 실시예에 따르면, 상기 스코어링부 중에, 상기 처리될 비디오에 대응하는 사용자 시청 정보는, 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수, 및 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수 중의 적어도 하나를 포함한다.
본 출원의 바람직한 실시예에 따르면, 상기 스코어링부는 상기 처리될 비디오에 대응하는 사용자 시청 정보에 따라, 상기 간결화된 세그먼트 중 각 프레임의 영상에 대해 스코어링할 때, 구체적으로, 대응하는 영상 프레임이 표기된 제1 가중치, 및 대응하는 영상 프레임이 유효적으로 시청된 제2 가중치를 획득하는 것, 영상 프레임의 표기 횟수와 제1 가중치에 따라 제1 스코어를 획득하고, 영상 프레임의 유효 시청 횟수와 제2 가중치에 따라 제2 스코어를 획득하는 것, 제1 스코어와 제2 스코어의 합계 결과를 영상 프레임에 대한 스코어링 결과로 하는 것을 실행한다.
본 출원의 바람직한 실시예에 따르면, 상기 스코어링부는, 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수를 획득할 때, 구체적으로, 상기 처리될 비디오의 재생 과정에서 표기 버튼을 제공하는 것, 상기 처리될 비디오의 각 영상 프레임을 재생할 때, 상기 표기 버튼의 트리거 횟수를 통계하여, 상기 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수로 하는 것을 실행한다.
본 출원의 바람직한 실시예에 따르면, 상기 스코어링부는, 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수를 획득할 때, 구체적으로, 재생 과정에서 상기 처리될 비디오의 각 영상 프레임의 재생 속도를 결정하는 것, 상기 처리될 비디오 중의 각 영상 프레임이 정상 속도로 재생되는 횟수를 통계하여, 상기 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수로 하는 것을 실행한다.
본 출원의 바람직한 실시예에 따르면, 상기 처리부는 사용자가 선택해서 시청할 수 있도록, 상기 처리될 비디오 및 대응하는 핫스팟 세그먼트를 동시에 사용자에게 표시하는 것을 더 실행한다.
상기 본 출원의 일 실시예에 따르면, 다음과 같은 장점 또는 유익한 효과를 갖는다. 본 출원에 따르면, 핫스팟 세그먼트의 추출 정확도를 향상시킬 수 있고, 사용자로 하여금 보다 편리하게 비디오 내의 하이라이트를 시청할 수 있도록 하며, 핫스팟 세그먼트의 크기를 효과적으로 줄일 수 있어, 사용자의 메모리 자원 및 대역폭의 낭비를 감소시킬 수 있다. 두차례 최적화 과정을 통해 비디오 중의 핫스팟 세그먼트를 추출하는 기술적 수단을 사용하였으므로, 종래 기술에서 사용자가 배속 재생 또는 스킵 재생을 통해 비디오를 시청하는 사실에 따른 하이라이트를 정확하게 시청할 수 없는 기술적 문제를 극복하여, 핫스팟 세그먼트의 추출 정확도를 향상시키고, 핫스팟 세그먼트의 크기를 줄일 수 있어, 사용자의 메모리 자원 및 대역폭의 낭비를 감소시키는 기술적 효과를 실현할 수 있다.
상기 선택적인 방식의 기타 효과들은 이하 구체적인 실시예를 참조하여 설명된다.
첨부된 도면은 본 출원을 보다 쉽게 이해하도록 하기 위한 것이고, 본 출원은 이에 한정되지 않는다.
도 1은 본 출원의 제1 실시예에 따른 비디오 중의 핫스팟 세그먼트를 추출하는 방법의 흐름도이다.
도 2는 본 출원의 제2 실시예에 따른 비디오 중의 핫스팟 세그먼트를 추출하는 장치의 블록도이다.
도 3은 본 출원의 실시예에 따른 비디오 중의 핫스팟 세그먼트를 추출하는 방법을 구현하기 위한 전자 기기의 블록도이다.
도 1은 본 출원의 제1 실시예에 따른 비디오 중의 핫스팟 세그먼트를 추출하는 방법의 흐름도이다.
도 2는 본 출원의 제2 실시예에 따른 비디오 중의 핫스팟 세그먼트를 추출하는 장치의 블록도이다.
도 3은 본 출원의 실시예에 따른 비디오 중의 핫스팟 세그먼트를 추출하는 방법을 구현하기 위한 전자 기기의 블록도이다.
이하, 도면을 참조하여 본 출원의 예시적인 실시예들을 설명한다. 쉽게 이해할 수 있도록, 본 명세서에서 설명한 각 실시예의 세부 사항을 포함하게 되는데, 이들은 단지 예시적인 것으로 간주해야 한다. 따라서, 당업자라면 본 출원의 범위 및 취지를 벗어나지 않으면서 본 출원의 실시예에 대해 여러가지 변경 및 수정이 이루어질 수 있음을 이해할 것이다. 또한, 명확성과 간결성을 위해 하기의 설명에 있어서, 공지된 기능 및 구성에 대한 설명은 생략한다.
도 1은 본 출원의 일 실시예에 따른 비디오 중의 핫스팟 세그먼트를 추출하는 방법의 흐름도이다. 도 1에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함한다.
S101에서는, 처리될 비디오를 획득한다.
본 단계에 따르면, 처리될 비디오를 획득한다. 여기서, 본 단계에서 획득된 처리될 비디오는 드라마, 예능 프로, 영화 등과 같은 일반적인 비디오이거나 짧은 비디오일 수 있다.
본 단계에 따르면, 처리될 비디오를 획득한 후, 상기 처리될 비디오의 비디오 영상 시퀀스가 추가로 획득될 수 있으며, 즉, 처리될 비디오 중의 프레임별의 영상 시퀀스를 획득할 수 있다는 점을 이해하여야 하며, 비디오 영상 시퀀스를 획득하는 것은 종래 기술에 속하므로, 여기서는 설명을 생략한다.
S102에서는, 상기 처리될 비디오 중 콘텐츠가 반복되는 영상 프레임을 필터링하여, 상기 처리될 비디오에 대한 간결화된 세그먼트를 획득한다.
본 단계에 따르면, 단계S101에서 획득된 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링한 후, 필터링되지 않은 영상 프레임의 모아 이어된 결과를 상기 처리될 비디오에 대한 간결화된 세그먼트로 한다. 즉, 본 단계에 따르면, 비디오 내의 반복된 영상 프레임을 제거할 수 있고, 이에 의해 비디오의 크기를 최적화하고, 사용자의 메모리 자원 및 대역폭의 낭비를 감소시킬 수 있다.
구체적으로, 본 단계에서 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링할 때, 하기와 같은 방법을 사용할 수 있다. 처리될 비디오의 비디오 영상 시퀀스를 획득하며, 비디오 영상 시퀀스 중의 각 프레임의 영상 사이의 콘텐츠 반복도를 계산하며, 예를 들어, 비디오의 시작 영상 프레임부터 완료 영상 프레임까지, 획득된 비디오 영상 시퀀스 중의 인접한 두개 또는 복수의 프레임의 영상 사이의 콘텐츠 반복도를 순차적으로 계산하며, 콘텐츠 반복도가 제1 임계치를 초과하는지를 결정하고, 초과하는 경우, 각 프레임의 영상 중의 한 프레임의 영상을 보류하고 기타 영상을 필터링하며, 그렇지 않으면, 상기 각 프레임의 영상을 보류한다.
여기서, 본 단계에서 각 프레임의 영상 사이의 콘텐츠 반복도를 계산할 때, 사전 훈련을 통해 획득된 심층 학습 모델을 통해 계산할 수 있으며, 즉 각 프레임의 영상을 심층 학습 모델로 입력하고, 심층 학습 모델의 출력 결과를 각 프레임의 영상 사이의 콘텐츠 반복도로 한다.
또한, 본 단계에서 영상 프레임 중의 픽셀 정보를 통해 각 프레임의 영상 사이의 콘텐츠 반복도를 계산할 수도 있으며, 예를 들어, 영상 프레임 중의 픽셀의 그레이스케일 평균 값, 영상 프레임 중의 픽셀의 해시 값 등을 통해 계산할 수도 있으며, 여기서는 설명을 생략한다.
본 단계에서 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링할 때, 처리될 비디오의 비디오 영상 시퀀스를 사전 훈련을 통해 획득된 비디오 영상 시퀀스 중의 콘텐츠가 반복된 영상 프레임을 필터링할 수 있는 영상 필터링 모델에 입력하고, 영상 필터링 모델의 출력 결과에 따라 처리될 비디오에 대한 간결화된 세그먼트를 획득하는 방식을 사용할 수도 있다는 점을 이해하여야 한다.
본 단계에 따르면, 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링한 후, 나머지 영상 프레임은 각기 서로 다른 콘텐츠를 가지고 있으며, 이러한 영상 프레임을 순차적으로 모아 이어, 획득된 모아 이어된 결과를 처리될 비디오에 대응하는 간결화된 세그먼트로 한다.
S103에서는, 상기 처리될 비디오에 대응하는 사용자 시청 정보에 따라, 상기 간결화된 세그먼트 중의 각 프레임의 영상에 대해 스코어링한다.
본 단계에 따르면, 우선 단계(S101)의 처리될 비디오에 대응하는 사용자 시청 정보를 획득하고, 획득된 사용자 시청 정보에 따라, 단계(S102)에서 획득된 간결화된 세그먼트 중의 각 영상 프레임에 대해 스코어링하여, 간결화된 세그먼트 중의 각 영상 프레임에 대한 스코어링 결과를 결정한다.
구체적으로, 본 단계에 따른 처리될 비디오에 대응하는 사용자 시청 정보는, 현재 처리될 비디오를 시청하는 모든 사용자의 시청 행위를 통계하여 획득된 것이고, 사용자가 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수 및 사용자가 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수 중 적어도 하나를 포함한다.
여기서, 사용자가 처리될 비디오 중의 영상 프레임에 대한 표기 횟수는, 사용자가 현재 처리될 비디오를 시청했을 때, 중요하거나 하이라이트로운 내용이 포함되어 있다고 인정되는 영상 프레임에 대해 표기하는 것을 의미하므로, 영상 프레임에 대한 표기 횟수가 많을수록, 비디오에 포함되는 콘텐츠가 더 중요하거나 하이라이트롭다.
구체적으로, 본 단계에 따르면, 사용자가 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수를 획득할 때, 처리될 비디오의 재생 과정에서 사용자에 의해 수동으로 트리거되거나 사용자 음성에 의해 트리거될 수 있는 표기 버튼을 제공하고, 처리될 비디오 중의 각 영상 프레임을 재생할 때 표기 버튼의 트리거 횟수를 통계하여, 사용자가 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수로 하는 방식을 사용할 수 있다.
사용자가 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수는, 사용자가 처리될 비디오를 시청할 때, 빨리 감기, 배속 재생, 스킵 재생 등 동작을 수행하지 않고 정상 속도로 재생하는 것을 의미하므로, 영상 프레임의 유효 시청 횟수가 많을수록, 비디오에 포함되는 콘텐츠가 더 중요하거나 하이라이트롭다.
구체적으로, 본 단계에 따르면, 사용자가 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수를 획득할 때, 재생 과정에서 처리될 비디오 중의 각 영상 프레임의 재생 속도를 결정하고, 처리될 비디오 중의 각 영상 프레임이 정상 속도로 재생되는 횟수를 통계하여, 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수로 하는 방식을 사용할 수 있다.
본 단계에 따라 획득된 사용자 시청 정보는 처리될 비디오 중의 각 영상 프레임의 중요도 또는 하이라이트 정도를 반영하므로, 본 단계에 따라 사용자 시청 정보를 통해 간결화된 세그먼트 중의 각 영상 프레임에 대해 스코어링하여, 획득된 스코어링 결과는 서로 다른 영상 프레임의 중요도 또는 하이라이트 정도를 나타낼 수 있다.
구체적으로, 본 단계에 따르면, 처리될 비디오에 대응하는 사용자 시청 정보에 따라, 간결화된 세그먼트 중의 각 프레임의 영상에 대해 스코어링할 때, 하기와 같은 방식을 사용할 수 있다. 대응하는 영상 프레임이 표기된 제1 가중치, 및 대응하는 영상 프레임이 유효적으로 시청된 제2 가중치를 획득하며, 여기서 제1 가중치와 제2 가중치는 사전 설정된 것이며, 영상 프레임의 표기 횟수와 제1 가중치에 따라 제1 스코어를 획득하고, 영상 프레임의 유효 시청 횟수와 제2 가중치에 따라 제2 스코어를 획득하며, 제1 스코어와 제2 스코어의 합계 결과를 영상 프레임에 대한 스코어링 결과로 한다.
예를 들어, 사전 설정된 제1 가중치가 1이고, 사전 설정된 제2 가중치가 0.8이며, 영상 프레임의 표기 횟수가100회이고, 유효 시청 횟수가 200회인 경우, 상기 영상 프레임에 대한 스코어링 결과는 （100×1）+（200×0.8）=260이다.
S104에서는, 스코어링 결과가 사전 설정된 조건을 만족하는 영상 프레임을 순차적으로 모아 이은 후, 모아 이어된 결과를 상기 처리될 비디오의 핫스팟 세그먼트로 한다.
본 단계에 따르면, 단계(S103)에서 간결화된 세그먼트 중의 각 영상 프레임의 모아 이어된 결과를 획득한 후, 간결화된 각 프레임의 영상 중 스코어링 결과가 사전 설정된 조건을 만족하는 영상 프레임을 선택하여, 각 영상 프레임에 대해 순차적으로 모아 이은 후, 모아 이어된 결과를 처리될 비디오의 핫스팟 세그먼트로 한다. 즉, 단계(S102)에서 처리될 비디오에 대해 1차 최적화를 진행한 후, 본 단계에 따라 1차 최적화 결과에 대해 2차 최적화를 진행하여, 핫스팟 세그먼트에 중복된 영상 프레임이 포함되지 않도록 함으로써, 처리될 비디오의 핫스팟 세그먼트를 보다 정확하게 획득할 수 있다.
여기서, 본 단계에 따르면, 사전 설정된 조건을 만족하는 영상 프레임을 선택할 때, 스코어링 결과가 제2 임계치를 초과하는 영상 프레임을 선택할 수 있고, 스코어링 결과에 따라 각 영상 프레임을 큰 것부터 작은 것까지 배열한 후, 앞에 배열된 N개의 영상 프레임을 선택할 수도 있으며, 여기서 N은 1이상의 자연수이다.
본 단계에 따르면, 처리될 비디오에 대응하는 핫스팟 세그먼트를 획득한 후, 처리될 비디오 및 대응하는 핫스팟 세그먼트를 동시에 사용자에게 표시함으로써, 사용자가 실제 수요에 따라 대응하는 버전을 보다 더 유연하게 선택하여 시청할 수 있도록 할 수 있음을 이해할 것이다.
따라서, 본 출원에 따른 두차례의 최적화 과정을 통해 처리될 비디오의 핫스팟 세그먼트를 추출하여, 사용자로 하여금 비디오 내의 하이라이트 내용을 보다 정확하고 편리하게 시청할 수 있도록 하고, 핫스팟 세그먼트의 크기를 효과적으로 줄일 수 있어, 사용자의 메모리 자원 및 대역폭의 낭비를 감소시킬 수 있다.
도 2는 본 출원의 일 실시예에 따른 비디오 중의 핫스팟 세그먼트를 추출하는 장치의 블록도이다. 도 2에 도시된 바와 같이, 상기 장치는, 획득부(201), 간결부(202), 스코어링부(203) 및 처리부(204)를 포함한다.
획득부(201)는, 처리될 비디오를 획득하기 위한 것이다.
획득부(201)는 처리될 비디오를 획득하기 위한 것이다. 여기서, 획득부(201)에 의해 획득된 처리될 비디오는 드라마, 예능 프로, 영화 등과 같은 일반적인 비디오이거나 짧은 비디오일 수 있다.
획득부(201)는, 처리될 비디오를 획득한 후, 상기 처리될 비디오의 비디오 영상 시퀀스를 추가로 획득할 수 있으며, 즉, 처리될 비디오 중의 프레임별의 영상 시퀀스를 획득할 수 있다는 점을 이해하여야 하며, 비디오 영상 시퀀스를 획득하는 것은 종래 기술에 속하므로, 여기서는 설명을 생략한다.
간결부(202)는, 상기 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링하여, 상기 처리될 비디오에 대한 간결화된 세그먼트를 획득하기 위한 것이다.
간결부(202)는, 획득부(201)에 의해 획득된 처리될 비디오중의 콘텐츠가 반복된 영상 프레임을 필터링한 후, 필터링되지 않은 영상 프레임의 모아 이어된 결과를 상기 처리될 비디오에 대한 간결화된 세그먼트로 한다. 즉, 간결부(202)는 비디오 내의 반복된 영상 프레임을 제거할 수 있고, 이에 의해 비디오의 크기를 최적화하고, 사용자의 메모리 자원 및 대역폭의 낭비를 감소시킬 수 있다.
구체적으로, 간결부(202)는, 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링할 때, 하기와 같은 방식을 사용할 수 있다. 처리될 비디오의 비디오 영상 시퀀스를 획득하며, 비디오 영상 시퀀스 중의 각 프레임의 영상 사이의 콘텐츠 반복도를 계산하며, 예를 들어, 비디오의 시작 영상 프레임부터 비디오의 완료 영상 프레임까지, 획득된 비디오 영상 시퀀스 중의 인접한 두개 또는 복수의 프레임의 영상 사이의 콘텐츠 반복도를 순차적으로 계산하며, 콘텐츠 반복도가 제1 임계치를 초과하는지를 결정하고, 초과하는 경우, 각 프레임의 영상 중의 한 프레임의 영상을 보류하고 기타 영상은 필터링하며, 그렇지 않으면, 상기 각 프레임의 영상을 보류한다.
여기서, 간결부(202)는, 각 프레임의 영상 사이의 콘텐츠 반복도를 계산할 때, 사전 훈련에 의해 획득된 심층 학습 모델을 통해 계산할 수 있고, 즉 각 프레임의 영상을 심층 학습 모델로 입력하고, 심층 학습 모델의 출력 결과를 각 프레임의 영상 사이의 콘텐츠 반복도로 한다.
또한, 간결부(202)는 영상 프레임 중의 픽셀 정보를 통해 각 프레임의 영상 사이의 콘텐츠 반복도를 계산할 수도 있고, 예를 들어, 영상 프레임 중 픽셀의 그레이스케일 평균 값, 영상 프레임 중의 픽셀의 해시 값 등을 통해 계산할 수도 있으며, 여기서는 설명을 생략한다.
간결부(202)는, 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링할 때에, 처리될 비디오의 비디오 영상 시퀀스를 비디오 영상 시퀀스 중의 콘텐츠가 반복된 영상 프레임을 필터링할 수 있는 사전 훈련을 통해 획득된 영상 필터링 모델에 입력하고, 영상 필터링 모델의 출력 결과에 따라 처리될 비디오에 대한 간결화된 세그먼트를 획득하는 방식을 사용할 수도 있다는 점을 이해하여야 한다.
간결부(202)에서 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임이 필터링된 후, 나머지 영상 프레임은 서로 다른 콘텐츠를 가지고 있다. 간결부(202)는 이러한 영상 프레임을 순차적으로 모아 이어, 획득된 모아 이어된 결과를 처리될 비디오에 대응하는 간결화된 세그먼트로 한다.
스코어링부(203)는, 상기 처리대상 비디오에 대응하는 사용자 시청 정보에 따라, 상기 간결화된 세그먼트 중의 각 프레임의 영상에 대해 스코어링하기 위한 것이다.
스코어링부(203)는, 우선 처리될 비디오에 대응하는 사용자 시청 정보를 획득하고, 이어서 획득된 사용자 시청 정보에 따라, 간결부(202)에 의해 획득된 간결화된 세그먼트 중의 각 영상 프레임에 대해 스코어링하여, 간결화된 세그먼트 중의 각 영상 프레임에 대한 스코어링 결과를 결정한다.
구체적으로, 스코어링부(203) 중에, 처리될 비디오에 대응하는 사용자 시청 정보는, 현재 처리될 비디오를 시청하는 모든 사용자의 시청 행위를 통계하여 획득한 것이고, 사용자가 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수 및 사용자가 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수 중 적어도 하나를 포함한다.
여기서, 사용자가 처리될 비디오 중의 영상 프레임에 대한 표기 횟수는, 사용자가 현재 처리될 비디오를 시청했을 때에, 중요하거나 하이라이트로운 내용이 포함되어 있다고 인정되는 영상 프레임에 대해 표기하는 것을 의미하므로, 영상 프레임에 대한 표기 횟수가 많을수록, 비디오에 포함되는 콘텐츠가 더 중요하거나 하이라이트롭다.
구체적으로, 스코어링부(203)는, 사용자가 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수를 획득할 때, 처리될 비디오의 재생 과정에서 사용자에 의해 수동으로 트리거되거나 사용자 음성에 의해 트리거될 수 있는 표기 버튼을 제공하고, 처리될 비디오 중의 각 영상 프레임을 재생할 때 표기 버튼의 트리거 횟수를 통계하여, 사용자가 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수로 하는 방식을 사용할 수 있다.
사용자가 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수는, 사용자가 처리될 비디오를 시청할 때, 빨리 감기, 배속 재생, 스킵 재생 등 동작을 수행하지 않고 정상 속도로 재생하는 것을 의미하므로, 영상 프레임의 유효 시청 횟수가 많을수록, 비디오에 포함되는 콘텐츠가 더 중요하거나 하이라이트롭다.
구체적으로, 스코어링부(203)는, 사용자가 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수를 획득할 때, 재생 과정에서 처리될 비디오 중의 각 영상 프레임의 재생 속도를 결정하고, 처리될 비디오 중의 각 영상 프레임이 정상 속도로 재생되는 횟수를 통계하여, 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수로 하는 방식을 사용할 수 있다.
스코어링부(203)에 의해 획득된 사용자 시청 정보는 처리될 비디오 중의 각 영상 프레임의 중요도 또는 하이라이트 정도를 반영하므로, 스코어링부(203)에 의해 사용자 시청 정보를 통해 간결화된 세그먼트 중의 각 영상 프레임에 대해 스코어링되어 획득된 스코어링 결과는 서로 다른 영상 프레임의 중요도 또는 하이라이트 정도를 나타낼 수 있다.
구체적으로, 스코어링부(203)는, 처리될 비디오에 대응하는 사용자 시청 정보에 따라, 간결화된 세그먼트 중의 각 프레임의 영상에 대해 스코어링할 때, 하기와 같은 방식을 사용할 수 있다. 대응하는 영상 프레임이 표기된 제1 가중치, 및 대응하는 영상 프레임이 유효적으로 시청된 제2 가중치를 획득하며, 여기서 제1 가중치와 제2 가중치는 사전 설정된 것이며, 영상 프레임의 표기 횟수와 제1 가중치에 따라 제1 스코어를 획득하고, 영상 프레임의 유효 시청 횟수와 제2 가중치에 따라 제2 스코어를 획득하며, 제1 스코어와 제2 스코어의 합계 결과를 영상 프레임에 대한 스코어링 결과로 한다.
처리부(204)는, 스코어링 결과가 사전 설정된 조건을 만족하는 영상 프레임을 순차적으로 모아 이은 후, 모아 이어된 결과를 상기 처리될 비디오의 핫스팟 세그먼트로 하기 위한 것이다.
처리부(204)는 스코어링부(203)에 의해 간결화된 세그먼트 중의 각 영상 프레임의 모아 이어된 결과가 획득된 후, 간결화된 세그먼트의 각 프레임의 영상으로부터 스코어링 결과가 사전 설정된 조건을 만족하는 영상 프레임을 선택하여, 이어서 각 영상 프레임을 순차적으로 모아 이어, 마지막으로 모아 이어된 결과를 처리될 비디오의 핫스팟 세그먼트로 한다.
즉, 간결부(202)에 의해 처리될 비디오에 대해 1차 최적화를 진행한 후, 처리부(204)가 1차 최적화 결과에 대해 2차 최적화를 다시 진행하여, 핫스팟 세그먼트에 중복된 영상 프레임이 포함되지 않도록 함으로써, 처리될 비디오의 핫스팟 세그먼트를 보다 정확하게 획득할 수 있다.
여기서, 처리부(204)는, 사전 설정된 조건을 만족하는 영상 프레임을 선택할 때에, 스코어링 결과가 제2 임계치를 초과하는 영상 프레임을 선택할 수 있고, 스코어링 결과에 따라 각 영상 프레임을 큰 것부터 작은 것까지 배열한 후, 처리부(204)는 앞에 배열된 N개의 영상 프레임을 선택할 수도 있으며, 여기서 N은 1이상의 자연수이다.
처리부(204)는 처리될 비디오에 대응하는 핫스팟 세그먼트를 획득한 후, 처리될 비디오 및 대응하는 핫스팟 세그먼트를 동시에 사용자에게 표시하여, 사용자가 실제 수요에 따라 대응하는 버전을 보다 더 유연하게 선택하여 시청할 수 있도록 할 수 있음을 이해할 것이다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 컴퓨터 판독 가능 저장 매체를 더 제공한다.
도 3에 도시된 바와 같이, 본 출원의 실시예에 따른 비디오 중의 핫스팟 세그먼트를 추출하는 방법을 구현하기 위한 전자 기기의 블록도이다. 전자 기기는 예를 들어, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, PDA (Personal Digital Assistants), 서버, 블레이드서버, 메인프레임 컴퓨터, 및 기타 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 포함할 수 있다. 전자 기기는 예를 들어, PDA (Personal Digital Assistants), 셀룰러전화기, 스마트폰, 웨어러블 장치, 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 포함할 수 있다. 본 명세서에 기재된 부품, 이들의 연결 및 관계, 그리고 이들의 기능은 단지 예시적인 것에 불과하며, 본 명세서에서 설명 및/또는 요구하는 본 출원의 범위를 한정하기 위한 것이 아니다.
도 3에 도시된 바와 같이, 상기 전자 기기는, 하나 또는 복수의 프로세서(301), 메모리(302), 및 각 부품을 연결하기 위한 인터페이스를 포함하고, 상기 인터페이스에는 고속 인터페이스 및 저속 인터페이스가 포함된다. 각 부품들은 서로 다른 버스를 통해 서로 연결되고, 공공 메인보드에 장착되거나 또는 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자 기기에서 실행되는 명령어들을 처리할 수 있고, 상기 명령어는 메모리에 저장되어 외부입력/출력장치(예를 들어, 인터페이스에 접속된 표시장치)에 GUI의 그래픽 정보를 표시하기 위한 명령어를 포함할 수 있다. 다른 실시예에서는, 수요에 따라 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용될 수 있다. 마찬가지로, 복수의 전자 기기를 연결하고, 각 전자 기기에 의해 일부 필요한 동작을 제공할 수 있다(예를 들어, 서버 어레이, 한 세트의 블레이드 서버, 또는 멀티 프로세서 시스템). 도 3에서는, 하나의 프로세서(301)의 경우를 예로 들어 설명한다.
메모리(302)는 본 출원에 의해 제공되는 비휘발성 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령어가 저장되어 있어, 상기 적어도 하나의 프로세서로 하여금, 본 출원에 의해 제공되는 비디오 중의 핫스팟 세그먼트를 추출하는 방법을 실행할 수 있게 한다. 본 출원의 비휘발성 컴퓨터 판독 가능 저장 매체에는 컴퓨터에 의해 실행될 경우 컴퓨터로 하여금 본 출원에 의해 제공되는 비디오 중의 핫스팟 세그먼트를 추출하는 방법을 실행하도록 하는 컴퓨터 명령어가 저장되어 있다.
메모리(302)는 비휘발성 컴퓨터 판독가능 저장 매체로서, 예를 들어, 본 출원의 실시예에 따른 비디오 중의 핫스팟 세그먼트를 추출하는 방법에 대응하는 프로그램 명령어/모듈(예를 들어, 도 2에 도시된 바와 같은 획득부(201), 간결부(202), 스코어링부(203) 및 처리부(204))과 같은 비휘발성 소프트웨어 프로그램, 비휘발성 컴퓨터 실행가능 프로그램 및 모듈을 저장하기 위한 것일 수 있다. 프로세서(301)는 메모리(302)에 저장된 비휘발성 소프트웨어 프로그램, 명령어 및 모듈을 실행함으로써, 서버의 다양한 기능 및 데이터 처리를 실행한다. 즉, 상기 방법 실시예에 따른 비디오 중의 핫스팟 세그먼트를 추출하는 방법을 구현한다.
메모리(302)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 여기서, 프로그램 저장 영역은 OS 시스템 및 적어도 하나의 기능에 필요한 앱을 저장할 수 있고, 데이터 저장 영역은 전자 기기의 사용에 따라 생성된 데이터 등을 저장할 수 있다. 또한, 메모리(302)는 고속 RAM(Random Access Memory)를 포함할 수도 있고, 예를 들어, 적어도 하나의 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 기타 비휘발성 고체 저장 디바이스와 같은 비휘발성 메모리를 포함할 수도 있다. 일부 실시예에 따르면, 메모리(302)는 선택적으로 프로세서(301)에 대해 원격으로 설치된 메모리를 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 비디오 중의 핫스팟 세그먼트를 추출하는 방법을 구현하는 전자 기기에 연결될 수 있다. 상기 네트워크의 실예로는 인터넷, 인트라넷, 근거리 통신망(LAN), 이동 통신망 및 이들의 조합을 포함할 수 있는데, 이에 한정되지는 않는다.
비디오 중의 핫스팟 세그먼트를 추출하는 방법을 구현하는 전자 기기는, 입력장치(303) 및 출력장치(304)를 더 포함할 수 있다. 프로세서(301), 메모리(302), 입력장치(303) 및 출력장치(304)는 버스 또는 기타 방식으로 연결될 수 있는데, 도 3에서는 버스를 통해 연결되는 예를 도시한다.
입력장치(303)는 입력된 숫자 또는 문자 부호 정보를 수신할 수 있고, 또한 비디오 중의 핫스팟 세그먼트를 추출하는 방법을 구현하는 전자 기기의 사용자 설정 및 기능 제어와 연관된 키 신호 입력을 생성할 수 있으며, 예를 들어, 터치 스크린, 키 패드, 마우스, 트랙 패드, 터치 패드, 인디케이터 로드, 하나 또는 복수의 마우스 버튼, 트랙 볼, 콘트로럴 로드 등과 같은 입력장치를 포함할 수 있다. 출력장치(304)는 표시 장치, 보조 조명장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 표시 장치는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라스마 디스플레이를 포함할 수 있는데, 이에 한정되지는 않는다. 일부 실시 형태에 따르면, 표시 장치는 터치 스크린일 수 있다.
여기서 설명한 시스템 및 기술의 다양한 실시 형태는 디지털 전자회로 시스템, 집적회로 시스템, 전용 ASIC(전용 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 구현될 수 있다. 이러한 다양한 실시 형태는 하기와 같은 것을 포함할 수 있다. 즉, 하나 또는 복수의 컴퓨터 프로그램에서 실시되어, 상기 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터 및 명령어를 수신하고, 데이터 및 명령어를 해당 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로 송신할 수 있다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드라고도 함)은 프로그램 가능 프로세서의 기계 명령어를 포함하고, 하이라벨 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블러/기계 언어를 사용하여 이러한 컴퓨터 프로그램을 실시할 수 있다. 본 명세서에서 사용되는 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체" 등과 같은 용어는, 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서의 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 디스크, CD-ROM, 메모리, 프로그램 가능 논리 장치(PLD))에 제공하기 위한 것을 의미하고, 기계 판독 가능 신호로서의 기계 명령어를 수신하는 기계 판독 가능 매체를 포함한다. "기계 판독 가능 신호"라는 용어는 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.
사용자와의 인터액션을 제공하기 위해서는, 컴퓨터에서 여기서 설명한 시스템 및 기술을 구현할 수 있으며, 상기 컴퓨터는, 사용자에게 정보를 표시하기 위한 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터), 및 사용자가 상기 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 포함한다. 기타 유형의 장치도 사용자와의 인터액션을 제공할 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고, 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력을 포함)로 사용자로부터의 입력을 수신할 수 있다.
여기서 설명한 시스템 및 기술은, 백그라운드 부품을 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트 엔드 부품을 포함하는 컴퓨팅 시스템(예를 들어, GUI 또는 웹브라우저를 갖는 사용자 컴퓨터로서, 사용자는 상기 GUI 또는 상기 웹브라우저를 통하여 본 여기서 설명한 상기 시스템 및 기술의 실시 형태와 인터액션을 할 수 있음), 또는 이러한 백그라운드 부품, 미들웨어 부품, 또는 프론트엔드 부품의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 부품은 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 서로 연결될 수 있다. 통신 네트워크는 예를 들어 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함할 수 있다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 인터액션을 진행한다. 클라이언트와 서버의 관계는 대응하는 컴퓨터에서 실행되고 서로 클라이언트-서버의 관계를 갖는 컴퓨터 프로그램에 의해 생성된다.
본 출원의 실시예에 따른 기술 방안에 따르면, 두차례의 최적화 과정을 통해 처리될 비디오의 핫스팟 세그먼트를 추출하여, 핫스팟 세그먼트의 추출 정확도를 향상시키고, 사용자로 하여금 보다 편리하게 비디오 내의 하이라이트를 시청할 수 있도록 하며, 핫스팟 세그먼트의 크기를 효과적으로 줄일 수 있어, 사용자의 메모리 자원 및 대역폭의 낭비를 감소시킬 수 있다.
상기에서 설명한 다양한 흐름을 사용하여 각 단계의 순서를 다시 순서 배열하거나, 일부 단계를 추가 또는 삭제 할 수 있다는 점을 이해하여야 한다. 예를 들어, 본 출원에 개시된 기술 방안이 원하는 결과를 구현할 수 있는 한, 본 출원에 기재된 다양한 단계는 병렬적으로 또는 순차적으로, 또는 서로 다른 순서로 실행될 수 있고, 본 출원은 이에 대해 특별히 한정하지 않는다.
본 출원의 보호 범위는 상기 다양한 실시 형태에 의해 제한되지 않는다. 당업자라면, 설계 요구 및 기타 요인에 의해, 다양한 수정, 조합, 서브 조합 및 교체가 이루어질 수 있음을 이해할 것이다. 본 출원의 취지 및 원칙 내에서 이루어진 임의의 수정, 등가 교체 및 개선 등은 모두 본 출원의 보호 범위에 속한다.
Claims (16)
- 처리될 비디오를 획득하는 것，
상기 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링하여, 상기 처리될 비디오에 대한 간결화된 세그먼트를 획득하는 것,
상기 처리될 비디오에 대응하는 사용자 시청 정보에 따라, 상기 간결화된 세그먼트 중의 각 프레임의 영상에 대해 스코어링하는 것,
스코어링 결과가 사전 설정된 조건을 만족하는 영상 프레임을 순차적으로 모아 이은 후, 모아 이어된 결과를 상기 처리될 비디오의 핫스팟 세그먼트로 하는 것을 포함하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 방법. - 제1항에 있어서,
상기 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링하는 것은,
상기 처리될 비디오의 비디오 영상 시퀀스를 획득하는 것,
상기 비디오 영상 시퀀스 중의 각 프레임의 영상 사이의 콘텐츠 반복도를 계산하는 것,
상기 콘텐츠 반복도가 제1 임계치를 초과하는지를 결정하고, 초과하는 경우, 상기 각 프레임의 영상 중의 한 프레임의 영상을 보류하고 기타 영상을 필터링하며, 그렇지 않으면, 상기 각 프레임의 영상을 보류하는 것을 포함하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 방법. - 제1항에 있어서,
상기 처리될 비디오에 대응하는 사용자 시청 정보는,
사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수, 및 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수 중 적어도 하나를 포함하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 방법. - 제3항에 있어서,
상기 처리될 비디오에 대응하는 사용자 시청 정보에 따라, 상기 간결화된 세그먼트 중의 각 프레임의 영상에 대해 스코어링하는 것은,
대응하는 영상 프레임이 표기된 제1 가중치, 및 대응하는 영상 프레임이 유효적으로 시청된 제2 가중치를 획득하는 것,
영상 프레임의 표기 횟수와 제1 가중치에 따라 제1 스코어를 획득하고, 영상 프레임의 유효 시청 횟수와 제2 가중치에 따라 제2 스코어를 획득하는 것,
제1 스코어와 제2 스코어의 합계 결과를 영상 프레임에 대한 스코어링 결과로 하는 것을 포함하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 방법. - 제3항에 있어서,
사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수를 획득하는 것은,
상기 처리될 비디오의 재생 과정에서 표기 버튼을 제공하는 것,
상기 처리될 비디오의 각 영상 프레임을 재생할 때, 상기 표기 버튼의 트리거 횟수를 통계하여, 상기 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수로 하는 것을 포함하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 방법. - 제3항에 있어서,
사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수를 획득하는 것은,
재생 과정에서 상기 처리될 비디오의 각 영상 프레임의 재생 속도를 결정하는 것,
상기 처리될 비디오 중의 각 영상 프레임이 정상 속도로 재생되는 횟수를 통계하여, 상기 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수로 하는 것을 포함하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 방법. - 제1항에 있어서,
상기 방법은,
사용자가 선택해서 시청할 수 있도록, 상기 처리될 비디오 및 대응하는 핫스팟 세그먼트를 동시에 사용자에게 표시하는 것을 더 포함하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 방법. - 처리될 비디오를 획득하기 위한 획득부,
상기 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링하여, 상기 처리될 비디오에 대한 간결화된 세그먼트를 획득하기 위한 간결부,
상기 처리될 비디오에 대응하는 사용자 시청 정보에 따라, 상기 간결화된 세그먼트 중의 각 프레임의 영상에 대해 스코어링하기 위한 스코어링부, 및
스코어링 결과가 사전 설정된 조건을 만족하는 영상 프레임을 순차적으로 모아 이은 후, 모아 이어된 결과를 상기 처리될 비디오의 핫스팟 세그먼트로 하기 위한 처리부를 포함하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 장치. - 제8항에 있어서,
상기 간결부는, 상기 처리될 비디오 중의 콘텐츠가 반복되는 영상 프레임을 필터링할 때에, 구체적으로,
상기 처리될 비디오의 비디오 영상 시퀀스를 획득하는 것,
상기 비디오 영상 시퀀스 중의 각 프레임의 영상 사이의 콘텐츠 반복도를 계산하는 것,
상기 콘텐츠 반복도가 제1 임계치를 초과하는지를 결정하고, 초과하는 경우, 상기 각 프레임의 영상 중의 한 프레임의 영상을 보류하고 기타 영상을 필터링하며, 그렇지 않으면, 상기 각 프레임의 영상을 보류하는 것을 실행하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 장치. - 제8항에 있어서,
상기 스코어링부 중의 상기 처리될 비디오에 대응하는 사용자 시청 정보는,
사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수, 및 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수 중 적어도 하나를 포함하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 장치. - 제10항에 있어서,
상기 스코어링부는, 상기 처리될 비디오에 대응하는 사용자 시청 정보에 따라, 상기 간결화된 세그먼트 중의 각 프레임의 영상에 대해 스코어링할 때, 구체적으로,
대응하는 영상 프레임이 표기된 제1 가중치, 및 대응하는 영상 프레임이 유효적으로 시청된 제2 가중치를 획득하는 것,
영상 프레임의 표기 횟수와 제1 가중치에 따라 제1 스코어를 획득하고, 영상 프레임의 유효 시청 횟수와 제2 가중치에 따라 제2 스코어를 획득하는 것,
제1 스코어와 제2 스코어의 합계 결과를 영상 프레임에 대한 스코어링 결과로 하는 것을 실행하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 장치. - 제10항에 있어서,
상기 스코어링부는, 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수를 획득할 때, 구체적으로,
상기 처리될 비디오의 재생 과정에서 표기 버튼을 제공하는 것,
상기 처리될 비디오의 각 영상 프레임을 재생할 때, 상기 표기 버튼의 트리거 횟수를 통계하여, 상기 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 표기 횟수로 하는 것을 실행하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 장치. - 제10항에 있어서,
상기 스코어링부는, 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수를 획득할 때, 구체적으로,
재생 과정에서 상기 처리될 비디오의 각 영상 프레임의 재생 속도를 결정하는 것,
상기 처리될 비디오 중의 각 영상 프레임이 정상 속도로 재생되는 횟수를 통계하여, 상기 사용자가 상기 처리될 비디오 중의 각 영상 프레임에 대한 유효 시청 횟수로 하는 것을 실행하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 장치. - 제8항에 있어서,
상기 처리부는,
사용자가 선택해서 시청할 수 있도록, 상기 처리될 비디오 및 대응하는 핫스팟 세그먼트를 동시에 사용자에게 표시하는 것을 더 실행하는 것을 특징으로 하는
비디오 중의 핫스팟 세그먼트를 추출하는 장치. - 적어도 하나의 프로세서, 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하는 전자 기기에 있어서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되어 있고, 상기 명령어가 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제7항 중 어느 한 항의 방법을 실행하게 하는 것을 특징으로 하는
전자 기기. - 컴퓨터 명령어가 저장되어 있는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령어가 프로세서에 의해 실행될 경우, 제1항 내지 제7항 중 어느 한 항의 방법을 구현하는 것을 특징으로 하는
비휘발성 컴퓨터 판독 가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010108683.8A CN111277861B (zh) | 2020-02-21 | 2020-02-21 | 提取视频中热点片段的方法以及装置 |
| CN202010108683.8 | 2020-02-21 | ||
| PCT/CN2020/133034 WO2021164369A1 (zh) | 2020-02-21 | 2020-12-01 | 提取视频中热点片段的方法以及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210087095A true KR20210087095A (ko) | 2021-07-09 |
| KR102487794B1 KR102487794B1 (ko) | 2023-01-13 |
Family
ID=76865362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217019156A KR102487794B1 (ko) | 2020-02-21 | 2020-12-01 | 비디오 중의 핫스팟 세그먼트를 추출하는 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램 제품 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102487794B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113923472A (zh) * | 2021-09-01 | 2022-01-11 | 北京奇艺世纪科技有限公司 | 视频内容分析方法、装置、电子设备及存储介质 |
| CN115150663A (zh) * | 2022-07-01 | 2022-10-04 | 北京奇艺世纪科技有限公司 | 热度曲线的生成方法、装置、电子设备及存储介质 |
| WO2024033714A1 (en) * | 2022-08-10 | 2024-02-15 | Coupang Corp. | Computerized systems and methods for automatic generation of highlight videos |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9578279B1 (en) * | 2015-12-18 | 2017-02-21 | Amazon Technologies, Inc. | Preview streaming of video data |
| CN107105318A (zh) * | 2017-03-21 | 2017-08-29 | 华为技术有限公司 | 一种视频热点片段提取方法、用户设备和服务器 |
| US20180061459A1 (en) * | 2016-08-30 | 2018-03-01 | Yahoo Holdings, Inc. | Computerized system and method for automatically generating high-quality digital content thumbnails from digital video |
-
2020
- 2020-12-01 KR KR1020217019156A patent/KR102487794B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9578279B1 (en) * | 2015-12-18 | 2017-02-21 | Amazon Technologies, Inc. | Preview streaming of video data |
| US20180061459A1 (en) * | 2016-08-30 | 2018-03-01 | Yahoo Holdings, Inc. | Computerized system and method for automatically generating high-quality digital content thumbnails from digital video |
| CN107105318A (zh) * | 2017-03-21 | 2017-08-29 | 华为技术有限公司 | 一种视频热点片段提取方法、用户设备和服务器 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113923472A (zh) * | 2021-09-01 | 2022-01-11 | 北京奇艺世纪科技有限公司 | 视频内容分析方法、装置、电子设备及存储介质 |
| CN113923472B (zh) * | 2021-09-01 | 2023-09-01 | 北京奇艺世纪科技有限公司 | 视频内容分析方法、装置、电子设备及存储介质 |
| CN115150663A (zh) * | 2022-07-01 | 2022-10-04 | 北京奇艺世纪科技有限公司 | 热度曲线的生成方法、装置、电子设备及存储介质 |
| CN115150663B (zh) * | 2022-07-01 | 2023-12-15 | 北京奇艺世纪科技有限公司 | 热度曲线的生成方法、装置、电子设备及存储介质 |
| WO2024033714A1 (en) * | 2022-08-10 | 2024-02-15 | Coupang Corp. | Computerized systems and methods for automatic generation of highlight videos |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102487794B1 (ko) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102487794B1 (ko) | 비디오 중의 핫스팟 세그먼트를 추출하는 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램 제품 | |
| JP7201729B2 (ja) | ビデオ再生ノードの位置決め方法、装置、デバイス、記憶媒体およびコンピュータプログラム | |
| EP3890294A1 (en) | Method and apparatus for extracting hotspot segment from video | |
| US11025881B2 (en) | Method, computer storage media, and client for switching scenes of panoramic video | |
| EP3843031A2 (en) | Face super-resolution realization method and apparatus, electronic device and storage medium | |
| US20210360252A1 (en) | Method for video frame interpolation, related electronic device and storage medium | |
| CN111225236B (zh) | 生成视频封面的方法、装置、电子设备以及计算机可读存储介质 | |
| US10891489B2 (en) | Identifying and tracking words in a video recording of captioning session | |
| CN105933783A (zh) | 一种弹幕的播放方法、装置和终端设备 | |
| CN111858318B (zh) | 一种响应时间的测试方法、装置、设备和计算机存储介质 | |
| WO2022000983A1 (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN105100784A (zh) | 流畅度的测试方法及装置 | |
| WO2015078257A1 (zh) | 一种显示搜索信息的设备和方法 | |
| CN104010223A (zh) | 接管终端系统进行视频播放的方法和系统 | |
| WO2019007017A1 (zh) | 一种视频结果项的展示、提供方法、客户端及服务器 | |
| CN104219578A (zh) | 一种视频处理方法和装置 | |
| CN113542725B (zh) | 视频审核方法、视频审核装置和电子设备 | |
| CN111522863B (zh) | 一种主题概念挖掘方法、装置、设备以及存储介质 | |
| CN111654736A (zh) | 音视频同步误差的确定方法、装置、电子设备和存储介质 | |
| CN113542888B (zh) | 视频的处理方法、装置、电子设备及存储介质 | |
| CN114143590B (zh) | 一种视频播放方法、服务器及存储介质 | |
| CN105578089A (zh) | 一种视频快速浏览的方法及系统 | |
| EP3955585A1 (en) | Video processing method and apparatus, and electronic device and storage medium | |
| CN114245171A (zh) | 视频编辑方法、装置、电子设备、介质 | |
| CN113378001B (zh) | 视频播放进度的调整方法及装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |