KR101993001B1

KR101993001B1 - 영상 하이라이트 제작 장치 및 방법

Info

Publication number: KR101993001B1
Application number: KR1020190005650A
Authority: KR
Inventors: 최규상; 아지만락슨
Original assignee: 영남대학교 산학협력단
Priority date: 2019-01-16
Filing date: 2019-01-16
Publication date: 2019-06-25

Abstract

영상 하이라이트 제작 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 방법은, 입력된 영상의 프레임을 정규화하여 영상 데이터 세트를 생성하는 단계; 상기 생성된 영상 데이터 세트에서 상기 기 설정된 동작 정보에 대응하는 영상 구간을 추출하는 단계; 상기 추출한 각 영상 구간을 기 설정된 시간 단위의 영상 클립으로 분할하는 단계; CNN 모델을 이용하여 상기 각 영상 클립의 특징 추출하는 단계; RNN 모델을 이용하여 상기 추출된 각 영상 클립의 특징을 기반으로 상기 각 영상 클립의 유사성에 대해 점수화하는 단계; 상기 각 영상 클립에 부여된 유사성 점수를 기반으로 기 설정된 점수 이상의 유사성 점수를 받은 상기 영상 클립을 선택하는 단계; 및 상기 선택된 영상 클립을 시간순으로 연결하여 입력된 영상으로부터 하이라이트를 생성하는 단계를 포함한다.

Description

영상 하이라이트 제작 장치 및 방법{APPARATUS AND METHOD FOR VIDEO HIGHLIGHT PRODUCTION}

본 발명의 실시예들은 영상 하이라이트 제작 기술과 관련된다.

유튜브(Youtube) 등의 동영상 공유 플랫폼을 통하여, 사용자들은 직접 만든 컨텐츠를 업로드하고 전 세계 사람들과 컨텐츠를 공유한다. 유튜브에 업로드된 20분 이상의 원본 스포츠 동영상의 개수는 약 11,000,000로 추산된다. 바쁜 현대인 입장에서 원본 스포츠 동영상에 대해 전체 경기 시간동안 시청하기는 쉽지 않다. 축구 경기를 예로 들면, 골 장면과 같은 하이라이트만을 보고 싶은 시청자의 수요는 계속 증가하고 있다.

스포츠 동영상에서 하이라이트를 검출하는 기본적인 방식은 편집자가 직감적인 판단에 의해 특정 장면이나 클립을 검출하는 방식이다. 편집 전문가의 노하우 및 비용 때문에, 야구, 축구, 농구 등의 인기 스포츠 동영상에 대해서만 하이라이트 영상을 제작되는 실정이다.

대한민국 등록특허공보 제10-1290673호 (2013.07.23.)

본 발명의 실시예들은 CNN 모델 및 RNN 모델을 적용하여 편집 전문가의 노하우 없이도 하이라이트 검출하기 위한 것이다.

하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 입력된 영상의 프레임을 정규화하여 영상 데이터 세트를 생성하는 단계; 상기 생성된 영상 데이터 세트에서 상기 기 설정된 동작 정보에 대응하는 영상 구간을 추출하는 단계; 상기 추출한 각 영상 구간을 기 설정된 시간 단위의 영상 클립으로 분할하는 단계; CNN 모델을 이용하여 상기 각 영상 클립의 특징 추출하는 단계; RNN 모델을 이용하여 상기 추출된 각 영상 클립의 특징을 기반으로 상기 각 영상 클립의 유사성에 대해 점수화하는 단계; 상기 각 영상 클립에 부여된 유사성 점수를 기반으로 기 설정된 점수 이상의 유사성 점수를 받은 상기 영상 클립을 선택하는 단계; 및 상기 선택된 영상 클립을 시간순으로 연결하여 입력된 영상으로부터 하이라이트를 생성하는 단계를 포함하는, 방법이 제공된다.

상기 영상 데이터 세트를 생성하는 단계는, 상기 입력된 영상에 포함된 각 영상 프레임을 추출하고, 상기 추출된 영상 프레임을 각각 동일한 픽셀로 크기를 조정하는 단계; 및 상기 동일한 크기로 조정된 영상 프레임을 정규화하여 상기 영상 데이터 세트로 생성하는 단계를 포함할 수 있다.

상기 기 설정된 시간 단위의 영상 클립은, 복수 개의 서로 다른 시간 단위의 영상 클립으로 각각 분할할 수 있다.

상기 복수 개의 서로 다른 시간 단위의 영상 클립은, 제1 시간 단위의 영상 클립; 상기 제1 시간 단위보다 긴 제2 시간 단위의 영상 클립; 및 상기 제2 시간 단위보다 긴 제3 시간 단위의 영상 클립을 포함할 수 있다.

상기 영상 클립을 선택하는 단계는, 상기 각 영상 구간에서 기 설정된 점수 이상의 유사성 점수를 받은 하나 이상의 영상 클립이 존재하는 영상 구간을 검출하는 단계; 및 상기 유사성 점수를 기반으로 상기 검출된 영상 구간에서 복수 개의 시간 단위의 영상 클립으로 분할된 영상 클립 중 하이라이트 영상에 포함시킬 영상 클립을 선택하는 단계를 포함할 수 있다.

상기 영상 클립을 선택하는 단계는, 상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 하나인 경우, 해당 영상 클립을 선택할 수 있다.

상기 영상 클립을 선택하는 단계는, 상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 복수 개인 경우, 유사성 점수가 가장 높은 영상 클립을 해당 영상 클립으로 선택할 수 있다.

상기 점수화하는 단계는, 상기 RNN 모델을 이용하여 추출된 상기 각 영상 구간의 기 설정된 단위의 영상 클립들의 특징을 기반으로 상기 입력 영상에 대해 기 제작된 하이라이트 영상의 해당 영상 장면의 특징과의 유사성을 비교하여 유사성 점수를 산출할 수 있다.

다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 입력된 영상의 프레임을 정규화하여 영상 데이터 세트를 생성하기 위한 명령; 상기 생성된 영상 데이터 세트에서 상기 기 설정된 동작 정보에 대응하는 영상 구간을 추출하기 위한 명령; 상기 추출한 각 영상 구간을 기 설정된 시간 단위의 영상 클립으로 분할하기 위한 명령; CNN 모델을 이용하여 상기 각 영상 클립의 특징 추출하기 위한 명령; RNN 모델을 이용하여 상기 추출된 각 영상 클립의 특징을 기반으로 상기 각 영상 클립의 유사성에 대해 점수화하기 위한 명령; 상기 각 영상 클립에 부여된 유사성 점수를 기반으로 기 설정된 점수 이상의 유사성 점수를 받은 상기 영상 클립을 선택하기 위한 명령; 및 상기 선택된 영상 클립을 시간순으로 연결하여 입력된 영상으로부터 하이라이트를 생성하기 위한 명령를 포함하는, 컴퓨팅 장치가 제공된다.

상기 영상 데이터 세트를 생성하기 위한 명령은, 상기 입력된 영상에 포함된 각 영상 프레임을 추출하고, 상기 추출된 영상 프레임을 각각 동일한 픽셀로 크기를 조정하기 위한 명령; 및 상기 동일한 크기로 조정된 영상 프레임을 정규화하여 상기 영상 데이터 세트로 생성하기 위한 명령을 포함할 수 있다.

상기 영상 클립을 선택하기 위한 명령은, 상기 각 영상 구간에서 기 설정된 점수 이상의 유사성 점수를 받은 하나 이상의 영상 클립이 존재하는 영상 구간을 검출하기 위한 명령; 및 상기 유사성 점수를 기반으로 상기 검출된 영상 구간에서 복수 개의 시간 단위의 영상 클립으로 분할된 영상 클립 중 하이라이트 영상에 포함시킬 영상 클립을 선택하기 위한 명령을 포함할 수 있다.

상기 영상 클립을 선택하기 위한 명령은, 상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 하나인 경우, 해당 영상 클립을 선택할 수 있다.

상기 영상 클립을 선택하기 위한 명령은, 상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 복수 개인 경우, 유사성 점수가 가장 높은 영상 클립을 해당 영상 클립으로 선택할 수 있다.

상기 점수화하기 위한 명령은, 상기 RNN 모델을 이용하여 추출된 상기 각 영상 구간의 기 설정된 단위의 영상 클립들의 특징을 기반으로 상기 입력 영상에 대해 기 제작된 하이라이트 영상의 해당 영상 장면의 특징과의 유사성을 비교하여 유사성 점수를 산출할 수 있다.

다른 예시적인 실시예에 따르면, 비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 입력된 영상의 프레임을 정규화하여 영상 데이터 세트를 생성하고; 상기 생성된 영상 데이터 세트에서 상기 기 설정된 동작 정보에 대응하는 영상 구간을 추출하고; 상기 추출한 각 영상 구간을 기 설정된 시간 단위의 영상 클립으로 분할하고; CNN 모델을 이용하여 상기 각 영상 클립의 특징 추출하고; RNN 모델을 이용하여 상기 추출된 각 영상 클립의 특징을 기반으로 상기 각 영상 클립의 유사성에 대해 점수화하고; 상기 각 영상 클립에 부여된 유사성 점수를 기반으로 기 설정된 점수 이상의 유사성 점수를 받은 상기 영상 클립을 선택하고; 그리고 상기 선택된 영상 클립을 시간순으로 연결하여 입력된 영상으로부터 하이라이트를 생성하도록 하는, 컴퓨터 프로그램이 제공된다.

상기 영상 데이터 세트를 생성하기 위한 명령은, 상기 입력된 영상에 포함된 각 영상 프레임을 추출하고, 상기 추출된 영상 프레임을 각각 동일한 픽셀로 크기를 조정하고; 그리고 상기 동일한 크기로 조정된 영상 프레임을 정규화하여 상기 영상 데이터 세트로 생성하도록 할 수 있다.

상기 컴퓨터 프로그램은, 상기 영상 클립을 선택하기 위하여, 상기 컴퓨팅 장치로 하여금, 상기 각 영상 구간에서 기 설정된 점수 이상의 유사성 점수를 받은 하나 이상의 영상 클립이 존재하는 영상 구간을 검출하고; 그리고 상기 유사성 점수를 기반으로 상기 검출된 영상 구간에서 복수 개의 시간 단위의 영상 클립으로 분할된 영상 클립 중 하이라이트 영상에 포함시킬 영상 클립을 선택하도록 할 수 있다.

상기 컴퓨터 프로그램은, 상기 영상 클립을 선택하기 위하여, 상기 컴퓨팅 장치로 하여금, 상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 하나인 경우, 해당 영상 클립을 선택할 수 있다.

상기 컴퓨터 프로그램은, 상기 영상 클립을 선택하기 위하여, 상기 컴퓨팅 장치로 하여금, 상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 복수 개인 경우, 유사성 점수가 가장 높은 영상 클립을 해당 영상 클립으로 선택할 수 있다.

상기 컴퓨터 프로그램은, 상기 점수화하기 위하여, 상기 컴퓨팅 장치로 하여금, 상기 RNN 모델을 이용하여 추출된 상기 각 영상 구간의 기 설정된 단위의 영상 클립들의 특징을 기반으로 상기 입력 영상에 대해 기 제작된 하이라이트 영상의 해당 영상 장면의 특징과의 유사성을 비교하여 유사성 점수를 산출할 수 있다.

본 발명의 실시예들에 따르면, 영상 클립의 특징을 추출하는 CNN 모델 및 영상 클립에 대해 점수화하는 RNN 모델을 적용함으로써, 편집 전문가의 노하우 없이도 영상의 하이라이트를 검출할 수 있으며, 빠르게 하이라이트를 생성하고, 하이라이트의 검출 정확도를 높일 수 있다.

또한, 본 발명의 실시예들에 따르면, 설정된 동작 정보에 따라 하이라이트를 검출함으로써, 모든 종목의 스포츠 동영상에 대하여 적용할 수 있어 높은 확장성과 호환성을 갖을 수 있다.

도 1는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 영상 하이라이트 제작 방법의 구성을 설명하기 위한 흐름도
도 3은 본 발명의 일 실시예에 따른 하이라이트 검출과정을 나타낸 도면
도 4는 본 발명의 일 실시예에 따른 영상 하이라이트 제작 방법을 설명하기 위한 흐름도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안된다.

도 1는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되는 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예에 따른 영상 처리를 수행하기 위한 장치일 수 있다.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.

도 2는 본 발명의 일 실시예에 따른 영상 하이라이트 제작 방법의 구성을 설명하기 위한 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 하이라이트 검출과정을 나타낸 도면이다.

도 2 및 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 하이라이트 제작 장치(100)는 입력되는 영상에서 기 설정된 동작 정보에 대응하는 영상 구간을 추출하고(a), CNN(Convolutional Neural Network) 모델을 이용하여 각 영상 구간의 특징을 추출하며(b), 추출된 특징을 기반으로 RNN(Recurrent Neural Network) 모델을 이용하여 각 영상 구간의 유사성에 대해 점수화하고(c), 각 영상 구간에 부여된 유사성 점수(Wt)를 기반으로 기 설정된 점수 이상의 유사성 점수를 받은 영상 구간을 시간순으로 연결하여 입력된 영상으로부터 하이라이트를 생성할 수 있다(d),(e).

여기서, Vt는 추출된 영상 구간을 표시하며, Wt는 각 영상 구간에 부여된 유사성 점수를 나타낸다. 유사성 점수는 각 영상 구간과 입력된 영상의 기존 하이라이트(예를 들어, 편집 전문가에 의해 수작업으로 제작된 하이라이트)와의 유사성을 비교하여 점수를 부여할 수 있다.

본 발명의 일 실시예에 따른 영상 하이라이트 제작 방법(200)에 대해서는 아래에서 자세하게 설명한다.

도 4는 본 발명의 일 실시예에 따른 영상 하이라이트 제작 방법(200)을 설명하기 위한 흐름도이다. 전술한 바와 같이, 본 발명의 일 실시예에 따른 영상 하이라이트 제작 방법(200)은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에서 수행될 수 있다. 이를 위하여, 상기 영상 하이라이트 제작 방법(200)은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다.

또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

한편, 본 발명의 일 실시예에 따른 영상 하이라이트 제작 방법(200)에 입력되는 영상은 촬영된 대상 또는 대상의 활동 분야에 해당되는 영상이며, 이는 한 분야의 스포츠 영상이 될 수 있다. 예를 들어, 축구, 하키, 핸드볼 등이 있으며, 이는 예시일 뿐이며 이에 한정되는 것은 아니다. 여기서는 축구에 관한 영상을 예시로 들어 설명하기로 한다.

단계 202에서, 컴퓨팅 장치(12)는 입력된 영상의 프레임을 정규화하여 영상 데이터 세트로 생성한다.

구체적으로, 컴퓨팅 장치(12)는 입력된 영상에 포함된 각 영상 프레임을 추출하고, 추출된 영상 프레임을 각각 동일한 크기(예를 들어 122픽셀 * 122픽셀)로 재조정 및 크기 조정을 한다. 컴퓨팅 장치(12)는 추출된 영상 프레임을 재조정 및 크기 조정하기 위하여 크기 조정 알고리즘을 사용할 수 있으며, 예를 들어, 다운 샘플링 알고리즘이 사용될 수 있다. 이에 추출된 영상 프레임은 각 영상 프레임의 종횡비가 유지되도록 다운 샘플링 알고리즘을 사용하여 영상 정보의 손실을 최소화할 수 있다.

이후, 컴퓨팅 장치(12)는 동일한 크기로 조정된 영상 프레임을 정규화하여 영상 데이터 세트로 생성한다. 정규화는 모든 입력 차원이 비슷한 균일 분포를 공유하기 위한 것으로, 평균-표준 편차 정규화 방법을 사용할 수 있다. 컴퓨팅 장치(12)는 평균-표준 편차 정규화 방법을 하기 위하여 평균 및 표준 편차 추정 알고리즘이 사용될 수 있다.

한편, 컴퓨팅 장치(12)는 영상 데이터 세트의 크기로 인하여 데이터를 한번에 로드할 수 없는 문제점을 해결하기 위하여 정규화된 영상 데이터 세트를 HDF5(Hierarchical Data Format version 5)의 포맷으로 생성할 수 있다.

단계 204에서, 컴퓨팅 장치(12)는 영상 데이터 세트에서 기 설정된 동작 정보에 대응하는 영상 구간을 추출한다. 구체적으로 컴퓨팅 장치(12)는 영상 데이터 세트에서 기 설정된 동작 정보에 대응하는 영상 구간을 추출하고, 추출한 각 영상 구간을 기 설정된 시간 단위의 영상 클립으로 분할한다. 여기서, 동작 정보는 해당 영상의 카테고리(영상이 스포츠 영상인 경우, 스포츠 종류)에 따라 설정될 수 있다.

예시적인 실시예에서, 축구와 관련된 영상을 기반으로 영상 데이터 세트를 생성하는 경우, 컴퓨팅 장치(12)는 축구와 관련된 영상 데이터 세트로부터 축구와 관련된 동작 정보(예를 들어, 골, 센터 라인, 코너킥, 스로인, 프리킥)에 대응하는 영상 구간을 각각 추출할 수 있다.

다음으로, 컴퓨팅 장치(12)는 추출한 각 영상 구간을 기 설정된 시간 단위의 영상 클립으로 분할할 수 있다. 여기서, 기 설정된 시간 단위는 상기 축구와 관련된 동작(예를 들어, 골, 센터 라인, 코너킥, 스로인, 프리킥)이 이루어지는 시간(예를 들어, 1초 내지 3초 등)으로 설정될 수 있다.

여기서, 컴퓨팅 장치(12)는 추출한 영상 구간을 복수 개의 서로 다른 시간 단위의 영상 클립으로 각각 분할할 수 있다. 컴퓨팅 장치(12)는 추출한 영상 구간을 제1 시간 단위의 영상 클립으로 분할 할 수 있다. 또한, 컴퓨팅 장치(12)는 추출한 영상 구간을 제1 시간 단위보다 긴 제2 시간 단위의 영상 클립으로 분할 할 수 있다. 또한, 컴퓨팅 장치(12)는 추출한 영상 구간을 제2 시간 단위보다 긴 제3 시간 단위의 영상 클립으로 분할 할 수 있다.

예를 들어, 컴퓨팅 장치(12)는 추출한 영상 구간을 각각 1초 단위, 2초 단위, 및 3초 단위의 영상 클립으로 각각 분할할 수 있다. 이와 같이, 추출한 영상 구간을 복수 개의 서로 다른 시간 단위의 영상 클립으로 각각 분할하는 이유는 영상 데이터 세트에서 축구와 관련된 동작 정보(예를 들어, 골, 센터 라인, 코너킥, 스로인, 프리킥)에 대응하는 장면을 동영상 하이라이트에 몇 초를 포함하는 것이 좋을지를 판단하기 위한 것이다.

한편, 여기서는 축구와 관련된 동작 정보로 5가지(예를 들어, 골, 센터 라인, 코너킥, 스로인, 프리킥)를 설정하였으나, 이에 한정되는 것은 아니며, 이외에도 축구와 관련된 동작 정보(예를 들어, 파울, 페널티 킥, 골 세레모니(ceremony) 및 선수 교체 등)이 포함될 수 있다.

단계 206에서, 컴퓨팅 장치(12)는 CNN(Convolutional Neural Network) 모델을 이용하여 각 영상 구간의 기 설정된 단위의 영상 클립들의 특징을 각각 추출한다. 구체적으로, 컴퓨팅 장치(12)는 소정 영상 구간의 제1 시간 단위의 각 영상 클립의 특징을 추출할 수 있다. 또한, 컴퓨팅 장치(12)는 상기 영상 구간의 제2 시간 단위의 각 영상 클립의 특징을 추출할 수 있다. 또한, 컴퓨팅 장치(12)는 상기 영상 구간의 제3 시간 단위의 각 영상 클립의 특징을 추출할 수 있다.

예시적인 실시예에서, CNN 모델은 34 레이어(layer)의 심층 잔여망(deep Residual Network)를 기반으로 한 3차원 CNN 구조일 수 있다. CNN 모델는 3D-ResNet 기반으로, 그 구조는 3D 텐서(Tensor)로 나타낼 수 있다. 3D 텐서는 l x h x w x c 로 나타낼 수 있으며, 여기서, l, h, w 및 c 는 각각 텐서의 길이(입력 수 또는 크기), 높이, 너비 및 텐서의 채널 깊이를 나타낼 수 있다. 3D-ResNet의 첫 번째 레이어의 핵심 크기인 conv 1은 1x1x3일 수 있으며, 1x1x1의 보폭(stride)일 수 있다. 이 때, 3은 컬러 채널 수로써, 빨강, 녹색, 파랑(RGB)을 나타낼 수 있다.

단계 208에서, 컴퓨팅 장치(12)는 RNN(Recurrent Neural Network) 모델을 이용하여 각 영상 구간의 기 설정된 단위의 영상 클립들에 대해 유사성 점수를 산출한다. 여기서, RNN 모델은 CNN 모델을 통해 추출된 각 영상 구간의 기 설정된 단위의 영상 클립들의 특징을 입력값으로 한다. 구체적으로, 컴퓨팅 장치(12)는 RNN 모델을 이용하여 추출된 각 영상 구간의 기 설정된 단위의 영상 클립들의 특징을 기반으로 상기 입력 영상에 대해 기 제작된 하이라이트 영상(예를 들어, 편집 전문가에 의해 수작업으로 제작된 하이라이트 영상)의 해당 영상 장면의 특징과의 유사성을 비교하여 유사성 점수를 산출할 수 있다.

예를 들어, 소정 영상 구간이 해당 축구 경기의 첫 골에 대한 영상 구간인 경우, RNN 모델은 해당 영상 구간의 1초 단위의 영상 클립들의 특징, 2초 단위의 영상 클립들의 특징, 및 3초 단위의 영상 클립들의 특징과 기 제작된 하이라이트 영상에서 해당 영상 장면(즉, 첫 골 장면)의 특징과의 유사성을 비교하여 유사성 점수를 산출할 수 있다.

예시적인 실시예에서, RNN(Recurrent Neural Network) 모델은 동작의 시간적 변화를 모델화하기 위한 장기 단기 메모리 네트워크(Long Short-Term Memory network;LSTM)일 수 있다. 여기서, LSTM 네트워크의 구조는 512 덴스 레이어(512 dense layers)와 함께 사용되는 단일 2048-와이드 레이어(2048-wide layer)로 구성될 수 있다.

단계 210에서, 컴퓨팅 장치(12)는 각 영상 구간에서 기 설정된 점수 이상(예를 들어, 90점 이상 등)의 유사성 점수를 받은 하나 이상의 영상 클립이 존재하는 영상 구간을 검출한다.

여기서, 컴퓨팅 장치(12)는 기 설정된 점수 이상(예를 들어, 90점 이상 등)의 유사성 점수를 받은 영상 클립이 하나도 존재하지 않는 영상 구간은 하이라이트 영상에 포함시키지 않을 수 있다.

단계 212에서, 컴퓨팅 장치(12)는 유사성 점수를 기반으로 상기 검출된 영상 구간에서 복수 개의 시간 단위의 영상 클립으로 분할된 영상 클립 중 하이라이트 영상에 포함시킬 영상 클립을 선택한다.

구체적으로, 컴퓨팅 장치(12)는 상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 하나인 경우, 해당 영상 클립을 해당 영상 장면의 하이라이트 영상으로 선택할 수 있다. 예를 들어, 상기 검출된 영상 구간의 1초 단위 영상 클립, 2초 단위 영상 클립, 및 3초 단위의 영상 클립 중 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 1초 단위 영상 클립인 경우, 1초 단위 영상 클립을 해당 영상 장면의 하이라이트 영상으로 선택할 수 있다.

컴퓨팅 장치(12)는 상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 복수 개인 경우, 유사성 점수가 가장 높은 영상 클립을 해당 영상 장면의 하이라이트 영상으로 선택할 수 있다. 예를 들어, 상기 검출된 영상 구간의 1초 단위 영상 클립, 2초 단위 영상 클립, 및 3초 단위의 영상 클립 중 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 2초 단위 영상 클립과 3초 단위 영상 클립이고, 3초 단위 영상 클립의 유사성 점수가 2초 단위 영상 클립의 유사성 점수보다 높은 경우, 3초 단위 영상 클립을 해당 영상 장면의 하이라이트 영상으로 선택할 수 있다.

단계 214에서, 컴퓨팅 장치(12)는 하이라이트 영상으로 선택된 영상 클립을 시간순으로 연결하여 입력된 영상으로부터 하이라이트 영상을 생성한다.

이에 본 발명에 따른 영상 하이라이트 제작 방법(200)은 영상 클립의 특징을 추출하는 CNN 모델 및 영상 클립에 대해 점수화하는 RNN 모델을 적용함으로써, 편집 전문가의 노하우 없이도 영상의 하이라이트를 검출할 수 있으며, 빠르게 하이라이트를 생성하고, 하이라이트의 검출 정확도를 높일 수 있다. 또한, 설정된 동작 정보에 따라 하이라이트를 검출함으로써, 모든 종목의 스포츠 동영상에 대하여 적용할 수 있어 높은 확장성과 호환성을 갖을 수 있다.

한편, 본 발명의 실시예들은 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스

Claims

하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
입력된 영상의 프레임을 정규화하여 영상 데이터 세트를 생성하는 단계;
상기 생성된 영상 데이터 세트에서 기 설정된 동작 정보에 대응하는 영상 구간을 추출하는 단계;
상기 추출한 각 영상 구간을 기 설정된 시간 단위의 영상 클립으로 분할하는 단계;
CNN 모델을 이용하여 상기 각 영상 클립의 특징 추출하는 단계;
RNN 모델을 이용하여 상기 추출된 각 영상 클립의 특징을 기반으로 상기 각 영상 클립의 유사성에 대해 점수화하는 단계;
상기 각 영상 클립에 부여된 유사성 점수를 기반으로 기 설정된 점수 이상의 유사성 점수를 받은 상기 영상 클립을 선택하는 단계; 및
상기 선택된 영상 클립을 시간순으로 연결하여 상기 입력된 영상으로부터 하이라이트를 생성하는 단계를 포함하며,
상기 기 설정된 시간 단위의 영상 클립은,
복수 개의 서로 다른 시간 단위의 영상 클립으로 각각 분할하고,
상기 영상 클립을 선택하는 단계는,
상기 각 영상 구간에서 상기 기 설정된 점수 이상의 유사성 점수를 받은 하나 이상의 영상 클립이 존재하는 영상 구간을 검출하는 단계; 및
상기 유사성 점수를 기반으로 상기 검출된 영상 구간에서 복수 개의 시간 단위의 영상 클립으로 분할된 영상 클립 중 하이라이트 영상에 포함시킬 영상 클립을 선택하는 단계를 포함하는, 방법.
청구항 1에 있어서,
상기 영상 데이터 세트를 생성하는 단계는,
상기 입력된 영상에 포함된 각 영상 프레임을 추출하고, 상기 추출된 영상 프레임을 각각 동일한 픽셀로 크기를 조정하는 단계; 및
상기 동일한 크기로 조정된 영상 프레임을 정규화하여 상기 영상 데이터 세트로 생성하는 단계를 포함하는, 방법.
삭제
청구항 1에 있어서,
상기 복수 개의 서로 다른 시간 단위의 영상 클립은,
제1 시간 단위의 영상 클립;
상기 제1 시간 단위보다 긴 제2 시간 단위의 영상 클립; 및
상기 제2 시간 단위보다 긴 제3 시간 단위의 영상 클립을 포함하는, 방법.
삭제
청구항 1에 있어서,
상기 영상 클립을 선택하는 단계는,
상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 하나인 경우, 해당 영상 클립을 선택하는, 방법.
청구항 1에 있어서,
상기 영상 클립을 선택하는 단계는,
상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 복수 개인 경우, 유사성 점수가 가장 높은 영상 클립을 해당 영상 클립으로 선택하는, 방법.
청구항 1에 있어서,
상기 점수화하는 단계는,
상기 RNN 모델을 이용하여 추출된 상기 각 영상 구간의 기 설정된 단위의 영상 클립들의 특징을 기반으로 상기 입력 영상에 대해 기 제작된 하이라이트 영상의 해당 영상 장면의 특징과의 유사성을 비교하여 유사성 점수를 산출하는, 방법.
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고,
상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
상기 하나 이상의 프로그램들은,
입력된 영상의 프레임을 정규화하여 영상 데이터 세트를 생성하기 위한 명령;
상기 생성된 영상 데이터 세트에서 기 설정된 동작 정보에 대응하는 영상 구간을 추출하기 위한 명령;
상기 추출한 각 영상 구간을 기 설정된 시간 단위의 영상 클립으로 분할하기 위한 명령;
CNN 모델을 이용하여 상기 각 영상 클립의 특징 추출하기 위한 명령;
RNN 모델을 이용하여 상기 추출된 각 영상 클립의 특징을 기반으로 상기 각 영상 클립의 유사성에 대해 점수화하기 위한 명령;
상기 각 영상 클립에 부여된 유사성 점수를 기반으로 기 설정된 점수 이상의 유사성 점수를 받은 상기 영상 클립을 선택하기 위한 명령; 및
상기 선택된 영상 클립을 시간순으로 연결하여 상기 입력된 영상으로부터 하이라이트를 생성하기 위한 명령를 포함하며,
상기 기 설정된 시간 단위의 영상 클립은,
복수 개의 서로 다른 시간 단위의 영상 클립으로 각각 분할하고,
상기 영상 클립을 선택하기 위한 명령은,
상기 각 영상 구간에서 상기 기 설정된 점수 이상의 유사성 점수를 받은 하나 이상의 영상 클립이 존재하는 영상 구간을 검출하기 위한 명령; 및
상기 유사성 점수를 기반으로 상기 검출된 영상 구간에서 복수 개의 시간 단위의 영상 클립으로 분할된 영상 클립 중 하이라이트 영상에 포함시킬 영상 클립을 선택하기 위한 명령을 포함하는, 컴퓨팅 장치.
청구항 9에 있어서,
상기 영상 데이터 세트를 생성하기 위한 명령은,
상기 입력된 영상에 포함된 각 영상 프레임을 추출하고, 상기 추출된 영상 프레임을 각각 동일한 픽셀로 크기를 조정하기 위한 명령; 및
상기 동일한 크기로 조정된 영상 프레임을 정규화하여 상기 영상 데이터 세트로 생성하기 위한 명령을 포함하는, 컴퓨팅 장치.
삭제
청구항 9에 있어서,
상기 복수 개의 서로 다른 시간 단위의 영상 클립은,
제1 시간 단위의 영상 클립;
상기 제1 시간 단위보다 긴 제2 시간 단위의 영상 클립; 및
상기 제2 시간 단위보다 긴 제3 시간 단위의 영상 클립을 포함하는, 컴퓨팅 장치.
삭제
청구항 9에 있어서,
상기 영상 클립을 선택하기 위한 명령은,
상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 하나인 경우, 해당 영상 클립을 선택하는, 컴퓨팅 장치.
청구항 9에 있어서,
상기 영상 클립을 선택하기 위한 명령은,
상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 복수 개인 경우, 유사성 점수가 가장 높은 영상 클립을 해당 영상 클립으로 선택하는, 컴퓨팅 장치.
청구항 9에 있어서,
상기 점수화하기 위한 명령은,
상기 RNN 모델을 이용하여 추출된 상기 각 영상 구간의 기 설정된 단위의 영상 클립들의 특징을 기반으로 상기 입력 영상에 대해 기 제작된 하이라이트 영상의 해당 영상 장면의 특징과의 유사성을 비교하여 유사성 점수를 산출하는, 컴퓨팅 장치.
비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
입력된 영상의 프레임을 정규화하여 영상 데이터 세트를 생성하고;
상기 생성된 영상 데이터 세트에서 기 설정된 동작 정보에 대응하는 영상 구간을 추출하고;
상기 추출한 각 영상 구간을 기 설정된 시간 단위의 영상 클립으로 분할하고;
CNN 모델을 이용하여 상기 각 영상 클립의 특징 추출하고;
RNN 모델을 이용하여 상기 추출된 각 영상 클립의 특징을 기반으로 상기 각 영상 클립의 유사성에 대해 점수화하고;
상기 각 영상 클립에 부여된 유사성 점수를 기반으로 기 설정된 점수 이상의 유사성 점수를 받은 상기 영상 클립을 선택하고; 그리고
상기 선택된 영상 클립을 시간순으로 연결하여 상기 입력된 영상으로부터 하이라이트를 생성하도록 하며,
상기 기 설정된 시간 단위의 영상 클립은,
복수 개의 서로 다른 시간 단위의 영상 클립으로 각각 분할하고,
상기 컴퓨터 프로그램은, 상기 영상 클립을 선택하기 위하여, 상기 컴퓨팅 장치로 하여금,
상기 각 영상 구간에서 상기 기 설정된 점수 이상의 유사성 점수를 받은 하나 이상의 영상 클립이 존재하는 영상 구간을 검출하고; 그리고
상기 유사성 점수를 기반으로 상기 검출된 영상 구간에서 복수 개의 시간 단위의 영상 클립으로 분할된 영상 클립 중 하이라이트 영상에 포함시킬 영상 클립을 선택하도록 하는, 컴퓨터 프로그램.
청구항 17에 있어서,
상기 영상 데이터 세트를 생성하기 위한 명령은,
상기 입력된 영상에 포함된 각 영상 프레임을 추출하고, 상기 추출된 영상 프레임을 각각 동일한 픽셀로 크기를 조정하고; 그리고
상기 동일한 크기로 조정된 영상 프레임을 정규화하여 상기 영상 데이터 세트로 생성하도록 하는, 컴퓨터 프로그램.
삭제
청구항 17에 있어서,
상기 복수 개의 서로 다른 시간 단위의 영상 클립은,
제1 시간 단위의 영상 클립;
상기 제1 시간 단위보다 긴 제2 시간 단위의 영상 클립; 및
상기 제2 시간 단위보다 긴 제3 시간 단위의 영상 클립을 포함하는, 컴퓨터 프로그램.
삭제
청구항 17에 있어서,
상기 컴퓨터 프로그램은, 상기 영상 클립을 선택하기 위하여, 상기 컴퓨팅 장치로 하여금,
상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 하나인 경우, 해당 영상 클립을 선택하는, 컴퓨터 프로그램.
청구항 17에 있어서,
상기 컴퓨터 프로그램은, 상기 영상 클립을 선택하기 위하여, 상기 컴퓨팅 장치로 하여금,
상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 복수 개인 경우, 유사성 점수가 가장 높은 영상 클립을 해당 영상 클립으로 선택하는, 컴퓨터 프로그램.
청구항 17에 있어서,
상기 컴퓨터 프로그램은, 상기 점수화하기 위하여, 상기 컴퓨팅 장치로 하여금,
상기 RNN 모델을 이용하여 추출된 상기 각 영상 구간의 기 설정된 단위의 영상 클립들의 특징을 기반으로 상기 입력 영상에 대해 기 제작된 하이라이트 영상의 해당 영상 장면의 특징과의 유사성을 비교하여 유사성 점수를 산출하는, 컴퓨터 프로그램.