KR20190119240A

KR20190119240A - 메타 데이터 제공 장치 및 방법

Info

Publication number: KR20190119240A
Application number: KR1020180039943A
Authority: KR
Inventors: 정진환
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2018-04-05
Filing date: 2018-04-05
Publication date: 2019-10-22
Also published as: KR102534270B1

Abstract

일 실시예에 따른 메타 데이터 제공 장치는 동영상으로부터 시간상 이격되어 있는 복수 개의 프레임을 추출하는 프레임 추출부와, 상기 복수 개의 프레임 각각으로부터 특징 벡터(feature vector)를 추출하는 특징 벡터 추출부와, 객체 인식의 기준이 되는 복수 개의 기준 벡터 중에서 적어도 하나의 기준 벡터를 선정하고, 상기 선정된 적어도 하나의 기준 벡터 각각을 상기 복수 개의 프레임 중 어느 하나의 프레임으로부터 추출된 특징 벡터와 비교하여서 객체 인식 과정을 수행하는 객체 인식부와, 상기 어느 하나의 프레임 내의 객체에 대한 메타 데이터를 획득하여서 상기 동영상에 제공하는 메타 데이터 제공부를 포함한다.

Description

메타 데이터 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING META-DATA}

본 발명은 메타 데이터 제공 장치 및 방법에 관한 것이다.

최근 미디어 컨텐츠에 대한 다양한 비즈니스 모델(BM)이 형성되고 있으며, 이를 반영한 미디어 서비스가 소개 되고 있다. 이러한 미디어 서비스는 크게 미디어 컨텐츠를 소비하기 전이나 소비한 후에 사용자에게 상품을 소개하는 것, 그리고 미디어 컨텐츠를 소비하는 도중에 상품을 소개하는 서비스로 나눌 수 있다. 전자의 대표적인 예가 Netflix나 Amazon에서 크게 활용하고 있는 추천 서비스이고, 후자의 경우는 최근 관심을 끌고 있는 e-commerce이다.

후자인 e-commerce의 서비스 시나리오를 살펴보도록 한다. 시청자가 컨텐츠 플레이어를 통해 영화 혹은 방송을 시청하는 도중에 어떤 화면 구간에서 특정 제품이 나올 수 있다. 이 경우, 시청자는 해당 컨텐츠 플레이어로부터 해당 제품에 대한 설명을 제공받을 수 있다. 아울러, 시청자의 조작에 따라 해당 상품을 구매할 수 있는 사이트로 화면이 연결될 수도 있다.

이러한 과정을 기술적으로 살펴보면, 컨텐츠 플레이어는 비디오/오디오/메타 데이터를 시간 정보에 따라 재생을 한다. 이 때 특정 시간에 객체에 대한 메타 데이터가 등장하면 컨텐츠 플레이어는 이를 시청자에게 알릴 수 있고, 이후 구매에 필요한 인터페이스를 제공할 수 있다.

한국특허공개공보, 제 10-2011-0014403 호 (2011.02.11. 공개)

전술한 e-commerce 서비스를 위해서는 동영상 내에 있는 객체를 인식하고, 인식된 객체에 대한 메타 데이터(meta-data)를 획득한 뒤, 이러한 메타 데이터를 동영상에 삽입 내지 제공할 수 있어야 한다. 종래의 경우 전술한 객체 인식 과정, 메타 데이터 획득 과정 및 메타 데이터를 동영상에 삽입시키는 과정이 사람에 의해 수행되었다. 그러나, 무수하게 많은 동영상이 제작되고 있는 현실에서, 사람이 일일이 전술한 과정을 수행하는데에는 한계가 있다.

이에, 본 발명의 해결하고자 하는 과제는 동영상 내에 있는 객체를 인식하고, 인식된 객체에 대한 메타 데이터를 획득하며, 이러한 메타 데이터를 동영상에 삽입 내지 제공하는 기술을 제공하는 것이다.

또한, 전술한 기술이 수행됨에 있어서, 이에 필요한 리소스, 예컨대 시간이나 비용 등을 절감시킬 수 있는 기술을 제공하는 것이다.

다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

일 실시예에 따른 메타 데이터 제공 장치는 동영상으로부터 시간상 이격되어 있는 복수 개의 프레임을 추출하는 프레임 추출부와, 상기 복수 개의 프레임 각각으로부터 특징 벡터(feature vector)를 추출하는 특징 벡터 추출부와, 객체 인식의 기준이 되는 복수 개의 기준 벡터 중에서 적어도 하나의 기준 벡터를 선정하고, 상기 선정된 적어도 하나의 기준 벡터 각각을 상기 복수 개의 프레임 중 어느 하나의 프레임으로부터 추출된 특징 벡터와 비교하여서 객체 인식 과정을 수행하는 객체 인식부와, 상기 어느 하나의 프레임 내의 객체에 대한 메타 데이터를 획득하여서 상기 동영상에 제공하는 메타 데이터 제공부를 포함한다. 또한 상기 객체 인식부는 상기 어느 하나의 프레임보다 시간상으로 앞선 프레임 내에 객체가 존재하는 것으로 인식되면, 상기 복수 개의 기준 벡터 중에서 상기 존재하는 것으로 인식된 객체에 해당하는 기준 벡터를 제외한 나머지 기준 벡터를 상기 적어도 하나의 기준 벡터로서 선정한다.

일 실시예에 따른 메타 데이터 제공 방법은 메타 데이터 제공 장치에 의해 수행되며, 동영상으로부터 제1 프레임을 추출하는 단계와, 상기 제1 프레임로부터 제1 특징 벡터를 추출하는 단계와, 상기 제1 프레임으로부터 추출된 제1 특징 벡터를 객체 인식의 기준이 되는 복수 개의 기준 벡터 각각과 비교하여서 객체 인식 과정을 수행하는 단계와, 상기 제1 프레임 내에서 인식된 제1 객체에 대한 메타 데이터를 획득하여서 상기 동영상에 제공하는 단계와, 상기 동영상으로부터 상기 제1 프레임보다 시간상으로 뒤에 있는 제2 프레임을 추출하는 단계와, 상기 제2 프레임로부터 제2 특징 벡터를 추출하는 단계와, 상기 복수 개의 기준 벡터 중에서 상기 제1 객체에 해당하는 기준 벡터를 제외한 적어도 하나의 기준 벡터를 선정하는 단계와, 상기 선정된 적어도 하나의 기준 벡터를 상기 제2 특징 벡터와 비교하여서 객체 인식 과정을 수행하는 단계와, 상기 제2 프레임 내에서 인식된 제2 객체에 대한 메타 데이터를 획득하여서 상기 동영상에 제공하는 단계를 포함한다.

일 실시예에 따르면 프레임 내에 사전에 정의된 모든 객체가 존재한다고 분석되면, 소정의 시간 동안에는 프레임 내의 객체에 대한 인식 과정(특징 벡터 추출과정 및 기준 벡터와 특징 벡터와의 비교 과정)이 수행되지 않는다. 아울러, 프레임 내에 사전에 정의된 객체 중 일부가 존재한다고 분석되면, 소정의 시간 동안에는 전술한 일부 객체에 대한 객체 인식 과정은 수행되지 않는다. 따라서, 그만큼 메타 데이터 제공 장치가 동영상에 메타 데이터를 제공하기 위해 소비하는 시간과 자원 등이 절감될 수 있다.

도 1은 영상 재생 장치에서 동영상이 재생되고 있는 화면을 도시하고 있다.
도 2는 일 실시예에 따른 메타 데이터 제공 장치가 적용된 시스템을 도시하고 있다.
도 3은 도 2에 도시된 메타 데이터 제공 장치의 구성을 도시하고 있다.
도 4는 일 실시예에 따른 메타 데이터 제공 장치에 의해 동영상이 분석 내지 처리되는 과정을 시간축에서 도시하고 있다.
도 5는 일 실시예에 따른 메타 데이터 제공 방법의 절차를 도시하고 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 영상 재생 장치(10)에서 동영상이 재생되고 있는 화면을 도시하고 있다. 도 1을 참조하면, 영상 재생 장치(10)에서 재생되는 동영상에는 다양한 객체(20,30)가 표시되어 있다. 이 중 객체(30)에는 사전에 메타 데이터(meta-data)가 부여되어 있다. 동영상을 살펴보면 오른쪽 상단에 원 모양의 식별자가 소정의 시간 동안 표시될 수 있다. 이러한 식별자는 현재 동영상에 표시된 객체(20, 30) 중 어느 하나에 대해, 메타 데이터가 제공될 수 있음을 나타낸다. 메타 데이터의 예로는 객체(30)의 명칭, 가격 또는 판매하는 장소 등이 있을 수 있다.

도 2는 일 실시예에 따른 메타 데이터 제공 장치(100)가 적용된 시스템을 도시하고 있다. 다만, 도 2는 예시적인 것에 불과하므로, 메타 데이터 제공 장치(100)가 도 2에 도시된 시스템에만 한정 적용되는 것으로 해석되지는 않는다.

도 2를 참조하면, 영상 제공 서버(50)는 동영상을 저장한다. 이러한 동영상의 예로는 드라마, 예능, 쇼 프로그램이나 영화 같은 것이 있을 수 있다. 아울러, 영상 제공 서버(50)는 메타 데이터 제공 장치(100)에게 메타 데이터가 부여되어 있지 않은 동영상을 제공하며, 그에 대응하여서 메타 데이터가 부여된 동영상을 메타 데이터 제공 장치(100)로부터 제공받은 뒤, 이를 영상 재생 장치(10)에게 제공한다. 이러한 영상 제공 서버(50)는 방송국 등에 설치된 방송 장비 등일 수 있다

영상 재생 장치(10)는 동영상을 재생하는 장치이며, 이 때 메타 데이터도 함께 동영상에 표시할 수 있다. 이러한 영상 재생 장치(10)는 예컨대 TV, 컴퓨터 또는 스마트 기기 등일 수 있으나 이에 한정되는 것은 아니다.

메타 데이터 제공 장치(100)는 영상 제공 서버(50)로부터 메타 데이터가 부여되어 있지 않은 동영상을 제공받아서, 이러한 동영상에 메타 데이터를 부여한 뒤 영상 제공 서버(50)에게 이를 되돌려주는 장치이다. 도 2에는 메타 데이터 제공 장치(100)가 영상 제공 서버(50) 및 영상 재생 장치(10)와 별도로 구비되어 있는 것으로 도시되어 있지만, 도시된 것과는 달리 메타 데이터 재생 장치(100)가 영상 제공 서버(50) 내에서 구현되거나 또는 영상 재생 장치(10) 내에서 구현될 수도 있다. 이하에서는 이러한 메타 데이터 제공 장치(100)에 대해 보다 자세하게 살펴보기로 한다.

도 3는 일 실시예에 따른 메타 데이터 제공 장치(100)의 구성을 도시하고 있으며, 다만 도 3에 도시된 것은 예시적인 것에 불과하다. 이러한 메타 데이터 제공 장치(100)는 PC나 서버에서 구현될 수 있다.

도 3을 참조하면, 메타 데이터 제공 장치(100)는 프레임 추출부(130), 특징 벡터 추출부(140), 객체 인식부(150) 및 메타 데이터 제공부(160)를 포함하며, 실시예에 따라서 통신부(110) 및 저장부(120)를 더 포함할 수 있다.

여기서, 통신부(110)는 동영상을 입력받는 포트 내지 유/무선 통신 모듈로서 구현 가능하다. 또한, 저장부(120)는 데이터를 저장하는 메모리 등으로 구현 가능하다. 아울러, 프레임 추출부(130), 특징 벡터 추출부(140), 객체 인식부(150) 및 메타 데이터 제공부(160)는 이하에서 설명할 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다.

먼저 통신부(110)에 대해 살펴보기로 한다. 메타 데이터 제공 장치(100)는 통신부(110)를 통해서 도 2에 도시된 영상 제공 서버(50)로부터 동영상을 입력받으며, 이러한 통신부(110)를 통해서 메타 데이터가 부여된 동영상을 영상 제공 서버(50)에게 제공한다.

저장부(120)는 데이터를 저장한다. 저장되는 데이터에는 메타 데이터가 부여되어 있지 않은 동영상, 메타 데이터가 부여된 동영상 또는 복수 개의 기준 벡터(기준 벡터에 대해서는 후술할 것임) 등이 포함될 수 있으나 이에 한정되는 것은 아니다.

프레임 추출부(130)는 동영상으로부터 프레임을 추출한다. 프레임이란 동영상을 구성하는 각각의 화면(정지 화면)을 의미한다. 이 때, 프레임 추출부(130)에 의해 추출되는 프레임은 I 프레임일 수 있는데, 추출되는 프레임이 I 프레임인 것은 예시적인 것에 불과하므로 이에 한정되지는 않는다.

프레임 추출부(130)는 소정의 시간 간격마다, 즉 주기적으로 프레임을 추출할 수 있다. 이 때, 이러한 시간 간격은 상황이나 조건에 따라 변경될 수 있다. 이와 달리, 프레임 추출부(130)는 동영상을 분석하여서, 화면 전환이 소정의 기준을 넘어서 일어날 때마다 프레임을 추출할 수도 있다.

특징 벡터 추출부(140)와 객체 인식부(150)는 프레임 추출부(130)에 의해 추출된 프레임 내에 어떠한 객체가 존재하는지를 분석하고 인식한다. 이러한 특징 벡터 추출부(140)와 객체 인식부(150)는 사전에 딥러닝(deep learning) 방식으로 학습된, 예컨대 컨볼루션 신경망(convolutional neural network, CNN)을 학습 모델로 채용하여서 학습된 것일 수 있으나 이에 한정되는 것은 아니다. 여기서 컨볼루션 신경망 그 자체는 이미 공지된 기술이므로 이에 대한 자세한 설명은 생략하되, 특징 벡터 추출부(140)와 객체 인식부(150)가 일 실시예에서 구동되는 구체적인 과정에 대해서는 보다 자세하게 살펴보기로 한다.

특징 벡터 추출부(140)는 프레임으로부터 특징 벡터(feature vector)를 추출한다. 특징 벡터는 프레임에 존재하는 객체를 벡터의 형태로 나타낸 것을 의미한다. 만약 프레임에 객체가 복수 개 존재한다면, 특징 벡터 또한 복수 개가 해당 프레임으로부터 추출될 수 있다.

객체 인식부(150)는 특징 벡터를 사전에 정의된 복수 개의 기준 벡터 각각과 비교하여서 객체 인식 과정을 수행한다. 기준 벡터란 객체 인식의 기준이 되는 벡터를 의미하는데, 예컨대 객체가 '고양이'일 경우에 대한 기준 벡터가 정의되어 있고, 객체가 '스마트폰'일 경우에 대한 기준 벡터가 정의되어 있으며, 객체가 '컴퓨터'일 경우에 대한 기준 벡터가 정의되어 있을 수 있다. 즉, 기준 벡터는 객체가 영상에서 갖는 특징을 일반화 내지 추상화하여서 숫자의 집합으로 나타낸 것을 의미한다. 이러한 기준 벡터는 복수 개가 사전에 미리 저장부(120)에 저장되어 있을 수 있으며, 이 때의 복수 개의 기준 벡터는 각각 서로 상이한 객체의 인식에 사용되는 벡터이다.

객체 인식부(150)는 이러한 저장부(120)에 저장된 복수 개의 기준 벡터를 객체 인식 과정에서 호출하여서 객체 인식에 사용한다. 구체적으로 살펴보면, 객체 인식부(150)는 특징 벡터 추출부(140)가 추출한 특징 벡터를 복수 개의 기준 벡터와 각각 비교한다. 만약 기준 벡터가 N개(N은 자연수)가 마련되어 있다면, 객체 인식부(150)에 의해 수행되는 비교 과정은 1개의 특징 벡터에 대해 N번 반복된다.

비교 결과, N개의 기준 벡터 중에서 해당 특징 벡터와 매칭되는 기준 벡터가 있다면 해당 특징 벡터는 해당 기준 벡터가 나타내는 객체라고 인식된다. 그러나, 매칭되는 기준 벡터가 없다면 해당 특징 벡터가 나타내는 객체는 인식이 불가능한 것으로 처리된다.

여기서, 전술한 특징 벡터 추출부(140)가 프레임으로부터 특징 벡터를 추출하는 과정 및 전술한 객체 인식부(150)가 특징 벡터로부터 객체를 인식하는 과정은 다음과 같은 순서에 따라 수행될 수 있되, 이하에서는 기준 벡터가 N개(N은 2 이상의 자연수)가 마련되어 있는 것을 전제로 설명하기로 한다.

먼저, 특징 벡터 추출부(140)는 프레임 추출부(130)에 의해 추출된 첫번 째 프레임(이하 제1 프레임이라고 지칭)으로부터 제1 특징 벡터를 추출한다. 이 때 실시예에 따라 제1 특징 벡터는 복수 개가 추출될 수도 있다.

다음으로, 객체 인식부(150)는 제1 특징 벡터를 N개의 기준 벡터와 각각 비교한다. 만약 제1 특징 벡터가 전술한 바와 같이 복수 개라면, 이러한 복수 개의 특징 벡터 각각을 N개의 기준 벡터 각각과 비교한다.

비교 결과는 다음과 같을 수 있다.

(제1 경우) 제1 프레임 내에 N개의 객체가 모두 존재하는 경우 :

이와 같이 분석된 경우, 특징 벡터 추출부(140)는 이와 같이 분석된 시점부터 소정의 시간 동안에는 프레임으로부터 특징 벡터를 추출하지 않는다. 여기서, 소정의 시간은 프레임 추출부(130)에 의해 추출된 시간적으로 가장 인접해있는 프레임들 간의 시간 간격보다 클 수 있으며, 이러한 시간은 도 2의 영상 재생 장치(10)가 어느 하나의 프레임 내에 있는 객체에 대한 메타 데이터를 제공할 수 있음을 표시하는 시간과 동일한 시간 간격을 가질 수 있다.

예컨대 소정의 시간이 10초라면, 제1 프레임 내에 N개의 객체가 모두 존재하는 것으로 분석된 시점부터 10초 동안에는, 프레임 추출부(130)에 의해 적어도 한 개의 프레임이 추출된다고 하더라도, 특징 벡터 추출부(140)는 이와 같이 추출된 어떠한 프레임으로부터도 특징 벡터를 추출하지 않는다. 특징 벡터가 추출되지 않기 때문에 객체 인식부(150) 또한 객체 인식 과정을 수행하지 않는다.

즉, 일 실시예에 따르면 프레임 내에 사전에 정의된 모든 객체가 존재한다고 분석되면, 소정의 시간 동안에는 프레임 내의 객체에 대한 인식 과정(특징 벡터 추출과정 및 기준 벡터와 특징 벡터와의 비교 과정)이 수행되지 않는다. 따라서, 그만큼 메타 데이터 제공 장치(100)가 동영상에 메타 데이터를 제공하기 위해 소비하는 시간과 자원 등이 절감될 수 있다.

(제2 경우) 제1 프레임 내에 N개의 객체 중 일부가 모두 존재하는 경우 :

이와 같이 분석된 경우, 특징 벡터 추출부(140)는 제1 프레임보다 시간적으로 뒤에 있는 제2 프레임으로부터 제2 특징 벡터를 추출한다. 이 때 실시예에 따라 제2 특징 벡터는 복수 개가 추출될 수 있다.

다음으로, 객체 인식부(150)는 N개의 기준 벡터 중에서 비교에 사용될 적어도 한 개의 기준 벡터를 선정한다. 선정 기준은 다음과 같다. N개의 기준 벡터 중에서 제1 프레임 내에 존재하는 것으로 인식된 객체에 해당하는 기준 벡터를 제외한 나머지 기준 벡터를, 전술한 비교에 사용될 적어도 하나의 기준 벡터로 선정하는 것이다. 선정되는 기준 벡터의 개수는 N개보다 작다.

객체 인식부(150)는 이와 같이 선정된 적어도 하나의 기준 벡터 각각을 제2 특징 벡터와 비교한다. 만약 제2 특징 벡터가 전술한 바와 같이 복수 개라면, 이러한 복수 개의 특징 벡터 각각을 적어도 하나의 기준 벡터 각각과 비교한다. 여기서, 객체 인식부(150)가 N개의 모든 기준 벡터 각각을 제2 특징 벡터를 비교하지 않고 전술한 바에 따라 선정된 적어도 하나의 기준 벡터 각각을 제2 특징 벡터 내지 다른 특징 벡터와 비교하는 것은 소정의 시간 동안에만 유효하고, 소정의 시간이 경과하면 다시 객체 인식부(150)는 N개의 모든 기준 벡터 각각과 대상이 되는 특징 벡터를 비교한다.

예컨대 N개의 기준 벡터 중 어느 하나가 '고양이'에 대한 기준 벡터인데, 제1 프레임에서 '고양이'가 인식된 경우를 가정하면, 객체 인식부(150)는 N개의 기준 벡터 중에서 '고양이'에 해당하는 기준 벡터를 제외한 나머지 기준 벡터, 즉 N-1개의 기준 벡터를 비교에 사용될 기준 벡터로서 선정한다. 아울러, 객체 인식부(150)는 이러한 N-1개의 기준 벡터 각각을 제2 특징 벡터와 비교한다.

즉, 일 실시예에 따르면 프레임 내에 사전에 정의된 객체 중 일부가 존재한다고 분석되면, 소정의 시간 동안에는 전술한 일부 객체에 대한 객체 인식 과정은 수행되지 않는다. 따라서, 그만큼 메타 데이터 제공 장치(100)가 동영상에 메타 데이터를 제공하기 위해 소비하는 시간과 자원 등이 절감될 수 있다

(제3 경우) 제1 프레임 내에 N개의 객체 중 어떠한 것도 존재하지 않는 경우 :

이 경우 특징 벡터 추출부(140)는 제2 프레임부터 순차적으로 각각의 프레임으로부터 특징 벡터를 추출한다. 아울러, 객체 인식부(150)는 제2 프레임에 대한 특징 벡터부터 순차적으로 각각의 프레임에 대한 특징 벡터에 대해 N개의 기준 벡터와 각각 비교하며, 이는 제1 경우나 제2 경우에 해당되는 경우가 나올 때까지, 즉 적어도 하나의 객체라도 동영상 내에 존재하는 것으로 인식될 때까지 계속된다.

다음으로, 메타 데이터 제공부(160)는 동영상에 메타 데이터를 제공한다. 메타 데이터는 저장부(120)에 미리 저장된 것이거나 또는 통신부(110)를 통해 외부의 서버(도면에는 도시되지 않음)로부터 획득된 것일 수 있다. 이와 같이 제공된 메타 데이터는 동영상에 시간 정보와 함께 부여될 수 있다.

도 4는 전술한 제1 경우 내지 제3 경우를 예를 들어서 도시한 도면이다. 도 4에서 사전에 정의된 기준 벡터는 총 5개이며, 이들은 각각 다음과 같은 객체(a,b,c,d,e)를 인식하는데에 사용되는 벡터인 것을 전제로 한다.

도 4에서 가로축은 시간이며, 그 중 위에 있는 가로축은 객체 인식 작업에 소요되는 시간을 개념적으로 도시한 것이다. 아울러, 아래 있는 가로축은 동영상에서 프레임 추출부(130)가 프레임을 추출한 순간을 화살표가 표시하고 있다.

도 4를 참조하면, 동영상에서 추출된 첫번 째 프레임으로부터 분석 과정, 즉 특징 벡터를 추출하는 과정이 수행되고, 이어서 5개의 객체가 해당 프레임 내에 존재하는 지를 분석하는 과정이 수행된다. 이를 위해 기준 벡터를 선정하는 과정이 선행되는데, 해당 경우에서는 이전에 인식된 객체가 없었으므로, 5개의 기준 벡터가 모두 비교에 사용될 기준 벡터로서 선정된다.

분석 결과, 객체 a 내지 e 중에서 a가 해당 프레임 내에 존재하는 것으로 인식된다. 이는 전술한 제2 경우에 해당한다. 따라서 특징 벡터 추출부(140)는 그 다음 프레임으로부터 특징 벡터를 추출하되, 객체 인식부(150)는 5개의 객체 중에서 객체 a를 제외한 나머지 b 내지 e 객체가 해당 프레임 내에 존재하는지를 분석한다(이를 위해 5개의 객체 중에서 b 내지 e 객체에 해당하는 기준 벡터를 선정하는 과정이 수행된다). 여기서, 객체 a가 해당 프레임 내에 존재하는지를 분석하는 과정이 생략되므로, 그만큼 객체 인식의 과정에 소요되는 시간과 리소스가 경감될 수 있다.

다음으로, 분석 결과, 객체 b 내지 e 모두가 해당 프레임 내에 존재하는 것으로 인식된다. 이미 객체 a가 그 전의 프레임에 존재하는 경우이므로, 이 경우는 전술한 제1 경우에 해당한다. 따라서 특징 벡터 추출부(140)는 그 다음 프레임으로부터 특징 벡터를 추출하지 않으며, 객체 인식부(150)에 의해 객체를 인식하는 과정 또한 수행되지 않는다. 따라서, 그만큼 객체 인식의 과정에 소요되는 시간과 리소스가 경감될 수 있다.

한편, 객체 인식부(150)가 5개의 객체 중에서 인식된 객체를 제외하고 기준 벡터를 선정하는 과정은 소정의 시간 동안만 수행되고 이러한 소정의 시간 경과 후에는 모든 객체에 대한 기준 벡터를 비교에 사용될 기준 벡터로서 선정하는데, 도 4에서는 객체 a를 인식하지 않는 시간과 객체 b 내지 e를 인식하지 않는 시간이 중첩되는 시간이 존재하며, 이 시간에는 모든 객체에 대한 인식과정이 수행되지 않으므로(즉, 제1 경우이므로) 특징 벡터 또한 추출되지 않는다. 다만, 객체 a를 제외하는 시간이 먼저 진행되었으므로, 도면에서와 같이 객체 a에 대한 소정의 시간이 경과한 이후에는 특징 벡터 추출부(140)는 소정의 프레임으로부터 특징 벡터를 추출하고, 객체 인식부(150)는 객체 a에 대한 기준 벡터를 선정해서 이를 기초로 객체 인식 과정을 수행한다. 그 이후에는 다시 5개의 객체에 대하 기준 벡터를 선정하여서 객체를 인식하는 과정이 수행된다.

도 5은 일 실시예에 따른 메타 데이터 제공 방법의 절차에 대해 개념적으로 도시하고 있다. 이러한 메타 데이터 제공 방법은 전술한 메타 데이터 제공 장치(100)에 의해 수행될 수 있다.

한편, 도 5에 도시된 절차는 예시적인 것에 불과하므로, 본 발명의 사상이 도 5에 도시된 것으로 한정 해석되지는 않는 바, 실시예에 따라서 5 6에 도시된 것과는 다른 순서로 절차가 수행될 수 있으며, 도 5에 도시된 절차 중 적어도 하나의 절차가 수행되지 않을 수도 있고, 도 5에 도시되지 않은 절차가 추가적으로 수행될 수도 있다.

먼저, 프레임 추출부(130)는 동영상으로부터 프레임을 추출한다(S10). 이러한 단계 S10에서, 프레임 추출부(130)는 소정의 시간 간격마다, 즉 주기적으로 프레임을 추출할 수 있다. 이 때, 이러한 시간 간격은 상황이나 조건에 따라 변경될 수 있다. 이와 달리, 프레임 추출부(130)는 동영상을 분석하여서, 화면 전환이 크게 일어날 때마다 프레임을 추출할 수도 있다.

만약, 이전 프레임 내에, 사전에 정의된 모든 객체가 존재하는 것으로 인식되었다면(S20) 특징 벡터 추출부(140)는 단계 S10에서 추출된 프레임으로부터 어떠한 특징 벡터도 추출하지 않으며, 따라서 객체 인식부(150) 또한 객체 인식 과정을 수행하지 않는다(S30). 아울러, 단계 S30에서 아무런 동작이 수행되지 않는 과정은 소정의 시간 동안 지속되다가(S31), 소정의 시간이 경과하면 다시 단계 S10으로 되돌아간다.

그러나, 만약 이전 프레임 내에 적어도 하나의 객체가 존재하는 것으로 인식되었다면(S10), 특징 벡터 추출부(140)는 프레임 추출부(130)에 의해 추출된 프레임으로부터 특징 벡터를 추출한다(S40). 만약 프레임에 객체가 복수 개 존재한다면, 특징 벡터 또한 복수 개가 해당 프레임으로부터 추출될 수 있다.

다음으로 객체 인식부(150)는 복수 개의 기준 벡터 중에서 비교에 사용될 적어도 한 개의 기준 벡터를 선정한다(S41). 선정 기준은 다음과 같다. 복수 개의 기준 벡터 중에서 시간상 이전의 프레임 내에 존재하는 것으로 인식된 객체에 해당하는 기준 벡터를 제외한 나머지 기준 벡터를, 전술한 비교에 사용될 적어도 하나의 기준 벡터로 선정한다.

객체 인식부(150)는 이와 같이 선정된 적어도 하나의 기준 벡터 각각을 특징 벡터와 비교하여서 객체 인식을 수행한다(S42)한다. 만약 특징 벡터가 전술한 바와 같이 복수 개라면, 이러한 복수 개의 특징 벡터 각각을 적어도 하나의 기준 벡터 각각과 비교한다. 여기서, 객체 인식부(150)가 복수 개의 모든 기준 벡터 각각을 특징 벡터를 비교하지 않고 전술한 바에 따라 선정된 적어도 하나의 기준 벡터 각각을 특징 벡터 내지 다른 특징 벡터와 비교하는 것은 소정의 시간 동안에만 유효하고, 소정의 시간이 경과하면 다시 객체 인식부(150)는 복수 개의 모든 기준 벡터 각각과 대상이 되는 특징 벡터를 비교한다.

한편, 전술한 일 실시예에 따른 메타 데이터 제공 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

일 실시예에 따르면, 메타 데이터 제공 장치가 동영상에 메타 데이터를 제공하기 위해 소비하는 시간과 자원 등이 절감될 수 있다.

100: 메타 데이터 제공 장치

Claims

동영상으로부터 시간상 이격되어 있는 복수 개의 프레임을 추출하는 프레임 추출부와,
상기 복수 개의 프레임 각각으로부터 특징 벡터(feature vector)를 추출하는 특징 벡터 추출부와,
객체 인식의 기준이 되는 복수 개의 기준 벡터 중에서 적어도 하나의 기준 벡터를 선정하고, 상기 선정된 적어도 하나의 기준 벡터 각각을 상기 복수 개의 프레임 중 어느 하나의 프레임으로부터 추출된 특징 벡터와 비교하여서 객체 인식 과정을 수행하는 객체 인식부와,
상기 어느 하나의 프레임 내의 객체에 대한 메타 데이터를 획득하여서 상기 동영상에 제공하는 메타 데이터 제공부를 포함하며,
상기 객체 인식부는,
상기 어느 하나의 프레임보다 시간상으로 앞선 프레임 내에 객체가 존재하는 것으로 인식되면, 상기 복수 개의 기준 벡터 중에서 상기 존재하는 것으로 인식된 객체에 해당하는 기준 벡터를 제외한 나머지 기준 벡터를 상기 적어도 하나의 기준 벡터로서 선정하는
메타 데이터 제공 장치.
제 1 항에 있어서,
상기 특징 벡터 추출부와 상기 객체 인식부는,
딥러닝(deep learning) 방식 중 컨볼루션 신경망 네트워크(convolution neural network)모델을 채용함으로써 구현된 것인
메타 데이터 제공 장치.
제 1 항에 있어서,
상기 객체 인식부는,
소정의 시간 동안에는 상기 선정된 적어도 하나의 기준 벡터 각각을 상기 어느 하나의 프레임으로부터 추출된 특징 벡터와 비교하여서 객체 인식 과정을 수행하고,
상기 소정의 시간 경과 후에는 상기 복수 개의 기준 벡터 각각을 상기 어느 하나의 프레임으로부터 추출된 특징 벡터와 비교하여서 객체 인식 과정을 수행하는
메타 데이터 제공 장치.
제 3 항에 있어서,
상기 소정의 시간은,
상기 동영상을 재생하는 영상 재생 장치가, 상기 어느 하나의 프레임 내에 있는 객체에 대한 메타 데이터를 제공할 수 있음을 표시하는 시간과 동일한 시간 간격을 갖는
메타 데이터 제공 장치.
제 1 항에 있어서,
상기 특징 벡터 추출부는,
상기 어느 하나의 프레임보다 시간상으로 앞선 프레임 내에 상기 복수 개의 기준 벡터 각각에 해당하는 객체가 모두 존재하는 것으로 인식되면, 상기 어느 하나의 프레임에서 상기 특징 벡터를 추출하지 않으며,
상기 객체 인식부는,
상기 어느 하나의 프레임에 대한 객체 인식 과정을 수행하지 않는
메타 데이터 제공 장치.
메타 데이터 제공 장치에 의해 수행되는 메타 데이터 제공 방법으로서,
동영상으로부터 제1 프레임을 추출하는 단계와,
상기 제1 프레임로부터 제1 특징 벡터를 추출하는 단계와,
상기 제1 프레임으로부터 추출된 제1 특징 벡터를 객체 인식의 기준이 되는 복수 개의 기준 벡터 각각과 비교하여서 객체 인식 과정을 수행하는 단계와,
상기 제1 프레임 내에서 인식된 제1 객체에 대한 메타 데이터를 획득하여서 상기 동영상에 제공하는 단계와,
상기 동영상으로부터 상기 제1 프레임보다 시간상으로 뒤에 있는 제2 프레임을 추출하는 단계와,
상기 제2 프레임로부터 제2 특징 벡터를 추출하는 단계와,
상기 복수 개의 기준 벡터 중에서 상기 제1 객체에 해당하는 기준 벡터를 제외한 적어도 하나의 기준 벡터를 선정하는 단계와,
상기 선정된 적어도 하나의 기준 벡터를 상기 제2 특징 벡터와 비교하여서 객체 인식 과정을 수행하는 단계와,
상기 제2 프레임 내에서 인식된 제2 객체에 대한 메타 데이터를 획득하여서 상기 동영상에 제공하는 단계를 포함하는
메타 데이터 제공 방법.
동영상으로부터 제1 프레임을 추출하는 단계와,
상기 제1 프레임로부터 제1 특징 벡터를 추출하는 단계와,
상기 제1 프레임으로부터 추출된 제1 특징 벡터를 객체 인식의 기준이 되는 복수 개의 기준 벡터 각각과 비교하여서 객체 인식 과정을 수행하는 단계와,
상기 제1 프레임 내에서 인식된 제1 객체에 대한 메타 데이터를 획득하여서 상기 동영상에 제공하는 단계와,
상기 동영상으로부터 상기 제1 프레임보다 시간상으로 뒤에 있는 제2 프레임을 추출하는 단계와,
상기 제2 프레임로부터 제2 특징 벡터를 추출하는 단계와,
상기 복수 개의 기준 벡터 중에서 상기 제1 객체에 해당하는 기준 벡터를 제외한 적어도 하나의 기준 벡터를 선정하는 단계와,
상기 선정된 적어도 하나의 기준 벡터를 상기 제2 특징 벡터와 비교하여서 객체 인식 과정을 수행하는 단계와,
상기 제2 프레임 내에서 인식된 제2 객체에 대한 메타 데이터를 획득하여서 상기 동영상에 제공하는 단계를 수행하도록 프로그램된
컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
동영상으로부터 제1 프레임을 추출하는 단계와,
상기 제1 프레임로부터 제1 특징 벡터를 추출하는 단계와,
상기 제1 프레임으로부터 추출된 제1 특징 벡터를 객체 인식의 기준이 되는 복수 개의 기준 벡터 각각과 비교하여서 객체 인식 과정을 수행하는 단계와,
상기 제1 프레임 내에서 인식된 제1 객체에 대한 메타 데이터를 획득하여서 상기 동영상에 제공하는 단계와,
상기 동영상으로부터 상기 제1 프레임보다 시간상으로 뒤에 있는 제2 프레임을 추출하는 단계와,
상기 제2 프레임로부터 제2 특징 벡터를 추출하는 단계와,
상기 복수 개의 기준 벡터 중에서 상기 제1 객체에 해당하는 기준 벡터를 제외한 적어도 하나의 기준 벡터를 선정하는 단계와,
상기 선정된 적어도 하나의 기준 벡터를 상기 제2 특징 벡터와 비교하여서 객체 인식 과정을 수행하는 단계와,
상기 제2 프레임 내에서 인식된 제2 객체에 대한 메타 데이터를 획득하여서 상기 동영상에 제공하는 단계를 수행하도록 프로그램된
컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체.