KR20220126590A

KR20220126590A - 콘텐츠 검색 시스템 및 이를 이용한 콘텐츠 검색 방법

Info

Publication number: KR20220126590A
Application number: KR1020210031042A
Authority: KR
Inventors: 정영환
Original assignee: 주식회사 케이티
Priority date: 2021-03-09
Filing date: 2021-03-09
Publication date: 2022-09-16

Abstract

적어도 하나의 프로세서에 의해 구동되는 콘텐츠 검색 시스템이 단말의 콘텐츠 검색 요청에 따라 콘텐츠를 검색하는 방법으로서, 복수의 원본 콘텐츠들에 대하여 각 원본 콘텐츠에 포함된 각 객체별로, 각 객체의 이동 경로를 표현하는 기준 벡터 지도와 객체 정보를 포함하는 기준 벡터 정보들을 생성한다. 단말이 재생중인 편집 콘텐츠로부터 특정 객체의 이동 경로를 표현하는 대상 벡터 지도와 상기 특정 객체의 객체 정보를 포함하는 대상 벡터 정보를 수신하면, 특정 객체 정보에 매핑되어 저장된 기준 벡터 지도들과 상기 대상 벡터 지도를 비교하여, 편집 영상의 원본 영상으로부터 생성된 후보 벡터 지도를 검색한다. 그리고 후보 벡터 지도에 매핑된 원본 콘텐츠 정보를 단말로 제공한다.

Description

콘텐츠 검색 시스템 및 이를 이용한 콘텐츠 검색 방법{Contents search system, client terminal and method for contents searching}

본 발명은 콘텐츠 내에서의 객체의 움직임 즉, 중심 좌표 변화를 분석하여 콘텐츠를 검색하는 콘텐츠 검색 시스템 및 이를 이용한 콘텐츠 검색 방법에 관한 것이다.

일반적으로 콘텐츠 검색 시스템은 텍스트가 아닌 매체(예를 들어, 영상이나 음원 등)의 검색 결과를 제공하기 위해서, 매체의 특징을 추출하여 텍스트 또는 해시(hash) 값의 형태로 저장한 후 해당 특징을 색인화한다. 그리고, 사용자가 특정 매체를 검색하고자 할 때, 콘텐츠 검색 시스템은 색인화 한 특징들을 사용자에게 제공하고, 사용자는 자신이 찾고자 하는 매체를 색인화된 특징들에서 검색한다.

즉, 콘텐츠 검색 시스템이 영상 검색 서비스를 제공하는 경우, 복수의 원본 영상들 속 이미지를 정규화하거나 딥러닝하여 각 영상 내의 내용에 대한 메타 값을 추출한다. 그리고 추출한 메타 값을 색인화 해두고 사용자에게 색인화된 이미지를 제공한다. 사용자는 이미지를 일일이 확인하여 임의의 이미지를 선택하면, 해당 이미지에 대한 영상을 검색 결과로 제공한다.

그리고, 콘텐츠 검색 시스템이 음원 검색 서비스를 제공하는 경우, 여러 원본 음원을 미리 설정된 길이로 잘라 특정 함수를 이용하여 해시 값을 생성한 후 색인화해 둔다. 그리고, 미리듣기 형태로 음원의 일부를 들려주고, 사용자가 선택한 미리듣기 음원의 원본 음원을 검색 결과로 제공한다.

한편, 최근 하나의 원본 영상을 편집하여, 재생산되는 영상들이 많아지고 있다. 예를 들어, 영화를 소개하는 프로그램에서 크리에이터의 얼굴이나 몸이 영상에 삽입되거나, 영상을 재생산하기 위해 텍스트가 삽입되는 경우가 빈번하게 발생한다. 또한, 여러 영상을 합쳐서 하나로 만들거나, 영상 중간 중간에 짧은 영상을 끼워 넣어 편집하거나, 트랜스 코딩하여 해상도를 변경하는 등 다양한 방법으로 원본 영상이 재생산되고 있다.

재생산된 영상을 확인한 사용자들은 해당 영상의 원본 영상을 궁금해하며 원본 영상을 검색하는 경우가 많다. 하지만, 종래의 콘텐츠 검색 시스템은 원본 영상이나 원본 음원들을 색인화해 두었기 때문에, 다양한 형태로 편집되어 재생산된 영상에서 원본 영상을 검색하여 제공하는 것이 불가능하다.

따라서, 본 발명은 편집 영상 내에서 추출한 객체의 움직임을 벡터 지도로 생성하고, 벡터 지도를 이용하여 원본 영상을 검색하는 콘텐츠 검색 시스템 및 이를 이용한 콘텐츠 검색 방법을 제공한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 적어도 하나의 프로세서에 의해 구동되는 콘텐츠 검색 시스템이 단말의 콘텐츠 검색 요청에 따라 콘텐츠를 검색하는 방법으로서,

복수의 원본 콘텐츠들에 대하여 각 원본 콘텐츠에 포함된 각 객체별로, 각 객체의 중심 좌표의 변화를 나타내는 기준 벡터 지도를 생성하는 단계, 편집 콘텐츠를 재생 중인 상기 단말로부터 상기 편집 콘텐츠에 포함된 특정 객체의 중심 좌표의 변화를 나타내는 대상 벡터 지도를 포함하는 원본 콘텐츠 검색 요청을 수신하는 단계, 상기 특정 객체에 매핑되어 저장된 기준 벡터 지도들과 상기 대상 벡터 지도를 비교하여, 상기 편집 콘텐츠의 원본 콘텐츠를 검색하는 단계, 그리고 상기 검색한 원본 콘텐츠 정보를 상기 단말로 제공하는 단계를 포함한다.

상기 기준 벡터 지도를 생성하는 단계는, 상기 원본 콘텐츠에서 기준 객체를 추출하는 단계, 상기 원본 콘텐츠의 제1 프레임에서 상기 기준 객체의 위치 좌표인 제1 x 좌표와 제1 y 좌표를 확인하고, 상기 원본 콘텐츠의 프레임 재생 속도에 해당하는 값을 제1 z 좌표로 대체하여 3차원의 제1 좌표를 생성하는 단계, 상기 제1 프레임에 연속된 제2 프레임에서 상기 기준 객체의 위치 좌표인 제2 x 좌표와 제2 y 좌표를 확인하고, 상기 프레임 재생 속도에 해당하는 값을 제2 z 좌표로 대체하여 3차원의 제2 좌표를 생성하는 단계, 그리고 상기 제1 좌표와 제2 좌표를 기초로 기준 벡터를 생성하고, 복수의 기준 벡터들을 연결하여 상기 기준 벡터 지도를 생성하는 단계를 포함할 수 있다.

상기 기준 벡터 지도를 생성하는 단계는, 상기 기준 벡터 지도에 포함된 기준 벡터들 각각에 대한 3차원의 좌표를 기준 벡터 테이블로 생성하는 단계를 포함할 수 있다.

상기 검색하는 단계는, 상기 대상 벡터 지도에 포함된 3차원의 대상 벡터 좌표들을 기초로 벡터 테이블을 생성할 수 있다.

상기 검색하는 단계는, 상기 원본 콘텐츠의 프레임 재생 시간이 상기 편집 콘텐츠의 프레임 재생 시간보다 짧으면, 상기 대상 벡터 좌표들의 z 좌표 값을 상기 기준 벡터 좌표의 z 좌표 값으로 일치시키는 단계, 상기 대상 벡터 테이블을 상기 원본 콘텐츠의 프레임 재생 시간에 따라 수정하는 단계, 그리고 z 좌표가 일치된 기준 벡터 좌표와 대상 벡터 좌표들에서, x 좌표와 y 좌표를 원본 콘텐츠의 해상도와 편집 콘텐츠의 해상도에 따라 배수 처리하는 단계를 포함할 수 있다.

상기 수정하는 단계는, 상기 원본 콘텐츠의 프레임 재생 시간과 편집 콘텐츠의 프레임 재생 시간의 비율에 따라, 상기 편집 콘텐츠의 프레임별 생성된 대상 벡터 좌표들 중 일부 대상 벡터 좌표를 삭제하는 단계, 그리고 일부 대상 벡터 좌표가 삭제된 대상 벡터 테이블과 상기 기준 벡터 테이블을 비교하는 단계를 포함할 수 있다.

상기 비교하는 단계는, 배수 처리된 대상 벡터 좌표의 x 좌표 및 y 좌표와 상기 기준 벡터 좌표의 x 좌표 및 y 좌표가 일치하면, 상기 기준 벡터 좌표가 매핑된 기준 벡터 정보를 추출하는 단계를 포함할 수 있다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 편집 콘텐츠에 대한 원본 콘텐츠를 검색하는 콘텐츠 검색 시스템으로서,

상기 편집 콘텐츠를 재생하는 단말로부터 상기 편집 콘텐츠로부터 생성된 특정 객체의 이동 경로를 표현하는 대상 벡터 지도를 수신하는 통신 인터페이스, 그리고 프로세서를 포함하고, 상기 프로세서는, 복수의 원본 콘텐츠들에 대하여 각 원본 콘텐츠에 포함된 각 객체별로, 각 객체의 이동 경로를 표현하는 기준 벡터 지도와 객체 정보를 포함하는 기준 벡터 정보들을 생성하고, 상기 대상 벡터 지도와 상기 특정 객체에 대응하여 생성한 기준 벡터 지도들을 비교하여 상기 대상 벡터 지도와 동일한 기준 벡터 지도를 추출하고, 추출한 기준 벡터 지도에 대응하는 후보 콘텐츠를 상기 편집 콘텐츠에 대응하는 원본 콘텐츠로 추출한다.

상기 프로세서는, 상기 원본 콘텐츠의 제1 프레임에서 기준 객체의 제1 중심 좌표를 확인하고, 상기 원본 콘텐츠의 프레임 재생 속도에 해당하는 값을 제1 z 좌표로 대체하여 3차원의 제1 좌표를 생성하고, 상기 제1 프레임에 연속된 제2 프레임에서 상기 기준 객체의 제1 중심 좌표를 확인하고, 상기 프레임 재생 속도에 해당하는 값을 제2 z 좌표로 대체하여 3차원의 제2 좌표를 생성하며, 상기 제1 좌표와 제2 좌표를 기초로 기준 벡터를 생성할 수 있다.

상기 프로세서는, 복수의 기준 벡터들을 이용하여 상기 기준 벡터 지도를 생성하고, 상기 기준 벡터 지도를 구성하는 복수의 기준 벡터들에 각각 매핑된 기준 벡터 좌표들을 기준 벡터 테이블로 생성할 수 있다.

상기 프로세서는, 상기 대상 벡터 지도로부터 추출한 대상 벡터 좌표들의 z 좌표 값을 상기 기준 벡터 좌표의 z 좌표 값으로 일치시키고, 상기 대상 벡터 지도로부터 생성된 대상 벡터 테이블을 상기 원본 콘텐츠의 프레임 재생 시간에 따라 수정할 수 있다.

상기 프로세서는, 상기 원본 콘텐츠의 프레임 재생 시간과 편집 콘텐츠의 프레임 재생 시간의 비율에 따라, 상기 편집 콘텐츠의 프레임별 생성된 대상 벡터 좌표들 중 일부 대상 벡터 좌표를 삭제할 수 있다.

상기 프로세서는, z 좌표가 일치된 기준 벡터 좌표와 대상 벡터 좌표들에서, 중심 좌표에 삽입된 값들을 원본 콘텐츠의 해상도와 편집 콘텐츠의 해상도에 따라 배수 처리할 수 있다.

상기 단말은, 재생중인 상기 편집 콘텐츠로부터 특정 객체를 추출하고, 상기 특정 객체의 이동 경로를 표현하는 상기 대상 벡터 지도와 상기 특정 객체의 식별 정보, 그리고 상기 대상 벡터 지도를 구성하는 복수의 대상 벡터들에 대한 대상 벡터 좌표들을 포함하는 대상 벡터 정보를 생성할 수 있다.

본 발명에 따르면, 객체의 움직임 변화를 나타내는 대상 벡터 지도와 기준 벡터 지도를 비교하여 탐색하기 때문에, 객체의 특징점을 이용한 검색 방법보다 빠르게 검색 결과를 제공할 수 있다.

또한, 편집이나 트랜스코딩 등으로 인해 영상의 일부 정보가 손실 되어도, 벡터 지도를 이용하여 손실되지 않을 정보로 검색할 수 있으므로, 정확하게 영상 검색 결과를 제공할 수 있다.

또한, 객체 인식을 통해 사용자들이 쌓아놓은 벡터 지도를 공유할 수 있으므로, 범용적인 활용이 가능하다.

도 1은 본 발명의 실시예에 따른 콘텐츠 검색 시스템이 적용된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 콘텐츠 검색 방법에 대한 흐름도이다.
도 3은 본 발명의 실시예에 따라 생성된 벡터 지도의 예시도이다.
도 4는 본 발명의 실시예에 따라 기준 벡터와 대상 벡터의 인터벌을 맞추는 예시도이다.
도 5는 본 발명의 실시예에 따라 벡터 지도를 이용한 영상 편집의 예시도이다.
도 6은 본 발명의 실시예에 따른 컴퓨팅 장치의 구조도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 도면을 참조로 하여 본 발명의 실시예에 따른 콘텐츠 검색 시스템, 클라이언트 단말 및 콘텐츠 검색 방법에 대해 설명한다. 본 발명의 실시예에서는 텍스트 이외의 콘텐츠들 중 영상을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.

도 1은 본 발명의 실시예에 따른 콘텐츠 검색 시스템이 적용된 환경의 예시도이다.

도 1에 도시된 바와 같이, 콘텐츠 검색 시스템(100)은 클라이언트 단말(200)과 연동한다.

사용자가 클라이언트 단말(200)을 이용하여 재생산된 영상(이하, 설명의 편의를 위하여 '편집 영상'이라 지칭함)을 시청하다가, 해당 영상의 원본 영상이 궁금하여 검색 버튼(①)을 누른다고 가정한다.

일반적으로 편집 영상은 유튜브나 웹 등을 통해 동영상 서비스로 제공된다. 따라서, 사용자가 편집 영상의 원본 영상을 보기 위해 검색 버튼을 누르면, 클라이언트 단말(200)은 현재 재생중인 편집 영상 내에 등장한 객체(예를 들어, 배우)를 인식한다. 클라이언트 단말(200)은 객체 이외에도 랜드마크, 브랜드 등을 인식할 수 있다.

클라이언트 단말(200)은 객체의 움직임을 시간 배열의 벡터(이하, 설명의 편의를 위하여 '대상 벡터' 또는 '대상 움직임 정보'라 지칭함)로 생성한다. 만약 장면에 객체가 없을 경우, 클라이언트 단말(200)은 화면 상에서 인식한 랜드마크의 위치가 어떻게 이동하는지, 또는 유명 브랜드가 적혀있는 간판이 어떻게 이동하는지 등을 통해 벡터 지도를 생성할 수도 있다.

클라이언트 단말(200)은 생성한 대상 벡터를 콘텐츠 검색 시스템(100)으로 전송한다.

콘텐츠 검색 시스템(100)은 원본 콘텐츠들에서 각 객체별로 벡터 지도를 생성하여 저장한다. 즉, 복수의 원본 콘텐츠들 각각의 객체별 움직임을 벡터(이하, 설명의 편의를 위하여 '기준 벡터' 또는 '기준 움직임 정보'라 지칭함)로 생성하여 관리한다. 이때, 콘텐츠 검색 시스템(100)은 객체별로 즉, 동영상의 경우에는 영상 속 배우들을 카테고리로 하고, 해당 배우가 출연한 영상별로 기준 벡터를 매핑하여 저장할 수도 있다.

콘텐츠 검색 시스템(100)은 클라이언트 단말(200)이 전송한 편집 영상 정보를 기초로 생성한 대상 벡터 지도와 기 생성하여 저장한 복수의 기준 벡터 지도들을 비교한다. 그리고 대상 벡터 지도와 유사한 벡터 값을 가지는 기준 벡터 지도가 검색되면, 콘텐츠 검색 시스템(100)은 검색된 기준 벡터 지도에 매핑된 원본 영상의 정보를 확인하여 클라이언트 단말(200)로 전송한다.

콘텐츠 검색 시스템(100)은 클라이언트 단말(200)로부터 원본 콘텐츠에 대한 제공을 요청 받으면, 원본 콘텐츠를 클라이언트 단말(200)에 제공한다. 이를 위해, 콘텐츠 검색 시스템(100)은 원본 콘텐츠들을 저장할 수도 있다.

또는, 콘텐츠 검색 시스템(100)이 콘텐츠 제공 서버(도면 미도시)와 연동하여 콘텐츠 제공 서버로부터 원본 콘텐츠를 제공 받아 클라이언트 단말(200)로 제공할 수도 있다. 또는, 콘텐츠 검색 시스템(100)이 콘텐츠 제공 서버로, 클라이언트 단말(200)에 원본 콘텐츠를 제공하도록 지시할 수도 있다.

본 발명의 실시예에서는 콘텐츠 검색 시스템(100)과 클라이언트 단말(200)이 벡터 지도를 각각 생성하는 것을 예로 하여 설명하나, 클라이언트 단말(200)이 편집 영상에 대한 정보(예를 들어, URL 등)를 콘텐츠 검색 시스템(100)으로 제공하면 콘텐츠 검색 시스템(100)이 대상 벡터 지도를 생성한 후 검색 결과를 알려줄 수도 있다. 또는, 벡터 지도를 생성하는 별도의 서버(도면 미도시)에서 처리할 수도 있다.

또한, 콘텐츠 검색 시스템(100)은 사용자가 바로 원본 영상을 시청하지 않고 나중에 시청을 원하는 경우, 해당 영상의 정보를 저장해 두었다가 원하는 기기(300)로 영상 스트리밍 서비스를 제공할 수도 있다.

이와 같은 환경에서, 재생산된 영상을 재생하는 클라이언트 단말(200)이 원본 영상을 검색할 경우, 원본 콘텐츠를 검색하여 제공하는 방법에 대해 도 2를 참조로 설명한다.

도 2는 본 발명의 실시예에 따른 콘텐츠 검색 방법에 대한 흐름도이다.

도 2에 도시된 바와 같이, 콘텐츠 검색 시스템(100)은 복수의 원본 콘텐츠들 각각에 등장하는 객체별 3차원 벡터인 기준 벡터 지도를 생성한다(S100). 이때, 콘텐츠 검색 시스템(100)은 원본 영상에 등장하는 객체들별로 각각 객체의 움직임 변화를 나타내는 기준 벡터 지도를 생성한다.

콘텐츠 검색 시스템(100)은 영상에서 객체를 인식하여 객체 정보를 생성한다. 본 발명의 실시예에서는 객체의 얼굴을 인식하여 배우 이름을 추출하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 그리고, 콘텐츠 검색 시스템(100)이 영상 속에서 객체의 얼굴을 인식하고, 인식한 얼굴을 기초로 배우 이름을 추출하는 방법은 다양한 방법으로 실행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.

콘텐츠 검색 시스템(100)은 추출한 객체의 중심 좌표를 추출한다. 콘텐츠 검색 시스템(100)이 객체의 중심 좌표를 추출하는 방법은 다양한 방법으로 실행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.

콘텐츠 검색 시스템(100)은 객체가 등장한 화면 속에서 객체의 x 좌표와 y좌표를 확인하고, 해당 객체가 등장한 프레임에 해당하는 시간축을 z 좌표로 하는 3차원 벡터를 생성한다. 여기서 시간축은 초당 프레임 수(FPS)에 따라 결정된다. 예를 들어 FPS가 30인 영상의 시간축은 33.34ms가 되며, 33.34가 z 좌표가 된다.

이와 같은 방법으로 콘텐츠 검색 시스템(100)은 원본 영상에 대한 기준 벡터 지도를 생성해 둔다. 이때, 콘텐츠 검색 시스템(100)은 배우뿐만 아니라 영상에 등장하는 랜드마크나 유명 브랜드 등도 객체로 추출하여 기준 벡터 지도로 생성해둔다. 그리고 콘텐츠 검색 시스템(100)은 3차원의 기준 벡터 지도에 해당하는 벡터 테이블도 매핑하여 저장한다. 벡터 테이블은 기준 벡터 지도의 좌표 값을 표현한 것이다.

사용자는 클라이언트 단말(200)을 이용하여 웹이나 앱 등에서 제공하는 동영상 서비스를 통해 편집 영상을 재생하여 시청한다(S110). 사용자가 편집 영상을 시청하다가 편집 영상의 원본 영상이 궁금하여 검색 버튼을 입력하면, 클라이언트 단말(200)은 사용자에 의해 원본 영상 검색 요청이 있음을 수신한다(S120).

클라이언트 단말(200)은 현재 재생중인 편집 영상 속에서 배우나 랜드마크 등 객체를 인식하고, S100 단계에서 상술한 바와 같이 프레임별로 객체의 움직임을 나타내는 대상 벡터를 생성한다(S130). 클라이언트 단말(200)은 복수의 대상 벡터들이 연결되어 있는 대상 벡터 지도와 각 백터에 해당하는 좌표 값들, 그리고 객체에 대한 객체 식별 정보를 포함하는 대상 벡터 정보를 콘텐츠 검색 시스템(100)으로 전송한다(S140). 여기서 객체 식별 정보는, 객체가 배우인 경우 배우 이름, 랜드마크인 경우 장소 이름, 브랜드인 경우 브랜드 명 등에 해당한다.

콘텐츠 검색 시스템(100)은 S140 단계에서 수신한 대상 벡터 정보를 기초로, 기 저장되어 있는 기준 벡터 지도들과 대상 벡터 지도를 비교하여 유사한 벡터가 있는지 확인한다. 그리고, 유사한 벡터 지도가 기준 벡터 지도로 저장되어 있으면, 해당 기준 벡터 지도에 매핑되어 있는 원본 영상 정보를 검색한다(S150).

콘텐츠 검색 시스템(100)은 S150 단계에서 검색한 원본 영상 정보를 클라이언트 단말(200)로 전송한다(S160). 사용자가 클라이언트 단말(200)을 통해 디스플레이 되는 원본 영상 정보를 확인하여 원본 영상 재생을 요청하면(S170), 콘텐츠 검색 시스템(100)은 원본 영상을 클라이언트 단말(200)로 제공한다(S180).

다음은 S100 단계 또는 S130 단계에서 콘텐츠 검색 시스템(100)이나 클라이언트 단말(200)이 영상 속에서 추출한 객체의 움직임을 벡터로 생성하는 방법에 대해 도 3을 참조로 설명한다. 본 발명의 실시예에서는 콘텐츠 검색 시스템(100)을 주체로 하여 설명하며, 영상의 프레임 재생 속도는 30FPS인 것을 예로 하여 설명한다.

도 3은 본 발명의 실시예에 따라 생성된 벡터 지도의 예시도이다.

도 3의 (a)에 도시된 바와 같이, 콘텐츠 검색 시스템(100)은 A라는 영상에서 객체를 인식하여, 객체에 해당하는 식별 정보를 추출한다. 그리고 객체의 중심 좌표와 함께 식별 정보를 메타로 저장한다. 이때, 콘텐츠 검색 시스템(100)은 프레임별로 객체의 중심 좌표를 추출한다.

그리고 콘텐츠 검색 시스템(100)은 도 3의 (b)에 도시된 바와 같이 객체의 좌표를 프레임 순서대로 정렬하여, 객체의 3차원 좌표를 추출한다. 여기서, 객체의 x, y축은 해당 객체의 x 좌표와 y 좌표로 유지된다. 그리고 z축은 시간 축으로 설정한다. 본 발명의 실시예에서는 영상의 프레임 재생 속도가 30FPS인 것을 예로 하여 설명하므로, 하나의 프레임에서 다른 프레임으로의 이동 속도인 33.34ms에 해당하는 33.34가 z축으로 설정된다.

콘텐츠 검색 시스템(100)은 도 3의 (c)에 도시된 바와 같이, 매 프레임별로 객체의 이동 값을 3차원 벡터로 표현한다. 3차원 벡터로 표시한 화살표의 꼬리 부분은 n 프레임에서의 객체 위치에 해당하고, 화살표의 머리 부분은 n+1 프레임에서의 객체 위치에 해당한다.

그리고 매 프레임별로 추출한 객체의 이동 값을 하나로 연결하면 도 3의 (d)에 도시된 바와 같이 구불구불한 하나의 선이 생성된다. 도 3의 (d)에 도시한 구불구불한 하나의 선을 '벡터 지도'라 정의한다. 예를 들어 콘텐츠 검색 시스템(100)이 추출한 객체가 '정우성'인 경우, 복수의 프레임들로 구성된 하나의 씬(Scene)에서 도 3의 (d)와 같이 객체의 중심 좌표의 변화를 나타내는 벡터 지도가 생성된다.

콘텐츠 검색 시스템(100)은 객체 '정우성' 카테고리에 도 3의 (d)에서 생성한 벡터 지도를 포함하여 도 3의 (e)에 도시된 바와 같이 벡터 지도로 저장한다. 즉, 정우성이 A라는 영상에서 여러 장면에서 등장하면, 콘텐츠 검색 시스템(100)은 A 영상의 정우성 카테고리에, 정우성이 움직인 중심 좌표 변화인 벡터 지도들을 모아 저장한다. 이때, 벡터 지도별로 정우성의 움직임에 해당하는 영상도 함께 저장한다.

이와 같이, 객체별로 원본 영상의 기준 벡터들을 포함하는 벡터 지도를 생성한 후 클라이언트 단말(200)로부터 대상 벡터 지도를 수신하면, 콘텐츠 검색 시스템(100)은 기준 벡터 지도와 대상 벡터 지도의 z축 인터벌을 동일하게 맞춰야 한다. 이에 대해 도 4를 참조로 설명한다.

도 4는 본 발명의 실시예에 따라 기준 벡터와 대상 벡터의 인터벌을 맞추는 예시도이다.

콘텐츠 검색 시스템(100)이 기준 벡터 지도를 생성할 때 사용한 영상의 프레임 재생 속도와 클라이언트 단말(200)이 대상 벡터 지도를 생성할 때 사용한 영상의 프레임 재생 속도가 상이할 수 있다. 따라서, 콘텐츠 검색 시스템(100)은 각 벡터 좌표에서 z축 좌표의 값을 하나의 값으로 맞춰준다.

예를 들어, 대상 벡터 지도를 생성한 영상은 30fps의 영상이고, 제1 기준 벡터 지도를 생성한 영상은 50fps의 영상이며, 제2 기준 벡터 지도를 생성한 영상은 100fps의 영상이라고 가정한다.

이 경우, z축 좌표의 값을 100fps로 맞춘다고 가정하면, 콘텐츠 검색 시스템(100)은 FPS가 30인 영상의 벡터 좌표는 3개의 프레임 중 두 개의 프레임에 해당하는 벡터 좌표들은 사용하지 않고, 하나의 프레임에 해당하는 벡터 좌표만 사용한다. 그리고 콘텐츠 검색 시스템(100)은 FPS 50인 영상의 벡터 좌표는 2개의 프레임 중 하나의 프레임에 해당하는 벡터 좌표만 사용한다.

이와 같이 인터벌을 맞춰 생성한 벡터 좌표들로 구성된 테이블을 벡터 테이블이라 지칭한다. 즉, 콘텐츠 검색 시스템(100)이 기준 벡터 지도를 기초로 생성한 테이블은 기준 벡터 테이블이라 지칭하고, 클라이언트 단말(200)에서 대상 벡터 지도를 기초로 생성한 테이블은 대상 벡터 테이블이라 지칭한다. 대상 벡터 지도와 대상 벡터 테이블을 클라이언트 단말(200)에서 생성하는 것을 예로 하여 설명하나, 콘텐츠 검색 시스템(100)이 대상 벡터 지도를 수신하여 대상 벡터 테이블을 생성할 수도 있다.

이렇게 생성된 기준 벡터 테이블 또는 대상 벡터 테이블은 도 4의 (b)에 도시된 바와 같다. 콘텐츠 검색 시스템(100)은 도 4의 (b)에 도시된 테이블을 이용하여, 대상 좌표 벡터에 해당하는 기준 좌표 벡터를 검색한다.

즉, 대상 벡터 지도를 F, 원본 영상으로부터 생성한 기준 벡터 지도를 F'라 할 때, 콘텐츠 검색 시스템(100)은 F` = kF 가 존재하는 벡터 지도가 있는지 확인한다. 여기서, k는 해상도에 따른 배수를 의미한다.

도 4의 (b)에 도시된 테이블을 예로 하면, 대상 벡터 좌표로부터 생성한 대상 벡터 테이블과 제2 기준 벡터 좌표로부터 생성한 제2 기준 벡터 테이블 사이에 F` = kF(여기서, k는 0.5)가 존재하는 것을 알 수 있다. 따라서, 콘텐츠 검색 시스템(100)은 제2 기준 벡터 지도가 생성된 영상이 사용자가 시청하고 있는 편집 영상의 원본 영상이라 판단한다.

다음은, 본 발명의 실시예에 따라 생성한 벡터 지도를 이용하여 영상 합성/편집 서비스를 제공하는 예에 대해 도 5를 참조로 설명한다. 도 5의 실시예는 클라이언트 단말(200)을 주체로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.

도 5는 본 발명의 실시예에 따라 벡터 지도를 이용한 영상 편집의 예시도이다.

도 5에 도시된 바와 같이, 사용자는 벡터 지도를 통해 객체의 이동 경로를 알 수 있으므로, 영상을 편집하면서 객체들을 의도적으로 겹치지 않게 편집하거나 자연스럽게 겹치는 등의 편집 서비스를 이용할 수 있다.

즉, 클라이언트 단말(200)은 도 5의 (a)에 도시된 바와 같이 A 영상에서 제1 객체의 움직임에 대한 제1 벡터 지도와 영상에서 객체를 분할한 제1 객체 영상을 매핑하여 수집한다. 그리고 클라이언트 단말(200)은 도 5의 (b)에 도시된 바와 같이 B 영상에서 제2 객체의 움직임에 대한 제2 벡터 지도와 영상에서 객체를 분할한 제2 객체 영상을 매핑하여 수집한다.

사용자는 클라이언트 단말(200)을 이용하여 도 5의 (c)에 도시된 바와 같이, 빈 프레임에 제1 벡터 지도와 제2 벡터 지도를 배치할 수 있다. 그러면, 도 5의 (d)에 도시된 바와 같이, 사용자는 제1 객체와 제2 객체가 적절한 위치에 배치된 편집 영상을 획득할 수 있다.

도 6은 본 발명의 실시예에 따른 컴퓨팅 장치의 구조도이다.

도 6에 도시된 바와 같이, 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치(400)에서, 본 발명의 동작을 실행하도록 기술된 명령들(instructions)이 포함된 프로그램을 실행한다. 본 발명의 실시예에서는 콘텐츠 검색 시스템(100)과 클라이언트 단말(200)이 컴퓨팅 장치(400)로 구현되는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.

컴퓨팅 장치(400)의 하드웨어는 적어도 하나의 프로세서(410), 메모리(420), 스토리지(430), 통신 인터페이스(440)를 포함할 수 있고, 버스를 통해 연결될 수 있다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 컴퓨팅 장치(400)는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.

프로세서(510)는 컴퓨팅 장치(400)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(410)일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다.

메모리(420)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(410)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(420)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다.

스토리지(430)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다.

통신 인터페이스(440)는 유/무선 통신 모듈일 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

적어도 하나의 프로세서에 의해 구동되는 콘텐츠 검색 시스템이 단말의 콘텐츠 검색 요청에 따라 콘텐츠를 검색하는 방법으로서,
복수의 원본 콘텐츠들에 대하여 각 원본 콘텐츠에 포함된 각 객체별로, 각 객체의 중심 좌표의 변화를 나타내는 기준 벡터 지도를 생성하는 단계,
편집 콘텐츠를 재생 중인 상기 단말로부터 상기 편집 콘텐츠에 포함된 특정 객체의 중심 좌표의 변화를 나타내는 대상 벡터 지도를 포함하는 원본 콘텐츠 검색 요청을 수신하는 단계,
상기 특정 객체에 매핑되어 저장된 기준 벡터 지도들과 상기 대상 벡터 지도를 비교하여, 상기 편집 콘텐츠의 원본 콘텐츠를 검색하는 단계, 그리고
상기 검색한 원본 콘텐츠 정보를 상기 단말로 제공하는 단계
를 포함하는, 콘텐츠 검색 방법.
제1항에 있어서,
상기 기준 벡터 지도를 생성하는 단계는,
상기 원본 콘텐츠에서 기준 객체를 추출하는 단계,
상기 원본 콘텐츠의 제1 프레임에서 상기 기준 객체의 위치 좌표인 제1 x 좌표와 제1 y 좌표를 확인하고, 상기 원본 콘텐츠의 프레임 재생 속도에 해당하는 값을 제1 z 좌표로 대체하여 3차원의 제1 좌표를 생성하는 단계,
상기 제1 프레임에 연속된 제2 프레임에서 상기 기준 객체의 위치 좌표인 제2 x 좌표와 제2 y 좌표를 확인하고, 상기 프레임 재생 속도에 해당하는 값을 제2 z 좌표로 대체하여 3차원의 제2 좌표를 생성하는 단계, 그리고
상기 제1 좌표와 제2 좌표를 기초로 기준 벡터를 생성하고, 복수의 기준 벡터들을 연결하여 상기 기준 벡터 지도를 생성하는 단계
를 포함하는, 콘텐츠 검색 방법.
제2항에 있어서,
상기 기준 벡터 지도를 생성하는 단계는,
상기 기준 벡터 지도에 포함된 기준 벡터들 각각에 대한 3차원의 좌표를 기준 벡터 테이블로 생성하는 단계
를 포함하는, 콘텐츠 검색 방법.
제1항에 있어서,
상기 검색하는 단계는,
상기 대상 벡터 지도에 포함된 3차원의 대상 벡터 좌표들을 기초로 대상 벡터 테이블을 생성하는 단계
를 포함하는, 콘텐츠 검색 방법.
제4항에 있어서,
상기 검색하는 단계는,
상기 원본 콘텐츠의 프레임 재생 시간이 상기 편집 콘텐츠의 프레임 재생 시간보다 짧으면, 상기 대상 벡터 좌표들의 z 좌표 값을 상기 기준 벡터 좌표의 z 좌표 값으로 일치시키는 단계,
상기 대상 벡터 테이블을 상기 원본 콘텐츠의 프레임 재생 시간에 따라 수정하는 단계, 그리고
z 좌표가 일치된 기준 벡터 좌표와 대상 벡터 좌표들에서, x 좌표와 y 좌표를 원본 콘텐츠의 해상도와 편집 콘텐츠의 해상도에 따라 배수 처리하는 단계
를 포함하는, 콘텐츠 검색 방법.
제5항에 있어서,
상기 수정하는 단계는,
상기 원본 콘텐츠의 프레임 재생 시간과 편집 콘텐츠의 프레임 재생 시간의 비율에 따라, 상기 편집 콘텐츠의 프레임별 생성된 대상 벡터 좌표들 중 일부 대상 벡터 좌표를 삭제하는 단계, 그리고
일부 대상 벡터 좌표가 삭제된 대상 벡터 테이블과 상기 기준 벡터 테이블을 비교하는 단계
를 포함하는, 콘텐츠 검색 방법.
제6항에 있어서,
상기 비교하는 단계는,
배수 처리된 대상 벡터 좌표의 x 좌표 및 y 좌표와 상기 기준 벡터 좌표의 x 좌표 및 y 좌표가 일치하면, 상기 기준 벡터 좌표가 매핑된 기준 벡터 정보를 추출하는 단계
를 포함하는, 콘텐츠 검색 방법.
편집 콘텐츠에 대한 원본 콘텐츠를 검색하는 콘텐츠 검색 시스템으로서,
상기 편집 콘텐츠를 재생하는 단말로부터 상기 편집 콘텐츠로부터 생성된 특정 객체의 이동 경로를 표현하는 대상 벡터 지도를 수신하는 통신 인터페이스, 그리고
프로세서
를 포함하고,
상기 프로세서는,
복수의 원본 콘텐츠들에 대하여 각 원본 콘텐츠에 포함된 각 객체별로, 각 객체의 이동 경로를 표현하는 기준 벡터 지도와 객체 정보를 포함하는 기준 벡터 정보들을 생성하고, 상기 대상 벡터 지도와 상기 특정 객체에 대응하여 생성한 기준 벡터 지도들을 비교하여 상기 대상 벡터 지도와 동일한 기준 벡터 지도를 추출하고, 추출한 기준 벡터 지도에 대응하는 후보 콘텐츠를 상기 편집 콘텐츠에 대응하는 원본 콘텐츠로 추출하는, 콘텐츠 검색 시스템.
제8항에 있어서,
상기 프로세서는,
상기 원본 콘텐츠의 제1 프레임에서 기준 객체의 제1 중심 좌표를 확인하고, 상기 원본 콘텐츠의 프레임 재생 속도에 해당하는 값을 제1 z 좌표로 대체하여 3차원의 제1 좌표를 생성하고,
상기 제1 프레임에 연속된 제2 프레임에서 상기 기준 객체의 제1 중심 좌표를 확인하고, 상기 프레임 재생 속도에 해당하는 값을 제2 z 좌표로 대체하여 3차원의 제2 좌표를 생성하며,
상기 제1 좌표와 제2 좌표를 기초로 기준 벡터를 생성하는, 콘텐츠 검색 시스템.
제9항에 있어서,
상기 프로세서는,
복수의 기준 벡터들을 이용하여 상기 기준 벡터 지도를 생성하고, 상기 기준 벡터 지도를 구성하는 복수의 기준 벡터들에 각각 매핑된 기준 벡터 좌표들을 기준 벡터 테이블로 생성하는, 콘텐츠 검색 시스템.
제10항에 있어서,
상기 프로세서는,
상기 대상 벡터 지도로부터 추출한 대상 벡터 좌표들의 z 좌표 값을 상기 기준 벡터 좌표의 z 좌표 값으로 일치시키고, 상기 대상 벡터 지도로부터 생성된 대상 벡터 테이블을 상기 원본 콘텐츠의 프레임 재생 시간에 따라 수정하는, 콘텐츠 검색 시스템.
제11항에 있어서,
상기 프로세서는,
상기 원본 콘텐츠의 프레임 재생 시간과 편집 콘텐츠의 프레임 재생 시간의 비율에 따라, 상기 편집 콘텐츠의 프레임별 생성된 대상 벡터 좌표들 중 일부 대상 벡터 좌표를 삭제하는, 콘텐츠 검색 시스템.
제12항에 있어서,
상기 프로세서는,
z 좌표가 일치된 기준 벡터 좌표와 대상 벡터 좌표들에서, 중심 좌표에 삽입된 값들을 원본 콘텐츠의 해상도와 편집 콘텐츠의 해상도에 따라 배수 처리하는, 콘텐츠 검색 시스템.
제13항에 있어서,
상기 단말은,
재생중인 상기 편집 콘텐츠로부터 특정 객체를 추출하고, 상기 특정 객체의 이동 경로를 표현하는 상기 대상 벡터 지도와 상기 특정 객체의 식별 정보, 그리고 상기 대상 벡터 지도를 구성하는 복수의 대상 벡터들에 대한 대상 벡터 좌표들을 포함하는 대상 벡터 정보를 생성하는, 콘텐츠 검색 시스템.