KR20140023660A

KR20140023660A - 캡쳐된 이미지를 이용한 동영상 분석 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR20140023660A
Application number: KR1020120089860A
Authority: KR
Inventors: 박근한; 정유진
Original assignee: 네이버 주식회사
Priority date: 2012-08-17
Filing date: 2012-08-17
Publication date: 2014-02-27
Also published as: JP6280323B2; US20140050400A1; KR101541495B1; JP2014038602A; US9305215B2

Abstract

본 발명은 동영상으로부터 캡쳐된 화면 이미지를 네트워크를 통해 수집하고, 수집된 각 이미지와 관련된 정보를 분석하기 위한 캡쳐된 이미지를 이용한 동영상 분석 장치에 관한 것으로, 특히 복수의 프레임들로 구성된 동영상으로부터 적어도 하나의 프레임을 추출하는 비디오 프레임 추출부; 상기 비디오 프레임 추출부를 통해 추출된 각 프레임의 특징을 수치화하는 추출 프레임 수치화부; 적어도 하나의 수집된 검색 대상 이미지의 특징을 수치화하는 이미지 수치화부; 수치화한 값들에 의해 상기 검색 대상 이미지를 상기 복수의 프레임들로부터 추출된 적어도 하나의 프레임과 비교하는 이미지 비교 검색부; 및 상기 비교 결과, 상기 검색 대상 이미지와 일치하는 프레임이 존재할 경우, 상기 일치하는 프레임에 상기 수집된 검색 대상 이미지의 관련 정보를 매핑하여 데이터베이스에 저장하는 검색 결과 처리부를 포함한다.

Description

캡쳐된 이미지를 이용한 동영상 분석 장치, 방법 및 컴퓨터 판독 가능한 기록 매체{APPARATUS, METHOD AND COMPUTER READABLE RECORDING MEDIUM FOR ANALYZING A VIDEO USING THE IMAGE CAPTURED FROM THE VIDEO}

본 발명은 동영상으로부터 캡쳐된 이미지를 분석하기 위한 장치에 관한 것으로, 보다 상세하게는 동영상으로부터 캡쳐된 화면 이미지를 네트워크를 통해 수집하고, 수집된 각 이미지와 관련된 정보를 분석하기 위한 캡쳐된 이미지를 이용한 동영상 분석 장치, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

일반적으로 인터넷은 전세계 어디서나, 누구나 접속하고자 하는 상대편 컴퓨터에 TCP/IP 라는 공통의 프로토콜을 적용하여 자유롭게 연결하여 사용할 수 있도록 구성된 개방형 네트워크로서, 기본적인 문자정보의 전달은 물론 압축기술의 발전과 더불어 멀티미디어 정보의 전달에 이용되는 등 전자우편, 파일전송, WWW(World Wide Web) 등의 다양한 서비스를 이용할 수 있다.

이와 같은 인터넷은 국내를 비롯하여 세계적으로 사용이 급격하게 증가하면서 기존 산업의 전 부분에 걸쳐 효율성과 생산성 제고를 위한 전략적인 도구로서 중요성이 급속히 증대되고 있으며, 인터넷을 통한 새로운 비즈니스 기회가 지속적으로 창출됨은 물론, 그 영역도 확장되고 있는 추세로서 인터넷을 이용한 사업자들도 점점 더 증가하고 있다.

한편, 최근에는 스마트폰 등과 같은 디지털 장비의 확산으로 개인의 동영상 콘텐츠(예컨대, UCC(User Created Contents))가 대량으로 생산되고 있으며, TV 방송과 영화 콘텐츠 등도 VOD(Video on demand) 서비스 등을 통해 웹에서 시청하는 것이 일반화되고 있다.

이러한 동영상 콘텐츠의 원활한 소비를 위해서는 원하는 콘텐츠에 대한 검색과 브라우징이 가능하도록 특정 장면에 대한 정보를 포함하는 다양한 동영상 메타(meta) 정보가 필요하다. 예컨대, 현재 동영상 검색이나 서비스에서는 동영상의 제목과 날짜, 조회수 등 동영상에 관련된 텍스트 형태의 메타 정보를 주로 사용하고 있으며, 해당 동영상의 조회수 등을 이용해 동영상의 인기도를 파악하고 있는 실정이다.

그러나, 이와 같이 텍스트 형태의 메타 정보만을 활용하여 동영상을 검색하는 방법으로는 실제로 해당 동영상 내에서 어떤 장면이 놓치지 말고 봐야 할 인기있는 장면인지 알 수 없으며, 직접 동영상에 링크를 걸어 포스팅을 하는 경우를 제외하고는 외부(예컨대, 다른 웹사이트들)에서 이 동영상에 대해 어떤 이야기를 얼마나 하고 있는지를 파악할 수 없다.

또한, 사용자들은 동영상 그 자체가 아닌 동영상으로부터 캡쳐된 특정 화면 이미지를 웹상에 업로드 하고, 이를 통해 해당 동영상 콘텐츠 정보에 대해서 페이스북이나 트위터 등과 같은 SNS(Social Network Service) 사이트 또는 자신의 블로그나 홈페이지에서 다른 사용자들과 이야기를 나누는 경우가 빈번하게 발생하고 있다.

특히, 저작권이 있거나 로그인하여야 재생 가능한 콘텐츠에 대해서는 직접 해당 콘텐츠를 웹사이트 등에 포스팅하여 첨부하기 어려우며, 이야기하고 싶은 동영상의 특정 장면에 대한 고유 URL을 취득하는 것도 쉽지 않기 때문에, 뉴스에서도 해당 동영상 대신 방송이나 영화의 특정 장면만을 캡쳐하여 기사로 활용하고 있다.

이와 같이 동영상으로부터 캡쳐된 이미지와 함께 유통되는 동영상에 관련된 풍부한 메타 정보를 포함하는 정보들은 해당 동영상과 직접 연결되지 못하고 있는 실정이다.

한편, 이러한 동영상 콘텐츠에 대한 관련 정보를 제공하기 위한 기술로서 대한민국등록특허공보 제10-0857381호 "컨텐츠 서비스 시스템 및 방법(엔에이치엔(주))"(문헌 1)에는 동영상 저작물에서 출처 정보를 생성하여 데이터베이스에 저장하고, 장면 데이터와의 유사도를 산출하여 출처를 추출할 수 있는 컨텐츠 서비스 방법이 개시된다.

그러나, 이러한 종래의 방법들은 단순히 동영상에 대한 메타 정보만을 제공할 뿐, 주요 장면들이 캡쳐된 이미지에 대한 관련 정보들을 제공하지 못하는 한계가 있다.

따라서, 동영상으로부터 캡쳐된 각 이미지에 대한 각종 관련 정보들을 효과적으로 제공함으로써 동영상의 활용도를 높일 수 있는 방법의 필요성이 요구되고 있다.

[문헌 1] 대한민국등록특허공보 제10-0857381호 컨텐츠 서비스 시스템 및 방법(엔에이치엔(주)) 2008.09.01

본 발명의 목적은 동영상으로부터 추출된 각 프레임과 외부 웹사이트 등을 통해 수집된 캡쳐된 이미지를 비교함으로써, 해당 동영상에 대한 다양한 메타 정보를 제공할 수 있는 캡쳐된 이미지를 이용한 동영상 분석 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.

또한, 본 발명의 다른 목적은 동영상으로부터 추출된 각 프레임과 외부 웹사이트 등을 통해 수집된 캡쳐된 이미지를 비교함으로써, 해당 이미지가 포함된 뉴스, 블로그, SNS 포스트 등의 정보를 분석할 수 있는 캡쳐된 이미지를 이용한 동영상 분석 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.

또한, 본 발명의 또 다른 목적은 동영상으로부터 추출된 각 프레임과 외부 웹사이트 등을 통해 수집된 캡쳐된 이미지를 비교함으로써, 해당 동영상에서 어떤 프레임이 가장 많은 화제가 되었으며, 어떤 동영상 콘텐츠가 SNS에서 인기를 끌었는지와 같은 소셜 랭킹을 분석할 수 있는 캡쳐된 이미지를 이용한 동영상 분석 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특유의 효과를 달성하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 측면에 따르면, 캡쳐된 이미지를 이용한 동영상 분석 장치는, 복수의 프레임들로 구성된 동영상으로부터 적어도 하나의 프레임을 추출하는 비디오 프레임 추출부; 상기 비디오 프레임 추출부를 통해 추출된 각 프레임의 특징을 수치화하는 추출 프레임 수치화부; 적어도 하나의 수집된 검색 대상 이미지의 특징을 수치화하는 이미지 수치화부; 수치화한 값들에 의해 상기 검색 대상 이미지를 상기 복수의 프레임들로부터 추출된 적어도 하나의 프레임과 비교하는 이미지 비교 검색부; 및 상기 비교 결과, 상기 검색 대상 이미지와 일치하는 프레임이 존재할 경우, 상기 일치하는 프레임에 상기 수집된 검색 대상 이미지의 관련 정보를 매핑하여 데이터베이스에 저장하는 검색 결과 처리부를 포함한다.

바람직하게는, 상기 장치는, 상기 비디오 프레임 추출부를 통해 추출된 복수의 연속된 프레임들 중에서 복수의 프레임들 간의 이미지 차이가 미리 설정된 일정 범위 이내에 해당할 경우, 상기 복수의 프레임들 중 선택된 하나의 프레임을 대표 프레임으로 결정하는 대표 프레임 추출부를 더 포함하고, 상기 추출 프레임 수치화부는 상기 대표 프레임 추출부를 통해 결정된 대표 프레임에 대해 수치화하여 데이터베이스에 저장한다.

바람직하게는, 상기 대표 프레임 추출부는, 상기 복수의 프레임들에 대해 프레임간 그레이 히스토그램의 차이값이 일정값 이하일 경우, 상기 복수의 프레임들 중 선택된 하나의 프레임을 대표 프레임으로 결정한다.

바람직하게는, 상기 대표 프레임 추출부는, 미리 설정된 시간마다 적어도 하나의 프레임을 대표 프레임으로 결정한다.

바람직하게는, 상기 추출 프레임 수치화부는, 각 프레임의 불변점을 수치화한 후, 미리 정의한 클러스터(cluster)값으로 변환시킨 비쥬얼 단어의 빈도수로 나타낸다.

바람직하게는, 상기 이미지 수치화부는, 각 이미지의 불변점을 수치화한 후, 미리 정의한 클러스터(cluster)값으로 변환시킨 비쥬얼 단어의 빈도수로 나타낸다.

바람직하게는, 상기 이미지 비교 검색부는, 상기 각 프레임의 비쥬얼 단어와 상기 각 이미지의 비쥬얼 단어를 비교하여 동일한 비쥬얼 단어가 미리 설정된 개수 이상이거나 가장 많을 경우 해당 프레임과 이미지가 일치하는 것으로 결정한다.

바람직하게는, 상기 검색 대상 이미지의 관련 정보는, 상기 수집된 이미지가 포스팅된 출처, 상기 이미지의 소셜 네트워크 서비스 상의 리트릿 수, 댓글 수, 추천 수 및 평가 정보 중에서 선택된 어느 하나 이상이다.

바람직하게는, 상기 장치는, 상기 검색 결과 처리부에 의해 저장된 검색 결과로부터 특정 동영상에 대한 각 프레임에 대한 통계값을 자동으로 산출하여 분석 결과를 생성하는 결과 분석 처리부를 더 포함한다.

바람직하게는, 상기 결과 분석 처리부는, 결과 분석 요청에 따라 특정 동영상의 각 프레임에 대해 동영상 내의 해당 이미지를 참조한 뉴스, 블로그, SNS 사이트에서의 인용 횟수 및 해당 링크 정보 중에서 선택된 어느 하나를 제공한다.

바람직하게는, 상기 결과 분석 처리부는, 결과 분석 요청에 따라 특정 동영상의 각 프레임에 대해 동영상 내의 해당 이미지를 참조한 뉴스, 블로그, SNS 사이트에서의 인용 횟수로부터 각 프레임의 랭킹을 산출하여 제공한다.

본 발명의 다른 측면에 따르면, 캡쳐된 이미지를 이용한 동영상 분석 방법은, 복수의 프레임들로 구성된 동영상으로부터 적어도 하나의 프레임을 추출하는 단계; 상기 추출된 프레임의 특징을 수치화하는 단계; 적어도 하나의 수집된 검색 대상 이미지의 특징을 수치화하는 단계; 수치화한 값들에 의해 상기 검색 대상 이미지를 상기 복수의 프레임들로부터 추출된 적어도 하나의 프레임과 비교하는 단계; 및 상기 비교 결과, 상기 검색 대상 이미지와 일치하는 프레임이 존재할 경우, 상기 일치하는 프레임에 상기 수집된 검색 대상 이미지의 관련 정보를 매핑하여 데이터베이스에 저장하는 단계를 포함한다.

바람직하게는, 상기 프레임을 추출하는 단계 이후에, 상기 추출된 복수의 연속된 프레임들 중에서 복수의 프레임들 간의 이미지 차이가 미리 설정된 일정 범위 이내에 해당할 경우, 상기 복수의 프레임들 중 선택된 하나의 프레임을 대표 프레임으로 결정하는 단계를 더 포함하고, 상기 추출된 프레임의 특징을 수치화하는 단계는 상기 결정된 대표 프레임에 대해 수치화한다.

바람직하게는, 상기 대표 프레임으로 결정하는 단계는, 상기 복수의 프레임들에 대해 프레임간 그레이 히스토그램의 차이값이 일정값 이하일 경우, 상기 복수의 프레임들 중 선택된 하나의 프레임을 대표 프레임으로 결정한다.

바람직하게는, 상기 대표 프레임으로 결정하는 단계는, 미리 설정된 시간마다 적어도 하나의 프레임을 대표 프레임으로 결정한다.

바람직하게는, 상기 추출된 프레임의 특징을 수치화하는 단계는, 각 프레임의 불변점을 수치화한 후, 미리 정의한 클러스터(cluster)값으로 변환시킨 비쥬얼 단어의 빈도수로 나타낸다.

바람직하게는, 상기 검색 대상 이미지의 특징을 수치화하는 단계는, 각 이미지의 불변점을 수치화한 후, 미리 정의한 클러스터(cluster)값으로 변환시킨 비쥬얼 단어의 빈도수로 나타낸다.

바람직하게는, 상기 비교하는 단계는, 상기 각 프레임의 비쥬얼 단어와 상기 각 이미지의 비쥬얼 단어를 비교하여 동일한 비쥬얼 단어가 미리 설정된 개수 이상이거나 가장 많을 경우 해당 프레임과 이미지가 일치하는 것으로 결정한다.

바람직하게는, 상기 데이터베이스에 저장하는 단계 이후에, 상기 저장된 검색 결과로부터 특정 동영상에 대한 각 프레임에 대한 통계값을 자동으로 산출하여 분석 결과를 생성하는 단계를 더 포함한다.

바람직하게는, 상기 분석 결과를 생성하는 단계는, 결과 분석 요청에 따라 특정 동영상의 각 프레임에 대해 동영상 내의 해당 이미지를 참조한 뉴스, 블로그, SNS 사이트에서의 인용 횟수 및 해당 링크 정보 중에서 선택된 어느 하나를 제공한다.

바람직하게는, 상기 분석 결과를 생성하는 단계는, 결과 분석 요청에 따라 특정 동영상의 각 프레임에 대해 동영상 내의 해당 이미지를 참조한 뉴스, 블로그, SNS 사이트에서의 인용 횟수로부터 각 프레임의 랭킹을 산출하여 제공한다.

한편, 상기 캡쳐된 이미지를 이용한 동영상 분석 방법을 제공하기 위한 정보는 서버 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다. 이러한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한, 이러한 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

상술한 바와 같이, 본 발명에 따르면 동영상으로부터 캡쳐된 이미지를 수집하고, 수집된 이미지에 연결된 웹 콘텐츠를 이용하여 해당 동영상에 대한 다양한 소셜 메타 정보를 축적할 수 있는 장점이 있다. 또한, 이러한 소셜 메타 정보를 축적함으로써 동영상에 대한 랭킹과 인기 있는 장면을 판별할 수 있는 장점이 있다.

또한, 본 발명에 따르면 동영상에 삽입된 이미지 프레임을 추출한 후, 해당 이미지가 포함된 뉴스, 블로그, SNS 포스트 정보를 수집함으로써, 이미지별로 수집된 콘텐츠의 출처 및 개수에 따라 해당 동영상에서 화제가 된 주요 장면 등을 검출할 수 있는 장점이 있다. 또한, 이러한 분석에 따라 어떠한 동영상 콘텐츠가 소셜네트워크 서비스 등에서 인기가 있었는지에 대한 소셜 랭킹을 분석할 수 있는 장점이 있다.

도 1은 본 발명에 따른 캡쳐된 이미지를 이용한 동영상 분석의 개념을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 캡쳐된 이미지를 이용한 동영상 분석 장치의 세부 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 대표 프레임 추출을 위한 특정 프레임의 그레이 히스토그램을 나타내는 그래프이다.
도 4는 본 발명의 실시예에 따른 대표 프레임 선정을 위한 프레임 비교를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 대표 프레임 선정을 위한 방법을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 대표 프레임을 수치화하는 방법의 개념을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 캡쳐된 이미지를 이용한 동영상 분석 절차를 나타내는 흐름도이다.
도 8 내지 도 10은 본 발명의 실시예에 따른 캡쳐된 이미지를 이용한 동영상 분석 결과의 예를 나타내는 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 발명은 동영상으로부터 캡쳐된 화면 이미지를 외부 서버 등을 통해 수집하고, 이를 동영상에서 추출한 표준 프레임들과 비교함으로써, 동영상 및 동영상의 주요 프레임에 대한 다양한 메타 정보를 제공할 수 있는 동영상 캡쳐 이미지 분석 장치를 개시한다.

즉, 본 발명에서는 특정 동영상으로부터 캡쳐된 이미지를 외부 서버(예컨대, 소셜 네트워크 서비스(SNS; Social Network Service) 사이트, 블로그, 포털 사이트 등)로부터 수집하고, 이를 전체 동영상에서 추출한 복수의 프레임들과 비교함으로써, 수집된 이미지가 어떤 동영상의 어느 프레임에 해당하는지를 판별한다.

이에 따라, 수집된 특정 이미지와 일치하는 프레임이 검색될 경우, 해당 프레임에 대해 상기 수집된 이미지의 관련 정보(예컨대, 연결된 웹 콘텐츠 정보)를 매핑하여 저장함으로써 동영상 콘텐츠에 대한 다양한 분석이 수행될 수 있다. 이때, 상기 관련 정보로는 콘텐츠의 출처(즉, 포스팅된 웹사이트), 해당 이미지가 포스팅된 개수 등이 될 수 있으며, 이를 통해 분석 결과로서 동영상 또는 동영상 내 특정 이미지의 랭킹(ranking)(순위), 각 출처별 인용 수 등을 산출할 수 있다.

한편, 후술하는 설명에서의 '외부 서버'란 본 발명에 따라 동영상 분석을 수행하는 동영상 캡쳐 이미지 분석 장치와는 별도로 각종 웹 서비스를 제공하는 서버로서, 물리적으로 또는 논리적으로 구분된 장치로서 상기 동영상 캡쳐 이미지 분석 장치와는 소정의 유무선 통신 네트워크를 통해 연결될 수 있다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

캡쳐된 이미지를 이용한 동영상 분석의 개념

도 1은 본 발명에 따른 캡쳐된 이미지를 이용한 동영상 분석의 개념을 나타내는 도면이다. 도 1을 참조하면, 먼저 적어도 하나의 동영상에 대해 복수의 프레임(frame)들을 추출한다. 그런 다음, 추출된 각 프레임의 특징값을 수치화하여 데이터베이스에 저장한다. 이때, 본 발명의 실시예에 따라 복수의 프레임들 중에서 대표 프레임을 추출하고, 추출된 대표 프레임에 대해서만 수치화하여 저장하는 것이 바람직하다.

한편, 크롤러(crawler)는 외부 서버(예컨대, 뉴스, 블로그, 트위터, 페이스북 등을 제공하는 웹 서버)로부터 캡쳐된 이미지가 첨부된 포스팅을 수집하여 검색 후보로 데이터베이스에 저장한다. 그런 다음, 검색 엔진을 통해 상기 수집된 각 이미지에 대해 상기 동영상으로부터 추출된 대표 프레임들 중 일치하는 대표 프레임을 검색한다.

상기 검색된 결과에 따라 동영상별 화제 장면 데이터베이스 및 해당 화제 장면을 언급한 장면별 포스트 데이터베이스를 구축한다. 또한, 이를 기반으로 동영상의 랭킹을 산출하거나, 동영상 내의 화제 장면을 선정하는 등 각종 분석이 수행될 수 있다.

보다 구체적으로 설명하면, 상기 검색된 결과 수집된 특정 이미지에 대해 일치하는 대표 프레임이 검색될 경우, 해당 대표 프레임에 상기 수집된 이미지와 관련하여 함께 수집된 각종 정보(예컨대, 해당 수집된 이미지가 포스팅된 출처, 해당 대표 프레임이 참조된 개수, 해당 이미지의 확산 또는 선호도 정도(예컨대, 리트릿(RT)수, 댓글수, 추천수 등) 등)를 매핑하여 데이터베이스에 저장한다.

이에 따라, 도 8 내지 도 10에 도시된 바와 같이 특정 동영상에서 추출된 대표 프레임들 중 화제의 장면(즉, 화제의 프레임), 해당 화제의 장면을 언급한 포스트들의 목록, 동영상들의 랭킹 등을 제공할 수 있다.

이하, 도 2 내지 도 7을 참조하여 본 발명의 실시예에 따른 캡쳐된 이미지를 이용한 동영상 분석 장치 및 방법을 상세히 설명한다.

캡쳐된 이미지를 이용한 동영상 분석 장치

도 2는 본 발명의 실시예에 따른 캡쳐된 이미지를 이용한 동영상 분석 장치의 세부 구성을 나타내는 블록도이다. 도 2를 참조하면, 본 발명의 실시예에 따른 동영상 분석 장치는 비디오 프레임 추출부(210), 대표 프레임 추출부(220), 추출 프레임 수치화부(230), 이미지 정보 수집부(240), 이미지 수치화부(250), 이미지 비교 검색부(260), 검색 결과 처리부(270) 및 결과 분석 처리부(280) 등을 포함할 수 있다. 또한, 상기 동영상 분석 장치는 동영상 콘텐츠 데이터베이스(291), 프레임 특징 정보 데이터베이스(292), 이미지 특징 정보 데이터베이스(293), 이미지 관련 정보 데이터베이스(294) 및 분석 결과 정보 데이터베이스(295) 등과 같이 적어도 하나의 데이터베이스들을 포함할 수 있다.

동영상 콘텐츠 데이터베이스(291)에는 적어도 하나의 동영상이 예컨대 파일 형태로 저장될 수 있다. 이때, 상기 동영상은 복수의 프레임들(예컨대, 1초에 30프레임 등)을 포함하여 구성될 수 있다. 한편, 상기 동영상은 어떠한 종류, 어떠한 포맷의 동영상도 본 발명에 적용될 수 있다. 예컨대, 방송 동영상, UCC 동영상, 영화 동영상 등 어떠한 종류의 동영상도 본 발명에 적용될 수 있다. 또한, 상기 동영상 콘텐츠 데이터베이스(291)에는 상기 저장되는 동영상에 대한 각종 관련 정보(예컨대, 메타 정보)들이 함께 매핑되어 저장될 수 있다. 예컨대, 상기 동영상의 출처, 재생 시간, 방송 시간, 방송 채널, 파일 포맷 등의 정보가 함께 저장될 수 있다.

상기 비디오 프레임 추출부(210)는 상기 동영상 콘텐츠 데이터베이스(291)에 저장된 특정 동영상을 선택하고, 선택된 동영상 내에 포함된 복수의 각 프레임을 추출한다.

상기 대표 프레임 추출부(220)는 본 발명의 실시예에 따라 상기 비디오 프레임 추출부(210)를 통해 추출된 복수의 프레임들 중에서 주요 프레임으로 사용할 대표 프레임을 선택한다. 즉, 상기 비디오 프레임 추출부(210)를 통해 추출된 프레임들은 인접 프레임간에 중복성(또는 유사성)이 강하기 때문에 데이터베이스 구성 및 검색의 효율성을 위해 본 발명의 실시예에 따라 대표 프레임을 선택하여 처리하는 것이 바람직하다. 그러나, 본 발명이 이에 한정되지는 않으며, 추출된 동영상 내의 전체 프레임 또는 동영상 내의 특정 조건에 맞는 프레임에 대해 이후 절차를 진행하도록 구현할 수도 있다.

이때, 상기 대표 프레임의 추출 방법은 다양하게 구현할 수 있으며, 후술하는 실시예들에서와 같이 프레임간 그레이 히스토그램의 차이값이 일정값 이하인 경우는 중복성이 강한 이미지이므로 해당 프레임을 제외시키며, 예외적으로 그레이 히스토그램의 차이가 작으나 서로 다른 이미지일 경우가 발생할 수 있으므로 일정 시간 간격마다 강제적으로 대표 프레임으로 선정하도록 구현할 수 있다. 이에 대한 상세한 설명은 도 3 내지 도 5의 설명에서 후술하기로 한다.

이와 같이, 대표 프레임 추출부(220)에 의해 대표 프레임이 결정되면, 추출 프레임 수치화부(230)에서는 상기 각 대표 프레임의 특징을 수치화하여 프레임 특징 정보 데이터베이스에 저장(282)한다. 상기 각 대표 프레임의 특징을 수치화하는 방법은 다양하게 구현될 수 있으며, 공지된 이미지 분석 방법 등을 이용할 수도 있다. 한편, 본 발명에서는 상기 대표 프레임의 특징을 수치화하는 방법의 예로서 비쥬얼 단어(visual words) 방법을 사용한 예를 설명하며 본 발명이 이에 한정되지는 않는다. 상기 비쥬얼 단어 방법의 상세한 설명은 도 6의 설명에서 후술하기로 한다.

이미지 정보 수집부(240)에서는 각종 외부 서버(예컨대, 포털 사이트 서버, SNS 서버, 블로그 서버 등)로부터 이미지(예컨대, 특정 동영상으로부터 캡쳐된 이미지)가 첨부된 포스트를 수집한다. 이때, 상기 이미지 정보 수집부(240)는 크롤러(crawler) 등을 이용하여 구현할 수 있으며 본 발명이 이에 한정되지는 않는다. 상기 크롤러는 웹상의 다양한 정보를 자동으로 검색하고 색인하기 위해 검색 엔진을 운영하는 사이트에서 사용하는 소프트웨어의 일종으로 스파이더(spider), 봇(bot), 지능 에이전트라고도 한다.

한편, 상기 이미지 정보 수집부(240)는 상기 이미지가 첨부된 포스트를 수집할 때 해당 수집된 이미지가 포스팅된 출처, 해당 이미지의 확산 또는 선호도 정도(예컨대, 리트릿(RT)수, 댓글수, 각종 평가 정보(예컨대, 추천수, 긍정/부정수(또는 찬성/반대수) 등) 등) 등의 정보들을 추가로 함께 수집할 수 있다. 상기 이미지 정보 수집부(240)에 의해 추가로 수집된 이미지 관련 정보들은 이미지 관련 정보 데이터베이스(294)에 해당 이미지와 링크되어 저장될 수 있다.

상기 이미지 수치화부(250)는 상기 이미지 정보 수집부(240)를 통해 수집된 각 이미지의 특징을 수치화하여 이미지 특징 정보 데이터베이스(293)에 저장한다. 이때, 상기 이미지 수치화부(250)에서의 수치화 방법은 상기 추출 프레임 수치화부(230)에서의 방법과 동일한 방법을 사용하는 것이 바람직하며, 본 발명이 이에 한정되지는 않는다. 즉, 상기 각 수집된 이미지의 특징을 수치화하는 방법은 다양하게 구현될 수 있으며, 공지된 이미지 분석 방법 등을 이용할 수도 있다. 한편, 본 발명에서는 상기 수집된 이미지의 특징을 수치화하는 방법의 예로서 비쥬얼 단어(visual words) 방법을 사용한 예를 설명하며 본 발명이 이에 한정되지는 않는다.

이와 같이, 대표 프레임에 대한 특징 수치화 및 수집된 이미지에 대한 특징 수치화 절차가 완료되면, 이미지 비교 검색부(260)에서는 특정 이미지의 수치화한 값을 상기 프레임 특징 정보 데이터베이스(292)에 저장된 대표 프레임의 수치화한 값과 비교한다. 상기 비교 결과, 일치하는 값을 갖는 대표 프레임 또는 가장 유사한 값을 갖는 대표 프레임을 검색한다. 한편, 상기 특징을 수치화하는 방법으로 후술하는 비쥬얼 단어 방법을 이용할 경우, 상기 이미지와 동일한 비쥬얼 단어를 가장 많이 가진 대표 프레임을 검색하거나, 동일한 단어가 나온 횟수를 이미지간의 거리(distance)로 정의하여 일정한 거리 이내에 해당하는 프레임을 검색할 수 있다.

상기 이미지 비교 검색부(260)에 의해 수집된 특정 이미지에 일치하는 프레임이 검색되면, 상기 검색 결과 처리부(270)에서는 상기 검색된 해당 프레임에 상기 일치하는 이미지에 관련되어 수집된 정보를 이미지 관련 정보 데이터베이스(294)로부터 독출하여 매핑하고, 이를 이미지 분석 정보 데이터베이스(295)에 저장한다.

또한, 본 발명의 실시예에 따라 동영상에 대한 정보 요청이 수신되면, 결과 분석 처리부(280)에서는 상기 이미지 분석 정보 데이터베이스(295)에 저장된 검색 결과로부터 특정 동영상에 대한 각 주요 프레임에 대한 통계값을 자동으로 산출하여 분석 결과를 생성하고, 생성된 결과를 요청한 사용자에게 제공한다. 예컨대, 도 8 내지 도 10에 도시된 바와 같이 동영상에 대한 검색 결과로서 본 발명의 실시예에 따라 특정 동영상의 주요 이미지(또는 프레임)에 대한 각종 관련 정보(예컨대, 동영상내의 해당 이미지를 참조한 뉴스, 블로그, SNS 사이트 등의 횟수 및 해당 링크 정보 등)를 생성하여 사용자에게 제공할 수 있다.

대표 프레임 추출 방법

도 3은 본 발명의 실시예에 따른 대표 프레임 추출을 위한 특정 프레임의 그레이 히스토그램을 나타내는 그래프이다. 도 3을 참조하면, 본 발명의 실시예에 따라 프레임간의 그레이 히스토그램의 차이값을 통해 대표 프레임을 추출한다.

즉, 도 3에 도시된 바와 같이 각 프레임에 대한 그레이 히스토그램을 산출하고, 연속된 프레임간의 그레이 히스토그램의 차이값이 미리 설정된 일정값 이하인 경우 중복성(또는 유사성)이 강한 이미지로 판단한다. 따라서, 하나의 프레임만을 대표 프레임으로 남겨 두고, 나머지 하나 이상의 중복 프레임에 대해서는 삭제 처리한다. 이에 따라, 하나의 동영상에 포함된 많은 수의 프레임 중에서 조건에 만족하는 특정 프레임들만을 대표 프레임으로 추출하여 처리함으로써 데이터베이스 구성 및 검색을 효율적으로 할 수 있다.

상기 그레이 히스토그램은 예컨대 도 3과 같이 산출될 수 있다. 보다 구체적으로 설명하면 프레임을 구성하는 각 픽셀의 그레이 값을 산출하고, 미리 구분된 구간에 속하는지 여부를 계산하여 그 비율을 계산한다. 이에 따라 전체 프레임 이미지의 그레이값의 분포도가 도 3과 같이 산출될 수 있다.

도 4 및 도 5는 상기 그레이 히스토그램 등을 사용하여 대표 프레임을 선정하는 방법을 나타낸다. 즉, 도 4를 참조하면, 410번 프레임과 420번 프레임은 연속된 프레임으로서 그레이 히스토그램의 차이가 미리 설정된 값 이하로 중복성이 강한 이미지임을 알 수 있다. 따라서, 410번 프레임을 제외하고 420번 프레임을 대표 프레임으로 선정한다. 마찬가지로 430번 프레임과 440번 프레임은 연속된 프레임으로서 그레이 히스토그램의 차이가 미리 설정된 값 이하로 중복성이 강한 이미지임을 알 수 있다. 따라서, 430번 프레임을 제외하고 440번 프레임을 대표 프레임으로 선정한다. 동일한 방법으로 셋 이상의 연속된 프레임의 그레이 히스토그램의 차이가 미리 설정된 값 이하일 경우 하나의 프레임만을 대표 프레임으로 남겨두고 나머지 두 개의 프레임을 제외시킬 수 있다.

한편, 특별한 경우에 상기와 같이 그레이 히스토그램의 차이는 미리 설정된 값 이하이나 서로 다른 이미지일 가능성이 있을 수도 있다. 따라서, 본 발명의 실시예에 따라 그레이 히스토그램의 차이가 미리 설정된 값 이하이더라도 미리 설정된 시간(예컨대, 1초)마다 한 번씩은 강제적으로 대표 프레임으로 선정하도록 구현할 수 있다. 즉, 도 5를 참조하면, 510번 프레임 내지 550번 프레임은 모두 그레이 히스토그램이 미리 설정된 값 이하로 나타나지만, 520번 프레임과 530번 프레임의 이미지가 다른 이미지일 수 있다. 따라서, 본 발명의 실시예에 따라 일정 주기마다 필수적으로 대표 프레임을 선정하도록 구현할 수 있다.

대표 프레임 수치화 방법

상기 도 4 및 도 5와 같은 방법으로 대표 프레임을 선정하면, 선정된 각 대표 프레임의 특징을 수치화하여 데이터베이스에 저장한다. 도 6은 본 발명의 실시예에 따른 대표 프레임을 수치화하는 방법의 개념을 나타내는 도면이다.

즉, 본 발명의 실시예에 따라 대표 프레임과 수집된 이미지를 비교하기 위해서는 각 대표 프레임과 각 수집된 이미지를 각각 그 특징값으로 수치화하여 저장하여 비교하게 된다. 상기 이미지를 특징값으로 수치화하는 방법의 예로서 비쥬얼 단어(visual words)방법이 사용될 수 있다.

상기 비쥬얼 단어 방법은 이미지 또는 프레임의 불변점을 구하여 이 불변점들을 수치화하여 나타내고, 이를 검색에 용이하게 하기 위하여 미리 정의한 클러스터(cluster)값으로 변환시켜 사용하는 방법이다.

보다 구체적으로 설명하면, 도 6에 도시된 바와 같이 각각의 클러스터를 미리 복수의 트레이닝(training) 이미지들을 이용하여 일정 개수로 나누어 둔다. 이때, 이들 각각의 단위 클러스터를 비쥬얼 단어라고 한다. 다음으로, 하나의 이미지에 대해 불변점을 먼저 구하고 불변점의 특징을 나타낼 수 있는 통계치로 서술자(descriptor)를 구한다. 이 서술자는 일종의 벡터(vector)이므로 이 벡터가 속한 가장 가까운 클러스터를 구하여 이를 이 점의 특징값으로 한다. 이렇게 함으로써, 도시된 바와 같이 하나의 이미지는 비쥬얼 워드의 빈도값(freqeuncy)들로 나타낼 수 있는 하나의 특징값 히스토그램(histogram)으로 나타낼 수 있다.

이러한 방법을 이용하여 동영상에 포함된 각 대표 프레임들을 수치화하여 저장할 수 있다. 상기 방법은 본 발명의 이해를 돕기 위해 예시로 든 것으로서, 본 발명이 상기 방법에 한정되지는 않는다.

한편, 상기 도 6에서는 상기 특징값을 나타내는 히스토그램의 클러스터 하나하나가 이미지(또는 프레임)를 대표하는 비쥬얼 단어로 생각할 수 있으며, 최종적으로 하나의 이미지는 적어도 하나의(바람직하게는 복수의) 비쥬얼 단어와 각 비쥬얼 단어의 빈도수(frequency)로 표현될 수 있다.

따라서, 이미지 정보 수집부(240)에 의해 이미지를 수집함으로써 쿼리(Query) 이미지가 들어오면 예컨대 상술한 방법으로 이미지를 대표하는 비쥬얼 단어를 구하고, 데이터베이스에 저장되어 있는 각 프레임의 비쥬얼 단어들과 비교하게 된다. 이때, 정보 검색에서 사용하는 방식을 차용하여 동일한 비쥬얼 단어를 가장 많이 가진 프레임을 상기 쿼리 이미지와 동일한 프레임으로 간주할 수 있다. 즉, 일반적인 정보 검색 방법과 유사한 방식으로 동영상이 저장된 데이터베이스를 역파일 형태로 저장해두면 쿼리 이미지에 대하여 빠른 시간에 가장 유사한 이미지를 검색할 수 있다. 또한, 동일한 비쥬얼 단어가 나온 횟수를 이미지들 간의 거리(distance)로 정의하고, 일정한 거리 이하의 이미지만을 동일한 프레임으로 간주할 수 있다.

이와 같이, 수집된 각 이미지에 대해 동영상으로부터 추출된 대표 프레임들 중 동일한 프레임이 검색되면, 상기 검색된 프레임에 상기 이미지와 함께 수집된 상기 이미지에 대한 각종 관련 정보들(예컨대, 해당 수집된 이미지가 포스팅된 출처, 해당 이미지의 확산 또는 선호도 정도(예컨대, 리트릿(RT)수, 댓글수, 각종 평가 정보(예컨대, 추천수, 긍정/부정수(또는 찬성/반대수) 등) 등)을 상기 검색된 프레임에 매칭하여 저장한다.

캡쳐된 이미지를 이용한 동영상 분석 방법

도 7은 본 발명의 실시예에 따른 캡쳐된 이미지를 이용한 동영상 분석 절차를 나타내는 흐름도이다. 도 7을 참조하면, 상술한 바와 같이 먼저 동영상 콘텐츠로부터 대표 프레임을 추출하여 데이터베이스에 저장(S701)한다. 그런 다음, 추출된 각 대표 프레임의 특징을 수치화하여 데이터베이스에 저장(S702)한다.

또한, 외부 서버들로부터 이미지가 첨부된 포스팅을 수집(S703)하고, 수집된 이미지의 특징을 수치화하여 데이터베이스에 저장(S704)한다.

그런 다음, 본 발명의 실시예에 따라 상기 데이터베이스에 저장된 각 대표 프레임으로부터 상기 수집된 이미지와 일치하는 대표 프레임을 검색(S705)한다.

상기 검색 결과, 일치하는 대표 프레임이 검색될 경우(S706), 검색된 대표 프레임에 해당 수집된 이미지의 관련 정보들을 매핑하여 데이터베이스에 저장(S707)한다.

동영상 분석 결과의 실시예

도 8 내지 도 10은 본 발명의 실시예에 따른 캡쳐된 이미지를 이용한 동영상 분석 결과의 예를 나타내는 도면이다.

도 8을 참조하면, 웹이나 뉴스, SNS 등에서 동영상 캡쳐 화면을 첨부하여 포스팅하거나, 참조(reference)하거나, 언급한 횟수에 따라 해당 동영상 또는 동영상 내의 해당 캡쳐 화면의 랭킹을 제공할 수 있다.

예컨대, 도시된 바와 같이 검색 포털 사이트에서 '힐링캠프'와 같은 TV 방송 제목을 검색어로 입력(800)하면 본 발명의 실시예에 따라 각 일자별 방송 영상에서의 캡쳐한 특정 장면을 언급한 통계 정보 및 랭킹 정보를 제공함으로써 어떤 방송일자의 어떤 장면이 가장 화제가 된 장면인지를 알 수 있다. 즉, 해당 방송 동영상들 중에서 특정 장면을 가장 많이 캡쳐하여 포스팅하거나, 참조하거나, 언급한 횟수에 따라 순차적으로 해당 장면의 캡쳐 이미지(810) 및 관련 정보(820)를 제공할 수 있다. 예컨대, 검색한 해당 프로그램의 방송 중에서 2012년 6월 9일 방송에서 14초에 캡쳐한 이미지가 가장 많이 포스팅 또는 참조되어 가장 화제가 된 장면이므로 검색 결과의 가장 상위에 표시된다. 이때, 해당 캡쳐 이미지(810)와 함께 해당 장면을 언급(821 내지 824)한 횟수를 각 출처(예컨대, 뉴스, 블로그, 트위터, 페이스북 등)별로 표시할 수 있다. 마찬가지로 다음으로 많이 포스팅 및 참조된 해당 방송분의 캡쳐 이미지가 그 아래에 표시될 수 있다.

상기 각 장면의 랭킹 결정 방법은 다양하게 구현할 수 있으며, 각 출처별로 포스팅 또는 참조된 횟수를 합산하여 결정할 수도 있으며, 각 출처별 가중치를 부여하고 이를 합산하여 결정할 수도 있다.

한편, 상기 검색 결과 화면에서 특정 캡쳐 이미지에 대한 관련 정보로 표시된 '동영상내 장면 언급' 부분을 선택하면, 도 9에 도시된 바와 같이 해당 장면이 언급된 출처 정보를 제공할 수 있다.

즉, 도 9를 참조하면, 해당 동영상 내의 해당 장면을 언급한 목록(900)이 각 출처별로 제공될 수 있다. 예컨대, 해당 장면이 뉴스에서 언급된 각 출처(910), 트위터에서 언급된 각 출처(920), 블로그에서 언급된 각 출처, 페이스북에서 언급된 각 출처 등이 제공될 수 있다. 이때, 상기 각 출처 정보를 선택하면, 해당 장면이 언급된 뉴스, 블로그, 트위터, 페이스북 등의 해당 포스팅으로 바로 연결되도록 구현할 수도 있다.

이와 같이 본 발명의 실시예에 따라, 특정 출처(뉴스, 블로그, 카페, SNS 등)별로 화제가 되었던 장면을 분류하고 확산이나 선호도 정도(RT, 댓글, 좋아요 등)를 소셜 분석하여, 해당 출처별 인기 장면 랭킹을 제공하거나. 또는 도 8에서와 같이 검색 결과의 랭킹을 위한 메타 정보로 활용할 수 있다.

한편, 본 발명의 또 다른 구현 예로서, 도 10에 도시된 바와 같이 특정 동영상에 대해 화제의 장면을 목록화하여 제공할 수도 있다. 즉, 해당 화제성 정보를 동영상에 태깅하여, 동영상 다시 보기 서비스 등에서 <인기 장면> 또는 <화제의 장면> 등과 같이 동영상 내 이미지 기반으로 미리 분석하여 서비스를 제공할 수도 있다.

예컨대, 도 10을 참조하면, 특정 동영상의 다시 보기 서비스를 선택하면, 도시된 바와 같이 상단에 동영상 재생 플레이어(1000)가 디스플레이되고, 하단에는 본 발명의 실시예에 따라 화제의 장면 랭킹(1010)을 제공할 수 있다. 즉, 상술한 바와 같이 산출된 동영상 내의 각 장면에 대한 랭킹을 미리 설정된 방법에 따라 산출하고, 가장 랭킹이 높은 장면의 순으로 표시할 수 있다. 이때, 각 순위별 장면 정보와 함께 해당 장면에 대한 각 출처별 통계 및 포스팅한 리스트를 제공할 수 있다. 따라서, 해당 장면에 대한 정보에서 동영상 플레이 표시(1020)를 선택하면 상단의 동영상 재생 플레이어(100)에서 해당 장면으로 점프하여 재생되도록 구현할 수 있다. 또한, 장면 링크(1030)에서 특정 장면의 특정 출처를 선택하면 도 9에 도시된 바와 같이 해당 출처에서 해당 장면의 캡쳐를 포함한 포스트의 리스트 및 링크를 제공할 수 있다. 예컨대, 3위에 랭크된 화면의 트위터(1040)를 선택하면, 트위터에서 해당 장면이 포스팅된 리스트 및 링크를 제공할 수 있다.

또한, 본 발명의 다른 구현 예로서 자신의 지인이 캡쳐하여 포스팅한 캡쳐 이미지에 대한 동영상을 제공하거나 기타 가공된 관련 정보들을 제공할 수 있다. 예컨대, 특정 사용자의 지인 관계나 콘텐츠 구독 상태를 분석하여, SNS 내에서의 지인이 포스팅한 장면이나 내가 구독하는 뉴스 서비스에서 언급된 장면 및 해당 장면과 관련된 콘텐츠의 링크를 제공할 수 있다. 아울러, 또한, 콘텐츠 링크의 긍정 또는 부정 등의 평가 정보를 수집하고 이를 분석하여, 해당 장면의 반응을 분석하여 제공하는 것도 가능하다.

여기에서 다양한 방법들에 관해 설명된 바와 같은 다양한 동작들 및 기능들은 특정 프로세싱 기능부 및/또는 그 안에 구현된 프로세싱 기능부, 및/또는 그 안의 다른 구성요소들과 같은 많은 유형의 기능부들 중 어느 것 내에서 수행될 수 있다. 예를 들면, 그러한 기능부들은 여기에 설명된 바와 같은 다양한 동작들 및 처리들, 또는 여기에 설명된 바와 같은 어느 다른 동작들 및 기능들, 등 또는 그 각 등가물들을 수행하는 것뿐만 아니라 여기에 설명된 바와 같은 그러한 정보들을 생성하고 그러한 동작들, 처리들 등을 수행할 수 있다.

일부 실시예들에서, 그러한 기능부들(동일한 장치 또는 구별된 장치들상에서 구현될 수 있는)은 본 발명의 다양한 측면들에 따른 그러한 처리 및 동작들, 등, 및/또는 여기에 개시된 바와 같은 어느 다른 동작들 및 기능들, 및 그 각 등가물들을 수행할 수 있다. 일부 실시예들에서, 그러한 처리는 제1 장치에서의 제1 기능부, 및 제2 장치 내의 제2 기능부에 의해 함께 수행된다. 다른 실시예들에서, 그러한 프로세싱, 동작들 등은 하나의 특정 장치 내에서 처리부들에 의해 전적으로 수행된다. 심지어 다른 실시예들에서는, 그러한 프로세싱, 동작들이 하나의 단일 디바이스내에서 적어도 제1 기능부 및 제2 기능부를 사용하여 수행된다.

또한 상술한 설명에서, 용어들 '시스템', '장치', '~부'는 단일 프로세싱 디바이스 또는 복수의 프로세싱 디바이스들일 수 있다. 그러한 프로세싱 디바이스는 마이크로 프로세서, 마이크로 컨트롤러, 디지털 신호 처리기, 마이크로 컴퓨터, 중앙 처리 유닛, 필드 프로그래머블 게이트 어레이, 프로그래머블 로직 디바이스, 스테이트 머신, 로직 회로, 아날로그 회로, 디지털 회로, 및/또는 상기 회로 및/또는 동작 지시들의 하드 코딩에 기반하여 신호들(아날로그 및/또는 디지털)을 조작하는 소정의 디바이스일 수 있다. 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛은 단일 메모리 디바이스, 복수의 메모리 디바이스들, 및/또는 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛의 내장된 회로일 수 있는 결합된 메모리 및/또는 집적된 메모리 엘리먼트를 가질 수 있다. 그러한, 메모리 디바이스는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 휘발성 메모리, 비휘발성 메모리, 정적 메모리, 동적 메모리, 플래시 메모리, 캐시 메모리, 및/또는 디지털 정보를 저장하는 소정의 디바이스일 수 있다. 만약, 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛이 하나 이상의 프로세싱 디바이스를 포함한다면, 상기 프로세싱 디바이스들은 집중적으로 위치될 수 있거나(즉, 유선 및/또는 무선 버스 구조를 통해 함께 직접적으로 연결된), 분산되어 위치될 수 있음(예컨대, 근거리 통신망 및/또는 광역 네트워크를 통한 간접적인 연결을 통한 클라우드 컴퓨팅)을 주목하여야 한다. 만약, 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛이 정적 머신, 아날로그 회로, 디지털 회로, 및/또는 회로, 저장하는 메모리 및/또는 메모리 구성요소를 통해 하나 이상의 그 기능들을 구현한다면, 그 대응하는 동작 지시들은 상기 정적 머신, 아날로그 회로, 디지털 회로, 및/또는 논리 회로를 포함하는 회로의 내부에 내장되거나 외부에 있을 수 있음을 더 주목하여야 한다. 상기 메모리 엘리먼트는 저장할 수 있으며, 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛은 상기 도면들 중 하나 이상에서 나타내는 단계들 및/또는 기능들 중 적어도 일부에 대응하는 하드 코딩된 및/또는 동작 지시들을 실행한다는 것을 여전히 더 주목하여야 한다. 그러한 메모리 디바이스 또는 메모리 엘리먼트는 제조의 부품 내에서 포함될 수 있다.

본 발명은 특정 기능들 및 그의 관계들의 성능을 나타내는 방법 단계들의 목적을 가지고 위에서 설명되었다. 이러한 기능적 구성 요소들 및 방법 단계들의 경계들 및 순서는 설명의 편의를 위해 여기에서 임의로 정의되었다. 상기 특정 기능들 및 관계들이 적절히 수행되는 한 대안적인 경계들 및 순서들이 정의될 수 있다. 임의의 그러한 대안적인 경계들 및 순서들은 그러므로 상기 청구된 발명의 범위 및 사상 내에 있다. 추가로, 이러한 기능적 구성 요소들의 경계들은 설명의 편의를 위해 임의로 정의되었다. 어떠한 중요한 기능들이 적절히 수행되는 한 대안적인 경계들이 정의될 수 있다. 마찬가지로, 흐름도 블록들은 또한 어떠한 중요한 기능성을 나타내기 위해 여기에서 임의로 정의되었을 수 있다. 확장된 사용을 위해, 상기 흐름도 블록 경계들 및 순서는 정의되었을 수 있으며 여전히 어떠한 중요한 기능을 수행한다. 기능적 구성 요소들 및 흐름도 블록들 및 순서들 둘 다의 대안적인 정의들은 그러므로 청구된 본 발명의 범위 및 사상 내에 있다. 당업자는 또한 여기에서의 상기 기능적 구성 요소들 및 다른 도시된 블록들, 모듈들, 및 구성요소들이 도시된 바와 같이 또는 분리된 구성요소들, 반도체 집적 회로(ASIC)들, 적절한 소프트웨어를 실행하는 프로세서들 및 그와 유사한 또는 임의의 조합에 의해 구현될 수 있음을 인지할 것이다.

본 발명은 또한 하나 이상의 실시예들의 용어로, 적어도 부분적으로 설명되었을 수 있다. 본 발명의 실시예는 본 발명, 그 측면, 그 특징, 그 개념, 및/또는 그 예를 나타내기 위해 여기에서 사용된다. 본 발명을 구현하는 장치, 제조의 물건, 머신, 및/또는 프로세스의 물리적인 실시예는 여기에 설명된 하나 이상의 실시예들을 참조하여 설명된 하나 이상의 측면들, 특징들, 개념들, 예들 등을 포함할 수 있다. 더구나, 전체 도면에서, 실시예들은 상기 동일한 또는 상이한 참조 번호들을 사용할 수 있는 상기 동일하게 또는 유사하게 명명된 기능들, 단계들, 모듈들 등을 통합할 수 있으며, 그와 같이, 상기 기능들, 단계들, 모듈들 등은 상기 동일한 또는 유사한 기능들, 단계들, 모듈들 등 또는 다른 것들일 수 있다.

한편, 용어 "~처리부"는 본 발명의 다양한 실시예들의 설명에서 사용된다. 모듈은 하나 이상의 출력 신호들을 생성하기 위해 하나 이상의 입력 신호들의 처리와 같은 하나 이상의 기능들을 수행하기 위해 하드웨어를 통해 구현되는 기능적 블록을 포함한다. 상기 기능적 블록을 구현하는 하드웨어는 소프트웨어 및/또는 펌웨어를 결합하여 직접 동작할 수 있다. 여기에서 사용된 바와 같이, 모듈은 자체적으로 모듈인 하나 이상의 서브-모듈들을 포함할 수 있다.

본 발명의 여러가지 기능들 및 특정들의 특별한 조합들이 여기에 분명히 설명된 반면, 이러한 특징들 및 기능들의 다른 조합들이 마찬가지로 가능하다. 본 발명은 여기에 개시된 특정한 예들에 제한되지 않으며, 이러한 다른 조합들을 명백히 통합한다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

210 : 비디오 프레임 추출부 220 : 대표 프레임 추출부
230 : 추출 프레임 수치화부 240 : 이미지 정보 수집부
250 : 이미지 수치화부 260 : 이미지 비교 검색부
270 : 검색 결과 처리부 280 : 분석 결과 가공부
291 : 동영상 콘텐츠 데이터베이스
292 : 프레임 특징 정보 데이터베이스
293 : 이미지 특징 정보 데이터베이스
294 : 이미지 관련 정보 데이터베이스
295 : 이미지 분석 정보 데이터베이스

Claims

복수의 프레임들로 구성된 동영상으로부터 적어도 하나의 프레임을 추출하는 비디오 프레임 추출부;
상기 비디오 프레임 추출부를 통해 추출된 각 프레임의 특징을 수치화하는 추출 프레임 수치화부;
적어도 하나의 수집된 검색 대상 이미지의 특징을 수치화하는 이미지 수치화부;
수치화한 값들에 의해 상기 검색 대상 이미지를 상기 복수의 프레임들로부터 추출된 적어도 하나의 프레임과 비교하는 이미지 비교 검색부; 및
상기 비교 결과, 상기 검색 대상 이미지와 일치하는 프레임이 존재할 경우, 상기 일치하는 프레임에 상기 수집된 검색 대상 이미지의 관련 정보를 매핑하여 데이터베이스에 저장하는 검색 결과 처리부를 포함하는, 동영상 캡쳐 화면의 분석 장치.
청구항 1에 있어서, 상기 장치는,
상기 비디오 프레임 추출부를 통해 추출된 복수의 연속된 프레임들 중에서 복수의 프레임들 간의 이미지 차이가 미리 설정된 일정 범위 이내에 해당할 경우, 상기 복수의 프레임들 중 선택된 하나의 프레임을 대표 프레임으로 결정하는 대표 프레임 추출부를 더 포함하고,
상기 추출 프레임 수치화부는 상기 대표 프레임 추출부를 통해 결정된 대표 프레임에 대해 수치화하여 데이터베이스에 저장하는, 동영상 캡쳐 화면의 분석 장치.
청구항 2에 있어서, 상기 대표 프레임 추출부는,
상기 복수의 프레임들에 대해 프레임간 그레이 히스토그램의 차이값이 일정값 이하일 경우, 상기 복수의 프레임들 중 선택된 하나의 프레임을 대표 프레임으로 결정하는, 동영상 캡쳐 화면의 분석 장치.
청구항 2에 있어서, 상기 대표 프레임 추출부는,
미리 설정된 시간마다 적어도 하나의 프레임을 대표 프레임으로 결정하는, 동영상 캡쳐 화면의 분석 장치.
청구항 1에 있어서, 상기 추출 프레임 수치화부는,
각 프레임의 불변점을 수치화한 후, 미리 정의한 클러스터(cluster)값으로 변환시킨 비쥬얼 단어의 빈도수로 나타내는, 동영상 캡쳐 화면의 분석 장치.
청구항 1에 있어서, 상기 이미지 수치화부는,
각 이미지의 불변점을 수치화한 후, 미리 정의한 클러스터(cluster)값으로 변환시킨 비쥬얼 단어의 빈도수로 나타내는, 동영상 캡쳐 화면의 분석 장치.
청구항 5 또는 청구항 6에 있어서, 상기 이미지 비교 검색부는,
상기 각 프레임의 비쥬얼 단어와 상기 각 이미지의 비쥬얼 단어를 비교하여 동일한 비쥬얼 단어가 미리 설정된 개수 이상이거나 가장 많을 경우 해당 프레임과 이미지가 일치하는 것으로 결정하는, 동영상 캡쳐 화면의 분석 장치.
청구항 1에 있어서, 상기 검색 대상 이미지의 관련 정보는,
상기 수집된 이미지가 포스팅된 출처, 상기 이미지의 소셜 네트워크 서비스 상의 리트릿 수, 댓글 수, 추천 수 및 평가 정보 중에서 선택된 어느 하나 이상인, 동영상 캡쳐 화면의 분석 장치.
청구항 1에 있어서, 상기 장치는,
상기 검색 결과 처리부에 의해 저장된 검색 결과로부터 특정 동영상에 대한 각 프레임에 대한 통계값을 자동으로 산출하여 분석 결과를 생성하는 결과 분석 처리부를 더 포함하는, 동영상 캡쳐 화면의 분석 장치.
청구항 9에 있어서, 상기 결과 분석 처리부는,
결과 분석 요청에 따라 특정 동영상의 각 프레임에 대해 동영상 내의 해당 이미지를 참조한 뉴스, 블로그, SNS 사이트에서의 인용 횟수 및 해당 링크 정보 중에서 선택된 어느 하나를 제공하는, 동영상 캡쳐 화면의 분석 장치.
청구항 9에 있어서, 상기 결과 분석 처리부는,
결과 분석 요청에 따라 특정 동영상의 각 프레임에 대해 동영상 내의 해당 이미지를 참조한 뉴스, 블로그, SNS 사이트에서의 인용 횟수로부터 각 프레임의 랭킹을 산출하여 제공하는, 동영상 캡쳐 화면의 분석 장치.
복수의 프레임들로 구성된 동영상으로부터 적어도 하나의 프레임을 추출하는 단계;
상기 추출된 프레임의 특징을 수치화하는 단계;
적어도 하나의 수집된 검색 대상 이미지의 특징을 수치화하는 단계;
수치화한 값들에 의해 상기 검색 대상 이미지를 상기 복수의 프레임들로부터 추출된 적어도 하나의 프레임과 비교하는 단계; 및
상기 비교 결과, 상기 검색 대상 이미지와 일치하는 프레임이 존재할 경우, 상기 일치하는 프레임에 상기 수집된 검색 대상 이미지의 관련 정보를 매핑하여 데이터베이스에 저장하는 단계를 포함하는 동영상 캡쳐 화면의 분석 방법.
청구항 12에 있어서, 상기 프레임을 추출하는 단계 이후에,
상기 추출된 복수의 연속된 프레임들 중에서 복수의 프레임들 간의 이미지 차이가 미리 설정된 일정 범위 이내에 해당할 경우, 상기 복수의 프레임들 중 선택된 하나의 프레임을 대표 프레임으로 결정하는 단계를 더 포함하고,
상기 추출된 프레임의 특징을 수치화하는 단계는 상기 결정된 대표 프레임에 대해 수치화하는, 동영상 캡쳐 화면의 분석 방법.
청구항 13에 있어서, 상기 대표 프레임으로 결정하는 단계는,
상기 복수의 프레임들에 대해 프레임간 그레이 히스토그램의 차이값이 일정값 이하일 경우, 상기 복수의 프레임들 중 선택된 하나의 프레임을 대표 프레임으로 결정하는, 동영상 캡쳐 화면의 분석 방법.
청구항 13에 있어서, 상기 대표 프레임으로 결정하는 단계는,
미리 설정된 시간마다 적어도 하나의 프레임을 대표 프레임으로 결정하는, 동영상 캡쳐 화면의 분석 방법.
청구항 12에 있어서, 상기 추출된 프레임의 특징을 수치화하는 단계는,
각 프레임의 불변점을 수치화한 후, 미리 정의한 클러스터(cluster)값으로 변환시킨 비쥬얼 단어의 빈도수로 나타내는, 동영상 캡쳐 화면의 분석 방법.
청구항 12에 있어서, 상기 검색 대상 이미지의 특징을 수치화하는 단계는,
각 이미지의 불변점을 수치화한 후, 미리 정의한 클러스터(cluster)값으로 변환시킨 비쥬얼 단어의 빈도수로 나타내는, 동영상 캡쳐 화면의 분석 방법.
청구항 16 또는 청구항 17에 있어서, 상기 비교하는 단계는,
상기 각 프레임의 비쥬얼 단어와 상기 각 이미지의 비쥬얼 단어를 비교하여 동일한 비쥬얼 단어가 미리 설정된 개수 이상이거나 가장 많을 경우 해당 프레임과 이미지가 일치하는 것으로 결정하는, 동영상 캡쳐 화면의 분석 방법.
청구항 12에 있어서, 상기 검색 대상 이미지의 관련 정보는,
상기 수집된 이미지가 포스팅된 출처, 상기 이미지의 소셜 네트워크 서비스 상의 리트릿 수, 댓글 수, 추천 수 및 평가 정보 중에서 선택된 어느 하나 이상인, 동영상 캡쳐 화면의 분석 방법.
청구항 12에 있어서, 상기 데이터베이스에 저장하는 단계 이후에,
상기 저장된 검색 결과로부터 특정 동영상에 대한 각 프레임에 대한 통계값을 자동으로 산출하여 분석 결과를 생성하는 단계를 더 포함하는, 동영상 캡쳐 화면의 분석 방법.
청구항 20에 있어서, 상기 분석 결과를 생성하는 단계는,
결과 분석 요청에 따라 특정 동영상의 각 프레임에 대해 동영상 내의 해당 이미지를 참조한 뉴스, 블로그, SNS 사이트에서의 인용 횟수 및 해당 링크 정보 중에서 선택된 어느 하나를 제공하는, 동영상 캡쳐 화면의 분석 방법.
청구항 20에 있어서, 상기 분석 결과를 생성하는 단계는,
결과 분석 요청에 따라 특정 동영상의 각 프레임에 대해 동영상 내의 해당 이미지를 참조한 뉴스, 블로그, SNS 사이트에서의 인용 횟수로부터 각 프레임의 랭킹을 산출하여 제공하는, 동영상 캡쳐 화면의 분석 방법.
청구항 12 내지 청구항 22 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.