KR102185131B1 - 썸네일 생성 방법 및 그 전자 장치 - Google Patents

썸네일 생성 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR102185131B1
KR102185131B1 KR1020140035952A KR20140035952A KR102185131B1 KR 102185131 B1 KR102185131 B1 KR 102185131B1 KR 1020140035952 A KR1020140035952 A KR 1020140035952A KR 20140035952 A KR20140035952 A KR 20140035952A KR 102185131 B1 KR102185131 B1 KR 102185131B1
Authority
KR
South Korea
Prior art keywords
video content
pieces
feature points
electronic device
representative frame
Prior art date
Application number
KR1020140035952A
Other languages
English (en)
Other versions
KR20150112247A (ko
Inventor
유광열
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140035952A priority Critical patent/KR102185131B1/ko
Priority to US14/671,383 priority patent/US9685197B2/en
Publication of KR20150112247A publication Critical patent/KR20150112247A/ko
Application granted granted Critical
Publication of KR102185131B1 publication Critical patent/KR102185131B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 다양한 실시 예는 전자 장치에서 비디오 컨텐츠의 썸네일을 생성하기 위한 방법 및 장치에 관한 것이다. 이때, 전자 장치에서 비디오 컨텐츠의 썸네일을 생성하기 위한 방법은, 비디오 컨텐츠를 다수의 조각으로 분리하는 동작, 상기 분리된 다수의 조각 각각에 대해 특징점을 추출하는 동작, 상기 추출된 다수의 조각 각각에 대한 특징점과 적어도 하나의 다른 비디오 컨텐츠의 다수의 조각 각각에 대한 특징점을 비교하는 동작, 상기 비교 결과에 기반하여 동일한 조각 이외의 조각에서 상기 비디오 컨텐츠의 썸네일을 결정하는 동작을 포함할 수 있다. 또한, 전자 장치에서 비디오 컨텐츠의 썸네일을 생성하기 위한 방법 및 장치는 다양한 실시 예를 통해 구현 가능할 수 있다.

Description

썸네일 생성 방법 및 그 전자 장치{METHOD FOR GENERATING A THUMBNAIL AND ELECTRONIC DEVICE THEREOF}
본 발명의 다양한 실시 예는 전자 장치에서 비디오 컨텐츠의 썸네일을 생성하기 위한 장치 및 방법에 관한 것이다.
멀티미디어 기술의 발달로 멀티미디어 컨텐츠의 사용이 증가하고 있다. 최근에는, 전자 장치에서 고속으로 대용량의 데이터 송수신이 가능해짐에 따라, 전자장치에서도 동영상 데이터와 같은 대용량의 시각적 컨텐츠 사용이 증가하고 있다. 따라서, 전자 장치는 멀티미디어 컨텐츠들을 손쉽게 관리하기 위한 방법이 필요할 수 있다.
상술한 바와 같이 멀티미디어 컨텐츠의 사용이 증가함에 따라 전자 장치 사용자가 다수 개의 멀티미디어 컨텐츠들을 식별하기 위해서, 전자 장치는 파일명 이외에 멀티미디어 컨텐츠의 내용을 식별할 수 있는 식별자를 표시할 수 있다. 예를 들어, 전자 장치는 동영상의 첫 이미지를 썸네일(thumbnail) 이미지로 제공할 수 있다. 다른 예를 들어, 전자 장치는 동영상의 시작 시점부터 기준 시점 이후의 이미지를 썸네일 이미지로 제공할 수도 있다.
상술한 바와 같이 전자 장치는 일정한 조건에 기반하는 이미지를 썸네일 이미지로 제공할 수 있다. 이에 따라, 도 7a에 도시된 바와 같이 동일한 인트로(intro)를 포함하는 시리즈 비디오 컨텐츠에 대해서는 동일한 썸네일(701)을 제공할 수 있다. 이에 따라, 전자 장치는 도 7b에 도시된 바와 같이 사용자가 비디오를 용이하게 식별할 수 있는 방법이 필요하다(711).
본 발명의 다양한 실시 예에 따르면, 전자 장치에서 비디오 컨텐츠의 썸네일을 생성하기 위한 방법은, 비디오 컨텐츠를 다수의 조각으로 분리하는 동작, 상기 분리된 다수의 조각 각각에 대해 특징점을 추출하는 동작, 상기 추출된 다수의 조각 각각에 대한 특징점과 적어도 하나의 다른 비디오 컨텐츠의 다수의 조각 각각에 대한 특징점을 비교하는 동작, 상기 비교 결과에 기반하여 동일한 조각 이외의 조각에서 상기 비디오 컨텐츠의 썸네일을 결정하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 비디오 컨텐츠를 다수의 조각으로 분리하는 동작은, 상기 비디오 컨텐츠를 연속된 시간축을 기준으로 동일하거나 또는 유사한 프레임을 가지는 구간으로 구분하여 세그먼트 단위로 분리하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 비디오 컨텐츠를 다수의 조각으로 분리하는 동작은, 상기 비디오 컨텐츠에 포함된 각 프레임의 히스토그램(histogram)을 분석하여, 프레임간 히스토그램의 변화량이 기준 범위를 넘는 경우, 상기 조각을 분리하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 비디오 컨텐츠를 다수의 조각으로 분리하는 동작은, 상기 비디오 컨텐츠의 기준 시점부터 기준 구간만큼만 다수의 조각으로 분리하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 특징점을 추출하는 동작은, 상기 분리된 다수의 조각 각각에 대해 대표 프레임을 추출하는 동작, 상기 분리된 다수의 조각 각각에 대한 대표 프레임의 특징점을 추출하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 대표 프레임을 추출하는 동작은, 상기 분리된 다수의 조각 각각에 포함된 프레임들의 히스토그램을 분석하여 평균값에 근사한 프레임을 대표 프레임으로 결정하거나 또는 상기 분리된 다수의 조각 각각에 포함된 프레임들 중 n번째 프레임을 대표 프레임으로 결정하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 특징점을 추출하는 동작은, SIFT(Scale-invariant Feature transform) 또는 SURF(Speeded Up Robust Features)를 이용하여 상기 특징점을 추출하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 특징점을 비교하는 동작은, 상기 비디오 컨텐츠의 다수의 조각 각각의 특징점들과 다른 비디오 컨텐츠의 다수의 조각 각각의 특징점의 거리의 합이 기준 범위 이내인 경우, 동일한 조각으로 판단하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 동일한 조각으로 판단된 경우, 상기 비디오 컨텐츠의 동일한 조각에 대한 정보를 저장하는 동작을 더 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 특징점을 비교하는 동작은, 상기 적어도 하나의 다른 비디오 컨텐츠에 대한 공통 세그먼트가 존재하는지 확인하는 동작, 상기 공통 세그먼트가 존재하는 경우, 상기 비디오 컨텐츠의 다수의 조각 각각의 특징점들과 상기 공통 세그먼트를 포함하는 적어도 하나의 다른 비디오 컨텐츠의 다수의 조각 각각의 특징점들과 비교하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 비디오 컨텐츠의 썸네일을 생성하기 위한 전자 장치는, 메모리; 비디오 컨텐츠를 다수의 조각으로 분리하고, 상기 분리된 다수의 조각 각각에 대해 특징점을 추출하고, 상기 추출된 다수의 조각 각각에 대한 특징점과 적어도 하나의 다른 비디오 컨텐츠의 다수의 조각 각각에 대한 특징점을 비교하고, 상기 비교 결과에 기반하여 동일한 조각 이외의 조각에서 상기 비디오 컨텐츠의 썸네일을 결정하도록 제어하는 하나 이상의 프로세서를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 비디오 컨텐츠를 연속된 시간축을 기준으로 동일하거나 또는 유사한 프레임을 가지는 구간으로 구분하여 세그먼트 단위로 분리할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 비디오 컨텐츠에 포함된 각 프레임의 히스토그램(histogram)을 분석하여, 프레임간 히스토그램의 변화량이 기준 범위를 넘는 경우, 상기 조각을 분리할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 비디오 컨텐츠의 기준 시점부터 기준 구간만큼만 다수의 조각으로 분리할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 분리된 다수의 조각 각각에 대해 대표 프레임을 추출하고, 상기 분리된 다수의 조각 각각에 대한 대표 프레임의 특징점을 추출할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 분리된 다수의 조각 각각에 포함된 프레임들의 히스토그램을 분석하여 평균값에 근사한 프레임을 대표 프레임으로 결정하거나 또는 상기 분리된 다수의 조각 각각에 포함된 프레임들 중 n번째 프레임을 대표 프레임으로 결정할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 프로세서는, SIFT(Scale-invariant Feature transform) 또는 SURF(Speeded Up Robust Features)를 이용하여 상기 특징점을 추출할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 비디오 컨텐츠의 다수의 조각 각각의 특징점들과 다른 비디오 컨텐츠의 다수의 조각 각각의 특징점의 거리의 합이 기준 범위 이내인 경우, 동일한 조각으로 판단할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 동일한 조각으로 판단된 경우, 상기 비디오 컨텐츠의 동일한 조각에 대한 정보를 상기 메모리에 저장하도록 제어할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 프로세서는, 상기 적어도 하나의 다른 비디오 컨텐츠에 대한 공통 세그먼트가 존재하는지 확인하고, 상기 공통 세그먼트가 존재하는 경우, 상기 비디오 컨텐츠의 다수의 조각 각각의 특징점들과 상기 공통 세그먼트를 포함하는 적어도 하나의 다른 비디오 컨텐츠의 다수의 조각 각각의 특징점들과 비교할 수 있다.
상술한 바와 같이 전자 장치에서 시리즈인 비디오 컨텐츠들 각각을 분리하고, 비교하여 서로 다른 썸네일을 생성함으로써, 전자 장치는 사용자는 비디오 컨텐츠를 용이하게 식별할 수 있다.
도 1은 다양한 실시 예에 따른 전자 장치에 대한 블록 구성을 도시하고 있다.
도 2는 다양한 실시 예에 따른 프로세서의 상세 블록 구성을 도시하고 있다.
도 3은 다양한 실시 예에 따른 전자 장치에서 비디오 컨텐츠의 썸네일을 결정하기 위한 절차를 도시하고 있다.
도 4는 다양한 실시 예에 따른 전자 장치에서 비디오 컨텐츠의 대표 프레임과 다른 비디오 컨텐츠의 대표 프레임과 비교하여 썸네일을 결정하기 위한 절차를 도시하고 있다.
도 5는 다양한 실시 예에 따른 전자 장치에서 비디오 컨텐츠의 대표 프레임과 공통 세그먼트 정보에 포함된 다른 비디오 컨텐츠의 대표 프레임과 비교하여 썸네일을 결정하기 위한 절차를 도시하고 있다.
도 6은 다양한 실시 예에 따른 전자 장치에서 다수의 비디오 컨텐츠에서 서로 다른 썸네일을 생성하기 위한 절차를 도시하고 있다.
도 7a는 종례 기술에 따른 전자 장치에서 시리즈 비디오 컨텐츠에서 동일한 썸네일을 생성하는 화면을 도시하고 있다.
도 7b는 다양한 실시 예에 따른 전자 장치에서 시리즈 비디오 컨텐츠에서 서로 다른 썸네일을 생성하는 화면을 도시하고 있다.
이하, 첨부된 도면을 참조하여 본 발명을 설명한다. 본 발명은 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있다. 따라서, 본 발명은 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다.
본 발명에 따른 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 카메라(camera), 웨어러블 장치(wearable device), 전자 시계(electronic clock), 손목 시계(wrist watch), 스마트 가전(smart white appliance)(예: 냉장고, 에어컨, 청소기, 인공 지능 로봇, TV, DVD(digital video disk) 플레이어, 오디오, 오븐, 전자레인지, 세탁기, 공기 청정기, 전자 액자), 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 셋톱 박스(set-top box), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 전자 사전(electronic dictionary), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(electronic equipment for ship)(예: 선박용 항법 장치, 자이로 콤파스), 항공 전자기기(avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(camcorder), 게임 콘솔(game consoles), HMD(head-mounted display), 평판표시장치(flat panel display device), 전자 앨범, 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device) 또는 프로젝터(projector)를 포함하는 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1은 다양한 실시 예에 따른 전자 장치에 대한 블록 구성을 도시하고 있다.
도 1을 참조하면, 전자 장치(100)는 버스(110), 프로세서(120), 메모리(130), 사용자 입력 모듈(140), 디스플레이 모듈(150) 또는 통신 모듈(160)을 포함할 수 있다.
버스(110)는 전자 장치(100)에 포함된 구성요소들(예: 버스(110), 프로세서(120), 메모리(130), 사용자 입력 모듈(140), 디스플레이 모듈(150) 또는 통신 모듈(160))을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
프로세서(120)는 버스(110)를 통해 전자 장치(100)에 포함된 구성요소들로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 수행할 수 있다. 이때, 프로세서(120)는 메모리(130)에 저장되어 있는 적어도 하나의 프로그램을 실행하여 해당 프로그램에 따라 서비스를 제공하도록 제어할 수 있다. 예를 들어, 프로세서(120)는 썸네일 생성 프로그램(131), 썸네일 관리 프로그램(132) 및 디스플레이 제어 프로그램(133)을 실행하여 비디오 컨텐츠의 썸네일을 생성하기 위해 도 2에 도시된 바와 같이 구성될 수 있다.
또한, 프로세서(120)는 하나 이상의 어플리케이션 프로세서(AP: application processor) 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다. 여기서, AP 및 CP는 프로세서(120) 내에 포함되거나 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 또한, AP 및 CP는 하나의 IC 패키지 내에 포함될 수도 있다. AP는 운영체제 또는 응용 프로그램을 구동하여 AP에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 여기서, AP는 SoC(system on chip)로 구현될 수 있다. 또한, CP는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. 또한, CP는 적어도 하나의 가입자 식별 모듈(예: SIM 카드)을 이용하여 통신 네트워크 내에서 단말의 구별 및 인증을 수행할 수 있다. 이때, CP는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data)을 포함하는 서비스를 제공할 수 있다. 또한, CP는 통신 모듈(160)의 데이터 송수신을 제어할 수 있다. AP 또는 CP는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, AP 또는 CP는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다. CP는 하드웨어를 포함하는 전자 장치와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. 여기서, CP는 SoC로 구현될 수 있다. 추가적으로, 프로세서(120)는 GPU(graphic processing unit)를 더 포함할 수도 있다.
메모리(130)는 프로세서(120) 또는 다른 구성요소들(예: 사용자 입력 모듈(140), 디스플레이 모듈(150), 통신 모듈(160))로부터 수신되거나 상기 프로세서(120) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 이때, 메모리는 내부 버퍼 및 외부 버퍼를 포함할 수 있다. 예를 들어, 메모리(130)는 특징점 정보, 공통 세그먼트 정보 중 적어도 하나를 포함할 수 있다. 여기서, 특징점 정보는 비디오 컨텐츠 id, 세그먼트 id, 세그먼트 시작 위치, 세그먼트 종료 위치, 세그먼트의 특징점 정보, 동일 세그먼트 존재 여부 중 적어도 하나의 정보를 포함할 수 있다. 여기서, 공통 세그먼트 정보는 공통 세그먼트 id, 공통 세그먼트 비디오 컨텐츠 id, 공통 세그먼트 비디오 컨텐츠 세그먼트 id 정보 중 적어도 하나를 포함할 수 있다.
또한, 메모리(130)는 썸네일 생성 프로그램(131), 썸네일 관리 프로그램(132) 및 디스플레이 제어 프로그램(133)을 포함할 수 있다. 이때, 각각의 프로그램은 프로그래밍 모듈로 구성될 수 있으며, 각각의 프로그래밍 모듈은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
썸네일 생성 프로그램(131)은 비디오 컨텐츠의 썸네일을 결정하기 위한 적어도 하나의 소프트웨어 구성 요소를 포함할 수 있다.. 추가적으로, 썸네일 생성 프로그램(131)은 비디오 컨텐츠 세그먼트 분리 프로그램(미도시), 대표 프레임 추출 프로그램(미도시), 특징점 추출 프로그램(미도시), 특징점 비교 프로그램(미도시) 및 썸네일 결정 프로그램(미도시)을 포함할 수 있다.
구체적으로, 썸네일 생성 프로그램(131)은 비디오 컨텐츠 세그먼트 분리 프로그램(미도시)을 통해 비디오 컨텐츠를 세그먼트 단위로 분리할 수 있다. 예를 들어, 비디오 컨텐츠 세그먼트 분리 프로그램은 비디오 컨텐츠를 연속된 시간축을 기준으로 동일하거나 또는 유사한 프레임을 가지는 구간으로 구분하여 세그먼트 단위로 분리할 수 있다. 이때, 비디오 컨텐츠 세그먼트 분리 프로그램은 각 프레임의 히스토그램(histogram)을 분석하여, 프레임간 히스토그램의 변화량이 기준 범위를 넘으면 세그먼트를 분리할 수 있다. 추가적으로, 비디오 컨텐츠 세그먼트 분리 프로그램은 비디오 컨텐츠 전체에 대해 세그먼트 단위로 분리를 수행하는 경우, 처리 시간이 많이 소요되기 때문에, 비디오 컨텐츠의 기준 시점부터 기준 구간만큼만 세그먼트 단위로 분리를 수행할 수도 있다.
또한, 썸네일 생성 프로그램(131)은 대표 프레임 추출 프로그램(미도시)을 통해 세그먼트 각각에 대한 대표 프레임을 추출할 수 있다. 예를 들어, 대표 프레임 추출 프로그램은 세그먼트에 포함된 프레임들의 히스토그램을 분석하여 평균값에 근사한 프레임을 대표 프레임으로 결정할 수 있다. 다른 예를 들어, 대표 프레임 추출 프로그램은 세그먼트에 포함된 프레임들 중 n번째 프레임을 대표 프레임으로 결정할 수도 있다.
또한, 썸네일 생성 프로그램(131)은 특징점 추출 프로그램을 통해 대표 프레임 각각에 대한 특징점을 추출할 수 있다. 예를 들어, 특징점 추출 프로그램은 각 대표 프레임에 존재하는 오브젝트(object), 얼굴(face), 텍스트(text) 중 적어도 하나의 정보를 특징점으로 추출할 수 있다. 이때, 특징점 추출 프로그램은 SIFT(Scale-invariant Feature transform) 또는 SURF(Speeded Up Robust Features)를 이용하여 각 대표 프레임에서 특징점을 추출할 수 있다. 추가적으로, 특징점 추출 프로그램은 각 대표 프레임의 특징점 정보를 메모리(130)에 저장할 수 있다.
또한, 썸네일 생성 프로그램(131)은 특징점 비교 프로그램(미도시)을 통해 대표 프레임 각각에 대한 특징점과 다른 비디오 컨텐츠의 대표 프레임 각각에 대한 특징점을 비교할 수 있다.
또한, 썸네일 생성 프로그램(131)은 특징점 비교 프로그램(미도시)을 통해 공통 세그먼트 정보가 존재하는지 확인하여, 공통 세그먼트 정보가 존재하는 경우, 대표 프레임 각각에 대한 특징점과 공통 세그먼트 정보에 포함된 다른 비디오 컨텐츠의 대표 프레임 각각에 대한 특징점을 비교할 수 있다. 이때, 특징점 비교 프로그램은 각 대표 프레임의 특징점들이 공통 세그먼트 정보에 포함된 각 대표 프레임의 특징점들과 일정 유사도 이상인 경우, 동일한 세그먼트인 것으로 인식할 수 있다. 동일 세그먼트인 것으로 인식한 경우, 특징점 비교 프로그램은 해당 세그먼트의 정보를 메모리(130)에 저장할 수 있다.
또한, 썸네일 생성 프로그램(131)은 썸네일 결정 프로그램(미도시)을 통해 특징점 비교 프로그램으로부터 전달받은 비교 결과에 기반하여 동일한 대표 프레임 이외의 대표 프레임에서 비디오 컨텐츠의 썸네일을 결정할 수 있다.
썸네일 관리 프로그램(132)은 비디오 컨텐츠의 썸네일 생성에 따른 세그먼트 정보 및 공통 세그먼트 정보를 메모리에 저장하도록 제어하기 위한 적어도 하나의 소프트웨어 구성 요소를 포함할 수 있다. 추가적으로, 썸네일 관리 프로그램(132)은 세그먼트 정보 저장 프로그램(미도시) 및 공통 세그먼트 정보 저장 프로그램(미도시)을 포함할 수 있다.
이때, 썸네일 관리 프로그램(132)은 특징점 추출 프로그램으로부터 각 대표 프레임의 특징점 정보를 전달받아 세그먼트 정보 저장 모듈을 통해 메모리(130)에 저장할 수 있다.
또한, 썸네일 관리 프로그램(132)은 특징점 비교 프로그램으로부터 공통 세그먼트 정보에 포함할 세그먼트 정보를 전달받아 공통 세그먼트 정보 저장 모듈을 통해 메모리(130)에 저장할 수 있다.
디스플레이 제어 프로그램(133)은 디스플레이 모듈(150)을 통해 적어도 하나의 표시 데이터를 표시하도록 제어하기 위한 적어도 하나의 소프트웨어 구성 요소를 포함할 수 있다. 예를 들어, 디스플레이 제어 프로그램(133)은 디스플레이 모듈(150)을 통해 비디오 컨텐츠의 썸네일을 디스플레이 모듈(150)을 통해 표시할 수도 있다.
메모리(130)는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM)) 또는 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory) 중 적어도 하나를 포함할 수 있다. 이때, 내장 메모리는 SSD(Solid State Drive)의 형태를 취할 수도 있다. 외장 메모리는 CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 memorystick 중 적어도 하나를 포함할 수 있다.
또한, 메모리(130)는 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API: application programming interface)를 더 포함할 수 있다. 커널은 나머지 다른 프로그래밍 모듈들(예: 미들웨어, API 또는 어플리케이션)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120) 또는 메모리(130))을 제어 또는 관리할 수 있다. 또한, 커널은 미들웨어, API 또는 어플리케이션에서 전자 장치(100)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다. 미들웨어는 API 또는 어플리케이션이 커널과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어는 적어도 하나의 어플리케이션으로부터 수신된 작업 요청들에 전자 장치(100)의 시스템 리소스(예: 버스(110), 프로세서(120) 또는 메모리(130))를 사용할 수 있는 우선 순위를 배정하는 방법을 이용하여 작업 요청에 대한 로드 밸런싱(load balancing)을 수행할 수 있다. API는 어플리케이션이 커널 또는 미들웨어에서 제공하는 기능을 제어할 수 있는 인터페이스로, 파일 제어, 창 제어, 화상 처리 또는 문자 제어를 위한 적어도 하나의 인터페이스 또는 함수를 포함할 수 있다.
사용자 입력 모듈(140)은, 사용자로부터 명령 또는 데이터를 입력받아 버스(110)를 통해 프로세서(120) 또는 메모리(130)에 전달할 수 있다. 예를 들어, 사용자 입력 모듈(140)은 터치 패널(touch panel), 펜 센서(pen sensor), 키(key) 또는 초음파 입력 장치를 포함할 수 있다. 예를 들어, 터치 패널은 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 여기서, 터치 패널은 컨트롤러를 더 포함할 수도 있다. 정전식의 경우, 직접 터치뿐만 아니라 근접 인식(호버링)도 가능할 수 있다. 상기 터치 패널은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이때, 터치 패널은 사용자에게 촉각 반응을 제공할 수 있다. 예를 들어, 펜 센서는 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 예를 들어, 키는 키패드 또는 터치 키를 포함할 수 있다. 예를 들어, 초음파 입력 장치는 초음파 신호를 발생하는 펜을 통해, 전자 장치에서 마이크로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능할 수 있다.
디스플레이 모듈(150)은 사용자에게 화상, 영상 또는 데이터를 표시할 수 있다. 예를 들어, 디스플레이 모듈(150)은 패널 또는 홀로그램을 포함할 수 있다. 예를 들어, 패널은 LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode)일 수 있다. 또한, 패널은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 여기서, 패널은 터치 패널과 하나의 모듈로 구성될 수도 있다. 예를 들어, 홀로그램은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 추가적으로, 디스플레이 모듈(150)은 패널 또는 홀로그램을 제어하기 위한 제어회로를 더 포함할 수 있다.
또한, 디스플레이 모듈(150)은 디스플레이 제어 프로그램(133)의 제어에 따라 표시 데이터를 표시할 수 있다. 이때, 디스플레이 모듈(150)은 비디오 컨텐츠의 썸네일을 표시할 수도 있다.
통신 모듈(160)은 전자 장치(100)와 다른 전자 장치(102, 104) 간의 통신을 연결할 수 있다. 이때, 통신 모듈(160)은 근거리 통신 프로토콜(예: Wi-Fi(wireless fidelity), BT(Bluetooth), NFC(near field communication) 또는 네트워크 통신(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service), 162)을 지원할 수 있다.
다른 전자 장치(102, 104) 각각은 전자 장치(100)와 동일한(예: 같은 타입) 장치이거나 또는 다른(예: 다른 타입) 장치일 수 있다.
추가적으로, 전자 장치는 센서 모듈을 더 포함할 수 있다. 센서 모듈은 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, RGB(red, green, blue) 센서, 생체 센서, 온/습도 센서, 조도 센서 또는 UV(ultra violet) 센서 중 적어도 하나를 포함할 수 있다. 또한, 센서 모듈은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 예를 들어, 센서 모듈은 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor) 또는 지문 센서를 포함할 수 있다. 또한, 센서 모듈은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어회로를 더 포함할 수 있다.
본 발명에 따른 하드웨어의 구성요소들의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명에 따른 하드웨어는 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명에 따른 하드웨어의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
도 2는 다양한 실시 예에 따른 프로세서의 상세 블록 구성을 도시하고 있다.
도 2에 도시된 바와 같이 프로세서(120)는 썸네일 생성 모듈(210), 썸네일 관리 모듈(220) 및 디스플레이 제어부(230)를 포함할 수 있다.
썸네일 생성 모듈(210)은 메모리(130)에 저장된 썸네일 생성 프로그램(131)을 실행하여 비디오 컨텐츠의 썸네일을 결정하도록 제어할 수 있다. 추가적으로, 썸네일 생성 모듈(210)은 비디오 컨텐츠 세그먼트 분리 모듈(211), 대표 프레임 추출 모듈(212), 특징점 추출 모듈(213), 특징점 비교 모듈(214) 및 썸네일 결정 모듈(215)을 포함할 수 있다.
구체적으로, 썸네일 생성 모듈(210)은 비디오 컨텐츠 세그먼트 분리 모듈(211)을 통해 비디오 컨텐츠를 세그먼트 단위로 분리하도록 제어할 수 있다. 예를 들어, 비디오 컨텐츠 세그먼트 분리 모듈(211)은 비디오 컨텐츠를 연속된 시간축을 기준으로 동일하거나 또는 유사한 프레임을 가지는 구간으로 구분하여 세그먼트 단위로 분리할 수 있다. 이때, 비디오 컨텐츠 세그먼트 분리 모듈(211)은 각 프레임의 히스토그램(histogram)을 분석하여, 프레임간 히스토그램의 변화량이 기준 범위를 넘으면 세그먼트를 분리할 수 있다. 추가적으로, 비디오 컨텐츠 세그먼트 분리 모듈(211)은 비디오 컨텐츠 전체에 대해 세그먼트 단위로 분리를 수행하는 경우, 처리 시간이 많이 소요되기 때문에, 비디오 컨텐츠의 기준 시점부터 기준 구간만큼만 세그먼트 단위로 분리를 수행할 수도 있다.
또한, 썸네일 생성 모듈(210)은 대표 프레임 추출 모듈(212)을 통해 세그먼트 각각에 대한 대표 프레임을 추출하도록 제어할 수 있다. 예를 들어, 대표 프레임 추출 모듈(212)은 세그먼트에 포함된 프레임들의 히스토그램을 분석하여 평균값에 근사한 프레임을 대표 프레임으로 결정할 수 있다. 다른 예를 들어, 대표 프레임 추출 모듈(212)은 세그먼트에 포함된 프레임들 중 n번째 프레임을 대표 프레임으로 결정할 수도 있다.
또한, 썸네일 생성 모듈(210)은 특징점 추출 모듈(213)을 통해 대표 프레임 각각에 대한 특징점을 추출하도록 제어할 수 있다. 예를 들어, 특징점 추출 모듈(213)은 각 대표 프레임에 존재하는 오브젝트(object), 얼굴(face), 텍스트(text) 중 적어도 하나의 정보를 특징점으로 추출할 수 있다. 이때, 특징점 추출 모듈(213)은 SIFT(Scale-invariant Feature transform) 또는 SURF(Speeded Up Robust Features)를 이용하여 각 대표 프레임에서 특징점을 추출할 수 있다. 추가적으로, 특징점 추출 모듈(213)은 각 대표 프레임의 특징점 정보를 썸네일 관리 모듈(220) 또는 세그먼트 정보 저장 모듈(221)에 저장할 수 있다. 여기서, 특징점 정보는 비디오 컨텐츠 id, 세그먼트 id, 세그먼트 시작 위치, 세그먼트 종료 위치, 세그먼트의 특징점 정보, 동일 세그먼트 존재 여부 중 적어도 하나의 정보를 포함할 수 있다.
또한, 썸네일 생성 모듈(210)은 특징점 비교 모듈(214)을 통해 대표 프레임 각각에 대한 특징점과 다른 비디오 컨텐츠의 대표 프레임 각각에 대한 특징점을 비교하도록 제어할 수 있다.
또한, 썸네일 생성 모듈(210)은 특징점 비교 모듈(214)을 통해 공통 세그먼트 정보가 존재하는지 확인하여, 공통 세그먼트 정보가 존재하는 경우, 대표 프레임 각각에 대한 특징점과 공통 세그먼트 정보에 포함된 다른 비디오 컨텐츠의 대표 프레임 각각에 대한 특징점을 비교하도록 제어할 수 있다. 이때, 특징점 비교 모듈(214)은 각 대표 프레임의 특징점들이 공통 세그먼트 정보에 포함된 각 대표 프레임의 특징점들과 일정 유사도 이상인 경우, 동일한 세그먼트인 것으로 인식할 수 있다. 동일 세그먼트인 것으로 인식한 경우, 특징점 비교 모듈(214)은 해당 세그먼트의 정보를 공통 세그먼트 정보에 포함하도록 썸네일 관리 모듈(220) 또는 공통 세그먼트 정보 저장 모듈(222)에 전달할 수 있다. 여기서, 공통 세그먼트 정보는 공통 세그먼트 id, 공통 세그먼트 비디오 컨텐츠 id, 공통 세그먼트 비디오 컨텐츠 세그먼트 id 정보 중 적어도 하나를 포함할 수 있다.
또한, 썸네일 생성 모듈(210)은 썸네일 결정 모듈(215)을 통해 특징점 비교 모듈(214)로부터 전달받은 비교 결과에 기반하여 동일한 대표 프레임 이외의 대표 프레임에서 비디오 컨텐츠의 썸네일을 결정하도록 제어할 수 있다.
썸네일 관리 모듈(220)은 메모리(130)에 저장된 썸네일 관리 프로그램(132)을 실행하여 비디오 컨텐츠의 썸네일 생성에 따른 세그먼트 정보 및 공통 세그먼트 정보를 저장하도록 제어할 수 있다. 추가적으로, 썸네일 관리 모듈(220)은 세그먼트 정보 저장 모듈(221 및 공통 세그먼트 정보 저장 모듈(222)을 포함할 수 있다.
이때, 썸네일 관리 모듈(220)은 특징점 추출 모듈(213)로부터 각 대표 프레임의 특징점 정보를 전달받아 세그먼트 정보 저장 모듈(221)에 저장할 수 있다. 여기서, 특징점 정보는 비디오 컨텐츠 id, 세그먼트 id, 세그먼트 시작 위치, 세그먼트 종료 위치, 세그먼트의 특징점 정보, 동일 세그먼트 존재 여부 중 적어도 하나의 정보를 포함할 수 있다.
또한, 썸네일 관리 모듈(220)은 특징점 비교 모듈(214)로부터 공통 세그먼트 정보에 포함할 세그먼트 정보를 전달받아 공통 세그먼트 정보 저장 모듈(222)에 저장할 수 있다.
디스플레이 제어 모듈(230)은 메모리(130)에 저장된 디스플레이 제어 프로그램(133)을 실행하여 디스플레이 모듈(150)을 통해 표시 데이터를 표시하도록 제어할 수 있다. 예를 들어, 디스플레이 제어부(220)는 디스플레이 모듈(150)을 통해 비디오 컨텐츠의 썸네일을 디스플레이 모듈(150)을 통해 표시할 수도 있다.
도 3은 다양한 실시 예에 따른 전자 장치에서 비디오 컨텐츠의 썸네일을 결정하기 위한 절차를 도시하고 있다.
도 3을 참조하면 301단계에서 전자 장치는 비디오 컨텐츠를 다수의 조각으로 분리할 수 있다. 예를 들어, 전자 장치는 비디오 컨텐츠를 연속된 시간축을 기준으로 동일하거나 또는 유사한 프레임을 가지는 구간으로 구분하여 세그먼트 단위로 분리할 수 있다. 이때, 전자 장치는 각 프레임의 히스토그램(histogram)을 분석하여, 프레임간 히스토그램의 변화량이 기준 범위를 넘으면 세그먼트를 분리할 수 있다. 추가적으로, 전자 장치는 비디오 컨텐츠 전체에 대해 세그먼트 단위로 분리를 수행하는 경우, 처리 시간이 많이 소요되기 때문에, 비디오 컨텐츠의 기준 시점부터 기준 구간만큼만 세그먼트 단위로 분리를 수행할 수도 있다.
이후, 303단계에서 전자 장치는 다수의 조각 각각에 대해 특징점을 추출할 수 있다. 이때, 전자 장치는 조각 각각에 포함된 어느 하나의 프레임을 대표 프레임으로 결정할 수 있다. 예를 들어, 전자 장치는 각 대표 프레임에 존재하는 오브젝트(object), 얼굴(face), 텍스트(text) 중 적어도 하나의 정보를 특징점으로 추출할 수 있다. 이때, 전자 장치는 SIFT(Scale-invariant Feature transform) 또는 SURF(Speeded Up Robust Features)를 이용하여 각 대표 프레임에서 특징점을 추출할 수 있다. 추가적으로, 전자 장치는 각 대표 프레임의 특징점 정보를 메모리에 저장할 수 있다. 여기서, 특징점 정보는 비디오 컨텐츠 id, 세그먼트 id, 세그먼트 시작 위치, 세그먼트 종료 위치, 세그먼트의 특징점 정보, 동일 세그먼트 존재 여부 중 적어도 하나의 정보를 포함할 수 있다.
이후, 305단계에서 전자 장치는 다수의 조각 각각에 대한 특징점과 다른 비디오 컨텐츠의 다수의 조각 각각에 대한 특징점을 비교할 수 있다. 예를 들어, 전자 장치는 대표 프레임 각각에 대한 특징점과 다른 비디오 컨텐츠의 대표 프레임 각각에 대한 특징점을 비교할 수 있다.
이후, 307단계에서 전자 장치는 비교 결과에 기반하여 동일한 조각 이외의 조각에서 비디오 컨텐츠의 썸네일을 결정할 수 있다.
도 4는 다양한 실시 예에 따른 전자 장치에서 비디오 컨텐츠의 대표 프레임과 다른 비디오 컨텐츠의 대표 프레임과 비교하여 썸네일을 결정하기 위한 절차를 도시하고 있다.
도 4를 참조하면 401단계에서 전자 장치는 비디오 컨텐츠의 썸네일 생성 이벤트가 발생하는지 확인할 수 있다. 예를 들어, 전자 장치는 메모리에 비디오 컨텐츠가 저장되는지 확인할 수 있다. 다른 예를 들어, 전자 장치는 썸네일이 생성되지 않은 비디오 컨텐츠가 메모리에 존재하는지 확인할 수도 있다. 또 다른 예를 들어, 전자 장치는 사용자의 조작에 의해 비디오 컨텐츠에 대한 썸네일 갱신 이벤트가 발생하는지 확인할 수도 있다.
썸네일 생성 이벤트가 발생한 경우, 403단계에서 전자 장치는 비디오 컨텐츠를 세그먼트 단위로 분리할 수 있다. 예를 들어, 전자 장치는 비디오 컨텐츠를 연속된 시간축을 기준으로 동일하거나 또는 유사한 프레임을 가지는 구간으로 구분하여 세그먼트 단위로 분리할 수 있다. 이때, 전자 장치는 각 프레임의 히스토그램(histogram)을 분석하여, 프레임간 히스토그램의 변화량이 기준 범위를 넘으면 세그먼트를 분리할 수 있다. 추가적으로, 전자 장치는 비디오 컨텐츠 전체에 대해 세그먼트 단위로 분리를 수행하는 경우, 처리 시간이 많이 소요되기 때문에, 비디오 컨텐츠의 기준 시점부터 기준 구간만큼만 세그먼트 단위로 분리를 수행할 수도 있다.
이후, 405단계에서 전자 장치는 세그먼트 각각에 대한 대표 프레임을 추출할 수 있다. 예를 들어, 전자 장치는 세그먼트에 포함된 프레임들의 히스토그램을 분석하여 평균값에 근사한 프레임을 대표 프레임으로 결정할 수 있다. 다른 예를 들어, 전자 장치는 세그먼트에 포함된 프레임들 중 n번째 프레임을 대표 프레임으로 결정할 수도 있다.
이후, 407단계에서 전자 장치는 대표 프레임 각각에 대한 특징점을 추출할 수 있다. 예를 들어, 전자 장치는 각 대표 프레임에 존재하는 오브젝트(object), 얼굴(face), 텍스트(text) 중 적어도 하나의 정보를 특징점으로 추출할 수 있다. 이때, 전자 장치는 SIFT(Scale-invariant Feature transform) 또는 SURF(Speeded Up Robust Features)를 이용하여 각 대표 프레임에서 특징점을 추출할 수 있다. 추가적으로, 전자 장치는 각 대표 프레임의 특징점 정보를 메모리에 저장할 수 있다. 여기서, 특징점 정보는 비디오 컨텐츠 id, 세그먼트 id, 세그먼트 시작 위치, 세그먼트 종료 위치, 세그먼트의 특징점 정보, 동일 세그먼트 존재 여부 중 적어도 하나의 정보를 포함할 수 있다.
이후, 409단계에서 전자 장치는 대표 프레임 각각에 대한 특징점과 다른 비디오 컨텐츠의 대표 프레임 각각에 대한 특징점을 비교할 수 있다. 예를 들어, 전자 장치는 대표 프레임 각각에 대한 특징점과 다른 비디오 컨텐츠의 대표 프레임 각각에 대한 특징점의 거리의 합이 기준 범위 이내인 경우, 동일한 세그먼트로 판단할 수 있다.
이후, 411단계에서 비교 결과에 기반하여 동일한 대표 프레임 이외의 대표 프레임에서 비디오 컨텐츠의 썸네일을 결정할 수 있다.
예를 들어, 도 6에 도시된 바와 같이 제1비디오 컨텐츠(601) 및 제2비디오 컨텐츠(651)에 대한 썸네일 생성 이벤트가 발생한 경우, 전자 장치는 제1비디오 컨텐츠(601)를 제1세그먼트(621), 제2세그먼트(623) 및 제3세그먼트(625)로 분리하고, 제2비디오 컨텐츠(651)를 제4세그먼트(671), 제5세그먼트(673) 및 제6세그먼트(675)로 분리할 수 있다.
이후, 전자 장치는 제1비디오 컨텐츠(601)에서 제1세그먼트(621)의 제1대표 프레임(631), 제2세그먼트(623)의 제2대표 프레임(633) 및 제3세그먼트(625)의 제3대표 프레임(635)을 추출하고, 제2비디오 컨텐츠(651)에서 제4세그먼트(671)의 제4대표 프레임(681), 제5세그먼트(673)의 제5대표 프레임(683) 및 제6세그먼트(675)의 제6대표 프레임(685)을 추출할 수 있다.
대표 프레임들(631, 633, 635, 681, 683 및 685)을 추출한 후, 전자 장치는 대표 프레임들(631, 633, 635, 681, 683 및 685) 각각의 특징점을 추출할 수 있다.
이후, 전자 장치는 제1비디오 컨텐츠(601)의 대표 프레임들(631, 633 및 635)과 제2비디오 컨텐츠(651)의 대표 프레임들(681, 683 및 685)의 특징점을 각각 비교할 수 있다.
이에 따라, 전자 장치는 제1비디오 컨텐츠(601)의 제1대표 프레임(631)및 제2대표 프레임(633)이 제2비디오 컨텐츠(651)의 제4대표 프레임(681) 및 제5대표 프레임(683)과 동일한 프레임인 것으로 인식할 수 있다. 또한, 전자 장치는 제1비디오 컨텐츠(601)의 제3대표 프레임(635)이 제2비디오 컨텐츠(651)의 제6대표 프레임(685)과 서로 다른 프레임인 것으로 인식할 수도 있다.
이후, 전자 장치는 제1비디오 컨텐츠(601)의 제3대표 프레임(635)이 제2비디오 컨텐츠(651)의 제6대표 프레임(685)과 서로 다른 프레임이므로, 제3대표 프레임(635)을 제1비디오 컨텐츠(601)의 썸네일로 결정하고, 제6대표 프레임(635)을 제2비디오 컨텐츠(651)의 썸네일로 결정할 수 있다.
도 5는 다양한 실시 예에 따른 전자 장치에서 비디오 컨텐츠의 대표 프레임과 공통 세그먼트 정보에 포함된 다른 비디오 컨텐츠의 대표 프레임과 비교하여 썸네일을 결정하기 위한 절차를 도시하고 있다.
도 5를 참조하면 501단계에서 전자 장치는 비디오 컨텐츠의 썸네일 생성 이벤트가 발생하는지 확인할 수 있다. 예를 들어, 전자 장치는 메모리에 비디오 컨텐츠가 저장되는지 확인할 수 있다. 다른 예를 들어, 전자 장치는 썸네일이 생성되지 않은 비디오 컨텐츠가 메모리에 존재하는지 확인할 수도 있다. 또 다른 예를 들어, 전자 장치는 사용자의 조작에 의해 비디오 컨텐츠에 대한 썸네일 갱신 이벤트가 발생하는지 확인할 수도 있다.
썸네일 생성 이벤트가 발생한 경우, 503단계에서 전자 장치는 비디오 컨텐츠를 세그먼트 단위로 분리할 수 있다. 예를 들어, 전자 장치는 비디오 컨텐츠를 연속된 시간축을 기준으로 동일하거나 또는 유사한 프레임을 가지는 구간으로 구분하여 세그먼트 단위로 분리할 수 있다. 이때, 전자 장치는 각 프레임의 히스토그램(histogram)을 분석하여, 프레임간 히스토그램의 변화량이 기준 범위를 넘으면 세그먼트를 분리할 수 있다. 추가적으로, 전자 장치는 비디오 컨텐츠 전체에 대해 세그먼트 단위로 분리를 수행하는 경우, 처리 시간이 많이 소요되기 때문에, 비디오 컨텐츠의 기준 시점부터 기준 구간만큼만 세그먼트 단위로 분리를 수행할 수도 있다.
이후, 505단계에서 전자 장치는 세그먼트 각각에 대한 대표 프레임을 추출할 수 있다. 예를 들어, 전자 장치는 세그먼트에 포함된 프레임들의 히스토그램을 분석하여 평균값에 근사한 프레임을 대표 프레임으로 결정할 수 있다. 다른 예를 들어, 전자 장치는 세그먼트에 포함된 프레임들 중 n번째 프레임을 대표 프레임으로 결정할 수도 있다.
이후, 507단계에서 전자 장치는 대표 프레임 각각에 대한 특징점을 추출할 수 있다. 예를 들어, 전자 장치는 각 대표 프레임에 존재하는 오브젝트(object), 얼굴(face), 텍스트(text) 중 적어도 하나의 정보를 특징점으로 추출할 수 있다. 이때, 전자 장치는 SIFT(Scale-invariant Feature transform) 또는 SURF(Speeded Up Robust Features)를 이용하여 각 대표 프레임에서 특징점을 추출할 수 있다. 추가적으로, 전자 장치는 각 대표 프레임의 특징점 정보를 메모리에 저장할 수 있다. 여기서, 특징점 정보는 비디오 컨텐츠 id, 세그먼트 id, 세그먼트 시작 위치, 세그먼트 종료 위치, 세그먼트의 특징점 정보, 동일 세그먼트 존재 여부 중 적어도 하나의 정보를 포함할 수 있다.
이후, 509단계에서 전자 장치는 공통 세그먼트 정보가 존재하는지 확인할 수 있다.
만일, 공통 세그먼트 정보가 존재하는 경우, 511단계에서 전자 장치는 대표 프레임 각각에 대한 특징점과 공통 세그먼트 정보에 포함된 다른 비디오 컨텐츠의 대표 프레임 각각에 대한 특징점을 비교할 수 있다. 이때, 전자 장치는 각 대표 프레임의 특징점들이 공통 세그먼트 정보에 포함된 각 대표 프레임의 특징점들과 일정 유사도 이상인 경우, 동일한 세그먼트인 것으로 인식할 수 있다. 동일 세그먼트인 것으로 인식한 경우, 전자 장치는 해당 세그먼트의 정보를 공통 세그먼트 정보에 포함할 수 있다. 여기서, 공통 세그먼트 정보는 공통 세그먼트 id, 공통 세그먼트 비디오 컨텐츠 id, 공통 세그먼트 비디오 컨텐츠 세그먼트 id 정보 중 적어도 하나를 포함할 수 있다.
한편, 공통 세그먼트 정보가 존재하지 않은 경우, 전자 장치는 도 4의 실시 예에서와 동일하게 다른 비디오 컨텐츠의 대표 프레임들의 특징점들과 비교할 수 있다.
이후, 513단계에서 비교 결과에 기반하여 동일한 대표 프레임 이외의 대표 프레임에서 비디오 컨텐츠의 썸네일을 결정할 수 있다.
예를 들어, 도 6에 도시된 바와 같이 제1비디오 컨텐츠(601)에 대한 썸네일 생성 이벤트가 발생한 경우, 전자 장치는 제1비디오 컨텐츠(601)를 제1세그먼트(621), 제2세그먼트(623) 및 제3세그먼트(625)로 분리할 수 있다.
이후, 전자 장치는 제1비디오 컨텐츠(601)에서 제1세그먼트(621)의 제1대표 프레임(631), 제2세그먼트(623)의 제2대표 프레임(633) 및 제3세그먼트(625)의 제3대표 프레임(635)을 추출할 수 있다.
대표 프레임들(631, 633 및 635)을 추출한 후, 전자 장치는 대표 프레임들(631, 633 및 635) 각각의 특징점을 추출할 수 있다.
이후, 전자 장치는 메모리에 공통 세그먼트 정보가 존재하는지 확인할 수 있다. 만일, 공통 세그먼트 정보가 존재하는 경우, 전자 장치는 제1비디오 컨텐츠(601)의 대표 프레임들(631, 633 및 635)과 공통 세그먼트 정보에 포함된 다른 비디오 컨텐츠의 대표 프레임들의 특징점을 각각 비교할 수 있다. 여기서, 제2비디오 컨텐츠(651)의 일부 세그먼트가 공통 세그먼트 정보에 포함된 것으로 가정하여 설명할 수 있다. 이에 따라, 전자 장치는 제1비디오 컨텐츠(601)의 대표 프레임들(631, 633 및 635)과 제2비디오 컨텐츠(651)의 대표 프레임들(681, 683 및 685)의 특징점들을 비교할 수 있다.
이후, 전자 장치는 제1비디오 컨텐츠(601)의 제1대표 프레임(631)및 제2대표 프레임(633)이 공통 세그먼트 정보에 포함된 제2비디오 컨텐츠(651)의 제4대표 프레임(681) 및 제5대표 프레임(683)과 동일한 프레임인 것으로 인식할 수 있다. 또한, 전자 장치는 제1비디오 컨텐츠(601)의 제3대표 프레임(635)이 제2비디오 컨텐츠(651)의 제6대표 프레임(685)과 서로 다른 프레임인 것으로 인식할 수도 있다.
이후, 전자 장치는 제1비디오 컨텐츠(601)의 제3대표 프레임(635)이 공통 세그먼트 정보에 포함된 제2비디오 컨텐츠(651)의 제6대표 프레임(685)과 서로 다른 프레임이므로, 제3대표 프레임(635)을 제1비디오 컨텐츠(601)의 썸네일로 결정할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능할 수 있다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 전자 장치에서 비디오 컨텐츠의 썸네일을 생성하기 위한 방법에 있어서,
    비디오 컨텐츠를 다수의 조각으로 분리하는 동작,
    상기 분리된 다수의 조각 각각에 대해 특징점을 추출하는 동작,
    상기 추출된 다수의 조각 각각에 대한 특징점과 적어도 하나의 다른 비디오 컨텐츠의 다수의 조각 각각에 대한 특징점을 비교하는 동작,
    상기 비교 결과에 기반하여 동일한 조각 이외의 조각에서 상기 비디오 컨텐츠의 썸네일을 결정하는 동작을 포함하고,
    상기 특징점을 비교하는 동작은, 상기 적어도 하나의 다른 비디오 컨텐츠에 대한 공통 세그먼트가 존재하는지 확인하는 동작과, 상기 공통 세그먼트가 존재하는 경우, 상기 비디오 컨텐츠의 다수의 조각 각각의 특징점들과 상기 공통 세그먼트를 포함하는 적어도 하나의 다른 비디오 컨텐츠의 다수의 조각 각각의 특징점들과 비교하는 동작을 포함하는 방법.
  2. 제1항에 있어서,
    상기 비디오 컨텐츠를 다수의 조각으로 분리하는 동작은,
    상기 비디오 컨텐츠를 연속된 시간축을 기준으로 동일하거나 또는 유사한 프레임을 가지는 구간으로 구분하여 세그먼트 단위로 분리하는 동작을 포함하는 방법.
  3. 제1항에 있어서,
    상기 비디오 컨텐츠를 다수의 조각으로 분리하는 동작은,
    상기 비디오 컨텐츠에 포함된 각 프레임의 히스토그램(histogram)을 분석하여, 프레임간 히스토그램의 변화량이 기준 범위를 넘는 경우, 상기 조각을 분리하는 동작을 포함하는 방법.
  4. 제1항에 있어서,
    상기 비디오 컨텐츠를 다수의 조각으로 분리하는 동작은,
    상기 비디오 컨텐츠의 기준 시점부터 기준 구간만큼만 다수의 조각으로 분리하는 동작을 포함하는 방법.
  5. 제1항에 있어서,
    상기 특징점을 추출하는 동작은,
    상기 분리된 다수의 조각 각각에 대해 대표 프레임을 추출하는 동작,
    상기 분리된 다수의 조각 각각에 대한 대표 프레임의 특징점을 추출하는 동작을 포함하는 방법.
  6. 제5항에 있어서,
    상기 대표 프레임을 추출하는 동작은,
    상기 분리된 다수의 조각 각각에 포함된 프레임들의 히스토그램을 분석하여 평균값에 근사한 프레임을 대표 프레임으로 결정하거나 또는 상기 분리된 다수의 조각 각각에 포함된 프레임들 중 n번째 프레임을 대표 프레임으로 결정하는 동작을 포함하는 방법.
  7. 제1항에 있어서,
    상기 특징점을 추출하는 동작은,
    SIFT(Scale-invariant Feature transform) 또는 SURF(Speeded Up Robust Features)를 이용하여 상기 특징점을 추출하는 동작을 포함하는 방법.
  8. 제1항에 있어서,
    상기 특징점을 비교하는 동작은,
    상기 비디오 컨텐츠의 다수의 조각 각각의 특징점들과 다른 비디오 컨텐츠의 다수의 조각 각각의 특징점의 거리의 합이 기준 범위 이내인 경우, 동일한 조각으로 판단하는 동작을 포함하는 방법.
  9. 제8항에 있어서,
    상기 동일한 조각으로 판단된 경우, 상기 비디오 컨텐츠의 동일한 조각에 대한 정보를 저장하는 동작을 더 포함하는 방법.
  10. 삭제
  11. 비디오 컨텐츠의 썸네일을 생성하기 위한 전자 장치에 있어서,
    메모리;
    비디오 컨텐츠를 다수의 조각으로 분리하고,
    상기 분리된 다수의 조각 각각에 대해 특징점을 추출하고
    상기 추출된 다수의 조각 각각에 대한 특징점과 적어도 하나의 다른 비디오 컨텐츠의 다수의 조각 각각에 대한 특징점을 비교하고,
    상기 비교 결과에 기반하여 동일한 조각 이외의 조각에서 상기 비디오 컨텐츠의 썸네일을 결정하도록 제어하는 하나 이상의 프로세서를 포함하고,
    상기 프로세서는,
    상기 적어도 하나의 다른 비디오 컨텐츠에 대한 공통 세그먼트가 존재하는지 확인하고, 상기 공통 세그먼트가 존재하는 경우, 상기 비디오 컨텐츠의 다수의 조각 각각의 특징점들과 상기 공통 세그먼트를 포함하는 적어도 하나의 다른 비디오 컨텐츠의 다수의 조각 각각의 특징점들과 비교하는 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 비디오 컨텐츠를 연속된 시간축을 기준으로 동일하거나 또는 유사한 프레임을 가지는 구간으로 구분하여 세그먼트 단위로 분리하는 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 비디오 컨텐츠에 포함된 각 프레임의 히스토그램(histogram)을 분석하여, 프레임간 히스토그램의 변화량이 기준 범위를 넘는 경우, 상기 조각을 분리하는 장치.
  14. 제11항에 있어서,
    상기 프로세서는,
    상기 비디오 컨텐츠의 기준 시점부터 기준 구간만큼만 다수의 조각으로 분리하는 장치.
  15. 제11항에 있어서,
    상기 프로세서는,
    상기 분리된 다수의 조각 각각에 대해 대표 프레임을 추출하고,
    상기 분리된 다수의 조각 각각에 대한 대표 프레임의 특징점을 추출하는 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 분리된 다수의 조각 각각에 포함된 프레임들의 히스토그램을 분석하여 평균값에 근사한 프레임을 대표 프레임으로 결정하거나 또는 상기 분리된 다수의 조각 각각에 포함된 프레임들 중 n번째 프레임을 대표 프레임으로 결정하는 장치.
  17. 제11항에 있어서,
    상기 프로세서는,
    SIFT(Scale-invariant Feature transform) 또는 SURF(Speeded Up Robust Features)를 이용하여 상기 특징점을 추출하는 장치.
  18. 제11항에 있어서,
    상기 프로세서는,
    상기 비디오 컨텐츠의 다수의 조각 각각의 특징점들과 다른 비디오 컨텐츠의 다수의 조각 각각의 특징점의 거리의 합이 기준 범위 이내인 경우, 동일한 조각으로 판단하는 장치.
  19. 제18항에 있어서,
    상기 프로세서는
    상기 동일한 조각으로 판단된 경우, 상기 비디오 컨텐츠의 동일한 조각에 대한 정보를 상기 메모리에 저장하도록 제어하는 장치.
  20. 삭제
KR1020140035952A 2014-03-27 2014-03-27 썸네일 생성 방법 및 그 전자 장치 KR102185131B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140035952A KR102185131B1 (ko) 2014-03-27 2014-03-27 썸네일 생성 방법 및 그 전자 장치
US14/671,383 US9685197B2 (en) 2014-03-27 2015-03-27 Method for generating thumbnail and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140035952A KR102185131B1 (ko) 2014-03-27 2014-03-27 썸네일 생성 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20150112247A KR20150112247A (ko) 2015-10-07
KR102185131B1 true KR102185131B1 (ko) 2020-12-01

Family

ID=54191310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140035952A KR102185131B1 (ko) 2014-03-27 2014-03-27 썸네일 생성 방법 및 그 전자 장치

Country Status (2)

Country Link
US (1) US9685197B2 (ko)
KR (1) KR102185131B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10595086B2 (en) * 2015-06-10 2020-03-17 International Business Machines Corporation Selection and display of differentiating key frames for similar videos
US10108861B2 (en) * 2016-09-20 2018-10-23 Motorola Solutions, Inc. Systems and methods of providing content differentiation between thumbnails
US11169661B2 (en) 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7197709B2 (en) * 1999-09-16 2007-03-27 Sharp Laboratories Of America, Inc. Audiovisual information management system with multiple user identifications
US7751683B1 (en) * 2000-11-10 2010-07-06 International Business Machines Corporation Scene change marking for thumbnail extraction
US7212666B2 (en) * 2003-04-01 2007-05-01 Microsoft Corporation Generating visually representative video thumbnails
US7372991B2 (en) * 2003-09-26 2008-05-13 Seiko Epson Corporation Method and apparatus for summarizing and indexing the contents of an audio-visual presentation
KR100659882B1 (ko) * 2005-02-22 2006-12-20 엘지전자 주식회사 디지털 방송 시스템의 방송 녹화 장치 및 방송 검색 장치
US8196045B2 (en) 2006-10-05 2012-06-05 Blinkx Uk Limited Various methods and apparatus for moving thumbnails with metadata
US9922423B2 (en) * 2012-07-12 2018-03-20 Nec Corporation Image angle variation detection device, image angle variation detection method and image angle variation detection program

Also Published As

Publication number Publication date
US9685197B2 (en) 2017-06-20
US20150279428A1 (en) 2015-10-01
KR20150112247A (ko) 2015-10-07

Similar Documents

Publication Publication Date Title
KR102143618B1 (ko) 프레임률 제어 방법 및 그 전자 장치
KR102221034B1 (ko) 컨텐츠 표시 제어 방법 및 그 전자 장치
US10181203B2 (en) Method for processing image data and apparatus for the same
US20160044269A1 (en) Electronic device and method for controlling transmission in electronic device
KR102206060B1 (ko) 전자 장치의 효과 디스플레이 방법 및 그 전자 장치
US10999501B2 (en) Electronic device and method for controlling display of panorama image
KR20150121559A (ko) 슬립 모드 제어 방법 및 그 전자 장치
US10216404B2 (en) Method of securing image data and electronic device adapted to the same
KR102223308B1 (ko) 영상처리 방법 및 이를 구현한 전자 장치
US10909420B2 (en) Method and apparatus for continuously displaying images on basis of similarity of images
US9424651B2 (en) Method of tracking marker and electronic device thereof
US20150234757A1 (en) Security information inputting/outputting method and electronic device adapted to the method
KR102137686B1 (ko) 컨텐츠 무결성 제어 방법 및 그 전자 장치
KR20150086976A (ko) 객체 표시 제어 방법 및 그 전자 장치
KR102316846B1 (ko) 미디어 컨텐츠를 선별하는 방법 및 이를 구현하는 전자장치
US20150293691A1 (en) Electronic device and method for selecting data on a screen
US20150278207A1 (en) Electronic device and method for acquiring image data
KR102185131B1 (ko) 썸네일 생성 방법 및 그 전자 장치
US10643252B2 (en) Banner display method of electronic device and electronic device thereof
KR20150089393A (ko) 배터리 충전 제어 방법 및 그 전자 장치
US10956588B2 (en) Server, electronic device, and method for processing image by electronic device
KR20150045721A (ko) 컨텐츠 제어 방법 및 그 전자 장치
US9589126B2 (en) Lock control method and electronic device thereof
US20150112992A1 (en) Method for classifying contents and electronic device thereof
US20150113387A1 (en) Method for document correction and electronic device thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant