KR102505973B1 - 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체 - Google Patents

영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체 Download PDF

Info

Publication number
KR102505973B1
KR102505973B1 KR1020210090468A KR20210090468A KR102505973B1 KR 102505973 B1 KR102505973 B1 KR 102505973B1 KR 1020210090468 A KR1020210090468 A KR 1020210090468A KR 20210090468 A KR20210090468 A KR 20210090468A KR 102505973 B1 KR102505973 B1 KR 102505973B1
Authority
KR
South Korea
Prior art keywords
frame
representative
representative image
scene
duration
Prior art date
Application number
KR1020210090468A
Other languages
English (en)
Other versions
KR20210091082A (ko
Inventor
전혁준
신형철
장언동
전병기
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020210090468A priority Critical patent/KR102505973B1/ko
Publication of KR20210091082A publication Critical patent/KR20210091082A/ko
Application granted granted Critical
Publication of KR102505973B1 publication Critical patent/KR102505973B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Abstract

본 발명은 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체를 개시한다. 즉, 본 발명은 동영상 데이터에 포함된 유사 장면의 지속 시간, 화면의 선명도, 객체의 분포 등에 기초하여 동영상의 특징을 정확하게 표현할 수 있는 대표 이미지를 제공함으로써, 사용자가 대표 이미지에 의하여 동영상의 특징을 쉽게 인식할 수 있고, 대표 이미지를 통하여 유사한 동영상 데이터를 검색할 수 있어 사용자 편의성을 향상시킬 수 있다.

Description

영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체{Image processing apparatus, control method thereof and computer readable medium having computer program recorded therefor}
본 발명은 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체에 관한 것으로, 특히 동영상 데이터에 포함된 유사 장면의 지속 시간, 화면의 선명도, 객체의 분포 등에 기초하여 동영상 데이터의 대표 이미지를 제공할 수 있는 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체에 관한 것이다.
최근의 전자 기기는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신, 인터넷 연결 등의 복잡한 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
이러한 멀티미디어 기기에는 복잡한 기능을 구현하기 위해 하드웨어 또는 소프트웨어의 면에서 새로운 다양한 시도들이 적용되고 있다.
한편, 전자 기기의 기능이 고성능화되고, 네트워크의 데이터 전송 효율이 증가됨에 따라 사용자는 손쉽게 대용량의 동영상 데이터를 이용할 수 있게 되었다.
이때, 사용자가 다수의 멀티미디어 콘텐츠의 이용을 위하여 각각의 멀티미디어 콘텐츠를 식별하기 위해서는, 파일명 이외에 콘텐츠의 내용을 대표하는 식별자가 요구된다. 특히 동영상 콘텐츠는 시간에 따라 디스플레이되는 내용이 변화하는 특성 때문에, 동영상을 재생해야지만 콘텐츠의 내용을 알 수 있으므로, 일반적으로 정지된 형태로 제공되는 콘텐츠 식별자를 정한다. 이를 위해 현재 동영상의 특정 프레임을 썸네일(thumbnail) 형태로 제공하는 방법이 널리 이용되고 있다.
이 경우 동영상의 대표 이미지가 해당 동영상의 특징을 정확하게 표현할 수 없다는 문제가 있다.
한국등록특허 제10-1148651호 [명칭: 객체지향적 접근 형식의 정보제공서비스 시스템 및 그 방법]
본 발명은 동영상 데이터에 포함된 유사 장면의 지속 시간, 화면의 선명도, 객체의 분포 등에 기초하여 동영상의 특징을 정확하게 표현할 수 있는 대표 이미지를 제공할 수 있는 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체를 제공하고자 한다.
또, 본 발명은 대표 이미지를 통하여 유사한 동영상 데이터를 검색할 수 있는 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체를 제공하고자 한다.
본 발명의 실시예에 따른 영상 처리 장치는 복수의 프레임을 구비한 동영상 데이터를 획득하는 동영상 데이터 관리부; 상기 동영상 데이터에 기초하여 장면 변환 시점을 검출하는 장면 변환 시점 관리부; 상기 장면 변환 시점에 기초하여 장면 지속 구간을 획득하는 장면 지속 구간 관리부; 상기 장면 지속 구간의 지속 기간에 기초하여 대표 구간을 획득하는 대표 구간 관리부; 및 상기 대표 구간에 포함된 프레임 중 어느 하나를 대표 이미지로 설정하는 대표 이미지 설정부를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 장면 지속 구간은 제 1 장면 변환 시점으로부터 제 2 장면 변환 시점까지의 구간일 수 있다.
본 발명의 실시예에 따른 영상 처리 장치의 제어 방법은 동영상 데이터 관리부를 통해 복수의 프레임을 구비한 동영상 데이터를 획득하는 단계; 장면 변환 시점 관리부를 통해 상기 동영상 데이터에 기초하여 장면 변환 시점을 검출하는 단계; 장면 지속 구간 관리부를 통해 상기 장면 변환 시점에 기초하여 장면 지속 구간을 획득하는 단계; 대표 구간 관리부를 통해 상기 장면 지속 구간의 지속 기간에 기초하여 대표 구간을 획득하는 단계; 및 대표 이미지 설정부를 통해 상기 대표 구간에 포함된 프레임 중 어느 하나를 대표 이미지로 설정하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 장면 변환 시점 검출 단계는 상기 동영상 데이터에 구비된 각 프레임 간의 유사도에 기초하여 장면 변환 시점을 검출할 수 있다.
본 발명과 관련된 일 예로서 상기 대표 구간 획득 단계는 상기 장면 지속 구간 중 지속 기간이 가장 긴 장면 지속 기간을 대표 구간으로 설정하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 대표 이미지 설정 단계는 상기 프레임의 선명도에 기초하여 대표 이미지를 설정하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 대표 이미지 설정 단계는 대표 구간에 포함된 프레임 중 선명도가 가장 높은 프레임을 대표 이미지로 설정하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 대표 이미지 설정 단계는 상기 프레임에 포함된 객체의 수 및 분포 위치 중 적어도 하나에 기초하여 대표 이미지를 설정하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 표시부를 통해 설정된 대표 이미지를 표시하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 사용자 입력부를 통해 대표 이미지에 대한 사용자 응답을 획득하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 저장부를 통해 동영상 데이터, 대표 이미지 및 사용자 응답에 기초하여 동영상 설명 데이터를 저장하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록 매체에는 상술한 실시예에 따른 영상 처리 장치의 제어 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.
본 발명은 동영상 데이터에 포함된 유사 장면의 지속 시간, 화면의 선명도, 객체의 분포 등에 기초하여 동영상의 특징을 정확하게 표현할 수 있는 대표 이미지를 제공함으로써, 사용자가 대표 이미지에 의하여 동영상의 특징을 쉽게 인식할 수 있고, 대표 이미지를 통하여 유사한 동영상 데이터를 검색할 수 있어 사용자 편의성을 향상시키는 효과가 있다.
도 1은 본 발명의 실시예에 따른 영상 처리 장치의 블록도이다.
도 2는 복수의 프레임을 구비한 동영상 데이터의 일 예이다.
도 3은 대표 구간에 포함된 각 프레임의 선명도를 나타낸 도면이다.
도 4는 대표 구간에 포함된 각 프레임에 포함된 객체 수를 나타낸 도면이다.
도 5는 대표 구간에 포함된 각 프레임에서의 객체의 위치 분포를 나타낸 도면이다.
도 6은 본 발명의 실시예에 의한 영상 처리 장치의 제어 방법을 나타낸 흐름도이다.
도 7은 영상 처리 장치에서 표시되는 대표 이미지의 일 예를 나타낸 도면이다.
도 8은 동영상 설명 데이터의 일 예이다.
도 9는 대표 이미지와의 유사 검색 결과를 나타낸 도면이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
여기서 설명되는 영상 처리 장치는 이동 통신 단말기 등의 핸드헬드 방식의 단말은 물론, 태블릿 PC, 노트북, 데스크탑 PC 등 사용자의 명령어를 입력받아 선정된 작업을 수행하는 모든 종류의 단말을 총칭하는 개념이다.
도 1은 본 발명의 실시예에 따른 영상 처리 장치(100)의 블록도이다.
도 1에 도시된 바와 같이, 영상 처리 장치(100)는 동영상 데이터 관리부(110), 장면 변환 시점 관리부(120), 장면 지속 구간 관리부(130), 대표 구간 관리부(140), 대표 이미지 설정부(150), 표시부(160), 사용자 입력부(170), 저장부(180)를 포함할 수 있다. 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 영상 처리 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서 영상 처리 장치(100)가 구현될 수도 있다.
본 발명의 실시예에 따른 영상 처리 장치(100)는 동영상 데이터에 포함된 유사 장면의 지속 시간, 화면의 선명도, 객체의 분포 등에 기초하여 동영상의 특징을 정확하게 표현할 수 있는 대표 이미지를 제공할 수 있다. 여기서, 대표 이미지는 썸네일(thumbnail) 형태로 제공되는 동영상의 특정 프레임을 의미할 수 있다.
동영상 데이터 관리부(110)는 복수의 프레임을 구비한 동영상 데이터를 획득할 수 있다.
도 2는 복수의 프레임을 구비한 동영상 데이터의 일 예이다.
도 2를 참조하면, 복수의 프레임(210-1, 210-2, 210-3, 220-1, 220-2, 220-3, 220-4, 230-1, 230-2)에 의하여 일 동영상 데이터가 구성될 수 있다.
장면 변환 시점 관리부(120)는 상기 동영상 데이터에 기초하여 동영상 데이터 내의 장면 변환 시점을 검출할 수 있다.
구체적으로, 장면 변환 시점 관리부(120)는 동영상 데이터에 구비된 각 프레임 간의 유사도를 획득할 수 있다. 그리고, 장면 변환 시점 관리부(120)는 프레임 간의 유사도가 미리 설정된 값보다 낮아지는 시점을 장면 변환 시점으로 검출할 수 있다.
도 2를 참조하면, 장면 변환 시점 관리부(120)는 제 1 프레임(210-1)과 제 2 프레임(210-2) 간의 유사도, 제 2 프레임(210-2)과 제 3 프레임(210-3) 간의 유사도, 제 3 프레임(210-3)과 제 4 프레임(220-1) 간의 유사도, 제 4 프레임(220-1)과 제 5 프레임(220-2) 간의 유사도, 제 5 프레임(220-2)과 제 6 프레임(220-3) 간의 유사도, 제 6 프레임(220-3)과 제 7 프레임(220-4) 간의 유사도, 제 7 프레임(220-4)과 제 8 프레임(230-1) 간의 유사도,제 8 프레임(230-1)과 제 9 프레임(230-2) 간의 유사도를 획득할 수 있다.
이때, 제 3 프레임(210-3)과 제 4 프레임(220-1)간의 유사도는 제 1 프레임(210-1)과 제 2 프레임(210-2) 간의 유사도, 제 2 프레임(210-2)과 제 3 프레임(210-3) 간의 유사도보다 크게 낮은 값을 갖게 된다.
왜냐하면, 제 3 프레임(210-3)과 제 4 프레임(220-1)은 장면이 변환되는 지점이기 때문이다.
따라서, 장면 변환 시점 관리부(120)는 제 3 프레임(210-3)과 제 4 프레임(220-1)의 경계(A)를 장면 변환 시점으로 검출할 수 있다.
마찬가지로, 장면 변환 시점 관리부(120)는 제 7 프레임(220-4)과 제 8 프레임(230-1)의 경계(B)를 장면 변환 시점으로 검출할 수 있다.
장면 지속 구간 관리부(130)는 장면 변환 시점에 기초하여 장면 지속 구간을 획득할 수 있다.
여기서, 장면 지속 구간은 각 프레임 간의 유사도가 높은 프레임들로 이루어진 구간을 의미할 수 있다.
도 2를 참조하면, 장면 지속 구간 관리부(130)는 제 1 장면 변환 시점(A)으로부터 제 2 장면 변환 시점(B)까지의 구간을 장면 지속 구간으로 획득할 수 있다.
즉, 장면 지속 구간 관리부(130)는 제 1 프레임(210-1), 제 2 프레임(210-2), 제 3 프레임(210-3)으로 이루어진 구간을 제 1 장면 지속 구간(T1)으로 획득할 수 있다. 또, 장면 지속 구간 관리부(130)는 제 4 프레임(220-1), 제 5 프레임(220-2), 제 6 프레임(220-3), 제 7 프레임(220-4)으로 이루어진 구간을 제 2 장면 지속 구간(T2)으로 획득할 수 있다. 또, 장면 지속 구간 관리부(130)는 제 8 프레임(230-1), 제 9 프레임(230-2)으로 이루어진 구간을 제 3 장면 지속 구간(T3)으로 획득할 수 있다.
대표 구간 관리부(140)는 장면 지속 구간의 지속 기간에 기초하여 대표 구간을 획득할 수 있다. 예컨대, 대표 구간 관리부(140)는 동영상 내에 포함된 복수의 장면 지속 구간 중 지속 기간이 가장 긴 장면 지속 기간을 대표 구간으로 설정할 수 있다.
동영상의 주요 장면은 지속 기간이 긴 경우가 많다. 따라서 동영상 내에 포함된 복수의 장면 지속 구간 중 지속 기간이 가장 긴 장면 지속 기간을 대표 구간으로 설정함으로써, 동영상의 대표 이미지가 동영상의 특징을 적절하게 반영할 수 있도록 할 수 있다.
도 2를 참조하면, 제 1 장면 지속 구간(T1)은 세 개의 프레임(210-1, 210-2, 210-3)으로 구성되어 있고, 제 2 장면 지속 구간(T2)은 네 개의 프레임(220-1, 220-2, 220-3, 220-4)으로 구성되어 있고, 제 3 장면 지속 구간(T3)은 두 개의 프레임(230-1, 230-2)으로 구성되어 있는 것을 확인할 수 있다.
따라서, 대표 구간 관리부(140)는 동영상 내에 포함된 복수의 장면 지속 구간(T1, T2, T3) 중 가장 많은 프레임으로 이루어진 제 2 장면 지속 구간(T2)을 대표 구간으로 설정할 수 있다.
대표 이미지 설정부(150)는 대표 구간에 포함된 프레임 중 어느 하나를 대표 이미지로 설정할 수 있다.
예컨대, 대표 이미지 설정부(150)는 대표 구간에 포함된 각 프레임의 선명도에 기초하여 대표 이미지를 설정할 수 있다. 구체적으로, 대표 이미지 설정부(150)는 대표 구간에 포함된 프레임 중 선명도가 가장 높은 프레임을 대표 이미지로 설정할 수 있다.
도 3은 대표 구간에 포함된 각 프레임의 선명도를 나타낸 도면이다.
대표 이미지 설정부는 선명한 이미지와 흐릿한 이미지를 판별할 수 있다.
예컨대, 선명한 이미지와 흐릿한 이미지는 영상의 에지 굵기에 의하여 판별될 수 있다. 즉, 선명한 이미지일수록 에지가 뚜렷하여 에지의 굵기가 가늘게 표시될 수 있는 반면에, 흐릿한 이미지일수록 에지가 모호하여 에지의 굵기가 두껍게 표시될 수 있다.
따라서, 대표 이미지 설정부(150)는 각 프레임에 표시된 객체의 에지 굵기 정보에 기초하여 프레임의 선명도 정보를 획득할 수 있다. 예컨대, 대표 이미지 설정부(150)는 프레임에 표시된 객체의 평균 굵기에 기초하여 프레임의 선명도 정보를 획득할 수 있다.
동영상의 주요 장면은 동영상 생산자가 관심을 갖고 생성을 하는 경우가 많기 때문에, 프레임의 선명도가 높은 경우가 많다. 따라서 선명도가 높은 프레임을 대표 이미지로 설정함으로써 대표 이미지가 적절하게 설정될 수 있다.
또, 대표 이미지 설정부(150)는 대표 구간에 포함된 각 프레임에서의 객체의 수에 기초하여 대표 이미지를 설정할 수 있다. 구체적으로, 대표 이미지 설정부(150)는 대표 구간에 포함된 프레임 중 가장 많은 객체를 포함한 프레임을 대표 이미지로 설정할 수 있다.
도 4는 대표 구간에 포함된 각 프레임에 포함된 객체 수를 나타낸 도면이다.
도 4를 참조하면, 제 4 프레임(220-1)은 네 개의 객체(310)를 포함하고, 제 5 프레임(220-2)은 세 개의 객체(320)를 포함하고, 제 6 프레임(220-3)은 세 개의 객체(330)를 포함하고, 제 7 프레임(220-4)은 두 개의 객체(340)를 포함하는 것을 확인할 수 있다.
이 경우, 대표 이미지 설정부(150)는 제 4 프레임(220-1)을 대표 이미지로 설정할 수 있다.
이러한 방법은 사용자들의 주 관심사가 프레임에 포함된 객체에 있는 경우에 적용되는 것이 바람직하다.
또, 대표 이미지 설정부(150)는 대표 구간에 포함된 각 프레임에서의 객체의 분포 위치에 기초하여 대표 이미지를 설정할 수 있다. 구체적으로, 대표 이미지 설정부(150)는 대표 구간에 포함된 프레임 중 객체가 가장 중심에 위치한 프레임을 대표 이미지로 설정할 수 있다.
도 5는 대표 구간에 포함된 각 프레임에서의 객체의 위치 분포를 나타낸 도면이다.
도 5를 참조하면, 제 4 프레임(220-1)에서는 좌우에 걸쳐 객체(410)가 존재하고, 제 5 프레임(220-2)에서는 우측에 걸쳐 객체(420)가 존재하고, 제 6 프레임(220-3)에서는 중앙부측에 객체(430)가 존재하고, 제 7 프레임(220-4)에서는 우측에 걸쳐 객체(440)가 존재하는 것을 확인할 수 있다.
이 경우, 대표 이미지 설정부(150)는 제 6 프레임(220-3)을 대표 이미지로 설정할 수 있다.
표시부(160)는 대표 이미지를 표시할 수 있다.
사용자 입력부(170)는 표시부(160)에 표시된 대표 이미지에 대한 사용자 응답을 획득할 수 있다.
저장부(180)는 동영상 데이터 및 동영상 데이터에 대한 설명 데이터를 저장할 수 있다.
도 6은 본 발명의 실시예에 의한 영상 처리 장치의 제어 방법을 나타낸 흐름도이다.
도 6을 참조하면, 영상 처리 장치는 복수의 프레임을 구비한 동영상 데이터를 획득할 수 있다(S610).
또, 영상 처리 장치는 동영상 데이터에 구비된 복수의 프레임 간의 유사도 측정 결과에 기초하여 장면 변환 시점을 획득할 수 있다(S620).
또, 영상 처리 장치는 획득된 장면 변환 시점에 기초하여 복수의 장면 지속 구간을 획득할 수 있다(S630).
또, 영상 처리 장치는 장면 지속 구간의 지속 기간에 기초하여 장면 지속 구간 중 지속 기간이 가장 긴 장면 지속 구간을 대표 구간으로 설정할 수 있다(S640).
또, 영상 처리 장치는 대표 구간에 포함된 각 프레임의 선명도, 객체의 수, 객체의 분포 위치 등에 기초하여 대표 이미지를 설정할 수 있다(S650).
또, 영상 처리 장치는 획득된 대표 이미지를 표시할 수 있다(S660).
도 7은 영상 처리 장치에서 표시되는 대표 이미지의 일 예를 나타낸 도면이다.
이때, 영상 처리 장치는 대표 이미지에 대한 사용자 선호도에 관한 사용자 응답을 획득하기 위한 객체(710)를 표시할 수 있다.
이와 같이,영상 처리 장치는 객체(710)에 대한 사용자 입력에 의거하여 획득된 대표 이미지에 대한 사용자 응답을 획득할 수 있다(S670).
이때, 영상 처리 장치는 동영상 데이터, 획득된 대표 이미지 및 사용자 응답에 기초하여 동영상 설명 데이터를 저장할 수 있다(S680).
이와 같이, 사용자의 선호도에 의한 동영상 설명 데이터가 축적될 수 있으므로, 본 발명의 실시예에 의한 영상 처리 장치는 대표 이미지의 선정에 있어 사용자의 선호도를 정확하게 반영할 수 있다.
도 8은 동영상 설명 데이터의 일 예이다.
도 8을 참조하면, 동영상 설명 데이터는 동영상에 관한 내용을 포함할 수 있다. 구체적으로, 동영상 설명 데이터는 동영상의 제목 정보, 장르 정보, 플레잉 시간 정보, 대표 이미지 정보 등을 포함할 수 있다.
본 발명의 실시예에 의하여 동영상의 특징을 정확하게 표현할 수 있는 대표 이미지가 제공되는 경우, 사용자는 대표 이미지에 의하여 동영상의 특징을 쉽게 인식할 수 있다.
한편, 대표 이미지를 이용하여, 대표 이미지가 유사한 동영상 검색 결과가 제공될 수도 있다.
도 9는 대표 이미지와의 유사 검색 결과를 나타낸 도면이다.
도 9를 참조하면, 제 1 비교 이미지에 대한 유사 검색 결과를 확인할 수 있다.
대표 이미지가 해당 비디오의 특성을 적절하게 표현하는 것이 가능한 경우, 사용자는 대표 이미지를 통한 검색 결과에 의하여 유사한 느낌의 동영상 데이터를 쉽게 찾을 수 있다.
한편, 앞에서는 영상 처리 장치에 의하여 상기와 같은 방법이 수행되는 것으로 설명되었으나, 영상 처리 장치에 구비된 구성 중 일부가 단말에 구비되고 다른 일부가 서비스 제공 장치에 구비되는 경우, 단말과 서비스 제공 장치를 포함한 시스템에 의하여 영상 처리 방법이 수행될 수 있다.
본 발명의 실시예에 따른 영상 처리 장치의 제어 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 영상 처리 장치 등에 의하여 읽혀지고 실행됨으로써 영상 처리 장치의 제어 방법을 구현할 수 있다.
정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 영상 처리 장치의 제어 방법을 구현하는 컴퓨터 프로그램은 영상 처리 장치 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 영상 처리 장치의 제어 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 영상 처리 장치 등에 장착될 수도 있다.
전술한 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 동영상 데이터에 포함된 유사 장면의 지속 시간, 화면의 선명도, 객체의 분포 등에 기초하여 동영상의 특징을 정확하게 표현할 수 있는 대표 이미지를 제공함으로써, 사용자가 대표 이미지에 의하여 동영상의 특징을 쉽게 인식할 수 있고, 대표 이미지를 통하여 유사한 동영상 데이터를 검색할 수 있어 사용자 편의성을 향상시키는 것으로, 마케팅 분야, 전자상거래 분야 등에서 광범위하게 이용될 수 있다.
100: 영상 처리 장치 110: 동영상 데이터 관리부
120: 장면 변환 시점 관리부 130: 장면 지속 구간 관리부
140: 대표 구간 관리부 150: 대표 이미지 설정부
160: 표시부 170: 사용자 입력부
180: 저장부

Claims (1)

  1. 복수의 프레임을 구비한 동영상 데이터를 획득하는 동영상 데이터 관리부;
    상기 동영상 데이터에 기초하여 장면 변환 시점을 검출하는 장면 변환 시점 관리부;
    상기 장면 변환 시점에 기초하여 장면 지속 구간을 획득하는 장면 지속 구간 관리부;
    상기 장면 지속 구간의 지속 기간에 기초하여 대표 구간을 획득하는 대표 구간 관리부; 및
    상기 대표 구간에 포함된 프레임 중 어느 하나를 대표 이미지로 설정하는 대표 이미지 설정부를 포함하며,
    상기 대표 이미지 설정부는, 상기 프레임에 포함된 객체의 수 및 분포 위치 중 적어도 하나에 기초하여 상기 대표 이미지를 설정하되, 상기 객체의 분포 위치를 기초로 상기 대표 이미지 설정시 상기 객체의 분포 위치가 가장 중앙부측에 위치하는 프레임을 상기 대표 이미지로 설정하는 것을 특징으로 하는 영상 처리 장치.
KR1020210090468A 2014-03-18 2021-07-09 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체 KR102505973B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210090468A KR102505973B1 (ko) 2014-03-18 2021-07-09 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140031498A KR102278048B1 (ko) 2014-03-18 2014-03-18 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체
KR1020210090468A KR102505973B1 (ko) 2014-03-18 2021-07-09 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140031498A Division KR102278048B1 (ko) 2014-03-18 2014-03-18 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체

Publications (2)

Publication Number Publication Date
KR20210091082A KR20210091082A (ko) 2021-07-21
KR102505973B1 true KR102505973B1 (ko) 2023-03-03

Family

ID=54246493

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140031498A KR102278048B1 (ko) 2014-03-18 2014-03-18 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체
KR1020210090468A KR102505973B1 (ko) 2014-03-18 2021-07-09 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020140031498A KR102278048B1 (ko) 2014-03-18 2014-03-18 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체

Country Status (1)

Country Link
KR (2) KR102278048B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102102164B1 (ko) * 2018-01-17 2020-04-20 오드컨셉 주식회사 영상 전처리 방법, 장치 및 컴퓨터 프로그램
KR102313339B1 (ko) * 2019-03-29 2021-10-15 에스프레스토 주식회사 영상 검색 장치 및 그것의 영상 수집 방법
WO2019156543A2 (ko) * 2019-04-30 2019-08-15 엘지전자 주식회사 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192840A1 (en) * 2007-02-09 2008-08-14 Microsoft Corporation Smart video thumbnail

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4699476B2 (ja) * 2005-10-27 2011-06-08 三菱電機株式会社 映像要約装置
KR101148651B1 (ko) 2010-04-22 2012-05-25 김동주 객체지향적 접근 형식의 정보제공서비스 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192840A1 (en) * 2007-02-09 2008-08-14 Microsoft Corporation Smart video thumbnail

Also Published As

Publication number Publication date
KR20150108562A (ko) 2015-09-30
KR102278048B1 (ko) 2021-07-15
KR20210091082A (ko) 2021-07-21

Similar Documents

Publication Publication Date Title
KR102505973B1 (ko) 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체
CN108024145B (zh) 视频推荐方法、装置、计算机设备和存储介质
US8966372B2 (en) Systems and methods for performing geotagging during video playback
US9330098B2 (en) User interface operating method and electronic device with the user interface and program product storing program for operating the user interface
CN108984081A (zh) 一种搜索页面交互方法、装置、终端及存储介质
CN111095939B (zh) 识别媒体项目的先前流传输部分以避免重复重放
US8237864B2 (en) Systems and methods for associating metadata with scenes in a video
US20070229535A1 (en) Method and apparatus for icon visual representation of a connected device
US20170206929A1 (en) Video processing apparatus and method
US20170180445A1 (en) Advertisement data acquisition method and electronic equipment
US20170171334A1 (en) Single-account multiple-preference recommendation method for video website and electronic device
JP2014078929A (ja) ビデオ・プレゼンテーションを一時停止する方法、計算処理システム及びプログラム
US8244005B2 (en) Electronic apparatus and image display method
CN101770371A (zh) 应用主题内容预览方法及装置
US20110242123A1 (en) Electronic device, image output method and computer-readable medium
US8494347B2 (en) Electronic apparatus and movie playback method
CN104581224A (zh) 切换播放内容的方法、装置及终端
CN102291621B (zh) 信息提供服务器、信息处理设备及同一性判定系统和方法
US10133408B2 (en) Method, system and computer program product
JP4667356B2 (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
CN103631872A (zh) 一种多媒体文件播放方法及电子终端
CN112492382A (zh) 视频帧提取方法、装置、电子设备和存储介质
EP3547698A1 (en) Method and device for determining inter-cut time bucket in audio/video
US8971686B2 (en) Method and apparatus for managing digital contents and method and apparatus for executing digital contents according to playback positions
CN115278346A (zh) 在直播间发送评论和接收评论的方法及相关设备

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right