KR100468967B1 - 썸네일 영상 생성장치 및 방법 - Google Patents

썸네일 영상 생성장치 및 방법 Download PDF

Info

Publication number
KR100468967B1
KR100468967B1 KR10-2001-0087075A KR20010087075A KR100468967B1 KR 100468967 B1 KR100468967 B1 KR 100468967B1 KR 20010087075 A KR20010087075 A KR 20010087075A KR 100468967 B1 KR100468967 B1 KR 100468967B1
Authority
KR
South Korea
Prior art keywords
image
thumbnail
picture
blank
thumbnail image
Prior art date
Application number
KR10-2001-0087075A
Other languages
English (en)
Other versions
KR20030056784A (ko
Inventor
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2001-0087075A priority Critical patent/KR100468967B1/ko
Priority to US10/331,671 priority patent/US7257261B2/en
Publication of KR20030056784A publication Critical patent/KR20030056784A/ko
Application granted granted Critical
Publication of KR100468967B1 publication Critical patent/KR100468967B1/ko
Priority to US11/773,366 priority patent/US7912303B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 비디오 브라우저, 비디오 저장 및 재생장치 등에서 사용하기 위한 썸네일(Thumbnail) 영상을 자동으로 생성하는 장치와 그 방법에 관한 것이다.
본 발명은 현재 프레임과 이전 프레임 I픽쳐의 DC영상에 대해서 두 DC 영상간의 히스토그램 차를 구하고, 현재 I픽쳐 DC 영상과 이전 I픽쳐 DC 영상의 히스토그램 차이를 안정화 구간으로 판단하기 위한 소정의 기준값과 비교하고, 상기 비교 결과 현재 I픽쳐 DC 영상과 이전 I픽쳐 DC 영상의 히스토그램 차이가 기준값 보다 작은 경우에 해당 I픽쳐 DC 영상을 썸네일 영상으로 출력한다. 이 때 원 영상이 지나치게 어두워서 그 내용의 식별이 곤란한 경우를 가려내기 위한 블랭크 테스트를 더 실행하고, 상기 블랭크 테스트를 통과한 I픽쳐 DC 영상에 대해서만 썸네일 영상으로 출력한다.

Description

썸네일 영상 생성장치 및 방법{THUMBNAIL IMAGE GENERATING SYSTEM}
본 발명은 동영상 비디오 콘텐트에서 썸네일(Thumbnail) 영상을 자동으로 생성하는 장치와 썸네일 영상을 자동으로 생성하는 방법에 관한 것이다.
디지털 TV에 부착된 개인용 비디오 녹화기(PVR)나 비디오 라이브러리에서 사용되는 비디오 브라우저 등에서 효과적인 내용 요약, 스토리보드, 키프레임의 생성, 프로그램 가이드 등의 기능을 제공하기 위하여 썸네일 영상이 사용된다.
썸네일 영상은 비디오의 특정 프레임을 원래의 크기보다 작게 표시한 것으로 PVR에서 녹화된 비디오의 내용을 몇 개의 작은 그림들로 요약하거나, 비디오 인덱싱을 위한 키프레임의 생성 또는 프로그램 가이드 등에서 사용할 대표 영상의 생성 등 그 활용분야가 다양하다.
썸네일 영상을 생성하는 종래의 방법은 MPEG으로 부호화된 비디오의 프레임을 복호화한 다음, 그 복원된 프레임을 직접 축소하는 방법과, I픽쳐의 DC값을 이용하는 방법으로 구분할 수 있다. 전자의 경우는 해당 프레임의 전체 화소를 복호화해야 하고 이는 가변 길이 복호화기(variable length decoder)를 필요로 하므로 하드웨어적인 부담이 크다. 후자의 경우는 I픽쳐의 DC를 이용하여 썸네일 영상을 만들기 때문에 가변 복호화기를 필요로 하지 않으며, 구성도 간단하므로 후자의 방법이 주로 사용되고 있다.
썸네일 영상은 사용자에게 원래 영상보다 작은 크기, 다시 말해서 낮은 해상도의 대표 영상으로 비디오의 전체 내용이나 특정 구간에 대한 내용을 함축하여 표현하는 방법을 제공하기 때문에 썸네일 영상의 근원이 되는 비디오 프레임은 잡음, 블랭크(blank), 장면전환(scene transition or shot transition)에 의한 오버랩 등이 존재하지 않는 동시에, 사용자에게 해당 비디오 전체나 특정 구간에 대한 정보 전달이 명확해야 하므로 급격한 줌과 같은 카메라 움직임 및 피사체의 움직임에 의한 번짐(bur) 등에 의해 발생하는 불분명한 영상을 피해야 한다.
또한 비디오의 모든 I픽쳐에 대하여 썸네일을 생성할 경우에는 방대한 분량의 썸네일 영상이 발생하므로 저장매체의 부담이 커지고, 사용자가 필요로 하는 내용을 검색하는데 불필요한 썸네일 영상이 많이 개입되기 때문에 불편하며, 한 화면에 표시할 수 있는 썸네일 영상의 개수가 제한적이기 때문에 비디오 전체나 구간에대한 내용을 보다 효율적으로 함축하여 표현하기 어렵다.
이를 해결하기 위하여 미리 정해진 또는 사용자가 임의로 입력하는 표본율에 의해서 일정한 간격마다 썸네일 영상을 생성하는 방법을 사용하기도 하였으나, 이 방법은 단순히 썸네일의 개수만을 제한하는 방법이기 때문에 결과적으로 앞서 설명하였던 문제점 들, 즉 썸네일 영상에 잡음, 블랭크, 오버랩 등이 발생할 경우 이를 가려내지 못하였고, 따라서 불필요하거나 정보 전달성이 부족한 썸네일 영상의 생성을 방지할 수 없게 되었다. 또는 사용자가 비디오에서 썸네일 영상을 생성할 구간을 지정하는 방법도 있으나 이 방법 또한 사용자로 하여금 수동적으로 해당 구간을 검색해야 하는 문제점이 따른다.
또한 종래의 썸네일 영상 생성방법은 장면(scene)의 개념이 고려되지 않고 있다. 즉, I픽쳐에 대해서 매 I픽쳐마다 무조건 생성하던가, 혹은 지정된 표본율에 의해 일정한 시간격 마다 썸네일을 생성하던가, 사용자가 지정하는 구간에 대해서 썸네일을 생성하는 방법으로 썸네일을 생성하게 되면, 같은 장면에서 여러 개의 비슷비슷한 썸네일 영상이 추출되고, 이는 곧 불필요한 그리고 정보 전달력이 떨어지는 썸네일 영상이 제공되는 문제점을 노출하게 되었으며, 각 장면에 대응하는 대표 영상을 추출하지 못하므로 효과적인 대표 영상의 추출이 이루어질 수 없었다.
본 발명의 목적은 사용자로 하여금 보다 명확하고 함축적이며, 정보 전달력이 높은 썸네일 영상을 자동으로 생성할 수 있도록 한 썸네일 영상 생성장치 및 그 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 썸네일 영상을 생성함에 있어서, 잡음이나 장면전환에 의한 오버랩, 과도한 줌으로 인한 무의미한 영상 등을 썸네일 영상에서 제외시킴으로써, 사용자에게 보다 명확하고 전달력 있는 썸네일 영상을 생성할 수 있도록 한 썸네일 영상 생성장치 및 그 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 동영상 비디오의 장면 전환을 고려하여, 장면 전환이 이루어진 후의 안정화 구간에서 썸네일 영상을 생성함으로써 해당 구간에 대하여 보다 명확하고 전달력 있는 대표성을 가질 수 있는 썸네일 영상을 생성할 수 있도록 한 썸네일 영상 생성장치 및 그 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 생성될 썸네일 영상이 비디오 전체나 특정 구간에 대하여 대표할 만한 영상인가의 여부를 검증하고, 그 검증 결과 불명확하거나 전달력이 떨어지는 영상은 썸네일 영상 생성에서 제외함으로써, 보다 명확하고 전달력 있는 썸네일 영상을 생성할 수 있도록 한 썸네일 영상 생성장치 및 그 방법을 제공하는데 있다.
상기 목적을 달성하기 위하여 본 발명의 썸네일 영상 생성장치는, 현재 입력 I픽쳐와 이전 I픽쳐에서 DC 영상을 추출하는 DC 영상 추출수단, 상기 추출된 현재 I픽쳐 DC 영상과 이전 I픽쳐 DC 영상의 히스토그램을 추출하는 히스토그램 추출수단, 상기 추출된 히스토그램간 차이를 구하는 히스토그램 비교수단, 상기 히스토그램간 차이를 이용해서 현재 구간이 안정화 구간에 해당하는지를 판단하는 안정화 구간 판단수단, 상기 안정화 구간에 속하는 해당 영상에 대해서 식별이 어려운 영상을 가려내기 위한 블랭크 테스트를 수행하는 블랭크 판별수단, 상기 블랭크 판별결과에 따라 해당 영상을 썸네일 영상으로 출력하는 출력수단을 포함하여 이루어지는 것을 특징으로 한다.
또한 상기 목적을 달성하기 위하여 본 발명의 썸네일 영상 생성방법은, 현재 입력 영상과 이전 입력 영상의 히스토그램을 비교하여 그 차이를 구하는 단계, 상기 구해진 히스토그램 차이를 설정된 임계치와 비교하여 임계치 보다 낮은 경우 해당 영상을 썸네일 후보로 선택하는 단계, 상기 썸네일 후보 영상에 대하여 블랭크 테스트를 수행하고 그 결과에 따라 해당 후보 영상을 썸네일 영상으로 출력하는 단계; 로 이루어진 것을 특징으로 한다.
도1은 본 발명의 실시예로서 썸네일 영상 생성장치의 블록 구성도
도2는 본 발명에서 안정화 구간을 설명하기 위한 I픽쳐와 히스토그램 오차와의 관계를 나타낸 도면
도3은 본 발명에서 블랭크 테스트 회로의 제1실시예 블록 구성도
도4는 본 발명에서 블랭크 테스트 회로의 제2실시예 블록 구성도
도5는 본 발명의 실시예로서 썸네일 생성방법의 플로우차트
도1은 본 발명의 썸네일 영상 생성장치의 실시예로서, 이전 I픽쳐 (Iprev(x,y))를 입력으로 하여 DC 영상(Iprev,DC(x,y))을 추출하는 DC계수 추출기(1)와, 상기 DC 영상(Iprev,DC(x,y))에서 히스토그램(Hprev(n))을 추출하는 히스토그램 추출기(2)와, 현재 I픽쳐(Icurr(x,y))를 입력으로 하여 DC 영상(Icurr,DC(x,y))을 추출하는 DC계수 추출기(3)와, 상기 DC 영상(Icurr,DC(x,y))에서 히스토그램(Hcurr(n))을 추출하는 히스토그램 추출기(4)와, 상기 히스토그램(Hprev(n),Hcurr(n))을 비교하여 그 오차(E)를 출력하는 히스토그램 비교기(5)와, 상기 오차(E)를 설정된 임계치 (E_Thr)와 비교하여 안정화 구간인지를 판단하는 안정화 구간 판단기(6)와, 상기 안정화 구간 판단 결과에 따라 현재 영상에 대한 블랭크 판단을 수행하는 블랭크테스트기(7)와, 상기 블랭크 테스트 결과에 따라 썸네일 영상을 출력하는 썸네일 영상 출력부(8)를 포함하여 구성되고 있다.
도1에 나타낸 본 발명의 썸네일 영상 생성장치에서는 입력되는 영상은 MPEG으로 부호화된 비디오 스트림 중에서 I픽쳐이며, 연속되는 두 개의 I픽쳐에 대하여 히스토그램 차(오차 E)를 비교하여 썸네일 영상의 생성 여부를 판단한다. 또한, I픽쳐 전체에 대한 히스토그램 비교를 수행하지 않고 DC영상에 대한 히스토그램 비교를 수행함으로써 하드웨어적인 부담을 줄이며, 실제로 썸네일 영상은 이 DC 영상을 그대로 사용하여 생성된다. 즉, 썸네일 출력부(8)에서는 블랭크 테스트 결과에 따라 DC 영상을 썸네일 영상으로 선택하여 출력하는 것이다. 이러한 DC 영상은 MPEG 디코더의 가변 복호화기를 별도로 요구하지도 않으므로 전체 영상을 복호화할 필요없이 비디오 스트림의 DC 값을 단순히 파싱(parsing)하여 얻어지기 때문에 하드웨어에 큰 부담없이 획득할 수 있다.
DC계수 추출기(1,3)는 각각 이전 프레임과 현재 프레임, 다시 말하면 이전 I픽쳐와 현재 I픽쳐에 대하여 DC 영상을 각각 추출하며, 추출된 이전 I픽쳐 DC 영상과 현재 I픽쳐 DC 영상은 각각의 히스토그램 추출기(2,4)에 의해서 히스토그램 Hprev(n),Hcurr(n)이 추출된다. 추출된 히스토그램 Hprev(n),Hcurr(n)은 히스토그램 비교기(5)에 입력되어 다음의 수학식1과 같이 오차 E를 계산한다.
여기서 n은 히스토그램의 빈(bin)에 해당하며, N은 히스토그램의 빈의 개수, DCsize는 I픽쳐의 DC 계수의 개수 또는 DC 영상의 크기이다.
일반적으로 연속되는 두개의 I픽쳐 간의 오차가 존재하는 경우는 다음과 같이 크게 네가지 경우로 볼 수 있다. 1. 두개의 I픽쳐 사이에 급진적 장면전환(hard cut)이 존재하는 경우, 2. 두개의 I픽쳐가 점진적인 장면전환(gradual scene transition)에 의해 오버랩이 발생하는 경우, 3. 두개의 I픽쳐 중에서 최소 한개의 I픽쳐가 잡음 등에 의해 화질의 열화가 발생한 경우, 4. 카메라의 급격한 움직임이나 피사체의 빠른 움직임에 의해서 두 영상 사이에 오차가 존재하는 경우이다.
앞서 설명한 네가지 경우 중, 첫번째의 경우는 장면의 길이가 비교적 길다면 그 오차 E가 현저하게 줄어들 가능성이 높다. 따라서 굳이 장면의 첫 I픽쳐에 대하여 썸네일 영상을 생성하지 않고 이후에 입력되는 I픽쳐에 대하여 썸네일 영상을 생성하여도 무방하다. 또한 나머지 세 가지의 경우에 발생하는 I픽쳐는 화질의 열화 및 피사체의 급격한 움직임이나 과도한 줌 등에 의한 경우가 대부분이므로, 이 경우는 썸네일 영상이 생성되어도 그 내용이 명확하지 않고 정보의 전달력 또한 낮을 수밖에 없다. 그러므로 본 발명에서는 인접한 I픽쳐의 오차 E가 설정된 임계치(E_Thr) 보다 낮은 경우를 안정화 구간으로 정의하고, 이 구간에 속하는 I픽쳐에 대해서만 썸네일 영상을 생성할 후보로 결정한다.
즉, 본 발명에서 정의한 안정화 구간에 의해, 썸네일 영상의 생성 과정에서 카메라의 급격한 움직임, 잡음 또는 장면 전환에 의한 오버랩 등에 의해 열화가 발생한 영상들은 썸네일 영상을 생성할 후보에서 배제된다. 도1의 안정화 구간 판단기(6)가 히스토그램 오차 E와 임계치 E_Thr를 비교하여 현재 영상이 안정화 구간에 속하는지의 여부를 판단하게 된다.
오차값 E는 연속되는 두 I픽쳐가 같은 장면을 나타내는 구간에 속할 경우에는 비교적 낮은 수치를 가질 것이며, E_Thr은 이러한 구간을 검출할 수 있도록 충분히 낮게 설정되어야 한다. 본 발명에서는 실제 MPEG 비디오 스트림을 이용한 실험 결과에 근거하여 임계값 E_Thr을 0.2로 설정하며, 이 값에 의해 잡음이 발생한 영상, 급진적 장면 전환은 물론 오버랩이 발생하는 점진적 장면전환 구간을 배제할 수 있다.
도2는 본 발명에 의한 썸네일 영상 생성장치를 이용한 동영상 분석 결과의 예를 보여준다. 오차(Error)는 현재 I픽쳐의 DC 영상과 이전 I픽쳐의 DC 영상 사이의 히스토그램 오차를 나타내며, 크게 4개의 장면(S1,S2,S3,S4)을 예시하고 있다.
여기서 Th_hard_cut은 급진적 장면 전환을 결정하는 임계값으로 E_Thr 보다 충분히 큰 값으로 설정한다. 장면 S1과 장면 S2의 경계는 급진적 장면전환을 이루고 있으며, 장면 S2에서 장면 S3으로 변화되는 구간은 4개의 I픽쳐가 개입되는 점진적 장면전환을 보여준다. 즉, MPEG 비디오 스트림의 4개의 GOP(Group Of Picture)에 해당하는 구간에 걸쳐서 급진적 장면전환 보다는 낮지만 안정화 구간을 판단하는 임계치(E_Thr)보다는 높은 오차(Error)를 보이고 있으며, 이러한 오차는 장면의 점진적 변화에 기인하고 있다.
도2에서 원으로 표시된 오차값에 해당하는 I픽쳐가 속하는 시간적 구간을 '안정화 구간'으로 정의하며, 이 구간에서는 잡음, 오버랩, 영상의 번짐 등이 발생하지 않은 것으로 판단하고, 이 구간에서 가장 먼저 나타나는 I픽쳐(사각형 테두리로 구분하였다)에 대하여 썸네일 영상을 생성한다. 즉, 썸네일 영상의 생성을 위한 후보로 선택하는 것이다.
이와 같이 안정화 구간에 속하는 I픽쳐 중에서 시간적으로 가장 먼저 나타나는 프레임에 대하여 블랭크인지의 여부를 블랭크 테스트기(7)에서 수행한다. 본 발명에서 블랭크 화면이라 함은 조명이나 기타 자연적인 조건에 의해 어두운 화면, 방송의 특수효과(fade in, fade out 등) 등에 의해 사용자가 식별하기 어려운 어두운 화면을 일컫는다. 따라서, 블랭크 테스트기(7)는 이러한 화면을 썸네일 영상으로 생성하지 않도록 하기 위한 검증을 실시한다.
도3은 상기 블랭크 테스트기(7)의 제1실시예 구성을 나타낸 도면으로서, 입력 I픽쳐 DC 영상의 모든 화소값에 대한 휘도(Y) 평균값을 이용해서 테스트하는 경우를 보여준다. 도3의 블랭크 테스트기는 입력 I픽쳐 DC 영상(Icurr,DC(x,y))의 모든 화소값 총량(Sum(Icurr))을 구하기 위한 화소값 덧셈기(11)와, 상기 화소값 총량을 화소 수로 나누어 평균값(Average(Icurr))을 출력하는 나눗셈기(12)와, 상기 화소 평균값을 임계치(Th1)와 비교하여 블랭크 여부를 판별한 결과(blank1)를 출력하는 블랭크 판단기(13)로 이루어지고 있다.
화소값 덧셈기(11)와 나눗셈기(12)를 통해서 구해진 휘도 신호의 평균값(Average(Icurr))은 미리 설정한 임계치(Th1)와 비교되어, 평균값(Average(Icurr))이 임계치(Th1) 이하인 경우 현재 영상은 블랭크 영상으로 간주되고 (blank=1), 그렇지 않은 경우는 썸네일 영상으로 처리된다(blank = 0). 이와 같이 블랭크 영상인 경우 썸네일 출력부(8)는 해당 영상(Icurr,DC(x,y))을 썸네일 영상으로 출력하지 않는다.
MPEG 표준안에 의하면 영상의 휘도 신호는 16에서 235 사이의 220개의 레벨을 갖는다. 이 것을 고려하여 상기 Th1 = 89로 정하였으며 이는 전체 레벨의 1/3(220/3+16)에 해당한다.
도4는 상기 블랭크 테스트기(7)의 제2실시예 구성을 나타낸 도면으로서, 백색 화소의 개수 즉, 입력되는 DC 영상의 백색 화소의 개수를 이용한 블랭크 테스트를 보여준다. 도4의 블랭크 테스트기는 입력 I픽쳐 DC 영상(Icurr,DC(x,y))의 모든 백색 화소의 개수(W_Count(Icurr))를 구하기 위한 화소 카운터(21)와, 상기 화소 카운트값을 임계치(Th2)와 비교하여 블랭크 여부를 판별한 결과(blank2)를 출력하는 블랭크 판단기(22)로 이루어지고 있다.
앞서 설명한 도3의 블랭크 테스트기는 화소 평균값을 기반으로 하기 때문에, 배경이 어두운 상황에서 의미 있는 물체가 존재하는 명암 대비가 뚜렷한 영상과 같은 경우는 블랭크 화면으로 처리되는 오류 발생의 소지가 있다.
그러므로 도4의 블랭크 테스트기로, 전체적으로 평균값이 어둡더라도 일정 개수 이상의 백색 화소가 존재하는 경우는 썸네일 영상을 생성할 수 있는 환경을 보장할 수 있다.
화소 카운터(21)는 입력 I픽쳐 DC 영상(Icurr,DC(x,y))의 백색 화소의 개수를 카운트하는데, 임의의 화소가 백색 화소인지의 여부는 임계치(White_Thr)를 기준으로하여 판단한다. DC 영상의 휘도 신호가 임계치(White_Thr) 보다 높은 경우에 해당하는 화소를 백색 화소로 간주하여 카운트하는 것이다. 그리고, 상기 카운트된 백색 화소의 개수(W_Count(Icurr))는 블랭크 판단기(22)에서 임계치(Th2)와 비교된다. 즉, 백색 화소의 개수(W_Count(Icurr))가 임계치(Th2) 이하인 경우 해당 영상은 블랭크로 처리되고(blank=1), 그렇지 않은 경우는 썸네일 영상으로 처리된다 (blank=0). 블랭크로 처리된 영상은 썸네일 영상을 생성하지 않는다.
도4의 본 발명 블랭크 텍스트기 실시예에서 White_Thr = 140, Th2 = 192(3 ×64)로 정하였다. 즉, 이 값은 DC 영상에서 192개의 화소의 휘도가 140 이상임을 의미하며, 이는 원래의 I픽쳐에서 48개의 매크로 블록에 해당한다.
상기 도3 및 도4의 블랭크 테스트기는 도1의 블랭크 테스트기(7)에 단독 혹은 조합형으로 구현될 수 있다. 단독형의 경우는 앞서 설명한 바와 같고, 조합형인 경우는 'BLANK = blank1 AND blank2'의 논리적 구성을 이루면 된다. 이렇게 하면 블랭크 판별기법을 현재 입력되는 DC 영상에 대하여 병렬로 처리하고, 두가지의 테스트 결과가 모두 블랭크로 나타날 경우(blank1=1 AND blank2=1)에 대해서만 현재 입력 영상을 블랭크 영상으로 간주할 수 있으며, 상기 테스트 결과인 BLANK=0인 영상에 대해서만 썸네일을 생성한다. 이는 곧 명암 대비가 뚜렷한 영상과 같이 실질적으로는 매우 의미 있는 영상임에도 불구하고 화소값 평균이 임계치에 미달되어썸네일 영상에서 배제되는 오류를 최소화할 수 있게 한다.
도5는 지금까지 설명한 본 발명의 썸네일 영상 생성장치에 따라 이루어지는 썸네일 생성방법을 보여준다. 단계(S1)에서는 I픽쳐에 대한 입력 DC 영상간의 히스토그램 오차(E)를 계산한다. 다음 단계(S2)에서는 상기 히스토그램간 오차(E)를 임계치(E_Thr)와 비교하여, 히스토그램간 오차(E)가 임계치(E_Thr) 보다 낮은 경우에 한하여 도3 및 도4에 해당하는 블랭크 테스트를 실행한다(단계S3).
그리고, 블랭크 테스트 결과(BLANK)를 통과하지 못한 영상은 썸네일 여앙의 생성에서 배제하여 단계(S1)로 이행하고, 블랭크 테스트를 통과한 영상은 단계(S5)로 이행하여 이전 DC 영상에서 이미 썸네일 영상이 생성되었는가의 여부를 판단한다. 이는 각 장면의 안정화 구간의 첫번째 I픽쳐에 대하여 썸네일을 생성한다는 기준을 만족시키기 위함이다. 즉, 현재 영상이 블랭크 영상이 아닌 경우 썸네일 생성을 수행하며(단계S6), 이전 I픽쳐에 대하여 썸네일 영상이 생성되지 않은 경우에 국한하여 썸네일 영상을 생성한다는 것이다.
본 발명은 입력되는 일련의 비디오 스트림의 I픽쳐의 DC영상을 이용해서 히스토그램 오차 분석과 블랭크 판별에 의한 썸네일 후보 영상의 검증을 통해 썸네일 영상을 생성한다. 그러므로 본 발명은 영상 내의 잡음, 장면전환에 의한 오버랩, 조명 조건 등에 기인한 블랭크 등으로 인하여 열화된 영상은 썸네일 영상의 생성에서 배제시킬 수 있고, 장면에 근거한 의미 있는 썸네일 생성을 보장한다.
본 발명은 디지털 TV의 PVR, 비디오 라이브러리 등에서 비디오 스트림에 대한 내용 요약, 프로그램 가이드, 스토리보드, 비디오에 대한 함축적 정보 전달에 관련된 기타 응용 분야 등에 적용하여 사용자에게 효율적이고 자동화된 썸네일 생성 시스템을 제공한다.

Claims (12)

  1. 시계열적인 수순에서 선행하는 영상과 후행하는 영상의 히스토그램을 추출하는 히스토그램 추출수단, 상기 추출된 히스토그램의 차이를 이용해서 해당 영상이 속하는 구간이 안정화 구간인지를 판단하는 안정화 구간 판단수단, 상기 영상이 안정화 구간에 속하는 경우 그 영상을 썸네일 영상으로 결정할 것인지의 여부를 판별하는 블랭크 테스트 수단, 상기 블랭크 테스트 결과에 따라 해당 영상을 썸네일 영상 생성에서 배제하거나 썸네일 영상으로 선택하여 생성하는 출력수단; 을 포함하여 이루어지는 것을 특징으로 하는 썸네일 영상 생성장치.
  2. 제 1 항에 있어서, 상기 영상은 MPEG 압축환경에서 I픽쳐에 대한 DC 영상인 것을 특징으로 하는 썸네일 영상 생성장치.
  3. 제 1 항에 있어서, 상기 안정화 구간의 판단은 상기 영상 히스토그램간 차이가 설정된 임계치 보다 낮은 구간으로 선택되는 것을 특징으로 하는 썸네일 영상 생성장치.
  4. 제 1 항에 있어서, 상기 썸네일 영상의 출력은 상기 영상 히스토그램간 차이가 설정된 임계치 보다 낮은 구간을 안정화 구간으로 하여 그 구간에 속하는 첫번째 영상으로 선택되는 것을 특징으로 하는 썸네일 영상 생성장치.
  5. 제 1 항에 있어서, 상기 블랭크 테스트 수단은 해당 영상에 대한 백색 화소의 개수를 카운트하거나 휘도 평균값을 구하여 그 밝기를 계산하는 연산수단과, 상기 연산수단의 출력을 임계치와 비교하여 블랭크 화면 여부를 판별하는 블랭크 판별수단으로 이루어진 것을 특징으로 하는 썸네일 영상 생성장치.
  6. 현재 입력 I픽쳐와 이전 I픽쳐에서 DC 영상을 추출하는 DC 영상 추출수단, 상기 추출된 현재 I픽쳐 DC 영상과 이전 I픽쳐 DC 영상의 히스토그램을 추출하는 히스토그램 추출수단, 상기 추출된 히스토그램간 차이를 구하는 히스토그램 비교수단, 상기 히스토그램간 차이를 이용해서 현재 구간이 안정화 구간에 해당하는지를 판단하는 안정화 구간 판단수단, 상기 안정화 구간에 속하는 해당 영상에 대해서 식별이 어려운 영상을 가려내기 위한 블랭크 테스트를 수행하는 블랭크 판별수단, 상기 블랭크 판별 결과에 따라 해당 영상을 썸네일 영상으로 출력하는 출력수단; 을 포함하여 이루어지는 것을 특징으로 하는 썸네일 영상 생성장치.
  7. 현재 입력 영상과 이전 입력 영상의 히스토그램을 비교하여 그 차이를 구하는 단계, 상기 구해진 히스토그램 차이를 설정된 임계치와 비교하여 임계치 보다 낮은 경우 해당 영상을 썸네일 후보로 선택하는 단계, 상기 썸네일 후보 영상에 대하여 블랭크 테스트를 수행하고 그 결과에 따라 해당 후보 영상을 썸네일 영상으로 출력하는 단계; 로 이루어진 것을 특징으로 하는 썸네일 영상 생성방법.
  8. 제 7 항에 있어서, 상기 영상간 히스토그램의 차이가 MPEG 압축환경에서 I픽쳐의 DC영상에 대하여 구해지는 것을 특징으로 하는 썸네일 영상 생성방법.
  9. 제 7 항에 있어서, 상기 블랭크 테스트는 썸네일 후보 영상에 대한 백색 화소 값을 평균하거나 백색 화소의 개수를 카운트하여 그 값이 임계치 이하인 블랭크 화면인 경우 썸네일 영상 생성에서 배제하고 그렇지 않은 경우에 한하여 썸네일 영상을 생성하도록 하는 것을 특징으로 하는 썸네일 영상 생성방법.
  10. 제 7 항에 있어서, 상기 블랭크 테스트와 그 결과에 따른 썸네일 영상의 출력은, 썸네일 후보 영상의 휘도 평균값과 백색 화소의 개수를 구하는 단계, 상기 휘도 평균값과 백색 화소의 개수를 각각의 임계치와 비교하는 단계, 상기 비교 결과 휘도 평균값이나 백색 화소의 개수가 각각의 임계치 보다 모두 낮은 경우는 블랭크 영상으로 처리하고 그렇지 않은 경우 해당 영상에 대한 썸네일 영상을 생성하는 단계; 에 의하여 이루어지는 것을 특징으로 하는 썸네일 영상 생성방법.
  11. 영상 프레임간의 히스토그램 차이를 구하여 장면전환을 검출하는 단계, 상기 장면전환이 이루어진 영상 구간에서 썸네일 영상 후보를 히스토그램간 차이를 이용해서 선택하는 단계, 상기 선택된 썸네일 후보 영상에 대해서 블랭크 테스트를 수행하는 단계, 상기 블랭크 테스트 결과에 따라 해당 영상에 대한 썸네일 영상의 생성 여부를 결정하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 썸네일 영상 생성방법.
  12. 제 11 항에 있어서, 상기 블랭크 테스트는 해당 영상의 밝기나 명암의 정도를 이용해서 테스트함을 특징으로 하는 썸네일 영상 생성방법.
KR10-2001-0087075A 2001-12-28 2001-12-28 썸네일 영상 생성장치 및 방법 KR100468967B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR10-2001-0087075A KR100468967B1 (ko) 2001-12-28 2001-12-28 썸네일 영상 생성장치 및 방법
US10/331,671 US7257261B2 (en) 2001-12-28 2002-12-27 Apparatus and method for generating thumbnail images
US11/773,366 US7912303B2 (en) 2001-12-28 2007-07-03 Apparatus and method for generating thumbnail images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0087075A KR100468967B1 (ko) 2001-12-28 2001-12-28 썸네일 영상 생성장치 및 방법

Publications (2)

Publication Number Publication Date
KR20030056784A KR20030056784A (ko) 2003-07-04
KR100468967B1 true KR100468967B1 (ko) 2005-01-29

Family

ID=19717812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0087075A KR100468967B1 (ko) 2001-12-28 2001-12-28 썸네일 영상 생성장치 및 방법

Country Status (2)

Country Link
US (2) US7257261B2 (ko)
KR (1) KR100468967B1 (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100468967B1 (ko) * 2001-12-28 2005-01-29 엘지전자 주식회사 썸네일 영상 생성장치 및 방법
KR100487330B1 (ko) * 2002-10-18 2005-05-03 엘지전자 주식회사 디지털 비디오의 썸네일 영상 생성 장치
KR100487374B1 (ko) * 2002-10-18 2005-05-03 엘지전자 주식회사 디지털 비디오의 썸네일 영상 생성 장치
TWI220633B (en) * 2003-04-03 2004-08-21 Benq Corp Image quality processing method and transmission device
KR100557858B1 (ko) * 2003-09-27 2006-03-10 학교법인 인하학원 엠펙 동영상에서의 주요 정지 영상 추출 장치 및 방법
JP2005295497A (ja) * 2004-03-10 2005-10-20 Seiko Epson Corp 画質表示装置、ディジタルカメラ、現像装置、画質表示方法及び画質表示プログラム
CA2563107C (en) * 2004-03-29 2014-03-04 Nielsen Media Research, Inc. Methods and apparatus to detect a blank frame in a digital video broadcast signal
US20050251835A1 (en) * 2004-05-07 2005-11-10 Microsoft Corporation Strategies for pausing and resuming the presentation of programs
JP4385974B2 (ja) * 2004-05-13 2009-12-16 ソニー株式会社 画像表示方法、画像処理装置、プログラム及び記録媒体
US20060075362A1 (en) * 2004-10-01 2006-04-06 Kiyotaka Moteki Image processing apparatus, method, and recording medium on which program is recorded for displaying thumbnail/preview image
KR100642895B1 (ko) * 2004-12-21 2006-11-08 엘지전자 주식회사 광디스크장치의 디스크 관리방법
US8032840B2 (en) * 2006-01-10 2011-10-04 Nokia Corporation Apparatus, method and computer program product for generating a thumbnail representation of a video sequence
JP2007189473A (ja) * 2006-01-13 2007-07-26 Hitachi Ltd 動画再生装置
JP4635907B2 (ja) * 2006-02-28 2011-02-23 ブラザー工業株式会社 印刷装置
JP2007300158A (ja) * 2006-04-27 2007-11-15 Toshiba Corp 単色フレーム検出方法
KR100785388B1 (ko) * 2006-05-15 2007-12-13 엘지전자 주식회사 동영상 촬영기능이 구비된 이동통신 단말기 및 그 동작방법
US7711193B2 (en) * 2006-11-07 2010-05-04 Aol Inc. Recognizing blank and nearly blank images
US8671346B2 (en) * 2007-02-09 2014-03-11 Microsoft Corporation Smart video thumbnail
US8457405B2 (en) * 2007-08-31 2013-06-04 Adobe Systems Incorporated Example-based procedural synthesis of element arrangements
JP4505760B2 (ja) * 2007-10-24 2010-07-21 ソニー株式会社 情報処理装置および方法、プログラム、並びに、記録媒体
KR101395504B1 (ko) * 2007-10-25 2014-05-14 엘지전자 주식회사 영상표시기기 및 영상재생 방법
US20090132967A1 (en) * 2007-11-16 2009-05-21 Microsoft Corporation Linked-media narrative learning system
US8081186B2 (en) * 2007-11-16 2011-12-20 Microsoft Corporation Spatial exploration field of view preview mechanism
US8584044B2 (en) * 2007-11-16 2013-11-12 Microsoft Corporation Localized thumbnail preview of related content during spatial browsing
US20090158157A1 (en) * 2007-12-14 2009-06-18 Microsoft Corporation Previewing recorded programs using thumbnails
US8249365B1 (en) 2009-09-04 2012-08-21 Adobe Systems Incorporated Methods and apparatus for directional texture generation using sample-based texture synthesis
US9292941B2 (en) 2009-09-04 2016-03-22 Adobe Systems Incorporated Methods and apparatus for specifying and interpolating hierarchical procedural models
US8619098B2 (en) 2009-09-18 2013-12-31 Adobe Systems Incorporated Methods and apparatuses for generating co-salient thumbnails for digital images
US8599219B2 (en) 2009-09-18 2013-12-03 Adobe Systems Incorporated Methods and apparatuses for generating thumbnail summaries for image collections
US8676552B2 (en) 2011-02-16 2014-03-18 Adobe Systems Incorporated Methods and apparatus for simulation of fluid motion using procedural shape growth
US8917282B2 (en) 2011-03-23 2014-12-23 Adobe Systems Incorporated Separating water from pigment in procedural painting algorithms
US8724854B2 (en) * 2011-04-08 2014-05-13 Adobe Systems Incorporated Methods and apparatus for robust video stabilization
US8861868B2 (en) 2011-08-29 2014-10-14 Adobe-Systems Incorporated Patch-based synthesis techniques
US8938116B2 (en) * 2011-12-08 2015-01-20 Yahoo! Inc. Image cropping using supervised learning
CN104284198B (zh) * 2014-10-27 2017-09-26 中国科学院寒区旱区环境与工程研究所 视频浓缩方法
WO2018137126A1 (zh) * 2017-01-24 2018-08-02 深圳大学 一种静态视频摘要的生成方法及装置
US11004473B2 (en) * 2019-06-24 2021-05-11 Sage Learning Inc. Methods and systems for annotation and truncation of media assets
CN112308074A (zh) * 2020-01-09 2021-02-02 北京沃东天骏信息技术有限公司 用于生成缩略图的方法和装置
CN111289848B (zh) * 2020-01-13 2023-04-07 甘肃省安全生产科学研究院有限公司 一种应用在基于安全生产的智能型热局放仪的复合数据滤波方法
CN114007133B (zh) * 2021-10-25 2024-02-23 杭州当虹科技股份有限公司 基于视频播放的视频起播封面自动生成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191862A (ja) * 1997-08-06 1999-07-13 General Instr Corp デジタルビデオ用フェード検出器
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
JP2000217121A (ja) * 1999-01-14 2000-08-04 Mitsubishi Electric Inf Technol Center America Inc ディジタル画像表示のビデオデ―タを圧縮した形で処理してシ―ン変化を検出する方法
US6154771A (en) * 1998-06-01 2000-11-28 Mediastra, Inc. Real-time receipt, decompression and play of compressed streaming video/hypervideo; with thumbnail display of past scenes and with replay, hyperlinking and/or recording permissively intiated retrospectively
KR20010087553A (ko) * 2000-03-07 2001-09-21 구자홍 엠펙（ｍｐｅｇ）압축 비디오 환경에서 계층적 혼합형장면 변화 검출 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628830B1 (en) * 1998-06-24 2003-09-30 Canon Kabushiki Kaisha Image processing method and apparatus and storage medium
KR100468967B1 (ko) * 2001-12-28 2005-01-29 엘지전자 주식회사 썸네일 영상 생성장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191862A (ja) * 1997-08-06 1999-07-13 General Instr Corp デジタルビデオ用フェード検出器
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US6154771A (en) * 1998-06-01 2000-11-28 Mediastra, Inc. Real-time receipt, decompression and play of compressed streaming video/hypervideo; with thumbnail display of past scenes and with replay, hyperlinking and/or recording permissively intiated retrospectively
JP2000217121A (ja) * 1999-01-14 2000-08-04 Mitsubishi Electric Inf Technol Center America Inc ディジタル画像表示のビデオデ―タを圧縮した形で処理してシ―ン変化を検出する方法
KR20010087553A (ko) * 2000-03-07 2001-09-21 구자홍 엠펙（ｍｐｅｇ）압축 비디오 환경에서 계층적 혼합형장면 변화 검출 방법

Also Published As

Publication number Publication date
US7257261B2 (en) 2007-08-14
KR20030056784A (ko) 2003-07-04
US20080016469A1 (en) 2008-01-17
US20030137546A1 (en) 2003-07-24
US7912303B2 (en) 2011-03-22

Similar Documents

Publication Publication Date Title
KR100468967B1 (ko) 썸네일 영상 생성장치 및 방법
US7054367B2 (en) Edge detection based on variable-length codes of block coded video
Meng et al. Scene change detection in an MPEG-compressed video sequence
KR100464075B1 (ko) 비디오 하이라이트 자동 생성 방법 및 장치
KR100869038B1 (ko) 컨텐츠 에디터, 비디오 컨텐츠 검출기, 커머셜 및 컨텐츠 검출 방법
US9275683B1 (en) Systems and methods for identifying a scene-change/non-scene-change transition between frames
US6940910B2 (en) Method of detecting dissolve/fade in MPEG-compressed video environment
KR20040006065A (ko) 장면전환검출장치 및 그 방법
KR20010089770A (ko) 동적 임계치를 사용하는 비주얼 인덱싱 시스템에 대한중요 장면 검출 및 프레임 필터링
KR20030026529A (ko) 키프레임 기반 비디오 요약 시스템
KR20030024781A (ko) 비디오 신호에서의 자막 검출
JP3714871B2 (ja) サンプリングされたディジタル動画シーケンス中の推移を検出する方法
JPH10257436A (ja) 動画像の自動階層構造化方法及びこれを用いたブラウジング方法
Sugano et al. A fast scene change detection on MPEG coding parameter domain
JP4182747B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2869398B2 (ja) カット点検出方法及び装置
Joyce et al. Temporal segmentation of video using frame and histogram-space
JPH10112863A (ja) 動き被写体情報抽出方法及び装置
KR20090087915A (ko) 슬로우 모션을 검출하기 위한 방법 및 장치
KR100487374B1 (ko) 디지털 비디오의 썸네일 영상 생성 장치
JP3339544B2 (ja) ディゾルブ検出方法および装置
Šarić et al. Shot boundary detection in soccer video using twin-comparison algorithm and dominant color region
JPH0537853A (ja) 動画のカツト自動分割方法
JP3333956B2 (ja) カット点検出方法および装置
KR20120012208A (ko) 비쥬얼 리듬을 이용한 장면 전환 검출 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121227

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20131224

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20141224

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 12