KR20040035127A - 디지털 비디오의 썸네일 영상 생성 장치 - Google Patents

디지털 비디오의 썸네일 영상 생성 장치 Download PDF

Info

Publication number
KR20040035127A
KR20040035127A KR1020020063867A KR20020063867A KR20040035127A KR 20040035127 A KR20040035127 A KR 20040035127A KR 1020020063867 A KR1020020063867 A KR 1020020063867A KR 20020063867 A KR20020063867 A KR 20020063867A KR 20040035127 A KR20040035127 A KR 20040035127A
Authority
KR
South Korea
Prior art keywords
image
blank
vertical
thumbnail
horizontal
Prior art date
Application number
KR1020020063867A
Other languages
English (en)
Other versions
KR100487374B1 (ko
Inventor
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2002-0063867A priority Critical patent/KR100487374B1/ko
Publication of KR20040035127A publication Critical patent/KR20040035127A/ko
Application granted granted Critical
Publication of KR100487374B1 publication Critical patent/KR100487374B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 디지털 TV에 장착된 개인용 비디오 녹화기 또는 비디오 브라우저 등의 기능을 제공하는 기타 시스템 등에서 제공하는 부가 기능 중 썸네일(Thumbnail) 영상 생성 장치에 관한 것으로서, 특히 I 픽처의 DC 값으로 생성되는 DC 영상 단위로 가로 및 세로 방향의 영상 복잡도를 각각 계산하고, 상기 가로 및 세로 방향의 영상 복잡도를 미리 설정한 가로 및 세로 방향의 임계값과 각각 비교하여 상기 I 픽처의 DC 값으로부터 생성된 썸네일 영상이 블랭크 영상인지 여부를 판단하고, 블랭크 영상으로 판별된 썸네일 영상은 사용하지 않도록 함으로써, 사용자에게는 내용적으로 의미가 있는 썸네일 영상만을 제공할 수 있다.

Description

디지털 비디오의 썸네일 영상 생성 장치{Apparatus for generating thumbnail image of digital video}
본 발명은 디지털 TV에 장착된 개인용 비디오 녹화기(Personal Video Recorder ; PVR), 또는 비디오 브라우저 등의 기능을 제공하는 기타 시스템 등에서 제공하는 부가 기능 중 썸네일(Thumbnail) 영상 생성 장치에 관한 것으로서, 특히 썸네일 영상의 생성 과정에서 현재 입력되는 영상의 복잡도를 계산하여 사용자에게 내용적으로 의미가 있는 영상에 대해서만 자동적으로 썸네일 영상을 생성하는 장치에 관한 것이다.
일반적으로 썸네일 영상은 브라우징(browsing) 혹은 탐색(searching) 등을 위해 비디오의 특정 프레임을 원래의 크기보다 작게 표시한 것으로, 동영상의 형태가 아닌 정지 영상의 형태로 비디오에 대한 함축적인 정보를 사용자에게 제공하는 목적으로 사용한다. 이러한 썸네일 영상은 PVR에서 녹화된 비디오의 내용을 몇 개의 작은 그림들로 요약하거나 비디오 인덱싱을 위한 키 프레임(key frame) 생성 또는 프로그램 가이드 등에서 프로그램에 대한 프리뷰(preview) 또는 내용 요약(content summary) 등을 목적으로 한 대표 영상의 생성 등 그 활용 분야가 다양하다.
썸네일 영상을 생성하는 종래의 방법은 MPEG으로 부호화된 비디오의 프레임을 복호화 한 다음 복원된 프레임을 직접 축소하는 방법과 I 픽처(picture)의 DC 값을 이용하는 방법으로 구분할 수 있다. 이때, 비디오의 프레임을 직접 축소하는 전자의 방법은 해당 프레임의 전체 화소를 복호화 해야 하는데, 이는 가변 복호화기(variable length decoder)를 필요로 하므로 하드웨어적인 부담이 있다. 아울러 I 픽처가 아닌 B 또는 P 픽처의 경우에는 이를 복호화 한 다음 다시 JPEG 등의 압축 방식을 사용하여 인트라-코드(intra-coded)된 정지 영상의 형태로 변환해야 한다. 한편, 비디오의 I 픽처의 DC를 이용하여 썸네일 영상을 만드는 후자의 방법은 이러한 가변 복호화기를 필요로 하지 않으므로 하드웨어적으로도 부담이 적으며 DC 값이 직접적으로 썸네일 영상의 화소값으로 사용된다. 따라서 이 방법은 복잡한 복호화 및 재 부호화 과정을 거치지 않고 간단한 방법으로 원 영상의 1/64 크기의 썸네일 영상을 생성하므로 구현의 용이성 및 효율성이라는 장점이 있다.
상기된 방법들을 통해 생성된 썸네일 영상은 사용자에게 원래 영상보다 작은 크기, 다시 말해 낮은 해상도의 대표 영상으로 비디오의 전체 내용을 함축적으로 표현하는 방법을 제공하므로 이 썸네일 영상의 근원이 되는 비디오 프레임은 잡음, 블랭크, 장면 전환에 의한 오버랩 등이 존재하지 않은 동시에, 사용자에게 해당 비디오 전체에 대한 정보 전달이 명확해야한다. 따라서, 썸네일 영상에 대해서는 급격한 줌과 같은 카메라 움직임 및 피사체의 움직임에 의한 번짐(blur) 등에 의해 발생한 불분명한 영상을 피해야 한다.
그런데, 종래의 썸네일 영상 생성 장치에서는 썸네일 영상으로 사용하기 부적합한 영상을 검출한 후 이를 필터링(filtering)하는 효과적인 방법을 제공하지 못했다. 즉, 종래의 썸네일 영상 생성 장치에서는 영상의 내용에 대한 분석없이 임의의 I 픽처에 대하여 썸네일을 생성하였다. 이 경우 하드웨어에 의하여 미리 설정된 또는 사용자가 입력하는 표본율에 의해 일정한 간격마다 발생하는 I 픽처에 대하여 썸네일 영상을 생성하는 방법을 사용한다. 그러나 실제 수신되는 디지털 비디오에서는 원 영상에 잡음이 발생하거나 장면 전환 또는 기타 특수 효과에 의하여 영상이 매우 어둡거나 실제 내용이 없는 단일 컬러로 이루어진 영상, 또는 과도한 줌 및 클로즈업(close-up) 등에 의하여 원 영상 자체가 의미가 없거나 영상이 담고 있는 정보량이 미약한 경우가 발생한다. 이러한 영상으로부터 생성된 썸네일 영상은 사용자가 그 내용을 식별하기가 매우 어려우며 결과적으로 비디오 전체에 대한 함축적인 정보를 제공하는데 문제가 발생한다.
즉, 종래의 썸네일 영상 생성 방법에서는 자동적으로 썸네일 영상을 분석하여 썸네일의 유효성 여부를 판단하는 방법이 없으므로 무의미한 영상에 대하여 효과적으로 대처하지 못하며 이는 효과적으로 대표 영상을 추출하는데 많은 문제점을 갖는다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 썸네일 영상의 생성을 위해 입력되는 영상의 복잡도를 계산하여 복잡도가 낮은 영상에 대해서는 썸네일 영상으로 생성하지 않도록 함으로써, 사용자가 보다 의미있고 명확한 썸네일 영상만을 볼 수 있게 하는 썸네일 영상 생성 장치를 제공함에 있다.
도 1은 본 발명에 의한 썸네일 영상 생성 장치의 일 실시예를 보인 구성 블록도
도 2는 본 발명에 의한 썸네일 영상 생성 장치 중 블랭크 영상 판단부의 일 실시예를 보인 동작 흐름도
도 3은 본 발명에 의한 썸네일 영상 생성 장치의 블랭크 영상 판단부에서 TR_H와 TR_V를 계산하는 과정을 나타낸 흐름도
도 4a는 본 발명에 의한 썸네일 영상 생성 장치에서의 블랭크 영상 발생시 썸네일 전용 메모리의 주소값을 이용한 썸네일 영상 제어 방법의 일 실시예를 나타낸 흐름도
도 4b는 도 4a에서의 썸네일 전용 메모리의 맵 상태를 보인 도면
도 5a는 본 발명에 의한 썸네일 영상 생성 장치에서의 블랭크 영상 발생시 블랭크 벡터를 사용한 제어 방법의 일 실시예를 나타낸 흐름도
도 5b는 도 5a에서의 썸네일 전용 메모리의 맵 상태 및 블랭크 벡터를 이용하여 썸네일 전용 메모리에 저장된 각 썸네일 영상의 블랭크 여부를 나타내는 일 실시예를 보인 도면
도면의 주요부분에 대한 부호의 설명
101 : DC 디코더102 : 블랭크 영상 판단부
103 : 임시 버퍼104 : 버퍼 제어기
105 : 썸네일 메모리 인터페이스
상기와 같은 목적을 달성하기 위한 본 발명에 따른 디지털 비디오의 썸네일 영상 생성 장치는, MPEG으로 부호화 된 비디오 스트림의 I 픽처에서 썸네일 영상을 생성하되 그 과정에서 복잡도가 낮거나, 텍스쳐(texture)가 거의 존재하지 않거나 배경으로만 이루어진 영상 또는 잘못된 조명 조건에 의하여 발생하는 단일 색상이 지배하는 영상 및 저 휘도 영상, 그리고 과도한 줌 또는 클로즈업으로 인하여 발생하는 무의미한 영상을 검출한 후 이러한 무의미한 영상으로부터 생성된 썸네일 영상의 이용을 차단함으로써, 사용자에게 보다 의미 있고 명확한 썸네일 영상을 제공하는데 그 특징이 있다.
본 발명에서는 지나치게 어둡거나 단순한 컬러로 이루어진 영상 또는 블러(blur) 및 줌 등의 원인에 의해 복잡도가 낮아 사용자에게 전달할 수 있는 내용 또는 정보량이 매우 적어서 썸네일 영상을 생성하기에 적합하지 않은 영상을 블랭크(blank) 영상이라고 정의한다.
상기 특징을 구체화한 본 발명에 따른 본 발명에 의한 썸네일 영상 생성 장치는 입력되는 비디오 스트림으로부터 I 픽처의 DC값만을 파싱하는 DC 디코더와, 상기 DC 디코더에서 출력되는 DC 값들을 저장하는 임시 버퍼와, 상기 임시 버퍼에서 슬라이스 단위로 출력되는 DC 값을 입력받아 썸네일 영상을 생성하고 저장하는 메모리와, 상기 DC 디코더에서 출력되는 DC 값에 의해 생성되는 DC 영상의 가로 및세로 방향의 영상 복잡도를 각각 계산하고, 계산된 가로 및 세로 방향의 영상 복잡도와 미리 설정한 가로 및 세로 방향의 임계값을 각각 비교하여 상기 I 픽처가 블랭크 영상인지 여부를 판별하는 블랭크 영상 판단부와, 상기 임시 버퍼에의 DC값 저장 및 출력을 제어하고, 상기 블랭크 영상 판단부에서 블랭크 영상으로 판단되면 상기 메모리에 저장된 해당 썸네일 영상이 사용되지 않도록 제어하는 버퍼 제어부를 포함하여 구성되는 것을 특징으로 한다.
상기 블랭크 영상 판단부는 상기 DC 디코더에서 출력되는 Y 성분의 DC 값 또는, Y 성분의 DC 값과 CbCr 성분의 DC 값의 조합을 이용하여 DC 영상의 가로 및 세로 방향의 영상 복잡도를 계산하는 것을 특징으로 한다.
상기 블랭크 영상 판단부는 하나의 DC 영상에 대한 가로 및 세로 방향의 영상 복잡도가 계산되면 상기 계산된 가로 방향의 영상 복잡도가 미리 설정한 제 1 가로 방향 임계값보다 작은지 큰지 그리고, 상기 세로 방향의 영상 복잡도가 미리 설정한 제 1 세로 방향 임계값보다 작은지 큰지를 비교한 후 비교 결과에 따라 상기 I 픽처가 블랭크 영상인지를 판별하는 것을 특징으로 한다.
상기 블랭크 영상 판단부는 상기 계산된 가로 방향의 영상 복잡도가 미리 설정한 제 1 가로 방향 임계값보다 작거나 및/또는 상기 세로 방향의 영상 복잡도가 미리 설정한 제 1 세로 방향 임계값보다 작으면 상기 I 픽처를 블랭크 영상으로 판별하는 것을 특징으로 한다.
상기 블랭크 영상 판단부는 상기 계산된 가로 및 세로 방향의 영상 복잡도가 미리 설정한 제 1 가로 및 세로 방향의 임계값보다 크다면 상기 계산된 가로 방향의 영상 복잡도가 미리 설정한 제 2 가로 방향 임계값보다 작은지 큰지 그리고, 상기 세로 방향의 영상 복잡도가 미리 설정한 제 2 세로 방향 임계값보다 작은지 큰지를 비교한 후 비교 결과에 따라 상기 I 픽처가 블랭크 영상인지를 판별하는 것을 특징으로 한다.
상기 블랭크 영상 판단부는 상기 계산된 가로 및 세로 방향의 영상 복잡도가 미리 설정한 제 2 가로 및 세로 방향의 임계값보다 각각 크다면 상기 I 픽처를 블랭크 영상으로 판별하는 것을 특징으로 한다.
상기 블랭크 영상 판단부는 가로 방향으로 인접한 두 DC 값이 서로 다를 경우에는 가로 방향의 영상 복잡도를 증가시키고, 세로 방향으로 인접한 두 DC 값이 서로 다를 경우에는 세로 방향의 영상 복잡도를 증가시키는 과정을 하나의 DC 영상의 모든 DC 값에 적용하여 현재 DC 영상의 가로 방향의 영상 복잡도와 세로 방향의 영상 복잡도를 각각 구하는 것을 특징으로 한다.
상기 블랭크 영상 판단부는 각 DC 값의 상위 k 비트만을 비교에 이용하는 것을 특징으로 한다.
상기 버퍼 제어부는 입력된 I 픽처가 블랭크 영상으로 판단되면 상기 I 픽처로부터 생성된 썸네일 영상이 저장되는 있는 상기 메모리 내의 위치에 다음 I 픽처로부터 생성되는 썸네일 영상이 오버라이트되도록 제어하는 것을 특징으로 한다.
상기 버퍼 제어부는 상기 메모리에 저장 가능한 썸네일 영상의 수만큼 블랭크 벡터를 구비한 후, 블랭크 여부에 상관없이 모든 썸네일 영상을 상기 메모리에 저장하면서 상기 블랭크 영상 판단부의 판단 결과에 따라 블랭크 벡터에 해당 썸네일 영상의 블랭크 유무를 표시하는 것을 특징으로 한다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명은 썸네일 영상을 생성하고자 하는 I 픽처의 DC 값을 분석하여 해당되는 I 픽처가 블랭크 영상인지 여부를 판단하고, 블랭크 영상으로 판단된 I 픽처로부터 생성된 썸네일 영상은 사용되지 않도록 하는데 있다. 특히, 본 발명은 상기 I 픽처의 DC 값으로 생성되는 DC 영상 단위로 가로 및 세로 방향의 영상 복잡도를 각각 계산하고, 상기 가로 및 세로 방향의 영상 복잡도를 미리 설정한 가로 및 세로 방향의 임계값과 각각 비교하여 블랭크 영상의 여부를 판단하는데 그 특징이 있다.
도 1은 본 발명에 의한 썸네일 영상 생성 장치의 전체적인 구성의 일 실시예를 나타낸 블록도로서, MPEG으로 부호화된 비디오 스트림 중 I 픽쳐의 DC 값만을 파싱(parsing)하는 DC 디코더(101), 상기 파싱된 DC값으로부터 현재 생성되는 썸네일 영상의 유효성 여부를 판단하는 블랭크 영상 판단부(102), 상기 파싱된 DC값을 썸네일 영상 생성을 위해 라인 또는 슬라이스 단위로 임시 저장하는 임시 버퍼(103), 및 상기 DC값을 임시 버퍼(103)에 저장시키고, 상기 임시 버퍼(103)에저장된 DC값을 슬라이스 단위로 썸네일 메모리 인터페이스(105)를 통해 썸네일 전용 메모리로 전송하며, 또한 상기 블랭크 영상 판단부(102)의 판단 결과에 따라 상기 썸네일 전용 메모리에 저장된 썸네일 영상의 사용 여부를 제어하는 등의 시스템의 전체적인 흐름을 제어하는 버퍼 제어기(104)로 구성된다.
즉, 상기 버퍼 제어기(104)는 썸네일 메모리 인터페이스(105)를 통해 버퍼(103)에 저장된 데이터를 썸네일 전용 메모리의 특정 위치에 저장될 수 있도록 한다.
상기 DC 디코더(101)는 일반적인 MPEG 비디오 디코더의 VLD에 비해 매우 간단한 구조로 I 픽쳐의 DC값과 영상 정보 파라미터(parameter)만을 파싱할 수 있는 구조를 갖는다. 본 발명에서는 썸네일 영상을 생성하는 것이 목적이므로, 상기 DC 디코더(101)는 P 픽쳐 및 B 픽쳐를 복호화 할 필요가 없으며, 기타 AC 값을 구하기 위해 필요한 가변 복호화 테이블 및 하드웨어 부분이 제거된 구조이다.
즉, 상기 DC 디코더(101)는 MPEG 비디오의 I 픽처 스트림 중에서 픽처 사이즈(picture size)와 같은 영상의 정보 파라미터와 각 블록의 DC 값을 복호화하여 블랭크 영상 판단부(102)와 썸네일 임시 버퍼(103)로 전송한다.
이때, 상기 블랭크 영상 판단부(102)의 기능을 간단히 하기 위해서 영상의 휘도 성분에 대해서만 분석을 수행할 수도 있으며 이 경우에는 각 매크로 블록의 0번부터 3번 블록에 해당하는 DC값 즉, Y 성분의 DC값들만을 블랭크 영상 판단부(102)로 전송한다.
여기서, 각 DC값은 0에서부터 255의 값을 가지며 이는 1바이트의 데이터로표현된다. 일반적으로 4:2:0의 포맷을 갖는 MPEG 비디오에서 DC값은 각 블록의 평균값을 의미하며 하나의 매크로블록 당 6개의 블록이 존재하므로 하나의 매크로 블록으로부터 6개의 DC값이 입력된다. 이 중 처음 4개(즉 각 매크로 블록의 0번부터 3번까지의 블록)의 DC값은 Y 성분의 DC값이며, 나머지 2개(즉 4번, 5번 블록)는 각각 Cb, Cr 성분의 DC값에 해당된다.
한편, 상기 임시 버퍼(103)로는 썸네일 영상의 구성에 필요한 모든 DC 값을 전송해야 한다. 즉, 썸네일 영상은 썸네일 전용 메모리에 완전한 형태로 저장되며, 상기 버퍼 제어기(104)의 제어에 의해 하나의 슬라이스에 해당하는 분량의 데이터를 임시 버퍼(103)에 저장하였다가 슬라이스가 종료되면 상기 임시 버퍼(103)의 데이터를 썸네일 전용 메모리로 전송한다. 여기서, 상기 슬라이스는 ATSC 규격상 매크로 블록의 하나의 가로 줄을 의미하는 것으로, 슬라이스를 기본 단위로 썸네일 영상을 생성하는 이유는 입력되는 MPEG 비디오 스트림의 특성상 슬라이스를 기준으로 버퍼(103)를 제어하는 것이 효율적이기 때문이다.
상기 버퍼 제어기(104)는 임시 버퍼(103)의 입출력을 제어하며, 상기 임시 버퍼(103)는 입출력의 효율성을 위해 더블 버퍼의 형태로 구현된다. 즉, 상기 버퍼 제어기(104)는 슬라이스가 종료하면 썸네일 전용 메모리 인터페이스(105)와 더불어 임시 버퍼(103)에 저장된 썸네일 데이터를 썸네일 전용 메모리로 전송하는데 필요한 과정을 수행한다. 상기 썸네일 전용 메모리 인터페이스(105)는 임시 버퍼(103)에 저장된 데이터를 직접 썸네일 전용 메모리에 라이트(write)하는 과정을 제어하며, 썸네일 전용 메모리의 억세스(access)를 위한 기타 모든 과정을 제어한다.
도 1에 도시된 본 발명의 썸네일 영상 생성 장치는 확장성을 고려한 블록도로서, 썸네일 전용 메모리 인터페이스(105)는 썸네일 전용 메모리를 억세스하고자 하는 다른 외부 유닛(unit)과 연결하여 사용할 수 있다. 즉, 본 발명에 의한 썸네일 영상 생성 장치 이외에 썸네일 전용 메모리를 사용하고자 하는 블록을 썸네일 전용 메모리 인터페이스(105)에 연결하여 사용할 수 있다. 이러한 경우 썸네일 전용 메모리는 썸네일 데이터 이외에 다른 데이터의 입출력이 가능하도록 확장될 수 있다.
상기 블랭크 영상 판단부(102)에서는 입력되는 DC 값을 이용하여 이후에 설명할 일련의 과정을 거쳐 현재 영상의 블랭크 여부를 판단한다. 앞서 설명한 바와 같이 블랭크 영상 판단부(102)에서 영상의 휘도(Y) 성분만을 이용하여 영상을 분석하고자 하는 경우 각 매크로 블록의 0번부터 3번 블록에 해당하는 DC 값만을 사용한다. 또한, 기타 영상의 특정 성분 또는 여러 성분(chrominance 성분 포함)의 조합을 이용하여 블랭크 여부를 판단하고자 한다면 그에 해당하는 성분의 DC 값을 모두 사용하여 블랭크 판단 기능을 수행할 수 있다.
상기 블랭크 영상 판단부(102)에서는 I 픽처가 종료하면 상기 I 픽처의 DC값들이 입력되는 동안 계산된 복잡도를 근거로 하여 현재 영상(즉, 복잡도가 계산된 상기 I 픽처)의 블랭크 여부를 판단하고 그에 해당하는 신호 BLANK를 출력한다. 예를 들어, 현재 영상이 블랭크로 판단되면 BLANK='1'이라는 신호를 출력하며, 그렇지 않은 경우 BLANK='0'라는 신호를 출력한다.
따라서, BLANK 신호가 '0'의 값을 갖는 경우 상기 I 픽처의 DC 값으로부터생성되어 썸네일 전용 메모리에 저장된 썸네일 영상은 유효한 것임을 알 수가 있다. 반대로 BLANK='1'인 경우에는 사용자 또는 PVR 시스템에 상기 I 픽처의 DC 값으로부터 생성되어 썸네일 전용 메모리에 저장된 썸네일 영상이 블랭크 영상이라는 것을 알려줄 수 있다. 즉, 사용자 또는, PVR 시스템은 이러한 BLANK 신호를 이용하여 현재 저장된 썸네일 영상이 사용 가능한 것인지를 알 수 있다. 예를 들어, BLANK=1이면 이때는 블랭크 영상이므로 사용자 또는, PVR 시스템은 상기 블랭크 영상에 해당되는 썸네일 영상은 화면 상에 디스플레이되지 않게 할 수 있다.
이상은 본 발명에 의한 썸네일 영상 생성 장치의 전체적인 구성에 대한 설명이며, 이하 본 발명의 핵심 기능인 블랭크 영상 판단부(102)에 대한 자세한 설명을 기술한다.
도 2는 상기 블랭크 영상 판단부(102)의 동작 흐름도의 일 실시예를 보인 것으로서, 상기 블랭크 영상 판단부(102)로 입력되는 DC 값은 블랭크 판단에 필요한 특정 성분 또는, 여러 성분의 조합으로 국한된다. 예를 들어, 영상의 휘도 성분만을 이용하여 블랭크 여부를 판단하고자 하는 경우, 하나의 매크로 블록에 대해서 영상의 Y 성분에 해당되는 0번에서 3번 블록에 해당되는 DC 값만을 입력받는다.
이하 Y 성분만을 이용한 블랭크 영상 판단부(102)의 실시예에 대하여 서술한다.
이때, I 픽처의 DC 값만을 이용하여 생성되는 DC 영상(즉, 썸네일 영상)은 해상도에 따라 그 크기가 달라진다. 예를 들어, 1920x1088의 해상도를 갖는 HD급 비디오와 720x480의 해상도를 갖는 SD급 비디오의 DC 영상은 각각 240x136, 90x60의 해상도를 갖는다.
즉, 상기 DC 디코더(101)에서 파싱된 I 픽처에 대한 휘도 성분의 DC 값이 입력되면(단계 201), 상기 블랭크 영상 판단부(102)에서는 상기 입력된 DC 값을 이용하여 가로 방향의 영상 복잡도를 나타내는 TR_H와 세로 방향의 영상 복잡도를 나타내는 TR_V를 계산한다(단계 202). 상기 가로 방향의 영상 복잡도 TR_H와 세로 방향의 영상 복잡도 TR_V를 계산하는 방법에 대한 보다 구체적인 설명은 도 3을 이용하여 추후 설명하기로 하며, 도 2에서는 일단 이 값을 이용하여 영상의 블랭크 여부를 판단하는 방법을 기술한다.
이때, 각 DC 영상마다 한 쌍의 TR_H과 TR_V가 계산되며, 이 값은 하기의 수학식 1과 같이 미리 설정된 각각의 제 1 임계값 TH1_H 및 TH1_V와 각각 비교된다(단계 203). 여기서, 하기의 수학식 1의 두 가지 조건 중에서 적어도 한가지 이상을 만족할 경우에 상기 블랭크 영상 판단부(102)는 현재 영상을 블랭크 영상으로 판단하고 블랭크 신호를 '1'로 설정한 후 버퍼 제어부(104)로 출력한다(단계 204). 상기 버퍼 제어부(104)는 상기 블랭크 신호가 '1'이면 이에 해당되는 썸네일 영상이 이용되지 않도록 제어한다(단계 205).
조건 1 : TR_H < TH1_H
조건 2 : TR_V < TH1_V
본 발명의 실시예에서는 여러 가지 MPEG 비디오 스트림에 대하여 실험을 수행한 결과를 근거로 TH1_H와 TH1_V를 각각 h_size/16, v_size/16으로 설정하였으며, h_size와 v_size는 DC 영상의 가로 및 세로의 크기를 의미한다. 따라서, 상기 비교 연산 과정을 하드웨어적으로 구성할 경우, h_size와 v_size의 하위 4비트를 제외한 값을 임계값 TH1_H와 TH1_V로 설정한 후 비교 연산을 수행하면 된다.
예를 들어, 1920x1088의 해상도를 갖는 HD급 비디오가 입력된다고 가정하면, 이때의 DC 영상의 해상도는 240(h_size)x136(v_size)이 되므로, TH1_H와 TH1_V는 각각 15(=240/16)와 8(=136/16)로 설정된다. 즉, 가로 성분의 복잡도 TR_H가 15보다 작거나 또는, 세로 성분의 복잡도 TR_V가 8보다 작거나 또는, 가로 성분의 복잡도 TR_H도 15보다 작고 세로 성분의 복잡도 TR_V도 8보다 작으면 상기 DC 영상은 블랭크 영상으로 판단하고, 상기 DC 영상으로부터는 썸네일 영상을 생성하지 않는다.
한편, 상기 단계 203에서 가로 성분의 복잡도 TR_H와 세로 성분의 복잡도 TR_V가 상기 수학식 1의 두 가지 조건을 모두 만족하지 않는 경우에 즉, TR_H가 TH1_H보다 크고, TR_V가 TH1_V보다 큰 경우에는 하기의 수학식 2와 같은 조건 두 가지를 모두 만족하는지 여부를 조사한다(단계 206).
조건 1 : TR_H < TH2_H
조건 2 : TR_V < TH2_V
즉, 상기 TR_H와 TR_V가 모두 기 설정된 각각의 제 2 임계값 TH2_H 및 TH2_V보다 작으면 상기 블랭크 영상 판단부(102)는 현재 영상을 블랭크 영상으로 판단하고 블랭크 신호를 '1'로 설정한 후 버퍼 제어부(104)로 출력한다(단계 204). 상기버퍼 제어부(104)는 상기 블랭크 신호가 '1'이면 이에 해당되는 썸네일 영상이 이용되지 않도록 제어한다(단계 205).
본 발명의 실시예에서는 제 2 가로, 세로 임계값 TH2_H와 TH2_V를 역시 실제 MPEG 비디오에 대한 실험 결과에 근거하여 각각 h_size/8과 v_size/8로 설정하였으며 이는 h_size와 v_size의 하위 3비트를 제외한 상위 5비트의 값만을 이용하여 비교 연산을 함으로써 쉽게 구현된다. 상기된 1920x1088의 해상도를 갖는 HD급 비디오를 예로 들면, TH2_H와 TH2_V는 각각 30(=240/8)과 17(=136/8)로 설정된다. 즉, 가로 성분의 복잡도 TR_H가 30보다 작고, 세로 성분의 복잡도 TR_V가 17보다 작으면 상기 DC 영상은 블랭크 영상으로 판단하고, 상기 DC 영상으로부터는 썸네일 영상을 생성하지 않는다.
결과적으로 I 픽처의 Y 성분에 해당되는 DC 값을 이용하여 현재 영상의 복잡도를 계산한 후, 상기 수학식 1의 두 가지 조건 중 하나라도 만족할 경우에 현재 영상은 블랭크 영상으로 결정되고, 두 가지를 다 만족하지 않더라도 상기 수학식 2의 두 가지 조건을 모두 만족하는 경우에 현재 영상은 블랭크 영상으로 결정되며 이때는 이에 해당되는 썸네일 영상은 사용하지 않는다.
본 발명은 상기 제 1 가로 및 세로 방향의 임계값과 제 2 가로 및 세로 방향의 임계값을 각각 h_size/16, v_size/16, h_size/8, 및 v_size/8로 설정하였으나, 이는 실험의 결과로서 하나의 실시예일 뿐이며, 설계자에 의해 달라질 수 있으므로 상기 실시예로 제시한 것에 제한되지 않을 것이다.
한편, 상기 단계 203과 단계 206의 조건을 만족하지 못하면 즉, 가로 및 세로 성분의 복잡도 TR_H, TR_V가 모두 제 1 임계값 TH1_H, TH1_V보다 각각 크고, 또한 상기 TR_H와 TR_V가 제 2 임계값 TH2_H 및 TH2_V보다 작지 않다면 상기 블랭크 영상 판단부(102)는 현재 영상을 블랭크 영상이 아니라고 판단하고 블랭크 신호를 '0'으로 하여 버퍼 제어부(104)로 출력한다(단계 207). 상기 버퍼 제어부(104)는 상기 블랭크 신호가 '0'이면 이에 해당되는 썸네일 영상이 이용될 수 있도록 제어한다(단계 208).
도 3은 도 2의 해당 DC 영상에 대한 가로 성분의 영상 복잡도 TR_H와 세로 성분의 영상 복잡도 TR_V를 계산하는 과정의 일 예를 보인 흐름도이다.
먼저, 상기 TR_H와 TR_V는 영상의 첫 DC 값이 입력되기 전에 0으로 초기화되며 이후 DC 값이 입력되고(단계 301), 입력된 DC 값이 하기의 수학식 3의 조건을 만족하면 각각 1씩 증가된다(단계 302).
TR_H=TR_H+1, if Q(f(i,j)) ≠Q(f(i,j-1));
TR_V=TR_V+1, if Q(f(i,j)) ≠Q(f(i-1,j));
즉, DC 영상에서 가로 방향으로 인접한 두 DC 값의 차이가 발생할 경우에는 TR_H를 증가시키고, 세로 방향으로 인접한 두 DC 값의 차이가 발생한 경우에는 TR_V를 증가시킨다.
상기 수학식 3에서 f(i,j)는 입력된 DC 영상의 화소값(예를 들면, 각 Y 블록의 DC 값)을 의미하고, i와 j는 각각 세로 및 가로 좌표를 의미하며, Q(.)는 미리 설정한 양자화 함수로써 본 발명에서는 실시예로 매개변수를 8로 나눔을 의미한다.따라서, DC 영상의 각 화소값은 양자화 함수에 의하여 하위 3비트를 제외한 상위 5비트에 해당하는 값에 대하여 비교 연산을 수행한다. 이는 하위 비트에서의 작은 차이가 실제 육안으로는 큰 차이를 느끼지 못하기 때문이며, 그래서 하위 비트들을 비교 연산에 이용하지 않는 것이다.
그리고 상기 비교 연산을 통해 가로 또는 세로로 연속된 두 화소값이 서로 다른 경우 TR_H 또는 TR_V를 증가시킨다. 상기된 양자화 함수 Q(.)는 매개변수를 8로 나누는 것을 실시예로 하였으나, 이는 설계자에 의해 4(즉, 하위 2비트를 제외한 상위 6비트에 해당하는 값만을 비교 연산에 이용)로 나누거나 16(즉, 하위 4비트를 제외한 상위 4비트에 해당하는 값만을 비교 연산에 이용) 등으로 나눌 수도 있으므로 상기 실시예로 제시한 것에 제한되지 않을 것이다.
이때, 비교 과정은 먼저, 가로 방향의 두 화소값의 차이를 비교하고, 한 라인의 비교가 끝나면 다시 현재 라인의 가로 방향의 두 화소값의 차이를 비교하면서 동시에 이전 라인과 현재 라인의 세로 방향의 두 화소값의 차이를 비교하는 과정을 DC 영상의 끝이 검출될 때까지 수행된다.
즉, 상기 단계 302에서 가로 방향으로 이웃하는 두 화소값이 서로 다르면 가로 방향의 영상 복잡도 TR_H를 1 증가시키고, 그렇지 않으면 이전 값을 그대로 유지한다. 또한, 세로 방향으로 이웃하는 두 화소값이 서로 다르면 세로 방향의 영상 복잡도 TR_V를 1 증가시키고, 그렇지 않으면 이전 값을 그대로 유지한다.
그리고 나서, 라인의 끝인지를 판별하여(단계 303), 끝이 아니면 해당 라인에서 다음 화소와의 비교를 위해 j를 1 증가시킨 후(j=j+1), 상기 단계 301로 되돌아가 상기된 단계들을 반복 수행하고(단계 304), 라인의 끝이면 DC 영상의 끝인지를 판별한다(단계 305). 상기 단계 305에서 DC 영상의 끝이 아니라고 판별되면 다음 라인의 비교를 위해 j=0으로 초기화, i는 1 증가시킨 후 상기 단계 301로 되돌아가 상기된 단계들을 반복 수행한다(단계 306).
이때, 상기 블랭크 영상 판단부(102)에는 가로 방향의 영상 복잡도 TR_H를 계산하기 위해서는 가로 방향으로 발생하는 이전 DC 값과의 비교가 필요하므로 한 개의 이전 DC 값을 저장할 임시 버퍼가 필요하다. 또한 세로 방향의 영상 복잡도 TR_V의 계산을 위해서는 세로 방향으로 발생하는 이전의 DC 값이 필요하므로 한 개의 라인 분량의 데이터를 저장할 임시 버퍼가 필요하다.
따라서, 본 발명에 의한 썸네일 영상 생성 장치의 블랭크 영상 판단부(102)에서 필요한 임시 버퍼의 최소 크기는 (h_size + 1) * 5비트이다. 여기서, 상기 (h_size + 1)는 세로 방향의 영상 복잡도 TR_V를 계산하기 위해 필요한 임시 버퍼(103)의 한 라인 크기이다. 그리고, 상기 가로 방향의 영상 복잡도 TR_H를 계산하기 위해 한 개의 이전 DC 값을 저장하기 위한 임시 버퍼(103)의 크기를 5비트로 하는 이유는 화소의 비교 연산시 하위 3비트를 제외하므로 실제로 필요한 유효 데이터는 5 비트이기 때문이다.
그리고, 상기 단계 305에서 DC 영상의 끝이라고 판별되면 즉, 현재 영상의 마지막 DC 값이 입력되면 TR_H와 TR_V를 각각 (v_size-1)과 (h_size-1)로 나누어준다(즉,)(단계 307). 결과적으로 TR_H와 TR_V는 가로 방향 및세로 방향으로 인접한 화소의 차이 발생 빈도의 평균값을 의미하며 본 발명에서 현재 영상의 텍스쳐의 복잡도를 판단하기 위한 매개변수로 사용된다.
한편, 상기된 과정을 거쳐 현재 영상이 블랭크로 결정되면 PVR 혹은 기타 썸네일 영상을 이용하는 시스템에서 소프트웨어 혹은 하드웨어적인 방법을 통해 해당 영상의 썸네일 영상을 디스플레이하지 않도록 해야 한다. 예를 들어 현재 썸네일 영상이 블랭크인 경우, 썸네일 전용 메모리에서 현재 썸네일 영상이 이미 저장되어 있는 위치에 다음 썸네일 영상을 오버라이트(overwrite)하는 등의 방법을 사용할 수 있으며 또는, 블랭크 벡터 등을 이용하여 블랭크 값이 '0'인 썸네일만 소프트웨어적으로 선별하여 썸네일 디스플레이 혹은 기타 응용 분야에 사용할 수 있도록 할 수 있다.
도 4는 본 발명에서 현재 영상이 블랭크 영상으로 판별되었을 경우에 썸네일 전용 메모리의 주소값을 이용한 썸네일 영상 제어 방법의 일 실시예를 나타낸 것으로서, 도 4a는 동작 흐름도이고, 도 4b는 상기 썸네일 전용 메모리의 맵 상태를 보이고 있다.
즉, 단계 401에서 BLANK 신호가 '1'인지를 판별하여 '1'이면 블랭크 영상으로 판별하여 단계 402로 진행하고, '0'이면 블랭크 영상이 아니라고 판별하여 단계 403으로 진행한다.
상기 단계 402,403에서 ThmAddrStart는 다음에 발생하는 썸네일 영상이 저장되는 썸네일 전용 메모리에서의 시작 번지를 의미한다. CurrThmStart는 썸네일 전용 메모리 내에서 현재 이미 저장되어 있는 썸네일 영상의 시작 번지를 나타낸다.ThmPictSize는 각각의 썸네일의 크기를 의미하는 것으로 썸네일 전용 메모리 내에서 각각의 썸네일 영상이 차지하는 공간의 크기를 나타낸다. 즉, 현재 영상이 최종적으로 블랭크로 결정될 경우, 이미 썸네일 전용 메모리에는 현재 영상에 대한 썸네일이 저장되어 있는 상태다. 그 이유는 슬라이스 단위로 썸네일을 저장하기 때문이다. 다시 말해 현재 영상의 마지막 슬라이스가 종료하기 전에는 그 영상의 블랭크 여부를 결정할 수 없으며 이미 그전의 슬라이스들에 해당되는 DC 값은 썸네일 전용 메모리에 저장되어 있기 때문이다.
따라서, 상기 단계 401에서 현재 영상이 블랭크로 결정되면, 단계 402는 다음 썸네일 영상을 현재의 썸네일 영상이 저장되어 있는 썸네일 전용 메모리 공간에 오버라이트함으로써, 블랭크로 판별된 영상으로부터 생성된 썸네일 영상이 이용되지 않게 한다(ThmAddrStart=CurrThmStart). 이 경우 블랭크가 아닌 썸네일 영상만을 썸네일 전용 메모리에 저장할 수 있으므로 메모리의 효율성을 높일 수 있다. 예를 들어, 2번째, 4번째 영상이 블랭크 영상으로 판단되었다고 가정하면, 원래 2번째 영상에 해당하는 썸네일 영상이 저장된 위치에 3번째 영상에 해당하는 썸네일 영상이 오버라이트되고, 원래 4번째 영상에 해당하는 썸네일 영상이 저장된 위치에 5번째 영상에 해당하는 썸네일 영상이 오버라이트된다. 결국, 도 4b와 같이 2번째, 4번째 영상에 대한 썸네일 영상이 썸네일 전용 메모리에서 삭제되는 것과 같은 효과를 얻는다.
그런데, 이러한 방법은 각 썸네일의 ID를 따로 저장할 수 있는 공간을 마련해야 한다. 즉, 현재 썸네일 전용 메모리에 어떤 썸네일이 저장되어 있는지를 나타내는 리스트를 별도로 마련해야 한다. 썸네일 ID란 생성된 썸네일이 원래 비디오에서 어느 영상으로부터 추출되었는가를 나타낸다.
그리고, 상기 단계 401에서 현재 영상이 블랭크 영상으로 판별되지 않으면 다음 썸네일 영상이 저장되는 썸네일 전용 메모리에서의 시작 번지(ThmAddrStart)는 썸네일 전용 메모리 내에서 현재 이미 저장되어 있는 썸네일 영상의 시작 번지(CurrThmStart)에 각각의 썸네일 영상이 차지하는 공간의 크기(ThmPictSize)를 더한 값이 된다(ThmAddrStart=CurrThmStart+ThmPictSize).
한편, 도 4와 같이 현재 썸네일 전용 메모리에 어떤 썸네일이 저장되어 있는지를 나타내는 리스트를 사용하지 않고 단순히 블랭크 벡터를 둘 경우, 썸네일 ID 관리가 편해질 수도 있다.
도 5는 본 발명에 의한 썸네일 영상 생성 장치에서의 블랭크 영상 발생시 블랭크 벡터를 사용한 제어 방법의 일 실시예를 나타낸 것으로서, 도 5a는 동작 흐름도이고, 도 5b는 이때의 썸네일 전용 메모리의 맵 상태와 블랭크 벡터를 이용하여 썸네일 전용 메모리에 저장된 각 썸네일 영상의 블랭크 여부를 나타내고 있다. 즉, 생성되는 썸네일 영상을 도 5b와 같이 모두 썸네일 전용 메모리에 저장하고 각각의 썸네일에 해당되는 블랭크 신호의 값을 블랭크 벡터에 같이 저장하는 방식이다. 만약 N개의 썸네일 영상을 썸네일 전용 메모리에 저장하는 경우, N비트 크기의 블랭크 벡터가 필요하다. 각 비트는 그 순서에 해당하는 썸네일 영상의 블랭크 여부를 의미한다. 예를 들어 블랭크 벡터의 n번째 비트가 '0'이고 m번째 비트가 '1'이라면 n번째 썸네일 영상은 사용 가능하며 m번째 썸네일 영상은 블랭크 영상이므로 사용하지 않는다.
이러한 과정을 도 5a에 도시하였다. 도 5a에서는 실시예로 현재 영상이 블랭크로 판별되면 블랭크 벡터 값을 1로 설정하고, 블랭크가 아니라고 판별되면 상기 블랭크 벡터 값을 0으로 설정한다.
즉, 단계 501에서 i번째 블랭크 벡터가 1인지, 0인지를 판별하여 1이면 상기 i번째 블랭크 벡터에 대응하는 썸네일 영상은 화면 상에 디스플레이시키지 않는다(단계 502). 또한, 상기 단계 501에서 0으로 판별되면 상기 i번째 블랭크 벡터에 대응하는 썸네일 영상은 화면 상에 디스플레이시킨다(단계 503). 상기 단계 502 또는 503가 수행되고 나면 i 값을 1 증가시킨 후(단계 504), 상기 i 값이 N이 아니면(단계 505), 썸네일 전용 메모리의 끝이 아니므로 단계 501로 되돌아가 i+1번째 블크 벡터 값을 추출한다. 만일, 상기 단계 504로 판별되면 썸네일 전용 메모리의 끝이므로 처음으로 이동하거나 프로그램을 종료시킨다.
이와 같이 상기된 도 5의 방법을 이용할 경우, 썸네일 영상을 사용하고자 하는 시스템은 썸네일 전용 메모리에서 썸네일을 읽을 때 블랭크 벡터를 참조하여 각 썸네일 영상의 사용 여부를 알 수 있다. 이 경우 미리 시스템에서 결정한 규칙에 의하여 일괄적으로 생성된 썸네일이 각 영상의 블랭크 여부에 관계없이 모두 썸네일 전용 메모리에 저장되어 있으므로 별도의 썸네일 ID 관리가 필요 없는 장점이 있다.
따라서, 본 발명은 디지털 TV에 장착된 PVR 또는 비디오 라이브러리 및 브라우저 등에서 제공하는 비디오 스트림에 대한 내용 요약, 프로그램 프리뷰, 프로그램 가이드의 대표 영상 생성 기능 및 비디오에 대한 함축적 정보 전달에 관련된 기타 응용 분야 등에 적용하면, 사용자에게 효과적이고 자동적인 썸네일 영상을 제공할 수 있게 된다.
이상에서와 같이 본 발명에 따른 디지털 비디오의 썸네일 영상 생성 장치에 의하면, 입력되는 MPEG 비디오 스트림의 I 픽처의 DC 값을 이용하여 썸네일 영상을 생성하며 이 과정에서 썸네일 영상의 복잡도를 분석하여 영상의 블랭크 여부를 판단한다. 이때, 입력 영상이 블랭크로 결정될 경우 상기 블랭크로 결정된 영상으로부터 썸네일을 생성하지 않거나, 생성된 썸네일을 사용하지 않는다. 따라서, 사용자에게는 블랭크가 아닌 내용적으로 의미 있는 영상만을 썸네일로 제공할 수 있게 된다.
특히, 본 발명은 실제 방송에서 수신되는 비디오 스트림에서 발생할 수 있는 과도한 줌 또는 클로즈업에 의한 무의미한 영상, 조명 조건 등에 기인한 저휘도 영상과 같이 복잡도가 매우 낮아 대표 영상으로서 내용 전달이 어려운 영상 등으로부터 생성된 썸네일 영상의 사용을 방지할 수 있는 효과가 있으며, 사용자로 하여금 보다 의미 있고 명확한 썸네일 영상을 자동적으로 획득할 수 있게 한다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 이탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.
따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims (15)

  1. 입력되는 비디오 스트림으로부터 I 픽처의 DC값만을 파싱하는 DC 디코더;
    상기 DC 디코더에서 출력되는 DC 값들을 저장하는 임시 버퍼;
    상기 임시 버퍼에서 슬라이스 단위로 출력되는 DC 값을 입력받아 썸네일 영상을 생성하고 저장하는 메모리;
    상기 DC 디코더에서 출력되는 DC 값에 의해 생성되는 DC 영상의 가로 및 세로 방향의 영상 복잡도를 각각 계산하고, 계산된 가로 및 세로 방향의 영상 복잡도와 미리 설정한 가로 및 세로 방향의 임계값을 각각 비교하여 상기 I 픽처가 블랭크 영상인지 여부를 판별하는 블랭크 영상 판단부; 그리고
    상기 임시 버퍼에의 DC 값 저장 및 출력을 제어하고, 상기 블랭크 영상 판단부의 판단 결과에 따라 상기 메모리에 저장된 해당 썸네일 영상의 사용 여부를 제어하는 버퍼 제어부를 포함하여 구성되는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  2. 제 1 항에 있어서, 상기 블랭크 영상 판단부는
    상기 DC 디코더에서 출력되는 Y 성분의 DC 값만을 이용하여 해당 DC 영상의 가로 및 세로 방향의 영상 복잡도를 계산하는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  3. 제 1 항에 있어서, 상기 블랭크 영상 판단부는
    상기 DC 디코더에서 출력되는 Y 성분의 DC 값과 CbCr 성분의 DC 값의 조합을 이용하여 해당 DC 영상의 가로 및 세로 방향의 영상 복잡도를 계산하는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  4. 제 1 항에 있어서, 상기 블랭크 영상 판단부는
    하나의 DC 영상에 대한 가로 및 세로 방향의 영상 복잡도가 계산되면 상기 계산된 가로 방향의 영상 복잡도가 미리 설정한 제 1 가로 방향 임계값보다 작은지 큰지 그리고, 상기 세로 방향의 영상 복잡도가 미리 설정한 제 1 세로 방향 임계값보다 작은지 큰지를 비교한 후 비교 결과에 따라 상기 I 픽처가 블랭크 영상인지를 판별하는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  5. 제 4 항에 있어서, 상기 블랭크 영상 판단부는
    상기 계산된 가로 방향의 영상 복잡도가 미리 설정한 제 1 가로 방향 임계값보다 작거나 및/또는 상기 세로 방향의 영상 복잡도가 미리 설정한 제 1 세로 방향 임계값보다 작으면 상기 I 픽처를 블랭크 영상으로 판별하는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  6. 제 4 항에 있어서,
    상기 제 1 가로 방향 임계값은 DC 영상의 가로 방향의 사이즈를 24으로 나눈 값으로 설정되고, 상기 제 1 세로 방향 임계값은 DC 영상의 세로 방향의 사이즈를 24으로 나눈 값으로 설정되는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  7. 제 4 항에 있어서, 상기 블랭크 영상 판단부는
    상기 계산된 가로 및 세로 방향의 영상 복잡도가 미리 설정한 제 1 가로 및 세로 방향의 임계값보다 크다면 상기 계산된 가로 방향의 영상 복잡도가 미리 설정한 제 2 가로 방향 임계값보다 작은지 큰지 그리고, 상기 세로 방향의 영상 복잡도가 미리 설정한 제 2 세로 방향 임계값보다 작은지 큰지를 비교한 후 비교 결과에 따라 상기 I 픽처가 블랭크 영상인지를 판별하는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  8. 제 7 항에 있어서, 상기 블랭크 영상 판단부는
    상기 계산된 가로 및 세로 방향의 영상 복잡도가 미리 설정한 제 2 가로 및 세로 방향의 임계값보다 각각 크다면 상기 I 픽처를 블랭크 영상으로 판별하는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  9. 제 7 항에 있어서,
    상기 제 2 가로 방향 임계값은 DC 영상의 가로 방향의 사이즈를 23으로 나눈 값으로 설정되고, 상기 제 2 세로 방향 임계값은 DC 영상의 세로 방향의 사이즈를 23으로 나눈 값으로 설정되는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  10. 제 1 항에 있어서, 상기 블랭크 영상 판단부는
    가로 방향으로 인접한 두 DC 값이 서로 다를 경우에는 가로 방향의 영상 복잡도를 증가시키고, 세로 방향으로 인접한 두 DC 값이 서로 다를 경우에는 세로 방향의 영상 복잡도를 증가시키는 과정을 하나의 DC 영상의 모든 DC 값에 적용하여 현재 DC 영상의 가로 방향의 영상 복잡도와 세로 방향의 영상 복잡도를 각각 구하는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  11. 제 10 항에 있어서, 상기 블랭크 영상 판단부는
    각 DC 값의 상위 5비트만을 비교에 이용하는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  12. 제 10 항에 있어서, 상기 블랭크 영상 판단부는
    하기의 식을 적용하여 현재 입력되는 DC 영상의 가로 방향의 영상 복잡도(TR_H)와 세로 방향의 영상 복잡도(TR_V)를 구하는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
    TR_H=TR_H+1, if Q(f(i,j)) ≠Q(f(i,j-1));
    TR_V=TR_V+1, if Q(f(i,j)) ≠Q(f(i-1,j));
    여기서, f(i,j)는 입력된 DC 영상의 화소값을 의미하고, i와 j는 각각 세로 및 가로 좌표를 의미하며, Q(.)는 미리 설정한 양자화 함수로서, 각 화소값을 23으로 나눈 값임.
  13. 제 10 항에 있어서, 상기 블랭크 영상 판단부는
    현재 DC 영상의 마지막 DC 값이 입력되면 가로 방향의 영상 복잡도는 DC 영상의 세로 방향의 사이즈로 나누고, 세로 방향의 영상 복잡도는 DC 영상의 세로 방향의 사이즈로 나누어 최종적인 가로 및 세로 방향의 영상 복잡도를 결정하는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  14. 제 1 항에 있어서, 상기 버퍼 제어부는
    입력된 I 픽처가 블랭크 영상으로 판단되면 상기 I 픽처로부터 생성된 썸네일 영상이 저장되는 있는 상기 메모리 내의 위치에 다음 I 픽처로부터 생성되는 썸네일 영상이 오버라이트되도록 제어하는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
  15. 제 1 항에 있어서, 상기 버퍼 제어부는
    상기 메모리에 저장 가능한 썸네일 영상의 수만큼 블랭크 벡터를 구비한 후, 블랭크 여부에 상관없이 모든 썸네일 영상을 상기 메모리에 저장하면서 상기 블랭크 영상 판단부의 판별 결과에 따라 상기 블랭크 벡터에 해당 썸네일 영상의 블랭크 유무를 표시하는 것을 특징으로 하는 디지털 비디오의 썸네일 영상 생성 장치.
KR10-2002-0063867A 2002-10-18 2002-10-18 디지털 비디오의 썸네일 영상 생성 장치 KR100487374B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0063867A KR100487374B1 (ko) 2002-10-18 2002-10-18 디지털 비디오의 썸네일 영상 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0063867A KR100487374B1 (ko) 2002-10-18 2002-10-18 디지털 비디오의 썸네일 영상 생성 장치

Publications (2)

Publication Number Publication Date
KR20040035127A true KR20040035127A (ko) 2004-04-29
KR100487374B1 KR100487374B1 (ko) 2005-05-03

Family

ID=37334092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0063867A KR100487374B1 (ko) 2002-10-18 2002-10-18 디지털 비디오의 썸네일 영상 생성 장치

Country Status (1)

Country Link
KR (1) KR100487374B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005032132A1 (en) * 2003-09-27 2005-04-07 Inha-Industry Partnership Institute Apparatus and method for extracting the representative still images from mpeg video
KR100727974B1 (ko) * 2005-09-10 2007-06-14 삼성전자주식회사 디지털 이미지에서 썸네일을 생성하는 방법 및 장치
KR100860852B1 (ko) * 2006-07-27 2008-10-02 엠텍비젼 주식회사 휴대용 단말 장치에서 촬영 영상의 미리보기 화면을제공하는 시스템 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263885B2 (ja) * 1994-08-29 2002-03-11 ソニー株式会社 再生装置、再生方法
JP3258924B2 (ja) * 1997-02-28 2002-02-18 三洋電機株式会社 シーン管理装置、シーン管理方法及び記録媒体
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US6154771A (en) * 1998-06-01 2000-11-28 Mediastra, Inc. Real-time receipt, decompression and play of compressed streaming video/hypervideo; with thumbnail display of past scenes and with replay, hyperlinking and/or recording permissively intiated retrospectively
KR100468967B1 (ko) * 2001-12-28 2005-01-29 엘지전자 주식회사 썸네일 영상 생성장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005032132A1 (en) * 2003-09-27 2005-04-07 Inha-Industry Partnership Institute Apparatus and method for extracting the representative still images from mpeg video
US7747130B2 (en) 2003-09-27 2010-06-29 Inha-Industry Partnership Institute Apparatus and method for extracting representative still images from MPEG video
KR100727974B1 (ko) * 2005-09-10 2007-06-14 삼성전자주식회사 디지털 이미지에서 썸네일을 생성하는 방법 및 장치
KR100860852B1 (ko) * 2006-07-27 2008-10-02 엠텍비젼 주식회사 휴대용 단말 장치에서 촬영 영상의 미리보기 화면을제공하는 시스템 및 방법

Also Published As

Publication number Publication date
KR100487374B1 (ko) 2005-05-03

Similar Documents

Publication Publication Date Title
US10863192B2 (en) Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
KR100468967B1 (ko) 썸네일 영상 생성장치 및 방법
US7085420B2 (en) Text detection in continuous tone image segments
US9226048B2 (en) Video delivery and control by overwriting video data
US6989868B2 (en) Method of converting format of encoded video data and apparatus therefor
KR100464075B1 (ko) 비디오 하이라이트 자동 생성 방법 및 장치
US11763431B2 (en) Scene-based image processing method, apparatus, smart terminal and storage medium
KR101318459B1 (ko) 수신기 상에서 오디오비주얼 문서를 시청하는 방법 및이러한 문서를 시청하기 위한 수신기
US20110216981A1 (en) Partial expansion method of encoded images and image processing apparatus
KR20050026850A (ko) 이미지 디스플레이 방법, 이미지 디스플레이 프로그램 및이미지 디스플레이 장치
JP4573957B2 (ja) 画像制御装置、画像制御方法及びテレビ受信機
CN111510643B (zh) 全景图和特写图的拼接系统及方法
JP2009284208A (ja) 動画像符号化装置及び動画像記録装置
KR100487374B1 (ko) 디지털 비디오의 썸네일 영상 생성 장치
US20200106821A1 (en) Video processing apparatus, video conference system, and video processing method
KR100487330B1 (ko) 디지털 비디오의 썸네일 영상 생성 장치
CN112911299B (zh) 一种视频码率控制方法、装置、电子设备和存储介质
CN106303366B (zh) 一种基于区域分类编码的视频编码的方法及装置
JP2002064823A (ja) 圧縮動画像のシーンチェンジ検出装置、圧縮動画像のシーンチェンジ検出方法及びそのプログラムを記録した記録媒体
KR100811405B1 (ko) Ｐｖｒ의 화면 캡쳐 시스템
JP3126961B2 (ja) 動画像のカット画面グループ検出装置
KR20100016803A (ko) 내용 적응적 해상도 비디오 압축을 위한 영상 분석 장치 및방법
JP5886075B2 (ja) 画像処理装置及びプログラム
AU767645B2 (en) Method of selecting a video key frame for use in small devices
CN114072847A (zh) 图像文件创建设备、图像文件创建方法和程序

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee