KR100997130B1 - 멀티미디어 디지털 콘텐츠의 축약 정보 및 그 활용 방법 - Google Patents

멀티미디어 디지털 콘텐츠의 축약 정보 및 그 활용 방법 Download PDF

Info

Publication number
KR100997130B1
KR100997130B1 KR1020080077781A KR20080077781A KR100997130B1 KR 100997130 B1 KR100997130 B1 KR 100997130B1 KR 1020080077781 A KR1020080077781 A KR 1020080077781A KR 20080077781 A KR20080077781 A KR 20080077781A KR 100997130 B1 KR100997130 B1 KR 100997130B1
Authority
KR
South Korea
Prior art keywords
information
audio
video
digital content
image
Prior art date
Application number
KR1020080077781A
Other languages
English (en)
Other versions
KR20100018987A (ko
Inventor
김동희
Original Assignee
주식회사 아이토비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이토비 filed Critical 주식회사 아이토비
Priority to KR1020080077781A priority Critical patent/KR100997130B1/ko
Publication of KR20100018987A publication Critical patent/KR20100018987A/ko
Application granted granted Critical
Publication of KR100997130B1 publication Critical patent/KR100997130B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 멀티미디어 디지털 콘텐츠 축약 정보 및 그 활용 방법에 관한 것으로서 보다 상세하게는 제한된 컴퓨팅 파워 및 네트워크 대역폭 환경 내에서 사진, 음악, 동영상과 같은 멀티미디어 환경의 디지털 콘텐츠들의 내용들을 효과적으로 축약하고, 그 축약된 정보들을 효율적으로 활용할 수 있는 방법에 관한 것이다.
본 발명에 의하면, (a) 동영상으로 구성되는 디지털 콘텐츠를 입력하는 단계; (b) 상기 입력된 디지털 콘텐츠 타입의 종류와 내용을 분석하여 f(s)초 간격의 다양한 크기 및 해상도로 전체 동영상에 대한 f(n) 개의 썸네일 이미지를 추출하여 저장하는 단계; (c) 상기 추출된 썸네일 이미지의 동영상과 오디오가 포함된 혹은 오디오가 제거되어 동영상만 포함된 다양한 품질의 정보를 추출하여 저장함과 더불어 상기 추출 정보를 바탕으로 변화량 색상과 대표 색상을 추출하는 단계; (d) 상기 추출된 정보를 원본 동영상보다 낮은 비트율로 기본값과 환경정보에 지정된 코덱 정보를 이용하여 다시 엔코딩하여 다양한 품질의 동영상 축약정보를 생성하는 단계; 및 (e) 상기 동영상 축약정보들을 웹 검색 및 채널 선택시 사용자 단말의 네트워크 및 단말의 성능에 따라 썸네일 이미지를 표시하는 단계;를 포함하는 것을 특징으로 한다. 따라서, 본 발명은 멀티미디어 디지털 콘텐츠에 대한 검색 및 선택, 내용 표현 분야에서 발생되는 문제점을 해결할 수 있다.
멀티미디어, 디지털, 콘텐츠, 동영상, 오디오, 사진, 축약정보

Description

멀티미디어 디지털 콘텐츠의 축약 정보 및 그 활용 방법{Method for contraction information of multimedia digital contents}
본 발명은 멀티미디어 디지털 콘텐츠 축약 정보 및 그 활용 방법에 관한 것이다. 더욱 상세하게는 제한된 컴퓨팅 파워 및 네트워크 대역폭 환경 내에서 사진, 음악, 동영상과 같은 멀티미디어 환경의 디지털 콘텐츠들의 내용들을 효과적으로 축약하고, 그 축약된 정보들을 효율적으로 활용할 수 있는 방법에 관한 것이다.
일반적으로, 개인용 컴퓨터의 이미지 뷰어(Viewer)나 파일 브라우저(Browser)에는 영상 파일을 미리 보기 위해서 작은 사이즈의 이미지로 표시하는 기능이 있는데, 이를 썸네일 이미지 브라우징(Thumbnail Image Browsing)이라고한다.
따라서 사용자가 썸네일 이미지 브라우징을 실행하면, 압축 영상(*.JPG, *.TIF 등)을 디코딩하여 원래의 영상을 생성하고, 그 원래의 영상으로부터 다시 썸네일 이미지를 생성하여 화면에 표시하게 된다.
이러한 썸네일 이미지의 브라우징은 카메라를 통해 촬영한 영상을 저장하고 이를 표시하는 전자 앨범상에서 유용하게 사용되고 있으며, 사용자는 표시되는 썸네일 이미지를 통해 원하는 영상을 쉽게 찾을 수가 있다.
최근 수많은 채널이 존재하는 IPTV, Cable TV의 경우 사용자에게 어떻게 각각의 채널에 대한 정보를 제공해 줄 것인가는 큰 문제 중 하나이다. 프로그램 편성표를 이용해 알려주는 방법도 한가지 방법이지만 이것은 현재의 진행상태나 내용을 말해 주지는 않는다.
그 중 여러 개의 채널을 한 화면에 썸네일 이미지(Thumbnail Image) 형태로 보여주는 방식도 있지만, 이러한 방식은 순간적인 정보밖에 얻지 못한다. 전체 채널을 한 화면에 동시에 재생해 주는 것은 재생 장치의 성능 한계로 구현할 수 없다.
즉, 재생 장치의 한계를 넘지 않으면서 여러 채널의 내용을 시간적 흐름에 따라 보여 줄 수 있는 방법이 필요하다.
특히, 인터넷 검색의 경우 특정한 제목으로 동영상을 검색하면, 썸네일 이미지와 설명문이 검색 결과로서 화면에 나타난다. 그 검색 결과로 나타난 이미지와 설명문은 콘텐츠를 업로드 한 사용자가 작성한 것이 대부분이며, 이러한 경우 이미지와 설명문이 실제 영상과 다른 경우도 있다.
이렇게 실제 영상과 틀린 이미지와 설명은 영상을 업로드 한 사용자의 실수 또는 고의적인 오기로 발생된다.
이러한 오류는 검색 결과의 신뢰성에 중대한 문제를 발생시키게 된다. 모든 영상을 보여주면 문제는 해결되겠지만, 네트워크 대역폭 및 컴퓨팅 파워의 한계 등으로 이러한 것이 불가능하다.
또한, 많은 수의 카메라가 설치되어 있는 CCTV의 경우 설치된 장소에서는 물리적인 표시장치들을 늘려서 여러 채널을 동시에 볼 수 있지만, 원격지에서는 네트워크 속도 제약으로 한 화면에 여러 개의 채널을 한 번에 볼 수도 없다. 일반적으로 실시간 동영상을 4개 또는 최대 8개 채널은 지원되지 않는다.
이러한 네트워크 속도 문제는 소리에도 영향을 미친다. 대부분의 CCTV용 카메라는 오디오(Audio)를 지원하고 있지 않다. 이러한 이유는 화면 전송에도 부족한 네트워크 대역폭 및 CPU 파워 문제로 빠른 시간 내에 화면만이라도 압축해서 보낼 수 있는 MJPEG 포맷을 많이 사용했기 때문이다.
현재는 H.264와 같은 고성능의 코덱을 사용하기도 하지만 대부분 네트워크 대역폭의 제한 및 디코딩 시 CPU 파워 문제로 오디오를 제외한 비디오 정보만을 전송하고 있다.
또한, 음악 검색의 경우도 동영상 검색과 비슷하게 연주자 또는 가수, 앨범 표지 등의 이미지를 대표 이미지로 사용하고, 가사 또는 느낌, 연주자 또는 가수에 대한 설명 글들로서 그 음악의 느낌을 표현하려고 하고 있다.
이러한 형태의 설명은 오디오를 동영상과 같이 시각적으로 표현하기 힘든 부분이 많기 때문이다. 검색 결과의 내용이 많을 경우 일일이 내가 찾는 음악인지 아닌지 찾기 위해서 설명문을 읽어보거나 음악의 특정부분의 클립을 들으면서 판단을 해야 한다. 따라서 음악의 경우도 청각적 판단뿐 아니라 동영상과 같이 시각적으로 판단할 수 있는 방법이 필요하다.
또한, 디지털 사진기의 급격한 보급으로 디지털 사진은 보편화 되었으며, 고해상도의 사진을 촬영할 수 있는 장비 및 대용량 메모리의 대중화로 개인이 보유하고 있는 디지털 사진 콘텐츠들의 수와 용량은 무시할 수 없을 정도이다.
수십 메가 바이트를 차지하는 고해상도 사진, 수백 메가바이트의 스캔 이미지, 이러한 고해상도의 사진 및 이미지들에 대한 검색 결과로 보여주는 것은 한 장의 썸네일 이미지로서 검색자는 이 썸네일 이미지를 보고 자신이 원하는 이미지인지 파악해야 한다.
하지만 작은 사이즈의 썸네일 이미지로 만으로는 사진의 내용을 파악하기 힘든 경우가 있다. 예를 들면 단체사진을 작은 크기의 썸네일 이미지로 표현한다면 그 사진에 누가 나왔는지 알 수 없으며, 이것을 보기 위해 원본을 본다면 사용자 의사를 전달하기 위한 조작(마우스이동/클릭)이 필요하며 원본을 다운로드 받는 시간 및 화면 이동 등 여러 가지 과정을 거치게 된다.
따라서, 멀티미디어 환경의 디지털 콘텐츠에 대한 다양한 축약 방법을 제시할 필요성이 있으며, 이러한 방법들은 디지털 콘텐츠에 대한 검색 및 선택, 내용 표현 분야 발생되는 문제점에 대한 새로운 해결 방법으로 자리잡을 수 있을 것이다.
이에, 본 발명은 상기한 문제점을 해결하기 위한 것으로서 본 발명은 네트워크 대역폭의 한계, 컴퓨팅 파워의 한계, 각종 기기들의 제한적인 성능의 한계를 넘지 않는 상태에서 최적의 축약 정보가 어떤 것인지 나타내고, 이러한 축약정보들이 어떻게 단독 또는 혼합되어 활용될 수 있는지에 대한 방법을 제시하는 데 그 목적이 있다.
상기한 본 발명의 목적을 달성하기 위한 기술적 사상으로서 본 발명에 의하면, (a) 동영상으로 구성되는 디지털 콘텐츠를 입력하는 단계; (b) 상기 입력된 디지털 콘텐츠 타입의 종류와 내용을 분석하여 f(s)초 간격의 다양한 크기 및 해상도로 전체 동영상에 대한 f(n) 개의 썸네일 이미지를 추출하여 저장하는 단계; (c) 상기 추출된 썸네일 이미지의 동영상과 오디오가 포함된 혹은 오디오가 제거되어 동영상만 포함된 다양한 품질의 정보를 추출하여 저장함과 더불어 상기 추출 정보를 바탕으로 변화량 색상과 대표 색상을 추출하는 단계; (d) 상기 추출된 정보를 원본 동영상보다 낮은 비트율로 기본 값과 환경정보에 지정된 코덱 정보를 이용하여 다시 엔코딩하여 다양한 품질의 동영상 축약정보를 생성하는 단계; 및 (e) 상기 동영상 축약정보들을 웹 검색 및 채널 선택시 사용자 단말의 네트워크 및 단말의 성능에 따라 썸네일 이미지를 표시하는 단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명에 의하면 (a) 오디오로 구성되는 디지털 콘텐츠를 입력하는 단계; (b) 상기 입력된 디지털 콘텐츠 타입의 종류와 내용을 분석하여 오디오 축약정보를 생성하는 단계; 및 (c) 상기 생성된 오디오 축약 정보 중 오디오 변화량 동영상과 변화량 색상을 이용하여 낮은 대역폭으로 오디오의 변화량을 시각적으로 표시하는 단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명에 의하면 (a) 사진으로 구성되는 멀티미디어 디지털 콘텐츠를 투입하는 단계; (b) 상기 투입된 멀티미디어 디지털 콘텐츠 타입의 종류와 형태를 분석하여 N개의 썸네일 이미지를 생성하는 단계; (c) 상기 썸네일 이미지의 원본과 축소이미지 축약정보를 추출하여 가로 f(x), 세로 f(y)개의 블록으로 분리하여 축약정보를 저장하는 단계; 및 (d) 상기 축약정보를 사용자 단말의 네트워크 속도와 화면 해상도, 표시장치의 특성에 따라 적합한 해상도의 썸네일 이미지 및 분할 이미지를 선정하고, 의도된 표시방법에 따라 썸네일 이미지 또는 분할 이미지를 순차적 혹은 지정 의도된 순서에 따라 f(s)초 간격으로 표시하는 단계;를 포함하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 의하면 1) 인터넷 검색의 경우 성능상의 한계를 넘지 않으면서 콘텐츠 내용을 다양한 형태의 축약을 통해 보여 줌으로서 사용자가 검색 결과 목록에서 원하는 콘텐츠를 빠르고 정확하게 선택할 수 있으며, 2) CCTV의 경우 영상 클립 및 오디오 변화 색상표, 오디오 샘플 추출법, 오디오 분리 추출법 등 다양한 형태의 방법을 제시하며, 3) 음악 검색의 경우 시각화 동영상 및 시각화 동영상 클립, 색상을 통한 시각화, 대표색상, 품질 조정 등 다양한 방법을 제시하며, 4) 디지털 사진의 경우 다양한 해상도/크기의 썸네일 이미지 제작, 원본 및 축소 이미지에 대한 분할 등의 방법을 제시함으로써 멀티미디어 디지털 콘텐츠에 대한 검색 및 선택, 내용 표현 분야에서 발생되는 문제점에 대한 새로운 해결 방법으로서 큰 효과를 발휘할 수 있다.
이하, 본 발명의 실시 예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.
도 1은 본 발명에 따른 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템의 구성도이고, 도 2는 본 발명의 실시 예에 따라 동영상의 축약정보 추출과정 및 그 결과물을 나타낸 도면이다. 도 3은 본 발명의 실시 예에 따라 오디오의 축약정보 추출과정 및 그 결과물을 나타낸 도면이고, 도 4는 본 발명의 실시 예에 따라 동영상의 축약정보 추출과정 및 그 결과물을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 의한 멀티미디어 콘텐츠 축약정보 추출시스템은 동영상, 오디오, 사진 등과 같은 멀티미디어 디지털 콘텐츠(100); 상기 디지털 콘텐츠(100)들이 입력되어 영상 변화량 색상표(105), 음량/템포 변화량 색상표(110), 기본값 및 환경정보(115)를 참조하여 콘텐츠 타입/내용 분석부(150), 사진 리사이징 및 분할 이미지 생성부(155), 썸네일 이미지 추출부(160), 영상클립/저품질 오디오 추출부(165), 비디오/오디오 클립 생성부(170), 오디오 시각화 동영상 생성부(175), 오디오 변화량 감지부(180), 영상 변화량 감지부(185) 및 비디오 비트율별 엔코딩부(190)로부터 디지털 콘텐츠 축약정보를 추출하는 디지털 콘텐츠 축약정보 추출수단(140); 상기 디지털 콘텐츠 축약정보 추출수단(140)으로부터 추출된 썸네일 이미지, 영상클립/저품질 이미지, 비디오클립, 오디오 시각화 동영상, 오디오 대표 색상, 변화색상, 영상 대표색상 등의 축약 정보들을 저장하는 저장수단(195);으로 구성되어 있다.
이때, 상기 디지털 콘텐츠 축약정보 추출수단(140)은 멀티미디어 디지털 콘텐츠(100)를 수신하는 콘텐츠 입력부(145); 상기 멀티미디어 디지털 콘텐츠(100)가 수신되면 콘텐츠의 종류와 형태를 분석하는 콘텐츠 타입/내용 분석부(150); 상기 입력된 콘텐츠가 가로, 세로인 사진 이미지일 경우 사진 원본으로부터 가로, 세로, 크기의 n개의 썸네일 이미지를 생성하는 사진 리사이징(resizing) 및 분할이미지 생성부(155); 원본 동영상으로부터 f(n)초 간격의 다양한 크기 및 해상도로 전체 영상에 대한 다수의 썸네일 이미지를 추출하고, 상기 추출된 이미지들은 저장수단(195)에 저장하는 썸네일 이미지 추출부(160); 오디오를 제거한 다양한 품질의 영상 클립, 저품질 오디오, 저품질 오디오 클립의 정보들을 추출하여 그 내용을 저장수단(195)에 저장하는 영상 클립/저품질 오디오 추출부(165); 영상과 오디오가 들어 있는 다양한 품질의 다수의 무비 클립, 저품질 무비 클립을 생성하여 저장수단(195)에 저장하는 비디오/오디오 클립 생성부(170); 오디오의 변화를 오디오 변 화량 동영상 또는 일부 클립을 생성하여 저장수단(195)에 저장하는 오디오 시각화 동영상 생성부(175); 음량/템포 변화량 색상표(110)를 참조하여 변화량에 대한 색상과 대표색상을 생성하여 저장수단(195)에 저장하는 오디오 변화량 감지부(180); 변화량 색상과 대표 색상을 추출하여 저장수단(195)에 저장하는 영상 변화량 감지부(185); 및 상기 추출된 정보를 원본 동영상보다 낮은 비트율로 기본 값과 환경정보에 지정된 코덱 정보를 이용하여 다시 엔코딩하여 다양한 품질의 동영상 축약정보를 생성하는 비디오 비트율별 엔코딩부(190);를 포함한다.
여기서, 본 발명에 의한 디지털 콘텐츠의 축약정보 추출시스템에 사용되는 주어진 함수 값에 대하여 설명하면 다음과 같다.
본 발명의 함수 f()의 결과 값은 주어진 매개변수와 콘텐츠 특성에 따라 달라진다.
먼저 동영상의 경우 축약 정보로서 f(n)초 간격으로 다양한 해상도/크기의 썸네일 이미지들 생성, f(a)초 간격으로 f(m)초 동안(a>m)의 영상으로 Animated GIF 또는 SWF(Flash의 무비클립) 등과 같이 오디오가 제외된 영상 클립들 생성, 오디오 부분만을 f(k)초 간격으로 f(d)초 동안(k>d) f(q)의 품질로 생성한 오디오 클립들, f(u)초 간격으로 f(l)초 동안(u>l)의 f(aq) 품질의 오디오와 f(vq) 품질 및 해상도의 영상이 포함된 동영상 클립들, 영상변화량 색상표(도 1의 105)와 음량/템포 변화량 색상표(도 1의 110)에 기준으로 영상과 오디오 변화량에 대한 변화량 색상 및 대표색상, f(aq), f(vq)의 오디오 및 비디오 품질을 갖는 여러 개의 동영상 들을 사용하게 된다.
이때, 상기 축약 정보들은 단독으로 사용될 수 있으며, 혼합되어 사용될 수 있다. 그리고, 혼합에 사용되는 정보들의 품질은 네트워크 대역폭 및 컴퓨팅 파워에 의해 결정된다.
또한, 오디오의 경우 축약 정보로서 여러 단계 품질의 오디오, f(l)초 간격으로 f(u)초 동안의 오디오 클립, 처음, 중간, 마지막 부분에 대한 축약본, 오디오 변화량에 대한 시각화 동영상 및 클립, 음량/템포 변화 색상표에 따른 오디오 변화량에 대한 색상 표현 및 대표 색상들이 사용된다.
이때, 상기 축약 정보들은 단독으로 사용될 수 있으며, 혼합되어 사용될 수 있다. 그리고, 혼합에 사용되는 정보들의 품질은 네트워크 대역폭 및 컴퓨팅 파워에 의해 결정된다.
또한, 사진의 축약 정보로서 다양한 크기의 축소본과 원본 및 축소본에 대한 f(n)개의 분할 이미지를 사용한다. 상기 축소본과 분할이미지는 독립적으로 사용될 수 있으며, 혼합해서 사용할 수도 있다.
이어서, 본 발명에 의한 멀티미디어 콘텐츠 축약정보 추출시스템을 바탕으로 동영상 축약정보 추출과정, 오디오 축약정보 추출과정, 사진 축약정보 추출과정에 대하여 좀 더 상세히 살펴보면 다음과 같다.
도 2에 도시된 바와 같이, 본 발명의 동영상 축약정보 추출과정은 동영상으로 구성되는 디지털 콘텐츠를 입력하는 단계; 상기 입력된 디지털 콘텐츠 타입의 종류와 내용을 분석하여 f(s)초 간격의 다양한 크기 및 해상도로 전체 동영상에 대한 f(n) 개의 썸네일 이미지를 추출하여 저장하는 단계; 상기 추출된 썸네일 이미지의 동영상과 오디오가 포함된 혹은 오디오가 제거되어 동영상만 포함된 다양한 품질의 정보를 추출하여 저장함과 더불어 상기 추출 정보를 바탕으로 변화량 색상과 대표 색상을 추출하는 단계; 상기 추출된 정보를 원본 동영상보다 낮은 비트율로 기본 값과 환경정보에 지정된 코덱 정보를 이용하여 다시 엔코딩하여 다양한 품질의 동영상 축약정보를 생성하는 단계; 및 상기 동영상 축약정보들을 웹 검색 및 채널 선택시 사용자 단말의 네트워크 및 단말의 성능에 따라 썸네일 이미지를 표시하는 단계;로 구성된다.
좀 더 구체적으로 살펴보면, 상기 콘텐츠 입력부(145)를 통해 들어온 콘텐츠가 동영상으로 콘텐츠 타입/내용 분석부(150)에서 분석되었다면, 썸네일 이미지 추출부(160)를 통해 도 1의 디지털 콘텐츠 축약정보 추출수단(140)의 썸네일 이미지 추출(210)(213)(216)과 같이 f(n)초 간격의 다양한 크기 및 해상도로 전체 영상에 대한 썸네일 이미지들을 추출하고, 상기 추출된 이미지들은 저장수단(195)에 저장된다.
그리고, 상기 영상 클립/저품질 오디오 추출부(165)를 통해 오디오를 제거한 다양한 품질의 영상 클립(220), 저품질 오디오(230), 저품질 오디오 클립(240) 정 보들을 추출하여 그 내용을 저장수단(195)에 저장한다.
또한, 상기 비디오/오디오 클립 생성부(170)를 통해서 영상과 오디오가 들어있는 다양한 품질의 무비 클립(250), 저품질 무비 품질(255)을 생성한다.
이때, 상기 무비클립/저품질 무비클립(250)(255)은 f(s)초 간격으로 f(d)초(S>D)동안 재생되는 영상과 오디오를 원본 동영상(200) 보다 낮은 품질로 f(n)개 생성한다.
다음으로 영상 변화량 감지부(185)를 통해서 변화량 색상(260)과 대표 색상(270)을 추출해 낸다.
이때, 도 1의 영상 변화량 색상표(105)와 음량/템포 변화량 색상표(110)를 참조하여 변화 량에 맞는 색상 정보를 추출하여 색상을 만들어 낸다.
상기 대표 색상(270)은 동영상 전체를 대표하는 오디오 대표 색상, 영상 대표 색상 2가지를 가지게 되며, 이 색상을 통해 사람은 영상의 활동성 및 음량의 급격한 변화량을 색상을 통해서 인지할 수 있게 된다.
마지막으로, 원본 동영상(200)보다 낮은 비트율(Bit Rate)로 기본 값 및 환경정보(115)에 지정된 코덱 정보를 이용해서 다시 엔코딩(Encoding)하여 다양한 품질의 Low Quality 1(280), Low Quality n(290)들이 생성된다.
이때, 이러한 동영상 축약 정보들은 웹 검색 및 채널 선택 시 사용자의 네트워크 및 장비 성능에 따라 썸네일 이미지추출(210)을 보여주거나 영상클립(220), 또는 영상 클립(220)과 저품질 오디오추출(230)을 혼합해서 재생하게 된다.
이렇게 함으로서 사용자 단말에서 많은 영상들이 화면에 표현할 수 있으며, 동시에 재생을 하는 듯한 느낌을 받고 전반적인 내용을 알 수 있게 된다. 또한 무비 클립(250)을 페이드인/아웃(Fade In/Out) 시키면서 보여 줌으로서 간략본을 볼 수 있게 된다. 여기서, 사용자 단말은 개인용 컴퓨터, 노트북 등의 컴퓨터 장치를 나타낸다.
또한 대표색상(270)으로서 그 영상의 느낌을 직관적/시각적으로 판단할 수 있으며, 변화량 색상(260)을 사용해 낮은 네트워크 대역으로 영상과 오디오의 변화량을 시간 흐름에 따라 나타내 줄 수 있게 된다.
사용자가 동영상을 선택했을 때 네트워크 상태와 컴퓨터 또는 재생장비의 성능에 따라 원본 동영상(200) 또는 낮은 품질의 동영상, 즉 Low Quality 1(280), Low Quality n(290)를 재생할 수 있도록 해 준다.
도 3에 도시된 바와 같이, 본 발명의 오디오 축약정보 추출과정은 오디오로 구성되는 디지털 콘텐츠를 입력하는 단계; 상기 입력된 디지털 콘텐츠 타입의 종류와 내용을 분석하여 오디오 축약정보를 생성하는 단계; 및 상기 생성된 오디오 축약 정보 중 오디오 변화량 동영상과 변화량 색상을 이용하여 낮은 대역폭으로 오디오의 변화량을 시각적으로 표시하는 단계;를 포함하는 것을 특징으로 한다.
좀 더 구체적으로 살펴보면, 상기 콘텐츠 입력부(145)를 통해 들어온 콘텐츠가 오디오로 콘텐츠 타입/내용 분석부(150)에서 분석되었다면, 영상클립/저품질 오디오 추출부(165)의 저품질 오디오 추출부를 통해서 Low Quality(310)(320)의 오디 오 데이터를 생성한다.
그리고, 상기 비디오/오디오 클립생성부(170)을 통해서 오디오 클립(Audio Clip)(330)과 하이라이트(Highlight)(340)을 생성한다.
다음, 상기 오디오 시각화 동영상 생성부(175)에서 오디오의 변화를 오디오 변화량 동영상(350) 또는 일부 클립을 생성한다.
마지막으로, 상기 음량/템포 변화량 색상표(110)을 참조하여 오디오 변화량 감지부(180)를 통해서 변화량에 대한 색상(360)과 대표색상(370)을 생성한다.
여기서, 상기 생성된 오디오 축약정보 중 오디오 변화량 동영상(350)와 변화량 색상(360)은 낮은 네트워크 대역폭으로 오디오의 변화량을 시각적으로 볼 수 있게 해 주며, 대표 색상(370)을 통해 한번에 오디오의 특성을 파악할 수 있게 된다.
또한, 낮은 품질의 오디오와 오디오 클립(Audio Clip)(330), 하이라이트(Highlight)(340) 등을 통해 낮은 네트워크 대역폭과 컴퓨팅 파워 사용으로도 충분한 콘텐츠의 내용을 전달할 수 있게 된다.
도 4에 도시된 바와 같이, 본 발명의 사진 축약정보 추출과정은 사진으로 구성되는 멀티미디어 디지털 콘텐츠를 투입하는 단계; 상기 투입된 멀티미디어 디지털 콘텐츠 타입의 종류와 형태를 분석하여 N개의 썸네일 이미지를 생성하는 단계; 상기 썸네일 이미지의 원본과 축소이미지 축약정보를 추출하여 가로 f(x), 세로 f(y)개의 블록으로 분리하여 축약정보를 저장하는 단계; 및 상기 축약정보를 사용자 단말의 네트워크 속도와 화면 해상도, 표시장치의 특성에 따라 적합한 해상도의 썸네일 이미지 및 분할 이미지를 선정하고, 의도된 표시방법에 따라 썸네일 이미지 또는 분할 이미지를 순차적 혹은 지정 의도된 순서에 따라 f(s)초 간격으로 표시하는 단계;를 포함하는 것을 특징으로 한다.
좀 더 구체적으로 살펴보면, 사진의 멀티미디어 디지털 콘텐츠(100)를 디지털 콘텐츠 축약정보 추출수단(140)의 콘텐츠 입력부(145)를 통해 입력하면, 콘텐츠 타입/내용 분석부(150)를 통해서 콘텐츠의 종류와 형태를 분석한다.
상기 분석결과, 입력된 콘텐츠가 가로(W), 세로(H)인 사진일 경우 사진 리사이징 및 분할이미지 생성부(155)에서 가로(W1,W…,Wn), 세로(H1,H…,Hn) 크기(Wn<W…<W1<W, Hn<H…<H1<H)의 n개의 썸네일 이미지(도 4의 부호(400) 참조)의 썸네일1,썸네일…,썸네일n)를 생성한다.
그리고, 원본과 축소이미지를 도 4에 도시된 사진축약정보추출의 원본이미지분할(410)과 축소이미지 분할(420)과 같이 가로 f(x), 세로 f(y)개의 블록으로 분리하고 그 조각을 저장수단(195)에 저장한다.
여기서, 상기 f(x) 및 f(y)는 사진의 크기, 표시할 장치의 특성, 사용자의 정의에 의해 값이 변경될 수 있다.
상기 생성된 사진 축약 정보들은 인터넷 검색 결과 및 사진 목록 등을 보여줄 때 사용자의 네트워크 속도와 화면 해상도, 표시 장치의 특성에 따라서 알맞은 해상도의 썸네일 이미지 및 분할 이미지를 선정하게 되고, 의도된 표시 방법에 따라 썸네일 이미지 또는 분할 이미지(430)를 순차적 또는 지정/의도된 순서에 따라 f(i)초 간격으로 표시하게 된다.
여기서, 상기 표시 의도에 따라 썸네일 이미지를 먼저 보여주고 그 다음 분할 이미지를 보여주는 형태의 썸네일 이미지와 분할 이미지를 같이 사용하는 방법을 사용할 수도 있다.
이러한 방식을 사용함으로써 사용자는 썸네일 이미지보다 더 높은 해상도의 이미지를 별도의 제어 없이 볼 수 있게 된다. 사용자의 선택에 의해서 선택된 이미지를 표현할 시에도 사용자 환경 및 기기, 네트워크의 제한된 상황에 가장 알맞은 이미지를 선택해서 전송해 줌으로서 최적의 이미지를 빠른 시간 내에 볼 수 있게 된다.
도 1은 본 발명에 따른 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템의 구성도이다.
도 2는 본 발명의 실시 예에 따라 동영상의 축약정보 추출과정 및 그 결과물을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따라 오디오의 축약정보 추출과정 및 그 결과물을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따라 동영상의 축약정보 추출과정 및 그 결과물을 나타낸 도면이다.
< 도면의 주요부분에 대한 부호의 설명 >
100 : 멀티미디어 디지털 콘텐츠
105 : 영상 변화량 색상표
110 : 음량/템포 변화량 색상표
115 : 기본 값 및 환경정보
140 : 디지털콘텐츠 축약정보 추출수단
145 : 콘텐츠 투입 인터페이스
150 : 콘텐츠 타입/내용 분석부
155 : 사진 리사이징(Resizing) 및 분할 이미지 생성부
160 : 썸네일 이미지 추출부
165 : 영상 클립/저품질 오디오 변환부
170 : 비디오/오디오 클립 생성부
175 : 오디오 시각화 및 동영상 생성부
180 : 오디오 변화량 감지부
185 : 영상 변화량 감지부
190 : 비디오 비트율(Bit Rate)별 엔코딩부
195 : 저장수단

Claims (11)

  1. 삭제
  2. (a) 동영상으로 구성되는 디지털 콘텐츠를 입력하는 단계;
    (b) 상기 입력된 디지털 콘텐츠 타입의 종류와 내용을 분석하여 f(s)초 간격의 다양한 크기 및 해상도로 전체 동영상에 대한 f(n) 개의 썸네일 이미지를 추출하여 저장하는 단계;
    (c) 상기 추출된 썸네일 이미지의 동영상과 오디오가 포함된 혹은 오디오가 제거되어 동영상만 포함된 다양한 품질의 정보를 추출하여 저장함과 더불어 상기 추출 정보를 바탕으로 변화량 색상과 대표 색상을 추출하는 단계;
    (d) 상기 추출된 정보를 원본 동영상보다 낮은 비트율로 기본값과 환경정보에 지정된 코덱 정보를 이용하여 다시 엔코딩하여 다양한 품질의 동영상 축약정보를 생성하는 단계; 및
    (e) 상기 동영상 축약정보들을 웹 검색 및 채널 선택시 사용자 단말의 네트워크 및 단말의 성능에 따라 썸네일 이미지를 표시하는 단계를 포함하고,
    상기 (c) 단계에서 추출된 썸네일 이미지의 오디오가 제거되어 동영상만 포함된 경우 영상클립, 저품질 오디오, 저품질 오디오클립 중의 선택된 어느 하나의 정보를 저장하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠 축약정보 및 그 활용 방법.
  3. 제 2 항에 있어서, 상기 (c) 단계에서 추출된 썸네일 이미지의 동영상과 오디오가 포함된 경우 무비 클립을 생성하며, 상기 무비 클립은 f(s)초 간격으로 f(d)초(S>D)동안 재생되는 동영상과 오디오를 원본 동영상보다 낮은 품질로 f(n)개로 생성하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠 축약정보 및 그 활용 방법.
  4. 제 2 항에 있어서, 상기 (c) 단계에서 변화량 색상은 영상 변화량 색상표 및 음량/템포 변화량 색상표를 참조하여 색상을 추출하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠 축약정보 및 그 활용 방법.
  5. 제 2 항에 있어서, 상기 (e) 단계에서 사용자 단말의 네트워크 및 단말의 성능에 따라 영상클립 혹은 영상클립과 저품질 오디오를 혼합하여 재생하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠 축약정보 및 그 활용 방법.
  6. (a) 오디오로 구성되는 디지털 콘텐츠를 입력하는 단계;
    (b) 상기 입력된 디지털 콘텐츠 타입의 종류와 내용을 분석하여 오디오 축약정보를 생성하는 단계; 및
    (c) 상기 생성된 오디오 축약 정보 중 오디오 변화량 동영상과 변화량 색상을 이용하여 낮은 대역폭으로 오디오의 변화량을 시각적으로 표시하는 단계;를 포함하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠 축약정보 및 그 활용 방법.
  7. 제 6 항에 있어서, 상기 (b) 단계에서 입력된 디지털 콘텐츠 타입의 종류와 내용을 분석하여 오디오 클립과 하이라이트의 오디오 축약정보를 생성하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠 축약정보 및 그 활용 방법.
  8. 제 6 항에 있어서, 상기 (b) 단계에서 입력된 디지털 콘텐츠 타입의 종류와 내용을 분석하여 음량/템포 변화량 색상표를 참조하여 변화량에 대한 색상과 대표 색상의 오디오 축약정보를 생성하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠 축약정보 및 그 활용 방법.
  9. (a) 사진으로 구성되는 멀티미디어 디지털 콘텐츠를 투입하는 단계;
    (b) 상기 투입된 멀티미디어 디지털 콘텐츠 타입의 종류와 형태를 분석하여 N개의 썸네일 이미지를 생성하는 단계;
    (c) 상기 썸네일 이미지의 원본과 축소이미지 축약정보를 추출하여 가로 f(x), 세로 f(y)개의 블록으로 분리하여 축약정보를 저장하는 단계; 및
    (d) 상기 축약정보를 사용자 단말의 네트워크 속도와 화면 해상도, 표시장치의 특성에 적합한 해상도의 썸네일 이미지 및 분할 이미지를 선정하고, 사용자가 의도한 표시방법에 따라 썸네일 이미지 또는 분할 이미지를 순차적 혹은 지정 의도된 순서에 따라 f(s)초 간격으로 표시하는 단계;를 포함하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠 축약정보 및 그 활용 방법.
  10. 제 9 항에 있어서, 상기 (c) 단계에서 가로 f(x), 세로 f(y)는 사진의 크기, 표시할 장치의 특성, 사용자의 정의에 의해 값이 변경되는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠 축약정보 및 그 활용 방법.
  11. 제 9 항에 있어서, 상기 (d) 단계에서 의도된 표시방법에 따라 썸네일 이미지를 먼저 표시하고 분할 이미지를 표시하는 방식을 선택적으로 사용하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠 축약정보 및 그 활용 방법.
KR1020080077781A 2008-08-08 2008-08-08 멀티미디어 디지털 콘텐츠의 축약 정보 및 그 활용 방법 KR100997130B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080077781A KR100997130B1 (ko) 2008-08-08 2008-08-08 멀티미디어 디지털 콘텐츠의 축약 정보 및 그 활용 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080077781A KR100997130B1 (ko) 2008-08-08 2008-08-08 멀티미디어 디지털 콘텐츠의 축약 정보 및 그 활용 방법

Publications (2)

Publication Number Publication Date
KR20100018987A KR20100018987A (ko) 2010-02-18
KR100997130B1 true KR100997130B1 (ko) 2010-11-29

Family

ID=42089523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080077781A KR100997130B1 (ko) 2008-08-08 2008-08-08 멀티미디어 디지털 콘텐츠의 축약 정보 및 그 활용 방법

Country Status (1)

Country Link
KR (1) KR100997130B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015093653A1 (ko) * 2013-12-19 2015-06-25 주식회사 레진엔터테인먼트 컨텐츠 서비스 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101720584B1 (ko) * 2015-12-29 2017-03-29 주식회사 카카오 썸네일 이미지 생성 방법, 서버 및 컴퓨터 프로그램

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015093653A1 (ko) * 2013-12-19 2015-06-25 주식회사 레진엔터테인먼트 컨텐츠 서비스 시스템 및 방법

Also Published As

Publication number Publication date
KR20100018987A (ko) 2010-02-18

Similar Documents

Publication Publication Date Title
KR100995839B1 (ko) 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템과 축약 정보를 활용한 다중 멀티미디어 콘텐츠 디스플레이 시스템 및 그 방법
RU2413385C2 (ru) Просмотр видео с использованием уменьшенного изображения
US8301669B2 (en) Concurrent presentation of video segments enabling rapid video file comprehension
US8645832B2 (en) Methods and apparatus for interactive map-based analysis of digital video content
US7194701B2 (en) Video thumbnail
US7823058B2 (en) Methods and apparatus for interactive point-of-view authoring of digital video content
US8307273B2 (en) Methods and apparatus for interactive network sharing of digital video content
US20110060998A1 (en) System and method for managing internet media content
KR20070090751A (ko) 화상 표시방법 및 동영상 재생장치
KR20120055462A (ko) 미디어 컨텐츠를 인코딩 및 디코딩하는 방법 및 시스템
US20090063981A1 (en) Display control apparatus and control method thereof, program, and recording medium
KR100997130B1 (ko) 멀티미디어 디지털 콘텐츠의 축약 정보 및 그 활용 방법
JP4667356B2 (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
JP2008090526A (ja) 会議情報保存装置、システム、会議情報表示装置及びプログラム
JP6720957B2 (ja) ユーザへのコンテンツ提供方法、情報処理装置、及び、コンピュータ読取可能な記録媒体
TW201215111A (en) System and method for web video playback
KR20070073371A (ko) 바탕화면이 동영상으로 제공되는 홈페이지

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee