KR100995839B1

KR100995839B1 - 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템과 축약 정보를 활용한 다중 멀티미디어 콘텐츠 디스플레이 시스템 및 그 방법

Info

Publication number: KR100995839B1
Application number: KR1020080077782A
Authority: KR
Inventors: 김동희
Original assignee: 주식회사 아이토비
Priority date: 2008-08-08
Filing date: 2008-08-08
Publication date: 2010-11-22
Also published as: WO2010016640A1; KR20100018988A; US20100036878A1

Abstract

본 발명은 제한된 컴퓨팅 파워 및 네트워크 대역폭 환경 내에서 사진, 음악, 동영상과 같은 멀티미디어 디지털 콘텐츠를 멀티미디어 콘텐츠 특성에 맞게 효과적으로 축약하고, 그 축약된 정보들을 효율적으로 활용하여 콘텐츠들을 검색할 때 시청각적 판단을 통해 원하는 콘텐츠를 빠른 시간 내에 정확하게 선택할 수 있는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템과 축약 정보를 활용한 다중 멀티미디어 콘텐츠 디스플레이 시스템 및 그 방법에 관한 것이다.

본 발명의 축약정보 추출시스템은 영상 변화량 색상표 데이터베이스; 음량/템포 변화량 색상표 데이터베이스; 기본값 및 환경정보 데이터베이스; 동영상 데이터, 오디오 데이터 및/또는 이미지 데이터를 포함하는 멀티미디어 디지털 콘텐츠가 입력될 때 수신된 멀티미디어 디지털 콘텐츠의 축약정보를 추출하는 디지털 콘텐츠 축약정보 추출수단; 및 상기 디지털 콘텐츠 축약정보 추출수단으로부터 추출된 썸네일 이미지, 영상클립/저품질 이미지, 비디오클립, 오디오 시각화 동영상, 오디오 대표 색상, 변화색상, 영상 대표색상을 포함하는 축약정보들을 저장하는 저장수단으로 구성되는 것을 특징으로 한다.

멀티미디어, 디지털, 콘텐츠, 동영상, 오디오, 사진, 축약정보

Description

멀티미디어 디지털 콘텐츠의 축약정보 추출시스템과 축약 정보를 활용한 다중 멀티미디어 콘텐츠 디스플레이 시스템 및 그 방법{Multi contents display system and method thereof}

본 발명은 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템과 축약 정보를 활용한 다중 멀티미디어 콘텐츠 디스플레이 시스템 및 그 방법에 관한 것이다. 더욱 상세하게는 제한된 컴퓨팅 파워 및 네트워크 대역폭 환경 내에서 사진, 음악, 동영상과 같은 멀티미디어 디지털 콘텐츠를 멀티미디어 콘텐츠 특성에 맞게 효과적으로 축약하고, 그 축약된 정보들을 효율적으로 활용하여 다양한 매체로부터 다수의 멀티미디어 콘텐츠들을 검색할 때 사용자가 시청각적 판단을 통해 원하는 콘텐츠를 빠른 시간 내에 정확하게 선택할 수 있는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템과 축약 정보를 활용한 다중 멀티미디어 콘텐츠 디스플레이 시스템 및 그 방법에 관한 것이다.

일반적으로, 개인용 컴퓨터의 이미지 뷰어(Viewer)나 파일 브라우 저(Browser)에는 영상 파일을 미리 보기 위해서 작은 사이즈의 이미지로 표시하는 기능이 있는데, 이를 썸네일 이미지 브라우징(Thumbnail Image Browsing)이라고 한다.

따라서 사용자가 썸네일 이미지 브라우징을 실행하면, 압축 영상(*.JPG, *.TIF 등)을 디코딩하여 원래의 영상을 생성하고, 그 원래의 영상으로부터 다시 썸네일 이미지를 생성하여 화면에 표시하게 된다.

이러한 썸네일 이미지의 브라우징은 카메라를 통해 촬영한 영상을 저장하고 이를 표시하는 전자 앨범상에서 유용하게 사용되고 있으며, 사용자는 표시되는 썸네일 이미지를 통해 원하는 영상을 쉽게 찾을 수 있다.

한편, 인터넷 포털 사이트 등과 같은 검색 사이트를 이용해서 영화제목을 입력하면, 영화와 관련된 다양한 콘텐츠들이 화면에 나타난다. 이러한 사이트들의 대표적인 화면 표시 형태는 썸네일 이미지 한 장과 그 내용을 설명하고 있는 글을 목록형태로 나타내고 있다. TV 채널의 경우에는 전체 채널에서 무엇을 하는지 한눈에 볼 수 없으며, 만약 볼 수 있는 기능을 제공한다고 하더라도 순간의 멈춰진 이미지 목록일 뿐이다.

이러한 형태는 멀티미디어 디지털 콘텐츠의 특성을 제대로 나타낸 형태의 인터페이스라고 할 수 없다. 그 이유는 사용자가 글을 통해서 그 내용을 판단하는 것이 아니라 시청각적인 판단을 통해 그 내용을 느낄 수 있어야 멀티미디어 콘텐츠 디스플레이 인터페이스라고 할 수 있을 것이다. 이러한 멀티미디어 콘텐츠 디스플레이 인터페이스 구현 시 제약 사항으로 컴퓨팅 성능 한계와 네트워크 대역폭 한계 라는 두 가지 문제에 봉착하게 된다.

이러한 두 가지 제약 사항을 만족시키면서 사용자가 시청각적으로 느낄 수 있는 멀티미디어 콘텐츠 디스플레이 인터페이스를 구현하기 위해서는 어떤 것들을 보여줄 것인가, 어떻게 보여줄 것인가에 대해 고민해야 한다.

최근 수많은 채널이 존재하는 IPTV, 케이블 TV(Cable TV)의 경우 사용자에게 어떻게 각각의 채널에 대한 정보를 제공해 줄 것인가는 큰 문제 중 하나이다. 프로그램 편성표를 이용해 알려주는 방법도 한가지 방법이지만 이것은 현재 진행 상태나 내용을 말해 주지는 않는다.

여러 개의 채널을 한 화면에 썸네일 이미지 형태로 보여주는 방식도 있지만 이러한 방식은 순간적인 정보밖에 얻지 못한다. 전체 채널을 한 화면에 동시에 재생해 주는 것은 재생 장치의 성능 한계로 구현할 수 없다. 따라서, 재생 장치의 한계를 넘지 않으면서 여러 채널의 내용을 시간적 흐름에 따라 보여 줄 수 있는 방법이 필요하다.

또한, 인터넷 검색의 경우 특정한 제목으로 동영상을 검색하면, 썸네일 이미지(Thumbnail Image)와 설명문이 검색 결과로서 화면에 나타난다. 검색 결과로 나타난 이미지와 설명문은 콘텐츠를 업로드 한 사용자가 작성한 것이 대부분이며, 이러한 경우 이미지와 설명문이 실제 영상과 다른 경우도 있다. 이렇게 실제 영상과 틀린 이미지와 설명은 영상을 업로드 한 사용자의 실수 또는 고의적인 오기로 발생되며, 이러한 오류는 검색 결과의 신뢰성에 중대한 문제를 발생시키게 된다. 모든 영상을 보여주면 문제는 해결될 수 있으나, 네트워크 대역폭 및 단말기 또는 수신 기의 컴퓨팅 파워의 한계 등으로 이러한 것이 불가능하다.

따라서, 이러한 주어진 하드웨어 성능상의 한계를 넘지 않으면서 콘텐츠 내용을 다양한 형태로 축약하여 보여줌으로써, 사용자가 검색 결과 목록에서 원하는 콘텐츠를 빠르고 정확하게 선택할 수 있는 것이 요구되고 있다.

한편, 많은 수의 카메라와 연결되어 동영상 자료를 수신하는 CCTV의 경우 설치된 장소에서는 물리적인 표시장치들을 늘려서 여러 채널을 동시에 볼 수 있지만, 원격지에서는 네트워크 속도 제약으로 한 화면에 여러 개의 채널을 한 번에 볼 수도 없다. 일반적으로 실시간 동영상을 4개 또는 최대 8개 채널은 지원되지 않는다.

이러한 네트워크 속도 문제는 소리에도 영향을 미친다. 대부분의 CCTV용 카메라는 오디오를 지원하고 있지 않다. 이러한 이유는 화면 전송에도 부족한 네트워크 대역폭 및 CPU 파워 문제로 빠른 시간 내에 화면만이라도 압축해서 보낼 수 있는 MJPEG 포맷을 많이 사용했기 때문이다.

현재는 H.264와 같은 고성능의 코덱을 사용하기도 하지만 대부분 네트워크 대역폭 제한 및 디코딩 시 CPU 파워 문제로 오디오를 제외한 비디오 정보만을 전송하고 있다. 따라서, 이러한 문제점들을 해결할 수 있는 방법이 요구되고 있다.

또한, 음악 검색의 경우도 동영상 검색과 비슷하게 연주자 또는 가수, 앨범 표지 등의 이미지를 대표 이미지로 사용하고, 가사 또는 느낌, 연주자 또는 가수에 대한 설명 글들로서 그 음악의 느낌을 표현하려고 하고 있다. 이러한 형태의 설명은 오디오를 동영상과 같이 시각적으로 표현하기 힘든 부분이 많기 때문이다.

더욱이, 검색 결과의 내용이 많을 경우 일일이 내가 찾는 음악인지 아닌지 찾기 위해서 설명문을 읽어보거나 음악의 특정부분의 클립을 들으면서 판단을 해야 한다. 따라서, 음악의 경우도 청각적 판단뿐 아니라 동영상과 같이 시각적으로 판단할 수 있는 방법이 필요하다.

한편, 디지털 사진기의 급격한 보급으로 디지털 사진은 보편화 되었으며, 고해상도의 사진을 촬영할 수 있는 장비 및 대용량 메모리의 대중화로 개인이 보유하고 있는 디지털 사진 콘텐츠들의 수와 용량은 무시할 수 없을 정도이다. 수십 메가 바이트를 차지하는 고해상도 사진, 수백 메가바이트의 스캔 이미지, 이러한 고해상도의 사진 및 이미지들에 대한 검색 결과로 보여주는 것은 한 장의 썸네일 이미지로서 검색자는 이 썸네일 이미지를 보고 자신이 원하는 이미지인지 파악해야 한다.

하지만 작은 사이즈의 썸네일 이미지 만으로는 사진의 내용을 파악하기 힘든 경우가 있다. 예를 들면 단체사진을 작은 크기의 썸네일 이미지로 표현한다면 그 사진에 누가 나왔는지 알 수 없으며, 이것을 보기 위해 원본을 본다면 사용자 의사를 전달하기 위한 조작(마우스이동/클릭)이 필요하며 원본을 다운로드 받는 시간 및 화면 이동 등 여러 가지 과정을 거치게 된다. 따라서, 사진 이미지를 효과적으로 검색하여 선택할 수 있는 방법에 요구되고 있다.

인터넷 포털 사이트들에서 멀티미디어 콘텐츠를 검색하면 결과물은 웹 페이지에 썸네일 이미지(Thumbnail Image)와 텍스트를 표시하고, 사용자는 찾고 있는 콘텐츠인지 확인하기 위해 설명 자료를 읽어보고 자신이 찾는 콘텐츠인 것 같으면 마우스로 웹 페이지의 링크를 클릭하여, 해당 콘텐츠를 가지고 있는 웹사이트로 이동해서 그 콘텐츠를 확인한다. 만약 자신이 찾는 콘텐츠가 아니라면 다시 이와 같은 작업을 반복하게 된다.

또한, 여러 개의 채널들을 포함하는 CCTV 또는 IPTV나 케이블 TV의 경우 시청자가 원하는 채널을 검색하는 방법은 프로그램 편성표를 참고하거나, 하나하나 채널을 돌려보거나, 현재 촬영/방송되고 있는 콘텐츠에 대한 썸네일 목록을 보고 선택하는 방법을 사용하고 있다.

라디오 같은 경우 원하는 채널을 찾을 경우 프로그램 편성표를 참고해서 채널을 돌려가면서 실제로 방송 내용을 청취해야 방송 내용이 무엇인지 알 수 있다. 라디오의 경우 썸네일을 통한 검색은 사용되지 않고 있다.

상기한 바와 같이 종래의 다중 멀티미디어 콘텐츠 검출 메커니즘은 여러 단계를 거치고 추가적인 정보가 필요하며, 복잡하고 많은 판단 시간을 필요로 한다.

따라서, 본 발명은 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 그 목적은 인터넷/CCTV/TV/라디오 등 다양한 매체에 존재하는 다수의 멀티미디어 콘텐츠들 중에서 사용자가 시청각적 판단을 통해 원하는 콘텐츠를 빠른 시간 내에 정확하게 선택할 수 있는 다중 멀티미디어 콘텐츠 디스플레이 시스템 및 그 방법을 제공하는 데 있다.

본 발명의 다른 목적은 멀티미디어 콘텐츠 특성에 따라 추출된 다양한 형태 와 품질의 다수의 멀티미디어 축약 정보를 사용하여, 단말기의 컴퓨터 성능 및 네트워크 대역폭에 따라 축약 정보들을 선택하여 사용할 수 있는 다중 멀티미디어 콘텐츠 디스플레이 시스템 및 그 방법을 제공하는 데 있다.

본 발명의 또 다른 목적은 단말기의 컴퓨터 성능과 네트워크 대역폭을 능동적으로 인식하여, 다양한 품질 및 형태의 축약정보들 중에서 가장 적합한 축약정보가 어떤 것인지 판단하는 판단 방법을 제공하는 데 있다.

본 발명의 다른 목적은 사용자가 빠르고 정확하게 원하는 콘텐츠를 검출하고, 시청 시점을 판단할 수 있도록 추출된 멀티미디어 디지털 콘텐츠 축약정보를 사람의 시청각적 자극을 통해 쉽고 빠르게 판단할 수 있는 IPTV 또는 케이블 TV용 다중(다채널) 멀티미디어 콘텐츠 디스플레이 시스템을 제공하는 데 있다.

본 발명의 또 다른 목적은 사용자가 검색 결과 목록에서 원하는 콘텐츠를 빠르고 정확하게 선택할 수 있도록 하드웨어 성능상의 한계를 넘지 않으면서 콘텐츠 내용을 다양한 형태의 축약을 통해 보여줄 수 있는 다중 멀티미디어 콘텐츠 디스플레이 시스템을 제공하는 데 있다.

본 발명의 다른 목적은 다수의 채널을 갖는 IPTV 또는 케이블 TV에서 재생 장치의 한계를 넘지 않으면서 여러 채널의 내용을 시간적 흐름에 따라 보여 줄 수 있는 멀티미디어 콘텐츠 디스플레이 방법을 제공하는 데 있다.

본 발명의 또 다른 목적은 사람의 시청각적인 인지 방식과 동일한 방식으로 시각적, 청각적 원근감의 표현함으로써 사람에게 가장 익숙한 방식으로 콘텐츠들을 살펴보고 원하는 콘텐츠를 선택할 수 있도록 다양한 형태의 멀티미디어 콘텐츠 축 약정보를 추출하는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템을 제공하는 데 있다.

본 발명의 다른 목적은 다수의 카메라로부터 다수의 동영상을 수신하는 CCTV에서 영상 클립 및 오디오 변화 색상표, 오디오 샘플 추출법, 오디오 분리 추출법 등 다양한 형태의 방법을 사용하여 하나의 화면에 다수의 채널을 동시에 표시할 수 있는 동영상 콘텐츠 디스플레이 방법을 제공하는 데 있다.

본 발명의 또 다른 목적은 오디오 변화량에 대한 시각화 동영상 및 시각화 동영상 클립과, 음량/템포 변화 색상표에 따른 오디오 변화량에 대한 색상 표현 및 대표 색상을 사용하여 음악 검색시에 검색된 결과를 청각적 판단뿐 아니라 동영상과 같이 시각적으로 판단할 수 있는 방법을 제공하는 데 있다.

본 발명의 다른 목적은 다양한 해상도/크기의 썸네일 이미지, 원본 및 축소 이미지에 대한 다수의 분할 이미지를 단말기의 컴퓨터 성능 및 네트워크 대역폭에 따라 축약 정보들을 독립 또는 혼합 사용함에 의해 빠르고 정확하게 선택할 수 있는 방법을 제공하는 데 있다.

상기 목적을 달성하기 위해, 본 발명은 영상 변화량 색상표 데이터베이스; 음량/템포 변화량 색상표 데이터베이스; 기본값 및 환경정보 데이터베이스; 동영상 데이터, 오디오 데이터 및/또는 이미지 데이터를 포함하는 멀티미디어 디지털 콘텐츠가 입력될 때 수신된 멀티미디어 디지털 콘텐츠의 축약정보를 추출하는 디지털 콘텐츠 축약정보 추출수단; 및 상기 디지털 콘텐츠 축약정보 추출수단으로부터 추출된 썸네일 이미지, 영상클립/저품질 이미지, 비디오클립, 오디오 시각화 동영상, 오디오 대표 색상, 변화색상, 영상 대표색상을 포함하는 축약정보들을 저장하는 저장수단으로 구성되는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템을 제공한다.

상기 디지털 콘텐츠 축약정보 추출수단은 상기 멀티미디어 디지털 콘텐츠를 수신하는 콘텐츠 입력부; 상기 멀티미디어 디지털 콘텐츠가 수신되면 콘텐츠의 종류와 형태를 분석하는 콘텐츠 타입/내용 분석부; 원본 동영상으로부터 f(n)초 간격의 다양한 크기 및 해상도로 전체 영상에 대한 다수의 썸네일 이미지를 추출하고, 상기 추출된 이미지들은 저장수단에 저장하는 썸네일 이미지 추출부; 오디오를 제거한 다양한 품질의 영상 클립, 저품질 오디오, 저품질 오디오 클립의 정보들을 추출하여 그 내용을 저장수단에 저장하는 영상 클립/저품질 오디오 추출부; 영상과 오디오가 들어 있는 다양한 품질의 다수의 무비 클립, 저품질 무비 클립을 생성하여 저장수단에 저장하는 비디오/오디오 클립 생성부; 변화량 색상과 대표 색상을 추출하여 저장수단에 저장하는 영상 변화량 감지부; 상기 추출된 정보를 원본 동영상보다 낮은 비트율로 기본값과 환경정보에 지정된 코덱 정보를 이용하여 다시 엔코딩하여 다양한 품질의 동영상 축약정보를 생성하는 비디오 비트율별 엔코딩부; 원본 오디오로부터 저품질(Low Quality) 오디오 데이터를 생성하여 저장수단에 저장하는 영상클립/저품질 오디오 추출부; 오디오 클립(Audio Clip)과 하이라이트(Highlight)를 생성하여 저장수단에 저장하는 비디오/오디오 클립생성부; 오디오 의 변화를 오디오 변화량 동영상 또는 일부 클립을 생성하여 저장수단에 저장하는 오디오 시각화 동영상 생성부; 음량/템포 변화량 색상표를 참조하여 변화량에 대한 색상과 대표색상을 생성하여 저장수단에 저장하는 오디오 변화량 감지부; 및 입력된 콘텐츠가 가로, 세로인 사진 이미지일 경우 사진 원본으로부터 가로, 세로, 크기의 n개의 썸네일 이미지를 생성하는 사진 리사이징(resizing) 및 분할이미지 생성부;를 포함하는 것이 바람직하다.

본 발명의 다른 특징에 따르면, 본 발명은 미리 생성된 멀티미디어 디지털 콘텐츠 축약정보를 이용하여 사용자가 멀티미디어 디지털 콘텐츠를 검색할 때 원하는 멀티미디어 콘텐츠를 빠른 시간 내에 찾아낼 수 있도록 디지털 콘텐츠 축약정보를 제공하는 다중 멀티미디어 콘텐츠 디스플레이 시스템에 있어서, 다운로드 큐; 다수의 병렬 큐와 병렬 다운로드 관리자들; 상기 다수의 병렬 큐 및 병렬 다운로드 관리자들의 개수와 다운로드 속도 및 기타 환경의 제어를 결정하는 큐 관리 정책; 상기 큐관리정책에 따라 다운로드 큐로부터 상기 다수의 병렬큐 각각으로 분배하는 방식을 변경하는 다운로드 큐 관리자; 사용자가 뷰(View) 영역 이동, 확대 및 축소할 수 있는 기능을 제공하는 휴먼인터페이스; 디스플레이 관리자에 의해 디스플레이의 화면에 표시가 이루어지도록 축약정보가 저장되는 메모리맵; 요구한 시간에 알맞게 축약정보들이 도착하였는지, 또한 메모리맵에 나타나 있는 현재 축약정보 재생 상태를 파악해서 장비의 성능과 네트워크 대역폭이 현재 상태의 축약정보 품질 및 타입에 적당한지 판단하는 메모리 맵 관리자; 하나의 축약정보를 다운로드하고, 다운로드에 걸린 시간을 이용하여 메모리 맵 관리자에 전달하는 다운로드 관리자; 상기 메모리 맵 관리자가 판단한 장비의 성능과 네트워크 대역폭이 현재 상태의 축약정보 품질 및 타입에 적당한지의 판단 정보를 수신하며, 하나의 레벨을 모두 표시하는 데 소요되는 시간인 총갱신시간(Total Refresh time), 하나의 레벨이 갱신되는 갱신주기(Refresh Interval Time), 및 각각의 레벨에 사용될 축약정보의 타입 값이 포함되어 저장되고, 타이머의 주기(Interval) 및 동작에 영향을 미치는 전송량제어정책; 상기 전송량제어정책에 따라 주기 및 동작에 영향을 받는 타이머; 및 상기 전송량제어정책에 설정된 정보에 기초하여 다운로드 큐에 다운로드할 축약정보들을 선정하는 기준값으로 사용하는 스캔 관리자;를 포함하는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 시스템을 제공한다.

또한, 본 발명의 다중 멀티미디어 콘텐츠 디스플레이 방법은 통신망을 통해 동영상 재생 장치로 복수의 동영상을 전송하여 재생시, 동영상 재생 영역의 가로방향을 x(x>1)개로 분할하고, 세로방향을 y(y>1)개로 분할하여 동일 해상도를 갖는 N(N=x*y)개의 축소영상(Thumbnail) 재생 영역을 설정하는 단계; N개의 축소영상을 상기 설정된 N개의 축소영상 재생 영역을 통해 재생되도록 혼합(Mix)하여 상기 동영상 재생 장치로 전송하는 단계; 상기 동영상 재생 장치로부터 상기 N개의 축소영상 재생 영역 중 하나의 활성영역 정보를 수신하는 단계; 상기 활성영역 정보에 대응하는 활성영상의 해상도를 a(a>1) 배율로 확대하고, 상기 활성영역과 인접한 영역에 위치한 i(i>1)개의 인접영상 해상도를 상기 축소영상 해상도와 활성영상 해상도 사이의 b(1<=b<a) 배율로 확대되도록 설정하는단계; 및 상기 a배율로 확대된 활성영상과 b배율로 확대된 i개의 인접영상과 (N-(i+1))개의 축소영상을 혼합하여 상 기 동영상 재생 장치로 전송하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

상기한 바와 같이 본 발명에 있어서는, 네트워크 대역폭의 한계, 컴퓨팅 파워의 한계, 각종 기기들의 제한적인 성능의 한계를 넘지 않는 상태에서 최적의 축약 정보가 어떤 것인지 나타내고, 이러한 축약정보들이 어떻게 단독 또는 혼합되어 활용될 수 있는지에 대한 방법을 제시하며 추출된 멀티미디어 디지털 콘텐츠 축약정보를 사람의 시청각적 자극을 통해 쉽고 빠르게 판단을 할 수 있는 인터페이스를 통해 제공함으로써 사용자가 빠르고 정확하게 원하는 콘텐츠 검출하고, 시청 시점을 판단할 수 있다.

이상에서 설명한 것과 같이 본 발명을 통해 생성되는 다수의 멀티미디어 디지털 콘텐츠 축약정보를 사용하여 사용자 인터페이스는 한정된 장비의 성능과 네트워크 대역폭을 만족하면서, 사용자가 원하는 멀티미디어 콘텐츠를 빠른 시간 내에 찾아낼 수 있는 방법을 제시하고 있다.

이러한 방법들은 디지털 콘텐츠의 검색 및 내용 검토 등에 새로운 해결 방법으로 사용될 것이며, IPTV, CCTV 등의 채널 선택 인터페이스, CCTV용 카메라의 인코딩(Encoding) 방법 등과 같이 다양한 형태로서 활용될 수 있을 것이다.

이하, 첨부된 도면을 참고하여 본 발명의 실시 예에 따른 멀티미디어 디지털 콘텐츠의 축약정보 추출 및 이를 이용한 다중 멀티미디어 디지털 콘텐츠의 인터페이스의 구성을 상세히 설명한다.

첨부한 도 1은 본 발명에 따른 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템의 구성도이고, 도 2는 본 발명의 실시 예에 따라 동영상의 축약정보 추출과정 및 그 결과물을 나타낸 도면이며, 도 3은 본 발명의 실시 예에 따라 오디오의 축약정보 추출과정 및 그 결과물을 나타낸 도면이고, 도 4는 본 발명의 실시 예에 따라 동영상의 축약정보 추출과정 및 그 결과물을 나타낸 도면이다.

인터넷을 통한 다수의 멀티미디어 디지털 콘텐츠의 검색시에 사용자가 글을 통해서 그 내용을 판단하는 것이 아니라 시청각적인 판단을 통해 그 내용을 느낄 수 있는 다중 멀티미디어 콘텐츠 디스플레이 인터페이스를 구현할 때, 단말기의 컴퓨팅 성능 한계와 네트워크 대역폭 한계를 고려하여야 한다.

따라서, 이러한 두 가지 제약 사항을 만족시키면서 사용자가 시청각적으로 느낄 수 있는 다중 멀티미디어 콘텐츠 디스플레이 인터페이스를 구현하기 위해서, 본 발명에서는 기존의 한 장 또는 몇 장의 썸네일 이미지가 아닌 멀티미디어 콘텐츠 특성에 맞는 다양한 형태의 멀티미디어 축약 정보들을 제시한다.

이러한 축약 정보들은 다양한 종류와 품질이 존재하며, 인터페이스에서 컴퓨터 성능 및 네트워크 대역폭에 맞는 축약 정보들을 선택하여 사용하게 된다. 이러한 선택은 낮은 네트워크 대역폭에서 높은 대역폭까지 다양한 네트워크 환경에서 적응할 수 있도록 하며, 다양한 축약정보와 품질은 낮은 성능에서 높은 성능의 컴 퓨터까지 다양한 성능의 장비들에 맞는 축약정보들을 제공할 수 있게 한다.

본 발명에서는 멀티미디어 콘텐츠 타입을 사진(이미지), 음악(오디오), 동영상(UCC, IPTV, CCTV, 영화 등)(비디오)으로 구분하고 각각의 콘텐츠 타입에 대해서 그 특성에 맞는 축약정보들을 생성하고 있다.

동영상의 경우 축약 정보로서 ① f(n)초 간격(즉, 일정/가변적 시간 간격)으로 다양한 해상도/크기의 썸네일 이미지들, ② f(a)초 간격으로 f(m)초 동안(a>m)의 영상으로 Animated GIF 또는 SWF(Flash의 무비클립) 등과 같이 오디오가 제외된 영상 클립들, ③ 동영상에서 오디오 부분만을 f(k)초 간격으로 f(d)초 동안(k>d) f(q)의 품질로 생성한 오디오 클립들, ④ f(u)초 간격으로 f(l)초 동안(u>l)의 f(aq) 품질의 오디오와 f(vq) 품질 및 해상도의 영상(즉, 다양한 해상도와 품질의 오디오와 영상)이 포함된 동영상 클립들, ⑤ 영상변화량 색상표(도1, 105)와 음량/템포변화 색상표(도1, 110)에 기준한 영상과 오디오 변화량에 대한 변화량 색상 및 대표색상, ⑥ f(aq), f(vq)의 오디오 및 비디오 품질을 갖는 여러 개의 동영상들을 사용한다.

이러한 다수의 축약 정보들은 단독으로 사용되거나, 혼합되어 사용될 수 있다. 혼합에 사용되는 축약 정보들의 품질은 네트워크 대역폭 및 컴퓨팅 파워에 의해 결정된다.

오디오의 축약 정보로서는 ① 여러 단계 품질의 오디오, ② f(l)초 간격으로 f(u)초 동안(즉, 일정/가변적 간격의 일정/가변적 시간 동안)의 오디오 클립, ③ 특정 지점(처음, 중간, 마지막 부분)에 대한 축약본, ④ 오디오 변화량에 대한 시각화 동영상 및 클립, ⑤ 음량/템포 변화 색상표에 따른 오디오 변화량에 대한 색상 표현 및 대표 색상들이 사용되며, 이러한 축약 정보들은 단독으로 사용되거나, 혼합되어 사용될 수 있다. 혼합에 사용되는 정보들의 품질은 네트워크 대역폭 및 컴퓨팅 파워에 의해 결정된다.

사진의 축약 정보로서 ① 다양한 크기의 축소본과, ② 원본 및 축소본에 대한 f(n)개의 분할 이미지를 사용한다. 축소본과 분할이미지는 독립적으로 사용될 수 있으며, 혼합해서 사용할 수도 있다.

상기 f( )는 함수로서 결과 값은 주어진 매개변수와 콘텐츠 특성에 따라 틀려진다.

도 1을 참고하면, 본 발명에 따른 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템은 영상 변화량 색상표 데이터베이스(105); 음량/템포 변화량 색상표 데이터베이스(110); 기본값 및 환경정보 데이터베이스(115); 동영상 데이터, 오디오 데이터 및/또는 이미지 데이터를 포함하는 멀티미디어 디지털 콘텐츠(100)가 입력될 때 수신된 멀티미디어 디지털 콘텐츠(100)의 다양한 썸네일 이미지, 영상클립/저품질 이미지, 비디오클립, 오디오 시각화 동영상, 오디오 대표 색상, 변화색상, 영상 대표색상 등의 축약정보를 추출하는 디지털 콘텐츠 축약정보 추출수단(140); 및 상 기 디지털 콘텐츠 축약정보 추출수단(140)으로부터 추출된 다양한 축약정보들을 저장하는 저장수단(195)으로 구성되어 있다.

상기 디지털 콘텐츠 축약정보 추출수단(140)은 TV, IPTV, CCTV, CAM, 캠코더 등으로부터 얻어지거나 또는 영화, UCC와 같은 동영상 데이터, 각종 가요, 클래식, 팝송 등의 오디오 데이터, 및 사진 등으로부터 얻어진 이미지 데이터를 포함하는 멀티미디어 디지털 콘텐츠(100)가 입력될 때 콘텐츠 타입/내용 분석부(150), 사진 리사이징(resizing) 및 분할 이미지 생성부(155), 썸네일 이미지 추출부(160), 영상클립/저품질 오디오 추출부(165), 비디오/오디오 클립 생성부(170), 오디오 시각화 동영상 생성부(175), 오디오 변화량 감지부(180), 영상 변화량 감지부(185), 비디오 비트율별 엔코딩부(190)를 구비하고 있다.

즉, 상기 디지털 콘텐츠 축약정보 추출수단(140)은 상기 멀티미디어 디지털 콘텐츠(100)를 수신하는 콘텐츠 입력부(145); 상기 멀티미디어 디지털 콘텐츠가 수신되면 콘텐츠의 종류와 형태를 분석하는 콘텐츠 타입/내용 분석부(150); 원본 동영상(200)으로부터 f(n)초 간격의 다양한 크기 및 해상도로 전체 영상에 대한 다수의 썸네일 이미지(210,213,216)를 추출하고, 상기 추출된 이미지들은 저장수단(195)에 저장하는 썸네일 이미지 추출부(160); 오디오를 제거한 다양한 품질의 영상 클립(220), 저품질 오디오(230), 저품질 오디오 클립(240)의 정보들을 추출하여 그 내용을 저장수단(195)에 저장하는 영상 클립/저품질 오디오 추출부(165); 영상과 오디오가 들어 있는 다양한 품질의 다수의 무비 클립(250), 저품질 무비 클립(255)을 생성하여 저장수단(195)에 저장하는 비디오/오디오 클립 생성부(170); 변화량 색상(260)과 대표 색상(270)을 추출하여 저장수단(195)에 저장하는 영상 변화량 감지부(185); 상기 추출된 정보를 원본 동영상(200)보다 낮은 비트율로 기본값과 환경정보에 지정된 코덱 정보를 이용하여 다시 엔코딩하여 다양한 품질의 동영상 축약정보를 생성하는 비디오 비트율별 엔코딩부(190); 원본 오디오(300)로부터 저품질(Low Quality) 오디오 데이터(310,320)를 생성하여 저장수단(195)에 저장하는 영상클립/저품질 오디오 추출부(165); 오디오 클립(Audio Clip)(330)과 하이라이트(Highlight)(340)를 생성하여 저장수단(195)에 저장하는 비디오/오디오 클립생성부(170); 오디오의 변화를 오디오 변화량 동영상(350) 또는 일부 클립을 생성하여 저장수단(195)에 저장하는 오디오 시각화 동영상 생성부(175); 음량/템포 변화량 색상표(110)를 참조하여 변화량에 대한 색상(360)과 대표색상(370)을 생성하여 저장수단(195)에 저장하는 오디오 변화량 감지부(180); 및 입력된 콘텐츠가 가로(W), 세로(H)인 사진 이미지일 경우 사진 원본(400)으로부터 가로(W1,W2,…,Wn), 세로(H1,H2,…,Hn), 크기(Wn<W…<W1<W, Hn<H…<H1<H)의 n개의 썸네일 이미지(썸네일1,썸네일2,…,썸네일n)(401~40n)를 생성하는 사진 리사이징(resizing) 및 분할이미지 생성부(155);를 포함하고 있다.

이하, 본 발명에 의한 멀티미디어 콘텐츠 축약정보 추출시스템을 이용한 동영상 축약정보 추출과정, 오디오 축약정보 추출과정, 사진 축약정보 추출과정에 대하여 좀 더 상세히 살펴보면 다음과 같다.

도 2에 도시된 바와 같이, 본 발명의 동영상 축약정보 추출과정은 동영상으 로 이루어진 디지털 콘텐츠(100)를 입력하는 단계; 상기 입력된 디지털 콘텐츠(100)의 종류와 내용을 분석하는 단계; 상기 입력된 디지털 콘텐츠가 동영상(200)인 경우 f(s)초 간격의 다양한 크기 및 해상도로 전체 동영상에 대한 f(n) 개의 썸네일 이미지(210,213,216)를 추출하여 저장하는 단계; 상기 추출된 썸네일 이미지(210,213,216)의 동영상과 오디오가 포함된 혹은 오디오가 제거되어 동영상만 포함된 다양한 품질의 정보를 추출하여 저장함과 더불어 상기 추출 정보를 바탕으로 변화량 색상(260)과 대표 색상(270)을 추출하는 단계; 상기 추출된 정보를 원본 동영상(200)보다 낮은 비트율로 기본 값과 환경정보에 지정된 코덱 정보를 이용하여 다시 엔코딩하여 다양한 품질의 동영상 축약정보를 생성하는 단계; 및 상기 동영상 축약정보들을 웹 검색 및 채널 선택시 사용자 단말의 네트워크 및 단말의 성능에 따라 썸네일 이미지(210,213,216), 영상 클립(220), 영상 클립(220)과 저품질 오디오(230,240)의 혼합 중 어느 하나를 표시하는 단계로 구성된다.

좀 더 구체적으로 살펴보면, 콘텐츠 입력부(145)를 통해 콘텐츠(100)가 수신되면 콘텐츠 타입/내용 분석부(150)에서 콘텐츠의 종류와 형태를 분석한다.

콘텐츠 타입/내용 분석부(150)에서 콘텐츠의 종류와 형태를 분석한 결과 수신된 콘텐츠(100)가 동영상으로 분석되었다면, 썸네일 이미지 추출부(160)를 통해 도 2의 (A) 내지 (D)에 표시된 바와 같이 원본 동영상(200)으로부터 f(n)초 간격의 다양한 크기 및 해상도로 전체 영상에 대한 다수의 썸네일 이미지(210,213,216)를 추출하고, 상기 추출된 이미지들은 저장수단(195)에 저장한다.

그리고, 영상 클립/저품질 오디오 추출부(165)를 통해 도 2의 (E) 내지 (G)에 표시된 바와 같이 오디오를 제거한 다양한 품질의 영상 클립(220), 저품질 오디오(230), 저품질 오디오 클립(240)의 정보들을 추출하여 그 내용을 저장수단(195)에 저장한다.

또한, 비디오/오디오 클립 생성부(170)를 통해서 도 2의 (H) 및 (I)에 표시된 바와 같이 영상과 오디오가 들어 있는 다양한 품질의 다수의 무비 클립(250), 저품질 무비 클립(255)을 생성하여 저장수단(195)에 저장한다.

이때, 상기 다양한 품질의 무비클립과 저품질 무비클립(250,255)은 f(s)초 간격으로 f(d)초(S>D)동안 재생되는 영상과 오디오를 원본 동영상(200) 보다 낮은 품질로 f(n)개 생성하여 저장수단(195)에 저장한다.

다음으로 영상 변화량 감지부(185)를 통해서 도 2의 (J) 및 (K)에 표시된 바와 같이 변화량 색상(260)과 대표 색상(270)을 추출하여 저장수단(195)에 저장한다.

이때, 도 1의 영상 변화량 색상표(105)와 음량/템포 변화량 색상표(110)를 참조하여 변화량에 맞는 색상 정보를 추출하여 색상을 만들어 낸다.

상기 대표 색상(270)은 동영상 전체를 대표하는 오디오 대표 색상, 영상 대표 색상 2가지를 가지게 되며, 이 색상을 통해 사람은 영상의 활동성 및 음량의 급격한 변화량을 색상을 통해서 인지할 수 있게 된다.

마지막으로 비디오 비트율별 엔코딩부(190)는 원본 동영상(200)보다 낮은 비트율(Bit Rate)로 기본값 및 환경정보(115)에 지정된 코덱 정보를 이용해서 다시 엔코딩(Encoding)하여 도 2의 (L) 및 (M)에 표시된 바와 같이 다양한 품질의 다수의 저품질(Low Quality)의 동영상(280,290)들을 생성하여 저장수단(195)에 저장한다.

이때, 이러한 동영상 축약 정보들은 웹 검색 및 채널 선택 시 사용자 단말의 네트워크 및 단말의 성능에 따라 썸네일 이미지추출(210)을 보여주거나 영상클립(220), 또는 영상 클립(220)과 저품질 오디오추출(230)을 혼합해서 재생하게 된다.

이렇게 함으로써 사용자 단말의 화면에 많은 영상들을 표현할 수 있으며, 동시에 재생을 하는 듯한 느낌을 받고 전반적인 내용을 알 수 있게 된다. 또한, 무비 클립(250)을 페이드-인/페이드-아웃(Fade In/Out) 시키면서 보여 줌으로써 간략본을 볼 수 있게 된다. 여기서, 사용자 단말은 개인용 컴퓨터, 노트북 등의 컴퓨터 장치를 나타낸다.

또한, 대표색상(270)으로서 그 영상의 느낌을 직관적/시각적으로 판단할 수 있으며, 변화량 색상(260)을 사용해 낮은 네트워크 대역으로 영상과 오디오의 변화량을 시간 흐름에 따라 나타내 줄 수 있게 된다.

사용자가 동영상을 선택했을 때 사용자 단말의 네트워크 상태와 컴퓨터 또는 재생장비의 성능에 따라 원본 동영상(200) 또는 낮은 품질의 동영상, 즉 Low Quality 1(280) 내지 Low Quality n(290) 중 어느 하나를 재생할 수 있도록 해 준다.

도 3에 도시된 바와 같이, 본 발명의 오디오 축약정보 추출과정은 디지털 콘텐츠(100)를 입력하는 단계; 상기 입력된 디지털 콘텐츠의 종류와 내용을 분석하는 단계; 상기 입력된 디지털 콘텐츠가 오디오(300)인 경우 저품질(Low Quality) 오디오 데이터(310,320), 오디오 클립(Audio Clip)(330)과 하이라이트(Highlight)(340), 오디오의 변화를 나타낸 오디오 변화량 동영상(350) 또는 일부 클립, 음량/템포 변화량 색상표(110)를 참조하여 변화량에 대한 색상(360)과 대표색상(370)을 포함하는 오디오 축약정보를 생성하는 단계; 및 상기 생성된 오디오 축약 정보 중 오디오 변화량 동영상(350)과 변화량 색상(360)을 이용하여 낮은 대역폭으로 오디오의 변화량을 시각적으로 표시하는 단계를 포함하는 것을 특징으로 한다.

좀 더 구체적으로 살펴보면, 콘텐츠 입력부(145)를 통해 들어온 콘텐츠가 오디오로 콘텐츠 타입/내용 분석부(150)에서 분석되었다면, 영상클립/저품질 오디오 추출부(165)의 저품질 오디오 추출부를 통해서 도 3의 (B) 및 (C)에 표시된 바와 같이 저품질(Low Quality) 오디오 데이터(310,320)를 생성하여 저장수단(195)에 저장한다.

그리고, 비디오/오디오 클립생성부(170)를 통해서 도 3의 (D) 및 (E)에 표시된 바와 같이 오디오 클립(Audio Clip)(330)과 하이라이트(Highlight)(340)를 생성하여 저장수단(195)에 저장한다.

그 다음, 오디오 시각화 동영상 생성부(175)에서 오디오의 변화를 도 3의 (F)에 표시된 바와 같이 오디오 변화량 동영상(350) 또는 일부 클립을 생성하여 저장수단(195)에 저장한다.

마지막으로, 음량/템포 변화량 색상표(110)을 참조하여 오디오 변화량 감지부(180)를 통해서 도 3의 (G) 및 (H)에 표시된 바와 같이 변화량에 대한 색상(360)과 대표색상(370)을 생성하여 저장수단(195)에 저장한다.

여기서, 상기 생성된 오디오 축약정보 중 오디오 변화량 동영상(350)과 변화량 색상(360)은 낮은 네트워크 대역폭으로 오디오의 변화량을 시각적으로 볼 수 있게 해 주며, 대표 색상(370)을 통해 한번에 오디오의 특성을 파악할 수 있게 된다.

또한, 낮은 품질의 오디오(310,320)와 오디오 클립(Audio Clip)(330), 하이라이트(Highlight)(340) 등을 통해 낮은 네트워크 대역폭과 컴퓨팅 파워 사용으로도 충분한 콘텐츠의 내용을 전달할 수 있게 된다.

도 4에 도시된 바와 같이, 본 발명의 사진 이미지 축약정보 추출과정은 멀티미디어 디지털 콘텐츠(100)를 투입하는 단계; 상기 투입된 멀티미디어 디지털 콘텐츠의 종류와 형태를 분석한 결과 입력된 콘텐츠가 가로(W), 세로(H)인 사진 이미지(400)일 경우 N개의 썸네일 이미지(썸네일1,썸네일2,…,썸네일n)(401~40n)를 생성하는 단계; 상기 썸네일 이미지의 원본과 축소이미지 축약정보를 추출하여 가로 f(x), 세로 f(y)개의 블록으로 분리하여 축약정보를 저장하는 단계; 및 상기 축약정보를 사용자 단말의 네트워크속도와 화면 해상도, 표시장치의 특성에 따라 적합한 해상도의 썸네일 이미지 및 분할 이미지를 선정하고, 의도된 표시방법에 따라 썸네일 이미지 또는 분할 이미지를 순차적 혹은 지정 의도된 순서에 따라 f(s)초 간격으로 표시하는 단계를 포함하는 것을 특징으로 한다.

좀 더 구체적으로 살펴보면, 사진 이미지로 이루어진 멀티미디어 디지털 콘텐츠(100)를 디지털 콘텐츠 축약정보 추출수단(140)의 콘텐츠 입력부(145)를 통해 입력하면, 콘텐츠 타입/내용 분석부(150)에서 콘텐츠의 종류와 형태를 분석한다.

상기 분석결과, 입력된 콘텐츠가 가로(W), 세로(H)인 사진 이미지일 경우 사진 리사이징(resizing) 및 분할이미지 생성부(155)에서 사진 원본(400)로부터 도 4의 (B)에 도시된 바와 같이, 가로(W1,W2,…,Wn), 세로(H1,H2,…,Hn), 크기(Wn<W…<W1<W, Hn<H…<H1<H)의 n개의 썸네일 이미지(썸네일1,썸네일2,…,썸네일n)(401~40n)를 생성한다.

그리고, 사진 원본(400)과 축소이미지를 도 4의 (C) 및 (D)에 도시된 바와 같이 원본분할이미지(410)와 축소분할이미지(420)를 가로 f(x), 세로 f(y)개의 다수의 블록으로 분리하고 그 조각을 저장수단(195)에 저장한다.

여기서, 상기 f(x) 및 f(y)는 사진의 크기, 표시할 장치의 특성, 사용자의 정의에 의해 값이 변경될 수 있다.

상기 생성된 사진 축약 정보들은 인터넷 검색 결과 및 사진 목록 등을 보여줄 때 사용자 단말의 네트워크 속도와 화면 해상도, 표시 장치의 특성에 따라서 알맞은 해상도의 썸네일 이미지(401~40n) 및 분할 이미지(410,420)를 선정하게 되고, 도 4의 (E)에 도시된 바와 같이, 의도된 표시 방법에 따라 썸네일 이미지(401~40n) 또는 분할 이미지(410,420)를 순차적 또는 지정/의도된 순서에 따라 f(i)초 간격으로 표시하게 된다.

여기서, 상기 표시 의도에 따라 썸네일 이미지(401~40n)를 먼저 보여주고 그 다음 분할 이미지(410,420)를 보여주는 형태의 썸네일 이미지와 분할 이미지를 같이 사용하는 방법을 사용할 수도 있다.

이러한 방식을 사용함으로써 사용자는 썸네일 이미지보다 더 높은 해상도의 이미지를 별도의 제어 없이 볼 수 있게 된다. 사용자의 선택에 의해서 선택된 이미지를 표현할 시에도 사용자 환경 및 기기, 네트워크의 제한된 상황에 가장 알맞은 이미지를 선택해서 전송해 줌으로서 최적의 이미지를 빠른 시간 내에 볼 수 있게 된다.

상기한 바와 같이 본 발명은 도 1과 같이 축약정보 추출 시스템을 구성하여, 멀티미디어 디지털 콘텐츠의 축약정보를 추출한 후, 도 5에 도시된 인터페이스 공간에 그 정보들을 표현하고 선택할 수 있도록 한다.

이렇게 생성된 정보들은 도 5의 인터페이스 공간에 도 9의 인터페이스와 같은 형태로 사용된다.

인터페이스에서 사용하는 공간은 도 5와 같다. 우선 하나의 셀(Cell)에는 하나의 콘텐츠를 나타내는 다양한 축약정보들이 셀 하나의 공간에 나타나게 된다. 이 셀의 크기는 사용자의 선택에 따라 그 크기가 커지기도 작아지기도 한다.

전체 공간(500)은 표시될 모든 콘텐츠들을 가로 W개, 세로 H개로 배열한 직사각형 형태의 2차원 공간으로 W× H개의 셀(Cell)을 포함한다. 완충 구역(510)은 현재 보이는 구역인 뷰(View)영역(540)보다 완충영역(515) 만큼 크며, 완충영역(515)은 뷰영역이 뷰영역1(540)일 때 (Wb× Hb)(Wx× Hx)의 크기가 되며 이 영역이 바로 버퍼링되는 공간이다. 뷰영역이 변함에 따라 완충영역(515)의 크기 또한 변하게 된다.

뷰 영역은 전부 표시영역(590)의 일정 영역 안에 표시된다. 최소축소경계(520)는 사용자가 보이는 화면을 축소했을 때 한 화면에 가장 많은 수의 셀이 가장 작은 크기로 나타난다. 최대확대경계(530)는 사용자가 확대했을 때 가장 적은 개수의 셀이 가장 크게 나타난다.

즉, 표시영역(590)부분에 가장 많이 셀이 나타날 경우 최소축소경계(520)인 Wx× Hx개의 셀이 나타나고, 가장 적은 셀이 나타날 경우 최대확대경계(530)인 Wm× Hm개의 셀이 나타난다.

도 6은 본 발명에 따른 멀티미디어 디지털 콘텐츠 요청(검색)시에 다수의 멀티미디어 디지털 콘텐츠의 축약 정보를 활용하여 사용자 단말의 디스플레이에 표시하기 위한 다중 멀티미디어 콘텐츠 디스플레이 시스템의 구성을 나타낸 개략 블록도이고, 도 7은 본 발명에서 사용되는 인터페이스 공간의 영역 이름을 도시한 도면이다. 또한, 도 8은 다양한 멀티미디어 디지털 콘텐츠의 축약방식과, 품질별 콘텐츠 종류를 나타낸 그래프이고, 도 9는 본 발명에 따라 다수의 멀티미디어 디지털 콘텐츠의 축약정보를 이용하여 다수의 셀에 각각 도시된 것을 나타낸 인터페이스 화면으로서, 사용자의 선택에 따라 셀의 크기가 증가/축소하는 것을 나타낸 도면이 다.

도 5의 인터페이스 공간에 도 9와 같이 다수의 셀에 디지털 콘텐츠 축약정보를 표시하여 사용자 인터페이스를 구현하기 위하여 도 6에 도시된 다중 멀티미디어 디지털 콘텐츠 디스플레이 시스템이 사용된다.

도 6을 참고하여 미리 생성된 멀티미디어 디지털 콘텐츠 축약정보를 이용하여 사용자가 멀티미디어 디지털 콘텐츠를 검색할 때 원하는 멀티미디어 콘텐츠를 빠른 시간 내에 찾아낼 수 있도록 디지털 콘텐츠 축약정보를 제공하는 다중 멀티미디어 디지털 콘텐츠 디스플레이 시스템에 대하여 설명한다.

도 6을 참고하면, 본 발명의 다중 멀티미디어 디지털 콘텐츠 디스플레이 시스템은 다운로드 큐(Download Queue)(650); 다수의 병렬 큐(656A~658A,675A)와 병렬 다운로드 관리자들(656B~658B,675B); 상기 다수의 병렬 큐(656A~658A,675A) 및 병렬 다운로드 관리자들(656B~658B,675B)의 개수와 다운로드 속도 및 기타 환경의 제어를 결정하는 큐 관리 정책(620A); 상기 큐관리정책에 따라 다운로드 큐(650)로부터 상기 다수의 병렬큐 각각으로 분배하는 방식을 변경하는 다운로드 큐 관리자(Download Queue Manager)(655); 사용자가 뷰(View) 영역 이동, 확대 및 축소할 수 있는 기능을 제공하는 휴먼인터페이스(610A); 디스플레이 관리자(Display manager)(690)에 의해 디스플레이(695)의 화면에 표시가 이루어지도록 축약정보가 저장되는 메모리맵(685); 요구한 시간에 알맞게 축약정보들이 도착하였는지, 또 메모리맵(685)에 나타나 있는 현재 축약정보 재생 상태를 파악해서 장비의 성능과 네트워크 대역폭이 현재 상태의 축약정보 품질 및 타입에 적당한지 판단하는 메모리 맵 관리자(memory map manager)(680); 하나의 축약정보를 다운로드하고, 다운로드에 걸린 시간을 이용하여 메모리 맵 관리자(680)에 전달하는 다운로드 관리자(656B~658B); 상기 메모리 맵 관리자(680)가 판단한 장비의 성능과 네트워크 대역폭이 현재 상태의 축약정보 품질 및 타입에 적당한지의 판단 정보를 수신하며, 하나의 레벨을 모두 표시하는데 소요되는 시간인 총갱신시간(Total Refresh time), 하나의 레벨이 갱신되는 갱신주기(Refresh Interval Time), 및 각각의 레벨에 사용될 축약정보의 타입 값이 포함되어 저장되고, 타이머(Timer)의 주기(Interval) 및 동작에 영향을 미치는 전송량제어정책(620B); 상기 전송량제어정책에 따라 Interval 및 동작에 영향을 받는 타이머(Timer)(610B); 및 상기 전송량제어정책(620B)에 설정된 정보에 기초하여 다운로드 큐(Download Queue)(650)에 다운로드할 축약정보들을 선정하는 기준값으로 사용하는 스캔 관리자(Scan Manager)(640);를 포함하고 있다.

또한, 상기 사용자가 아무런 행동이 없거나 멈춰있을 경우 앞으로 필요할 콘텐츠들을 Caching하여 사용자에 대한 응답 속도를 높이는 휴식시간관리자((Idle Time Manager)670)를 더 포함한다.

이하에 상기한 다중 멀티미디어 디지털 콘텐츠 디스플레이 시스템을 더욱 상세하게 설명한다.

상기 시스템은 단말의 컴퓨터 성능과 네트워크 대역폭을 능동적으로 인식하 여, 다양한 품질 및 형태의 축약정보들 중에서 가장 적합한 축약정보가 어떤 것인지 판단한다.

상기 시스템은 병렬 큐(656A~658A,675A)와 병렬 다운로드 관리자들(656B~658B,675B)을 포함하고 있다. 큐 및 다운로드 관리자들(656A~658A,675A)(656B~658B,675B)의 개수와 다운로드 속도 및 기타 환경은 큐 관리 정책(620A)에 따라 달라진다. 또한, 큐관리정책(620A)에 따라 다운로드 큐 관리자(Download Queue Manager)(655)에서 각각의 큐로 분배하는 방식도 달라진다.

다운로드 관리자(656B~658B,675B)는 하나의 축약정보를 다운로드하고, 다운로드에 걸린 시간 등을 이용하여 메모리 맵 관리자(680)에 전달한다. 메모리 맵 관리자(680)는 요구한 시간에 알맞게 축약정보들이 도착하였는지, 또한 메모리맵(685)에 나타나 있는 현재 축약정보 재생 상태를 파악해서 장비의 성능과 네트워크 대역폭이 현재 상태의 축약정보 품질 및 타입에 적당한지 판단하게 된다. 여기서 판단된 정보는 전송량제어정책(620B)에 저장된다.

전송량 제어정책(620B)에는 하나의 레벨을 표시할 때 걸리는 총 시간, 즉, 영역(도 7)의 L1(8개) 또는 L2(16개)와 같은 하나의 레벨을 모두 표시하는데 소요되는 시간인 총갱신시간(Total Refresh Time), 하나의 레벨이 갱신되는 주기인 갱신주기(Refresh Interval Time), 그리고 각각의 레벨에 사용될 축약정보의 타입(도 8) 값이 포함되어 있다.

상기 측정 결과 네트워크 대역폭 및 장비의 성능이 낮을 경우 우선 총갱신시간 값을 늘려서 상태를 측정해 본다. 그래도 나아지지 않을 경우 갱신주기를 조정 하여 레벨 차이에 따라 갱신 주기를 늘려본다. 그래도 나아지지 않을 경우에는 축약정보의 품질 및 형태를 낮춘다. 최악의 경우 화면에 나타나는 모든 축약정보들은 썸네일 이미지들(210,213,216)만이 나타나게 될 것이며, 최고의 성능 및 네트워크 상태라면 품질이 좋은 동영상이 L0(도 7)에 나타나고 그 주위에 L1(도 7)영역에는 그보다 조금 낮은 품질의 동영상이 나타나게 될 것이다.

대부분은 중간 정도의 네트워크 및 성능으로 L0(도 7)에 낮은 품질의 동영상, L1(도 7)에 오디오와 무비 클립(Movie Clip)(250)을 조합한 축약정보, 그 외에는 갱신주기가 늦어지는 썸네일 이미지들이 위치하게 될 것이다.

이러한 3가지 값을 갖고 있는 전송량제어정책(620B)은 타이머(Timer)(610B)의 주기(Interval) 및 동작에 영향을 미치며, 스캔 관리자(Scan Manager)(640)가 다운로드큐(Download Queue)(650)에 다운로드 할 축약정보들을 선정에 기준 값으로 사용되게 된다.

휴먼인터페이스(610A)는 사용자가 뷰(View)영역 이동, 확대/축소할 수 있는 기능을 제공하며, 이러한 뷰영역 이동, 확대 및 축소에 따른 화면 변화는 사용자 인터페이스(630) 및 사용자 움직임 패턴인식(635)을 통해 메모리 맵 관리자(Memory Map Manager)(680)에 전달되며, 메모리 맵 관리자(680)는 다운로드 관리자(Download Manager)(656B~658B, 675B)와 서로 연계하여, 이동에 따른 불필요한 축약정보들의 다운로드를 하지 않도록 조정하게 된다.

다운로드의 우선순위는 뷰영역(540)이며 네트워크 및 컴퓨터 성능에 여유가 있다면 완충구역(510)에 대한 버퍼링을 수행한다. 사용자가 아무런 행동이 없거나 멈춰있을 경우 휴식시간관리자(670)는 앞으로 필요할 콘텐츠들을 캐싱(Caching)하여 사용자에 대한 응답 속도를 높인다. 메모리맵(685)의 내용은 디스플레이 관리자(Display manager)(690)에 의해 디스플레이(695)의 화면에 도 9와 같이 표시되게 된다.

한편, 본 발명에 따른 다중 멀티미디어 디지털 콘텐츠 디스플레이 시스템을 이용한 다중 동영상 디스플레이 방법에 대하여 이하에 설명한다.

본 발명의 다중 동영상 디스플레이 방법은 통신망을 통해 동영상 재생 장치로 복수의 동영상을 전송하여 재생시, 동영상 재생 영역의 가로방향을 x(x>1)개로 분할하고, 세로방향을 y(y>1)개로 분할하여 동일 해상도를 갖는 N(N=x*y)개의 축소영상(Thumbnail) 재생 영역을 설정한다(도 9의 경우 N=8×8개).

그 후, N개의 축소영상을 상기 설정된 N개의 축소영상 재생 영역을 통해 재생되도록 혼합(Mix)하여 상기 동영상 재생 장치로 전송한다.

상기 동영상 재생 장치로부터 사용자의 선택에 따라 상기 N개의 축소영상 재생 영역 중 하나의 활성영역(AR) 정보를 수신할 때, 상기 활성영역(AR) 정보에 대응하는 활성영상의 해상도를 a(a>1) 배율로 확대하고, 상기 활성영역(AR)과 인접한 영역(NR)에 위치한 i(i>1)개(도 9의 경우 i=8개)의 인접영상 해상도를 상기 축소영상 해상도와 활성영상 해상도 사이의 b(1<=b<a) 배율로 확대되도록 설정한다.

상기 a배율로 확대된 활성영상과 b배율로 확대된 i개의 인접영상과 (N-(i+1))개의 축소영상을 혼합하여 상기 동영상 재생 장치로 전송하여 디스플레이시 킨다(도 9의 (A) 내지 (E) 참조).

상기 N개의 축소영상 재생 영역은, 상기 통신망의 통신속도와 상기 동영상 재생 장치의 동영상 재생 자원, 프로세스 자원, 메모리 자원에 대응하여 상기 축소영상을 1배속으로 전송하여 재생할 수 있는 최대값을 초과하지 않는 것이 바람직하다.

또한, 상기 N개의 축소영상은, 비디오 데이터와 오디오 데이터의 재생배속이 1배속으로 설정되게 것이 바람직하다.

상기 N개의 축소영상은, 상기 통신망의 통신속도와 상기 동영상 재생 장치의 동영상 재생 자원에 대응하여 비디오 데이터의 재생배속을 일정 비율로 축소하는 것이 바람직하다.

상기 활성영상은, 비디오 데이터와 오디오 데이터의 재생배속이 1배속으로 설정된다.

또한, 상기 i개의 인접영상과 (N-(i+1))개의 축소영상은, 상기 활성영상으로부터의 인접 거리에 비례하여 비디오 데이터의 재생배속이 축소되는 것이 바람직하다. 더욱이, 상기 i개의 인접영상과 (N-(i+1))개의 축소영상은, 상기 활성영상으로부터의 인접 거리에 비례하여 오디오 데이터의 볼륨이 축소(또는 소거)되는 것이 바람직하다.

한편, 도 9에 도시된 바와 같은 다중 멀티미디어 디지털 콘텐츠 디스플레이에서 사용자와의 인터페이스 동작 형태는 도 7에 도시된 다수의 영역(L0~Nn)에서와 같이 L0은 사용자가 선택한 셀이며, 이 부분은 현재 사용자 장비의 성능과 네트워크 대역폭에서 가능한 고용량(축약방식, 품질별 콘텐츠, 도 8 참조)의 콘텐츠를 보여주게 된다. L0가 선택되면 L0는 조금씩 확대되며, 그 주위의 L1들도 따라서 확대되기 시작한다.

확대되는 비율은 L0의 비율이 L1의 비율보다 크게 되며, 결과적으로 L0가 가장 크게 확대되고 L1이 L0보다 작지만 L2보다는 크게 확대된다. 소리 또한 L0의 소리가 가장 크게 들리며 그 주위의 L1의 소리들의 합은 L0의 소리보다 작게 된다.

예를 들면, L0는 전체 소리 크기의 80%, 나머지 L1은 20%를 8로 나눈 크기의 값들을 가지게 된다. 즉, 사용자가 선택한 콘텐츠는 화면과 소리가 크게 들리며 주위 영역의 화면 및 소리는 선택한 콘텐츠 보다는 작게 나타나게 된다.

도 7에 도시된 다수의 영역(L0~Nn)은 상기한 인터페이스를 도식화 했다. 사용자가 선택한 콘텐츠에 더 많은 관심을 표현하면 더 큰 크기의 화면과 100%까지의 소리를 들으면서 영상을 볼 수 있게 된다.

전체 영역과 보이는 영역에서의 이동은 도 10과 같이 스크롤 방식을 이용해서 이동하게 된다. 즉, 사용자가 상하좌우의 가장자리 영역으로 이동하게 되면 스크롤이 되며, 가만히 그 공간에 멈춰있으면 점점 더 빠른 속도로 상하좌우로 이동할 수 있게 된다. 이러한 방식이 아닌 상하좌우에 있는 스크롤 바를 이용해서 이동할 수도 있다.

이상에서 설명한 것과 같이 본 발명을 통해 생산되는 멀티미디어 디지털 콘텐츠 축약정보 및 사용자 인터페이스는 한정된 장비의 성능과 네트워크 대역폭 만 족하면서, 사용자가 원하는 멀티미디어 콘텐츠를 빠른 시간 내에 찾아낼 수 있다.

또한, 본 발명에서는 멀티미디어 콘텐츠 특성에 맞는 다양한 형태와 품질의 멀티미디어 축약 정보를 추출하고, 단말기의 컴퓨터 성능 및 네트워크 대역폭에 맞는 축약 정보들을 선택하여 사용할 수 있게 된다. 그 결과, 이러한 선택은 낮은 네트워크 대역폭에서 높은 대역폭까지 다양한 네트워크 환경에서 적응할 수 있도록 하며, 다양한 축약정보와 품질은 낮은 성능에서 높은 성능의 컴퓨터까지 다양한 성능의 장비들에 맞는 축약정보들을 제공할 수 있게 된다.

본 발명은 다중(다채널) 멀티미디어 디지털 콘텐츠의 검색 및 내용 검토 등에 새로운 해결 방법으로 사용될 것이며, IPTV, CCTV 등의 채널 선택 인터페이스, CCTV용 카메라의 엔코딩(Encoding) 방법 등과 같이 다양한 형태로서 활용될 수 있을 것이다.

도 1은 본 발명에 따른 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템의 구성도이다.

도 2는 본 발명의 실시 예에 따라 동영상의 다양한 축약정보를 나타낸 도면이다.

도 3은 본 발명의 실시 예에 따라 오디오의 다양한 축약정보를 나타낸 도면이다.

도 4는 본 발명의 실시 예에 따라 사진의 다양한 축약정보를 나타낸 도면이다.

도 5는 본 발명에 사용되는 디스플레이와 디스플레이의 인터페이스 공간을 설명하기 위한 설명도이다.

도 6은 본 발명에 따른 멀티미디어 디지털 콘텐츠 요청(검색)시에 다수의 멀티미디어 디지털 콘텐츠의 축약 정보를 활용하여 사용자 단말의 디스플레이에 표시하기 위한 다운로드 표시 시스템의 구성을 나타낸 개략 블록도이다.

도 7은 본 발명에서 사용되는 인터페이스 공간의 영역 이름을 도시한 도면이다.

도 8은 다양한 멀티미디어 디지털 콘텐츠의 축약방식과, 품질별 콘텐츠 종류를 나타낸 그래프이다.

도 9는 본 발명에 따라 다수의 멀티미디어 디지털 콘텐츠의 축약정보를 이용하여 다수의 셀에 각각 도시된 것을 나타낸 인터페이스 화면으로서, 사용자의 선택 에 따라 셀의 크기가 증가/축소하는 것을 나타낸 도면이다.

도 10은 본 발명에 따른 인터페이스에서 화면 이동 및 스크롤 방식에 대한 도면이다.

< 도면의 주요부분에 대한 부호의 설명 >

100 : 멀티미디어 디지털 콘텐츠

105 : 영상 변화량 색상표

110 : 음량/템포 변화량 색상표

115 : 기본값 및 환경정보

140 : 디지털콘텐츠 축약정보 추출수단

145 : 콘텐츠 투입 인터페이스

150 : 콘텐츠 타입/내용 분석부

155 : 사진 리사이징(Resizing) 및 분할 이미지 생성부

160 : 썸네일 이미지 추출부

165 : 영상 클립/저품질 오디오 변환부

170 : 비디오/오디오 클립 생성부

175 : 오디오 시각화 및 동영상 생성부

180 : 오디오 변화량 감지부

185 : 영상 변화량 감지부

190 : 비디오 비트율(Bit Rate)별 엔코딩 부

195 : 저장수단

Claims

삭제
영상 변화량 색상표 데이터베이스;

음량/템포 변화량 색상표 데이터베이스;

기본 값 및 환경정보 데이터베이스;

동영상 데이터, 오디오 데이터 및 이미지 데이터를 포함하는 멀티미디어 디지털 콘텐츠가 입력될 때 수신된 멀티미디어 디지털 콘텐츠의 축약정보를 추출하는 디지털 콘텐츠 축약정보 추출수단; 및

상기 디지털 콘텐츠 축약정보 추출수단으로부터 추출된 썸네일 이미지, 영상클립/저품질 이미지, 비디오클립, 오디오 시각화 동영상, 오디오 대표 색상, 변화색상, 영상 대표색상을 포함하는 축약정보들을 저장하는 저장수단으로 구성되고,

상기 디지털 콘텐츠 축약정보 추출수단은

상기 멀티미디어 디지털 콘텐츠를 수신하는 콘텐츠 입력부;

상기 멀티미디어 디지털 콘텐츠가 수신되면 콘텐츠의 종류와 형태를 분석하는 콘텐츠 타입/내용 분석부;

원본 동영상으로부터 f(n)초 간격의 다양한 크기 및 해상도로 전체 영상에 대한 다수의 썸네일 이미지를 추출하고, 상기 추출된 이미지들은 저장수단에 저장하는 썸네일 이미지 추출부;

오디오를 제거한 다양한 품질의 영상 클립, 저품질 오디오, 저품질 오디오 클립의 정보들을 추출하여 그 내용을 저장수단에 저장하는 영상 클립/저품질 오디오 추출부;

영상과 오디오가 들어 있는 다양한 품질의 다수의 무비 클립, 저품질 무비 클립을 생성하여 저장수단에 저장하는 비디오/오디오 클립 생성부;

변화량 색상과 대표 색상을 추출하여 저장수단에 저장하는 영상 변화량 감지부;

상기 추출된 정보를 원본 동영상보다 낮은 비트율로 기본값과 환경정보에 지정된 코덱 정보를 이용하여 다시 엔코딩하여 다양한 품질의 동영상 축약정보를 생성하는 비디오 비트율별 엔코딩부;

원본 오디오로부터 저품질(Low Quality) 오디오 데이터를 생성하여 저장수단에 저장하는 영상클립/저품질 오디오 추출부;

오디오 클립(Audio Clip)과 하이라이트(Highlight)를 생성하여 저장수단(195)에 저장하는 비디오/오디오 클립생성부;

오디오의 변화를 오디오 변화량 동영상 또는 일부 클립을 생성하여 저장수단에 저장하는 오디오 시각화 동영상 생성부;

음량/템포 변화량 색상표를 참조하여 변화량에 대한 색상(360)과 대표색상을 생성하여 저장수단에 저장하는 오디오 변화량 감지부; 및

입력된 콘텐츠가 가로, 세로인 사진 이미지일 경우 사진 원본으로부터 가로, 세로, 크기의 n개의 썸네일 이미지를 생성하는 사진 리사이징(resizing) 및 분할이미지 생성부;를 포함하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템.
제 2 항에 있어서, 상기 다양한 품질의 무비클립과 저품질 무비클립은 f(s)초 간격으로 f(d)초(S>D)동안 재생되는 영상과 오디오를 원본동영상 보다 낮은 품질로 f(n)개 생성하여 저장수단에 저장하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템.
제 2 항에 있어서, 상기 변화량 색상은 영상 변화량 색상표와 음량/템포 변화량 색상표를 참조하여 변화량에 맞는 색상 정보를 추출하여 낮은 네트워크 대역으로 영상과 오디오의 변화량을 시간 흐름에 따라 나타내 줄 수 있고,

상기 대표 색상은 동영상 전체를 대표하는 오디오 대표 색상과, 영상 대표 색상을 통해 영상의 활동성 및 음량의 급격한 변화량을 색상을 통해서 인지할 수 있는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템.
제 2 항에 있어서, 상기 원본 동영상보다 낮은 비트율(Bit Rate)로 기본값 및 환경정보에 지정된 코덱 정보를 이용해서 다시 엔코딩하여 다수의 저품질 동영상들을 생성하여 저장수단에 저장하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템.
제 2 항에 있어서, 상기 동영상 축약 정보들은 웹 검색 및 채널 선택 시 사용자 단말의 네트워크 및 단말의 성능에 따라 썸네일 이미지 추출을 보여주거나 영상클립, 또는 영상 클립과 저품질 오디오 추출을 혼합해서 재생하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템.
제 2 항에 있어서, 사용자가 동영상을 선택했을 때 사용자 단말의 네트워크 상태와 컴퓨터 또는 재생장비의 성능에 따라 원본 동영상 또는 다수의 낮은 품질의 동영상 중 어느 하나를 재생하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템.
제 7 항에 있어서, 상기 사용자 단말은 개인용 컴퓨터, 노트북을 포함하는 컴퓨터 장치를 나타내는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템.
제 2 항에 있어서, 무비 클립을 페이드-인/페이드-아웃(Fade In/Out) 시키면서 보여 줌으로써 간략본을 볼 수 있는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템.
제 2 항에 있어서, 사진 원본과 축소이미지를 원본분할이미지와 축소분할이미지를 각각 가로 f(x), 세로 f(y)개의 블록으로 분리하고, 분리된 조각을 저장수단에 저장하며,

상기 생성된 사진 축약 정보들은 인터넷 검색 결과 및 사진 목록을 보여줄 때 사용자 단말의 네트워크 속도와 화면 해상도, 표시 장치의 특성에 따라서 알맞은 해상도의 썸네일 이미지 및 분할 이미지를 선정하여,

의도된 표시 방법에 따라 썸네일 이미지 또는 분할 이미지를 순차적 또는 지정/의도된 순서에 따라 f(i)초 간격으로 표시하는 것을 특징으로 하는 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템.
미리 생성된 멀티미디어 디지털 콘텐츠 축약정보를 이용하여 사용자가 멀티미디어 디지털 콘텐츠를 검색할 때 원하는 멀티미디어 콘텐츠를 빠른 시간 내에 찾아낼 수 있도록 디지털 콘텐츠 축약정보를 제공하는 다중 멀티미디어 콘텐츠 디스플레이 시스템에 있어서,

다운로드 큐;

다수의 병렬 큐와 병렬 다운로드 관리자들;

상기 다수의 병렬 큐 및 병렬 다운로드 관리자들의 개수와 다운로드 속도 및 기타 환경의 제어를 결정하는 큐 관리 정책;

상기 큐관리정책에 따라 다운로드 큐로부터 상기 다수의 병렬큐 각각으로 분배하는 방식을 변경하는 다운로드 큐 관리자;

사용자가 뷰(View) 영역 이동, 확대 및 축소할 수 있는 기능을 제공하는 휴먼인터페이스;

디스플레이 관리자에 의해 디스플레이의 화면에 표시가 이루어지도록 축약정보가 저장되는 메모리맵;

요구한 시간에 알맞게 축약정보들이 도착하였는지, 또한 메모리맵에 나타나 있는 현재 축약정보 재생 상태를 파악해서 장비의 성능과 네트워크 대역폭이 현재 상태의 축약정보 품질 및 타입에 적당한지 판단하는 메모리 맵 관리자;

하나의 축약정보를 다운로드하고, 다운로드에 걸린 시간을 이용하여 메모리 맵 관리자에 전달하는 다운로드 관리자;

상기 메모리 맵 관리자가 판단한 장비의 성능과 네트워크 대역폭이 현재 상태의 축약정보 품질 및 타입에 적당한지의 판단 정보를 수신하며, 하나의 레벨을 모두 표시하는데 소요되는 시간인 총갱신시간(Total Refresh time), 하나의 레벨이 갱신되는 갱신주기(Refresh Interval Time), 및 각각의 레벨에 사용될 축약정보의 타입 값이 포함되어 저장되고, 타이머의 주기(Interval) 및 동작에 영향을 미치는 전송량제어정책;

상기 전송량제어정책에 따라 주기 및 동작에 영향을 받는 타이머; 및

상기 전송량제어정책에 설정된 정보에 기초하여 다운로드 큐에 다운로드할 축약정보들을 선정하는 기준값으로 사용하는 스캔 관리자;를 포함하는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 시스템.
제 11 항에 있어서, 상기 사용자가 아무런 행동이 없거나 멈춰있을 경우 앞으로 필요할 콘텐츠들을 캐싱(Caching)하여 사용자에 대한 응답 속도를 높이는 휴식시간관리자를 더 포함하는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 시스템.
제 11 항에 있어서, 상기 전송량제어정책은 측정 결과 네트워크 대역폭 및 장비의 성능이 낮을 경우 우선 총갱신시간 값을 늘려서 상태를 측정하고, 나아지지 않을 경우 갱신주기를 조정하여 레벨 차이에 따라 갱신 주기를 늘리며, 그래도 나아지지 않을 경우에는 축약정보의 품질 및 형태를 낮추는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 시스템.
제 11 항에 있어서, 상기 메모리 맵 관리자는 상기 휴먼인터페이스의 뷰 영역 이동, 확대 및 축소에 따른 화면 변화가 전달되며, 다운로드 관리자와 서로 연계하여, 이동에 따른 불필요한 축약정보들의 다운로드를 하지 않도록 조정하는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 시스템.
제 11 항에 있어서, 상기 다운로드의 우선순위는 뷰 영역이며 네트워크 및 컴퓨터 성능에 여유가 있을 때 완충지역에 대한 버퍼링을 수행하는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 시스템.
제 11 항에 있어서, 상기 축약정보는 썸네일 이미지, 영상클립/저품질 이미지, 비디오클립, 오디오 시각화 동영상, 오디오 대표 색상, 변화색상, 영상 대표색상을 포함하는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 시스템.
제 11 항에 있어서, 상기 축약정보는 전체 동영상을 대상으로 f(s)초 간격으로 f(n)개의 썸네일을 추출한 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 시스템.
제 11 항에 있어서, 상기 축약정보는 동영상에서 f(s) 초 간격으로 f(d)초 동안 f(p) FPS 속도로 썸네일을 추출하여 영상 클립(오디오 없음)을 생성된 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 시스템.
제 11 항에 있어서, 전체동영상 및 오디오에서 f(s) 초 간격으로 f(d)초 동안 동영상 클립(f(p) FPS 속도) 또는 오디오 클립을 원본보다 낮은 비트율(Bit Rate)로 서비스 대역폭 별로 f(n)개를 추출된 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 시스템.
제 11 항에 있어서, 동영상에서 f(s) 초 간격으로 f(d)초 동안 오디오 클립만을 추출된 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 시스템.
통신망을 통해 동영상 재생 장치로 복수의 동영상을 전송하여 재생시, 동영상 재생 영역의 가로방향을 x(x>1)개로 분할하고, 세로방향을 y(y>1)개로 분할하여 동일 해상도를 갖는 N(N=x*y)개의 축소영상(Thumbnail) 재생 영역을 설정하는 단 계;

N개의 축소영상을 상기 설정된 N개의 축소영상 재생 영역을 통해 재생되도록 혼합(Mix)하여 상기 동영상 재생 장치로 전송하는 단계;

상기 동영상 재생 장치로부터 상기 N개의 축소영상 재생 영역 중 하나의 활성영역 정보를 수신하는 단계;

상기 활성영역 정보에 대응하는 활성영상의 해상도를 a(a>1) 배율로 확대하고, 상기 활성영역과 인접한 영역에 위치한 i(i>1)개의 인접영상 해상도를 상기 축소영상 해상도와 활성영상 해상도 사이의 b(1<=b<a) 배율로 확대되도록 설정하는 단계; 및

상기 a배율로 확대된 활성영상과 b배율로 확대된 i개의 인접영상과 (N-(i+1))개의 축소영상을 혼합하여 상기 동영상 재생 장치로 전송하는 단계를 포함하여 이루어지는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 방법.
제 21 항에 있어서, 상기 N개의 축소영상 재생 영역은, 상기 통신망의 통신속도와 상기 동영상 재생 장치의 동영상 재생 자원-프로세스 자원, 메모리 자원-에 대응하여 상기 축소영상을 1배속으로 전송하여 재생할 수 있는 최대값을 초과하지 않는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 방법.
제 21 항에 있어서, 상기 N개의 축소영상은, 비디오 데이터와 오디오 데이터의 재생배속이 1배속으로 설정되는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 방법.
제 21 항에 있어서, 상기 N개의 축소영상은, 상기 통신망의 통신속도와 상기 동영상 재생 장치의 동영상 재생 자원에 대응하여 비디오 데이터의 재생배속을 일정 비율로 축소하는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 방법.
제 21 항에 있어서, 상기 활성영상은, 비디오 데이터와 오디오 데이터의 재생배속이 1배속으로 설정되는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 방법.
제 21 항에 있어서, 상기 i개의 인접영상과 (N-(i+1))개의 축소영상은, 상기 활성영상으로부터의 인접 거리에 비례하여 비디오 데이터의 재생배속이 축소되는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 방법.
제 21 항에 있어서, 상기 i개의 인접영상과 (N-(i+1))개의 축소영상은, 상기 활성영상으로부터의 인접 거리에 비례하여 오디오 데이터의 볼륨이 축소(또는 소거)되는 것을 특징으로 하는 다중 멀티미디어 콘텐츠 디스플레이 방법.
제 21 항의 방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체.