KR101599875B1 - 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치 - Google Patents

멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치 Download PDF

Info

Publication number
KR101599875B1
KR101599875B1 KR1020090032757A KR20090032757A KR101599875B1 KR 101599875 B1 KR101599875 B1 KR 101599875B1 KR 1020090032757 A KR1020090032757 A KR 1020090032757A KR 20090032757 A KR20090032757 A KR 20090032757A KR 101599875 B1 KR101599875 B1 KR 101599875B1
Authority
KR
South Korea
Prior art keywords
multimedia
data
characteristic
image data
texture
Prior art date
Application number
KR1020090032757A
Other languages
English (en)
Other versions
KR20090110243A (ko
Inventor
손유미
정해경
이영윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090032757A priority Critical patent/KR101599875B1/ko
Priority to PCT/KR2009/001954 priority patent/WO2009128653A2/ko
Priority to US12/988,426 priority patent/US20110047155A1/en
Publication of KR20090110243A publication Critical patent/KR20090110243A/ko
Application granted granted Critical
Publication of KR101599875B1 publication Critical patent/KR101599875B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/086—Beats per minute [bpm] indicator, i.e. displaying a tempo value, e.g. in words or as numerical value in beats per minute
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set

Abstract

본 발명은, 멀티미디어 데이터를 입력받고, 멀티미디어 데이터를 분석하여 멀티미디어 컨텐트의 소정 특성에 기반한 멀티미디어의 관리 또는 검색을 위한 특성 정보를 검출하여, 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 멀티미디어의 특성에 기반한 부호화 방식을 결정하는 멀티미디어의 부호화 방식을 개시한다.
서술자, MPEG-7

Description

멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치{Method and apparatus for multimedia encoding based on attribute of multimedia content, method and apparatus for multimedia decoding based on attributes of multimedia content}
본 발명은 멀티미디어 데이터의 부호화 및 복호화에 관한 것이다.
멀티미디어의 서술자(descriptor)는 멀티미디어의 정보 검색 또는 관리를 위해 컨텐트 특성에 관한 기술을 포함하고 있다. 대표적으로 MPEG-7(Moving Picture Experts Group-7)의 서술자(descriptor)가 이용되고 있다. 사용자는 MPEG-7 서술자(descriptor)를 이용하여, MPEG-7 영상 부복호화 방식에 따르는 멀티미디어에 대한 다양한 정보를 제공받으며, 사용자가 원하는 멀티미디어를 검색할 수 있게 된다.
본 발명은 멀티미디어의 컨텐트 특성에 기반하는 멀티미디어의 부호화 또는 복호화를 제안한다.
본 발명의 일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어부호화 방법은, 멀티미디어 데이터를 입력받는 단계; 상기 멀티미디어 데이터를 분석하여 상기 멀티미디어 컨텐트의 소정 특성에 기반한 멀티미디어의 관리 또는 검색을 위한 특성 정보를 검출하는 단계; 및 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 부호화 방식을 결정하는 단계를 포함한다.
일 실시예에 따른 멀티미디어 부호화 방법은, 상기 멀티미디어의 특성에 기반한 부호화 방식에 따라 상기 멀티미디어 데이터를 부호화하는 단계; 및 상기 부호화된 멀티미디어 데이터를 포함하는 비트스트림을 생성하는 단계를 더 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법은, 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자로 부호화하는 단계를 더 포함하고, 상기 비트스트림 생성 단계는, 상기 부호화된 멀티미디어 데이터 및 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자를 포함하는 비트스트림을 생성할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 특성 정보 검출 단계는, 상기 멀티미디어 컨텐트의 소정 특성으로써 영상 데이터의 컬러 특성을 분석하여 검출할 수 있다. 상기 영상 데이터의 컬러 특성은, 영상의 컬러 레이아웃(color layout) 및 컬러 빈(bin) 별 누적 분포 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 상기 부호화 방식 결정 단계는, 상기 영상 데이터의 컬러 특성을 이용하여 현재 영상 데이터의 화소값 및 참조 영상 데이터의 화소값 간의 변화량을 측정하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 상기 부호화 방식 결정 단계는, 상기 현재 영상 데이터의 화소값 및 참조 영상 데이터의 화소값 간의 변화량을 이용하여 상기 현재 영상 데이터의 화소값을 보상하는 단계를 더 포함할 수 있다. 상기 일 실시예에 따른 멀티미디어 부호화 방법은, 움직임 보상이 수행된 현재 영상 데이터에 대해, 상기 화소값들의 변화량을 보상하고 상기 현재 영상 데이터를 부호화하는 단계를 더 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법은, 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자로써, 상기 영상 데이터의 컬러 특성을 나타내기 위해, 컬러 레이아웃(color layout)에 관한 메타데이터, 컬러 구조(color structure)에 관한 메타데이터 및 계층적 컬러(scalable color)에 관한 메타데이터 중 적어도 하나를 부호화하는 단계를 더 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 특성 정보 검출 단계는, 상기 멀티미디어 컨텐트의 소정 특성으로써 영상 데이터의 텍스처(texture) 특성을 분석하여 검출할 수 있다. 상기 영상 데이터의 텍스처 특성은, 영상 텍스처의 균등 성(homogeneity), 평활도(smoothness), 정규성(regularity) 및 에지 방향성, 조밀도 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 부호화 방식 결정 단계는, 상기 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터의 움직임 추정(motion estimation)을 위한 데이터 처리 단위의 크기를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 부호화 방식 결정 단계는, 상기 영상 데이터의 텍스처 특성 중 균등성에 기초하여 상기 현재 영상 데이터가 더 균등할수록 상기 데이터 처리 단위의 크기가 더 크도록 결정할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 부호화 방식 결정 단계는, 상기 영상 데이터의 텍스처 특성 중 평활도에 기초하여 상기 현재 영상 데이터가 더 평활할수록 상기 데이터 처리 단위의 크기가 더 크도록 결정할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 부호화 방식 결정 단계는, 상기 영상 데이터의 텍스처 특성 중 정규성에 기초하여 상기 현재 영상 데이터의 패턴이 더 규칙적일수록 상기 데이터 처리 단위의 크기가 더 크도록 결정할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법은, 상기 영상 데이터에 대해 크기가 결정된 데이터 처리 단위를 이용하여 상기 현재 영상 데이터에 대해 움직임 추정 또는 움직임 보상(motion compensation)을 수행하는 단계를 더 포함할 수 있다.
다른 실시예에 따른 멀티미디어 부호화 방법의 상기 부호화 방식 결정 단계는, 상기 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터에 대해 수행 가능한 인트라 예측 모드(intra prediction mode)를 결정하는 단계를 포함할 수 있 다.
다른 실시예에 따른 멀티미디어 부호화 방법의 부호화 방식 결정 단계는, 상기 현재 영상 데이터의 텍스처 특성 중 에지의 방향성에 기초하여, 상기 현재 영상 데이터에 대해 수행 가능한 인트라 예측 모드(predictable intra prediction mode)의 종류 및 우선 순위를 결정할 수 있다.
다른 실시예에 따른 멀티미디어 부호화 방법은, 상기 현재 영상 데이터에 대해 결정된 인트라 예측 모드를 이용하여 상기 현재 영상 데이터에 대해 움직임 추정을 수행하는 단계를 더 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법은, 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자로써, 상기 영상 데이터의 텍스처 특성을 나타내기 위해 에지 히스토그램(edge histogram)에 관한 메타데이터, 텍스처 브라우징(texture browsing)을 위한 메타데이터 및 텍스처 균등성(homogeneity of texture)에 관한 메타데이터 중 적어도 하나를 부호화하는 단계를 더 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 특성 정보 검출 단계는, 상기 멀티미디어 컨텐트의 소정 특성으로써 음향 데이터의 빠르기 특성을 분석하여 검출할 수 있다. 상기 음향 데이터의 빠르기 특성은, 음향의 템포(tempo) 정보를 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 부호화 방식 결정 단계는, 상기 음향 데이터의 빠르기 특성을 이용하여, 현재 음향 데이터의 주파수 변 환(frequency transform)을 위한 데이터 처리 단위의 길이를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 부호화 방식 결정 단계는, 상기 음향 데이터의 빠르기 특성 중 템포 정보에 기초하여, 상기 현재 음향 데이터가 더 빠를수록 상기 데이터 처리 단위의 길이가 짧아지도록 더 결정할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 멀티미디어 부호화 방법은, 상기 음향 데이터에 대해 길이가 결정된 데이터 처리 단위를 이용하여 상기 현재 음향 데이터에 대해 주파수 변환을 수행하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 멀티미디어 부호화 방법은, 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자로써, 상기 음향 데이터의 빠르기 특성을 나타내기 위해 오디오 템포(audio tempo)에 관한 메타데이터, 의미 속성 정보(semantic description information) 및 사이드 정보(side information) 중 적어도 하나를 부호화하는 단계를 더 포함할 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법의 상기 부호화 방식 결정 단계는, 상기 음향 데이터의 빠르기 특성으로써 유용한 정보가 추출되지 않는 경우, 현재 음향 데이터의 주파수 변환을 위한 데이터 처리 단위의 길이를 고정 길이로 결정할 수 있다.
본 발명의 일 실시예에 따라 멀티미디어의 컨텐트 특성에 기반하여 멀티미디어를 복호화하는 방법은, 멀티미디어 데이터 비트스트림을 수신하고 상기 비트스트림을 파싱하여 멀티미디어의 부호화된 데이터 및 상기 멀티미디어에 대한 정보를 분류하는 단계; 상기 멀티미디어에 대한 정보로부터 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 추출하는 단계; 및 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 복호화 방식을 결정하는 단계를 포함한다.
일 실시예에 따른 멀티미디어 복호화 방법은, 상기 멀티미디어의 특성에 기반한 복호화 방식에 따라 상기 멀티미디어의 부호화된 데이터를 복호화하는 단계; 및 상기 복호화된 멀티미디어 데이터를 복원하는 단계를 더 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 특성 정보 추출 단계는, 상기 비트스트림을 파싱하여 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자를 추출하는 단계; 및 상기 서술자로부터 상기 특성 정보를 추출하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 특성 정보 추출 단계는, 상기 멀티미디어 컨텐트의 소정 특성으로써 영상 데이터의 컬러 특성을 추출할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 상기 복호화 방식 결정 단계는, 상기 영상 데이터의 컬러 특성을 이용하여 현재 영상 데이터의 화소값 및 참조 영상 데이터 간의 변화량을 측정하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법은, 역주파수 변환된 현재 영상 데이터에 대해 움직임 보상을 수행하는 단계; 및 상기 현재 영상 데이터의 화소값 및 참조 데이터의 화소값 간의 변화량을 이용하여, 상기 움직임 보상된 현재 영상 데이터의 화소값을 보상하는 단계를 더 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 특성 정보 추출 단계는, 상기 비트스트림을 파싱하여 상기 서술자로부터 컬러 레이아웃에 관한 메타데이터, 컬러 구조에 관한 메타데이터 및 계층적 컬러에 관한 메타데이터 중 적어도 하나를 추출하는 단계; 및 상기 추출된 적어도 하나의 서술자로부터 상기 영상 데이터의 컬러 특성을 추출하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 특성 정보 추출 단계는, 상기 멀티미디어 컨텐트의 소정 특성으로써 영상 데이터의 텍스처 특성을 추출할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 복호화 방식 결정 단계는, 상기 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터의 움직임 추정을 위한 데이터 처리 단위의 크기를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 복호화 방식 결정 단계는, 상기 영상 데이터의 텍스처 특성 중 균등성에 기초하여 상기 현재 영상 데이터가 더 균등할수록 상기 데이터 처리 단위의 크기가 더 크도록 결정할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 복호화 방식 결정 단계는, 상기 영상 데이터의 텍스처 특성 중 평활도에 기초하여 상기 현재 영상 데이터가 더 평활할수록 상기 데이터 처리 단위의 크기가 더 크도록 결정할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 복호화 방식 결정 단계는, 상기 영상 데이터의 텍스처 특성 중 정규성에 기초하여 상기 현재 영상 데이터의 패턴이 더 규칙적일수록 상기 데이터 처리 단위의 크기가 더 크도록 결정할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법은, 상기 영상 데이터에 대해 크기가 결정된 데이터 처리 단위를 이용하여 상기 현재 영상 데이터에 대해 움직임 추정 또는 움직임 보상을 수행하는 단계를 더 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 복호화 방식 결정 단계는, 상기 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터에 대해 수행 가능한 인트라 예측 모드를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 복호화 방식 결정 단계는, 상기 현재 영상 데이터의 텍스처 특성 중 에지의 방향성에 기초하여, 상기 현재 영상 데이터에 대해 수행 가능한 인트라 예측 모드의 종류 및 우선 순위를 결정할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법은, 상기 현재 영상 데이터에 대해 결정된 인트라 예측 모드를 이용하여 상기 현재 영상 데이터에 대해 움직임 추정을 수행하는 단계를 더 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 특성 정보 추출 단계는, 상기 비트스트림을 파싱하여 상기 서술자로부터 에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터 및 텍스처 균등성에 관한 메타데이터 중 적어도 하나를 추출하는 단계; 및 상기 추출된 적어도 하나의 서술자로부터 상기 영상 데이터의 텍스처 특성을 추출하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 특성 정보 추출 단계는, 상기 멀티미디어 컨텐트의 소정 특성으로써 음향 데이터의 빠르기 특성을 추출할 수 있 다.
일 실시예에 따른 멀티미디어 복호화 방법의 복호화 방식 결정 단계는, 상기 음향 데이터의 빠르기 특성을 이용하여, 현재 음향 데이터의 역주파수 변환을 위한 데이터 처리 단위의 길이를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 복호화 방식 결정 단계는, 상기 음향 데이터의 빠르기 특성 중 템포 정보에 기초하여, 상기 현재 음향 데이터가 더 빠를수록 상기 데이터 처리 단위의 길이가 짧아지도록 더 결정할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법은, 상기 음향 데이터에 대해 길이가 결정된 데이터 처리 단위를 이용하여 상기 현재 음향 데이터에 대해 역주파수 변환을 수행하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 특성 정보 추출 단계는, 상기 비트스트림을 파싱하여 상기 서술자로부터 오디오 템포에 관한 메타데이터, 의미 속성 정보 및 사이드 정보 중 적어도 하나를 추출하는 단계; 및 상기 추출된 적어도 하나의 서술자로부터 상기 음향 데이터의 빠르기 특성을 추출하는 단계를 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법의 복호화 방식 결정 단계는, 상기 음향 데이터의 빠르기 특성으로써 유용한 정보가 추출되지 않는 경우, 현재 음향 데이터의 역주파수 변환을 위한 데이터 처리 단위의 길이를 고정 길이로 결정할 수 있다.
본 발명의 일 실시예에 따라 멀티미디어의 컨텐트 특성에 기반하여 멀티미디 어를 부호화하는 장치는, 멀티미디어 데이터를 입력받는 입력부; 상기 멀티미디어 데이터를 분석하여 상기 멀티미디어 컨텐트의 소정 특성에 기반한 멀티미디어의 관리 또는 검색을 위한 특성 정보를 검출하는 특성 정보 검출부; 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 부호화 방식을 결정하는 부호화 방식 결정부; 및 상기 멀티미디어의 특성에 기반한 부호화 방식에 따라 상기 멀티미디어 데이터를 부호화하는 멀티미디어 데이터 부호화부를 포함한다.
일 실시예에 따른 상기 멀티미디어 부호화 장치는, 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자로 부호화하는 서술자 부호화부를 더 포함할 수 있다.
본 발명의 일 실시예에 따라 멀티미디어의 컨텐트 특성에 기반하여 멀티미디어를 복호화하는 장치는, 멀티미디어 데이터 비트스트림을 수신하고 상기 비트스트림을 파싱하여 멀티미디어의 부호화된 데이터 및 상기 멀티미디어에 대한 정보를 분류하는 수신부; 상기 멀티미디어에 대한 정보로부터 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 추출하는 특성 정보 추출부; 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 복호화 방식을 결정하는 복호화 방식 결정부; 및 상기 멀티미디어의 특성에 기반한 복호화 방식에 따라 상기 멀티미디어의 부호화된 데이터를 복호화하는 멀티미디어 데이터 복호화부를 포함한다.
일 실시예에 따른 상기 멀티미디어 복호화 장치는, 상기 복호화된 멀티미디 어 데이터를 복원하는 복원부를 더 포함할 수 있다.
본 발명은, 본 발명의 일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
본 발명은, 본 발명의 일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
이하, 도 1 내지 도 37을 참조하여 본 발명의 일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법, 멀티미디어 부호화 장치, 멀티미디어 복호화 방법, 및 멀티미디어 복호화 장치가 상술된다.
도 1 은 본 발명의 일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 장치의 블록도를 도시한다.
일 실시예에 따라 멀티미디어의 컨텐트 특성에 기반하는 멀티미디어 부호화 장치(100)는 입력부(110), 특성 정보 검출부(120), 부호화 방식 결정부(130) 및 멀티미디어 데이터 부호화부(140)를 포함한다.
입력부(110)는 멀티미디어 데이터를 입력받아 특성 정보 검출부(120) 및 멀티미디어 데이터 부호화부(140)로 출력한다. 멀티미디어 데이터는 영상 데이터, 음향 데이터 등을 포함할 수 있다.
특성 정보 검출부(120)는, 입력된 멀티미디어 데이터를 분석하여 멀티미디어 컨텐트의 소정 특성에 기반한 멀티미디어의 관리 또는 검색을 위한 특성 정보를 검출한다. 일 실시예에서 멀티미디어 컨텐트의 소정 특성은, 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성, 음향 데이터의 빠르기 특성 등을 포함할 수 있다.
예를 들어, 영상 데이터의 컬러 특성은, 영상의 컬러 레이아웃(color layout), 컬러 빈(bin) 별 누적 분포(이하, '컬러 히스토그램'라 한다.) 등을 포함할 수 있다. 영상 데이터의 컬러 특성에 대해서는 이하 도 8 및 9 를 참조하여 후술한다.
예를 들어, 영상 데이터의 텍스처 특성은, 영상 텍스처의 균등성(homogeneity), 평활도(smoothness), 정규성(regularity) 및 에지 방향성(orientation), 조밀도(coarseness) 등을 포함할 수 있다. 영상 데이터의 텍스처 특성에 대해서는 이하 도 16, 17, 18, 24, 25, 26 을 참조하여 후술한다.
예를 들어, 음향 데이터의 빠르기 특성은, 음향의 템포(tempo) 정보 등을 포함할 수 있다. 음향 데이터의 빠르기 특성에 대해서는, 이하 도 33을 참조하여 후술한다.
부호화 방식 결정부(130)는, 특성 정보 검출부(120)에 의해 추출된 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여, 멀티미디어의 특성에 기반한 부호화 방식을 결정할 수 있다.
특성 정보에 따라 결정된 소정 부호화 방식으로는, 부호화 프로세스의 여러가지 작업들 중 하나에 대한 부호화 방식일 수 있다. 예를 들어, 부호화 방식 결정 부(130)는 영상 데이터의 컬러 특성에 따라, 휘도 변화량의 보상치를 결정할 수 있다. 부호화 방식 결정부(130)는 영상 데이터의 텍스처 특성에 따라, 인터 예측에서 사용되는 데이터 처리 단위의 크기 및 추정 모드를 결정할 수 있다. 또한, 영상 데이터의 텍스처 특성에 따라 이용가능한 인트라 예측 모드의 종류 및 방향 등이 결정될 수 있다. 부호화 방식 결정부(130)는, 음향 데이터의 빠르기 특성에 따라 주파수 변환을 위한 데이터 처리 단위의 길이를 결정할 수 있다.
일 실시예에 따른 부호화 방식 결정부(130)는, 영상 데이터의 컬러 특성에 기초하여, 현재 영상 데이터의 화소값 및 참조 영상 데이터의 화소값 간의 변화량, 즉 휘도 변화량을 측정할 수 있다.
일 실시예에 따른 부호화 방식 결정부(130)는, 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터의 움직임 추정을 위한 데이터 처리 단위의 크기를 결정할 수 있다. 일 실시예에 따른 부호화 방식 결정부(130)에 의해 결정되는 시간적 움직임 추정을 위한 데이터 처리 단위는 매크로블록 등의 블록일 수 있다.
부호화 방식 결정부(130)는, 텍스처 특성 중 균등성에 기초하여 현재 영상 데이터가 더 균등할수록 움직임 추정을 위한 데이터 처리 단위의 크기가 더 크도록 결정할 수 있다. 또한, 텍스처 특성 중 평활도에 기초하여 현재 영상 데이터가 더 평활할수록 데이터 처리 단위의 크기가 더 크도록 결정될 수 있다. 또한, 텍스처 특성 중 정규성에 기초하여 현재 영상 데이터의 패턴이 더 규칙적일수록 데이터 처리 단위의 크기가 더 크도록 결정될 수 있다.
일 실시예에 따른 부호화 방식 결정부(130)는, 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터에 대해 수행 가능한 인트라 예측 모드의 종류 및 방향을 결정할 수 있다. 인트라 예측 모드의 종류는 방향성 예측 모드 및 DC 평균값 모드를 포함할 수 있으며, 인트라 예측 모드의 방향은 수직, 수평, 좌측 하단, 우측 하단, 수직 우측, 수평 하단, 수직 좌측 및 수평 상단 방향들을 포함할 수 있다.
일 실시예에 따른 부호화 방식 결정부(130)는, 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터의 에지 성분들을 분석하고, 에지 성분에 기초하여 다양한 인트라 예측 모드들 중 수행 가능한 인트라 예측 모드들을 결정할 수 있다. 일 실시예에 따른 부호화 방식 결정부(130)는, 영상 데이터의 주된 에지(dominant edge)에 따라 수행 가능한 인트라 예측 모드들 간의 우선 순위를 결정하여, 영상 데이터에 대해 수행 가능한 인트라 예측 모드 테이블을 생성할 수 있다.
일 실시예에 따른 부호화 방식 결정부(130)는, 음향 데이터의 빠르기 특성을 이용하여, 현재 음향 데이터의 주파수 변환을 위한 데이터 처리 단위를 결정할 수 있다. 음향 데이터의 주파수 변환을 위한 데이터 처리 단위는 프레임(frame), 윈도우(window) 등을 포함한다.
부호화 방식 결정부(130)는, 음향 데이터의 빠르기 특성 중 템포 정보에 기초하여, 현재 음향 데이터가 더 빠를수록 상기 데이터 처리 단위의 길이가 짧아지도록 결정할 수 있다.
멀티미디어 데이터 부호화부(140)는, 부호화 방식 결정부(130)에서 결정된 부호화 방식에 기초하여 입력부(110)에 입력된 멀티미디어 데이터를 부호화한다. 일 실시예에 따른 멀티미디어 부호화 장치(100)는 부호화된 멀티미디어 데이터를 비트스트림 형태로 출력할 수 있다.
멀티미디어 데이터 부호화부(140)는 기본적으로 움직임 추정, 움직임 보상, 인트라 예측, 주파수 변환, 양자화 및 엔트로피 부호화 등의 작업들을 수행함으로써 멀티미디어 데이터를 부호화할 수 있다. 일 실시예에 따른 멀티미디어 데이터 부호화부(140)는 움직임 추정, 움직임 보상, 인트라 예측, 주파수 변환, 양자화 및 엔트로피 부호화 중 적어도 하나의 작업을 멀티미디어 컨텐트 특성을 고려하여 수행할 수 있다.
일 실시예에 따른 멀티미디어 데이터 부호화부(140)는, 영상 데이터의 컬러 특성에 기초하여 결정된 화소값들 간의 변화량을 이용하여 화소값이 보상된 현재 영상 데이터를 부호화할 수 있다. 현재 영상 및 참조 영상 간에 급격한 휘도 변화가 있는 경우 잔차 성분이 많이 생성되므로, 영상 시퀀스의 시간적 유사성을 이용하는 부호화에 있어서 부정적인 결과가 야기된다. 따라서, 멀티미디어 부호화 장치(100)는 움직임 보상이 수행된 현재 영상 데이터에 대해, 참조 영상 데이터와 현재 영상 데이터의 휘도 변화량을 보상함으로써 보다 효율적인 부호화를 꾀할 수 있다.
일 실시예에 따른 멀티미디어 데이터 부호화부(140)는, 텍스처 특성에 기초하여 결정된 인터 예측 모드의 데이터 처리 단위를 이용하여 현재 영상 데이터에 대해 움직임 추정 또는 움직임 보상을 수행할 수 있다. 비디오 부호화는 현재 영상 데이터에 대해 다양한 데이터 처리 단위들로 인터 예측을 수행하고 최적의 데이터 처리 단위를 결정한다. 따라서, 데이터 처리 단위의 종류가 많을수록 인터 예측의 정확성을 향상될 수 있으나 연산 부담량이 가중된다.
일 실시예에 따른 멀티미디어 부호화 장치(100)는 현재 영상의 텍스처 성분에 기초하여 결정된 데이터 처리 단위를 이용하여 현재 영상 데이터에 대해 오차율 최적화를 수행함으로써 보다 효율적인 부호화를 꾀할 수 있다.
일 시예에 따른 멀티미디어 데이터 부호화부(140)는, 텍스처 특성에 기초하여 결정된 인트라 예측 모드를 이용하여 현재 영상 데이터에 대해 움직임 추정을 수행할 수 있다. 비디오 부호화는 현재 영상 데이터에 대해 다양한 예측 방향들 및 인트라 예측 모두의 종류로 인트라 예측을 수행해보고 최적의 예측 방향 및 인트라 예측 모드의 종류을 결정한다. 따라서, 인트라 예측 방향 및 인트라 예측 모드의 종류가 많을수록 연산 부담량이 가중된다.
일 실시예에 따른 멀티미디어 부호화 장치(100)는 현재 영상의 텍스처 특성에 기초하여 결정된 인트라 예측 방향 및 인트라 예측 모드의 종류를 이용하여 현재 영상 데이터에 대해 인트라 예측을 수행함으로써 보다 효율적인 부호화를 도모할 수 있다.
일 시예에 따른 멀티미디어 데이터 부호화부(140)는, 음향 데이터에 대해 길이가 결정된 데이터 처리 단위를 이용하여 현재 음향 데이터에 대해 주파수 변환을 수행할 수 있다. 오디오 부호화에서, 주파수 변환을 위한 시간상의 윈도우의 길이는, 주파수의 해상도 및 표현 가능한 시간상 음향의 변화를 결정할 수 있다. 일 실시예에 따른 멀티미디어 부호화 장치(100)는 현재 음향의 빠르기 특성에 기초하여 결정된 윈도우 길이를 이용하여 현재 음향 데이터에 대해 주파수 변환을 수행함으 로써 보다 효율적인 부호화를 꾀할 수 있다.
일 실시예에 따른 멀티미디어 데이터 부호화부(140)는, 음향 데이터의 빠르기 특성으로써 유용한 정보가 추출되지 않는 경우, 현재 음향 데이터의 주파수 변환을 위한 데이터 처리 단위의 길이를 고정 길이로 결정할 수 있다. 자연음과 같이 불규칙적인 음향의 경우 일정한 빠르기 특성이 추출되지 않으므로, 멀티미디어 데이터 부호화부(140)는 소정 길이의 데이터 처리 단위로 주파수 변환을 수행할 수 있다.
일 실시예에 따른 멀티미디어 부호화 장치(100)는 멀티미디어의 관리 또는 검색을 위한 특성 정보를 멀티미디어 컨텐트에 기반한 멀티미디어 관리 또는 검색을 위한 서술자(이하, '멀티미디어 컨텐트 특성 서술자'라 한다)로 부호화하는 멀티미디어 컨텍트 특성 서술자 부호화부(미도시)를 더 포함할 수 있다.
일 실시예에 따른 멀티미디어 컨텍트 특성 서술자 부호화부는, 영상 데이터의 컬러 특성을 나타내기 위해, 컬러 레이아웃(color layout)에 관한 메타데이터, 컬러 구조(color structure)에 관한 메타데이터 및 계층적 컬러(scalable color)에 관한 메타데이터 중 적어도 하나를 부호화할 수 있다.
일 실시예에 따른 멀티미디어 컨텍트 특성 서술자 부호화부는, 영상 데이터의 텍스처 특성을 나타내기 위해 에지 히스토그램(edge histogram)에 관한 메타데이터, 텍스처 브라우징(texture browsing)을 위한 메타데이터 및 텍스처 균등성(homogeneity of texture)에 관한 메타데이터 중 적어도 하나를 부호화할 수 있다.
일 실시예에 따른 멀티미디어 컨텍트 특성 서술자 부호화부는, 음향 데이터의 빠르기 특성을 나타내기 위해 오디오 템포(audio tempo)에 관한 메타데이터, 의미 속성 정보(semantic description information) 및 사이드 정보(side information) 중 적어도 하나를 부호화할 수 있다.
멀티미디어 관리 컨텐트 특성 서술자는 부호화된 멀티미디어 데이터가 삽입되는 비트스트림에 함께 포함될 수 있으며, 또는 부호화된 멀티미디어 데이터와는 별개의 비트스트림이 생성될 수도 있다.
일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 장치(100)는 멀티미디어 컨텐트의 특성에 기반하여 멀티미디어 데이터의 효과적인 부호화를 도모할 수 있다.
멀티미디어의 효율적인 부복호화 또는 멀티미디어 컨텐트의 관리 및 검색을 위해, 멀티미디어 컨텐트의 특성에 관한 정보가 서술자 형태로 별도로 제공될 수 있다. 특히 이 경우에는, 일 실시예에 따른 멀티미디어 부호화 장치(100)는 멀티미디어 컨텐트 특성에 기반한 정보 관리 또는 검색을 위한 서술자를 이용하여 컨텐트 특성을 추출할 수 있다. 따라서, 일 실시예에 따른 멀티미디어 부호화 장치(100)에 의해, 추가적인 컨텐트 특성 분석 없이 멀티미디어의 컨텐트 특성을 이용한 멀티미디어 데이터의 효과적인 부호화가 가능하다.
일 실시예에 따른 멀티미디어 부호화 장치(100)는, 컨텐트 특성 및 결정되는 부호화 방식에 따라 다양한 실시예들이 존재한다. 멀티미디어 부호화 장치(100)의 다양한 실시예들 중 영상 데이터의 컬러 특성에 따라 휘도 변화량 보상치가 결정되 는 경우는 이하 도 5를 참조하여 후술된다.
멀티미디어 부호화 장치(100)의 다양한 실시예들 중 영상 데이터의 텍스처 특성에 따라 인터 예측을 위한 데이터 처리 단위가 결정되는 경우는 이하 도 12를 참조하여 후술된다.
멀티미디어 부호화 장치(100)의 다양한 실시예들 중 영상 데이터의 텍스처 특성에 따라 인트라 예측 모드의 종류 및 방향이 결정되는 경우는 이하 도 21를 참조하여 후술된다.
멀티미디어 부호화 장치(100)의 다양한 실시예들 중 음향 데이터의 빠르기 특성에 따라 주파수 변환을 위한 데이터 처리 단위의 길이가 결정되는 경우는 이하 도 30를 참조하여 후술된다.
도 2 는 본 발명의 일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 장치의 블록도를 도시한다.
일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 장치(200)는 수신부(210), 특성 정보 추출부(220), 복호화 방식 결정부(230) 및 멀티미디어 데이터 복호화부(240)를 포함한다.
수신부(210)는, 멀티미디어 데이터 비트스트림을 수신하고 파싱하여 멀티미디어의 부호화된 데이터 및 멀티미디어에 대한 정보를 분류한다. 멀티미디어는 영상, 음향 등의 모든 종류의 데이터를 포함할 수 있다. 멀티미디어에 대한 정보는, 메타데이터, 컨텐트 특성 서술자 등을 포함할 수 있다.
특성 정보 추출부(220)는, 수신부(210)로부터 입력받은 멀티미디어에 대한 정보로부터 멀티미디어의 관리 또는 검색을 위한 특성 정보를 추출한다. 멀티미디어의 관리 또는 검색을 위한 특성 정보는 멀티미디어의 컨텐트 특성에 기반한 정보일 수 있다.
예를 들어, 멀티미디어의 컨텐트 특성 중 영상 데이터의 컬러 특성은, 영상의 컬러 레이아웃, 컬러 히스토그램 등을 포함할 수 있다. 멀티미디어의 컨텐트 특성 중 영상 데이터의 텍스처 특성은, 영상 텍스처의 균등성, 평활도, 정규성 및 에지 방향성, 조밀도 등을 포함할 수 있다. 멀티미디어의 컨텐트 특성 중 음향 데이터의 빠르기 특성은, 음향의 템포 정보 등을 포함할 수 있다.
일 실시예에 따른 특성 정보 추출부(220)는, 멀티미디어 컨텐트 특성에 기반한 멀티미디어 정보의 관리 및 검색을 위한 서술자로부터 멀티미디어 컨텐트의 특성 정보를 추출할 수 있다.
예를 들어, 일 실시예에 따른 특성 정보 추출부(220)는 컬러 레이아웃 서술자, 컬러 구조 서술자 및 계층적 컬러 서술자 중 적어도 하나로부터 영상 데이터의 컬러 특성 정보를 추출할 수 있다. 또한, 일 실시예에 따른 특성 정보 추출부(220)는 에지 히스토그램 서술자, 텍스처 브라우징 서술자 및 균등 텍스처 서술자 중 적어도 하나로부터 영상 데이터의 텍스처 특성 정보를 추출할 수 있다. 또한, 일 실시예에 따른 특성 정보 추출부(220)는 오디오 템포 서술자, 의미 속성 정보 및 사이드 정보 중 적어도 하나로부터 음향 데이터의 빠르기 특성 정보를 추출할 수 있다.
복호화 방식 결정부(230)는, 특성 정보 추출부(220)로부터 추출된 멀티미디 어의 관리 또는 검색을 위한 특성 정보를 이용하여 멀티미디어의 특성에 기반한 복호화 방식을 결정한다.
일 실시예에 따른 복호화 방식 결정부(230)는, 영상 데이터의 컬러 특성에 기초하여, 현재 영상 데이터의 화소값 및 참조 영상 데이터의 화소값 간의 변화량, 즉 휘도 변화량을 측정할 수 있다.
일 실시예에 따른 복호화 방식 결정부(230)는, 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터의 움직임 추정을 위한 데이터 처리 단위의 크기를 결정할 수 있다. 인터 예측의 움직임 추정을 위한 데이터 처리 단위는 매크로블록 등의 블록일 수 있다.
일 실시예에 따른 복호화 방식 결정부(230)는, 현재 영상 데이터의 텍스처 특성 중 균등성, 평활도 및 정규성 중 하나가 높을수록 현재 영상 데이터의 인터 예측을 위한 데이터 처리 단위의 크기가 더 크도록 결정될 수 있다.
일 실시예에 따른 복호화 방식 결정부(230)는, 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터의 에지 성분들을 분석하고, 에지 성분에 기초하여 다양한 인트라 예측 모드들 중 수행 가능한 인트라 예측 모드들을 결정할 수 있다. 일 실시예에 따른 복호화 방식 결정부(230)는, 영상 데이터의 주된 에지에 따라 수행 가능한 인트라 예측 모드들 간의 우선 순위를 결정하여, 영상 데이터에 대해 수행 가능한 인트라 예측 모드 테이블을 생성할 수도 있다.
일 실시예에 따른 복호화 방식 결정부(230)는, 음향 데이터의 빠르기 특성을 이용하여, 현재 음향 데이터의 주파수 변환을 위한 데이터 처리 단위를 결정할 수 있다. 음향 데이터의 주파수 변환을 위한 데이터 처리 단위는 프레임, 윈도우 등을 포함한다. 일 실시예에 따른 복호화 방식 결정부(230)는, 음향 데이터의 빠르기 특성 중 템포 정보에 기초하여, 현재 음향 데이터가 더 빠를수록 상기 데이터 처리 단위의 길이가 짧아지도록 더 결정할 수 있다.
멀티미디어 데이터 복호화부(240)는, 복호화 방식 결정부(230)에서 결정된 멀티미디어의 특성에 기반한 복호화 방식에 따라, 수신부(210)로부터 입력된 멀티미디어의 부호화된 데이터를 복호화한다.
멀티미디어 데이터 복호화부(240)는 기본적으로 움직임 추정, 움직임 보상, 인트라 예측, 역주파수 변환, 역양자화 및 엔트로피 복호화 등의 작업들을 수행함으로써 멀티미디어 데이터를 복호화할 수 있다. 일 실시예에 따른 멀티미디어 데이터 복호화부(240)는 움직임 추정, 움직임 보상, 인트라 예측, 역주파수 변환, 역양자화 및 엔트로피 복호화 중 적어도 하나의 작업을 멀티미디어 컨텐트 특성을 고려하면서 수행할 수 있다.
일 실시예에 따른 멀티미디어 데이터 복호화부(240)는, 역주파수 변환된 현재 영상 데이터에 대해 움직임 보상을 수행하고, 영상 데이터의 컬러 특성에 기초하여 결정된 화소값들 간의 변화량을 이용하여 현재 영상 데이터의 화소값을 보상할 수 있다.
일 실시예에 따른 멀티미디어 데이터 복호화부(240)는, 텍스처 특성에 기초하여 결정된 데이터 처리 단위의 크기가 결정된 인터 예측 모드에 따라, 현재 영상 데이터에 대해 움직임 추정 또는 움직임 보상을 수행할 수 있다.
일 시예에 따른 멀티미디어 데이터 복호화부(240)는, 텍스처 특성에 기초하여 결정된 인트라 예측 방향 및 인트라 예측 모드의 종류가 결정된 인트라 예측 모드에 따라, 현재 영상 데이터에 대해 인트라 예측을 수행할 수 있다.
일 시예에 따른 멀티미디어 데이터 복호화부(240)는, 음향 데이터의 빠르기 특성에 기초하여 주파수 변환을 위한 데이터 처리 단위의 길이가 결정됨에 따라, 현재 음향 데이터에 대해 역주파수 변환을 수행할 수 있다.
일 실시예에 따른 멀티미디어 데이터 복호화부(240)는, 음향 데이터의 빠르기 특성으로써 유용한 정보가 추출되지 않는 경우, 현재 음향 데이터의 역주파수 변환을 위한 데이터 처리 단위의 길이를 고정 길이로 결정하여 역주파수 변환을 수행할 수 있다.
일 실시예에 따른 멀티미디어 복호화 장치(200)는 복호화된 멀티미디어 데이터를 복원하여 출력하는 복원부(미도시)를 더 포함할 수 있다.
일 실시예에 따른 멀티미디어 복호화 장치(200)는 멀티미디어의 컨텐트 특성을 고려하여 복호화를 하기 위해, 멀티미디어 정보의 관리 및 검색을 위해 제공되는 서술자를 이용하여 멀티미디어의 컨텐트 특성을 추출할 수 있다. 따라서, 일 실시예에 따른 멀티미디어 복호화 장치(200)는 멀티미디어의 컨텐트 특성을 직접 분석하는 추가 작업 또는 새로운 추가 정보 없이도, 멀티미디어를 효율적으로 복호화할 수 있다.
일 실시예에 따른 멀티미디어 복호화 장치(200)는, 컨텐트 특성 및 결정되는 복호화 방식에 따라 다양한 실시예들이 존재한다. 멀티미디어 복호화 장치(200)의 다양한 실시예들 중 영상 데이터의 컬러 특성에 따라 휘도 변화량 보상치가 결정되는 경우는 이하 도 6를 참조하여 후술된다.
멀티미디어 복호화 장치(200)의 다양한 실시예들 중 영상 데이터의 텍스처 특성에 따라 인터 예측을 위한 데이터 처리 단위가 결정되는 경우는 이하 도 13를 참조하여 후술된다.
멀티미디어 복호화 장치(200)의 다양한 실시예들 중 영상 데이터의 텍스처 특성에 따라 인트라 예측 모드의 종류 및 방향이 결정되는 경우는 이하 도 22를 참조하여 후술된다.
멀티미디어 복호화 장치(200)의 다양한 실시예들 중 음향 데이터의 빠르기 특성에 따라 역주파수 변환을 위한 데이터 처리 단위의 길이가 결정되는 경우는 이하 도 31를 참조하여 후술된다.
도 1 및 2를 참조하여 전술된 일 실시예에 따른 멀티미디어 부호화 장치(100) 및 멀티미디어 복호화 장치(200)는 공간적 예측 또는 시간적 예측에 기반한 비디오 부/복호화 장치 또는 이러한 비디오 부/복호화 장치를 사용하는 모든 영상 처리 방법 및 장치에 적용 가능하다.
예를 들어, 일 실시예에 따른 멀티미디어 부호화 장치(100) 및 멀티미디어 복호화 장치(200)의 프로세스는 핸드폰과 같은 이동 통신 기기, 캠코더, 디지털 카메라와 같은 영상 촬상 장치, 멀티미디어 플레이어 또는 포터블 멀티미디어 플레이어(PMP), 차세대 DVD 등의 멀티미디어 재생 장치 및 소프트웨어 비디오 코덱 등에 적용 가능하다.
또한, 일 실시예에 따른 멀티미디어 부호화 장치(100) 및 멀티미디어 복호화 장치(200)는 MPEG-7, H.26X 등의 현재 영상 압축 규격 표준 뿐만 아니라 차세대 영상 압축 규격 표준에도 적용될 수 있다.
일 실시예에 따른 멀티미디어 부호화 장치(100) 및 멀티미디어 복호화 장치(200)의 프로세스는, 영상 압축 기능 뿐만 아니라 영상 압축과 동시에 또는 독립적으로 사용되는 검색 기능을 제공하는 미디어 어플리케이션에도 적용될 수 있다.
메타데이터는 컨텐트를 효과적으로 표현하는 정보를 수록하고 있으며, 메타데이터에 수록된 정보 중에는 멀티미디어 데이터의 부호화 또는 복호화에 유용한 일부 정보를 포함하고 있다. 따라서, 비록 메타데이터의 신택스 정보는 정보 검색을 위해 제공되고 있지만, 신택스 정보 및 음향 데이터의 밀접한 연관성을 이용하여, 음향 데이터의 부호화 또는 복호화 효율의 증대를 도모할 수 있다.
도 3 은 종래 비디오 부호화 장치의 블록도를 도시한다.
종래 비디오 부호화 장치(300)는 주파수 변환부(340), 양자화부(350), 엔트로피 부호화부(360), 움직임 추정부(320), 움직임 보상부(325), 인트라 예측부(330), 역주파수 변환부(370), 디블로킹 필터링부(380) 및 버퍼(390)를 포함할 수 있다.
주파수 변환부(340)는 입력 시퀀스(305) 중 소정 영상 및 참조 영상의 잔차 성분을 주파수 영역(frequency domain)의 데이터로 변환하고, 양자화부(350)는 주파수 영역으로 변환된 데이터를 유한한 개수의 값으로 근사화한다. 엔트로피 부호 화부(360)는 양자화된 값을 무손실 부호화함으로써 입력 시퀀스(305)가 부호화된 비트스트림(365)이 출력된다.
입력 시퀀스(305) 중 서로 다른 영상 간의 시간적 유사성을 이용하기 위해, 움직임 추정부(320)를 통해 서로 다른 영상 간의 움직임을 추정하고, 움직임 보상부(325)는 참조 영상에 대해 상대적으로 추정된 움직임을 고려하여 현재 영상의 움직임을 보상할 수 있다.
또한, 입력 시퀀스(305) 중 한 영상의 서로 다른 영역의 공간적 유사성을 이용하기 위해, 인트라 예측부(330)는 현재 영상의 현재 영역과 가장 유사한 참조 영역을 예측한다.
따라서, 현재 영상의 잔차 성분을 구하기 위한 참조 영상은, 시간적 유사성(temporal redundancy)에 기초하여 움직임 보상부(325)에 의해 움직임이 보상된 영상일 수 있다. 또는, 참조 영상은 동일 영상 내의 공간적 유사성(spatial redundancy)에 기초하여 인트라 예측부(330)를 통해 인트라 예측 모드로 예측된 영상일 수 있다.
디블로킹 필터링부(380)는, 양자화된 값이 역주파수 변환부(370)에 의해 공간 영역(spatial domain)의 데이터로 변환되고 참조 영상 데이터와 더한 영상 데이터에 대해 주파수 변환, 양자화, 움직임 추정 등의 데이터 처리 단위의 경계선에 대서 발생한 블로킹 효과(blocking artifact)를 감소시킨다. 디블로킹 필터링된 복호화된 픽처는 버퍼(390)에 저장될 수 있다.
도 4 은 종래 비디오 복호화 장치의 블록도를 도시한다.
종래 비디오 복호화 장치(400)는 엔트로피 복호화부(420), 역양자화부(430), 역주파수 변환부(440), 움직임 추정부(450), 움직임 보상부(455), 인트라 예측부(460), 디블로킹 필터링부(470) 및 버퍼(480)를 포함한다.
입력된 비트스트림(405)는 엔트로피 복호화부(420) 및 역양자화부(430)를 거쳐 무손실 복호화되어 역양자화되고, 역주파수 변환부(440)는 역양자화된 데이터에 대해 역주파수 변환하여, 공간 영역의 영상 데이터를 출력한다.
움직임 추정부(450) 및 움직임 보상부(455)는 디블로킹된 참조 영상 및 움직임 벡터를 이용하여 서로 다른 영상 간의 시간적 움직임을 보상하고, 인트라 예측부(460)는 디블로킹된 참조 영상 및 참조 인덱스를 이용하여 인트라 예측을 수행한다.
움직임 보상되거나 인트라 예측된 참조 영상 및 공간 영역으로 역주파수 변환된 잔차 성분이 더해져 현재 영상 데이터가 생성된다. 현재 영상 데이터는 디블로킹 필터링부(470)를 거침으로써, 역주파수 변환, 역양자화, 움직임 추정 등의 데이터 처리 단위의 경계선에서 발생한 블로킹 효과(blocking artifact)가 감소된다. 복호화되고 디블로킹 필터링된 픽처는 버퍼(480)에 저장될 수 있다.
종래 비디오 부호화 장치(300) 및 종래 비디오 복호화 장치(400)는, 영상을 표현하기 위한 데이터의 양을 줄이기 위해 연속적인 영상들 간의 시간적 유사성, 한 영상 내의 인접 영역들 간의 공간적 유사성을 이용하지만, 영상의 특성은 전혀 고려하고 있지 않다.
이하, 도 5 내지 11을 참조하여 컨텐트 특성 중 컬러 특성에 기반하여 영상 데이터를 부호화 또는 복호화하는 제 1 실시예에 관해 상술한다.
이하, 도 12 내지 20을 참조하여 컨텐트 특성 중 텍스처 특성에 기반하여 영상 데이터를 부호화 또는 복호화하는 제 2 실시예에 관해 상술한다.
이하, 도 21 내지 29를 참조하여 컨텐트 특성 중 텍스처 특성에 기반하여 영상 데이터를 부호화 또는 복호화하는 제 3 실시예에 관해 상술한다.
이하, 도 30 내지 35를 참조하여 컨텐트 특성 중 빠르기 특성에 기반하여 음향 데이터를 부호화 또는 복호화하는 제 4 실시예에 관해 상술한다.
이하, 도 5 내지 11을 참조하여 컨텐트 특성 중 컬러 특성에 기반하여 영상 데이터를 부호화 또는 복호화하는 제 1 실시예에 관해 상술한다.
도 5 는 본 발명의 제 1 실시예에 따른 멀티미디어의 컬러 특성에 기반한 멀티미디어 부호화 장치의 블록도를 도시한다.
제 1 실시예에 따른 멀티미디어 부호화 장치(500)는 컬러 특성 정보 검출부(510), 움직임 추정부(520), 움직임 보상부(525), 인트라 예측부(530), 주파수 변환부(540), 양자화부(550), 엔트로피 부호화부(560), 역주파수 변환부(570), 디블로킹 필터링부(580), 버퍼(590) 및 컬러 특성 서술자 부호화부(515)를 포함한다.
제 1 실시예에 따른 멀티미디어 부호화 장치(500)의 전체적인 부호화 프로세스는, 입력 시퀀스(505)의 연속적인 영상의 시간적 유사성 및 한 영상 내의 공간적 유사성을 이용하여 중복되는 데이터가 생략되어 부호화된 비트스트림(565)을 생성 하기 위함이다.
즉, 움직임 추정부(520) 및 움직임 보상부(525)을 통한 인터 예측 및 움직임 보상이 수행되고, 인트라 예측부(530)를 통한 인트라 예측이 수행되며, 주파수 변환부(540), 양자화부(550) 및 엔트로피 부호화부(560)를 통한 부호화된 비트스트림(565)이 생성된다. 역주파수 변환부(570) 및 디블로킹 필터링부(580)를 거쳐 부호화 작업 중 발생할 수 있는 블로킹 효과가 제거될 수 있다.
제 1 실시예에 따른 멀티미디어 부호화 장치(500)는 종래 비디오 부호화 장치(300)에 비해 컬러 특성 정보 검출부(510) 및 컬러 특성 서술자 부호화부(515)를 더 구비한다. 또한, 컬러 특성 정보 검출부(510)에 의해 검출된 컬러 특성 정보를 이용하는 움직임 보상부(525)의 동작이 종래 비디오 부호화 장치(300)의 움직임 보상부(325)와 구별된다.
일 실시예에 따른 컬러 특성 정보 검출부(510)는 입력 시퀀스(505)를 분석하여 컬러 히스토그램 또는 컬러 레이아웃을 추출한다. 예를 들어 YCbCr 컬러 규격에 의할 때, 컬러 레이아웃은 각각의 서브 영상마다 Y, Cb, 및 Cr 컬러 성분별로 이산 코사인 변환된 계수 값들을 포함한다.
컬러 특성 정보 검출부(510)는 현재 영상 및 참조 영상의 각각의 컬러 히스토그램 또는 컬러 레이아웃을 이용하여 양 영상들 간의 휘도 변화량를 측정할 수 있다. 현재 영상 및 참조 영상은 연속적인 영상들일 수 있다.
움직임 보상부(525)는 움직임 보상 후 예측된 영역에 휘도 변화량을 더함으로써 급격한 휘도 변화를 보상할 수 있다. 예를 들어, 컬러 특성 정보 검출부(510) 는 측정된 휘도 변화량을 예측된 영역 내의 픽셀들의 평균값에 더할 수 있다.
급작스러운 휘도 변화는 잔차 성분(residual)을 증가시키므로 영상 데이터 부호화의 효율성이 떨어질 수 있다. 따라서, 컬러 특성을 이용하여 연속적인 영상 데이터의 화소값들 간의 변화량을 측정하고, 이전 영상 데이터과 현재 영상 데이터의 화소값들 간의 변화량을 이용하여 현재 영상 데이터의 화소값을 보상한 후 움직임 보상을 수행함으로써 효율적인 부호화를 꾀할 수 있다.
일 실시예에 따른 컬러 특성 정보 검출부(510)에서 검출된 컬러 특성이 컬러 레이아웃인 경우, 일 실시예에 따른 컬러 특성 서술자 부호화부(515)는 컬러 레이아웃 정보를 이용하여 컬러 레이아웃에 관한 메타데이터로 부호화할 수 있다. 예를 들어 MPEG-7 표준 압축 규격 기반의 환경에서, 컬러 레이아웃에 관한 메타데이터의 일례는 컬러 레이아웃 서술자(color layout descriptor)일 수 있다.
또는, 일 실시예에 따른 컬러 특성 정보 검출부(510)에서 검출된 컬러 특성이 컬러 히스토그램인 경우, 일 실시예에 따른 컬러 특성 서술자 부호화부(515)는 컬러 히스토그램 정보를 이용하여 컬러 구조에 관한 메타데이터 또는 계층적 컬러에 관한 메타데이터로 부호화할 수 있다.
예를 들어 MPEG-7 표준 압축 규격 기반의 환경에서, 컬러 구조에 관한 메타데이터의 일례는 컬러 구조 서술자(color structure descriptor)일 수 있다. 또한, MPEG-7 표준 압축 규격 기반의 환경에서 계층적 컬러에 관한 메타데이터의 일례는 계층적 컬러 서술자(scalable color descriptor)일 수 있다.
컬러 레이아웃에 관한 메타데이터, 컬러 구조에 관한 메타데이터 및 계층적 컬러에 관한 메타데이터는 각각 멀티미디어 컨텐트의 정보 관리 및 검색을 위한 서술자에 해당한다.
컬러 레이아웃 서술자는, 컬러 특성을 개략적으로 나타내는 서술자이다. 입력된 이미지를 YCbCr의 컬러 공간으로 변환하고, 8×8 화소 크기의 작은 영역으로 분할하여 각각의 영역마다 화소값의 평균을 구하여 생성한다. 생성된 작은 영역의 Y, Cb, Cr의 각각의 컬러 성분에 대해 8×8 이산 코사인 변환을 수행하고 변환된 계수의 개수를 선택함으로서 컬러 특징이 추출될 수 있다.
컬러 구조 서술자는, 한 이미지의 컬러 빈 값의 공간적인 분포를 나타내는 서술자이다. CIF 크기(가로크기 352개 화소, 세로크기 288개 화소)의 이미지를 기준으로 하여 8×8 크기의 윈도우 마스크를 이용하여 로컬 히스토그램을 추출한다. 로컬 히스토그램의 컬러 빈 값들이 존재하는 경우에 최종 히스토그램을 갱신하게 되어 컬러 빈마다 해당하는 컬러 성분의 누적 공간적 분포가 분석될 수 있다.
계층적 컬러 서술자는, 컬러 히스토그램 서술자가 변형된 형태로서 컬러 히스토그램을 하르 변환(Haar transform)함으로써 계층성을 확보하여 표현하는 컬러 서술자이다.
컬러 특성 서술자 부호화부(515)에 의해 부호화된 컬러 특성 서술자는 부호화된 멀티미디어 데이터처럼 비트스트림(565)에 포함될 수 있다. 또는 부호화된 멀티미디어 데이터와는 다른 비트스트림으로 출력될 수도 있다.
일 실시예에 따른 멀티미디어 부호화 장치(100)와 비교해보면, 입력 시퀀스(505)가 입력부(110)를 통해 입력된 영상에 대응되며, 특성 정보 검출부(120) 및 부호화 방식 결정부(130)에 컬러 특성 정보 검출부(510)가 대응될 수 있다. 멀티미디어 데이터 부호화부(140)는 움직임 추정부(520), 움직임 보상부(525), 인트라 예측부(530), 주파수 변환부(540), 양자화부(550), 엔트로피 부호화부(560), 역주파수 변환부(570), 디블로킹 필터링부(580) 및 버퍼(590)에 대응될 수 있다.
움직임 보상부(525)는 움직임 보상 이후, 컬러 특성 정보 검출부(510)에서 측정된 휘도 변화량 보상치를 움직임 보상된 영상에 대해 합산함으로써, 급격한 휘도 변화에 의한 잔차 성분의 증가 또는 인트라 추정의 횟수 증가를 방지할 수 있다.
컬러 특성 정보 검출부(510)의 다른 실시예는, 참조 영상 및 현재 영상의 추출된 컬러 특성을 이용하여, 양 영상 간의 휘도 변화 정도에 따라 인터 예측 또는 인트라 예측을 수행할지 여부를 결정할 수도 있다. 예를 들어, 참조 영상 및 현재 영상 간의 휘도 변화가 소정 임계치보다 작으면 인트라 예측을 수행하도록 하고, 참조 영상 및 현재 영상 간의 휘도 변화가 소정 임계치 이상이면 인터 예측을 수행하도록 결정될 수 있다.
도 6 은 본 발명의 제 1 실시예에 따른 멀티미디어의 컬러 특성에 기반한 멀티미디어 복호화 장치의 블록도를 도시한다.
제 1 실시예에 따른 멀티미디어 복호화 장치(600)는 컬러 특성 정보 추출부(610), 엔트로피 복호화부(620), 역양자화부(630), 역주파수 변환부(640), 움직임 추정부(650), 움직임 보상부(655), 인트라 예측부(660), 디블로킹 필터링부(670) 및 버퍼(680)를 포함한다.
제 1 실시예에 따른 멀티미디어 복호화 장치(600)의 전체적인 복호화 프로세스는, 입력 비트스트림(605)의 부호화된 멀티미디어 데이터 및 멀티미디어 데이터에 대한 제반 정보를 이용하여 복원 영상을 생성하기 위함이다.
즉, 비트스트림(605)은 엔트로피 복호화부(620)을 통해 무손실 복호화되고, 역양자화부(630) 및 역주파수 변환부(640)를 통해 공간 영역의 잔차 성분이 복호화된다. 움직임 추정(650) 및 움직임 보상부(655)는 참조 영상 및 움직임 벡터를 이용하여 시간적 움직임 추정 및 움직임 보상을 수행하고, 인트라 예측부(660)는 참조 영상 및 인덱스 정보를 이용하여 인트라 예측을 수행할 수 있다.
잔차 성분 및 참조 영상이 합해진 영상은 디블로킹 필터링(670)를 거쳐 복호화 작업 중 발생할 수 있는 블로킹 효과가 감소될 수 있다. 복호화된 픽처 등은 버퍼(680)에 저장될 수 있다.
제 1 실시예에 따른 멀티미디어 복호화 장치(600)는 종래 비디오 복호화 장치(400)에 비해 컬러 특성 정보 추출부(610)를 더 구비한다. 또한, 컬러 특성 정보 추출부(610)에 의해 추출된 컬러 특성 정보를 이용하는 움직임 보상부(655)의 동작이 종래 비디오 복호화 장치(400)의 움직임 보상부(455)와 구별된다.
일 실시예에 따른 컬러 특성 정보 추출부(610)는 입력된 비트스트림(605)으로부터 분류된 컬러 특성 서술자를 이용하여 컬러 특성 정보를 추출할 수 있다. 예를 들어, 컬러 특성 서술자가 컬러 레이아웃에 관한 메타데이터, 컬러 구조에 관한 메타데이터 및 계층적 컬러에 관한 메타데이터 중 어느 하나이면, 컬러 레이아웃 또는 컬러 히스토그램이 추출될 수 있다.
예를 들어 MPEG-7 표준 압축 규격 환경에서, 컬러 레이아웃에 관한 메타데이터, 컬러 구조에 관한 메타데이터 및 계층적 컬러에 관한 메타데이터는 각각 컬러 레이아웃 서술자, 컬러 구조 서술자 및 계층적 컬러 서술자일 수 있다.
컬러 특성 정보 추출부(610)는, 참조 영상 및 현재 영상의 컬러 특성으로부터 참조 영상 및 현재 영상의 휘도 변화량을 측정할 수 있다. 움직임 보상부(655)는 움직임 보상 후 예측된 영역에 휘도 변화량을 더함으로써 급격한 휘도 변화를 보상할 수 있다. 예를 들어, 컬러 특성 정보 추출부(610)에서 측정된 휘도 변화량이 예측된 영역 내의 픽셀들의 평균값에 더해질 수 있다.
일 실시예에 따른 멀티미디어 복호화 장치(200)와 비교해보면, 입력 비트스트림(605)이 수신부(210)를 통해 입력된 비트스트림에 대응되며, 특성 정보 추출부(220) 및 복호화 방식 결정부(230)에 컬러 특성 정보 추출부(610)가 대응될 수 있다. 멀티미디어 데이터 복호화부(240)는 움직임 추정부(650), 움직임 보상부(655), 인트라 예측부(660), 역주파수 변환부(640), 역양자화부(630), 엔트로피 복호화부(620), 디블로킹 필터링부(670) 및 버퍼(680)에 대응될 수 있다.
급격한 휘도 변화에 의해 부호화 효율이 떨어질 수 있으므로, 부호화단에서 휘도 변화가 보상된 채로 부호화된 비트스트림을 복호화하는 경우, 움직임 보상 후 복호화된 영상 데이터에 대해 휘도 변화량을 다시 반대로 보상하여야 원 영상이 복원될 수 있다.
컬러 특성 정보 추출부(610)의 다른 실시예는, 참조 영상 및 현재 영상의 추출된 컬러 특성을 이용하여, 양 영상 간의 휘도 변화 정도에 따라 인터 예측 또는 인트라 예측을 수행할지 여부를 결정할 수도 있다. 예를 들어, 참조 영상 및 현재 영상 간의 휘도 변화가 소정 임계치보다 작으면 인트라 예측을 수행하도록 하고, 참조 영상 및 현재 영상 간의 휘도 변화가 소정 임계치 이상이면 인터 예측을 수행하도록 결정될 수 있다.
도 7 은 본 발명의 제 1 실시예에 따라 컬러 특성을 이용하여 측정하는 연속적인 프레임 간의 휘도 변화를 도시한다.
플래시 라이트와 같은 급격한 휘도 변화가 발생하는 경우, 원본 영상 및 예측 영상 간에는 DC 값의 변화가 발생한다. DC 값의 급격한 변화는 또한 인터 예측 대신 인트라 예측을 유도하므로 부호화 효율면에 있어서 바람직하지 못하다.
참조 영상(700)의 참조 영역(710)을 이용하여, 현재 영상(750)의 현재 영역(760) 간의 휘도 변화량을 구하고자 하는 경우, 컬러 레이아웃 서술자를 이용할 수 있다. 컬러 레이아웃 서술자(color layout description, CLD)는 한 영상의 64개의 서브 영상마다 Y, Cr, Cb 컬러 성분별 대표값의 주파수 변환된 값을 가리킨다. 따라서 참조 영역(710) 및 현재 영상(750)의 각각의 컬러 레이아웃 서술자의 역주파수 변환한 값 간의 변화량(±△CLD )을 이용하면, 아래 수학식 1과 같은 관계를 유도할 수 있다.
±△CLD = (참조 영역의 평균 화소값) - (현재 영역의 평균 화소값)
±△CLD 는 참조 영역(710) 및 현재 영역(760)의 휘도의 변화량에 대응될 수 있다. 따라서, 컬러 특성 정보 검출부(510) 또는 컬러 특성 서술자 추출부(610)는 참조 영역(710) 및 현재 영상(750)의 각각의 컬러 레이아웃 서술자의 역주파수 변환한 값 간의 변화량(±△CLD )을 측정하고, 움직임 보상된 현재 영역에 휘도 변화량으로써 ±△CLD 가 보상될 수 있다.
도 8 은 본 발명의 제 1 실시예에 따라 컬러 특성으로써 이용되는 컬러 히스토그램을 도시한다.
컬러 히스토그램(800)의 히스토그램 빈(가로축)은 컬러별 세기를 나타낸다. 제 1 히스토그램(810), 제 2 히스토그램(820), 제 3 히스토그램(830)은 각각 연속하는 세 영상인 제 1 영상, 제 2 영상 및 제 3 영상에 대한 컬러 히스토그램이다.
제 1 히스토그램(810) 및 제 3 히스토그램(830)은 거의 비슷한 강도 및 분포를 보이는데 반해, 제 2 히스토그램(820)은 제 1 히스토그램(810) 및 제 3 히스토그램(830)에 비해 최우측 히스토그램 빈에 대한 누적 분포가 압도적으로 높다.
이는 일상적인 조명 아래에서 촬영되다가(제 1 영상), 갑자기 플래쉬 라이트(flashlight)가 조영되어 급격한 휘도 변화가 생기고(제 2 영상), 플래쉬 라이트가 없어지면 다시 일상적인 조명으로 돌아온 경우(제 3 영상)에 제 1 히스토그램(810), 제 2 히스토그램(820), 제 3 히스토그램(830)과 같은 결과가 나올 수 있다.
따라서 컬러 히스토그램들(810, 820, 830) 간의 차이를 분석하면 영상들의 급격한 휘도 변화가 발생한 영상이 검출될 수 있으며, 영상 레벨이 파악될 수 있다.
도 9 은 본 발명의 제 1 실시예에 따라 컬러 특성으로써 이용되는 컬러 레이아웃을 도시한다.
원본 영상(900)을 서브 영상(905)과 같은 64개의 서브 영상으로 구획하고, 각각의 서브 영상마다 컬러 성분별 평균값을 구함으로써 컬러 레이아웃이 생성된다. 서브 영상(905)의 Y 성분, Cb 성분, Cr 성분의 각각에 대해 8×8 이산 코사인 변환을 수행하고, 변환된 계수에 대해 지그재그 스캐닝 순서에 따라 가중치를 부여함으로써 생성되는 이진 부호가 컬러 레아이웃 서술자이다. 컬러 레이아웃 서술자는 복호화단에 전송될 수 있으며, 스케치 기반의 검색(sketch-based retrieval)에 이용될 수 있다.
현재 영상의 컬러 레이아웃(910)은, 현재 영상(910)의 서브 영상별 Y 성분의 평균값들(912), Cr 성분의 평균값들(914), Cb 성분의 평균값들(916)을 포함한다. 또한, 참조 영상의 컬러 레이아웃(920)은, 현재 영상(920)의 서브 영상별 Y 성분의 평균값들(922), Cr 성분의 평균값들(924), Cb 성분의 평균값들(926)을 포함한다.
본 발명의 제 1 실시예에서는, 현재 영상의 컬러 레이아웃(910) 및 참조 영상의 컬러 레이아웃(920)의 차이값이 수학식 1의 ±△CLD으로써, 현재 영상 및 참조 영상 간의 휘도 변화량으로 이용될 수 있다. 따라서, 제 1 실시예에 따른 움직임 보상부(525) 또는 움직임 보상부(655)는 현재 영상의 컬러 레이아웃(910) 및 참조 영상의 컬러 레이아웃(920)의 차이값을 움직임 보상된 현재 예측 영상에 더함으로 써 휘도 변화를 보상할 수 있다.
도 10 은 본 발명의 제 1 실시예에 따른 멀티미디어의 컬러 특성에 기반한 멀티미디어 부호화 방법의 흐름도를 도시한다.
단계 1010에서, 멀티미디어 데이터가 입력된다.
단계 1020에서, 멀티미디어의 관리 또는 검색을 위한 특성 정보로써 영상 데이터의 컬러 정보가 검출된다. 컬러 정보는, 컬러 히스토그램, 컬러 레이아웃 등일 수 있다.
단계 1030에서, 영상 데이터의 컬러 특성에 기반하여 움직임 보상 후 휘도 변화량의 보상치가 결정될 수 있다. 현재 영상 및 참조 영상의 각각의 컬러 히스토그램들 간의 차이 또는 각각의 컬러 레이아웃들 간의 차이를 이용하여 휘도 변화량의 보상치가 결정될 수 있다. 움직임 보상된 현재 영상에 휘도 변화량의 보상치가 합산됨으로써 현재 영상의 급격히 변화된 휘도가 보상될 수 있다.
단계 1040에서, 멀티미디어 데이터가 부호화될 수 있다. 멀티미디어 데이터는, 주파수 변환, 양자화, 디블로킹 필터링, 엔트로피 부호화 등을 거쳐 부호화되어 비트스트림 형태로 출력될 수 있다.
단계 1010에서 추출된 컬러 특성은 컬러 레이아웃에 관한 메타데이터, 컬러 구조에 관한 메타데이터, 계층적 컬러에 관한 메타데이터 등으로 부호화되어, 복호화단에서 멀티미디어 컨텐트 특성에 기반한 멀티미디어 정보의 검색 또는 관리를 위해 이용될 수 있다. 서술자는 부호화된 멀티미디어 데이터와 함께 비트스트림 형태로 출력될 수 있다.
일 실시예에 따른 멀티미디어 부호화 장치(100)에 의해 예측된 블록의 PSNR이 향상되고, 잔차 성분의 계수가 감소되어 부효화 효율이 높이질 수 있다. 물론 서술자를 이용하여 멀티미디어 정보를 검색할 수 있음 이미 전술한 바와 같다
도 11 은 본 발명의 제 1 실시예에 따른 멀티미디어의 컬러 특성에 기반한 멀티미디어 복호화 방법의 흐름도를 도시한다.
단계 1110에서, 멀티미디어 데이터 비트스트림이 수신된다. 비트스트림은 파싱되어 멀티미디어의 부호화된 데이터 및 멀티미디어에 관한 정보 데이터 등으로 분류될 수 있다.
단계 1120에서, 멀티미디어의 관리 또는 검색을 위한 특성 정보로써 영상 데이터의 컬러 정보가 추출될 수 있다. 멀티미디어의 관리 또는 검색을 위한 특성 정보는, 멀티미디어 컨텐트 특성에 기반한 멀티미디어 정보의 관리 및 검색을 위한 서술자로부터 추출될 수 있다.
단계 1130에서, 영상 데이터의 컬러 특성에 기반하여 움직임 보상 후 휘도 변화량 보상치가 결정될 수 있다. 컬러 특성 중 컬러 히스토그램, 컬러 레이아웃 등을 이용하여 현재 영역의 컬러 성분 평균값 및 참조 영역의 컬러 성분 평균값의 차이값을 휘도 변화량 보상치로써 이용될 수 있다.
단계 1140에서, 멀티미디어의 부호화된 데이터가 복호화될 수 있다. 부호화된 멀티미디어 데이터는, 엔트로피 복호화, 역양자화, 역주파수 변환, 움직임 추정, 움직임 보상, 인트라 예측, 디블로킹 필터링 등을 거쳐 복호화되어 멀티미디어 데이터로 복원될 수 있다.
이하, 도 12 내지 도 20을 참조하여 영상 데이터의 텍스처 특성에 기반하여 멀티미디어 데이터를 부호화 또는 복호화하는 제 2 실시예에 대해 상술한다.
도 12 는 본 발명의 제 2 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 부호화 장치의 블록도를 도시한다.
제 2 실시예에 따른 멀티미디어 부호화 장치(1200)는 텍스처 특성 정보 검출부(1210), 데이터 처리 단위 결정부(1212), 움직임 추정부(1220), 움직임 보상부(1225), 인트라 예측부(530), 주파수 변환부(540), 양자화부(550), 엔트로피 부호화부(560), 역주파수 변환부(570), 디블로킹 필터링부(580), 버퍼(590) 및 텍스처 특성 서술자 부호화부(1215)를 포함한다.
제 2 실시예에 따른 멀티미디어 부호화 장치(1200)의 전체적인 부호화 프로세스는, 입력 시퀀스(505)의 연속적인 영상의 시간적 유사성 및 한 영상 내의 공간적 유사성을 이용하여 중복되는 데이터가 생략되어 부호화된 비트스트림(1265)을 생성하기 위함이다.
제 2 실시예에 따른 멀티미디어 부호화 장치(1200)는 종래 비디오 부호화 장치(300)에 비해 텍스처 특성 정보 검출부(1210), 데이터 처리 단위 결정부(1212) 및 텍스처 특성 서술자 부호화부(1215)를 더 구비한다. 또한, 데이터 처리 단위 결정부(1212)에 의해 결정된 데이터 처리 단위를 이용하는 움직임 추정부(1220) 및 움직임 보상부(1225)의 동작이 종래 비디오 부호화 장치(300)의 움직임 추정부(320) 및 움직임 보상부(325)와 구별된다.
제 2 실시예에 따른 텍스처 특성 정보 검출부(1210)는 입력 시퀀스(505)를 분석하여 텍스처 성분을 추출한다. 예를 들어 텍스처 성분은, 균등성, 평활도, 정규성, 에지 방향성, 조밀도 등일 수 있다.
데이터 처리 단위 결정부(1212)는 텍스처 특성 정보 검출부(1210)에서 검출된 텍스처 특성을 이용하여 영상 데이터의 움직임 추정을 위한 데이터 처리 단위의 크기를 결정할 수 있다. 데이터 처리 단위는 사각형태의 블록일 수 있다.
예를 들어, 데이터 처리 단위 결정부(1212)는 영상 데이터의 텍스처 특성 중 균등성을 이용하여, 영상 데이터의 텍스처가 균등할수록 데이터 처리 단위가 더 크도록 결정할 수 있다. 데이터 처리 단위 결정부(1212)는 영상 데이터의 텍스처 특성 중 평활도를 이용하여, 영상 데이터가 더 평활할수록 데이터 처리 단위가 더 크도록 결정할 수도 있다. 데이터 처리 단위 결정부(1212)는 영상 데이터의 텍스처 특성 중 정규성을 이용하여, 영상 데이터의 패턴이 더 규칙적일수록 데이터 처리 단위가 더 크도록 결정할 수도 있다.
특히, 다양한 크기의 데이터 처리 단위들은 크기에 따라 여러 그룹으로 분류될 수 있다. 한 그룹 내에는 소정 범위 내의 크기를 갖는 데이터 처리 단위가 포함될 수 있다. 영상 데이터의 텍스처 특성에 따라 소정 그룹이 매핑되면, 데이터 처리 단위 결정부(1212)는 그룹 내의 데이터 처리 단위들을 이용하여 오차율 최적화를 수행하고, 최저 오차율을 생성하는 데이터 처리 단위를 최적 데이터 처리 단위로 결정할 수 있다.
따라서, 텍스처 성분에 기초하여 정보의 변화가 많은 부분은 데이터 처리 단위가 작도록 결정되고, 정보의 변화가 적은 부분은 데이터 처리 단위가 크도록 결 정될 수 있다.
움직임 추정부(1220) 및 움직임 보상부(1225)는, 데이터 처리 단위 결정부(1212)에서 결정된 데이터 처리 단위를 이용하여 움직임 추정 및 움직임 보상을 각각 수행할 수 있다.
제 2 실시예에 따른 텍스처 특성 정보 검출부(1210)에서 검출된 텍스처 특성이 에지 히스토그램인 경우, 제 2 실시예에 따른 텍스처 특성 서술자 부호화부(1215)는 에지 히스토그램 정보를 이용하여 에지 히스토그램에 관한 메타데이터를 부호화할 수 있다. 예를 들어, 에지 히스토그램에 관한 메타데이터는 MPEG-7 표준 압축 규격 환경에서 에지 히스토그램 서술자(edge historam descriptor)일 수 있다.
또는, 제 2 실시예에 따른 텍스처 특성 정보 검출부(1210)에서 검출된 텍스처 특성이 에지 방향성, 정규성, 조밀도(coarseness)인 경우, 제 2 실시예에 따른 텍스처 특성 서술자 부호화부(1215)는 텍스처 정보를 이용하여 텍스처 브라우징을 위한 메타데이터를 부호화할 수 있다. 예를 들어, 텍스처 브라우징을 위한 메타데이터는 MPEG-7 표준 압축 규격 환경에서 텍스처 브라우징 서술자(texture browsing descriptor)일 수 있다.
또는, 제 2 실시예에 따른 텍스처 특성 정보 검출부(1210)에서 검출된 텍스처 특성이 균등성인 경우, 제 2 실시예에 따른 텍스처 특성 서술자 부호화부(1215)는 균일성 정보를 이용하여 텍스처 균등성에 관한 메타데이터를 부호화할 수 있다. 예를 들어, 텍스처 균등성에 관한 메타데이터는 MPEG-7 표준 압축 규격 환경에서 균등 텍스처 서술자(homogeous texture descriptor)일 수 있다.
에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터 및 텍스처 균등성에 관한 메타데이터는 멀티미디어 컨텐트의 정보 관리 및 검색을 위한 서술자에 해당한다.
텍스처 특성 서술자 부호화부(1215)에 의해 부호화된 텍스처 특성 서술자는 부호화된 멀티미디어 데이터처럼 비트스트림(1265)에 포함될 수 있다. 또는 부호화된 멀티미디어 데이터와는 다른 비트스트림으로 출력될 수도 있다.
일 실시예에 따른 멀티미디어 부호화 장치(100)와 비교해보면, 입력 시퀀스(505)가 입력부(110)를 통해 입력된 영상에 대응되며, 특성 정보 검출부(120) 및 텍스처 특성 정보 검출부(1210)가 서로 대응되고, 부호화 방식 결정부(130) 및 데이터 처리 단위 결정부(1212)가 서로 대응될 수 있다. 멀티미디어 데이터 부호화부(140)는 움직임 추정부(1220), 움직임 보상부(1225), 인트라 예측부(530), 주파수 변환부(540), 양자화부(550), 엔트로피 부호화부(560), 역주파수 변환부(570), 디블로킹 필터링부(580) 및 버퍼(590)에 대응될 수 있다.
모든 종류의 데이터 처리 단위에 대해 오차율 최적화(rate distortion optimization, RDO)를 시도해볼 필요 없이, 텍스처 특성에 기초하여 미리 결정된 데이터 처리 단위를 이용하여 현재 영상에 대한 움직임 추정 또는 움직임 보상이 이루어지므로 부호화 연산량이 감축될 수 있다.
도 13 는 본 발명의 제 2 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 복호화 장치의 블록도를 도시한다.
제 2 실시예에 따른 멀티미디어 복호화 장치(1300)는 텍스처 특성 정보 추출부(1310), 데이터 처리 단위 결정부(1312), 엔트로피 복호화부(620), 역양자화부(630), 역주파수 변환부(640), 움직임 추정부(1350), 움직임 보상부(1355), 인트라 예측부(660), 디블로킹 필터링부(670) 및 버퍼(680)를 포함한다.
제 2 실시예에 따른 멀티미디어 복호화 장치(1300)의 전체적인 복호화 프로세스는, 입력 비트스트림(605)의 부호화된 멀티미디어 데이터 및 멀티미디어 데이터에 대한 제반 정보를 이용하여 복원 영상을 생성하기 위함이다.
제 2 실시예에 따른 멀티미디어 복호화 장치(1300)는 종래 비디오 복호화 장치(400)에 비해 텍스처 특성 정보 추출부(1310) 및 데이터 처리 단위 결정부(1312)를 더 구비한다. 또한, 데이터 처리 단위 결정부(1312)에 의해 결정된 데이터 처리 단위를 이용하는 움직임 추정부(1350) 및 움직임 보상부(1355)의 동작이, 오차율 최적화에 의한 데이터 처리 단위를 이용하는 종래 비디오 복호화 장치(400)의 움직임 추정부(450) 및 움직임 보상부(455)와 구별될 수 있다.
제 2 실시예에 따른 텍스처 특성 정보 추출부(1310)는 입력된 비트스트림(1305)으로부터 분류된 텍스처 특성 서술자를 이용하여 텍스처 특성 정보를 추출할 수 있다. 예를 들어, 텍스처 특성 서술자가 에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터 및 텍스처 균등성에 관한 메타데이터 중 어느 하나이면, 텍스처 특성으로서 에지 히스토그램, 에지 방향성, 정규성, 조밀도, 균등성 등이 추출될 수 있다.
예를 들어, MEPG-7 표준 압축 규격 환경에서 에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터 및 텍스처 균등성에 관한 메타데이터는 각각 에지 히스토그램 서술자, 텍스처 브라우징 서술자 및 균등 텍스처 서술자일 수 있다.
데이터 처리 단위 결정부(1312)는 텍스처 특성 정보 추출부(1310)에서 추출된 텍스처 특성을 이용하여 영상 데이터의 움직임 추정을 위한 데이터 처리 단위의 크기를 결정할 수 있다. 예를 들어, 텍스처 특성 중 균등성, 평활도, 정규성 등을 이용하여, 영상 데이터의 텍스처가 균등할수록, 평활할수록 또는 패턴이 더 규칙적일수록 데이터 처리 단위가 더 크도록 결정될 수 있다. 따라서, 텍스처 성분에 기초하여 정보의 변화가 많은 부분은 데이터 처리 단위가 작도록 결정되고, 정보의 변화가 적은 부분은 데이터 처리 단위가 크도록 결정될 수 있다.
움직임 추정부(1350) 및 움직임 보상부(1355)는, 데이터 처리 단위 결정부(1312)에서 결정된 데이터 처리 단위를 이용하여 움직임 추정 및 움직임 보상을 각각 수행할 수 있다.
일 실시예에 따른 멀티미디어 복호화 장치(200)와 비교해보면, 입력 비트스트림(1305)이 수신부(210)를 통해 입력된 비트스트림에 대응되며, 특성 정보 추출부(220) 및 텍스처 특성 정보 추출부(1310)가 서로 대응되고, 복호화 방식 결정부(230) 및 데이터 처리 단위 결정부(1312)가 서로 대응될 수 있다. 멀티미디어 데이터 복호화부(240)는 움직임 추정부(1350), 움직임 보상부(1355), 인트라 예측부(660), 역주파수 변환부(640), 역양자화부(630), 엔트로피 복호화부(620), 디 블로킹 필터링부(670) 및 버퍼(680)에 대응될 수 있다.
부호화단에서 모든 종류의 데이터 처리 단위에 대해 오차율 최적화를 시도해볼 필요 없이, 텍스처 특성에 기초하여 미리 결정된 데이터 처리 단위를 이용하여 현재 영상에 대한 움직임 추정 또는 움직임 보상이 이루어져 부호화된 비트스트림에 대하여, 멀티미디어 데이터가 복호화되고 복원될 수 있다.
도 14 는 종래 비디오 부호화 방식에서 이용되는 추정 모드의 종류를 도시한다.
H.264 등의 종래 비디오 부호화 방식에서는 움직임 추정을 위한 매크로블록으로써 인트라 예측을 위한 16×16 블록(1400), 스킵 모드의 16×16 블록(1405), 인터 예측을 위한 16×16 블록(1410), 인터 16×8 블록(1415), 인터 8×16 블록(1420), 인터 8×8 블록(1425) 등이 이용될 수 있다. (이하 설명의 편의를 위해, 인트라 예측을 위한 M×N 블록은 '인트라 M×N 블록'으로, 인터 예측을 위한 M×N 블록은 '인터 M×N 블록'으로, 스킵 모드의 M×N 블록은 '스킵 M×N 블록'이라 칭한다.) 매크로블록에 대한 주파수 변환은 8×8 또는 4×4 블록 단위로 수행될 수 있다.
또한, 각각의 매크로블록은 스킵 8×8 서브블록(1430), 인터 8×8 서브블록(1435), 인터 8×4 서브블록(1440), 인터 4×8 서브블록(1445), 인터 4×4 서브블록(1450)의 서브 블록으로 분류될 수 있다. 서브블록에 대한 주파수 변환은 4×4 블록 단위로 수행될 수 있다.
종래 비디오 부호화 방식은, 움직임 추정을 위한 블록을 결정하기 위해, 도 14에 도시된 블록들(1400, 1405, 1410, 1415, 1420, 1425, 1430, 1435, 1440, 1445, 1450)을 이용하여 오차율 최적화를 시도해본 후 가장 낮은 오차율을 갖는 블록을 결정한다.
일반적으로 텍스처가 복잡하고 세부 정보(detail)가 많거나 객체의 경계선이 위치하는 영역은 작은 블록 사이즈가 선택되고, 평활하고 에지가 없는 영역은 큰 블록 사이즈로 선택된다.
다만, 종래 비디오 부호화 방식은 모든 예측 모드의 다양한 크기의 블록들에 대해 오차율 최적화가 시도되어야 하므로 부호화 연산량이 증대되며, 일반적으로 많은 종류의 블록 크기를 표현하기 위해 추가적인 오버헤드가 증가할 수 밖에 없다.
도 15 는 본 발명의 제 2 실시예에서 이용가능한 추정 모드의 종류 및 그룹을 도시한다.
제 2 실시예에 따른 멀티미디어 부호화 장치(1200) 또는 멀티미디어 복호화 장치(1300)는 는 16×16, 8×8, 4×4 이외에 더 큰 데이터 처리 단위를 도입한다.
예를 들어, 제 2 실시예에 따른 멀티미디어 부호화 장치(1200)는, 인트라 16×16 블록(1505), 스킵 16×16 블록(1510), 인터 16×16 블록(1515), 인터 16×8 블록(1525), 인터 8×16 블록(1530), 인터 8×8 블록(1535), 스킵 8×8 서브블록(1540), 인터 8×8 서브블록(1545), 인터 8×4 서브블록(1550), 인터 4×8 서브블록(1555), 인터 4×4 서브블록(1560) 뿐만 아니라, 스킵 32×32 블록(1475), 인터 32×32 블록(1480), 인터 32×16 블록(1485), 인터 16×32 블록(1490), 인터 16×16 블록(1495) 중 하나의 데이터 처리 단위를 이용하여 움직임 추정을 수행할 수 있다.
스킵 32×32 블록(1475), 인터 32×32 블록(1480), 인터 32×16 블록(1485), 인터 16×32 블록(1490), 인터 16×16 블록(1495)에 대한 주파수 변환 단위는 16×16 블록, 8×8 블록, 4×4 블록 중 하나일 수 있다.
제 2 실시예는 데이터 처리 단위를 그룹을 분류하여 텍스처 특성에 따라 오차율 최적화를 시도할 그룹을 제한할 수 있다. 예를 들어, 인트라 16×16 블록(1505), 스킵 16×16 블록(1510), 인터 16×16 블록(1515)는 A 그룹(1400)에 포함된다. 인터 16×8 블록(1525), 인터 8×16 블록(1530), 인터 8×8 블록(1535), 스킵 8×8 서브블록(1540), 인터 8×8 서브블록(1545), 인터 8×4 서브블록(1550), 인터 4×8 서브블록(1555), 인터 4×4 서브블록(1560)는 B 그룹(1420)에 포함된다. 또한, 스킵 32×32 블록(1475), 인터 32×32 블록(1480), 인터 32×16 블록(1485), 인터 16×32 블록(1490), 인터 16×16 블록(1495)는 C 그룹(1470)에 포함된다.
제 2 실시예에 따른 데이터 처리 단위 결정부(1212, 1312)는, B 그룹(1420), A 그룹(1400), C 그룹(1470)의 순서로, 데이터 처리 단위의 크기가 커진다.
도 16 은 본 발명의 제 2 실시예에 따라, 텍스처를 이용한 데이터 처리 단위의 결정 방식을 도시한다.
도 15에서 도시된 데이터 처리 단위의 그룹들, B 그룹(1420), A 그룹(1400), C 그룹(1470) 중에서 데이터 처리 단위를 결정할 때, 텍스처 성분의 분석이 선행되어야 한다.
즉, 텍스처 특성 검출부(1210)는 슬라이스의 텍스처를 분석하고, 텍스처 특성 추출부(1310)는 슬라이스에 대한 텍스처 특성 서술자를 분석하여, 텍스처 정보가 검출될 수 있다. 예를 들어, 텍스처 성분이 균등성, 정규성, 규칙성(stochasticity)으로 정의될 수 있다.
데이터 처리 단위 결정부(1212, 1312)는, 현재 슬라이스에 대한 텍스처가 '균등함'으로 정의되는 경우, 현재 슬라이스에 대한 오차율 최적화 시도 대상을 대형 데이터 처리 단위로 결정할 수 있다. 예를 들어, A 그룹(1400), C 그룹(1470) 중의 데이터 처리 단위들로 오차율 최적화를 시도하여 현재 슬라이스에 대한 최적 데이터 처리 단위를 결정할 수 있다.
데이터 처리 단위 결정부(1212, 1312)는, 현재 슬라이스에 대한 텍스처가 '비정규적임' 또는 '불규칙적임'으로 정의되는 경우, 현재 슬라이스에 대한 오차율 최적화 시도 대상을 소형 데이터 처리 단위로 결정할 수 있다. 예를 들어, B 그룹(1420), A 그룹(1400) 중의 데이터 처리 단위들로 오차율 최적화를 시도하여 현재 슬라이스에 대한 최적 데이터 처리 단위를 결정할 수 있다.
도 17 은 본 발명의 제 2 실시예에서 따라 텍스처 특성으로써 이용되는 에지의 종류를 도시한다.
텍스처 특성 중 에지의 종류는 방향에 따라 구별될 수 있다. 예를 들어, 에지 히스토그램 서술자 또는 텍스처 브라우징 서술자에서 이용되는 에지의 방향성은 수직 방향 에지(1710), 수평 방향 에지(1720), 45°방향 에지(1730), 135°방향 에지(1740), 비방향성 에지(1750)의 다섯 종류로 정의될 수 있다. 따라서, 제 2 실시 예의 텍스처 특성 검출부(1210) 또는 텍스처 특성 추출부(1310)는 영상 데이터의 에지를 다섯 방향 에지들(1710, 1720, 1730, 1740, 1750) 중 하나로 선택할 수 있다.
도 18 은 본 발명의 제 2 실시예에 따라 텍스처 특성으로써 이용되는 에지 히스토그램을 도시한다.
에지 히스토그램은, 영상 영역의 에지 성분을 분석하여 수직 방향 에지(1710), 수평 방향 에지(1720), 45°방향 에지(1730), 135°방향 에지(1740), 비방향성 에지(1750) 등 다섯 가지 형태의 에지의 공간적 분포를 정의한다. 세미글로벌(semi-global) 또는 글로벌(global) 패턴의 다양한 히스토그램이 생성될 수 있다.
예를 들어, 에지 히스토그램(1820)은 원본 영상(1800) 중 서브 영상(1810)의 에지의 공간적 분포를 나타낸다. 따라서, 서브 영상(1810)의 다섯 가지 형태의 에지들(1710, 1720, 1730, 1740, 1750)은, 수직 방향 에지 비율(1821), 수평 방향 에지 비율(1823), 45°방향 에지 비율(1825), 135°방향 에지 비율(1827), 비방향성 에지 비율(1829)로 분포되는 것이 확인된다.
원본 영상(1800)을 16개의 서브 영상으로 분할하여 서브 영상마다 각각 5가지의 에지가 측정되므로, 80개의 에지 정보가 추출될 수 있다. 따라서 현재 영상에 대한 에지 히스토그램 서술자는 80개의 에지 정보를 포함하며 히스토그램 서술자의 길이는 240비트이다. 에지 히스토그램에 의하여, 소정 에지의 공간적 분포가 큰 경우 해당 영역은 디테일 영역(detail region)으로 분류될 수 있으며, 에지의 공간적 분포가 전체적으로 작은 경우 해당 영역은 평활 영역(smooth region)으로 분류될 수 있다.
그 밖에, 텍스처 브라우징 서술자는, 인간의 시각적인 특성을 고려하여 텍스처의 정규성, 방향성, 조밀도를 수치화하여 영상이 포함하는 텍스처의 특징들을 서술한다. 현재 영역에 대한 텍스처 브라우징 서술자의 첫번째 값이 크다면 더 규칙적인 텍스처를 갖고 있는 영역으로 분류될 수 있다.
균등 텍스처 서술자는, 가보(Gabor) 필터를 이용하여 영상의 주파수 채널을 30개의 채널로 나누고 각각의 채널의 에너지 및 에너지 표준편차를 이용하여 영상의 균등한 텍스처 특징을 서술한다. 현재 영역에 대한 균등한 텍스처 성분의 에너지가 크고, 에너지 표준 편차가 작다면, 균등한 영역으로 분류될 수 있다.
따라서 본 발명의 텍스처 특성 서술자로부터 텍스처 특성이 분석될 수 있으며, 움직임 추정을 위한 데이터 처리 단위를 나타내는 신택스는 텍스처 정도에 따라 정의할 수 있다.
도 19 는 본 발명의 제 2 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 부호화 방법의 흐름도를 도시한다.
단계 1910에서, 멀티미디어 데이터가 입력된다.
단계 1920에서, 멀티미디어 관리 또는 검색을 위한 특성 정보로써 영상 데이터의 텍스처 특성이 검출된다. 텍스처 특성은, 에지의 방향성, 조밀도, 평활도, 정규성, 규칙성 등으로 정의될 수 있다.
단계 1930에서, 영상 데이터의 텍스처 특성에 기반하여 인터 예측을 위한 데 이터 처리 단위의 크기가 결정될 수 있다. 특히, 데이터 처리 단위의 그룹별로 분류되어, 매핑되는 그룹 내의 데이터 처리 단위들에 대해서만 오차율 최적화를 수행하여 최적의 데이터 처리 단위가 결정될 수 있다. 인터 예측 뿐만 아니라 인트라 예측, 스킵 모드를 위한 데이터 처리 단위가 결정될 수도 있다.
단계 1940에서, 텍스처 특성에 기반하여 결정된 최적의 데이터 처리 단위를 이용하여 영상 데이터에 대해 움직임 추정 및 움직임 보상이 수행된다. 인트라 추정, 주파수 변환, 양자화, 디블로킹 필터링, 엔트로피 부호화 등을 거쳐 영상 데이터의 부호화가 수행된다.
제 2 실시예에 따른 멀티미디어 부호화 장치(1200) 및 멀티미디어 부호화 방법은, 멀티미디어 컨텐트 정보의 검색 및 요약 기능을 제공하는 텍스처 특성 서술자를 이용하여, 움직임 추정을 위한 최적 데이터 처리 단위가 결정될 수 있다. 오차율 최적화(RDO)를 수행할 데이터 처리 단위의 종류가 제한되므로, 데이터 처리 단위를 나타내기 위한 신택스 사이즈를 절감할 수 있으며, 오차율 최적화를 위한 연산 부담량도 절감할 수 있다.
도 20 은 본 발명의 제 2 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 복호화 방법의 흐름도를 도시한다.
단계 2010에서, 멀티미디어 데이터 비트스트림이 수신된다. 비트스트림은 파싱되어 멀티미디어의 부호화된 데이터 및 멀티미디어에 관한 정보 데이터 등으로 분류될 수 있다.
단계 2020에서, 멀티미디어의 관리 또는 검색을 위한 특성 정보로써 영상 데 이터의 텍스처 정보가 추출될 수 있다. 멀티미디어의 관리 또는 검색을 위한 특성 정보는, 멀티미디어 컨텐트 특성에 기반한 멀티미디어 정보의 관리 및 검색을 위한 서술자로부터 추출될 수 있다.
단계 2030에서, 영상 데이터의 텍스처 특성에 기반하여 움직임 추정을 위한 데이터 처리 단위의 크기가 결정될 수 있다. 특히, 인터 예측을 위한 데이터 처리 단위는 크기에 따라 여러 그룹으로 분류될 수 있다. 텍스처 레벨에 따라 다른 그룹이 매핑되며, 현재 영상 데이터의 텍스처 레벨에 매핑되는 그룹 내의 데이터 처리 단위들만을 이용하여 오차율 최적화가 수행될 수 있다. 그룹 내의 데이터 처리 단위들 중 최소 오차율을 갖는 데이터 처리 단위가 최적 데이터 처리 단위로 결정될 수 있다.
단계 2040에서, 최적 데이터 처리 단위를 이용한 움직임 추정, 움직임 보상 및, 엔트로피 복호화, 역양자화, 역주파수 변환, 인트라 예측, 디블로킹 필터링 등을 거쳐 복호화되어 멀티미디어 데이터로 복원될 수 있다.
제 2 실시예에 따른 멀티미디어 복호화 장치(1300) 또는 멀티미디어 복호화 방법에 의해, 영상 컨텐트의 정보 검색 또는 요약을 위해 이용 가능한 서술자를 이용하여 최적 데이터 처리 단위를 찾기 위한 오차율 최적화의 연산 부담량이 줄어들고, 최적 데이터 처리 단위를 나타내는 신택스 사이즈가 축소될 수 있다.
이하, 도 21 내지 도 29을 참조하여 영상 데이터의 텍스처 특성에 기반하여 멀티미디어 데이터를 부호화 또는 복호화하는 제 3 실시예에 대해 상술한다.
도 21 은 본 발명의 제 3 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 부호화 장치의 블록도를 도시한다.
제 3 실시예에 따른 멀티미디어 부호화 장치(2100)는 텍스처 특성 정보 검출부(2110), 인트라 모드 결정부(2112), 움직임 추정부(520), 움직임 보상부(525), 인트라 예측부(2130), 주파수 변환부(540), 양자화부(550), 엔트로피 부호화부(560), 역주파수 변환부(570), 디블로킹 필터링부(580), 버퍼(590) 및 텍스처 특성 서술자 부호화부(2115)를 포함한다.
제 3 실시예에 따른 멀티미디어 부호화 장치(2100)의 전체적인 부호화 프로세스는, 입력 시퀀스(505)의 연속적인 영상의 시간적 유사성 및 한 영상 내의 공간적 유사성을 이용하여 중복되는 데이터가 생략되어 부호화된 비트스트림(2165)을 생성하기 위함이다.
제 3 실시예에 따른 멀티미디어 부호화 장치(2100)는 종래 비디오 부호화 장치(300)에 비해 텍스처 특성 정보 검출부(2110), 인트라 모드 결정부(2112) 및 텍스처 특성 서술자 부호화부(2115)를 더 구비한다. 또한,인트라 모드 결정부(2112)에 의해 결정된 데이터 처리 단위를 이용하는 인트라 예측부(2130)의 동작이 종래 비디오 부호화 장치(300)의 인트라 예측부(330)와 구별된다.
제 3 실시예에 따른 텍스처 특성 정보 검출부(2110)는 입력 시퀀스(505)를 분석하여 텍스처 성분을 추출한다. 예를 들어 텍스처 성분은, 균등성, 평활도, 정규성, 에지 방향성, 조밀도 등일 수 있다.
인트라 모드 결정부(2112)는 텍스처 특성 정보 검출부(2110)에서 검출된 텍 스처 특성을 이용하여 영상 데이터의 움직임 추정을 위한 데이터 처리 단위의 크기를 결정할 수 있다. 데이터 처리 단위는 사각형태의 블록일 수 있다.
예를 들어, 인트라 모드 결정부(2112)는 영상 데이터의 텍스처 특성 중 에지 방향의 분포에 기초하여, 현재 영상 데이터에 대해 수행 가능한 인트라 예측 모드의 종류 및 방향을 결정할 수 있다.
특히, 수행 가능한 인트라 예측 모드의 종류 및 방향에 따라 우선 순위가 결정될 수 있다. 인트라 모드 결정부(2112)는 다섯 가지 방향의 에지의 공간적 분포에 기초하여 주요한 에지 방향들의 순서대로 우선 순위를 할당한 인트라 예측 모드 테이블을 생성할 수 있다.
인트라 예측부(2130)는, 인트라 모드 결정부(2112)에서 결정된 인트라 예측 모드를 이용하여 인트라 예측을 수행할 수 있다.
제 3 실시예에 따른 텍스처 특성 정보 검출부(2110)에서 검출된 텍스처 특성이 에지 히스토그램인 경우, 제 3 실시예에 따른 텍스처 특성 서술자 부호화부(2115)는 에지 히스토그램 정보를 이용하여 에지 히스토그램에 관한 메타데이터를 부호화할 수 있다. 또는, 제 3 실시예에 따른 텍스처 특성 정보 검출부(2110)에서 검출된 텍스처 특성이 에지 방향성인 경우, 제 3 실시예에 따른 텍스처 특성 서술자 부호화부(2115)는 텍스처 정보를 이용하여 텍스처 브라우징을 위한 메타데이터 또는 텍스처 균등성에 관한 메타데이터를 부호화할 수 있다.
예를 들어,MEPG-7 표준 압축 규격 환경에서, 에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터 및 텍스처 균등성에 관한 메타데이터는 각각 에지 히스토그램 서술자, 텍스처 브라우징 서술자 및 균등 텍스처 서술자일 수 있다.
에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터 및 텍스처 균등성에 관한 메타데이터는 각각 멀티미디어 컨텐트의 정보 관리 및 검색을 위한 서술자에 해당한다.
텍스처 특성 서술자 부호화부(2115)에 의해 부호화된 텍스처 특성 서술자는 부호화된 멀티미디어 데이터처럼 비트스트림(2165)에 포함될 수 있다. 또는 부호화된 멀티미디어 데이터와는 다른 비트스트림으로 출력될 수도 있다.
일 실시예에 따른 멀티미디어 부호화 장치(100)와 비교해보면, 입력 시퀀스(505)가 입력부(110)를 통해 입력된 영상에 대응되며, 특성 정보 검출부(120) 및 텍스처 특성 정보 검출부(2110)가 서로 대응되고, 부호화 방식 결정부(130) 및 인트라 모드 결정부(2112)가 서로 대응될 수 있다. 멀티미디어 데이터 부호화부(140)는 움직임 추정부(520), 움직임 보상부(525), 인트라 예측부(2130), 주파수 변환부(540), 양자화부(550), 엔트로피 부호화부(560), 역주파수 변환부(570), 디블로킹 필터링부(580) 및 버퍼(590)에 대응될 수 있다.
모든 에지 방향에 대해 인트라 예측을 시도해볼 필요 없이, 텍스처 특성에 기초하여 미리 결정된 인트라 예측 모드를 이용하여 현재 영상에 대한 인트라 예측이 이루어지므로 부호화 연산량이 감축될 수 있다.
도 22 은 본 발명의 제 3 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 복호화 장치의 블록도를 도시한다.
제 3 실시예에 따른 멀티미디어 복호화 장치(2200)는 텍스처 특성 정보 추출부(2210), 인트라 모드 결정부(2212), 엔트로피 복호화부(620), 역양자화부(630), 역주파수 변환부(640), 움직임 추정부(650), 움직임 보상부(655), 인트라 예측부(2260), 디블로킹 필터링부(670) 및 버퍼(680)를 포함한다.
제 3 실시예에 따른 멀티미디어 복호화 장치(2200)의 전체적인 복호화 프로세스는, 입력 비트스트림(2205)의 부호화된 멀티미디어 데이터 및 멀티미디어 데이터에 대한 제반 정보를 이용하여 복원 영상을 생성하기 위함이다.
제 3 실시예에 따른 멀티미디어 복호화 장치(2200)는 종래 비디오 복호화 장치(400)에 비해 텍스처 특성 정보 추출부(2210) 및 인트라 모드 결정부(2212)를 더 구비한다. 또한, 인트라 모드 결정부(2212)에 의해 결정된 인트라 예측 모드를 이용하는 인트라 예측부(2260)의 동작이, 종래 비디오 복호화 장치(400)의 인트라 예측부(460)와 구별될 수 있다.
일 실시예에 따른 텍스처 특성 정보 추출부(2210)는 입력된 비트스트림(2205)으로부터 분류된 텍스처 특성 서술자를 이용하여 텍스처 특성 정보를 추출할 수 있다. 예를 들어, 텍스처 특성 서술자가 에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터 및 텍스처 균등성에 관한 메타데이터 중 어느 하나이면, 텍스처 특성으로서 에지 히스토그램, 에지 방향성 등이 추출될 수 있다.
예를 들어 MPEG-7 표준 압축 규격 환경에서, 에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터 및 텍스처 균등성에 관한 메타데이터는 각각 에지 히스토그램 서술자, 텍스처 브라우징 서술자 및 균등 텍스처 서술자일 수 있다.
인트라 모드 결정부(2212)는 텍스처 특성 정보 추출부(2210)에서 추출된 텍스처 특성을 이용하여 영상 데이터의 인트라 예측을 위한 인트라 예측 모드의 종류 및 방향 등을 결정할 수 있다. 특히, 수행 가능한 인트라 예측 모드의 종류 및 방향에 따라 우선 순위가 결정될 수 있다. 인트라 모드 결정부(2212)는 다섯 가지 방향의 에지의 공간적 분포에 기초하여 주요한 에지 방향들의 순서대로 우선 순위를 할당한 인트라 예측 모드 테이블을 생성할 수 있다.
인트라 예측부(2260)는, 인트라 모드 결정부(2212)에서 결정된 인트라 예측 모드를 이용하여 영상 데이터에 대한 인트라 예측을 수행할 수 있다.
일 실시예에 따른 멀티미디어 복호화 장치(200)와 비교해보면, 입력 비트스트림(2205)이 수신부(210)를 통해 입력된 비트스트림에 대응되며, 특성 정보 추출부(220) 및 텍스처 특성 정보 추출부(2210)이 서로 대응되고, 복호화 방식 결정부(230) 및 인트라 모드 결정부(2212)가 서로 대응될 수 있다. 멀티미디어 데이터 복호화부(240)는 움직임 추정부(650), 움직임 보상부(655), 인트라 예측부(2260), 역주파수 변환부(640), 역양자화부(630), 엔트로피 복호화부(620), 디블로킹 필터링부(670) 및 버퍼(680)에 대응될 수 있다.
인트라 예측 모드의 모든 종류 및 방향에 따라 인트라 예측을 할 필요 없이, 텍스처 특성에 기초하여 미리 결정된 인트라 예측 모드를 이용하여 현재 영상에 대한 인트라 예측이 이루어져 부호화된 비트스트림에 대하여, 멀티미디어 데이터가 복호화되고 복원될 수 있다. 따라서, 인트라 예측 모드의 모든 종류 및 방향에 따라 인트라 예측을 할 필요가 없으므로 인트라 예측을 위한 연산량에 대한 부담이 줄어들 수 있으며, 컨텐트 특성을 별도로 검출할 필요 없이 정보 검색 기능을 위한 서술자를 이용하므로 컨텐트 특성을 위한 별도의 비트가 제공될 필요도 없다.
도 23 은 원본 영상, 서브 영상 및 영상 블록의 관계를 도시한다.
원본 영상(2300)은 16개의 서브영상들로 분할된다. (n, m)는 n번째 행, m번째 열의 서브영상임을 나타낸다. 원본 영상(2300)의 부호화는 서브영상들에 대한 스캔 순서(2350)를 따라 수행될 수 있다. 또한, 서브영상(2310)은 영상블록(2320)과 같은 블록들로 분할되어 있다.
원본 영상(2300)에 대한 에지 분석은, 서브영상별로 에지 특성을 검출하는데 있고, 서브 영상의 에지 특성은 서브영상 내의 블록별 에지의 방향 및 세기에 의해 정의될 수 있다.
도 24 는 서브 영상의 에지 히스토그램 서술자의 시멘틱(semantics)을 도시한다.
원본 영상(2300)에 대한 에지 히스토그램 서술자의 시멘틱은 서브영상마다 에지 방향별 에지의 강도를 나타낸다. 여기서 히스토그램 빈 별 'Local_Edge[n]'은 n번째 빈의 에지 강도를 나타낸다. n은 16개의 서브영상들마다 다섯 방향의 에지를 나타내는 인덱스이며, 0부터 79까지의 정수이다. 즉 원본 영상(2300)에 대해 총 80개의 히스토그램 빈이 정의된다.
'Local_Edge[n]'은 순서대로, 원본 영상(2300)에 대한 스캔 순서(2350)에 따 라 위치한 서브영상별 다섯 가지 에지의 강도이다. 따라서, (0,0) 위치의 서브영상을 예로 들어 설명하면, 'Local_Edge[0]', 'Local_Edge[1]', 'Local_Edge[2]','Local_Edge[3]', 'Local_Edge[4]'는 각각 (0,0) 위치의 서브영상의 수직 방향 에지, 수평 방향 에지, 45°방향 에지, 135°방향 에지, 비방향성 에지의 강도를 나타낸다.
에지 히스토그램 서술자는, 80개의 히스토그램 빈마다 에지의 강도가 3비트가 할당되므로, 총 240 비트로 표현될 수 있다.
도 25 는 종래 비디오 부호화 방식의 인트라 예측 모드의 테이블을 도시한다.
종래 비디오 부호화 방식의 인트라 예측 모드의 테이블은 모든 인트라 예측 방향별로 예측 모드 번호를 할당한다. 즉, 수직 방향, 수평 방향, DC(direct current), 좌측 하단 방향, 우측 하단 방향, 수직 우측 방향, 수평 하단 방향, 수직 좌측 방향 및 수평 상단 방향에 대해, 각각 0, 1, 2, 3, 4, 5, 6, 7 및 8의 예측 모드 번호가 할당된다.
인트라 예측 모드의 종류는 해당 영역의 DC값을 이용하여 예측하는지 여부에 따르며, 인트라 예측 모드의 방향은 주변의 참조 영역이 위치하는 방향을 나타낸다.
도 26 는 종래 비디오 부호화 방식의 인트라 예측 모드의 방향을 도시한다.
인트라 예측은, 예측 모드 번호에 해당하는 인트라 예측 방향의 주변 영역의 화소값을 이용하여 현재 영역의 화소값이 예측될 수 있다. 즉, 인트라 예측 모드의 종류 및 방향에 따라, 수직 방향(0)의 주변 영역, 수평 방향(1)의 주변 영역, DC(direct current)(2), 좌측 하단 방향(3)의 주변 영역, 우측 하단 방향(4)의 주변 영역, 수직 우측 방향(5)의 주변 영역, 수평 하단 방향(6)의 주변 영역, 수직 좌측 방향(7)의 주변 영역 및 수평 상단 방향(8)의 주변 영역 중 하나를 이용하여, 현재 영역이 예측될 수 있다.
도 27 은 본 발명의 제 3 실시예에 따라 재구성된 인트라 예측 모드의 테이블을 도시한다.
제 3 실시예에 따른 인트라 모드 결정부(2112, 2212)는 현재 영상 데이터의 텍스처 성분에 기초하여 수행 가능한 인트라 예측 모드를 결정할 수 있다. 예를 들어, 텍스처 성분 중 에지 방향성에 기초하여 수행 가능한 인트라 예측 방향 또는 인트라 예측 모드의 종류가 결정될 수 있다.
제 3 실시예에 따른 인트라 모드 결정부(2112, 2212)는 수행 가능한 인트라 예측 방향 또는 인트라 예측 모드의 종류를 이용하여 인트라 예측 모드의 테이블을 재구성할 수 있다. 예를 들어, 현재 영상 데이터에 대한 텍스처 특성을 이용하여 주요한 에지 방향을 적어도 하나 검출하고, 이에 대응하는 인트라 예측 모드의 종류 및 인트라 예측 방향만이 수행 가능한 인트라 예측 모드로 선택될 수 있다. 이에 따라 인트라 예측 방향 및 종류마다 인트라 예측을 수행해야 하는 연산량이 절감될 수 있다.
또한, 제 3 실시예에 따른 인트라 모드 결정부(2112, 2212)는, 인트라 예측 모드 테이블에 수행 가능한 인트라 예측 모드만을 포함시킬 수 있다. 인트라 예측 모드 테이블 중 인트라 예측 방향 또는 종류의 우선순위가 높을수록, 최적의 인트라 예측 모드로 채택될 확률이 높아질 수 있다. 따라서 제 3 실시예에 따른 인트라 모드 결정부(2112, 2212)는, 분포가 더 많은 에지 방향일수록 이에 대응하는 인트라 예측 방향 또는 종류에 대한 인트라 예측 번호를 낮은 번호(우선 순위가 앞서는 번호)로 할당함으로써 인트라 예측 모드 테이블의 우선 순위를 조절할 수 있다.
도 27의 도표를 예로 들면, 현재 영역의 에지 히스토그램을 분석해본 결과, 수직 방향 에지, 수평 방향 에지, 45°방향 에지, 135°방향 에지, 비방향성 에지의 분포가 30%, 10%, 0%, 0%, 60%이다. 이에 따라 인트라 예측 모드 테이블을 재구성하면, 비방향성 에지에 대응하는 인트라 예측 방향인 DC가 최우선 순위로 가장 작은 인트라 예측 번호 0이 할당된다. 그 다음 순서로 현재 영역에 많이 분포하는 수직 방향 에지 및 수평 방향 에지에 대해 각각 수직 방향, 수평 방향의 인트라 예측 방향이 선택되고, 각각 인트라 예측 번호가 1, 2로 할당될 수 있다.
도 28 은 본 발명의 제 3 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 부호화 방법의 흐름도를 도시한다.
단계 2810에서, 멀티미디어 데이터가 입력된다.
단계 2820에서, 멀티미디어 관리 또는 검색을 위한 특성 정보로써 영상 데이터의 텍스처 특성이 검출된다. 텍스처 특성은, 에지의 방향성, 에지 히스토그램 등으로 정의될 수 있다.
단계 2830에서, 영상 데이터의 텍스처 특성에 기반하여 인트라 예측을 위한 인트라 예측 방향이 결정될 수 있다. 특히, 인트라 예측 모드 테이블에 수행 가능 한 인트라 예측 모드의 종류 및 방향만을 포함시키고, 수행 가능한 인트라 예측 모드의 종류 및 방향 간의 우선순위를 조절할 수 있다.
단계 2840에서, 텍스처 특성에 기반하여 결정된 최적의 인트라 예측 모드를 이용하여 영상 데이터에 대해 인트라 예측이 수행된다. 움직임 추정, 움직임 보상, 주파수 변환, 양자화, 디블로킹 필터링, 엔트로피 부호화 등을 거쳐 영상 데이터의 부호화가 수행된다.
제 3 실시예에 따른 멀티미디어 부호화 장치(2100) 및 멀티미디어 부호화 방법은, 멀티미디어 컨텐트 정보의 검색 및 요약 기능을 제공하는 텍스처 특성 서술자를 이용하여, 인트라 예측을 위한 최적 인트라 예측 모드의 방향 및 종류가 결정될 수 있다. 최적 인트라 예측 모드를 결정하기 위해 시범적으로 인트라 예측을 수행할 인트라 예측 모드의 개수가 제한되므로, 데이터 처리 단위를 나타내기 위한 신택스 사이즈를 절감할 수 있으며, 연산 부담량도 절감할 수 있다.
도 29 은 본 발명의 제 3 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 복호화 방법의 흐름도를 도시한다.
단계 2910에서, 멀티미디어 데이터 비트스트림이 수신된다. 비트스트림은 파싱되어 멀티미디어의 부호화된 데이터 및 멀티미디어에 관한 정보 데이터등으로 분류될 수 있다.
단계 2920에서, 멀티미디어의 관리 또는 검색을 위한 특성 정보로써 영상 데이터의 텍스처 정보가 추출될 수 있다. 멀티미디어의 관리 또는 검색을 위한 특성 정보는, 멀티미디어 컨텐트 특성에 기반한 멀티미디어 정보의 관리 및 검색을 위한 서술자로부터 추출될 수 있다.
단계 2930에서, 영상 데이터의 텍스처 특성에 기반하여 인트라 예측을 위한 인트라 예측의 방향 및 종류가 결정될 수 있다. 특히, 인트라 예측 모드 테이블에 수행 가능한 인트라 예측 모드의 종류 및 방향만을 포함시키고, 수행 가능한 인트라 예측 모드의 종류 및 방향 간의 우선순위가 변경될 수 있다.
단계 2940에서, 최적 인트라 예측 모드를 이용한 인트라 예측 및, 움직임 추정, 움직임 보상, 엔트로피 복호화, 역양자화, 역주파수 변환, 디블로킹 필터링 등을 거쳐 복호화되어 멀티미디어 데이터로 복원될 수 있다.
제 3 실시예에 따른 멀티미디어 복호화 장치(2200) 또는 멀티미디어 복호화 방법에 의해, 영상 컨텐트의 정보 검색 또는 요약을 위해 이용 가능한 서술자를 이용하여 최적 인트라 예측 모드를 찾기 위한 인트라 예측의 연산 부담량이 줄어들고, 수행 가능한 인트라 예측 모드를 모두 나타내는 신택스 사이즈가 축소될 수 있다.
이하, 도 30 내지 도 35을 참조하여 음향 데이터의 빠르기 특성에 기반하여 멀티미디어 데이터를 부호화 또는 복호화하는 제 4 실시예에 대해 상술한다.
도 30 은 본 발명의 제 4 실시예에 따라 멀티미디어의 빠르기 특성에 기반한 멀티미디어 부호화 장치의 블록도를 도시한다.
제 4 실시예에 따른 멀티미디어 부호화 장치(3000)는 빠르기 특성 검출부(3010), 윈도우 길이 결정부(3020), 음향 부호화부(3030) 및 빠르기 특성 서 술자 부호화부(3040)를 포함한다.
제 4 실시예에 따른 멀티미디어 부호화 장치(3000)의 전체적인 부호화 프로세스는, 입력 신호(3005)의 연속적인 신호의 시간적 유사성을 이용하여 중복되는 데이터가 생략되어 부호화된 비트스트림(3095)을 생성하기 위함이다.
제 4 실시예에 따른 빠르기 특성 검출부(3010)는 입력 정보(3005)를 분석하여 빠르기 성분을 추출한다. 예를 들어 빠르기 성분은, 템포(tempo) 등일 수 있다. 템포는, MPEG 오디오 중 구조화된 오디오에서 사용되는 용어로서, 악보 시간(score time)과 절대 시간(absolute time) 사이의 관계를 나타내는 비례 변수를 나타낸다. 숫자가 큰 템포일수록 빠른 것을 의미하며, 분당 120비트는 60비트보다 2배 빠른 것을 의미한다.
윈도우 길이 결정부(3020)는 빠르기 특성 검출부(3010)에서 검출된 빠르기 특성을 이용하여 주파수 변환을 위한 데이터 처리 단위를 결정할 수 있다. 데이터 처리 단위는 프레임, 윈도우 등을 포함할 수 있지만, 이하 설명의 편의를위해 윈도우를 이용하기로 한다.
또한, 윈도우 길이 결정부(3020)는 빠르기 특성을 고려하여 윈도우의 길이 또는 가중치를 결정할 수 있다. 예를 들어, 윈도우 길이 결정부(3020)는 현재 음향 데이터의 템포가 빠르다면 윈도우 길이를 짧아지도록 결정하고, 템포가 느리다면 윈도우 길이를 길이지도록 결정할 수 있다.
빠르기 특성 검출부(3010)에 의해 추출된 빠르기 정보가 유효한 정보가 아니라면, 윈도우 길이 결정부(3020)는 고정된 길이 및 종류의 윈도우를 결정할 수 있 다. 예를 들어 입력 신호(3005)가 자연음 신호인 경우 일정한 빠르기 정보가 추출되지 못하므로, 고정적인 윈도우를 이용하여 자연음 신호를 부호화할 수 있다.
음향 부호화부(3030)는, 윈도우 길이 결정부(3020)에서 결정된 윈도우를 이용하여 음향 데이터를 주파수 변환할 수 있다. 주파수 변환된 음향 데이터는 양자화 등을 거쳐 부호화된다. 예를 들어 MPEG-7 표준 압축 환경에서, 오디오 템포에 관한 메타데이터는 오디오 템포 서술자(audio tempo descriptor)일 수 있다.
제 4 실시예에 따른 빠르기 특성 검출부(3010)에서 검출된 빠르기 특성이 템포인 경우, 제 4 실시예에 따른 빠르기 특성 서술자 부호화부(3040)는 템포 정보를 이용하여 오디오 템포(audio tempo)에 관한 메타데이터, 의미 속성 정보(semantic description information), 사이드 정보(side information) 등으로 부호화할 수 있다.
빠르기 특성 서술자 부호화부(3040)에 의해 부호화된 빠르기 특성 서술자는 부호화된 멀티미디어 데이터처럼 비트스트림(3095)에 포함될 수 있다. 또는 부호화된 멀티미디어 데이터와는 다른 비트스트림으로 출력될 수도 있다.
일 실시예에 따른 멀티미디어 부호화 장치(100)와 비교해보면, 입력 신호(3005) 및 입력부(110)에 입력된 신호가 서로 대응되며, 특성 정보 검출부(120) 및 빠르기 특성 검출부(3010)가 서로 대응되고, 부호화 방식 결정부(130) 및 윈도우 길이 결정부(3020)가 서로 대응될 수 있다. 멀티미디어 데이터 부호화부(140)는 음향 부호화부(3030)에 대응될 수 있다.
따라서, 제 4 실시예에 따른 멀티미디어 부호화 장치(3000)는 음향 데이터의 정보 관리 또는 검색을 위해 추출된 빠르기 특성을 이용하여 음향 데이터의 부호화를 위한 주파수 변환에 사용될 윈도우 길이를 결정함으로써, 음향 데이터의 빠르기 속성을 고려하여 보다 적은 비트수로 보다 정확한 세부 정보를 수록할 수 있도록 하는 음향 데이터의 부호화가 가능해진다.
또한, 음향 데이터의 빠르기 속성을 검출하기 위해 별도의 프로세스가 필요한 것이 아니라, 컨텐트 정보를 검색하기 위한 서술자를 생성하기 위해 검출한 정보를 이용하므로 효율적인 데이터 부호화가 가능하다.
도 31 은 본 발명의 제 4 실시예에 따라 멀티미디어의 빠르기 특성에 기반한 멀티미디어 복호화 장치의 블록도를 도시한다.
제 4 실시예에 따른 멀티미디어 복호화 장치(3100)는 빠르기 특성 추출부(3110), 윈도우 길이 결정부(3120), 음향 복호화부(3130) 및 음향 복호화부(3130)를 포함한다.
제 4 실시예에 따른 멀티미디어 복호화 장치(3100)의 전체적인 복호화 프로세스는, 입력 비트스트림(3105)의 부호화된 음향 데이터 및 음향 데이터에 대한 제반 정보를 이용하여 복원 음향(3195)을 생성하기 위함이다.
일 실시예에 따른 빠르기 특성 추출부(3110)는 입력된 비트스트림(3105)으로부터 분류된 빠르기 특성 서술자를 이용하여 빠르기 특성 정보를 추출할 수 있다. 예를 들어, 빠르기 특성 서술자가 오디오 템포에 관한 메타데이터, 의미 속성 정보 및 사이드 정보 중 어느 하나이면, 빠르기 특성으로서 템포 정보 등이 추출될 수 있다. 오디오 템포에 관한 메타데이터는, MPEG-7 표준 압축 규격 환경에서 오디오 템포 서술자일 수 있다.
윈도우 길이 결정부(3120)는 빠르기 정보 추출부(2210)에서 추출된 빠르기 특성을 이용하여 주파수 변환을 위한 윈도우가 결정할 수 있다. 윈도우 길이 결정부(3120)는 윈도우의 길이 또는 윈도우의 형태 등을 결정할 수 있다. 윈도우 길이는 윈도우 내에 포함되는 계수의 개수를 의미한다. 윈도우 형태는 대칭형 윈도우, 비대칭형 윈도우 등의 형태가 있을 수 있다.
음향 복호화부(3130)는, 윈도우 길이 결정부(3120)에서 결정된 윈도우를 이용하여 역주파수 변환하면서 입력 비트스트림(3105)를 복호화하고 복원 음향(3195)을 생성할 수 있다.
일 실시예에 따른 멀티미디어 복호화 장치(200)와 비교해보면, 입력 비트스트림(3105)이 수신부(210)를 통해 입력된 비트스트림에 대응되며, 특성 정보 추출부(220) 및 빠르기 특성 정보 추출부(3110)가 서로 대응되고, 복호화 방식 결정부(230) 및 윈도우 길이 결정부(3120)가 서로 대응될 수 있다. 음향 복호화부(3130) 및 멀티미디어 데이터 복호화부(240)가 서로 대응될 수 있다.
음향 데이터의 빠르기를 고려하여 주파수 변환을 위한 윈도우를 결정하므로 효과적으로 음향 데이터를 복원할 수 있으며, 별도의 속성 정보 추출이 아닌 정보 검색을 위한 서술자로부터 컨텐트 특성을 추출하여 이용하므로 효율적으로 음향 데이터를 복원할 수 있다.
도 32 는 종래 오디오 부호화 방식에서 이용되는 윈도우의 테이블을 도시한다.
음향 신호는 유사한 패턴이 반복되므로, 음향 신호에 대해 시간 영역에서 연산을 수행하는 것에 비해 주파수 영역으로 변환하여 소정 신호 처리를 하는 것이 유리하다. 음향 신호를 주파수 영역으로 변환하기 위해서 데이터를 일정한 단위로 분할하며, 이러한 단위를 프레임 또는 윈도우라 한다. 프레임 또는 윈도우의 길이는 시간 영역 또는 주파수 영역의 해상도를 결정하므로, 부호화/복호화 효율에 있어서 입력 신호의 특성을 고려한 최적의 프레임 또는 윈도우의 길이를 선택하여야 한다.
도 32에 도시된 도표는 대표적인 오디오 코덱 중 하나인 AAC(Advanced Audio Coding)의 윈도우 종류를 도시하고 있다. 윈도우(3210, 3230, 3240)와 같이 1024개의 계수를 포함하는 윈도우 길이와, 윈도우(3220)과 같이 128개의 계수를 포함하는 윈도우 길이의 두 종류의 윈도우 길이가 있다.
윈도우 형태에 있어서, 대칭형 윈도우로는 1024개 계수를 포함하며 윈도우 길이가 긴 'LONG_WINDOW'인 윈도우(3210) 및 128개 계수를 포함하며 윈도우 길이가 짧은 'SHORT_WINDOW'인 윈도우(3220)가 존재한다. 비대칭형 윈도우는, 윈도우 도입 부분이 긴 'LONG_START_WINDOW'(3230) 및 윈도우 종료 부분이 긴 'LONG_STOP_WINDOW'(3240)가 존재한다.
안정된 신호(steady-state signal)에 대해서는 'LONG_WINDOW'인 윈도우(3210)를 적용하여 보다 높은 주파수 해상도를 가질 수 있도록 하고, 변화가 빠르거나 임펄스 신호와 같은 급격한 변화가 존재하는 신호의 경우에는, 'SHORT_WINDOW'인 윈도우(3220)를 적용하여 시간 상의 변화가 보다 잘 표현될 수 있도록 한다.
윈도우(3210)와 같이 윈도우 길이가 긴 경우, 주파수 변환 시 많은 수의 베이시스(basis)를 이용하여 신호를 표시하기 때문에 주파수 영역 상의 세밀한 신호의 변화를 표현할 수 있다. 다만 윈도우 길이가 긴 윈도우의 경우, 동일 윈도우 내에서는 시간 상의 변화를 표현하지 못하므로 윈도우 내의 급변하는 신호를 적절히 표현하지 못함으로 인해 프리에코(pre-echo) 현상 등의 왜곡이 발생할 수 있다.
윈도우(3220)와 같이 윈도우 길이가 짧은 경우, 시간 상의 변화를 효과적으로 표현할 수 있다. 그러나, 안정된 신호에 대해 윈도우 길이가 짧은 윈도우를 적용하는 경우, 윈도우 간의 유사성을 적절히 반영하지 못하고 여러 윈도우 상에 반복적으로 걸친 신호를 표현하므로 부호화 효율이 낮아질 수 있다.
도 33 은 본 발명의 제 4 실시예에 따라, 음향의 템포 정보에 기반하여 윈도우의 길이가 조절되는 관계를 도시한다.
제 4 실시에에 따른 윈도우 길이 결정부(3020, 3120)는 빠르기 특성에 기초하여 윈도우 길이를 결정한다. 템포 정보 또는 분당 비트수(beats per minute, BPM) 정보를 고려하여, 윈도우 길이 결정부(3020, 3120)는 템포가 빠른 음향 데이터는 동일한 구간 내에서 전이 구간이 많이 발생하므로, 음향 데이터의 주파수 변환을 위해 짧은 길이의 윈도우를 선택한다. 또한, 윈도우 길이 결정부(3020, 3120)는 템포가 느린 음향 데이터는 동일한 구간 내에서 전이 구간이 상대적으로 드물게 발생하므로, 음향 데이터의 주파수 변환을 위해 긴 길이의 윈도우를 선택한다.
예를 들어, 도 33의 도표처럼, 라르고(largo), 라르게토(larghetto), 아디지 오(adagio), 안단테(andante), 모데라토(moderato), 알레그로(allegro), 프레스토(presto)로 갈수록 템포가 빨라지고 BPM이 커지므로, 윈도우 길이는 단계적으로 짧아지도록 결정될 수 있다.
도 34 는 본 발명의 제 4 실시예에 따른 멀티미디어의 빠르기 특성에 기반한 멀티미디어 부호화 방법의 흐름도를 도시한다.
단계 3410에서, 멀티미디어 데이터가 입력된다.
단계 3420에서, 멀티미디어 관리 또는 검색을 위한 특성 정보로써 음향 데이터의 빠르기 특성이 검출된다. 빠르기 특성은, 템포, BPM 등으로 정의될 수 있다.
단계 3430에서, 음향 데이터의 빠르기 특성에 기반하여 주파수 변환을 위한 윈도우 길이가 결정될 수 있다. 윈도우 길이 뿐만 아니라 윈도우 형태가 결정될 수도 있다. 빠른 음향 데이터에 대해서는 상대적으로 짧은 길이의 윈도우가 결정되고, 느린 음향 데이터에 대해서는 상대적으로 긴 길이의 윈도우가 결정될 수 있다.
단계 3440에서, 빠르기 특성에 기반하여 결정된 윈도우를 이용하여 음향 데이터에 대해 주파수 변환이 수행된다. 주파수 변환, 양자화 등을 거쳐 음향 데이터의 부호화가 수행된다.
제 4 실시예에 따른 멀티미디어 부호화 장치(3000) 및 멀티미디어 부호화 방법은, 멀티미디어 컨텐트 정보의 검색 및 요약 기능을 제공하는 빠르기 특성 서술자를 이용하여, 주파수 변환을 위한 윈도우 길이가 결정될 수 있다. 음향 데이터의 빠르기를 고려한 윈도우 선정으로 인해 보다 정확하고 효율적인 부호화가 가능해진 다.
도 35 는 본 발명의 제 4 실시예에 따른 멀티미디어의 빠르기 특성에 기반한 멀티미디어 복호화 방법의 흐름도를 도시한다.
단계 3510에서, 멀티미디어데이터 비트스트림이 수신된다. 비트스트림은 파싱되어 멀티미디어의 부호화된 데이터 및 멀티미디어에 관한 정보 데이터 등으로 분류될 수 있다.
단계 3520에서, 멀티미디어의 관리 또는 검색을 위한 특성 정보로써 음향 데이터의 빠르기 정보가 추출될 수 있다. 멀티미디어의 관리 또는 검색을 위한 특성 정보는, 멀티미디어 컨텐트 특성에 기반한 멀티미디어 정보의 관리 및 검색을 위한 서술자로부터 추출될 수 있다.
단계 3530에서, 음향 데이터의 빠르기 특성에 기반하여 주파수 변환을 위한 윈도우 길이가 결정될 수 있다. 윈도우 길이 및 형태가 결정될 수도 있다. 음향 데이터가 빠를수록 짧은 윈도우가 결정되고, 음향 데이터가 느릴수록 긴 윈도우가 결정될 수 있다.
단계 3540에서, 최적 길이의 윈도우를 이용한 주파수 변환 및, 역양자화 등을 거쳐 복호화되어 음향 데이터로 복원될 수 있다.
제 4 실시예에 따른 멀티미디어 복호화 장치(3100) 또는 멀티미디어 복호화 방법에 의해, 음향 컨텐트의 정보 검색 또는 요약을 위해 이용 가능한 서술자를 이용하여 최적 길이의 윈도우를 찾음으로써, 주파수 변환의 연산량을 최적화하고, 윈도우 내의 신호 변화 등을 보다 정확하게 표현할 수 있다.
도 36 은 본 발명의 일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법의 흐름도를 도시한다.
단계 3610에서, 멀티미디어 데이터가 입력된다. 멀티미디어 데이터는 영상 데이터, 음향 데이터 등을 포함할 수 있다.
단계 3620에서, 입력된 멀티미디어 데이터를 분석하여 멀티미디어 컨텐트의 소정 특성에 기반한 멀티미디어의 관리 또는 검색을 위한 특성 정보가 검출된다. 멀티미디어 컨텐트의 소정 특성은, 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성, 음향 데이터의 빠르기 특성 등을 포함할 수 있다. 예를 들어, 영상 데이터의 컬러 특성은, 영상의 컬러 레이아웃, 컬러 히스토그램 등을 포함할 수 있다. 영상 데이터의 텍스처 특성은, 영상 텍스처의 균등성, 평활도, 정규성 및 에지 방향성, 조밀도 등을 포함할 수 있다. 예를 들어, 음향 데이터의 빠르기 특성은, 음향의 템포 정보 등을 포함할 수 있다.
단계 3630에서, 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여, 멀티미디어의 특성에 기반한 부호화 방식이 결정된다. 예를 들어, 영상 데이터의 컬러 특성을 기초하여, 휘도 변화량에 대한 보상치를 결정할 수 있다. 영상 데이터의 텍스처 특성에 따라, 인터 예측에서 사용되는 데이터 처리 단위의 크기 및 추정 모드를 결정할 수 있다. 또한, 영상 데이터의 텍스처 특성에 따라 이용가능한 인트라 예측의 종류 및 방향 등이 결정될 수 있다. 음향 데이터의 빠르기 특성에 따라 주파수 변환을 위한 윈도우의 길이가 결정될 수 있다.
단계 3640에서, 멀티미디어의 특성에 기반한 부호화 방식에 따라 멀티미디어 데이터가 부호화된다. 부호화된 멀티미디어 데이터는 비트스트림 형태로 출력될 수 있다. 움직임 추정, 움직임 보상, 인트라 예측, 주파수 변환, 양자화 및 엔트로피 부호화 등의 작업들을 수행함으로써 멀티미디어 데이터가 부호화될 수 있다.
멀티미디어 컨텐트 특성을 고려하여 결정한 부호화 방식에 따라, 움직임 추정, 움직임 보상, 인트라 예측, 주파수 변환, 양자화 및 엔트로피 부호화 중 적어도 하나의 작업이 수행될 수 있다. 예를 들어, 컬러 특성을 이용하여 휘도 변화량의 보상치가 결정되면, 움직임 보상 후 영상 데이터에 대해 휘도 변화량이 보상될 수 있다. 또한, 텍스처 특성을 이용하여 결정된 인터 예측 모드 또는 인트라 예측 모드에 기초하여 인터 예측 또는 인트라 예측이 수행될 수 있다. 또한 음향의 빠르기 특성을 이용하여 결정된 윈도우 길이를 이용하여 주파수 변환이 수행될 수 있다.
일 실시예에 따른 멀티미디어 부호화 방법은, 멀티미디어의 관리 또는 검색을 위한 특성 정보를 멀티미디어 컨텐트 특성 서술자로 부호화할 수 있다. 예를 들어, 영상 데이터의 컬러 특성은, 컬러 레이아웃에 관한 메타데이터, 컬러 구조에 관한 메타데이터 및 계층적 컬러에 관한 메타데이터 중 적어도 하나로 부호화될 될 수 있다. 영상 데이터의 텍스처 특성은, 에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터 및 텍스처 균등성에 관한 메타데이터 중 적어도 하나로 부호화될 수 있다. 음향 데이터의 빠르기 특성은, 오디오 템포에 관한 메타데이터, 의미 속성 정보 및 사이드 정보 중 적어도 하나로 부호화될 수 있다.
도 37 는 본 발명의 일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법의 흐름도를 도시한다.
단계 3710에서, 멀티미디어 데이터 비트스트림이 수신되고 파싱되어 멀티미디어의 부호화된 데이터 및 멀티미디어에 대한 정보로 분류된다. 멀티미디어는 영상, 음향 등의 모든 종류의 데이터를 포함할 수 있다. 멀티미디어에 대한 정보는, 메타데이터, 컨텐트 특성 서술자 등을 포함할 수 있다.
단게 3720에서, 멀티미디어의 부호화된 데이터 및 멀티미디어에 대한 정보로부터 멀티미디어의 관리 또는 검색을 위한 특성 정보가 추출된다. 멀티미디어의 관리 또는 검색을 위한 특성 정보는 멀티미디어의 컨텐트 특성에 기반한 관리 및 검색을 위한 서술자로부터 추출될 수 있다.
예를 들어, 영상 데이터의 컬러 특성은, 컬러 레이아웃에 관한 메타데이터, 컬러 구조에 관한 메타데이터 및 계층적 컬러에 관한 메타데이터 중 적어도 하나로부터 추출될 수 있다. 영상 데이터의 텍스처 특성은, 에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터 및 텍스처 균등성에 관한 메타데이터 중 적어도 하나로부터 추출될 수 있다. 음향 데이터의 빠르기 특성은, 오디오 템포에 관한 메타데이터, 의미 속성 정보 및 사이드 정보 중 적어도 하나로부터 추출될 수 있다.
영상 데이터의 컬러 특성은, 영상의 컬러 레이아웃, 컬러 히스토그램 등을 포함할 수 있다. 영상 데이터의 텍스처 특성은, 영상 텍스처의 균등성, 평활도, 정규성 및 에지 방향성, 조밀도 등을 포함할 수 있다. 음향 데이터의 빠르기 특성은, 음향의 템포 정보 등을 포함할 수 있다.
단계 3730에서, 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 멀티미디어의 특성에 기반한 복호화 방식이 결정된다. 예를 들어, 영상 데이터의 컬러 특성을 기초하여, 휘도 변화량에 대한 보상치를 결정할 수 있다. 영상 데이터의 텍스처 특성에 따라, 인터 예측에서 사용되는 데이터 처리 단위의 크기 및 추정 모드를 결정할 수 있다. 또한, 영상 데이터의 텍스처 특성에 따라 이용가능한 인트라 예측의 종류 및 방향 등이 결정될 수 있다. 음향 데이터의 빠르기 특성에 따라 주파수 변환을 위한 윈도우의 길이가 결정될 수 있다.
단계 3740에서, 멀티미디어의 부호화된 데이터가 복호화된다.멀티미디어의 특성에 기반한 복호화 방식에 따라, 멀티미디어의 부호화된 데이터가 복호화된다. 멀티미디어 데이터의 복호화는 움직임 추정, 움직임 보상, 인트라 예측, 역주파수 변환, 역양자화 및 엔트로피 복호화 등의 작업들을 거친다. 멀티미디어 데이터가 복호화됨으로써 멀티미디어 컨텐트가 복원될 수 있다.
일 실시예에 따른 멀티미디어 복호화 방법은, 움직임 추정, 움직임 보상, 인트라 예측, 역주파수 변환, 역양자화 및 엔트로피 복호화 중 적어도 하나의 작업을 멀티미디어 컨텐트 특성을 고려하면서 수행할 수 있다. 예를 들어, 컬러 특성을 이용하여 휘도 변화량의 보상치가 결정되면, 움직임 보상 후 영상 데이터에 대해 휘도 변화량이 보상될 수 있다. 또한, 텍스처 특성을 이용하여 결정된 인터 예측 모드 또는 인트라 예측 모드에 기초하여 인터 예측 또는 인트라 예측이 수행될 수 있다. 또한 음향의 빠르기 특성을 이용하여 결정된 윈도우 길이를 이용하여 역주파수 변환이 수행될 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 장치의 블록도를 도시한다.
도 2 는 본 발명의 일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 장치의 블록도를 도시한다.
도 3 은 종래 비디오 부호화 장치의 블록도를 도시한다.
도 4 은 종래 비디오 복호화 장치의 블록도를 도시한다.
도 5 는 본 발명의 제 1 실시예에 따른 멀티미디어의 컬러 특성에 기반한 멀티미디어 부호화 장치의 블록도를 도시한다.
도 6 은 본 발명의 제 1 실시예에 따른 멀티미디어의 컬러 특성에 기반한 멀티미디어 복호화 장치의 블록도를 도시한다.
도 7 은 본 발명의 제 1 실시예에 따라 컬러 특성을 이용하여 측정하는 연속적인 프레임 간의 휘도 변화를 도시한다.
도 8 은 본 발명의 제 1 실시예에 따라 컬러 특성으로써 이용되는 컬러 히스토그램을 도시한다.
도 9 은 본 발명의 제 1 실시예에 따라 컬러 특성으로써 이용되는 컬러 레이아웃을 도시한다.
도 10 은 본 발명의 제 1 실시예에 따른 멀티미디어의 컬러 특성에 기반한 멀티미디어 부호화 방법의 흐름도를 도시한다.
도 11 은 본 발명의 제 1 실시예에 따른 멀티미디어의 컬러 특성에 기반한 멀티미디어 복호화 방법의 흐름도를 도시한다.
도 12 는 본 발명의 제 2 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 부호화 장치의 블록도를 도시한다.
도 13 는 본 발명의 제 2 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 복호화 장치의 블록도를 도시한다.
도 14 는 종래 비디오 부호화 방식에서 이용되는 추정 모드의 종류를 도시한다.
도 15 는 본 발명의 제 2 실시예에서 이용가능한 추정 모드의 종류 및 그룹을 도시한다.
도 16 은 본 발명의 제 2 실시예에 따라, 텍스처를 이용한 데이터 처리 단위의 결정 방식을 도시한다.
도 17 은 본 발명의 제 2 실시예에서 따라 텍스처 특성으로써 이용되는 에지의 종류를 도시한다.
도 18 은 본 발명의 제 2 실시예에 따라 텍스처 특성으로써 이용되는 에지 히스토그램을 도시한다.
도 19 는 본 발명의 제 2 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 부호화 방법의 흐름도를 도시한다.
도 20 은 본 발명의 제 2 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 복호화 방법의 흐름도를 도시한다.
도 21 은 본 발명의 제 3 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 부호화 장치의 블록도를 도시한다.
도 22 은 본 발명의 제 3 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 복호화 장치의 블록도를 도시한다.
도 23 은 원본 영상, 서브 영상 및 영상 블록의 관계를 도시한다.
도 24 는 서브 영상의 에지 히스토그램 서술자의 시멘틱(semantics)을 도시한다.
도 25 는 종래 비디오 부호화 방식의 인트라 예측 모드의 테이블을 도시한다.
도 26 는 종래 비디오 부호화 방식의 인트라 예측 모드의 방향을 도시한다.
도 27 은 본 발명의 제 3 실시예에 따라 재구성된 인트라 예측 모드의 테이블을 도시한다.
도 28 은 본 발명의 제 3 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 부호화 방법의 흐름도를 도시한다.
도 29 은 본 발명의 제 3 실시예에 따른 멀티미디어의 텍스처 특성에 기반한 멀티미디어 복호화 방법의 흐름도를 도시한다.
도 30 은 본 발명의 제 4 실시예에 따라 멀티미디어의 빠르기 특성에 기반한 멀티미디어 부호화 장치의 블록도를 도시한다.
도 31 은 본 발명의 제 4 실시예에 따라 멀티미디어의 빠르기 특성에 기반한 멀티미디어 복호화 장치의 블록도를 도시한다.
도 32 는 종래 오디오 부호화 방식에서 이용되는 윈도우의 테이블을 도시한 다.
도 33 은 본 발명의 제 4 실시예에 따라, 음향의 템포 정보에 기반하여 윈도우의 길이가 조절되는 관계를 도시한다.
도 34 는 본 발명의 제 4 실시예에 따른 멀티미디어의 빠르기 특성에 기반한 멀티미디어 부호화 방법의 흐름도를 도시한다.
도 35 는 본 발명의 제 4 실시예에 따른 멀티미디어의 빠르기 특성에 기반한 멀티미디어 복호화 방법의 흐름도를 도시한다.
도 36 은 본 발명의 일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법의 흐름도를 도시한다.
도 37 는 본 발명의 일 실시예에 따른 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법의 흐름도를 도시한다.

Claims (46)

  1. 멀티미디어를 부호화하는 방법에 있어서,
    멀티미디어 데이터를 입력받는 단계;
    상기 멀티미디어 데이터를 분석하여 상기 멀티미디어 컨텐트의 소정 특성에 기반한 멀티미디어의 관리 또는 검색을 위한 특성 정보를 검출하는 단계; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 부호화 방식을 결정하는 단계를 포함하고,
    상기 특성 정보는 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성 및 음향 데이터의 빠르기 특성 중 적어도 하나이고,
    상기 영상 데이터의 컬러 특성은 영상의 컬러 레이아웃(color layout) 및 컬러 빈(bin) 별 누적 분포 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  2. 제 1 항에 있어서, 상기 멀티미디어 부호화 방법은,
    상기 멀티미디어의 특성에 기반한 부호화 방식에 따라 상기 멀티미디어 데이터를 부호화하는 단계; 및
    상기 부호화된 멀티미디어 데이터를 포함하는 비트스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  3. 제 2 항에 있어서,
    상기 멀티미디어 부호화 방법은, 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위 한 서술자로 부호화하는 단계를 더 포함하고,
    상기 비트스트림 생성 단계는, 상기 부호화된 멀티미디어 데이터 및 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자를 포함하는 비트스트림을 생성하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  4. 삭제
  5. 삭제
  6. 멀티미디어를 부호화하는 방법에 있어서,
    멀티미디어 데이터를 입력받는 단계;
    상기 멀티미디어 데이터를 분석하여 상기 멀티미디어 컨텐트의 소정 특성에 기반한 멀티미디어의 관리 또는 검색을 위한 특성 정보를 검출하는 단계; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 부호화 방식을 결정하는 단계를 포함하고,
    상기 특성 정보는 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성 및 음향 데이터의 빠르기 특성 중 적어도 하나이고,
    상기 부호화 방식 결정 단계는,
    상기 영상 데이터의 컬러 특성을 이용하여 현재 영상 데이터의 화소값 및 참조 영상 데이터의 화소값 간의 변화량을 측정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  7. 제 6 항에 있어서, 상기 부호화 방식 결정 단계는,
    상기 현재 영상 데이터의 화소값 및 참조 영상 데이터의 화소값 간의 변화량을 이용하여 상기 현재 영상 데이터의 화소값을 보상하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  8. 제 7 항에 있어서, 상기 멀티미디어 부호화 방법은,
    상기 현재 영상 데이터에 대해 움직임 보상이 수행된 후, 상기 화소값들 간의 변화량을 이용하여 상기 현재 영상 데이터의 화소값을 보상하여 상기 현재 영상 데이터를 부호화하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  9. 멀티미디어를 부호화하는 방법에 있어서,
    멀티미디어 데이터를 입력받는 단계;
    상기 멀티미디어 데이터를 분석하여 상기 멀티미디어 컨텐트의 소정 특성에 기반한 멀티미디어의 관리 또는 검색을 위한 특성 정보를 검출하는 단계; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 부호화 방식을 결정하는 단계를 포함하고,
    상기 특성 정보는 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성 및 음향 데이터의 빠르기 특성 중 적어도 하나이고,
    상기 영상 데이터의 텍스처 특성은, 영상 텍스처의 균등성(homogeneity), 평활도(smoothness), 정규성(regularity) 및 에지 방향성, 조밀도 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  10. 멀티미디어를 부호화하는 방법에 있어서,
    멀티미디어 데이터를 입력받는 단계;
    상기 멀티미디어 데이터를 분석하여 상기 멀티미디어 컨텐트의 소정 특성에 기반한 멀티미디어의 관리 또는 검색을 위한 특성 정보를 검출하는 단계; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 부호화 방식을 결정하는 단계를 포함하고,
    상기 특성 정보는 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성 및 음향 데이터의 빠르기 특성 중 적어도 하나이고,
    상기 부호화 방식 결정 단계는,
    상기 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터의 움직임 추정(motion estimation)을 위한 데이터 처리 단위의 크기를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  11. 제 10 항에 있어서, 상기 부호화 방식 결정 단계는,
    상기 영상 데이터의 텍스처 특성 중 균등성, 평활도 및 정규성 중 적어도 하나에 기초하여 상기 영상 데이터의 텍스처 변화가 적을수록, 상기 데이터 처리 단위의 크기가 더 크도록 결정하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  12. 제 10 항에 있어서, 상기 멀티미디어 부호화 방법은,
    상기 영상 데이터에 대해 크기가 결정된 데이터 처리 단위를 이용하여 상기 현재 영상 데이터에 대해 움직임 추정 또는 움직임 보상(motion compensation)을 수행하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  13. 제 9 항에 있어서, 상기 부호화 방식 결정 단계는,
    상기 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터에 대해 수행 가능한 인트라 예측 모드(intra prediction mode)를 결정하는 단계를 포함하는 것 을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  14. 제 13 항에 있어서, 상기 부호화 방식 결정 단계는,
    상기 영상 데이터의 텍스처 특성 중 에지 방향성을 이용하여, 현재 영상 데이터에 대해 수행 가능한 인트라 예측 모드(intra prediction mode)의 종류 및 우선 순위 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  15. 제 13 항에 있어서, 상기 멀티미디어 부호화 방법은,
    상기 현재 영상 데이터에 대해 결정된 인트라 예측 모드를 이용하여 상기 현재 영상 데이터에 대해 움직임 추정을 수행하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  16. 멀티미디어를 부호화하는 방법에 있어서,
    멀티미디어 데이터를 입력받는 단계;
    상기 멀티미디어 데이터를 분석하여 상기 멀티미디어 컨텐트의 소정 특성에 기반한 멀티미디어의 관리 또는 검색을 위한 특성 정보를 검출하는 단계; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 부호화 방식을 결정하는 단계를 포함하고,
    상기 특성 정보는 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성 및 음향 데이터의 빠르기 특성 중 적어도 하나이고,
    상기 부호화 방식 결정 단계는,
    상기 음향 데이터의 빠르기 특성을 이용하여, 현재 음향 데이터의 주파수 변환(frequency transform)을 위한 데이터 처리 단위의 길이를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  17. 제 16 항에 있어서, 상기 부호화 방식 결정 단계는,
    상기 음향 데이터의 빠르기 특성 중 템포 정보에 기초하여, 상기 현재 음향 데이터가 더 빠를수록 상기 데이터 처리 단위의 길이가 짧아지도록 더 결정하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  18. 제 17 항에 있어서, 상기 멀티미디어 부호화 방법은,
    상기 음향 데이터에 대해 길이가 결정된 데이터 처리 단위를 이용하여 상기 현재 음향 데이터에 대해 주파수 변환을 수행하는 단계를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  19. 멀티미디어를 부호화하는 방법에 있어서,
    멀티미디어 데이터를 입력받는 단계;
    상기 멀티미디어 데이터를 분석하여 상기 멀티미디어 컨텐트의 소정 특성에 기반한 멀티미디어의 관리 또는 검색을 위한 특성 정보를 검출하는 단계;
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 부호화 방식을 결정하는 단계; 및,
    상기 멀티미디어 컨텐트의 소정 특성이 영상 데이터의 컬러 특성인 경우, 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자로써, 상기 영상 데이터의 컬러 레이아웃(color layout)에 관한 메타데이터, 컬러 구조(color structure)에 관한 메타데이터 및 계층적 컬러(scalable color)에 관한
    메타데이터 중 적어도 하나를 부호화하고,
    상기 멀티미디어 컨텐트의 소정 특성이 상기 영상 데이터의 텍스처 특성인 경우, 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자로써, 상기 영상 데이터의 에지 히스토그램(edge histogram)에 관한 메타데이터, 텍스처 브라우징(texture browsing)을 위한 메타데이터 및 텍스처 균등성(homogeneity of texture)에 관한 메타데이터 중 적어도 하나를 부호화하고,
    상기 멀티미디어 컨텐트의 소정 특성이 음향 데이터의 빠르기 특성인 경우, 상기 음향 데이터의 빠르기 특성을 나타내기 위해 오디오 템포(audio tempo)에 관한 메타데이터 , 의미 속성 정보(semantic description information) 및 사이드 정보(side information) 중 적어도 하나를 부호화하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법.
  20. 멀티미디어를 복호화하는 방법에 있어서,
    멀티미디어 데이터 비트스트림을 수신하고 상기 비트스트림을 파싱하여 멀티미디어의 부호화된 데이터 및 상기 멀티미디어에 대한 정보를 분류하는 단계;
    상기 멀티미디어에 대한 정보로부터 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 추출하는 단계; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 복호화 방식을 결정하는 단계를 포함하고,
    상기 특성 정보는 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성 및 음향 데이터의 빠르기 특성 중 적어도 하나이고,
    상기 영상 데이터의 컬러 특성은 영상의 컬러 레이아웃(color layout) 및 컬러 빈(bin) 별 누적 분포 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  21. 제 20 항에 있어서, 상기 멀티미디어 복호화 방법은,
    상기 멀티미디어의 특성에 기반한 복호화 방식에 따라 상기 멀티미디어의 부호화된 데이터를 복호화하는 단계; 및
    상기 복호화된 멀티미디어 데이터를 복원하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  22. 제 20 항에 있어서, 상기 특성 정보 추출 단계는,
    상기 비트스트림을 파싱하여 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자를 추출하는 단계; 및
    상기 서술자로부터 상기 특성 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  23. 삭제
  24. 삭제
  25. 멀티미디어를 복호화하는 방법에 있어서,
    멀티미디어 데이터 비트스트림을 수신하고 상기 비트스트림을 파싱하여 멀티미디어의 부호화된 데이터 및 상기 멀티미디어에 대한 정보를 분류하는 단계;
    상기 멀티미디어에 대한 정보로부터 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 추출하는 단계; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 복호화 방식을 결정하는 단계를 포함하고,
    상기 특성 정보는 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성 및 음향 데이터의 빠르기 특성 중 적어도 하나이고,
    상기 복호화 방식 결정 단계는,
    상기 영상 데이터의 컬러 특성을 이용하여 현재 영상 데이터의 화소값 및 참조 영상 데이터 간의 변화량을 측정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  26. 제 25 항에 있어서, 상기 멀티미디어 복호화 방법은,
    역주파수 변환된 현재 영상 데이터에 대해 움직임 보상을 수행하는 단계; 및
    상기 현재 영상 데이터의 화소값 및 참조 데이터의 화소값 간의 변화량을 이용하여, 상기 움직임 보상된 현재 영상 데이터의 화소값을 보상하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  27. 멀티미디어를 복호화하는 방법에 있어서,
    멀티미디어 데이터 비트스트림을 수신하고 상기 비트스트림을 파싱하여 멀티미디어의 부호화된 데이터 및 상기 멀티미디어에 대한 정보를 분류하는 단계;
    상기 멀티미디어에 대한 정보로부터 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 추출하는 단계; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 복호화 방식을 결정하는 단계를 포함하고,
    상기 특성 정보는 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성 및 음향 데이터의 빠르기 특성 중 적어도 하나이고,
    상기 영상 데이터의 텍스처 특성은, 영상 텍스처의 균등성, 평활도, 정규성 및 에지 방향성, 조밀도 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  28. 멀티미디어를 복호화하는 방법에 있어서,
    멀티미디어 데이터 비트스트림을 수신하고 상기 비트스트림을 파싱하여 멀티미디어의 부호화된 데이터 및 상기 멀티미디어에 대한 정보를 분류하는 단계;
    상기 멀티미디어에 대한 정보로부터 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 추출하는 단계; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 복호화 방식을 결정하는 단계를 포함하고,
    상기 특성 정보는 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성 및 음향 데이터의 빠르기 특성 중 적어도 하나이고,
    상기 복호화 방식 결정 단계는,
    상기 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터의 움직임 추정을 위한 데이터 처리 단위의 크기를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  29. 제 28 항에 있어서, 상기 복호화 방식 결정 단계는,
    상기 영상 데이터의 텍스처 특성 중 균등성, 평활도 및 정규성 중 적어도 하나에 기초하여 상기 현재 영상 데이터의 텍스처 변화가 적을수록, 상기 데이터 처리 단위의 크기가 더 크도록 결정하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  30. 제 28 항에 있어서, 상기 멀티미디어 복호화 방법은,
    상기 영상 데이터에 대해 크기가 결정된 데이터 처리 단위를 이용하여 상기 현재 영상 데이터에 대해 움직임 추정 또는 움직임 보상을 수행하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  31. 멀티미디어를 복호화하는 방법에 있어서,
    멀티미디어 데이터 비트스트림을 수신하고 상기 비트스트림을 파싱하여 멀티미디어의 부호화된 데이터 및 상기 멀티미디어에 대한 정보를 분류하는 단계;
    상기 멀티미디어에 대한 정보로부터 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 추출하는 단계; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 복호화 방식을 결정하는 단계를 포함하고,
    상기 특성 정보는 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성 및 음향 데이터의 빠르기 특성 중 적어도 하나이고,
    상기 복호화 방식 결정 단계는,
    상기 영상 데이터의 텍스처 특성을 이용하여 현재 영상 데이터에 대해 수행 가능한 인트라 예측 모드를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  32. 제 31 항에 있어서, 상기 복호화 방식 결정 단계는,
    상기 현재 영상 데이터의 텍스처 특성 중 에지의 방향성에 기초하여, 상기 현재 영상 데이터에 대해 수행 가능한 인트라 예측 모드의 종류 및 우선 순위 중 적어도 하나를 결정하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  33. 제 31 항에 있어서, 상기 멀티미디어 복호화 방법은,
    상기 현재 영상 데이터에 대해 결정된 인트라 예측 모드를 이용하여 상기 현재 영상 데이터에 대해 움직임 추정을 수행하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  34. 제 26 항에 있어서,
    상기 멀티미디어 복호화 방법은,
    상기 현재 영상 데이터에 대해 움직임 보상이 수행된 후, 상기 화소값들 간의 변화량을 이용하여 상기 현재 영상 데이터의 화소값을 보상하여 상기 현재 영상 데이터를 복호화하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  35. 멀티미디어를 복호화하는 방법에 있어서,
    멀티미디어 데이터 비트스트림을 수신하고 상기 비트스트림을 파싱하여 멀티미디어의 부호화된 데이터 및 상기 멀티미디어에 대한 정보를 분류하는 단계;
    상기 멀티미디어에 대한 정보로부터 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 추출하는 단계; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 복호화 방식을 결정하는 단계를 포함하고,
    상기 특성 정보는 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성 및 음향 데이터의 빠르기 특성 중 적어도 하나이고,
    상기 복호화 방식 결정 단계는,
    상기 음향 데이터의 빠르기 특성을 이용하여, 현재 음향 데이터의 역주파수 변환을 위한 데이터 처리 단위의 길이를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  36. 제 35 항에 있어서, 상기 복호화 방식 결정 단계는,
    상기 음향 데이터의 빠르기 특성 중 템포 정보에 기초하여, 상기 현재 음향 데이터가 더 빠를수록 상기 데이터 처리 단위의 길이가 짧아지도록 더 결정하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  37. 제 35 항에 있어서, 상기 멀티미디어 복호화 방법은,
    상기 음향 데이터에 대해 길이가 결정된 데이터 처리 단위를 이용하여 상기 현재 음향 데이터에 대해 역주파수 변환을 수행하는 단계를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  38. 멀티미디어를 복호화하는 방법에 있어서,
    멀티미디어 데이터 비트스트림을 수신하고 상기 비트스트림을 파싱하여 멀티미디어의 부호화된 데이터 및 상기 멀티미디어에 대한 정보를 분류하는 단계;
    상기 멀티미디어에 대한 정보로부터 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 추출하는 단계; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 복호화 방식을 결정하는 단계를 포함하고,
    상기 특성 정보는 영상 데이터의 컬러 특성, 영상 데이터의 텍스처 특성 및 음향 데이터의 빠르기 특성 중 적어도 하나이고,
    상기 특성 정보 추출 단계는,
    상기 비트스트림을 파싱하여 서술자로부터 컬러 레이아웃에 관한 메타데이터, 컬러 구조에 관한 메타데이터, 계층적 컬러에 관한 메타데이터, 에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터, 텍스처 균등성에 관한 메타데이터, 오디오 템포에 관한 메타데이터, 의미 속성 정보 및 사이드 정보 중 적어도 하나를 추출하는 단계; 및
    상기 추출된 서술자가 상기 컬러 레이아웃에 관한 메타데이터, 상기 컬러 구조에 관한 메타데이터 및 상기 계층적 컬러에 관한 메타데이터 중 적어도 하나인 경우, 상기 추출된 서술자로부터 상기 영상 데이터의 컬러 특성을 추출하고, 상기 추출된 서술자가 상기 에지 히스토그램에 관한 메타데이터, 상기 텍스처 브라우징을 위한 메타데이터, 및 상기 텍스처 균등성에 관한 메타데이터 중 적어도 하나인 경우, 상기 추출된 서술자로부터 상기 영상 데이터의 텍스처 특성을 추출하고, 상기 추출된 서술자가 상기 오디오 템포에 관한 메타데이터, 상기 의미 속성 정보 및 상기 사이드 정보 중 적어도 하나인 경우, 상기 추출된 서술자로부터 상기 음향 데이터의 빠르기 특성을 추출하는 단계를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법.
  39. 멀티미디어를 부호화하는 장치에 있어서,
    멀티미디어 데이터를 입력받는 입력부;
    상기 멀티미디어 데이터를 분석하여 상기 멀티미디어 컨텐트의 소정 특성에 기반한 멀티미디어의 관리 또는 검색을 위한 특성 정보를 검출하는 특성 정보 검출부;
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 부호화 방식을 결정하는 부호화 방식 결정부;
    상기 멀티미디어의 특성에 기반한 부호화 방식에 따라 상기 멀티미디어 데이터를 부호화하는 멀티미디어 데이터 부호화부; 및
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자로 부호화하는 서술자 부호화부를 포함하고,
    상기 특성 정보는, 영상 데이터의 컬러 특성 및 텍스처 특성, 음향 데이터의 빠르기 특성 중 적어도 하나를 포함하고, 상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자는, 상기 영상 데이터의 컬러 레이아웃에 관한 메타데이터, 컬러 구조에 관한 메타데이터 및 계층적 컬러에 관한 메타데이터, 에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터, 텍스처 균등성에 관한 메타데이터 및 상기 음향 데이터의 음향 데이터의 빠르기 특성 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 장치.
  40. 삭제
  41. 삭제
  42. 멀티미디어 복호화 장치에 있어서,
    멀티미디어 데이터 비트스트림을 수신하고 상기 비트스트림을 파싱하여 멀티미디어의 부호화된 데이터 및 상기 멀티미디어에 대한 정보를 분류하는 수신부;
    상기 멀티미디어에 대한 정보로부터 상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 추출하는 특성 정보 추출부;
    상기 멀티미디어의 관리 또는 검색을 위한 특성 정보를 이용하여 상기 멀티미디어의 특성에 기반한 복호화 방식을 결정하는 복호화 방식 결정부;
    상기 멀티미디어의 특성에 기반한 복호화 방식에 따라 상기 멀티미디어의 부호화된 데이터를 복호화하는 멀티미디어 데이터 복호화부; 및
    상기 복호화된 멀티미디어 데이터를 복원하는 복원부를 포함하고,
    상기 특성 정보 추출부는, 상기 비트스트림을 파싱하여, 상기 멀티미디어의 관리 또는 검색을 위한 서술자를 추출하고, 상기 서술자로부터 상기 특성 정보를 추출하며,
    상기 특성 정보는, 영상 데이터의 컬러 특성 및 텍스처 특성, 음향 데이터의 빠르기 특성 중 적어도 하나를 포함하고,
    상기 멀티미디어 컨텐트에 기반한 멀티미디어의 관리 또는 검색을 위한 서술자는, 상기 영상 데이터의 컬러 레이아웃에 관한 메타데이터, 컬러 구조에 관한 메타데이터 및 계층적 컬러에 관한 메타데이터, 에지 히스토그램에 관한 메타데이터, 텍스처 브라우징을 위한 메타데이터, 텍스처 균등성에 관한 메타데이터 및 상기 음향 데이터의 음향 데이터의 빠르기 특성 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 장치.
  43. 삭제
  44. 삭제
  45. 제 1 항 내지 제 3 항 및 제 6 항 내지 제 19 항 중 어느 한 항의 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  46. 제 20 항 내지 제 22 항 및 제 25 항 내지 제 38 항 중 어느 한 항의 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020090032757A 2008-04-17 2009-04-15 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치 KR101599875B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090032757A KR101599875B1 (ko) 2008-04-17 2009-04-15 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치
PCT/KR2009/001954 WO2009128653A2 (ko) 2008-04-17 2009-04-16 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치
US12/988,426 US20110047155A1 (en) 2008-04-17 2009-04-16 Multimedia encoding method and device based on multimedia content characteristics, and a multimedia decoding method and device based on multimedia

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US7121308P 2008-04-17 2008-04-17
US61/071,213 2008-04-17
KR1020090032757A KR101599875B1 (ko) 2008-04-17 2009-04-15 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090110243A KR20090110243A (ko) 2009-10-21
KR101599875B1 true KR101599875B1 (ko) 2016-03-14

Family

ID=41199574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090032757A KR101599875B1 (ko) 2008-04-17 2009-04-15 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US20110047155A1 (ko)
KR (1) KR101599875B1 (ko)
WO (1) WO2009128653A2 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379718B2 (en) * 2009-09-02 2013-02-19 Sony Computer Entertainment Inc. Parallel digital picture encoding
WO2012092763A1 (en) 2011-01-07 2012-07-12 Mediatek Singapore Pte. Ltd. Method and apparatus of improved intra luma prediction mode coding
JP2012169762A (ja) * 2011-02-10 2012-09-06 Sony Corp 画像符号化装置と画像復号化装置およびその方法とプログラム
CN104335582B (zh) * 2012-06-12 2019-03-08 太阳专利托管公司 动态图像编解码方法以及动态图像编解码装置
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9521438B2 (en) * 2013-03-29 2016-12-13 Microsoft Technology Licensing, Llc Custom data indicating nominal range of samples of media content
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US20150063451A1 (en) * 2013-09-05 2015-03-05 Microsoft Corporation Universal Screen Content Codec
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US11080865B2 (en) * 2014-01-02 2021-08-03 Hanwha Techwin Co., Ltd. Heatmap providing apparatus and method
WO2015171061A1 (en) * 2014-05-08 2015-11-12 Telefonaktiebolaget L M Ericsson (Publ) Audio signal discriminator and coder
US10062405B2 (en) * 2015-05-06 2018-08-28 Samsung Electronics Co., Ltd. Electronic device and method for operating the same
KR20220152299A (ko) * 2020-03-12 2022-11-15 인터디지털 브이씨 홀딩스 프랑스 비디오 인코딩 및 디코딩을 위한 방법 및 장치
USD987659S1 (en) 2021-01-13 2023-05-30 Samsung Electronics Co., Ltd. Electronic device with transitional graphical user interface
USD987661S1 (en) * 2021-01-13 2023-05-30 Samsung Electronics Co., Ltd. Foldable electronic device with transitional graphical user interface
USD987672S1 (en) * 2021-01-13 2023-05-30 Samsung Electronics Co., Ltd. Foldable electronic device with transitional graphical user interface
USD987660S1 (en) * 2021-01-13 2023-05-30 Samsung Electronics Co., Ltd. Electronic device with transitional graphical user interface
USD986910S1 (en) 2021-01-13 2023-05-23 Samsung Electronics Co., Ltd. Foldable electronic device with transitional graphical user interface
USD987658S1 (en) * 2021-01-13 2023-05-30 Samsung Electronics Co., Ltd. Electronic device with transitional graphical user interface
USD987662S1 (en) * 2021-01-13 2023-05-30 Samsung Electronics Co., Ltd. Foldable electronic device with transitional graphical user interface
USD976272S1 (en) * 2021-01-13 2023-01-24 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US11729476B2 (en) * 2021-02-08 2023-08-15 Sony Group Corporation Reproduction control of scene description

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015978B2 (en) 1999-12-13 2006-03-21 Princeton Video Image, Inc. System and method for real time insertion into video with occlusion on areas containing multiple colors
US20060268982A1 (en) 2005-05-30 2006-11-30 Samsung Electronics Co., Ltd. Apparatus and method for image encoding and decoding

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3639753A1 (de) * 1986-11-21 1988-06-01 Inst Rundfunktechnik Gmbh Verfahren zum uebertragen digitalisierter tonsignale
US5162923A (en) * 1988-02-22 1992-11-10 Canon Kabushiki Kaisha Method and apparatus for encoding frequency components of image information
US5109352A (en) * 1988-08-09 1992-04-28 Dell Robert B O System for encoding a collection of ideographic characters
US5673362A (en) * 1991-11-12 1997-09-30 Fujitsu Limited Speech synthesis system in which a plurality of clients and at least one voice synthesizing server are connected to a local area network
US5544239A (en) * 1992-12-14 1996-08-06 Intel Corporation Method and apparatus for improving motion analysis of fades
US5581653A (en) * 1993-08-31 1996-12-03 Dolby Laboratories Licensing Corporation Low bit-rate high-resolution spectral envelope coding for audio encoder and decoder
KR100289733B1 (ko) * 1994-06-30 2001-05-15 윤종용 디지탈 오디오 부호화 방법 및 장치
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6570991B1 (en) * 1996-12-18 2003-05-27 Interval Research Corporation Multi-feature speech/music discrimination system
US6300888B1 (en) * 1998-12-14 2001-10-09 Microsoft Corporation Entrophy code mode switching for frequency-domain audio coding
US7185049B1 (en) * 1999-02-01 2007-02-27 At&T Corp. Multimedia integration description scheme, method and system for MPEG-7
JP3739959B2 (ja) * 1999-03-23 2006-01-25 株式会社リコー デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
US7392185B2 (en) * 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
JP2001333389A (ja) * 2000-05-17 2001-11-30 Mitsubishi Electric Research Laboratories Inc ビデオ再生システムおよびビデオ信号処理方法
EP1526639A3 (en) * 2000-08-14 2006-03-01 Clear Audio Ltd. Voice enhancement system
US20020066101A1 (en) * 2000-11-27 2002-05-30 Gordon Donald F. Method and apparatus for delivering and displaying information for a multi-layer user interface
AUPR212600A0 (en) * 2000-12-18 2001-01-25 Canon Kabushiki Kaisha Efficient video coding
EP1382035A1 (en) * 2001-04-18 2004-01-21 Koninklijke Philips Electronics N.V. Audio coding
US6946715B2 (en) * 2003-02-19 2005-09-20 Micron Technology, Inc. CMOS image sensor and method of fabrication
RU2316040C2 (ru) * 2002-07-01 2008-01-27 Сони Эрикссон Мобайл Коммьюникейшнз Аб Ввод текста в электронное устройство связи
US20040153963A1 (en) * 2003-02-05 2004-08-05 Simpson Todd G. Information entry mechanism for small keypads
US9818136B1 (en) * 2003-02-05 2017-11-14 Steven M. Hoffberg System and method for determining contingent relevance
KR101015497B1 (ko) * 2003-03-22 2011-02-16 삼성전자주식회사 디지털 데이터의 부호화/복호화 방법 및 장치
US8301436B2 (en) * 2003-05-29 2012-10-30 Microsoft Corporation Semantic object synchronous understanding for highly interactive interface
US7353169B1 (en) * 2003-06-24 2008-04-01 Creative Technology Ltd. Transient detection and modification in audio signals
WO2005004113A1 (ja) * 2003-06-30 2005-01-13 Fujitsu Limited オーディオ符号化装置
US7179980B2 (en) * 2003-12-12 2007-02-20 Nokia Corporation Automatic extraction of musical portions of an audio stream
JP4189328B2 (ja) * 2004-01-16 2008-12-03 セイコーエプソン株式会社 画像処理装置、画像表示装置、画像処理方法および画像処理プログラム
CA2992125C (en) * 2004-03-01 2018-09-25 Dolby Laboratories Licensing Corporation Reconstructing audio signals with multiple decorrelation techniques and differentially coded parameters
US7660779B2 (en) * 2004-05-12 2010-02-09 Microsoft Corporation Intelligent autofill
US8117540B2 (en) * 2005-05-18 2012-02-14 Neuer Wall Treuhand Gmbh Method and device incorporating improved text input mechanism
US7886233B2 (en) * 2005-05-23 2011-02-08 Nokia Corporation Electronic text input involving word completion functionality for predicting word candidates for partial word inputs
US7562021B2 (en) * 2005-07-15 2009-07-14 Microsoft Corporation Modification of codewords in dictionary used for efficient coding of digital media spectral data
US7630882B2 (en) * 2005-07-15 2009-12-08 Microsoft Corporation Frequency segmentation to obtain bands for efficient coding of digital media
KR101304480B1 (ko) * 2005-07-20 2013-09-05 한국과학기술원 멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된멀티미디어 컨텐츠 응용방법 및 시스템
KR20070011092A (ko) * 2005-07-20 2007-01-24 삼성전자주식회사 멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된멀티미디어 컨텐츠 응용방법 및 시스템
KR100717387B1 (ko) * 2006-01-26 2007-05-11 삼성전자주식회사 유사곡 검색 방법 및 그 장치
SG136836A1 (en) * 2006-04-28 2007-11-29 St Microelectronics Asia Adaptive rate control algorithm for low complexity aac encoding
KR101393298B1 (ko) * 2006-07-08 2014-05-12 삼성전자주식회사 적응적 부호화/복호화 방법 및 장치
US20080182599A1 (en) * 2007-01-31 2008-07-31 Nokia Corporation Method and apparatus for user input
US8078978B2 (en) * 2007-10-19 2011-12-13 Google Inc. Method and system for predicting text
JP4871894B2 (ja) * 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
CA2686592A1 (en) * 2007-05-07 2008-11-13 Fourthwall Media Context-dependent prediction and learning with a universal re-entrant predictive text input software component
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
WO2009042579A1 (en) * 2007-09-24 2009-04-02 Gesturetek, Inc. Enhanced interface for voice and video communications
US8423371B2 (en) * 2007-12-21 2013-04-16 Panasonic Corporation Audio encoder, decoder, and encoding method thereof
US20090198691A1 (en) * 2008-02-05 2009-08-06 Nokia Corporation Device and method for providing fast phrase input
KR20090110244A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 시맨틱 정보를 이용한 오디오 신호의 부호화/복호화 방법 및 그 장치
US8312032B2 (en) * 2008-07-10 2012-11-13 Google Inc. Dictionary suggestions for partial user entries
GB0905457D0 (en) * 2009-03-30 2009-05-13 Touchtype Ltd System and method for inputting text into electronic devices
US20110087961A1 (en) * 2009-10-11 2011-04-14 A.I Type Ltd. Method and System for Assisting in Typing
US8898586B2 (en) * 2010-09-24 2014-11-25 Google Inc. Multiple touchpoints for efficient text input

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015978B2 (en) 1999-12-13 2006-03-21 Princeton Video Image, Inc. System and method for real time insertion into video with occlusion on areas containing multiple colors
US20060268982A1 (en) 2005-05-30 2006-11-30 Samsung Electronics Co., Ltd. Apparatus and method for image encoding and decoding

Also Published As

Publication number Publication date
WO2009128653A3 (ko) 2010-01-21
WO2009128653A2 (ko) 2009-10-22
KR20090110243A (ko) 2009-10-21
US20110047155A1 (en) 2011-02-24

Similar Documents

Publication Publication Date Title
KR101599875B1 (ko) 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치
JP6595674B2 (ja) ビデオ復号化方法及びその装置
JP6342549B2 (ja) ビデオ復号化方法とその装置
CN108632625B (zh) 一种视频编码方法、视频解码方法和相关设备
TWI656786B (zh) 取樣自適應偏移裝置
TWI615022B (zh) 視訊解碼方法
US8422546B2 (en) Adaptive video encoding using a perceptual model
JP5606591B2 (ja) ビデオ圧縮方法
TWI687091B (zh) 視訊解碼方法
RU2406255C2 (ru) Прогнозирование коэффициентов преобразования для сжатия изображения
CN103098469B (zh) 用于对变换系数进行熵编码/熵解码的方法和设备
RU2404534C2 (ru) Адаптивный порядок сканирования коэффициентов
JP2004254274A (ja) データ圧縮のための改良された最適化技術
KR20100068529A (ko) 장면 전환 검출 시스템 및 방법
KR20160065860A (ko) 미디어 신호의 인코딩, 디코딩 방법 및 그 장치
Adami et al. Embedded indexing in scalable video coding
JP6130556B6 (ja) ビデオ復号化方法及びその装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
LAPS Lapse due to unpaid annual fee