KR20060133962A - 스케일러블 신호 처리를 위한 방법 및 장치 - Google Patents

스케일러블 신호 처리를 위한 방법 및 장치 Download PDF

Info

Publication number
KR20060133962A
KR20060133962A KR1020067004995A KR20067004995A KR20060133962A KR 20060133962 A KR20060133962 A KR 20060133962A KR 1020067004995 A KR1020067004995 A KR 1020067004995A KR 20067004995 A KR20067004995 A KR 20067004995A KR 20060133962 A KR20060133962 A KR 20060133962A
Authority
KR
South Korea
Prior art keywords
data
compression
compression factor
application
processing
Prior art date
Application number
KR1020067004995A
Other languages
English (en)
Inventor
라마나탄 세투라만
파비안 이. 언스트
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060133962A publication Critical patent/KR20060133962A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Abstract

본 발명은 컨텐츠 신호 처리에 관한 것이며,특히 비디오 컨텐츠 신호의 처리에 관한 것이다. 컨텐츠 신호 처리를 위한 장치(100)는 컨텐츠 신호를 인코딩하는 스케일러블 인코더(101)를 구비하여 다수의 압축율과 관계되는 데이터를 포함하는 스케일러블 인코딩된 데이터를 발생시킨다. 압축 프로세서(105)는 다수의 압축율과 관련된 데이터를 표시하는 압축 팩터 표시자들을 결정한다. 따라서, 압축 팩터 표시자들은 스케일러블 인코딩된 데이터 중 어느 데이터가 상이한 압축율에 대응하는지를 표시한다. 스케일러블 인코딩된 데이터 및 압축 팩터 표시자들을 포함하는 결합된 데이터는 프레임 메모리(105)에 저장된다. 주어진 압축 팩터 요건을 갖는 애플리케이션은 압축 팩터 표시자들을 사용하여 처리하는데 필요로 되는 프레임 메모리(105)의 스케일러블 인코딩된 데이터(105)에 액세스한다. 다수의 애플리케이션들은 동일한 프레임 메모리(105)에 액세스함으로써, 상이한 압축 팩터 요건들을 갖는 다수의 애플리케이션들과 함께 사용될 수 있는 스케일러블 인코딩된 데이터를 허용한다.
스케일러블 인코더, 압축 프로세서, 프레임 메모리, 압축율, 압축 팩터 표시자

Description

스케일러블 신호 처리를 위한 방법 및 장치{Method and apparatus for scalable single processing}
본 발명은 컨텐츠 신호 처리 및 특히 스케일러블 인코딩된 신호를 처리하는 방법 및 장치에 관한 것이다.
최근에, 비디오 신호들과 같은 컨텐츠 신호들의 디지털 저장 및 분배 장치의 사용이 널리 보급되었다. 따라서, 상이한 컨텐츠 신호들을 위한 많은 수의 다양한 인코딩 기술들이 개발되어 왔다. 예를 들어, 많은 전문기 및 소비자 애플리케이션들에서 디지털 비디오의 채용을 촉진시키고 여러 제조자들로부터의 장비 호환성을 보장하기 위하여 다수의 비디오 인코딩 표준들이 설계되어 왔다.
가장 영향있는 표준들은 통상적으로, ISO/IEC(International Organization for Standardization/International Electrotechnical Committee)의 ITU-T(International Telecommunictions Union) 또는 MPEG(Motion Pictures Experts Group) 위원회 중 어느 하나에 개발되어 왔다. 권장된 ITU-T 표준들은 통상적으로 실시간 통신들(예를 들어,화상회의)을 목표로 하는 반면에, 대부분의 MPEG 표준들 은 저장(예를 들어, 디지털 비디오 디스크(DVD)) 및 브로드캐스트(예를 들어, 디지털 비디오 브로드캐스트(DVB) 표준)에 최적화된다. 현재, 가장 폭넓게 사용되는 비디오 압축 기술들 중 하나는 MPEG-2(이동 화상 전문가 그룹) 표준으로서 공지되어 있다. MPEG-2는 프레임이 8개의 수직 및 8개의 수평 픽셀들을 각각 포함하는 다수의 블록들로 프레임을 분할하는 블록 기반 압축 방식이다. 루미넌스 데이터의 압축을 위하여, 각 블록은 데이터 값들을 제로로 변환시키는 횟수를 크게 감소시키는 양자화보다 앞서 이산 코사인 변환(DCT)을 사용하여 개별적으로 압축된다. 색도 데이터의 압축을 위하여, 색도 데이터의 량은 통상적으로 우선 다운-샘플링에 의해 감소되어, 각 4개의 루미넌스 블록들에 대해서, DCT 및 양자화를 사용하여 유사하게 압축되는 2개의 색도 블록들이 얻어지도록 한다(4:2:0 포맷). 단지 인트라-프레임 압축을 토대로 한 프레임들은 인트라 프레임(I-프레임들)으로 공지되어 있다.
비디오 신호들의 저장에 필요한 메모리뿐만 아니라 비디오 신호들을 전송하는데 필요로 되는 대역폭을 감소시키기 위하여 가능한 최종 인코딩 레이트를 감소시키는 것이 바람직하다.
최근에, 디지털 비디오의 처리를 위하여 많은 수의 상이한 비디오 애플리케이션들 및 프로세스들이 개발되어 왔다. 이들 애플리케이션들은 예를 들어 개발된 비디오 표준들에 따라서 비디오 인코딩 및 압축을 위한 알고리즘들을 포함할 뿐만 아니라 비디오 신호들의 처리를 위한 다수의 알고리즘들로 확장되어 부가적인 정보를 도출하거나 효과들을 제공한다. 예를 들어, 컨텐츠 분석 또는 3차원 정보 추출을 위한 애플리케이션들이 개발되어 왔다.
이들 알고리즘들 및 애플리케이션들을 효율적으로 구현하기 위하여, 많은 전용 또는 반전용 집적 회로들이 개발되었다. 개발된 많은 알고리즘들은 비디오 신호들의 하나 이상의 프레임들을 토대로 하기 때문에, 비디오 처리 회로는 하나 이상의 프레임들의 데이터를 보유하는 프레임 메모리를 포함한다. 양호하게도, 상기 프레임 메모리는 고속 데이터 전송, 대역폭 증가 및 전력 소모 감소할 수 있는 처리 기능의 동일 칩 상에 임베드된다.
그러나, 집적 회로의 칩 크기가 제한되기 때문에, 임베드된 프레임 메모리는 전형적으로 제한되고, 상이한 집적 회로들 간에서 또한 가변될 수 있다. 게다가, 일부 애플리케이션들에서, 프레임 메모리는 임베드된 프레임 메모리에 비해서 현저히 크도록 외장형일 수 있다.
따라서, 주어진 프레임 메모리에 맞추어지도록 스케일링될 수 있는 포맷으로 비디오 신호의 프레임이 인코딩되도록 스케일러블 임베드된 압축 기술들이 개발되어 왔다. 따라서, 비압축된 프레임은 예를 들어 10Mbits를 포함할 수 있다. 프레임 메모리가 단지 2Mbits이면, 스케일러블 압축 알고리즘은 10Mbit의 데이터를 2Mbits로 압축시킨다. 그러나, 프레임 메모리가 단지 1Mbit의 데이터만을 허용하면, 이 알고리즘은 1Mbit의 프레임을 포함할 수 있다. 따라서, 이 프레임은 프레임 메모리로 인코딩되어 이용가능한 메모리 용량에 맞춰지도록 한다.
하나의 이와 같은 인코딩 알고리즘이 R.P.Kleihorst 및 R.J. van der Vleuten이 Institute of Electrical and Electronic Engineers의 Journal of VLSI Signal Processing Systems vol.24. pp 1523-1543, 2000,에 발표한 "DCT-domain embedded memory compression for hybrid video coders"에 개시되어 있다. 이는 비디오 신호의 프레임 데이터를 효율적으로 저장하게 한다.
클레이호스트(Kleihorst) 등에 의해 서술된 기술은 주어진 애플리케이션에 적합한 효율적인 스케일러블 임베드된 인코딩을 위하여 제공된다. 따라서, 하나 이상의 프레임들은 프레임 메모리에 임베드되고 저장될 수 있다. 그 후, 이 프레임들은 애플리케이션에 제공되고 이에 의해 처리될 수 있다. 그러나, 현재 많은 비디오 신호 처리 기술들은 공지되어 있고 비디오 신호들에 적용될 수 있다. 따라서, 비디오 신호는 여러 상이한 프로세스들 및 애플리케이션들에 사용될 수 있다. 예를 들어, 인코딩된 신호는 3차원 픽쳐들로부터 3차원 정보를 발생시키도록, 더 낮은 데이터 레이트로 압축되도록, 또는 컨텐츠 정보를 도출하도록 처리될 수 있다. 그러나, 많은 이들 애플리케이션들 또는 프로세스들은 상이한 특성들을 갖고 입력 비디오 신호의 상이한 파라미터들을 필요로 한다. 예를 들어, 세그먼테이션 프로세스들은 최대 8 팩터만큼 압축되는 프레임 신호들을 토대로 하는 반면에, 압축 알고리즘은 입력 비디오 신호가 4 팩터 또는 그보다 아래만큼 압축되는 것을 필요로 할 수 있다. 따라서, 상이한 애플리케이션들이 상이한 요구들을 갖기 때문에, 클레이호스트 등이 개시한 기술은 직접적으로 적용될 수 없고 프레임 데이터는 상이한 요구들을 갖는 상이한 애플리케이션들에 적합한 포맷으로 변환되는 것을 필요로 한다.
그러므로, 컨텐츠 신호 처리를 위한 개선된 방법 및 장치가 유용하고 특히 상이한 애플리케이션들 또는 프로세스들로 스케일러블 임베드되어 인코딩된 신호들의 사용을 촉진시키는 시스템이 유용하다.
발명의 요약
따라서, 본 발명은 상술된 단점을 중 하나 이상 또는 임의의 조합을 완화, 경감 또는 제거하기 위한 것이다.
본 발명의 제 1 특징에 따르면, 컨텐츠 신호 처리용 장치가 제공되는데, 상기 장치는 다수의 압축율과 관련된 데이터를 포함하는 스케일러블 인코딩된 데이터를 발생시키기 위하여 컨텐츠 신호를 인코딩하는 인코딩 수단; 상기 다수의 압축율과 관련된 데이터를 표시하는 압축 팩터 표시자들을 결정하는 수단; 및 상기 스케일러블 인코딩된 데이터 및 상기 압축 팩터 표시자들을 포함하는 결합된 데이터를 발생시키는 수단을 포함한다. 이 컨텐츠 신호는 비디오 신호일 수 있다.
본 발명은 상이한 요건들을 갖는 다수의 상이한 애플리케이션들과 함께 사용될 수 있는 스케일러블 인코딩된 데이터를 발생시킨다. 특히, 소망의 또는 필요로 되는 압축 팩터에 대응하는 데이터를 추출하여 스케일러블 인코딩된 데이터를 발생시킨다. 압축 팩터는 상이한 압축율과 관련된 데이터를 표시한다. 본 발명은 주어진 압축 팩터에 대응하는 데이터를 압축 팩터 표시자들의 사용에 의해 직접적으로 추출한다.
압축 팩터 표시자들은 바람직하게는 다수의 블록들에서 주어진 압축 팩터에 대응하는 데이터를 표시하는 다수의 표시자들을 포함할 수 있다. 예를 들어, 스케일러블 인코딩은 컨텐츠 데이터를 컨텐츠 데이터의 그룹들로 그룹화하고 각 그룹을 개별적으로 인코딩하는 것을 토대로 할 수 있다. 바람직하게는, 한 세트의 압축 팩터 표시자들이 각 그룹을 위하여 발생된다. 비디오 컨텐츠 신호에 대해서, 각 그룹의 데이터는 예를 들어 이산 코사인 변환(DCT) 블록에 대응할 수 있다. 압축 팩터 표시자들은 이 기준이 압축 팩터 표시자들을 결정하기 위하여 사용될 수 있는 것처럼 블록들 간에서 상이할 수 있다. 예를 들어, 압축 팩터 표시자들을 결정하는 알고리즘은 개별적인 그룹들 또는 데이터의 블록들의 특성들에 따를 수 있다.
결합된 데이터는 예를 들어 적절한 데이터 저장장치에 저장되거나 내부 또는 외부 애플리케이션에 통신될 수 있다. 다수의 압축율과 관련된 데이터는 데이터의 중첩 세트들을 포함한다. 그러므로, 주어진 압축 팩터에 대응하는 데이터 섹션은 바람직하게는 더 낮은 압축 팩터에 대응하는 데이터 섹션의 서브셋이다. 예를 들어, 인코딩이 DCT를 사용하는 경우, 각 압축 팩터는 증가하는 절사들(truncations)에 대응하여 압축 팩터들을 증가시키면서 발생된 공간 주파수 계수들의 주어진 절사에 대응할 수도 있다.
그러므로, 본 발명은 상이한 압축 팩터들을 갖는 상이한 애플리케이션들에 사용될 스케일러블 인코딩된 데이터의 사용을 촉진시키도록 결합된 데이터를 발생시킬 수 있다.
용어 압축 팩터는 결과적인 데이터 레이트, 프레임 메모리 크기, 압축율 또는 이와 유사한 것과 같은 압축 팩터들에 대한 간접 기준들을 포함할 수 있다.
본 발명의 특징을 따르면, 이 장치는 제 1 애플리케이션을 처리하는 제 1 처리 수단을 더 포함하는데, 상기 제 1 처리 수단은 상기 제 1 애플리케이션과 관련된 적어도 제 1 압축 팩터를 결정하는 수단; 상기 압축 팩터 표시자들에 응답하여 상기 스케일러블 인코딩된 데이터의 제 1 압축 팩터와 관련된 제 1 데이터 세트를 추출하는 제 1 추출 수단; 상기 제 1 애플리케이션에 따라서 상기 스케일러블 인코딩된 데이터를 처리하는 수단을 포함한다.
따라서, 본 발명은 스케일러블 인코딩된 신호로부터 주어진 애플리케이션이 필요로 되거나 소망의 데이터를 추출하도록 한다. 그러므로, 본 발명은 이 애플리케이션의 요건들에 부합하도록 개별적인 애플리케이션에 의해 맞춰질 수 있는 데이터를 분포시키는 낮은 복잡도 및/또는 유연한 방법을 허용한다. 게다가, 이는 컨텐츠 신호의 인코딩에 어떤 변경도 행함이 없이 상이한 압축 팩터들을 사용하는 알고리즘들 또는 프로세스들이 도입될 수 있기 때문에 애플리케이션의 설계 및 갱신면에서 유연성을 높게 한다.
적어도 제 1 압축 팩터의 결정은 예를 들어 컨텐츠 신호, 스케일러블 인코딩된 데이터 또는 애플리케이션의 하나 이상의 가변 특성들의 평가에 응답하여 능동 결정될 수 있다. 대안적으로 또는 부가적으로, 이는 단지 제 1 애플리케이션에 대한 미리 결정된 값만을 사용하는 것과 같은 수동 결정일 수 있다. 다수의 압축 팩터들이 결정되고 데이터는 이들 압축 팩터들에 응답하여 추출되는 것이 바람직하다. 예를 들어, 상이한 압축 팩터는 스케일러블 인코딩된 데이터 또는 언더라잉 컨텐츠 신호의 상이한 섹션들 또는 데이터 그룹들을 위하여 발생될 수 있다.
본 발명의 다른 특징을 따르면, 제 1 애플리케이션은 세그먼테이션 애플리케이션이다. 이는 인코딩된 컨텐츠 신호에 대한 세그먼테이션 동작을 효율적으로 유연한 방식으로 수행하게 한다.
본 발명의 다른 특징을 따르면, 제 1 추출 수단은 제 1 애플리케이션에 의해 결정된 세그먼테이션에 응답하여 제 1 데이터 세트를 추출하도록 동작될 수 있다. 이것이 세그먼테이션 애플리케이션에 의해 결정되는 상이한 세그먼트들의 특성들에 특히 부합되는 데이터를 추출할 수 있도록 한다. 따라서, 이 프로세스는 피드백 루프를 유용하게 포함할 수 있는데, 이 루프에서의 세그먼테이션은 데이터의 추출 및 세그먼테이션을 고려하여 리파인되는 데이터의 추출을 토대로 한다. 예를 들어, 증가된 압축 팩터들은 동질의 세그먼트들 내에서 사용될 수 있고 하부 압축 팩터들은세그먼트들 간에 또는 비동질 섹터들 간에서 사용될 수 있다. 따라서, 압축 팩터들및 처리할 데이터는 스케일링되어 인코딩된 데이터 또는 컨텐츠 신호의 특성을 위하여 최적화되거나 개선되어, 감소된 리소스 요건들로 더욱 효율적인 처리를 한다. 이것은 트기 시간 일정 세그먼테이션(time consistent segmentation)에 유용한데, 여기서 이전 데이터의 세그먼테이션 정보는 현재 데이터에 가해진다. 예를 들어, 사전 비디오 프레임의 세그먼테이션은 다음 비디오 프레임의 제 1 데이터 세트의 추출을 위하여 사용될 수 있다.
본 발명의 다른 특징을 따르면, 상기 장치는 제 2 애플리케이션을 처리하기 위한 제 2 처리 수단을 더 포함하는데, 상기 제 2 처리 수단은 상기 제 2 애플리케이션과 관련된 제 2 압축 팩터를 결정하는 수단을 포함하는데, 상기 제 2 압축 팩터는 제 1 압축 팩터와 상이한, 제 2 처리 수단; 압축 팩터 표시자들에 응답하여 스케일러블 인코딩된 데이터의 제 2 압축 팩터와 관련된 제 2 데이터 세트를 추출하는 제 2 추출 수단; 및 상기 제 2 애플리케이션에 따라서 상기 스케일러블 인코딩된 데이터를 처리하는 수단을 포함한다.
따라서, 본 발명은 상이한 요건들을 갖고 특히 상이한 관련된 압축 팩터들을 갖는 다수의 애플리케이션들을 위하여 단일의 스케일러블 인코딩된 데이터 신호를 사용하도록 한다. 이 관련된 압축 팩턱들은 스케일러블 인코딩된 데이터 또는 언더라잉 컨텐츠 신호의 상이한 섹션들 또는 그룹들에 대해서 변화될 수 있다. 비교 팩터들은 다른 섹터들에서 상이하면서 일부 섹션들에서 동일할 수 있다. 예를 들어, 상이한 압축 팩터들의 범위들은 제 2 및 제 2 애플리케이션에 대해서 다를 수 있다. 그럼으로, 본 발명은 매우 유연한 스케일러블 인코딩된 데이터 및 컨텐츠 신호들에 대해 유연하고 효율적인 인코딩 및 처리 시스템을 허용한다.
데이터 추출 수단은 제 1 또는 제 2 애플리케이션의 압축 팩터들에 응답하여 데이터를 추출하는 상이한 수단일 수 있거나 동일한 수단일 수 있다.
본 발명의 다른 특징을 따르면, 제 1 추출 수단은 제 2 압축 팩터와 관련된 제 1 데이터 세트의 데이터를 제 2 처리 수단에 전송하도록 동작될 수 있고 제 2 추출 수단은 제 2 압축 팩터와 관련된 부가적인 데이터를 추출하도록 동작될 수 있다.
이는 다수의 애플리케이션들을 위한 데이터를 추출한 수단을 효율적으로 용이하게 구현하게 한다. 특히, 이것은 데이터의 한 세트가 다른 것의 서브셋인 2개의 애플리케이션들을 위한 데이터를 추출하는 고속이며 저 복잡도 방법을 제공할 수 있다. 예를 들면, 제 2 애플리케이션이 제 1 애플리케이션보다 낮은 압축 팩터에 따른 데이터를 필요로 하는 경우, 이는 제 1 애플리케이션 더하기 낮은 압축 팩터와 관련된 부가적인 데이터에 제공된 데이터를 제 2 애플리케이션에 제공하는 것을 필요로 할 수 있다. 이 방식으로, 단지 하나의 추출 동작은 두 가지 애플리케이션들에 의해 필요로 되는 경우조차도 각 데이터 요소에 대해서 필요로 된다.
본 발명의 다른 특징을 따르면, 제 2 애플리케이션은 압축 애플리케이션이다. 이는 인코딩된 컨텐츠 신호에 대해 압축 동작을 수행하는 효율적이고 유연한 방식을 허용한다.
본 발명의 다른 특징을 따르면, 제 2 처리 수단은 제 2 데이터 세트를 저장하는 데이터 저장장치를 포함하는데, 제 2 애플리케이션은 데이터 저장장치에 압축된 데이터를 저장하도록 동작될 수 있고, 저장된 압축 데이터에 응답하여 압축을 수행하도록 동작될 수 있는 압축 알고리즘을 포함한다.
이것이 압축이 과거 압축된 데이터를 토대로 컨텐츠 신호를 효율적으로 압축하게 한다. 예를 들어, 비디오 컨텐츠 신호에 대해서, 주어진 프레임의 압축은 다른 압축된 프레임들에 응답할 수 있다.
본 발명의 다른 특징을 따르면, 제 1 애플리케이션은 세그먼테이션 애플리케이션이고 제 1 처리 수단은 제 2 처리 수단에 세그먼테이션 애플리케이션의 세그먼테이션 데이터를 제공하도록 동작될 수 있고, 압축 애플리케이션은 세그먼테이션 데이터에 응답하여 압축을 수행하도록 동작될 수 있다. 이것은 세그먼테이션에 응답하여 압축시킴으로써, 개선된 품질 및/또는 압축율와 더불어 효율적인 압축을 허용한다. 예를 들어, 동질의 데이터를 포함하는 세그먼트들이 비동질 데이터를 포함하는 세그먼트들 또는 세그먼트 트랜지션들 보다 높은 압축 팩터들로 압축될 수 있다. 그러므로, 본 발명은 유연하며, 효율적이며 및/또는 고 수행성능 방식으로 세그먼테이션 알고리즘 및 압축 알고리즘을 결합시킨다.
본 발명의 다른 특징을 따르면, 제 1 데이터 세트는 스케일러블 인코딩된 데이터의 프레임에 대응하고 제 1 추출 수단(201)은 프레임의 세그먼테이션에 응답하여 제 1 데이터 세트에서 추출하도록 동작될 수 있다. 예를 들어, 외부 세그먼테이션 프로세스는 데이터 추출을 최적화하는데 사용될 수 있는 세그먼테이션 정보를 제공할 수 있다. 이는 시간적 정보를 필요로 하지 않고 공간 정보 및 분석을 토대로 데이터 추출을 개선시킨다.
본 발명의 다른 특징을 따르면, 인코딩 수단은 단일 패스 스케일러블 인코더를 포함한다. 본 발명은 단일 패스 인코더가 상이한 압축 팩터 요건들을 갖는 다수의 애플리케이션들에 의해 직접 사용될 수 있는 스케일러블 인코딩된 데이터를 발생시킨다. 따라서, 다수의 패스 인코딩을 위한 요건은 본 발명에 의해 제거되거나 완화될 수 있다. 그러므로, 인코딩의 복잡도, 계산 자원, 비용 및/또는 속도는 상당히 감소될 수 있다.
본 발명의 다른 특징을 따르면, 압축 팩터 표시자들은 주어진 압축 팩터와 관련된 데이터를 위한 종료점 및/또는 시작점을 표시하는 적어도 하나의 포인터를 포함한다. 이는 주어진 압축 팩터와 관련된 데이터를 표시하는데 특히 유용한 방법을 제공한다. 이는 데이터를 간단히 구현하여 간단히 추출하게 한다.
본 발명의 다른 특징을 따르면, 컨텐츠 신호는 비디오 신호이다. 본 발명은 스케일러블 인코딩된 데이터의 상이한 요건들을 갖는 다수의 비디오 처리 애플리케이션들에 의해 직접 사용될 수 있는 비디오 신호를 위한 스케일러블 인코딩된 데이터를 유용하게 발생시키는 방법이다.
본 발명의 제 2 특징에 따르면, 컨텐츠 신호 처리 장치가 제공되는데, 이 장치는 다수의 압축율과 관련된 데이터를 포함하는 스케일러블 인코딩된 데이터 및 상기 다수의 압축율과 관련된 데이터를 표시하는 압축 팩터 표시자들을 포함하는 결합된 컨텐츠 신호 데이터를 수신하는 수신 수단; 제 1 애플리케이션과 관련된 적어도 제 1 압축 팩터를 결정하는 수단; 상기 압축 팩터 표시자들에 응답하여 상기 스케일러블 인코딩된 데이터의 제 1 압축 팩터와 관련된 제 1 데이터 세트를 추출하는 추출 수단; 및, 상기 제 1 애플리케이션에 따라서 제 1 데이터 세트를 처리하는 수단을 포함한다.
본 발명의 제 3 특징에 따르면, 컨텐츠 신호 처리 방법이 제공되는데, 이 방법은 다수의 압축율과 관련된 데이터를 포함하는 스케일러블 인코딩된 데이터를 발생시키기 위하여 컨텐츠 신호를 인코딩하는 단계; 다수의 압축율과 관련된 데이터를 표시하는 압축 팩터 표시자들을 결정하는 단계; 및 상기 스케일러블 인코딩된 데이터 및 상기 압축 팩터 표시자들을 포함하는 결합된 데이터를 발생시키는 단계를 포함한다.
본 발명의 이들 및 다른 특징들, 특징들 및 장점들이 이하에 설명된 실시예(들)과 관련하여 명백하게 될 것이다.
본 발명의 실시예가 전체 도면들을 참조하여 단지 예로서 설명될 것이다.
도 1은 본 발명의 실시예를 따라서 컨텐츠 신호 처리를 위한 장치를 도시한 도면.
도 2는 본 발명의 실시예를 따라서 다수의 애플리케이션들을 처리하는 장치를 도시한 도면.
이하의 설명은 비디오 신호의 처리에 적용될 수 있는 본 발명의 실시예에 관한 것이지만, 본 발명은 이 애플리케이션으로 국한되는 것이 아니라 예를 들어 오디오 또는 다매체 컨텐츠 신호들을 포함하는 많은 다른 컨텐츠 신호들에 적용될 수 있다는 것을 인지할 것이다.
도 1은 본 발명의 바람직한 실시예에 따라서 컨텐츠 신호 처리를 위한 장치(100)를 도시한 것이다.
이 장치(100)는 내부 또는 외부 소스일 수 있는 적절한 소스(도시되지 않음)으로부터 비디오 신호를 수신하는 스케일러블 인코더(101)를 포함한다. 바람직한 실시예에서, 수신된 비디오 신호는 인코딩되거나 압축되지 않은 로우 디지털화된 비디오 신호(raw digitised video signal)이다. 다른 실시예들에서, 비디오 신호는 이미 적절한 포맷으로 인코딩 및/또는 압축되었다.
스케일러블 인코더(101)는 주어진 프레임 메모리 크기에 맞출 수 있도록 수 신된 비디오 신호를 인코딩하도록 동작될 수 있다. 바람직한 실시예의 스케일러블 인코더(101)는 R.P.Kleihorst 및 R.J. van der Vleuten이 Institute of Electrical and Electronic Engineers의 Journal of VLSI Signal Processing Systems vol.24. pp 1523-1543, 2000,에 발표한 "DCT-domain embedded memory compression for hybrid video coders"에 개시된 알고리즘을 사용한다.
따라서, 스케일러블 인코더(101)는 주어진 메모리 할당에 맞춰지도록 스케일링될 수 있는 신호를 발생시킨다. 특히, 스케일러블 인코더(101)는 수신된 비디오 신호의 프레임을 다수의 8×8 픽셀 블록들로 분할된다. 이산 퓨리에 변환(DCT)은 공간 주파수 계수들을 발생시키기 위하여 각 블록에 대해 수행된다. 다수의 주파수 계수들은 비트플레인(bitplane)마다 선택되고 인코딩된다(즉, 모든 선택된 계수들의 제 1 모든 대부분의 유효 비트들이 포함되며, 모든 선택된 계수들의 다음 가장 유효한 비트 등이 포함된다).
바람직한 실시예에서, 비디오 신호는 스케일러블 인코더(101)에 결합되는 프레임 메모리(103)에 저장된다. 바람직한 실시예에서, 프레임 메모리는 DCT 도메인에서 하나 이상의 프레임들을 저장하는데, 즉 각 DCT 블록들의 선택된 계수들은 비트플레인 순서로 저장된다. 게다가, 바람직한 실시예에서, 스케일러블 인코더(101)는 부분적으로 적절한 수의 계수들을 선택함으로써 그리고 부분적으로 상이한 계수들에 대한 워드 크기를 절사함으로써 프레임 메모리(103)에 맞추도록 DCT 인코딩된 신호를 스케일하도록 동작될 수 있다.
따라서, 스케일러블 인코더(101)는 다수의 저 주파수 계수들을 선택하고 각 DCT 블록들을 위한 다수의 고 주파수 계수들을 거부한다. 거부되는 고 주파수들의 수는 프레임 메모리의 이용가능한 메모리 용량에 좌우된다. 부가적으로 또는 대안적으로, 스케일러블 인코더(101)는 이용가능한 메모리 용량에 따라서 일부 또는 모든 계수들로부터 최소 유효 비트들의 일부를 절사할 수 있다. 이는 프레임 메모리에 부합되는 압축된 비디오 신호를 허용한다. 바람직한 실시예에서, 스케일러블 인코더(101)는 의도된 애플리케이션의 요건들에 관계없이 프레임 메모리(103)의 전체 이용가능한 용량을 사용한다. 따라서, 애플리케이션이 4의 압축 팩터를 토대로 하는 경우조차도, 스케일러블 인코더(101)는 프레임 메모리가 충분한 용량을 갖는다면 2의 압축 팩터에 대응하는 데이터를 저장한다.
바람직한 실시예에서, 따라서 프레임 메모리(105)에 저장된 데이터는 다수의 압축율에 대응한다. 특히, 워드 크기들 및 DCT 계수들의 선택은 제 1 압축율에 대응한다. 그러나, 더욱 작은 DCT 계수들 및/또는 감소된 워드 크기들이 선택되면, 더 높은 압축율이 성취될 수 있다. 따라서, 프레임 메모리(105)에 저장된 데이터는 더 높은 압축 팩터에 대응하는 데이터의 서브셋을 포함한다. 따라서, 어느 데이터가 프레임 메모리(105)로부터 추출되는지에 따라서, 상이한 압축 팩터들 또는 레이트를 갖는 신호들이 얻어진다.
스케일러블 (101)는 또한 압축 프로세서(105)에 결합된다. 압축 프로세서(105)는 다수의 압축율과 관련된 데이터를 표시하는 압축 팩터 표시자들을 결정하도록 동작될 수 있다.
바람직한 실시예에서, 압축 프로세서(105)는 다수의 고정된 압축 팩터들에 대응하는 다수의 압축 팩터 표시자들을 결정하거나 다수의 등가의 프레임 레이트 또는 데이터 레이트를 결정한다. 예를 들어, 압축 프로세서(105)는 2, 4, 6 및 8의 압축 팩터를 위한 압축 팩터 표시자들을 결정할 수 있다. 이들 압축 팩터들 각각에 대해서, 소망 압축 팩터를 갖는 비디오 신호를 발생시키도록 추출되어야 하는 프레임 메모리(105)의 데이터를 식별하는 압축 팩터 표시자들을 결정한다.
용어 압축 팩터는 최종 데이터 레이트, 프레임 메모리 크기, 압축율 또는 이와 유사한 것과 같은 압축 팩터들에 대한 간접 기준들을 포함할 수 있다는 것을 인지할 것이다.
바람직한 실시예에서, 압축 팩터 표시자들은 각 압축 팩터의 데이터를 위한 시작점 및 종료점을 가리키는 포인터들을 포함한다. 따라서, 특히, 스케일러블 인코더(101)의 스케일러블 인코딩된 데이터는 프레임 메모리(105)의 모든 데이터를 포함함으로써 성취되는 최소 압축 팩터에 대응한다. 각 더 높은 압축 팩터에 대해서, 압축 프로세서(105)는 어느 데이터가 이 압축 팩터를 성취하도록 포함되는지를 결정한다. 특히, 이는 어느 DCT 계수들이 포함되어야 하는지를 그리고 선택된 계수들의 워드 크기들을 결정한다. 그 후, 이 데이터의 시작 및 종료점을 표시하는 각 블록에 대한 포인터들을 발생시킨다. 프레임 메모리(105)에서 구성 및 데이터 구조에 따라서, 다수의 시작 및 종료점들은 각 DCT 블록에 대해서 발생될 수 있다. 모든 압축 팩터 표시자들은 하나의 압축 팩터에 대해서 결정될 때, 압축 프로세서(105)는 다음 더 높은 압축 팩터에 대한 포인터들을 결정하도록 진행한다.
바람직한 실시예에서 더 높은 압축 팩터들이 적어도 유효 비트들 및 고주파 수 계수들의 절사를 증가시킴으로서 성취되기 때문에, 더 높은 압축 팩터들은 더 낮은 압축 팩터에 의해 선택된 스케일러블 인코딩된 데이터의 서브셋을 식별함으로써 성취된다. 따라서, 더 높은 압축 팩터들이 더 낮은 압축 팩터들의 서브셋들이 되도록 서로 내에서 네스팅되는 데이터 세트들을 데이터가 포함한다. 이는 필요로되는 압축 팩터 표시자들의 수를 감소시키는데 사용되어, 더 높은 압축 팩터들의 데이터를 표시하는 압축 팩터 표시자들이 더 낮은 압축 팩터들에 사용될 수 있기 때문이다.
압축 프로세서(105)는 프레임 메모리(105)에 결합되고 그 내에 압축 팩터 표시자들을 저장하도록 동작될 수 있다. 따라서, 프레임 메모리(105)는 스케일러블 인코더(101)로부터 스케일러블 인코딩된 데이터를 포함하는 결합된 데이터 및 압축 프로세서(105)로부터 압축 팩터 표시자들을 포함한다.
어떤 실시예들에서, 프레임 메모리(105)가 사용되지 않고 스케일러블 인코딩된 데이터 및 압축 팩터 표시자들이 예를 들어 다른 기능 유닛들로 분포될 수 있는 신호에 포함됨으로써 결합될 수 있다는 것을 인지할 것이다.
따라서, 이 장치(100)는 주어진 메모리 할당과 같은 주어진 제한에 부합되도록 스케일링되고 상이한 압축율을 갖는 데이터 신호들을 도출하도록 사용될 수 있는 결합된 데이터를 발생시킨다. 예를 들어, 애플리케이션은 4의 압축 팩터에 따라서 프레임 메모리(105)로부터 데이터를 추출할 수 있는 반면에, 또 다른 애플리케이션이 예를 들어 8의 압축 팩터에 따라서 프레임 메모리로부터 데이터를 추출할 수 있다. 스케일러블 인코더(101) 또는 압축 프로세서(105)에서 변화가 필요치 않 거나 이를 위하여 저장된 스케일러블 인코딩된 데이터를 성취하도록 한다. 오히려, 이 애플리케이션은 간단히 필요로 되는 데이터를 추출할 수 있다. 실제로, 2개의 애플리케이션들은 상이한 압축 팩터들(및 이에 따라서 데이터 레이트 등)에 대응하는 데이터를 실질적으로 동시에 추출할 수 있다. 그러므로, 이 실시예는 상이한 요건들을 지닌 상이한 애플리케이션들이 인코딩에 의해 발생되는 동일한 단일 패스 인코딩 및 동일한 스케일러블 인코딩된 데이터를 사용하도록 하는 매우 유연하고 효율적인 시스템을 허용한다.
도 2는 본 발명의 바람직한 실시예를 따른 다수의 애플리케이션들을 처리하는 장치(200)를 도시한 거시다. 이 장치는 도 1의 장치(100)를 포함하고 동일한 기능성 모듈들은 동일한 참조 부호들로 표시된다.
이 장치(200)는 제 1 애플리케이션과 관련된 제 1 압축 팩터를 결정하도록 동작될 수 있는 제 1 추출 프로세서(201)를 포함한다. 바람직한 실시예에서, 제 1 압축 팩터는 단지 주어진 애플리케이션을 위한 사전-저장된 값으로서 결정되지만, 다른 실시예들에서, 제 1 추출 프로세서(201)는 애플리케이션 또는 컨텐츠 신호의 특성들을 분석하으로써 제 1 애플리케이션을 결정하도록 동작될 수 있다. 예를 들어, 제 1 추출 프로세서(201)는 이 정보를 애플리케이션과 교환할 수 있는 통신 회로를 포함할 수 있다.
게다가, 제 1 추출 프로세서(201)는 결정된 제 1 압축 팩터에 대응하는 스케일러블 인코딩된 데이터로부터 제 1 데이터 세트를 추출하도록 동작될 수 있다. 바람직한 실시예에서, 제 1 추출 프로세서(201)는 제 1 데이터를 일시적으로 저장할 수 있는 제 1 캐시 메모리(203)에 결합된다. 따라서, 바람직한 실시예에서, 제 1 추출 프로세서(201)는 제 1 애플리케이션에 적합한 프레임 메모리(105)에 저장된 프레임을 위한 압축 팩터를 결정한다. 그 후, 제 1 추출 프로세서(201)는 제 1 압축 팩터에 대응하는 압축 팩터 표시자들을 추출한 후 제 1 압축 팩터에 대응하도록 압축 팩터 표시자들에 의해 표시되는 프레임 메모리(105)로부터 모든 데이터를 추출한다. 이 동작 다음에, 제 1 캐쉬 메모리(203)는 제 1 압축 팩터에 대응하는 데이터 크기를 갖는 비디오 신호의 프레임을 포함한다.
제 1 캐쉬 메모리(203)는 애플리케이션에 의해 다음 처리를 위하여 적절한 프레임 포맷으로 제 1 캐쉬 메모리(203)에 저장된 프레임의 데이터를 변환시키도록 동작될 수 있는 제 1 디코더(205)에 결합된다. 특히, 제 1 디코더(205)는 역 이산 코사인 변환(DCT)을 수행하여 DCT 블록 데이터를 공간 도메인으로 다시 변환시킨다. 그러나, 디코딩의 정확한 특성은 제 1 애플리케이션에 의해 다음 처리의 요건들에 좌우될 것이다. 특히, 일부 실시예들에서, 프레임 메모리(105)로부터의 프레임 데이터는 임의의 인터비닝 변환(intervening conversion) 없이 직접적으로 사용될 수 있다.
제 1 디코더(205)는 제 2 캐쉬 메모리(207)에 결합되고 변환된 데이터는 일시적으로 그 내에 저장된다.
제 2 캐쉬 메모리(207)는 제 1 애플리케이션에 따라서 변환된 데이터를 처리하도록 동작될 수 있는 제 1 애플리케이션 프로세서(209)에 결합된다. 제 1 애플리케이션은 이의의 적절한 애플리케이션일 수 있다라는 것을 인지할 것이다. 그러나, 바람직한 실시예에서, 이 애플리케이션은 사전 규정된 기준에 따라서 다수의 상이한 영상 세그먼트들로 프레임을 분할하는 세그먼테이션 애플리케이션이다.
특히, 세그먼테이션 애플리케이션은 바람직하게는, 유사한 칼러 또는 텍스쳐와 같은 동질의 비쥬얼 특성들을 갖는 영상 세그먼트들로 프레임을 분할할 수 있는 시간 일정 픽셀 정밀 세그먼테이션 알고리즘이다. 프레임들의 세그먼테이션은 예를 들어 물체 인식 또는 비디오 압축 애플리케이션들을 포함하는 다른 애플리케이션들을 위한 유용한 데이터를 제공할 수 있는 복잡한 프로세스이다.
바람직한 실시예에서, 세그먼테이션 출력은 제 1 데이터 세트를 추출시 제 1 추출 프로세서(201)에 의해 또한 사용된다. 따라서, 바람직한 실시예에서, 제 1 애플리케이션 프로세서(209)는 제 1 추출 프로세서(201)에 결합되어, 제 1 애플리케이션 프로세서(209)에 의해 발생되는 세그먼테이션 데이터가 다시 제 1 추출 프로세서(201)에 공급되도록 한다. 그 후, 제 1 추출 프로세서(201)는 세그먼테이션 데이터에 따라서 프레임에 걸쳐서 가변되는 압축 팩터들을 결정할 수 있다. 이는 특히 주어진 프레임의 세그먼테이션이 다음 프레임에 적용될 수 있는 시간 일정 세그먼테이션에 유용하다. 예를 들어, 세그먼테이션들의 모션 추정은 다음 프레임을 위한 세그먼테이션 정볼르 결정하는데 사용될 수 있다. 그러므로, 시간 일정 통과 정보는 추출에 사용될 수 있다.
예를 들어, 더 높은 압축 팩터는 상당한 텍스쳐 없이 실질적으로 동일한 칼러와 같은 동질의 특성들을 갖는 영상 세그먼트 내에 전체적으로 포함되는 데이터 블록들을 위하여 결정된다. 더 낮은 압축 팩터는 상이한 영상 세그먼트들 간의 고 레벨의 텍스쳐 또는 중첩 에지들을 갖는 영상 세그먼트들에서 블록들을 위하여 결정될 수 있다. 그러므로, 압축 팩터들은 압축 증가의 비쥬얼 영향에 대응하도록 동적으로 조정될 수 있고 이에 따라서 개선된 처리 결과들이 성취될 수 있다.
다른 실시예들에서, 외부 세그먼테이션 프로세스가 사용될 수 있다. 예를 들어, 프레임 메모리 내에 유지되는 주어진 프레임은 독립적으로 분석되고 도출된 세그먼테이션 정보는 제 1 데이터 세트를 추출하도록 사용될 수 있다. 이는 단지 공간 세그먼테이션만을 토대로 개선된 데이터를 추출하도록 하고 시간 일정 세그먼테이션 또는 시간적 상관을 반드시 필요로 하지 않는다.
바람직한 실시예의 장치는 제 2 애플리케이션을 추가로 처리할 수 있고 특히 제 1 애플리케이션과 동시에 제 2 애플리케이션을 처리할 수 있다.
바람직한 실시예에서, 이 장치는 제 2 애플리케이션과 관련된 제 2 압축 팩터를 결정하도록 동작될 수 있는 제 2 추출 프로세서(21)를 더 포함한다. 제 2 압축 팩터는 바람직한 실시예에서 제 1 압축 팩터와 상이하다.
간결성을 위하여 제 1 및 제 2 압축 팩터에 대해서만 행해지지만 이는 다수의 압축 팩터들 또는 압축 팩터들의 범위들 또는 간격들을 포함할 수 있다는 것을 인지할 것이다. 게다가, 제 1 및 제 2 압축 팩터는 바람직하게는 중첩하지 않는 압축 팩터들의 중첩 범위들을 포함할 수 있다. 예를 들어, 제 1 애플리케이션은 4, 6 및 8의 압축 팩터들을 토대로 하고 제 1 추출 프로세서(201)는 예를 들어 개별적인 DCT 블록의 특성에 따라서 이들 압축 팩터들 중 하나에 대응하는 데이터를 추출할 수 있다. 유사하게, 제 2 애플리케이션은 2, 4, 6, 및 8의 압축 데이터를 토대로 하고 데이터는 예를 들어 개별적인 DCT 블록의 특성들에 따라서 이들 압축 팩터들 중 하나에 대응하여 추출될 수 있다. 그러므로, 제 1 및 제 2 애플리케이션의 압축 팩터들은 일부 DCT 블록들에 대해서 유사하거나 동일할 수 있고 다른 DCT 블록들에 대해서 다를 수 있다.
게다가, 제 2 추출 프로세서(211)는 제 2 압축 팩터에 응답하여 프레임 메모리(105)로부터 제 2 데이터 세트를 추출하도록 동작될 수 있다.
바람직한 실시예에서, 제 2 추출 프로세서(211)는 제 1 추출 프로세서(201)에 결합되고 이로부터 직접 데이터를 수신하도록 동작될 수 있다. 이 실시예에서, 제 2 추출 프로세서(211)는 제 1의 공동 데이터 및 이 제 1 추출 프로세서(210)로부터 직접 제 2 데이터 세트를 수신한다. 특히, 제 2 애플리케이션의 압축 팩터는 제 1 압축 팩터 보다 낮은 압축 팩터에 대응하고 제 1 데이터는 제 2 데이터의 서브셋일 수 있다. 그러므로, 제 2 추출 프로세서(211)는 제 1 추출 프로세서로부터 직접적으로 제 1 데이터 세트를 수신한다. 게다가, 제 2 추출 프로세서(211)는 프레임 메모리(105)에 직접 결합되고 이로부터 부가적인 데이터를 추출한다. 따라서, 이 실시예에서 제 2 추출 프로세서(211)는 프레임 메모리(105)로부터 제 1 추출 프로세서(201)로부터 수신되지 않는 제 2 데이터 세트의 데이터를 직접 추출한다.
유사하게, 제 2 데이터 세트가 제 1 데이터 세트의 서브셋인 경우, 제 2 추출 프로세서(211)는 간단히 제 1 추출 프로세서(201)로부터 데이터의 서브셋을 수신하거나 전체 제 1 데이터 세트를 수신하여 필요로 되지 않는 데이터를 폐기할 수 있다.
따라서, 제 2 추출 프로세서(211)는 제 1 추출 프로세서(201)를 통해서 프레임 메모리(105)로부터 데이터를 추출할 수 있다. 특히, 제 1 추출 프로세서(201) 및 제 2 추출 프로세서(211)는 동일한 기능 모듈 또는 유닛일 수 있다.
제 1 추출 프로세서(201)를 통해서 제 2 추출 프로세서(211)로 데이터를 제공하면, 도 1의 장치(100)가 외부 유닛들에 의해 구현되는 상황들에서 특히 유용한 반면에, 나머지 기능 모듈들은 단일 집적 회로상에서 구현된다. 따라서, 많은 프레임 메모리를 사용하는 실시예들에서, 이는 오프-칩 외부 메모리에 의해 구현되고 외부 메모리의 액세스는 최소화될 수 있다. 그러므로, 대역폭 제한 및 외부 메모리 액세스의 지연은 감소될 수 있다.
이 장치(200)는 제 1 캐쉬 메모리(203)와 동등하고 제 2 데이터 세트를 일시적으로 저장하도록 하는 제 3 캐쉬 메모리(213)를 더 포함한다. 제 2 캐쉬 메모리(213)는 제 3 캐쉬 메모리(213)에 저장된 프레임의 데이터를 제 2 애플리케이션에 적합한 프레임 포맷으로 변환시키도록 동작될 수 있는 제 2 디코더(215)에 결합된다. 제 2 디코더(215)의 수행성능은 본 실시예에서 제 1 디코더(205)의 수행성능과 동등함으로 더이상 설명되지 않을 것이다. 제 2 디코더(215)는 제 4 캐쉬 메모리(217)에 결합되고 변환된 데이터는 일시적으로 그 내에 저장된다.
제 4 캐쉬 메모리(217)는 제 2 애플리케이션에 따라서 변환된 데이터를 처리하도록 동작될 수 있는 제 2 애플리케이션 프로세서(219)에 결합된다. 제 2 애플리케이션은 임의의 적절한 애플리케이션일 수 있다는 것을 인지할 것이다. 그러나, 바람직한 실시예에서, 제 2 애플리케이션은 MPEG2와 같은 규정된 표준에 따라서 비 디오 신호를 디지털 비디오 신호로 인코딩하도록 동작될 수 있는 비디오 인코딩/압축 애플리케이션이다.
예를 들어, MPEG2 표준을 따라서 비디오 신호를 인코딩하는 방법들 및 알고리즘들은 본 기술 분야에 널리 공지되어 이임으로서 더이상 상세하게 설명되지 않을 것이다.
일부 실시예들에서, 제 1 및 제 2 애플리케이션은 상호대화할 수 있고 특히 제 1 애플리케이션의 세그먼테이션 데이터는 제 2 애플리케이션에 공급될 수 있고 비디오 압축 알고리즘에서 사용될 수 있다. 이는 상이한 식별된 영상 세그먼트들에 대해서 동적으로 최적화되도록 압축한다. 따라서, 고 압축은 거의 텍스쳐를 갖지 않는 동질의 세그먼트들에 사용될 수 있는 반면에, 더 적은 압축은 세그먼트들 간의 경계들과 관련된 고 텍스쳐 레벨들 및/또는 에어리어를 갖는 세그먼트들에 사용된다. 게다가, 이 세그먼테이션 데이터는 물체 검출 및 모션 추정을 위하여 사용될 수 있다.
바람직한 실시예에서, 제 2 애플리케이션 프로세서(219)는 부가적으로 제 4 캐쉬 메모리(217)에 결합되고 압축된 비디오 데이터를 그 내에 저장하도록 동작될 수 있다. 따라서, 압축된 데이터 프레임들은 다음 프레임들의 압축을 위하여 저장되고 사용됨으로써 모션 추정, 물체 추적 및 다른 비디오 압축 기술들을 손쉽게 한다.
바람직한 실시예에서, 가장 또는 모든 기능적인 소자들은 단일 집적 회로에서 구현된다. 따라서, 바람직한 실시예에서, 프레임 메모리 및 심지어 스케일러블 인코더(101) 및 압축 프로세서(105)는 나머지 프로세싱 기능과 동일한 집적 회로상에 임베드된다. 그러나, 다른 실시예들에서, 다른 분포들이 가능하고 특히 온칩 및 오프칩 기능성간의 인터페이스는 프레임 메모리로의 입력 또는 이 메모리로부터의 출력일 수 있다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함하는 적절한 형태로 구현될 수 있다. 그러나, 본 발명은 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 처리기들 상에서 실행하는 전용 집적 회로 또는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현된다. 본 발명의 실시예의 소자들 및 구성요소들은 임의의 적절한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 실제로 이 기능성은 단일 유닛으로, 다수의 유닛들로 또는 다른 기능 유닛들의 부분으로 구현될 수 있다. 이와 같이, 본 발명은 단일 유닛으로 구현될 수 있고 여러 유닛들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분포될 수있다.
본 발명이 바람직한 실시예와 관련하여 서술되었지만, 본원에 서술된 특정 형태로 제한되지 않는다. 오히려, 본 발명의 영역은 단지 첨부 청구범위들에만 제한된다. 청구범위에서, 용어 "포함하는"은 다른 소자들 또는 단계들의 존재를 배제하지 않는다. 게다가, 개별적으로 목록화되었지만, 다수의 수단, 소자들 또는 방법 단계들은 예를 들어 단일 유닛 또는 프로세서에 의해 구현될 수 있다. 게다가, 개별적인 특징들이 상이한 청구범위들에 포함될 수 있지만, 이들은 유용하게 결합될 수 있고 상이한 청구범위들에 포함은 특징들의 조합이 가능 및/또는 유용하지 않다 는 것을 의미하지 않는다. 따라서 단수표시, "제 1", "제 2" 등에 대한 참조는 다수를 배제하지 않는다.

Claims (19)

  1. 컨텐츠 신호 처리를 위한 장치(100)에 있어서,
    다수의 압축율과 관련된 데이터를 포함하는 스케일러블 인코딩된 데이터를 발생시키기 위하여 컨텐츠 신호를 인코딩하는 인코딩 수단(101);
    상기 다수의 압축율과 관련된 데이터를 표시하는 압축 팩터 표시자들을 결정하는 수단(103); 및
    상기 스케일러블 인코딩된 데이터 및 상기 압축 팩터 표시자들을 포함하는 결합된 데이터를 발생시키는 수단(105)을 포함하는, 컨텐츠 신호 처리 장치.
  2. 제 1 항에 있어서,
    제 1 애플리케이션을 처리하는 제 1 처리 수단으로서,
    상기 제 1 애플리케이션과 관련된 적어도 제 1 압축 팩터를 결정하는 수단(201);
    상기 압축 팩터 표시자들에 응답하여 상기 스케일러블 인코딩된 데이터의 상기 제 1 압축 팩터와 관련된 제 1 데이터 세트를 추출하는 제 1 추출 수단(201); 및
    상기 제 1 애플리케이션에 따라서 상기 스케일러블 인코딩된 데이터를 처리하는 수단(203, 205, 207, 209)을 포함하는, 상기 제 1 처리 수단을 더 포함하는, 컨텐츠 신호 처리 장치.
  3. 제 2 항에 있어서,
    상기 제 1 애플리케이션은 세그먼테이션 애플리케이션인, 컨텐츠 신호 처리 장치.
  4. 제 3 항에 있어서,
    제 1 추출 수단(201)은 상기 제 1 애플리케이션에 의해 결정되는 세그먼테이션에 응답하여 상기 제 1 데이터 세트를 추출하도록 동작가능한, 컨텐츠 신호 처리 장치.
  5. 제 2 항에 있어서,
    제 2 애플리케이션을 처리하는 제 2 처리 수단으로서,
    상기 제 2 애플리케이션과 관련된 제 2 압축 팩터를 결정하는 수단(211)으로서, 상기 제 2 압축 팩터는 상기 제 1 압축 팩터와 상이한, 상기 제 2 압축 팩터 결정 수단(211),
    상기 압축 팩터 표시자들에 응답하여 상기 스케일러블 인코딩된 데이터의 상기 제 2 압축 팩터와 관련된 제 2 데이터 세트를 추출하는 제 2 추출 수단(211); 및
    상기 제 2 애플리케이션에 따라서 상기 스케일러블 인코딩된 데이터를 처리하는 수단(203, 205, 207, 209)을 포함하는, 상기 제 2 처리 수단을 더 포함하는, 컨텐츠 신호 처리 장치.
  6. 제 5 항에 있어서,
    상기 제 1 추출 수단(201)은 상기 제 2 압축 팩터와 관련된 상기 제 1 데이터 세트의 데이터를 상기 제 2 처리 수단으로 전송하도록 동작가능하고, 상기 제 2 추출 수단(211)은 상기 제 2 압축 팩터와 관련된 부가적인 데이터를 추출하도록 동작가능한, 컨텐츠 신호 처리 장치.
  7. 제 5 항에 있어서,
    상기 제 1 추출 수단(201)은 상기 제 2 압축 팩터와 관련된 상기 제 1 데이터 세트의 데이터를 상기 제 2 처리 수단으로 전송하도록 동작가능하고, 상기 제 2 추출 수단(211)은 상기 제 2 압축 팩터와 관련되지 않은 데이터를 폐기하도록 동작가능한, 컨텐츠 신호 처리 장치.
  8. 제 5 항에 있어서,
    상기 제 2 애플리케이션은 압축 애플리케이션인, 컨텐츠 신호 처리 장치.
  9. 제 5 항에 있어서,
    상기 제 2 처리 수단(211)은 상기 제 2 데이터 세트를 저장하는 데이터 저장장치(213, 217)를 포함하고, 상기 제 2 애플리케이션은 상기 데이터 저장장치에서 압축된 데이터를 저장하도록 동작가능하고, 상기 저장된 압축된 데이터에 응답하여 압축을 수행하도록 동작가능한 압축 알고리즘을 포함하는, 컨텐츠 신호 처리 장치.
  10. 제 5 항에 있어서,
    상기 제 1 애플리케이션은 세그먼테이션 애플리케이션이고, 상기 제 1 처리 수단은 상기 제 2 처리 수단에 상기 세그먼테이션 애플리케이션의 세그먼테이션 데이터를 제공하도록 동작가능하고, 상기 압축 애플리케이션은 상기 세그먼테이션 데이터에 응답하여 압축을 수행하도록 동작가능한, 컨텐츠 신호 처리 장치.
  11. 제 2 항에 있어서,
    상기 제 1 데이터 세트는 상기 스케일러블 인코딩된 데이터의 프레임에 대응하고, 상기 제 1 추출 수단(201)은 상기 프레임의 세그먼테이션에 응답하여 상기 제 1 데이터 세트를 추출하도록 동작가능한, 컨텐츠 신호 처리 장치.
  12. 제 1 항에 있어서,
    상기 인코딩 수단(101)은 단일 경로 스케일러블 인코더(single pass scalable encoder)를 포함하는, 컨텐츠 신호 처리 장치.
  13. 제 1 항에 있어서,
    상기 압축 팩터 표시자들은 주어진 압축 팩터와 관련된 데이터를 위한 종료 점을 표시하는 적어도 하나의 포인터를 포함하는, 컨텐츠 신호 처리 장치.
  14. 제 1 항에 있어서,
    상기 압축 팩터 표시자들은 주어진 압축 팩터와 관련된 데이터를 위한 시작점을 표시하는 적어도 하나의 포인터를 포함하는, 컨텐츠 신호 처리 장치.
  15. 컨텐츠 신호 처리 장치에 있어서,
    다수의 압축율과 관련된 데이터를 포함하는 스케일러블 인코딩된 데이터 및 상기 다수의 압축율과 관련된 데이터를 표시하는 압축 팩터 표시자들을 포함하는 결합된 컨텐츠 신호 데이터를 수신하는 수신 수단(201);
    제 1 애플리케이션과 관련된 적어도 제 1 압축 팩터를 결정하는 수단(201);
    상기 압축 팩터 표시자들에 응답하여 상기 스케일러블 인코딩된 데이터의 제 1 압축 팩터와 관련된 제 1 데이터 세트를 추출하는 추출 수단(201); 및
    상기 제 1 애플리케이션에 따라서 상기 제 1 데이터 세트를 처리하는 수단(203, 205, 207, 209)을 포함하는, 컨텐츠 신호 처리 장치.
  16. 컨텐츠 신호 처리 방법에 있어서,
    다수의 압축율과 관련된 데이터를 포함하는 스케일러블 인코딩된 데이터를 발생시키기 위하여 컨텐츠 신호를 인코딩하는 단계;
    상기 다수의 압축율과 관련된 데이터를 표시하는 압축 팩터 표시자들을 결정 하는 단계; 및
    상기 스케일러블 인코딩된 데이터 및 상기 압축 팩터 표시자들을 포함하는 결합된 데이터를 발생시키는 단계를 포함하는, 컨텐츠 신호 처리 방법.
  17. 제 16 항에 있어서,
    상기 제 1 애플리케이션과 관련된 적어도 제 1 압축 팩터를 결정하는 단계;
    상기 압축 팩터 표시자들에 응답하여 상기 스케일러블 인코딩된 데이터의 상기 제 1 압축 팩터와 관련된 제 1 데이터 세트를 추출하는 단계; 및
    상기 제 1 애플리케이션에 따라서 상기 스케일러블 인코딩된 데이터를 처리하는 단계를 더 포함하는, 컨텐츠 신호 처리 방법.
  18. 제 17 항에 따른 방법의 실행을 가능하게 하는 컴퓨터 프로그램.
  19. 제 18 항에 청구된 컴퓨터 프로그램을 포함하는 기록 매체.
KR1020067004995A 2003-09-12 2004-08-26 스케일러블 신호 처리를 위한 방법 및 장치 KR20060133962A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03103373.1 2003-09-12
EP03103373 2003-09-12

Publications (1)

Publication Number Publication Date
KR20060133962A true KR20060133962A (ko) 2006-12-27

Family

ID=34306930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067004995A KR20060133962A (ko) 2003-09-12 2004-08-26 스케일러블 신호 처리를 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US20070019874A1 (ko)
EP (1) EP1665800A1 (ko)
JP (1) JP2007505545A (ko)
KR (1) KR20060133962A (ko)
CN (1) CN1849826A (ko)
WO (1) WO2005027523A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090096927A1 (en) * 2007-10-15 2009-04-16 Camp Jr William O System and method for video coding using variable compression and object motion tracking
KR101394154B1 (ko) * 2007-10-16 2014-05-14 삼성전자주식회사 미디어 컨텐츠 및 메타데이터를 부호화하는 방법과 그 장치
CN101742294B (zh) * 2008-11-14 2012-09-05 北京中星微电子有限公司 一种提高监控视频压缩率的方法和设备
US20120188460A1 (en) * 2011-01-21 2012-07-26 Ncomputing Inc. System and method for dynamic video mode switching
US20130110815A1 (en) * 2011-10-28 2013-05-02 Microsoft Corporation Generating and presenting deep links
WO2013179101A1 (en) * 2012-06-01 2013-12-05 Freescale Semiconductor, Inc. Method and apparatus for performing compression of image data
US10958987B1 (en) 2018-05-01 2021-03-23 Amazon Technologies, Inc. Matching based on video data
US10630748B1 (en) * 2018-05-01 2020-04-21 Amazon Technologies, Inc. Video-based encoder alignment
US10630990B1 (en) 2018-05-01 2020-04-21 Amazon Technologies, Inc. Encoder output responsive to quality metric information
CN113282235A (zh) * 2018-06-16 2021-08-20 王梅 基于缓存内移出的数据组进行动态处理的方法及系统
US11776026B1 (en) 2021-09-10 2023-10-03 Lalit K Jha Virtual newsroom system and method thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3622365B2 (ja) * 1996-09-26 2005-02-23 ヤマハ株式会社 音声符号化伝送方式
JP3284932B2 (ja) * 1997-08-05 2002-05-27 松下電器産業株式会社 画像処理装置
JPWO2002047396A1 (ja) * 2000-12-01 2004-04-15 株式会社セラーテムテクノロジー 画像フォーマット
EP1368898A2 (en) * 2001-03-05 2003-12-10 Koninklijke Philips Electronics N.V. Device and method for compressing a signal
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams

Also Published As

Publication number Publication date
EP1665800A1 (en) 2006-06-07
CN1849826A (zh) 2006-10-18
WO2005027523A1 (en) 2005-03-24
JP2007505545A (ja) 2007-03-08
US20070019874A1 (en) 2007-01-25

Similar Documents

Publication Publication Date Title
US6256346B1 (en) Video encoding and decoding apparatus
US20190132591A1 (en) Deep learning based quantization parameter estimation for video encoding
US20210067785A1 (en) Video encoding rate control for intra and scene change frames using machine learning
JP2000508126A (ja) ビデオデータ用エンコーダ及びデコーダ
US20100153687A1 (en) Streaming processor, operation method of streaming processor and processor system
US20190045203A1 (en) Adaptive thresholding for computer vision on low bitrate compressed video streams
US10812832B2 (en) Efficient still image coding with video compression techniques
US20060176960A1 (en) Method and system for decoding variable length code (VLC) in a microprocessor
CN111047558A (zh) 图像检测方法、装置、计算机设备以及存储介质
KR20060133962A (ko) 스케일러블 신호 처리를 위한 방법 및 장치
CN111491163A (zh) 基于对图像块的像素域预处理操作的图像块编码
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
EP0956705A1 (en) Apparatus and method for extracting measures of a bitstream's processing requirements for decoding
CN111108747B (zh) 获得信号的时间样本的目标表示
US7706440B2 (en) Method for reducing bit rate requirements for encoding multimedia data
US10356424B2 (en) Image processing device, recording medium, and image processing method
Jaspers et al. Embedded compression for memory resource reduction in MPEG systems
KR100203695B1 (ko) 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치
WO2006072536A1 (en) Method and device for selecting quantization parameters in a picture using side information
NL2029548B1 (en) Determining adaptive quantization matrices using machine learning for video coding
US8929446B1 (en) Combiner processing system and method for support layer processing in a bit-rate reduction system
US7013048B2 (en) Method and apparatus for coding a digitized original picture and method and apparatus for decoding a digitized coded picture
WO2024076273A1 (en) Object-based qp adaptation
WO2022098727A1 (en) Learned video compression framework for multiple machine tasks
CN113079392A (zh) 媒体内容播放方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid