KR20090076922A - 이미지 프레임의 스트림을 위한 프레임 드롭핑 방법 및 장치 - Google Patents

이미지 프레임의 스트림을 위한 프레임 드롭핑 방법 및 장치 Download PDF

Info

Publication number
KR20090076922A
KR20090076922A KR1020097007869A KR20097007869A KR20090076922A KR 20090076922 A KR20090076922 A KR 20090076922A KR 1020097007869 A KR1020097007869 A KR 1020097007869A KR 20097007869 A KR20097007869 A KR 20097007869A KR 20090076922 A KR20090076922 A KR 20090076922A
Authority
KR
South Korea
Prior art keywords
frame
frames
data
image
filtering
Prior art date
Application number
KR1020097007869A
Other languages
English (en)
Inventor
폴 에스 에버레스트
매튜 제이 웨스트
존 지 아포스톨로포울로스
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Publication of KR20090076922A publication Critical patent/KR20090076922A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

하나 이상의 이미지 프레임 스트림이 처리되며, 여기서 패킷타이저는 필터링 아웃된 패턴을 사용하여 이미지 데이터의 프레임을 드롭시키며 수신기는 드롭된 프레임을 수신된 프레임의 사본으로 대체한다. 패턴은 필터링 아웃된 특정의 이미지 프레임의 컨텐츠 또는 특성, 또는 인접하는 이미지 프레임에 대한 유사성 또는 상이성에 무관하게 제공된다. 이러한 예는 매 두 번째 프레임 또는 n 번째 프레임을 제거하는 것, 필터링 아웃된 모든 프레임에 대한 다수의 이미지 프레임을 전달하는 것, 송신될 모든 m＞n 프레임 중에서 n 개의 프레임을 제거하는 것을 포함한다. 컴퓨터 그래픽은 빈번하게 변화하지 않는 컨텐츠에 대응할 수 있으며 이미지 프레임의 제거는 인식되는 이미지 품질에 대해 낮은 영향력을 미친다. 프레임의 드롭핑(dropping)은 컴퓨터 그래픽 이미지와 함께 사용하기에 매우 적합하며, 컴퓨터 그래픽이 송신중일 때는 인에이블되며 비디오 데이터에 대해서는 디스에이블될 수 있다.

Description

이미지 프레임의 스트림을 위한 프레임 드롭핑 방법 및 장치{FRAME DROPPING FOR STREAMS OF IMAGES FRAMES}
본 발명은 이미지 프레임의 스트림을 위한 프레임 드롭핑 방법 및 장치에 관한 것이다.
신호 이송 메카니즘은 원하는 레이트로 이미지 프레임을 송신하기에는 불충분한 대역폭을 가질 수도 있다. 그 결과, 이미지 품질은 불만족스럽다.
도 1은 실시예에 따른 링크를 개략적으로 도시한 기능 블럭도이다.
도 2는 실시예에 따른 송신된 이미지 프레임의 필터링 및 복원을 개략적으로 도시한 도 1의 링크의 일부의 개략적인 도면이다.
도 3은 실시예에 따른 송신된 이미지 프레임의 필터링 및 복원을 위한 방법을 도시한 흐름도이다.
도 4는 실시예에 따른 도 1의 링크의 다른 실시예를 개략적으로 도시한 기능 블럭도이다.
도 1은 이미지 송신 및 수신 시스템 또는 링크를 개략적으로 도시한 기능 블럭도이다. 링크(20)는 이미지 소스(22)로부터의 소정의 거리에 걸쳐 있는 압축 이미지 데이터의 하나 이상의 스트림을, 이미지 데이터 스트림으로부터 생성되는 재생 이미지의 품질을 개선하는 방식으로 이미지 디스플레이(26, 28)로 송신하도록 구성된다. 이러한 개시를 위해, 용어 "이미지 데이터"는 적어도 컴퓨터 그래픽 소스(22)(가령, 데스크탑 또는 랩탑 컴퓨터)에 의해 제공되는 것과 같은 컴퓨터 그래픽 데이터와, 비디오 그래픽 소스(24)(가령, DVD 플레이어, 블루레이 디스크 플레이어(Blue-Ray disc player), 다른 디스크 플레이어 또는 VCR)에 의해 제공되는 것과 같은 비디오 그래픽 데이터를 포함하지만, 이에 국한되는 것은 아니다. 송신되는 컴퓨터 그래픽 데이터는 컴퓨터 그래픽 디스플레이(26) 상에 디스플레이되지만 송신되는 비디오 그래픽 데이터는 비디오 그래픽 디스플레이(28) 상에 디스플레이된다. 컴퓨터 그래픽 디스플레이 또는 비디오 그래픽 디스플레이의 예는 프로젝션 시스템 또는 평판 패널 디스플레이를 포함하지만 이에 국한되는 것은 아니다. 도시된 특정 실시예에서, 링크(20)는 컴퓨터 그래픽 데이터 및 비디오 그래픽 데이터를 모두 송신하도록 구성된다. 다른 실시예에서, 링크(20)는 대안으로 컴퓨터 그래픽 데이터 또는 비디오 그래픽 데이터 중의 하나를 송신하도록 구성될 수 있다. 다른 실시예에서, 링크(20)는 다른 형태의 이미지 데이터를 송신하도록 구성될 수 있다.
도시된 실시예에서, 링크(20)는 불충분한 대역폭 또는 이미지 소스들(22, 24) 중의 하나로부터 이미지 프레임의 스트림이 제공되는 레이트보다 낮은 제한된 비트 레이트의 기능을 갖는 이송 메카니즘(21)을 통해 압축 이미지 데이터 프레임의 스트림을 송신하도록 구성된다. 후술되는 바와 같이, 링크(20)는 압축 이미지 데이터 프레임을 식별하고, 이송 메카니즘(21)을 통한 송신 이전에 필터링 패턴에 따른 이미지 프레임을 선택적으로 필터링 아웃하고 필터링 아웃된 프레임을 수신된 프레임의 사본으로 대체하기 위해 압축 데이터 스트림을 분석하는 컴포넌트, 장치, 또는 하나 이상의 프로세싱 유닛을 포함한다. 그 결과, 링크(20)는 압축 이미지 프레임을 비트 레이트 제한된 이송 메카니즘을 통해 송신하고 고품질 이미지로 재생할 수 있다.
도 1에 도시된 바와 같이, 링크(20)는 전반적으로 송신기 모듈(30)과 수신기 모듈(32)을 포함한다. 송신기 모듈(30) 및 수신기 모듈(32)은 하나 이상의 프로세싱 유닛을 포함하며, 이 프로세싱 유닛을 통해 컴퓨터 그래픽 데이터 또는 비디오 데이터는 송신 전후에 조작된다. 이러한 응용의 목적을 위해, 용어 "프로세싱 유닛"은 메모리 내에 포함된 인스트럭션 시퀀스를 실행하는 최근 개발 또는 장래 개발될 프로세싱 유닛을 의미한다. 인스트럭션 시퀀스의 실행을 통해 프로세싱 유닛은 제어 신호를 발생시키는 것과 같은 단계를 수행할 수 있다. 이러한 인스트럭션은 프로세싱 유닛에 의해 ROM, 대용량 저장 장치 또는 일부 다른 영구 저장 장치로부터 실행을 위해 랜덤 액세스 메모리(RAM)로 로딩될 수 있다. 다른 실시 예에서, 전술한 기능을 구현하기 위해 소프트웨어 인스트럭션 대신에 또는 이와 조합하여 하드 와이어 회로(hard wired circuit)가 사용될 수 있다. 가령, 이러한 프로세싱 유닛은 하나 이상의 주문형 집적 회로(ASICs)의 일부로서 구현될 수 있다. 이와는 달리 특징적으로 주목되지 않는 한, 모듈(30) 또는 모듈(32)의 기능 블럭은 하드웨어 회로, 펌웨어 및 소프트웨어의 임의의 특정 조합에 국한되지도 않으며, 각각의 블럭을 포함하는 단일 프로세싱 유닛 또는 하나 이상의 기능 블럭을 포함하는 다수의 프로세싱 유닛에 의해 실행되는 인스트럭션을 위한 임의의 특정 소스에도 국한되는 것은 아니다.
송신기 모듈(30)은 이미지 데이터의 스트림을 수신기 모듈(32)로 송신하도록 구성된다. 도시된 예에서, 송신기 모듈(30) 및 수신기 모듈(32)은 무선 실시간 고해상도 이미지 링크를 형성한다. 도시된 예에서, 송신기 모듈(30) 및 수신기 모듈(32)은 고속의 무선 링크 및 데이터 압축, 공간 압축을 통한 낮은 단부간 지연, 및 미량이거나 존재하지 않는 데이터 버퍼링을 제공한다.
송신기 모듈(30)은 입력 인터페이스 또는 포트(42, 44), 컴퓨터 그래픽 디코더(46), 비디오 디코더(48), 공간 압축기(50), 입력(51), 패킷타이저(52) 및 송신기(54)를 포함한다. 입력 인터페이스 또는 포트(42)는 그래픽 소스(22)를 모듈(30)의 그래픽 디코더(46)에 접속한다. 일 실시예에서, 입력 포트(42)는 현재 이용가능한 유선 커넥터, 가령 VESA 15-pin d-sub, DVI, 또는 디스플레이 포트 커넥터를 포함하지만 이에 국한되는 것은 아니다. 이 실시예에서, 입력되는 컴퓨터 그래픽 데이터는 먼저 컴퓨터 그래픽 디코더(46)에 의해 압축되지 않은 디지털 컴 퓨터 그래픽 데이터로 디코딩된다. 컴퓨터 그래픽 디코더(46)는 현재 이용가능한 하드웨어 디코더, 가령 매사츄세츠의 아날로그 디바이스 오브 노르우드로부터의 AD9887A 디코더 장치를 포함할 수 있다. 다른 실시예에서, 입력 포트(42) 및 디코더(46)는 다른 현재 이용가능한 또는 장래 개발될 장치를 포함하거나 다른 구성을 가질 수 있다.
입력 포트(44)는 비디오 소스(24)를 모듈(30)의 디코더(48)에 접속한다. 일 실시예에서, 포트(44)는 현재 이용가능한 유선 커넥터, 가령 컴포지트 비디오 커넥터, 컴포넌트 비디오 커넥터, 슈퍼 비디오(S-Video) 커넥터, DVI 커넥터, HDMI 커넥터 또는 SCART 커넥터이지만, 이에 국한되는 것은 아니다. 이러한 실시예에서, 입력 비디오 그래픽 데이터는 먼저 컴퓨터 그래픽 디코더(48)에 의해 압축되지 않은 디지털 비디오 데이터로 디코딩된다. 비디오 디코더(48)는 현재 이용가능한 하드웨어 디코더, 가령 매사츄세츠의 아날로그 디바이스 오브 노르우드로부터의 아날로그 입력을 위한 ADV7400A 디코더 장치 또는 캘리포니아의 실리콘 이미지 오브 서니베일로부터의 DVI/HDMI 입력을 위한 Sil9011 디코더 장치를 포함할 수 있다. 다른 실시예에서, 입력 포트(44) 및 디코더(48)는 다른 현재 이용가능한 장치 또는 장래 개발될 장치를 포함하거나 다른 구성을 가질 수 있다.
파선으로 도시된 바와 같이, 다른 실시예에서, 송신기 모듈(30)은 컴퓨터 그래픽 소스(22) 또는 비디오 소스(24) 중의 하나 또는 모두와 함께 구현될 수 있다. 모듈(30)이 컴퓨터 그래픽 소스(22)와 함께 구현되는 실시예에서, 입력 포트(42)는 현재 이용가능한 디지털 인터페이스(42'), 가령 공간 압축기(50)에 직접 압축되 지 않은 디지털 컴퓨터 그래픽 데이터를 제공하는 24-비트 또는 30-비트 병렬 데이터 버스로 대체될 수 있다. 그러한 실시예에서, 컴퓨터 그래픽 디코더(46)는 생략될 수 있다.
모듈(30)이 비디오 소스(24)와 함께 구현되는 실시예에서, 입력 포트(44)는 현재 이용가능한 디지털 비디오 포맷, 가령 공간 압축기(50)로 직접 압축되지 않은 디지털 비디오 데이터를 제공하는 ITU-R BT.601 또는 ITU-R BT.656 포맷을 송신하도록 구성되는 인터페이스(44')로 대체될 수 있다. 다른 포맷의 예는 480i, 576i, 480p, 720p, 1080i 및 1080p를 포함하지만 이에 국한되는 것은 아니다. 그러한 실시예에서, 비디오 디코더(48)는 생략될 수 있다. 다른 실시예에서, 인터페이스(42', 44')는 현재 이용가능하거나 장래 개발될 다른 인터페이스를 포함할 수도 있다.
공간 압축기(50)는 현재 이용가능하거나 장래 개발될 공간 데이터 압축 알고리즘을 사용하여 디지털 컴퓨터 그래픽 데이터 또는 비디오 데이터를 압축하도록 구성되는 현재 이용가능한 또는 장래 개발될 장치 또는 컴포넌트를 포함한다. 일 실시예에서, 공간 압축기(50)는 캘리포니아 산호세의 루라테크 잉크(LuraTech, Inc.)에 의해 제공되는 JPEG 2000 웨이브렛 압축 알고리즘을 사용한다. 공간 압축기(50)는 비디오 데이터의 하나의 필드 또는 컴퓨터 그래픽 데이터의 하나의 프레임에 대한 지연을 최소화하기 위해 입력 데이터의 풀 프레임 상(on a full frame of incoming data)에서 한번에 하나의 필드로 동작한다. 그 결과, 공간 압축기(50)의 출력은 압축된 컴퓨터 그래픽 데이터의 순차 프레임이거나 압축된 비디오 데이터의 순차 필드이다.
입력(51)은 이미지 데이터의 프레임을 필터링 아웃할 때, 패킷타이저(52)에 의해 사용될 필터링 패턴을 패킷타이저(52)에 제공하도록 구성되는 하나 이상의 장치, 전자 컴포넌트, 제어기 또는 프로세싱 유닛을 포함한다. 그러한 필터링 패턴은 특정 이미지 프레임의 컨텐츠 또는 특성이 필터링 아웃되는 것과 무관하거나 인접한 이미지 프레임에 대한 유사성 또는 상이성과는 무관하게 패킷타이저(52)에 의해 자동으로 제공된다. 그 결과, 이미지 프레임의 필터링은 코스트 및 복잡성을 감소시키기 위해 보다 적은 프로세싱을 사용한다. 필터링 패턴의 예는 매 두 번재 프레임을 제거하는 것과, 매 세 번째 프레임을 제거하는 것과, 매 네 번째 프레임을 제거하는 것과, 매 n 번째 프레임을 제거하는 것까지 포함하지만 이에 국한되는 것은 아니다. 필터링 패턴은 또한 필터링되는 매 프레임마다의 다수의 이미지 프레임을 전달하거나 송신하는 것을 포함할 수 있다. 가령, 송신될 매 세 개의 프레임 중에서 두 개의 프레임을 제거하는 것, 송신될 매 네 개의 프레임 중에서 세 개의 프레임을 제거하는 것, 송신될 매 다섯 개의 프레임 중에서 네 개의 프레임을 제거하는 것, 송신될 매 n 개 초과 프레임으로부터 n개의 프레임을 제거하는 것을 포함한다.
일 실시예에서, 입력(51)은 단일의 사전선택되거나 사전결정된 필터링 패턴을 패킷타이저(52)에 제공하도록 구성된다. 다른 실시예에서, 입력(51)은 다수의 이용가능한 필터링 패턴 중의 하나를 패킷타이저(52)에 제공하여 패킷타이저(52)에 의해 제공되는 필터링 패턴이 조정될 수 있도록 구성된다. 패킷타이저(52)에 의 해 제공되는 필터링 패턴의 조정은 입력(51)에 의해 제어될 수 있다. 가령, 입력(51)은 다수의 이용가능한 필터링 패턴이 저장되는 메모리(56)에 대한 액세스를 가지거나 메모리(56)와 관련될 수 있다. 입력(51)은 프레임(비디오 또는 컴퓨터 그래픽)의 전체 스트링에 의해 송신되는 이미지의 타입, 이송 메카니즘(21)의 입력 또는 검출되는 특성, 또는 사용자 또는 외부 소스 필터 패턴 선택에 기반하여, 패킷타이저(52)에 의해 제공될 필터링 패턴을 선택할 수 있다.
가령, 컴퓨터 그래픽 이미지는 비디오 그래픽과 비교할 때 보다 정적이며 덜 빈번하게 변화하는 컨텐츠를 가질 수 있다. 많은 응용예에서, 컴퓨터 그래픽은 매 0.25초마다 한 번을 초과하게 변화하지 않는 컨텐츠에 대응한다. 그 결과, 이미지 프레임의 제거 또는 필터링 아웃은 디스플레이(26)에서 인식되는 이미지 품질에 덜 영향을 미친다. 따라서, 패킷타이저(52)에 의한 이미지 프레임의 필터링은 컴퓨터 그래픽 이미지와 함께 사용하기에 매우 적합하다. 입력(51)은 컴퓨터 그래픽이 송신중일 때 필터링을 가능하게 하고 비디오 그래픽이 송신중일 때 필터링을 불가능하게 하도록 구성될 수 있다.
일 실시예에서, 입력(51)은 이송 메카니즘(21)에 기반하여 패킷타이저(52)에 필터링 패턴을 제공하도록 구성될 수 있다. 가령, 입력(51)은 사용자 인터페이스(키보드, 마우스, 버튼, 스위치, 터치 스크린, 터치 패드 등)를 포함하며, 이 사용자 인터페이스에 의해 사용자는 이송 메카니즘(21)의 속도 또는 프레임 레이트를 입력할 수 있으며, 입력(51)은 사용자 입력에 기반하여 제공될 필터링 패턴을 선택한다. 다른 실시예에서, 입력(51)은 이송 메카니즘(21)의 이름 또는 다른 특성의 입력을 용이하게 하는 사용자 인터페이스를 가질 수 있으며, 메모리(56)는 사용자 인터페이스를 통한 특성 입력을 갖는 이송 메카니즘의 특정 타입과 함께 사용될 저장된 필터링 패턴을 포함한다. 다른 실시예에서, 입력(51)은 하나 이상의 센서를 포함하거나 사용중인 이송 메카니즘(21)의 타입, 그 프레임 레이트 또는 다른 특성을 자동으로 결정하기 위한 하나 이상의 기법을 사용할 수 있다.
다른 실시예에서, 입력(51)은 디스플레이(26) 또는 (28)에 의해 제공되는 이미지의 품질의 개인 인식 또는 다른 요인에 기반하여, 이용가능한 상이한 필터링 패턴들 중의 하나를 선택적으로 선택가능하게 하는 사용자 인터페이스를 포함할 수 있다.
패킷타이저(52)는 압축 데이터로부터 보다 작은 정보 유닛을 생성하도록 구성되는 하나 이상의 장치, 전자 컴포넌트, 제어기 또는 프로세싱 유닛을 포함한다. 그러한 작은 정보 유닛은 가령, 보다 큰 사이즈(10,000바이트)인 압축 데이터의 각각의 프레임으로부터의 커맨드, 데이터, 상태 정보 및 다른 정보를 포함할 수 있다.
보다 상세하게 후술되는 바와 같이, 그러한 패킷을 생성하기 전에, 패킷타이저(52)는 입력(51)에 의해 제공되는 사전선택된 필터링 패턴에 기반하여 입력되는 압축 이미지 프레임의 바운더리를 식별하기 위해 압축된 데이터 스트림을 분석하고 필터링 동작을 수행한다. 이미지 프레임의 스트림을 필터링함으로써, 패킷타이저(52)는 이송 메카니즘(21)에 의한 송신을 용이하게 하기 위해 이미지 프레임의 스트림의 프레임 레이트를 감소시킨다. 그러한 필터링 후에, 패킷타이저(52)는 송신기(54)에 송신되는 송신 패킷으로 필터링된 이미지 프레임을 배치한다.
송신기(54)는 압축되고 패킷화된 데이터를 모듈(30)로부터 모듈(32)로 송신하도록 구성되는 컴포넌트, 장치 또는 하나 이상의 프로세싱 유닛이다. 도시된 실시예에 의하면, 송신기(54)는 압축되고 패킷화된 데이터를 무선으로 모듈(32)로 송신하도록 구성된다. 일 실시예에서, 송신기(54)는 초광대역(UWB) 무선 송신기이다. 그러한 실시예에서, 송신기(54)는 고속의 단거리 무선 링크를 제공한다. 일 실시예에서, UWB 무선 송신기는 가령 30피트까지의 송신 범위를 가지며 이에 국한되는 것은 아니다. 송신기(54)의 데이터 레이트는 가령 110 내지 480Mbps의 범위에 있을 수 있다. 그러한 실시예에서, 송신기(54)는 동일한 스펙트럼을 사용하는 기존 시스템에 대해 무시할만한 간섭을 갖는 비교적 큰 범위의 주파수 대역(가령, 3.1 내지 10.6GHz)에 걸쳐 동작한다.
수신기 모듈(32)은 송신기 모듈(30)로부터 압축되고 패킷화된 데이터 스트림을 수신하며 컴퓨터 그래픽 디스플레이(26) 또는 비디오 디스플레이(28)에 의한 사용을 위해 상기 데이터를 조작하거나 변환한다. 수신기 모듈(32)은 수신기(60), 입력(61), 디패킷타이저(depacketizer)(62), 공간 압축해제기(64), 컴퓨터 그래픽 인코더(66), 비디오 인코더(68) 및 출력 인터페이스 또는 포트(70, 72)를 포함한다. 수신기(60)는 모듈(30)로부터 압축되고 필터링된 패킷 데이터의 스트림을 수신하도록 구성되는 컴포넌트, 장치 또는 다른 구조를 포함한다. 송신기(54)가 무선 송신기인 특정 실시예에서, 수신기(60)는 무선 수신기이다. 수신기(60) 및 송신기(54)는 이송 메카니즘(21)을 형성한다. 도시된 실시예에서, 수신기(60)는 데 이터 스트림을 수신하기 위해 송신기(54)와 협력하도록 구성되는 초광대역 무선 수신기이다. 다른 실시예에서, 수신기(60)는 송신기(54)의 구성에 의존하는 다른 구성을 가질 수 있다. 데이터가 수신기 모듈(32)로부터 물리적 라인을 통한 전기 신호 또는 광학 신호를 통해서 송신되는 다른 실시예에서, 송신기(54) 및 수신기(60)는 다른 구성을 가지거나 생략될 수 있다.
입력(61)은 이미지 프레임의 스트림을 재구성하여 패킷타이저(52)에 의한 필터링 이전의 스트림에 매우 근사화되도록 디패킷타이저(62)에 의해 사용될 복원 패턴을 디패킷타이저(62)에 제공하도록 구성되는 하나 이상의 장치, 전자 컴포넌트, 제어기 또는 프로세싱 유닛을 포함한다. 일 실시예에서, 복원 패턴은 필터링 패턴에 대응하거나 필터링 패턴을 반영한다. 일 실시예에서, 입력(61)은 입력(51)의 필터링 패턴에 대응하거나 이를 반영하는 복원 패턴을 저장하는 메모리(76)에 대한 액세스를 갖거나 메모리(76)와 연관된다. 복원 패턴의 예는 가령, 매 두 번째 프레임을 복원하거나 대체하는 것, 매 세 번째 프레임을 복원하는 것, 매 네 번째 프레임을 복원하는 것, 매 n+1 번째 프레임을 복원하는 것을 포함하지만 이에 국한되는 것은 아니다. 복원 패턴은 또한 수신된 모든 프레임에 대한 다수의 이미지 프레임을 복원하는 것을 포함할 수 있다. 가령, 매 세 개의 프레임에서 두개의 프레임을 복원하는 것, 매 네 개의 프레임에서 세 개의 프레임을 복원하는 것, 매 다섯 개의 프레임에서 네 개의 프레임을 복원하는 것 및 매 n초과 프레임에서 n 개의 프레임을 복원하는 것을 포함한다.
일 실시예에서, 수신된 이미지 프레임의 스트림은 어떠한 필터링 패턴이 제 공되는지를 나타내는 데이터를 포함하며, 입력(61)은 대응하는 복원 패턴을 상기 데이터에 기반하여 디패킷타이저(62)에 송신한다. 그 결과, 입력(61)은 패킷타이저(52)에 의해 상이한 필터링 패턴들이 제공됨에 따라 디패킷타이저(62)에 의해 제공되는 복원 패턴을 자동으로 조정한다. 다른 실시예에서, 입력(61)은 대안으로서 사용자가 디패킷타이저(62)에 의해 제공될 복원 패턴을 수동으로 입력하도록 허용하는 사용자 인터페이스를 포함한다.
디패킷타이저(62)는 수신기(60)로부터 압축되고 필터링되고 패킷화된 데이터를 수신하고 압축되고 패킷화된 데이터를 컴퓨터 그래픽 데이터 또는 비디오 데이터의 압축 프레임 내로 재구성하도록 구성되는 프로세싱 유닛 또는 프로세싱 유닛의 일부이다. 그러한 재구성동안, 디패킷타이저(62)는 입력되는 패킷 데이터에서의 임의의 에러를 검출하고 해결한다. 가령, 디패킷타이저(62)는 두 번 수신된 임의의 패킷을 검출하고 처리하며 리던던트 패킷을 처분한다. 일 실시예에서, 디패킷타이저(62)는 또한 임의의 손실 패킷을 검출하고 데이터의 손실을 가령 이전 프레임으로부터의 제로 또는 데이터로 대체한다.
보다 상세하게 후술되는 바와 같이, 디패킷타이저(62)는 필터링 아웃된 프레임을 디패킷타이저(62)에 의해 수신된 이미지 프레임의 사본으로 대체함으로써 압축되고 패킷화된 데이터를 압축 프레임 내로 재구성한다. 그 결과, 이미지 프레임의 재구성된 스트림은 패킷타이저(52)에 의한 필터링 이전의 원본 프레임 레이트의 것에 더 근접한 프레임 레이트를 갖는다. 일 실시예에서, 재구성된 이미지 프레임 레이트는 사실상 필터링 이전의 원본 프레임 레이트와 동일하다. 일 실시 예에서, 원본 프레임 레이트 및 재구성된 프레임 레이트는 초당 60 프레임의 주파수를 갖는다. 그 결과, 이미지의 품질은 개선된다. 압축된 디지털 컴퓨터 그래픽 데이터 또는 압축된 디지털 비디오 데이터는 이어서 공간 압축해제기(64)로 제공된다.
공간 압축해제기(64)는 현재 이용가능하거나 장래 개발될 공간 데이터 압축해제 알고리즘을 사용하여 디지털 컴퓨터 그래픽 데이터 또는 비디오 데이터를 압축하제하도록 구성되는 현재 이용가능하거나 장래 개발될 장치, 컴포넌트, 또는 프로세싱 유닛을 포함한다. 일 실시예에서, 공간 압축기(64)는 캘리포니아의 산호세의 루라테크 인크에 의해 제공되는 JPEG 2000 웨이브렛 압축해제 알고리즘을 사용한다. 압축해제된 컴퓨터 그래픽 데이터 또는 비디오 데이터의 스트림은 이어서 컴퓨터 그래픽 인코더(66) 및 비디오 인코더(68)로 제각기 송신되거나 컴퓨터 그래픽 디스플레이(26) 또는 비디오 디스플레이(28)에 직접 송신된다.
컴퓨터 그래픽 인코더(66)는 출력 포트(70)를 통한 송신용으로 적합한 포맷으로 출력되는 컴퓨터 그래픽 데이터를 인코딩한다. 일 실시예에서, 인코더(66)는 현재 이용가능한 또는 장래 개발될 하드웨어 인코더이다. 현재 이용가능한 컴퓨터 그래픽 인코더의 예는 캘리포니아의 실리콘 이미지로부터 DVI 출력을 위한 SiI164 인코더 장치 또는 매사츄세츠의 아날로그 디바이스 오브 노르우드로부터의 아날로그 출력을 위한 ADV7122 인코더 장치를 포함하지만 이에 국한되는 것은 아니다. 그러한 실시예에서, 출력 포트(70)는 현재 이용가능하거나 장래 개발될 유선 커넥터를 포함할 수 있다. 그러한 현재 이용가능한 유선 커넥터의 예는 VESA 15-pin d-sub, DVI 또는 디스플레이 포트 커넥터를 포함하지만 이에 국한되는 것은 아니다. 다른 실시예에서, 다른 인코더 및 커넥터들이 사용될 수 있다.
비디오 그래픽 인코더(68)는 출력되는 컴퓨터 그래픽 데이터를 출력 포트(72)를 통한 송신용으로 적합한 포맷으로 인코딩한다. 일 실시예에서, 인코더(68)는 현재 이용가능하거나 장래 개발될 하드웨어 인코더이다. 현재 이용가능한 하드웨어 인코더는 캘리포니아의 서니베일의 실리콘 이미지로부터의 DVI/HDMI 출력을 위한 SiI9190 인코더 장치 또는 매사츄세츠의 아날로그 디바이스 오브 노르우드로부터의 아날로그 출력을 위한 ADV7320 인코더 장치를 포함하지만 이에 국한되는 것은 아니다. 이러한 실시예에서, 출력 포트(72)는 현재 이용가능한 유선 커넥터, 가령 컴포지트 비디오 커넥터, 컴포넌트 비디오 커넥터, S-video 커텍터, DVI 커텍터, HDMI 커넥터 또는 SCART 커넥터이지만, 이에 국한되는 것은 아니다. 다른 실시예에서, 다른 인코더 및 커넥터가 사용될 수 있다.
다른 실시예에서 파선으로 도시된 바와 같이, 수신기 모듈(32)은 컴퓨터 그래픽 디스플레이(26) 또는 비디오 디스플레이(28) 중의 하나 또는 모두와 함께 내장되거나 이들의 일부로서 포함될 수 있다. 이러한 실시예에서, 압축된 이미지 데이터는 공간 압축해제기(64)로부터 디스플레이(26) 또는 디스플레이(28) 중의 하나 또는 모두로 직접 송신되어 인코더(66) 또는 인코더(68) 또는 이들 모두가 생략될 수 있게 한다. 모듈(32) 내에 디스플레이(26)가 내장되는 이러한 실시예에서, 포트(70)는 현재 이용가능한 24 비트 또는 30 비트의 병렬 데이터 버스를 포함할 수 있는 포트(70')로 대체될 수 있다. 모듈(32) 내에 디스플레이(28)가 내장되는 실시예에서, 포트(72)는 현재 이용가능한 디지털 인터페이스, 가령 ITU-R BT.601 또는 IU-R BT.656 포맷을 포함할 수 있는 포트(72')로 대체될 수 있다. 다른 포맷의 예는 480i, 576i, 480p, 720p, 1080i 및 1080p를 포함하지만 이에 국한되는 것은 아니다. 다른 실시예에서, 포트(70') 및 (72')는 다른 구성을 가질 수 있다.
다른 실시예에서 링크(20)가 하나 이상의 프로세싱 유닛 및 전자 컴포넌트에 의해 제공되는 바와 같은 전술한 기능 블럭들의 각각을 갖는 것으로 도시되었지만, 링크(20)는 다른 장치에 의해 제공될 수도 있다. 링크(20)가 다른 실시예에서 단일 송신기 모듈(30)과 단일의 수신기 모듈(32)을 갖는 것으로 도시되었지만 링크(20)는 대안으로 단일의 송신기 모듈(30) 및 단일의 수신기 모듈(32), 다수의 송신기 모듈(30) 및 단일의 수신기 모듈(32), 또는 다수의 송신기 모듈(30) 및 다수의 수신기 모듈(32)을 포함할 수 있다.
도 2는 입력(51), 패킷타이저(52), 입력(61), 및 디패킷타이저(62)를 보다 상세하게 도시한 개략적인 도면이다. 도 2는 또한 패킷타이저(52) 및 디패킷타이저(62)에 의해 이미지 프레임의 스트링 또는 스트림의 필터링 및 복원을 개략적으로 도면이다. 도 2에 도시된 바와 같이, 때때로 패킷화 제어기로 지칭되는 패킷타이저(52)는 프레임 검출기(80), 필터 선택기(82) 및 프레임 필터(84)를 포함한다. 프레임 검출기(80)는 공간 압축기(50)(도 1에 도시됨)로부터 수신되는 이미지 데이터의 각각의 프레임의 바운더리, 시작 및 종료를 식별하도록 구성되는 패킷타이저(52)의 부분을 포함한다. 일 실시예에서, 프레임 검출기(80)는 공간 압축 기(50)로부터 수신되는 압축 데이터의 스트림 내의 프레임 디리미터(frame delimiter)를 식별함으로써 그러한 바운더리를 식별한다. 다른 실시예에서, 프레임 검출기(80)는 다른 방식으로 개개의 이미지 프레임의 바운더리를 검출할 수 있다.
필터 선택기(82)는 입력(51)으로부터 패턴 제어 신호를 디코딩하도록 구성되는 패킷타이저(52)의 부분을 포함한다. 이러한 신호에 기반하여, 필터 선택기(82)는 프레임 필터(84)에 대한 필터링 패턴을 설정한다.
프레임 필터(84)는 프레임 검출기(80)에 의해 바운더리가 식별되는 데이터의 압축 프레임의 입력 스트림을 수신하도록 구성되는 패킷타이저(52)의 부분을 포함한다. 프레임 필터(84)는 또한 필터링 동작을 수행하기 위해 필터 선택기(82)에 의해 프로그램되는 선택된 압축 프레임의 데이터를 제거하도록 구성된다. 프레임 필터(84)는 선택된 데이터 프레임을 이송 메카니즘(21)으로 전달할 수 있다. 특정 실시예에서, 필터링되지 않은 프레임은 무선 송신기(54)(도 1에 도시됨)에 전달된다.
도 2에 도시된 바와 같이, 때때로 디패킷화 제어기로 지칭되기도 하는 디패킷타이저(62)는 프레임 검출기(90), 복원 선택기(92), 프레임 어셈블러(94) 및 메모리(96)를 포함한다. 프레임 검출기(90)는 이송 메카니즘(21)으로부터 수신되는 이미지 데이터의 각각의 프레임의 바운더리, 시작 및 종료를 식별하도록 구성되는 디패킷타이저(62)의 부분을 포함한다. 일 실시예에서, 프레임 검출기(90)는 압축된 데이터의 스트림 내의 프레임 디리미터를 식별함으로써 그 바운더리를 식별한 다. 다른 실시예에서, 프레임 검출기(90)는 다른 방식으로 개개의 이미지 프레임의 바운더리를 검출할 수 있다.
복원 선택기(92)는 입력(61)으로부터 패턴 제어 신호를 디코딩하도록 구성되는 디패킷타이저(62)의 부분을 포함한다. 이러한 신호에 기반하여, 필터 선택기(92)는 프레임 어셈블러(94)를 위한 복원 패턴을 설정한다.
프레임 어셈블러(94)는 프레임 검출기(90)에 의해 바운더리가 식별되는 데이터의 필터링되고 압축된 프레임의 입력 스트림을 수신하도록 구성되는 디패킷타이저(62)의 부분을 포함한다. 프레임 어셈블러(94)는 또한 복원 선택기(92)에 의해 프로그램되는 바와 같은 복원 패턴에 기반하여 이미지 프레임의 필터링된 스트림을 적어도 부분적으로 복원하도록 구성된다. 도시된 특정의 실시예에서, 프레임 어셈블러(94)는 로컬 메모리(96) 내의 입력되는 압축 프레임을 저장하고 동시에 동일한 입력되는 압축 이미지 프레임을 압축해제기(64)(도 1에 도시됨)에 전달함으로써 필터링된 이미지 프레임의 스트림을 복원한다. 프레임 어셈블러(94)는 또한 로컬 메모리(96)로부터의 압축된 프레임의 부가적인 사본의 충분한 개수를 압축해제기(64)로 전달하여 패킷타이저(52)에 의한 필터링 이전에 존재하는 원본 프레임 레이트를 적어도 부분적으로 복원한다.
일 실시예에서, 로컬 메모리(96)는 RAM 장치와 같은 휘발성 또는 비휘발성 메모리 장치의 현재 이용가능 또는 장래 개발될 구현을 포함할 수 있다. 일 실시예에서, 메모리(96)는 압축 데이터의 단일 프레임의 예상된 최대 사이즈와 적어도 동일한 저장 용량을 갖는다. 일 실시예에서, 메모리(96)는 256킬로바이트의 용량 을 갖는다. 다른 실시예에서, 메모리(96)는 다른 형태의 영구 저장장치를 포함할 수 있으며 다른 용량을 가질 수 있다.
도 3은 일 예의 방법(100)을 도시한 흐름도이며, 이 방법에 의하면 패킷타이저(52) 및 디패킷타이저(62)는 이송 메카니즘(21)(도 1에 도시됨)에 의한 송신 전후에 이미지 데이터 프레임(도 2에 도시됨)의 스트링 또는 스트림(102)을 필터링하고 복원한다. 도시된 실시예에서, 스트림(102)은 압축된 이미지 프레임 0 내지 이미지 프레임 n+1을 포함한다. 스트림(102)은 초당 60프레임의 프레임 레이트를 갖는다.
도 3에서 단계 110으로 표시되고 도 2에 도시된 바와 같이, 입력(51)은 패킷타이저(52)에 의해 사용될 필터링 패턴을 선택한다. 위에서 주목되는 바와 같이, 필터링 패턴은 송신되는 이미지(비디오 또는 컴퓨터 그래픽)의 타입, 이송 메카니즘(21)의 입력 또는 검출 특성 또는 사용자 또는 외부 소스 필터 패턴 선택에 기반하여 선택될 수 있다. 선택된 필터링 패턴을 제공하는 패턴 제어 신호는 필터 선택기(82)로 송신되며, 이 필터 선택기는 패턴 제어 신호를 디코딩하고 이 신호를 프레임 필터(84)로 송신한다.
입력(61)은 디패킷타이저(62)에 의해 사용될 복원 패턴을 선택한다. 입력(61)은 복원 패턴을 제공하는 복원 패턴 제어 신호를 디패킷타이저(62)의 복원 선택기(92)에 송신한다. 일 실시예에서, 복원 패턴은 입력(51)에 의해 제공되는 필터링 패턴에 대응하거나 사실상 이를 반영한다. 복원 선택기(92)는 입력(61)으로부터 패턴 제어 신호를 디코딩하고 이 신호를 프레임 어셈블러(94)에 송신한다.
도 3의 단계 112에 의해 표시되고 도 2에 도시된 바와 같이, 패킷타이저(52)는 공간 압축기(50)(도 1에 도시됨)로부터의 압축 이미지 프레임의 스트링 또는 스트림(102)을 수신한다.도 3의 단계 114로 표시된 바와 같이, 프레임 검출기(80)는 입력되는 압축 이미지 프레임의 바운더리를 식별한다.
도 3의 단계 116에 의해 표시되는 바와 같이, 패킷타이저(52)의 프레임 필터(84)는 입력되는 압축 이미지 프레임에 대한 필터링 동작을 수행하여 프레임 레이트를 감소시킨다. 도 2에 도시된 예에서, 프레임 필터(84)는 스트림(102)의 매 두 번째 프레임을 필터링 아웃하거나 제거하여 초당 60 프레임의 프레임 레이트를 초당 30프레임으로 감소시킨다. 가령, 프레임 필터(84)는 프레임 1,3, 5,...,n+1을 필터링 아웃하거나 제거하는 한편 프레임 0, 2, 4, ..., n을 이송 메카니즘(21)으로 전달하여 프레임 레이트를 절반으로 감소시킨다. 특정 실시예에서, 이는 이송 메카니즘(21)이 스트림(102)을 보다 우수하게 송신할 수 있게 한다. 가령, 소정의 실시예에서, 이송 메카니즘(21)은 최대의 송신 레이트를 갖거나 스트림(102)의 원본 프레임 레이트, 즉 초당 60 프레임보다 작은 프레임 레이트를 가질 수 있다. 도 3에서 단계 118로 표시되는 바와 같이, 필터링된 스트림(102')은 다음에 이송 메카니즘(21)에 의해 수신기(60)(도 1에 도시됨)로 송신된다.
도 3의 단계 120으로 표시되고 도 2에 도시된 바와 같이, 수신기(32)는 필터링된 스트림(102')을 디패킷타이저(62)로 전달한다. 도 3의 단계 122로 표시되는 바와 같이, 디패킷타이저(62)(도 2에 도시됨)의 프레임 검출기(90)는 입력되는 압축 이미지 프레임의 바운더리를 식별한다.
도 3의 단계 124로 표시되고 도 2에서 화살표 97로 도시된 바와 같이, 디패킷타이저(62)의 프레임 어셈블러(94)는 메모리(96) 내에 수신된 압축 이미지 프레임의 사본을 송신하고 저장한다. 도 2에서 화살표 98로 표시된 바와 같이, 프레임 어셈블러(94)는 다른 사본 또는 원본 압축 프레임을 압축해제기(64)(도 1에 도시됨)로 전달하거나 송신한다. 도 3의 단계 126에 의해 표시되고 도 2에서 개략적으로 도시된 바와 같이, 프레임 어셈블러(94)는 필터링 아웃된 이미지 프레임을 수신된 프레임의 사본으로 대체한다. 특정 실시예에서, 프레임 어셈블러(94)는 메모리(96)로부터 이미지 프레임 데이터를 검색하고 압축 프레임의 하나 이상의 사본을 압축해제기(64)(도 1에 도시됨)로 전달하여 스트림(102')의 블랭크(blanks)를 채운다. 따라서, 스트림(102')의 프레임 레이트는 적어도 부분적으로 복원되고, 스트림(102'')(도 2에 도시됨)을 압축해제기(64)로 출력한다.
도 2에 도시된 예에서, 프레임 어셈블러(94)에 의해 제공되는 복원 패턴은 프레임 필터(84)에 의해 제공되는 필터링 패턴을 반영한다. 특히, 프레임 어셈블러(94)는 디패킷타이저(62)에 의해 수신되는 선행 프레임의 사본과 함께 매 두 번째 프레임을 복원한다. 도 2에 도시된 바와 같이, 프레임 어셈블러(94)는 메모리(96)에 프레임 0 데이터의 사본을 저장하는 한편 프레임 0을 압축해제기(64)로 전달한다. 이어서, 프레임 어셈블러(94)는 메모리(96)로부터 프레임 0 데이터의 사본을 검색하며 이 데이터를 압축해제기(64)로 전달한다. 이렇게 함으로써 프레임 0 데이터는 원본 스트링(102)의 프레임 1 데이터를 대체한다. 유사한 방식으로, 프레임 어셈블러(94)는 다음 프레임의 저장 사본, 가령 프레임 2를 메모리(96) 에서 검색하는 한편 프레임 2 데이터를 압축해제기(64)로 전달한다. 이러서, 프레임 어셈블러(94)는 메모리(96)로부터 프레임 2 데이터의 사본을 검색하고 이 데이터를 압축해제기(64)로 전달한다. 이렇게 함으로써, 프레임 2 데이터는 원본 스트링 또는 스트림(102)의 프레임 3 데이터를 대체한다. 프레임 어셈블러(94)는 프레임 n에까지 이러한 과정을 지속한다. 이미지 프레임의 최종 스트림(102'')은 원본 프레임 0,1,2,3,4,5,...,n,n+1의 시퀀스 대신에 프레임 0,0,2,2,...,n,n의 프레임 시퀀스로 구성된다. 그 결과, 압축되는 이미지 프레임의 새롭게 형성되는 스트링 또는 스트림(102'')은 초당 60 프레임의 프레임 레이트를 갖는다. 간단히, 재구성된 이미지의 품질을 감소시킬 수 있는 매 하나 건너 프레임을 단순히 드롭하는 대신에, 디패킷타이저(62)는 매 하나 건너 프레임에 대안의 프레임 데이터를 채워넣어 고품질 이미지를 유지한다. 다른 실시예에서, 다른 필터링 패턴 및 복원 패턴이 사용될 수 있다.
도 4는 이미지 송신 및 수신 시스템 또는 링크(220) 또는 다른 실시예의 링크(20)를 개략적으로 도시한 도면이다. 링크(220)는 링크(20)와 유사하지만, 다만 링크(20)가 하나를 초과하는 디스플레이 상에서의 인식 및 디스플레이를 위해 둘 이상의 이미지 프레임의 스트림(및 오디오)을 동시에 송신하도록 구성되는 것만 상이하다. 특정 실시예에서, 링크(220)는 컴퓨터 그래픽 소스(222A, 222B)로부터 이미지 프레임 스트림(및 오디오)을 동시에 송신한다. 도 4에 도시된 바와 같이, 이미지 프레임의 스트림은 송신기 모듈(230)에 의해 송신된다. 이미지 프레임의 스트림은 디스플레이(226A, 226B)에 의한 표현을 위해 단일의 수신기 모듈(232)로 송신되거나 디스플레이(26A, 26B)에 의한 표현을 위해 둘 이상의 개개의 수신기 모듈(30A, 30B)로 송신될 수 있다.
컴퓨터 그래픽 소스(222A, 222B)는 사실상 도 1과 관련하여 전술한 컴퓨터 그래픽 소스(22)와 동일하다. 송신기 모듈(230)은 도 1과 관련하여 전술한 송신기 모듈(30)과 유사하지만, 모듈(230)은 제각기 포트(42, 디코더(46), 및 공간 압축기(50) 대신에 한 쌍의 포트(242A, 242B)와, 한 쌍의 컴퓨터 그래픽 디코더(246)와, 한 쌍의 공간 압축기(250A, 250B)를 포함하는 점은 상이하다. 포트(242), 디코더(246) 및 공간 압축기(250)는 각각 별도로 사실상 포트(44), 디코더(46) 및 공간 압축기(50)와 각각 동일하다. 송신기 모듈(30)의 유사 요소에 대응하는 송신기 모듈(230)의 잔존 요소 또는 컴포넌트는 유사하게 넘버링된다. 포트(242)의 쌍, 디코더(246)의 쌍 및 공간 압축기(250)의 쌍은 다수의 이미지 데이터 스트림의 동시 송신을 가능하게 한다. 다른 실시예에서, 모듈(230)은 세 개 이상의 이미지 프레임 스트림을 송신하기 위해 세 개 이상의 공간 압축기(250), 디코더(246) 및 포트(242)를 포함할 수 있다.
디스플레이(226A, 226B)는 도 1과 관련하여 도시되고 기술된 디스플레이(26)와 사실상 동일하다. 수신기 모듈(232)은 사실상 (도 1과 관련하여 도시되고 기술된) 수신기 모듈(32)과 유사하지만, 수신기 모듈(232)이 압축해제기(64), 인코더(66) 및 포트(70) 대신에 제각기 한 쌍의 공간 압축해제기(264A, 264B), 한 쌍의 컴퓨터 그래픽 인코더(266A, 266), 한 쌍의 포트(270A, 270B)를 포함하는 점은 상이하다. 공간 압축해제기(264), 컴퓨터 그래픽 인코더(266) 및 포트(70)는 각각 별도로 압축해제기(64), 인코더(66) 및 포트(70)와 제각기 거의 동일하다. 한 쌍의 공간 압축해제기(264), 한 쌍의 컴퓨터 그래픽 인코더(266) 및 한 쌍의 포트(270)는 둘 이상의 디스플레이(226)에 대한 둘 이상의 이미지 프레임 스트림의 수신 및 송신을 용이하게 한다. 다른 실시예에서, 수신기 모듈(232)은 세 개 이상의 디스플레이(226)에 이미지 프레임 스트림을 송신하기 위한 세 개 이상의 공간 압축해제기(264), 인코더(266) 및 포트(270)를 포함할 수 있다.
디스플레이(26A, 26B)는 사실상 디스플레이(26)와 동일하다. 수신기 모듈(30A, 30B)은 사실상 수신기 모듈(30)과 동일하다. 다른 실시예에서, 링크(220)는 송신기 모듈(230)이 세 개 이상의 소스로부터 세 개 이상의 이미지 데이터의 스트림을 송신하도록 구성될 때 세 개 이상의 수신기 모듈(30)을 포함할 수 있다.
위에서 주목되는 바와 같이, 링크(20)는 이송 메카니즘(21)의 최대 프레임 레이트보다 큰 프레임 레이트를 갖는 이미지 프레임 스트림의 송신을 용이하게 한다. 유사한 방식으로, 링크(220)는 사용중인 이송 메카니즘(21)의 최대 프레임 레이트보다 큰 프레임 레이트를 집합적으로 갖는 다수의 이미지 프레임 스트림의 동시 송신을 용이하게 한다. 도 2와 관련하여 전술된 바와 같은 필터링 패턴을 제공하고 그 필터링 패턴에 따른 필터링 아웃된 프레임을 복원함으로써, 링크(230)의 패킷타이저(52) 및 하나 이상의 디패킷타이저(62)는 다수의 이미지 프레임 스트림의 집합적 이미지 프레임 레이트가 초기에 이송 메카니즘(21)의 최대 프레임 레이트보다 큼에도 불구하고 디스플레이(226A, 226B)에서의 표현을 위한 수신기 모 듈(232)로 또는 디스플레이(26A, 26B)에서의 표현을 위한 수신기 모듈(30A, 30B)로의 다수의 이미지 프레임 스트림의 송신을 용이하게 한다.
도시된 특정 실시예에서, 링크(220)는 둘 이상의 컴퓨터 그래픽 소스로부터 둘 이상의 이미지 프레임 스트림을 송신하고 제공하는 것으로 기술된다. 다른 실시예에서, 링크(220)는 대안으로 둘 이상의 비디오 소스로부터 둘 이상의 이미지 프레임 스트림을 송신하고 제공하도록 구성될 수 있다. 이러한 대안의 실시예에서, 모듈(230)의 한 쌍의 디코더(246) 및 포트(242)는 제각기 한 쌍의 디코더(48) 및 포트(44)로 대체된다. 그러한 대안의 실시예에서, 한 쌍의 컴퓨터 그래픽 인코더(266) 및 포트(270)는 제각기 한 쌍의 비디오 인코더(68) 및 포트(72)로 대체된다.
본 개시물은 실시예와 관련하여 기술되었지만, 당업자라면 본 발명의 사상과 범주 내에서 형태 및 세부 내용에서 변경이 행해질 수 있다는 것을 알 것이다. 가령, 상이한 실시예가 하나 이상의 이점을 제공하는 하나 이상의 특징을 포함하는 것으로 도시되었지만, 전술한 특징은 서로간에 교환될 수 있거나 대안으로서 전술한 실시예에서 또는 대안의 실시예에서 서로와 함께 조합될 수 있다는 것이 고려된다. 본 개시물의 기술이 비교적 복잡하기 때문에, 본 기술분야에서 모든 변경이 예상되는 것은 아니다. 실시예와 관련하여 기술되고 아래의 특허청구범위에서 기술되는 본 개시물은 분명히 가능한 넓게 해석된다. 가령, 특히 다르게 주목되지 않는 한, 단일 특정 요소를 열거하는 청구범위는 다수의 특정 요소를 포함한다.

Claims (10)

  1. 필터링 패턴에 따라 하나 이상의 이미지 프레임 스트림(102)을 필터링하는 단계와,
    하나 이상의 필터링된 이미지 프레임 스트림(102')을 수신하고 필터링 아웃된 프레임을 수신된 프레임의 사본으로 대체하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 수신된 프레임들 중의 하나의 사본을 메모리(96)에 저장하는 단계를 더 포함하며,
    필터링 아웃된 프레임은 상기 사본으로 대체되는
    방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 수신된 프레임과 상기 수신된 프레임의 사본을 압축해제기에 송신하는 단계를 더 포함하는
    방법.
  4. 제 1 항 내지 제 3 항 중의 어느 한 항에 있어서,
    상기 하나 이상의 이미지 프레임 스트림(102)은 필터링 이전에 제 1 이미지 프레임 레이트를 가지며, 하나 이상의 이미지 프레임 스트림(102'')은 상기 필터링 아웃된 프레임이 상기 수신된 프레임의 사본으로 대체된 후에 상기 제 1 이미지 프레임 레이트를 갖는
    방법.
  5. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
    필터링 이전의 상기 하나 이상의 이미지 프레임 스트림(102)은 매 0.25초 당 한 번 보다 적은 주파수로 변화하는 이미지 컨텐츠에 대응하는
    방법.
  6. 제 1 항 내지 제 5 항 중의 어느 한 항에 있어서,
    적어도 두 개의 연속하는 프레임은 상기 필터링 패턴에 따라 필터링 아웃되는
    방법.
  7. 제 1 항 내지 제 6 항 중의 어느 한 항에 있어서,
    필터링 아웃된 프레임에 대한 송신되는 프레임의 비율은 상기 필터링 패턴에 따른 비율이 되는
    방법.
  8. 제 1 항 내지 제 6 항 중의 어느 한 항에 있어서,
    필터링 아웃된 프레임에 대한 송신되는 프레임의 비율은 상기 필터링 패턴에 따른 비율보다 더 큰
    방법.
  9. 제 1 항 내지 제 8 항 중의 어느 한 항에 있어서,
    상기 필터링 패턴을 조정하는 단계를 더 포함하는
    방법.
  10. 필터링 패턴에 따라 하나 이상의 이미지 프레임 스트림(102)을 필터링하도록 구성되는 패킷타이저(52)와,
    하나 이상의 필터링된 이미지 프레임 스트림(102')을 수신하고 필터링 아웃된 프레임을 수신된 프레임의 사본으로 대체하도록 구성되는 디패킷타이저(62)를 포함하는
    장치.
KR1020097007869A 2006-10-20 2007-10-17 이미지 프레임의 스트림을 위한 프레임 드롭핑 방법 및 장치 KR20090076922A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/551,697 US20080094500A1 (en) 2006-10-20 2006-10-20 Frame filter
US11/551,697 2006-10-20

Publications (1)

Publication Number Publication Date
KR20090076922A true KR20090076922A (ko) 2009-07-13

Family

ID=39317518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097007869A KR20090076922A (ko) 2006-10-20 2007-10-17 이미지 프레임의 스트림을 위한 프레임 드롭핑 방법 및 장치

Country Status (5)

Country Link
US (1) US20080094500A1 (ko)
KR (1) KR20090076922A (ko)
DE (1) DE112007002373T5 (ko)
GB (1) GB2455688B (ko)
WO (1) WO2008051769A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009044543A1 (de) 2009-08-19 2011-02-24 Hyundai Motor Co. Verriegelungssystem einer Fahrzeugtür

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013055590A (ja) * 2011-09-06 2013-03-21 Sony Corp 撮像装置および撮像方法
US9736448B1 (en) * 2013-03-15 2017-08-15 Google Inc. Methods, systems, and media for generating a summarized video using frame rate modification
CN112085828B (zh) * 2020-09-18 2024-04-26 深圳市欢太科技有限公司 图像处理方法及装置、云真机系统、存储介质和电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4949391A (en) * 1986-09-26 1990-08-14 Everex Ti Corporation Adaptive image acquisition system
SE468736B (sv) * 1991-11-15 1993-03-08 Televerket Foerfarande och apparat foer bildkodning med oeverhoppning av bilder och/eller komponenter
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
JP3658087B2 (ja) * 1995-07-04 2005-06-08 キヤノン株式会社 端末装置及び端末装置の制御方法
JP3332733B2 (ja) * 1996-07-11 2002-10-07 株式会社東芝 ノード装置及びパケット転送方法
US5990958A (en) * 1997-06-17 1999-11-23 National Semiconductor Corporation Apparatus and method for MPEG video decompression
US6608933B1 (en) * 1997-10-17 2003-08-19 Microsoft Corporation Loss tolerant compressed image data
US6151636A (en) * 1997-12-12 2000-11-21 3Com Corporation Data and media communication through a lossy channel using signal conversion
US7158681B2 (en) * 1998-10-01 2007-01-02 Cirrus Logic, Inc. Feedback scheme for video compression system
US6940826B1 (en) * 1999-12-30 2005-09-06 Nortel Networks Limited Apparatus and method for packet-based media communications
US6747991B1 (en) * 2000-04-26 2004-06-08 Carnegie Mellon University Filter and method for adaptively modifying the bit rate of synchronized video and audio streams to meet packet-switched network bandwidth constraints
JP4573957B2 (ja) * 2000-07-04 2010-11-04 キヤノン株式会社 画像制御装置、画像制御方法及びテレビ受信機
US6831898B1 (en) * 2000-08-16 2004-12-14 Cisco Systems, Inc. Multiple packet paths to improve reliability in an IP network
US7013346B1 (en) * 2000-10-06 2006-03-14 Apple Computer, Inc. Connectionless protocol
US20020136298A1 (en) * 2001-01-18 2002-09-26 Chandrashekhara Anantharamu System and method for adaptive streaming of predictive coded video data
US7017175B2 (en) * 2001-02-02 2006-03-21 Opentv, Inc. Digital television application protocol for interactive television
US7085320B2 (en) * 2001-07-31 2006-08-01 Wis Technologies, Inc. Multiple format video compression
US20050128217A1 (en) * 2003-12-12 2005-06-16 Boaz Cohen Device, system and method for video signal modification
WO2005065030A2 (en) * 2004-01-08 2005-07-21 Videocodes, Inc. Video compression device and a method for compressing video
WO2005074278A2 (en) * 2004-01-23 2005-08-11 Sarnoff Corporation Method and apparatus for providing dentable encoding and encapsulation
US20050289631A1 (en) * 2004-06-23 2005-12-29 Shoemake Matthew B Wireless display
GB0428155D0 (en) * 2004-12-22 2005-01-26 British Telecomm Buffer underflow prevention
US8514933B2 (en) * 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009044543A1 (de) 2009-08-19 2011-02-24 Hyundai Motor Co. Verriegelungssystem einer Fahrzeugtür

Also Published As

Publication number Publication date
WO2008051769A3 (en) 2008-10-16
GB2455688A (en) 2009-06-24
DE112007002373T5 (de) 2009-07-23
GB0907200D0 (en) 2009-06-10
WO2008051769A2 (en) 2008-05-02
GB2455688B (en) 2011-06-15
US20080094500A1 (en) 2008-04-24

Similar Documents

Publication Publication Date Title
KR102043962B1 (ko) 저 레이턴시 스크린 미러링
US10542291B2 (en) Adaptive noise reduction engine for streaming video
KR102344545B1 (ko) 영상처리장치 및 그 제어방법
US20150156557A1 (en) Display apparatus, method of displaying image thereof, and computer-readable recording medium
CN111954061A (zh) 电子设备及其控制方法
US9601156B2 (en) Input/output system for editing and playing ultra-high definition image
WO2002032133A1 (fr) Emetteur et recepteur de signaux
KR20090076922A (ko) 이미지 프레임의 스트림을 위한 프레임 드롭핑 방법 및 장치
KR101787424B1 (ko) 패킷화된 통신 네트워크를 통해 통신되는 스트리밍 콘텐츠를 위한 클럭 복원 메커니즘
US20080101409A1 (en) Packetization
US20120033727A1 (en) Efficient video codec implementation
CN109413344B (zh) 基于视频采集及编码技术的多分辨率屏幕操作状态监视装置
US9215500B2 (en) Full-frame buffer to improve video performance in low-latency video communication systems
US20100208830A1 (en) Video Decoder
KR100513274B1 (ko) 압축기법을 이용한 고속의 디브이아이 제어 방법 및 이를이용한 디브이아이 송신기 및 수신기
JP2006311327A (ja) 画像信号復号装置
US20170150083A1 (en) Video signal transmission device, method for transmitting a video signal thereof, video signal reception device, and method for receiving a video signal thereof
CN103945158A (zh) 源设备及其控制方法和通信系统
CN110035309B (zh) 播放装置、远程播放系统、播放方法以及记录介质
JP2008140368A (ja) 表示用にネットワークを介して通信されるコンテンツを処理するためのマルチグラフィックスプロセッサシステム及び方法
US7233366B2 (en) Method and apparatus for sending and receiving and for encoding and decoding a telop image
WO2021002135A1 (ja) データ送信装置、データ送信システム、及び、データ送信方法
US20070245390A1 (en) Multisync image output system
US11818490B2 (en) Video transmitting device and video receiving device
WO2007107948A1 (en) Video transmission over a data link with limited capacity

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application