KR101266667B1 - 장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템 - Google Patents

장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템 Download PDF

Info

Publication number
KR101266667B1
KR101266667B1 KR1020117024076A KR20117024076A KR101266667B1 KR 101266667 B1 KR101266667 B1 KR 101266667B1 KR 1020117024076 A KR1020117024076 A KR 1020117024076A KR 20117024076 A KR20117024076 A KR 20117024076A KR 101266667 B1 KR101266667 B1 KR 101266667B1
Authority
KR
South Korea
Prior art keywords
block
coding
image
natural image
mode
Prior art date
Application number
KR1020117024076A
Other languages
English (en)
Other versions
KR20120013321A (ko
Inventor
웨이 리우
모하마드 가라비-알칸사리
알리 타바타바이
요이찌 야가사끼
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43299827&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101266667(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120013321A publication Critical patent/KR20120013321A/ko
Application granted granted Critical
Publication of KR101266667B1 publication Critical patent/KR101266667B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01L—CYCLICALLY OPERATING VALVES FOR MACHINES OR ENGINES
    • F01L1/00—Valve-gear or valve arrangements, e.g. lift-valve gear
    • F01L1/12—Transmitting gear between valve drive and valve
    • F01L1/18—Rocking arms or levers
    • F01L1/185—Overhead end-pivot rocking arms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01L—CYCLICALLY OPERATING VALVES FOR MACHINES OR ENGINES
    • F01L1/00—Valve-gear or valve arrangements, e.g. lift-valve gear
    • F01L1/26—Valve-gear or valve arrangements, e.g. lift-valve gear characterised by the provision of two or more valves operated simultaneously by same transmitting-gear; peculiar to machines or engines with more than two lift-valves per cylinder
    • F01L1/267—Valve-gear or valve arrangements, e.g. lift-valve gear characterised by the provision of two or more valves operated simultaneously by same transmitting-gear; peculiar to machines or engines with more than two lift-valves per cylinder with means for varying the timing or the lift of the valves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

신뢰성 있는 실시간 전송을 위한 이미지/비디오의 이중 모드 압축은 확장가능한 블록-기반 비디오 압축을 포함한다. 이 방법은 채널 대역폭이 변경될 경우에 품위 있는(graceful) 품질 저하를 제공한다. 인코딩 예측이 회피되며, 프로세스는 메모리를 덜 필요로 하여 덜 복잡하다. 이 방법은 각 블록을, 에러들이 현 블록 경계를 지나 전파될 수 없는 이점을 갖고 독립적으로 처리하는 단계를 포함한다. 획득된 이미지들을 위한 자연 이미지 코딩과, 컴퓨터 생성된 이미지들을 위한 그래픽 코딩의 상이한 두 인코딩 모드가 이용된다. 인코딩 대상의 특정 블록에 대한 두 모드의 성과를 비교함으로써 적절한 인코딩 모드가 선택된다. 가용 채널 대역폭에 따라 인코더에 의해 임베딩된 비트스트림이 생성된다.

Description

장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템{DUAL-MODE COMPRESSION OF IMAGES AND VIDEOS FOR RELIABLE REAL-TIME TRANSMISSION}
본 발명은 이미지 처리 분야에 관한 것이다. 보다 구체적으로는, 본 발명은 신뢰성 있는 실시간 전송을 위한 이중-모드(dual-mode) 이미지/비디오 압축에 관한 것이다.
서로 보완해 주지만, 결합에 관련된 문제점들을 해결할 필요성을 발생시키는 성장 추세에 있는 두 가지 기술들이 있다. 1)고해상도(HD) 비디오는 표준 해상도보다 훨씬 더 많은 데이터를 포함하므로 훨씬 더 선명하고 더 생생한 비디오를 가능케 하는 차세대 비디오다. HD 비디오는 매우 많은 데이터를 포함하므로, 데이터를 한 위치에서 다른 위치로 특히, 무선으로 전송하는데, 상당량의 대역폭을 이용한다. HD 품질은 유지한 채 이용되는 대역폭을 줄이기 위해, 데이터의 전송 시에 인코딩/압축 스킴(schemes)을 이용한다. 2) 데이터의 실시간 전송은 비디오 회의 및 온라인 게이밍과 같은 실시간 및 대화형 응용(applications)을 가능케 한다. 실시간 비디오 전송 시에는, 가용 대역폭의 변경에 대한 데이터 레이트를 적응시키는 것이 중요한데, 이는 비디오 데이터에 대해 확장가능한(scalable) 인코딩/압축 스킴을 수행할 것을 요구한다.
무선 전송의 일례가 Wireless HD 1.0이다. Wireless HD 1.0 표준은 가전(consumer electronic; CE) 오디오 및 비디오 장치들의 연결을 위한 무선 비디오 영역 네트워크(WVAN)를 정의한다. WirelessHD 시스템의 핵심 속성은, 10미터 거리의 공간 내에서 고 품질의 서비스(QoS)로 압축되지 않은 1080p A/V 스트림의 무선 트랜스포트를 지원하는 능력이다.
10미터 거리에서 높은 데이터 처리량을 위한 요건은, 할당된 대량의 주파수 스펙트럼을 필요로 한다. 대량의 스펙트럼은 수많은 국가에서 허가받지 않은 체제로(on unlicensed basis) 60 GHz 대역에서 이용가능하다. 북미와 일본에서는, 총 7 GHz가 사용하도록 할당되어 있으며, 이 중 5 GHz가 겹친다. 대역 57 내지 64 GHz는 북미에 할당되어 있는 한편, 59 내지 66 GHz는 일본에 할당되어 있다. 또한, 한국과 유럽 연합도 유사한(similar) 할당을 허가해 왔다. 규제 기관(regulator agencies)은 10W의 유효 전 방향성 방사 전력(effective isotropic radiated power; EIRP)보다 큰, 매우 높은 유효 전송 전력(송신기 전력과 안테나 이득의 결합)을 허용한다. 높은 EIRP 및 할당된 광 대역폭은 높은 처리량 연결을 허용하지만, 매우 지향성이다.
Wireless HD 1.0 사양(spacification)은 환경 변화에 매우 빠르게 적응하는 지향성 연결을 가능케 하는 무선 프로토콜을 정의한다. 이것은, 송신기에서 안테나 빔(beam)을 동적으로 스티어링(steering) 함과 동시에, 수신기 안테나를 송신기로부터 도래하는 전력의 방향으로 포커싱시킴으로써 달성된다. 이런 동적 빔 형성(forming)) 및 빔 스티어링은 직접 경로(direct path)를 활용할 뿐 아니라, 가시 거리 내 연결(line-of-sight connection)이 방해를 받을 시 반사(reflections) 및 다른 간접 경로의 이용을 허용한다. 이런 안테나 에너지의 동적 조정은 1 밀리초 미만으로 완료된다.
WVAN은 하나의 코디네이터(Coordinator) 및 제로(0) 이상의 스테이션(Stations)을 포함한다. 코디네이터는 A/V 스트림의 지원을 위해 무선 자원들의 우선순위 매김이 확실하게 되도록 채널 내의 시간을 스케쥴링한다. WVAN의 일부인 다른 장치들을 스테이션이라 칭한다. 스테이션은 네트워크에서 데이터의 소스(source) 및/또는 싱크(sink)일 수 있다. 코디네이터인 장치는 또한, WVAN에서 스테이션으로서 역할을 행하고, 데이터의 소스 및/또는 싱크로서 역할을 행할 수 있다.
<http://www.wirelesshd.org/technology.html>
이중-모드 압축 스킴은 확장가능한 블록-기반 비디오 압축을 포함한다. 이 방법은 채널 대역폭이 변경될 경우에 품위 있는(graceful) 품질 저하를 제공한다. 인코딩 예측이 회피되며, 프로세스는 메모리를 덜 필요로 하여 덜 복잡하며, 비트레이트 변경으로 인한 드리프트 에러가 회피된다. 이 방법은 각 블록을, 에러들이 현 블록 경계를 지나 전파될 수 없는 이점을 갖고 독립적으로 처리하는 단계를 포함한다. 획득된 이미지들을 위한 자연 이미지 코딩과, 컴퓨터 생성된 이미지들을 위한 그래픽 코딩의 상이한 두 인코딩 모드가 이용된다. 그래픽 코딩은 전통적인 자연 이미지 코딩 스킴(예컨대, DCT 기반 스킴)은 효과가 없는, 예컨대, 그래픽 및 텍스트(이것들로만 제한되는 것인 아님)와 같은 컴퓨터 생성된 콘텐츠용으로 특별히 설계되어 있다. 적절한 인코딩 모드는 인코딩 대상의 특정 블록에 대한 두 모드의 성과(performance)를 비교함으로써 선택된다. 인코더에 의해 임베딩된 비트스트림이 생성된다.
본 발명의 일 양상에서, 장치 내 제어기에서 프로그래밍되는 압축 방법은 이미지를 하나 이상의 블록으로 분할하는 단계; 이미지의 블록이 자연 이미지 또는 컴퓨터 생성된 이미지로부터 나온 것인지를 판단하는 단계; 상기 블록이 자연 이미지로부터 나온 것이면 상기 블록에 대해 자연 이미지 코딩을 적용하여 코딩된 비트스트림을 생성하는 단계; 및 상기 블록이 컴퓨터 생성된 이미지로부터 나온 것이면, 상기 블록에 대해 그래픽 코딩을 적용하여 코딩된 비트스트림을 생성하는 단계를 포함한다. 자연 이미지 코딩은 상기 블록에 2D 이산 코사인(DCT) 변환(또는 다른 스펙트럼 변환)을 적용하는 단계 및 최상위 비트 평면(MSB)부터 최하위 비트 평면(LSB)까지 최종 생성된 변환 계수들을 코딩하여 최종 생성된 비트스트림을 임베딩시키는 단계를 포함한다. 그래픽 코딩은 최상위 비트 평면(MSB)부터 최하위 비트 평면(LSB)까지 상기 블록 내의 픽셀들을 코딩하는 단계 및 상기 블록에 대해 변환을 수행하지 않는 단계를 포함한다. 상기 방법은 서로 다른 비트 평면에서 동일하지 않은 에러 보호를 적용하는 단계를 더 포함한다. 상기 모드를 판단하는 단계는 인코딩되는 상기 블록에 대한 두 코딩 모드의 성과에 기초한다. 상기 방법은 코딩된 비트스트림을 포스트-인코딩 버퍼에 저장하는 단계를 더 포함한다. 상기 방법은 가용 채널 대역폭에 기초하여 상기 포스트-인코딩 버퍼로부터 각 블록에 대한 정보를 추출해 내고, 상기 블록에 대한 모드 정보를 전송하고, 나머지 비트들은 폐기시키는 단계를 더 포함한다. 상기 방법은 추출된 정보 및 모드 정보를 물리 계층에 전송하는 단계를 더 포함한다. 상기 제어기는 프로그래밍된 컴퓨터 판독가능 매체 및 특수 용도의 회로로 이루어진 그룹에서 선택된다. 상기 방법은 블록들 간에 비트를 공유하는 단계를 더 포함한다. 상기 장치는 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드형 컴퓨터, 개인 휴대 단말기(PDA), 셀룰러/모바일 폰, 스마트 어플라이언스(smart appliance), 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPhone, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹에서 선택된다.
본 발명의 다른 양상에서, 장치 내 제어기에서 프로그래밍되는 압축 시스템은 이미지의 블록이 자연 이미지 또는 컴퓨터 생성된 이미지로부터 나온 것인지를 판단하는 모드 판단 모듈; 상기 블록이 자연 이미지로부터 나온 것이면, 상기 블록에 자연 이미지 코딩을 적용하여 코딩된 비트스트림을 생성하는 자연 이미지 코딩 모듈; 및 상기 블록이 컴퓨터 생성된 이미지로부터 나온 것이면 상기 블록에 그래픽 코딩을 적용하여 코딩된 비트스트림을 생성하는 그래픽 코딩 모듈을 포함한다. 상기 시스템은 이미지를 하나 이상의 블록으로 분할하는 프리-인코딩 버퍼를 더 포함한다. 자연 이미지 코딩은 상기 블록에 2D 이산 코사인(DCT) 변환(또는 다른 스펙트럼 변환)을 적용하고, 최상위 비트 평면(MSB)부터 최하위 비트 평면(LSB)까지 최종 생성된 변환 계수들을 코딩하여 최종 생성된 비트스트림을 임베딩시키는 것을 포함한다. 그래픽 코딩 모드는 최상위 비트 평면(MSB)부터 최하위 비트 평면(LSB)까지 상기 블록 내 픽셀들을 코딩하고, 상기 블록에 대해 변환을 수행하지 않는 것을 포함한다. 상기 모드 판단 모듈은 인코딩되는 상기 블록에 대한 두 코딩 모드의 성과에 기초하여 모드를 판단한다. 상기 시스템은 코딩된 비트스트림을 저장하는 포스트-인코딩 버퍼를 더 포함한다. 상기 시스템은 가용 채널 대역폭에 기초하여 상기 포스트-인코딩 버퍼로부터 각 블록에 대한 정보를 추출해 내고, 상기 블록에 대한 모드 정보를 전송하고, 나머지 비트들은 폐기시키는 프레이밍 모듈을 더 포함한다. 상기 프레이밍 모듈은 추출된 정보 및 모드 정보를 물리 계층에 전송한다. 상기 제어기는 프로그래밍된 컴퓨터 판독가능 매체 및 특수 용도의 회로로 이루어진 그룹에서 선택된다. 상기 장치는 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드형 컴퓨터, 개인 휴대 단말기(PDA), 셀룰러/모바일 폰, 스마트 어플라이언스(smart appliance), 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPhone, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹에서 선택된다.
본 발명의 다른 양상에서, 카메라 장치는 비디오를 획득하는 비디오 획득 컴포넌트; 애플리케이션을 저장하는 메모리로서, 상기 애플리케이션은 이미지를 하나 이상의 블록으로 분할하고, 이미지의 블록이 자연 이미지 또는 컴퓨터 생성된 이미지로부터 나온 것인지를 판단하고, 상기 블록이 자연 이미지로부터 나온 것이면, 상기 블록에 대해 자연 이미지 코딩을 적용하여 코딩된 비트스트림을 생성하고, 상기 블록이 컴퓨터 생성된 이미지로부터 나온 것이면, 상기 블록에 대해 그래픽 코딩을 적용하여 상기 코딩된 비트스트림을 생성하는 것인 메모리; 및 상기 메모리에 결합되어 애플리케이션을 처리하도록 구성된 처리 컴포넌트를 포함한다.
본 발명의 또 다른 양상에서, 장치들의 네트워크는 네트워크; 고해상도 비디오를 저장하고 고해상도 비디오의 압축된 버전을 상기 네트워크를 통해 전달하는 서버 장치로서, 고해상도 비디오의 압축된 버전은 비디오의 각 이미지를 하나 이상의 블록으로 분할하고, 상기 이미지의 블록이 자연 이미지 또는 컴퓨터 생성된 이미지로부터 나온 것인지를 판단하고, 상기 블록이 자연 이미지로부터 나온 것이면, 상기 블록에 대해 자연 이미지 코딩을 적용하여 코딩된 비트스트림을 생성하고, 상기 블록이 컴퓨터 생성된 이미지로부터 나온 것이면, 상기 블록에 대해 그래픽 코딩을 적용하여 상기 코딩된 비트스트림을 생성하는 것인 서버 장치; 및 고해상도 비디오의 압축된 버전을 수신하여 고해상도 비디오의 압축된 버전을 플레이하는 플레이어 장치를 포함한다. 고해상도 비디오의 압축된 버전은 플레이되기 전에 디코딩된다.
도 1은 몇몇 실시예에 따른 비디오 인코딩의 블록도.
도 2는 몇몇 실시예에 따른 프레이밍(framing)의 블록도.
도 3은 몇몇 실시예에 따른 데이터 압축 방법의 흐름도.
도 4는 몇몇 실시예에 따른 이중-모드 압축 방법을 구현하도록 구성된 예시적인 컴퓨팅 장치의 블록도.
도 5는 몇몇 실시예에 따른 장치들의 네트워크를 도시.
본원에서 신뢰성 있는 실시간 이미지/비디오 전송에서 사용하기 위한 이중-모드(dual-mode) 압축 스킴에 대해 설명하기로 한다. WiHD 1.0에서는, 비디오 신호는 압축되지 않는다. 가용 채널 대역폭 변경에 적응하기 위해, 픽셀들의 부분 집합(subset)을 폐기시킨다. 이중-모드 압축 스킴에서는, 본원에서 설명하는 복잡성이 낮으며 확장가능한 비디오 코더/디코더(코덱) 이중-모드 코덱을 사용한다. 이중-모드 코덱은 가용 채널 대역폭이 변경될 시에, 품위 있는 품질 저하를 제공한다.
이중-모드 코덱에서는, 코딩 시에 이전 프레임으로부터의 정보는 사용하지 않으며, 이전 프레임을 위한 프레임 버퍼를 필요로 하지 않으며, 움직임 추정(motion estimation)에 대한 탐색(search)도 없다. 이것이 메모리 요건 및 복잡성을 낮춘다. 구현은 인코더 및 디코더가 각 블록을 독립적으로 처리하는, 블록 기반이다. 이는 또한, 더 적은 메모리를 사용하여, 덜 복잡하다. 블록이 어디에서든지 중단될 수 있도록 비트스트림을 임베딩시킬 수 있다. 비트스트림이 임베딩되어 있으므로, 그것은 대역폭 변경에 쉽게 적응된다. 트랜스코딩도 필요 없고, 다수의 비트스트림을 생성할 필요도 없다. 그것은 또한 동일하지 않은 에러 보호와 쉽게 결합된다. 이중-모드 압축은 고 효율성 및 컴퓨터 생성된 이미지들을 위한 모드를 가지며, 코딩 효율성과 에러 복원(resiliency) 간에는 상반관계가 존재한다. 이중-모드 압축은 또한, 낮은 레이턴시(latency)를 갖는다.
도 1은 몇몇 실시예에 따른 비디오 인코딩의 블록도를 도시한 것이다. 비디오는 인코더에 입력되기 전에 프리(pre)-인코딩 버퍼(100)에 입력된다. 프리-인코딩 버퍼(100)로부터, 고정 크기(예컨대, 8 × 8)의 블록들이 모드 판정 모듈(102)에 보내진다. 모드 판정 모듈(102)은 블록을 자연 이미지 코딩 또는 그래픽 코딩(예컨대, 컴퓨터 생성된 이미지)을 이용하여 인코딩해야 할지를 판정한다. 자연 이미지들은, 예를 들어, 카메라 또는 캠코더에 의해 획득된 것들이고, 컴퓨터 생성된 이미지들은 컴퓨팅 장치에 의해 생성된 것들이다. 모드 판정 모듈(102)에서의 판정에 따라, 블록은 자연 이미지 코딩 모듈(104) 또는 그래픽 코딩 모듈(106)에 입력된다. 자연 이미지 코딩 모듈(104) 또는 그래픽 코딩 모듈(106)로부터 임베딩된 단일의 비트스트림이 생성되어 포스트(post)-인코딩 버퍼(108)에 저장된다. 자연 이미지 코딩 모드 및 그래픽 코딩 모드는 완전히-임베딩된 비트스트림을 만들어 낸다. 포스트-인코딩 버퍼(108)에 저장된 정보는 임의 비트-레이트가 가용 채널 대역폭에 적응되도록 형상화될 수 있다.
인코더는 각 블록을 독립적으로 처리한다. 예측(프레임-간 또는 프레임-내)은 이용되지 않는다. 확장가능한 코딩 시에, 예측을 이용할 경우, 예측에 이용되는 픽셀들은 인코더/디코더에서 다를 수 있어, 에러 드리프팅 아티팩트(error drifting artifacts)로 이어질 수 있다.
자연 이미지 코딩 모드인 경우, 블록에 2차원(2D) 이산 코사인 변환(DCT)(또는 다른 스펙트럼 변환)을 적용시킨다. 최상위 비트-평면(MSB)부터 최하위 비트-평면(LSB)까지 최종 생성된 변환 계수들을 코딩하여 최종 생성된 비트스트림을 임베딩시킨다. 이것은 낮은 복잡성의 확장가능한 코딩을 제공한다. 이것은 또한, 서로 다른 비트-평면에서 동일하지 않은 에러 보호를 적용시키는 것이 가능하다.
그래픽 코딩 모드인 경우, 블록에 대해 변환을 수행하지 않는다. 픽셀들은 MSB부터 LSB까지 코딩된다. 그래픽 코딩의 경우, 임의 적합한 코딩 방법을 구현할 수 있다. 몇몇 실시예에서, 본원에서 원용되는, 년 월 일자로 출원되고 발명의 명칭이 "히스토그램이 희박한 이미지를 위한 임베딩된 그래픽 코딩(EMBEDDED GRAPHICS CODING FOR IMAGES WITH SPARSE HISTOGRAMS)"인 미국 특허원(대리인 사건 번호 SONY-41900)에 기술된 임베딩된 그래픽 코딩을 이용한다.
모드(자연 또는 그래픽)는 인코딩되는 블록에 대한 두 코딩 모드의 성과(performance)에 기반하여 판정된다. 이런 판정 시에 복잡성이 매우 낮은 측도(measure)가 이용된다.
도 2는 몇몇 실시예에 따른 프레이밍의 블록을 도시한 것이다. 도 1에 개시된 바와 같이, 코딩된 비트스트림은 포스트-인코딩 버퍼(108)에 저장된다. 프레이밍 모듈(200)을 이용하여 포스트-인코딩 버퍼(108)로부터 가용 채널 대역폭에 기초한 각 블록에 대한 정보를 추출한다. 각 블록의 모드 정보가 전송된다. 나머지 비트들은 폐기된다. 그러므로, 가용 채널 대역폭이 낮으면, 더 적은 비트가 전송되지만, 비디오의 품질을 상당히 저하시키지는 않는다. 프레이밍 후에, 정보는 물리 계층(예컨대, 컴퓨터 네트워킹의 OSI-모델의 PHY)으로 보내진다.
몇몇 실시예에서는, 총 비트 버짓(budget)을 공유하는 다수의 블록이 허용되며, 이를 비트 공유(bit sharing)라 칭한다. 비트 버짓을 공유하는 블록들을 슬라이스(slice)라 칭한다. 비트 공유가 가능하고, 스마트한 레이트 할당(rate allocation)을 통해, 곤란(difficult) 블록들이 용이(easy) 블록들보다 많은 비트를 수신하므로, 전체적인 코딩 성능이 개선된다. 그러나, 에러가 블록마다 전파될 수 있지만, 결코 슬라이스를 넘어 전파되지는 않는다. 본원에 개시된 코덱은 블록들 간에서의 비트 공유를 허용하도록 수정될 수 있으므로, 어쩌면 줄어든 에러 복원 희생을 대가로 코딩 성능이 개선된다. 상반관계는 코딩 단위(coding unit)로서 (블록보다는)슬라이스 또는 서브-슬라이스를 이용함으로써 제어가능하다.
도 3은 몇몇 실시예에 따른 데이터 압축 방법의 흐름도를 도시한다. 단계(300)에서, 비디오와 같은 데이터가 8×8 블록과 같은 블록들로 분할되며, 예를 들어, 비디오의 각 프레임은 8×8 블록으로 분할된다. 단계(302)에서, 모드 판정이 이루어진다. 이미지의 블록이 자연 이미지 또는 컴퓨터 생성된 이미지인지를 판정한다. 모드(자연 또는 그래픽)는 인코딩되는 블록에 대한 두 코딩 모드의 성능에 기반하여 판정된다. 이런 판정 시에 복잡성이 매우 낮은 측도(measure)가 이용된다. 단계(304)에서, 블록이 자연 이미지인 것으로 판정되면, 자연 이미지 코딩 처리가 발생한다. 자연 이미지 코딩 모드인 경우, 블록에 대해 2D 이산 코사인 변환(DCT)(또는 다른 스펙트럼 변환)을 적용시킨다. 최상위 비트-평면(MSB)부터 최하위 비트-평면(LSB)까지 최종 생성된 변환 계수들을 코딩하여 최종 생성된 비트스트림을 임베딩시킨다. 이것은 낮은 복잡성의 확장가능한 코딩을 제공한다. 이것은 또한, 서로 다른 비트-평면에서 동일하지 않은 에러 보호를 적용시키는 것이 가능하다. 단계(306)에서, 블록이 컴퓨터 생성된 이미지인 것으로 판정되면, 그래픽 코딩 처리가 발생한다. 그래픽 코딩 모드인 경우, 블록에 대해 변환을 수행하지 않는다. 픽셀들은 MSB부터 LSB까지 코딩된다. 단계(308)에서, 코딩된 비트스트림은 포스트-인코딩 버퍼에 저장된다. 단계(310)에서, 프레이밍이 발생한다. 프레이밍은 포스트-인코딩 버퍼로부터 가용 채널 대역폭에 기초한 각 블록에 대한 추출 정보를 포함한다. 각 블록의 모드 정보가 전송되지만, 나머지 비트들은 폐기된다. 단계(312)에서, 추출 정보 및 모드 정보가 물리 계층으로 보내진다.
도 4는 몇몇 실시예에 따른 이중-모드 압축 방법을 구현하도록 구성된 예시적인 컴퓨팅 장치(400)의 블록도를 도시한다. 컴퓨팅 장치(400)는 이미지 및 비디오 등의 정보를 획득하고, 저장하고, 전달하고/하거나 표시하는데 사용될 수 있다. 예를 들어, 컴퓨팅 장치(400)는 비디오를 획득하여 저장할 수 있다. 비디오를 획득하는 동안이나 그 후에, 또는 컴퓨팅 장치(400)로부터 다른 장치에 비디오를 전달할 때 압축 방법을 이용할 수 있다. 일반적으로, 컴퓨팅 장치(400)를 구현하기에 적합한 하드웨어 구조는 네트워크 인터페이스(402), 메모리(404), 프로세서(406), I/O 장치(408), 버스(410) 및 저장 장치(412)를 포함한다. 프로세서에 대한 선택은 충분한 속도를 갖는 적합한 프로세서를 선택하기만 하면 중요하지 않다. 메모리(404)는 당 분야에서 알려진 통상적인 임의의 컴퓨터 메모리일 수 있다. 저장 장치(412)는 하드 드라이브, CDROM, CDRW, DVD, DVDRW, 플래시 메모리 카드 또는 기타 임의 저장 장치를 포함할 수 있다. 컴퓨팅 장치(400)는 하나 이상의 네트워크 인터페이스(402)를 포함할 수 있다. 네트워크 인터페이스의 일례로는, 이더넷 또는 다른 유형의 LAN에 연결된 네트워크 카드가 포함된다. I/O 장치(들)(408)는 이하의 것들: 키보드, 마우스, 모니터, 디스플레이, 프린터, 모뎀, 터치스크린, 버튼 인터페이스 및 기타 장치 중 하나 이상을 포함할 수 있다. 압축 방법을 수행하는데 이용되는 압축 애플리케이션(들)(430)은 저장 장치(412) 및 메모리(404)에 저장될 가능성 있고, 애플리케이션들이 전형적으로 처리되는 바와 같이 처리된다. 도 4에 도시된 컴포넌트들 중 얼마간은 컴퓨팅 장치(400)에 포함될 수 있다. 몇몇 실시예에서, 압축 하드웨어(420)가 포함된다. 도 4의 컴퓨팅 장치(400)가 압축을 위한 애플리케이션(430) 및 하드웨어(420)를 포함하지만, 압축 방법은 하드웨어, 펌웨어, 소프트웨어 또는 그들의 임의 결합으로 컴퓨팅 장치 상에서 구현될 수 있다. 예를 들어, 몇몇 실시예에서, 압축 애플리케이션(430)은 메모리에서 프로그래밍되고, 프로세서를 이용하여 실행된다. 다른 예에서, 몇몇 실시예에서는, 압축 하드웨어(420)는 압축 방법을 구현하도록 구체적으로 설계된 게이트들을 포함한 프로그래밍된 하드웨어 로직(logic)이다.
몇몇 실시예에서, 압축 애플리케이션(들)(430)은 여러 개의 애플리케이션 및/또는 모듈들을 포함한다. 본원에 개시된 바와 같이, 모드 판정 모듈, 자연 이미지 코딩 모듈, 그래픽 코딩 모듈 및 프레이밍 모듈과 같은 모듈들은 압축을 위해 사용될 수 있다. 몇몇 실시예에서, 모듈들은 또한 하나 이상의 서브-모듈들을 포함한다. 몇몇 실시예에서는, 더 적거나 추가된 모듈을 포함할 수 있다.
적합한 컴퓨팅 장치의 예로는, 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드형 컴퓨터, 개인 휴대 단말기(PDA), 셀룰러/모바일 폰, 스마트 어플라이언스(smart appliance), 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®/iPhone, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템 또는 기타 임의 적합한 컴퓨팅 장치가 포함된다.
도 5는 몇몇 실시예에 따른 장치들(500)의 네트워크를 도시한 것이다. 장치들(500)의 네트워크는 네트워크(502)에 결합된 하나 이상의 장치(504)를 포함한다. 네트워크(502)는 인터넷 또는 근거리 통신망(LAN) 등의 임의 네트워크(들)일 수 있다. 장치들(504)은 본원에 개시된 컴퓨팅 장치와 같은 임의 장치들일 수 있다. 몇몇 실시예에서, 장치들(504)은 직접 결합된다. 장치들(504)은 본원에 개시된 압축 구현을 이용하여 압축된 HD 비디오를 전송할 수 있다. 예를 들어, 인코더를 갖는 서버(504)는 본원에 개시된 HD 비디오를 저장하고 압축한 후, 압축된 데이터를 디코더를 갖는 이동 장치(504)에 전송하여 사용자가 비디오와 같은 압축된 데이터를 볼 수 있게 한다. 더 적거나 추가된 장치들이 포함될 수 있다.
압축 방법을 이용하기 위해, 사용자는 예를 들어, 디지털 캠코더 상에서 비디오/이미지를 획득하고, 비디오를 획득하는 동안이나 그 후, 또는 비디오를 컴퓨터와 같은 다른 장치에 전송할 때, 압축 방법은 비디오의 각 이미지를 자동으로 압축시킴으로써, 비디오는 고품질의 비디오를 유지하도록 적절하게 압축된다. 압축 방법은 사용자 개입 없이 자동으로 발생한다.
동작 시에, 본원에 개시된 압축 방법은 몇몇 실시예에서 낮은 하드웨어 비용 (예를 들어, 많은 논리 게이트를 필요로 하지 않음), 낮은 복잡성, 낮은 지연, 매우 높은 시각 품질로 압축을 제공하며, 인코딩을 위해 다른 블록 또는 프레임에 좌우되지 않는다. 이 압축 방법은 무선 고해상도 (Wireless HD)를 비롯하여 어떠한 구현에도 이용될 수 있지만, 이것에만 제한되는 것은 아니다.
본원에 개시된 이미지 압축 방법은 비디오 및/또는 이미지에 사용될 수 있다.
고해상도 비디오는 HDCAM, HDCAM-SR, DVCPRO HD, D5 HD, XDCAM HD, HDV 및 AVCHD를 포함한 어떠한 포맷으로도 될 수 있지만, 이들에만 제한되는 것은 아니다.
신뢰성 있는 실시간 전송을 위한 이미지 및 비디오 이중-모드 압축의 몇몇 실시예
1. 장치 내 제어기에서 프로그래밍되는 압축 방법으로서,
a. 이미지를 하나 이상의 블록으로 분할하는 단계;
b. 상기 이미지의 블록이 자연 이미지 또는 컴퓨터 생성된 이미지로부터 나온 것인지를 판단하는 단계;
c. 상기 블록이 자연 이미지로부터 나온 것이면, 상기 블록에 대해 자연 이미지 코딩을 적용하여, 코딩된 비트스트림을 생성하는 단계; 및
d. 상기 블록이 컴퓨터 생성된 이미지로부터 나온 것이면, 상기 블록에 대해 그래픽 코딩을 적용하여 상기 코딩된 비트스트림을 생성하는 단계
를 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
2. 제1 조항에 있어서, 상기 자연 이미지 코딩은
a. 상기 블록에 스펙트럼 변환을 적용하는 단계; 및
b. 최상위 비트 평면(MSB)부터 최하위 비트 평면(LSB)까지 최종 생성된 변환 계수들을 코딩하여 최종 생성된 비트스트림을 임베딩하는 단계
를 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
3. 제1 조항에 있어서, 상기 그래픽 코딩 모드는
a. 최상위 비트 평면(MSB)부터 최하위 비트 평면(LSB)까지 상기 블록 내의 픽셀들을 코딩하는 단계; 및
b. 상기 블록에 대해 변환을 수행하지 않는 단계를 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
4. 제1 조항에 있어서, 서로 다른 비트 평면에서 동일하지 않은 에러 보호를 적용하는 단계를 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
5. 제1 조항에 있어서, 상기 모드를 판단하는 단계는 인코딩되는 상기 블록에 대한 두 코딩 모드의 성능에 기초하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
6. 제1 조항에 있어서, 상기 코딩된 비트스트림을 포스트-인코딩 버퍼에 저장하는 단계를 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
7. 제6 조항에 있어서, 가용 채널 대역폭에 기초하여 상기 포스트-인코딩 버퍼로부터 각 블록에 대한 정보를 추출해 내고, 상기 블록에 대한 모드 정보를 전송하고, 나머지 비트들은 폐기시키는 단계를 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
8. 제7 조항에 있어서, 추출된 상기 정보 및 상기 모드 정보를 물리 계층에 전송하는 단계를 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
9. 제1 조항에 있어서, 상기 제어기는 프로그래밍된 컴퓨터 판독가능 매체 및 특수 용도의 회로로 이루어진 그룹에서 선택되는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
10. 제1 조항에 있어서, 블록들 간에 비트를 공유하는 단계를 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
11. 제1 조항에 있어서, 상기 장치는 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드형 컴퓨터, 개인 휴대 단말기(PDA), 셀룰러/모바일 폰, 스마트 어플라이언스(smart appliance), 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPhone, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹에서 선택되는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
12. 장치 내 제어기에서 프로그래밍되는 압축 시스템으로서, 상기 시스템은
a. 이미지의 블록이 자연 이미지 또는 컴퓨터 생성된 이미지로부터 나온 것인지를 판단하는 모드 판단 모듈;
b. 상기 블록이 자연 이미지로부터 나온 것이면, 상기 블록에 자연 이미지 코딩을 적용하여 코딩된 비트스트림을 생성하는 자연 이미지 코딩 모듈; 및
c. 상기 블록이 컴퓨터 생성된 이미지로부터 나온 것이면 상기 블록에 그래픽 코딩을 적용하여 상기 코딩된 비트스트림을 생성하는 그래픽 코딩 모듈
을 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
13. 제12 조항에 있어서, 이미지를 하나 이상의 블록으로 분할하는 프리-인코딩 버퍼를 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
14. 제12 조항에 있어서, 상기 자연 이미지 코딩은
a. 상기 블록에 스펙트럼 변환을 적용하고,
b. 최종 생성된 비트스트림이 임베딩되도록 최상위 비트 평면(MSB)부터 최하위 비트 평면(LSB)까지 최종 생성된 변환 계수들을 코딩하는 것을 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
15. 제12 조항에 있어서, 상기 그래픽 코딩 모드는
a. 최상위 비트 평면(MSB)부터 최하위 비트 평면(LSB)까지 상기 블록 내 픽셀들을 코딩하고,
b. 상기 블록에 대해 변환을 수행하지 않는 것을 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
16. 제12 조항에 있어서, 상기 모드 판단 모듈은 인코딩되는 상기 블록에 대한 두 코딩 모드의 성능에 기초하여 상기 모드를 판단하는 것인, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
17. 제12 조항에 있어서, 상기 코딩된 비트스트림을 저장하는 포스트-인코딩 버퍼를 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
18. 제17 조항에 있어서, 가용 채널 대역폭에 기초하여 상기 포스트-인코딩 버퍼로부터 각 블록에 대한 정보를 추출해 내고, 상기 블록에 대한 모드 정보를 전송하고, 나머지 비트들은 폐기시키는 프레이밍 모듈을 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
19. 제18 조항에 있어서, 상기 프레이밍 모듈은 추출된 상기 정보 및 상기 모드 정보를 물리 계층에 전송하는 것인, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
20. 제12 조항에 있어서, 상기 제어기는 프로그래밍된 컴퓨터 판독가능 매체 및 특수 용도의 회로로 이루어진 그룹에서 선택되는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
21. 제12 조항에 있어서, 상기 장치는 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드형 컴퓨터, 개인 휴대 단말기(PDA), 셀룰러/모바일 폰, 스마트 어플라이언스(smart appliance), 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPhone, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹에서 선택되는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
22. 카메라 장치로서,
a. 비디오를 획득하는 비디오 획득 컴포넌트;
b. 애플리케이션을 저장하는 메모리로서, 상기 애플리케이션은
i. 이미지를 하나 이상의 블록으로 분할하고;
ii. 상기 이미지의 블록이 자연 이미지 또는 컴퓨터 생성된 이미지로부터 나온 것인지를 판단하고;
iii. 상기 블록이 자연 이미지로부터 나온 것이면, 상기 블록에 대해 자연 이미지 코딩을 적용하여, 코딩된 비트스트림을 생성하고;
iv. 상기 블록이 컴퓨터 생성된 이미지로부터 나온 것이면, 상기 블록에 대해 그래픽 코딩을 적용하여 상기 코딩된 비트스트림을 생성하는 것인, 메모리; 및
c. 상기 메모리에 결합되어 상기 애플리케이션을 처리하도록 구성된 프로세싱 컴포넌트
를 포함하는, 카메라 장치.
23. 장치들의 네트워크로서,
a. 네트워크;
b. 고해상도 비디오를 저장하고 상기 고해상도 비디오의 압축된 버전을 상기 네트워크를 통해 전달하는 서버 장치로서, 상기 고해상도 비디오의 압축된 버전은,
i. 상기 비디오의 각 이미지를 하나 이상의 블록으로 분할하고;
ii. 상기 이미지의 블록이 자연 이미지 또는 컴퓨터 생성된 이미지로부터 나온 것인지를 판단하고;
iii. 상기 블록이 자연 이미지로부터 나온 것이면, 상기 블록에 대해 자연 이미지 코딩을 적용하여, 코딩된 비트스트림을 생성하고;
iv. 상기 블록이 컴퓨터 생성된 이미지로부터 나온 것이면, 상기 블록에 대해 그래픽 코딩을 적용하여 상기 코딩된 비트스트림을 생성하는 것인, 서버 장치; 및
c. 상기 고해상도 비디오의 압축된 버전을 수신하여 상기 고해상도 비디오의 압축된 버전을 플레이하는 플레이어 장치
를 포함하는, 장치들의 네트워크.
24. 제23 조항에 있어서, 상기 고해상도 비디오의 압축된 버전은 플레이되기 전에 디코딩되는, 장치들의 네트워크.
본 발명은 본 발명의 구성 및 동작 원리의 이해를 용이하게 하도록 상세 설명을 포함한 특정 실시예들에 대해 기술하였다. 본원에서의 특정 실시예들 및 그에 대한 상세 설명에 대한 참조는 첨부된 청구범위의 범위를 제한하려는 의도로 이루어진 것은 아니다. 통상의 기술자라면, 청구범위에서 한정된 본 발명의 사상 및 범주를 벗어나지 않는 한 예시용으로 선택된 실시예에 대한 각종 수정 및 변경이 가능함을 쉽사리 이해할 것이다.

Claims (24)

  1. 장치 내 제어기에서 프로그래밍되는 압축 방법으로서,
    a. 이미지를 하나 이상의 블록으로 분할하는 단계;
    b. 상기 이미지의 블록이 자연 이미지 또는 컴퓨터 생성된 이미지로부터 나온 것인지를 판단하는 단계;
    c. 상기 블록이 자연 이미지로부터 나온 것이면, 상기 블록에 대해 자연 이미지 코딩을 적용하여, 코딩된 비트스트림을 생성하는 단계;
    d. 상기 블록이 컴퓨터 생성된 이미지로부터 나온 것이면, 상기 블록에 대해 그래픽 코딩을 적용하여 상기 코딩된 비트스트림을 생성하는 단계; 및
    e. 블록들 간에 비트를 공유하는 단계 - 비트를 공유하는 상기 블록들은 슬라이스를 포함하고, 에러는 상기 슬라이스를 넘어 전파될 수 없음 - ;
    를 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
  2. 제1항에 있어서, 상기 자연 이미지 코딩은
    a. 상기 블록에 스펙트럼 변환을 적용하는 단계; 및
    b. 최상위 비트 평면(MSB)부터 최하위 비트 평면(LSB)까지 최종 생성된 변환 계수들을 코딩하여 최종 생성된 비트스트림을 임베딩하는 단계
    를 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
  3. 제1항에 있어서, 상기 그래픽 코딩 모드는
    a. 최상위 비트 평면(MSB)부터 최하위 비트 평면(LSB)까지 상기 블록 내의 픽셀들을 코딩하는 단계; 및
    b. 상기 블록에 대해 변환을 수행하지 않는 단계를 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
  4. 제1항에 있어서, 서로 다른 비트 평면에서 동일하지 않은 에러 보호를 적용하는 단계를 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
  5. 제1항에 있어서, 상기 자연 이미지 코딩과 상기 그래픽 코딩 중 어떤 모드인지를 판단하는 단계는 인코딩되는 상기 블록에 대한 두 코딩 모드의 성능에 기초하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
  6. 제1항에 있어서, 상기 코딩된 비트스트림을 포스트-인코딩 버퍼에 저장하는 단계를 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
  7. 제6항에 있어서, 가용 채널 대역폭에 기초하여 상기 포스트-인코딩 버퍼로부터 각 블록에 대한 정보를 추출해 내고, 상기 블록에 대한 모드 정보를 전송하고, 나머지 비트들은 폐기시키는 단계를 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
  8. 제7항에 있어서, 추출된 상기 정보 및 상기 모드 정보를 물리 계층에 전송하는 단계를 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 장치 내 제어기에서 프로그래밍되는 압축 시스템으로서, 상기 시스템은
    a. 이미지의 블록이 자연 이미지 또는 컴퓨터 생성된 이미지로부터 나온 것인지를 판단하는 모드 판단 모듈;
    b. 상기 블록이 자연 이미지로부터 나온 것이면, 상기 블록에 자연 이미지 코딩을 적용하여 코딩된 비트스트림을 생성하는 자연 이미지 코딩 모듈;
    c. 상기 블록이 컴퓨터 생성된 이미지로부터 나온 것이면 상기 블록에 그래픽 코딩을 적용하여 상기 코딩된 비트스트림을 생성하는 그래픽 코딩 모듈; 및
    d. 블록들 간에 비트를 공유하는 비트 공유 모듈 - 비트를 공유하는 상기 블록들은 슬라이스를 포함하고, 에러는 상기 슬라이스를 넘어 전파될 수 없음 - ;
    을 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
  13. 제12항에 있어서, 이미지를 하나 이상의 블록으로 분할하는 프리-인코딩 버퍼를 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
  14. 제12항에 있어서, 상기 자연 이미지 코딩은
    a. 상기 블록에 스펙트럼 변환을 적용하고,
    b. 최종 생성된 비트스트림이 임베딩되도록 최상위 비트 평면(MSB)부터 최하위 비트 평면(LSB)까지 최종 생성된 변환 계수들을 코딩하는 것을 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
  15. 제12항에 있어서, 상기 그래픽 코딩 모드는
    a. 최상위 비트 평면(MSB)부터 최하위 비트 평면(LSB)까지 상기 블록 내 픽셀들을 코딩하고,
    b. 상기 블록에 대해 변환을 수행하지 않는 것을 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
  16. 제12항에 있어서, 상기 모드 판단 모듈은 인코딩되는 상기 블록에 대한 두 코딩 모드의 성능에 기초하여 상기 모드를 판단하는 것인, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
  17. 제12항에 있어서, 상기 코딩된 비트스트림을 저장하는 포스트-인코딩 버퍼 및 가용 채널 대역폭에 기초하여 상기 포스트-인코딩 버퍼로부터 각 블록에 대한 정보를 추출하고, 상기 블록에 대한 모드 정보를 전송하고, 나머지 비트들은 폐기시키는 프레이밍 모듈을 더 포함하는, 장치 내 제어기에서 프로그래밍되는 압축 시스템.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
KR1020117024076A 2009-06-09 2010-06-08 장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템 KR101266667B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US18556009P 2009-06-09 2009-06-09
US61/185,560 2009-06-09
US12/792,408 2010-06-02
US12/792,408 US8964851B2 (en) 2009-06-09 2010-06-02 Dual-mode compression of images and videos for reliable real-time transmission
PCT/US2010/037824 WO2010144488A2 (en) 2009-06-09 2010-06-08 Dual-mode compression of images and videos for reliable real-time transmission

Publications (2)

Publication Number Publication Date
KR20120013321A KR20120013321A (ko) 2012-02-14
KR101266667B1 true KR101266667B1 (ko) 2013-05-31

Family

ID=43299827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117024076A KR101266667B1 (ko) 2009-06-09 2010-06-08 장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템

Country Status (6)

Country Link
US (1) US8964851B2 (ko)
JP (1) JP2012523789A (ko)
KR (1) KR101266667B1 (ko)
CN (1) CN102396225B (ko)
BR (1) BRPI1014220A2 (ko)
WO (1) WO2010144488A2 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710622B1 (ko) * 2009-07-28 2017-02-28 삼성전자주식회사 스킵 모드에 따라 영상을 부호화, 복호화하는 방법 및 장치
US8861879B2 (en) * 2009-09-17 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
US9210302B1 (en) 2011-08-10 2015-12-08 Google Inc. System, method and apparatus for multipoint video transmission
US8922671B2 (en) * 2013-03-11 2014-12-30 Sony Corporation Method of compression of images using a natural mode and a graphics mode
TWI514854B (zh) * 2013-03-29 2015-12-21 Univ Nat Yunlin Sci & Tech Establishment of Adjustable Block - based Background Model and Real - time Image Object Detection
US9420295B2 (en) 2014-01-10 2016-08-16 Sony Corporation Joint mode decision with shared bit-budget condition
FR3038180A1 (fr) * 2015-06-26 2016-12-30 Orange Adaptation d'un profil de transmission d'une communication web temps reel
US9609275B2 (en) 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
CN111212289A (zh) * 2020-01-13 2020-05-29 华侨大学 基于dct能量分布与梯度特征的屏幕内容视频快速编码方法
WO2023224300A1 (ko) * 2022-05-16 2023-11-23 현대자동차주식회사 예측-변환 생략을 이용하는 비디오 코딩을 위한 방법 및 장치
CN116347080B (zh) * 2023-03-27 2023-10-31 苏州利博特信息科技有限公司 基于下采样处理的智能算法应用系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100616258B1 (ko) 1996-05-06 2007-04-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 그래픽이미지와비디오이미지동시표시방법및장치
KR100819597B1 (ko) 2003-12-19 2008-04-07 텔레폰악티에볼라겟엘엠에릭슨(펍) 멀티모드 알파 이미지 처리 방법 및 장치

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4546385A (en) 1983-06-30 1985-10-08 International Business Machines Corporation Data compression method for graphics images
JPH06133284A (ja) 1992-10-15 1994-05-13 Sony Corp エンコーダ及びデコーダ
US5850261A (en) 1992-10-15 1998-12-15 Sony Corporation Efficient variable length encoder and decoder
GB9422738D0 (en) 1994-11-10 1995-01-04 Univ Western Ontario Context-based, adaptive, progressive, lossless compression of still continuous -tone images
US5724100A (en) 1996-02-26 1998-03-03 David Sarnoff Research Center, Inc. Method and apparatus for detecting scene-cuts in a block-based video coding system
US6052205A (en) 1997-02-14 2000-04-18 Ricoh Company, Ltd. Image data encoding/decoding method and apparatus configured to compress both natural gray scale images and binary images
JP3284932B2 (ja) 1997-08-05 2002-05-27 松下電器産業株式会社 画像処理装置
US6091777A (en) 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
US6272180B1 (en) 1997-11-21 2001-08-07 Sharp Laboratories Of America, Inc. Compression and decompression of reference frames in a video decoder
EP0940994B1 (en) 1998-03-06 2014-04-16 Canon Kabushiki Kaisha Image processing apparatus and method and storage medium storing steps realizing such method
US6256415B1 (en) * 1998-06-10 2001-07-03 Seiko Epson Corporation Two row buffer image compression (TROBIC)
CA2261833A1 (en) 1999-02-15 2000-08-15 Xue Dong Yang Method and system of region-based image coding with dynamic streaming of code blocks
CN1138392C (zh) 1999-09-10 2004-02-11 信息产业部武汉邮电科学研究院 一种千兆以太网与波分复用体系融合的适配方法
FI116819B (fi) 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US6567081B1 (en) 2000-01-21 2003-05-20 Microsoft Corporation Methods and arrangements for compressing image-based rendering (IBR) data using alignment and 3D wavelet transform techniques
US6549674B1 (en) 2000-10-12 2003-04-15 Picsurf, Inc. Image compression based on tiled wavelet-like transform using edge and non-edge filters
US6985632B2 (en) 2000-04-17 2006-01-10 Canon Kabushiki Kaisha Image processing system, image processing apparatus, and image processing method
US6654503B1 (en) 2000-04-28 2003-11-25 Sun Microsystems, Inc. Block-based, adaptive, lossless image coder
US6501397B1 (en) 2000-05-25 2002-12-31 Koninklijke Philips Electronics N.V. Bit-plane dependent signal compression
US7085424B2 (en) 2000-06-06 2006-08-01 Kobushiki Kaisha Office Noa Method and system for compressing motion image information
US6898323B2 (en) 2001-02-15 2005-05-24 Ricoh Company, Ltd. Memory usage scheme for performing wavelet processing
KR100322485B1 (ko) * 2001-07-05 2002-02-07 이동욱 다중채널 영상신호 부호화 장치 및 그 방법
JP2003032496A (ja) 2001-07-12 2003-01-31 Sanyo Electric Co Ltd 画像符号化装置および方法
US7194140B2 (en) 2001-11-05 2007-03-20 Canon Kabushiki Kaisha Image processing apparatus and method which compresses image data of each region using a selected encoding method
JP4033836B2 (ja) 2002-02-01 2008-01-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 可変長カラー・コードを用いる、パレット化されたカラー画像の圧縮
US7117423B2 (en) * 2002-04-24 2006-10-03 Georgia Tech Research Corp. Methods and systems for multiple substream unequal error protection and error concealment
WO2003092296A1 (en) * 2002-04-26 2003-11-06 Nec Corporation Moving picture data code conversion/transmission method and device, code conversion/reception method and device
JP4003628B2 (ja) 2002-12-02 2007-11-07 ソニー株式会社 画像符号化装置及び方法、並びにプログラム
JP2004248152A (ja) 2003-02-17 2004-09-02 Ricoh Co Ltd 画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法、プログラム、及び記録媒体
US7512278B2 (en) * 2003-04-07 2009-03-31 Modulus Video Inc. Scalable array encoding system and method
JP4081758B2 (ja) 2003-05-08 2008-04-30 ソニー株式会社 処理ビットモデルブロック、処理ビットモデル化方法、符号化装置、シンボルモデルブロック、シンボルモデル化方法、復号化装置、及び画像処理装置
US20080159640A1 (en) 2003-11-06 2008-07-03 Chaoqiang Liu Document Image Encoding Decoding
DE602004017689D1 (de) 2003-11-21 2008-12-24 Samsung Electronics Co Ltd Vorrichtung und Methode zur Erzeugung von kodierten Blockanordnungen für ein Alpha-Kanalbild sowie Alpha-Kanalkodierungs und -dekodierungsvorrichtung und -methode.
KR100654431B1 (ko) 2004-03-08 2006-12-06 삼성전자주식회사 가변 ｇｏｐ 사이즈를 갖는 스케일러블 비디오 코딩방법및 이를 위한 스케일러블 비디오 인코더
US20060044576A1 (en) 2004-07-30 2006-03-02 Kabushiki Kaisha Toshiba Apparatus for image processing
US7689051B2 (en) 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
US20050276493A1 (en) * 2004-06-01 2005-12-15 Jun Xin Selecting macroblock coding modes for video encoding
US20050265459A1 (en) * 2004-06-01 2005-12-01 Bhattacharjya Anoop K Fixed budget frame buffer compression using block-adaptive spatio-temporal dispersed dither
US20060133494A1 (en) * 2004-12-17 2006-06-22 Rahul Saxena Image decoder with context-based parameter buffer
EP1872590B1 (en) 2005-04-19 2014-10-22 Telecom Italia S.p.A. Method and apparatus for digital image coding
US7505624B2 (en) 2005-05-27 2009-03-17 Ati Technologies Ulc Block-based image compression method and apparatus
US20070030894A1 (en) 2005-08-03 2007-02-08 Nokia Corporation Method, device, and module for improved encoding mode control in video encoding
US20070110151A1 (en) 2005-11-14 2007-05-17 Ess Technology, Inc. System and method for video frame buffer compression
US9544602B2 (en) * 2005-12-30 2017-01-10 Sharp Laboratories Of America, Inc. Wireless video transmission system
JP4745865B2 (ja) 2006-02-28 2011-08-10 富士通セミコンダクター株式会社 符号化装置および方法
JP2008048240A (ja) 2006-08-18 2008-02-28 Nec Electronics Corp ビットプレーン復号装置およびビットプレーン復号方法
US8170101B2 (en) 2006-10-27 2012-05-01 Sharp Laboratories Of America, Inc. Methods and systems for low-complexity data compression
JP4825644B2 (ja) 2006-11-14 2011-11-30 ルネサスエレクトロニクス株式会社 画像復号装置、画像符号化装置、およびシステムｌｓｉ
US8107743B2 (en) 2007-03-30 2012-01-31 Sharp Kabushiki Kaisha Image processing device, image processing method, and storage medium
EP1978749B1 (en) 2007-04-06 2017-08-30 Canon Kabushiki Kaisha Compression of multidimensional look-up tables for colour space conversion
US8698917B2 (en) 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
US20090067495A1 (en) 2007-09-11 2009-03-12 The Hong Kong University Of Science And Technology Rate distortion optimization for inter mode generation for error resilient video coding
CN100576921C (zh) 2008-01-14 2009-12-30 浙江大学 基于块分类的混合图像压缩方法
EP2081155B1 (en) 2008-01-21 2011-11-16 Telefonaktiebolaget LM Ericsson (publ) Prediction-based image processing
US8031959B2 (en) 2008-02-22 2011-10-04 Himax Technologies Limited Compression system for a bit-plane
JP5359302B2 (ja) * 2008-03-18 2013-12-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8275208B2 (en) 2008-07-02 2012-09-25 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using image separation based on bit location
US8285062B2 (en) 2009-08-05 2012-10-09 Sony Corporation Method for improving the performance of embedded graphics coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100616258B1 (ko) 1996-05-06 2007-04-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 그래픽이미지와비디오이미지동시표시방법및장치
KR100819597B1 (ko) 2003-12-19 2008-04-07 텔레폰악티에볼라겟엘엠에릭슨(펍) 멀티모드 알파 이미지 처리 방법 및 장치

Also Published As

Publication number Publication date
US8964851B2 (en) 2015-02-24
KR20120013321A (ko) 2012-02-14
US20100309984A1 (en) 2010-12-09
CN102396225B (zh) 2015-06-24
BRPI1014220A2 (pt) 2017-05-16
JP2012523789A (ja) 2012-10-04
WO2010144488A3 (en) 2011-02-10
WO2010144488A2 (en) 2010-12-16
CN102396225A (zh) 2012-03-28

Similar Documents

Publication Publication Date Title
KR101266667B1 (ko) 장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템
KR102425410B1 (ko) 손실성 무선 링크에 대한 비디오 코덱 데이터 복원 기술
CN106416251B (zh) 基于感知质量的可缩放视频编码速率适配
CN106713915B (zh) 对视频数据进行编码的方法
CN102792689B (zh) 能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器
US20110274180A1 (en) Method and apparatus for transmitting and receiving layered coded video
CN107205156B (zh) 通过缩放的运动矢量预测
TWI487366B (zh) 用於無線ｈｄ１.１規範中的圖形模式壓縮的位元流語法
CN109922340B (zh) 图像编解码方法、装置、系统及存储介质
US11323706B2 (en) Method and apparatus for aspect-ratio dependent filtering for intra-prediction
Liu et al. Hybrid lossless-lossy compression for real-time depth-sensor streams in 3D telepresence applications
CN103918258A (zh) 减少视频编码中的数据量
US9681129B2 (en) Scalable video encoding using a hierarchical epitome
CN109891882A (zh) 一种基于模板匹配的编解码方法及装置
JP2021527362A (ja) イントラ予測のための方法及び装置
KR102114509B1 (ko) 수신 장치, 송신 장치 및 화상 송신 방법
US20210211658A1 (en) Method and apparatus for intra reference sample interpolation filter switching
CN107945108A (zh) 视频处理方法及装置
JP2018525901A (ja) ディスプレイストリーム圧縮における変換モード用ブロックサイズの変更
US8929446B1 (en) Combiner processing system and method for support layer processing in a bit-rate reduction system
WO2024078403A1 (zh) 图像处理方法、装置及设备
US20130287100A1 (en) Mechanism for facilitating cost-efficient and low-latency encoding of video streams
US20130215965A1 (en) Video encoding and decoding using an epitome
CN117676266A (zh) 视频流的处理方法及装置、存储介质、电子设备
CN115699745A (zh) 图像编解码方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160427

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170428

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190426

Year of fee payment: 7