KR102473678B1 - 비디오 송신 방법 및 데이터 송신기 - Google Patents

비디오 송신 방법 및 데이터 송신기 Download PDF

Info

Publication number
KR102473678B1
KR102473678B1 KR1020170117244A KR20170117244A KR102473678B1 KR 102473678 B1 KR102473678 B1 KR 102473678B1 KR 1020170117244 A KR1020170117244 A KR 1020170117244A KR 20170117244 A KR20170117244 A KR 20170117244A KR 102473678 B1 KR102473678 B1 KR 102473678B1
Authority
KR
South Korea
Prior art keywords
data
transmitter
receiver
video
frame
Prior art date
Application number
KR1020170117244A
Other languages
English (en)
Other versions
KR20180035137A (ko
Inventor
아민 모바셔
잘릴 카말리
그레고리 쿡
이든 하가니
데이비드 자모라
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20180035137A publication Critical patent/KR20180035137A/ko
Application granted granted Critical
Publication of KR102473678B1 publication Critical patent/KR102473678B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0002—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
    • H04L1/0003—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate by switching between different modulation schemes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0006—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format
    • H04L1/0007—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format by modifying the frame length
    • H04L1/0008—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format by modifying the frame length by supplementing frame payload, e.g. with padding bits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H04L1/0017—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0023—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the signalling
    • H04L1/0025—Transmission of mode-switching indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/80—Actions related to the user profile or the type of traffic
    • H04L47/805—QOS or priority aware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/324—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the data link layer [OSI layer 2], e.g. HDLC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions

Abstract

무선 통신 채널 상에서 수신기에 디스플레이 패널용 데이터를 송신하기 위한 송신기는 데이터 소스로부터 한 프레임의 비디오 데이터를 수신하고, 상기 한 프레임의 비디오 데이터에 대응하는 비트들을 복수의 중요도 레벨에 각각 대응하는 복수의 그룹으로 그룹화하고, 상기 복수의 그룹을 중요도 순서로 재구성하여, 상기 복수의 그룹 중 첫 번째가 되도록 배열되어 있으며 최고 중요도 레벨을 갖는 복수의 패킷 헤더에 대응하는 그룹을 갖는, 재구성된 데이터 프레임을 생성하고, 상기 복수의 패킷 헤더의 각각의 패킷 헤더에 대응하는 데이터 비트의 길이를 나타내는 값을 각각의 패킷 헤더 앞에 삽입하고, 상기 디스플레이 패널 상의 표시를 위해 상기 한 프레임의 비디오 데이터에 대응하는 상기 비트들을 상기 수신기에 송신하여 상기 복수의 그룹 중의 각각의 그룹이 대응하는 중요도 레벨에 기초한 상이한 보호 기술에 따라 송신되도록 구성되어 있다.

Description

비디오 송신 방법 및 데이터 송신기{METHOD FOR TRANSMITTING VIDEO AND DATA TRANSMITTER}
본 발명의 실시예들은 전자 데이터 통신 시스템 및 방법에 관한 것이다.
본 출원은 2016년 9월 26일 미국 특허청에 출원되고 발명의 명칭이 "A SYSTEM AND METHOD FOR CROSS LAYER IMAGE OPTIMIZATION(CLIO) FOR WIRELESS VIDEO TRANSMISSION OVER MULTI-GIGABIT CHANNELS"인 미국 가특허 출원 번호 제62/400,042호를 우선권으로 주장하며, 이 문서의 전체 내용은 인용에 의해 본원에 포함된다.
무선을 통한 비디오 송신에 대한 요구는 새로운 애플리케이션 및 이용사례의 출현으로 인해 증가하고 있다. 고해상도 디스플레이 스크린의 기술적 진보 및 고품질 비디오(HD, FHD, UHD 등)의 출현은, 최근 몇 년 동안 고 쓰루풋 송신들에 대한 대역폭 요건들을 증가시켰다. 예를 들어, 비압축(uncompressed) UHD(Ultra High Definition) 비디오는 12Gbps의 대역폭을 요구한다.
높은 데이터 레이트 제약들 외에도, 무선 비디오 송신은 또한 시간/지연에 민감하다. 초당 60 프레임을 제공하는 경우, 프레임 간 시간(inter-frame time)은 1/60 = 16.6 ms이다. 따라서, 16.6 ms 내에 수신되지 않은 프레임의 임의의 부분은 디스플레이가 다음 프레임의 렌더링을 시작할 수 있도록 드롭(drop)되어야 하며 데이터 재송신은 통상적으로 실행 가능한 옵션이 아니다. 높은 대역폭 및 레이턴시 요건 외에도, 무선 채널들은 간섭을 받기 쉬우며, 이는 무선 채널의 품질이 시간이 지남에 따라 예측 불가능하게 변동되게 할 수 있다. 따라서, 무선 채널을 통해 고품질의 비디오 데이터를 전송하기 위해 보장된 서비스 품질(QoS)을 제공하는 것이 어려울 수 있다.
이 배경 섹션에서 설명된 위의 정보는 단지, 설명된 기술의 배경에 대한 이해를 높이기 위한 것일 뿐이고, 이에 따라 그것은 당업자에게 이미 알려진 종래기술을 구성하지 않는 정보를 포함할 수 있다.
본 발명의 하나 이상의 실시예들은 전자 데이터 통신을 위한 시스템 및 방법을 제공하고자 한다.
일부 예시적인 실시예에 따르면, 무선 통신 채널을 통하여 수신기와 전자 통신하는 송신기가 디스플레이 패널용 비디오를 송신하는 방법으로서, 데이터 소스로부터의 데이터 신호를 상기 송신기가 수신하는 단계, 상기 수신기로부터의 리턴 신호(return signal)를 상기 송신기가 수신하는 단계, 채널 품질, 비디오 품질, 코덱 요건 또는 데이터 레이트 요건 중 하나 이상에 기초하여, 상기 데이터 신호를 상기 수신기에 송신하기 위한 하나 이상의 파라미터를 각각 포함하는 복수의 프로파일 중에서 하나의 프로파일을 상기 송신기가 선택하는 단계 - 상기 복수의 프로파일은 비압축 비디오 데이터의 송신에 대응하는 하나 이상의 프로파일 및 압축 비디오 데이터의 송신에 대응하는 하나 이상의 프로파일을 포함함 -, 그리고 상기 디스플레이 패널 상의 디스플레이를 위해 선택된 프로파일에 따라 상기 송신기가 상기 데이터 신호를 상기 수신기에 송신하는 단계를 포함한다.
일부 실시예에 따르면, 상기 송신기에 의해 수신된 데이터 신호는 비디오 데이터 신호이다.
일부 실시예에 따르면, 리턴 신호에 기초하여 복수의 프로파일 중에서 프로파일을 선택하는 단계를 더 포함하고, 리턴 신호는 상기 수신기에 의해 측정된 무선 통신 채널의 품질의 표시자를 포함한다.
일부 실시예에 따르면, 리턴 신호에 기초하여 복수의 프로파일 중에서 프로파일을 선택하는 단계를 더 포함하고, 상기 리턴 신호는 상기 수신기에 의해 측정된 시각 품질의 표시자를 포함한다.
일부 실시예에 따르면, 상기 리턴 신호에 기초하여, 상기 수신기에 대응하는 표시 장치를 식별하는 단계, 및 상기 송신기에 의해, 상기 수신기에 대응하는 표시 장치에 기초하여 상기 프로파일을 선택하는 단계를 더 포함한다.
일부 실시예에 따르면, 상기 복수의 프로파일은 제1 내지 제8 프로파일 중 하나 이상을 포함하며, 상기 제1 프로파일은, 일군의 픽셀 중 임의의 픽셀로부터의 픽셀 데이터가 송신 이후에 상기 수신기에서 손실되는 경우 상기 수신기가 주변 픽셀의 값을 평균함으로써 손실된 픽셀 데이터를 재계산할 수 있도록, 채널 품질이 제 1 임계 레벨을 초과하는 비압축 비디오 데이터를 송신하기 위한 파라미터를 정의하고, 상기 제2 프로파일은, 일군의 픽셀 중 하나의 픽셀로부터의 픽셀 데이터가 상기 수신기에 송신되지 않고 상기 수신기가 주변 픽셀의 값을 평균함으로써 상기 하나의 픽셀로부터의 픽셀 데이터를 재계산할 수 있도록, 채널 품질이 상기 제 1 임계 레벨보다 낮지만 제 2 임계 레벨보다 높은 비압축 비디오 데이터를 송신하기 위한 파라미터를 정의하고, 상기 제3 프로파일은, 패킷 내의 픽셀의 최하위 비트가 상기 수신기에 송신되지 않고 상기 수신기는 상기 최하위 비트를 보상할 수 있도록, 채널 품질이 상기 제 1 임계 레벨 및 상기 제 2 임계 레벨보다 낮지만 제 3 임계 레벨보다 높은 비압축 비디오 데이터를 송신하기 위한 파라미터를 정의하고, 상기 제 4, 제 5, 제 6 및 제 7 프로파일은 복수의 데이터 레이어를 생성하는 레이어-기반 압축 방법을 사용하여 압축된 압축 비디오 데이터를 송신하기 위한 파라미터를 정의하고, 상기 복수의 데이터 레이어는 제 1 압축비를 갖는 최고 레이어(highest layer) 및 상기 최고 레이어 및 임의의 개재 레이어에 추가되는 경우, 상기 제 1 압축비보다 낮은 제 2 압축비를 갖는 데이터를 갖는 최저 레이어를 포함하고, 상기 제 4 프로파일에 따라, 상기 데이터 레이어 각각은 상기 수신기로 송신되고, 상기 제 5 프로파일에 따라, 상기 데이터 레이어의 서브세트는 상기 수신기로 송신되고, 상기 제 6 프로파일에 따라 상기 데이터 레이어 중 단일 데이터 레이어가 상기 수신기로 송신되고, 상기 제 7 프로파일에 따라, 상기 데이터 레이어 중 하나 이상의 데이터 레이어 중 일부만이 상기 수신기로 송신되며, 상기 제8 프로파일은 상기 비디오 데이터를 디스플레이하기 위한 표시 장치에 기초하여 상이한 우선순위 레벨을 갖는 비디오 데이터를 송신하기 위한 파라미터를 정의한다.
일부 실시예에 따르면, 데이터 신호의 헤더 패킷의 비트 선택에 의해 선택된 프로파일에 관한 정보를 상기 송신기가 상기 수신기에 송신하는 단계를 더 포함한다.
일부 실시예에 따르면, 선택된 프로파일에 관한 정보는 선택된 프로파일에 대응하는 압축해제, 리버스 레이어링, 디코딩 또는 에러 정정 정보 중 하나 이상을 포함한다.
본 발명의 일부 예시적인 실시예에 따르면, 무선 통신 채널을 통하여 수신기에 디스플레이 패널에 대한 데이터를 송신하기 위한 송신기로서, 상기 송신기는, 데이터 소스로부터 데이터 신호를 수신하고, 상기 수신기로부터 리턴 신호를 수신하고, 채널 품질, 비디오 품질, 코덱 요건 또는 데이터 레이트 요건 중 하나 이상에 기초하여, 데이터 신호를 상기 수신기에 송신하기 위한 하나 이상의 파라미터를 각각 포함하는 복수의 프로파일 중에서 하나의 프로파일을 선택하며, - 상기 복수의 프로파일은 비압축 비디오 데이터의 송신에 대응하는 하나 이상의 프로파일 및 압축 비디오 데이터의 송신에 대응하는 하나 이상의 프로파일을 포함함 - 디스플레이 패널 상의 디스플레이를 위해, 선택된 프로파일에 따라 상기 수신기에 데이터 신호를 송신한다.
일부 실시예에 따르면, 상기 송신기에 의해 수신된 데이터 신호는 비디오 데이터 신호이다.
일부 실시예에 따르면, 상기 송신기는 상기 리턴 신호에 기초하여 상기 복수의 프로파일 중에서 프로파일을 선택하고, 상기 리턴 신호는 상기 수신기에 의해 측정된 무선 통신 채널의 품질의 표시자를 포함한다.
일부 실시예에 따르면, 상기 송신기는 상기 리턴 신호에 기초하여, 상기 수신기에 대응하는 표시 장치를 식별하고, 상기 수신기에 대응하는 표시 장치에 기초하여 프로파일을 선택한다.
일부 실시예에 따르면, 상기 복수의 프로파일은 제1 내지 제8 프로파일 중 하나 이상을 포함하며, 상기 제1 프로파일은, 일군의 픽셀 중 임의의 픽셀로부터의 픽셀 데이터가 송신 이후에 상기 수신기에서 손실되는 경우, 상기 수신기가 주변 픽셀의 값을 평균함으로써 손실된 픽셀 데이터를 재계산할 수 있도록, 채널 품질이 제 1 임계 레벨을 초과하는 비압축 비디오 데이터를 송신하기 위한 파라미터를 정의하고, 상기 제2 프로파일은, 일군의 픽셀 중 하나의 픽셀로부터의 픽셀 데이터가 상기 수신기에 송신되지 않고 상기 수신기가 주변 픽셀의 값을 평균화함으로써 상기 하나의 픽셀로부터의 픽셀 데이터를 재계산할 수 있도록, 채널 품질이 상기 제 1 임계 레벨보다 낮지만 제 2 임계 레벨보다 높은 비압축 비디오 데이터를 송신하기 위한 파라미터를 정의하고, 상기 제3 프로파일은, 패킷 내의 픽셀의 최하위 비트가 상기 수신기에 송신되지 않고 상기 수신기는 상기 최하위 비트를 보상할 수 있도록, 채널 품질이 상기 제 1 임계 레벨 및 상기 제 2 임계 레벨보다 낮지만 제 3 임계 레벨보다 높은 비압축 비디오 데이터를 송신하기 위한 파라미터를 정의하고, 상기 제 4, 제 5, 제 6 및 제 7 프로파일은 복수의 데이터 레이어를 생성하는 레이어-기반 압축 방법을 사용하여 압축된 압축 비디오 데이터를 송신하기 위한 파라미터를 정의하고, 상기 복수의 데이터 레이어는 제 1 압축비를 갖는 최고 레이어(highest layer) 및 상기 최고 레이어 및 임의의 개재 레이어에 추가되는 경우, 상기 제 1 압축비보다 낮은 제 2 압축비를 갖는 데이터를 갖는 최저 레이어를 포함하고, 상기 제 4 프로파일에 따라, 상기 데이터 레이어 각각은 상기 수신기로 송신되고, 상기 제 5 프로파일에 따라, 상기 데이터 레이어의 서브세트는 상기 수신기로 송신되고, 상기 제 6 프로파일에 따라, 상기 데이터 레이어 중 단일 데이터 레이어가 상기 수신기로 송신되고, 상기 제 7 프로파일에 따라, 상기 데이터 레이어 중 하나 이상의 데이터 레이어 중 일부만이 상기 수신기로 송신되며, 상기 제8 프로파일은 상기 비디오 데이터를 디스플레이하기 위한 표시 장치에 기초하여 상이한 우선순위 레벨을 갖는 비디오 데이터를 송신하기 위한 파라미터를 정의하는 제 8 프로파일 중 하나 이상을 포함한다.
일부 실시예에 따르면, 상기 송신기는 추가로, 데이터 신호의 헤더 패킷의 비트 선택에 의해 선택된 프로파일에 관한 정보를 수신기에 송신하도록 구성되고, 상기 선택된 프로파일에 관한 정보는 선택된 프로파일에 대응하는 압축해제, 리버스 레이어링, 디코딩 또는 에러 정정 정보 중 하나 이상을 포함한다.
본 발명의 일부 실시예에 따르면, 무선 통신 채널을 통하여 수신기와 전자 통신하는 송신기가 디스플레이 패널용 비디오를 송신하는 방법으로서, 데이터 소스로부터의 데이터 신호를 상기 송신기가 수신하는 단계, 상기 수신기로부터의 리턴 신호를 상기 송신기가 수신하는 단계, 상기 데이터 신호를 상기 수신기에 송신하기 위한 하나 이상의 파라미터를 각각 포함하는 복수의 프로파일 중에서 하나의 프로파일을 상기 송신기가 선택하는 단계 - 상기 복수의 프로파일은 비압축 비디오 데이터의 송신에 대응하는 하나 이상의 프로파일 및 압축 비디오 데이터의 송신에 대응하는 하나 이상의 프로파일을 포함함 -, 및 상기 디스플레이 패널 상의 디스플레이를 위해, 선택된 프로파일에 따라 상기 송신기가 상기 수신기에 상기 데이터 신호를 송신하는 단계를 포함한다.
일부 실시예에 따르면, 채널 품질에 기초하여 프로파일을 선택하는 단계를 더 포함한다.
일부 실시예에 따르면, 상기 수신기에서 측정된 비디오 품질에 기초하여 프로파일을 선택하는 단계를 더 포함한다.
일부 실시예에 따르면, 코덱 요건에 기초하여 프로파일을 선택하는 단계를 더 포함한다.
일부 실시예에 따르면, 데이터 레이트 요건에 기초하여 프로파일을 선택하는 단계를 더 포함한다.
일부 실시예에 따르면, 상기 리턴 신호에 기초하여, 상기 수신기에 대응하는 표시 장치를 식별하는 단계; 및 상기 송신기에 의해, 상기 수신기에 대응하는 표시 장치에 기초하여 프로파일을 선택하는 단계를 더 포함한다.
일부 실시예에 따르면, 상기 송신기에 의해, 상기 수신기로부터의 리턴 신호를 모니터링하는 단계; 및 상기 송신기에 의해, 채널 품질 또는 비디오 품질 중 하나 이상의 변화에 기초하여 후속 송신을 위한 다른 프로파일을 선택하는 단계를 더 포함한다.
본 발명의 일부 예시적인 실시예에 따르면, 무선 통신 채널 상에서, 수신기와 전자 통신하는 송신기가 디스플레이 패널용 비디오를 송신하는 방법으로서, 상기 송신기에 의해, 데이터 소스로부터의 한 프레임의 비디오 데이터를 수신하는 단계, 상기 송신기에 의해, 상기 한 프레임의 비디오 데이터에 대응하는 비트들을 복수의 중요도 레벨에 각각 대응하는 복수의 그룹으로 그룹화하는 단계, 상기 송신기에 의해, 상기 복수의 그룹을 중요도 순서로 재구성하여, 상기 복수의 그룹 중 첫 번째가 되도록 배열되어 있으며 최고 중요도 레벨을 갖는 복수의 패킷 헤더에 대응하는 그룹을 갖는, 재구성된 데이터 프레임을 생성하는 단계, 상기 송신기에 의해, 상기 복수의 패킷 헤더의 각각의 패킷 헤더에 대응하는 데이터 비트의 길이를 나타내는 값을 각각의 패킷 헤더 앞에 삽입하는 단계, 및 상기 송신기에 의해, 상기 디스플레이 패널 상의 표시를 위해 상기 한 프레임의 비디오 데이터에 대응하는 상기 비트들을 상기 수신기에 송신하여 상기 복수의 그룹 중의 각각의 그룹이 대응하는 중요도 레벨에 기초한 상이한 보호 기술에 따라 송신되는 단계를 포함한다.
일부 실시예에 따르면, 각각의 그룹은 대응하는 중요도 레벨에 기초하여 상이한 변조 및 코딩 방식(MCS) 값을 갖는다.
일부 실시예에 따르면, 각각의 그룹은 대응하는 중요도 레벨에 기초하여 상이한 순방향 에러 정정 코딩 레이트를 갖는다.
일부 실시예에 따르면, 상기 수신기의 디코더는 상기 한 프레임의 비디오 데이터를 재구성하도록 구성된다.
일부 실시예에 따르면, 상기 한 프레임의 비디오 데이터를 재구성하는 단계는, 상기 복수의 패킷 헤더의 각각의 패킷 헤더를 그의 원래의 상대적 위치로 이동시키는 단계를 포함한다.
일부 실시예에 따르면, 상기 한 프레임의 비디오 데이터를 재구성하는 단계는, 상기 데이터 비트의 길이를 나타내는 상기 값을 제거하는 단계를 포함한다.
일부 실시예에 따르면, 상기 송신기에 의해, 상기 수신기로부터의 리턴 신호를 모니터링하는 단계, 및 상기 송신기에 의해, 후속 송신을 위해 상기 상이한 보호 기술을 조정하는 단계를 더 포함한다.
일부 실시예에 따르면, 상기 송신기에 의해, 상기 수신기에 대응하는 표시 장치의 타입에 따라 상기 상이한 보호 기술을 선택하는 단계를 더 포함한다.
본 발명의 일부 예시적인 실시예에 따르면, 무선 통신 채널 상에서 수신기에 디스플레이 패널용 데이터를 송신하기 위한 송신기에서, 상기 송신기는, 데이터 소스로부터 한 프레임의 비디오 데이터를 수신하고, 상기 한 프레임의 비디오 데이터에 대응하는 비트들을 복수의 중요도 레벨에 각각 대응하는 복수의 그룹으로 그룹화하고, 상기 복수의 그룹을 중요도 순서로 재구성하여, 상기 복수의 그룹 중 첫 번째가 되도록 배열되어 있으며 최고 중요도 레벨을 갖는 복수의 패킷 헤더에 대응하는 그룹을 갖는, 재구성된 데이터 프레임을 생성하고, 상기 복수의 패킷 헤더의 각각의 패킷 헤더에 대응하는 데이터 비트의 길이를 나타내는 값을 각각의 패킷 헤더 앞에 삽입하고, 상기 디스플레이 패널 상의 표시를 위해 상기 한 프레임의 비디오 데이터에 대응하는 상기 비트들을 상기 수신기에 송신하여 상기 복수의 그룹 중의 각각의 그룹이 대응하는 중요도 레벨에 기초한 상이한 보호 기술에 따라 송신되도록 구성된다.
일부 실시예에 따르면, 각각의 그룹은 대응하는 중요도 레벨에 기초하여 상이한 변조 및 코딩 방식(MCS) 값을 갖는다.
일부 실시예에 따르면, 각각의 그룹은 대응하는 중요도 레벨에 기초하여 상이한 순방향 에러 정정 코딩 레이트를 갖는다.
일부 실시예에 따르면, 상기 수신기의 디코더는, 상기 복수의 패킷 헤더의 각각의 패킷 헤더를 그의 원래의 상대적 위치로 이동시킴으로써 상기 한 프레임의 비디오 데이터를 재구성하도록 구성된다.
일부 실시예에 따르면, 상기 송신기는 추가로, 상기 수신기로부터의 리턴 신호를 모니터링하, 후속 송신을 위해 상기 상이한 보호 기술을 조정하도록 구성된다.
본 발명의 일부 예시적인 실시예에 따르면, 무선 통신 채널 상에서 수신기와 전자 통신하는 송신기에 의해 디스플레이 패널용 비디오를 송신하는 방법으로서, 상기 송신기에 의해, 데이터 소스로부터 한 프레임의 비디오 데이터를 수신하는 단계, 상기 송신기에 의해, 상기 한 프레임의 비디오 데이터에 대응하는 비트들을 복수의 중요도 레벨에 각각 대응하는 복수의 그룹으로 그룹화하는 단계, 상기 송신기에 의해, 상기 복수의 그룹을 중요도 순서로 재구성하여, 상기 복수의 그룹 중 첫 번째가 되도록 배열되어 있으며 최고 중요도 레벨을 갖는 복수의 패킷 헤더에 대응하는 그룹을 갖는, 재구성된 데이터 프레임을 생성하는 단계, 상기 송신기에 의해, 상기 디스플레이 패널 상의 표시를 위해 상기 한 프레임의 비디오 데이터에 대응하는 상기 비트들을 상기 수신기에 송신하여 상기 복수의 그룹 중의 각각의 그룹이 대응하는 중요도 레벨에 기초한 상이한 보호 기술에 따라 송신되는 단계를 포함한다.
일부 실시예에 따르면, 상기 송신기에 의해, 각각의 패킷 헤더에 대응하는 데이터 비트의 길이를 나타내는 값을 각각의 패킷 헤더 앞에 삽입하는 단계를 더 포함한다.
일부 실시예에 따르면, 각각의 그룹은 대응하는 중요도 레벨에 기초하여 상이한 변조 및 코딩 방식(MCS) 값을 갖는다.
일부 실시예에 따르면, 각각의 그룹은 대응하는 중요도 레벨에 기초하여 상이한 순방향 에러 정정 코딩 레이트를 갖는다.
일부 실시예에 따르면, 상기 수신기의 디코더는 상기 한 프레임의 비디오 데이터를 재구성하도록 구성된다.
일부 실시예에 따르면, 상기 송신기에 의해, 상기 수신기로부터의 리턴 신호를 모니터링하는 단계, 및
상기 송신기에 의해, 후속 송신을 위해, 채널 품질 또는 비디오 품질 중 적어도 하나의 변화에 기초하여 상기 상이한 보호 기술을 조정하는 단계를 더 포함한다.
일부 실시예에 따르면, 상기 송신기에 의해, 상기 송신기에 의해, 상기 수신기에 대응하는 표시 장치의 타입에 따라 이미지의 상이한 영역에 대응하는 데이터에 대해 상기 상이한 보호 기술을 선택하는 단계를 더 포함한다.
본 발명의 일부 예시적인 실시예에 따르면, 무선 통신 채널 상에서 수신기와 전자 통신하는 송신기 사이에서 디스플레이 패널에 대한 비디오를 송신하는 방법에서, 상기 송신기에 의해, 데이터 소스로부터 비디오 데이터의 프레임을 수신하는 단계, 상기 송신기에 의해, 비디오 데이터의 프레임의 비트의 중요도의 레벨에 따라 비디오 데이터의 프레임을 복수의 패킷으로 재구성하는 단계, 상기 송신기에 의해, 패킷 각각에 대한 태그를 생성하는 단계 - 태그는 패킷의 상이한 상대적 중요도 레벨에 대응함 -, 상기 송신기에 의해, 패킷 각각에 대응하는 태그에 기초하여 패킷 각각에 대해 상이한 보호 기술을 수행하는 단계, 및 상기 송신기에 의해, 각각의 패킷이 대응하는 태깅에 기초하여 상이한 보호 기술에 따라 송신되도록, 디스플레이 패널 상의 디스플레이를 위해 패킷 및 태그를 상기 수신기에 송신하는 단계를 포함한다.
일부 실시예에 따르면, 각각의 패킷의 태그는 패킷의 상대적 중요도 레벨을 나타내는 비트 패턴을 패킷의 헤더에 추가하는 것을 포함한다.
일부 실시예에 따르면, 각각의 패킷의 태그는 그의 대응하는 중요도 레벨에 기초한 변조 및 코딩 방식(MCS) 값에 대응한다.
일부 실시예에 따르면, 보다 중요한 패킷은 덜 중요한 패킷보다 낮은 MCS 값을 갖는다.
일부 실시예에 따르면, 각각의 패킷의 태그는 그의 대응하는 중요도 레벨에 기초한 순방향 에러 정정 코딩 레이트에 대응한다.
일부 실시예에 따르면, 상기 송신기에 의해, 복수의 어그리게이팅된 MAC 프로토콜 데이터 유닛(A-MPDU) 서브프레임으로 패킷을 패킹하는 단계, 및 송신기에 의해 A-MPDU 서브프레임을 상기 수신기에 송신하는 단계를 더 포함한다.
일부 실시예에 따르면, 상기 송신기에 의해, 복수의 물리 레이어 수렴 절차(PLCP) 프로토콜 데이터 유닛(PPDU) 프레임을 동일한 태그로 태깅하는 단계, 송신기에 의해 동일한 중요도 레벨을 갖는 A-MPDU 서브프레임을 PPDU 프레임으로 패킹하는 단계, 및 송신기에 의해, PPDU 프레임을 상기 수신기로 송신하는 단계를 더 포함한다.
일부 실시예에 따르면, 상기 송신기에 의해, 상기 수신기에 대응하는 표시 장치의 타입에 따라 비디오 데이터의 프레임의 이미지의 상이한 영역에 대해 상이한 보호 기술을 선택하는 단계를 더 포함한다.
일부 실시예에 따르면, 무선 통신 채널 상에서 수신기에 디스플레이 패널에 대한 데이터를 송신하기 위한 송신기에서, 상기 송신기는, 데이터 소스로부터 비디오 데이터의 프레임을 수신하도록, 비디오 데이터의 프레임의 비트의 중요도의 레벨에 따라 비디오 데이터의 프레임을 복수의 패킷으로 재구성하도록, 패킷 각각에 대한 태그를 생성하도록 - 태그는 패킷의 상이한 상대적 중요도 레벨에 대응함 -, 패킷 각각에 대응하는 태그에 기초하여 패킷 각각에 대해 상이한 보호 기술을 수행하도록, 그리고 각각의 패킷이 대응하는 태깅에 기초하여 상이한 보호 기술에 따라 송신되도록, 디스플레이 패널 상의 디스플레이를 위해 패킷 및 태그를 수신기에 송신하도록 구성된다.
일부 실시예에 따르면, 각각의 패킷의 태깅은 패킷의 상대적 중요도 레벨을 나타내는 비트 패턴을 패킷의 헤더에 추가하는 것을 포함한다.
일부 실시예에 따르면, 각각의 패킷의 태깅은 그의 대응하는 중요도 레벨에 기초한 변조 및 코딩 방식(MCS) 값에 대응한다.
일부 실시예에 따르면, 각각의 패킷의 태깅은 그의 대응하는 중요도 레벨에 기초한 순방향 에러 정정 코딩 레이트에 대응한다.
일부 실시예에 따르면, 상기 송신기는 추가로, 복수의 어그리게이팅된 MAC 프로토콜 데이터 유닛(A-MPDU) 서브프레임으로 패킷을 패킹하도록, 그리고 A-MPDU 서브프레임을 수신기에 송신하도록 구성된다.
일부 실시예에 따르면, 상기 송신기는 추가로, 복수의 물리 레이어 수렴 절차(PLCP) 프로토콜 데이터 유닛(PPDU) 프레임을 태깅하도록, 동일한 중요도 레벨을 갖는 A-MPDU 서브프레임을 PPDU 프레임으로 패킹하도록, 그리고 PPDU 프레임을 상기 수신기로 송신하도록 구성된다.
본 발명의 일부 예시적인 실시예에 따르면, 무선 통신 채널 상에서 수신기와 전자 통신하는 송신기 사이에서 디스플레이 패널에 대한 비디오를 송신하는 방법에서, 상기 송신기에 의해, 데이터 소스로부터 비디오 데이터의 프레임을 수신하는 단계, 상기 송신기에 의해, 비디오 데이터의 프레임의 비트의 중요도의 레벨에 따라 비디오 데이터의 프레임을 복수의 패킷으로 재구성하는 단계, 상기 송신기에 의해, 패킷 각각에 대한 태그를 생성하는 단계 - 태그는 패킷의 상이한 상대적 중요도 레벨에 대응함 -, 및 상기 송신기에 의해, 각각의 패킷이 대응하는 태깅에 기초하여 상이한 보호 기술에 따라 송신되도록, 디스플레이 패널 상의 디스플레이를 위해 패킷 및 태그를 상기 수신기에 송신하는 단계를 포함한다.
일부 실시예에 따르면, 상기 송신기에 의해, 패킷 각각에 대응하는 태그에 기초하여 패킷 각각에 대해 상이한 보호 기술을 수행하는 단계를 더 포함한다.
일부 실시예에 따르면, 각각의 패킷의 태그는 패킷의 상대적 중요도 레벨을 나타내는 비트 패턴을 패킷의 헤더에 추가하는 것을 포함한다.
일부 실시예에 따르면, 상기 송신기에 의해, 복수의 어그리게이팅된 MAC 프로토콜 데이터 유닛(A-MPDU) 서브프레임으로 패킷을 패킹하는 단계, 및 상기 송신기에 의해 A-MPDU 서브프레임을 상기 수신기에 송신하는 단계를 더 포함한다.
일부 실시예에 따르면, 상기 송신기에 의해, 복수의 물리 레이어 수렴 절차(PLCP) 프로토콜 데이터 유닛(PPDU) 프레임을 동일한 태그로 태깅하는 단계, 상기 송신기에 의해 동일한 중요도 레벨을 갖는 A-MPDU 서브프레임을 PPDU 프레임으로 패킹하는 단계, 및 상기 송신기에 의해, PPDU 프레임을 상기 수신기로 송신하는 단계를 더 포함한다.
일부 실시예에 따르면, 상기 송신기에 의해, 상기 수신기로부터의 리턴 신호를 모니터링하는 단계, 및 상기 송신기에 의해, 채널 품질 또는 비디오 품질 중 하나 이상의 변화에 적어도 기초하여 상이한 보호 기술을 조정하는 단계를 더 포함한다.
본 발명의 하나 이상의 실시예들에 따르면 전자 데이터 통신을 위한 시스템 및 방법이 제공된다.
본 발명 및 본 발명의 첨부된 특징 및 양상 대부분의 보다 완전한 이해는, 유사한 도면부호가 유사한 컴포넌트를 표시하는 첨부한 도면과 연대하여 본 발명이 고려될 때, 다음의 상세한 설명을 참조하여 보다 잘 이해되므로 보다 쉽게 자명하게 될 것이다.
도 1은 본 발명의 일부 예시적인 실시예에 따라, 크로스-레이어 최적화 시스템의 하이 레벨 개요 설명을 예시하는 무선 데이터 송신 시스템을 예시하는 블록도이다.
도 2는 본 발명의 일부 예시적인 실시예에 따라 이용된 예시적인 레이어-기반 압축 방식을 예시한다.
도 3은 본 발명의 일부 예시적인 실시예에 따라, 크로스-레이어 최적화 시스템의 예시적인 아키텍처 및 일부 컴포넌트의 추가 세부사항을 예시하는 블록도이다.
도 4는 본 발명의 일부 예시적인 실시예에 따라, 픽셀을 상이한 타입으로 파티셔닝하는 예를 예시한다;
도 5는 본 발명의 일부 예시적인 실시예에 따라 한쪽 눈의 시야의 예를 예시한다/.
도 6은 본 발명의 일부 예시적인 실시예에 따라 패킷 또는 레이어 구조의 재구성의 예를 예시한다.
도 7은 본 발명의 일부 예시적인 실시예에 따른 예시적인 헤더 구조를 예시한다.
도 8은 본 발명의 일부 예시적인 실시예에 따른 데이터의 예시적인 재구성을 예시한다.
도 9는 본 발명의 일부 예시적인 실시예에 따른 픽셀 비트 및 패킷의 예시적인 재구성을 예시한다.
도 10은 무선 통신 표준 하에서 이용 가능한 헤더 필드를 예시한다.
도 11은 본 발명의 일부 예시적인 실시예에 따라, 크로스-레이어 이미지 최적화에 대한 프로세스를 예시하는 흐름도이다.
첨부한 도면을 참고하여 본 발명의 실시예에 대하여 상세히 설명한다.
이하의 상세한 설명은, 본 발명에 따라 제공되는 멀티-기가비트 채널(multi-gigabit channel) 상의 무선 비디오 송신을 위한 크로스-레이어 이미지 최적화(cross layer image optimization; CLIO)를 위한 시스템 및 방법의 실시예이며, 본 발명의 유일한 형태를 나타내는 것은 아니다. 설명은 예시된 실시예와 관련하여 본 발명의 특징을 기술한다. 그러나 동일하거나 등가의 기능 및 구조가, 본 발명의 사상 및 범위 내에 포함되는 것으로 또한 의도되는 상이한 실시예에 의해 달성될 수 있다는 것이 이해될 것이다. 본원의 다른 곳에서 표시된 바와 같이, 유사한 도면 부호는 유사한 부분 또는 특징을 나타낸다.
디스플레이 기술의 미래는 다양한 무선 스트리밍 디바이스(휴대폰, 셋톱박스, 프로젝터 등)에 의해 제공되는 저렴한 디스플레이로 충만한 세계를 포함한다. 무선 링크를 통한 고품질 비디오 송신은 난제인 것으로 드러났다. 무선 디바이스는 비-정적인 반면에, 무선 링크는 대역폭이 부족하며 여러 종류의 노이즈에 취약하다. 레이턴시(latency)가 또한 높고 가변적이며, 이는 특히 비디오에 해롭다. 비디오 송신의 엄격한 요건으로 인해, 상이한 레이어[예를 들어, 애플리케이션(APP) 레이어, 매체 액세스 제어(MAC) 레이어 및 물리(PHY) 레이어]가 독립적으로 설계되는 일반적인 설계 방법은 높은 데이터 레이트 무선 데이터 송신을 가능하게 하지 않는다. 따라서, 본 발명의 실시예는 하나의 레이어에서의 정보가 상이한 레이어의 파라미터를 변경하는데 이용되는 크로스 레이어 접근법을 제공한다. 이러한 유연성은 무선 링크의 빠른 변화에 대한 신속한 적응을 허용한다.
IEEE 802.11ad 표준은 비압축 FHD(full high definition) 무선 비디오에 필요한 비트레이트를 제공할 수 있다. 802.11ad는 2.16GHz의 대역폭을 갖는 채널을 사용하는 60GHz 대역에서 작동하며 단일 캐리어를 사용하여 물리 레이어(PHY)에서 최대 4.6Gbps의 대역폭을 제공하며, 이는 비압축 FHD 비디오 송신에 충분하다. 그러나 IEEE 802.11ad는 단지 특정한 전개에서만 최대 대역폭을 획득할 수 있다. 예를 들어, IEEE 802.11ad는 송신기와 수신기가 서로 단거리 내에 그리고 LoS(line of sight) 내에 위치되도록 요구한다. 따라서, 본 발명의 실시예는 무선 데이터 송신에 대한 향상된 접근법을 제공한다.
몇몇 실시예에 따르면, 본 발명의 다양한 특성은 물리(PHY), 매체 액세스 제어(MAC) 또는 애플리케이션(APP) 크로스 레이어 솔루션을 비롯해서, 무선 네트워크를 통한 비디오 스트리밍을 위한 QoS를 향상시키고 보장하는 데 사용될 수 있다. 따라서, 하나의 레이어(예를 들어, MAC 레이어)로부터의 정보는 다른 레이어(예를 들어, APP 레이어)의 파라미터를 최적화하는 데 사용될 수 있다. 예를 들어, 비디오 스트리밍에서, APP 레이어는 레이트 제어(네트워크 인식)에 있어 채널 품질에 관한 정보를 이용할 수 있다. 하위 레이어는 또한 비디오 트래픽 특성에 관한 정보를 이용하도록 구성될 수 있다. 다양한 실시예에 따라, 시스템은 동적 프로파일 파티셔닝, 패킷에 대한 동적 태깅, 레이어 기반 압축 기술에서의 상이한 레이어에 대한 동일하지 않은 에러 보호, 및 중요도 레벨 인식 변조/코딩 선택, 패킷화 및 비트 또는 픽셀 프루닝(pruning)을 이용한다.
일 실시예에 따르면, 크로스 레이어 방법은 지연 제한된 확장 가능한 비디오 송신에서 지각 품질을 최적화하기 위해 이용될 수 있다. 또한, 각각의 비디오 레이어에 대한 PHY 레이어의 패킷 손실 가시성(packet loss visibility)에 따라 불균등 에러 보호(Unequal Error Protection; UEP)가 사용될 수 있다. 또한, APP 레이어에 버퍼-인식 소스 적응(buffer-aware source adaptation)이 존재한다. 레이트 적응 방식은 IEEE 802.11 미디어 독립적 핸드오버(MIH) 프레임워크에 기초한 QoS-구동 심리스 핸드 오프 방식을 위해 사용된다. 레이트를 제어하기 위해, 양자화 파라미터(QP)는 단일 레이어 코딩(AVC/H.264)에 대해 적응되고 향상 레이어는 확장 가능 코딩(SVC/H.264)을 위해 드롭된다. 무선 비디오 송신에서 승인된 세션의 수 및 비디오 품질의 관점에서 QoS를 최적화하기 위한 승인 제어 및 자동 레이어 관리와 함께 레이트 및 트래픽 적응이 또한 포함된다. 트래픽 관리, 경로 선택 및 프레임 필터링은 셀룰러 네트워크에서 UDP/RTP를 통한 비디오 스트리밍을 위한 크로스 레이어 최적화 기술로서 포함된다. 크로스 레이어 프레임워크는 사용자의 QoS 레벨 및 디스플레이 크기 및 에너지 제약을 고려한 무선 멀티미디어 브로드캐스트 수신기의 에너지 효율을 최적화하기 위해 비디오 코덱 최적화, 레이어 코딩 송신(layer coded transmission)을 위한 시간 슬라이싱 최적화 및 적응형 변조 및 코딩 방식(MCS)을 포함한다.
본질적으로, 압축은 소스로부터 리던던시(redundancy)을 제거하고, 이에 따라 선천적으로 송신 에러에 더 민감하다. 압축 시스템이 비디오 스트림에서 송신 에러의 영향을 완화하는데 사용할 수 있는 몇 개의 방법이 있다. 비디오 스트림이 품질, 공간적 또는 시간적 확장성이 있다면, 우리는 불균등 에러 보호(UEP)의 개념을 사용하여 보다 중요한 정보 비트에 대해 보다 높은 레벨의 보호를 제공할 수 있다. 수신기 측에서, 비디오 스트림이 에러 내성의 특성을 갖는다면, 에러 전파는 최소화되고 양호한 비율의 에러는 무시될 수 있다. 디코딩 후에, 에러 은닉(error concealment)이 디코딩된 출력에 적용될 수 있다. 시간적 에러 은닉을 사용하는 하나의 기술은 이전 프레임을 저장하고 현재 프레임이 손상된 경우 그 프레임을 재생하는 것이다. 다른 가능성은 에러가 있는 영역의 주변 픽셀을 사용하여 현재 픽셀을 예측하는 것이다. 일반적으로 에러 은닉은 다른 방법이 실패한 경우 마지막 수단으로서 사용된다.
도 1은 본 발명의 일부 예시적인 실시예에 따른 무선 데이터 송신 시스템(100)을 예시하는 블록도이다. 무선 데이터 송신 시스템(100)은 송신기(102)와 수신기(106)를 포함한다. 송신기(102)는 데이터 소스(104)(예를 들어, 비디오 카드 컴퓨터 시스템과 같은 외부 데이터 소스)로부터의 데이터(예를 들어, 비압축 비디오 데이터)를 입력 단자(103)에서 수신한다. 수신기(106)는 이미지 및 비디오를 디스플레이하는 디스플레이 패널(110)을 갖는 사용자 디바이스 또는 전자 장치(108)(예를 들어, 전자 표시 장치, 스마트폰, 텔레비전, 태블릿 등)에 통합될 수 있다. 디스플레이 패널(110)은 복수의 픽셀을 포함하며, 각각의 픽셀은 복수의 상이한 컬러 컴포넌트(또는 서브-픽셀)(예를 들어, 각각의 픽셀은 적색 컴포넌트, 녹색 컴포넌트 및 청색 컴포넌트를 포함할 수 있음)를 포함할 수 있다.
비디오의 관점에서 보면, 비디오의 각각의 프레임은 디스플레이 패널(110) 상에 이미지로서 디스플레이(예를 들어, 간략히 디스플레이)된다. 일부 실시예에서, 디스플레이 패널(110)은 예를 들어, 텔레비전, 모니터, 셀룰러 폰, 태블릿 컴퓨터, 웨어러블 디바이스, 증강 현실(AR) 헤드셋 또는 가상 현실(VR) 헤드셋과 같은 일체형 디스플레이를 갖는 임의의 전자 장치(108)의 부분으로서 포함될 수 있다.
또한, 송신기(102) 및 수신기(106)에는 무선 라디오(112, 114)가 통합되어 있고, 송신기(102)는 무선 라디오(112, 114)를 통해 수신기(106)와 무선 데이터 통신한다. 따라서, 송신기(102) 및 수신기(106)는 임의의 적합한 무선 데이터 스펙트럼 및 표준(예를 들어, IEEE(Institute of Electrical and Electronics Engineers) 802.11 표준)을 사용하여 서로 간에 데이터를 주고 받는다. 예를 들어, 송신기(102)는 직통(예를 들어, 데이터) 채널(130)(예를 들어, 무선 통신 채널)을 통해 수신기(106)에 크로스-레이어 이미지 최적화 방식의 파라미터 또는 특성과 함께 데이터 신호를 송신하고, 수신기(106)는 리턴 채널(132)을 통해 송신기(102)에 피드백 데이터 또는 리턴 신호(예를 들어, 채널 또는 시각 품질 데이터를 포함함)를 송신한다.
다른 엘리먼트 중, 송신기(102)는 애플리케이션(APP) 레이어(116)(예를 들어, 디스플레이 프로토콜 및 비디오 인코더 모듈을 포함함), 매체 액세스 제어(MAC) 레이어(118) 및 물리(PHY) 레이어(120)를 더 포함한다. 본 발명의 실시예에 따라, 크로스-레이어 이미지 최적화의 다양한 양상이 APP 레이어(116), MAC 레이어(118) 및 물리 레이어(120)에서 수행되거나 실행된다. 이와 마찬가지로, 수신기(106)는 APP 레이어(122), MAC 레이어(124) 및 PHY 레이어(126)를 포함한다.
무선 데이터 송신 시스템(100)은 크로스-레이어 이미지 최적화 시스템 및 방법을 제어하기 위해, 송신기(102)의 일부로서 또는 송신기(102)와 협력하여 동작하는 크로스-레이어 이미지 최적화(CLIO) 모듈 또는 엔진(134)을 더 포함할 수 있다. CLIO 모듈(134)은 예를 들어, 프로세서 및 프로세서에 결합된 메모리를 포함할 수 있으며, 메모리는, 프로세서에 의해 실행되는 명령을 저장하며, 이 명령은 프로세서로 하여금 본원에서 설명하는 크로스-레이어 이미지 최적화 시스템 및 방법의 다양한 동작을 실행하게 한다. 예를 들어, CLIO 모듈(134)은 APP 레이어(116), MAC 레이어(118) 및 PHY 레이어(120)와 전자 통신하여 데이터 및 명령을 교환함으로써 본원에서 설명되는 크로스-레이어 이미지 최적화 시스템 및 방법을 수행할 수 있다.
따라서, 도 1에 예시된 바와 같이, 무선 데이터 송신 시스템(100)은 APP 레이어(116), MAC 레이어(118), 및 PHY 레이어(126)에서 크로스-레이어 이미지 최적화를 위한 다양한 메커니즘을 구현한 후, 송신기(102)에서 데이터를 수신하고 수신기(106)에 데이터를 송신하도록 구성된다.
비디오 압축/압축해제 시스템 또는 코덱은 본질적으로 6개의 상이한 방식: 압축, 품질(왜곡), 복잡도, 레이턴시, 품질 확장성 및 에러 내성으로 평가될 수 있다.
본 발명의 일부 예시적인 실시예에 따르면, 비디오 또는 데이터 스트림이 다수의 품질 레이어, 해상도 레이어, 공간 위치 또는 컬러 컴포넌트로 파싱되거나 분할되는 레이어-기반 압축 아키텍처가 데이터 또는 비디오 압축을 위해 이용될 수 있다. 관련-기술의 레이어-기반 압축 아키텍처(예를 들어, JPEG2000)에서, 데이터 스트림은 프레임 헤더로 시작하고, 이어 패킷 헤더 및 데이터 비트의 시퀀스가 뒤따른다. 그러나 스트림은 특히, 실시간 UHD 코덱의 경우 중요도의 순서로 정렬되지 않을 수 있다.
일 실시예에서, 레이어-기반 압축 시스템(예컨대, JPEG2000 표준 또는 이와 유사한 것)은, 크로스-레이어 이미지 최적화 시스템 및 방법(예를 들어, CLIO 모듈(134)에 의해 실행됨)의 일부로서 레이어-기반 압축으로서 이용된다. 본 발명의 실시예에 따른 레이어-기반 인코더는 다음의 단계: 컴포넌트에 대한 컬러 변환, 각각의 컬러 채널 상의 웨이브렛 변환, 웨이브렛 계수의 양자화 및 최종적으로, 코드-블록으로서 알려진 웨이브렛 계수의 직사각형 영역의 산술 코딩을 이용할 수 있다. 이러한 인코더는 컬러 컴포넌트, 해상도 레벨, 공간 블록 포지션 또는 레이어에 기초하여 이들 코드-블록의 다양한 시퀀스를 허용함으로써 인코딩된 데이터의 구조에 대한 유연성을 제공한다. 개별 코드 블록은 독립적으로 디코딩 가능할 수 있지만, 이들 코드 블록에 대한 헤더는 이전의 헤더에 의존할 수 있고 따라서 시퀀스대로 디코딩될 수 있다.
본 발명의 실시예에 따라 이용된 레이어-기반 압축 인코딩된 데이터 스트림은 프레임헤더로 시작하고 이어서 패킷 헤더 및 데이터 비트의 시퀀스가 뒤따를 수 있다. 언급된 바와 같이, 데이터 스트림은 다수의 품질 레이어, 해상도 레벨, 공간 포지션 및 컬러 컴포넌트에서 분할될 수 있다. 그러나 이용된 특정 인코딩 시스템(예를 들어, JPEG2000)에 의존하여, 스트림은 특히, 실시간 UHD 코덱의 경우 중요도의 순서로 정렬되지 않을 수 있다. 도 2의 예는, 레이어에서 생성된 레이어-기반 압축 인코딩된 데이터 스트림의 예를 도시하는데, 일례로, 제 1 레이어는 8:1의 압축 레벨에 대응할 수 있고; (모든 제 1 레이어 패킷을 디코딩한) 제 2 레이어의 끝에서, 압축은 4:1로 세팅된다. 마지막으로, 제 3 레이어 패킷을 디코딩하는 것은 2:1 압축으로 스트림을 전송하는 것과 등가일 수 있다. 본 발명의 실시예는 위에서 설명한 압축비 또는 레이어의 수로 제한되지 않는다. 오히려, 본 발명의 실시예는, 제 1 또는 최고 레이어가 최고 압축비를 갖고, 다음 레이어는 제 1 레이어에 추가될 때 압축비가 제 1 레이어의 압축비보다 더 낮아지게 하는 데이터를 갖는 식으로, 최저 또는 마지막 레이어가, 선행 레이어 각각에 추가될 때 시청자에게 비교적 낮은, 시각적으로 무손실, 또는 시각적으로 거의 무손실(예를 들어, 1:1, 1.5:1, 2:1)의 압축비가 되게 하는 데이터를 가질 때까지 이루어지게 되도록, 크로스-레이어 이미지 최적화 시스템 및 방법의 설계 및 기능에 따라 임의의 적합한 압축비를 갖는 임의의 적합한 수의 레이어를 이용할 수 있다.
일부 실시예에 따르면, VR 디스플레이의 컨텍스트에서, 스테레오스코픽 이미지(stereoscopic image)가 수신기에 송신될 때, 데이터 송신의 에러는, 그 에러가 한 측에만 있더라도 좌측 및 우측 이미지 모두에 영향을 줄 수 있다. 따라서, 본 발명의 일부 실시예에서, 크로스-레이어 이미지 최적화 시스템 및 방법(예를 들어, APP 레이어(116)의 CLIO 모듈(134) 및/또는 비디오 인코더 모듈)은 {좌측 이미지 + 우측 이미지의 차이}에 관해 압축을 수행하고, 그 후, {다양한 좌측 이미지 + 우측 이미지의 차이} 슬라이스가 멀티플렉싱된 스트림으로서 인코딩된다는 것을 보장한다. 이러한 절차는 데이터 송신의 에러가 아티펙트(artifact)의 가시성에 충격을 주는 인스턴스의 수를 (예를 들어, 절반으로) 감소시킬 수 있다.
비디오 스트리밍의 품질을 향상시키기 위한 크로스 레이어 알고리즘에서의 본 발명의 실시예는, PHY 레이어의 하나 이상의 특징, 예를 들어, PHY 레이어의 채널 품질의 표시자에 기초하여 변조 및 코딩 방식(MCS)이 변경되는 동적 적응형 변조 및 코딩(AMC)을 추가로 이용할 수 있다. 더 낮은 MCS 값은 더 낮은 비트 에러 레이트를 제공하지만, 더 낮은 쓰루풋을 또한 달성한다. MAC 레이어는 MCS에 기초하여 압축 레이트를 조정하기 위해 MCS에 관해 APP 레이어에 통지할 수 있다.
상이한 비트 및 패킷을 손실하는 것은 비디오 품질에 상이한 충격을 주고, 본 발명의 실시예는 비압축/압축 비디오에서 최상위 비트(MSB)에 대한 더 많은 보호, JPEG 2000의 패킷 헤더에 대한 더 많은 보호 또는 MPEG-4의 I-프레임에 대한 더 많은 보호를 비롯해서, UEP 접근법을 이용하여 비디오 수신에서 보다 중요한 비트를 보호하도록 동작한다. 보호는 보다 견고한 MCS, 재송신 또는 Reed-Solomon과 같은 추가 에러 정정 코드를 사용함으로써 달성될 수 있다.
도 3은 본 발명의 일부 예시적인 실시예에 따르면, APP, MAC 및 PHY 레이어에서의 제어 방식을 포함하는 데이터 송신 시스템(100)의 크로스-레이어 최적화 시스템의 예시적인 아키텍처 및 일부 컴포넌트의 추가 세부사항을 예시하는 블록도이다. 측정 및 피드백 블록은 비트 에러 레이트, 비디오 품질 및 특정 서비스 클래스의 사용 가능한 대역폭과 같은 조건을 추정하는데 사용된다. 그 후, APP 레이어와 MAC 레이어의 모델은 최적의 비트 할당에 의해 비디오 품질의 왜곡을 최소화하여, 순방향 에러 정정에 필요한 비트 수를 감소시키고, 그의 손실의 충격에 따라 패킷의 우선순위를 결정할 수 있다.
일부 실시예에서, 도 3에 예시된 바와 같이, APP 레이어에서, 시스템은 수신기로부터의 피드백 및 측정에 기초하여(예를 들어, 수신기(106)로부터의 리턴 채널(132) 상에서 수신된 데이터에 기초하여) 광 압축을 인에이블/디스에이블할 수 있다. 피드백은 예를 들어, 비디오 품질에 기초할 수 있으며, 비디오 품질의 측정은 예를 들어. 수신기에 의해 보고되는 신호 대 잡음비(SNR) 또는 피크 신호 대 잡음비(PSNR)에 기초할 수 있다.
도 3의 MAC 레이어는 예를 들어, 픽셀 파티셔닝, 재송신 및 다중 CRC 검사, MSB/LSB 분리와 같은 특징을 사용한 패킷화 및 상이한 버퍼를 비롯한 다수의 기능, 모듈 또는 절차를 포함할 수 있다. PHY 레이어로부터 수신된 피드백 또는 APP 레이어의 파라미터에 기초하여, 시스템(예를 들어, CLIO 모듈(134))은 MAC 레이어에서 이들 함수의 파라미터를 변경하고 이들 함수, 모듈 또는 절차가 어떻게 작동해야 하는지를 결정할 수 있다. 예를 들어, 픽셀 파티셔닝이 수행되는지 여부 및 픽셀 파티셔닝이 수행되는 경우, 파티션이 패킷으로 분할되는 방법이 있다. 또한, 이들 시스템은 재송신이 인에이블되는지 여부를 결정하거나 선택하도록 구성될 수 있다.
일부 실시예에 따르면, 시스템(예를 들어, CLIO 모듈(134))은 UEP 구현에서 이들 특징을 이용할 수 있다. 예를 들어, 패킷 중 일부는 재송신과 같은 이러한 특징을 포함할 수 있거나, 또는 이들 특징은 상이한 MCS 또는 MSB/LSB 분리와 같이 상이한 패킷에 대해 상이한 파라미터를 가질 수 있다.
PHY 레이어(예를 들어, 수신기 내의 대응하는 PHY 레이어(304)와 더불어, PHY 레이어(302))는 또한 도 3에 예시된 바와 같이 UEP의 구현을 위해 다수의 레이어를 포함할 수 있다. 상이한 패킷은 상이한 MCS 값을 갖는 상이한 레이어를 통해 전송될 수 있다. 상이한 레이어는 또한 상이한 우선순위를 가진 상이한 버퍼와 연관될 수 있다. 일부 예시적인 실시예에 따라, 시스템(예를 들어, CLIO 모듈(134))은 비디오 품질 및 측정 피드백에 따라 상이한 패킷을 상이한 레이어 및 버퍼와 연관시킬 수 있다.
본 발명의 일부 예시적인 실시예에 따르면, 비압축 또는 압축 송신을 위한 크로스-레이어 이미지 최적화의 제 1 단계는 레이어링(layering) 또는 파티셔닝이다. 본 발명의 실시예는 이하에서 더 상세하게 설명되는 복수의 미리 정의된 레이어링 및/또는 파티셔닝 프로파일을 이용한다. 데이터 송신 세션의 일부로서, 상이한 레이어링 및/또는 파티셔닝 프로파일 중 하나는, 예를 들어, 표시 장치의 타입, 비디오 시각 품질에 대한 상이한 기준 또는 표시자(피크 신호 대 잡음비(PSNR)를 포함함), 채널 품질, 코덱 요건 또는 선택, MCS 및 데이터 레이트 요건 등을 포함하는 하나 이상의 미리 정의된 파라미터에 기초하여 선택된다. 각각의 프로파일은 예를 들어, 다른 에러 정정 기술, 압축 또는 패킷화를 비롯해서, 송신기 및 수신기에서의 상이한 세트의 절차를 지시하거나 그에 의해 정의된다.
또한, 본 발명의 실시예는 상이한 레이어의 순서화된 비트 스트림에 대한 크로스-레이어 이미지 최적화의 일부로서 불균등 에러 보호(UEP) 방법을 이용할 수 있다. 비트 스트림 또는 패킷의 순서화는 레이어드-기반 압축 비디오 또는 비-압축 비디오 상에서 수행될 수 있다. 상이한 MCS 값은 채널 품질에 따라 상이한 레이어에 대해 이용된다.
본 발명의 일부 예시적인 실시예에 따르면, (예를 들어, IEEE 802.11ad에서와 같이) 패킷에 대한 동적 태깅(dynamic tagging)은 본 발명의 크로스-레이어 이미지 최적화 시스템 및 방법의 일부로서 이용될 수 있다. 중요도 레벨 인식 절차가 송신기에 대한 MAC 패킷화기 및 수신기에서의 역패킷화기(depacketizer)에서 구현되기 때문에, 중요도 레벨 및 대응하는 정보가 수신기로 송신되거나 시그널링될 수 있다.
위에서 설명된 바와 같이, 본 발명의 실시예에서, 시스템은 본 발명의 크로스 레이어 이미지 최적화 시스템 및 방법의 일부로서 동적 레이어링 및 파티셔닝 프로파일을 이용할 수 있다. 송신기 및 수신기(예를 들어, 송신기(102) 및 수신기(106))는 복수의 미리 정의된 레이어링/파티셔닝 프로파일을 활용하거나 이에 동의할 수 있다. 이러한 프로파일은 비디오 시각 품질(PSNR을 포함함), 채널 품질, 코덱 요건 또는 선택, MCS, 데이터 레이트 요건 등에 대한 상이한 기준에 기초하여 선택될 수 있다. 수신기는 그 후, 레이어링 방법을 리버스(reverse)하고 및/또는 선택된 프로파일에 대응하는 에러 은닉 알고리즘을 사용하여 임의의 송신 에러를 추가로 정정하기 위해 실행될 대응하는 알고리즘(들)을 선택한다.
일 실시예에서, 시스템은 다양한 채널 조건과 함께 사용하기 위해 7개의 프로파일을 이용하지만, 프로파일의 수는 이것으로 제한되지 않고, 무선 데이터 송신 시스템의 설계 및 기능에 따라 임의의 적합한 수의 프로파일이 이용될 수 있다.
예를 들어, 프로파일 "00"은, 채널이 이상적 또는 거의 이상적 조건에서 작동할 때에 대해 정의될 수 있는 반면에, 프로파일 "06"은 채널이 매우 열등한 조건에서 동작할 때에 대해 정의될 수 있다. "00"과 "06"사이의 프로파일은 그 후 다양한 중간 조건에 대해 정의된다.
예를 들어, 하나의 프로파일(예를 들어, 프로파일 "00" 또는 이상적/거의 이상적 조건 프로파일)은 채널 품질이 높을 때에 대한 비압축 비디오 송신을 위해 정의될 수 있다. 그러한 프로파일에 대해, 픽셀 파티셔닝 기술은 서로 옆에 있는 픽셀이 매우 유사한 콘텐츠를 포함할 확률이 높다고 가정할 수 있다. 4개로 된 그룹으로부터의 임의의 픽셀이 누락된 경우, 그것은 다른 3개 캡처된 픽셀로부터 재계산될 수 있다. 프로파일 "00"은 도 5에서 예시된 바와 같이 4개의 타입의 픽셀로 이미지를 분할함으로써 선택될 수 있다. 하나의 타입에서 픽셀의 3개의 컬러는 1 패킷으로 패킹된다. 모든 4 타입 패킷이 수신기로 송신된다. 프로파일 "00"이 송신되는 것을 알고 있는 수신기는 이미지 품질을 향상시킬 수 있다. 예를 들어, 픽셀 중 임의의 것의 픽셀 데이터(또는 픽셀 내의 임의의 컬러)가 누락된 경우, 수신기는 4 또는 8개(평균화하는 픽셀의 수는 동적일 수 있음)의 주변 픽셀의 그룹을 평균함으로써 누락된 픽셀 또는 컬러를 대체하는 평균화 방법을 실행한다. 이미지 압축 방법은 또한 서로 옆에 있는 픽셀이 상관된 값을 갖는다는 아이디어에 의존한다. 이 방법은 엔트로피-코딩 압축 알고리즘에 비해 구현하기가 더 간단하고 비트 에러에 대해 더 견고할 수 있다.
제 2 프로파일(예를 들면, 프로파일 "01")은 제 1 프로파일(프로파일 "00")과 유사하게, 4 타입의 픽셀로 이미지를 분할함으로써 선택될 수 있다. 그러나 송신을 위해 3개의 타입의 픽셀이 선택된다. 시스템은 하나의 타입의 픽셀을 드롭함으로써 결과적인 왜곡이 임계 값보다 낮은지를 계산한다. 이 프로파일이 수신기에 시그널링되면, 수신기는 4개의 픽셀 타입 각각 내의 3(또는 그 이상)개의 다른 픽셀의 평균으로부터 누락된 픽셀 데이터 값을 추정할 것이다. 임계치는, 예를 들어, 시각 품질(예를 들어, PSNR)을 포함하는 상이한 기준에 기초하여 선택될 수 있다. 송신되지 않은 픽셀 타입의 선택 및 임계치가 또한 시그널링될 수 있다.
제 3 프로파일(예를 들어, 프로파일 "02")은 위에서 설명된 처음 2개의 프로파일(예를 들어, 프로파일 "00" 및 "01")보다 낮은 대역폭 상에서 동작할 수 있다(예를 들어, 그로 인해 선택될 수 있음). 예를 들어, 제 3 프로파일은 하나 또는 모든 패킷에서 픽셀의 최하위 비트(LSB)를 송신하지 않을 수 있다. 그 후, 수신기에서, 평균화 알고리즘은 이 비트를 보상할 수 있다. 왜곡에 대한 다른 임계 레벨은, 비압축 비디오에 대해 위에서 설명된 제 1 또는 제 2 프로파일(예를 들어, 프로파일 "01" 또는 "00") 대신에, 제 3 프로파일(예를 들어, 프로파일 "02")을 선택하도록 고려될 수 있다.
채널의 품질이 낮고 PHY 레이어가 MCS에 대한 더 낮은 값을 시그널링할 때 다른 프로파일이 압축 비디오를 위해 고려될 수 있다. 예를 들어, 무선 비디오 송신을 위한 새로운 프로파일을 정의하기 위해 다중 품질-레이어링이 사용될 수 있다. 레이어드-기반 압축에서, 다중 레이어가 위에서 설명된 바와 같이 생성될 수 있다. 본 발명의 실시예에 따르면, 최고 레이어는 복수의 레이어 중에서 최고 압축비를 갖는 데이터를 포함할 수 있고, 최저 레이어는 상위 레이어에 추가되는 경우, 비교적 낮은 압축 비(예를 들어, 1:1 또는 1:1.5 또는 임의의 적합한 또는 시각적 무손실 압축 비)로 이미지를 형성하는 데이터를 포함할 수 있다. 예를 들어, (예를 들어, 도 2에 예시된 바와 같이) 3 레이어 압축 방식에서, 레이어 1은 4:1의 압축비를 갖는 압축 이미지 데이터를 포함할 수 있다. 레이어 2는 레이어 1에 추가된 경우, 2:1의 압축 비를 갖는 압축 이미지를 형성하는 데이터를 포함할 수 있다. 레이어 3은 레이어 1 및 레이어 2에 추가된 경우 결과적인 이미지가 1:1의 압축 비(또는 1.5:1 또는 다른 시각적으로 무손실 압축 비)를 갖는 비트스트림을 포함할 수 있다.
송신기는 채널 품질, 시각 품질, 코덱 요건 등에 따라 전송할 레이어를 선택한다. 우리는 레이어 1, 2 및 3(또는 모든 레이어)을 송신할 때 제 4 프로파일(예를 들어, 프로파일 "03"), 레이어 1 및 2(또는 레이어의 서브-세트)를 전송할 때 제 5 프로파일(예를 들어, 프로파일 "04") 및 레이어 1 또는 최고 압축비를 갖는 레이어를 전송할 때 제 6 프로파일(예를 들어, 프로파일 "05")을 정의할 수 있다. 제 7 프로파일(예를 들어, 프로파일 "07")에 대해, 송신기는 레이어 중 하나의 부분, 예를 들어, 레이어 1 및 레이어 2 모두 및 레이어 3의 일부만을 전송할 수 있다. 수신기는 제 7 프로파일(예를 들어, 프로파일 "06")이 송신됨을 인지함으로써, 누락된 데이터 정보를 탐색하거나 추가 정정 알고리즘을 실행할 것이다. 송신기는 원래 패킷의 길이, 및 또한 패킷 헤더 내의 송신된 패킷 길이를 나타낼 수 있다. 수신기는 이에 따라, 레이어의 일부가 수신되지 않았음을 인지하고, 수신된 패킷의 올바른 크기를 추론할 수 있다. 또한, 수신기는 패킷의 일부가 수신되지 않았음을 디코더에게 경고하고 그것은 여분의 정보가 송신기에 의해 재전송되거나 재송신되도록 요청할 수 있다.
추가 프로파일은 송신되는 데이터의 타입, 이미지가 디스플레이될 디스플레이의 성질 또는 동일한 이미지의 다른 부분에 대한 이미지의 특정 부분의 중요도에 따라 설정될 수 있다. 예를 들어, 일부 실시예에 따르면, 이미지의 특정 부분 또는 영역은, 이미지의 한 부분에 대응하는 비트에 대한 데이터 송신의 에러가 이미지의 다른 부분에 대응하는 비트에 대한 데이터 송신의 에러보다 시청자에게 보다 더 지각 가능할 수 있다는 의미에서, 이미지의 다른 부분보다 더 중요할 수 있다.
일부 실시예에 따르면, 크로스-레이어 이미지 최적화 시스템 및 방법은 예를 들어, 디스플레이(예를 들어, 디스플레이 패널(110))가 VR 디스플레이인 VR 디스플레이 시스템의 컨텍스트에서 전개될 수 있다. 이러한 상황에서, 시청자의 이미지 지각의 대부분(예를 들어, 90%)은, 이미지 중앙(예를 들어, 시야의 중심 15도)에 그리고 그 주위에 초점을 맞추는데, 그 이유는 사용자가 이미지의 상이한 부분에 초점을 맞추기 위해 자신의 머리를 움직이는 경향이 있기 때문이다. 따라서, 도 5에 예시된 바와 같이, 크로스-레이어 이미지 최적화 시스템 및 방법(예를 들어, CLIO 모듈(134))은 이미지의 제 2 영역(예를 들어, 라벨 "B"로 도 5에서 라벨링된 영역, 예를 들어, 제 1 영역과 제 1 영역 외측의 제 2 시야 사이 또는 시야의 15도와 20도 사이의 영역)보다, 이미지의 제 1 또는 중심 영역(예를 들어, 라벨 "A"로 도 5에서 라벨링된 영역, 예를 들어, 시야의 15도의 영역)에 대응하는 데이터를 우선시할 수 있다. 또한, 이미지의 제 1 및 제 2 영역 둘 다는 이미지의 제 3 영역(예를 들어, 도 5에서 "C"로 라벨링된 영역, 예를 들어, 제 1 및 제 2 영역 외부 또는 시야의 20도 외측의 영역)보다 우선시될 수 있다.
더 높은 중요도 또는 우선순위를 갖는 이미지의 영역을 식별하는 다른 방법은 그 전체가 인용에 의해 본원에 포함되는 미국 특허 출원 번호 제15/288,977호에서 설명된다. 예를 들어, 일부 실시예에 따르면, 더 높은 중요도를 갖는 이미지의 영역에 대응하는 데이터는 더 낮은 중요도를 갖는 이미지의 영역에 대응하는 데이터에 비해, 보다 높은 레벨의 중요도 또는 보다 높은 정도의 에러 보호를 갖도록 지정될 수 있다. 더 높은 중요도를 갖는 이미지의 영역은, 예를 들어, 도 5와 관련하여 본원에서 설명한 바와 같이, 수신기에 대응하는 표시 장치의 타입에 따라 변동될 수 있다.
이미지의 상이한 영역이 상이하게 우선시될 수 있기 때문에, 크로스-레이어 이미지 최적화 시스템 및 방법(예를 들어, CLIO 모듈(134))은, 이미지의 다른 영역의 데이터와 비교하여, 제 1 영역의 데이터가 최저 레벨의 에러를 갖고, 이미지의 제 2 영역이 2번째로 낮은 레벨의 에러를 갖는 식이 되도록, 프로파일(예를 들어, 위에서 설명한 바와 같은 레이어링/파티셔닝 프로파일) 또는 UEP 방식(아래에서 보다 상세히 설명됨)을 선택할 수 있다. 또한, 일부 실시예에 따르면, 크로스-레이어 이미지 최적화 시스템 및 방법(예를 들어, CLIO 모듈(134))은, 외부 영역 또는 영역으로부터의 에러가 이미지의 최고 우선순위(예를 들어, 중심) 영역으로 전파되지 않도록 데이터를 파티셔닝할 수 있다.
일부 예시적인 실시예에 따르면, 크로스-레이어 이미지 최적화 시스템은, 예를 들어, 송신을 위해 이미지의 상이한 부분을 우선시하기 위해, 더 낮은 번호 프로파일(예를 들어, 더 낮은 에러 가능성 프로파일(lower error-prone profile))이 이미지의 더 높은 우선순위 부분에 대해 선택되고 더 높은 번호 프로파일(예를 들어, 더 높은 에러 가능성 프로파일)이 이미지의 더 낮은 우선순위 부분에 대해 선택되도록 위에서 설명한 다양한 프로파일(예를 들어, 제 1 프로파일 내지 제 7 프로파일)을 이용할 수 있다. 일부 실시예에 따르면, 별도의 프로파일이 표시 장치의 타입(예를 들어, 텔레비전, VR 디스플레이, AR 디스플레이, 무선 의료 디스플레이 등)에 따라 구체적으로 미리 정의될 수 있어서, 데이터는 교환되는 이미지 데이터의 부분의 우선순위 레벨에 따라, 송신(예를 들어, 압축, 인코딩, 패킷화, 비트 드롭핑(bit dropping) 또는 프루닝(pruning)) 또는 수신(예를 들어, 압축해제, 디코딩, 에러 정정, 역-패킷화, 재송신)에 있어 상이한 절차로 송신된다.
일 실시예에서, 레이어링 또는 파티셔닝 프로파일에 대한 선택 기준은 비디오 시각 품질(예를 들어, PSNR) 및/또는 채널 품질(예를 들어, SNR)에 기초할 수 있다. 레이어링은 비압축 비디오, 일부 패킷이 드롭된 비압축 비디오 또는 상이한 압축비를 가진 압축 비디오가 전송되어야 하는지를 식별한다. 큐 우선순위, 지연 공차, 에러 보호 및/또는 신뢰성의 관점에서 상이한 레이어가 상이하게 취급될 수 있다. 그에 상응하여, 송신기 및 수신기는, 프로파일을 선택하거나 프로파일 번호를 수신함으로써, 데이터 송신(예를 들어, 압축, 인코딩, 패킷화, 비트 드롭핑 또는 프루닝) 또는 수신(예를 들어, 압축해제, 디코딩, 에러 정정, 역-패킷화)의 부분으로서 또는 그 이전에 상이한 절차를 인에이블할 수 있다.
일부 실시예에 따르면, 프로파일의 선택은 MAC 또는 PHY 헤더 패킷의 비트 선택에 의해 수신기로 송신될 수 있다. 비트 선택에 기초하여, 수신기는 레이어링을 위해 선택된 방법을 식별할 수 있다. 프로파일 번호 이외에, 예를 들어, 압축에 있어 레이어의 수 및/또는 각각의 레이어에서 패킷/바이트 수를 비롯해서, 선택된 프로파일에 대해 요구되는 임의의 다른 정보가 수신기로 송신될 수 있다. 여분의 정보는 패킷 헤더의 비트 패턴에 의해 또는 보안 채널을 통해 전송되거나 미리 정의될 수 있다.
따라서, 본 발명의 하나 이상의 예시적인 실시예는 무선 데이터 통신 채널 상에서 송신기로부터 수신기로 데이터(예를 들어, 비압축 비디오 데이터)를 송신하기 위해 미리 정의된 레이어링 및/또는 파티셔닝 프로파일의 세트를 선택하기 위한 시스템 및 방법을 포함한다. 프로파일은 예를 들어, 채널 품질, 비디오 품질, 코덱 요건 또는 선택, MCS 및 데이터 레이트 요건, 송신되는 데이터의 성질 또는 특성, (예를 들어, 수신기에 커플링된) 수신기 단의 표시 장치의 성질 또는 특성을 포함하는 다양한 조건 또는 파라미터에 따라 선택될 수 있다. 프로파일의 선택은 예를 들어, MAC 레이어 및/또는 PHY 레이어 헤더 패킷의 비트 선택에 의해 송신기로부터 수신기로 송신될 수 있다. 선택된 프로파일에 의존하여, 압축해제, 디코딩, 에러 정정 등에 대한 하나 이상의 파라미터를 나타내는 추가 정보가 또한 송신기로부터 수신기로 (예를 들어, MAC 레이어 및/또는 PHY 레이어 헤더 패킷에서) 송신될 수 있다. 송신기로부터 수신기로 송신된 정보(예를 들어, 비트 선택)에 기초하여, 수신기는, 데이터 레이어링 및/또는 파티셔닝 및/또는 압축을 위해 송신기에서 이용된 방법 및/또는 프로토콜을 식별하고, 그리하여 레이어링 및/또는 파티셔닝 및/또는 압축을 리버스시키고, 선택된 프로파일에 대응하는 에러 은닉 알고리즘 또는 절차를 사용하여 송신 동안의 임의의 에러를 또한 정정하기 위해 실행할 대응하는 알고리즘 또는 절차를 선택하는 것이 가능해질 수 있다.
본 발명의 실시예는 추가로, 예를 들어, 비디오 디코딩을 위해 보다 중요한 비트를 보호하도록 (예를 들어, 그 비트의 적절한 송신을 용이하게 하도록) 우선순위-기반 불균등 에러 보호(UEP)를 이용할 수 있다. 예를 들어, 레이어-기반 압축에서, 더 높은 압축 레이트에 대응(예를 들어, 베이스 레이어 또는 레이어 1에 대응)하거나 이와 연관되는 비트는 비디오 디코딩에서 보다 중요하며, 따라서 더 많은 보호를 필요로 한다. 또한, 패킷 헤더 또는 프레임 헤더의 비트 에러는 비디오 디코더가 후속 데이터 비트를 디코딩할 수 없게 한다. 크로스-레이어 이미지 최적화 시스템 및 방법의 일 실시예에서, 패킷 헤더는 도 6에서 예시된 바와 같이 각각의 프레임의 선두(beginning)로 이동된다. 또한, 패킷 헤더는 도 7에서 예시된 바와 같이 고유한 선두 및 말미(end) 값에 의해 식별될 수 있다. 헤더가 프레임의 선두로 이동되면, 식별자가 헤더를 서로 분리시키도록 또한 이동된다. 말미 식별자는 일부 예시적인 실시예에 따라 또한 제거될 수 있다. 마지막 말미 식별자는 헤더 정보의 끝과 다음 레이어의 데이터 정보 간을 구별하도록 유지될 수 있다.
일부 예시적인 실시예에 따르면, 크로스-레이어 이미지 최적화 시스템 및 방법(예컨대, CLIO 모듈(134))은 이들 헤더 및 베이스 레이어에 대한 무선 매체의 손실 또는 에러에 대비하여 상이한 보호 기술을 이용할 수 있다. 예를 들어, 일부 실시예에 따르면, 상이한 MCS 값이 상이한 레이어에 이용될 수 있거나 또는 상이한 순방향 에러 정정(FEC) 알고리즘이 상이한 코딩 레이트로 이용될 수 있다. 또한, 불균등 에러 보호 오퍼레이션은 MAC 레이어에서 실행될 수 있고, 그리하여 본 발명의 실시예가 재구성 엔진을 향상시키거나 최적화하여 이를 상이한 코덱에 적용하는 것을 가능케 한다. 예를 들어, APP 레이어가 전체 데이터를 MAC 레이어에 전달하지만, MAC 레이어는 본원에서 설명되는 다양한 크로스-레이어 이미지 최적화 오퍼레이션을 수행하기 위해 보다 많은 유연성을 갖는다. 또한, MAC 레이어에서 UEP를 실행함으로써, 시스템은 상대적으로 더 동적인데, 그 이유는, 상이한 기능이 본원에서 설명된 바와 같이 특정 상황에 따라 상이한 파라미터로 수정될 수 있기 때문이다. 또한, 본 발명의 실시예는 이에 따라 무선 채널의 상태에 기초하여 부분적인 재구성만을 수행하는 것이 가능해질 수 있다.
본 발명의 실시예에 따라 이용된 압축 기술은 도 8에서 예시된 바와 같이 상이한 데이터 컴포넌트를 제공함으로써 상이한 압축비의 레이어 외에도, 추가적인 파티셔닝 기술을 제공할 수 있다. 예를 들어, 다양한 유사한 픽셀 비트(예를 들어, 동일하거나 유사한 MCS 값을 갖는 픽셀 비트)는 함께 그룹화되도록 패킷에서 재구성될 수 있다. 상이한 우선순위를 갖는 다수의 레이어로 그의 출력을 또한 파티셔닝할 수 있는 임의의 적합한 압축 기술이 사용될 수 있다. 헤더 및 데이터 이동에 있어 동일한 접근법이 사용될 수 있다.
상이한 MCS 값 또는 상이한 코딩 레이트를 갖는 FEC가 데이터의 헤더 또는 파티션에 대해 사용될 수 있다.
일 실시예에서, 헤더는 프레임에서 그 헤더 다음에 오는 데이터 패킷의 길이에 관한 정보를 포함한다. 일부 인스턴스에서, 크로스-레이어 이미지 최적화 시스템 및 방법은 채널 조건, MCS 조건, 대역폭 조건 등에 따라 각각의 레이어 또는 파티션에서 데이터 비트의 일부를 송신할 수 있다. 따라서, 송신될 수 있는 데이터 스트림의 길이는 또한 헤더 정보에 첨부되어 수신기로 송신될 수 있다. 예를 들어, 고정된 또는 미리 결정된 수의 바이트(N 바이트)가 이 길이를 식별하기 위해 예약될 수 있다. 일부 예시적인 실시예에 따르면, 데이터 스트림의 길이는 용이한 식별을 위해 각각의 헤더의 끝에 있을 수 있다.
따라서, 본 발명의 일부 예시적인 실시예에 따른 시스템 및 방법은, 무선 데이터 통신 채널 상의 송신에 대한 우선순위, 지연 공차, 및/또는 보호 또는 신뢰성 레벨에 따라 레이어 또는 레벨 기반 압축 시스템에서 비트를 재파티셔닝 또는 재구성하도록 구성될 수 있다. 데이터 프레임은 프레임 헤더 및 패킷 헤더 비트를 포함하며, 이는 데이터 비트와 비교하여 더 높은 레벨의 보호를 필요로 한다. 프레임의 데이터 비트는 또한 상이한 우선순위, 보호 및/또는 신뢰성 레벨로 파티셔닝될 수 있다. 헤더는 미리 정의된 또는 알려진 비트 스트링에 따라 식별될 수 있고, 데이터 비트는 중요도의 순서에 따라 정렬될 수 있다. 일부 실시예에 따르면, 보다 높은 우선순위 또는 더 낮은 지연 공차 비트는 데이터 프레임의 선두로 이동되거나 재구성될 수 있다. 예를 들어, 데이터의 프레임은 (예를 들어, 우선순위 또는 중요도의 순서로) 프레임 헤더로 시작하고, 패킷 헤더가 뒤따르고, 데이터 비트가 뒤따를 수 있다. 패킷 헤더는 미리 정의되거나 미리 결정된 비트 스트링에 의해 분리되거나 식별될 수 있다. 또한, 일부 실시예에 따라, 데이터 비트 스트림의 길이는 각각의 패킷 헤더에 대응하는 길이의 표시자를 패킷 헤더에, 그 앞 또는 그 뒤에 삽입함으로써 표시될 수 있다. 수신기의 디코더는 예를 들어, 패킷 헤더 및 다른 데이터 비트를 그의 원래 위치(재구성 이전)로 이동시키고 데이터 길이 비트와 같이 임의의 추가로 삽입된 데이터를 제거함으로써 프레임을 재구성하지만, 프레임을 재구성하는데 추가 데이터를 이용한다.
따라서, 본 발명의 실시예는 크로스 레이어 이미지 최적화를 위한 임의의 레이어 및/또는 레벨 기반 압축 기술에 대해 불균등 에러 보호의 구현을 제공할 수 있다. 헤더, 레이어 및/또는 데이터 파티션은 중요도 또는 우선순위 레벨에 따라 재구성될 수 있으며, 그러한 재구성은 송신기의 MAC 레이어에서 실행될 수 있다. 크로스 레이어 이미지 최적화 방식에 따라, 각각의 패킷으로부터의 데이터의 일정 부분은 제거되거나 드롭될 수 있고, 이 데이터에 관한 정보는 헤더 정보에 통합될 수 있다. 부가적으로, 본 발명의 실시예는 예를 들어, 상이한 중요도 레벨로 또는 상이하게 정보를 보호하기 위해 순방향 에러 정정에 대해 상이한 MCS 값을 이용함으로써 불균등 에러 보호를 이용할 수 있다. 본 발명의 일부 예시적인 실시예에 따른 불균등 에러 보호의 일부로서, 모든 헤더가 (예를 들어, 한 위치에서) 함께 그룹화되도록 재구성될 수 있기 때문에, 모든 헤더는 예를 들어, 프레임의 헤더 각각에 대해 여러 개의 작은 순방향 에러 정정을 개별적으로 사용하기 보단, 하나의 불균등 에러 보호 알고리즘을 겪을 수 있다.
본 발명의 일부 예시적인 실시예에 따르면, 상이한 패킷은 UEP 및 레이어/파티션-기반 압축을 사용하여 상이하게 보호될 수 있기 때문에, 상이한 패킷을 손실하는 것은 시각 품질에 상이하게 영향을 미친다. 예를 들어, 헤더 또는 베이스 레이어의 특정 패킷이 손실된 경우, 시스템은 수신기 측에서 비디오를 재구성할 수 없을 수 있다. 반면에, 일부 패킷 손실은 PSNR 저하를 초래할 수 있다. 또한, 위에서 설명한 바와 같이, 시스템에서 이용되는 표시 장치의 타입에 의존하여, 이미지 데이터의 상이한 부분은 에러를 최소화하는 관점에서 이미지 데이터의 다른 부분보다 더 높은 우선순위를 가질 수 있다. 따라서, 본 발명의 실시예는 추가로, 아래에서 보다 상세히 설명되는 바와 같이 동적 UEP 및 중요도 인식 태깅을 이용할 수 있다.
위에서 설명한 바와 같이, 본 발명의 실시예에 따른 크로스-레이어 이미지 최적화 시스템 및 방법은, 패킷을 우선순위, 지연 공차, 보호 또는 신뢰성에 기초한 상이한 중요도 레벨로 파티셔닝하도록 동작한다. 각각의 중요도 레벨은 송신 및/또는 수신 시에 상이하게 취급될 수 있다.
일 실시예에서, 각각의 프레임은 상이한 중요도 레벨을 갖는 다수의 비디오 패킷으로 분할된다. 시스템은 그 후 각각의 패킷을 대응하는 중요도 레벨로 태깅(tagging)하고 대응하는 비트는 어그리게이팅된 MAC 프로토콜 데이터 유닛(A-MPDU) 서브프레임 및 물리 레이어 수렴 절차(PLCP) 프로토콜 데이터 유닛(PPDU) 프레임에서 패킹된다. 일 예에서, PPDU는 중요도 레벨로 태깅될 수 있고 동일한 중요도 레벨의 패킷 및 A-MPDU 서브프레임과 동적으로 패킹될 수 있다. 재송신이 가능해지면, 재송신될 필요가 있는 A-MPDU 서브프레임은 큐잉되고 적절한 중요도 레벨을 갖는 적절한 PPDU에 배치될 필요가 있다.
다른 실시예에 따르면, 각각의 A-MPDU 서브프레임은 중요도 레벨에 따라 태깅될 수 있다. 이 경우에, 모든 PPDU는 중요도 레벨 관점에서 동등하게 고려되며 이들은 상이한 중요도 레벨을 갖는 A-MPDU와 패킹된다. 재송신을 필요로 하는 지연 민감 시나리오에서, PPDU 패킷보다는 A-MPDU 서브프레임을 태깅하는 것이 유리할 수 있다. PPDU 패킷보다는 A-MPDU 서브프레임에 태깅하는 것이 태그 정보에 대해 더 많은 오버헤드를 이용할 수 있지만, 이러한 접근법은 다수의 중요도 레벨의 패킷을 관리하는데 더 용이할 수 있다.
다양한 실시예에 따르면, 패킷을 태깅하기 위해 비트 패턴이 A-MPDU 또는 PPDU의 헤더에 추가될 수 있다. 비트 패턴은 M 비트일 수 있으며, 0...0은 최고 중요도를 나타내고, 1...1은 최저 중요도를 나타낸다. 일부 실시예에 따라, 값 M은 미리 정의될 수 있거나 M 값은 헤더 정보의 일부로서 시그널링될 수 있다. 일부 실시예에 따르면, 송신기 및 수신기는 2^M 중요도 레벨 및 각각의 레벨에 대해 상이한 절차를 정의할 수 있다.
IEEE802.11ad 또는 IEEE 802.11ay를 통한 무선 비디오 송신을 위한 보장된 서비스 품질을 위해, 본 발명의 일부 예시적인 실시예에 따른 크로스-레이어 이미지 최적화 시스템 및 방법은 각각의 태깅된 중요도 레벨에 대한 동적 중요도 레벨 인식 AMC를 통해 UEP를 구현할 수 있다. 상이한 중요도 레벨은 상이한 MCS 값으로 변조될 수 있거나 이들은 상이한 순방향 에러 정정(FEC) 값으로 또는 FEC 값은 동일하지만 상이한 코딩 레이트로 인코딩될 수 있다.
관련 기술 시스템에서, PHY는 현재 채널 상황에 적절한 MCS 인덱스를 권고할 수 있다. 그러나 본 발명의 일부 실시예에 따르면, 크로스-레이어 이미지 최적화 시스템 및 방법은 비트 스트림의 대부분에 대해 권고된 MCS를 적응시킬 수 있다. 예를 들어, 시스템은 보다 중요한 레이어 또는 패킷에 대해 MCS 인덱스를 감소시키고 덜 중요한 레이어 또는 패킷에 대해 MCS 인덱스를 증가시킬 수 있다. 도 9는 시스템이 픽셀에서 RGB 컬러를 나타내는 비트의 MSB/LSB 부분에 대해 상이한 MCS 값을 선택하는 비압축 비디오 송신에 대한 예를 도시한다. 4개의 MSB 비트는 MCS-1로 전송되고 다음 2 비트는 MCS로 전송되며 마지막 2개의 LSB 비트는 MCS+1로 전송된다. 그것은 또한, 동일한 MCS 인덱스를 갖는 비트가 동일한 패킷/A-MPDU 서브프레임으로 그룹화되도록 패킷/A-MPDU 서브프레임으로의 비트의 재그룹화를 포함한다.
예를 들어, 압축 비디오 송신에 있어서, 도 6 및 도 8에 관하여 위에서 설명한 바와 같이, 레이어드-기반 압축이 수행되고, 비트가 송신의 중요도 레벨에 따라 재구성된 후에, 헤더 및 베이스 레이어 1은 MCS-1로 송신되고, 레이어 2는 MCS로 전송되며, 마지막으로 레이어 3은 MCS 또는 MCS+1로 전송될 수 있다. 헤더 및 레이어 1은 이에 따라 보다 더 보호되며 거의 에러 없이 송신된다. 이러한 정보 비트는 MCS-1로 전송되기 때문에, 필요한 대역폭이 MCS에 관한 채널의 지원 대역폭을 초과할 가능성이 있다. 보상을 위해, 레이어 3의 일부가 드롭되거나 및/또는 레이어 3 비트가 MCS+1로 변조될 수 있다.
IEEE 802.11ad에서, MCS 인덱스는 262,143 바이트의 각각의 PPDU 패킷에 대해서만 시그널링된다. 따라서, PPDU가 중요도 레벨로 태깅된다면, 본 발명의 실시예는 각각의 패킷에 대한 권고된 MCS 또는 수정된 MCS 인덱스를 사용하기 위해 IEEE 802.11ad 절차를 이용할 수 있다. 일부 실시예에 따르면, IEEE 802.11ad에서의 시그널링은 MCS가 각각의 A-MPDU 서브프레임에 대해 시그널링되도록 수정될 수 있다. 예를 들어, 각각의 패킷의 헤더 내의 현재 예약된 비트 또는 미사용 정보가 이용될 수 있다. IEEE 802.11ad 규격에 따라, 헤더는 도 10의 필드를 포함한다. 일 예로서, 피어 투 피어 연결에서, 본 발명의 실시예는 MCS를 시그널링하기 위해 "어드레스 4"를 사용한다. 본 발명의 실시예는 부가적으로, 각각의 A-MPDU에 대한 MCS를 시그널링하기 위해 헤더에 새로운 바이트를 추가할 수 있다.
따라서, 본 발명의 일부 예시적인 실시예에 따른 크로스-레이어 이미지 최적화 시스템 및 방법은 , 예를 들어, 우선순위, 지연 공차 및/또는 보호 또는 신뢰성에 기초하여 상이한 중요도 카테고리로 비디오 프레임의 데이터(예를 들어, 픽셀 데이터, 패킷 등)를 파티셔닝하도록 동작할 수 있다. 각각의 비디오 프레임은 다수의 중요도 레벨로 분할될 수 있고 대응하는 비트는 A-MPDU 서브프레임으로 패킹될 수 있다. 상이한 패킷(예를 들어, A-MPDU 서브프레임, PPDU 서브프레임 등)이 중요도 레벨에 따라 태깅될 수 있으며, 일부 실시예에 따라 상이한 패킷은 그의 중요도의 순서에 따라 수신기에 송신될 수 있다. 상이한 패킷(예를 들어, A-MPDU 서브프레임)은 그의 중요도 레벨에 따라 (예를 들어, PPDU 패킷으로) 그룹화될 수 있다. 중요도 레벨을 나타내는 값 또는 태그가 패킷의 헤더에 추가될 수 있다. 수신기 단에서, 수신기는 태그 레벨을 결정하는 것이 가능해질 수 있고, 그에 따라 태깅에 따라 상이한 에러 복원 및/또는 은닉 절차를 추가로 가능케 할 수 있다. 또한, 상이한 중요도 레벨을 갖는 데이터는 각각의 패킷에 대해 상이한 변조 및 코딩 방식(MCS) 값을 선택함으로써 상이하게 보호될 수 있다. 대응하는 MCS 값은 태그 이외에도 패킷에 대한 헤더에 삽입될 수 있다.
따라서, 본 발명의 실시예는 무선 크로스-레이어 이미지 최적화를 위한 AMC를 비롯해서, 무선 데이터 송신을 위한 송신기 및 수신기에서의 패킷에 대한 동적 파티셔닝 및/또는 태깅(예를 들어, IEEE 멀티-기가비트 802.11에서) 및 중요도 인식 절차를 가능하게 할 수 있다. 본 발명의 실시예는 다수의 콘텐츠 구동 태그를 이용하여 A-MPDU(데이터) 패킷 내의 각각의 작은 패킷의 태깅을 가능하게 할 수 있다. 태그는 송신되고 수신기로 시그널링될 수 있다. 상이한 절차 또는 파라미터는 본원에서 설명된 크로스-레이어 이미지 최적화 메커니즘의 다양한 양상을 통합하기 위한 태그와 연관될 수 있다. 또한, 본 발명의 실시예는 AMC(태그에 대한 MCS 적응)와 같은 불균등 에러 보호 기반 태그를 이용할 수 있다.
본 발명의 다양한 실시예에 따르면, 시스템은 크로스-레이어 이미지 최적화를 위한 다양한 파라미터 및 팩터를 연속적으로 모니터링하고 상응하게 조정할 수 있다. 예를 들어, 시스템은 수신기로부터의 리턴 신호를 모니터링할 수 있고, 환경이 변함에 따라, 예를 들어, 후속 데이터 송신을 위해 위에서 설명한 바와 같이 상이한 프로파일, 압축 또는 에러 정정 기술 등을 선택함으로써 크로스-레이어 이미지 최적화를 상응하게 조정할 수 있다.
도 11은 본 발명의 일부 예시적인 실시예에 따르면, 크로스-레이어 이미지 최적화를 위한 방법의 다양한 오퍼레이션을 예시하는 예시적인 흐름도이다. 그러나 도 11에서 예시된 오퍼레이션의 수 및 순서는 예시된 흐름도로 한정되지 않는다. 예를 들어, 일부 실시예에 따르면, 오퍼레이션의 순서는(달리 지시되지 않는 한) 수정될 수 있거나, 또는 프로세스는 본 발명의 사상 및 범위를 벗어나지 않으면서 추가 오퍼레이션 또는 더 적은 오퍼레이션을 모두 포함할 수 있다. 예를 들어, 본 개시 및 대응하는 도면에서 설명된 다양한 다른 특징 및 오퍼레이션은 프로세스에 통합될 수 있거나, 또는 특정한 오퍼레이션은 본 발명의 일부 예시적인 실시예에 따라 생략될 수 있다.
프로세스가 시작되면, 단계(1200)에서 시스템(예를 들어, 무선 데이터 송신 시스템(100) 및/또는 송신기(102))은 데이터 소스로부터 데이터(예를 들어, 예컨대, 비압축 비디오 데이터를 포함하는 비디오 데이터 신호)를 수신한다. 단계(1202)에서, 예를 들어, 채널 품질, 시각 품질 및 수신기에 연결된 표시 장치의 타입을 비롯해서, 수신기에 대한 데이터 송신에 관한 다양한 정보를 포함하는 리턴 데이터가 수신기(예를 들어, 수신기(106))에 의해 수신된다. 다음, 단계(1204)에서 시스템은 표시 장치의 타입을 식별할 수 있다. 단계(1206)에서, 레이어링 및/또는 파티셔닝 프로파일은, 예를 들어, 표시 장치의 타입, 비디오 시각 품질에 대한 상이한 기준 또는 표시자(피크 신호 대 잡음비(PSNR)을 포함함), 채널 품질, 코덱 요건 또는 선택, MCS 및 데이터 레이트 요건 등을 포함하는 하나 이상의 미리 정의된 파라미터에 기초하여 선택된 후, 송신된다.
단계(1208)에서, 레이어 또는 레벨-기반 압축이, 예를 들어, 선택된 레이어링/파티셔닝 프로파일에 따라 데이터 상에서 수행될 수 있다. 그 후, 단계(1210)에서, 레이어, 파티션, 패킷 또는 데이터의 비트는 위에서 설명한 바와 같이 그 중요도 레벨에 따라 그룹 또는 패킷으로 재구성된다.
단계(1212)에서, 데이터는 데이터의 패킷 및/또는 데이터의 중요도 레벨을 나타내도록 태깅될 수 있다. 그 후, 단계(1214)에서 상이한 타입의 데이터의 중요도 레벨에 기초하여, 데이터를 수신기로 송신하기 위해 불균등 에러 보호가 수행될 수 있다. 단계(1216)에서, 데이터는 예를 들어, 디스플레이 패널 상의 표시를 위해 수신기로 송신된다.
본원에서 설명되는 본 발명의 실시예에 따른 무선 데이터 송신 시스템 및/또는 임의의 다른 관련 디바이스 또는 컴포넌트는 임의의 적합한 하드웨어, 펌웨어(예를 들어, 주문형 집적 회로), 소프트웨어, 또는 소프트웨어, 펌웨어 , 하드웨어의 적합한 조합을 이용하여 구현될 수 있다. 예를 들어, 무선 데이터 송신 시스템의 다양한 컴포넌트는 하나의 집적 회로(IC) 칩 또는 별도의 IC 칩 상에 형성될 수 있다. 또한, 표시 장치의 다양한 컴포넌트는 가요성 인쇄 회로 필름, 테이프 캐리어 패키지(TCP), 인쇄 회로 보드(PCB) 상에 구현되거나 표시 장치와 동일한 기판 상에 형성될 수 있다. 또한, 무선 데이터 송신 시스템의 다양한 컴포넌트는 하나 이상의 프로세서 상에서 실행되고, 하나 이상의 컴퓨팅 디바이스에서, 컴퓨터 프로그램 명령을 실행하고, 본원에서 설명되는 다양한 기능성을 수행하기 위해 다른 시스템 컴포넌트와 상호작용하는 프로세스 또는 스레드일 수 있다. 컴퓨터 프로그램 명령은 예를 들어, 랜덤 액세스 메모리(RAM)와 같은 표준 메모리 디바이스를 사용하여 컴퓨팅 디바이스에서 구현될 수 있는 메모리에 저장된다. 컴퓨터 프로그램 명령은 또한, 예를 들어, CD-ROM, 플래시 드라이브 등과 같은 다른 비-일시적인 컴퓨터 판독 가능 매체에 저장될 수 있다. 또한, 당업자는, 본 발명의 예시적인 실시예의 범위로부터 벗어나지 않으면서, 다양한 컴퓨팅 디바이스의 기능성이 단일 컴퓨팅 디바이스에 통합 또는 결합되거나, 또는 특정 컴퓨팅 디바이스의 기능성이 하나 이상의 컴퓨팅 디바이스에 걸쳐 분산될 수 있다는 것을 인지해야 한다.
본 발명이 특정의 특정 실시예에서 설명되었지만, 당업자는 본 발명의 범위 및 사상으로부터 결코 벗어나지 않는, 설명된 실시예에 대한 변동을 창안하는데 어려움이 없을 것이다. 또한, 다양한 기술 분야의 숙련자에게, 본원의 본 발명 자체가 다른 애플리케이션에 대한 다른 태스크 및 적응에 대한 솔루션을 제안할 것이다. 본 출원인의 의도는, 본 발명의 모든 이러한 용도 및 본 발명의 사상 및 범위로부터 벗어남 없이 본 개시의 목적을 위해 선택되는, 본원의 발명의 실시예에 대해 이루어질 수 있는 변경 및 변형이 청구 범위에 의해 포함된다는 것이다. 따라서, 본 발명의 본 실시예는 모든 면에서 제한적이 아니라 예시적인 것으로서 간주되어야 하며, 본 발명의 범위는 위의 설명보다는 첨부된 청구항 및 그 등가물에 의해 표시될 것이다.

Claims (19)

  1. 무선 통신 채널 상에서, 수신기와 전자 통신하는 송신기가 디스플레이 패널용 비디오를 송신하는 방법으로서,
    상기 송신기에 의해, 데이터 소스로부터의 한 프레임의 비디오 데이터를 수신하는 단계,
    상기 송신기에 의해, 상기 한 프레임의 비디오 데이터에 대응하는 비트들을 복수의 중요도 레벨에 각각 대응하는 복수의 그룹으로 그룹화하는 단계,
    상기 송신기에 의해, 상기 복수의 그룹을 중요도 순서로 재구성하여 재구성된 데이터 프레임을 생성하는 단계,
    상기 송신기에 의해, 상기 복수의 패킷 헤더의 각각의 패킷 헤더에 대응하는 데이터 비트의 길이를 나타내는 값을 각각의 패킷 헤더 앞에 삽입하는 단계,
    상기 송신기에 의해, 상기 디스플레이 패널 상의 표시를 위해 상기 한 프레임의 비디오 데이터에 대응하는 상기 비트들을 상기 수신기에 송신하여 상기 복수의 그룹 중의 각각의 그룹이 대응하는 중요도 레벨에 기초한 상이한 보호 기술에 따라 송신되는 단계,
    상기 송신기에 의해, 상기 수신기로부터의 리턴 신호를 모니터링하는 단계, 및
    상기 송신기에 의해, 후속 송신을 위해 상기 상이한 보호 기술을 조정하는 단계
    를 포함하며,
    상기 재구성된 데이터 프레임은 복수의 패킷 헤더에 대응하는 제1 그룹을 포함하고,
    상기 제1 그룹은 상기 복수의 그룹 중 선두에 배열되고,
    상기 복수의 패킷 헤더는 최고 중요도 레벨을 가지는
    비디오 송신 방법.
  2. 제1항에서,
    각각의 그룹은 대응하는 중요도 레벨에 기초하여 상이한 변조 및 코딩 방식(MCS) 값을 갖는 비디오 송신 방법.
  3. 제1항에서,
    각각의 그룹은 대응하는 중요도 레벨에 기초하여 상이한 순방향 에러 정정 코딩 레이트를 갖는 비디오 송신 방법.
  4. 제1항에서,
    상기 수신기의 디코더는 상기 한 프레임의 비디오 데이터를 재구성하도록 구성되는 비디오 송신 방법.
  5. 제4항에서,
    상기 한 프레임의 비디오 데이터를 재구성하는 단계는, 상기 복수의 패킷 헤더의 각각의 패킷 헤더를 그의 원래의 상대적 위치로 이동시키는 단계를 포함하는 비디오 송신 방법.
  6. 제4항에서,
    상기 한 프레임의 비디오 데이터를 재구성하는 단계는, 상기 데이터 비트의 길이를 나타내는 상기 값을 제거하는 단계를 포함하는 비디오 송신 방법.
  7. 삭제
  8. 제1항에서,
    상기 송신기에 의해, 상기 수신기에 대응하는 표시 장치의 타입에 따라 상기 상이한 보호 기술을 선택하는 단계를 더 포함하는 비디오 송신 방법.
  9. 무선 통신 채널 상에서 수신기에 디스플레이 패널용 데이터를 송신하기 위한 송신기에서, 상기 송신기는,
    데이터 소스로부터 한 프레임의 비디오 데이터를 수신하고,
    상기 한 프레임의 비디오 데이터에 대응하는 비트들을 복수의 중요도 레벨에 각각 대응하는 복수의 그룹으로 그룹화하고,
    상기 복수의 그룹을 중요도 순서로 재구성하여 재구성된 데이터 프레임을 생성하고,
    상기 복수의 패킷 헤더의 각각의 패킷 헤더에 대응하는 데이터 비트의 길이를 나타내는 값을 각각의 패킷 헤더 앞에 삽입하고,
    상기 디스플레이 패널 상의 표시를 위해 상기 한 프레임의 비디오 데이터에 대응하는 상기 비트들을 상기 수신기에 송신하여 상기 복수의 그룹 중의 각각의 그룹이 대응하는 중요도 레벨에 기초한 상이한 보호 기술에 따라 송신되도록 하고,
    상기 수신기로부터의 리턴 신호를 모니터링하고,
    후속 송신을 위해 상기 상이한 보호 기술을 조정하도록 구성되어 있으며,
    상기 재구성된 데이터 프레임은 복수의 패킷 헤더에 대응하는 제1 그룹을 포함하고,
    상기 제1 그룹은 상기 복수의 그룹 중 선두에 배열되고,
    상기 복수의 패킷 헤더는 최고 중요도 레벨을 가지는
    송신기.
  10. 제9항에서,
    각각의 그룹은 대응하는 중요도 레벨에 기초하여 상이한 변조 및 코딩 방식(MCS) 값을 갖는 송신기.
  11. 제9항에서,
    각각의 그룹은 대응하는 중요도 레벨에 기초하여 상이한 순방향 에러 정정 코딩 레이트를 갖는 송신기.
  12. 제9항에서,
    상기 수신기의 디코더는, 상기 복수의 패킷 헤더의 각각의 패킷 헤더를 그의 원래의 상대적 위치로 이동시킴으로써 상기 한 프레임의 비디오 데이터를 재구성하도록 구성된 송신기.
  13. 삭제
  14. 무선 통신 채널 상에서 수신기와 전자 통신하는 송신기에 의해 디스플레이 패널용 비디오를 송신하는 방법으로서,
    상기 송신기에 의해, 데이터 소스로부터 한 프레임의 비디오 데이터를 수신하는 단계,
    상기 송신기에 의해, 상기 한 프레임의 비디오 데이터에 대응하는 비트들을 복수의 중요도 레벨에 각각 대응하는 복수의 그룹으로 그룹화하는 단계,
    상기 송신기에 의해, 상기 복수의 그룹을 중요도 순서로 재구성하여 재구성된 데이터 프레임을 생성하는 단계,
    상기 송신기에 의해, 상기 디스플레이 패널 상의 표시를 위해 상기 한 프레임의 비디오 데이터에 대응하는 상기 비트들을 상기 수신기에 송신하여 상기 복수의 그룹 중의 각각의 그룹이 대응하는 중요도 레벨에 기초한 상이한 보호 기술에 따라 송신되는 단계,
    상기 수신기로부터의 리턴 신호를 모니터링하는 단계, 및
    상기 송신기에 의해, 후속 송신을 위해, 채널 품질 또는 비디오 품질 중 적어도 하나의 변화에 기초하여 상기 상이한 보호 기술을 조정하는 단계를 포함하며,
    상기 재구성된 데이터 프레임은 복수의 패킷 헤더에 대응하는 제1 그룹을 포함하고,
    상기 제1 그룹은 상기 복수의 그룹 중 선두에 배열되고,
    상기 복수의 패킷 헤더는 최고 중요도 레벨을 가지는
    비디오 송신 방법.
  15. 제14항에서,
    각각의 그룹은 대응하는 중요도 레벨에 기초하여 상이한 변조 및 코딩 방식(MCS) 값을 갖는 비디오 송신 방법.
  16. 제14항에서,
    각각의 그룹은 대응하는 중요도 레벨에 기초하여 상이한 순방향 에러 정정 코딩 레이트를 갖는 비디오 송신 방법.
  17. 제14항에서,
    상기 수신기의 디코더는 상기 한 프레임의 비디오 데이터를 재구성하도록 구성되는 비디오 송신 방법.
  18. 삭제
  19. 제14항에서,
    상기 송신기에 의해, 상기 수신기에 대응하는 표시 장치의 타입에 따라 이미지의 상이한 영역에 대응하는 데이터에 대해 상기 상이한 보호 기술을 선택하는 단계를 더 포함하는 비디오 송신 방법.
KR1020170117244A 2016-09-26 2017-09-13 비디오 송신 방법 및 데이터 송신기 KR102473678B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662400042P 2016-09-26 2016-09-26
US62/400,042 2016-09-26
US15/359,551 2016-11-22
US15/359,551 US10523895B2 (en) 2016-09-26 2016-11-22 System and method for electronic data communication

Publications (2)

Publication Number Publication Date
KR20180035137A KR20180035137A (ko) 2018-04-05
KR102473678B1 true KR102473678B1 (ko) 2022-12-02

Family

ID=61686923

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170117244A KR102473678B1 (ko) 2016-09-26 2017-09-13 비디오 송신 방법 및 데이터 송신기

Country Status (3)

Country Link
US (1) US10523895B2 (ko)
KR (1) KR102473678B1 (ko)
CN (1) CN107872296B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2573484B (en) 2017-10-09 2022-08-03 Displaylink Uk Ltd Compensating for interruptions in a wireless connection
GB2568037B (en) * 2017-10-27 2022-08-03 Displaylink Uk Ltd Compensating for interruptions in a wireless connection
CN110299963A (zh) * 2019-06-05 2019-10-01 西安万像电子科技有限公司 数据处理方法及装置
US11588597B2 (en) * 2020-11-09 2023-02-21 Qualcomm Incorporated Determining a density of a phase tracking reference signal
CN112235606A (zh) * 2020-12-11 2021-01-15 全时云商务服务股份有限公司 一种多层视频处理方法、系统和可读存储介质
CN113709510A (zh) * 2021-08-06 2021-11-26 联想(北京)有限公司 高速率数据实时传输方法及装置、设备、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140036999A1 (en) * 2012-06-29 2014-02-06 Vid Scale Inc. Frame prioritization based on prediction information

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5881176A (en) 1994-09-21 1999-03-09 Ricoh Corporation Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
US6754277B1 (en) 1998-10-06 2004-06-22 Texas Instruments Incorporated Error protection for compressed video
ES2266273T3 (es) 2000-09-28 2007-03-01 Nokia Corporation Metodo y compresor para la compresion de informacion de indicacion de tiempo de paquetes.
ATE372639T1 (de) 2000-12-08 2007-09-15 Sony Deutschland Gmbh Schnittstelle auf hoher ebene für dienstqualitätbasierte mobile multimedia- anwendungen
US20020157058A1 (en) * 2001-02-20 2002-10-24 Cute Ltd. System and method for feedback-based unequal error protection coding
US7406522B2 (en) 2001-09-26 2008-07-29 Packeteer, Inc. Dynamic partitioning of network resources
US7194622B1 (en) 2001-12-13 2007-03-20 Cisco Technology, Inc. Network partitioning using encryption
US7403828B2 (en) 2002-01-16 2008-07-22 Aviom, Inc. System and method for transmitting and distributing audio or video data over a network system having multiple receivers
US6952450B2 (en) 2002-02-15 2005-10-04 Koninklijke Philips Electronics, N.V. Unequal error protection of video based on motion vector characteristics
US7509687B2 (en) * 2002-03-16 2009-03-24 Trustedflow Systems, Inc. Remotely authenticated operation method
WO2005043856A1 (fr) 2003-10-30 2005-05-12 Utstarcom (China) Co. Ltd. Dispositif et procede de transfert sans fil de paquets ip en temps reel a l'aide d'une technique d'en-tete de compression
US8090857B2 (en) 2003-11-24 2012-01-03 Qualcomm Atheros, Inc. Medium access control layer that encapsulates data from a plurality of received data units into a plurality of independently transmittable blocks
US7580356B1 (en) 2005-06-24 2009-08-25 Packeteer, Inc. Method and system for dynamically capturing flow traffic data
WO2007073362A1 (en) 2005-08-30 2007-06-28 Thomson Licensing Cross-layer optimization for scalable video multicast over ieee 802.11 wireless local area networks
WO2007031090A1 (en) 2005-09-15 2007-03-22 Aalborg Universitet A method of compressing the header of a data packet
US8006168B2 (en) 2005-12-19 2011-08-23 Amimon Ltd Apparatus and method for applying unequal error protection during wireless video transmission
US8665967B2 (en) * 2006-02-15 2014-03-04 Samsung Electronics Co., Ltd. Method and system for bit reorganization and packetization of uncompressed video for transmission over wireless communication channels
US8009609B2 (en) 2006-06-09 2011-08-30 Alcatel Lucent Maintaining quality of service for wireless communications
EP2116001A4 (en) 2006-12-20 2013-04-03 Thomson Licensing IMPROVE THE THROUGHPUT IN A LAN BY MANAGING TCP ACKS
US8612857B2 (en) 2007-01-08 2013-12-17 Apple Inc. Monitor configuration for media device
US7775431B2 (en) * 2007-01-17 2010-08-17 Metrologic Instruments, Inc. Method of and apparatus for shipping, tracking and delivering a shipment of packages employing the capture of shipping document images and recognition-processing thereof initiated from the point of shipment pickup and completed while the shipment is being transported to its first scanning point to facilitate early customs clearance processing and shorten the delivery time of packages to point of destination
US8300661B2 (en) 2007-04-10 2012-10-30 Samsung Electronics Co., Ltd. System and method for wireless communication of uncompressed video using mode changes based on channel feedback (CF)
US20090103635A1 (en) 2007-10-17 2009-04-23 Peshala Vishvajith Pahalawatta System and method of unequal error protection with hybrid arq/fec for video streaming over wireless local area networks
US7944978B2 (en) 2007-10-29 2011-05-17 Lightwaves Systems, Inc. High bandwidth data transport system
US8095736B2 (en) 2008-02-25 2012-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for dynamic cache partitioning for distributed applications operating on multiprocessor architectures
KR101509257B1 (ko) 2008-03-18 2015-04-08 한국전자통신연구원 광대역 고주파수 무선 시스템에서 다양한 형태의 비압축 동영상 신호 전송을 위한 차별적 오류 보호 방법 및 그 장치
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
KR101597987B1 (ko) 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
US9083986B2 (en) 2009-05-01 2015-07-14 Broadcom Corporation Method and system for adaptive rate video compression and transmission
EP2249569A1 (en) 2009-05-08 2010-11-10 Imec Cross-layer optimization for transmission of video codec over wireless networks
WO2011068355A2 (ko) 2009-12-01 2011-06-09 삼성전자 주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
CN101917625A (zh) * 2010-06-03 2010-12-15 北京邮电大学 一种基于联合信源-网络编码的可分级视频流传输方法
US8824543B2 (en) 2010-06-18 2014-09-02 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Multilayer decoding using persistent bits
US9113371B2 (en) 2010-07-01 2015-08-18 The Hong Kong University Of Science And Technology Cross-layer optimization for next-generation WiFi systems
EP2622857A1 (en) 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
EP2628298A1 (en) 2010-10-12 2013-08-21 Dolby Laboratories Licensing Corporation Joint layer optimization for a frame-compatible video delivery
US8553769B2 (en) 2011-01-19 2013-10-08 Blackberry Limited Method and device for improved multi-layer data compression
CA2829418A1 (en) 2011-03-09 2012-09-13 Sirius XM Radio, Inc. System and method for increasing transmission bandwidth efficiency
US9210446B2 (en) 2011-09-12 2015-12-08 San Diego State University Research Foundation Slice priority prediction system for H.264 video
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
MY178763A (en) 2011-09-29 2020-10-20 Mimos Berhad A method of allocating quality of service based on quality of transmission
US8971250B2 (en) 2011-10-29 2015-03-03 Ofinno Technologies, Llc Special subframe allocation
US20130203400A1 (en) * 2011-11-16 2013-08-08 Flextronics Ap, Llc On board vehicle presence reporting module
US9942580B2 (en) 2011-11-18 2018-04-10 At&T Intellecutal Property I, L.P. System and method for automatically selecting encoding/decoding for streaming media
WO2013085365A1 (ko) 2011-12-09 2013-06-13 엘지전자 주식회사 무선랜 시스템에서 프레임 송신 및 수신 방법과 이를 지원하는 장치
CN103166995B (zh) * 2011-12-14 2016-08-10 华为技术有限公司 一种视频传输方法及装置
EP2792146A4 (en) 2011-12-17 2015-12-09 Dolby Lab Licensing Corp ENHANCED RESOLUTION VIDEO DISTRIBUTION COMPATIBLE WITH A FRAME, INTERLACED, MULTILAYER
US9819717B2 (en) 2011-12-28 2017-11-14 Intel Corporation Video adaptation for content-aware wireless streaming
JP6085617B2 (ja) * 2012-02-11 2017-02-22 ヴィド スケール インコーポレイテッド ビデオアウェアの（ｖｉｄｅｏａｗａｒｅ）ハイブリッド自動再送要求のための方法および装置
WO2013171588A1 (en) 2012-05-15 2013-11-21 Marvell World Trade Ltd. Extended priority for ethernet packets
CN103067719A (zh) * 2013-01-31 2013-04-24 南京邮电大学 基于不等差错保护的实时视频通信方法
BR112015024172B1 (pt) 2013-03-26 2023-01-31 Dolby Laboratories Licensing Corporation Método, sistema e meio de armazenamento legível por computador
US9818422B2 (en) 2013-08-30 2017-11-14 The Regents Of The University Of California Method and apparatus for layered compression of multimedia signals for storage and transmission over heterogeneous networks
CN105474691B (zh) * 2013-09-05 2019-08-27 索尼公司 信息处理设备和信息处理方法
US9226137B2 (en) 2013-09-30 2015-12-29 Qualcomm Incorporated Method and apparatus for real-time sharing of multimedia content between wireless devices
US10264272B2 (en) 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
WO2015075937A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
JP6333983B2 (ja) 2014-01-03 2018-05-30 エルジー エレクトロニクス インコーポレイティド ロバストヘッダー圧縮パケットストリームを含む放送信号を送受信する方法及び装置
US9832481B2 (en) 2014-01-03 2017-11-28 Qualcomm Incorporated Support of base layer of a different codec in multi-layer video coding
US9407734B2 (en) 2014-01-31 2016-08-02 Aruba Networks, Inc. System and method for efficient frame aggregation based on aggregation limits or parameters
US9591316B2 (en) 2014-03-27 2017-03-07 Intel IP Corporation Scalable video encoding rate adaptation based on perceived quality
US10321350B2 (en) 2014-08-19 2019-06-11 Cambium Networks Limited Rate adapt algorithm for a wireless connection
ES2907602T3 (es) 2014-12-31 2022-04-25 Nokia Technologies Oy Predicción entre capas para la codificación y decodificación de vídeo escalable

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140036999A1 (en) * 2012-06-29 2014-02-06 Vid Scale Inc. Frame prioritization based on prediction information

Also Published As

Publication number Publication date
US10523895B2 (en) 2019-12-31
KR20180035137A (ko) 2018-04-05
CN107872296B (zh) 2022-10-18
CN107872296A (zh) 2018-04-03
US20180091765A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
US10911763B2 (en) System and method for electronic data communication
KR102326312B1 (ko) 비디오 송신 방법 및 데이터 송신기
KR102473678B1 (ko) 비디오 송신 방법 및 데이터 송신기
KR102385337B1 (ko) 비디오 송신 방법 및 데이터 송신기
US8665967B2 (en) Method and system for bit reorganization and packetization of uncompressed video for transmission over wireless communication channels
US8856624B1 (en) Method and apparatus for dynamically generating error correction
US20120314948A1 (en) Multiple description coding with plural combined diversity
KR102428831B1 (ko) 데이터 전송 방법 및 송신기
Mobasher et al. Cross layer image optimization (CLIO) for wireless video transmission over 802.11 ad multi-gigabit channels
KR100916312B1 (ko) 적응적 가중 오류 정정 부호화 및 다중 표현열 부호화를사용한 비디오 전송 장치 및 그 방법
CN115250383A (zh) 一种流媒体数据传输的方法及相关设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant