KR101416062B1 - 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치 - Google Patents

무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치 Download PDF

Info

Publication number
KR101416062B1
KR101416062B1 KR1020120056978A KR20120056978A KR101416062B1 KR 101416062 B1 KR101416062 B1 KR 101416062B1 KR 1020120056978 A KR1020120056978 A KR 1020120056978A KR 20120056978 A KR20120056978 A KR 20120056978A KR 101416062 B1 KR101416062 B1 KR 101416062B1
Authority
KR
South Korea
Prior art keywords
component value
partition
partitions
pixel
image data
Prior art date
Application number
KR1020120056978A
Other languages
English (en)
Other versions
KR20120132444A (ko
Inventor
박성범
권혁춘
후아이롱 샤오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20120132444A publication Critical patent/KR20120132444A/ko
Application granted granted Critical
Publication of KR101416062B1 publication Critical patent/KR101416062B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646—Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/10—Flow control between communication endpoints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Abstract

소정 크기의 픽셀 블록에 포함되는 픽셀들 각각의 휘도 성분 값 및 색차 성분 값을 획득하고, 픽셀 블록에서 픽셀들의 공간적인 위치에 기초하여 휘도 성분 값들 및 색차 성분 값들이 배치된 복수 개의 파티션을 획득하고, 영상 데이터의 데이터 전송률에 따라 복수 개의 파티션을 선택적으로 송신하는 단계를 포함하는 데이터 송신 방법이 제공된다.

Description

무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING DATA RATE IN WIRELESS COMMUNICATION SYSTEM}
본 발명은, 무선 통신에 관한 것이며, 구체적으로는 영상 데이터를 전송하는 통신 기술에 관한 것이다.
영상의 해상도가 증가함에 따라 HD 영상을 사용하는 전자 장치들의 수가 증가하고 있다. 종래에 대부분의 장치들은 장치들간에 데이터 전송이 가능하도록 수 Gbps 근방의 대역폭이 가능한 HD 영상을 작은 크기로 압축한다. 그러나, 이와 같은 영상의 압축 및 압축 복원에 있어서 일부 영상 정보가 소실되거나 픽쳐의 화질이 열화될 수 있다.
이와 같은 무선 통신 시스템에서는 영상 스트림이 전송되기 전에 연결 설정 및 채널 대역폭 할당이 수행된다. 충분한 대역폭이 할당될 수 있고, 스트림 구성에 대한 제어를 완료한 뒤 영상 스트림이 전송되도록 하는 것이 바람직하다. 그러나, 동일한 채널내에서 진행중인 다른 전송에 의하여 충분한 채널 대역폭이 확보되지 못할 수 있다. 또한, 무선 채널의 품질은 시간에 따라 동적으로 변한다. 특히, 빔 형성(beamformed)된 전송이 수행되는 60 GHz 대역 무선 채널에서는, 사람의 움직임에 의해서도 채널이 영향을 받을 수 있다.
대한민국 공개특허공보 특2002-0054236호에는 디지털 방송용 영상 신호 송수신 장치 및 방법이 개시되어 있다.
본 발명에서는, 비압축 영상 데이터를 구성하는 픽셀 블록들에 대하여, 픽셀 간의 참조 거리에 기초하여 픽셀 드랍(pixel dropping)을 수행함으로써, 영상 데이터를 전송하는 과정에서 데이터 전송률(data rate)을 감소시키는 방법 및 장치가 제공된다.
또한, 픽셀 드랍이 수행된 비압축 영상 데이터를 수신하고, 픽셀 블록 마다 드랍된 픽셀들을 복원하는 방법 및 장치가 제공된다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 기술적 과제를 해결하기 위한 데이터 송신 방법은, 소정 크기의 픽셀 블록에 포함되는 픽셀들 각각의 휘도 성분 값 및 색차 성분 값을 획득하는 단계, 픽셀 블록에서 픽셀들의 공간적인 위치에 기초하여 휘도 성분 값들 및 색차 성분 값들이 배치된 복수 개의 파티션을 획득하는 단계, 영상 데이터의 데이터 전송률에 따라 복수 개의 파티션을 선택적으로 송신하는 단계를 포함한다.
상기 기술적 과제를 해결하기 위한 일 실시 예에 의하면, 데이터 송신 방법은, 영상 데이터의 데이터 전송률을 감소시키기 위하여 적어도 하나의 파티션을 드랍하는 단계를 더 포함하고, 선택적으로 송신하는 단계는, 복수 개의 파티션 중에서 드랍된 파티션을 제외하고 송신하는 단계인 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 일 실시 예에 의하면, 드랍하는 단계는, 영상 데이터가 송신되는 무선 채널의 대역폭에 기초하여, 드랍되는 파티션의 개수를 단계적으로 증가시키며 드랍하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 일 실시 예에 의하면, 드랍하는 단계는, 복수 개의 파티션의 중요도 레벨(importance level)에 기초하여 중요도 레벨이 낮은 파티션부터 드랍하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 일 실시 예에 의하면, 복수 개의 파티션을 획득하는 단계는, 휘도 성분 값 및 색차 성분 값을 분리하여 각각 서로 다른 파티션에 배치하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 일 실시 예에 의하면, 픽셀 블록은, 2개의 픽셀 라인 및 2개의 픽셀 행으로 배치된 4개의 픽셀을 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 일 실시 예에 의하면, 영상 데이터의 컬러 포맷(color format)은, YCbCr 4:4:4, YCbCr 4:2:2, 및 YCbCr 4:2:0 중 어느 하나인 특징으로 한다.
상기 기술적 과제를 해결하기 위한 일 실시 예에 의하면, 복수 개의 파티션의 개수는, 영상 데이터의 컬러 포맷에 기초하여 결정되는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 데이터 수신 방법은, 일부 픽셀의 휘도 성분 값 및 색차 성분 값 중 적어도 하나가 드랍된 영상 데이터를 수신하는 단계, 및 수신된 영상 데이터에 포함된 픽셀의 데이터 값을 참조하여, 드랍된 휘도 성분 값 및 색차 성분 값을 복원하는 단계를 포함한다.
상기 기술적 과제를 해결하기 위한 일 실시 예에 의하면, 수신된 영상 데이터는, 픽셀 블록에 포함된 휘도 성분 값 및 색차 성분 값이 분리되어 배치된 복수 개의 파티션 중 적어도 하나가 드랍된 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 일 실시 예에 의하면, 수신하는 단계는, 영상 데이터의 컬러 포맷, 및 드랍된 파티션에 대한 인덱싱 정보를 영상 데이터와 함께 수신하고, 복원하는 단계는, 인덱싱 정보에 기초하여 드랍된 휘도 성분 값 및 색차 성분 값을 복원하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 무선 송신기는, 소정 크기의 픽셀 블록에 포함되는 픽셀들 각각의 휘도 성분 값 및 색차 성분 값을 획득하고, 픽셀 블록에서 픽셀들의 공간적인 위치에 기초하여 휘도 성분 값들 및 색차 성분 값들이 배치된 복수 개의 파티션을 획득하는 픽셀 파티셔닝 모듈, 및 영상 데이터의 데이터 전송률에 따라 복수 개의 파티션을 선택적으로 송신하는 데이터 송신 모듈을 포함한다.
상기 기술적 과제를 해결하기 위한 무선 수신기는, 일부 픽셀의 휘도 성분 값 및 색차 성분 값 중 적어도 하나가 드랍된 영상 데이터를 수신하는 데이터 수신 모듈, 및 수신된 영상 데이터에 포함된 픽셀의 데이터 값을 참조하여, 드랍된 휘도 성분 값 및 색차 성분 값을 복원하는 데이터 복원 모듈을 포함한다.
상기 기술적 과제를 해결하기 위한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명의 실시 예들에 따르면, 화질의 열화 없이도 영상 데이터를 효율적으로 전송할 수 있다. 또한, 비압축 영상 데이터를 전송함에 있어서, 데이터 전송률이 무선 채널의 환경 및 대역폭에 기초하여 단계적으로 조절될 수 있다.
또한, 픽셀의 휘도 성분과 색차 성분을 분리하여 전송하게 되어, 비균등 오류 정정(UEP, Unequal Error Protection) 등을 통해 효율적으로 데이터 전송률을 조절할 수 있게 된다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 발명의 일 실시 예와 관련하여, 무선 채널을 통하여 영상 데이터를 송신 및 수신하는 무선 통신 시스템을 도시한 블록도이다.
도 2는 본 발명의 또 다른 실시 예와 관련하여, 도 1에 도시된 무선 통신 시스템을 도시한 블록도이다.
도 3은 2차원의 비압축 영상 프레임을 파티셔닝 하는 본 발명의 일 실시 예에 관한 예시를 도시한다.
도 4는, 무선 송신기가 영상 데이터를 송신하는 일 실시 예를 도시한 흐름도이다.
도 5는, 무선 수신기가 영상 데이터를 수신하는 일 실시 예를 도시한 흐름도이다.
도 6은, 본 발명의 일 실시 예에 따라, 4:4:4 컬러 포맷을 갖는 영상 데이터에 대한 픽셀 파티셔닝 과정을 도시한 도면이다.
도 7은, 본 발명의 일 실시 예에 따라, 4:2:2 컬러 포맷을 갖는 영상 데이터에 대한 픽셀 파티셔닝 과정을 도시한 도면이다.
도 8은, 본 발명의 일 실시 예에 따라, 4:2:0 컬러 포맷을 갖는 영상 데이터에 대한 픽셀 파티셔닝 과정을 도시한 도면이다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “... 부”, “… 모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하에서, 무선 채널을 통해 송수신되는 영상 데이터는 영상 정보를 나타내는 복수 개의 픽셀들을 포함한다. WiGig(Wireless Gigabit Alliance) 표준 규격에 의하면, 무선 채널의 사용 가능한 대역폭에 기초하여 데이터 전송률이 동적으로 조절되는 비압축 영상 데이터의 포맷을 WSP(WiGig Spatial Processing) 포맷이라고 명명하고 있다. 비압축 영상 데이터의 포맷이 WSP 포맷인지에 대한 정보는, 전송되는 패킷의 피쳐 리스트 필드(FeatureList field)에 포함될 수 있다. WSP 포맷은, 2D 영상 데이터뿐만 아니라 3D 영상 데이터에도 적용될 수 있다.
이하에서는 도면을 참조하여 본 발명의 실시 예 들을 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따라, 무선 채널(10)을 통하여 무선 송신기(11)로부터 무선 수신기(12)로 영상 데이터를 전송하는 무선 통신 시스템을 도시하는 블록도이다. 전송되는 영상 데이터의 포맷은, WSP 포맷 또는 WiGig 이외의 표준에 따라 미리 설정된 다른 포맷일 수 있다.
무선 송신기(11)에서 영상 입력 모듈(13)은 비압축 영상을 포함하는 데이터를 여러 가지 종류의 유선 또는 무선 인터페이스를 통하여 송신부(14)에 제공할 수 있다. 영상 입력 모듈(13)은, 예를 들면 영상 디코더 또는 비압축 HD 영상 기록부가 될 수 있다.
송신부(14)는 무선 채널(10)을 통하여 영상 데이터를 무선 수신기(12)내의 수신부(15)로 전달하기 위하여 밀리미터 파(mmWave) 무선 기술을 사용할 수 있다. 480p와 같은 더 낮은 영상 포맷을 위해서 UWB(Ultra Wide Band) 또는 802.11n과 같은 다른 무선 기술이 사용될 수도 있다.
무선 수신기(12)의 수신부(15)는 수신된 정보를 또다른 유선 또는 무선 인터페이스를 통하여 영상 재생 모듈(16) 에 제공할 수 있다. 영상 재생 모듈(16)은, 예를 들어 HDTV, 모니터, 프로젝터 등이 될 수 있다.
무선 송신기(11)에 포함되는 픽셀 파티셔닝 모듈(110)은, 영상 데이터를 전송하기 위하여 픽셀들의 휘도 성분 값 및 색차 성분 값을 복수 개의 파티션에 배치할 수 있다. 픽셀들의 휘도 성분 및 색차 성분이 배치된 복수 개의 파티션을 획득하는 과정을 픽셀 파티셔닝(pixel partitioning) 과정 이라 한다.
영상 데이터에 포함된 복수 개의 픽셀들은 각각 밝기를 나타내는 휘도(Luma) 성분 및 채도를 나타내는 색차(Chroma) 성분 중 적어도 하나를 포함한다. YCbCr 의 컬러 포맷(color format)을 갖는 영상 데이터에 있어서, 휘도 성분은 ‘Y’ 로, 색차 성분은 ‘Cb’ 및 ‘Cr’ 로 표현될 수 있다. 본 발명의 또 다른 실시 예에 의하면, YCbCr 컬러 포맷 이외에도, YCoCg 컬러 포맷을 갖는 영상 데이터가 고려될 수 있다. YCoCg 컬러 포맷에 있어서, 색차 성분은 ‘Co’ 및 ‘Cg’로 표현될 수 있다.
영상 데이터의 컬러 포맷에 대한 정보는, 전송되는 패킷의 컴포넌트 컨피규레이션 필드(ComponentConfiguration field)에 포함될 수 있다. 컴포넌트 컨피규레이션 필드는, YCbCr 컬러 포맷의 경우 0b01를, YCoCg 컬러 포맷의 경우 0b10를 포함할 수 있다.
픽셀 파티셔닝 모듈(110)은, 각각의 픽셀에 포함되는 휘도 성분 값 및 채도 성분 값을 획득하여, 서로 다른 복수 개의 파티션에 배치한다. 픽셀 블록에 포함되는 휘도 성분 값 및 채도 성분 값을 복수 개의 파티션에 분배하는 자세한 과정에 대해서는, 도 6 내지 도 8에서 살펴본다.
파티션 드랍 모듈(120)은, 영상 데이터의 데이터 전송률을 조절하기 위하여, 영상 데이터에 포함되는 복수 개의 파티션에 대한 데이터 값 중, 선택된 적어도 하나의 파티션의 데이터를 드랍(drop)할 수 있다. 송신부(14)에 포함되는 파티션 드랍 모듈(120)은, 전송되는 영상 데이터의 데이터 전송률(data rate)이 무선 채널(10)의 환경 또는 대역폭에 비하여 충분히 낮지 않다면, 단계적으로(progressively) 파티션을 드랍하여 데이터 전송률을 낮출 수 있다.
무선 송신기(11)는, 데이터 전송률이 조절된 영상 데이터를 무선 채널(10)을 통하여 무선 수신기(12)로 전송하는 데이터 송신 모듈(130)을 더 포함할 수 있다.
무선 수신기(12)에 포함되는 수신부(15)는, 무선 송신기(11)와 대응되도록, 무선 통신을 위한 데이터 수신 모듈(140) 및 데이터 전송률이 조절되기 전의 영상 데이터를 복원하기 위하여 파티션 드랍 모듈(120)의 작업을 역행적으로(regressively) 수행하는 데이터 복원 모듈(150)을 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 무선 채널(10)을 포함하는 무선 통신 시스템에 있어서, 데이터 전송률을 조절하여 영상 데이터를 전송하는 실시 예를 더 상세히 도시한 도면이다.
무선 송신기(11)의 영상 입력 모듈(13)은, 영상 스트림을 송신부(14)내의 MAC 계층(14M)으로 계속하여 스트리밍하는 어플리케이션 & PAL(Protocol Adaptation Layer) 계층을 포함할 수 있다. MAC 계층(14M)은 영상 스트림을 MAC 패킷들로 패킷화하고, 무선 채널(10)을 통하여 무선 수신기(12)로 전송하기 위하여 패킷들을 물리(PHY)계층(14P)으로 전송할 수 있다.
무선 수신기(12)에서, 수신부(15)내의 PHY 계층(15P)은 패킷들을 수신하고, 패킷들을 MAC 계층(15M)에 제공할 수 있다. MAC 계층(15M)은 패킷들을 디패킷화(depacketizing) 한 후 영상 재생 모듈(16)에 영상 정보를 제공할 수 있다. 영상 재생 모듈(16)은, 어플리케이션 & PAL 계층을 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 무선 송신기(11)의 MAC 계층(14M)에서는 픽셀 분할(partitioning)을 위한 픽셀 블록(pixel block)의 크기 및 형태에 기초하여, 영상 입력 모듈(13)에 의하여 제공된 영상 스트림으로부터 영상 패킷들을 생성한다. NxM으로 표현되는 픽셀 블록은, N 개의 픽셀 라인(pixel line)과 M 개의 픽셀 행(pixel column)을 갖는 인접한 영상 픽셀들의 집합을 의미할 수 있다.
도 3은, 복수 개의 픽셀(21)들의 2차원적인 비압축 영상 프레임(20)의 예시를 도시한다. 복수 개의 픽셀들(21)은 그림상으로 심볼(symbol) 'O'에 의하여 표현된다.
본 실시 예에서, 2x2 픽셀 블록(22)은 복수 개의 픽셀(24)들을 네 개의 픽셀 파티션들(23)(각각, 파티션0, 파티션1, 파티션2, 파티션3)에 맵핑 시키는데 사용된다. 픽셀 파티션들(23)은 송신부(14)의 MAC 계층(14M)에서 패킷들에 삽입되며, 송신부 PHY 계층(14P)를 거쳐 무선 채널(10)을 통하여 무선 수신기(12)로 전송된다. 수신부(15)의 수신부 PHY 계층(15P)에서 수신된 패킷들은 MAC 계층(15M)에서 디패킷화(depacketize) 될 수 있다.
픽셀 블록(22)의 크기는 무선 수신기(12)의 메모리 버퍼의 용량, 영상 데이터의 포맷 및 컨텐츠의 종류에 따라 결정될 수 있다. 예를 들어, 칩(chip) 내의 버퍼 용량의 제한에 의하여 2 개의 열(row)들의 영상 데이터가 버퍼링 된다면, 최대 픽셀 블록 크기는 2xM(M=1, 2, 3, …)이 될 수 있다. 예를 들어, 픽셀 블록(22)은, 4개의 픽셀(24)을 포함하는 2x2의 크기를 가질 수 있다.
또한, 컨텐츠의 종류, 영상의 해상도 및 포맷이 픽셀 블록(22) 크기의 선택에 영향을 미칠 수 있다. 일 실시 예에 의하면, 픽셀 블록(22)의 크기에 대한 정보는, 무선 채널(10)을 통해 전송되는 영상 데이터의 BlockMode 필드에 저장될 수 있다.
일반적으로 전체 영상에서 작은 부분을 차지하는 픽셀 블록 내의 픽셀들은 상대적으로 유사한 값을 가질 가능성이 크다. 또한, 유사한 값을 갖는 픽셀들을 처리하기 위한 픽셀 블록의 크기는 영상의 해상도에 비례할 수 있다. 1920x1080과 같은 고해상도 영상에서는, 8x8 픽셀 블록 내의 픽셀들이 매우 유사한 값을 갖는 것이 일반적이다. 그러나, 800x600과 같은 더 낮은 해상도를 갖는 영상에서는 일반적으로 4x4 픽셀 블록 내의 픽셀들이 유사한 값을 가지며, 8x8은 픽셀 블록의 크기로써 너무 클 수도 있다. 픽셀 블록에 포함되는 픽셀들은 공간적으로 연관될 수 있다.
픽셀 블록의 크기는 무선 수신기의 메모리 버퍼의 용량, 영상 데이터의 포맷 및 컨텐츠의 종류에 따라 결정될 수 있다. 일 실시 예에 따라 2x2 크기를 갖는 픽셀 블록의 경우, 픽셀 블록은 2개의 픽셀 행과 2개의 픽셀 라인으로 배치된 4개 픽셀을 포함할 수 있다.
픽셀 블록의 크기에 대한 정보는, 무선 채널을 통해 전송되는 영상 데이터의 BlockMode 필드에 포함될 수 있다. 즉, 2x2의 크기인 픽셀 블록에 대해서, 영상 데이터의 BlockMode 필드는 ‘2’의 인덱싱 정보를 포함할 수 있다. 또는, 영상 데이터의 해상도에 기초하여 픽셀 블록의 크기가 미리 설정될 수 있다. 이러한 경우, 픽셀 블록의 크기 정보는 별도로 전송되지 않고, 송신측 및 수신측에서 해상도 등에 기초하여 결정될 수 있다.
본 발명의 일 실시 예에 따르면, 실제로 할당된 무선 채널(10)의 대역폭이 영상 입력 모듈(13)로부터 전송되는 영상 스트림에 요구되는 데이터 전송률을 수용할 수 있다면, 픽셀 파티셔닝 과정을 통하여 획득된 모든 파티션의 데이터 값이 전송된다. 그러나, 무선 채널(10)의 대역폭이 요구되는 데이터 전송률을 수용할 수 없다면, 데이터 전송률을 낮추기 위하여 단계적인 레이트 조절(progressive rate adaptation)이 수행된다.
도 4는 본 발명의 일 실시 예에 따른 무선 송신기(11, 도 1)에서 단계적인 데이터 전송률 조절 방법의 흐름도를 도시한다. 도 4에 도시된 흐름도에서는, 도 1 및 도 2에 도시된 무선 송신기(11), 영상 입력 모듈(13), 송신부(14), 픽셀 파티셔닝 모듈(110), 파티션 드랍 모듈(120), 및 데이터 송신 모듈(130)에서 시계열적으로 처리되는 단계들로 구성된다.
도 5에서는, 본 발명의 일 실시 예에 따른 무선 수신기(12, 도 1)에서 수신한 영상 데이터를 복원하는 방법의 흐름도를 도시한다. 도 5에 도시된 흐름도에서도 마찬가지로, 도 1 및 도 2에 도시된 무선 수신기(12), 수신부(15), 데이터 수신 모듈(140), 데이터 복원 모듈(150), 및 영상 재생 모듈(16) 에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도, 도 1 및 도 2에서 도시된 구성들에 관하여 이상에서 기술된 내용은 도 4 및 도 5에 도시된 흐름도에도 적용됨을 알 수 있다.
도 4의 단계 410에서, 무선 송신기(11)는 픽셀 블록의 휘도 성분 값 및 색차 성분 값을 획득한다. 즉, 무선 송신기(11)는 픽셀 블록에 포함되는 각각의 픽셀에 대하여 휘도 성분 값 및 색차 성분 값을 획득한다.
일 실시 예에 의하면, 단계 410에서, 픽셀 블록에 포함되는 픽셀들은 영상 데이터의 컬러 포맷에 따라 휘도 성분 값 및 색차 성분 값 중 적어도 하나를 포함할 수 있다. 다시 말해서, 2x2 크기의 픽셀 블록에 포함되는 4개의 픽셀들이 갖는 휘도 성분 값 및 색차 성분 값은 영상 데이터의 컬러 포맷에 따라 결정될 수 있다.
예를 들어, YCbCr 4:4:4 컬러 포맷의 영상 데이터의 경우, 픽셀 블록에는 4개의 휘도 성분 값 및 8개의 색차 성분 값이 포함된다. 즉, 4개의 픽셀 각각이 휘도 성분 값인 Y 값, 색차 성분 값인 Cb 값, 및 Cr 값을 모두 포함한다. 반면에, YCbCr 4:2:0 컬러 포맷의 영상 데이터의 경우, 픽셀 블록에는 4개의 휘도 성분 값 및 2개의 색차 성분 값 만이 포함된다. 즉, 4개의 픽셀 각각이 휘도 성분 값인 Y 값을 포함하는 것은 4:4:4 컬러 포맷과 동일하나, 색차 성분 값은 1 개의 Cb 값 및 1개의 Cr 값 만이 포함된다.
단계 420에서, 무선 송신기(11)는 획득한 휘도 성분 값 및 색차 성분 값이 배치된 복수 개의 파티션을 획득한다. 즉, 픽셀 파티셔닝 과정이 수행된다. 픽셀 파티셔닝 과정에서, 픽셀 블록 내에서 각각의 픽셀들의 공간적 위치에 기초하여 휘도 성분 값 및 색차 성분 값이 배치될 수 있다.
예를 들어, 휘도 성분 값 중에서 첫 번째 픽셀 라인의 휘도 성분 값들이 첫 번째 파티션에, 두 번째 픽셀 라인의 휘도 성분 값들이 두 번째 파티션에 배치되고, 4개의 색차 성분 값들은 각각의 위치에 기초하여 서로 다른 4개의 파티션에 배치될 수 있다. 이와 같이, 휘도 성분 값 및 색차 성분 값은, 분리되어 각각 서로 다른 복수 개의 파티션에 배치될 수 있다.
복수 개의 파티션의 개수는, 단계 410에서 설명한 바와 같이 영상 데이터의 컬러 포맷에 따라 결정될 수 있다. 예를 들어, YCbCr 4:4:4 컬러 포맷에 대해서는 6개의 파티션이 획득될 수 있다. 다른 컬러 포맷에 대한 실시 예에 대해서는 도 6 내지 도 8에서 자세히 설명한다.
복수 개의 파티션은, 각각 중요도 레벨(importance level)에 대한 정보를 포함할 수 있다. 중요도 레벨은, 파티션이 드랍되는 과정에서 드랍 순서를 결정하는 데에 이용될 수 있다. 파티션 마다 갖는 중요도 레벨에 대해서는, 도 6 내지 도 8을 통해 각각의 컬러 포맷 마다 자세히 살펴본다.
단계 430에서, 무선 채널의 대역폭이 영상 데이터를 전송하기에 충분한지 여부를 결정한다. 충분하다면 단계 460으로 진행하고, 충분하지 않다면 단계 440으로 진행한다.
단계 440에서, 무선 송신기(11)는 적어도 하나의 파티션을 드랍한다. 무선 채널의 대역폭이 영상 데이터를 전송하기에 충분하지 않은 경우, 무선 송신기(11)는 데이터 전송률을 낮추기 위해 복수 개의 파티션 중 적어도 하나를 드랍한다. 드랍되는 파티션의 순서는, 앞서 설명한 중요도 레벨에 기초하여 결정될 수 있다. 즉, 낮은 순서의 중요도 레벨을 갖는 파티션부터 드랍될 수 있다.
단계 450에서, 무선 송신기(11)는 적어도 하나의 파티션이 드랍된 영상 데이터를 전송하기 위한 데이터 전송률이 대역폭에 비하여 충분히 작은지 결정한다. 데이터 전송률이 충분히 작다면, 단계 460으로 진행하고, 충분히 작지 않다면 단계 440으로 진행한다. 즉, 데이터 전송률이 충분히 작지 않다면, 단계적으로 파티션 드랍 과정을 더 수행할 수 있다.
단계 460에서, 픽셀 파티셔닝 과정이 수행된 영상 데이터를 패킷화하고, 무선 채널을 통하여 무선 수신기로 전송한다. 단계 460에서, 영상 데이터의 컬러 포맷, 픽셀 블록의 크기 및 드랍된 파티션에 대한 정보를 계층적으로 분류하고, 그 결과를 인덱싱하여 인덱싱 정보를 영상 데이터 패킷과 함께 전송할 수 있다.
도 4에서 살펴본 여러 가지 단계에 있어서, 단계 420 내지 단계 440은, 무선 송신기(11)의 어플리케이션 및 PAL 계층(13) 또는 오디오 비디오 제어 계층(AVC, Audio video control)에서 수행될 수 있다. 패킷화와 같은 특정 작업들 또한 무선 송신기(11)의 MAC 계층(14M)과 관련될 수 있다.
도 5는, 본 발명의 일 실시예에 따른 무선 수신기(12)에서 영상 데이터를 수신하고 파티션을 복원하는 방법의 흐름도를 도시한다.
단계 510에서, 무선 수신기(12)는 무선 채널을 통해 전송되는 데이터 패킷을 수신한다. 수신된 패킷은, 디패킷화(depacketize) 될 수 있다.
단계 520에서, 무선 수신기(12)는 무선 송신기(11)에서 파티션 드랍 과정 등을 통해 드랍된 파티션이 있는지 확인한다. 이때, 도 4의 단계 460에서 전송한 인덱싱 정보를 획득하여 확인할 수 있다. 예를 들어, 인덱싱 정보로서 ‘Dropping Index=0’ 이 수신된 경우, 영상 데이터의 컬러 포맷은 YCbCr 4:4:4 이며 파티션 5가 드랍된 것을 알 수 있다. 또한, 파티션 5에 색차 성분 값인 Cb11 및 Cr11 값이 포함되었고, 드랍된 데이터를 복원할 때 참조할 색차 성분 값인 Cb10 및 Cr10 에 대한 정보도 확인할 수 있다. 단계 520에서 무선 수신기(12)가 인덱싱 정보를 획득하여 드랍된 파티션이 있는지 확인하는 과정에 대해서는, 차후에 다시 자세하게 설명한다.
적어도 하나의 드랍된 파티션이 존재하는 경우, 단계 530으로 진행하고, 존재하지 않으면, 단계 540으로 진행한다.
단계 530에서, 무선 수신기(12)는 수신된 영상 데이터에 포함된 휘도 성분 값 및 색차 성분 값을 참조하여, 드랍된 데이터를 복원한다. 이러한 복원 과정은, 파티션 드랍 과정의 반대 순서로 진행되는 역행적인 과정이다. 또한, 무선 수신기(12)는 영상 데이터의 컬러 포맷 및 드랍된 파티션에 대한 정보를 기초로, 드랍된 데이터를 복원할 수 있다. 즉, 무선 수신기(12)는 영상 데이터에 포함된 인덱싱 정보를 참조하여 드랍된 휘도 성분 값 및 색차 성분 값을 복원할 수 있다. 컬러 포맷 및 드랍된 파티션에 따른 각각의 복원 과정은, 도 6 내지 도 8에서 자세히 설명한다.
단계 540에서, 무선 수신기(12)는 수신한 데이터 및 복원된 데이터를 이용하여 전체 영상 데이터를 재구성한다. 재구성된 영상 데이터는 영상 재생 모듈로 전송되어, 재생될 수 있다.
도 5의 여러 단계에 있어서, 단계 530 및 단계 540은 무선 수신기(12)내의 어플리케이션 &PAL 계층(16)(또는 AVC 계층)에서 수행될 수 있다. 단계 510의 디패킷타이징은 무선 수신기(12)의 MAC 계층(15M)에 포함된 디패킷타이징 모듈에 의하여 수행될 수 있다.
이하에서는, 도 6 내지 도 8을 참조하여 각각의 컬러 포맷에 따른 픽셀 파티셔닝 과정, 파티션을 중요도 레벨에 따라 드랍하는 과정 및 드랍된 데이터를 복원하는 과정을 상세히 설명한다.
도 6은, YCbCr 4:4:4 컬러 포맷을 갖는 영상 데이터에 대한 픽셀 파티셔닝 과정을 도시한다. YCbCr 4:4:4 컬러 포맷을 갖는 영상 데이터에 있어서, 2x2 크기의 픽셀 블록은, 2개의 픽셀 행(pixel column) 과 2개의 픽셀 라인(pixel line)으로 배치된 4개의 픽셀을 포함한다. 4개의 픽셀을 포함하는 픽셀 블록은, 4개의 휘도 성분 값(Y) 및 8개의 색차 성분 값(Cb, Cr)을 포함한다.
YCbCr 4:4:4 컬러 포맷에 있어서, 휘도 성분 값 및 색차 성분 값은 6개의 파티션에 분배되며, 각각의 파티션을 파티션 0, 파티션 1, 파티션 2, 파티션 3, 파티션 4, 및 파티션 5라 한다.
도 6a에서, 픽셀 블록에 포함되는 4개의 픽셀 각각은 휘도 성분 값 및 색차 성분 값을 모두 포함한다. 즉, ‘픽셀 행 0’ 및 ‘픽셀 라인 0’ 에 대응되는 ‘픽셀 00’은, 휘도 성분 값 인 Y00, 및 색차 성분 값 인 Cb00 및 Cr00 을 모두 포함한다. 픽셀 행 0 및 픽셀 라인 1에 대응되는 픽셀 01도 마찬가지로 휘도 성분 값 Y01, 및 색차 성분 값 Cb01, Cr01을 모두 포함한다. 픽셀 행 1에 대응되는 픽셀 10 및 픽셀 11도 휘도 성분 값 및 색차 성분 값을 모두 포함한다. 이하에서, 휘도 성분은 실선(601)으로 표시되며, 색차 성분은 점선(602) 및 쇄선(603)으로 표시된다. 휘도 성분 및 색차 성분을 도시하는 방법은, 도 7 및 도 8에 대해서도 동일하다.
도 6b를 참조하여 픽셀 파티셔닝 과정을 자세히 살펴본다. 파티션 0에는, 픽셀 라인 0 대응되는 픽셀 00 및 픽셀 01의 휘도 성분 값이 배치된다. 즉, Y00 및 Y01이 배치된다. 파티션 1에는, 픽셀 라인 0 및 픽셀 행 0에 대응되는 픽셀 00의 색차 성분 값이 배치된다. 즉, Cb00 및 Cr00이 배치된다. 이어서, 파티션 2에는 Y10 및 Y11이 배치되고, 파티션 3에는 Cb10 및 Cr10 이 배치된다. 다음으로, 파티션 4에는 Cb01 및 Cr10이 배치되고, 파티션 5에는 Cb11 및 Cr11이 배치된다. 다시 말해서, 픽셀(24)의 휘도 성분 값 및 색차 성분 값은 서로 분리되어 복수 개의 파티션에 각각 배치된다.
YCbCr 4:4:4 컬러 포맷에 있어서, 6개의 파티션 중 파티션 0 및 파티션 1은 가장 높은 중요도 레벨을 갖는다. 파티션 0 및 파티션 1에 이어서 파티션 2가 두 번째로 높은 중요도 레벨을 갖고, 파티션 3이 세 번째의 중요도 레벨을 갖는다. 이어서, 파티션 4와 파티션 5는 가장 낮은 네 번째의 중요도 레벨을 갖는다.
파티션 마다 대응되는 중요도 레벨은, 데이터 전송률을 낮추기 위해 단계적으로 파티션을 드랍하는 과정에서 이용될 수 있다. 예를 들어, 무선 채널의 대역폭이 파티션 0 내지 파티션 5를 모두 전송하기에 부족한 경우, 무선 송신기(11)는 가장 낮은 중요도 레벨을 갖는 파티션 4 및 파티션 5를 드랍할 수 있다. 데이터 전송률을 더 낮춰야 할 필요성이 있다고 판단되면, 세 번째 중요도 레벨을 갖는 파티션 3을 드랍하고, 이어서 파티션 2를 단계적으로 드랍할 수 있다. 단계적으로 데이터 전송률을 조절함에 따라, 무선 송신기(11)는 복수 개의 파티션을 선택적으로 포함하는 영상 데이터를 송신할 수 있다.
YCbCr 4:4:4 컬러 포맷을 갖는 영상 데이터에서 파티션 4, 5가 드랍되면 영상 데이터의 데이터 전송률이 YCbCr 4:2:2 컬러 포맷과 동일해지며, 파티션 3, 4, 5가 드랍되면, YCbCr 4:2:0 컬러 포맷과 데이터 전송률이 동일해진다.
이어서, YCbCr 4:4:4 컬러 포맷의 영상 데이터에 대하여 데이터를 복원하는 과정을 살펴보면, 파티션 5가 드랍된 경우, 파티션 5에 포함된 색차 성분 값인 Cb11 및 Cr11은, 드랍된 색차 성분 값과 공간적으로 근접한 픽셀의 색차 성분 값인 Cb10 및 Cr10을 참조하여 복원될 수 있다. 즉, 드랍된 파티션 5 에 포함된 색차 성분 값들은, 파티션 5 보다 높은 중요도 레벨을 갖는 파티션에 포함된 색차 성분 값을 참조하여 복원될 수 있다.
다음으로, YCbCr 4:4:4 컬러 포맷의 영상 데이터에서 파티션 4 및 파티션 5가 드랍된 경우, 파티션 4에 포함된 Cb01 및 Cr01의 색차 성분 값은, 파티션 1에 포함된 Cb00 및 Cr00 을 참조하여 복원될 수 있다. 파티션 5에 포함된 Cb11 및 Cr11에 대해서는 앞서 살펴본 내용과 같다. 이어서, 파티션 3, 4, 5가 드랍된 경우, 수신된 영상 데이터에 포함된 색차 성분 값은 파티션 1에 포함된 Cb00 및 Cr00 값이 유일하므로, 드랍된 색차 성분 값들은 파티션 1의 Cb00 및 Cr00 값을 참조하여 모두 복원된다.
파티션 2, 3, 4, 5 가 드랍된 경우, 색차 성분 값들은 파티션 1에 포함된 Cb00 및 Cr00 을 참조하여 복원되고, 휘도 성분 값인 Y10 및 Y11은 파티션 0에 포함된 휘도 성분 값인 Y00 및 Y01을 참조하여 복원된다.
도 7a에서는, YCbCr 4:2:2 컬러 포맷을 갖는 영상 데이터에 관한 실시 예를 도시한다. YCbCr 4:2:2 컬러 포맷의 영상 데이터에서, 픽셀 행 0에 대응되는 2개의 픽셀인 픽셀 00 및 픽셀 10은 휘도 성분 값 및 색차 성분 값을 모두 포함한다. 반면, 픽셀 행 1에 대응되는 2개의 픽셀인 픽셀 01 및 픽셀 11은 휘도 성분 값 만을 포함한다. 또한, YCbCr 4:2:2 컬러 포맷에 있어서 휘도 성분 값들 및 색차 성분 값들은, 4개의 파티션에 각각 분리되어 배치된다.
YCbCr 4:2:2 컬러 포맷의 영상 데이터에 대한 픽셀 파티셔닝 과정을 도 7b를 참조하여 설명하면, 픽셀 라인 0 에 대응되는 픽셀 00 및 픽셀 01의 휘도 성분 값이 파티션 0에 배치된다. 즉, Y00 및 Y01이 파티션 0에 배치된다. 파티션 1에는, 픽셀 라인 0 및 픽셀 행 0에 대응되는 픽셀 00의 색차 성분 값이 배치된다. 즉, Cb00 및 Cr00 이 파티션 1에 배치된다. 파티션 2에는, 픽셀 라인 1에 대응되는 픽셀 10 및 픽셀 11의 휘도 성분 값인 Y10 및 Y11이 배치된다. 파티션 3에는, 픽셀 라인 1 및 픽셀 행 0에 대응되는 픽셀 10의 색차 성분 값 인 Cb10 및 Cr10이 배치된다.
YCbCr 4:2:2 컬러 포맷에서, 파티션 0과 파티션 1이 첫 번째 중요도 레벨을 갖고, 다음으로 파티션 2가 두 번째로 높은 중요도 레벨을 갖는다. 이어서, 파티션 3은 가장 낮은 중요도 레벨을 갖는다. 따라서, 파티션 드랍 과정에 있어서 파티션 3이 가장 먼저 드랍되며, 데이터 전송률이 충분하지 않다면 파티션 2가 추가적으로 드랍될 수 있다.
이어서, 수신측에서 데이터를 복원하는 과정을 살펴보면, 파티션 3이 드랍된 경우, 파티션 3에 포함된 색차 성분 값은 색차 성분 값을 포함하는 유일한 파티션인 파티션 1을 참조하여 복원된다. 즉, Cb10 및 Cr10 은 각각 Cb00 및 Cr00 을 참조하여 복원된다.
파티션 2 및 파티션 3이 드랍된 경우, 색차 성분 값은 파티션 3에 포함된 Cb00 및 Cr00을 참조하여 복원되고, 휘도 성분 값은 파티션 0에 포함된 휘도 성분 값인 Y00 및 Y01을 참조하여 각각 복원될 수 있다.
도 8a에서는, YCbCr 4:2:0 컬러 포맷의 영상 데이터에 대한 실시 예를 살펴본다. YCbCr 4:2:0 컬러 포맷에 있어서, 픽셀 블록에 포함되는 4개의 픽셀 중 픽셀 라인 0 및 픽셀 행 0에 대응되는 픽셀 00 만이 휘도 성분 값 및 색차 성분 값을 모두 갖는다. 즉, 픽셀 00은 Y00, Cb00, 및 Cr00을 모두 포함한다. 나머지 3개의 픽셀은, 휘도 성분 값인 Y01, Y10, 및 Y11 만을 포함한다.
도 8b 에서, YCbCr 4:2:0 컬러 포맷의 영상 데이터에 대한 픽셀 파티셔닝 과정을 살펴보면, 픽셀 라인 0에 대응되는 2개의 픽셀인 픽셀 00 및 픽셀 01의 휘도 성분 값인 Y00 및 Y01이 가장 높은 중요도 레벨을 갖는 파티션 0에 배치된다. 이어서, 파티션 0과 동일한 중요도 레벨을 갖는 파티션 1에는, 픽셀 00의 색차 성분 값인 Cb00 및 Cr00이 배치된다. 다음으로, 두 번째로 높은 중요도 레벨을 갖는 파티션 2에는, 픽셀 라인 1에 대응되는 2개의 픽셀인 픽셀 10, 픽셀 11의 휘도 성분 값인 Y10 및 Y11이 배치된다. YCbCr 4:2:0 컬러 포맷의 영상 데이터를 전송하는 과정에서 파티션이 드랍되는 경우, 가장 낮은 중요도 레벨을 갖는 파티션 2가 드랍된다. 영상 데이터의 휘도 성분 값 과 색차 성분 값이 모두 드랍될 수는 없으므로, 가장 높은 중요도 레벨을 갖는 파티션 0 및 파티션 1은 드랍되지 않는다.
이어서, YCbCr 4:2:0 컬러 포맷의 영상 데이터에 대한 복원 과정을 살펴보면, 파티션 2가 드랍된 경우, 드랍된 휘도 성분 값인 Y10 및 Y11은, 휘도 성분 값을 포함하는 파티션 0의 Y00 및 Y01을 참조하여 복원될 수 있다. 즉, Y10 및 Y11이 드랍되면, 공간적으로 근접한 휘도 성분 값인 Y00 및 Y01을 각각 참조하여 복원될 수 있다.
도 6 내지 도 8과 관련하여 이상에서 살펴본 내용에 따라, 영상 데이터의 컬러 포맷, 드랍되는 파티션 및 데이터 값, 복원시 참조할 데이터 값에 대한 정보가 계층적으로 분류될 수 있다. 즉, 아래의 표 1과 같이, 각각의 컬러 포맷에 대하여 드랍되는 파티션 및 드랍되는 데이터 값이 분류될 수 있고, 각각의 드랍된 데이터 값들이 복원되기 위하여 참조할 데이터 값에 대한 정보도 함께 분류될 수 있다.
Figure 112012042987287-pat00001
위 표 1을 예로 들어 설명하면, YCbCr 4:4:4 컬러 포맷의 영상 데이터에 대하여 Y10 및 Y11을 포함하는 파티션 2가 드랍된 경우, 무선 송신기는 이러한 드랍된 휘도 성분 값인 Y10, Y11을 나타내는 인덱싱 정보로서 Dropping Index=3 을 전송할 수 있다.
이러한 인덱싱 정보를 기초로, 무선 수신기(12)에서는 드랍된 파티션이 파티션 2, 파티션 3, 파티션 4, 및 파티션 5임을 알 수 있으며, 드랍된 휘도 성분을 복원하기 위하여 휘도 성분 값인 Y00, Y01 을 참조할 수 있게 된다.
전술한 표 1은 하나의 일 실시 예에 불과하며, 드랍되는 파티션 및 영상 데이터의 컬러 포맷에 대한 인덱싱 정보인 Dropping Index는, 픽셀 블록의 크기, 영상 데이터의 컬러 포맷, 및 다른 부가 정보 등의 조합에 따라 다양하게 설정될 수 있다.
본 발명의 일 실시 예에 따른 데이터 복원 과정에 있어서, 0차 보간법(0-th order interpolation), 이중 선형 보간법(bilinear interpolation), 및 바이큐빅 보간법(bicubic interpolation) 등의 여러 가지 방법이 활용될 수 있다.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 포함하는 저장 디바이스를 설명하기 위해 사용될 수 있는 프로그램 저장 디바이스들은, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.
본원 발명의 실시 예 들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (23)

  1. 영상 데이터를 무선으로 송신하는 방법에 있어서,
    소정 크기의 픽셀 블록에 포함되는 픽셀들 각각의 휘도 성분 값 및 색차 성분 값을 획득하는 단계;
    상기 픽셀 블록에서 상기 픽셀들의 공간적인 위치에 기초하여 상기 휘도 성분 값들 및 상기 색차 성분 값들이 배치된 복수 개의 파티션을 획득하는 단계; 및
    상기 영상 데이터의 데이터 전송률에 따라 상기 복수 개의 파티션을 선택적으로 송신하는 단계를 포함하는 데이터 송신 방법.
  2. 제1항에 있어서,
    상기 데이터 송신 방법은, 상기 영상 데이터의 데이터 전송률을 감소시키기 위하여 적어도 하나의 파티션을 드랍하는 단계를 더 포함하고,
    상기 선택적으로 송신하는 단계는, 상기 복수 개의 파티션 중에서 드랍된 파티션을 제외하고 송신하는 단계인 데이터 송신 방법.
  3. 제2항에 있어서,
    상기 드랍하는 단계는, 상기 영상 데이터가 송신되는 무선 채널의 대역폭에 기초하여, 상기 드랍되는 파티션의 개수를 단계적으로 증가시키며 드랍하는 단계인 데이터 송신 방법.
  4. 제2항에 있어서,
    상기 드랍하는 단계는, 상기 복수 개의 파티션의 중요도 레벨(importance level)에 기초하여 상기 중요도 레벨이 낮은 파티션부터 드랍하는 단계인 데이터 송신 방법.
  5. 제1항에 있어서,
    상기 복수 개의 파티션을 획득하는 단계는, 상기 휘도 성분 값 및 상기 색차 성분 값을 분리하여 각각 서로 다른 파티션에 배치하는 단계를 포함하는 데이터 송신 방법.
  6. 제1항에 있어서,
    상기 픽셀 블록은, 2개의 픽셀 라인 및 2개의 픽셀 행으로 배치된 4개의 픽셀을 포함하는 데이터 송신 방법.
  7. 제1항에 있어서,
    상기 영상 데이터의 컬러 포맷은, YCbCr 4:4:4, YCbCr 4:2:2, 및 YCbCr 4:2:0 중 어느 하나인 데이터 송신 방법.
  8. 제7항에 있어서,
    상기 복수 개의 파티션의 개수는, 상기 영상 데이터의 컬러 포맷(color format)에 기초하여 결정되는 데이터 송신 방법.
  9. 영상 데이터를 무선으로 수신하는 방법에 있어서,
    일부 픽셀의 휘도 성분 값 및 색차 성분 값 중 적어도 하나가 드랍된 상기 영상 데이터를 수신하는 단계; 및
    상기 수신된 영상 데이터에 포함된 픽셀의 데이터 값을 참조하여, 상기 드랍된 휘도 성분 값 및 색차 성분 값을 복원하는 단계를 포함하는 데이터 수신 방법.
  10. 제9항에 있어서,
    상기 수신된 영상 데이터는, 픽셀 블록에 포함된 휘도 성분 값 및 색차 성분 값이 분리되어 배치된 복수 개의 파티션 중 적어도 하나가 드랍된 것인 데이터 수신 방법.
  11. 제10항에 있어서,
    상기 수신하는 단계는, 상기 영상 데이터의 컬러 포맷, 및 상기 드랍된 파티션에 대한 인덱싱 정보를 상기 영상 데이터와 함께 수신하고,
    상기 복원하는 단계는, 상기 인덱싱 정보에 기초하여 상기 드랍된 휘도 성분 값 및 색차 성분 값을 복원하는 데이터 수신 방법.
  12. 영상 데이터를 무선으로 송신하는 무선 송신기에 있어서,
    소정 크기의 픽셀 블록에 포함되는 픽셀들 각각의 휘도 성분 값 및 색차 성분 값을 획득하고, 상기 픽셀 블록에서 상기 픽셀들의 공간적인 위치에 기초하여 상기 휘도 성분 값들 및 상기 색차 성분 값들이 배치된 복수 개의 파티션을 획득하는 픽셀 파티셔닝 모듈; 및
    상기 영상 데이터의 데이터 전송률에 따라 상기 복수 개의 파티션을 선택적으로 송신하는 데이터 송신 모듈을 포함하는 무선 송신기.
  13. 제12항에 있어서,
    상기 무선 송신기는, 상기 영상 데이터의 데이터 전송률을 감소시키기 위하여 적어도 하나의 파티션을 드랍하는 파티션 드랍 모듈을 더 포함하고,
    상기 데이터 송신 모듈은, 상기 복수 개의 파티션 중에서 드랍된 파티션을 제외하고 송신하는 무선 송신기.
  14. 제13항에 있어서,
    상기 파티션 드랍 모듈은, 상기 영상 데이터가 송신되는 무선 채널의 대역폭에 기초하여, 상기 드랍되는 파티션의 개수를 단계적으로 증가시키며 드랍하는 무선 송신기.
  15. 제13항에 있어서,
    상기 파티션 드랍 모듈은, 상기 복수 개의 파티션의 중요도 레벨(importance level)에 기초하여 상기 중요도 레벨이 낮은 파티션부터 드랍하는 무선 송신기.
  16. 제12항에 있어서,
    상기 픽셀 파티셔닝 모듈은, 상기 휘도 성분 값 및 상기 색차 성분 값을 분리하여 각각 서로 다른 파티션에 배치하는 무선 송신기.
  17. 제12항에 있어서,
    상기 픽셀 블록은, 2개의 픽셀 라인 및 2개의 픽셀 행으로 배치된 4개의 픽셀을 포함하는 무선 송신기.
  18. 제12항에 있어서,
    상기 영상 데이터의 컬러 포맷은, YCbCr 4:4:4, YCbCr 4:2:2, 및 YCbCr 4:2:0 중 어느 하나인 무선 송신기.
  19. 제18항에 있어서,
    상기 복수 개의 파티션의 개수는, 상기 영상 데이터의 컬러 포맷(color format)에 기초하여 결정되는 무선 송신기.
  20. 영상 데이터를 무선으로 수신하는 무선 수신기에 있어서,
    일부 픽셀의 휘도 성분 값 및 색차 성분 값 중 적어도 하나가 드랍된 상기 영상 데이터를 수신하는 데이터 수신 모듈; 및
    상기 수신된 영상 데이터에 포함된 픽셀의 데이터 값을 참조하여, 상기 드랍된 휘도 성분 값 및 색차 성분 값을 복원하는 데이터 복원 모듈을 포함하는 무선 수신기.
  21. 제20항에 있어서,
    상기 수신된 영상 데이터는, 픽셀 블록에 포함된 휘도 성분 값 및 색차 성분 값이 분리되어 배치된 복수 개의 파티션 중 적어도 하나가 드랍된 것인 무선 수신기.
  22. 제21항에 있어서,
    상기 수신하는 단계는, 상기 영상 데이터의 컬러 포맷, 및 상기 드랍된 파티션에 대한 인덱싱 정보를 상기 영상 데이터와 함께 수신하고,
    상기 복원하는 단계는, 상기 인덱싱 정보에 기초하여 상기 드랍된 휘도 성분 값 및 색차 성분 값을 복원하는 무선 수신기.
  23. 제1항 내지 제11항 중 어느 하나의 항에 기재된 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020120056978A 2011-05-26 2012-05-29 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치 KR101416062B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161490177P 2011-05-26 2011-05-26
US61/490,177 2011-05-26

Publications (2)

Publication Number Publication Date
KR20120132444A KR20120132444A (ko) 2012-12-05
KR101416062B1 true KR101416062B1 (ko) 2014-07-08

Family

ID=47217933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120056978A KR101416062B1 (ko) 2011-05-26 2012-05-29 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치

Country Status (6)

Country Link
US (1) US9661189B2 (ko)
EP (1) EP2713648B1 (ko)
JP (1) JP5969597B2 (ko)
KR (1) KR101416062B1 (ko)
CN (1) CN103733679A (ko)
WO (1) WO2012161556A2 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5232319B2 (ja) 2011-10-20 2013-07-10 株式会社東芝 通信装置及び通信方法
JPWO2014049761A1 (ja) * 2012-09-26 2016-08-22 富士通株式会社 システム、情報処理装置および画像処理方法
KR102196492B1 (ko) * 2014-07-04 2020-12-30 삼성전자주식회사 통신 시스템에서 데이터 송수신 장치 및 방법
KR102153554B1 (ko) 2015-06-17 2020-09-08 한국전자통신연구원 미디어 데이터의 처리를 위한 mmt 장치 및 방법
WO2016204442A1 (ko) * 2015-06-17 2016-12-22 한국전자통신연구원 미디어 데이터의 처리를 위한 mmt 장치 및 방법
US10713839B1 (en) 2017-10-24 2020-07-14 State Farm Mutual Automobile Insurance Company Virtual vehicle generation by multi-spectrum scanning
US10521962B1 (en) 2018-03-08 2019-12-31 State Farm Mutual Automobile Insurance Company Method and system for visualizing overlays in virtual environments
US10970923B1 (en) 2018-03-13 2021-04-06 State Farm Mutual Automobile Insurance Company Method and system for virtual area visualization
US10732001B1 (en) 2018-04-06 2020-08-04 State Farm Mutual Automobile Insurance Company Methods and systems for response vehicle deployment
US10832476B1 (en) 2018-04-30 2020-11-10 State Farm Mutual Automobile Insurance Company Method and system for remote virtual visualization of physical locations

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080031259A (ko) * 2005-07-08 2008-04-08 마이크로소프트 코포레이션 그래픽 어댑터의 가상화를 위한 리소스 관리
KR20080095833A (ko) * 2006-11-13 2008-10-29 삼성전자주식회사 무선 매체를 통한 전송을 위해 비압축 비디오를 분할하여인코딩하는 방법 및 시스템
KR100919886B1 (ko) 2006-12-06 2009-09-30 한국전자통신연구원 영상 복호기에서 움직임 벡터 특성을 이용한 움직임 보상스킵 제어 장치 및 그 방법
JP2010515305A (ja) 2006-12-22 2010-05-06 クゥアルコム・インコーポレイテッド 他のコーディングモードの情報を使用したコーディングモードの選択

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355776A (ja) 1998-06-11 1999-12-24 Mitsubishi Electric Corp 画像情報圧縮方法、画像情報圧縮装置、デジタルカメラ、携帯情報端末、および、デジタルビデオ
JP3707366B2 (ja) 2000-07-27 2005-10-19 株式会社日立製作所 ワイヤレス映像伝送装置
KR100392369B1 (ko) 2000-12-27 2003-07-22 한국전자통신연구원 칼라화질 개선을 위한 디지털 방송용 영상신호 송수신장치 및 그 방법
JP4151963B2 (ja) 2003-09-19 2008-09-17 株式会社リコー 画像サーバ装置、クライアント装置、動画像配信方法、プログラム、及び、情報記録媒体
US8175041B2 (en) 2006-12-14 2012-05-08 Samsung Electronics Co., Ltd. System and method for wireless communication of audiovisual data having data size adaptation
JP2008219479A (ja) 2007-03-05 2008-09-18 Mitsubishi Electric Corp 画像伝送システム、撮像装置、及び画像伝送方法
KR101601840B1 (ko) 2009-02-23 2016-03-22 에스케이 텔레콤주식회사 채널 상관 관계를 이용한 영상 부호화/복호화 장치 및 방법과 그를 위한 컴퓨터로 읽을 수 있는 기록매체
US9369759B2 (en) * 2009-04-15 2016-06-14 Samsung Electronics Co., Ltd. Method and system for progressive rate adaptation for uncompressed video communication in wireless systems
US8891610B2 (en) * 2010-05-05 2014-11-18 Samsung Electronics Co., Ltd. Method and system for chroma partitioning and rate adaptation for uncompressed video transmission in wireless networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080031259A (ko) * 2005-07-08 2008-04-08 마이크로소프트 코포레이션 그래픽 어댑터의 가상화를 위한 리소스 관리
KR20080095833A (ko) * 2006-11-13 2008-10-29 삼성전자주식회사 무선 매체를 통한 전송을 위해 비압축 비디오를 분할하여인코딩하는 방법 및 시스템
KR100919886B1 (ko) 2006-12-06 2009-09-30 한국전자통신연구원 영상 복호기에서 움직임 벡터 특성을 이용한 움직임 보상스킵 제어 장치 및 그 방법
JP2010515305A (ja) 2006-12-22 2010-05-06 クゥアルコム・インコーポレイテッド 他のコーディングモードの情報を使用したコーディングモードの選択

Also Published As

Publication number Publication date
JP2014519280A (ja) 2014-08-07
EP2713648A4 (en) 2014-12-17
WO2012161556A3 (ko) 2013-03-28
EP2713648B1 (en) 2017-03-01
KR20120132444A (ko) 2012-12-05
CN103733679A (zh) 2014-04-16
EP2713648A2 (en) 2014-04-02
US20140119648A1 (en) 2014-05-01
WO2012161556A2 (ko) 2012-11-29
JP5969597B2 (ja) 2016-08-17
US9661189B2 (en) 2017-05-23

Similar Documents

Publication Publication Date Title
KR101416062B1 (ko) 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치
CN106068495B (zh) 将使用不同编码参数编码的多个编码成流
US8891610B2 (en) Method and system for chroma partitioning and rate adaptation for uncompressed video transmission in wireless networks
CN104813666A (zh) 解码装置和解码方法、以及编码装置和编码方法
JP6883219B2 (ja) 符号化装置及び符号化方法、並びに、システム
US20200288123A1 (en) Image processing apparatus and image processing method
US20180220204A1 (en) Information processing device, content requesting method, and computer program
KR101439851B1 (ko) 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치
KR102151297B1 (ko) 서버 장치, 클라이언트 장치, 콘텐츠 배신 방법, 콘텐츠 재생 방법, 및 컴퓨터 판독가능 기록매체
CN105260131A (zh) 内容处理装置及其内容处理方法
KR101552070B1 (ko) 영상 신호 전송 방법 및 장치
EP2312859A2 (en) Method and system for communicating 3D video via a wireless communication link
CN102405642A (zh) 信息处理设备和方法、及信息处理系统
KR20120024366A (ko) 제어 패킷 생성 방법 및 그 장치
US9300979B2 (en) Methods for transmitting and receiving data contents, corresponding source and destination nodes and storage means
KR20110068784A (ko) 영상 송신 장치, 영상 수신 장치, 이를 포함하는 영상 전송 시스템과 그 방법
JP3880580B2 (ja) デジタル信号受信装置、デジタル信号処理装置およびプログラム記録媒体
JP2009194758A (ja) 映像記録装置、映像再生装置、映像記録再生システム、方法、およびプログラム
JP2001094901A (ja) デジタル信号受信装置、デジタル信号処理装置およびプログラム記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 6