KR100828320B1

KR100828320B1 - 알에이피를 위한 영상신호의 송신 및 수신 방법

Info

Publication number: KR100828320B1
Application number: KR1020010050464A
Authority: KR
Inventors: 황원용
Original assignee: 엘지전자 주식회사
Priority date: 2001-08-21
Filing date: 2001-08-21
Publication date: 2008-05-08
Anticipated expiration: 2021-08-21
Also published as: KR20030016753A

Abstract

본 발명은 피씨의 화면을 캡춰하여 알에이피(RAP)의 디스플레이 패널에 표시할 때 전송 데이터를 최소화하는 기술에 관한 것이다. 이러한 본 발명은, 피씨에서 화면의 영상신호를 캡춰하여 타겟 디스플레이 패널의 화면 해상도에 상응되게 스케일링하고, 상기 스케일링된 데이터를 압축할 영상데이터로 변환하여 저장하는 제1과정과; 상기 저장된 영상데이터를 기본블록 단위로 나누어 각 기본블록 내의 픽셀의 휘도값을 이전 프레임의 동일 좌표의 휘도값과 비교하여, 차이값을 갖는 기본블록을 엔코딩할 기본블록으로 선정하는 작업을 한 프레임의 마지막 기본블록까지 순차적으로 수행하는 제2과정과; 한 프레임 내에서 엔코딩할 기본블록으로 선정된 개수를 기 설정된 임계값(threhold)과 비교하고, 그 비교 결과에 따라 한 프레임 내의 모든 기본블록을 엔코딩하여 헤더와 함께 전송하거나, 또는 해당 기본블록만을 엔코딩하여 기본블록 번호와 함께 하나의 유니트로 만들어 전송하는 제3과정에 의해 달성된다.

Description

알에이피를 위한 영상신호의 송신 및 수신 방법{METHOD FOR TRANSMITTING AND RECEIVING VIDEO SIGNAL FOR RAP}

도 1은 종래 기술에 의한 알에이피를 위한 영상신호 전송 시스템의 블록도.

도 2는 피씨에서의 캡춰화면 영상신호에 대한 전송 처리과정의 설명도.

도 3은 알에이피에서의 캡춰화면 영상신호에 대한 수신 처리과정의 설명도.

도 4는 본 발명에 의한 캡춰화면 영상신호의 송신 처리과정의 신호 흐름도.

도 5는 본 발명에 적용되는 기본블록의 구성 및 프레임간 비교관계를 보인 설명도.

도 6은 기본블록 내에서 픽셀 단위로 휘도값의 차이를 구하여 절대값을 취하는 예를 보인 설명도.

도 7은 본 발명에 의한 캡춰화면 영상신호의 수신 처리과정의 신호 흐름도.

도 8은 디스플레이 버퍼 상에서, 수신된 데이터가 지적하는 업데이트될 기본블록을 보인 설명도.

** 도면의 주요 부분에 대한 부호의 설명 **

1 : 피씨 2 : 전송장치

3 : 알에이피

본 발명은 데스크톱 피씨(desktop PC) 또는 노트북 피씨의 화면을 캡춰하여 알에이피(RAP)의 디스플레이 패널에 표시하는 기술에 관한 것으로, 특히 데스크톱 피씨 또는 노트북 피씨에서 알에이피측으로 화면 캡춰용 영상신호를 전송할 때 화면 상에서 변화가 발생한 부분의 영상신호만을 전송하도록 한 알에이피를 위한 영상신호의 송신 및 수신 방법에 관한 것이다.

도 1은 종래 기술에 의한 알에이피(RAP: Remote Access Pad)를 위한 영상신호 전송 시스템의 블록도로서 이에 도시한 바와 같이, 자신의 모니터에 디스플레이되는 화면 영상신호를 캡춰(capture)하여 알에이피(3)측으로 전송하는데 적당한 형태로 엔코딩하는 피씨(1)와; 상기 피씨(1)에서 엔코딩 처리된 영상신호를 무선 또는 유선링크를 통해 알에이피(3)측으로 전송하는 전송장치(2)와; 원격지에서 상기 피씨(1)로부터 인터넷, 브이오디(VOD) 및 각종 애플리케이션을 서비스받기 위하여, 상기 전송장치(2)를 통해 전송되어 오는 엔코딩된 영상신호를 디코딩처리하여 디스플레이 패널에 디스플레이하는 알에이피(3)로 구성된 것으로, 이의 작용을 첨부한 도 2 및 도 3을 참조하여 설명하면 다음과 같다.

알에이피(3)는 원격지에서 무선 또는 유선의 전송매체를 통해 피씨(1)와 연결되어 인터넷, 브이오디(VOD) 및 각종 애플리케이션을 서비스받는다. 이를 위해 상기 피씨(1)는 모니터에 디스플레이되는 영상을 캡춰한 후 소정의 영상신호로 엔 코딩처리하여 전송하고, 알에이피(3)에서는 이를 다시 디코딩처리하여 자신의 디스플레이 패널에 디스플레이한다.

도 2는 상기 피씨(1)가 출력화면의 영상신호를 캡춰하여 알에이피(3)측으로 전송하기 위한 처리과정을 나타낸 것이다. 즉, 상기 피씨(1)는 RGB 형태의 화면 영상신호로 캡춰하여 공간적인 컬러신호(YCrCb)로 변환하고, 다시 JPEG와 같은 영상신호로 엔코딩처리하여 알에이피(3)측으로 전송한다.

상기 피씨(1)에서 엔코딩 처리된 영상신호는 전송장치(2)를 통한 후 무선 또는 유선의 링크를 통해 알에이피(3)측으로 전송되는데, 이 링크는 전송장치(2)에 따라 'Home RF','802.11b','HPNA' 등으로 구현된다. 참고로, 상기 전송장치(2)는 보드 형태로 구현되어 피씨(1)의 슬롯에 장착된다.

도 3은 상기 알에이피(3)가 피씨(1)로부터 전송되어 오는 영상신호를 디코딩처리하여 자신의 화면에 디스플레이하는 처리과정을 나타낸 것이다. 즉, 상기 알에이피(3)는 상기 엔코딩처리된 영상신호를 수신한 다음 디코딩 처리하여 복원된 원래의 영상신호를 자신의 디스플레이 패널(예: LCD)에 디스플레이한다.

피씨의 화면 사이즈가 XGA급일 경우 1024

768이나 되기 때문에 화면 캡춰를 위해 전송해야 할 데이터가 많고, 이로 인하여 피씨에서 엔코딩할 때와 알에이피에서 디코딩하는데 많은 시간이 소요된다. 그럼에도 불구하고 종래의 알에이피 시스템에 있어서는 캡춰된 영상데이터를 모두 전송하게 되어 있어 양측에 부하가 많이 걸리게 되고, 키신호 및 마우스신호 입력시 실시간 화면을 제공하는데 어려움이 있었다.

따라서, 본 발명의 목적은 피씨에서 알에이피측으로 화면 캡춰용 영상데이터를 전송할 때, 최소한의 정보데이터로 캡춰화면을 디스플레이할 수 있도록 화면 상에서 변화가 발생한 부분의 영상데이터만을 전송하는 알에이피를 위한 영상신호의 송신 및 수신 방법에 관한 것이다.

본 발명의 제1특징에 따르면, 피씨화면을 캡춰하여 RGB 형태의 영상 데이터를 YCrCb 형태의 데이터로 변환처리한다.

본 발명의 제2특징에 따르면, 제1특징에서 캡춰된 화면의 영상데이터를 저장한 후 각 프레임을 기본블록(elementary block) 단위로 분할하여 각 기본블록 내의 픽셀의 휘도값(Y)을 비교한 다음 각 기본블록의 SAD(SAD: Sum of Absolute Difference)를 근거로 해당 기본블록의 엔코딩 여부를 결정한다.

본 발명의 제3특징에 따르면, 제2특징에서 엔코딩되어야 할 블록으로 판별된 기본블록의 개수를 세어 한계치를 초과하면 기본블록별로 엔코딩하지 않고 전체 프레임을 모두 엔코딩한다. 그러나 한계치를 초과하지 않는 경우에는 엔코딩되어야 한다고 판단된 기본블록만을 엔코딩한다.

본 발명의 제4특징에 따르면, 제3특징에서 엔코딩 할 기본블록을 엔코딩할 때 엔코딩된 데이터와 블록번호를 하나의 데이터 단위로 처리한다.

본 발명의 제5특징에 따르면, 기본블록별로 만들어진 데이터를 RAP측으로 전송하고, RAP에서는 엔코딩된 데이터와 블록번호를 분리하여 디코딩처리한 후 디스 플레이 버퍼 메모리에 해당 블록만 업데이트한다.

본 발명에 의한 알에이피를 위한 영상신호의 송신 방법은, 피씨에서 화면의 영상신호를 캡춰하여 타겟 디스플레이 패널의 화면 해상도에 상응되게 스케일링하고, 상기 스케일링된 데이터를 압축할 영상데이터로 변환하여 저장하는 제1과정과; 상기 저장된 영상데이터를 기본블록 단위로 나누어 각 기본블록 내의 픽셀의 휘도값을 이전 프레임의 동일 좌표의 휘도값과 비교하여, 차이값을 갖는 기본블록을 엔코딩할 기본블록으로 선정하는 작업을 한 프레임의 마지막 기본블록까지 순차적으로 수행하는 제2과정과; 한 프레임 내에서 엔코딩할 기본블록으로 선정된 개수를 기 설정된 임계값(threhold)과 비교하고, 그 비교 결과에 따라 한 프레임 내의 모든 기본블록을 엔코딩하여 헤더와 함께 전송하거나, 또는 해당 기본블록만을 엔코딩하여 기본블록 번호와 함께 하나의 유니트로 만들어 전송하는 제3과정으로 이루어진다.

본 발명에 의한 알에이피를 위한 영상신호의 수신 방법은, 엔코딩된 형태로 전송되어 온 영상 데이터를 알에이피에서 수신처리하여 데이터의 헤더를 근거로, 전체 프레임(full frame) 타입의 데이터인지 변화가 발생된 기본블록만을 엔코딩한 데이터 타입인지 확인하는 제1과정과; 상기의 확인 결과 전체 프레임 타입의 데이터로 판명된 경우, 그 데이터를 디코딩처리 후 디스플레이 버퍼메모리 상의 전체 데이터를 업데이트하는 제2과정과; 상기의 확인 결과 기본블록들만 엔코딩한 타입의 데이터로 판명된 경우, 그 데이터를 디코딩 처리 후 디스플레이 버퍼 메모리 상의 해당 기본블록 데이터만을 업데이트하는 제3과정으로 이루어지는 것으로, 이와 같은 본 발명의 작용을 첨부한 도 1, 도 4 내지 도 8을 참조하여 상세히 설명하면 다음과 같다.

피씨(1)는 자신의 모니터에 디스플레이되는 화면을 알에이피(3)측으로 전송하기 위해 캡춰하게 되는데, 이 화면의 해상도는 VGA 카드가 지원하는 해상도에 따라 640

480∼1280

1024 혹은 그 이상까지 다양하며, 컬러 또한 16컬러∼1677만 컬러까지 다양하다. 어느 경우든 한 화면은 각 해상도별로 1픽셀당 R,G,B 각각 8bit씩 포맷팅된다. 따라서, 최초에 캡춰되는 화면은 RGB 형태의 데이터로 구성되어 있다.(SA1)

상기 RGB 형태의 데이터는 피씨(1)의 디스플레이 모드에 따라 640

480∼1280

1024 혹은 그 이상의 해상도로 저장되어 있으므로 타겟 디스플레이 패널의 화면 해상도(resolution)에 맞추어 스케일링된다.(SA2)

그런데, 상기 스케일링된 데이터는 일반적으로 영상압축(JPEG,MPEG,...)을 하기에는 부적합한 데이터이므로 이를 YCrCb 형태의 데이터로 변환(color space conversion)하고, 이렇게 변환된 데이터는 프레임간의 비교를 위해 저장해 둔다.(SA3,SA4)

상기와 같은 과정을 통해 저장된 프레임을 기본블록 단위로 나누어 기 저장된 이전 프레임의 동일한 공간좌표의 단위블록 내의 각 픽셀의 휘도값(Y)을 비교한다(도 4 및 도 5 참조). 여기서, 기본블록은 이미지 엔코딩을 위한 최소 단위블록으로 사용되는 것이며, 상기의 비교결과 현재 프레임과 이전 프레임간의 SAD가 '0'이면 두 프레임의 해당되는 위치의 기본블록은 동일한 것으로 판단하여 엔코딩되지 않고 스킵(skip)한다.(SA5)

그러나, 상기의 비교결과 현재 프레임과 이전 프레임간의 SAD가 '0'이 아닌 것으로 판명되면 두 기본블록에 변화가 발생된 것이므로 기본블록의 번호를 저장하고 엔코딩 되어야 할 블록 개수를 나타내는 카운트값을 하나 증가시킨다.(SA6)

이후, 한 프레임의 마지막 기본블록까지 모두 비교되었는지 확인하여 그 확인 결과에 따라 상기 제5단계(SA5)로 복귀하거나 다음 단계로 진행한다.(SA7)

상기와 같은 비교과정을 통해 한 프레임의 모든 기본블록들의 변화 여부를 판별하여 그에 따른 카운트값 즉, 엔코딩되어야 할 기본블록의 개수를 나타내는 카운트값이 기 설정된 임계값(threhold) 이상인지 확인한다.(SA8)

상기의 확인결과 카운트값이 기 설정된 임계값(Th) 이상으로 판명되면 전체 프레임을 엔코딩하여 전체 프레임이 엔코딩 되었음을 나타내는 헤더를 붙여 전송하고, 미만으로 판명되면 상기 제5단계(SA5)에서 판별된 기본블록들을 기본블록 단위로 엔코딩하여 기본블록 번호와 함께 하나의 유니트로 만들어 알에이피(3)측으로 전송한다.(SA9-SA12)

한편, 상기 알에이피(3)는 상기 피씨(1)에서 상기와 같은 과정을 통해 엔코딩하여 전송한 영상 데이터를 디코딩하여 자신의 디스플레이 패널에 디스플레이하게 되는데, 이의 처리과정을 도 7 및 도 8을 참조하여 설명하면 다음과 같다.

먼저, 상기 알에이피(3)는 엔코딩된 형태로 전송되어 온 영상 데이터를 수신처리하여 그 데이터의 헤더를 보고 한 프레임 전체를 엔코딩한 전체 프레임(full frame) 타입의 데이터인지 변화가 발생된 기본블록들만을 엔코딩한 데이터 타입인지 확인한다.(SB1-SB3)

상기의 확인 결과 현재 데이터가 전체 프레임 타입의 데이터로 판명되면 그 데이터들을 디코딩하여 디스플레이 버퍼 메모리 상의 전체 데이터를 업데이트한다.(SB4,SB5)

그러나, 상기의 확인 결과 현재 데이터가 변화가 발생된 기본블록만 엔코딩한 타입의 데이터로 판명되면, 기본블록 번호와 디코딩하여야 할 데이터를 분리하고 데이터 부분을 디코딩한 후 디스플레이 버퍼 메모리 상에서, 기본블록 번호가 지적하는 위치의 기본블록 데이터만을 업데이트한다.(도 8 참조)(SB6-SB8)

이후, 상기와 같은 과정을 통해 한 프레임에서 부분적으로 또는 전체적으로 업데이트된 디스플레이 버퍼의 영상 데이터가 디스플레이 패널로 전달되어 디스플레이되고, 이러한 처리과정이 반복적으로 수행된다.(SB9)

이상에서 상세히 설명한 바와 같이 본 발명은 피씨에서 화면을 캡춰하여 알에이피의 디스플레이 패널에 표시함에 있어서, 무조건 모든 블록의 영상데이터를 엔코딩하여 전송하는 것이 아니라 이전 프레임의 기본블록의 영상데이터와 비교하여 그 비교 결과에 따라 부분적으로 변화가 있을 때에는 해당 부분의 영상데이터만을 엔코딩하여 전송함으로써, 전송 지연시간을 최소화 할 수 있어 사용자가 입력하는 각종 키신호 및 마우스신호에 실시간으로 반응할 수 있는 효과가 있고, 피씨와 알에이피간의 부하량을 최소화할 수 있는 효과가 있다.

Claims

피씨에서 화면의 영상신호를 캡춰하여 타겟 디스플레이 패널의 화면 해상도에 상응되게 스케일링하고, 상기 스케일링된 데이터를 압축할 영상데이터로 변환하여 저장하는 제1과정과;

상기 저장된 영상데이터를 기본블록 단위로 나누어 각 기본블록 내의 픽셀의 휘도값을 이전 프레임의 동일 좌표의 휘도값과 비교하여, 차이값을 갖는 기본블록을 엔코딩할 기본블록으로 선정하는 작업을 한 프레임의 마지막 기본블록까지 순차적으로 수행하는 제2과정과;

한 프레임 내에서 엔코딩할 기본블록으로 선정된 개수를 기 설정된 임계값(threhold)과 비교하고, 그 비교 결과에 따라 한 프레임 내의 모든 기본블록을 엔코딩하여 헤더와 함께 전송하거나, 또는 해당 기본블록만을 엔코딩하여 기본블록 번호와 함께 하나의 유니트로 만들어 전송하는 제3과정으로 이루어진 것을 특징으로 하는 알에이피를 위한 영상신호의 송신 방법.
제1항에 있어서, 제1과정에서의 압축할 영상데이터는 YCrCb 형태의 영상데이터인 것을 특징으로 하는 알에이피를 위한 영상신호의 송신 방법.
제1항에 있어서, 제2과정의 기본블록은 이미지 엔코딩을 위한 최소 단위블록인 것을 특징으로 하는 알에이피를 위한 영상신호의 송신 방법.
제1항에 있어서, 제2과정의 차이값은 SAD(Sum of Absolute Difference)임을 특징으로 하는 알에이피를 위한 영상신호의 송신 방법.
제1항에 있어서, 제2과정은 엔코딩할 기본블록을 선정하기 위해 카운터를 이용하는 것을 특징으로 하는 알에이피를 위한 영상신호의 송신 방법.
제1항에 있어서, 제3과정의 헤더는 한 프레임 내의 모든 기본블록을 엔코딩한 타입의 데이터임을 나타내는 정보를 포함하는 것을 특징으로 하는 알에이피를 위한 영상신호의 송신 방법.
엔코딩된 형태로 전송되어 온 영상 데이터를 알에이피에서 수신처리하여 데이터의 헤더를 근거로, 전체 프레임(full frame) 타입의 데이터인지 변화가 발생된 기본블록만을 엔코딩한 데이터 타입인지 확인하는 제1과정과;

상기의 확인 결과 전체 프레임 타입의 데이터로 판명된 경우, 그 데이터를 디코딩처리 후 디스플레이 버퍼메모리 상의 전체 데이터를 업데이트하는 제2과정과;

상기의 확인 결과 기본블록들만 엔코딩한 타입의 데이터로 판명된 경우, 그 데이터를 디코딩 처리 후 디스플레이 버퍼 메모리 상의 해당 기본블록 데이터만을 업데이트하는 제3과정으로 이루어진 것을 특징으로 하는 알에이피를 위한 영상신호의 수신 방법.
제7항에 있어서, 제3과정은 기본블록의 번호와 디코딩하여야 할 데이터를 분리하는 단계와; 분리된 데이터 부분을 디코딩하는 단계와; 디스플레이 버퍼 메모리 상에서, 기본블록 번호가 지적하는 위치의 기본블록 데이터만을 선택적으로 업데이트하는 단계로 이루어진 것을 특징으로 하는 알에이피를 위한 영상신호의 수신 방법.