KR20150094435A - 단기 신뢰성을 갖는 영상데이터 전송 방법 - Google Patents

Abstract

본 발명은 UDP/IP 네트워크 기술 및 원격 영상 전송 기술에 관한 것으로, H/W를 이용한 영상 전송에 특화된 네트워크 전송 프로토콜에 관한 것이다. 본 발명의 일 측면에 따르면, 패킷 헤더에 포함된 Expiration Timeout Value에 의해 설정되는 Expiration Timer를 이용하여 상대측 수신 여부와 상관없이 일정 시간이 지난 후엔 패킷을 재전송하지 않는 영상데이터 전송 방법에 있어서, 패킷 전송시 재전송 버퍼가 비어있으면 Expiration Timer를 스타트하는 단계, 상기 Expiration Timer가 만료되면 상기 Expiration Timer를 클리어하고, 상기 재전송 버퍼를 비우며, 다음 패킷의 UPN 태그를 기록하여 전송하는 단계 및 Ack 나 EACK 패킷이 수신되면 수신확인된 패킷을 상기 재전송 버퍼에서 제거하고 상기 재전송 버퍼의 헤더에 있는 패킷의 Expiration Timestamp 값을 Expiration Timer 값으로 대체하는 단계를 포함하는 단기 신뢰성을 갖는 영상데이터 전송 방법이 제공된다.

Description

단기 신뢰성을 갖는 영상데이터 전송 방법{Method of transmitting image data with short-term reliability}

본 발명은 UDP/IP 네트워크 기술 및 원격 영상 전송 기술에 관한 것으로, H/W를 이용한 영상 전송에 특화된 네트워크 전송 프로토콜에 관한 것이다.

클라우드 서비스나 PC의 원격사용 등을 위해서는 영상신호의 원격전송을 필요로 한다. 클라우드 서비스가 영상을 전송하기 위해서 사용하는 프로토콜로는 Microsoft의 RDP, RemoteFx, Citrix의 ICA, HDX, VMware의 PCoIP 등이 있다. 이들 프로토콜은 데이터의 전송량이 많거나 짧은 지연시간을 필요로 하는 경우엔 하부 프로토콜로 주로 UDP를 사용하고 있다.

TCP 프로토콜은 지연시간에 대한 제약이 거의 없는 경우에 안전한 전송을 위해서 적당하지만, 지연시간이 문제가 되는 경우에는 사용하기 곤란하다. 또한 UDP 에 비하여 복잡하고 오버헤드가 많아 하드웨어로 구현하기 어려운 단점이 있다. TCP 의 문제점을 해결하면서 UDP의 단점인 패킷 분실, 전송 순서 위반과 같은 문제점을 해결하기 위해 RUDP라는 프로토콜도 제안되었지만 이는 인터넷 표준으로는 채택되지 못하였다.

실시간 멀티미디어 서비스의 수요가 늘어나면서 기존 TCP/UDP 를 보완할 전송 프로토콜로 RTP/RTCP, RSVP, RSTP 등의 프로토콜들이 개발되었다. 이중, 실제로 데이터를 전송하는 프로토콜은 RTP 프로토콜로 하부 프로토콜로는 UDP를 사용하며, 제어를 위하여 RTCP 프로토콜과 함께 사용된다. 이처럼 연결관리 및 재전송 등을 구현하기 위해서 다른 프로토콜과 함께 구현되어야 하므로 RTP 프로토콜 역시 H/W 로 구현하기에는 복잡한 편이다.

한국 특허출원번호 제10-2007-0035103호

본 발명은 기존의 영상 전송 프로토콜의 오버헤드를 줄이고, H/W 구현이 용이하며 반복적인 재전송을 없애 실시간 영상의 질을 향상하기 위한 전송 프로토콜을 제공하고자 한다.

본 발명의 일 측면에 따르면, 패킷 헤더에 포함된 Expiration Timeout Value에 의해 설정되는 Expiration Timer를 이용하여 상대측 수신 여부와 상관없이 일정 시간이 지난 후엔 패킷을 재전송하지 않는 영상데이터 전송 방법에 있어서, 패킷 전송시 재전송 버퍼가 비어있으면 Expiration Timer를 스타트하는 단계, 상기 Expiration Timer가 만료되면 상기 Expiration Timer를 클리어하고, 상기 재전송 버퍼를 비우며, 다음 패킷의 UPN 태그를 기록하여 전송하는 단계 및 Ack 나 EACK 패킷이 수신되면 수신확인된 패킷을 상기 재전송 버퍼에서 제거하고 상기 재전송 버퍼의 헤더에 있는 패킷의 Expiration Timestamp 값을 Expiration Timer 값으로 대체하는 단계를 포함하는 단기 신뢰성을 갖는 영상데이터 전송 방법이 제공된다.

본 발명에 따르면, 기존의 영상 전송 프로토콜의 오버헤드를 줄이고, H/W 구현이 용이한 전송 프로토콜이 제공된다. 개발된 전송 프로토콜은 RUDP 프로토콜의 헤더 형태를 참고하였으며, H/W 기반 전송에 적합하고, 연결관리와 재전송 기능까지 포함하고 있다. 또한 재전송의 시간제한 기능을 첨부하여, 불필요한 재전송으로 인한 성능의 저하를 방지하였다.

따라서, 본 발명에 따르면 단기간 동안의 신뢰성을 가지는 데이터 전송이 가능하다. 실시간 영상데이터와 같이 시간적인 제한이 있어 반복적인 재전송이 오히려 품질을 떨어뜨리는 어플리케이션에 적합한 프로토콜로 H/W로 구현도 비교적 용이하게 할 수 있는 장점이 있다.

이하에서, 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다.
도 1은 단기 신뢰성을 갖는 영상데이터 전송 방법이 구현된 영상 전송 시스템을 예시적으로 도시하고 있다.
도 2는 단기 신뢰성을 갖는 영상데이터 전송 방법을 구현하기 위한 프로토콜의 기본 헤더 형식을 예시적으로 도시한 도면이다.
도 3은 단기 신뢰성을 갖는 영상데이터 전송 방법을 구현하기 위한 SYN 패킷 및 UPM 패킷의 구조를 예시적으로 도시한 도면이다.
도 4는 단기 신뢰성을 갖는 영상데이터 전송 방법을 구현하기 위한 EACK, RST, ACK 및 IMA 패킷의 구조를 예시적으로 도시한 도면이다.
도 5는 단기 신뢰성을 갖는 영상데이터 전송 방법을 구현시 사용되는 레지스터셋의 예를 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도 1은 단기 신뢰성을 갖는 영상데이터 전송 방법이 구현된 영상 전송 시스템을 예시적으로 도시하고 있다.

도 1을 참조하면, 영상 전송 시스템은 서버 또는 PC(101)에 장착된 영상전송카드(103)가 비디오카드(102)에서 출력되는 영상 신호를 받아서 이더넷 스위치(104)를 통해 하나 이상의 클라이언트로 전송하는 서비스의 예를 도시하고 있다. 클라이언트는 네트워크를 통해 영상 신호를 수신할 수 있다. 클라이언트는 다양한 형태로 구현이 가능하며, 예를 들어, PC나 태블릿과 같은 Thin Client(105)일 수도 있고, 영상수신카드(106)에 연결된 모니터(107)일 수도 있다. Thin Client를 사용할 경우, 네트워크 패킷 처리를 위한 약간의 지연시간이 소모되며, 영상이 압축된 경우 이를 해제하기 위한 시간이 지연되지만 해제는 압축보다는 간단하므로 실시간 요구가 심각하지 않은 경우 사용이 가능하다. 단기 신뢰성을 갖는 영상데이터 전송 방법은 도 1의 영상전송카드(103)와 영상수신카드(106) 혹은 Thin Client(105) 사이에서 사용할 수 있는 전송 프로토콜이다.

도 2는 단기 신뢰성을 갖는 영상데이터 전송 방법을 구현하기 위한 프로토콜의 기본 헤더 형식을 예시적으로 도시한 도면이다. 기본적인 포맷은 RUDP와 유사하며 하부 프로토콜로는 UDP를 이용한다.

첫 7bit의 태그들은 패킷이 어떤 종류인지 알려주는 기능을 한다. 여기서, SYN, ACK, RST는 TCP 및 RUDP 프로토콜에서 사용되는 것과 같은 의미를 가진다. 즉, SYN은 연결요청, ACK는 패킷 수신 확인, RST는 연결종료 요청을 의미한다. 한편, EAK 태그는 RUDP 등에서 사용되는 태그로, 순서가 바뀌어 수신된 경우, 이를 확인해 주는 기능을 한다. IMA 태그는 Ack 패킷을 요청하는 태그로, IMA 태그가 표시된 패킷을 수신하면 수신측은 곧바로 Ack 패킷을 전송해야 한다. UAN 태그는 수신측의 Ack 번호를 강제적으로 업데이트 하라고 지시하는 태그이며, UPM 태그는 연결 도중 관련 Parameter 들을 변경할 것을 지시하는 태그이다.

Header Length, Sequence Number, Acknowledge Number, Timestamp 역시 TCP 등의 프로토콜에서 사용되는 의미와 유사하다. 각각 헤더의 길이(Bytes), 전송되는 패킷의 번호, 수신 확인된 패킷의 번호, 전송시의 시간정보를 표시한다. Sequence Number는 Byte Count가 아닌 패킷의 일련번호이며, SYN, RST, UPM, IMA 또는 데이터를 포함한 패킷이 전송될 때 증가하는 값이다.

패킷은 Additional Header 또는 User Data를 더 포함할 수 있다. Additional Header가 추가되는 패킷은 SYN, UPM, EACK 패킷이며, User Data 를 포함할 수는 없다.

도 3은 단기 신뢰성을 갖는 영상데이터 전송 방법을 구현하기 위한 SYN 패킷 및 UPM 패킷의 구조를 예시적으로 도시한 도면이다. 두 패킷의 구조는 태그 값만 다를 뿐, 동일한 형태를 가지고 있다.

Max Outstanding Kbytes는 Ack를 받지 않은 채, 전송할 수 있는 최대 전송 크기를 결정하는 값이다. 이는 하드웨어 구현을 기반으로 하는 프로토콜이므로, 재전송 버퍼의 크기를 고려해야 하기 때문이다. 여기서, 송수신 측이 각각 다른 Max Outstanding Kbytes 값을 가지고 연결될 수 있다. 연결시 사용되는 Max Outstanding Kbytes값은 재전송 버퍼의 크기보다 작게 결정된다..

Expiration Timeout Value는 재전송을 어느 정도까지 수행할 것인지 결정하는 값이다. 최초 전송 후, Expiration Timeout Value 만큼의 시간이 초과되면 상대측 수신여부와 관계없이 패킷을 더 이상 재전송하지 않는다. 이는 영상이 시간에 의존하는 특성을 가지고 있기 때문에 가능하다. 즉, 영상은 시간이 어느 정도 지나면 더 이상 필요 없는 데이터가 되므로 재전송은 품질을 더욱 저하시킬 뿐이다. 따라서 일정시간을 정하여 해당 기간 안에서만 재전송을 지원하도록 한다.

Ack Wait Timeout Value는 수신할 Ack가 있음에도 일정기간 Ack 를 받지 못한 경우, 연결 상태를 확인하기 위해서 사용되는 값이다. 연결 상태를 확인할 경우 IMA 필드를 체크하여 패킷을 전송함으로써, 수신측에서 즉각 Ack 패킷을 보내도록 재촉한다. 이 같은 timeout이 Max Check Count 만큼 연속으로 일어나면 연결이 끊어진 것으로 간주한다.

Time Scale은 Timestamp 및 Timeout Value 들의 기본 단위를 결정하기 위한 필드이다. 예를 들어, Time Scale 값이 10이라면 Timestamp의 값은 10ㅅs 마다 증가하게 된다.

기타 다른 값들은 RUDP 에서 사용되는 값들과 동일하다. Max Segment Size는 패킷당 전송 가능한 크기를 의미한다. Cumulative Ack Timeout Value는 Ack 패킷을 지연 및 중첩시킬 때, 최대한의 지연시간을 의미한다. 여기서, Cumulative Ack Timeout Value는 Expiration Timeout value 보다 작게 결정되어야 하며, Ack Wait Timeout value는 Expiration Timeout value 보다 크게 설정되어야 한다. Null Segment Timeout Value는 전송할 데이터가 없을 경우, Keep Alive를 위하여 일정 시간마다 데이터가 없는 Null Segment를 전송해야 하는데 이 기간을 표시한다. Max Cumulative Ack는 최대한 중첩 가능한 Ack의 개수를 의미한다. Max Lost Seq는 수신한 패킷의 Sequence Number 가 빠져있을 경우, 이를 몇 개까지 허용하는가를 표시한다. RUDP 와는 달리 본 프로토콜에서는 연속적으로 빠지는 경우는 1개로 간주한다.

한편, UPM 패킷은 SYN 패킷으로 결정된 연결 Parameter들을 패킷 송수신 도중에 변경할 것을 지시하는 패킷이다. 대표적으로 수신측은 Timestamp를 이용하여 Jitter를 계산하고 이 Jitter와 Round Trip Time을 참고하여 적정 Expiration Timeout Value를 결정한다. 이 값은 연결 상태에 따라서 변할 수 있으며, 그 값이 기존값과 차이가 크면 이를 변경하기 위해 전송측으로 값을 변경할 것을 지시할 수 있다. 이때 사용되는 패킷이 UPM 패킷이다. 변경하지 않는 값은 기존의 값을 그대로 기록하여 보낸다.

도 4는 단기 신뢰성을 갖는 영상데이터 전송 방법을 구현하기 위한 EACK, RST, ACK 및 IMA 패킷의 구조를 예시적으로 도시한 도면이다. EACK와 RST 패킷은 사용자 데이터를 포함할 수 없으며, ACK/IMA 패킷은 사용자 데이터를 포함할 수 있다.

EACK 패킷은 순서가 바뀌어 수신된 경우, 이를 확인해 주는 패킷이다. 즉 수신된 패킷에 빠진 Sequence Number가 있는 경우, 이를 Lost Sequence Number에 기록하고 연속적으로 빠진 개수를 Consecutive Counter 에 기록한다. 예를 들어, 1,2,3,5,8,9번 패킷이 수신된 경우, 수신측은 1st Lost Sequence Number에는 4 그리고 1st Consecutive Counter에는 1을 기록하고, 2nd Lost Sequence Number에는 6 그리고 2nd Consecutive Counter에는 2를 기록하여 송신측으로 보낸다. 본 전송 프로토콜에서는 연속적으로 분실된 패킷들은 하나로 간주하며, 최대 몇 개까지 허용할 것인가는 Max Lost Seq값에 의해 결정된다. 이 값이 0일 경우, EACK 패킷은 추가적인 헤더를 가질 수 없으며, 송신측은 이런 EACK 패킷을 받은 경우, Acknowledge Number에 의해 수신 확인된 다음 패킷을 재전송해야 한다.

RST 패킷은 연결을 끊기 위해 사용되며, ACK/IMA 패킷은 패킷 수신상태를 알려주거나 데이터를 송신하는데 사용된다. IMA 태그가 포함된 ACK 패킷을 수신한 경우엔 즉각 ACK 패킷을 전송해야 한다.

상술한 전송 프로토콜은 다음과 같은 방식으로 사용 및 구현 될 수 있다. 도 5는 단기 신뢰성을 갖는 영상데이터 전송 방법을 구현시 사용되는 레지스터셋의 예를 도시한 도면이다. 여기서 좌측이 단기 신뢰성을 갖는 영상데이터 전송 예에 사용되는 레지스터들로 각각 SYN 패킷의 해당 Paramter들과 비교되는 값이다. 도 5는 도 1에 도시된 영상 전송 시스템을 참조하여 설명한다.

먼저 영상수신카드(106)은 다중사용자 영상전송카드(103)로 SYN 패킷을 보내서 연결요청을 한다. 연결 요청은 TCP 프로토콜과 동일하게 3-WAY Handshake 과정을 거쳐서 이루어 지고, 연결 Parameter들이 결정되며, Null packet Timer가 동작된다.

일반적으로 영상전송카드(103)는 영상 데이터를 전송하며, 동시에 영상 데이터를 재전송 버퍼에 저장한다. Null packet Timer는 패킷이 전송될 때마다 restart된다. 연결시 사용되는 Max Outstanding Kbytes값은 재전송 버퍼의 크기보다 작게 결정된다. 영상 데이터 전송시 재전송 버퍼가 비어있으면 Ack wait Timer를 start시키고, Expiration Timer를 계산하여 기록한다.

EACK 혹은 사용자 데이터 및 다른 태그를 포함하지 않는 순수 ACK 패킷의 경우에는 재전송 버퍼에 기록하지 않으며, Timer 또한 건드리지 않는다.

Expiration Timer가 만료되면 Expiration Timer를 clear하고, 재전송 버퍼를 비운다. 이후 다음 패킷을 보낼 때, UPN 태그를 기록하여 해당 Sequence Number를 Ack Number로 사용하도록 한다.

Ack Wait Timer가 만료되면 Check counter를 증가시킨다. Check counter 값이 Max Check Count를 초과하면 연결은 끊어진 것으로 간주한다. Check counter 값이 Max Check Count를 초과하지 않으면, 재전송 버퍼를 비우고, Ack Wait Timer 및 Expiration Timer를 clear한다. 이후 다음 패킷을 보낼 때, UPN 태그를 기록하여 해당 Sequence Number를 Ack Number 로 사용하도록 한다.

Null Packet Timer가 만료되면 IMA 태그를 설정한 NULL 패킷을 전송한다.

패킷이 수신되면 Timestamp를 이용해 Jitter 값을 계산한다. Jitter 값과 Round Trip Time을 조합하여 새로운 Expiration Timeout Value를 계산한다. 새로운 Expiration Timeout Value 값은 Round Trip Time + Jitter 값 보다는 커야 하며, 지연을 확연히 느낄 수 있는 값보다는 작아야 한다. 새로운 Expiration Timeout Value 값이 기존에 사용하고 있는 Expiration Timeout Value와 차이가 클 경우 UPM 패킷을 이용하여 상대에게 적절한 값을 사용하도록 지시한다.

수신된 패킷의 Sequence Number가 증가한 경우, Cumulated Ack Counter를 초과하였는지 체크한다. User Data를 가지고 있는 경우, 수신데이터 버퍼에 저장한 후, Received Bytes가 Max Outstanding Kbytes를 초과했는지 체크한다. 그리고 태그에 IMA가 포함되어 있는지 체크한다. 셋 중 하나라도 해당되는 경우는 ACK 패킷을 전송하며, 그렇지 않은 경우, Ack Number만을 업데이트하고, Cumulative Ack Timer가 clear 상태라면 이를 start한다.

Sequence Number가 증가했으나 lost Sequence가 있는 경우, EACK 패킷을 전송하고, Cumulative Ack Timer를 clear한다.

Cumulative Ack Timer 가 만료되면 clear 한 후, Ack 패킷을 전송한다.

ACK나 EACK 패킷을 수신한 경우는 Check Count를 Clear하고, 수신이 확인된 패킷을 재전송 버퍼에서 제거한다. 그 후, 재전송 버퍼의 Header에 있는 패킷의 Expiration Timestamp 값을 Expiration Timer 값으로 변경하고, Ack Wait Timer를 restart 한다. 재전송 버퍼가 빈 경우는 두 Timer를 clear 한다. EACK 패킷인 경우엔 lost packet이 재전송 버퍼에 있다면 이를 재전송한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

101: 서버
102: 비디오 카드
103: 영상전송카드
104: 이더넷 스위치
105: Thin client
106: 영상수신카드
107: 모니터

Claims (1)

1. 패킷 헤더에 포함된 Expiration Timeout Value에 의해 설정되는 Expiration Timer를 이용하여 상대측 수신 여부와 상관없이 일정 시간이 지난 후엔 패킷을 재전송하지 않는 영상데이터 전송 방법에 있어서,
   패킷 전송시 재전송 버퍼가 비어있으면 Expiration Timer를 스타트하는 단계;
   상기 Expiration Timer가 만료되면 상기 Expiration Timer를 클리어하고, 상기 재전송 버퍼를 비우며, 다음 패킷의 UPN 태그를 기록하여 전송하는 단계; 및
   Ack 나 EACK 패킷이 수신되면 수신확인된 패킷을 상기 재전송 버퍼에서 제거하고 상기 재전송 버퍼의 헤더에 있는 패킷의 Expiration Timestamp 값을 상기 Expiration Timer 값으로 대체하는 단계를 포함하는 단기 신뢰성을 갖는 영상데이터 전송 방법.

Images