KR101443061B1 - 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말 및 그 동작방법 - Google Patents

Abstract

본 발명은 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말 및 그 동작방법에 관한 것으로서, 멀티미디어 그룹통신 단말의 멀티미디어 송신기는, 수신측 단말들로부터 수신된 제어패킷에 근거하여 통신 그룹별로 패킷 수신상태 정보를 파악하는 수신상태 모니터링 모듈, 수신측 단말들에서 패킷 손실이 많이 발생한 것으로 파악된 경우 패킷 수신상태 정보에 따라 수신측 단말들로 전송하는 미디어 데이터 패킷의 에러복구수준과 트래픽 량을 조절하는 에러복구수준/트래픽 조절 모듈, 에러복구수준에 근거하여 수신측 단말들로 전송할 에러복구 데이터를 생성하는 비트스트림 분할 및 에러복구 데이터 생성 모듈, 및 미디어 데이터 패킷과 에러복구 데이터 패킷을 생성하여 수신측 단말들로 전송하는 미디어 데이터 패킷 생성 모듈을 포함한다.

Description

패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말 및 그 동작방법 {Adhoc multimedia group communication terminal robust packet loss and operating method thereof}

본 발명은 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말 및 그 동작방법에 관한 것으로, 채널의 페이딩 현상 및 채널 잡음으로 인한 다량의 패킷 손실 및 전송 지연의 변동이 유발되는 무선 애드혹 네트워크 환경에서 성공적으로 미디어 데이터를 전송할 수 있게 하기 위한 방안으로, 무선 채널의 변동에 적응적이고 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말 및 그 동작방법에 관한 것이다.

최근 급격한 무선 네트워크 기술의 발달과 다양한 미디어 서비스에 대한 사용자들의 요구들로 인해 무선 네트워크에서의 미디어 전송에 대한 연구와 개발이 활발히 진행되고 있다. 특히, 미디어 스트리밍은 네트워크의 변동을 극복하면서 각각의 패킷을 일정한 지연 안에 전송할 수 있어야 한다.

하지만, 무선 네트워크에서의 미디어 스트리밍은 채널 특성 및 이동 단말의 성능에 의해 패킷 전송지연, 패킷 손실 및 대역폭의 변동과 같은 문제점들을 지니고 있다. 그 중에서도 무선 채널의 페이딩 현상 및 채널 잡음으로 인해 다량의 채널 에러가 발생한다. 이를 극복하기 위해서 일반적인 무선 네트워크에서는 링크 계층에서 ARQ(automatic repeat request)와 같은 전송에러 제어를 수행한다.

하지만, 이러한 방안들에 의해 모든 에러가 극복될 수는 없으며 노드들의 잦은 이동과 신호 간섭으로 인해 패킷 손실 및 전송 지연의 변동이 유발되어 스트리밍 미디어의 급격한 화질 열화가 발생하게 된다.

따라서 채널변동이 심한 무선 애드혹 네트워크 환경에서 성공적으로 미디어를 전송하기 위해서는 응용계층 레벨에서의 유동적이고 네트워크에 적응적인 전송 기법과 에러제어 기법이 필요하다.

노드들의 잦은 이동과 신호 간섭이 빈번한 무선 애드혹 네트워크 환경 하에서 손실된 패킷의 재전송에 의한 에러복구 방식은 신뢰성 측면에서 효율적이긴 하지만 예측 불가능한 상당한 지연을 야기하며, 엄격한 실시간의 제약을 갖는 멀티미디어 응용 서비스에 적절하지 못하다.

따라서, 본 발명의 목적은, 무선 애드혹 네트워크 환경에서 실시간으로 미디어 데이터를 전송하기 위해서 재전송 없이 에러를 복구할 수 있는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말 및 그 동작방법을 제공하는데 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말에서 상기 멀티미디어 그룹통신 단말의 멀티미디어 송신기는, 수신측 단말들로 미디어 데이터 패킷을 전송한 경우에, 상기 수신측 단말들로부터 수신된 제어패킷에 근거하여 통신 그룹별로 상기 수신측 단말들에 대한 패킷 수신상태 정보를 파악하는 수신상태 모니터링 모듈, 상기 수신상태 모니터링 모듈로부터 패킷 손실이 많이 발생한 것으로 파악된 경우, 상기 패킷 수신상태 정보에 따라 상기 수신측 단말들로 전송하는 미디어 데이터 패킷의 에러복구수준과 트래픽 량을 조절하는 에러복구수준/트래픽 조절 모듈, 상기 에러복구수준에 근거하여 상기 수신측 단말들로 전송할 에러복구 데이터를 생성하는 비트스트림 분할 및 에러복구 데이터 생성 모듈, 및 상기 미디어 데이터 패킷과 에러복구 데이터 패킷을 생성하여, 하부 프로토콜을 통해 상기 수신측 단말들로 전송하는 미디어 데이터 패킷 생성 모듈을 포함하는 것을 특징으로 한다.

상기 에러복구수준/트래픽 조절 모듈은, 상기 미디어 데이터 패킷 중 우선 순위가 높은 미디어 데이터 순으로 에러 복구 수준을 상향 조절하는 것을 특징으로 한다.

상기 에러복구수준/트래픽 조절 모듈은, 상기 에러 복구 수준을 상향 조절함으로써 추가되는 에러 복구 트래픽 만큼 상기 미디어 데이터의 트래픽 량을 하향 조절하는 것을 특징으로 한다.

상기 비트스트림 분할 및 에러복구 데이터 생성 모듈은, 비디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 상기 비디오 데이터의 비디오 프레임별로 상기 에러복구 데이터를 생성하는 것을 특징으로 한다.

상기 비트스트림 분할 및 에러복구 데이터 생성 모듈은, 비디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 상기 비디오 데이터의 비디오 프레임 중 참조 프레임이 필요한 프레임 데이터의 상호 관련 에러복구 데이터를 생성하는 것을 특징으로 한다.

상기 비트스트림 분할 및 에러복구 데이터 생성 모듈은, 오디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 저음질의 이전 오디오 데이터를 중복으로 추가한 에러복구 데이터를 생성하는 것을 특징으로 한다.

상기 비트스트림 분할 및 에러복구 데이터 생성 모듈은, 오디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 연속적인 패킷의 지연 허용 오차 간격만큼의 오디오 패킷들에 대한 상기 에러복구 데이터를 생성하는 것을 특징으로 한다.

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말에서 상기 멀티미디어 그룹통신 단말의 멀티미디어 수신기는, 하부 프로토콜을 통해 송신측 단말들로부터 전송된 미디어 데이터 패킷 및 에러복구 데이터 패킷을 수신하는 미디어 데이터 패킷 수신 모듈, 상기 미디어 데이터 패킷 수신 모듈에 의해 상기 미디어 데이터 패킷 수신 시, 상기 송신측 단말에서 전송된 상기 미디어 데이터 패킷들이 순서대로 전부 수신되었는지 여부에 따라 패킷 손실률을 확인하는 패킷 시퀀스 및 손실 체크 모듈, 상기 패킷 시퀀스 및 손실 체크 모듈에 의해 확인된 상기 패킷 손실률에 따라 송수신측 단말 간의 네트워크 QoS 정보를 제어패킷에 실어서 상기 송신측 단말로 통보하는 제어패킷 생성 모듈, 및 상기 제어패킷에 근거하여 상기 송신측 단말에 의해 생성된 상기 에러 복구 데이터 패킷을 수신하여 손실된 상기 미디어 데이터 패킷을 복구하는 비트스트림 재구성 및 에러 복구 모듈을 포함하는 것을 특징으로 한다.

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말의 동작방법으로서, 상기 멀티미디어 그룹통신 단말의 멀티미디어 송신기가, 수신측 단말들로 미디어 데이터 패킷을 전송한 경우에, 상기 수신측 단말들로부터 수신된 제어패킷에 근거하여 통신 그룹별로 상기 수신측 단말들에 대한 패킷 수신상태 정보를 파악하는 단계, 상기 패킷 수신상태 정보를 파악하는 단계에서 패킷 손실이 많이 발생한 것으로 파악된 경우, 상기 패킷 수신상태 정보에 따라 상기 수신측 단말들로 전송하는 상기 미디어 데이터 패킷의 에러복구수준과 트래픽 량을 조절하는 단계, 상기 에러복구수준에 근거하여 상기 수신측 단말들로 전송할 에러복구 데이터를 생성하는 단계, 및 상기 미디어 데이터 패킷과 에러복구 데이터 패킷을 생성하여, 하부 프로토콜을 통해 상기 수신측 단말들로 전송하는 단계를 포함하는 것을 특징으로 한다.

상기 조절하는 단계는, 상기 미디어 데이터 패킷 중 우선 순위가 높은 미디어 데이터 순으로 에러복구 수준을 상향 조절하는 단계를 포함하는 것을 특징으로 한다.

상기 조절하는 단계는, 상기 에러복구 수준을 상향 조절함으로써 추가되는 에러복구 트래픽 만큼 상기 미디어 데이터의 트래픽 량을 하향 조절하는 단계를 더 포함하는 것을 특징으로 한다.

상기 에러복구 데이터를 생성하는 단계는, 비디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 상기 비디오 데이터의 비디오 프레임별로 상기 에러복구 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.

상기 에러복구 데이터를 생성하는 단계는, 비디오 데이터에 대해 손실된 패킷을 복구하기 위하여 상기 비디오 데이터의 비디오 프레임 중 참조 프레임이 필요한 프레임 데이터의 상호 관련 에러복구 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 한다.

상기 에러복구 데이터를 생성하는 단계는, 오디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 저음질의 이전 오디오 데이터를 중복으로 추가한 상기 에러복구 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 한다.

상기 에러복구 데이터를 생성하는 단계는, 오디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 연속적인 패킷의 지연 허용 오차 간격만큼의 오디오 패킷들에 대한 상기 에러복구 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에 따르면, 채널의 페이딩 현상 및 채널 잡음 등으로 인한 다량의 패킷 손실과 전송 지연의 변동으로 급격한 화질 열화를 발생시키는 무선 네트워크 환경에서의 실시간 미디어 전송이 가능하도록 하기 위해서 그룹 통신 수신 단말들의 제어 정보를 통해 무선 채널의 변동을 측정하고 이에 따라 유동적으로 에러 복구 수준과 미디어 데이터 전송량을 적절하게 선택함으로써 패킷 손실을 최소화시킬 수 있는 이점이 있다.

또한, 본 발명은 멀티미디어의 특성에 따라 다른 에러 복구 기법이 적용되는 미디어 종속 에러복구 방안을 적용함으로써 무선 네트워크의 채널 에러로 인한 연속적인 패킷 손실뿐만 아니라 미디어의 특성에 따른 연속적인 데이터 손실을 복구할 수 있는 이점이 있다.

도 1 및 도 2 는 본 발명에 따른 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말이 적용된 시스템 구성을 도시한 도이다.
도 3 은 본 발명에 따른 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말의 멀티미디어 송신기 및 멀티미디어 수신기에 대한 구성을 설명하는데 참조되는 블록도이다.
도 4 는 본 발명에 따른 멀티미디어 그룹통신 단말의 제1 실시예에 따른 에러 복구 동작을 도시한 예시도이다.
도 5 는 본 발명에 따른 멀티미디어 그룹통신 단말의 제2 실시예에 따른 에러 복구 동작을 도시한 예시도이다.
도 6 은 본 발명에 따른 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말에서 멀티미디어 송신기의 동작방법에 대한 동작 흐름을 도시한 순서도이다.
도 7 은 도 6의 에러 복구 데이터 생성 과정에 대한 제1 실시예의 동작 흐름을 도시한 순서도이다.
도 8 은 도 6의 에러 복구 데이터 생성 과정에 대한 제2 실시예의 동작 흐름을 도시한 순서도이다.
도 9 는 본 발명에 따른 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말에서 멀티미디어 수신기의 동작방법에 대한 동작 흐름을 도시한 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.

도 1 및 도 2는 본 발명에 따른 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말이 적용된 시스템 구성을 도시한 도이다. 상세하게는 애드혹 기반 멀티미디어 그룹통신을 위한 네트워크에 적응적인 에러복구 및 트래픽 조절에 대한 개념도이다.

본 발명에 적용되는 무선 애드혹 네트워크 환경은 채널의 페이딩 현상 및 채널 잡음과 노드의 잦은 이동으로 인해 다량의 패킷 손실 및 전송 지연의 변동이 유발되고, 이로 인해 스트리밍 미디어의 급격한 화질 열화가 발생하게 된다.

따라서, 도 1에 도시된 본 발명에서는 채널 변동이 심한 무선 애드혹 네트워크 환경에서 성공적으로 멀티미디어를 전송하기 위해서 유동적이고 네트워크에 적응적인 에러 복구 방안을 적용하고자 한다.

이에, 그룹통신의 송신측 단말(1)은 수신측 단말(2a, 2b, 2c, 2d)들로부터 피드백의 제어 패킷을 통해서 수신된 패킷들에 대한 네트워크 QoS 정보를 제공받아서 그 정보를 바탕으로 송신측 단말(1)과 수신측 단말(2a, 2b, 2c, 2d)들 간의 전송경로 상의 현재 네트워크 상태를 판단하고, 그 판단 상황에 따라 에러복구 수준과 전송하고자 하는 미디어 데이터의 QoS 및 트래픽 량을 조절한다.

도 2에서와 같이, 송신측 단말(1)과 수신측 단말(2)은 각각 멀티미디어 송신기(10a, 10b)와 멀티미디어 수신기(20a, 20b)를 포함한다.

도 2에 도시된 송신측 단말(1)과 수신측 단말(2a, 2b, 2c, 2d)들에 적용되는 멀티미디어 송신기와 멀티미디어 수신기에 대한 구성은 도 3을 참조하여 보다 상세히 설명한다.

도 3은 본 발명에 따른 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말, 즉, 송신측 단말의 멀티미디어 송신기와 수신측 단말의 멀티미디어 수신기에 대한 구성을 설명하는데 참조되는 블록도이다. 특히, 도 3에서는 송신측 단말(1)의 멀티미디어 송신기(10a)와 수신측 단말(2)의 멀티미디어 수신기(20b)의 구성을 토대로 송신측 단말(1)과 수신측 단말(2) 간 통신 동작을 설명하고자 한다.

도 3에 도시된 바와 같이, 멀티미디어 그룹통신을 하기 위해서 송신측 단말(1)의 멀티미디어 송신기(10a)는 오디오/비디오 인코더(11), 비트스트림 분류 및 미디어 구분/참조 정보 제공 모듈(12), 비트스트림 분할 및 에러복구 데이터 생성 모듈(13), 미디어 데이터 패킷 생성 모듈(14), 미디어 데이터 패킷 송신 모듈(15), 제어 패킷 수신 모듈(16), 수신상태 모니터링 모듈(17), 및 에러복구수준/트래픽 조절 모듈(18)을 포함한다.

기본적으로 오디오/비디오 인코더(11)는 미디어 데이터를 해당 오디오/비디오 코덱으로 압축하여 미디어 데이터의 비트스트림을 생성한다.

비트스트림 분류 및 미디어 구분/참조 정보 제공 모듈(12)은 오디오/비디오 인코더(11)에 의해 생성된 미디어 데이터의 비트스트림을 분류하고, 미디어에 대한 구분/참조 정보를 제공한다.

미디어 데이터 패킷 생성 모듈(14)은 비트스트림 분할 및 에러복구 데이터 생성 모듈(13)에 의해 분할된 비트스트림을 전송프로토콜 포맷의 미디어 데이터 패킷으로 생성한다.

미디어 데이터 패킷 송신 모듈(15)은 미디어 데이터 패킷 생성 모듈(14)에 의해 생성된 미디어 데이터 패킷을 하부 프로토콜로 전송한다.

제어 패킷 수신 모듈(16)은 수신측 단말(2a, 2b, 2c, 2d)들로부터 송수신측 단말 간의 네트워크 QoS 정보를 포함하는 제어패킷을 수신한다.

수신상태 모니터링 모듈(17)은 제어 패킷 수신 모듈(16)을 통해 수신된 제어패킷에 근거하여 통신 그룹별로 그룹 내의 수신측 단말(2a, 2b, 2c, 2d)들에 대한 패킷 수신상태 정보를 파악하게 된다. 또한, 수신상태 모니터링 모듈(17)은 제어패킷에 포함된 네트워크 QoS 정보로부터 현재 송수신측 단말 간의 그룹통신 망 상태를 개략적으로 알 수 있게 된다.

에러복구수준/트래픽 조절 모듈(18)은 수신상태 모니터링 모듈(17)로부터 패킷 손실이 기준 이상으로 많이 발생한 것으로 파악된 경우, 우선 순위가 높은 미디어 데이터(예를 들어, 오디오 데이터, 비디오 I 프레임, P 프레임, B 프레임 순서)의 에러 복구 수준을 높인다. 또한, 에러복구수준/트래픽 조절 모듈(18)은 에러 복구 수준을 높임으로써 추가되는 에러 복구 트래픽 만큼 미디어 데이터 트래픽을 줄이기 위해 미디어 데이터의 QoS(해상도, 프레임 수 등)를 낮추어서 전체적인 트래픽을 줄인다.

이처럼 에러복구수준/트래픽 조절 모듈(18)은 수신상태 모니터링 모듈(17)에 의해 파악된 그룹통신 망 상태에 따라 에러복구 수준과 트래픽량을 조절한다.

한편, 오디오/비디오 인코더(11)는 에러복구수준/트래픽 조절 모듈(18)에서 결정된 미디어 데이터의 QoS 정보를 바탕으로 하여 미디어 데이터의 인코딩 비트스트림을 생성하게 된다.

또한, 비트스트림 분할 및 에러복구 데이터 생성 모듈(13)은 에러복구수준/트래픽 조절 모듈(18)에서 결정된 에러 복구 수준 정보를 바탕으로 하여 인코딩된 비트스트림을 분할하여 에러 복구 수준에 맞는 에러복구 데이터를 생성하게 된다. 비트스트림 분할 및 에러복구 데이터 생성 모듈(13)에서 에러복구 데이터를 생성하는 동작에 대한 구체적인 설명은 도 4 및 도 5의 실시예를 참조한다.

미디어 데이터 패킷 생성 모듈(14)과 미디어 데이터 패킷 송신 모듈(15)은 오디오/비디오 인코더(11)로부터 생성된 미디어 데이터의 패킷들과 비트스트림 분할 및 에러복구 데이터 생성 모듈(13)에 의해 생성된 에러 복구 데이터의 패킷들을 생성하여, 하부 프로토콜로 전송한다.

한편, 멀티미디어 그룹통신을 하기 위해서 수신측 단말(2a, 2b, 2c, 2d)들의 멀티미디어 수신기(20b)는 오디오/비디오 디코더(21), 비트스트림 재구성 및 에러 복구 모듈(22), 패킷 시퀀스 및 손실 체크 모듈(23), 미디어 데이터 패킷 수신 모듈(24), 제어패킷 생성 모듈(25), 및 제어패킷 송신 모듈(26)을 포함한다.

먼저, 미디어 데이터 패킷 수신 모듈(24)은 송신측 단말(1)의 멀티미디어 송신기(10a)에서 전송한 미디어 데이터 패킷들과 에러 복구 데이터 패킷들을 하부 프로토콜을 통해 수신하게 된다.

패킷 시퀀스 및 손실 체크 모듈(23)은 미디어 데이터 패킷 수신 모듈(24)에 의해 미디어 데이터 패킷 수신 시, 송신측 단말(1)의 멀티미디어 송신기(10a)에서 전송한 미디어 데이터 패킷들이 순서대로 전부 수신되었는지의 여부를 확인하는 작업을 수행한다.

이때, 패킷 시퀀스 및 손실 체크 모듈(23)은 작업 수행 결과에 의해 전송 경로 상에서 발생된 패킷 손실률을 확인할 수 있다.

이때, 비트스트림 재구성 및 에러 복구 모듈(22)은 수신된 미디어 데이터 패킷들 중에서 중간에 손실된 패킷이 존재하면, 에러 복구 데이터 패킷을 활용하여 손실된 미디어 데이터를 복구하여 비트스트림을 재구성하게 된다. 비트스트림 재구성 및 에러 복구 모듈(22)에서 손실된 패킷을 복구하는 동작에 대한 구체적인 설명은 도 4 및 도 5의 실시 예를 참조하도록 한다.

오디오/비디오 디코더(21)는 비트스트림 재구성 및 에러 복구 모듈(22)에 의해 재구성된 미디어 데이터의 압축 비트스트림을 해당 오디오/비디오 코덱을 통해 복원한다.

한편, 제어패킷 생성 모듈(25)은 패킷 시퀀스 및 손실 체크 모듈(23)에 의해 파악된 패킷 손실률에 따라 송수신측 단말 간의 네트워크 QoS 정보를 포함하는 제어패킷을 생성한다. 이때, 제어패킷 생성 모듈(25)은 제어패킷으로 인해 트래픽 부하가 발생하지 않도록, 제어패킷들을 최소한으로 생성하도록 한다.

제어패킷 송신 모듈(26)은 제어패킷 생성 모듈(25)에 의해 생성된 제어패킷을 피드백으로 송신측 단말(1)로 전송한다. 따라서, 송신측 단말(1)은 제어패킷 송신 모듈(26)의해 전송된 제어패킷의 네트워크 QoS 정보에 근거하여 현재 송수신측 단말 간의 그룹통신 망 상태를 대략적으로 알 수 있게 된다.

이로써, 본 발명에 따른 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말은 피드백의 제어 정보를 바탕으로 그룹 내 송수신측 단말들의 개략적인 통신 망 상태를 파악하게 되어 그에 적응적인 에러복구 방안을 적용하게 되고, 그로 인한 발생 트래픽도 조절하게 된다. 이러한 과정에서 발생되는 제어 패킷들은 최소한으로 발생되도록 하여 제어 패킷들로 인한 트래픽 부하가 발생되지 않도록 한다.

도 4는 본 발명에 따른 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말의 제1 실시예에 따른 에러 복구 동작을 도시한 예시도이다. 이때, 도 4는 비디오 압축 프레임들의 상호 참조 관계 정보를 바탕으로 영상 데이터 특성에 종속적인 에러 복구 동작을 나타낸 것이다.

영상 압축 코덱 중의 하나인 H.264를 살펴보면, 오디오/비디오 인코더(11)는 I-프레임, P-프레임 및 B-프레임과 같이 상이한 프레임 종류를 사용할 수 있다.

여기서, I-프레임 즉, 인트라 프레임(Intra Frame)은 다른 이미지를 참조하지 않고 독립적으로 해독이 가능한 독립형 프레임이다. I-프레임은 항상 비디오 순서열에 있는 첫 번째 프레임으로 상당히 많은 비트를 소모한다.

P-프레임은 프레임 사이의 예측(Predictive)을 의미하는 것으로서 이전의 I프레임 및 P-프레임을 참조하여 프레임을 부호화한다. P-프레임은 보통 I-프레임보다 적은 비트를 요구하지만, 이전의 P-프레임과 I-프레임에 대한 복잡한 의존성으로 인하여 전송에러에 아주 민감하다.

B-프레임, 즉 양측 예측 인터프레임(Bi-predictive Inter Frame)은 이전의 참조 프레임과 이후의 프레임 모두를 참조하는 프레임이다.

이로 인해, 오디오/비디오 디코더(21)가 프레임별로 비트스트림을 해독하여 비디오를 복원할 때, 해독은 항상 I-프레임으로 시작해야 한다. P-프레임과 B-프레임은 사용될 경우에 참조 프레임과 함께 해독되어야 한다.

이처럼, 비디오 데이터는 프레임별로 상호 참조관계가 존재하기 때문에 비디오 데이터를 정상적으로 수신해도 참조 프레임 데이터의 손실로 인해 수신 비디오 데이터가 쓸모 없게 되는 경우가 발생하게 된다.

따라서, 도 4의 실시 예에서는 이러한 비디오 데이터의 상호 참조에 따른 연속적인 손실을 줄이기 위해, 프레임 참조 정보에 따른 에러 복구 데이터를 추가적으로 생성하여 참조 프레임의 손실이 발생되어도 추가적으로 생성한 에러 복구 데이터를 활용하여 참조 프레임을 복원하는 방안을 적용하고자 한다.

도 4에 도시된 바와 같이, 비트스트림 분할 및 에러복구 데이터 생성 모듈(13)은 먼저 비디오 프레임별로 생성된 미디어 패킷데이터들의 에러 복구 데이터 I-FEC, P-FEC, B-FEC를 생성한다. 이후, 비트스트림 분할 및 에러복구 데이터 생성 모듈(13)은 참조 프레임이 필요한 프레임, 즉, P-프레임과 B-프레임의 상호 관련 에러 복구 데이터 PI-FEC, BI-FEC, BP-FEC를 생성한다.

이와 같이, 비트스트림 분할 및 에러복구 데이터 생성 모듈(13)에서 영상 데이터 특성에 종속적인 에러 복구 데이터를 생성해서 수신측 단말(2a, 2b, 2c, 2d)들로 전송하게 되면, 수신측 단말(2a, 2b, 2c, 2d)에서 참조 프레임 데이터가 손실되어도 수신된 에러 복구 데이터를 활용하면 복원할 수 있는 여러 경우의 기회가 제공되어 참조 프레임 데이터의 손실에 의한 연속적인 데이터의 손실을 줄일 수 있게 된다.

도 5는 본 발명에 따른 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말의 제2 실시예에 따른 에러 복구 동작을 도시한 예시도이다. 이때, 도 5는 전송 지연에 민감한 음성 데이터 특성에 종속적인 에러 복구 동작을 나타낸 것이다.

무선 네트워크의 채널 에러로 인해 연속적인 패킷 손실이 발생하게 되면 상위계층의 응용 서비스 단에서는 미디어 데이터 전송의 치명적인 에러로 인한 미디어 데이터 품질의 열화가 발생되는데, 오디오 데이터의 경우는 지연에 민감한 특성을 가지고 있어서 연속적인 음성 패킷 손실로 인해 오디오 응용 사용자에게 불쾌감을 주게 된다.

따라서, 도 5의 실시 예에서는 지연에 민감한 특성을 가진 오디오 데이터의 경우 에러 복구 데이터 생성 과정으로 인한 지연 발생을 최소화하면서 연속적인 패킷 손실을 복구할 수 있는 음성 데이터에 종속적인 에러 복구 방안을 적용하고자 한다.

도 5에 도시된 바와 같이, 비트스트림 분할 및 에러복구 데이터 생성 모듈(13)은 먼저 저음질의 이전 오디오 데이터를 중복으로 추가한 미디어 데이터 패킷을 생성하여 이전 패킷 손실에 대한 복구를 가능하게 한다. 이후, 비트스트림 분할 및 에러복구 데이터 생성 모듈(13)은 연속적인 패킷 손실에 대한 복구가 가능하면서 에러 복구로 인한 처리 지연이 적게 발생되도록 지연 허용 오차 간격(I)만큼의 미디어 패킷들에 대한 에러 복구 데이터를 생성한다.

따라서, 수신측 단말(2a, 2b, 2c, 2d)의 비트스트림 재구성 및 에러 복구 모듈(22)은 연속적인 패킷 손실이 발생되더라도 저음질의 이전 오디오 데이터가 중복으로 추가된 미디어 데이터 패킷과, 지연 허용 오차 간격(I)만큼의 미디어 패킷들에 대한 에러 복구 데이터 패킷을 이용하여 손실된 패킷을 복구할 수 있는 기회가 많아지게 된다.

본 발명에 따르면, 미디어 데이터의 특성에 따른 에러 복구 방안을 적용함으로써 무선 네트워크의 채널 에러로 인한 연속적인 패킷 손실뿐만 아니라 미디어의 특성에 따른 연속적인 데이터 손실을 복구할 수 있게 된다.

도 6은 본 발명에 따른 송신측 단말의 멀티미디어 송신기에서 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말의 동작방법에 대한 동작 흐름을 도시한 순서도이다.

도 6에 도시된 바와 같이, 송신측 단말(1)의 멀티미디어 송신기(10a)는 미디어 데이터를 해당 오디오/비디오 코덱으로 압축하여 미디어 데이터의 비트스트림을 생성하고, 분할된 비트스트림을 전송프로토콜 포맷의 미디어 데이터 패킷으로 생성하여 하부 프로토콜을 통해 수신측 단말(2)들로 전송한다(S100). 이때, 멀티미디어 송신기(10a)는 미디어 데이터 패킷을 수신한 수신측 단말(2)로부터 송수신측 단말 간의 네트워크 QoS 정보를 포함하는 제어 패킷을 수신한다(S110).

멀티미디어 송신기(10a)는 'S110' 과정에서 수신된 제어패킷에 근거하여 통신 그룹별로 그룹 내의 수신측 단말(2a, 2b, 2c, 2d)들에 대한 패킷 수신상태 정보를 파악하고(S120), 제어패킷에 포함된 네트워크 QoS 정보로부터 현재 송수신측 단말 간의 그룹통신 망 상태를 확인한다(S130).

만일, 'S120' 및 'S130' 과정에서 패킷 손실이 기준 이상으로 많이 발생한 것으로 확인되면(S140), 멀티미디어 송신기(10a)는 데이터 우선순위를 판별하여(S150), 우선 순위가 높은 미디어 데이터의 에러 복구 수준을 조절한다(S160). 일 예로서, 멀티미디어 송신기(10a)는 오디오 데이터, 비디오 I 프레임, P 프레임, B 프레임 순으로 우선순위를 결정하고, 우선 순위가 높은 미디어 데이터의 에러 복구 수준을 높인다.

또한, 멀티미디어 송신기(10a)는 'S160' 과정에서 조절된 에러 복구 수준에 따라 트래픽을 조절한다(S170). 일 예로서, 멀티미디어 송신기(10a)는 오디오 데이터의 에러 복구 수준을 높임으로써 추가되는 에러 복구 트래픽 만큼의 미디어 데이터 트래픽을 줄이기 위해 미디어 데이터의 QoS(해상도, 프레임 수 등)를 낮추어서 전체적인 트래픽을 줄인다.

이때, 멀티미디어 송신기(10a)는 결정된 미디어 데이터의 QoS 정보에 따라 미디어 데이터의 인코딩 비트스트림을 생성한다. 또한, 멀티미디어 송신기(10a)는 'S160' 과정과 'S170' 과정에서 조절된 에러 복구 수준 정보를 바탕으로 인코딩 비트스트림을 분할하여 에러 복구 수준에 맞는 에러 복구 데이터를 생성한다(S180).

이후, 멀티미디어 송신기(10a)는 'S180' 과정에서 생성된 에러 복구 데이터와 미디어 데이터의 패킷들을 하부 프로토콜을 통해 해당 수신측 단말(2)들로 전송한다(S190).

도 7은 도 6의 에러 복구 데이터 생성 과정에 대한 제1 실시예의 동작 흐름을 도시한 순서도이다. 특히, 도 7은 비디오 압축 프레임들의 상호 참조 관계 정보를 이용하여 영상 데이터 특성에 종속적인 에러 복구 데이터를 생성하는 동작을 나타낸 것이다.

도 7에 도시된 바와 같이, 송신측 단말(1)의 멀티미디어 송신기(10a)는 도 6의 'S180' 과정에서, 비디오 프레임(I-프레임, B-프레임, P-프레임)별로 생성된 미디어 패킷들의 에러 복구 데이터(I-FEC, B-FEC, P-FEC)를 생성한다(S181a).

이후, 멀티미디어 송신기(10a)는 I-프레임, B-프레임, P-프레임 중 참조 프레임이 필요한 B-프레임과 P-프레임에 대한 상호 관련 에러 복구 데이터를 생성한다(S183a). 다시 말해, 멀티미디어 송신기(10a)는 'S181a' 과정에서 생성된 B-FEC에 대한 상호 관련 에러 복구 데이터인 BI-FEC, BP-FEC를 생성한다. 또한, 멀티미디어 송신기(10a)는 'S181a' 과정에서 생성된 P-FEC에 대한 상호 관련 에러 복구 데이터인 PI-FEC를 생성한다.

이때, 멀티미디어 수신기(20b)는 'S183a' 과정에서 생성된 에러 복구 데이터를 통해 참조 프레임 데이터가 손실되어도 손실된 패킷을 복원할 수 있고, 참조 프레임 데이터의 손실에 의한 연속적인 데이터의 손실을 줄일 수 있게 된다.

도 8 은 도 6의 에러 복구 데이터 생성 과정에 대한 제2 실시예의 동작 흐름을 도시한 순서도이다. 특히, 도 8은 전송 지연에 민감한 음성 데이터 특성에 종속적인 에러 복구 데이터를 생성하는 동작을 나타낸 것이다.

도 8에 도시된 바와 같이, 멀티미디어 송신기(10a)는 도 6의 'S180' 과정에서, 저음질의 이전 오디오 데이터를 중복으로 추가한 미디어 데이터 패킷을 생성한다(S181b). 이때, 멀티미디어 수신기(20b)는 'S181b' 과정에서 생성된 에러 복구 데이터를 통해 이전 손실된 패킷을 복구할 수 있게 된다.

또한, 멀티미디어 송신기(10a)는 연속적인 지연 허용 오차 간격(I1, I2)만큼의 미디어 패킷들에 대한 에러 복구 데이터를 생성한다(S183b). 이때, 멀티미디어 수신기(20b)는 'S183b' 과정에서 생성된 에러 복구 데이터를 통해 손실된 패킷에 대한 복구가 가능하면서, 에러 복구로 인한 처리 지연이 발생하는 것을 최소화할 수 있게 된다.

도 9는 본 발명에 따른 수신측 단말의 멀티미디어 수신기에서 애드혹 멀티미디어 그룹통신 단말의 패킷 손실에 강인한 에러 복구 방법에 대한 동작 흐름을 도시한 순서도이다.

도 9에 도시된 바와 같이, 수신측 단말(2)의 멀티미디어 수신기(20b)는 하부 프로토콜을 통해 송신측 단말(1)에서 전송한 미디어 데이터 패킷을 수신하면서(S200), 수신 패킷의 헤더정보를 통해 송수신 단말 간의 전송 경로 상에서 발생된 패킷 손실률을 확인할 수 있다(S210).

다시 말해, 멀티미디어 수신기(20b)는 수신 패킷의 헤더정보를 통해 송신측 단말(1)에서 전송된 패킷들이 순서에 맞게 제대로 수신되었는지를 확인할 수 있고, 이 중 손실된 패킷이 존재하는지를 확인할 수 있다. 이때, 멀티미디어 수신기(20b)는 송수신측 단말 사이의 전송 경로 상에서 발생된 패킷 손실률을 확인할 수 있다.

멀티미디어 수신기(20b)는 'S210' 과정에서 확인된 패킷 손실률에 따라 송수신측 단말 간의 네트워크 QoS 정보를 포함하는 제어패킷을 생성하고(S220), 생성된 제어패킷을 송신측 단말(1)로 전송한다(S230).

한편, 멀티미디어 수신기(20b)는 송신측 단말(1))로 제어 패킷을 전송한 이후(S230), 송신측 단말(1)로부터 수신된 미디어 데이터 패킷의 손실이 발생되면(S240), 수신된 에러 복구 데이터 패킷을 활용하여 손실된 미디어 데이터 패킷을 복구하고 비트스트림을 재구성한다(S250).

이때, 'S250' 과정에서 재구성된 압축 비트스트림은 오디오/비디오 코덱을 통해 복원되게 된다.

이상과 같이 본 발명에 의한 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말 및 그 동작방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.

1: 송신측 단말
2, 2a, 2b, 2c, 2d: 수신측 단말
10a, 10b: 멀티미디어 송신기
11: 오디오/비디오 인코더
12: 비트스트림 분류 및 미디어 구분/참조 정보 제공 모듈
13: 비트스트림 분할 및 에러복구 데이터 생성 모듈
14: 미디어 데이터 패킷 생성 모듈
15: 미디어 데이터 패킷 송신 모듈
16: 제어 패킷 수신 모듈
17: 수신상태 모니터링 모듈
18: 에러복구수준/트래픽 조절 모듈
20a, 20b: 멀티미디어 수신기
21: 오디오/비디오 디코더
22: 비트스트림 재구성 및 에러 복구 모듈
23: 패킷 시퀀스 및 손실 체크 모듈
24: 미디어 데이터 패킷 수신 모듈
25: 제어패킷 생성 모듈
26: 제어 패킷 송신 모듈

Claims (16)

1. 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말로서,
   상기 멀티미디어 그룹통신 단말의 멀티미디어 송신기는,
   수신측 단말들로 미디어 데이터 패킷을 전송한 경우에, 상기 수신측 단말들로부터 수신된 제어패킷에 근거하여 통신 그룹별로 상기 수신측 단말들에 대한 패킷 수신상태 정보를 파악하는 수신상태 모니터링 모듈;
   상기 수신상태 모니터링 모듈로부터 패킷 손실이 기준 이상으로 많이 발생한 것으로 파악된 경우, 상기 패킷 수신상태 정보에 따라 상기 수신측 단말들로 전송하는 미디어 데이터 패킷의 에러복구수준과 트래픽 량을 조절하되, 상기 미디어 데이터 패킷 중 우선 순위가 높은 미디어 데이터 순으로 에러 복구 수준을 상향 조절하는 에러복구수준/트래픽 조절 모듈;
   상기 에러복구수준에 근거하여 상기 수신측 단말들로 전송할 에러복구 데이터를 생성하는 비트스트림 분할 및 에러복구 데이터 생성 모듈; 및
   상기 미디어 데이터 패킷과 에러복구 데이터 패킷을 생성하는 미디어 데이터 패킷 생성 모듈;을 포함하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말.
2. 삭제
3. 청구항 1에 있어서,
   상기 에러복구수준/트래픽 조절 모듈은,
   상기 에러 복구 수준을 상향 조절함으로써 추가되는 에러 복구 트래픽 만큼 상기 미디어 데이터의 트래픽 량을 하향 조절하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말.
4. 청구항 1에 있어서,
   상기 비트스트림 분할 및 에러복구 데이터 생성 모듈은,
   비디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 상기 비디오 데이터의 비디오 프레임별로 상기 에러복구 데이터를 생성하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말.
5. 청구항 1에 있어서,
   상기 비트스트림 분할 및 에러복구 데이터 생성 모듈은,
   비디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 상기 비디오 데이터의 비디오 프레임 중 참조 프레임이 필요한 프레임 데이터의 상호 관련 에러복구 데이터를 생성하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말.
6. 청구항 1에 있어서,
   상기 비트스트림 분할 및 에러복구 데이터 생성 모듈은,
   오디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 저음질의 이전 오디오 데이터를 중복으로 추가한 에러복구 데이터를 생성하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말.
7. 청구항 1에 있어서,
   상기 비트스트림 분할 및 에러복구 데이터 생성 모듈은,
   오디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 연속적인 패킷의 지연 허용 오차 간격만큼의 오디오 패킷들에 대한 상기 에러복구 데이터를 생성하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말.
8. 청구항 1에 있어서,
   상기 미디어 데이터 패킷과 상기 에러복구 데이터 패킷을 하부 프로토콜을 통해 상기 수신측 단말들로 전송하는 미디어 데이터 송신 모듈;을 더 포함하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말.
9. 삭제
10. 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말의 동작방법으로서,
    상기 멀티미디어 그룹통신 단말의 멀티미디어 송신기가,
    수신측 단말들로 미디어 데이터 패킷을 전송한 경우에, 상기 수신측 단말들로부터 수신된 제어패킷에 근거하여 통신 그룹별로 상기 수신측 단말들에 대한 패킷 수신상태 정보를 파악하는 단계;
    상기 패킷 수신상태 정보를 파악하는 단계에서 패킷 손실이 기준 이상으로 많이 발생한 것으로 파악된 경우, 상기 패킷 수신상태 정보에 따라 상기 수신측 단말들로 전송하는 상기 미디어 데이터 패킷의 에러복구수준과 트래픽 량을 조절하되, 상기 미디어 데이터 패킷 중 우선 순위가 높은 미디어 데이터 순으로 에러 복구 수준을 상향 조절하는 단계;
    상기 에러복구수준에 근거하여 상기 수신측 단말들로 전송할 에러복구 데이터를 생성하는 단계; 및
    상기 미디어 데이터 패킷과 에러복구 데이터 패킷을 생성하여, 하부 프로토콜을 통해 상기 수신측 단말들로 전송하는 단계;를 포함하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말의 동작방법.
11. 삭제
12. 청구항 10에 있어서,
    상기 조절하는 단계는,
    상기 에러복구 수준을 상향 조절함으로써 추가되는 에러복구 트래픽 만큼 상기 미디어 데이터의 트래픽 량을 하향 조절하는 단계;를 더 포함하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말의 동작방법.
13. 청구항 10에 있어서,
    상기 에러복구 데이터를 생성하는 단계는,
    비디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 상기 비디오 데이터의 비디오 프레임별로 상기 에러복구 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말의 동작방법.
14. 청구항 10에 있어서,
    상기 에러복구 데이터를 생성하는 단계는,
    비디오 데이터에 대해 손실된 패킷을 복구하기 위하여 상기 비디오 데이터의 비디오 프레임 중 참조 프레임이 필요한 프레임 데이터의 상호 관련 에러복구 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말의 동작방법.
15. 청구항 10에 있어서,
    상기 에러복구 데이터를 생성하는 단계는,
    오디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 저음질의 이전 오디오 데이터를 중복으로 추가한 상기 에러복구 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말의 동작방법.
16. 청구항 10에 있어서,
    상기 에러복구 데이터를 생성하는 단계는,
    오디오 데이터에 대해 손실된 패킷을 복구하기 위하여, 연속적인 패킷의 지연 허용 오차 간격만큼의 오디오 패킷들에 대한 상기 에러복구 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말의 동작방법.

Images