KR20050060453A - 이동 단말 클라이언트와 디코더 이상현상 감지 및 복구방법 - Google Patents

Abstract

본 발명은 데이터 손실에 의해 발생되는 디코더 이상현상을 모션 분석 기법을 사용하여 소프트웨어적으로 감지하여 이를 해결하는 방법에 관한 것으로, 상기 수신된 스트리밍 데이터 중 현재 스트리밍 데이터의 손실상황을 감시하는 네트워크 감시기 및 상기 스트리밍 데이터의 손실상황이 감지되면 상기 스트리밍 데이터의 손실이 디코더의 오동작에 의한 것인지 무선전송 도중 발생한 손실인지 여부를 판단하는 모션 분석기를 포함한다.

Description

이동 단말 클라이언트와 디코더 이상현상 감지 및 복구방법{Mobile Terminal Client and Method of Sensing and Recovery of Abnormality of Decorder}

본 발명은 디코더 이상현상을 감지하고 복구하는 이동 단말 클라이언트에 관한 것으로, 좀 더 자세하게는 이동단말 클라이언트가 무선 네트워크를 통하여 스트리밍 서버와 통신 할 때, 일시적인 무선 채널 악화에 의해 발생할 수 있는 데이터 손실과 이에 따른 디코더 오 동작을 모션분석에 기반하여 소프트웨어적으로 감지하여 이를 복구하는 이동 단말 클라이언트에 관한 것이다.

현재, 사용자에게 미디어스트리밍을 지원하기 위하여 MPEG과 같은 인코딩 기법을 이용하여 인코딩 된 데이터를 네트워크로 전송하고 클라이언트에서 디코딩 하여 디스플레이 하는 어플리케이션이 다양하게 개발되고 있다.

이와 같은 어플리케이션은 대체로 데이터를 인코딩 하는 시스템, 데이터를 네트워크로 전송하는 송수신 서브 시스템, 전송된 데이터를 디코딩 하는 시스템으로 구성되어 있는데, 상기와 같은 시스템은 네트워크로 전송되는 데이터의 손실이 다량 발생했을 때의 복구방안을 가지고 있지 않다.

따라서, 무선 네트워크를 통해서 실시간 데이터에 대한 송수신이 이루어 질 경우 데이터 손실이 네트워크의 채널 환경에 따라 다량 발생할 수 있고, 이에 따라 지속적인 서비스를 지원하기 위해서는 데이터 손실에 의해 발생하는 디코딩 시스템의 오류에 대한 복구방안이 필요로 된다.

도 1은 종래 기술의 일 실시예로 무선 스트리밍과정을 나타내는 블록도이다.

도 1을 참조하면, 스트림 서버는 실시간 미디어 소스(TV 튜너)로 부터 얻어진 실시간 데이터를 인코더를 통해 인코딩하고, 이 데이터를 무선 인터페이스를 통해 전송한다. 전송된 데이터는 클라이언트의 디코딩 시스템으로 전달되어 디코딩 된 후 화면에 송출된다.

서버는 실시간 스트림 데이터를 정해진 포멧으로 엔코딩을 수행하여 네트워크 인터페이스로 전송하고, 클라이언트는 이러한 데이터를 디코딩하여 상기 디코딩 된 결과를 화면에 디스플레이 함으로써, 실시간 미디어 스트리밍 서비스가 수행된다.

실시간 스트리밍 어플리케이션은 전송 지연 및 소량의 데이터 손실에 대비하여 일정량의 버퍼를 가지고 있다.

그러나, 서버와 클라이언트가 무선 네트워크를 통하여 통신할 때, 무선 채널 상태가 악화되어 데이터 손실이 다량 발생하면, 디코더는 이러한 데이터를 디코딩 하지 못하여 화면이 정지되고, 미디어 어플리케이션을 재 시작하여야만 스트리밍 서비스를 계속 받을 수 있다.

또한, 디코딩 서브 시스템에 오류가 발생한 이후에는 자동적으로 이를 복구하지 못하기 때문에 네트워크를 통해서 정상적으로 전송 받은 데이터가 디코딩 되지 못하는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 다량의 데이터 손실에 따른 디코더 오 동작이 발생하여 화면이 정지되는 현상이 발생하였을 때, 이를 감지하여 디코더를 초기화시킴으로써 이후 전송되는 데이터를 정상적으로 처리할 수 있는 장치를 제공하는데 있다.

본 발명의 다른 목적은 네트워크 상태에 따른 데이터 손실량과 프레임 버퍼 메모리의 특징 패턴변화를 함께 분석하여, 디코더 이상상태 인식률을 높이는 방법을 제공하는 데 있다.

상기의 목적을 달성하기 위하여 본 발명의 실시간 미디어 스트리밍 서비스를 받는 이동 단말 클라이언트는 상기 수신된 스트리밍 데이터 중 현재 스트리밍 데이터의 손실상황을 감시하는 네트워크 감시기 및 상기 스트리밍 데이터의 손실상황이 감지되면 상기 스트리밍 데이터의 손실이 디코더의 오동작에 의한 것인지 무선전송시 발생한 손실에 의한 것인지 여부를 판단하는 모션 분석기를 포함한다.

본 발명에서 네트워크 감시기는 수신된 스트리밍 데이터에서 추출한 RTP헤더에 포함된 시퀸스 넘버를 체크하여 데이터의 손실여부를 판단하는 RTP 헤더분석기 및 상기 RTP 헤더분석기에 의해 데이터 손실이 감지됨을 통지 받으면 디코더의 오동작 여부를 감지하는 모션 분석기와 스트리밍 데이터를 디코딩 하는 디코더를 제어하는 모션 분석기 핸들러가 포함되는 것이 바람직하다.

본 발명에서 모션 분석기 핸들러는 상기 모션 분석기로부터 디코더 이상 현상에 의한 데이터 손실이 감지되면 상기 디코더를 리셋 시키고 상기 모션 분석기로부터 상기 디코더가 정상상태임을 통보 받기까지 기다린 후, 상기 디코더의 정상상태가 통보되면 모션 분석기의 작동을 중단시키고 다시 디코딩 하는 작업을 재개하는 것이 바람직하다.

본 발명에서 모션분석을 통한 디코더 이상형상 감지 및 복구방법은 a) 디코딩 결과를 저장하는 단계와 b) 상기 결과값 중 모션과 관련된 'Y'값을 추출하는 단계와 c) 상기 'Y'데이터로부터 데이터 필드를 추출한 데이터 셋을 생성하는 단계와 d) 상기 생성된 데이터 셋을 추출하고 샘플링 비율에 따라 상관관계를 계산하여 특징 관련 메트릭스를 생성하는 단계 및 e) 상기 특징 관련 메트릭스를 이용하여 화면정지가 디코더 이상현상에 의한 것인지, 동일한 스트리밍 데이터가 일정시간 유지됨으로써 일어나는 것인지 여부를 판단하는 단계를 포함한다.

본 발명에서 단계 c)의 데이터 셋을 형성하는 방법은 모션변화가 가장 많이 일어나는 가운데 필드를 중심으로 'Y'데이터 필드를 추출하는 것이 바람직하다.

본 발명에서 단계 e)의 화면정지 이유를 판단하는 방법은 상기 특징 관련 매트릭스가 단위 매트릭스이면 디코더의 이상현상으로 판단하고, 그렇지 않으면 동일한 스트리밍 데이터가 일정시간 유지됨으로써 일어나는 것으로 판단하는 것이 바람직하다.

본 발명은 디코더의 이상현상으로 판단시 상기 특징 관련 매트릭스의 각 데이터가 동일하면 디코더를 계속해서 가동시키고, 그렇지 않으면 디코딩 작업을 중단하고, 상기 디코더 리셋 후 상기 디코더를 재 가동시키는 단계를 더 포함하는 것이 바람직하다.

이하 첨부한 도면을 참조하여 본 발명을 보다 상세히 설명하고자 한다.

도 2는 본 발명의 일 실시예에 따른 무선 스트리밍과정을 나타낸 블록도이다.

상기 실시예에서, 스트림 서버는 실시간 미디어 소스(202), MPEG2 엔코더(203), 소스 필터(204), 네트워크 렌더필터(205), 윈속 API(206), TCP/IP 레이어(207), MAC 레이어(208)를 포함하고, 이동 단말 클라이언트는 MAC 레이어(208), TCP/IP 레이어(207), 윈속 API(206), 네트워크 소스필터(209), MPEG2 스플리터 필터(210), 디코더 필터(211), 디스플레이 오버레이(212), MPEG2 디코더(213), 모션분석기(214), 스트림 클라이언트 어플리케이션(215) 및 네트워크 감시기(216)를 포함한다.

상기 실시예는, 스트림 서버에서 이동 단말 클라이언트로 스트리밍 데이터가 전송되는 과정을 개략적으로 나타낸 것이다.

도 2를 참조하면, 스트림 서버는 실시간 미디어 데이터(202)를 엔코딩하여 소스 필터(204) 및 네트워크 렌더필터(205)의 디렉트 쇼 구조에 맞추어 데이터를 전송한다.

상기 이동 단말 클라이언트는 네트워크 소스 필터(209)와 MPEG2스플리터 필터(210) 및 디코더 필터(211)를 통해 MPEG2 스트림 데이터를 디코딩하여 화면을 송출하는 구조를 갖는다. 상기 스트림 클라이언트 어플리케이션(215)은 이러한 필터를 구조화시키고, 연결 제어를 관리한다.

상기 네트워크 감시기(216)는 현재의 데이터 손실 상황을 모니터링 한다. 상기 네트워크 감시기(216)에 의해서 데이터 손실이 감지되면 모션 분석기(214)가 작동된다.

상기 모션 분석기(214)는 현재 오버레이 중인 비디오 메모리의 데이터를 분석하여 디코더(213) 오동작에 따라 오버레이 화면이 정지된 상태인지 그렇지 않은지를 판단한다. 상기 모션 분석기(214)가 디코더(213) 오동작에 의해 오버레이가 갱신되지 않는 경우라고 판단되면, 디코더(213)의 상태를 초기화 시켜줌으로써 지속적인 서비스가 가능하도록 한다.

상기 각각 구성부분의 자세한 설명은 이하 더욱 상술하도록 하고, 상기에서 설명한 이외의 구성부분은 이미 공지되어 당업자에게 자명하므로 그 자세한 설명은 생략하도록 한다.

도 3은 본 발명의 일 실시예에 따른 네트워크 감시기(216)의 구성블록도이다.

상기 실시예에서, 네트워크 감시기(216)는 RTP 헤더 분석기(301)와 모션 분석기(214) 핸들러를 포함한다.

상기 실시예는, 네트워크 감시기(216)가 스트리밍 데이터의 손실을 감시하는 방법을 개략적으로 나타낸 것이다.

도 3을 참조하면, 네트워크 감시기(216)는 네트워크로 전송되는 데이터의 손실 상태를 감시한다. 네트워크 손실이 감지되면 모션 분석기(214)를 작동시키고, 모션 분석기 핸들러(302)를 통해 현재 디코더(213)의 상태를 피드백 받는다.

네트워크 소스 필터(209)는 서버로부터 스트림 데이터를 전송 받아 RTP 헤더를 추출하고, 미디어 데이터는 디코딩을 위하여 MPEG2 스플리터(210)/디코더 필터(211)로 전달한다. RTP 헤더에는 서버에서 전송 전에 입력한 시퀀스 넘버가 포함되어 있고, 이를 통하여 RTP 헤더 분석기(301)는 데이터 손실이 있음을 감지한다.

데이터 손실에 대한 정보는 모션 분석기 핸들러(302)로 전송된다. 상기 모션 분석기 핸들러(302)는 RTP 헤더 분석기(301)에 의해 데이터 손실이 감지됨을 통보 받으면 디코더(213) 오 동작 여부를 감지하는 모션 분석기(214)를 작동시킨다.

모션 분석기(214)로부터 디코더(213) 이상 현상 감지 상태를 통보 받으면 일시적으로 디코딩 작업을 중단하고, 디코더(213) 리셋 후 상기 디코더(213)를 재 가동시킴으로써 디코더(213) 이상현상을 극복한다.

데이터 손실이 감지된 경우 상기 모션 분석기(214)로부터 상기 디코더(213)가 정상상태임을 통보 받기까지 기다린 후, 상기 모션 분석기(214)로부터 상기 디코더(213)가 정상 상태임을 통보 받으면 모션 분석기(214)를 중단시키고, 일반 동작 상태로 진입한다.

도 4는 본 발명의 일 실시예에 따른 모션 분석기(214)의 작동과정을 나타낸 도면이다.

상기 실시예에서, 모션 분석기(214)의 작동과정은 특징 추출단계, 특징 상관 매트릭스 생성단계 및 모션 체크단계를 포함한다.

상기 실시예는, 정지화면의 원인을 분석하는 대략적인 과정을 나타낸 것이다.

도 4를 참조하면, 모션 분석기(214)는 디코딩 결과가 프레임 버퍼(401)에 저장되고, 상기 프레임 버퍼(401)에 저장된 데이터에서 특징 관련 매트릭스를 구하며, 얻어진 매트릭스를 기반으로 디코더(213) 이상상태를 판단한다.

디코딩 결과는 오버레이 되기 위하여 프레임 버퍼(401)에 저장되는데, 이 데이터에서 모션에 관련된 'Y' 값을 추출하는 것을 특징 추출이라 한다. 데이터 손실이 있다고 판단되면 특징추출을 통해 'Y'데이터를 얻어낸다.

특징 추출을 통해 얻어진 'Y'데이터로부터 특정 위치를 선정하여 얻어진 데이터로 구성된 데이터 집단을 특징 관련 매트릭스라고 한다. 모션의 변화가 가장 많이 일어나는 가운데를 중심으로 특징 추출에 의해 구해서 'Y' 데이터에서 모션변화가 가장 많이 일어나는 가운데 필드를 중심으로 'Y'데이터 필드를 추출한 데이터 집단(403)을 생성한다.

이렇게 생성된 데이터에서 일정 데이터 집단을 추출하여 샘플링 비율에 따라 상관관계를 계산하여 특징 관련 매트릭스를 생성한다. 특징 관련 매트릭스는 디코더(213) 이상현상을 판별할 수 있는 중요한 지표로 사용된다.

상기에서 얻어진 관련 메트릭스가 단위 매트릭스일 경우, 즉 모션이 감지 되지 않은 경우, 화면변화가 일어나지 않음을 감지할 수 있다. 화면변화가 일어나지 않는 것이 디코더(213)의 이상현상에 의한 것인지, 동일한 소스신호가 일정시간 유지됨으로 인해서 일어나는 것인지를 판별하여야 한다.

일반적으로 TV 화면과 같이 실시간 데이터를 인코딩 하여 전송하고, 이를 디코딩 하는 시스템의 경우 정지화면일 경우에도 아날로그 신호의 노이즈 (noise) 에 의해서 약간의 떨림이 감지되게 된다. 이러한 떨림은 미세한 모션 변화를 일으키게 되고 특징 셋(Set)에 차이를 나타내게 된다. 따라서, 상관 매트릭스는 단위 매트릭스가 되지 않는다.

다만, 소스 신호에 무관하게 신호를 가공하여 데이터를 전송하는 경우에는 이러한 차이를 보이지 않게 된다. 예를 들어, TV 신호가 인식되지 않는 채널의 화면을 푸른색으로 처리하는 경우, 인위적으로 모든 데이터 필드를 일정한 데이터로 채우기 때문에 이러한 경우에는 노이즈가 발생하지 않게 된다.

이런 경우는 특징 상관 매트릭스는 단위 매트릭스가 되나, 특징 셋의 모든 데이터가 동일한 값을 가지게 되므로, 모션 체크 모듈에서는 위와 같은 경우를 판별하여 디코더(213) 이상현상이 아니라고 판단해 준다.

도 5는 본 발명의 일 실시예에 따른 작동방법을 나타낸 플로우차트이다.

도 5를 참조하면, 단계 501 내지 502는 타임을 체크하는 과정이다.

스트리밍 데이터가 디스플레이 되는 화면이 정지하면 이동 단말 클라이언트 내부의 타이머는 소정의 시간동안 화면변화를 체크한다. 상기 시간은 본 발명의 목적에 맞게 조정하는 것이 가능한다.

단계 503은 데이터의 손실여부를 검사하는 과정이다.

상기에서 소정의 시간이 경과한 경우, 디스플레이 되는 화면이 정지한 이유가 데이터 전송시 손실에 의한 것인지, 원래 정지 화면인지 여부를 검사한다.

단계 504는 모션 분석기(214)가 작동하는 과정이다.

상기 단계 503에서 화면정지 이유가 데이터 손실에 의한 것이라고 판명되는 경우, 모션 분석기(214)를 작동한다.

단계 505내지 506은 특징 상관 매트릭스를 계산하는 과정이다.

상기 도 4에서 이미 설명한 바와 같이, 상기 단계 504에서 모션 분석기(214)가 작동하면, 디코딩 결과가 프레임 버퍼(401)에 저장되고, 상기 데이터에서 특징 상관 매트릭스를 구한다. 그 자세한 내용은 이미 상술하였으므로 이하 그 설명은 생략한다.

단계 507a 내지 508은 상기 특징 상관 메트릭스에 의해 화면 정지이유를 판단하는 과정이다.

단계 506에서 구한 특징 상관 매트릭스가 단위 매트릭스인 경우 단계 508에서는 각 매트릭스의 요소가 같은지 여부를 판단한다. 만약에, 각 요소의 값이 동일하다면 이는 TV 신호가 인식되지 않는 채널이므로 내부 디코더(213)의 에러가 아닌 것으로 보아 상기 단계 505를 되풀이한다.

단계 509내지 511은 디코더(213)를 제어하는 과정이다.

상기 단계 508에서 특징 상관 매트릭스의 각 요소 값이 동일하지 않다면 상기 화면의 정지는 상기 이동 단말 클라이언트 내부의 디코더(213) 에러에 의해 발생한 것이므로, 상기 모션 분석기 핸들러(302)는 디코딩 과정을 정지시키고, 상기 디코더(213)를 리셋시키며, 다시 디코딩을 시작한다.

상술한 바와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

상술한 바와 같이 본 발명에 의하면 채널 환경에 따라 다량의 데이터 손실이 발생할 수 있는 무선랜 기반의 스트림 서비스에서 발생할 수 있는 디코더의 이상현상을 감지하여 디코더 이상현상이 지속되지 않도록 해 준다.

그리고, 발생한 디코더 이상현상을 사용자로 하여금 서비스를 재 시작하여 처리하도록 하지 않고, 자동으로 이를 감지하여 극복함으로써 지속적인 서비스를 제공해 줄 수 있다.

또한, 디코더 이상상태를 프레임 메모리를 통하여 소프트웨어적으로 구현하였으므로, 디코더의 하드웨어적 특성에 무관하게 범용적으로 사용할 수 있으며, 디지털 텔레비젼, 셋탑박스 등 프레임 메모리를 사용하는 다른 어플리케이션에도 확대 적용이 가능하다.

도 1은 종래 기술의 일 실시예로 무선 스트리밍과정을 나타내는 블록도이다.

도 2는 본 발명의 일 실시예에 따른 무선 스트리밍과정을 나타낸 블록도이다.

도 3은 본 발명의 일 실시예에 따른 네트워크 감시기의 구성블록도이다.

도 4는 본 발명의 일 실시예에 따른 모션 분석기의 작동과정을 나타낸 것이다.

도 5는 본 발명의 일 실시예에 따른 작동방법을 나타낸 플로우 차트이다.

{도면의 주요 부호에 대한 설명}

204 : 소스 필터 205 : 네트워크 렌더필터

209 : 네트워크 소스필터 210 : MPEG2 스플리터 필터

211 : 디코더 필터 212 : 디스플레이 오버레이

213 : MPEG2 디코더 214 : 모션 분석기

215 : 스트림 클라이언트 어플리케이션

216 : 네트워크 감시기 301 : RTP 헤더 분석기

302 : 모션 분석기 핸들러

Claims (7)

1. 무선 네트워크를 통하여 스트리밍 서버와 통신하여 스트리밍 데이터를 다운받고, 상기 다운받은 데이터를 디코딩 하여 화면에 디스플레이함으로써 실시간 미디어 스트리밍 서비스를 받는 이동 단말 클라이언트에 있어서,

   상기 수신된 스트리밍 데이터 중 현재 스트리밍 데이터의 손실상황을 감시하는 네트워크 감시기 및 상기 스트리밍 데이터의 손실상황이 감지되면 상기 스트리밍 데이터의 손실이 디코더의 오동작에 의한 것인지 상기 스트리밍 데이터를 무선으로 전송시 발생한 손실인지 여부를 판단하는 모션 분석기를 포함하는 것을 특징으로 하는 이동 단말 클라이언트.
2. 제 1항에 있어서, 네트워크 감시기는 수신된 스트리밍 데이터에서 추출한 RTP헤더에 포함된 시퀸스 넘버를 체크하여 데이터의 손실여부를 판단하는 RTP 헤더분석기 및 상기 RTP 헤더분석기에 의해 데이터 손실이 감지됨을 통지 받으면 디코더의 오동작 여부를 감지하는 모션 분석기와 스트리밍 데이터를 디코딩하는 디코더를 제어하는 모션 분석기 핸들러를 포함하는 것을 특징으로 하는 이동 단말 클라이언트.
3. 제 2항에 있어서, 모션 분석기 핸들러는 상기 모션 분석기로부터 디코더 이상 현상에 의한 데이터 손실이 감지되면 상기 디코더를 리셋 시키고 상기모션 분석기로부터 상기 디코더의 정상상태임을 통보 받기까지 기다린 후, 상기 디코더의 정상상태가 통보되면 모션 분석기의 작동을 중단시키고 다시 리코딩 하는 작업을 재개하는 것을 특징으로 하는 이동 단말 클라이언트.
4. 모션분석을 통한 디코더 이상현상 감지 및 복구방법에 있어서,

   a) 디코딩 결과를 저장하는 단계;

   b) 상기 결과값 중 모션과 관련된 'Y'값을 추출하는 단계;

   c) 상기 'Y'데이터로부터 데이터 필드를 추출한 데이터 셋을 생성하는 단계;

   d) 상기 생성된 데이터 셋을 추출하고 샘플링 비율에 따라 상관관계를 계산하여 특징 관련 메트릭스를 생성하는 단계 및

   e) 상기 특징 관련 메트릭스를 이용하여 화면정지가 디코더 이상현상에 의한 것인지, 동일한 스트리밍 데이터가 일정시간 유지됨으로써 일어나는 것인지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 디코더 이상현상 감지 및 복구방법.
5. 제 4항에 있어서, 단계 c)의 데이터 셋을 형성하는 방법은,

   모션변화가 가장 많이 일어나는 가운데 필드를 중심으로 'Y'데이터 필드를 추출하는 것을 특징으로 하는 디코더 이상현상 감지 및 복구방법.
6. 제 4항에 있어서, 단계 e)의 화면정지 이유를 판단하는 방법은

   상기 특징 관련 매트릭스가 단위 매트릭스이면 디코더의 이상현상으로 판단하고, 그렇지 않으면 동일한 스트리밍 데이터가 일정시간 유지됨으로써 일어나는 것으로 판단하는 것을 특징으로 하는 디코더 이상현상 감지 및 복구방법.
7. 제 6항에 있어서, 디코더의 이상현상으로 판단시

   상기 특징 관련 매트릭스의 각 데이터가 동일하면 디코더를 계속해서 가동시키며, 그렇지 않으면 디코딩 작업을 중단하고, 상기 디코더 리셋 후 상기 디코더를 재 가동시키는 단계를 더 포함하는 것을 특징으로 하는 디코더 이상현상 감지 및 복구방법.