KR101691748B1 - 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법 - Google Patents

에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법 Download PDF

Info

Publication number
KR101691748B1
KR101691748B1 KR1020150111717A KR20150111717A KR101691748B1 KR 101691748 B1 KR101691748 B1 KR 101691748B1 KR 1020150111717 A KR1020150111717 A KR 1020150111717A KR 20150111717 A KR20150111717 A KR 20150111717A KR 101691748 B1 KR101691748 B1 KR 101691748B1
Authority
KR
South Korea
Prior art keywords
image
error
reference frame
plr
encoding apparatus
Prior art date
Application number
KR1020150111717A
Other languages
English (en)
Inventor
변재영
강희선
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020150111717A priority Critical patent/KR101691748B1/ko
Application granted granted Critical
Publication of KR101691748B1 publication Critical patent/KR101691748B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법에 관한 것으로, 다수의 참조 프레임을 이용한 움직임 예측 및 보상을 수행하여 영상 데이터를 압축하고, 실시간 전송 프로토콜(Real-time Transport Protocol, RTP)을 통해 상기 압축된 영상 데이터를 무선 네트워크 환경에서 RTP 패킷화하여 전송하는 영상 부호화 장치와, 상기 영상 부호화 장치로부터 무선 네트워크 환경에서 전송된 RTP 패킷을 제공받아 이를 바탕으로 움직임 보상을 통해 참조 프레임으로부터 영상 데이터를 참조하여 원래의 영상으로 복원하는 영상 복호화 장치가 포함되되, 상기 영상 부호화 장치는, 상기 압축된 영상 데이터를 RTP 패킷화하여 전송함과 동시에 상기 영상 복호화 장치로부터 되돌아오는 실시간 전송 제어 프로토콜(Real-time Transport Control Protocol, RTCP)의 피드백 정보를 제공받아 이를 바탕으로 전송 채널의 상태를 모니터링하여 해당 전송 채널의 에러 발생률(RPLR)과 기 설정된 에러 허용 임계치(PLRth)를 비교 판단하고, 그 판단 결과에 따라 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 또는 최대 참조 프레임 수의 값(RFmin 또는 RFmax)으로 설정하여 영상의 참조 영역을 제한하도록 제어함으로써, 에러의 확산을 효율적으로 억제하여 영상의 화질 손실을 최소화할 수 있는 효과가 있다.

Description

에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법{NETWORK-AWARE REFERENCE FRAME CONTROL SYSTEM FOR ERROR RESILIENT VIDEO STREAMING SERVICE AND METHOD THEREOF}
본 발명은 에러에 취약한 무선 네트워크 환경에서 보다 신뢰성 있는 고화질 영상 스트리밍 서비스를 제공할 수 있도록 한 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법에 관한 것이다.
초고속 인터넷망과 무선 이동통신 기술은 오늘날 모바일 환경에서도 동영상 스트리밍 서비스를 이용할 수 있는 환경을 마련해 주었지만, 여전히 동영상 데이터는 저장 및 전송에 소요되는 데이터의 양이 방대하여 제한된 대역폭을 갖는 네트워크 환경에서 고화질의 영상을 실시간으로 전송하는 데 한계가 있다.
이에 따라 영상 데이터의 양을 효율적으로 줄여서 전송할 수 있는 영상 압축 표준들이 함께 발전되어 왔다. H.264/AVC 표준은 오늘날 고화질 영상 스트리밍 서비스에 주로 사용되고 있는 코덱(CODEC)으로, 높은 압축 효율과 실시간 전송을 위한 다수의 기술들이 포함되어 있다.
이와 같이 방대한 양의 영상 데이터를 효율적으로 압축하기 위해, H.264/AVC 표준 부호화기(encoder)는 움직임 예측(Motion Estimation, ME) 및 움직임 보상(Motion Compensation, MC)을 통해 다수의 주변 프레임들로부터 부호화하고자 하는 영상 데이터와 유사한 참조 영상을 찾게 된다.
즉, 참조 영상을 이용하여 영상을 압축하게 되면 부호화하고자 하는 영상 전체가 아닌 참조 영상의 위치를 가리키는 움직임 벡터, 부호화할 영상과 참조 영상 간의 차이를 나타내는 잔차 신호를 부호화하게 된다.
상기 움직임 벡터와 잔차 신호는 원 영상에 비해 발생 데이터의 양이 많지 않아 영상 데이터의 크기를 효율적으로 줄일 수 있고, 이로 인해 제한된 대역폭을 사용하는 네트워크 환경에서 보다 고품질의 영상을 전송할 수 있게 된다.
하지만, 움직임 예측 및 보상을 통해 압축된 영상이 전송 과정에서 채널 에러와 같은 문제로 일부 손실되어 도달할 경우, 손실되지 않은 다수의 주변 영상들 또한 손실된 영상을 참조하여 영상을 복원하는 과정에서 화질이 함께 저하되는 에러의 확산을 초래하게 된다는 문제점이 있다.
이와 같이 움직임 예측을 이용하여 부호화된 영상은 복호화기(decoder)에서 영상을 복원할 때에도 참조 영상으로부터 데이터를 가져와 영상을 복원하게 된다. 따라서, 무선 네트워크와 같은 에러에 취약한 환경에서 영상이 전송되는 과정에서 일부 데이터가 손실될 경우, 일부 주변 영상들 또한 손실 영상을 참조하여 영상을 복호화하게 되면서 품질이 저하되는 문제점을 안고 있다.
이러한 에러 확산에 의한 심각한 영상의 품질 저하를 방지하기 위해, 영상 압축 표준들은 다수의 에러 리질리언스(error resilience) 기법들을 포함하고 있다. H.264/AVC 표준 역시 에러에 의한 영상의 품질 저하를 막기 위해 에러 리질리언스 기법들을 포함하고 있으며, 이중에서 주기적으로 일부 데이터를 움직임 예측을 수행하지 않고 독립적으로 부호화하는 인트라 리프레쉬(Cyclic Intra-Refresh) 기법이 주로 사용되고 있다.
상기 인트라 리프레쉬에 의해 독립적으로 부호화된 데이터들은 이전 영상이 손실된 상태에서도 정상적으로 복호화가 되지만, 다수 참조 프레임(Multiple Reference Frame, MRF) 사용으로 인해 다음 프레임이 다시 에러 확산의 영향을 받게 되면 영상의 품질 저하를 효과적으로 억제해 주지 못한다는 문제점이 여전히 남게 된다.
한국등록특허 제10-1407832호
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 전송 채널의 상태를 모니터링(Monitoring)하여 다수 참조 프레임 사용 기반의 압축 영상 데이터가 채널 에러에 의해 손실될 경우 참조 프레임 수를 조절함으로써, 손실된 영상 데이터가 주변으로 확산되는 현상을 억제하고 보다 빠르게 영상의 품질을 회복시킬 수 있도록 한 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, 다수의 참조 프레임을 이용한 움직임 예측 및 보상을 수행하여 영상 데이터를 압축하고, 실시간 전송 프로토콜(Real-time Transport Protocol, RTP)을 통해 상기 압축된 영상 데이터를 무선 네트워크 환경에서 RTP 패킷화하여 전송하는 영상 부호화 장치; 및 상기 영상 부호화 장치로부터 무선 네트워크 환경에서 전송된 RTP 패킷을 제공받아 이를 바탕으로 움직임 보상을 통해 참조 프레임으로부터 영상 데이터를 참조하여 원래의 영상으로 복원하는 영상 복호화 장치가 포함되되, 상기 영상 부호화 장치는, 상기 압축된 영상 데이터를 RTP 패킷화하여 전송함과 동시에 상기 영상 복호화 장치로부터 되돌아오는 실시간 전송 제어 프로토콜(Real-time Transport Control Protocol, RTCP)의 피드백 정보를 제공받아 이를 바탕으로 전송 채널의 상태를 모니터링하여 해당 전송 채널의 에러 발생률(RPLR)과 기 설정된 에러 허용 임계치(PLRth)를 비교 판단하고, 그 판단 결과에 따라 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 또는 최대 참조 프레임 수의 값(RFmin 또는 RFmax)으로 설정하여 영상의 참조 영역을 제한하도록 제어하는 것을 특징으로 하는 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템을 제공하는 것이다.
여기서, 상기 영상 부호화 장치는, 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 클 경우, 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 참조 프레임 수의 값(RFmin)으로 설정하여 영상의 참조 영역을 제한하도록 제어함이 바람직하다.
바람직하게, 상기 기 설정된 최소 참조 프레임 수의 값(RFmin)은, 부호화할 영상과 가장 인접한 하나의 참조 프레임 수로 결정될 수 있다.
추가적으로, 상기 영상 부호화 장치는, 전송 채널의 에러 확산에 의한 영상의 품질 저하를 방지하기 위해 에러 리질리언스(error resilience) 기법을 함께 사용하여 영상을 부호화할 경우, 인트라 리프레쉬 수의 값을 기 설정된 최대 인트라 리프레쉬 수의 값(IRmax)으로 설정하여 에러가 보다 신속하게 복원될 수 있도록 제어할 수 있다.
한편, 상기 영상 부호화 장치는, 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 작을 경우, 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최대 참조 프레임 수의 값(RFmax)으로 설정하여 영상 데이터가 효율적으로 압축될 수 있도록 제어할 수 있다.
추가적으로, 상기 영상 부호화 장치는, 전송 채널의 에러 확산에 의한 영상의 품질 저하를 방지하기 위해 에러 리질리언스(error resilience) 기법을 함께 사용하여 영상을 부호화할 경우, 인트라 리프레쉬 수의 값을 기 설정된 최소 인트라 리프레쉬 수의 값(IRmin)으로 설정하여 인트라 리프레쉬의 사용으로 인한 부호화 효율의 감소를 최소화할 수 있도록 제어할 수 있다.
본 발명의 제2 측면은, 무선 네트워크 환경에서 다수의 참조 프레임을 이용한 움직임 예측 및 보상을 수행하여 영상 데이터를 부호화 및 복호화하는 영상 부호화 및 복호화 장치를 포함하는 시스템을 이용하여 참조 프레임을 제어하는 방법으로서, (a) 상기 영상 부호화 장치를 통해 다수의 참조 프레임을 이용한 움직임 예측 및 보상을 수행하여 영상 데이터를 압축하고, 실시간 전송 프로토콜(RTP)을 통해 상기 압축된 영상 데이터를 RTP 패킷화하여 전송하는 단계; (b) 상기 영상 부호화 장치를 통해 상기 영상 복호화 장치로부터 되돌아오는 실시간 전송 제어 프로토콜(RTCP)의 피드백 정보를 제공받아 이를 바탕으로 전송 채널의 상태를 모니터링하는 단계; 및 (c) 상기 영상 부호화 장치를 통해 해당 전송 채널의 에러 발생률(RPLR)과 기 설정된 에러 허용 임계치(PLRth)를 비교 판단하여, 그 판단 결과에 따라 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 또는 최대 참조 프레임 수의 값(RFmin 또는 RFmax)으로 설정하여 영상의 참조 영역을 제한하도록 제어하는 단계를 포함하는 것을 특징으로 하는 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 방법을 제공하는 것이다.
바람직하게, 상기 단계(c)에서, 상기 영상 부호화 장치는, 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 클 경우, 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 참조 프레임 수의 값(RFmin)으로 설정하여 영상의 참조 영역을 제한하도록 제어할 수 있다.
바람직하게, 상기 기 설정된 최소 참조 프레임 수의 값(RFmin)은, 부호화할 영상과 가장 인접한 하나의 참조 프레임 수로 결정할 수 있다.
추가적으로, 상기 영상 부호화 장치는, 전송 채널의 에러 확산에 의한 영상의 품질 저하를 방지하기 위해 에러 리질리언스(error resilience) 기법을 함께 사용하여 영상을 부호화할 경우, 인트라 리프레쉬 수의 값을 기 설정된 최대 인트라 리프레쉬 수의 값(IRmax)으로 설정하여 에러가 보다 신속하게 복원될 수 있도록 제어할 수 있다.
한편, 상기 단계(c)에서, 상기 영상 부호화 장치는, 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 작을 경우, 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최대 참조 프레임 수의 값(RFmax)으로 설정하여 영상 데이터가 효율적으로 압축될 수 있도록 제어할 수 있다.
추가적으로, 상기 영상 부호화 장치는, 전송 채널의 에러 확산에 의한 영상의 품질 저하를 방지하기 위해 에러 리질리언스(error resilience) 기법을 함께 사용하여 영상을 부호화할 경우, 인트라 리프레쉬 수의 값을 기 설정된 최소 인트라 리프레쉬 수의 값(IRmin)으로 설정하여 인트라 리프레쉬의 사용으로 인한 부호화 효율의 감소를 최소화할 수 있도록 제어할 수 있다.
본 발명의 제3 측면은, 상술한 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 방법을 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 방법은 컴퓨터로 판독할 수 있는 기록매체에 컴퓨터로 판독할 수 있는 코드로 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체에는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피 디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있다.
이상에서 설명한 바와 같은 본 발명의 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법에 따르면, 전송 채널의 상태를 모니터링(Monitoring)하여 다수 참조 프레임 사용 기반의 압축 영상 데이터가 채널 에러에 의해 손실될 경우 참조 프레임 수를 조절함으로써, 손실된 영상 데이터가 주변으로 확산되는 현상을 억제하고 보다 빠르게 영상의 품질을 회복시킬 수 있는 이점이 있다.
또한, 본 발명에 따르면, 영상을 전송하는 과정에서 채널 에러가 발생할 경우 영상 부호화 장치에서 참조 프레임의 사용을 제한하여 에러의 확산을 억제하고, 채널 에러가 발생하지 않을 때에는 다수의 참조 프레임을 사용하도록 제어하기 때문에 높은 부호화 효율과 전송 신뢰성을 동시에 충족할 수 있는 이점이 있다.
또한, 본 발명에 따르면, 영상을 효율적으로 압축하여 전송하면서 채널의 상태에 따라 적응적으로 영상 부호화 장치를 제어하여 에러의 확산을 억제해 주기 때문에, 고화질 영상 스트리밍 서비스에 매우 적합한 특성을 갖는 이점이 있다.
또한, 본 발명에 따르면, 무선 네트워크 환경에서 채널 상태에 따라 에러 발생 시 적응적으로 참조 프레임 수를 조절하여 에러의 확산을 억제함으로써, 영상의 화질 손실을 최대한으로 줄일 수 있을 뿐만 아니라 채널 에러의 발생으로 영상의 화질이 잇따라 손실될 때 에러의 확산을 억제하여 보다 신속하게 영상이 복원될 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템을 설명하기 위한 전체적인 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템의 실시간 영상 전송의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 방법을 설명하기 위한 전체적인 흐름도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
먼저, 기존의 영상 데이터는 저장 및 전송에 있어 매우 많은 양의 데이터를 요구한다. 고품질 영상을 효율적으로 압축하여 전송하기 위해 영상 부호화 장치는 다수의 참조 프레임을 사용하여 움직임 예측 부호화를 수행한다.
이와 같이 기존의 영상 압축 부호화 방법은 다수의 참조 프레임을 사용하여 움직임 예측 및 보상을 수행하는 방식으로 영상 데이터를 압축하기 때문에 일부 데이터가 에러에 의해 손실될 경우 손실 영역을 참조하는 인접 영상들이 함께 손실되는 에러 확산을 초래한다. 즉, 이러한 종래의 방법으로 부호화된 영상 데이터는 에러의 확산에 취약하다는 문제점을 안고 있다.
반면, 움직임 예측 부호화에 가장 인접한 하나의 참조 프레임만을 사용한 경우 에러의 확산이 제한되어 보다 신뢰성 있는 전송이 가능하지만 부호화 효율이 떨어져 고품질의 영상을 전송하기 어렵다는 문제점이 있다.
또한, 다수의 참조 프레임을 사용하여 영상을 부호화하고 전송하는 기존의 시스템은 에러 리질리언스 기법을 함께 사용하더라도 에러의 확산으로 인한 영상의 품질 저하를 효과적으로 방지하지 못한다는 문제점이 여전히 남아있다.
한편, 에러에 취약한 무선 네트워크와 같은 환경은 사용할 수 있는 대역폭이 한정되어 있고 채널 에러에 의한 손실이 발생할 가능성이 높다. 이 때문에 발생 데이터의 양이 많은 고화질 영상 데이터를 전송하기 위해서는 효율적인 압축 기술이 필요함과 동시에, 이에 따른 에러의 확산을 억제할 기술이 반드시 필요한 상황이다.
이러한 에러의 확산을 효과적으로 억제하기 위하여, 본 발명은 전송 채널의 상태에 따라 영상 데이터 부호화 단계에서 사용되는 참조 프레임의 범위를 조절하여 손실된 영상 데이터가 주변으로 확산되는 현상을 억제하고 보다 빠르게 영상의 품질을 회복시킬 수 있다.
또한, 본 발명에서는 에러에 취약한 네트워크 환경에서도 효율적이면서 신뢰성 있는 영상 전송 서비스의 제공을 위해, 전송 채널의 상태에 따라 적응적으로 영상 부호화 장치를 제어하여 에러가 발생했을 때 손실 데이터가 주변 데이터로 확산되는 범위를 제한시키는 방식을 제안한다.
즉, 본 발명의 주된 특징은 전송 채널의 상태를 모니터링(Monitoring)하여 전송 과정에서 에러에 의한 손실이 감지될 경우, 부호화할 영상의 참조 프레임 수를 줄인 다음 움직임 예측 부호화를 수행하여 전송하는 방식으로 에러의 확산을 억제하고, 전송 채널의 상태가 양호할 경우 다수의 참조 프레임을 사용하여 영상을 부호화하고 전송하여 압축 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템을 설명하기 위한 전체적인 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템의 실시간 영상 전송의 동작을 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템은, 크게 통신망(10)을 통해 영상 부호화 장치(100)와 영상 복호화 장치(200)가 서로 연결되어 있으며, 전송 채널의 상태에 따라 적응적으로 영상 부호화 장치(100)를 제어하여 영상을 압축하고 전송하는 시스템으로 구성되어 있다.
여기서, 통신망(10)은 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 WiFi, Wibro, Wimax 등을 포함하는 차세대 무선망일 수 있다.
상기 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(Hyper Text Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service) 등을 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미하며, 영상 복호화 장치(200)가 영상 부호화 장치(100)에 접속될 수 있게 하는 환경을 제공한다. 한편, 상기 인터넷은 유선 또는 무선 인터넷일 수도 있고, 이외에도 유선 공중망, 무선 이동 통신망, 또는 휴대 인터넷 등과 통합된 코어망 일 수도 있다.
만약, 통신망(10)이 이동 통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 상기 비동기식 이동 통신망의 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 상기 이동 통신망은 예컨대, RNC(Radio Network Controller) 등을 포함할 수 있다. 한편, 상기 WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망, 5G망 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP 망일 수 있다. 이러한 통신망(10)은 영상 부호화 장치(100)와 영상 복호화 장치(200) 상호 간의 신호 및 데이터를 상호 전달하는 역할을 수행한다.
영상 부호화 장치(100)는 다수의 참조 프레임을 이용한 움직임 예측 및 보상을 수행하여 영상 데이터를 압축하고, 실시간 전송 프로토콜(Real-time Transport Protocol, RTP)을 통해 상기 압축된 영상 데이터를 무선 네트워크 환경에서 RTP 패킷화하여 전송하며, 실시간 전송 제어 프로토콜(Real-time Transport Control Protocol, RTCP)을 통해 영상의 전송 상황을 모니터링(Monitoring)할 수 있다.
이때, 다수의 참조 프레임을 이용한 움직임 예측 부호화는 영상 데이터의 크기를 효율적으로 줄여주기 때문에 제한된 대역폭을 갖는 전송 환경에서 보다 고품질의 영상을 전송할 수 있다는 장점이 있지만, 압축된 영상이 전송 과정에서 일부 손실될 경우 손실된 영상을 참조하는 주변 영상 데이터로 에러가 확산되는 문제점을 안고 있다.
이러한 문제점은 영상이 부호화되는 과정에서 주변 프레임을 더 많이 참조할수록 더욱 심각해진다. 에러 확산에 의한 심각한 품질 손실을 방지하기 위해, 영상 부호화 장치(100)를 통해 네트워크의 상태에 따라 적응적으로 참조 프레임의 수를 제어하여 에러의 확산을 억제할 수 있다.
즉, 영상 부호화 장치(100)는 상기 압축된 영상 데이터를 RTP 패킷화하여 전송함과 동시에 영상 복호화 장치(200)로부터 되돌아오는 실시간 전송 제어 프로토콜(RTCP)의 피드백 정보를 제공받아 이를 바탕으로 전송 채널의 상태를 모니터링(Monitoring)하여 전송 채널의 에러를 감지하는 기능을 수행한다.
또한, 영상 부호화 장치(100)는 해당 전송 채널의 에러 발생률(RPLR)과 기 설정된 에러 허용 임계치(PLRth)를 비교 판단하고, 그 판단 결과에 따라 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 또는 최대 참조 프레임 수의 값(RFmin 또는 RFmax)으로 설정하여 영상의 참조 영역을 제한하도록 제어할 수 있다. 이때, 상기 기 설정된 에러 허용 임계치(PLRth), 최소 또는 최대 참조 프레임 수의 값(RFmin 또는 RFmax)(바람직하게, 1~3 또는 5~9)(더욱 바람직하게, 1 또는 7)은 고화질 영상 스트리밍 서비스 시스템의 운용에 따라 다양하게 변경하여 설정될 수 있다.
또한, 영상 부호화 장치(100)는 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 클 경우, 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 참조 프레임 수의 값(RFmin)으로 설정하여 영상의 참조 영역을 제한하도록 제어할 수 있다. 이때, 상기 기 설정된 최소 참조 프레임 수의 값(RFmin)은 부호화할 영상과 가장 인접한 하나의 참조 프레임 수로 결정됨이 바람직하다.
또한, 영상 부호화 장치(100)는 전송 채널의 에러 확산에 의한 영상의 품질 저하를 방지하기 위해 에러 리질리언스(error resilience) 기법을 함께 사용하여 영상을 부호화할 때, 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 클 경우, 인트라 리프레쉬 수(NIR)의 값을 기 설정된 최대 인트라 리프레쉬 수의 값(IRmax)으로 설정하여 에러가 보다 신속하게 복원될 수 있도록 제어할 수 있다.
또한, 영상 부호화 장치(100)는 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 작을 경우, 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최대 참조 프레임 수의 값(RFmax)으로 설정하여 영상의 참조 영역을 제한하도록 제어할 수 있다.
또한, 영상 부호화 장치(100)는 전송 채널의 에러 확산에 의한 영상의 품질 저하를 방지하기 위해 에러 리질리언스(error resilience) 기법을 함께 사용하여 영상을 부호화할 때, 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 작을 경우, 인트라 리프레쉬 수(NIR)의 값을 기 설정된 최소 인트라 리프레쉬 수의 값(IRmin)으로 설정하여 영상 데이터가 효율적으로 부호화될 수 있도록 제어할 수 있다.
상기와 같이 구성된 영상 부호화 장치(100)에 대하여 보다 구체적으로 설명하면, 영상 부호화 장치(100)는 H.264/AVC 표준 기반으로 영상을 압축하는 장치로서, 전송 과정에서 발생할 수 있는 에러에 의한 화질 저하를 완화시켜줄 에러 리질리언스 기법, 그리고 실시간 전송 제어 프로토콜(RTCP)의 피드백 정보를 통해 영상의 전송 상태를 모니터링하며 전송 채널의 상태에 따라 움직임 예측 부호화에 사용되는 참조 프레임 수를 조절한다.
이러한 영상 부호화 장치(100)는 영상 데이터의 효율적인 압축을 위해 다수의 참조 프레임을 사용한 움직임 예측 및 보상을 수행하고, 에러 리질리언스 기법으로 인트라 리프레쉬(Intra-Refresh)가 함께 사용될 수 있으며, 영상을 부호화하기 전 전송 채널의 상태에 따라 참조 프레임의 수 및/또는 에러 리질리언스 기법의 강도를 제어하게 된다.
즉, 영상 부호화 장치(100)는 다수의 참조 프레임과 최소의 인트라 리프레쉬를 이용하여 영상을 부호화하고 전송한다. 영상을 부호화하고 전송함과 동시에 실시간 전송 제어 프로토콜(RTCP)의 피드백 정보를 통해 영상의 전송 상태를 지속적으로 모니터링한다.
만약, 상기 피드백 정보로부터 에러가 감지될 경우, 영상 부호화 장치(100)는 참조 프레임의 사용을 가장 인접한 프레임 하나로 제한할 수 있으며, 인트라 리프레쉬의 사용을 최대로 조정하여 영상을 부호화하고 전송할 수 있다.
이와 같이 참조 프레임의 사용이 제한되면 압축된 영상이 전송 과정에서 일부 손실되어 도달하게 되더라도, 손실 영상이 영향을 미칠 수 있는 범위 또한 제한되므로 에러 확산에 의한 영향이 줄어들게 된다.
이와 동시에, 일부 영상 데이터는 인트라 리프레쉬에 의해 독립적으로 복호되므로 이후 영상의 품질은 보다 신속하게 회복이 가능해진다. 이 때문에 에러 리질리언스 성능 또한 함께 향상되어 영상 품질의 저하를 보다 효율적으로 억제할 수 있게 된다.
이후 전송 채널이 안정되어 에러가 발생하지 않게 되면, 영상 부호화 장치(100)는 다시 다수의 참조 프레임을 사용함과 동시에 인트라 리프레쉬의 사용을 억제하여 부호화 효율을 향상시킨다.
한편, 도 2에 도시된 바와 같이, 영상을 전송하는 과정에서 피드백 데이터를 이용하여 에러의 발생을 감지하고 영상 부호화 장치(100)를 제어하는 반응은 즉각적으로 일어나지는 않는다.
실제 네트워크 환경에서 실시간으로 영상을 전송하는 상황에서, 영상이 수신부인 영상 복호화 장치(200)에 도달하고 전송 상태가 피드백 정보로 되돌아오기까지는 일정 시간이 소요되기 때문이다. 이 때문에 영상 부호화 장치(100)를 제어하는 시점은 실제 에러가 발생한 시점에서 피드백 데이터가 오기까지 소요된 시간 이후에 일어난다.
전술한 바와 같이 구성된 영상 부호화 장치(100)는 고화질 영상 스트리밍 서비스를 제공하는 서버(Server) 내에 구비됨이 바람직하지만, 이에 국한하지 않으며, 독립적인 장치 형태로 구현될 수도 있다.
그리고, 영상 복호화 장치(200)는 통신망(10)을 통해 영상 부호화 장치(100)와 연결되어 있으며, 영상 부호화 장치(100)로부터 무선 네트워크 환경에서 전송된 RTP 패킷을 제공받아 이를 바탕으로 움직임 보상을 통해 참조 프레임으로부터 영상 데이터를 참조하여 원래의 영상으로 복원하는 기능을 수행한다.
이러한 영상 복호화 장치(200)는 고화질 영상 스트리밍 서비스를 제공받는 클라이언트(Client) 단말 내에 구비됨이 바람직하지만, 이에 국한하지 않으며, 독립적인 장치 형태로 구현될 수도 있다.
한편, 상기 클라이언트 단말은 예컨대, 데스크탑 PC(Personal Computer), 노트북 PC 등 컴퓨터인 것이 일반적이지만, 이에 한정되는 것은 아니며, 모든 종류의 유무선 통신 장치일 수 있다.
예를 들어, 상기 클라이언트 단말은 무선 인터넷 또는 휴대 인터넷을 통하여 통신하는 다양한 이동 단말을 포함하고, 이외에도 팜(Palm) PC, 스마트폰(Smart phone), 모바일 게임기(Mobile play-station), 통신 기능이 있는 DMB(Digital Multimedia Broadcasting)폰, 태블릿 PC, 아이패드(iPad) 등 영상 부호화 장치(100)에 접속하기 위한 사용자 인터페이스를 갖는 모든 유무선 가전/통신 장치를 포괄적으로 의미할 수 있다.
특히, 상기 클라이언트 단말이 통상의 스마트폰으로 구현될 경우, 상기 스마트폰은 일반 핸드폰(일명 피처폰(feature phone))과는 달리 사용자가 원하는 다양한 어플리케이션(Application) 프로그램을 다운로드받아 자유롭게 사용하고 삭제가 가능한 오픈 운영체제를 기반으로 한 폰(Phone)으로서, 일반적으로 사용되는 음성/영상통화, 인터넷 데이터통신 등의 기능뿐만 아니라, 모바일 오피스 기능을 갖춘 모든 모바일 폰 또는 음성통화 기능이 없으나 인터넷 접속 가능한 모든 인터넷폰 또는 테블릿(Tablet) PC를 포함하는 통신기기로 이해함이 바람직하다.
이러한 상기 스마트폰은 다양한 개방형 운영체계를 탑재한 스마트폰으로 구현될 수 있으며, 상기 개방형 운영체계로는 예컨대, 노키아(NOKIA)사의 심비안, 림스(RIMS)사의 블랙베리, 애플(Apple)사의 아이폰, 마이크로소프트사(MS)의 윈도즈 모바일, 구글(Google)사의 안드로이드, 삼성전자의 바다 등으로 이루어질 수 있다.
이와 같이 상기 스마트폰은 개방형 운영체계를 사용하므로 폐쇄적인 운영체계를 가진 휴대폰과 달리 사용자가 임의로 다양한 어플리케이션 프로그램을 설치하고 관리할 수 있다.
즉, 상기 스마트폰은 기본적으로 제어부, 메모리부, 화면출력부, 키입력부, 사운드 출력부, 사운드 입력부, 카메라부, 무선망 통신모듈, 근거리 무선 통신모듈 및 전원 공급을 위한 배터리 등을 구비한다.
상기 제어부는 스마트폰의 동작을 제어하는 기능 구성의 총칭으로서, 적어도 하나의 프로세서와 실행 메모리를 포함하며, 스마트폰에 구비된 각 기능 구성부와 버스(BUS)를 통해 연결된다.
이러한 상기 제어부는 상기 프로세서를 통해 스마트폰에 구비되는 적어도 하나의 프로그램 코드를 상기 실행 메모리에 로딩하여 연산하고, 그 결과를 상기 버스를 통해 적어도 하나의 기능 구성부로 전달하여 스마트폰의 동작을 제어한다.
상기 메모리부는 스마트폰에 구비되는 비휘발성 메모리의 총칭으로서, 상기 제어부를 통해 실행되는 적어도 하나의 프로그램 코드와, 상기 프로그램 코드가 이용되는 적어도 하나의 데이터 셋트를 저장하여 유지한다. 상기 메모리부는 기본적으로 스마트폰의 운영체제에 대응하는 시스템 프로그램 코드와 시스템 데이터 셋트, 스마트폰의 무선 통신 연결을 처리하는 통신 프로그램 코드와 통신 데이터 셋트 및 적어도 하나의 응용프로그램 코드와 응용 데이터 셋트를 저장하며, 본 발명을 구현하기 위한 프로그램 코드와 데이터 셋트 역시 상기 메모리부에 저장된다.
상기 화면 출력부는 화면출력 장치(예컨대, LCD, LED 장치)와 이를 구동하는 출력 모듈로 구성되며, 상기 제어부와 버스로 연결되어 상기 제어부의 각종 연산 결과 중 화면 출력에 대응하는 연산 결과를 상기 화면출력 장치로 출력한다.
상기 키입력부는 적어도 하나의 키 버튼을 구비한 키 입력장치(또는 상기 화면 출력부와 연동하는 터치스크린 장치)와 이를 구동하는 입력 모듈로 구성되며, 상기 제어부와 버스로 연결되어 상기 제어부의 각종 연산을 명령하는 명령을 입력하거나, 또는 상기 제어부의 연산에 필요한 데이터를 입력한다.
상기 사운드 출력부는 사운드 신호를 출력하는 스피커와 상기 스피커를 구동하는 사운드 모듈로 구성되며, 상기 제어부와 버스로 연결되어 상기 제어부의 각종 연산 결과 중 사운드 출력에 대응하는 연산 결과를 상기 스피커를 통해 출력한다. 상기 사운드 모듈은 상기 스피커를 통해 출력할 사운드 데이터를 디코딩(Decoding)하여 사운드 신호로 변환한다.
상기 사운드 입력부는 사운드 신호를 입력받는 마이크로폰과 상기 마이크로폰을 구동하는 사운드 모듈로 구성되며, 상기 마이크로폰을 통해 입력되는 사운드 데이터를 상기 제어부로 전달한다. 상기 사운드 모듈은 상기 마이크로폰을 통해 입력되는 사운드 신호를 엔코딩(Encoding)하여 부호화한다.
상기 카메라부는 광학부와 CCD(Charge Coupled Device)와 이를 구동하는 카메라 모듈로 구성되며, 상기 광학부를 통해 상기 CCD에 입력된 비트맵 데이터를 획득한다. 상기 비트맵 데이터는 정지 영상의 이미지 데이터와 동영상 데이터를 모두 포함할 수 있다.
상기 무선망 통신모듈은 무선 통신을 연결하는 통신 구성의 총칭으로서, 특정 주파수 대역의 무선 주파수 신호를 송수신하는 안테나, RF모듈, 기저대역모듈, 신호처리모듈을 적어도 하나 포함하여 구성되며, 상기 제어부와 버스로 연결되어 상기 제어부의 각종 연산 결과 중 무선 통신에 대응하는 연산 결과를 무선 통신을 통해 전송하거나, 또는 무선 통신을 통해 데이터를 수신하여 상기 제어부로 전달함과 동시에, 상기 무선 통신의 접속, 등록, 통신, 핸드오프의 절차를 유지한다.
또한, 상기 무선망 통신모듈은 CDMA/WCDMA 규격에 따라 이동 통신망에 접속, 위치등록, 호처리, 통화연결, 데이터통신, 핸드오프를 적어도 하나 수행하는 이동 통신 구성을 포함한다. 한편, 당업자의 의도에 따라 상기 무선망 통신모듈은 IEEE 802.16 규격에 따라 휴대 인터넷에 접속, 위치등록, 데이터통신, 핸드오프를 적어도 하나 수행하는 휴대 인터넷 통신 구성을 더 포함할 수 있으며, 상기 무선망 통신모듈이 제공하는 무선 통신 구성에 의해 본 발명이 한정되지 아니함을 명백히 밝혀두는 바이다.
상기 근거리 무선 통신모듈은 일정거리 이내에서 무선 주파수 신호를 통신매체로 이용하여 통신세션을 연결하는 근거리 무선 통신모듈로 구성되며, 바람직하게는 ISO 180000 시리즈 규격의 RFID 통신, 블루투스 통신, 와이파이 통신, 공중 무선 통신 중 적어도 하나를 포함할 수 있다. 또한, 상기 근거리 무선 통신모듈은 상기 무선망 통신모듈과 통합될 수 있다.
이하에는 본 발명의 일 실시예에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 방법에 대하여 상세하게 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 방법을 설명하기 위한 전체적인 흐름도로서, 별다른 설명이 없는 한 영상 부호화 장치(100)가 주체가 되어 수행함을 밝혀둔다.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 방법은, 먼저, 영상 부호화 장치(100)를 통해 다수의 참조 프레임을 이용한 움직임 예측 및 보상을 수행하여 영상 데이터를 압축하고, 실시간 전송 프로토콜(RTP)을 통해 상기 압축된 영상 데이터를 RTP 패킷화하여 전송한다(S100).
이후에, 영상 부호화 장치(100)를 통해 영상 복호화 장치로부터 되돌아오는 실시간 전송 제어 프로토콜(RTCP)의 피드백 정보를 제공받아 이를 바탕으로 전송 채널의 상태를 모니터링한다(S200).
다음으로, 영상 부호화 장치(100)를 통해 상기 단계S200의 모니터링에서 감지된 해당 전송 채널의 에러 발생률(RPLR)과 기 설정된 에러 허용 임계치(PLRth)를 비교 판단하여, 그 판단 결과에 따라 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 또는 최대 참조 프레임 수의 값(RFmin 또는 RFmax)으로 설정하여 영상의 참조 영역을 제한하도록 제어한다(S300).
만약, 상기 단계S300에서 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 클 경우, 영상 부호화 장치(100)는 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 참조 프레임 수의 값(RFmin)으로 설정하여 영상의 참조 영역을 제한하도록 제어함이 바람직하다. 이때, 상기 기 설정된 최소 참조 프레임 수의 값(RFmin)은 부호화할 영상과 가장 인접한 하나의 참조 프레임 수로 결정할 수 있다.
추가적으로, 전송 채널의 에러 확산에 의한 영상의 품질 저하를 방지하기 위해 에러 리질리언스(error resilience) 기법을 함께 사용하여 영상을 부호화할 때, 상기 단계S300에서 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 클 경우, 영상 부호화 장치(100)는 인트라 리프레쉬 수(NIR)의 값을 기 설정된 최대 인트라 리프레쉬 수의 값(IRmax)으로 설정하여 에러가 보다 신속하게 복원될 수 있도록 제어할 수 있다.
한편, 상기 단계S300에서 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 작을 경우, 영상 부호화 장치(100)는 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최대 참조 프레임 수의 값(RFmax)으로 설정하여 영상 데이터가 효율적으로 부호화될 수 있도록 제어할 수 있다.
추가적으로, 전송 채널의 에러 확산에 의한 영상의 품질 저하를 방지하기 위해 에러 리질리언스(error resilience) 기법을 함께 사용하여 영상을 부호화할 때, 상기 단계S300에서 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 작을 경우, 인트라 리프레쉬 수(NIR)의 값을 기 설정된 최소 인트라 리프레쉬 수의 값(IRmin)으로 설정하여 인트라 리프레쉬의 사용으로 인한 부호화 효율의 감소를 최소화할 수 있도록 제어할 수 있다.
전술한 본 발명의 일 실시예에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 방법 중 영상이 압축되고 전송되는 과정에서, 영상 부호화 장치(100)는 영상 데이터를 수신하고 있는 클라이언트 즉, 영상 복호화 장치(200)로부터 되돌아온 실시간 전송 제어 프로토콜(RTCP)의 피드백 정보를 이용하여 전송 채널의 상태를 확인하고, 채널 에러 발생률을 저장한 다음 부호화하기 이전 단계에서 참조 프레임 수를 제어한다.
이때, 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 클 경우, 영상 복호화 장치(200)에 전송되는 영상 데이터에 에러가 포함될 확률이 높기 때문에 영상 부호화 장치(100)는 참조 프레임 수(NRF)의 값을 기 설정된 최소 참조 프레임 수의 값(RFmin)으로 설정하여 영상의 참조 영역을 제한함으로써 에러의 확산을 효과적으로 억제할 수 있다. 추가로, 인트라 리프레쉬가 사용되고 있는 경우, 인트라 리프레쉬 수(NIR)의 값은 기 설정된 최대 인트라 리프레쉬 수의 값(IRmax)으로 설정하여 에러가 보다 신속하게 복원될 수 있도록 한다.
반대로, 당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 작을 경우, 참조 프레임 수(NRF)의 값은 기 설정된 최대 참조 프레임 수의 값(RFmax), 인트라 리프레쉬 수(NIR)의 값은 기 설정된 최소 인트라 리프레쉬 수의 값(IRmin)으로 설정함으로써 영상을 효율적으로 압축하여 전송한다. 이때, 상기 기 설정된 최소 또는 최대 인트라 리프레쉬 수의 값(IRmin 또는 IRmax)(바람직하게, 2~4 또는 8~10)(더욱 바람직하게, 3 또는 9)은 고화질 영상 스트리밍 서비스 시스템의 운용에 따라 다양하게 변경하여 설정될 수 있다.
이와 같은 본 발명의 일 실시예에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 방법은 영상의 전송 상황에 따라 부호화 효율과 에러에 대한 내성을 모두 증가시킬 수 있다.
한편, 본 발명의 일 실시예에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
전술한 본 발명에 따른 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
100 : 영상 부호화 장치,
200 : 영상 복호화 장치

Claims (13)

  1. 다수의 참조 프레임을 이용한 움직임 예측 및 보상을 수행하여 영상 데이터를 압축하고, 실시간 전송 프로토콜(Real-time Transport Protocol, RTP)을 통해 상기 압축된 영상 데이터를 무선 네트워크 환경에서 RTP 패킷화하여 전송하는 영상 부호화 장치; 및
    상기 영상 부호화 장치로부터 무선 네트워크 환경에서 전송된 RTP 패킷을 제공받아 이를 바탕으로 움직임 보상을 통해 참조 프레임으로부터 영상 데이터를 참조하여 원래의 영상으로 복원하는 영상 복호화 장치가 포함되되,
    상기 영상 부호화 장치는, 상기 압축된 영상 데이터를 RTP 패킷화하여 전송함과 동시에 상기 영상 복호화 장치로부터 되돌아오는 실시간 전송 제어 프로토콜(Real-time Transport Control Protocol, RTCP)의 피드백 정보를 제공받아 이를 바탕으로 전송 채널의 상태를 모니터링하여 해당 전송 채널의 에러 발생률(RPLR)과 기 설정된 에러 허용 임계치(PLRth)를 비교 판단하고, 그 판단 결과에 따라 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 또는 최대 참조 프레임 수의 값(RFmin 또는 RFmax)으로 설정하여 영상의 참조 영역을 제한하도록 제어하고, 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 클 경우, 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 참조 프레임 수의 값(RFmin)으로 설정하여 영상의 참조 영역을 제한하도록 제어함과 아울러 전송 채널의 에러 확산에 의한 영상의 품질 저하를 방지하기 위해 에러 리질리언스(error resilience) 기법을 함께 사용하여 영상을 부호화할 경우, 인트라 리프레쉬 수의 값을 기 설정된 최대 인트라 리프레쉬 수의 값(IRmax)으로 설정하여 에러가 보다 신속하게 복원될 수 있도록 제어하며, 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 작을 경우, 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최대 참조 프레임 수의 값(RFmax)으로 설정하여 영상 데이터가 효율적으로 압축될 수 있도록 제어함과 아울러 전송 채널의 에러 확산에 의한 영상의 품질 저하를 방지하기 위해 에러 리질리언스(error resilience) 기법을 함께 사용하여 영상을 부호화할 경우, 인트라 리프레쉬 수의 값을 기 설정된 최소 인트라 리프레쉬 수의 값(IRmin)으로 설정하여 인트라 리프레쉬의 사용으로 인한 부호화 효율의 감소를 최소화할 수 있도록 제어하며,
    상기 기 설정된 최소 참조 프레임 수의 값(RFmin)은, 부호화할 영상과 가장 인접한 하나의 참조 프레임 수로 결정되는 것을 특징으로 하는 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 무선 네트워크 환경에서 다수의 참조 프레임을 이용한 움직임 예측 및 보상을 수행하여 영상 데이터를 부호화 및 복호화하는 영상 부호화 및 복호화 장치를 포함하는 시스템을 이용하여 참조 프레임을 제어하는 방법으로서,
    (a) 상기 영상 부호화 장치를 통해 다수의 참조 프레임을 이용한 움직임 예측 및 보상을 수행하여 영상 데이터를 압축하고, 실시간 전송 프로토콜(RTP)을 통해 상기 압축된 영상 데이터를 RTP 패킷화하여 전송하는 단계;
    (b) 상기 영상 부호화 장치를 통해 상기 영상 복호화 장치로부터 되돌아오는 실시간 전송 제어 프로토콜(RTCP)의 피드백 정보를 제공받아 이를 바탕으로 전송 채널의 상태를 모니터링하는 단계; 및
    (c) 상기 영상 부호화 장치를 통해 해당 전송 채널의 에러 발생률(RPLR)과 기 설정된 에러 허용 임계치(PLRth)를 비교 판단하여, 그 판단 결과에 따라 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 또는 최대 참조 프레임 수의 값(RFmin 또는 RFmax)으로 설정하여 영상의 참조 영역을 제한하도록 제어하는 단계를 포함하되,
    상기 단계(c)에서, 상기 영상 부호화 장치는, 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 클 경우, 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최소 참조 프레임 수의 값(RFmin)으로 설정하여 영상의 참조 영역을 제한하도록 제어함과 아울러 전송 채널의 에러 확산에 의한 영상의 품질 저하를 방지하기 위해 에러 리질리언스(error resilience) 기법을 함께 사용하여 영상을 부호화할 경우, 인트라 리프레쉬 수의 값을 기 설정된 최대 인트라 리프레쉬 수의 값(IRmax)으로 설정하여 에러가 보다 신속하게 복원될 수 있도록 제어하고, 상기 기 설정된 최소 참조 프레임 수의 값(RFmin)은, 부호화할 영상과 가장 인접한 하나의 참조 프레임 수로 결정하며,
    상기 단계(c)에서, 상기 영상 부호화 장치는, 해당 전송 채널의 에러 발생률(RPLR)이 기 설정된 에러 허용 임계치(PLRth)보다 작을 경우, 다음 움직임 예측 부호화하기 이전에 참조 프레임 수를 기 설정된 최대 참조 프레임 수의 값(RFmax)으로 설정하여 영상 데이터가 효율적으로 압축될 수 있도록 제어함과 아울러 전송 채널의 에러 확산에 의한 영상의 품질 저하를 방지하기 위해 에러 리질리언스(error resilience) 기법을 함께 사용하여 영상을 부호화할 경우, 인트라 리프레쉬 수의 값을 기 설정된 최소 인트라 리프레쉬 수의 값(IRmin)으로 설정하여 인트라 리프레쉬의 사용으로 인한 부호화 효율의 감소를 최소화할 수 있도록 제어하는 것을 특징으로 하는 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제7 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150111717A 2015-08-07 2015-08-07 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법 KR101691748B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150111717A KR101691748B1 (ko) 2015-08-07 2015-08-07 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150111717A KR101691748B1 (ko) 2015-08-07 2015-08-07 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101691748B1 true KR101691748B1 (ko) 2017-01-02

Family

ID=57810295

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150111717A KR101691748B1 (ko) 2015-08-07 2015-08-07 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101691748B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166776A (zh) * 2018-02-11 2019-08-23 腾讯科技（深圳）有限公司 视频编码方法、装置及存储介质
CN111066080A (zh) * 2017-09-05 2020-04-24 德克萨斯仪器股份有限公司 汽车显示验证

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050117177A (ko) * 2004-06-10 2005-12-14 엘지전자 주식회사 무선인터넷을 이용한 브이오디 서비스시 패킷 손실률을고려한 비디오 패킷 제작방법
JP2007288604A (ja) * 2006-04-18 2007-11-01 Toshiba Corp 映像伝送システム及び映像伝送方法
KR101407832B1 (ko) 2012-12-12 2014-06-18 조선대학교산학협력단 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050117177A (ko) * 2004-06-10 2005-12-14 엘지전자 주식회사 무선인터넷을 이용한 브이오디 서비스시 패킷 손실률을고려한 비디오 패킷 제작방법
JP2007288604A (ja) * 2006-04-18 2007-11-01 Toshiba Corp 映像伝送システム及び映像伝送方法
KR101407832B1 (ko) 2012-12-12 2014-06-18 조선대학교산학협력단 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
강희선, 변재영, ‘H.264/AVC에서 왜곡도와 인트라 리프레쉬를 이용한 참조 영상 선택 기법’, 한국정보기술학회, 한국정보기술학회논문지, 11(9), 2013.9., p189-195 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111066080A (zh) * 2017-09-05 2020-04-24 德克萨斯仪器股份有限公司 汽车显示验证
CN111066080B (zh) * 2017-09-05 2023-02-28 德克萨斯仪器股份有限公司 汽车显示验证
CN110166776A (zh) * 2018-02-11 2019-08-23 腾讯科技（深圳）有限公司 视频编码方法、装置及存储介质
CN110166776B (zh) * 2018-02-11 2023-08-04 腾讯科技（深圳）有限公司 视频编码方法、装置及存储介质

Similar Documents

Publication Publication Date Title
US9888054B2 (en) Seamless video pipeline transition between WiFi and cellular connections for real-time applications on mobile devices
US9350770B2 (en) Redundant transmission channels for real-time applications on mobile devices
US9014277B2 (en) Adaptation of encoding and transmission parameters in pictures that follow scene changes
EP3167616B1 (en) Adaptive bitrate streaming for wireless video
EP2452481B1 (en) System and method of transmitting content from a mobile device to a wireless display
US9438852B2 (en) Video share model-based video fixing
US10170127B2 (en) Method and apparatus for sending multimedia data
US8842159B2 (en) Encoding processing for conferencing systems
CN105359515A (zh) 视频电话中的视频暂停指示
KR101907724B1 (ko) 네트워크 상태에 따른 신호 프로세싱 모듈 선택 기법
KR101691748B1 (ko) 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법
JP2011029868A (ja) 端末装置、遠隔会議システム、端末装置の制御方法、端末装置の制御プログラム、及び端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体
CN107079132B (zh) 在视频电话中的端口重配置之后馈送经帧内译码的视频帧
US10085029B2 (en) Switching display devices in video telephony
US10945029B2 (en) Video frame rendering criteria for video telephony service
JPWO2003092295A1 (ja) 動画像伝送システム、動画像符号化装置、動画像復号化装置、及び動画像伝送プログラム
JP2017535171A (ja) 先行するデコード化をせずに、いくつかのコード化されたビデオストリームを切断するための装置および方法。
US10999772B2 (en) Switchover from a first communication interface to a second in order to improve the perceived quality of the communication
KR100548243B1 (ko) 휴대단말기의 영상신호 레이트 제어 전송 방법
KR20150049064A (ko) 통신 네트워크에서 송수신 지연을 감소시키기 위한 시스템, 이를 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
KR101156930B1 (ko) 영상 수신 장치를 이용한 휴대 단말 데이터의 외부 출력 시스템 및 방법
US20160344790A1 (en) Wireless communication device and wireless communication method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191112

Year of fee payment: 4