KR20070006006A

KR20070006006A - 워터마크와 에러은닉기법을 이용한 디지털멀티미디어방송의 수신성능 개선시스템

Info

Publication number: KR20070006006A
Application number: KR1020050060126A
Authority: KR
Inventors: 김규식
Original assignee: 김규식
Priority date: 2005-07-05
Filing date: 2005-07-05
Publication date: 2007-01-11

Abstract

본 발명은 전송에러를 복구하기 위한 에러은닉 기술을 적용하여 디지털 멀티미디어 방송시스템의 수신성능을 극대화시킬 수 있도록 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선 방법및 그 시스템에 관한 것이다.

이를 위한 본 발명은, 디지털 멀티미디어 방송환경에서 원본 데이터가 공급되는 H.264 엔코더로부터 워터마크 엠베더가 부가되어 압축데이터를 송출하고, 압축데이터가 H.264 디코더, 워터마크디코더및 에러은닉부순으로 공급되어 이 에러은닉부에서 상기 H.264 디코더로 돌아오도록 구비하여; 입력비디오에서 움직임 벡터를 구하기 위하여 영상을 블록단위로 분할하고, 이렇게 분할된 블록들에 대하여 움직임 벡터를 산출하며, 블록이 손실될 경우를 대비하여 산출된 움직임 벡터를 이웃하고 있는 블록에 워터마킹을 삽입하여 전송하며; 수신단에서의 손상된 비디오로부터 손실된 블록의 움직임 벡터를 주변블록에서 워터마킹을 이용하여 추출하고, 추출된 움직임 벡터를 이용하여 손상된 블록을 복원한 것을 특징으로 한다.

DMB, 디지털 멀티미디어 방송시스템, 워터마크, 에러은닉기법, 에러은닉 알고리즘, 움직임 벡터, 수신성능 개선시스템

Description

워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템 {SYSTEM FOR DIGITAL MULTIMEDIA BROADCAST PERFORMANCE IMPROVEMENT WITH WATERMARK AND ERROR CONCEALMENT}

도 1 은 위성 디지털 멀티미디어방송(DMB)과 지상파 디지털 멀티미디어방송의 전송방식을 나타낸 블록도,

도 2 및 도 3 은 본 발명의 실시예에 관한 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템을 설명하기 위한 에러 은닉알고리듬의 블록도,

도 4 는 워터마킹을 이용한 에러 은닉알고리듬을 사용하기 전후의 영상들,

도 5 는 H.264 코덱의 에러 은닉알고리듬에 사용된 영상들,

도 6 및 도 7 은 H.264 코덱의 에러 은닉알고리듬 결과를 나타낸 포맨(FORMAN)영상과 카폰(CARPHONE)영상,

도 8 및 도 9 는 본 발명의 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템을 설명하기 위한 워터마크 삽입및 워터마크 추출하는 흐름도,

도 10 은 본 발명의 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템을 적용한 디지털신호 프로세서(DSP)의 관련 블록도이다.

※ 도면의 주요 부분에 대한 부호의 설명 ※

10 : H.264 엔코더

20 : H.264 디코더

본 발명은 전송에러를 복구하기 위한 에러은닉 기술을 적용하여 디지털 멀티미디어 방송시스템의 수신성능을 극대화시킬 수 있도록 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템에 관한 것이다.

전세계적으로 단순한 오디오 서비스만을 제공하던 기존의 아날로그 라디오방송보다는 고품질 오디오및 비디오를 포함한 부가데이터 서비스가 가능한 디지털 멀티미디어 방송으로 전환이 급격히 이루어지고 있는 추세이다. 이러한 추세에 선도적으로 유럽 지상파 디지털 오디오방송 EUREKA-147 기반으로 듣는 방송에서 보고 듣는 멀티미디어 방송으로 세계적으로 시도되는 방송서비스가 도입됨에 따라, 이와 관련된 수신 성능향상을 위한 연구가 매우 시급히 요구되고 있는 실정이다.

상기 방송서비스는 수신환경에 따라 고정 수신서비스, 휴대 수신서비스및 이동 수신서비스 등으로 구분할 수 있다. 최근, 이동통신서비스에 대한 폭발적인 수요와 성장과 함께 향후 멀티미디어방송과 데이터방송에 대한 상기 이동 수신서비스가 크게 확산될 전망이다. 따라서, 지상파와 위성 디지털 오디오방송(DAB) 플랫폼 을 이용하여 오디오 데이터뿐만 아니라, 텔레비젼방송 등 동영상에 대한 이동 수신서비스, 즉 디지털 멀티미디어 방송(DMB)이 계획되고 있고, 이를 위한 표준방식과 기술기준에 대한 연구가 진행되고 있는 실정이다.

상기 멀티미디어 데이터중 많은 부분을 차지하는 비디오 데이터는 매우 높은 데이터률을 요구하기 때문에, 실제 사용 가능한 채널의 대역폭에서 신호를 전송할 수 있는 수준으로 데이터를 압축하는 것이 매우 중요하다. 이를 고려하여 디지털 멀티미디어 방송에서는 H.264 동영상 압축을 표준으로 정하고 있다. 이때 압축된 신호는 에러에 자유롭지 못한 전송채널로 보내지게 되며, 신호의 페이딩이나 약한 무선연결, 잡음등에 의하여 데이터의 손실이나 손상이 필연적으로 발생하게 된다는 문제점이 있었다.

한편, H.264는 이전 방식에 비해 현저히 큰 압축률을 제공하는 새로운 비디오 압축 표준으로 MPEG-4 AVC 라고도 불리고 있다. 상기 H.264 표준은 기존의 MPEG-4 ASP보다 두 배정도 더 많은 압축률과, 보다 개선된 인식 품질을 제공할 수 있다. 또한, H.264 표준은 1 Mbps 이하의 속도에서 DVD 수준의 고품질 비디오를 제공할 수 있고, 무선이나 위성 및 ADSL 인터넷 접속을 통해 동작을 완벽하게 재생하는 비디오를 제공할 수 있다.

상기 H.264의 강화된 압축과 인식 품질은, 시간적 중첩성을 최소화 해주는 동작 추정, 공간적 중첩성을 최소화 해주는 내부 추정, 동작 추정 및 내부 추정을 주파수 영역으로 변환하는 기술, 압축 구조의 단순화, 그리고 자주 출현하는 부호에 적은 수의 비트를 할당하고 가끔 출현하는 부호에는 더 많은 수의 비트를 할당 하는 엔트로피 부호화 기술 등을 통해 달성되도록 되어 있다.

디지털 텔레비젼 또는 다른 무선환경에서의 에러분석은 연구되어 왔으나, DMB 에 대한 채널에러분석은 없지만 모든 환경에서 에러가 미치는 영향을 분석하는 것이 필수적이다. 현재 에러은닉에 관련된 연구는, 단지 채널환경에 대한 자세한 분석이 없이 에러가 발생했을 경우에 비디오 디코더 단에서 에러가 발생한 부분을 주변의 에러가 발생하지 않는 부분으로 대체하는 것이다. 따라서, 에러가 많이 발생할 경우, 즉 주변의 데이터 또한 에러가 발생할 경우 좋은 성능이 나오지 않는다는 문제점이 있었다.

이에 본 발명은 상기와 같은 사정등을 감안하여 워터마킹을 이용한 에러은닉 알고리듬을 발명한 것으로, 디지털 멀티미디어 방송환경의 채널에러가 비디오 화질에 미치는 영향을 분석하고, 이러한 분석을 토대로 에러가 미치는 영향을 최소화할 수 있는 에러은닉 알고리듬을 구현하며, 또한 영상처리 알고리듬중 워터마킹을 도입함으로 종래의 에러은닉 알고리듬보다 훨씬 성능이 우수한 에러은닉기법을 구현할 수 있는 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템을 제공하고자 함에 그 목적이 있다.

또한, 본 발명의 다른 목적은, H.264 코덱에 결합되고 압축의 실시간성을 개선시키기 위하여 부호화및 복호화 처리화를 한 다음 디지털신호프로세서(DSP)로 실현하여 디지털 멀티미디어 방송시스템에 적용할 수 있는 디지털 멀티미디어방송의 수신성능 개선시스템을 제공할 수 있다.

상기 목적을 달성하기 위한 본 발명은, 디지털 멀티미디어 방송환경에서 원본 데이터가 공급되는 H.264 엔코더로부터 워터마크 엠베더가 부가되어 압축데이터를 송출하고, 압축데이터가 H.264 디코더, 워터마크 디코더및 에러은닉부 순으로 공급되어 이 에러은닉부에서 상기 H.264 디코더로 돌아오도록 구비하여; 입력비디오에서 움직임 벡터를 구하기 위하여 영상을 블록단위로 분할하고, 이렇게 분할된 블록들에 대하여 움직임 벡터를 산출하며, 블록이 손실될 경우를 대비하여 산출된 움직임 벡터를 이웃하고 있는 블록에 워터마킹을 삽입하여 전송하며; 수신단에서의 손상된 비디오로부터 손실된 블록의 움직임 벡터를 주변블록에서 워터마킹을 이용하여 추출하고, 추출된 움직임 벡터를 이용하여 손상된 블록을 복원한 것을 특징으로 한다.

본 발명의 구체적인 실시예는, 디지털 멀티미디어 방송환경에서 원본 데이터가 공급되는 H.264 엔코더로부터 워터마크 엠베더가 부가되어 압축데이터를 송출하도록 구비하여; 입력비디오에서 움직임 벡터를 구하기 위하여 영상을 블록단위로 분할하고, 이렇게 분할된 블록들에 대하여 움직임 벡터를 산출하며, 블록이 손실될 경우를 대비하여 산출된 움직임 벡터를 이웃하고 있는 블록에 워터마킹을 삽입하여 전송한 것을 특징으로 한다.

본 발명은, 디지털 멀티미디어 방송환경에서 압축데이터가 H.264 디코더, 워터마크디코더및 에러은닉부순으로 공급되어 이 에러은닉부에서 상기 H.264 디코더로 돌아오도록 구비하여; 수신단에서의 손상된 비디오로부터 손실된 블록의 움직임 벡터를 주변블록에서 워터마킹을 이용하여 추출하고, 추출된 움직임 벡터를 이용하여 손상된 블록을 복원한 것을 특징으로 한다.

이하, 본 발명의 바람직한 실시예를 예시도면에 의거하여 상세히 설명한다.

도 1 은 위성 디지털 멀티미디어방송(DMB)과 지상파 디지털 멀티미디어방송의 전송방식을 나타낸 블록도로서, 디지털멀티미디어방송은 음성·영상 등 다양한 멀티미디어 신호를 디지털 방식으로 변조, 고정 또는 휴대용· 차량용 수신기에 제공하는 방송서비스인 것이다. 그리고, 송신탑을 이용한 지상파 디지털 멀티미디어방송은 비디오 10 개와 오디오· 데이터 20 개이고, 인공위성을 이용한 위상 디지털 멀티미디어방송은 비디오 11 개와 오디오· 데이터 30 개로서 휴대폰, 차량및 전용단말기로 각각 전송하도록 구성되어 있다.

상기 위성 DMB는 위성을 이용하고, 위성 DMB용 방송센터에서 프로그램을 위성으로 송출하면 위성은 이를 전파를 통해 전국의 DMB 단말기에 뿌려주는 형식이다. 상기 지상파 DMB는 지상에서 주파수를 이용하여 프로그램을 전송하고, 위성 DMB와 달리 지상의 기지국을 통해 방송신호가 송출되게 한다.

따라서, DMB 서비스를 제공하기 위한 무선 통신망은 광대역 종합정보통신망의 기반 ATM(Asynchronous Transfer Mode) 기술을 무선영역으로 확장하는 것인 바, 이는 무선 구간에서 고품질의 음성, 화상및 동영상, 인터넷 접속등의 서비스를 제공하여 이동하는 사용자가 무선 ATM 망을 경유하여 B-ISDN(BROADBAND - INTEGRATED SERVICE DIGITAL NETWORKS)에 접속할 수 있다. 그러므로, 이동하는 사용자는 단 대 단의 서비스 품질을 보장받아 유선망 사용자와 동일한 서비스를 제공받게 된다. 또한, 무선 ATM망은 기존의 이동통신망, 개인 휴대통신망, 지역망 등과 연동하여 서비스들을 수용하고, 이 ATM 기술을 통한 유/무선 통합망 형태로 발전하고 있다.

무선환경에서는 유선환경과 다르게 채널의 특성이 시간및 공간의 달라진 주변 환경에 의하여 변화되고, 다수의 사용자들이 제한된 무선 자원을 공유하기 때문에 상호 간섭이 생긴다. 특히, 광대역 전송율을 요구하는 무선 ATM 망에서는 사용주파수 5.2 GHz - 60 GHz 까지 증가되어 채널의 특성및 대응 기술에 많은 변화가 생긴다. 이는 기지국과 단말기 사이에 신뢰성있는 링크를 제공하기 위한 모뎀기술, 부호화 기술, 오류 제어 방안 등이 필요하게 된다.

또한, 고정율, 가변율, 가용율, 미정율의 다양한 서비스를 통합적으로 수용한 대역관리 방안들을 대역의 효율성및 서비스 품질보장을 고려하여 사용자의 요구에 따라 대역을 할당한다. 이는 시분할 다중접속과 코드분할 다중접속의 특성에 따라 구현되고 있다. 따라서, 열악한 무선 환경으로 이동하는 가입자에게 광대역 멀티미디어 서비스를 지원하는 무선 ATM망의 쟁점에 부가되어 다중경로 손실을 갖고 있다.

도 4 에 도시된 바와 같이 워터마킹을 이용한 에러 은닉알고리듬으로, 도 4(a)는 전송 에러가 일어난 영상이고, 도 4(b)는 에러은닉 기법에 의해 에러를 복원하는 영상이다. 기존의 비동기식 전송방식에서 비디오 통신의 전송 에러를 처리하기 위한 기술은, 데이터 통신을 위한 기술로 전형적인 에러제어및 복원기법이 있다. 이 기술은 읽혀지거나 전송되고 있는 데이터에 에러가 발생했는 지의 여부를 검사하고 필요에 따라 전송중에 에러를 정정할 수 있는 에러 정정부호화(ECC : ERROR CORRECTION CODING)와 수신측이 송신측에게 손상된 데이터의 재전송을 요구하는 에러제어 프로토콜인 자동 재전송요구(ARQ : AUTOMATIC RETRANSMISSION REQUEST) 등이 있다.

따라서, 본 발명에서는 워터마킹을 이용한 에러 은닉기술로 입력된 원신호와 가장 비슷한 출력신호를 얻을 수 있는 기술을 채용하게 된다. 즉, 입력된 비디오 데이터와 똑같지 않더라도 객관적인 시각에서 가장 만족할 만한 비디오 출력데이터를 얻기 위해 이 기술이 사용된다(도 4(b) 참조).

한편, 보통 표준화가 완료되면 서비스가 상용될 경우에는 상기 에러 정정부호화의 형태 또한 고정되기 때문에, 수신 성능을 더 이상 개선할 수 없게 된다. 그렇지만 에러은닉의 경우에는 그러한 표준과는 별개로 수신단에서 멀티미디어 컨텐츠에 대한 후처리 과정을 수행함으로써 화질의 저하를 최소화시킬 수 있게 된다.

본 발명자는 기존의 비동기식 방법과 다른 디지털 멀티미디어 환경의 채널에러가 비디오 화질에 미치는 영향을 분석하고, 이러한 분석을 토대로 에러가 미치는 영향을 최소화할 수 있는 에러은닉 알고리듬을 개발하며, 또한 영상처리 알고리듬중 워터마킹을 도입함으로 기존의 알고리듬보다 훨씬 성능이 우수한 에러은닉기법을 개발하게 되었다.

도 2 및 도 3 은 본 발명의 실시예에 관한 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템을 설명하기 위한 에러 은닉알고리듬의 블록도이다.

DMB 서비스가 정착되기 위해서는 비디오 압축코덱인 H.264의 DMB 환경에 맞도록 최적화하는 작업이 필수적인 데, 특히 멀티미디어 컨텐츠의 실시간 압축을 위해서는 엔코더(10)의 최적화가 매우 필요하다. H.264 비디오 압축알고리듬의 경우에는 표준화 과정에 있고 기존 압축알고리듬인 MPEG의 경우를 토대로 움직이는 벡터를 정확하고 빠르게 구하는 방법들을 구현하고 있다.

본 발명에서는 하드웨어 구현을 고려하여 H.264 코덱을 최적화할 예정인 바, 예컨데 H.264 코덱의 특징으로 인트라(INTRA) 예측방법의 모드를 축소시키는 방법이 본 발명자에 의해 진행되고 있다. 즉, 모드 선택방법을 에지맵을 이용하는 방법으로, 주요한 에지의 방향성을 참고하여 예측모드 후보수를 줄임으로써 비트량이나 화질을 유지하면서 인트라 예측의 연산량을 크게 줄일 수 있다.

도 1 에 도시된 지상파 또는 위성 DMB 채널환경에서 발생할 수 있는 에러들을 분석하고, 이러한 에러들이 비디오화질에 미치는 영향을 알아본 다음 분석에 의한 에러 패턴들을 정성적 또는 정량적으로 분석한다. 따라서, 이러한 통계적인 데이터는 에러 은닉기술 개발에 중요한 정보로써 제공되고 있다. 본 발명에서는 에러 은닉성능을 최대한 높이기 위하여 유용한 정보를 컨텐츠에 삽입할 수 있는 워터마킹 기법을 이용하는 것이다.

도 2 는 워터마킹을 이용하여 에러은닉에 필요한 정보 삽입하는 것으로, 원본 데이터(RAW DATA)를 H.264 엔코더(10)에 공급되고 이 H.264 엔코더(10)로부터 워터마크 엠베더(WATERMARK EMBEDDER : 11)가 부가되어 압축데이터(COMPRESSED DATA)를 송출하게 된다. 도 3 은 워터마크를 추출하여 에너은닉에 적용하는 것으 로, 상기 압축데이터는 H.264 디코더(20), 워터마크디코더(21)및 에러은닉(CONCEALMENT)부(22)를 통해 다시 H.264 디코더(20)로 돌아오도록 되어 있다.

보통 에러은닉 알고리듬의 경우에는 손상된 움직임 벡터를 얼마나 정확히 복원하느냐가 알고리듬의 성능을 좌우하게 되는 바, 본 발명자는 이러한 움직임 벡터를 수신단에서 복잡한 알고리듬을 사용하여 복원하는 것이 아니라 송신단에서 워터마킹 기법을 이용하여 이웃하고 있는 블록의 움직임 벡터를 삽입하고 있는 것이다. 이때 사용되는 워터마킹 기법은 그리 중요하지 않고, 단지 움직임 벡터를 주변의 블록에 잘 삽입만 하면 좋은 성능을 얻을 수 있도록 발명한 것이다.

즉, 수신단에서 에러은닉방법을 사용하여 움직임 벡터를 복원할 경우, 정확한 움직임 벡터를 복원할 경우에만 화질의 손상을 줄일 수 있지만, 일반적인 경우 정확한 움직임 벡터보다는 약간의 오차가 있는 움직임 벡터를 산출하는 경우가 훨씬 더 많으며, 이럴 경우 오차에 해당하는 양 만큼 화질의 열화가 발생할 수 밖에 없다.

따라서, 본 발명에서의 알고리듬을 사용할 경우 워터마킹 알고리듬으로 삽입된 움직임 벡터를 추출만 하면 되기 때문에 항상 정확한 움직임 벡터를 복원할 수 있다. 즉, 에러은닉 방법을 사용할 경우에 비하여 100 % 정확한 움직임 벡터를 복원할 수 있어 최소의 화질 열화없이 복원할 수 있다.

본 발명에서는 DMB 채널환경에서 발생할 수 있는 에러패턴을 분석하고 이러한 에러패턴들에 강인한 에러은닉 알고리듬이고, 또한 에러은닉에 중요한 정보들을 워터마킹을 이용하여 컨텐츠안에 삽입함으로 에러은닉의 성능을 최대화하는 알고리 듬인 것이다.

DMB 채널의 에러분석을 토대로 강인한 에러은닉 알고리듬은, 압축데이터가 채널을 통하여 전송되는 동안에 비트 에러가 발생하게 되고 DMB 표준인 RS 코드를 이용하여 에러를 보정할 수 없을 때 워터마크를 이용하여 에러에 의한 비디오의 화질저하를 최소화할 수 있는 것이다. 특히, 에러은닉에 중요한 정보인 움직임 벡터 또는 블록의 DC 성분들을 워터마킹기법을 이용하여 주변블록에 삽입함으로 해당 블록에 에러가 발생할 경우, 이러한 정보들을 이용하여 기존의 에러 은닉방법보다 우수한 성능의 에러은닉 알고리듬을 제공할 수 있다.

따라서, 워터마크 삽입에 의한 멀티미디어 컨텐츠의 화질열화를 최소화할 수 있는 방법을 이용하여 에러은닉에 중요한 정보를 삽입할 수 있으며, 디지털 멀티미디어 방송환경에서의 에러분석을 토대로 DMB 수신성능을 개선시킬 수 있다.

DMB 비디오 압축표준인 H.264 알고리듬의 최적화는 기존 알고리듬을 디지털 멀티미디어 방송서비스에 더욱더 편하게 활용할 수 있도록, 비디오압축의 실시간성을 개선하기 위하여 부호화및 복호화의 처리속도를 개선시키기 위한 것이다. 이는 H.264 인트라코딩(INTRA-CODING)모드를 축소시키고, H.264 움직임 예측 알고리듬을 고속화시킨다.

도 5 는 H.264 코덱의 에러 은닉알고리듬에 사용된 영상들로서, 도 5(a)는 포맨(FORMAN) 실험 영상이고, 도 5(b)는 카폰(CARPHONE) 영상인 것이다.

시간에 따라 대역폭이 변하고 에러가 발생하기 쉬운 멀티미디어 채널에서 비디오 스트리밍이 전송되어질 때, 패킷 손실이 발생된다면 영상은 공간적인 그리고 시간적인 에러전파 현상을 일으키며, 영상 품질의 심각한 저하를 가져온다. 따라서, 이러한 에러에 대한 품질저하를 최소화하기 위해서는 서비스되는 환경에서의 필수적으로 에러패턴을 분석하고 있다. 데이터 손실이나 손상은 신호의 페이딩이나 약한 무선연결과 잡음등에 의해 발생한다. 이러한 전송채널에 의해 발생하는 에러는 랜덤비트 에러와 삭제부분(ERASURE) 에러로 구분된다.

상기 랜덤비트 에러는 에러의 영향을 받는 채널에서 불가피하게 발생하는 것으로, 고정길이 부호화를 사용할 때는 하나의 코드웨어에만 영향을 주지만 가변장 부호화를 사용하게 되면 부호화할 수 없는 코드워드를 생성하고, 코드화된 정보의 동기화를 잃은 원인이 된다. 상기 삭제부분 에러는 패킷 교환망에서의 패킷손실이나 물리적 결함에 의한 저장미디어에서의 버스트 에러 또는 짧은 시간동안의 시스템 결함에 의해 발생되며, 비트의 연속적인 세그먼트손실 또는 손상으로 인하여 랜덤비트 에러보다 훨씬 더 심한 데이터의 손상을 일으킨다. 도 4(a)에 도시된 전송에러는 이 두가지 모두 의미한다.

본 발명에서는 디지털 멀티미디어 방송서비스의 가능한 모든 채널환경에 대하여 발생할 수 있는 에러들의 패턴을 조사하고, 그것이 비디오화질에 미치는 영향을 분석한다. 이러한 분석들은 수신단에서 비디오 화질의 최소화할 수 있는 에러은닉방법에 매우 중요한 정보가 된다.

[표 1] 에러에 의한 시간적 열화정도에 따른 중요도(H.264 기준)

에러 발생데이터	중요도	에러에 의한 결과
픽쳐개시코드	1	픽쳐전체의 화질을 열화시켜 시각적으로 큰 거슬림을 유발한다. 에러의 시각적 전파가 매우 길다.
픽쳐시간 참조	1	움직임 열화 발생한다
사용자 데이터플래그	1	최소 1 개의 GOP 화질열화가 발생한다
픽쳐양자화 스텝크	2	1 개의 GOP 화질열화가 발생
인터픽쳐 시간참조치	2	인터픽쳐의 화질열화가 발생한다. 디스플레이 시간에 대한 동기문제가 발생한다.
매크로블록 스킵여부	2	매크로블록 데이터에 대한 화질열화가 발생한다
블록 코드패턴	3	해당 GOP내에서 데이터의 혼란을 가져올 수 있다.
인트라 DC 성분	3	데이터의 혼란을 초래하지는 않으나 시각적으로 문제가 발생할 수 있다.
AC 성분	3	시각적으로 중요성이 떨어지는 데이터이지만, 에러 발생이후 해당 GOP내 나머지 데이터열에 영향을 미칠 수 있다.

상기 표 1 은 사전실험에 의해서 기존의 방법과 동일하게 멀티미디어 채널환경과는 상관없이 단지 압축된 비트스트림 상에서 랜덤에러가 발생할 때, 해당 에러가 비디오화질에 미치는 영향을 정리한 것이다. 표 1 에서의 GOP는 GROUP OF PICTURE의 약자이다.

본 발명에서는 이러한 기존의 방법을 토대로 우선 디지털 멀티미디어 방송환경에서 많이 발생하는 에러패턴을 조사하고, 그것에 강인한 에러은닉방법을 제공할 수 있다.

디지털 멀티미디어 방송환경에서 발생하는 에러패턴을 토대로 그것에 강인한 에러은닉알고리듬을 제공하는 바, 기존의 방법들은 채널 에러를 고려하지 않는 상태에서 단지 비트스트림에서 에러가 발생할 경우 그것에 대한 에러를 은닉하는 알고리듬이 대부분인 것이다. 본 발명에서는 디지털 멀티미디어 환경에서의 채널 에러패턴을 분석한 에러은닉알고리듬을 제공할 수 있고, 에러은닉에 중요한 정보(움직임 벡터, DC 계수등)들을 워터마킹기법을 이용하여 멀티미디어 컨텐츠에 삽입함 으로 에러은닉의 성능을 최대화할 수 있는 알고리듬을 제공할 수 있다.

따라서, 본 발명은 디지털 비디오컨텐츠에 워터마크를 삽입할 때 압축의 실시간을 해결하기 위하여 기존의 많은 워터마킹에서 사용하는 공간 영역의 삽입이 아닌 도 2 및 도 3 에 도시된 바와 같이 압축하는 과정, 즉 비트스트림 상에서의 워터마킹을 사용하여 알고리듬을 제공하게 된다.

워터마크 관련시스템에서는 위터마크 삽입위치를 DCT(DISCRETE COSINE TRANSFORM) 계수로 하고 워터마크 데이터율이 수 bps - 수백 bps 이며, 워터마크 데이터는 주변 블록의 움직임 벡터및 DC 계수인 것이다. 상기 데이터는 DMB 채널분석에 의해 달라질 수 있다.

도 6 및 도 7 은 H.264 코덱의 에러 은닉알고리듬 결과를 나타낸 포맨(FORMAN)영상과 카폰(CARPHONE)영상이다. 도 6(a)와 도 7(a)는 손상된 영역들이고, 도 6(b)와 도 7(b)는 제로 움직임 벡터들이며, 도 6(c)와 도 7(c)는 본 발명의 바법들인 것이다.

본 발명을 위하여 워터마크를 이용한 에러 은닉방법의 선행으로써 전 프레임의 움직임 벡터를 워터마크를 사용하여 블록의 DC 성분에 삽입하고 있다. 본 발명에서 알고리듬의 성능을 비교하기 위하여 에러가 발생할 경우, 상기 제로 움직임 벡터를 이용하여 에러를 은닉한 결과를 토대로 비교하고 있다. 도 6 및 도 7 에서 확인된 바와 같이 워터마크를 이용하여 움직임 벡터를 추출한 다음 그 정보를 이용하여 에러를 은닉한 결과가 좋은 성능을 갖을 수 있다.

본 발명에서는 멀티미디어 컨텐츠 압축의 실시간성을 개선하기 위하여 DMB 비디오 코덱 표준인 H.264 소프트웨어를 최적화할 수 있다. 코덱표준은 도 2 에 도시된 엔코더에서 비디오 압축표준을 H.264로 하고 비트율이 64 Kbps - 1.5Mbps이며, 프레임율은 최대 30 fps 이고 해상도는 QCIF(176 × 144), CIF(352 × 288), SIF(320 × 240), 4CIF(704 × 576), 4SIF(640 × 480)이고, 프레임 유형은 프로그레시브(PROGRESSIVE)이고 입력프레임 형식은 YUV 4:2:0이다.

도 3 에 도시된 디코더에서 프레임유형은 프로그레시브이고 출력 프레임형식이 YUV 4:2:0 인 것이다. 따라서, 상기 엔코더에서 인트라코딩 모드를 축소하고 움직임 예측알고리듬을 고속화할 수 있으며, 상기 디코더에서 메모리관리를 할 수 있는 것이다. 상기 YUV 방식은 색의 밝기인 Y 성분과 색상인 U와 V 성분으로 구분한다.

도 5 에 도시된 바와 같이, 본 발명을 위하여 H.264 비디오 코덱의 인트라 예측의 계산량을 줄일 수 있는 바, H.264 비디오 압축은 모든 조합가능한 인트라 모드를 사용하여 최적의 모드로 선택된 인트라블록을 부호화한다. H.264 인트라 예측은 매크로블록에 대하여 592 가지의 서로 다른 경우에 대하여 최소 오차를 갖는 예측 블록을 찾는 연산을 수행할 수 있다.

이러한 연산 결과로써 부호화기의 복잡도가 매우 증가하게 되는 바, 본 발명에서는 지역에지 방향성을 참고하여 예측모드 후보수를 줄임으로 인트라예측의 연산량을 크게 줄일 수 있다. 따라서, 도 2 와 도 3, 그리고 표 1 에서 알 수 있듯이 비트량이나 화질은 거의 유지되고 있다.

[표 2] H.264 비디오 압축알고리듬 최적화에 사용된 실험결과들

포맨 영상	I 프레임 적용	전체 프레임
비트량 변화율	1.80 %	1.61 %
프레임당 부호화 시간변화율	-53.29 %	-19.79 %
SNR(dB)	-0.05837	-0.04822

카폰 영상	I 프레임 적용	전체 프레임
비트량 변화율	1.73 %	1.47 %
프레임당 부호화 시간변화율	-55.16 %	-22.58 %
SNR(dB)	-0.03010	-0.05094

표 2 의 결과로부터 I 프레임에 대한 비트량은 약1.8% 정도 증가하는 데 비해 연산 시간은 약 54 % 줄어들게 된다.

도 8 및 도 9 는 본 발명의 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템을 설명하기 위한 워터마크 삽입및 워터마크 추출하는 흐름도이다.

도 8 에 도시된 워터마크 삽입과정은 수신단에서 에러가 발생할 경우에 가장 쉽게 에러를 복원하는 방법은 손실된 블록의 움직임 벡터를 얼마나 잘 복원하느냐에 결정이 된다. 즉, 해당 블록과 동일한 움직임 벡터를 복원할 경우 완벽하게 에러에 의한 손실을 없앨 수 있다. 본 발명은 이렇게 중요한 움직임 벡터를 주변의 블록에 워터마크로 삽입하여 전송하는 것이다.

따라서, 도 2 에 도시된 원본 데이터가 공급되는 H.264 엔코더로부터 워터마크 엠베더가 부가되어 압축데이터를 송출하도록 구비하여; 입력비디오에서 움직임 벡터를 구하기 위하여 영상을 블록단위로 분할하고, 이렇게 분할된 블록들에 대하여 움직임 벡터를 산출하며, 블록이 손실될 경우를 대비하여 산출된 움직임 벡터를 이웃하고 있는 블록에 워터마킹을 삽입하여 전송할 수 있다.

도 9 에 도시된 워터마크 추출과정은, 수신단에서 에러가 발생하여 블록이 손실되었을 경우, 손실된 블록의 움직임 벡터를 주변 블록에서 워터마킹 방법을 이용하여 추출한다. 그리고, 이렇게 추출된 움직임 벡터를 이용하여 손실된 블록을 복원하는 것이다.

따라서, 도 3 에 도시된 압축데이터가 H.264 디코더, 워터마크디코더및 에러은닉부순으로 공급되어 이 에러은닉부에서 상기 H.264 디코더로 돌아오도록 구비하여; 수신단에서의 손상된 비디오로부터 손실된 블록의 움직임 벡터를 주변블록에서 워터마킹을 이용하여 추출하고, 추출된 움직임 벡터를 이용하여 손상된 블록을 복원할 수 있다.

도 10 은 본 발명의 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템을 적용한 디지털신호 프로세서(DSP)의 관련 블록도이다. H.264 코덱의 구현을 위해 TMS320C64x를 사용하고 있고, 도 10 은 TMS320C6416의 프로세스 코어의 구조인 것이다. 상기 TMS320C64x는 1 메가바이트의 캐시와 64비트 메모리 인터페이스, 그리고 8 개의 연산유닛을 가지고 있으며, 8 개의 명령어를 동시에 읽어 들이기 위해 256 비트의 명령어 캐시 인터페이스를 갖고 있다.

즉, 한 DSP 클록당 8 개의 명령어를 읽어 들여서 8 개의 연산 유닛에 동시에 적용함으로, 500MHz의 DSP를 이용하는 경우 최대 4000MIPS(MILION INSTRUCTIONS PER SECOND)를 구현할 수 있다. 비디오 메모리는 DSP의 코어에 비하여 매우 낮은 속도로 동작하기 때문에 한번에 처리하는 데이터의 크기가 클수록 소프트웨어의 처리속도가 빨라지게 된다.

예컨데, 16 비트 메모리 인터페이스를 이용하는 경우에는 64 비트를 읽기 위하여 4 번의 메모리 읽기를 한다. 결과적으로, 64 비트 인터페이스를 이용하는 경우에 비하여 실험적으로 약 3 - 4 배 정도로 처리속도가 느려지게 된다. 특히, H.264 의 경우에는 영상데이터의 변환, 모션의 검출, 그리고 모션의 보상에 결쳐 최소한 3 번이상 메모리를 액세스하기 때문에, 메모리의 인터페이스 크기는 소프트웨어 성능에 가장 큰 영향을 준다.

상기 TMS320C64x는 SDRAM을 비롯하여 SRAM, 그리고 ZBT-SRAM과 같은 다양한 형태의 메모리를 지원하도록 설계되어 있어, 필요에 따라 메모리의 속도를 선택할 수 있도록 하고 있다. 이와 더불어 TMS320C64x는 1 메가바이트의 캐시를 제공한다. 캐시메모리는 DSP코어가 느린 외부 메모리에 대한 액세스하는 것을 줄여주는 효과를 가지고 있기 때문에, 캐시메모리가 클 수록 소프트웨어의 성능은 좋아지게 된다.

이상 설명한 바와 같이 본 발명에 의하면, 다양한 디지털 멀티미디어 방송수신기를 개발중인 업체에게 신뢰성있는 수신 성능개선을 제공함으로 경쟁력있는 수신기 개발이 예상되고, 디지털 멀티미디어 방송환경에서의 에러분석을 통해 수신 성능을 향상시킬 수 있어 차세대 디지털 멀티미디어 방송수신기 분야에 대해 관련분야 국제기술을 선도하고 국내 기업의 경쟁력을 개선시킬 수 있는 장점이 있다.

본 발명에서 연구 개발한 기술은 지상파 HDTV 방송, 지상파 디지털 멀티미디어방송, 위성 DMB의 기술및 서비스 개발과 상용화에 적용할 수 있고, 이와 관련된 산업체에 DMB 채널환경에서의 에러패턴분석에 대한 결과와 워터마킹 기술을 이용한 에러은닉기술로 DMB 수신성능을 개선할 수 있다.

본 발명의 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템에 대한 기술사상을 예시도면에 의거하여 설명했지만, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명의 특허청구범위를 한정하는 것은 아니다. 본 발명은 이 기술 분야의 통상 지식을 가진 자라면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위내에서 다양한 변형및 모방이 가능함은 명백한 사실이다.

Claims

디지털 멀티미디어 방송환경에서 원본 데이터가 공급되는 H.264 엔코더로부터 워터마크 엠베더가 부가되어 압축데이터를 송출하고, 압축데이터가 H.264 디코더, 워터마크 디코더및 에러은닉부 순으로 공급되어 이 에러은닉부에서 상기 H.264 디코더로 돌아오도록 구비하여;

입력비디오에서 움직임 벡터를 구하기 위하여 영상을 블록단위로 분할하고, 이렇게 분할된 블록들에 대하여 움직임 벡터를 산출하며, 블록이 손실될 경우를 대비하여 산출된 움직임 벡터를 이웃하고 있는 블록에 워터마킹을 삽입하여 전송하며;

수신단에서의 손상된 비디오로부터 손실된 블록의 움직임 벡터를 주변블록에서 워터마킹을 이용하여 추출하고, 추출된 움직임 벡터를 이용하여 손상된 블록을 복원한 것을 특징으로 하는 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템.
디지털 멀티미디어 방송환경에서 원본 데이터가 공급되는 H.264 엔코더로부터 워터마크 엠베더가 부가되어 압축데이터를 송출하도록 구비하여;

입력비디오에서 움직임 벡터를 구하기 위하여 영상을 블록단위로 분할하고, 이렇게 분할된 블록들에 대하여 움직임 벡터를 산출하며, 블록이 손실될 경우를 대 비하여 산출된 움직임 벡터를 이웃하고 있는 블록에 워터마킹을 삽입하여 전송한 것을 특징으로 하는 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템.
제 2 항에 있어서,

상기 엔코더에서 비디오 압축표준을 H.264로 하고 비트율이 64 Kbps - 1.5Mbps이며, 프레임율은 최대 30 fps 이고 해상도는 QCIF(176 × 144), CIF(352 × 288), SIF(320 × 240), 4CIF(704 × 576), 4SIF(640 × 480)이고, 프레임 유형은 프로그레시브이고 입력프레임 형식은 YUV 4:2:0 인 것을 특징으로 하는 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템.
디지털 멀티미디어 방송환경에서 압축데이터가 H.264 디코더, 워터마크디코더및 에러은닉부 순으로 공급되어 이 에러은닉부에서 상기 H.264 디코더로 돌아오도록 구비하여;

수신단에서의 손상된 비디오로부터 손실된 블록의 움직임 벡터를 주변블록에서 워터마킹을 이용하여 추출하고, 추출된 움직임 벡터를 이용하여 손상된 블록을 복원한 것을 특징으로 하는 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템.
제 4 항에 있어서,

상기 디코더에서 프레임유형은 프로그레시브이고 출력 프레임형식이 YUV 4:2:0 인 것을 특징으로 하는 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템.
제 1 항, 제 2 항및 제 4 항중 어느 한 항에 있어서,

상기 H.264 코덱은 1 메가바이트의 캐시와 64비트 메모리 인터페이스, 그리고 8 개의 연산유닛을 가지고 있으며, 8 개의 명령어를 동시에 읽어 들이기 위해 256 비트의 명령어 캐시 인터페이스를 갖고 있는 것을 특징으로 하는 워터마크와 에러은닉기법을 이용한 디지털 멀티미디어방송의 수신성능 개선시스템.