KR102321895B1 - 디지털 비디오의 디코딩 장치 - Google Patents

Abstract

본 발명은 디지털 비디오의 디코딩 장치를 개시한다. 본 발명에 따른 디지털 비디오의 디코딩 장치는 비디오 영상의 비트 스트림을 화면의 전체 영역에 대해 전처리 디코딩하되, 상기 전처리 디코딩에서 재사용되지 않는 부호화 값을 갖는 필수 픽셀로 상기 전체 영역을 채운 제1 영상 데이터를 출력하는 제1 디코딩부, 상기 전체 영역 중 미리 정해진 관심영역을 상기 제1 영상 데이터에 설정하고, 설정된 관심영역의 영상 데이터를 출력하는 관심영역 설정부 및 상기 관심영역의 영상 데이터를 원본 복원 값으로 메인 디코딩하고, 상기 관심영역이 원본 상태로 복원된 제2 영상 데이터를 출력하는 제2 디코딩부를 포함한다.

Description

디지털 비디오의 디코딩 장치{Decoding apparatus of digital video}

본 발명은 디지털 비디오의 디코딩 장치에 관한 것으로, 더욱 상세하게는 전체 화면에 대한 전처리 디코딩을 하고, 전체 화면 중에서 관심 영역에 대한 원본 수준의 메인 디코딩을 하는 디지털 비디오의 디코딩 장치에 관한 것이다.

디지털 비디오의 영상을 압축, 해제하는 방식은 대표적으로 MPEG 표준 또는 변형 방식을 사용한다. 여기서, 변형 방식은 화면을 블록으로 나누고, 레퍼런스 블록과 현재 블록의 차이만을 저장하는 방식에 기반한 핵심적인 데이터 절약 방법에서 크게 다르지 않다.

시간적 모델을 활용하여 데이터를 압축하는 방식은 시간에 따라 변하는 영상 정보를 상호 참조하여 변화된 부분의 정보만을 남기고, 변화가 없는 부분의 영상은 기준 화면(즉, Intra Frame) 또는 이전 화면의 정보를 재사용하는 방식을 일컫는다. 동영상을 이루는 인접한 두 정지 영상은 서로 상당히 비슷하여 이와 같은 시간적 모델을 활용한 압축 방식이 큰 효과가 있다.

영상을 압축할 때, 각 영상 프레임은 인트라 프레임(I 프레임), 예측 프레임(P 프레임), 양방향 예측 프레임(B 프레임) 등의 방법을 통해 압축된다.

인트라 프레임(I 프레임)은 이전 또는 이후의 프레임의 데이터를 사용하지 않고, 독립적으로 압축/복원되는 프레임이다. 비디오 순서열에서 첫번째 프레임은 항상 인트라 프레임(I 프레임)이며, 인트라 프레임(I 프레임)은 새로운 뷰어를 위해 혹은 전송된 비트 스트림이 손상된 경우 재동기화 지점의 시작점을 특정하는 경우에 사용될 수 있다.

예측 프레임(P 프레임)은 이전에 이미 디코딩된 인트라 프레임(I 프레임) 또는 예측 프레임(P 프레임)으로부터의 순방향 예측에 의해 생성된다. 이에, 예측 프레임(P 프레임)은 이전에 이미 생성된 프레임이 없으면 생성하는 것이 불가하다. 예측 프레임(P 프레임)은 인트라 프레임(I 프레임)보다 적은 비트를 요구하지만, 이전의 예측 프레임(P 프레임)과 인트라 프레임(I 프레임)에 대한 복잡한 의존성으로 인하여 전송 오류에 민감한 단점이 있다.

양방향 예측 프레임(B 프레임)은 2개 이상의 프레임을 참조하여 구성되는 프레임이다. 양방향 예측 프레임(B 프레임)은 과거에 생성된 인트라 프레임(I 프레임) 또는 예측 프레임(P 프레임)을 참조하여 생성시키는 순방향 예측, 미리의 디코드될 인트라 프레임(I 프레임) 또는 예측 프레임(P 프레임)을 참조하여 생성시키는 역방향 예측 또는 순방향과 역방향 모드를 참조하는 쌍방향 예측 등 여러가지의 예측에 의해 생성된다.

위 언급된 프레임들과 관련된 압축 표준은 H.264(MPEG-4 Part 10 / 고급형 비디오 코딩용 AVC라고도 함)이며, 화질의 손상을 최소화하면서도 영상 파일의 크기를 줄이기 위한 목적으로 개발된 것이다.

H.264는 영상압축기술을 지원하는 승인된 개방형 표준이다. H.264 인코더는 Motion JPEG 포맷과 MPEG-4 파트 2 표준을 비교했을 때 화질의 손상 없이 각각 80%와 50% 이상으로 디지털 영상 파일 사이즈를 줄일 수 있다. 이는 영상 파일에 적은 네트워크 대역폭과 저장공간이 요구된다는 것을 의미한다.

H.264는 이미 휴대전화기와 디지털 영상 재생기 등 전자장치에 도입되어 있으며, 실제 수요자들로부터 높은 평가를 받고 있고, 온라인 영상저장이나 통신회사와 같은 서비스 제공업체들도 H.264를 채택하고 있다.

영상보안업계에서는 H.264가 초당 30(NTSC) 프레임 전송 구현으로 고속도로, 공황 및 카지노 감시와 같은 높은 프레임 속도와 고화질에 대한 요구가 있는 설치장소에서 큰 영향력을 보일 수 있다. 이는 대역폭 감소와 경제적인 저장 공간으로 인하여 비용 절감 효과를 제공해줄 수 있기 때문이다.

한편, H.264는 효율성 높은 압축 기술이 화질을 손상시키지 않고 큰 파일 사이즈와 비트 속도를 줄일 수 있기 때문에 메기 픽셀 카메라의 채택을 가속화시킬 수 있다.

H.264는 ITU-T가 사용하는 명칭인 반면, ISO/IEC는 이를 MPEG-4 파트 10/AVC로 명명했는데, 그 이유는 이것이 이 기관의 MPEG-4의 새로운 부분으로 제시되었기 때문이다. 예를 들어 MPEG-4는 MPEG-4 파트 2를 포함하고 있는데 이것은 IP 기반 비디오 인코더와 네트워크 카메라들이 사용하는 표준이다.

이전의 비디오 압축 표준들에서의 여러 가지 단점들을 해결하기 위해 설계된 H.264는 다양한 수준의 비트율이 요구되는 범위의 사례에 유연하게 적용할 수 있는 기술이다. 예를 들면, 방송, 위성, 케이블 및 DVD를 포함하는 비디오 시장에서 H.264는 높은 지연을 갖는 1~10Mbit/s의 성능을 발휘할 수 있는 반면, 통신 서비스에서는 H.264가 낮은 1Mbot/s 이하의 비트율을 전송할 수 있다.

이러한 H.264의 기본 파일에서는, 인트라 프레임(I 프레임)과 예측 프레임(P 프레임)만이 사용되며, 양방향 예측 프레임(B 프레임)을 사용하지 않기 때문에 지연율이 떨어진다는 이유로 네트워크 카메라와 비디오 코딩에 적합하다.

H.264에서 영상 압축 방식은, 일례로 설명하면 이전 영상 또는 기준영상 대비 변화된 부분의 움직임 정보만을 검출하여 해당 부분은 영상 정보가 아닌 좌표 정보만을 제공하는 방식으로 데이터를 절약할 수 있다.

또한, 압축을 해제할 때에도 위 언급된 좌표 정보만을 이용해서 압축 해제하는 것이 가능하다. 이와 같은 압축 또는 압축 해제 구조로 인해, 현 영상을 구성하기 위해서는 이전 영상 및 기준 화면에 대한 정보가 필요하다.

다양한 디지털 비디오 분야에서 CCTV 영상에 대한 비디오 코딩 방식을 일례로서 살펴보기로 한다. CCTV 영상은 비디오 해상도 부분에서 SD 급으로부터 UHD 급에 이르기까지 급속도로 요구 사향이 높아지고 있으며, 비디오 화각 부분에서는 파노라마 180도, 피쉬 아이 360도와 같은 수준으로 요구 사향이 높아지는 추세이다.

여기서, 광각 피쉬 아이 기반의 비디오 영상은 유효 데이터가 화면 가장자리에 집중되어 있으며, 기존의 SD 급 수준의 해상도를 얻기 위해서는 피쉬 아이 기반의 원본 비디오 영상의 해상도는 2 Mega Pixel 또는 3 Mega Pixel이 요구되며, 최근에 들어서는 5 Mega Pixel 또는 8 Mega Pixel로 그 요구 사향이 급증하고 있다.

이와 같이 수메가 픽셀에 이르는 비디오 영상을 디코딩하기 위해서는 상당한 수준의 제어 자원이 소모되며, 이러한 이유로 고급 사양의 PC 또는 서버 사양의 PC를 통해서도 전술한 피쉬 아이 기반의 비디오 재생을 원활하게 실행하지 못하는 실정이다.

예컨대, 입력된 비디오 영상이 3 Mega Pixel인 경우, 디코딩을 위한 제어 자원은 3백만 화소를 모두 처리할 수 있을 정도의 능력이 요구된다. 따라서, 3 Mega Pixel의 비디오 영상을 수신하는 디코딩 장치가 3백만 화소를 모두 처리할 수 있는 제어 자원을 갖추지 못한 상태에서는 비디오 재생이 불가하거나, 원활하게 처리하지 못하는 한계가 있다.

더군다나, 입력된 비디오 영상이 3 Mega Pixel에 이를 만큼 고급 사양의 비디오 영상이라고 하더라도, 디코딩을 거쳐 실제 사용자 화면에 출력되는 영상이 3 Mega Pixel 중 극히 일부분에 해당하는 경우라고 하더라도 전술한 바와 같이 디코딩 장치는 3백만 화소를 모두 처리할 수 있는 제어 자원을 갖춰야 하는 합리적이지 못한 부분이 있다.

대한민국 등록특허공보 제10-0701740(2007.03.23)

따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 과제는 전체 화면에 대한 전처리 디코딩을 하고, 전체 화면 중에서 관심 영역에 대한 원본 수준의 메인 디코딩을 함으로써 낮은 프로세싱 파워을 갖는 디지털 비디오의 디코딩 장치에서도 시간 지연 없이 원활한 비디오 영상을 제공하는 데 있다.

본 발명의 목적은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 달성하기 위한 본 발명의 관점에 따른 디지털 비디오의 디코딩 장치는 수신된 비디오 영상의 비트 스트림에 대한 전처리 디코딩을 하고, 상기 전처리 디코딩의 결과로서 영상 표출을 위한 필수 픽셀과 연산 처리되지 않은 미복원 픽셀로 화면 전체 영역을 나타내는 제1 디코딩부, 상기 화면 전체 영역 중 미리 정해진 관심 영역을 설정하는 관심영역 설정부 및 상기 관심 영역과 대응되는 영상 데이터를 원본 상태로 복원하는 제2 디코딩부를 포함한다.

상기 관심 영역에 인접한 외부 영역으로서, 미리 정해진 규격으로 여유 영역을 더 설정하는 여유 영역 설정부를 더 포함한다.

상기 여유 영역 설정부는 상기 비트 스트림 중에서 예측 프레임(즉, P 프레임)을 통해 해석되는 움직임 벡터의 크기 또는 상기 관심 영역의 이동에 따라 상기 여유 영역의 크기를 가변시킨다.

따라서, 본 발명에서는 전체 화면에 대한 전처리 디코딩을 하고, 전체 화면 중에서 관심 영역에 대한 원본 수준의 메인 디코딩을 함으로써, 입력된 비디오 영상이 고급 사양의 비디오 영상이라고 하더라도 고급 사양의 비디오 영상을 처리할 수 있는 제어 자원을 갖추지 못한 디코딩 장치에서 사용자 필요 부분의 영상을 디코딩 처리할 수 있는 이점이 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시 예에 따른 디코딩 장치를 나타내는 블록도이다.
도 2는 도 1의 제1 디코딩부를 일 실시 예로 나타내는 블록도이다.
도 3은 도 1의 제1 디코딩부로 입력되는 비트 스트림의 원본 영상을 일 실시 예로 나타내는 이미지이다.
도 4는 도 1의 제1 디코딩부에서 처리된 제1 영상 데이터를 일 실시 예로 나타내는 이미지이다.
도 5는 도 4의 제1 영상 데이터에 관심 영역을 설정한 상태를 일 실시 예로 나타내는 이미지이다.
도 6은 도 5에서 관심 영역의 영상 데이터를 일 실시 예로 나타내는 이미지이다.
도 7은 도 1의 제2 디코딩부를 일 실시 예로 나타내는 블록도이다.
도 8은 본 발명의 다른 실시 예에 따른 디코딩 장치를 나타내는 블록도이다.
그리고, 도 9는 도 8의 제2 디코딩부로부터 출력되는 일 실시 예의 이미지이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 또한 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다.

이하, 첨부도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 다음과 같이 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 디코딩 장치를 나타내는 블록도이다.

도 1을 참조하면, 디코딩 장치(100)는 원본 영상의 압축 상태인 비트 스트림을 수신하며, 수신된 비트 스트림에 대해 전체 화면에 대한 전처리 디코딩을 하고, 전체 화면 중에서 관심 영역에 대해서는 원본 수준의 메인 디코딩을 실행하는 구성을 갖춘다.

여기서 원본 수준이라고 함은 비디오 디코딩 과정에서 특별한 생략 없이, 기존의 비디오 코딩 표준(예: MPEP-4, H.264, H.265)에 따른 표준적인 방식으로 비디오 디코딩을 수행함을 의미한다.

디코딩 장치(100)는 제1 디코딩부(110), 관심영역 설정부(120) 및 제2 디코딩부(130)를 포함한다.

제1 디코딩부(110)는 수신된 비디오 영상의 비트 스트림에 대한 전처리 디코딩을 하고, 상기 전처리 디코딩의 결과로서 영상 표출을 위한 필수 픽셀과 연산 처리되지 않은 미복원 픽셀로 화면 전체 영역을 나타낸다.

제1 디코딩부(110)의 전처리 디코딩 과정에서, 역 변환 과정을 거쳐 전술한 필수 픽셀과 미복원 픽셀로 구분된 화면 전체 영역을 나타낼 수 있다.

여기서, 역 변환 과정에서 사용되는 DCT(Discrete Cosine Transform)는 변환 전에 화면에 불규칙하게 퍼져 있는 화소값이 직교 변환을 한 후에는 저주파와 고주파 영역으로 분리되는데 주파수 대역별 인간의 컬러 인지 능력에 의하여 고주파 영역의 데이터를 버리고 저주파 영역의 데이터를 취하여 코딩을 수행하게 됨으로써, 영상의 압축을 얻어내는 기법을 일컫는다.

즉, DCT 변환을 하면 수신된 비디오 영상의 비트 스트림을 공간 영역에서 주파수 영역으로 변하게 하고, 이와 같은 주파수 영역에서 살펴보면 주파수가 낮은 영역으로 데이터(신호)가 몰리는 현상이 발생한다.

주파수 영역에서, 인접한 픽셀 간에는 상호 유사한 색상인 경우가 많다. 예컨데, 8×8 블럭을 DCT하는 경우 64개의 픽셀들 중에 같은 색상이 낮은 주파수(DC)에 집중된다. 그리고, 색상의 변화가 있는 경우에는 높은 주파수(AC)에 위치한다.

제1 디코딩부(110)의 역 변환 과정에서, 주파수 영역을 공간 영역으로 변환하는 과정을 실행하며, 변환 전 주파수 영역에 대한 해석을 통해 DC 성분의 데이터(신호)와 AC 성분의 데이터(신호)를 구분할 수 있다.

이를 이용해서, AC 성분의 데이터(신호)가 존재하는 하는 경우는 영상 표출을 위한 필수 픽셀에 해당하는 것으로 결정하는 것이 가능하다.

또한, DC 성분의 데이터(신호)가 존재하는 경우는 색상 평균값에 해당하는 DC 성분으로서, 인접한 픽셀 간의 색상이 유사한 경우에 해당하는 것으로 결정할 수 있다. 즉, DC 성분의 데이터(신호)는 상세하게 표출하지 않아도 되는 연산 처리되지 않은 미복원 픽셀로 관리하는 것이 가능하다. 여기서, 미복원 픽셀은 계산 값이 없는 빈 픽셀로 관리하여 화면 전체 영역에 나타낼 수 있다.

예컨대, 비디오 영상의 비트 스트림 중 인트라 프레임(I 프레임)를 전처리 디코딩하는 경우, 디코딩 대상의 현재의 블록이 특정된 후 특정된 현재의 블럭과 인접한 좌측과 상단의 픽셀들에 의존해서 수직 방향, 수평 방향, 대각선 방향 등으로 상기 디코딩 대상의 현재의 블록에 대한 복사를 실행한다. 여기서, 디코딩 대상의 현재의 블록에 대한 복사는 H.264 규격에 따른 원본 수준의 복원이 아니고, 상기 전처리 디코딩에서 재사용되지 않는 부호화 값을 갖는 필수 픽셀은 복사하여 상기 디코딩 대상의 현재의 블록에 채우며, 상기 필수 픽셀이 아닌 부분은 계산되지 않은 빈 블록(예: 검은 픽셀 또는 흰색 픽셀)로 채워진 소정 크기(예: 16×16)의 블록)로 남겨둔다.

이러한 빈 블록은 실제 데이터 값을 갖지 않는 픽셀로서, 휘도 및 색차 값을 모두 0으로 두거나 최대값(픽셀이 0 내지 255 계조를 갖는 경우 255)으로 둔다는 것을 의미한다.

관심영역 설정부(120)는 제1 디코딩부(110)로부터 출력된 제1 영상 데이터에 대해 화면의 전체 영역 중 미리 정해진 관심 영역을 나타내는 설정을 하고, 설정된 관심 영역의 영상 데이터를 출력한다.

제2 디코딩부(130)는 관심 영역의 영상 데이터를 원본 복원 값으로 메인 디코딩하고, 관심 영역을 원본 상태의 수준으로 복원한 제2 영상 데이터를 출력한다.

도 2는 도 1의 제1 디코딩부(110)를 일 실시 예로 나타내는 블록도이다.

도 2를 참조하면, 제1 디코딩부(110)는 디지털 비디오의 디코딩을 하는 데에 요구되는 필수 단계들을 모두 실행한다. 예를 들어, H.264 표준에 따른 파싱, 엔트로피 디코딩 및 지그재그 스캐닝을 실행할 뿐만 아니라, 디코딩 대상의 프레임이 인트라 프레임(I 프레임)인 경우에 역 양자화, 역 변환, 움직임 보상 및 영상 구성을 실행하며, 디코딩 대상의 프레임이 예측 프레임(P 프레임)인 경우에도 역 양자화, 역 변환, 움직임 보상 및 영상 구성의 각 단계를 순차적으로 실행할 수 있다.

다만, 제1 디코딩부(110)는 H.264 표준에 따라 디코딩 대상의 프레임들을 원본 수준으로 복원하는 것이 아니고, H.264 표준에 따른 각 필수 단계들을 순차적으로 실행하되 디코딩 부하를 최소로 감소시켜서 화면의 전체 영역을 재사용되지 않는 부호화 값을 갖는 필수 픽셀만으로 채우고, 필수 픽셀 이외의 부분은 계산되지 않는 값들로 채우는 전처리 디코딩을 실행한다.

즉, 제1 디코딩부(110)는 파싱 모듈(111), 엔트로피 디코딩 모듈(112), 스캔 모듈(113), 역양자화 모듈(114), 역변환 모듈, 움직임 보상 모듈(116), 영상 구성 모듈(117)을 포함할 수 있다.

파싱 모듈(111)은 원본 영상의 비트 스트림을 입력받아 전처리 디코딩을 준비한다.

엔트로피 디코딩 모듈(112)은 입력된 비트 스트림에 대하여 무손실 복호화를 수행하고, 움직임 벡터와 텍스쳐 데이터를 구한다. 무손실 복호화에는 허프만 블록 디코딩(huffman block decoding), 산술 복호화(arithmetic decoding), 가변 길이 복호화(variable length decoding) 등이 있다. 일반적으로 특정 매크로블록에 대한 움직임 벡터는 주변 매크로블록의 움직임 벡터에 의존성을 지닌다. 즉, 주변 매크로블록의 움직임 벡터를 구하지 않고서는 특정 매크로블록의 움직임 벡터도 구할 수 없다. 엔트로피 디코딩 모듈(112)에서 구한 텍스쳐 데이터는 역 양자화 모듈(114)에 제공되고, 움직임 벡터는 움직임 보상 모듈(116)에 제공될 수 있다.

역 양자화 모듈(114)은 엔트로피 디코딩 모듈(112)로부터 제공되는 텍스쳐 데이터를 역 양자화(Inverse quantisation)한다. 이러한 역 양자화 과정은 양자화 과정에서 사용되었던 양자화 테이블을 이용하여 양자화 과정에서 생성된 인덱스로부터 그에 매칭되는 값을 복원하는 과정을 의미한다.

역 변환 모듈(115)은 역 양자화된 결과에 대하여 역 변환을 수행한다. 이러한 역 변환의 구체적 방법으로는 역 DCT(Inverse Discrete Cosine Transform) 변환, 역 웨이브렛 변환 등이 있다.

움직임 보상 모듈(116)은 엔트로피 디코딩 모듈(112)로부터 제공되는 현재 매크로 블록에 대한 움직임 벡터(Motion Vector)를 이용하여, 적어도 하나 이상의 참조 프레임(이전에 복원되어 픽처 버퍼에 저장되어 있음)을 움직임 보상(Motion Compensation)함으로써 예측 영상을 생성한다. 이러한 움직임 보상이 1/2 픽셀 또는 1/4 픽셀 단위로 이루어지는 경우에는 예측 영상을 생성하기 위한 보간 과정에서 많은 연산량이 소요된다. 또한, 두 개의 참조 프레임을 사용하여 움직임 보상하는 경우에는 각각 움직임 보상된 매크로블록들 평균을 계산하게 되는데, 이 때에는 매크로블록들 간에는 의존성이 존재하게 된다. 따라서, 이들 매크로블록들은 단일의 코어에서 처리되도록 할 필요가 있다.

영상 구성 모듈(117)은 전처리 디코딩 결과의 영상을 나타낸다.

도 3은 도 1의 제1 디코딩부(110)로 입력되는 비트 스트림의 원본 영상을 일 실시 예로 나타내는 이미지이고, 도 4는 도 1의 제1 디코딩부(110)에서 처리된 제1 영상 데이터를 일 실시 예로 나타내는 이미지이다.

도 3 및 도 4를 참조하면, 제1 디코딩부(110)는 도 3의 원본 영상을 인코딩한 상태의 비트 스트림을 수신한 후 도 4와 같이 전처리 디코딩 결과의 제1 영상 데이터를 출력한다.

도 5는 도 4의 제1 영상 데이터에 관심 영역을 설정한 상태를 일 실시 예로 나타내는 이미지이고, 도 6은 도 5에서 관심 영역의 영상 데이터를 일 실시 예로 나타내는 이미지이다.

도 5를 참조하면, 관심 영역 설정부(120)는 도 4와 같은 전처리 디코딩 결과의 제1 영상 데이터에 대해 미리 정해진 관심 영역을 도 5와 같이 설정하고, 설정된 관심 영역의 영상 데이터를 출력한다.

관심 영역 설정부(120)로부터 출력되는 관심 영역의 영상 데이터는 도 6에 도시된 바와 같이 관심 영역 내의 영상을 나타내는 필수 픽셀과 계산되지 않은 영역을 나타내는 빈 블록으로 남겨진다.

제1 디코딩부(110)의 역 변환 과정에서, 주파수 영역을 공간 영역으로 변환하는 과정을 실행하며, 변환 전 주파수 영역에 대한 해석을 통해 DC 성분의 데이터(신호)와 AC 성분의 데이터(신호)를 구분할 수 있다.

이를 이용해서, AC 성분의 데이터(신호)가 존재하는 하는 경우는 영상 표출을 위한 필수 픽셀에 해당하는 것으로 결정하는 것이 가능하다.

또한, DC 성분의 데이터(신호)가 존재하는 경우는 색상 평균값에 해당하는 DC 성분으로서, 인접한 픽셀 간의 색상이 유사한 경우에 해당하는 것으로 결정할 수 있다.

즉, 위 언급된 빈 블록은 제1 디코딩부(110)의 역 변환 과정에서 DC 성분의 데이터(신호)와 대응되는 부분으로서 정할 수 있다.

도 7은 도 1의 제2 디코딩부(130)를 일 실시 예로 나타내는 블록도이다.

도 7을 참조하면, 제2 디코딩부(130)는 관심 영역 설정부(120)로부터 출력된 관심 영역의 영상 데이터를 입력받고, 입력된 관심 영역의 영상 데이터를 인코딩 당시의 원본 복원 값으로 메인 디코딩을 한 후 그 결과로서 관심 영역을 원본 상태로 복원한 제2 영상 데이터를 출력한다.

도 8은 본 발명의 다른 실시 예에 따른 디코딩 장치(100)를 나타내는 블록도이다.

도 8을 참조하면, 디코딩 장치(100)는 원본 영상의 압축 상태인 비트 스트림을 수신하며, 수신된 비트 스트림에 대해 전체 화면에 대한 전처리 디코딩을 하고, 전체 화면 중에서 관심 영역뿐만 아니라 관심 영역을 미리 정해진 규격으로 더 확대한 여유 영역까지 원본 수준의 메인 디코딩을 실행하는 구성을 갖춘다.

디코딩 장치(100)는 제1 디코딩부(110), 관심영역 설정부(120), 여유 영역 설정부(120) 및 제2 디코딩부(130)를 포함한다.

제1 디코딩부(110)는 비디오 영상의 비트 스트림을 화면의 전체 영역에 대해 전처리 디코딩하되, 현 전처리 디코딩에서 재사용되지 않는 부호화 값을 갖는 필수 픽셀로 화면의 전체 영역을 나타내는 제1 영상 데이터를 출력한다.

관심영역 설정부(120)는 제1 디코딩부(110)로부터 출력된 제1 영상 데이터에 대해 화면의 전체 영역 중 미리 정해진 관심 영역을 나타내는 설정을 한다.

여유 영역 설정부(120)는 관심 영역 설정부(120)에서 설정한 관심 영역을 미리 정해진 규격으로 더 확장한 여유 영역을 추가 설정한다. 예를 들어, 여유 영역 설정부(120)는 관심 영역에서 10% 내지 20%를 더 확장한 영역을 여유 영역으로 설정하는 것이 가능하다.

또한, 여유 영역 설정부(120)는 움직임 벡터의 크기 또는 관심 영역의 이동을 고려해서 여유 영역을 가변하는 것도 가능하다. 예를 들어, 여유 영역 설정부(120)는 움직임 벡터의 크기가 크거나 관심 영역의 이동 폭이 큰 경우에는 여유 영역을 20%로 확장할 수 있고, 움직임 벡터의 크기가 작거나 관심 영역의 이동 폭이 작은 경우에는 여유 영역을 10%로 확장할 수 있다.

이와 같이, 여유 영역의 필요는 I 프레임보다는 P, B 프레임에서 보다 크다고 할 수 있다. 왜냐하면, I 프레임은 다른 프레임을 참조하지 않고 복원되는 프레임이이므로 관심 영역으로부터 최소한의 주변 픽셀(좌측 및 상측 픽셀)만으로도 복원이 가능하기 때문에 굳이 여유 영역이 필요 없을 수 있지만, P, B 프레임은 시간적으로 이전 또는 이후 프레임의 특정 위치를 참조하여야 하고, 그 참조된 위치가 빈 블록이면 영상의 복원 품질이 저하될 수 있기 때문이다. 따라서, P, B 프레임의 경우에는 모션 벡터가 검색되는 범위의 크기를 고려하여 여유 영역을 두는 것이, 현재 P, B 프레임의 관심 영역을 제대로 복원하기 위해 필요하다.

제2 디코딩부(130)는 관심 영역 및 여유 영역의 영상 데이터를 원본 복원 값으로 메인 디코딩하고, 관심 영역 및 여유 영역을 원본 상태의 수준으로 복원한 제2 영상 데이터를 출력한다.

도 9는 도 8의 제2 디코딩부(130)로부터 출력되는 일 실시 예의 이미지이다.

제2 디코딩부(130)는 관심 영역 설정부(120)로부터 설정된 관심 영역과 여유 영역 설정부(120)로부터 설정된 여유 영역의 영상 데이터를 입력받고, 입력된 관심 영역 및 여유 영역의 영상 데이터를 인코딩 당시의 원본 복원 값으로 메인 디코딩을 한 후 그 결과로서 관심 영역 및 여유 영역을 원본 상태로 복원한 제2 영상 데이터를 출력한다. 예를 들어, 제2 디코딩부(130)로부터 출력되는 제2 영상 데이터는 도 9에 도시된 이미지가 될 수 있다.

한편, 이상의 실시예들에서는 관심 영역 이외의 영역에는 빈 블록이 포함되어 있는 것으로 설명하였으나, 영상의 시인성 면에서 이러한 빈 블록을 남기는 것 보다는 픽셀 값을 채워서 자연스러운 이미지로 만들 필요가 있다. 빈 블록에 속한 픽셀 값을 복원하는 방법으로는, 스캔 방향을 고려하여 현재의 빈 블록의 좌측 또는 상측의 블록과 동일한 픽셀로 상기 빈 블록을 채워넣거나, H.264의 인트라 예측 모드에서와 마찬가지로, 좌측 또는 상측의 인접 픽셀들에 의해 상기 빈 블록을 채워 넣을 수도 있다. 만약, 참조되는 주변 블록이나 인접 픽셀이 역시 빈 블록에 해당하면 그 좌측 또는 상측의 블록이나 인접 픽셀을 참조하면 될 것이다.

이상과 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

또한, 본 발명은 전체 화면에 대한 전처리 디코딩을 하고, 전체 화면 중에서 관심 영역에 대한 원본 수준의 메인 디코딩을 하는 디지털 비디오의 디코딩 장치를 제공하기 위한 것임에 따라, 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

100: 디코딩 장치 110: 제1 디코딩부
120: 관심영역 설정부 130: 제2 디코딩부
111: 파싱 모듈 112: 엔트로피 디코딩 모듈
113: 스캔 모듈 114: 역 양자화 모듈
115: 역 변환 모듈 116: 움직임 보상 모듈
117: 영상 구성 모듈

Claims (3)

1. 수신된 비디오 영상의 비트 스트림에 대한 전처리 디코딩을 하고, 상기 전처리 디코딩의 결과로서 영상 표출을 위한 필수 픽셀과 연산 처리되지 않은 미복원 픽셀로 화면 전체 영역을 나타내는 제1 디코딩부;
   상기 화면 전체 영역 중 미리 정해진 관심 영역을 설정하는 관심영역 설정부;
   상기 관심 영역과 대응되는 영상 데이터를 원본 상태로 복원하는 제2 디코딩부; 및
   상기 관심 영역에 인접한 외부 영역으로서, 미리 정해진 규격으로 여유 영역을 더 설정하는 여유 영역 설정부를 포함하되,
   상기 여유 영역 설정부는 상기 비트 스트림으로부터 해석되는 움직임 벡터의 크기 또는 상기 관심 영역의 이동에 따라 상기 여유 영역의 크기를 가변시키는 디지털 비디오의 디코딩 장치.
2. 삭제
3. 제1 항에 있어서,
   상기 여유 영역은 시간적으로 다른 위치의 프레임을 참조하는 특정 프레임일 때 더 설정되는 디지털 비디오의 디코딩 장치.

Images