KR20090026467A

KR20090026467A - 멀티 프로세서를 이용한 프랙털 스케일러블 비디오 코딩시스템 및 그것의 영상 신호 처리 방법

Info

Publication number: KR20090026467A
Application number: KR1020070091457A
Authority: KR
Inventors: 김창선; 차진종; 윤병진; 김재곤; 최성훈; 조준동; 박제호; 김교석; 신청호
Original assignee: 한국전자통신연구원; 성균관대학교산학협력단
Priority date: 2007-09-10
Filing date: 2007-09-10
Publication date: 2009-03-13

Abstract

본 발명에 따른 영상 신호의 처리 방법은, 하나의 화면을 중요도에 따라 복수의 영역들로 분할하는 단계; 그리고 분할된 화면들 각각에 대응하는 영상 신호를 서로 다른 프레임율(Frame-rate)로 디코딩하는 단계를 포함한다.

상술한 영상 신호의 처리 방법에 따라 시야에서 민감한 화면 영역만을 인코딩한 최대 화질로 재생하고 덜 민감한 화면 영역은 상대적으로 낮은 화질로 재생하여 이득을 제공할 수 있다.

SVC, Frame-rate, H.261, H.262, H.263, H.264, Fractal.

Description

멀티 프로세서를 이용한 프랙털 스케일러블 비디오 코딩 시스템 및 그것의 영상 신호 처리 방법{FRACTAL SCALABLE VIDEO CODING SYSTEM USING MULTI-PORCESSOR AND PROCESSING METHOD THEREOF}

본 발명은 영상 신호의 처리에 관한 것으로, 좀 더 구체적으로 스케일러블 비디오 코딩(Scalable Video Coding) 시스템 및 그것의 영상 신호 처리 방법에 관한 것이다.

대부분의 영상 처리 시스템들은 표준화된 비디오 코덱으로 압축된 영상 데이터들을 이용한다. 일반적으로 사용되는 비디오 코덱으로는 국제전기통신연합(ITU: International Telecommunication Union)에서 권고하는 H.261, H.262, H.263 등과 동화상 전문가 그룹(Motion Picture Experts Group: 이하, MPEG라 칭함)에서 권고하는 앰팩-1(MPEG-1), 앰팩-2(MPEG-2), 앰팩-4(MPEG-4)의 코덱 표준이 있다. 그리고, 최근에는 더 높은 압축률을 구현할 수 있는 H.264 비디오 코덱이 보편화되어 있다.

방송통신융합 환경에서 지능형방송 컨텐츠를 제공할 때 다양한 네트워크 환경과 다양한 단말기에서 최적의 서비스를 제공할 수 있도록 하여야 한다. MPEG 위 원회에서는 급변하는 네트워크 환경에 따라 스케일러블 비디오 코딩(Scalable Video Coding : 이하 SVC) 방식을 새로운 비디오 압축 방식으로 채택하고 있다. SVC 방식에 따르면, 하나의 영상 컨텐츠를 다양한 공간적 해상도(Spatial resolution)와 화질(Quality), 다양한 프래임율(Frame-rate)을 갖는 하나의 비트 스트림으로 영상 콘텐츠를 인코딩한다. 그리고 각각의 단말에서 단말기의 특성 및 능력에 맞도록 전송된 비트 스트림을 받아 복원한다.

도 1은 일반적인 SVC 방식의 영상 압축 및 디코딩 방식을 보여주는 도면이다. 도 1을 참조하면, SVC 방식의 영상 압축을 위해서는 SVC 전용의 계층화된 인코더가 필요하다. 영상 소스(10)로부터 샘플링된 이미지 신호는 SVC 압축 기법에 따라 기본적으로 가장 좋은 화질과 높은 프레임 수를 가지는 영상이 여러 단위로 나누어서 인코딩된다. 그리고 어댑터(30)에 의해 인코딩된 데이터 중 단말 쪽 플랫폼에 필요한 데이터만 추출되어 전송된다. 어댑터(30)는 인코딩된 데이터 중 단말 쪽 플랫폼에 필요한 데이터만 뽑아서 전송해주는 역할을 한다. 예를 들어, 휴대 단말기(40)와 같은 플랫폼에 대해서는 초당 15프레임 정도의 프레임율, 중간 정도 해상도(Medium Resolution)의 데이터를 전송한다. 고화질 텔레비전(60, HDTV)과 같은 플랫폼에 대해서는 HD급의 영상을 제공하기 위해 초당 60프레임, 고해상도(High Resolution)의 영상 데이터를 전송한다. 각각의 단말에서는 자신에게 전송된 데이터만을 가지고 영상을 복원한다. 따라서, 각각의 단말에 포함되는 디코더는 앞서 어댑터(30)에 의해서 결정된 정도의 화질과 프레임율(Frame-rate)을 가지는 영상으로 디코딩한다. 각각의 플랫폼들에 대응하는 SVC 계층은 하나의 기본계층(Base Layer)과 기본계층 위에 연속적으로 쌓을 수 있는 하나 이상의 확장 계층(Enhancement Layer)으로 구성된다. 각 확장 계층은 하위 계층 정보를 기반으로 각각에게 주어진 최대의 비트율(Bit rate), 프레임율(Frame-rate) 및 해상도(Resolution)를 표현할 수 있다. SVC 방식에서는, 확장 계층을 연속적으로 많이 쌓을수록 다양한 비트율, 프레임율, 해상도의 지원이 가능하다. 이처럼, SVC 방식은 이종의(Heterogeneous) 네트워크 환경에서 발생하는 대역폭의 다양성 문제, 수신 단말기 성능과 해상도의 다양성 문제, 콘텐츠 소비자의 다양한 선호도 문제 등을 복합적으로 해결할 수 있는 부호화 기술이다.

SVC 방식은 플랫폼들 각각에 대응하는 해상도와 프레임율에 대응하는 영상 신호를 생성하여 전송해야 한다. 그리고 각각의 플랫폼들은 전송된 영상 신호를 디코딩하여 재생한다. 그러나, 이러한 SVC 방식의 코딩을 위해서, 송신측은 영상 신호를 각각의 플랫폼에 대응하는 수준으로 압축하는 SVC 인코더(20)를, 플랫폼들은 플랫폼들 각각에 적합한 디코더를 필수적으로 구비하여야 한다.

본 발명에서는 하나의 영상을 다중 프로세서를 통해서 서로 다른 프레임율로 처리하는 간단화된 방식의 비디오 코딩 방법 및 장치를 제공한다.

상기 목적을 달성하기 위한 영상 신호 코딩 방법은; 하나의 화면을 중요도에 따라 복수의 영역들로 분할하는 단계; 그리고 분할된 화면들 각각에 대응하는 영상 신호를 서로 다른 프레임율(Frame-rate)로 디코딩하는 단계를 포함한다.

이 실시예에 있어서, 상기 복수의 영역들은, 중심부에 대응하는 제 1 영역과 상기 제 1 영역의 주변부에 해당하는 제 2 영역 및 상기 제 2 영역을 둘러싼 상기 화면의 최외각에 대응하는 제 3 영역으로 계층적으로 분할된다.

이 실시예에 있어서, 상기 제 1 영역에 대응하는 영상 신호는 가장 높은 프레임율로 디코딩된다.

이 실시예에 있어서, 상기 제 2 영역은 상기 제 1 영역에 인접한 매크로 블록들을 포함한다.

이 실시예에 있어서, 상기 제 2 영역은 상기 제 1 영역의 상측 및 하측에 분포하며, 각각이 제 1 영역보다 좁은 면적을 갖는 복수의 제 2-1 영역들과; 상기 제 1 영역의 좌측 및 우측에 분포하며, 각각이 상기 제 1 영역보다 좁은 면적을 갖는 복수의 제 3-1 영역들과; 그리고 상기 제 1 영역의 모서리에 분포하며, 각각이 상기 제 1 영역보다 좁은 면적을 갖는 복수의 제 4-1 영역들을 포함한다.

이 실시예에 있어서, 상기 제 3 영역은, 상기 복수의 제 2-1 영역들 각각에 인접하고, 상기 복수의 제 2-1 영역들 각각 절반 면적을 가지는 복수의 제 2-2 영역들과; 상기 복수의 제 3-1 영역들 각각에 인접하고, 상기 복수의 제 3-1 영역들 각각 절반 면적을 가지는 복수의 제 3-2 영역들; 상기 복수의 제 4-1 영역들에 인접하고 상기 제 4-1 영역과 동일 면적을 갖는 복수의 제 2-3 영역들, 복수의 제 3-3 영역들, 복수의 제 4-3 영역들; 그리고 각각이 상기 4-1 영역과 동일 면적을 가지며, 상기 복수의 제 2-2 영역들 또는 상기 복수의 제 3-2 영역들 사이에 위치하는 복수의 제 4-2 영역들을 포함한다.

이 실시예에 있어서, 상기 제 1 영역에 대응하는 영상 신호는 제 1 프로세서에 의해서; 상기 복수의 제 2-1 영역들, 상기 복수의 제 2-2 영역들 그리고 상기 복수의 제 2-3 영역들 각각에 대응하는 영상 신호는 제 2 프로세서에 의해서; 상기 복수의 제 3-1 영역들, 상기 복수의 제 3-2 영역들 그리고 상기 복수의 제 3-3 영역들 각각에 대응하는 영상 신호는 제 3 프로세서에 의해서; 그리고 상기 복수의 제 4-1 영역들, 상기 복수의 제 4-2 영역들 그리고 상기 복수의 제 4-3 영역들 각각에 대응하는 영상 신호는 제 4 프로세서에 의해서 디코딩된다.

이 실시예에 있어서, 상기 제 2 내지 제 4 프로세서 각각은 상기 각각의 영역들에 대응하는 영상 신호를 디코딩하되, 상기 제 1 영역과의 상대적 거리가 가까운 영역에 대응하는 영상 신호를 더 큰 프레임율로 디코딩한다.

이 실시예에 있어서, 상기 복수의 영역들은, 상기 화면의 중심부에 위치하는 중심 영역과, 상기 중심 영역으로부터 시작하여 일정 비율로 면적이 감소하는 프랙 털 도형들로 이루어지는 주변 영역을 포함한다.

이 실시예에 있어서, 상기 중심 영역에 대응하는 영상 신호를 상기 주변 영역에 대응하는 영상 신호보다 높은 프레임율로 디코딩한다.

이 실시예에 있어서, 상기 하나의 화면에 대응하는 영상 신호를 단일 프래임율, 단일 해상도 또는 단일 화질로 샘플링 및 압축하는 인코딩 단계를 더 포함한다.

이 실시예에 있어서, 상기 디코딩하는 단계에서, 상기 분할된 화면들 각각은 서로 다른 해상도 또는 서로 다른 화질로 디코딩된다.

상기 목적을 달성하기 위한 본 발명의 스케일러블 비디오 코딩 시스템은, 단일 해상도 및 단일 프래임율을 갖는 하나의 화면에 대응하는 영상 신호를 제공받아 중요도에 따라 복수의 영역들로 분할하여 처리하는 프랙털 디코더; 상기 프랙털 디코더로부터 제공되는 상기 디코딩된 영상 신호를 재생하는 디스플레이부를 포함한다.

이 실시예에 있어서, 상기 프랙털 디코더는 상기 하나의 화면에 대응하는 영상 데이터를 중요도에 따라 분할하고 분할된 각각의 영역들을 복수의 프레임율로 병렬 처리하는 복수의 프로세서들을 포함한다.

이 실시예에 있어서, 상기 복수의 영역들 중 상기 하나의 화면에서 중심부에 대응하는 화면이 가장 높은 중요도를 가지며, 가장 높은 프레임율로 디코딩된다.

이 실시예에 있어서, 상기 프랙털 디코더는 상기 분할된 복수의 영역들 각각에 대응하는 영상 신호를 병렬 처리하는 복수의 프로세서들을 포함한다.

이 실시예에 있어서, 상기 복수의 프로세서들 중 가장 낮은 중요도에 대응하는 영역들을 처리하는 프로세서는, 상기 프랙털 디코더의 프레임 동기를 포함하는 제어 동작을 수행한다.

이 실시예에 있어서, 이미지 소스로부터 단일 해상도, 단일 화질 또는 단일 프래임율을 갖는 하나의 화면에 대응하는 상기 영상 신호를 생성하는 인코더를 더 포함한다.

이 실시예에 있어서, 상기 프랙털 디코더는 상기 분할된 화면들 각각은 서로 다른 해상도 또는 서로 다른 화질로 디코딩한다.

화면을 중요도에 따라 분할하고 멀티-프로세서를 이용하여 서로 다른 프레임율로 디코딩하여 간략화된 인코딩 및 고속의 디코딩이 가능하다.

앞의 일반적인 설명 및 다음의 상세한 설명 모두 예시적이라는 것이 이해되어야 하며, 청구된 발명의 부가적인 설명이 제공되는 것으로 여겨져야 한다. 참조 부호들이 본 발명의 바람직한 실시 예들에 상세히 표시되어 있으며, 그것의 예들이 참조 도면들에 표시되어 있다. 가능한 어떤 경우에도, 동일한 참조 번호들이 동일한 또는 유사한 부분을 참조하기 위해서 설명 및 도면들에 사용된다. 더불어, 본 발명의 특징을 설명하기 위하여 초당 처리되는 프레임 수 또는 프레임율(Frame-rate)을 다변화하는 예로 설명하였으나, 이는 예시적일 뿐 본 발명은 이에 국한되지 않는다. 본 발명에서 화면 영상의 기하적인 분할 방법으로 프랙털 방식을 기술 하게 될 것이다. 프랙털 기하학(Fractal geometry)은 하버드의 객원교수로 있던 만델브로트(Benoit Mandelbrot, 1924)에 의해 제안되었다. 프랙털은 자연계의 구조적 불규칙성을 기술하고 분석할 수 있는 새로운 기하학으로, 동력학에서 다양하게 나타나는 카오스 형상을 정량적으로 기술할 수 있는 새로운 언어를 제공하고 있다. 인위적이 아닌 자연 상태의 형상들은 유클리드 기하학적 형상을 갖지 않는다. 자연의 형상을 더욱 정확히 묘사하기 위해서는 프랙털의 속성인 자기 유사성(Self-similarity)과 순환성(Recursiveness)의 특징을 가진 프랙털 기하학이 강력한 도구를 제공한다. 본 발명에서는 화면의 분할을 상술한 프랙털 기하 방식으로 분할하게 될 것이다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 본 발명의 실시예를 첨부된 도면을 참조하여 설명한다.

도 2는 본 발명의 비디오 코딩 방식을 간략히 보여주는 블록도이다. 도 2를 참조하면, 비디오 소스(110)는 일반적인 인코더(120)에 의해서 샘플링 및 압축되고 전송된다. 전송된 신호는 단말(Terminal) 측에 구비되는 멀티-프로세서들(141~144)을 갖는 디코더(140)에 의해서 디코딩된다. 각각의 멀티-프로세서들(141~144)은 디코딩할 화면의 서로 다른 영역에 대응하는 영상 신호를 할당받아 처리한다. 프랙털 디코더(140)에서 디코딩하는 영상 신호는 프랙털 방식으로 분할된다. 분할된 각 화면의 영역들 각각에 대응하는 영상 신호는 각각의 프로세서들에게 할당되어 디코딩 처리된다. 분할된 화면의 영역들 중 중요한 부분은 높은 프레임율(Frame-rate)로 디코딩하고, 나머지는 낮은 프레임율(Frame-rate)로 디코딩하여 이득을 제공할 수 있다. 좀더 자세히 설명하면 다음과 같다.

비디오 소스(110)로부터 샘플링된 영상은 본 발명의 인코더(120)에 의해서 처리된다. 인코더(120)는 영상 소스(110)로부터 제공되는 아날로그 영상 신호를 네트워크나 기타 채널을 통해서 전송할 수 있도록 부호화(Encoding)한다. 일반적으로, SVC 방식에서는 영상 신호를 각각의 플랫폼에 맞추어서 부호화(Encoding)해야 한다. 그러나, 본 발명의 인코더(120)는 각 플랫폼에 상관없이 단일한 방식으로 부호화한다. 즉, 플랫폼의 종류에 관계없이 단일 프레임율 또는 단일 해상도를 갖는 영상 신호로 인코딩된다. 단일한 방식으로 부호화된 영상 신호는 플랫폼에 상관없이 모든 플랫폼에 획일적으로 전송된다.

채널(130)은 영상 신호를 전송하는 제반 수단들이 포함된다. 플랫폼이 모바일 시스템인 경우, 영상 신호의 무선 전송을 위한 송수신 장치들이 포함될 것이다. 광섬유나 동축 케이블에 의한 경우에는 각각의 채널에 대응하는 모뎀들이 포함될 것이다. 또는, 광저장 매체와 같은 기억 장치의 경우에는 저장된 영상 신호에 대한 액세스 및 재생 수단들에 포함되는 제반 아날로그 프런트 앤드(AFE)들이 포함될 수 있음은 이 분야에서 통상의 지식을 습득한 자들에게는 자명하다.

프랙털 디코더(140)는 전송된 영상 신호를 디코딩하여 재생을 위해 디스플레이(150)로 전송한다. 본 발명의 프랙털 디코더(140)는 디스플레이(150) 상의 영상을 특정 단위로 분할하여 디코딩한다. 영상을 분할하는 규칙은 사람들의 눈의 특징에 따라 정의된다. 사람들의 눈은 하나의 초점을 가진다. 따라서, 영상을 응시할 때, 사람들의 시야는 초점이 위치하는 중심 부분에 대하여 상대적으로 민감하고 중심부분으로부터 멀어질수록 덜 민감하다. 따라서, 덜 민감한 가장자리 부분에 대응하는 영역들에 대한 디코딩은 상대적으로 낮은 프레임율로, 민감한 부분에 대응하는 영역들에 대한 디코딩은 상대적으로 높은 프레임율로 디코딩한다. 제 1 프로세서(141)는 가장 높은 프레임율(예를 들면, 30 Frame/s)로 시각적으로 가장 중요하고 민감한 화면 영역을 디코딩한다. 제 2 프로세서(142) 및 제 3 프로세서(143)는 제 1 프로세서(141)가 처리하는 화면 영역에 인접한 상대적으로 덜 민감한 화면 영역을 디코딩한다. 제 4 프로세서(144)는 제 2 프로세서(142) 및 제 3 프로세서(143)가 처리하지 않는 가장 중요도가 낮은 화면 영역을 처리한다. 예를 들면, 제 4 프로세서(144)는 화면의 모서리 부분에 대응하는 화면 영역들을 가장 낮은 프레임율로 처리한다. 제 4 프로세서(144)는 각각의 프랙털 디코더(140)에 포함되는 각각의 프로세서들을 제어하는 역할을 담당한다. 이것은 가장 낮은 중요도의 화면 영역들을 처리하므로 가장 큰 여유를 갖게 되기 때문에 가능하다. 각각의 프로세서들은 상술한 디코딩 동작을 병렬적으로 동시에 수행한다.

디스플레이부(150)는 프랙털 디코더(140)로부터 제공되는 디코딩된 영상 신호를 재생한다. 디스플레이(150)는 영상 신호를 재생하는 플랫폼에 따라 선택될 수 있다. 여기서, 프랙털 디코더(140)와 디스플레이(150)는 하나의 단말 유닛(Terminal Unit)을 구성할 수 있다. 그리고 하나의 단말 유닛의 화질은 구비되는 프랙털 디코더(140)의 멀티-프로세서들(141~144)의 성능에 의존함은 자명하다. 다수의 고성능을 갖는 프로세서들을 구비하는 프랙털 디코더(140)는 보다 부드럽고 선명한 화질의 영상을 재생할 수 있다.

이상의 본 발명에 따른 SVC 시스템에 따르면, 단일한 방식으로 생성하는 영상 신호를 멀티 프로세서를 이용하여 중요도에 따라 화면의 영역들을 다른 프레임율로 재생할 수 있다. 따라서, 민감한 부분의 영상은 선명하고 고속으로 처리하는 반면, 둔감한 부분은 저프레임율을 갖도록 처리된다. 이러한 SVC 코딩 방식에 따라 시스템의 이득을 제공할 수 있다.

도 3은 상술한 프랙털 디코더(140)에서 수행되는 화면의 분할 방법을 간략히 보여주는 도면이다. 도 3을 참조하면, 프랙털 디코더(140)에 포함되는 프로세서들은 프랙털 방식으로 분할된 화면의 각 부분들을 할당받는다. 각 프로세서들은 할당된 영역에 대응하는 영상 신호들만을 디코딩하여 디스플레이(150)로 제공한다. 하나의 화면은 중요도 또는 우선 순위(Priority)에 따라 크게 3개 단위로 분할 가능하다. 하나의 화면은 시야(Sight)에서 가장 민감한 중심 부분에 대응하는 제 1 영역(1-0; 210)과, 제 1 영역(1-0)을 둘러싸고 있는 인접한 제 2 영역(2-1, 3-1, 4-1; 220), 그리고 화면의 최외곽에 분포하는 제 3 영역(2-2, 3-2, 4-2, 2-3, 3-3, 4-3; 230)으로 중요도에 따라 구분될 수 있다. 여기서, 화면의 식별 번호 (A-B)는 (A: 할당되는 프로세서), (B: 중요도)를 각각 나타낸다. 제 1 프로세서(141)는 제 1 영역(1-0)에 대응하는 영상 신호를 전담하여 디코딩한다. 그리고 제 2 영역(220) 및 제 3 영역(230)의 각각의 분할 단위들은 제 2 프로세서(142) 내지 제 4 프로세서(144)들이 프랙털 방식으로 분할하여 디코딩한다. 이하에서 각각의 프로세서들이 처리하는 화면 영역 단위로 디코딩 방식을 설명하기로 한다.

제 1 영역(1-0, 210)은 제 1 프로세서(141)에 의해서 디코딩되는 영역이다. 제 1 영역(1-0)에 대응하는 영상 신호는 인코더(120)로부터 제공되는 최대 프레임율(예를 들면, 30 Frame/s)로 제 1 프로세서(141)에 의해서 처리된다. 따라서, 제 1 영역(1-0)에 디스플레이되는 영상은 인코더(120)로부터 지원가능한 가장 선명한 화질로 제공될 수 있다. 제 1 프로세서(141)는 제 1 영역(1-0)에 대응하는 영상 신호를 고정적으로 처리하게 된다. 따라서, 제 1 프로세서(141)는 화면에서의 어드레스를 이동할 필요없이 고정적으로 처리가 가능하여 처리 속도를 높일 수 있다.

제 2 프로세서(142)에 의해서 처리되는 화면 영역들(2-1, 2-2, 2-3; 240, 250)은 제 1 영역(1-0)의 상측 및 하측에 분포하는 화면 영역들이다. 디코딩 순서는 화면 영역들(2-1)에 대응하는 영상 신호가 먼저 디코딩되고, 화면 영역들(2-2)이 그 다음에, 그리고 화면 영역들(2-3)에 대응하는 영상 신호는 마지막에 처리된다. 화면 영역들(2-1, 2-2, 2-3)은 제 1 영역(1-0)에 비하여 상대적으로 시각에 덜 민감한 화면 영역들이다. 화면 영역들(2-1, 2-2, 2-3)은 시각의 민감도에 따라서 구분된다. 화면 영역들(2-1)은 제 1 영역(1-0)에 인접한 화면 영역들로 제 1 영역(1-0)에 비하여 상대적으로 덜 민감하지만 화면 영역들(2-1, 2-2, 2-3) 중에서는 가장 민감한 부분으로 간주된다. 따라서, 화면 영역들(2-1)은 화면 영역들(2-1, 2-2, 2-3) 중에서는 가장 높은 프레임율(Frame-rate)로 처리된다. 화면 영역(2-2)에 대응하는 영상 신호는 화면 영역(2-1)의 처리가 완료되면 이어서 디코딩되며, 화면 영역(2-1)에 비하여 낮은 프레임율로 처리된다. 그리고 화면 영역(2-3)에 대응하는 영상 신호는 제 2 프로세서(142)에 의해서 최종적으로 디코딩되며, 화면 영역들(2- 1, 2-2, 2-3) 중에서는 가장 낮은 프레임율을 갖는다. 다시 말하면, 화면 영역(2-1)은 초당 27 프레임, 화면 영역(2-2)은 초당 24 프레임 그리고 화면 영역(2-3)은 초당 21 프레임을 처리하도록 설정된다. 화면 영역들(2-1, 2-2, 2-3)은 제 1 영역(1-0)과의 상대적 거리에 의해서 복수의 영역으로 다시 구분되었다. 이러한 구분의 방식은 프랙털 방식으로 구분한 것이다. 점선으로 둘러싸인 화면 영역들(240, 250)은 제 1 영역(1-0)과의 상대적 거리에 따라 분할되는 기하적인 모양을 도시한 것이다. 이러한 화면의 분할 방식은 제 3 프로세서(143) 및 제 4 프로세서(144)에서도 동일하게 적용된다.

제 3 프로세서(143)에 의해서 디코딩되는 화면 영역들(3-1, 3-2, 3-3)은 제 1 영역(1-0)의 좌측 및 우측에 분포한다. 제 3 프로세서(143)는 화면 영역들(3-1)을 먼저 디코딩하고, 화면 영역들(3-2)을 그 다음에, 그리고 화면 영역들(2-3)을 마지막에 처리한다. 화면 영역들(3-1, 3-2, 3-3)은 제 1 영역(1-0)에 비하여 상대적으로 시각에 덜 민감한 화면 영역들이다. 화면 영역들(3-1, 3-2, 3-3)도 제 2 영역들(2-1, 2-2, 2-3)과 마찬가지로 제 1 영역(1-0)과의 상대적 거리에 따라 서로 다른 프레임율로 디코딩된다. 화면 영역들(3-1)은 제 1 영역(1-0)에 인접한 화면 영역들로 제 1 영역(1-0)에 비하여 상대적으로 덜 민감하지만 제 3 영역들 중에서는 가장 민감한 부분으로 간주된다. 따라서, 화면 영역들(3-1)은 화면 영역들(3-1, 3-2, 3-3) 중에서는 가장 높은 프레임율로 처리된다. 화면 영역(3-2)은 화면 영역(3-1)의 처리가 완료되면 디코딩되며, 화면 영역(3-1)에 비하여 낮은 프레임율로 처리된다. 그리고 화면 영역(3-3)은 제 3 프로세서(143)에 의해서 최종적으로 디코 딩되며, 화면 영역들(3-1, 3-2, 3-3) 중 가장 낮은 프레임율을 갖는다.

제 4 프로세서(144)에 의해서 디코딩되는 화면 영역들(4-1, 4-2, 4-3)에 대응하는 영상 신호들은 화면 영역들(2-1, 2-2, 2-3) 및 화면 영역들(3-1, 3-2, 3-3)에 의해서 처리하지 못한 나머지 주변 영역들, 즉 최외곽 영역들에 대응한다. 특히, 제 4 프로세서(144)는 화면 영역들(4-1, 4-2, 4-3)에 대한 디코딩 처리와 프랙털 디코더(140)의 병렬 처리에 대한 제어 동작을 병행한다. 제 4 프로세서(144)는 각각의 프로세서들에 대한 프레임 동기를 제어한다. 화면 영역들(4-1)은 제 1 영역(1-0)의 모서리에 인접한 화면 영역들로 화면 영역들(4-1, 4-2, 4-3) 중에서는 가장 민감한 부분으로 간주된다. 따라서, 화면 영역들(4-1)은 화면 영역들(4-1, 4-2, 4-3) 중에서는 가장 높은 프레임율(27 Frame/s)로 처리된다. 화면 영역(4-2)은 화면 영역(4-1)의 처리가 완료되면 디코딩되며, 화면 영역(4-1)에 비하여 낮은 프레임율(24 Frame/s)로 처리된다. 그리고 화면 영역(3-3)은 제 4 프로세서(144)에 의해서 최종적으로 디코딩되며, 화면 영역들(4-1, 4-2, 4-3) 중 가장 낮은 프레임율(21 Frame/s)을 갖는다.

이상의 화면의 분할 방식에 따르면, 제 1 영역(1-0)을 가장 높은 프레임율로 처리하고 제 1 영역(1-0)으로부터 상대적으로 먼 거리에 분포하는 화면 영역들은 점점 낮은 프레임율로 처리하게 된다. 그리고 각각의 영역은 프랙털 방식으로 분할되면 분할된 영역들은 각각의 전용 프로세서들에 의해서 병렬로 처리된다. 따라서, 고속의 디코딩 동작이 가능하다.

도 4a, 4b, 4c, 4d들 각각은 제 1 프로세서 내지 제 4 프로세서(141~144)에 의해서 처리되는 화면 영역들 및 초당 처리되는 프레임 수(Frame-rate)를 시각적으로 보여주는 도면이다.

도 4a를 참조하면, 제 1 프로세서(141)는 시각적으로 가장 민감한 화면 영역인 제 1 영역(1-0)을 초당 30 프레임(30 Frame/s)의 속도로 처리한다. 제 1 프로세서(141)는 상술한 제 1 영역(1-0)에 대응하는 영상 신호만을 고정적으로 처리한다. 따라서, 제 1 프로세서(141)는 디코딩을 위해 어드레스의 이동없이 영상 신호를 처리하므로 처리 효율을 더 높일 수 있다.

도 4b를 참조하면, 제 2 프로세서(142)는 제 1 영역(1-0)의 상하 측에 분포하는 화면 영역들(2-1, 2-2, 2-3)에 대응하는 영상 신호를 디코딩한다. 제 2 프로세서(142)는 제 1 영역(1-0)과 인접한 화면 영역(2-1)에 대응하는 영상 신호를 제공받아 초당 27 프레임(27 Frame/s)의 속도로 처리한다. 그리고 화면 영역(2-1)의 처리가 완료되면, 제 2 프로세서(142)는 화면 영역들(2-2)에 대응하는 영상 신호를 초당 24 프레임(24 Frame/s)으로 디코딩한다. 그리고 마지막으로 화면 영역(2-3)에 대응하는 영상 신호를 초당 21 프레임(21 Frame/s)으로 디코딩한다.

도 4c를 참조하면, 제 3 프로세서(143)는 제 1 영역(1-0)의 좌우측에 분포하는 화면 영역들(3-1, 3-2, 3-3)에 대응하는 영상 신호를 디코딩한다. 제 3 프로세서(143)는 제 1 영역(1-0)과 좌우 측에 인접한 화면 영역(3-1)에 대응하는 영상 신호를 제공받아 초당 27 프레임(27 Frame/s)의 속도로 처리한다. 그리고 화면 영역(3-1)의 처리가 완료되면, 제 3 프로세서(143)는 화면 영역들(3-2)에 대응하는 영상 신호를 초당 24 프레임(24 Frame/s)으로 디코딩한다. 그리고 마지막으로 화면 영역(3-3)에 대응하는 영상 신호를 초당 21 프레임(21 Frame/s)으로 디코딩한다.

도 4d를 참조하면, 제 4 프로세서(144)는 제 1 영역(1-0)의 네 모서리에 위치하는 화면 영역들(4-1)과 화면 영역들(2-1, 2-2, 2-3) 및 화면 영역들(3-1, 3-2, 3-3)에 인접한 영역들(4-2, 4-3)에 대응하는 영상 신호를 디코딩한다. 제 4 프로세서(144)는 제 1 영역(1-0)의 모서리에 위치하는 화면 영역(4-1)에 대응하는 영상 신호를 제공받아 초당 27 프레임(27 Frame/s)의 속도로 처리한다. 그리고 화면 영역(4-1)의 처리가 완료되면, 제 4 프로세서(144)는 화면 영역들(4-2)에 대응하는 영상 신호를 초당 24 프레임(24 Frame/s)으로 디코딩한다. 그리고 마지막으로 화면 영역(4-3)에 대응하는 영상 신호를 초당 21 프레임(21 Frame/s)으로 디코딩한다. 제 4 프로세서(144)는 상대적으로 가장 낮은 민감도를 갖는 화면 영역들에 대응하는 영상 신호를 디코딩하므로 가장 낮은 처리 부담(Load)을 갖는다. 따라서, 제 4 프로세서(144)는 상술한 제 1 프로세서(141) 내지 제 3 프로세서(143)들을 제어하여 프레임 동기와 갖은 프랙털 디코더(140)에 대한 제반 제어 동작을 수행할 수 있다.

이상에서 설명된 도 4a 내지 도 4d에 따른 화면의 분할 및 프로세서들의 병렬적인 디코딩 처리에 의해서 고속의 디코딩이 가능하다. 이러한 화면의 분할이 가능한 이유는 하나의 화면을 구성하는 영상 신호는 매크로 블록(Macro block)이라는 처리의 기본 단위들로 구성되어 있기 때문이다. 일반적으로 매크로 블록(Macro block)은 16×16의 픽셀들로 이루어져 있으며, 영상 신호 처리의 기본단위가 된다. 각각의 분할되는 화면 영역들은 복수의 매크로 블록들로 이루어져 있으며, 각각의 프로세서들은 분할 영역들 각각에 포함되는 매크로 블록들을 디코딩하게 될 것이다.

도 5는 상술한 본 발명에 따른 영상 신호를 디코딩하는 방법을 간략히 보여주는 순서도이다. 도 5를 참조하면, 멀티-프로세서들 각각에 할당되는 이미지 영역들이 병렬로 디코딩되는 동작이 간략하게 설명된다. 좀더 자세히 설명하면, 다음과 같다.

SVC 방식으로 인코딩되지 않고 일반적인 방식으로 샘플링 및 압축된 영상 신호를 프랙털 디코더(140)가 제공받는다(S10). 프랙털 디코더(140)는 내부에 포함되는 멀티프로세서들 각각은 할당받은 화면 영역들 각각을 중요도에 따라 서로 다른 프레임율로 처리한다. 제 1 프로세서(141)는 가장 민감한 화면의 중심부에 대응하는 제 1 영역(1-0)에 대응하는 영상 신호를 초당 30 프레임(30 Frame/s)으로 디코딩한다(S20). 제 2 프로세서(142)는 제 1 영역(1-0)의 상측 및 하측에 분포하는 화면 영역들(2-1, 2-2, 2-3)에 대응하는 영상 신호를 초당 27 프레임(27 Frame/s) 이하의 프레임율로 디코딩한다(S30). 제 3 프로세서(143)는 제 1 영역(1-0)의 좌측 및 우측에 분포하는 화면 영역들(3-1, 3-2, 3-3)에 대응하는 영상 신호를 초당 27 프레임(27 Frame/s) 이하의 프레임율로 디코딩한다(S40). 그리고 제 4 프로세서(144)는 제 1 영역(1-0)의 모서리에 분포하는 화면 영역들(4-1)과 화면의 가장자리에 분포하는 영역들(4-2, 4-3)에 대응하는 영상 신호를 초당 27 프레임(30 Frame/s) 이하의 프레임율로 디코딩한다. 그리고 제 4 프로세서(144)는 프랙털 디코더(140)의 제반 디코딩 동작을 제어하여 프레임 동기를 최적화한다(S50). 여기 서, 각각의 프로세서들이 수행하는 디코딩 동작은 동일한 디코딩 구간에서 병렬적으로 수행되어야 할 것이다. 그리고 디코딩된 영상 신호는 동시에 디스플레이(150)로 전송된다(S60). 여기서는 하나의 영상을 단위로 수행되는 디코딩 동작을 예로 들어서 설명하였으나, 단계들(S10~S60)은 연속되는 영상 신호들에 대응하는 비트 스트림에 대해서 지속적으로 수행된다.

이상의 순서 도를 통해서 설명된 본 발명의 프랙털 디코딩 방식이 설명되었다. 프랙털 디코딩 방식에 따르면, 사람 시각의 초점이 머무르는 빈도가 높은 화면 영역에 대해서는 높은 프레임율로 디코딩하고 주변 영역에 대해서는 낮은 프레임율로 디코딩하여 이득을 제공할 수 있다.

이상에서는 본 발명의 기술적 특징을 설명하기 위하여 분할된 화면 영역들을 서로 다른 프레임율로 디코딩하는 것으로 설명하였으나, 본 발명은 이에 국한되지 않는다. 즉, 서로 다른 화질(Quality)이나 또는 서로 다른 해상도(Resolution)를 갖도록 분할된 화면들에 대응하는 영상 신호가 디코딩될 수 있음은 이 분야에서 통상의 지식을 습득한 자들에게는 자명하다.

한편, 본 발명의 상세한 설명에서는 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지로 변형할 수 있다. 그러므로 본 발명의 범위는 상술한 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 SVC 시스템을 간략히 보여주는 블록도;

도 2는 본 발명에 따른 SVC 시스템을 간략히 보여주는 블록도;

도 3은 본 발명의 프랙털 디코딩 방식에 따라 화면의 분할 방법을 보여주는 도면;

도 4a, 도 4b, 도 4c 그리고 도 4d 각각은 멀티-프로세서들 각각이 수행하는 디코딩 처리 영역 및 프레임율을 보여주는 도면; 그리고

도 5는 본 발명의 프랙털 디코딩 방법을 간략히 보여주는 순서도.

*도면의 주요부분에 대한 부호의 설명*

10 : 비디오 소스 20 : SVC 인코더

30 : 어뎁터 40 : 모바일 플랫폼

50 : SD 급 플랫폼 60 : HD 급 플랫폼

110 : 비디오 소스 120 : 인코더

130 : 채널 140 : 프랙털 디코더

150 : 디스플레이부

Claims

하나의 화면을 중요도에 따라 복수의 영역들로 분할하는 단계; 그리고

상기 분할된 화면들에 각각 대응하는 영상 신호들을 서로 다른 프레임율(Frame-rate)로 디코딩하는 단계를 포함하는 영상 신호 처리 방법.
제 1 항에 있어서,

상기 복수의 영역들은,

중심부에 대응하는 제 1 영역과 상기 제 1 영역의 주변부에 해당하는 제 2 영역 및 상기 제 2 영역을 둘러싼 상기 화면의 최외각에 대응하는 제 3 영역으로 계층적으로 분할되는 것을 특징으로 하는 영상 신호 처리 방법.
제 2 항에 있어서,

상기 제 1 영역에 대응하는 영상 신호는 가장 높은 프레임율로 디코딩되는 것을 특징으로 하는 영상 신호 처리 방법.
제 2 항에 있어서,

상기 제 2 영역은 상기 제 1 영역에 인접한 매크로 블록들을 포함하는 것을 특징으로 하는 영상 신호 처리 방법.
제 4 항에 있어서,

상기 제 2 영역은 상기 제 1 영역의 상측 및 하측에 분포하며, 각각이 제 1 영역보다 좁은 면적을 갖는 복수의 제 2-1 영역들과;

상기 제 1 영역의 좌측 및 우측에 분포하며, 각각이 상기 제 1 영역보다 좁은 면적을 갖는 복수의 제 3-1 영역들과; 그리고

상기 제 1 영역의 모서리에 분포하며, 각각이 상기 제 1 영역보다 좁은 면적을 갖는 복수의 제 4-1 영역들을 포함하는 영상 신호 처리 방법.
제 5 항에 있어서,

상기 제 3 영역은,

상기 복수의 제 2-1 영역들 각각에 인접하고, 상기 복수의 제 2-1 영역들 각각 절반 면적을 가지는 복수의 제 2-2 영역들과;

상기 복수의 제 3-1 영역들 각각에 인접하고, 상기 복수의 제 3-1 영역들 각각 절반 면적을 가지는 복수의 제 3-2 영역들;

상기 복수의 제 4-1 영역들에 인접하고 상기 제 4-1 영역과 동일 면적을 갖는 복수의 제 2-3 영역들, 복수의 제 3-3 영역들, 복수의 제 4-3 영역들; 그리고

각각이 상기 4-1 영역과 동일 면적을 가지며, 상기 복수의 제 2-2 영역들 또는 상기 복수의 제 3-2 영역들 사이에 위치하는 복수의 제 4-2 영역들을 포함하는 것을 특징으로 하는 영상 신호 처리 방법.
제 6 항에 있어서,

상기 제 1 영역에 대응하는 영상 신호는 제 1 프로세서에 의해서;

상기 복수의 제 2-1 영역들, 상기 복수의 제 2-2 영역들 그리고 상기 복수의 제 2-3 영역들 각각에 대응하는 영상 신호는 제 2 프로세서에 의해서 ;

상기 복수의 제 3-1 영역들, 상기 복수의 제 3-2 영역들 그리고 상기 복수의 제 3-3 영역들 각각에 대응하는 영상 신호는 제 3 프로세서에 의해서; 그리고

상기 복수의 제 4-1 영역들, 상기 복수의 제 4-2 영역들 그리고 상기 복수의 제 4-3 영역들 각각에 대응하는 영상 신호는 제 4 프로세서에 의해서 디코딩되는 것을 특징으로 하는 영상 신호 처리 방법.
제 7 항에 있어서,

상기 제 2 내지 제 4 프로세서 각각은 상기 각각의 영역들에 대응하는 영상 신호를 디코딩하되, 상기 제 1 영역과의 상대적 거리가 가까운 영역에 대응하는 영상 신호를 더 큰 프레임율로 디코딩하는 것을 특징으로 하는 영상 신호 처리 방법.
제 1 항에 있어서,

상기 복수의 영역들은, 상기 화면의 중심부에 위치하는 중심 영역과, 상기 중심 영역으로부터 시작하여 일정 비율로 면적이 감소하는 프랙털 도형들로 이루어지는 주변 영역을 포함하는 것을 특징으로 하는 영상 신호 처리 방법.
제 9 항에 있어서,

상기 중심 영역에 대응하는 영상 신호를 상기 주변 영역에 대응하는 영상 신호보다 높은 프레임율로 디코딩하는 것을 특징으로 하는 영상 신호 처리 방법.
제 1 항에 있어서,

상기 하나의 화면에 대응하는 영상 신호를 단일 프래임율, 단일 해상도 또는 단일 화질로 샘플링 및 압축하는 인코딩 단계를 더 포함하는 영상 신호 처리 방법.
제 1 항에 있어서,

상기 디코딩하는 단계에서, 상기 분할된 화면들 각각은 서로 다른 해상도 또는 서로 다른 화질로 디코딩되는 것을 특징으로 하는 영상 신호 처리 방법.
단일 해상도 및 단일 프래임율을 갖는 하나의 화면에 대응하는 영상 신호를 제공받아 중요도에 따라 복수의 영역들로 분할하여 처리하는 프랙털 디코더;

상기 프랙털 디코더로부터 제공되는 상기 디코딩된 영상 신호를 재생하는 디스플레이부를 포함하는 스케일러블 비디오 코딩 시스템.
제 13 항에 있어서,

상기 프랙털 디코더는 상기 하나의 화면에 대응하는 영상 데이터를 중요도에 따라 분할하고 분할된 각각의 영역들을 복수의 프레임율로 병렬 처리하는 복수의 프로세서들을 포함하는 스케일러블 비디오 코딩 시스템.
제 13 항에 있어서,

상기 복수의 영역들 중 상기 하나의 화면에서 중심부에 대응하는 화면이 가장 높은 중요도를 가지며, 가장 높은 프레임율로 디코딩되는 것을 특징으로 하는 스케일러블 비디오 코딩 시스템.
제 13 항에 있어서,

상기 프랙털 디코더는 상기 분할된 복수의 영역들 각각에 대응하는 영상 신호를 병렬 처리하는 복수의 프로세서들을 포함하는 스케일러블 비디오 코딩 시스템.
제 16 항에 있어서,

상기 복수의 프로세서들 중 가장 낮은 중요도에 대응하는 영역들을 처리하는 프로세서는, 상기 프랙털 디코더의 프레임 동기를 포함하는 제어 동작을 수행하는 것을 특징으로 하는 스케일러블 비디오 코딩 시스템.
제 13 항에 있어서,

이미지 소스로부터 단일 해상도, 단일 화질 또는 단일 프래임율을 갖는 하나의 화면에 대응하는 상기 영상 신호를 생성하는 인코더를 더 포함하는 스케일러블 비디오 코딩 시스템.
제 13 항에 있어서,

상기 프랙털 디코더는 상기 분할된 화면들 각각을 서로 다른 해상도 또는 서로 다른 화질로 디코딩하는 것을 특징으로 하는 스케일러블 비디오 코딩 시스템.