KR102062764B1 - 모바일 단말 화면을 위한 3ｋ해상도를 갖는 디스플레이 영상 생성 방법 및 장치 - Google Patents

Abstract

본 발명은, 본 발명은 모바일 단말 화면을 위한 3K해상도를 갖는 디스플레이 영상 생성 방법 및 장치에 관한 것이다.
본 발명에 따르면, 입력영상을 수신하는 단계; 상기 모바일 단말 화면에 대한 인간의 인지 특성 및 해상도 분석력을 기초로, 소정 크기의 상기 모바일 단말 화면에서 재생될 영상의 해상도로서 3K해상도를 선택하는 단계; 및 상기 입력영상을 이용하여 상기 선택된 3K해상도를 갖는 디스플레이 영상을 생성하는 단계를 포함하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법 및 장치가 제안된다.

Description

모바일 단말 화면을 위한 3Ｋ해상도를 갖는 디스플레이 영상 생성 방법 및 장치{Method And Apparatus For Generating 3K Resolution Display Image for Mobile Terminal screen}

본 발명은 모바일 단말 화면을 위한 3K해상도를 갖는 디스플레이 영상 생성 방법 및 장치에 관한 것이다.

최근 고해상도의 영상 디스플레이 기술이 발전함에 따라 모바일 단말 화면에 있어서도, 인간의 망막으로 구별할 수 있는 인치당 픽셀 수를 넘어서는 선명도를 갖는 고해상도의 영상 디스플레이에 대한 요구가 높아지고 있다.

하지만, 모바일 단말이 더 높은 해상도의 영상을 재생할수록 모바일 단말의 제조 단가 및 전력 소비량 그리고 영상 데이터 전송량의 증가가 수반 될 수 있다.

따라서, 사람의 인지영역을 넘어선 고화질 영상을 제공하는 것은 에너지 및 성능의 낭비를 초래하므로 모바일 단말의 화면 크기에 따라 가장 효율적인 해상도를 갖는 영상을 생성하여 표시할 필요성이 점점 높아지고 있다.

본 발명은 모바일 단말 화면을 위한 3K해상도를 갖는 디스플레이 영상 생성 방법 및 장치에 관한 것이다.

본 발명은, 일 실시예에 따라 모바일 단말 화면을 위한 3K해상도 영상을 생성하는 방법은 입력영상을 수신하는 단계; 상기 모바일 단말 화면에 대한 인간의 인지 특성 및 해상도 분석력을 기초로, 소정 크기의 상기 모바일 단말 화면에서 재생될 영상의 해상도로서 3K해상도를 선택하는 단계; 및 상기 입력영상을 이용하여 상기 선택된 3K해상도를 갖는 디스플레이 영상을 생성하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 3K해상도를 선택하는 단계는, 상기 인간의 인지 특성 및 해상도 분석력을 기초로, 시력 2.0 및 시청거리 12인치를 기준으로 4.6인치 내지 6.1인치 크기의 상기 단말기 화면에서 재생될 영상 해상도로서 상기 3K해상도를 선택하는 단계를 포함 할 수 있다.

일 실시예에 따른 상기 3K해상도를 선택하는 단계는, 상기 인간의 인지 특성 및 해상도 분석력을 기초로, 시력 1.0 및 시청거리 8인치를 기준으로 5.1인치 내지 6.8인치 크기의 상기 단말기 화면에서 재생될 영상 해상도로서 상기 3K해상도를 선택하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 영상을 생성하는 단계는 상기 입력영상에 대해 비정수배 보간을 수행하여 초해상도(super-resolution) 영상을 생성하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 초해상도 영상을 생성하는 단계는, 2K해상도의 상기 입력영상에 대해 비정수배 보간하여 상기 3K해상도의 출력영상을 생성하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 2K해상도 FHD(2560X1080) 해상도를 나타내며,상기 3K해상도는 2560X1440 해상도를 나타낼 수 있다.

일 실시예에 따른 제 4 항에 있어서, 상기 초해상도 영상을 생성하는 단계는, 상기 비정수배 보간을 통해 상기 입력영상의 종횡비(aspect ratio)와 동일한 종횡비의 상기 3K해상도의 출력영상을 생성하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 입력영상을 수신하는 단계는, 기본 레이어 스트림과 향상 레이어 스트림을 수신하는 단계를 포함하고, 상기 디스플레이 영상을 생성하는 단계는, 상기 기본 레이어 스트림을 복호화하여 기본 해상도의 영상을 복원하는 단계; 상기 향상 레이어 스트림에서 복호화된 부호화 정보와 상기 기본 해상도의 영상을 이용하여 고해상도 영상을 복원하는 단계; 및 상기 복원된 고해상도 영상을 이용하여, 상기 디스플레이 영상을 생성하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 향상 레이어 스트림은 제 1 향상 레이어 스트림 및 제 2 향상 레이어 스트림을 포함하고, 상기 디스플레이 영상을 생성하는 단계는, 상기 제 1 향상 레이어 스트림에서 복호화된 부호화 정보와 상기 기본 해상도 영상을 이용하여 제 1 고해상도 영상을 복원하는 단계; 및 상기 제 2 향상 레이어 스트림에서 복호화된 부호화 정보와 상기 제 1 고해상도 영상을 이용하여 제 2 고해상도 영상을 복원하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 디스플레이 영상을 생성하는 단계는 업 샘플링 필터를 이용하여 상기 기본 해상도 영상을 업 샘플링 하는 단계; 및 상기 향상 레이어 스트림에서 복호화된 부호화 정보 및 상기 업 샘플링된 기본해상도 영상을 이용하여 고해상도 영상을 복원하는 단계를 포함할 수 있다.

일 실시예에 따른 8개의 서브 픽셀 포지션마다 각각 다른 계수(coefiicient)로 구성된 상기 업 샘플링 필터를 선택하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 업 샘플링 필터를 선택하는 단계는, 제 0 픽셀 포지션에 대응하는 계수 {0,0,0,64,0,0,0,0}, 제 1 픽셀 포지션에 대응하는 계수 {0,1,-3,63,4,-2,1,0}, 제 2 픽셀 포지션에 대응하는 계수 {-1,2, -5,62,8,-3,1,0}, 제 3 픽셀 포지션에 대응하는 계수 {-1,3,-8,60,13,-4,1,0}, 제 4 픽셀 포지션에 대응하는 계수 {-1,4,-10,58,17,-5,1,0}, 제 5 픽셀 포지션에 대응하는 계수 {-1,4,-11,52,26,-8,3,-1,0}, 제 6 픽셀 포지션에 대응하는 계수 {-1,4,-11,50,28,-8,2,0}, 제 7 픽셀 포지션에 대응하는 계수 {-1,4,-11,44,35,-10,4,-1} 및 제8 픽셀포지션에 대응하는 계수 {-1,4,-11,40,40,-11,4,-1} 중 하나로 구성된 8탭 필터들 중에서 하나를 선택할 수 있다.

일 실시예에 따른 상기 입력영상을 수신하는 단계는 DASH 전송 포멧인 영상 스트림의 MPD 헤더로부터 해상도 변환 방법을 나타내는 플래그를 획득하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 입력영상을 획득하는 단계는 상기 플래그 값에 기초하여 업 샘플링 필터 계수를 수신하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 디스플레이 영상을 생성하는 단계는 상기 획득된 업 샘플링 필터 계수를 적용하여 상기 기본 해상도 영상을 업 샘플링 하는 단계; 및 상기 향상 레이어 스트림에서 복호화된 부호화 정보 및 상기 업 샘플링된 기본해상도 영상을 이용하여 고해상도 영상을 복원하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 입력 영상을 수신하는 단계는, 상기 플래그 값에 기초하여 모바일 단말 모델 정보를 획득하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 해상도를 선택하는 단계는, 상기 획득된 모바일 단말 모델 정보에 기초하여 단말기 화면에 재생될 영상 해상도를 선택하는 단계를 포함하고, 상기 디스플레이 영상을 생성하는 단계는, 상기 선택된 해상도에 기초하여 상기 기본 레이어 스트림 및 상기 향상 레이어 스트림을 선택적으로 복호화하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 입력 영상을 수신하는 단계는 재생변수에 따라 복수개의 레이어로 부호화된 향상 레이어 스트림을 수신하는 단계를 포함하고, 상기 고해상도 영상을 복원하는 단계는, 상기 향상 레이어 스트림에서 복호화된 부호화 정보, 상기 재생 변수 및 상기 기본 해상도 영상을 이용하여 상기 고해상도 영상을 복원하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 고해상도 영상은 상기 재생변수를 기초로 하여, 명암 또는 색감이 결정될 수 있다.

일 실시예에 따른 상기 모바일 단말 화면을 위한 3K해상도 영상 생성 방법은, 상기 생성된 3K해상도를 갖는 디스플레이 영상을 상기 모바일 단말의 디스플레이부에서 재생하는 단계를 더 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.

일 실시예에 따른 상기 모바일 단말 화면을 위한 3K해상도 영상 생성 방법은 상기 생성된 디스플레이 영상을 상기 모바일 단말로 전송하는 단계를 더 포함할 수 있다.

일 실시예에 따른 상기 입력영상을 수신하는 단계는 기본 레이어 영상을 수신하는 단계를 포함하고, 상기 디스플레이 영상을 생성하는 단계는, 상기 기본 레이어 영상에 대해 비정수배 보간을 수행하여 향상 레이어 영상을 생성하는 단계; 상기 기본 레이어 영상을 부호화하여 기본 레이어 스트림을 생성하는 단계; 및 상기 기본레이어 영상을 이용해 상기 향상 레이어 영상을 부호화하여 향상 레이어 스트림을 생성하는 단계를 포함하며, 상기 모바일 단말 화면을 위한 3K해상도 영상 생성 방법은 상기 기본 레이어 스트림 및 상기 향상 레이어 스트림을 상기 모바일 단말로 전송하는 단계를 더 포함할 수 있다.

일 실시예에 따른 상기 디스플레이 영상을 생성하는 단계는, 상기 기본 레이어 영상에 대해 비정수배 보간을 수행하여 제 1 향상 레이어 영상을 생성하는 단계; 상기 제 1 향상 레이어 영상에 대해 비정수배 보간을 수행하여 제 2 향상 레이어 영상을 생성하는 단계; 상기 기본 레이어 영상을 부호화하여 기본 레이어 스트림을 생성하는 단계; 상기 기본 레이어 영상을 이용해 상기 제 1 향상 레이어 영상을 부호화 하여 제 1 향상 레이어 스트림을 생성하는 단계; 및 상기 제 1 향상 레이어 영상을 이용해 상기 제 2 향상 레이어 영상을 부호화하여 제 2 향상 레이어 스트림을 생성하는 단계를 포함하고, 상기 모발일 단말 화면을 위한 3K해상도 영상 생성 방법은 상기 생성된 기본 레이어 스트림, 제1 향상 레이어 스트림 및 제 2 향상 레이어 스트림을 상기 모바일 단말로 전송하는 단계를 더 포함할 수 있다.

일 실시예에 따른 상기 전송하는 단계는, MPD 헤더를 포함하는 DASH 전송 포멧으로 상기 기본 레이어 스트림 및 상기 향상 레이어 스트림을 전송하는 단계를 포함하며,상기 DASH 전송 포멧의 MPD 헤더는 해상도 변환 방법을 나타내는 플래그, 업 샘플링 필터 계수 및 모바일 단말 모델 정보를 포함할 수 있다.

일 실시예에 따른 상기 전송하는 단계는, 상기 모바일 단말 모델 정보에 기초하여 2K, 3K 또는 4K 중 적어도 하나의 해상도를 갖는 영상을 복원하기 위한 향상 레이어 스트림을 전송하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 전송하는 단계는, 상기 전송되는 향상 레이어 스트림은 상기 재생변수에 따라 생성된 복수개의 레이어 스트림을 포함할 수 있다.

본 발명은, 일 실시예에 따른 모바일 단말 화면을 위한 3K해상도 영상을 생성하는 장치에 있어서, 입력영상을 수신하는 영상 수신부; 상기 모바일 단말 화면에 대한 인간의 인지 특성 및 해상도 분석력을 기초로, 소정 크기의 상기 모바일 단말 화면에서 재생될 영상의 해상도로서 3K해상도를 선택하는 영상 해상도 선택부; 및 상기 입력영상을 이용하여 상기 선택된 3K해상도를 갖는 디스플레이 영상을 생성하는 영상 생성부를 포함할 수 있다.

일 실시예에 따른 상기 영상 생성부는 상기 입력영상에 대해 비정수배 보간을 수행하여 초해상도(super-resolution) 영상을 생성하는 영상 보간부를 포함할 수 있다.

일 실시예에 따른 상기 영상 수신부는, 기본 레이어 스트림을 수신하는 기본 레이어 수신부; 및 향상 레이어 스트림을 수신하는 향상 레이어 수신부를 포함하고, 상기 영상 생성부는, 상기 기본 레이어 스트림을 복호화 하여 기본 해상도의 영상을 복원하는 기본 해상도 영상 복원부; 및 상기 향상 레이어 스트림을 복호화하고, 상기 향상 레이어 스트림에서 복호화된 부호화 정보와 상기 기본 해상도의 영상을 이용하여 고해상도 영상을 복원하는 고해상도의 영상 복원부를 더 포함하고, 상기 영상 생성부는 상기 복원된 고해상도 영상을 이용하여, 상기 3K해상도의 디스플레이 영상을 생성할 수 있다.

일 실시예에 따른 상기 영상 수신부는, DASH 전송 포멧인 상기 영상 스트림의 MPD 헤더로부터 해상도 변환 방법을 나타내는 플래그를 획득할 수 있다.

일 실시예에 따른 상기 영상 수신부는 재생변수에 따라 복수개의 레이어로 부호화된 향상 레이어 스트림을 수신하며,

상기 영상 생성부는, 상기 향상 레이어 스트림에서 복호화된 부호화 정보, 상기 재생변수 및 상기 기본 해상도 영상을 이용하여 상기 고해상도 영상을 복원할 수 있다.

일 실시예에 따른 상기 3K해상도 영상 생성 장치는 상기 생성된 3K해상도를 갖는 디스플레이 영상을 상기 모바일 단말의 디스플레이부에서 재생하는 재생부를 더 포함 할 수 있다.

일 실시예에 따른 상기 영상 수신부는 기본 레이어 영상을 수신하며, 상기 영상 생성부는, 상기 기본 레이어 영상에 대해 비정수배 보간을 수행하여 향상 레이어 영상을 생성하는 영상 보간부; 상기 기본 레이어 영상을 부호화하여 기본 레이어 스트림을 생성하는 기본 레이어 부호화부; 및 상기 기본레이어 영상을 이용해 상기 향상 레이어 영상을 부호화하여 향상 레이어 스트림을 생성하는 향상 레이어 부호화부를 포함하고, 상기 3K해상도 영상 생성장치는 상기 기본 레이어 스트림 및 상기 향상 레이어 스트림을 상기 모바일 단말로 전송하는 출력부를 더 포함 할 수 있다.

일 실시예에 따른 상기 출력부는, MPD 헤더를 포함하는 DASH 전송 포멧으로 상기 기본 레이어 스트림 및 상기 향상 레이어 스트림을 전송하는 헤더 전송부를 더 포함하며, 상기 DASH 전송 포멧의 MPD 헤더는 해상도 변환 방법을 나타내는 플래그, 업 샘플링 필터 계수 및 모바일 단말 모델 정보를 포함 할 수 있다.

본 발명은, 모바일 단말 화면을 위한 3K해상도 영상 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.

도 1a는 일 실시예에 따른 모바일 단말 화면을 위한 3K해상도 영상을 생성하는 모바일 단말(10)의 블럭도를 도시한다.
도 1b는 일 실시예에 따라 모바일 단말 화면을 위한 3K해상도 영상 생성 방법의 흐름도를 도시한다.
도 1c는 다른 실시예에 따라 모바일 단말 화면을 위한 3K해상도 영상 생성 방법의 흐름도를 도시한다.
도 2는 일 실시예에 따른 화면 크기 및 시청거리에 따른 인간의 시각 인지특성 및 분해능력을 설명하기 위한 개략도를 도시한다.
도 3a는 시청거리 12인치를 기준으로 화면 크기 및 영상 해상도에 따른 인치당 픽셀 수(PPI)의 변화를 나타내는 그래프를 도시한다.
도 3b는 시청거리 8인치를 기준으로 화면 크기 및 영상 해상도에 따른 인치당 픽셀 수(PPI)의 변화를 나타내는 그래프를 도시한다.
도 4a은 일 실시예에 따른 2K해상도 영상을 4K해상도 영상으로 보간하는 방법을 설명하기 위한 개략도를 도시한다.
도 4b는 일 실시예에 따른 2K해상도 영상을 3K해상도 영상으로 보간하는 방법을 설명하기 위한 개략도를 도시한다.
도 5a는 일 실시예에 따른 모바일 단말 화면을 위한 3K해상도 영상을 생성하는 컨텐츠 서버(50)의 블럭도를 도시한다.
도 5b는 일 실시예에 따라 모바일 단말 화면을 위한 3K해상도 영상 전송 방법의 흐름도를 도시한다.
도 6은 일 실시예에 따른 스케일러블 3K해상도 영상 부호화 장치(600)의 블록도를 도시한다.
도 7은 일 실시예에 따른 스케일러블 3K해상도 영상 복호화 장치(700)의 블록도를 도시한다.
도 8은 일 실시예에 따른 스케일러블 3K해상도 영상 부호화 시스템(800)의 구체적인 블록도를 도시한다.
도 9는 일 실시예에 따른 스케일러블 3K해상도 영상 업 샘플링에 사용되는 업 샘플링 필터의 계수를 도시한다.
도 10은 일 실시예에 따른 스케일러블 3K해상도 영상 생성 방법의 순서도를 도시한다.
도 11은 일 실시예에 따른 스케일러블 비디오 코딩이 적용된 영상에 업 샘플링을 위한 필터 적용시의 필터 게인 그래프를 도시한다.
도 12는 일 실시예에 따른 플래그를 포함하는 DASH 전송 포멧의 예시도를 도시한다.
도 13은 일 실시예에 따른 모바일 단말(10)에서 플래그에 따라 업 샘플링 방법을 달리 적용하는 3K해상도 영상 복원 방법의 순서도를 도시한다.
도 14 는 일 실시예에 따른 SNR 스케일러블 영상 복원 장치(1400)의 블록도를 도시한다.

이하, 본 발명을 제조하고 사용하는 방법이 상세하게 설명된다. 본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

본 발명의 일 실시예에 따른 모바일 단말은 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 모바일 단말에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.

본 발명의 일 실시예에 따른 2K해상도는 FHD(Full High Definition: 2560X1080)급 해상도를 나타내며, 3K해상도는 2560X1440급 해상도, 4K해상도는 UHD(Ultra High Definition: 3840X2160)급 해상도를 나타낸다. 여기서 2K, 3K 및 4K는 각 해상도의 가로 화소수와 근사하게 대응하는 값으로, 따라서 본 발명이 속하는 기술분야의 통상의 기술자는 2K해상도, 3K해상도 및 4K해상도는 상술한 가로세로 크기의 조합에 반드시 한정되는 용어는 아니며 임의의 가로세로 크기 조합의 해상도에서 가로 크기에 대응될 수 있는 용어임을 이해할 수 있을 것이다.

본 명세서에서 본 발명의 원리의 "일 실시예" 또는 "실시예"라는 것은 본 발명의 원리의 적어도 하나의 실시 예에 포함되는 실시예와 함께 설명된 특별한 특성, 구조, 특징 등을 의미하는 것이다. 그러므로, 본 명세서 전반에 걸쳐 다양한 곳에 등장하는 "일 실시예에서" 또는 "실시예에서"라는 어구의 등장은 반드시 모두 동일한 실시예를 가리키는 것은 아니다.

본 명세서 전반에 걸쳐 사용되는 '영상'이라는 용어는 '영상'이라는 용어 자체뿐만 아니라, '픽처', '프레임', '필드', 및 '슬라이스'로서 관련 분야에서 알려질 수 있는 비디오 이미지 정보의 다양한 형태들을 설명하기 위한 포괄적인 용어로서 사용될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

도 1a는 일 실시예에 따른 모바일 단말 화면을 위한 3K해상도 영상을 생성하는 모바일 단말(10)의 블럭도를 도시한다.

도 1a를 참조하면, 일 실시예에 따른 모바일 단말 화면을 위한 3K해상도 영상을 생성하는 모바일 단말(10)은 영상 수신부(11), 영상 해상도 선택부(13) 영상 생성부(15) 및 출력부(17)를 포함할 수 있다.

일 실시예에 따른 영상 수신부(11)는 입력영상을 수신할 수 있다. 구체적으로, 수신되는 입력 영상은 일 실시예에 따라 3K해상도 영상을 생성하기 위해 MPEG(Moving Picture Expert Group), H.26X, HEVC(High Efficiency Video Coding), AVS(Audio Video coding Standard), VPx 등의 비디오 압축 표준에 따라 부호화된 영상 데이터 스트림 일 수 있다

다른 실시예에 따라 수신되는 입력 영상은 3K해상도 영상을 생성하기 위해 스케일러블 비디오 코딩(SVC:Scalable Video Coding)이 적용된 레이어 스트림 일 수 있다. 여기서 레이어 스트림은 기본 레이어 스트림과 업 샘플링을 위한 향상 레이어 스트림을 포함 할 수 있다.

또 다른 실시예에 따른 수신부(11)는 DASH 전송 포멧인 영상스트림의 MPD 헤더로부터 해상도 변환 방법을 나타내는 플래그를 획득할 수 있다. 또한, 획득된 플래그에 기초하여 업 샘플링 필터 계수 또는 모바일 단말 모델 정보를 획득할 수 잇다.

일 실시예에 따른 영상 해상도 선택부(13)는 모바일 단말 화면에 대한 인간의 인지 특성 및 해상도 분석력을 기초로, 소정 크기의 모바일 단말 화면에서 재생될 영상의 해상도로서 3K해상도를 선택할 수 있다.

예를 들면, 일 실시예에 따라 인간의 인지 특성 및 해상도 분석력을 기초로, 시력 2.0 및 시청거리 12인치를 기준으로 4.6인치 내지 6.1인치 크기의 단말기 화면에서 재생될 영상 해상도로서 3K해상도가 선택될 수 있다.

또는, 다른 실시예에 따라 인간의 인지 특성 및 해상도 분석력을 기초로, 시력 1.0 및 시청거리 8인치를 기준으로 5.1인치 내지 6.8인치 크기의 상기 단말기 화면에서 재생될 영상 해상도로서 3K해상도가 선택될 수 있다.

여기서, 3K해상도가 선택되는 이유는 인간의 망막으로 선명도의 변화를 구별할 수 있는 단위 영역당 픽셀 수 이상의 선명도를 갖는 해상도의 영상을 효율적으로 구현하기 위해서이다. 여기서, 단위 영역당 픽셀 수는 PPI(인치당 픽셀 수: Pixel Per Inch)로 표현 할 수 있으며, 동일한 해상도의 영상이더라도 화면 크기(Inch)가 커지면 PPI 값이 줄어 들어 선명도가 낮아 질 수 있다.

인간의 시각 인지특성 및 분해능력을 고려하면, 인간의 망막으로 구별할 수 있는 단위 영역당 픽셀 수는 한계가 있다. 즉, 인간이 망막으로 구별할 수 있는 한계점 이상의 PPI에서는 해상도가 아무리 높아지더라도 인간이 선명도 변화를 구별해 낼 수 없다. 여기서 인간이 선명도의 변화를 구별할 수 있는 인치당 픽셀수의 최대치를 한계 PPI라고 한다. 그러므로, 한계 PPI 이상의 선명도를 가지는 해상도의 영상을 디스플레이 하는 것은 불필요한 에너지 및 성능의 낭비를 초래할 수 있다.

한편, 상술한 한계 PPI는 인간이 선명도의 변화를 구별할 수 있는한계 인치당 픽셀수의 최대치 이므로 한계 PPI 이하의 선명도 영상이 단말기 화면에 디스플레이 되면 사용자는 선명도 저하를 인식할 수 있다.

따라서, 일반적인 모바일 단말 사용조건에서 사용자가 선명도 저하를 인식하지 않으면서도 모바일 단말의 성능 낭비를 초래하지 않게 하기 위해서는, 한계 PPI를 근소하게 넘기는 선명도를 갖는 해상도의 영상이 제공되는 것이 가장 효율적일 것이다.

한편, 인간의 시각 인지특성 및 분해능력에 따라 한계 PPI는 단순히 단말기 화면의 해상도에만 영향을 받지 않으며, 사용자의 시력, 단말기 화면 시청거리 및 단말기 화면의 크기에 영향을 받는다.

예를 들면, 도 2는 일 실시예에 따른 화면 크기 및 시청거리에 따른 인간의 시각 인지특성 및 분해능력을 설명하기 위한 개략도를 도시한다.

도 2를 참조하면, 일반적으로 사용자(150)는 소정 화면크기(120)의 모바일 단말(100)의 화면을 시청하기 위해 소정의 시청거리(110)를 유지한다. 여기서, 인간의 시각 인지특성 및 분해능력에 따라 인간의 망막으로 구별할 수 있는 인치당 픽셀 수는 사용자(150)의 시력, 모바일 단말(100)화면의 해상도, 모바일 단말(100)의 화면크기(120) 및 시청거리(110)에 영향을 받는다.

한편, 통계적으로 모바일 단말(100)의 사용자의 시력이 2.0일 때 사용자(150)는 시청거리 12인치를 선호하고, 모바일 단말(100) 사용자의 시력이 1.0일 때는 시청거리 8인치를 선호한다. 따라서 이하에서는 상술한 두 조건에 따라 한계 PPI를 보장하는 최적의 해상도를 결정하는 방법을 설명한다.

구체적으로, 도 3a는 시청거리 12인치를 기준으로 화면 크기 및 영상 해상도에 인치당 픽셀 수(PPI)의 변화를 나타내는 그래프를 도시한다.

사용자(150)의 시력이 2.0일 때, 시청거리 12인치를 기준으로 인간이 망막으로 선명도 변화를 구별할 수 있는 한계 인치당 픽셀 수가 477(PPI)인 것으로 가정한다.

도 3a를 참조하면, 그래프(31, 32, 33)은 각각 2K, 3K 및 4K 해상도 영상을 재생하기 위한 화면크기와 PPI간의 관계를 나타낸다.

예를 들면, 사용자의 시력 2.0, 시청거리 12인치를 기준으로, 2K해상도 화상을 위한 그래프(31)에 따르면, 4.6인치 이하의 화면크기(301)에서 한계 PPI를 넘는 선명도를 가짐을 알 수 있다. 또한, 3K해상도 화상을 위한 그래프(32)에 따르면, 6.1인치 이하의 화면크기(302)에서 한계 PPI를 넘는 선명도를 가짐을 알 수 있다. 또한, 4K해상도 화상을 위한 그래프(33)에 따르면, 9.2인치 이하의 화면크기(303)에서 한계 PPI를 넘는 선명도를 가짐을 알 수 있다.

따라서, 4.6 인치 이상 6.1인치 이하의 화면크기(120)를 갖는 모바일 단말(100)의 경우 사용자의 시력이 2.0이고 시청거리 12인치를 기준으로 2K해상도 영상을 디스플레이 할 경우 사용자(150)는 선명도 저하에 따른 화질 저하를 인식할 수 있다. 반면에, 3K해상도 이상의 영상을 디스플레이 할 경우에는 사용자(150)가 화질저하를 인식하지 못할 것이다. 그러나, 4K해상도 영상을 디스플레이 할 경우에도 사용자는 화질 저하를 인식하지 못하겠지만, 3K해상도 영상을 디스플레이 할 때보다 많은 에너지와 성능이 필요할 것이다. 따라서, 4.6 인치 이상 6.1인치 이하의 화면크기(120)를 갖는 모바일 단말(100)의 경우 사용자의 시력이 2.0이고 시청거리 12인치를 기준으로 3K해상도 화상을 디스플레이 하는 것이 가장 효율적인 것을 알 수 있다.

도 3b는 시청거리 8인치를 기준으로 화면 크기 및 영상 해상도에 따른 인치당 픽셀 수(PPI)의 변화를 나타내는 그래프를 도시한다.

사용자(150)의 시력이 1.0일 때, 시청거리 8인치를 기준으로 인간이 망막으로 구별할 수 있는 한계 인치당 픽셀 수가 429(PPI)인 것으로 가정한다.

도 3b를 참조하면, 그래프(35, 36, 37)은 각각 2K, 3K 및 4K 해상도 영상을 재생하기 위한 화면크기와 PPI간의 관계를 나타낸다.

예를 들면, 사용자의 시력 1.0, 시청거리 8인치를 기준으로, 2K해상도 화상을 위한 그래프(35)에 따르면, 5.1인치 이하의 화면크기(311)에서 한계 PPI를 넘는 선명도를 가짐을 알 수 있다. 또한, 3K해상도 화상을 위한 그래프(36)에 따르면, 6.8인치 이하의 화면크기(312)에서 한계 PPI를 넘는 선명도를 가짐을 알 수 있다. 또한, 4K해상도 화상을 위한 그래프(37)에 따르면, 10.2인치 이하의 화면크기(313)에서 한계 PPI를 넘는 선명도를 가짐을 알 수 있다.

따라서, 5.1 인치 이상 6.8인치 이하의 화면크기(120)를 갖는 모바일 단말(100)의 경우 사용자의 시력이 1.0이고 시청거리 8인치를 기준으로 2K해상도 영상을 디스플레이 할 경우 선명도 저하에 따른 화질 저하를 인식할 수 있다.

반면에, 3K해상도 이상의 영상을 디스플레이 할 경우 사용자가 화질저하를 인식하지 못할 것이다. 그러나 4K해상도 영상을 디스플레이 할 경우에도 사용자는 화질 저하를 인식하지 못하겠지만, 3K해상도 영상을 디스플레이 할 때보다 많은 에너지와 성능이 필요할 것이다.

따라서, 5.1 인치 이상 6.8인치 이하의 화면크기(120)를 갖는 모바일 단말(100)의 경우 사용자의 시력이 1.0이고 시청거리 8인치를 기준으로 3K해상도 화상을 디스플레이 하는 것이 가장 효율적인 것을 알 수 있다.

다시, 도 1a를 참조하면, 또 다른 실시예에 따른 해상도 선택부(13)는 모바일 단말(10)의 모델 정보에 기초하여 단말기 화면에 재생될 영상 해상도를 선택 할 수 있다.

일 실시예에 따른 영상 생성부(15)는 입력영상을 이용하여 선택된 3K해상도를 갖는 디스플레이 영상을 생성할 수 있다.

구체적으로 일 실시예에 따른 영상 생성부(15)는 입력 영상에 대해 비정수배 보간을 수행하여 초해상도(Super Resolution) 영상을 생성하는 보간부(미도시)를 더 포함할 수 있다.

예를 들면, 일 실시예에 따른 보간부는 입력영상에 대해 비정수배 보간을 수행하여 초해상도 영상을 생성할 수 있다. 구체적으로, 2K해상도 영상이 입력되면 비정수배 보간을 수행하여 3K해상도 영상 또는 4K해상도 영상을 얻을 수 있다.

도 4a은 일 실시예에 따른 2K해상도 영상을 4K해상도 영상으로 보간하는 방법을 설명하기 위한 개략도를 도시한다.

2K해상도 영상을 4K해상도 영상으로 보간 하기 위해서 2K 해상도 영상을 정수 배 확대하는 동작이 수행될 수 있다. 도 4a에 도시된 바와 같이 1차원적으로 2K해상도 영상을 4K해상도 영상으로 보간할 때는 1개의 픽셀이 2개의 픽셀로 보간(401)된다. 따라서 실제 영상 보간이 수행되는 2차원 측면에서 판단하면 4개의 픽셀당 한 개의 픽셀이 그대로 사용되고 3개의 픽셀은 보간 될 수 있다. 이때, 보간 전후의 종횡비는 유지되며, 여기서 보간 픽셀 비율이 75%가 된다.

도 4b는 일 실시예에 따른 2K해상도 영상을 3K해상도 영상으로 보간하는 방법을 설명하기 위한 개략도를 도시한다.

2K해상도 영상을 3K해상도 영상으로 보간하기 위해서 2K 해상도 영상을 비정수 배 확대하는 동작이 수행될 수 있다. 도 4b에 도시된 바와 같이 1차원적으로 2K해상도 영상을 3K해상도 영상으로 보간 할 때는 3개의 픽셀이 4개의 픽셀로 보간(402)된다. 따라서 실제 영상 보간이 수행되는 2차원 측면에서 판단하면 16개의 픽셀당 한 개의 픽셀이 그대로 사용되고 15개의 픽셀은 보간 될 수 있다. 즉, 2K해상도 영상에서 9개의 픽셀당 한 개의 픽셀 값은 그 값을 유지하고, 나머지 8개의 픽셀은 비정수배 보간을 위한 필터를 이용하여 15개의 픽셀로 보간 될 수 있다. 또한, 이때도 보간 전후의 종횡비는 유지되며, 여기서 보간 픽셀 비율이 93%가 된다.

상술한 바와 같이, 2K해상도 영상에서 3K해상도 영상으로 비정수배 보간을 수행하는 동작은 2K해상도에서 4K해상도로 정수 배 보간하는 동작에 비해서 보간 픽셀 수가 증가하기 때문에 디테일이 증가하여 화질이 증가 될 수 있다.

또한, 상술한 바와 같이 비정수배 보간을 수행하더라도, 2K해상도를 4K해상도로 정수 배 보간 할 때와 마찬가지로, 입력영상의 종횡비(aspect ratio)와 동일한 종횡비의 3K해상도의 출력 영상을 생성할 수도 있다.

다른 실시예에 따른 모바일 단말(10)은 입력 영상이 스케일러블 비디오 코딩이 적용된 레이어 스트림이라면 기본 레이어 스트림을 복호화하여 기본 해상도의 영상을 복원할 수 있다. 그리고, 영상 생성부(15)는 향상 레이어 스트림을 복호화하여 부호화 정보를 복원할 수 있다. 향상레이어 스트림으로부터 복원된 부호화 정보와 기본 레이어 스트림으로부터 복원된 기본 해상도 영상을 이용하여 고해상도 복원하고, 복원된 고해상도 영상을 이용하여 3K해상도를 갖는 디스플레이 영상을 생성할 수도 있다. 여기서 스케일러블 코딩이 적용된 레이어 스트림을 복호화 하는 구성은 도 6 내지 도 11에 대한 설명에서 후술한다.

또 다른 실시예에 따른 영상 생성부(15)는 재생변수를 기초로 3K해상도를 갖는 디스플레이 영상을 생성할 수 있다. 여기서 재생변수는 생성될 디스플레이 영상의 명암 또는 색감에 대한 정보를 포함 할 수 있다. 또한, 재생변수는 SNR 스케일러블한 복수의 향상 레이어 스트림을 수신할 때 이용 될 수 있다. 또한, 향상 레이어 스트림으로부터 다양한 명암 또는 색감을 갖는 고해상도 영상을 선택적으로 복원하는데 이용될 양자화 데이터(QP: Quantization Parameter)를 포함할 수 있다.

한편, 영상 생성부(15)가 입력영상을 이용하여 선택된 3K해상도를 갖는 디스플레이 영상을 생성하면, 일 실시예에 따른 재생부(17)는 생성된 디스플레이 영상을 모바일 단말의 디스플레이부에서 재생할 수 있다.

이하에서는 도 1b를 참조하여 모바일 단말 화면을 위한 3K해상도 영상 생성 장치(10)의 구체적인 동작을 살펴본다.

도 1b는 일 실시예에 따라 모바일 단말 화면을 위한 3K해상도 영상 생성 방법의 흐름도를 도시한다.

도 1b을 참조하면, 모바일 단말 화면을 위한 3K해상도 영상 생성 방법은 도 1a 에 도시된 3K 해상도 영상 생성 모바일 단말(10)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1a에 도시된 3K해상도 영상 생성장치(10)에 관하여 이상에서 기술된 내용은 도 1b에 도시된 방법에도 적용됨을 알 수 있다.

단계 12에서는 일 실시 예에 따른 영상 수신부(11)는 입력 영상을 수신할 수 있다.

단계 14에서는 일 실시예에 따른 영상 해상도 선택부(13)는 모바일 단말 화면에 대한 인간의 인지 특성 및 해상도 분석력을 기초로, 소정 크기의 모바일 단말 화면에서 재생될 영상의 해상도로서 3K해상도를 선택할 수 있다.

예를 들면, 일 실시예에 따라 인간의 인지 특성 및 해상도 분석력을 기초로, 시력 2.0 및 시청거리 12인치를 기준으로 4.6인치 내지 6.1인치 크기의 단말기 화면에서 재생될 영상 해상도로서 3K해상도가 선택될 수 있다.

또는, 다른 실시예에 따라 인간의 인지 특성 및 해상도 분석력을 기초로, 시력 1.0 및 시청거리 8인치를 기준으로 5.1인치 내지 6.8인치 크기의 단말기 화면에서 재생될 영상 해상도로서 3K해상도가 선택될 수 있다.

단계 16에서는 일 실시예에 따른 영상 생성부(15)는 입력영상을 이용하여 선택된 3K해상도를 갖는 디스플레이 영상을 생성할 수 있다.

단계 18에서는 일 실시예에 따른 재생부(17)는 생성된 디스플레이 영상을 디스플레이부에서 재생할 수 있다.

상술한 바에 따라서, 일 실시예에 따른 모바일 단말 화면을 위한 3K해상도 영상 생성 방법은 사용자가 선명도 차이를 인지 가능한 가장 높은 해상도를 최적 해상도로서 제공할 수 있다.

도 1c는 다른 실시예에 따라 모바일 단말 화면을 위한 3K해상도 영상 생성 방법의 흐름도를 도시한다. 도 1c를 참조하면,

단계 42에서, 일 실시예에 따른 영상 수신부는(11)는 입력영상을 수신할 수 있다. 예를 들어, 수신되는 입력 영상은 2K해상도의 영상일 수 있다.

단계 44에서, 일 실시예에 따른 영상 해상도 선택부(13)는 모바일 단말 화면에 대한 인간의 인지 특성 및 해상도 분석력을 기초로, 소정 크기의 모바일 단말 화면에서 재생될 영상의 해상도로서 3K해상도를 선택할 수 있다.

단계 46에서, 일 실시예에 따른 영상 생성부(15)는 입력영상에 대해 비정수배 보간을 수행하여 초해상도 영상을 생성할 수 있다. 예를 들면, 2K해상도 영상이 입력되면 비정수배 보간을 수행하여 3K해상도 영상을 얻을 수 있다. 여기서 2K해상도 영상에 대해 비정수배 보간을 수행하여 3K해상도 영상을 얻는 방법은 도 4b에 대한 설명에서 상술하였으므로 생략한다.한편, 다른 실시예에 따라 영상 생성부(15)는 3K해상도 영상을 다시 보간하여 4K해상도 영상을 얻을 수도 있다. 3K해상도 영상을 4K해상도 영상으로 보간하는 동작은, 2K해상도 영상을 3K해상도 영상으로 비정수배 보간 하기 위해 수행되었던 동작과 유사하므로 구체적인 설명은 생략한다.

단계 48에서는 일 실시예에 따른 재생부(17)는 생성된 디스플레이 영상을 디스플레이부에서 재생할 수 있다.

도 5a는 일 실시예에 따른 모바일 단말 화면을 위한 3K해상도 영상을 생성하는 컨텐츠 서버(50)의 블럭도를 도시한다.

도 5a를 참조하면, 일 실시예에 따른 모바일 단말 화면을 위한 3K해상도 영상을 생성하는 컨텐츠 서버(50)는 영상 수신부(51), 영상 해상도 선택부(53) 영상 생성부(55) 및 출력부(57)를 포함할 수 있다.

일 실시예에 따른 영상 수신부(51)는 입력영상을 수신할 수 있다. 구체적으로, 수신되는 입력 영상은 일 실시예에 따라 3K해상도 영상을 생성하기 위해 MPEG(Moving Picture Expert Group), H.26X, HEVC, AVS, VPx 등의 비디오 압축 표준에 따라 부호화된 영상 데이터 스트림 일 수 있다.

다른 실시예에 따라 수신되는 입력 영상은 스케일러블 비디오 코딩 방식에 따라 부호화될 기본 레이어 영상인 RAW데이터 형태의 소스 영상일 수 있다.

또 다른 실시예에 따라 수신되는 입력 영상은 3K해상도 영상을 생성하기 위해 스케일러블 비디오 코딩이 적용된 레이어 스트림 일 수 있다. 여기서 레이어 스트림은 기본 레이어 스트림과 업 샘플링을 위한 향상 레이어 스트림을 포함 할 수 있다.

일 실시예에 따른 영상 해상도 선택부(53)는 모바일 단말 화면에 대한 인간의 인지 특성 및 해상도 분석력을 기초로, 소정 크기의 모바일 단말 화면에서 재생될 영상의 해상도로서 3K해상도를 선택할 수 있다.

일 실시예에 따른 영상 생성부(55)는 입력영상을 이용하여 선택된 3K해상도를 갖는 디스플레이 영상을 생성할 수 있다.

구체적으로 일 실시예에 따른 영상 생성부(55)는 입력 영상에 대해 비정수배 보간을 수행하여 초해상도 영상을 생성하는 보간부(미도시)를 더 포함할 수 있다.

예를 들면, 일 실시예에 따른 보간부는 입력영상에 대해 비정수배 보간을 수행하여 초해상도 영상을 생성할 수 있다. 구체적으로, 2K해상도 영상이 입력되면 비정수배 보간을 수행하여 3K해상도 영상 또는 4K해상도 영상을 얻을 수 있다.

다른 실시예에 따른 콘텐츠 서버(50)의 영상 생성부(55)는 입력 영상이 스케일러블 비디오 코딩이 적용된 레이어 스트림이라면 기본 레이어 스트림을 복호화하여 기본 해상도의 영상을 복원할 수 있다. 그리고, 영상 생성부(55)는 향상 레이어 스트림을 복호화 하여 부호화 정보를 복원할 수 있다. 향상 레이어 스트림으로부터 복원 된 부호화 정보와 기본 레이어 스트림으로부터 복원된 기본 해상도 영상을 이용하여 고해상도 복원하고, 복원된 고해상도 영상을 이용하여 3K해상도를 갖는 디스플레이 영상을 생성할 수도 있다.

또 다른 실시예에 따른 콘텐츠 서버(50)의 영상 생성부(55)는 입력된 기본 레이어 영상을 부호화하여 기본 레이어 스트림을 생성할 수 있다. 그리고, 상기 기본레이어 스트림과 상기 향상 레이어 영상을 이용하여 향상 레이어 스트림을 생성할 수 있다.

여기서 스케일러블 코딩이 적용된 레이어 스트림을 복호화 하는 구성 및 부호화 하는 구성은 도 6 내지 도 11에 대한 설명에서 후술한다.

한편, 영상 생성부(55)가 입력영상을 이용하여 선택된 3K해상도를 갖는 디스플레이 영상을 생성하면, 일 실시예에 따른 출력부(57)는 생성된 디스플레이 영상을 모바일 단말로 전송할 수 있다.

구체적으로, 일 실시예에 따른 출력부(57)는 생성된 디스플레이 영상에 스케일러블 비디오 코딩을 수행하여 생성된 기본 레이어 스트림 및 향상 레이어 스트림을 모바일 단말로 전송 할 수 있다.

또 다른 실시예에 따른 출력부(57)는 MPD 헤더를 포함하는 DASH 전송 포멧으로 기본 레이어 스트림 및 향상 레이어 스트림을 전송할 수 있다. 여기서 DASH 전송 포멧의 MPD 헤더는 해상도 변환 방법을 나타내는 플래그, 업 샘플링 필터 계수 및 모바일 단말의 식별 정보를 포함할 수 있다. DASH 전송 포멧의 MPD 헤더는 해상도 변환 방법을 나타내는 플래그, 업 샘플링 필터 계수 및 모바일 단말 모델 정보를 전송하는 구성은 도 12에 대한 설명에서 후술한다.

또 다른 실시예에 따른 출력부(57)는 재생변수를 전송할 수 있다. 예를 들면, 컨텐츠 서버(50)가 재생변수를 모바일 단말(10)로 전송하기 위해서, 영상 생성부(55)는 향상 레이어 스트림 생성시, 재생변수에 따라 다양한 명암 또는 색감을 갖는 복수의 향상 레이어 스트림을 생성할 수 있다. 또한, 출력부(57)는 복수의 레이어 스트림을 모바일 단말(10)로 전송할 수 있다. 일 실시 예에 따른 모바일 단말(10)의 수신부(11)는 소정 재생 변수를 이용하여 부호화된 향상 레이어 스트림을 수신할 수 있다. 따라서, 생성부(15)는 재생 변수를 기초로 수신된 향상 레이어 스트림으로부터 다양한 색감 또는 명암을 갖는 고해상도 영상을 선택적으로 복원 할 수 있다.

상기 재생변수를 수신하고, 수신된 재생 변수를 기초로 다양한 색감 또는 명함의 고해상도 영상을 복원할 수 있다.

도 5b는 일 실시예에 따라 모바일 단말 화면을 위한 3K해상도 영상 전송 방법의 흐름도를 도시한다.

도 5b을 참조하면, 모바일 단말 화면을 위한 3K해상도 영상 전송 방법은 도 5a 에 도시된 3K 해상도 영상 생성 컨텐츠 서버(50)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 5a에 도시된 3K해상도 영상 생성 컨텐츠 서버(50)에 관하여 이상에서 기술된 내용은 도 5b에 도시된 방법에도 적용됨을 알 수 있다.

단계 52에서는 일 실시 예에 따른 영상 수신부(11)는 입력 영상을 수신할 수 있다.

단계 54에서는 일 실시예에 따른 영상 해상도 선택부(13)는 모바일 단말 화면에 대한 인간의 인지 특성 및 해상도 분석력을 기초로, 소정 크기의 모바일 단말 화면에서 재생될 영상의 해상도로서 3K해상도를 선택할 수 있다.

단계 56에서는 일 실시예에 따른 영상 생성부(15)는 입력영상을 이용하여 선택된 3K해상도를 갖는 디스플레이 영상을 생성할 수 있다.

단계 58에서는 일 실시예에 따른 일 실시예에 따른 출력부(57)는 생성된 디스플레이 영상을 모바일 단말로 전송할 수 있다.

도 6은 일 실시예에 따른 스케일러블 3K해상도 영상 부호화 장치(600)의 블록도를 도시한다.

일 실시예에 따른 스케일러블 3K해상도 영상 부호화 장치(600)는 기본 레이어 부호화부(610), 제 1 향상 레이어 부호화부(620), 제2 향상 레이어 부호화부(630) 및 출력부(640)를 포함한다.

일 실시예에 따른 기본 레이어 부호화부(610)는, 다수 레이어들로 분류된 영상들 중 기본 레이어 영상을 부호화한다.

또한, 기본 레이어 부호화부(610)는, 기본레이어 영상의 블록별로, 인트라/인터 예측 변환, 양자화, 및 엔트로피 부호화를 수행할 수 있다. 생성된 비트스트림이 기본레이어 스트림으로서 출력될 수 있다. 기본 레이어 영상 블록에 대한 부호화된 데이터를, 제 1 향상 레이어 부호화부(620)에게 전송할 수 있다. 또는, 기본 레이어 부호화부(610)는 제 1 향상 레이어 부호화부(620)로, 기본 레이어 영상 블록에 대한 복원된 영상의 데이터를 전송할 수 있다. 기본 레이어 영상 블록의 복원된 데이터가 향상 레이어 영상의 해상도로 업 샘플링 될 수 있다. 기본 레이어 영상 블록과 대응되는 제 1 향상 레이어 영상의 블록이 부호화될 때, 기본레이어 영상의 업 샘플링된 영상이 참조될 수 있다.

일 실시예에 따른 제 1 향상 레이어 부호화부(620)는, 제 1 향상 레이어 영상을 부호화한다.

본 발명의 일 실시예에 따른 제 1 향상 레이어 부호화부(620)는, 기본 레이어 영상의 일부 또는 전체 영역이 복원된 영상이 업 샘플링된 영상을 이용하여 제 1 향상 레이어 영상을 부호화 할 수 있다. 예를 들면, 업 샘플링부(도 8의 850)는 도 9에 도시된 계수를 가지는 필터로서, 8개의 서브 픽셀 위치들에 따라 각기 다른 계수로 구성된 8탭 필터를 이용하여 기본레이어 영상을 업 샘플링 할 수 있다.

제 1 향상 레이어 복호화부(620)는, 기본레이어 영상의 업 샘플링 영상을 이용하여 제 1 향상 레이어 영상에 대한 예측을 수행할 수 있다. 기본레이어 영상의 업 샘플링된 영상 블록과 제 1 향상 레이어 영상에 상응하는 블록간의 차이 값이 부호화 될 수 있다. 즉, 기본레이어 영상의 업 샘플링된 영상과 제 1 향상 레이어 영상 간의 잔차 성분 및 변이 정보가 부호화 되어 제 1 향상 레이어 스트림이 출력 될 수 있다.

제 2 향상 레이어 부호화부(630)는, 제1 레이어 영상의 일부 또는 전체 영역이 복원된 영상이 업 샘플링되고, 업 샘플링된 영상을 이용하여 제 2 향상 레이어 영상을 부호화 할 수 있다. 여기서 제 2 향상 레이어 부호화부(630)는 기본 레이어 영상 대신, 제 1 향상 레이어 영상을 참조한다는 점을 제외하고는, 제 1 향상 레이어 부호화부(620)와 동일한 동작을 수행한다. 따라서, 이하에서도 제 2 향상 레이어 부호화부(630)와 제 1향상 레이어 부호화부(620)의 중복되는 동작에 대한 설명은 생략한다.

도 7은 일 실시예에 따른 스케일러블 3K해상도 영상 복호화 장치(700)의 블록도를 도시한다.

도 7를 참조하면, 일 실시예에 따른 스케일러블 3K해상도 영상 복원 장치(700)는, 수신부(710), 기본 해상도의 영상 복원부(720), 제 1 업 샘플링부(730), 제 1 고해상도의 영상 복원부(740), 제 2 업 샘플링부(750) 및 제 2 고해상도 영상 복원부(760) 를 포함할 수 있다. 또한 수신부(710)는 각 계층의 레이어 스트림을 수신하는 기본 레이어 수신부(711), 제 1 향상 레이어 수신부(712) 및 제 2 향상 레이어 수신부(713)을 포함할 수 있다. 여기서 기본 해상도의 영상은 2K해상도 영상, 제 1 고해상도의 영상은 3K해상도 영상 및 제 2 고해상도의 영상은 4K해상도 영상 일 수 있다.

스케일러블 3K해상도 영상 복호화 장치(700)는, 비디오의 부호화된 데이터가 수록된 비트스트림을 수신할 수 있다. 수신부(710)는, 수신된 비트 스트림으로부터, 기본 해상도의 영상의 부호화된 데이터 스트림을 수신할 수 있다.

또한 다른 실시예에 따라 수신부(710)는 수신되는 데이터 스트림이 DASH 전송 포멧일 경우 영상 스트림의 MPD 헤더로부터 해상도 변환 방법을 나타내는 플래그를 획득 할 수 있다. 플래그를 획득하여 영상 복호화에 참조하는 구성은 도 12 및 도 13에 대한 설명에서 상술한다.

기본 해상도의 영상 복원부(720)는, 수신된 기본 해상도의 영상의 부호화된 데이터를 복호화하여, 기본 해상도의 영상을 복원할 수 있다.

제 1 고해상도의 영상 복원부(740)는, 기본 해상도 영상의 일부 또는 전체 영역이 복원된 영상의 업 샘플링된 영상을 이용하여 제 1 고 해상도 영상을 복호화 할 수 있다. 또한, 제 1 고해상도 영상 복원부(740)는 기본 해상도의 영상의 부호화된 데이터를 참조하여, 제 1 고해상도의 영상을 복호화할 수 있다. 즉, 제 1 고해상도의 영상 복원부(740)는 기본 해상도의 영상의 복원된 데이터를 참조하여, 제 1 고해상도의 영상을 복호화할 수 있다.

일 실시예에 따른 제 2 고해상도 영상 복원부(760)의 동작은 상술한 제 1 고해상도 영상 복원부(740)의 동작에서 기본 해상도의 영상 대신 제 1 고해상도 영상을 이용하는 것을 제외하고는 동일하므로 상세한 설명은 생략한다.

도 8은 일 실시예에 따른 스케일러블 3K해상도 영상 부호화 시스템(800)의 구체적인 블록도를 도시한다.

도 8은 일 실시예에 따른 스케일러블 3K해상도 영상 부호화 시스템(800)의 구체적인 블록도를 도시한다.

스케일러블 3K해상도 영상 부호화 시스템(800)은 기본 레이어 부호화 부(810)와 향상 레이어 부호화부(860)를 포함한다. 기본 레이어 부호화부(810) 및 향상 레이어 부호화부(860)는 각각 도 6의 기본 레이어 부호화부(610) 및 제 1 향상 레이어 부호화부(620)에 대응될 수 있다. 한편, 제 2 향상 레이어부(630)의 동작은 제 1 향상 레이어 부호화부(630)와 유사하므로 제 1 향상 레이어와 제 2 향상 레이어를 포함하는 개념인 향상 레이어에 대한 향상 레이어 부호화부(860)의 구체적인 동작을 상술한다.

기본 레이어 부호화부(810)는, 기본해상도 영상 시퀀스를 기본해상도 영상마다 부호화한다. 향상 레이어 부호화부(860)는, 고해상도 영상 시퀀스를 입력 받아 고해상도 영상마다 부호화한다. 본 발명의 일 실시예에 따라 기본 해상도 영상 시퀀스는 2K해상도의 영상 시퀀스 이며, 고해상도 영상 시퀀스는 3K해상도 영상 시퀀스 일 수 있다. 기본 레이어 부호화부(810)와 향상 레이어 부호화부(860)의 동작들 중에서 중복되는 동작은 동시에 후술한다.

먼저 기본 레이어 부호화부(810)에 대하여 설명한다.

기본 레이어의 블록 분할부(818)는 기본 레이어 영상을 소정 크기의 블록들로 분할한다. 전술한 바와 같이, 종래 매크로블록과 같이 고정된 크기의 블록을 이용하는 대신에, 일 실시에에 따른 스케일러블 3K해상도 영상 부호화 시스템(800)는 최대 부호화 단위에 기초하여 영상을 분할한 트리 구조의 부호화 단위를 이용할 수 있다. 이하에서는 설명의 편의를 위하여 부호화 단위를 블록으로 지칭하기로 한다.

블록 분할부(818)로부터 출력된 블록마다 인트라 예측 또는 인터 예측이 수행될 수 있다. 움직임 보상부(840)는 현재 블록에 대한 인터 예측을 수행하여 현재 블록의 예측 블록을 출력하고, 인트라 예측부(845)는 현재 블록에 대한 인트라 예측을 수행하여 현재 블록의 예측 블록을 출력할 수 있다.

부호화 컨트롤부(815)는 인트라 예측 모드 및 인터 예측 모드 중 현재 블록과 가장 유사한 예측 블록에 획득하는데 이용된 예측 모드를 결정하고, 결정된 예측 모드에 따른 예측 블록이 출력되도록 예측 스위치(848)를 제어한다. 인트라 예측 또는 인터 예측을 통해 획득된 현재 블록의 예측 블록과 현재 블록의 차이값인 레지듀얼은 변환/양자화부(820)에 의하여 변환 및 양자화되어 양자화된 변환 계수가 출력될 수 있다.

스케일링/역변환부(825)는 양자화된 변환계수에 대해 스케일링 및 역변환을 수행하여 레지듀얼을 복원할 수 있다.

스토리지(830)는 복원된 레지듀얼과 현재 블록의 예측 블록을 가산하여 현재 블록을 복원하여 저장한다. 블록 분할부(818)에서 분할된 기본 레이어 영상의 모든 블록마다 부호화 과정이 반복되고, 부호화된 후 복원된 기본 레이어의 블록들이 스토리지(830)에 저장될 수 있다.

디블로킹부(835)는 복원된 기본 레이어 영상에 대한 디블로킹 필터링을 수행할 수 있다.

업 샘플링부(855)는 기본 레이어의 영상을 업 샘플링하여 향상 레이어 영상에 대응되는 업 샘플링된 영상을 출력한다.

일 실시예에 따른 업 샘플링부(855)는 8개의 서브 픽셀 위치들에 따라 각기 다른 계수를 적용한 8탭 필터를 이용하여 기본레이어 영상을 업 샘플 시킬 수 있다. 이러한 8탭 필터를 이용함으로써, 2K해상도의 기본 레이어 영상을 3K해상도의 제 1 향상 레이어 영상으로 보간하는 비정수배 업 샘플링이 구현될 수 있다.

예를 들면, 도 9는 일 실시예에 따른 스케일러블 3K해상도 영상 업 샘플링에 사용되는 업 샘플링 필터의 계수를 도시한다.

도 9를 참조하면, 업 샘플링 필터의 서브픽셀 위치에 따른 필터 계수는 제 0 픽셀 포지션에 대응하는 계수 {0,0,0,64,0,0,0,0}, 제 1 픽셀 포지션에 대응하는 계수 {0,1,-3,63,4,-2,1,0}, 제 2 픽셀 포지션에 대응하는 계수 {-1,2-5,62,8,-3,1,0}, 제 3 픽셀 포지션에 대응하는 계수 {-1,3,-8,60,13,-4,1,0}, 제 4 픽셀 포지션에 대응하는 계수 {-1,4,-10,58,17,-5,1,0}, 제 5 픽셀 포지션에 대응하는 계수 {-1,4,-11,52,26,-8,3,-1,0}, 제 6 픽셀 포지션에 대응하는 계수 {-1,4,-11,50,28,-8,2,0}, 제 7 픽셀 포지션에 대응하는 계수 {-1,4,-11,44,35,-10,4,-1} 및 제8 픽셀포지션에 대응하는 계수 {-1,4,-11,40,40,-11,4,-1}중 하나일 수 있다.

다시 도 8을 참조하면, 향상 레이어 부호화부(860)에 대하여 구체적으로 설명한다.

향상 레이어의 블록 분할부(868)는 향상 레이어 영상을 소정 크기의 블록들로 분할한다. 블록 분할부(868)로부터 출력된 블록마다 인트라 예측 또는 인터 예측이 수행될 수 있다. 움직임 보상부(890)는 현재 블록에 대한 인터 예측을 수행하여 블록의 예측 블록을 출력하고, 인트라 예측부(895)는 현재 블록에 대한 인트라 예측을 수행하여 블록의 예측 블록을 출력한다.

특히, 일 실시예에 따른 향상 레이어의 인트라 예측부(895)는 향상 레이어의 현재 블록 이전에 부호화된 후 복원된 향상 레이어 현재 블록의 주변 픽셀 및 기본 레이어 블록의 주변 픽셀에 기초하여 획득된 향상 레이어 블록의 주변 픽셀을 선택적으로 이용하여 향상 레이어의 현재 블록에 대한 인트라 예측을 수행한다. 구체적인 향상 레이어의 현재 블록에 대한 인트라 예측 과정에 대해서는 후술한다.

부호화 컨트롤부(865)는 인트라 예측 모드 및 인터 예측 모드 중 향상 레이어의 현재 블록과 가장 유사한 예측 블록에 획득하는데 이용된 예측 모드를 결정하고, 결정된 예측 모드에 따른 현재 블록의 예측 블록이 출력되도록 예측 스위치(898)를 제어한다. 인트라 예측 또는 인터 예측을 통해 획득된 현재 블록의 예측 블록과 현재 블록의 차이값인 레지듀얼은 변환/양자화부(870)에 의하여 변환 및 양자화되어 양자화된 변환 계수가 출력된다. 스케일링/역변환부(875)는 양자화된 변환계수에 대해 스케일링 및 역변환을 수행하여 레지듀얼을 복원한다. 스토리지(880)는 복원된 레지듀얼과 현재 블록의 예측 블록을 가산하여 현재 블록을 복원하여 저장한다. 디블로킹부(885)는 복원된 향상 레이어 영상에 대한 디블로킹 필터링을 수행한다.

도 8에서 도시된 인터-레이어 예측 방식에 따른 스케일러블 3K해상도 영상 부호화 시스템(800)과 유사하게, 스케일러블 3K해상도 영상 복호화 시스템도 구현될 수 있다. 즉, 스케일러블 3K해상도 영상 복호화 시스템은, 기본 레이어 비트스트림 및 향상 레이어 비트스트림을 수신할 수 있다. 스케일러블 3K해상도 영상 복호화 시스템의 기본 레이어 복호화부에서 기본 레이어 비트스트림을 복호화하여 기본 레이어 복원영상들을 생성할 수 있다. 스케일러블 3K해상도 영상 복호화 시스템의 향상 레이어 복호화단에서는, 기본 레이어 복원영상을 상술한 업 샘플링 필터를 통해 업 샘플링 한 영상의 부호화 정보 및 향상 레이어 비트스트림을 복호화하여 복원된 부호화 정보를 이용하여 고해상도 영상들을 생성할 수 있다.

한편, 일 실시예에 따른 상술한 스케일러블 부호화 시스템은 컨텐츠 서버(도 5의 50)에 포함되어, 컨텐츠 서버(도 5의 50)는 생성된 3K해상도 영상을 모바일 단말(도 1의 10)로 전송하기 위한 레이어 스트림을 출력할 수 있다.

또한, 일 실시예에 따른 상술한 스케일러블 복호화 시스템은 모바일 단말(도 1의 10)에 포함되어, 모바일 단말(도 1의 10)이 스케일러블 비디오 코딩이 적용된 레이어 스트림을 수신하여 3K해상도 영상을 생성할 수도 있다.

도 10은 일 실시예에 따른 스케일러블 3K해상도 영상 생성 방법의 순서도를 도시한다.

도 10을 참조하면, 스케일러블 3K해상도 영상 생성 방법은 도 1a 및 도 5a에 도시된 3K 해상도 영상 생성 모바일 단말(10) 및 3K 해상도 영상 생성 컨텐츠 서버(50)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1a 및 도 5a에 도시된 3K 해상도 영상 생성 모바일 단말(10) 및 3K 해상도 영상 생성 컨텐츠 서버(50)에 관하여 이상에서 기술된 내용은 도 10에 도시된 방법에도 적용됨을 알 수 있다. 따라서, 도 10에서는 3K 해상도 영상 생성 모바일 단말(10)의 동작에 대해서 설명하지만, 동일한 동작 시퀀스가 3K 해상도 영상 생성 컨텐츠 서버(50)에서도 수행될 수 있음을 본 실시예가 속하는 기술분야의 통상의 기술자는 쉽게 이해할 수 있을 것이다.

도 10을 참조하면,

단계 112에서 일 실시예에 따른 모바일 단말(10)은 기본 레이어 스트림과 제 1 향상 레이어 스트림 및 제 2 향상 레이어 스트림을 수신할 수 있다.

단계 114에서 일 실시예에 따른 모바일 단말(10) 기본 레이어 스트림을 복호화하여 기본 해상도의 영상을 복원할 수 있다. 예를 들면, 2K해상도 영상을 복원할 수 있다. 구체적인 복호화 동작 방법은 상술하였으므로 생략한다.

단계 116에서 일 실시예에 따른 모바일 단말(10)은 제 1 향상 레이어 스트림을 복호화 하여 복원된 부호화 정보와 기본 해상도 영상을 이용하여 제 1 고해상도 영상을 복원할 수 있다.

일 실시예에 따른 모바일 단말(10)은 업 샘플링 필터를 이용하여 기본 해상도 영상을 업 샘플링 하고, 업 샘플링 된 기본해상도 영상과 제 1 향상 레이어 스트림으로부터 복원된 부호화 정보를 이용하여 제 1 고해상도 영상을 복원 할 수 있다.

예를 들면, 2K해상도 영상을 업 샘플링한 영상 및 제 1 향상 레이어 스트림을 복호화 하여 복원된 부호화 정보를 이용하여 3K해상도 영상을 복원할 수 있다.

일 실시예에 따른 업 샘플링 필터는 8개의 서브 픽셀 위치들에 따라 각각 다른 계수를 갖는 필터들 중 하나로 결정 될 수 있다.

한편, 단계 s117에서 모바일 단말(10)이 생성하려는 디스플레이 영상이 제 1 고해상도 영상이라면 단계 120으로 진행하여 생성된 제 1 고해상도 영상을 이용하여 디스플레이 영상을 생성할 수 있다.

단계 s118에서는 모바일 단말(10)이 생성하려는 디스플레이 영상이 제 2 고해상도 영상이라면 단계 118로 진행한다.

단계 118에서 일 실시예에 따른 모바일 단말(10)은 제 2 향상 레이어 스트림으로부터 복원된 부호화 정보와 제 1 고해상도 영상을 이용하여 제 2 고해상도 영상을 복원할 수 있다. 예를 들면, 3K해상도 영상을 업 샘플링한 영상과 제 2 향상 레이어 스트림에서 복원된 부호화 정보를 이용하여 4K해상도 영상을 복원할 수 있다.

단계 120에서 일 실시예에 따른 모바일 단말(10)은 생성된 제 2 고해상도 영상을 이용하여 디스플레이 영상을 생성할 수 있다.

한편, 상술한 바에 따라 업 샘플링 필터를 두 번 적용하여 두 단계에 걸쳐서 2K해상도 영상을 4K해상도 영상으로 복원하게 되면, 2K해상도 영상을 바로 4K해상도 영상으로 복원하는 것 보다 이상적인 게인을 얻을 수 있다.

예를 들면, 도 11은 일 실시예에 따른 스케일러블 비디오 코딩이 적용 된 영상에 업 샘플링을 위한 필터 적용시의 필터 게인 그래프를 도시한다.

도 11을 참조하면, 상술한 바에 따라 소정의 계수를 갖는 필터를 통해 2K해상도 영상을 이용하여 3K해상도 영상을 복원하고, 다시 복원된 3K 해상도 영상을 이용하여 4K영상을 복원할 경우 필터 게인이 1에 가까운 이상적인 형태의 그래프가 나타난다. 반면에 종래의 방식에 따라 2K 해상도 영상을 바로 4K 해상도 영상으로 복원시에 주파수 값이 0.5에서 1.5 사이에서 필터 게인이 1 이하로 감소하는 부분이 존재하여 상대적으로 성능이 떨어짐을 알 수 있다.

따라서, 2K해상도 영상으로부터 4K해상도 영상을 생성함에 있어서, 본 발명의 일 실시 예에 따라 2K해상도 영상을 이용하여 3K해상도 영상으로 복원한 뒤, 한 단계 더 나아가 3K해상도 영상을 이용하여 다시 4K해상도 영상을 복원하는 것이 보다 이상적인 게인을 얻는데 유리할 것이다.

한편, 도 5a에서 상술한 일 실시예에 따른 컨텐츠 서버(50)의 출력부(57)는 MPD 헤더를 포함하는 DASH 전송 포멧으로 기본 레이어 스트림 및 향상 레이어 스트림을 전송할 수 있다. 여기서 DASH 전송 포멧의 MPD 헤더는 해상도 변환 방법을 나타내는 플래그(1201), 업 샘플링 필터 계수(1203) 및 모바일 단말의 식별 식별 정보(1202)를 포함할 수 있다. 따라서, 컨텐츠 서버(50)는 업 샘플링 방법이 달리 적용된 스케일러블 3K해상도 영상 스트림을 모바일 단말(10)로 전송할 수 있다.

예를 들면, 도 12는 일 실시예에 따른 플래그를 포함하는 DASH 전송 포멧의 예시도를 도시한다.

도 12를 참조하면, 일 실시예에 따른 DASH 전송 포멧인 영상 스트림의 MPD 헤더는 해상도 변환 방법을 나타내는 플래그(1201), 모바일 단말의 식별 정보(1202) 및 기본 해상도 영상에 대해 2단계의 업 샘플링이 수행 될 때 이용될 업 샘플링 필터의 계수(1203)를 포함 할 수 있다.

일 실시 예에 따른 컨텐츠 서버(50)는 이러한 모바일 단말 모델정보(1202) 및 업 샘플링 계수(1201)를 모두 함께 헤더에 포함시켜 전송 할 수 있다.

또는 다른 실시예에 따른 컨텐츠 서버(50)는 플래그(1201)값에 따라 다른 데이터를 전송 시킬 수 있다. 예를 들면, 플래그(1201)값이 1이면 표준 SVC에 따라 부호화된 스트림을 전송할 수 있다. 또한, 부호화된 스트림에 최적의 해상도로 구현될 수 있는 모바일 단말정보(1202)를 함께 제공할 수 있다. 따라서, 모바일 단말(50)은, 수신한 모바일 단말 모델정보(1202)에 기초하여 현재 모바일 단말(50)의 성능에 따라 복원할 수 있는 해상도를 선택할 수 있으므로, 모바일 단말(50) 성능에 따라 2K, 3K 및 4K해상도 등으로 차별화된 화질의 영상을 재생할 수 있다.

또한, 플래그(1201)값이 0이면 최적화된 2단계의 업 샘플링이 수행 될 때 이용될 업 샘플링 필터의 계수 값이 전송될 수 있다.

한편, 일 실시 예에 따라 상술한 컨텐츠 서버(50)가 MPD 헤더를 포함하는 DASH 전송 포멧으로 전송한 데이터 스트림을 모바일 단말(10)이 수신하할 수 있다. 따라서, 모바일 단말(10)은 플래그에 따라 업 샘플링 방법을 달리 적용하여 3K해상도 영상을 복원할 수 있다.

도 13는 일 실시예에 따른 모바일 단말(10)에서 플래그에 따라 업 샘플링 방법을 달리 적용하는 3K해상도 영상 복원 방법의 순서도를 도시한다.

단계 121에서 일 실시예에 따른 모바일 단말(10)은 기본 레이어 스트림과 업 샘플링을 위한 향상 레이어 스트림을 수신할 수 있다.

단계 122에서 일 실시예에 따른 모바일 단말(10) DASH 전송 포멧인 상기 영상 스트림의 MPD 헤더로부터 해상도 변환 방법을 나타내는 플래그를 획득 할 수 있다.

일 실시예에 따른 모바일 단말(10)은 획득된 플래그(1201)에 따라 모바일 단말의 모델 정보(1202) 및 기본 해상도 영상에 대해 2단계의 업 샘플링이 수행 될 때 이용될 업 샘플링 필터의 계수(1203)를 획득 할 수 있다.

먼저, 단계 123에서 모바일 단말(10)은 플래그 값이 1인지 판단한다.

만약 플래그 값이 0이라면 단계 124로 진행하여, MPD 헤더로부터 업 샘플링 필터의 계수를 획득 할 수 있다.

단계 127에서는 일 실시예에 따른 모바일 단말(10)은 복원된 기본 해상도의 영상을, 획득된 계수가 적용된 업 생플링 필터를 이용하여 업 샘플링 할 수 있다. 다음으로 업 샘플링 된 기본해상도 영상 및 향상 레이어 스트림으로부터 복원된 부호화 정보를 이용하여 고해상도 영상을 복원 할 수 있다.

다시, 단계 123에서 플래그 값이 1이라고 판단되면 단계 125로 진행하여, MPD 헤더로부터 모바일 단말 모델정보를 획득할 수 있다.

단계 126에서 모바일 단말 모델정보에 따라 디스플에이 영상의 해상도를 선택한다. 일 실시예에 따른 모바일 단말 모델정보는 영상스트림을 DASH 전송 포멧으로 부호화한 전송단에서 최적 해상도 영상을 재생할 수 있는 모바일 단말 모델 정보가 포함될 수 있다. 따라서 모바일 단말(10)에서 지정한 모바일 단말 모델 정보와 현재 단말기 모델을 비교하여 수신된 영상을 2K해상도, 3K해상도 및 4K해상도 중 하나로 복원할 수 있다.

단계 127에서 일 실시예에 따른 모바일 단말(10)은 선택된 해상도의 영상을 복원하여 모바일 단말 화면에 디스플레이 될 영상을 생성할 수 있다.

상술한 바에 따라 일 실시예에 따른 콘텐츠 서버(50)는 플래그를 MPD헤더에 포함시킴으로써 업 샘플링 계수 및 단말기 모델 정보를 전송할 수 있다. 또한, 모바일 단말(10)은 이를 수신하여 모바일 단말 모델에 따라 최적의 해상도를 갖는 영상을 생성할 수 있다.

한편, 일 실시예에 따른 도 5a의 컨텐츠 서버(50)의 출력부(57)는 재생변수에 대한 정보를 전송할 수 있다. 예를 들면, 컨텐츠 서버(50)의 영상 생성부(55)는 향상 레이어 스트림 생성시, 재생변수에 따라 다양한 명암 또는 색감을 갖는 복수의 향상 레이어 스트림을 생성할 수 있다. 따라서, 출력부(77)는 복수의 레이어 스트림 및 각 레이어 스트림에서 이용된 재생변수의 정보를 모바일 단말(10)로 전송할 수 있다.

따라서, 이하에서는 상기 재생변수를 수신하여 복원하기 위한 일 실시예에 따른 SNR 스케일러블 영상 복원 장치(1400)를 후술한다. 한편, 후술하는 SNR 스케일러블 영상 복원 장치(1400)는 도 1a에서 상술한 모바일 단말(10)에 포함될 수 있음을 본 발명이 속하는 분야의 통상의 기술자는 쉽게 이해할 수 있을 것이다.

도 14는 일 실시예에 따른 SNR 스케일러블 영상 복원 장치(1400)의 블록도를 도시한다.

도 14를 참조하면, 도 14를 참조하면, 일 실시예에 따른 SNR 스케일러블 영상 복원 장치(1400)는, 수신부(1410), 기본 해상도의 영상 복원부(1420), 업 샘플링부(1430) 및 고해상도의 영상 복원부(1440)를 포함할 수 있다. 또한 수신부(710)는 각 계층의 레이어 스트림을 수신하는 기본 레이어 수신부(1411) 및 향상 레이어 수신부(1412)를 포함할 수 있다.

도 14 에 도시된 수신부(1410), 기본 해상도의 영상 복원부(1420), 업 샘플링부(1430) 및 고해상도의 영상 복원부(1440)의 동작은 도 7 에 대한 설명에서 상술한 수신부(710), 기본 해상도의 영상 복원부(720), 제 1 업 샘플링부(730) 및 제 1 고해상도의 영상 복원부(740)의 동작과 유사하므로, 차이가 있는 수신부(1410) 및 고해상도 영상 복원부(1440)에 대해서만 상술한다.

일 실시예에 따른 SNR 스케일러블 영상 복원 장치 (1440)는 재생변수(1441)에 대한 정보를 수신할 수 있다. 여기서, 재생변수(1441)는 디스플레이 될 영상의 색감, 명암도 등 사용자가 가변적으로 설정할 수 있는 데이터 일 수 있다. 또한, 재생변수(1441)에 대한 정보는 향상 레이어 스트림으로부터 다양한 명암 또는 색감을 갖는 고해상도 영상을 선택적으로 복원하는데 이용될 양자화 데이터(QP: Quantization Parameter)를 포함할 수 있다.

먼저, 일 실시예에 따른 수신부(1410)는 기본 레이어 스트림, 업샘플링을 위한 향상 레이어 스트림 및 SNR스케일러블 영상 복원을 위한 재생변수(1441)에 대한 정보를 함께 수신할 수 있다.

다음으로, 일 실시예에 따른 기본해상도 영상 복원부(1420)는 기본 스트림을 복호화하여 기본 해상도의 영상을 복원할 수 있다.

일 실시예에 따른 고해상도 영상 복원부(1440)는 수집된 재생변수(1441), 향상 레이어 스트림으로부터 복원된 부호화 정보 및 복원된 기본 해상도의 영상을 업 샘플링한 데이터를 이용하여 SNR(Signal to Noise Ratio) 스케일 된 고해상도 영상을 복원 할 수 있다.

여기서 SNR 스케일 된 고해상도 영상은 각 부호화 레이어별로 원하는 가변적인 재생변수(1441)를 설정하여 다양한 명암 또는 색감이 구현된 고해상도 영상을 의미한다. 예를 들어, 재생변수(1441)는 SNR 스케일 된 영상의 최적 가변적인 명암도 또는 색감을 나타내기 위한 데이터 일 수 있다.

한편, 일 실시예에 따라 SNR 스케일러블 영상 복원 장치 (1440)는 상술한 재생변수로서, 양자화 파라미터 값 또는 색감, 명암도 등을 이용하여 향상 레이어 스트림을 복호화 할 수 있다.

또한, 다른 실시예에 따른 SNR 스케일러블 영상 복원 장치(1440)는 재생변수(1441)에 따라 다양한 명암 또는 색감을 가지도록 생성된 복수의 향상 레이어 스트림을 수신하고, 수신된 향상 레이어 스트림에 재생변수를 적용하여 모바일 단말 성능 또는 사용자의 선호에 따라 다양한 색감, 명암도 등을 갖는 영상을 선택적으로 재생할 수 있다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (35)

1. 모바일 단말 화면을 위한 3K해상도 영상을 생성하는 방법에 있어서,
   입력영상을 수신하는 단계;
   상기 모바일 단말 화면에 대한 인간의 인지 특성 및 해상도 분석력을 기초로, 소정 크기의 상기 모바일 단말 화면에서 재생될 영상의 해상도로서 3K해상도를 선택하는 단계; 및
   상기 입력영상을 이용하여 상기 선택된 3K해상도를 갖는 디스플레이 영상을 생성하는 단계를 포함하며,
   상기 디스플레이 영상을 생성하는 단계는 상기 입력영상에 대해 비정수배 보간을 수행하여 초해상도(super-resolution) 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
2. 제 1 항에 있어서, 상기 3K해상도를 선택하는 단계는,
   상기 인간의 인지 특성 및 해상도 분석력을 기초로, 시력 2.0 및 시청거리 12인치를 기준으로 4.6인치 내지 6.1인치 크기의 상기 모바일 단말 화면에서 재생될 영상 해상도로서 상기 3K해상도를 선택하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
3. 제 1 항에 있어서, 상기 3K해상도를 선택하는 단계는,
   상기 인간의 인지 특성 및 해상도 분석력을 기초로, 시력 1.0 및 시청거리 8인치를 기준으로 5.1인치 내지 6.8인치 크기의 상기 모바일 단말 화면에서 재생될 영상 해상도로서 상기 3K해상도를 선택하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
4. 삭제
5. 제 1 항에 있어서, 상기 초해상도 영상을 생성하는 단계는,
   2K해상도의 상기 입력영상에 대해 비정수배 보간하여 상기 3K해상도의 출력영상을 생성하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
6. 제 5 항에 있어서,
   상기 2K해상도 FHD(2560X1080) 해상도를 나타내며,
   상기 3K해상도는 2560X1440 해상도를 나타내는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
7. 제 1 항에 있어서, 상기 초해상도 영상을 생성하는 단계는,
   상기 비정수배 보간을 통해 상기 입력영상의 종횡비(aspect ratio)와 동일한 종횡비의 상기 3K해상도의 출력영상을 생성하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
8. 제 1 항에 있어서, 상기 입력영상을 수신하는 단계는,
   기본 레이어 스트림과 향상 레이어 스트림을 수신하는 단계를 포함하고,
   상기 디스플레이 영상을 생성하는 단계는,
   상기 기본 레이어 스트림을 복호화하여 기본 해상도의 영상을 복원하는 단계;
   상기 향상 레이어 스트림에서 복호화된 부호화 정보와 상기 기본 해상도의 영상을 이용하여 고해상도 영상을 복원하는 단계; 및
   상기 복원된 고해상도 영상을 이용하여, 상기 디스플레이 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
9. 제 8 항에 있어서,
   상기 향상 레이어 스트림은 제 1 향상 레이어 스트림 및 제 2 향상 레이어 스트림을 포함하고,
   상기 디스플레이 영상을 생성하는 단계는,
   상기 제 1 향상 레이어 스트림에서 복호화된 부호화 정보와 상기 기본 해상도 영상을 이용하여 제 1 고해상도 영상을 복원하는 단계; 및
   상기 제 2 향상 레이어 스트림에서 복호화된 부호화 정보와 상기 제 1 고해상도 영상을 이용하여 제 2 고해상도 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
10. 제 8 항에 있어서,
    상기 디스플레이 영상을 생성하는 단계는
    업 샘플링 필터를 이용하여 상기 기본 해상도 영상을 업 샘플링 하는 단계; 및
    상기 향상 레이어 스트림에서 복호화된 부호화 정보 및 상기 업 샘플링된 기본해상도 영상을 이용하여 고해상도 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
11. 제 10 항에 있어서, 상기 업 샘플링 하는 단계는,
    8개의 서브 픽셀 포지션마다 각각 다른 계수(coefiicient)로 구성된 상기 업 샘플링 필터를 선택하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
12. 제 11 항에 있어서, 상기 업 샘플링 필터를 선택하는 단계는,
    제 0 픽셀 포지션에 대응하는 계수 {0,0,0,64,0,0,0,0}, 제 1 픽셀 포지션에 대응하는 계수 {0,1,-3,63,4,-2,1,0}, 제 2 픽셀 포지션에 대응하는 계수 {-1,2, -5,62,8,-3,1,0}, 제 3 픽셀 포지션에 대응하는 계수 {-1,3,-8,60,13,-4,1,0}, 제 4 픽셀 포지션에 대응하는 계수 {-1,4,-10,58,17,-5,1,0}, 제 5 픽셀 포지션에 대응하는 계수 {-1,4,-11,52,26,-8,3,-1,0}, 제 6 픽셀 포지션에 대응하는 계수 {-1,4,-11,50,28,-8,2,0}, 제 7 픽셀 포지션에 대응하는 계수 {-1,4,-11,44,35,-10,4,-1} 및 제8 픽셀포지션에 대응하는 계수 {-1,4,-11,40,40,-11,4,-1} 중 하나로 구성된 8탭 필터들 중에서 하나를 선택하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
13. 제 8 항에 있어서, 상기 입력영상을 수신하는 단계는
    DASH 전송 포멧인 영상 스트림의 MPD 헤더로부터 해상도 변환 방법을 나타내는 플래그를 획득하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
14. 제 13 항에 있어서, 상기 입력영상을 획득하는 단계는 상기 플래그 값에 기초하여 업 샘플링 필터 계수를 수신하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
15. 제 14 항에 있어서, 상기 디스플레이 영상을 생성하는 단계는
    상기 획득된 업 샘플링 필터 계수를 적용하여 상기 기본 해상도 영상을 업 샘플링 하는 단계; 및
    상기 향상 레이어 스트림에서 복호화된 부호화 정보 및 상기 업 샘플링된 기본해상도 영상을 이용하여 고해상도 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
16. 제 13 항에 있어서, 상기 입력 영상을 수신하는 단계는,
    상기 플래그 값에 기초하여 모바일 단말 모델 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
17. 제 16 항에 있어서,
    상기 해상도를 선택하는 단계는, 상기 획득된 모바일 단말 모델 정보에 기초하여 상기 모바일 단말 화면에 재생될 영상 해상도를 선택하는 단계를 포함하고,
    상기 디스플레이 영상을 생성하는 단계는, 상기 선택된 해상도에 기초하여 상기 기본 레이어 스트림 및 상기 향상 레이어 스트림을 선택적으로 복호화하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
18. 제 8 항에 있어서, 상기 입력 영상을 수신하는 단계는
    재생변수에 따라 복수개의 레이어로 부호화된 향상 레이어 스트림을 수신하는 단계를 포함하고,
    상기 고해상도 영상을 복원하는 단계는,
    상기 향상 레이어 스트림에서 복호화된 부호화 정보, 상기 재생 변수 및 상기 기본 해상도 영상을 이용하여 상기 고해상도 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
19. 제 18 항에 있어서,
    상기 고해상도 영상은 상기 재생변수를 기초로 하여, 명암 또는 색감이 결정되는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
20. 제1항 내지 제3항, 제5항 내지 제19항중 어느 한항에 있어서,
    상기 모바일 단말 화면을 위한 3K해상도 영상 생성 방법은,
    상기 생성된 3K해상도를 갖는 디스플레이 영상을 상기 모바일 단말의 디스플레이부에서 재생하는 단계를 더 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
21. 제 1 항에 있어서, 상기 모바일 단말 화면을 위한 3K해상도 영상 생성 방법은 상기 생성된 디스플레이 영상을 상기 모바일 단말로 전송하는 단계를 더 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
22. 제 1 항에 있어서,
    상기 입력영상을 수신하는 단계는 기본 레이어 영상을 수신하는 단계를 포함하고,
    상기 디스플레이 영상을 생성하는 단계는,
    상기 기본 레이어 영상에 대해 비정수배 보간을 수행하여 향상 레이어 영상을 생성하는 단계;
    상기 기본 레이어 영상을 부호화하여 기본 레이어 스트림을 생성하는 단계; 및 상기 기본레이어 영상을 이용해 상기 향상 레이어 영상을 부호화하여 향상 레이어 스트림을 생성하는 단계를 포함하며,
    상기 모바일 단말 화면을 위한 3K해상도 영상 생성 방법은 상기 기본 레이어 스트림 및 상기 향상 레이어 스트림을 상기 모바일 단말로 전송하는 단계를 더 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
23. 제 22 항에 있어서, 상기 디스플레이 영상을 생성하는 단계는,
    상기 기본 레이어 영상에 대해 비정수배 보간을 수행하여 제 1 향상 레이어 영상을 생성하는 단계; 상기 제 1 향상 레이어 영상에 대해 비정수배 보간을 수행하여 제 2 향상 레이어 영상을 생성하는 단계; 상기 기본 레이어 영상을 부호화하여 기본 레이어 스트림을 생성하는 단계; 상기 기본 레이어 영상을 이용해 상기 제 1 향상 레이어 영상을 부호화 하여 제 1 향상 레이어 스트림을 생성하는 단계; 및 상기 제 1 향상 레이어 영상을 이용해 상기 제 2 향상 레이어 영상을 부호화하여 제 2 향상 레이어 스트림을 생성하는 단계를 포함하고,
    상기 모바일 단말 화면을 위한 3K해상도 영상 생성 방법은
    상기 생성된 기본 레이어 스트림, 제1 향상 레이어 스트림 및 제 2 향상 레이어 스트림을 상기 모바일 단말로 전송하는 단계를 더 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
24. 제 22 항에 있어서, 상기 전송하는 단계는,
    MPD 헤더를 포함하는 DASH 전송 포멧으로 상기 기본 레이어 스트림 및 상기 향상 레이어 스트림을 전송하는 단계를 포함하며,
    상기 DASH 전송 포멧의 MPD 헤더는 해상도 변환 방법을 나타내는 플래그, 업 샘플링 필터 계수 및 모바일 단말 모델 정보를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
25. 제 24항에 있어서, 상기 전송하는 단계는,
    상기 모바일 단말 모델 정보에 기초하여 2K, 3K 또는 4K 중 적어도 하나의 해상도를 갖는 영상을 복원하기 위한 향상 레이어 스트림을 전송하는 단계를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
26. 제 22 항에 있어서, 상기 전송하는 단계는,
    상기 전송되는 향상 레이어 스트림은 상기 재생변수에 따라 생성된 복수개의 레이어 스트림을 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 방법.
27. 모바일 단말 화면을 위한 3K해상도 영상을 생성하는 장치에 있어서,
    입력영상을 수신하는 영상 수신부;
    상기 모바일 단말 화면에 대한 인간의 인지 특성 및 해상도 분석력을 기초로, 소정 크기의 상기 모바일 단말 화면에서 재생될 영상의 해상도로서 3K해상도를 선택하는 영상 해상도 선택부; 및
    상기 입력영상을 이용하여 상기 선택된 3K해상도를 갖는 디스플레이 영상을 생성하는 영상 생성부를 포함하며,
    상기 영상 생성부는 상기 입력영상에 대해 비정수배 보간을 수행하여 초해상도(super-resolution) 영상을 생성하는 영상 보간부를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 장치.
28. 삭제
29. 제 27 항에 있어서,
    상기 영상 수신부는, 기본 레이어 스트림을 수신하는 기본 레이어 수신부; 및 향상 레이어 스트림을 수신하는 향상 레이어 수신부를 포함하고,
    상기 영상 생성부는,
    상기 기본 레이어 스트림을 복호화 하여 기본 해상도의 영상을 복원하는 기본 해상도 영상 복원부; 및 상기 향상 레이어 스트림을 복호화하고, 상기 향상 레이어 스트림에서 복호화된 부호화 정보와 상기 기본 해상도의 영상을 이용하여 고해상도 영상을 복원하는 고해상도의 영상 복원부를 더 포함하고,
    상기 영상 생성부는 상기 복원된 고해상도 영상을 이용하여, 상기 3K해상도의 디스플레이 영상을 생성하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 장치.
30. 제 29 항에 있어서, 상기 영상 수신부는,
    DASH 전송 포멧인 상기 영상 스트림의 MPD 헤더로부터 해상도 변환 방법을 나타내는 플래그를 획득하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 장치.
31. 제 29 항에 있어서, 상기 영상 수신부는 재생변수에 따라 복수개의 레이어로 부호화된 향상 레이어 스트림을 수신하며,
    상기 영상 생성부는,
    상기 향상 레이어 스트림에서 복호화된 부호화 정보, 상기 재생변수 및 상기 기본 해상도 영상을 이용하여 상기 고해상도 영상을 복원하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 장치
32. 제 27 항에 있어서, 상기 3K해상도 영상 생성 장치는
    상기 생성된 3K해상도를 갖는 디스플레이 영상을 상기 모바일 단말의 디스플레이부에서 재생하는 재생부를 더 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 장치.
33. 제 27항에 있어서,
    상기 영상 수신부는 기본 레이어 영상을 수신하며,
    상기 영상 생성부는,
    상기 기본 레이어 영상에 대해 비정수배 보간을 수행하여 향상 레이어 영상을 생성하는 영상 보간부; 상기 기본 레이어 영상을 부호화하여 기본 레이어 스트림을 생성하는 기본 레이어 부호화부; 및 상기 기본레이어 영상을 이용해 상기 향상 레이어 영상을 부호화하여 향상 레이어 스트림을 생성하는 향상 레이어 부호화부를 포함하고,
    상기 3K해상도 영상 생성장치는
    상기 기본 레이어 스트림 및 상기 향상 레이어 스트림을 상기 모바일 단말로 전송하는 출력부를 더 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 장치.
34. 제 33항에 있어서, 상기 출력부는,
    MPD 헤더를 포함하는 DASH 전송 포멧으로 상기 기본 레이어 스트림 및 상기 향상 레이어 스트림을 전송하는 헤더 전송부를 더 포함하며,
    상기 DASH 전송 포멧의 MPD 헤더는 해상도 변환 방법을 나타내는 플래그, 업 샘플링 필터 계수 및 모바일 단말 모델 정보를 포함하는 것을 특징으로 하는 모바일 단말 화면을 위한 3K해상도 영상 생성 장치.
35. 제 1 항, 제 8 항, 제 21 항 및 제 22 항 중 어느 한 항의 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images