KR102095518B1 - 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 저해상도의 원본 영상의 해상도를 높이되, 사전 검수, 노이즈 제거, 선명도 향상, 색보정 및 사후 검수를 시스템적으로 수행함으로써, 2K/HD 규격의 마스터로 보관되어 있던 콘텐츠를 4K UHD의 고해상도 영상으로 재제작이 가능하도록 하는 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법을 제공한다.

Description

영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법 {RE-MASTERING SYSTEM FOR HIGH RESOLUTION CONVERSION OF IMAGE AND A METHOD THEREOF}

본 발명은 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 저해상도의 원본 영상의 해상도를 높이되, 사전 검수, 노이즈 제거, 선명도 향상, 색보정 및 사후 검수를 시스템적으로 수행함으로써, 2K/HD 규격의 마스터로 보관되어 있던 콘텐츠를 4K UHD의 고해상도 영상으로 재제작이 가능하도록 하는 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법에 관한 것이다.

UHD TV (Ultra High Definition Television)는 국제전기통신연합(ITU)에서 승인한 디지털 비디오 포맷 중 하나로, 일본 NHK 방송기술연구소가 연구 개발한 초고정밀 영상 시스템이다. 초고선명 텔레비전(UHD TV, Ultra High Definition Television) 또는 초고정밀 영상 시스템(UHDV, Ultra High Definition Video) 또는 수퍼 하이비전(SHV, Super Hi-Vision)이라고도 불린다.

Full HD(해상도 1920X1080, 화소수 207만 3,600)보다 4배에서 16배까지 선명하고, 10 내지 12비트로 색을 표현하며, 10채널 이상의 입체 음향(22.2채널)을 지원하여, 큰 화면에서 더욱 섬세하고 극사실적이고 자연스러운 영상, 음향 표현이 가능하도록 하는 차세대 방송 기술이다.

2012년 8월 UHD TV 기술은 국제전기통신연합 라디오주파수대역 통신 규약인 ITU-R의 권고에 따라 텔레비전의 국제표준이 되었다. ITU-R BT.2020 권고에 따르면 UHD TV는 3840X2160의 해상도(4K UHD) 또는 7680X4320의 해상도(8K UHD)를 가지며, 화면 비율 16:9, 비월주사방식은 지원하지 않고 순차주사(progressive scan)방식만을 지원해야 한다. 일본에서는 UHD TV라는 용어를 4K UHD에 한정하여 사용하고, 8K UHD는 SHV(Super Hi-Vision)라는 용어로 사용하였으나, 2013년 이후 모두 UHD TV로 통일되었다. UHD TV의 해상도에는 다음과 같이 두 가지가 있다.

1. 4K UHD (2160p): 해상도 3840X2160, 화면 비율 16:9, 화소수 829만 4,400

2. 8K UHD (4320p):해상도 7680X4320, 화면 비율 16:9, 화소수 3,317만 7,600

한편, 4K UHD TV (Ultra High Definition Television)의 방송서비스가 본격화되면서, 국내에서도 여러 UHD TV채널이 생기기 시작했으나, 아직 4K UHD 규격으로 제작되는 콘텐츠가 많지 않다보니, 채널 사업자들은 방송할 수 있는 4K UHD 콘텐츠가 절대적으로 부족한 현실이다. 이에, 기존 2K/HD (High Definition) 규격의 마스터로 보관되어 있던 콘텐츠들 중 흥행작 중심으로 4K UHD로 리마스터링 하여 방송서비스를 제공하는 방법이 간구되었다.

리마스터링(Re-mastering)이란 이전에 존재하던 기록본의 화질이나 음질을 향상시키는 작업으로 영상의 리마스터링은 아날로그 필름으로 완성된 마스터를 디지털 포맷으로 변환하거나, 낮은 해상도의 영상을 높은 해상도의 영상으로 향상(enhancement) 시키는 작업을 의미한다.

상대적으로, 디지털 복원(Digital Restoration)은 먼지, 스크래치, 얼룩 등 물리적으로 손상된 필름과 같은 아날로그 매체의 손상을 디지털 영상기술로 복원하는 작업을 말한다.

UHD 리마스터링 기술은 단순히 4K 방송용 콘텐츠 제작에서 사용될 뿐만이 아니라, 낮은 해상도/화질의 영상을 고해상도로 재제작하는데 범용적으로 사용될 수 있어 이를 시스템화하는 것이 필요하다.

한국등록특허 [10-1116800]에서는 다수의 원본 픽셀로 구성되는 저해상도 원본 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법에 있어서, 상기 원본 이미지의 원본 픽셀 하나에 대응하는 레인지 블록을 생성하는 단계를 포함하고, 상기 레인지 블록들의 집합이 상기 고해상도 이미지를 형성하고, 상기 레인지 블록은 다수의 블록 픽셀로 형성되며, 상기 레인지 블록의 블록 픽셀의 데이터는 상기 원본 픽셀의 데이터와, 상기 고해상도 이미지상에서 상기 레인지 블록의 픽셀에 인접하는 적어도 하나의 인접 픽셀의 데이터에 기초하여 결정되어, 먼저 생성된 상기 레인지 블록의 픽셀 데이터는 상기 인접 픽셀의 데이터로서 나중에 생성되는 상기 레인지 블록의 픽셀 데이터 결정에 반영되는 것을 특징으로 한다.

한편, 한국등록특허 [10-1702925]에는 영상의 해상도 스케일링 장치에 있어서, 복수의 원본 영상 프레임들을 수신하는 입력부; 상기 복수의 원본 영상 프레임들에 대해, 해상도 스케일링 및 보간을 수행하여 보간된 단위 영상을 획득하는 보간부; 상기 복수의 원본 영상 프레임들을 열화시키고, 상기 열화된 각각의 원본 영상프레임들로부터 하나 이상의 저화질 이미지 패치를 추출하며, 상기 복수의 원본 영상 프레임들로부터 하나 이상의 고화질 이미지 패치를 추출하고, 상기 저화질 이미지 패치 및 상기 고화질 이미지 패치 쌍과 이에 대응되는 관련 정보를 분류화하여 저장하는 패치 사전부; 상기 보간된 단위 영상으로부터 제1 이미지 패치를 획득하고, 상기 제1 이미지 패치에 대응하여, 상기 패치 사전부로부터 색인되는 각 영상 프레임별 복수의 제2 이미지 패치들을 선택하는 패치 비교 선택부; 및 상기 보간된 단위 영상의 화질을 복원하기 위해, 상기 제1 이미지 패치 및 상기 제2 이미지 패치들에 기초하여, 복원된 이미지 패치를 합성하는 복원부를 포함하는 복수의 영상 프레임의 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법이 개시되어 있다.

한국등록특허 [10-1116800](등록일자: 2012. 02. 08) 한국등록특허 [10-1702925](등록일자: 2017. 01. 31)

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 저해상도의 원본 영상의 해상도를 높이되, 사전 검수, 노이즈 제거, 선명도 향상, 색보정 및 사후 검수를 시스템적으로 수행함으로써, 2K/HD 규격의 마스터로 보관되어 있던 콘텐츠를 4K UHD의 고해상도 영상으로 재제작이 가능하도록 하는 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법을 제공하는 것이다.

본 발명의 실 시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템은, 저해상도의 원본 영상을 입력받는 입력부(101); 상기 원본 영상의 파일 규격(형식), 영상 파일과 음성 파일의 상태를 검수하는 사전 검수부(102); 해상도 업스케일링 가능한 알고리즘을 이용하여 사전 검수된 원본 영상을 확대하는 해상도 처리부(103); 해상도가 업스케일링된 영상의 노이즈를 제거하는 노이즈 제거부(104); 노이즈가 제거된 영상에 대하여 선명도를 처리하는 선명도 처리부(105); 선명도가 처리된 영상에 대하여 색을 보정하는 색 보정부(106); 색이 보정된 영상에 대하여, 문제, 흠결 및 이상 유무를 검수하는 사후 검수부(107); 사후 검수된 영상을 기설정된 규격(형식)의 파일로 마스터링하는 마스터링부(108); 및 마스터링된 고해상도 영상을 출력하는 출력부(109)를 포함한다.

상기 해상도 처리부(103)는, 상기 해상도 업스케일링 가능한 알고리즘으로, 최근린 보간법(Nearest-neighbor Interpolation), 이중선형 보간법(Bilinear Interpolation), 이중큐빅 보간법(Bicubic Interpolation), 푸리에 변환법(Fourier-transform Methods), 에지지향 보간법(Edge-directed Interpolation), 박스 샘플링(Box Sampling), 밉맵(Mipmap), 에이치큐엑스(hqx), 벡터라이제이션(Vectorization), 스무스 휴(Smooth Hue), 및 브이엔쥐(VNG) 중 어느 하나를 사용하는 것을 특징으로 한다.

상기 노이즈 제거부(104)는, 특정 프레임을 기준으로, 앞과 뒤 프레임의 동일한 위치에 있는 개별 픽셀 정보의 차이값을 도출하여, 상기 차이값이 다른 경우 노이즈로 판단하고, 해당 픽셀의 정보값을 앞/뒤 프레임의 평균값으로 대체하여 노이즈를 제거하는 템포럴 노이즈 감소 (Temporal NR(Noise Reduction)) 방법, 또는 전체 또는 특정 영역에 흐림 효과를 적용하여 노이즈를 제거하는 스파셜 노이즈 감소(Spatial NR(Noise Reduction)) 방법을 사용하는 것을 특징으로 하고, 이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 노이즈 제거가 가능한 것을 특징으로 하고, 이미지 영역을 설정해서 노이즈를 제거할 때는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 하는 것을 특징으로 한다.

상기 선명도 처리부(105)는, 이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 또는 개별 피사체 또는 피사체의 일부분에 대해서 선명도 처리를 적용하는 것을 특징으로 하고, 피사체가 움직이거나 이동하더라도 모션 트래킹을 통해 효과 적용 영역이 그대로 적용되도록 하는 것을 특징으로 하고, 이미지 영역 또는 피사체의 영역별로 구분하여 선명도 처리를 하는 경우에는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 하는 것을 특징으로 한다.

상기 색 보정부(106)는, 상기 선명도가 처리된 영상 전체의 색 채도를 기설정 비율 범위 이내로 높이는 것을 특징으로 하고, 상기 기설정 비율은, 5 % 내지 10 % 인 것을 특징으로 한다.

상기 마스터링부(108)는, 상기 사후 검수된 영상을 기설정된 규격의 파일로 재출력하되, 5.1 채널 서라운드 사운드로 마스터링이 가능한 것을 특징으로 한다.

또한, 본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 방법은, 입력받은 저해상도의 원본 영상의 원본 영상의 파일 규격(형식), 영상 파일과 음성 파일의 상태를 검수하는 사전 검수단계(S1210); 해상도 업스케일링 가능한 알고리즘을 이용하여 사전 검수된 원본 영상을 확대하는 해상도 처리단계(S1220); 해상도가 업스케일링된 영상의 노이즈를 제거하는 노이즈 제거단계(S1230); 노이즈가 제거된 영상에 대하여 선명도를 처리하는 선명도 처리단계(S1240); 선명도가 처리된 영상에 대하여 색을 보정하는 색 보정단계(S1250); 색이 보정된 영상에 대하여, 문제, 흠결 및 이상 유무를 검수하는 사후 검수단계(S1260); 및 사후 검수된 영상을 기설정된 규격(형식)의 파일로 마스터링하여 고해상도 영상으로 출력하는 마스터링단계(S1270)를 포함한다.

상기 해상도 처리단계(S1220)는, 상기 해상도 업스케일링 가능한 알고리즘으로, 최근린 보간법(Nearest-neighbor Interpolation), 이중선형 보간법(Bilinear Interpolation), 이중큐빅 보간법(Bicubic Interpolation), 푸리에 변환법(Fourier-transform Methods), 에지지향 보간법(Edge-directed Interpolation), 박스 샘플링(Box Sampling), 밉맵(Mipmap), 에이치큐엑스(hqx), 벡터라이제이션(Vectorization), 스무스 휴(Smooth Hue), 및 브이엔쥐(VNG) 중 어느 하나를 사용하는 것을 특징으로 한다.

상기 노이즈 제거단계(S1230)는, 특정 프레임을 기준으로, 앞과 뒤 프레임의 동일한 위치에 있는 개별 픽셀 정보의 차이값을 도출하여, 상기 차이값이 다른 경우 노이즈로 판단하고, 해당 픽셀의 정보값을 앞/뒤 프레임의 평균값으로 대체하여 노이즈를 제거하는 템포럴 노이즈 감소 (Temporal NR(Noise Reduction)) 방법, 또는 전체 또는 특정 영역에 흐림 효과를 적용하여 노이즈를 제거하는 스파셜 노이즈 감소(Spatial NR(Noise Reduction)) 방법을 사용하는 것을 특징으로 하고, 이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 노이즈 제거가 가능한 것을 특징으로 하고, 이미지 영역을 설정해서 노이즈를 제거할 때는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 하는 것을 특징으로 하고, 선명도 처리단계(S1240)는, 이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 또는 개별 피사체 또는 피사체의 일부분에 대해서 선명도 처리를 적용하는 것을 특징으로 하고, 피사체가 움직이거나 이동하더라도 모션 트래킹을 통해 효과 적용 영역이 그대로 적용되도록 하는 것을 특징으로 하고, 이미지 영역 또는 피사체의 영역별로 구분하여 선명도 처리를 하는 경우에는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 하는 것을 특징으로 한다.

상기 색 보정단계(S1240)는, 상기 선명도가 처리된 영상 전체의 색 채도를 기설정 비율 범위 이내로 높이는 것을 특징으로 하고, 상기 기설정 비율은, 5 % 내지 10 % 인 것을 특징으로 하고, 상기 마스터링단계(S1270)는, 상기 사후 검수된 영상을 기설정된 규격의 파일로 재출력하되, 5.1 채널 서라운드 사운드로 마스터링이 가능한 것을 특징으로 한다.

본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법에 의하면, 저해상도의 원본 영상의 해상도를 높이되, 사전 검수, 노이즈 제거, 선명도 향상, 색보정 및 사후 검수를 시스템적으로 수행함으로써, 효과적으로 저해상도의 영상을 고해상도의 영상으로 재제작이 가능한 효과가 있다.

또한, 본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법에 의하면, 기존 2K/HD (High Definition) 규격의 마스터로 보관되어 있던 콘텐츠들 중 흥행작 중심으로 4K UHD로 리마스터링 하여 방송서비스를 제공하는 것이 가능한 효과가 있다.

또한, 본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법에 의하면, 노이즈 제거, 선명도 향상 및 색보정이 시스템적으로 처리될 수 있으므로, 작업자의 업무 로드가 줄어드는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 구성도.
도 2는 본 발명에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 해상도 처리부 설명하기 위한 도면.
도 3은 해상도 확대(이미지 업스케일) 알고리즘을 비교 설명하기 위한 도면.
도 4a는 본 발명의 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 해상도 처리부에서 해상도 확대시 사용하는 파라미터를 설명하기 위한 도면.
도 4b는 본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템에서 이중선형 보간법(Bilinear Interpolation)을 사용한 해상도 처리(향상) 전 후를 설명하기 위한 샘플 도면.
도 5는 본 발명의 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 노이즈 제거부에서 노이즈 제거시 사용하는 파라미터를 설명하기 위한 도면.
도 6은 본 발명의 일실시예에 따른 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템에서 노이즈 제거 전 후를 설명하기 위한 샘플 도면.
도 7은 본 발명의 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 선명도 처리부에서 처리하는 선명도 향상 방법에 대한 설명도.
도 8은 본 발명의 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 선명도 처리부에서 선명도 향상을 위한 처리시 사용하는 파라미터를 설명하기 위한 도면.
도 9는 본 발명의 일실시예에 따른 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템에서 선명도 처리 전 후를 설명하기 위한 샘플 도면.
도 10은 본 발명의 일실시예에 따른 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템에서 색 보정 처리 전 후를 설명하기 위한 샘플 도면.
도 11은 본 발명의 일실시예에 따른 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 색 보정부에서 색 보정시 사용되는 파라미터를 설명하기 위한 도면.
도 12는 본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 방법의 흐름도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.

도 1은 본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템은, 입력부(101), 사전 검수부(102), 해상도 처리부(103), 노이즈 제거부(104), 선명도 처리부(105), 색 보정부(106), 사후 검수부(107), 마스터링부(108), 및 출력부(109)를 포함한다.

상기 입력부(101)는 저해상도의 원본 영상을 입력받아 사전 검수부(102)로 전달한다.

상기 사전 검수부(102)는 상기 원본 영상의 파일 규격(형식), 영상 파일과 음성 파일의 상태를 검수한다.

상기 해상도 처리부(103)는 해상도 업스케일링 가능한 알고리즘을 이용하여 사전 검수된 원본 영상을 확대한다.

예를 들어, 2K/HD 해상도를 4K UHD 해상도로 변경하기 위해, 선명도 저하를 최소화하고 이미지 정보 디테일을 최대한 유지하면서 영상을 4배로 확대한다.

상기 노이즈 제거부(104)는 해상도가 업스케일링된 영상의 노이즈를 제거한다.

2K/HD 해상도에서는 보이지 않던 노이즈가 4K UHD 해상도로 변경되고 나면, 두드러지게 보인다. 노이즈를 제거하는데 2가지 방법이 있으며, 특정 프레임을 기준으로, 앞과 뒤 프레임의 동일한 위치에 있는 개별 픽셀 정보의 차이값을 도출하여, 상기 차이값이 다른 경우 노이즈로 판단하고, 해당 픽셀의 정보값을 앞/뒤 프레임의 평균값으로 대체하여 노이즈를 제거하는 방법 및 전체 또는 특정 영역에 흐림 효과를 적용하여 노이즈를 제거하는 방법을 포함한다.

상기 선명도 처리부(105)는 노이즈가 제거된 영상에 대하여 선명도를 처리한다.

노이즈 제거작업을 하고 나면, 이미지가 다소 부드러워지는 상태(blur)가 되는데, 이것을 4K UHD 수준으로 선명하게 향상시키는 것이다.

이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 또는 개별 피사체 또는 피사체의 일부분에 대해서 선명도 처리를 적용하며, 피사체가 움직이거나 이동하더라도 모션 트래킹을 통해 효과 적용 영역이 그대로 적용되도록한다.

이미지 영역 또는 피사체의 영역별로 구분하여 선명도 처리를 하는 경우에는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 한다.

상기 색 보정부(106)는 선명도가 처리된 영상에 대하여 색을 보정한다.

2K/HD 영상은 주로 ITU-R BT.709 색공간을 표준으로 사용하고, 4K UHD 영상은 ITU-R BT.2020 색공간을 표준으로 사용하는데, 표현되는 색 스타일이 상이하다. 따라서, UHDTV에 최적화된 색공간으로 변경한다.

인간의 시지각 체계는 풍부한(vivid)한 색정보의 이미지를 볼 때 선명(sharp)하다고 인식하는 인지심리학적 경향이 있다. 이에 영상 전체의 색채도(Color Saturation)을 5 ~ 10 % 높여 색을 보정하는 것이 바람직하다.

상기 사후 검수부(107)는 색이 보정된 영상에 대하여, 문제, 흠결 및 이상 유무를 검수한다.

상기 마스터링부(108)는 사후 검수된 영상을 기설정된 규격(형식)의 파일로 마스터링한다.

클라이언트가 요구하는 규격의 파일로 재출력할 수 있다. 예를 들어, 국내 방송용으로는 주로 ProRes 422HQ 코덱을 사용하지만, 어떤 형식이든 재출력이 가능하다.

한편, 클라이언트 요구에 따라, 필요시 5.1채널(ch) 서라운드 사운드로 마스터링 할 수도 있다. 5.1채널은, Left, Right, Center, LF(Woofer), LS(Left Rear), 및 RS(Right Rear)의 총 6개 오디오 채널을 사용한다.

상기 출력부(109)는 마스터링된 고해상도 영상을 출력한다.

도 2는 본 발명에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 해상도 처리부 설명하기 위한 도면이다.

도 2를 참고하면, 본 발명에 따른 해상도 처리부(103)는, 2K/HD 해상도 (1920 x 1080)의 이미지를 4K UHD 해상도(3840 x 2160)의 이미지로 변경하기 위해 면적상으로 4배를 확대한다. 그런데, 작은 이미지를 크게 확대할 때에는 깨져 보이는 선명도 저하 현상이 발생한다.

따라서 해상도 향상(Up-scaling) 과정에서는 선명도 저하를 최소화하고, 이미지 정보 디테일을 최대한 유지하면서 이미지를 확대하는 것이 중요하다.

상기 해상도 처리부(103)는 원래 프레임의 면적을 4배로 확대하게 되며, 프레임 면적의 4배 확대는 원본 이미지의 개별(1개) 픽셀에 3개의 새로운 픽셀을 추가해서 새로운 프레임(이미지)을 생성시키는 알고리즘을 사용한다.

프레임 크기의 변경은 영상 작업에서 빈번히 이루어지는 작업이며, 이와 관련된 알고리즘은 다양하게 개발되어 있는 상태이다.

이에, 4K UHD 리마스터링 시스템에서는 원본 영상의 상태에 맞춰 해당 작업에 적합한 알고리즘을 선택하여 사용할 수 있다.

한편, 해상도 확대(이미지 업스케일)에서 사용가능한 알고리즘의 종류로는, 최근린 보간법(Nearest-neighbor Interpolation), 이중선형 보간법(Bilinear Interpolation), 이중큐빅 보간법(Bicubic Interpolation), 푸리에 변환법(Fourier-transform Methods), 에지지향 보간법(Edge-directed Interpolation), 박스 샘플링(Box Sampling), 밉맵(Mipmap), 에이치큐엑스(hqx), 벡터라이제이션(Vectorization), 스무스 휴(Smooth Hue), 및 브이엔쥐(VNG) 등이 있다.

최근린 보간법(Nearest-neighbor Interpolation)은, 가장 쉽게 사용 가능한 알고리즘 중 하나로, 인접 픽셀의 정보를 가져다가 똑같이 복제해서 새로운 픽셀을 생성하는 원리이다. 원본 픽셀과 동일한 새로운 픽셀이 생성되지만, 피사체 테두리 부분이 삐죽삐죽 튀어나오고, 계단현상이 발생하기 때문에 이미지 세부 디테일이 선명하지 못하고 거칠어 보이는 단점이 발생한다.

한편, 이중선형 보간법(Bilinear Interpolation)은, 원본 픽셀 사이에 새롭게 생성할 픽셀의 색정보를 평균값 등의 근사치로 계산한다. 픽셀 정보값이 크게 달라지는 상황에서 새롭게 생성되는 중간 픽셀은 부드럽게 전환(transition)되는 효과를 나타내지만, 피사체의 경계부분이 부드럽게 나타나기 때문에 뚜렷하게 구분되어야 할 피사체 표현에서는 적절치 않을 수 있다. 해상도 변경 후에는 이미지가 전반적으로 부드러워(soft or blur) 보이는 현상 발생한다.

한편, 이중큐빅 보간법(Bicubic Interpolation)은, 이중선형 보간법(Bilinear Interpolation) 알고리즘과 유사한 방식으로 조금 더 정교한 중간값 계산방식을 쓰기 때문에 이중선형 보간법보다 조금 더 나은 결과물 생성이 가능하다. 비교적 적은 비율의 이미지 확대에는 효과적이지만, 이미지 면적 4배 확대와 같이 큰 변환에는 적합지 않을 수 있다.

한편, 푸리에 변환법(Fourier-transform Methods)은 푸리에 변환 공식을 응용해서, 인접 기준 픽셀의 평균값 계산이 아닌 사인 함수와 코사인 함수의 합으로 주기함수를 계산하는 보간법이다. 이미지 세부 정보를 비교적 잘 보존하면서 해상도 변경이 이루어지지만, 무아레(moire) 현상이 발생하는 단점이 있다.

한편, 에지지향 보간법(Edge-directed Interpolation)은, 이미지 해상도 변경 후에도 피사체 테두리에 계단현상이 발생하지 않고 비교적 선명한 테두리를 유지하는 장점이 있으나 질감 표현에는 충분치 않다.

한편, 박스 샘플링(Box Sampling)은 이중선형 보간법(Bilinear Interpolation)과 이중큐빅 보간법(Bicubic Interpolation) 및 유사 알고리즘의 단점을 보완한 방식이지만 이미지 확대 보다는 축소에 더 효과적인 방법이다.

한편, 밉맵(Mipmap)은, 박스 샘플링(Box Sampling)과 같이 이미지 축소 작업에 적합한 알고리즘이다. 밉맵은 많은 OpenGL 프레임웍에서 표준으로 사용하지만, 다른 방법들보다는 30% 가량 더 많은 이미지 메모리를 사용한다는 단점이 있다.

한편, 에이치큐엑스(hqx)는, 주로 저해상도와 적은 컬러계조(256)를 사용하는 픽셀 아트 이미지 변환에 적합하다.

한편, 벡터라이제이션(Vectorization)는 변환될 그래픽의 벡터 재현(vector representation)에 최적화한 방식으로, 영상보다는 어도비 일러스트와 같은 그래픽 작업에 적합하다.

한편, 스무스 휴(Smooth Hue)는, 인접 픽셀의 색상이 부자연스럽게 표현되는 경우가 발생하는 이중선형 보간법(Bilinear Interpolation)의 단점을 보완하는 방법으로 휘도 채널(G)와 색차채널(R/B)을 이용해서 새로운 픽셀 정보를 구성하는 방법이다.

한편, 브이엔쥐(VNG : Variable Number of Gradients)는, 인접픽셀 정보를 사용할 때 더 많은 방향으로 더 많은 수의 변환값을 계산하는 방식으로, 일반적인 4방향 샘플링이 아니라 보간 색상 당 8개의 그라디언트를 사용하는 방식이다. 픽셀의 샘플링 영역이 넓어짐에 따라 변환 후 해상도가 다소 떨어지지만 안티 에일리어싱(anti-aliasing) 필터과 함께 사용하면 효과적일 수 있다.

도 3은 해상도 확대(이미지 업스케일) 알고리즘을 비교 설명하기 위한 도면이다.

도 3에 도시된 바와 같이, a는 원본 영상이고, b는 최근린 보간법, c는 이중선형 보간법, d는 스무스 휴 알고리즘, e는 브이엔쥐 알고리즘을 적용한 해상도 확대 결과이다.

도 4a는 본 발명의 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 해상도 처리부에서 해상도 확대시 사용하는 파라미터를 설명하기 위한 도면이고, 도 4b는 본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템에서 이중선형 보간법(Bilinear Interpolation)을 사용한 해상도 처리(향상) 전 후를 설명하기 위한 샘플 도면이다.

도 4a를 참고하면, 리마스터링 작업에서 사용되는 소프트웨어 중 한 가지인 블랙매직 디자인(Blackmagic Design)사의 다빈치 리졸브(Davinci Resolve) 소프트웨에서는 4가지 알고리즘(Smoother, Bicubic, Bilinear, Sharper)을 선택사항으로 제공한다.

입력되어 사전 검수된 영상의 상태와 비디오 신호 특성에 따라 해상도 처리 알고리즘을 선택하지만, 일반적으로 이중선형 보간법(Bilinear Interpolation)을 가장 많이 사용한다.

도 4b를 참고하면, 상부는 해상도 처리 전의 샘플 도면이고, 하부는 이중선형 보간법(Bilinear Interpolation)을 사용한 해상도 처리 후의 샘플 도면이다.

하부의 도면이 상부의 도면보다 조금 더 뚜렷해 보이는 것을 알 수 있다.

도 5는 본 발명의 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 노이즈 제거부에서 노이즈 제거시 사용하는 파라미터를 설명하기 위한 도면이고, 도 6은 본 발명의 일실시예에 따른 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템에서 노이즈 제거 전 후를 설명하기 위한 샘플 도면이다.

도 5 및 6을 참고하면, 2K/HD 해상도에서는 안보이던 노이즈가 4K UHD 해상도로 변경하고 나서 두드러지게 보이게 된다.

상기 노이즈 제거부(104)가 노이즈를 제거하는데 있어서 이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 적용할 수 있다.

또한, 이미지 영역을 설정해서 노이즈를 제거할 때는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 설정할 수도 있다.

한편, 노이즈 제거 방법에는 두 가지 방법이 있다.

특정 프레임을 기준으로, 앞과 뒤 프레임의 동일한 위치에 있는 개별 픽셀 정보의 차이값을 도출하여, 상기 차이값이 다른 경우 노이즈로 판단하고, 해당 픽셀의 정보값을 앞/뒤 프레임의 평균값으로 대체하여 노이즈를 제거하는 템포럴 노이즈 감소 (Temporal NR(Noise Reduction)) 방법이 있고, 전체 또는 특정 영역에 흐림 효과를 적용하여 노이즈를 제거하는 스파셜 노이즈 감소(Spatial NR(Noise Reduction)) 방법이 있다.

상기 두 가지 방법 중 효과적인 것을 선택하거나 또는 두 가지 모두를 병행하여 노이즈를 제거하는 것이 가능하다.

도 5를 참고하면, 왼쪽에는 템포럴 노이즈 감소 방법에 사용되는 파라미터가, 오른쪽에는 스파셜 노이즈 감소 방법에 사용되는 파라미터들이 도시되어 있다.

왼쪽의 템포럴 노이즈 감소를 위한 파라미터는, 프레임(Frames), 모션 예측 타입(Mo. Est Type : Motion estimation type), 모션 범위(Motion Range), 루마(Luma : Luminance), 크로마(Chroma : Chrominance), 모션(Motion) 및 블렌드(Blend)를 포함한다.

프레임(Frames)은 비교 분석의 대상으로 삼을 프레임 수를 설정하는 것으로, 5로 설정하는 경우, 기준 프레임 앞의 2프레임과 뒤 2프레임을 분석하고, 3으로 설정하는 경우, 기준 프레임 앞의 1프레임과 뒤 1프레임을 분석한다. 프레임 파라미터 값을 높게 설정하면 노이즈 분석 정확도가 높아지지만, 그만큼 시스템 부하는 증가한다.

한편, 모션 예측 타입(Mo. Est Type : Motion estimation type)은 기준 프레임과 앞/뒤 프레임의 기준 픽섹 정보가 상이하더라도, 그것이 모션에 따른 픽셀값의 변동인지를 예측하여 판단하는데, 이 때의 기준 파라미터가 된다. 리마스터링 작업은 정지 이미지가 아닌, 동영상 작업이기 때문에 화면정보(또는 피사체)가 활동성으로 움직이는 경우가 절대적이기 때문에 모션 예측 타입 파라미터가 필요하다. 파라미터 옵션으로는 Better(품질 중심 작업 수행)와 Faster(속도 중심 작업 수행)가 있다.

한편, 모션 범위(Motion Range)는 Mo. Est Type 작업을 수행할 때, 모션의 정도(범위) 파라미터를 설정한다. 파라미터 옵션은 모션 예측의 기준 범위에 따라 Small, Medium, Large가 있다.

한편, 노이즈 종류에는 무채색(흑백)의 노이즈와 유채색(컬러) 노이즈가 있는데, 루마(Luma : Luminance)는 무채색(흑백)의 노이즈를 제거하는 정도를 설정하고, 크로마(Chroma : Chrominance)는 유채색(컬러) 노이즈를 제거하는 정도를 설정한다.

한편, 모션(Motion) 및 블렌드(Blend) 파라미터는 모션 이미지 정보에서, 움직이는 부분의 세부 디테일 정보를 혼합(Blend)해서 노이즈가 제거된 것으로 효과를 만든다.

한편, 오른쪽의 스파셜 노이즈 감소를 위한 파라미터는 모드(Mode), 래디어스(Radius), 루마(Luma : Luminance), 크로마(Chroma : Chrominance), 및 블렌드(Blend)를 포함한다.

스파셜 노이즈 감소 방법은 보정의 대상이 되는 기준 프레임에서, 특정 이미지 영역에 대해 흐림 효과를 적용하는 것이다.

모드(Mode)는 템포럴 노이즈 감소시 사용하는 파라미터인 모션 예측 타입(Motion Estimate Type)과 유사한 것으로, 파라미터 옵션은 Better(품질 중심 작업 수행)와 Faster(속도 중심 작업 수행)가 있다.

한편, 래디어스(Radius)는 작업 영역 대상의 픽셀 중심으로, 효과가 적용되는 반경을 설정한다. 모션 범위(Motion Range)의 Small, Medium, Large과 마찬가지로, 작업 적용이 되는 반경 범위를 설정한다.

한편, 루마(Luma : Luminance), 크로마(Chroma : Chrominance), 및 블렌드(Blend)는 템포럴 노이즈 감소시 사용하는 파라미터와 동일하다. 흑백 노이즈, 컬러 노이즈, 움직임에 따른 혼합 효과 등을 설정한다.

도 6을 참고하면, 상부는 노이즈 제거 전의 샘플 도면이고, 하부는 노이즈 제거 후의 샘플 도면이다.

하부의 도면이 상부의 도면보다 조금 더 깨끗한 것을 알 수 있다.

도 7은 본 발명의 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 선명도 처리부에서 처리하는 선명도 향상 방법에 대한 설명도이다.

선명도 처리는, 노이즈 제거 후, 이미지가 다소 부드러워(blur)지는 상태가 되는데, 이것을 4K UHD 수준으로 선명하게 향상시키는 작업이다.

한편, 선명도 처리를 위해서, 이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 또는 개별 피사체 또는 피사체의 일부분에 대해서 적용할 수 있다.

시청자 또는 관객이 영상을 볼 때 인물의 얼굴과 눈동자에 시선이 먼저 가는 경향이 있기 때문에, 인물의 안면과 눈동자는 각별히 선명하게 작업하는 것이 효과적이다. 또한, 피사체가 움직이거나 이동하더라도 모션 트래킹을 통해 효과 적용 영역이 그대로 적용되도록 해야 한다.

도 7을 참고하면, 얼굴 영역(710) 및 눈동자 영역(720)이 표시되어 있으며, 각 부분에 대하여 다른 방식으로 처리할 수 있다.

한편, 이미지 영역 또는 피사체의 영역별로 구분하여 선명도 처리를 하는 경우에는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 설정할 수도 있다.

도 8은 본 발명의 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 선명도 처리부에서 선명도 향상을 위한 처리시 사용하는 파라미터를 설명하기 위한 도면이다.

도 8을 참고하면, radius는 효과를 적용하는 픽셀의 반경이고, H/V Ratio는 색 또는 명암이 구분되는 경계지점을 뚜렷하게 보이게끔 만드는 인공 에지(Artificial Edge)의 두께이다. Scaling 은 선명도의 정도를 나타내고, 값이 높을수록 더 선명해진다.

각 파라미터는 R,G 및 B 각 채널에 대하여 분리 설정 가능하다.

도 9는 본 발명의 일실시예에 따른 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템에서 선명도 처리 전 후를 설명하기 위한 샘플 도면이다.

도 9를 참고하면, 상부는 선명도 처리 전의 샘플 도면이고, 하부는 선명도 처리 후의 샘플 도면이다.

하부의 도면이 상부의 도면보다 조금 더 선명한 것을 알 수 있다.

도 10은 본 발명의 일실시예에 따른 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템에서 색 보정 처리 전 후를 설명하기 위한 샘플 도면이다.

도 10을 참고하면, 상부는 색 보정 처리 전의 샘플 도면이고, 하부는 색 보정 처리 후의 샘플 도면이다. 하부의 도면이 상부의 도면보다 조금 더 생생한 느낌이라는 것을 알 수 있다.

2K/HD 영상은 주로 ITU-R BT.709 색공간을 표준으로 사용하고, 4K UHD 영상은 ITU-R BT.2020 색공간을 표준으로 사용하는 바, 표현되는 색 스타일이 상이하다. 따라서 UHDTV에 최적화된 색공간으로 변경하는 작업이 필요하다.

인간의 시각은 풍부한(vivid)한 색정보의 이미지를 볼 때 선명(sharp)하다고 인식하는 경향이 있으므로, 이에 영상 전체의 색채도(Color Saturation)을 5~10% 높여 색을 보정할 수 있다. 이 때, 원본 콘텐츠의 색 스타일을 벗어나지 않는 범위에서 최대한 향상시켜야 한다.

도 11은 본 발명의 일실시예에 따른 일실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 시스템의 색 보정부에서 색 보정시 사용되는 파라미터를 설명하기 위한 도면이다.

Primary Color인 Y/R/G/B 에 대하여, Lift(어두운 영역/Shadow), Gamma(중간 밝기 영역/Midtone), 및 Gain(밝은 영역/Highlight) 값의 설정이 가능하고, R/G/B 각각에 대하여 오프셋(Offset)을 설정이 가능하다.

또한, 커브(Curve)는 Y/R/G/B 전체 또는 개별 컬러 채널에 대하여, 대비(Contrast) / 색상(Hue) / 채도(Saturation)의 설정이 가능하다.

도 12는 본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 방법의 흐름도이다.

먼저, 입력받은 저해상도의 원본 영상의 파일 규격, 영상 파일 및 음성 파일의 상태를 사전 검수한다(S1210).

이후, 해상도 업스케일링 가능한 알고리즘을 이용하여 상기 검수된 원본 영상을 확대한다(S1220).

상기 해상도 업스케일링 가능한 알고리즘으로, 최근린 보간법(Nearest-neighbor Interpolation), 이중선형 보간법(Bilinear Interpolation), 이중큐빅 보간법(Bicubic Interpolation), 푸리에 변환법(Fourier-transform Methods), 에지지향 보간법(Edge-directed Interpolation), 박스 샘플링(Box Sampling), 밉맵(Mipmap), 에이치큐엑스(hqx), 벡터라이제이션(Vectorization), 스무스 휴(Smooth Hue), 및 브이엔쥐(VNG) 중 어느 하나를 사용한다. 일반적으로는 이중선형 보간법을 사용한다.

이후, 상기 해상도가 업스케일링된 영상의 노이즈를 제거한다(S1230).

이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 노이즈 제거가 가능하고, 이미지 영역을 설정해서 노이즈를 제거할 때는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 한다.

한편, 특정 프레임을 기준으로, 앞과 뒤 프레임의 동일한 위치에 있는 개별 픽셀 정보의 차이값을 도출하여, 상기 차이값이 다른 경우 노이즈로 판단하고, 해당 픽셀의 정보값을 앞/뒤 프레임의 평균값으로 대체하여 노이즈를 제거하는 템포럴 노이즈 감소 (Temporal NR(Noise Reduction)) 방법, 또는 전체 또는 특정 영역에 흐림 효과를 적용하여 노이즈를 제거하는 스파셜 노이즈 감소(Spatial NR(Noise Reduction)) 방법을 사용한다.

이후, 상기 노이즈가 제거된 영상에 대하여 선명도를 처리한다(S1240).

이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 또는 개별 피사체 또는 피사체의 일부분에 대해서 선명도 처리를 적용할 수 있다.

또한, 피사체가 움직이거나 이동하더라도 모션 트래킹을 통해 효과 적용 영역이 그대로 적용되도록 하고, 이미지 영역 또는 피사체의 영역별로 구분하여 선명도 처리를 하는 경우에는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 한다.

이후, 상기 선명도가 처리된 영상에 대하여 색을 보정한다(S1250).

상기 선명도가 처리된 영상 전체의 색채도(Color Saturation)을 5 ~ 10 % 높여 색을 보정한다.

이후, 상기 색이 보정된 영상에 대하여, 문제, 흠결 및 이상 유무를 사후 검수한다(S1260).

이후, 상기 사후 검수된 영상을 기설정된 규격의 파일로 마스터링하여 출력한다(S1270).

상기 마스터링단계(S1270)에서는, 상기 사후 검수된 영상을 기설정된 규격의 파일로 재출력하되, 클라이언트 요구에 따라, 필요시 5.1채널(ch) 서라운드 사운드로 마스터링 할 수도 있다. 5.1채널은, Left, Right, Center, LF(Woofer), LS(Left Rear), 및 RS(Right Rear)의 총 6개 오디오 채널을 사용한다.

이상에서 본 발명의 일 실시예에 따른 영상의 고해상도 변환을 위한 리마스터링 방법에 대하여 설명하였지만, 영상의 고해상도 변환을 위한 리마스터링 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및 영상의 고해상도 변환을 위한 리마스터링 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램 역시 구현 가능함은 물론이다.

즉, 상술한 영상의 고해상도 변환을 위한 리마스터링 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.

101: 입력부 102: 사전 검수부
103: 해상도 처리부 104: 노이즈 제거부
105: 선명도 처리부 106: 색 보정부
107: 사후 검수부 108: 마스터링부
109: 출력부
S1210: 사전 검수단계 S1220: 해상도 처리단계
S1230: 노이즈 제거단계 S1240: 선명도 처리단계
S1250: 색 보정단계 S1260: 사후 검수단계
S1270: 마스터링단계

Claims (10)

1. 영상의 고해상도 변환을 위한 리마스터링 시스템에 있어서,
   저해상도의 원본 영상을 입력받는 입력부(101);
   상기 원본 영상의 파일 규격(형식), 영상 파일과 음성 파일의 상태를 검수하는 사전 검수부(102);
   상기 사전 검수부에서 사전 검수된 원본 영상의 상태 및 비디오 신호 특성에 따라 해상도 업스케일링 가능한 알고리즘을 선택하고, 상기 선택한 해상도 업스케일링 가능한 알고리즘을 이용하여 상기 사전 검수된 원본 영상을 확대하는 해상도 처리부(103);
   해상도가 업스케일링된 영상의 노이즈를 제거하는 노이즈 제거부(104);
   노이즈가 제거된 영상에 대하여 선명도를 처리하는 선명도 처리부(105);
   선명도가 처리된 영상에 대하여 색을 보정하는 색 보정부(106);
   색이 보정된 영상에 대하여, 문제, 흠결 및 이상 유무를 검수하는 사후 검수부(107);
   사후 검수된 영상을 기설정된 규격(형식)의 파일로 마스터링하는 마스터링부(108); 및
   마스터링된 고해상도 영상을 출력하는 출력부(109)
   를 포함하고,
   상기 해상도 처리부(103)는,
   상기 해상도 업스케일링 가능한 알고리즘으로, 최근린 보간법(Nearest-neighbor Interpolation), 이중선형 보간법(Bilinear Interpolation), 이중큐빅 보간법(Bicubic Interpolation), 푸리에 변환법(Fourier-transform Methods), 에지지향 보간법(Edge-directed Interpolation), 박스 샘플링(Box Sampling), 밉맵(Mipmap), 에이치큐엑스(hqx), 벡터라이제이션(Vectorization), 스무스 휴(Smooth Hue), 및 브이엔쥐(VNG) 중 어느 하나를 사용하여 상기 사전 검수된 원본 영상을 확대하는 것을 특징으로 하고,
   상기 노이즈 제거부(104)는,
   특정 프레임을 기준으로, 앞과 뒤 프레임의 동일한 위치에 있는 개별 픽셀 정보의 차이값을 도출하여, 상기 차이값이 다른 경우 노이즈로 판단하고, 해당 픽셀의 정보값을 앞/뒤 프레임의 평균값으로 대체하여 노이즈를 제거하는 템포럴 노이즈 감소 (Temporal NR(Noise Reduction)) 방법, 또는 전체 또는 특정 영역에 흐림 효과를 적용하여 노이즈를 제거하는 스파셜 노이즈 감소(Spatial NR(Noise Reduction)) 방법을 사용하는 것을 특징으로 하고,
   상기 템포럴 노이즈 감소를 위한 파라미터는,
   프레임(Frames), 모션 예측 타입(Mo. Est Type : Motion estimation type), 모션 범위(Motion Range), 루마(Luma : Luminance), 크로마(Chroma : Chrominance), 모션(Motion) 및 블렌드(Blend)를 포함하고, 상기 모션 예측 타입((Mo. Est Type)의 파라미터 옵션은 Better(품질 중심 작업 수행)와 Faster(속도 중심 작업 수행)을 포함하고, 상기 모션 범위(Motion Range)의 파라미터 옵션은 모션 예측의 기준 범위에 따라 Small, Medium, Large를 포함하는 것을 특징으로 하고,
   상기 스파셜 노이즈 감소를 위한 파라미터는,
   모드(Mode), 래디어스(Radius), 루마(Luma : Luminance), 크로마(Chroma : Chrominance), 및 블렌드(Blend)를 포함하고, 상기 모드(Mode)의 파라미터 옵션은 Better(품질 중심 작업 수행)와 Faster(속도 중심 작업 수행)을 포함하는 것을 특징으로 하는 영상의 고해상도 변환을 위한 리마스터링 시스템.
   
2. 삭제
3. 제1항에 있어서,
   상기 노이즈 제거부(104)는,
   이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 노이즈 제거가 가능한 것을 특징으로 하고,
   이미지 영역을 설정해서 노이즈를 제거할 때는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 하는 것을 특징으로 하는 영상의 고해상도 변환을 위한 리마스터링 시스템.
   
4. 제3항에 있어서,
   상기 선명도 처리부(105)는,
   이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 또는 개별 피사체 또는 피사체의 일부분에 대해서 선명도 처리를 적용하는 것을 특징으로 하고,
   피사체가 움직이거나 이동하더라도 모션 트래킹을 통해 효과 적용 영역이 그대로 적용되도록 하는 것을 특징으로 하고,
   이미지 영역 또는 피사체의 영역별로 구분하여 선명도 처리를 하는 경우에는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 하는 것을 특징으로 하는 영상의 고해상도 변환을 위한 리마스터링 시스템.
   
5. 제4항에 있어서,
   상기 색 보정부(106)는,
   상기 선명도가 처리된 영상 전체의 색 채도를 기설정 비율 범위 이내로 높이는 것을 특징으로 하고,
   상기 기설정 비율은,
   5 % 내지 10 % 인 것을 특징으로 하는 영상의 고해상도 변환을 위한 리마스터링 시스템.
   
6. 제5항에 있어서,
   상기 마스터링부(108)는,
   상기 사후 검수된 영상을 기설정된 규격의 파일로 재출력하되, 5.1 채널 서라운드 사운드로 마스터링이 가능한 것을 특징으로 하는 영상의 고해상도 변환을 위한 리마스터링 시스템.
   
7. 영상의 고해상도 변환을 위한 리마스터링 방법에 있어서,
   입력받은 저해상도의 원본 영상의 원본 영상의 파일 규격(형식), 영상 파일과 음성 파일의 상태를 검수하는 사전 검수단계(S1210);
   상기 사전 검수단계에서 사전 검수된 원본 영상의 상태 및 비디오 신호 특성에 따라 해상도 업스케일링 가능한 알고리즘을 선택하고, 상기 선택한 해상도 업스케일링 가능한 알고리즘을 이용하여 상기 사전 검수된 원본 영상을 확대하는 해상도 처리단계(S1220);
   해상도가 업스케일링된 영상의 노이즈를 제거하는 노이즈 제거단계(S1230);
   노이즈가 제거된 영상에 대하여 선명도를 처리하는 선명도 처리단계(S1240);
   선명도가 처리된 영상에 대하여 색을 보정하는 색 보정단계(S1250);
   색이 보정된 영상에 대하여, 문제, 흠결 및 이상 유무를 검수하는 사후 검수단계(S1260); 및
   사후 검수된 영상을 기설정된 규격(형식)의 파일로 마스터링하여 고해상도 영상으로 출력하는 마스터링단계(S1270)
   를 포함하고,
   상기 해상도 처리단계(S1220)는,
   상기 해상도 업스케일링 가능한 알고리즘으로, 최근린 보간법(Nearest-neighbor Interpolation), 이중선형 보간법(Bilinear Interpolation), 이중큐빅 보간법(Bicubic Interpolation), 푸리에 변환법(Fourier-transform Methods), 에지지향 보간법(Edge-directed Interpolation), 박스 샘플링(Box Sampling), 밉맵(Mipmap), 에이치큐엑스(hqx), 벡터라이제이션(Vectorization), 스무스 휴(Smooth Hue), 및 브이엔쥐(VNG) 중 어느 하나를 사용하여 상기 사전 검수된 원본 영상을 확대하는 것을 특징으로 하고,
   상기 노이즈 제거단계(S1230)는,
   특정 프레임을 기준으로, 앞과 뒤 프레임의 동일한 위치에 있는 개별 픽셀 정보의 차이값을 도출하여, 상기 차이값이 다른 경우 노이즈로 판단하고, 해당 픽셀의 정보값을 앞/뒤 프레임의 평균값으로 대체하여 노이즈를 제거하는 템포럴 노이즈 감소 (Temporal NR(Noise Reduction)) 방법, 또는 전체 또는 특정 영역에 흐림 효과를 적용하여 노이즈를 제거하는 스파셜 노이즈 감소(Spatial NR(Noise Reduction)) 방법을 사용하는 것을 특징으로 하고,
   상기 템포럴 노이즈 감소를 위한 파라미터는,
   프레임(Frames), 모션 예측 타입(Mo. Est Type : Motion estimation type), 모션 범위(Motion Range), 루마(Luma : Luminance), 크로마(Chroma : Chrominance), 모션(Motion) 및 블렌드(Blend)를 포함하고, 상기 모션 예측 타입((Mo. Est Type)의 파라미터 옵션은 Better(품질 중심 작업 수행)와 Faster(속도 중심 작업 수행)을 포함하고, 상기 모션 범위(Motion Range)의 파라미터 옵션은 모션 예측의 기준 범위에 따라 Small, Medium, Large를 포함하는 것을 특징으로 하고,
   상기 스파셜 노이즈 감소를 위한 파라미터는,
   모드(Mode), 래디어스(Radius), 루마(Luma : Luminance), 크로마(Chroma : Chrominance), 및 블렌드(Blend)를 포함하고, 상기 모드(Mode)의 파라미터 옵션은 Better(품질 중심 작업 수행)와 Faster(속도 중심 작업 수행)을 포함하는 것을 특징으로 하는 영상의 고해상도 변환을 위한 리마스터링 방법.
   
8. 삭제
9. 제7항에 있어서,
   상기 노이즈 제거단계(S1230)는,
   이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 노이즈 제거가 가능한 것을 특징으로 하고,
   이미지 영역을 설정해서 노이즈를 제거할 때는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 하는 것을 특징으로 하고,
   선명도 처리단계(S1240)는,
   이미지 영역(프레임) 전체에 대해서 또는 이미지 영역의 일부분에 대해서 또는 개별 피사체 또는 피사체의 일부분에 대해서 선명도 처리를 적용하는 것을 특징으로 하고,
   피사체가 움직이거나 이동하더라도 모션 트래킹을 통해 효과 적용 영역이 그대로 적용되도록 하는 것을 특징으로 하고,
   이미지 영역 또는 피사체의 영역별로 구분하여 선명도 처리를 하는 경우에는 레이어를 구분한 뒤, 효과를 적용할 영역을 윈도우로 설정하고, 해당 영역의 레이어에만 효과가 적용되도록 하는 것을 특징으로 하는 영상의 고해상도 변환을 위한 리마스터링 방법.
   
10. 제9항에 있어서,
    상기 색 보정단계(S1250)는,
    상기 선명도가 처리된 영상 전체의 색 채도를 기설정 비율 범위 이내로 높이는 것을 특징으로 하고,
    상기 기설정 비율은,
    5 % 내지 10 % 인 것을 특징으로 하고,
    상기 마스터링단계(S1270)는,
    상기 사후 검수된 영상을 기설정된 규격의 파일로 재출력하되, 5.1 채널 서라운드 사운드로 마스터링이 가능한 것을 특징으로 하는 영상의 고해상도 변환을 위한 리마스터링 방법.

Images