KR20000060403A - 영상 데이터의 칼라 포맷 변환 방법 - Google Patents

Abstract

본 발명은 영상 데이터의 칼라 포맷 변환 방법에 관한 것으로서, 이와 같은 본 발명은 보간하고자 하는 색상 화소의 주위 휘도 및 색상 신호의 샘플을 이용하는 수평방향 보간과, 보간할 위치 화소와의 상관성을 예측하여 가장 상관성이 높은 화소를 이용하는 수직방향 보간으로 이루어지는 것을 특징으로 하기 때문에, 휘도 신호에 비해서 상대적으로 샘플수가 적은 색상 신호에 의해서 발행할 수 있는 화면의 흐려짐이나 색상 왜곡 현상을 제거함으로써 보다 선명한 화질을 제공하는 효과가 있다.

Description

영상 데이터의 칼라 포맷 변환 방법{Converting Method of Image Data's Color Format}

본 발명은 영상 데이터에 관한 것으로서, 특히 새로운 영상 데이터의 색상 포맷 변환 방식과 효율적인 포맷 변환 방식을 통하여 고화질의 컬러 영상 데이터를 제공하거나 디스플레이시에 감지되는 컬러 왜곡을 방지하기에 적당하도록 한 영상 데이터의 컬러 포맷 변환 방법에 관한 방법을 제공하기 위한 것이다.

일반적으로, 종래의 MPEG 입력 영상의 컬러 포맷인 4:2:0의 포맷은 색상신호의 샘플수가 휘도(Y) 신호에 비하여 수평, 수직 방향으로 절반이다.

이와 같은 4:2:0 포맷의 영상 데이터가 디코딩된 후 디스플레이 되기 위해서는 4:4:4의 컬러 포맷으로 변환되어야 한다.

그러나, 색상 신호는 밝기 신호와 샘플링 위치가 다르기 때문에 포맷 변환 시 이를 고려하지 않을 경우 색상의 왜곡 현상이 나타난다.

이하, 종래 기술에 대한 이해를 돕기 위해 첨부한 도면을 참조하여 설명하면 다음과 같다.

MPEG2에서 정의하고 있는 4:2:0 컬러 포맷에서 휘도 신호(Y)와 색상신호의 샘플 위치는 도 1a 및 도 1b와 같다.

도 1a 는 종래의 휘도 및 색상 신호에 대한 수평, 수직 축으로 구성되는 공간 좌표상의 샘플 위치를 나타낸 도면이다.

도 1b 는 종래의 휘도 및 색상 신호에 대한 시간, 수직 공간 축으로 구성되는 공간 좌표상의 샘플 위치를 나타낸 도면이다.

여기서, 색상 신호의 샘플 위치와 휘도 신호의 샘플 위치를 비교해 보면 수직 축으로 샘플간 거리의 반만큼 차이가 있는 것을 볼 수 있다.

또한, 색상 신호의 경우 홀수 번째 라인의 샘플들과 짝수번째 라인의 샘플들이 인접 필드간의 시간차 만큼 차이가 있는 것을 볼 수 있다.

궁극적으로 4:2:0 포맷에서 4:4:4 포맷으로의 변환은 도 1과 같은 샘플 위치의 색상 신호로부터 휘도 신호의 샘플 위치('X'표로 표시된 위치)에 해당되는 색상 신호를 추정하는 과정으로 볼 수 있다.

도 2a 내지 도 2d는 종래 기술에 있어서 화소 반복 및 선형 보간에 의한 컬러신호의 왜곡 과정을 나타낸 도면이다.

도 2a는 종래 컬러신호의 원 신호를 나타낸 도면이다.

도 2b는 도 1의 원 신호가 2:1 다운 샘플링 된 도면이다.

도 2c는 왜곡된 컬러 신호가 화소 반복을 통해 보간된 신호를 나타낸 도면이다.

도 2d는 왜곡된 컬러 신호가 선형 보간을 통해 보간된 신호를 나타낸 도면이다.

도 2a 내지 도 2d를 참조하면, 이를 위한 방법들 중 간단하면서 저 비용으로 구현할 수 있는 방법으로 화소 반복(pel repetition)과 선형 보간(Linear interpolation)방법이 있다.

여기서, 화소 반복은 색상 신호 샘플 하나를 인접한 4개의 보간 위치에서 그대로 이용하는 방법이다.

또한, 선형 보간은 색상 샘플들의 샘플 수를 선형 보간을 통하여 수평, 수직 방향으로 2 배씩 늘리는 방법이다.

따라서, 필드간 움직임이 없는 경우에 이 두 가지 방식에 의한 컬러 포맷 변환은 도 2b와 같이 에지 부분에서 왜곡된다.

또한, 필드간의 움직임이 있을 때의 경우를 첨부한 도면을 참조하여 설명하면 다음과 같다.

도 3a 내지 도 3c는 종래 기술에 있어서 필드간 움직임이 있는 경우에 있어서 화소 반복 및 선형 보간에 의한 컬러신호의 왜곡 과정을 나타낸 도면이다.

도 3a는 원 신호의 첫 번째 필드를 나타낸 도면이다.

도 3b는 원 신호의 두 번째 필드를 나타낸 도면이다.

도 3c는 첫 번째 필드와 두 번째 필드로부터 2:1 다운 샘플링 하여 혼합된 신호를 나타낸 도면이다.

도 3d는 원 신호에 대해 화소 반복을 통하여 보간된 신호를 나타낸 도면이다.

도 3e는 원 신호에 대해 선형 보간을 통하여 보간된 신호를 나타낸 도면이다.

도 3a 내지 도 3e를 참조하면, 필드간 움직임이 있는 경우에는 수직 측으로 짝수 번 째 필드 샘플과 홀수 번 째 필드 샘플간의 상관도(correlation)가 떨어짐으로써 더욱 심한 왜곡이 야기되는 동작을 나타낸다.

여기서 도 3a 내지 도 3b는 각각 원래신호의 첫 번째와 두 번째 필드를 나타내고, 도 3c는 이 두 필드 샘플들을 2:1 다운 샘플링(down-sampling)하여 차례로 섞어 놓은 것이다.

따라서, 이 결과를 보면 필드간 움직임에 의해서 많은 왜곡이 발생함을 알 수 있다.

그러므로, 색상 신호의 왜곡은 휘도 신호의 경우보다 시각적으로 두드러져 보일 뿐 아니라 실시간으로 디스플레이할 때, 깜빡이는 형태로 나타날 수 있으므로 시각적으로 혼란스러운 현상이 발생하는 문제점이 있다.

본 발명은 이상에서 언급한 종래 기술의 문제점을 개선하기 위해 안출한 것으로서, 효율적인 영상 데이터의 색상 포맷 변환 방식을 통하여 고화질의 컬러 영상 데이터를 제공하기에 적당하도록 한 영상 데이터의 칼라 포맷 변환 방법에 관한 것이다.

도 1a 는 종래의 휘도 및 색상 신호에 대한 수평, 수직 축으로 구성되는 공간 좌표상의 샘플 위치를 나타낸 도면.

도 1b 는 종래의 휘도 및 색상 신호에 대한 시간, 수직 공간 축으로 구성되는 공간 좌표상의 샘플 위치를 나타낸 도면.

도 2a 내지 도 2d는 종래 기술에 있어서 화소 반복 및 선형 보간에 의한 컬러신호의 왜곡 과정을 나타낸 도면.

도 3a 내지 도 3e는 종래 기술에 있어서 필드간 움직임이 있는 경우에 있어서 화소 반복 및 선형 보간에 의한 컬러신호의 왜곡 과정을 나타낸 도면.

도 4는 본 발명에 따른 영상 데이터의 칼라 포맷 변환방법에서의 수평 방향 보간과 수직 방향 보간의 동작을 설명한 블록 구성도.

도 5는 도 4에 나타낸 수평방향 보간 방식을 설명하기 위한 도면.

도 6은 본 발명에 따른 수직 방향 보간에 있어서 보간될 샘플의 위치에 따른 보간 방식의 분류를 나타낸 도면.

도 7a는 본 발명에 따른 수직방향 보간에 있어서 top 필드의 보간 방식을 나타낸 도면.

도 7b는 본 발명에 따른 수직 방향 보간에 있어서 bottom필드의 보간방식을 나타낸 도면.

도 8은 본 발명에 따른 움직임 정보 및 수직 방향 에지 검출 동작을 나타낸 도면

* 도면의 주요 부분에 대한 부호의 설명 *

10 : 수평 방향 보간 11 : 수평 방향 에지 검출

12 : 수평 방향 필터링 20 : 수직 방향 보간

21 : 수직 방향 에지 검출 22 : 수직 방향 필터링

23 : 움직임 검출

이상과 같은 목적을 달성하기 위한 본 발명의 일 특징에 따르면, 보간하고자 하는 색상 화소의 주위 휘도 및 색상 신호의 샘플을 이용하는 수평방향 보간과, 보간할 위치 화소와의 상관성을 예측하여 가장 상관성이 높은 화소를 이용하는 수직방향 보간으로 이루어진다.

이와 같은 본 발명의 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하 본 발명의 바람직한 일실시예를 첨부된 도면을 참조하여 상세히 설명한다.

도 4는 본 발명에 따른 영상 데이터의 칼라 포맷 변환방법에서의 수평 방향 보간과 수직 방향 보간의 동작을 설명한 블록 구성도로서, 휘도 샘플로부터 수평방향 에지를 검출(11)하고, 에지 정보를 이용하여 수평 방향 필터링(12)을 실행하는 수평방향 보간(10)과, 휘도 샘플에서 수직 방향 에지를 검출(20)하고 휘도 샘플의 움직임을 검출(23)하여, 이를 이용한 수직 방향 필터링(22)을 실행하는 수직 방향 보간(20)을 포함한 기능 블록들로 구성된다.

이와 같이 구성된 도 4에서 수평 방향 보간(10)은 보간 하고자 하는 색상 화소의 주위 휘도 및 색상 신호의 샘플들을 이용한다.

즉, 휘도 샘플을 이용한 에지 연산과정과 에지 정보를 이용한 색상신호의 보간 필터링 과정으로 진행된다.

도 5는 이와 같은 수평방향 보간 방식을 설명하기 위한 도면이다.

도 5를 참조하면, 임의의 화소 'X'를 수평 방향으로 보간 할 때, 보간하고자 하는 위치를 중심으로 좌, 우측 에지는 다음의 수식 1과 같이 계산된다.

(수식 1)

위의 수식 1에 적용하여 계산된 좌,우측 에지의 값에 따른 에지 정보를 이용한 색상 신호의 보간 필터링은 아래 수식 2와 같다.

(수식 2)

즉, 수식 2의 결과에 따라, 우측 에지의 값이 좌측 에지의 값보다 크거나 같으면 임의의 화소 'X' 는 A 방향으로 수평 보간되며, 반대 경우에는 C 방향으로 수평 보간 됨을 의미한다.

그리고, 이와 같은 수평 방향 보간(10)과 함께 수직 방향 보간도 수행한다.

이러한 수직 방향 보간(20)은 보간할 화소 위치와의 상관성을 예측하여 가장 상관성이 높은 화소들을 이용하는 것으로서, 휘도 샘플로부터 움직임 정보(23) 및 수직 방향 에지 정보를 검출(21)하여 이를 이용한 수직방향 보간 필터링(22)을 실행한다.

이와 같은 수직 방향 보간은 도 6의 실시예를 참조하여 설명하면 더욱 명백해질 것이다.

도 6은 본 발명에 따른 수직 방향 보간에 있어서 보간될 샘플의 위치에 따른 보간 방식의 분류를 나타낸 도면이다.

도 6을 참조하면, 수직 방향 보간 방법은 4가지 경우로 나뉘어 실행되는데, 이 4가지 경우는 다음과 같다.

첫 번째, case 1은 Top 필드내에서 홀수 번째 라인 샘플을 보간하는 경우이다.

두 번째, case 2는 Top 필드내에서 짝수 번째 라인 샘플을 보간하는 경우이다.

세 번째, case 3은 bottom 필드내에서 홀수 번째 라인 샘플을 보간하는 경우이다.

네 번째, case 4는 bottom 필드내에서 짝수 번째 라인 샘플을 보간하는 경우이다.

여기서, top 필드는 프레임을 이루고 있는 두 필드중 위에 있는 필드를 말하며, bottom 필드는 밑에 있는 필드를 말한다.

또한, bottom필드의 각 라인은 top필드의 각 라인 바로 밑에 위치한다.

여기서 첫 번째와 네 번 째의 경우는 보간할 화소에서 가장 가까운 위치에 색상 샘플이 존재하므로 이를 그대로 이용할 수 있다.

즉, 첫 번째 경우는 보간 할 위치 바로 아래에 있는 샘플을 가져오고, 네 번째 경우는 보간 할 위치 바로 위에 있는 샘플을 그대로 가져온다.

이와 같은 두 가지 경우에 따른 실시예를 도 7a 와 도 7b을 참조하여 설명하면 더욱 명확해진다.

도 7a는 본 발명에 따른 수직방향 보간에 있어서 top 필드의 보간 방식을 나타낸 도면이다.

도 7b는 본 발명에 따른 수직 방향 보간에 있어서 bottom필드의 보간방식을 나타낸 도면이다.

즉, 첫 번째와 네 번째의 방법은 각각 도7a 및 도7b의 화소 'c'(알파벳 소문자)에 해당되고 이 경우 바로 아래 또는 위에 있는 샘플 'C'(알파벳 대문자)를 화소 'c'의 보간 값으로 이용하는 것을 말한다.

한편, 두 번째 및 세 번째 방법은 다른 경우에 비해서 비교적 먼 위치에 색상 샘플들이 존재하므로 보간 할 위치 화소와의 상관성을 예측하여 가장 상관성이 높은 화소들을 이용하여야 한다.

이를 위해서 도 4의 블록 구성도에 도시한 것처럼 휘도 샘플들로부터 움직임 정보 및 수직 방향의 에지 정보를 검출하고, 이를 이용한 보간 필터링을 실행한다.

그림 7a 내지 7b에서 'x'위치의 색상 신호의 보간값을 'x'라 할 때 움직임 정보와 에지 정보를 이용해서 수직축으로의 보간 필터링은 다음 수식 3과 같이 실행된다.

(수식 3)

위의 수식 3에서 M이란, 움직임 마스크(Movement mask; 이하, M이라 약칭함)를 나타낸다.

즉, 보간하고자 하는 화소와 주위 화소들이 존재하고 있는 영역을 말한다.

여기서 M 이 0이면 보간할 위치가 움직임이 없는 영역에 속하는 경우이고, 1이면 움직임이 있는 영역에 속하는 경우이다.

이와 같은 움직임 정보 및 수직 방향 에지 정보의 검출에 대한 실시예를 들어 설명하기로 한다.

도 8은 본 발명에 따른 움직임 정보 및 수직 방향 에지 검출 동작을 나타낸 도면이다.

도 8을 참조하면, 보간하고자 하는 화소와 주위 화소들이 존재 할 때 움직임 정보 검출 과정은 다음 수식 4로 표현되는 평균 필드차(Average field difference;이하라 약칭함)를 계산한 후 이를 문턱치(threshod ; 이하라 약칭함)와 비교하여 움직이는 영역에 속하는지 아닌지를 판단한다.

(수식 4)

그리고 수식 4와 같이 계산된 평균 필드차를 문턱치(T)와 비교하여 움직임 마스크(M)를 다음 수식 5와 같이 구한다.

(수식 5)

여기서 M 이 0이면 보간할 위치가 움직임이 없는 영역에 속하는 경우이고, 1이면 움직임이 있는 영역에 속하는 경우이다.

수직 방향 에지 검출은 보간하고자 하는 위치를 기준으로 그 상위 라인 및 하위 라인의 에지를 다음 수식 6과 같이 계산한다.

(수식 6)

,

본 발명은 영상 데이터의 색상 포맷 변환에 관한 것으로 휘도 신호에 비해서 상대적으로 샘플 수가 적은 색상 신호에 의해서 발생할 수 있는 화면의 흐려짐이나 색상 왜곡 현상을 제거함으로써 보다 선명한 화질을 제공하는 효과가 있다.

또한, 임의의 휘도 샘플로부터 움직임 및 에지 정보를 계산하므로 비교적 정확한 움직임 및 에지 정보를 추출하기 때문에 영상 데이터가 시간과 공간 변화에 효율적으로 적용할 수 있는 방법이므로 장면 전환 및 에지 부분에서도 선명한 컬러 영상을 제공하는 효과가 있다.

따라서, 디지털 TV, 캠코더 등 다양한 제품에 적용이 가능하며 품질 향상에 직접적인 영향을 미친다.

Claims (4)

1. 보간하고자 하는 색상 화소의 주위 휘도 및 색상 신호의 샘플을 이용하는 수평방향 보간과, 보간할 위치 화소와의 상관성을 예측하여 가장 상관성이 높은 화소를 이용하는 수직방향 보간으로 이루어지는 것을 특징으로 하는 영상 데이터의 칼라 포맷 변환 방법.
2. 제 1항에 있어서, 수평방향 보간은 임의의 색상화소의 임의의 휘도 샘플을 이용한 에지 연산과,

   상기 에지 연산을 이용한 색상신호의 필터링을 수행하는 것을 특징으로 하는 영상 데이터의 칼라 포맷 변환 방법.
3. 제 1항에 있어서, 수직 방향 보간은 상기 임의의 휘도 샘플에서 움직임 정보 및 수직방향 에지를 검출하고, 상기 검출한 에지 정보를 이용하여 필터링을 실행하는 것을 특징으로 하는 영상 데이터의 칼라 포맷 변환 방법.
4. 상기 제 1항에 있어서, 상기 수직 방향 보간은, Top 필드내의 홀수 번째 라인 샘플을 보간하는 경우와, 상기 Top 필드내의 짝수 번째 라인 샘플을 보간하는 경우와, bottom 필드내의 홀수 번째 라인 샘플을 보간하는 경우와, 상기 bottom 필드내의 짝수 번째 라인 샘플을 보간하는 경우를 구분하여 처리함을 특징으로 하는 영상 데이터의 칼라 포맷 변환 방법.