KR102556960B1 - 샘플링 된 색차 성분의 복원 장치 - Google Patents

샘플링 된 색차 성분의 복원 장치 Download PDF

Info

Publication number
KR102556960B1
KR102556960B1 KR1020180166165A KR20180166165A KR102556960B1 KR 102556960 B1 KR102556960 B1 KR 102556960B1 KR 1020180166165 A KR1020180166165 A KR 1020180166165A KR 20180166165 A KR20180166165 A KR 20180166165A KR 102556960 B1 KR102556960 B1 KR 102556960B1
Authority
KR
South Korea
Prior art keywords
component
pixel
value
color difference
luminance
Prior art date
Application number
KR1020180166165A
Other languages
English (en)
Other versions
KR20200077044A (ko
Inventor
박상재
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020180166165A priority Critical patent/KR102556960B1/ko
Publication of KR20200077044A publication Critical patent/KR20200077044A/ko
Application granted granted Critical
Publication of KR102556960B1 publication Critical patent/KR102556960B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/873—Regeneration of colour television signals for restoring the colour component sequence of the reproduced chrominance signal

Abstract

본 발명은 샘플링 된 색차 성분의 복원 장치에 관한 것으로, 상세하게는 서브 샘플링 된 영상 데이터의 일정 구간 내에서 이웃한 화소 사이의 휘도(Y) 성분 변화량과, 상기 일정 구간 내에서 이웃한 서브 샘플링 블록 사이의 색차(CB, CR) 성분 변화량을 연산하는 연산부; 상기 연산부에서 연산 된 휘도 성분 변화량 또는 색차 성분 변화량 각각을 기 설정된 기준 값과 각각 비교하여 서브 샘플링 된 색차 성분의 수정 복원 여부를 결정하는 판단부; 및 상기 판단부에서 수정 복원이 결정된 경우에 휘도 성분과 색차 성분을 이용하여 서브 샘플링 된 색차 성분을 수정 복원하는 복원부; 를 포함한다.

Description

샘플링 된 색차 성분의 복원 장치{Sampled chrominance component restoration device}
본 발명은 샘플링 된 색차 성분의 복원 장치에 관한 것으로, 상세하게는 서브 샘플링 된 영상 데이터의 일정 구간 내에서 이웃한 화소 사이의 휘도(Y) 성분 변화량과, 상기 일정 구간 내에서 이웃한 서브 샘플링 블록 사이의 색차(CB, CR) 성분 변화량을 연산하는 연산부; 상기 연산부에서 연산 된 휘도 성분 변화량 또는 색차 성분 변화량 각각을 기 설정된 기준 값과 각각 비교하여 서브 샘플링 된 색차 성분의 수정 복원 여부를 결정하는 판단부; 및 상기 판단부에서 수정 복원이 결정된 경우에 휘도 성분과 색차 성분을 이용하여 서브 샘플링 된 색차 성분을 수정 복원하는 복원부; 를 포함한다.
색을 표현하는 방법으로 RGB를 이용하여 표현하는 방법과, YCBCR로 표현하는 방법이 있다.
RGB로 표현하는 방법은, R(적), G(녹) B(청)를 이용하여 색 그대로를 전부 표현한다. 이는 무척 자세하고 풍부한 색 표현이 가능하지만 그만큼 용량이 커진다는 단점이 있다. 만약 영상을 RGB를 사용한 데이터로 재생한다면 영상의 데이터 용량은 매우 커진다는 문제가 생긴다.
YCBCR로 표현하는 방법은, 빛의 밝기를 나타내는 Y(휘도)와 색차 신호(CB, CR)를 분리하여 표현하는 방식이다.
영상 데이터의 용량을 압축하는 방법으로 YCBCR 서브 샘플링 방식이 있다. RGB로 표현된 영상데이터를 YCBCR로 변환하고, YCBCR 데이터에서 휘도(Y) 정보는 그대로 하되 색차(CB, CR) 정보를 압축하는 방식이다. 이것은 사람이 물체를 인식하는데 휘도(밝기)에 민감하지 그 외 색상 성분은 별로 민감하지 않다는 것을 이용한 것이다.
이러한 YCBCR 샘플링 기법은 Y, CB, CR 각각의 비율에 따라 달라진다.
YCBCR 4:2:2 포맷은 2개 화소로 이루어진 한 블록에 Y정보가 2개, 그리고 CB와 CR의 정보는 각각 하나씩 들어가고 2개 화소에서 공통으로 사용한다. 즉 휘도 정보는 하나의 화소에 대하여 하나의 휘도 샘플을 사용하고, 색상 성분에 대하여는 2개 화소에 대하여 하나의 샘플만을 취하여 공통으로 사용한다. 이러한 방법은 상기 휘도 성분에 대하여는 손실이 없으나, 색상 성분은 2개 화소에 하나의 샘플만을 취하게 되므로 필연적으로 손실이 발생할 수밖에 없다.
YCBCR 4:2:0 포맷은 4개 화소로 이루어진 한 블록에 Y정보가 4개 그리고 CB와 CR의 정보는 각각 1개 들어가고 4개 화소에서 공통으로 사용한다. 즉 하나의 화소에 대하여 하나의 휘도 샘플을 사용하고, 색상 성분에 대하여는 4개 화소에 대하여 하나의 샘플만을 취하여 공통으로 사용한다.
색차 정보를 줄여서 표현하더라도, 사람의 눈은 색상보다는 밝기에 민감하기 때문에 압축에 따른 손실을 사람이 잘 느끼지 못하여, 일반적으로는 위와 같은 YCBCR 서브 샘플링 방식으로 영상 데이터를 압축하여 표현하는 방법이 문제가 되지 않는다.
그러나 색차 성분이 점진적으로 변하는 화면의 경우에는 이로 인하여 압축에 따른 손실을 사람에게 인식될 수 있는 문제가 발생할 수 있다. 즉, 샘플링 된 색차 정보의 반복으로 인하여 블록화가 나타나는데, 색차 성분이 점진적으로 변하는 화면의 경우 등에서는 블록화로 인하여 계조 단차 현상이 발생할 수 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 전술한 문제를 해결하기 위하여 안출된 것으로, YCBCR 샘플링 포맷의 영상 데이터를 YCBCR 4:4:4 포맷의 영상 데이터로 복원할 때, 복원되는 색차 성분을 개별 화소 별로 조절하여 수정 복원함으로써, 화질을 개선하는데 그 목적이 있다.
전술한 과제를 해결하기 위한 수단으로, 본 발명은 다음과 같은 특징이 있는 실시예를 가진다.
본 발명은, 서브 샘플링 된 영상 데이터의 일정 구간 내에서 이웃한 화소 사이의 휘도(Y) 성분 변화량과, 상기 일정 구간 내에서 이웃한 서브 샘플링 블록 사이의 색차(CB, CR) 성분 변화량을 연산하는 연산부; 상기 연산부에서 연산 된 휘도 성분 변화량 또는 색차 성분 변화량 각각을 기 설정된 기준 값과 각각 비교하여 서브 샘플링 된 색차 성분의 수정 복원 여부를 결정하는 판단부; 및 상기 판단부에서 수정 복원이 결정된 경우에 휘도 성분과 색차 성분을 이용하여 서브 샘플링 된 색차 성분을 수정 복원하는 복원부; 를 포함하는 것을 특징으로 한다.
상기 연산부는 상기 일정 구간 내에서 이웃한 화소 사이의 휘도 성분 증가/감소량을 산출하는 휘도 연산 모듈과, 상기 일정 구간 내에서 이웃한 서브 샘플링 블록 사이의 색차 성분 증가/감소량을 산출하는 색차 연산 모듈을 포함하고, 상기 판단부는 상기 휘도 성분 증가/감소량이 기 설정된 기준 값인 th1 보다 작고, 상기 색차 성분 증가/감소량이 기 설정된 기준 값인 th2 보다 작은 경우 단조 증가/감소로 판단하여, 서브 샘플링 된 색차 성분의 수정 복원을 결정하는 것을 특징으로 한다.
상기 연산부는 상기 일정 구간 내에서 휘도 성분 최대값과 최소값의 차를 산출하는 휘도 연산 모듈과, 상기 일정 구간 내에서 색차 성분 최대값과 최소값의 차를 산출하는 색차 연산 모듈을 포함하고, 상기 판단부는 상기 휘도 성분 최대값과 최소값의 차가 기 설정된 기준 값인 th3 보다 작고, 상기 색차 성분 최대값과 최소값의 차가 기 설정된 기준 값인 th4 보다 작은 경우 미세 변동으로 판단하여, 서브 샘플링 된 색차 성분의 수정 복원을 결정하는 것을 특징으로 한다.
상기 서브 샘플링 된 영상 데이터는 YCBCR 4:2:2 포맷이고, 상기 복원부는 서브 샘플링 블록 별로 하나의 화소의 색차 성분을 수정 복원하고, 수정 복원 화소의 색차 성분 값은 상기 수정 복원 화소와 이웃하는 이웃 화소의 색차 성분의 평균 값인 것을 특징으로 한다.
상기 평균 값이 소수점을 가지는 경우에는, 상기 소수점을 반올림하여 상기 평균 값을 구하는 것을 특징으로 한다.
또한, 상기 평균 값이 소수점을 가지는 경우에는, 상기 수정 복원 화소의 휘도 성분 값을, 인접한 오른쪽 화소의 휘도 성분 값과 인접한 왼쪽 화소의 휘도 성분 값과 비교하여, 인접한 왼쪽 화소의 휘도 성분과 가까울 경우에는 상기 평균 값의 소수점을 버림 하고, 인접한 오른쪽 화소의 휘도 성분과 가까울 경우에는 상기 평균 값의 소수점을 반올림하여, 상기 평균 값을 구하는 것을 특징으로 한다.
상기 서브 샘플링 된 영상 데이터는 YCBCR 4:2:2 포맷이고, 상기 복원부는 서브 샘플링 블록 별로 하나의 화소의 색차 성분을 수정 복원하고, 수정 복원 화소의 색차 성분 값은 수학식,
에 의해 산출되는 것을 특징으로 한다.
본 발명은 Y, CB, CR값의 증가량을 연산하고, 상기 증가량을 기 설정된 기준 값과 비교하여 단조 증가를 판단하고, 단조 증가로 판단된 경우 서브 샘플링 된 색차 성분의 수정 복원 여부를 결정하는 효과가 있다.
또한, Y, CB, CR값의 감소량을 연산하고, 상기 감소량을 기 설정된 기준 값과 비교하여 단조 감소를 판단하고, 단조 감소로 판단된 경우 서브 샘플링 된 색차 성분의 수정 복원 여부를 결정하는 효과가 있다.
또한, Y, CB, CR값 각각의 최대값과 최소값의 차를 연산하고, 상기 차를 기 설정된 기준 값과 비교하여 미세 변동 여부를 판단하고, 미세 변동으로 판단된 경우 서브 샘플링 된 색차 성분의 수정 복원 여부를 결정하는 효과가 있다.
또한, 복원 화소와 이웃한 화소의 색차 성분의 평균 값을 복원 화소의 색차 성분 값으로 수정 복원함으로써, 블록화로 인한 계조 단차 현상이 발생하는 문제를 방지하고, 화질을 개선하는 효과가 있다.
또한, 평균 값이 소수점을 가지는 경우에는, 인접한 화소의 휘도와 비교하여 소수점을 버림 하거나 반올림하여 평균 값을 구함으로써, 서브 샘플링 된 색차 성분의 복원을 더욱 정밀하게 하는 효과가 있다.
또한, 수정 복원 화소와 이웃한 화소의 휘도 성분의 변화 정도를 반영하여 수정 복원 화소의 색차 성분 값을 구함으로써, 서브 샘플링 된 색차 성분의 복원을 더욱 정밀하게 하는 효과가 있다.
도 1은 화소가 RGB 방식으로 표현된 것에 관한 도면
도 2는 화소가 YCBCR 방식으로 표현된 것에 관한 도면
도 3은 YCBCR 4:4:4 포맷을 4:2:2 포맷으로 서브 샘플링 한 것에 관한 도면
도 4는 YCBCR 4:4:4 포맷을 4:2:0 포맷으로 서브 샘플링 한 것에 관한 도면
도 5는 서브 샘플링 된 4:2:2 포맷으로부터 4:4:4포맷으로 복원하는 과정에 관한 도면
도 6은 4:4:4 포맷으로 복원하는 과정에서 색차 성분을 조절하여 수정 복원한 것에 관한 도면
도 7은 본 발명의 일 실시예에 따른 샘플링 된 색차 성분의 복원 장치에 관한 블록도
도 8은 휘도와 적색차 성분이 단조증가 하는 패턴에 관한 도면
도 9는 휘도와 적색차 성분이 단조감소 하는 패턴에 관한 도면
도 10은 휘도와 적색차 성분이 미세변동 하는 패턴에 관한 도면
도 11은 본 발명의 일 실시예에 따른 4:2:2 포맷으로부터 4:4:4 포맷으로 복원하는 과정에 관한 예시도
도 12는 도 11의 예에서 복원 화소의 색차 성분을 실시예 1의 방법으로 조절하여 4:4:4 포맷으로 수정 복원하는 과정에 관한 예시도
도 13은 도 11의 예에서 복원 화소의 색차 성분을 실시예 2 내지 3의 방법으로 조절하여 4:4:4 포맷으로 수정 복원하는 과정에 관한 예시도
이하, 첨부되는 도면을 참고하여 본 발명의 실시예들에 대해 상세히 설명한다.
도 1은 화소가 RGB 방식으로 표현된 것에 관한 도면이다. 하나의 화소를 RGB로 표현하는 방법은, R(적), G(녹) B(청)를 이용하여 색 그대로를 전부 표현하는 방법이다. 이러한 방법은 풍부한 색 표현이 가능하지만 그만큼 용량이 커진다는 단점이 있다. 화소를 256단계로 표현하는 경우 하나의 화소는 R, G, B 3개로 표현되기 때문에 3byte의 데이터 값을 가지게 된다.
도 2는 화소가 YCBCR 방식으로 표현된 것에 관한 도면이다. Y는 휘도 성분이며, CB와 CR은 색차 성분이다. 이 경우도 화소를 256단계로 표현하는 경우 하나의 화소는 Y, CB, CR 3개로 표현되기 때문에 3byte의 데이터 값을 가지게 된다. 따라서 컬러 영상을 표현하는데 있어서는 전술한 RGB방식과 YCBCR방식에 있어서 데이터 양에 차이가 없다. 그러나 YCBCR 방식은 휘도 성분과 색상 성분을 분리하여 데이터를 처리하기 때문에, 하나의 데이터 방식으로 흑백 영상과 컬러 영상을 모두 전송할 수 있다는 장점이 있다. 즉 컬러 영상을 전송할 경우에는 하나의 화소당 Y, CB, CR 3byte의 데이터를 전송하지만, 흑백 영상을 전송할 경우에는 Y 성분만 전송하면 충분하기 때문에 1byte의 데이터로 줄어들게 된다.
R, G, B 성분과 Y, CB, CR 성분의 관계식은 수학식 1 내지 6과 같다.
도 3은 YCBCR 4:4:4 포맷을 4:2:2 포맷으로 서브 샘플링 한 것에 관한 도면이다. 4:2:2 포맷의 샘플링 방식은 하나의 화소에 대하여 하나의 휘도(Y)를 사용하고, 색차(CB, CR) 성분에 대하여는 2개 화소에 대해 하나의 샘플만을 취하여 공통으로 사용하도록 하는 방식이다. 도 3을 참조하면 화소 P1, P2가 하나의 블록인 B1으로 블록화 되어 있다. 하나의 블록, 즉 2개 화소를 기준으로 휘도 성분은 Y1, Y2 2개를 사용하고, 색차 성분은 CB_r1, CR_r2를 2개 화소에서 각각 공통으로 사용하고 있다. 따라서 하나의 화소를 기준으로는 2byte의 데이터를 사용하는 것이 되어 4:4:4 포맷과 비교하면 데이터 양이 압축되어 2/3로 줄어들었음을 알 수 있다. 공통으로 사용되는 색차 성분인 CB_r1은 수학식 7을 통하여 계산될 수 있다.
수학식 7에서 k값이 0.5인 경우 CB_r1은 CB1 과 CB2의 평균에 해당하고, 평균 값을 대표 값으로 사용한 것이 된다. CR_r1의 같은 방식으로 계산된다.
도 4는 YCBCR 4:4:4 포맷을 4:2:0 포맷으로 서브 샘플링 한 것에 관한 도면이다. 4:2:0 포맷의 샘플링 방식은 하나의 화소(P)에 대하여 하나의 휘도(Y)를 사용하고, 색차(CB, CR) 성분에 대하여는 4개 화소에 대해 하나의 샘플만을 취하여 공통으로 사용하도록 하는 방식이다. 도 3을 참조하면 화소 P1, P2, P3, P4가 하나의 블록인 B1으로 블록화 되어 있다. 하나의 블록, 즉 4개 화소를 기준으로 휘도 성분은 Y1, Y2, Y3, Y4 4개를 사용하고, 색차 성분은 CB_r1, CR_r2를 4개 화소에서 각각 공통으로 사용하고 있다. 따라서 하나의 화소를 기준으로는 1.5byte의 데이터를 사용하는 것이 되어 4:4:4 포맷과 비교하면 데이터 양이 압축되어 1/2로 줄어들었음을 알 수 있다. 공통으로 사용되는 색차 성분인 CB_r1과 CR_r1은 평균 값을 대표 값으로 사용할 수 있다.
4:4:4 포맷의 데이터를 서브 샘플링하여 4:2:2 또는 4:2;0 포맷의 데이터로 압축하는 과정에서 휘도 성분에 대하여는 손실이 없다. 그러나 색차 성분은 4:2:2 포맷의 경우 2개의 화소에 하나의 색차 성분을 공통으로 사용하고, 4:2:0 포맷의 경우 4개의 화소에 하나의 색차 성분을 공통으로 사용하기 때문에 왜곡이나 손실이 필연적으로 발생한다. 그러나 사람의 눈은 색차 성분에 대하여는 민감도가 덜하기 때문에, 일반적으로 이러한 색차 성분의 손실은 사람에게 인식되지 않아서 문제가 되지 않는다.
도 5는 서브 샘플링 된 4:2:2 포맷으로부터 4:4:4포맷으로 복원하는 과정에 관한 도면이다. 도 5에 도시된 바와 같이 4:4:4 포맷으로 복원하는 과정에서 샘플링된 색차 성분인 CB_r 또는 CR_r 값은 2개 화소에 반복된다. 일반적으로 이러한 복원방식으로 인한 색차 성분의 손실은 사람에게 인식되지 않아서 문제가 되지 않는다. 그러나 색차 성분이 점진적으로 변하는 화면의 경우에는 이로 인하여 압축에 따른 손실을 사람에게 인식될 수 있는 문제가 발생할 수 있다. 즉, 샘플링 된 색차 정보의 반복으로 인하여 블록화가 나타나는데, 색차 성분이 점진적으로 변하는 화면의 경우 등에서는 블록화로 인하여 계조 단차 현상이 발생하고, 사람에게 인식되어 화질 저하 문제가 발생할 수 있다.
도 6은 4:4:4 포맷으로 복원하는 과정에서 색차 성분을 조절하여 복원한 것에 관한 도면이다.
본 발명은 이러한 문제를 해결하기 위한 것으로, 4:4:4 포맷으로 복원하는 과정에서 색차 성분을 2개 화소에 반복하여 단순 복원하는 것이 아니라, 복원되는 색차 성분을 화소 별로 조절하여 수정 복원함으로써, 블록화로 인한 계조 단차 현상의 발생을 방지하는 색차 성분의 복원 장치이다. 즉, 도 6을 참조하여 설명하면, 도 5에서와 달리 샘플링 된 색차 성분인 CB_r 또는 CR_r 값을 2개 화소에 반복하여 복원하는 것이 아니라, 어느 하나의 화소는 샘플링 된 색차 성분을 사용하여 복원하되, 다른 화소는 샘플링 된 색차 성분을 조절하여 다른 값으로 수정 복원한다.
도 7은 본 발명의 일 실시예에 따른 샘플링 된 색차 성분의 복원 장치에 관한 블록도이다.
본 발명인 색플링 된 색차 성분의 복원 장치는, 연산부(100), 판단부(200), 복원부(300)을 포함한다.
상기 연산부(100)는 휘도 연산 모듈(110), 제1 색차 연산 모듈(120), 제2 색차 연산 모듈(130)을 포함한다.
상기 휘도 연산 모듈(110)은, 각 화소에 대한 휘도 성분인 Y 값을 입력 받아 일정 구간 내에서 이웃한 화소 사이의 휘도 성분을 연산한다. 구체적으로는 이웃한 화소 사이의 휘도 성분의 증가량 또는 감소량을 산출하거나, 상기 일정 구간 내에서 휘도 성분 최대값과 최소값의 차를 산출한다. 여기서 일정 구간이란 4:2:2 포맷을 복원시키는 경우에는 1 x N 화소 구간이 되고, 4:2:0 포맷을 복원시키는 경우에는 2 x N 화소 구간이 된다. N은 짝수이다. 이하 같다.
상기 제1 색차 연산 모듈(120)은, 각 화소에 대한 청색차 성분인 CB 값을 입력 받아 일정 구간 내에서 이웃한 서브 샘플링 블록 사이의 청색차 성분을 연산한다. 구체적으로는 이웃한 서브 샘플링 블록 사이의 청색차 성분의 증가량 또는 감소량을 산출하거나, 상기 일정 구간 내에서 청색차 성분의 최대값과 최소값의 차를 산출한다. 여기서 서브 샘플링 블록 사이라 함은, 4:2:2 포맷을 복원하는 경우에는 수평방향으로 2개 화소 사이가 되고, 4:2:0 포맷을 복원하는 경우에는 수평방향으로 2개 화소 사이 및 수직방향으로 2개 화소 사이가 된다. 이하 같다.
상기 제2 색차 연산 모듈(130)은, 각 화소에 대한 적색차 성분인 CR 값을 입력 받아 일정 구간 내에서 이웃한 서브 샘플링 블록 사이의 적색차 성분을 연산한다. 구체적으로는 이웃한 서브 샘플링 블록 사이의 적색차 성분의 증가량 또는 감소량을 산출하거나, 상기 일정 구간 내에서 적색차 성분의 최대값과 최소값의 차를 산출한다.
상기 판단부(200)는, 상기 연산부(100)에서 연산 된 휘도 성분 변화량 또는 색차 성분 변화량 각각을 기 설정된 기준 값과 각각 비교하여 서브 샘플링 된 색차 성분의 수정 복원 여부를 결정한다.
또한, 상기 판단부(200)는 상기 휘도 성분 증가량이 기 설정된 기준 값인 th1 보다 작고, 상기 색차 성분 증가량이 기 설정된 기준 값인 th2 보다 작은 경우 단조 증가로 판단하여 서브 샘플링 된 색차 성분의 수정 복원을 결정한다. 기설정 된 기준 값을 th1=2이고 th2=3으로 가정하고, 도 8을 참조하여 설명하면, 휘도 성분의 증가량은 1로 th1 보다 작다. 그리고 색차 성분 증가량은 2로 th2보다 작은 것을 알 수 있다. 이 경우 상기 판단부(200)는 단조 증가로 판단하여 색차 성분의 수정 복원을 결정하게 된다.
또한, 상기 판단부(200)는 상기 휘도 성분 감소량이 기 설정된 기준 값인 th1 보다 작고, 상기 색차 성분 감소량이 기 설정된 기준 값인 th2 보다 작은 경우 단조 감소로 판단하여 서브 샘플링 된 색차 성분의 수정 복원을 결정한다. 기설정 된 기준 값을 th1=2이고 th2=3으로 가정하고, 도 9를 참조하여 설명하면, 휘도 성분의 감소량은 1로 th1 보다 작다. 그리고 색차 성분 감소량은 2로 th2보다 작은 것을 알 수 있다. 이 경우 상기 판단부(200)는 단조 감소로 판단하여 색차 성분의 수정 복원을 결정하게 된다.
또한, 상기 판단부(200)는 상기 휘도 성분 최대값과 최소값의 차가 기 설정된 기준 값인 th3 보다 작고, 상기 색차 성분 최대값과 최소값의 차가 기 설정된 기준 값인 th4 보다 작은 경우 미세 변동으로 판단하여 서브 샘플링 된 색차 성분의 수정 복원을 결정한다. 기 설정된 기준 값을 th3=2이고, th4=3으로 가정하고, 도 10을 참조하여 설명하면, 일정 구간인 1 x 6 화소 구간에서 휘도 성분의 최대값은 1이고, 최소값은 0이다. 따라서 휘도 성분 최대값과 최소값의 차는 1이 되고 이는 기준 값인 th3보다 작다. 또한, 색차 성분 최대값은 2이고, 최소 값은 0이다. 따라서 색차 성분 최대값과 최소값의 차는 2가 되고 이는 기준 값인 th4보다 작다. 이 경우 상기 판단부(200)는 미세 변동으로 판단하여 색차 성분의 수정 복원을 결정하게 된다.
상기 복원부(300)는, 상기 판단부(200)에서 수정 복원이 결정된 경우에 휘도 성분과 색차 성분을 이용하여 서브 샘플링 된 색차 성분을 수정 복원한다. 한편, 상기 판단부(200)에서 수정 복원을 결정하지 않은 경우에는 상기 복원부(300)가 서브 샘플링 된 색차 성분을 2개 화소에 반복 사용하여 색차 성분을 단순 복원한다.
도 11은 본 발명의 일 실시예에 따른 4:2:2 포맷으로부터 4:4:4 포맷으로 복원하는 과정에 관한 예시도이고, 도 12는 도 11의 예에서 복원 화소의 색차 성분을 실시예 1의 방법으로 조절하여 4:4:4 포맷으로 수정 복원하는 과정에 관한 예시도이고, 도 13은 도 11의 예에서 복원 화소의 색차 성분을 실시예 2 내지 3의 방법으로 조절하여 4:4:4 포맷으로 수정 복원하는 과정에 관한 예시도이다.
이하, 도 11 내지 도 13을 참조하여, 서브 샘플링 된 영상 데이터가 YCBCR 4:2:2 포맷인 경우에 4:4:4 포맷으로 복원하는 경우를 예로 들어 실시예 1 내지 3에 대하여 구체적으로 설명한다.
실시예 1
도 11 내지 도 12를 참조하여 설명하면, 실시예 1에서, 상기 복원부(300)는 서브 샘플링 블록 별로 하나의 화소의 색차 성분을 수정하여 복원한다. 복원되는 화소의 색차 성분 값은 복원 화소와 이웃하는 이웃 화소의 색차 성분의 평균 값을 사용한다. 도 12에 도시된 바와 같이 수정 복원 화소(P2)는 이웃 화소 (P1, P3)의 색차 성분의 평균 값을 사용한다. 도 12에서는 이웃 화소 (P1, P3)의 색차 성분의 평균 값은 (0+1)/2로 계산되어 0.5가 된다. 실시예 1에서는 평균 값이 소수점을 가지는 경우에는, 상기 소수점을 단순 반올림하여 계산한다. 따라서 평균 값은 1이 되고, 그 결과 수정 복원 화소(P2)의 색차 성분 CR_2는 1이 된다. 수정 복원 화소 (P4)도 같은 방법으로 계산하면, 이웃 화소 (P3, P5)의 색차 성분의 평균 값은 2.5가 되고 반올림하여 수정 복원 화소(P4)의 색차 성분 CR_4는 3이 된다.
살펴본 바와 같이 실시예 1의 경우에는, 색차 성분을 수정 복원하는 과정에서 휘도 성분의 연산은 포함되지 않는다. 따라서 실시예 1은 후술할 다른 실시예 2 내지 3과 비교하여 연산 과정이 가장 단순하다는 장점이 있다.
실시예 2
도 11과 도13을 참조하여 설명하면, 상기 복원부(300)는 서브 샘플링 블록 별로 하나의 화소의 색차 성분을 수정하여 복원한다. 복원되는 화소의 색차 성분 값은 복원 화소와 이웃하는 이웃 화소의 색차 성분의 평균 값을 사용한다. 평균 값이 소수점을 가지는 경우에 실시예 1에서는 단순 반올림하여 처리하였으나, 실시예 2에서는 수정 복원 화소의 휘도 성분 값을 인접 화소의 휘도 성분과 비교하여 소수점 버림 또는 소수점 반올림 처리한다.
도 13을 참조하여 구체적으로 살펴보면, 수정 복원 화소(P2)의 이웃 화소 (P1, P3)의 색차 성분의 평균 값은 0.5가 된다. 그리고 수정 복원 화소 (P4)의 이웃 화소 (P3, P5)의 색차 성분의 평균 값은 2.5가 된다. 여기서 수정 복원 화소의 휘도 성분 값을 인접 화소의 휘도 성분과 비교하여 소수점을 처리한다. 수정 복원 화소(P2)의 휘도 성분 값은 1이고, 이 값은 오른쪽 화소의 휘도 성분 값 3보다 왼쪽 화소의 휘도 성분 값 0에 더 가깝다. 따라서 P2의 경우에는 소수점을 버림 하여 평균 값을 산출하고 그 결과 CR_2는 0이 된다. 수정 복원 화소(P4)의 휘도 성분 값은 5이고, 이 값은 왼쪽 화소의 휘도 성분 값 3보다 오른쪽 화소의 휘도 성분 값 6에 더 가깝다. 따라서 P4의 경우에는 소수점을 올림 하여 평균 값을 산출하고 그 결과 CR_2는 3이 된다.
실시예 3
도 11과 도13을 참조하여 설명하면, 상기 복원부는 서브 샘플링 블록 별로 하나의 화소의 색차 성분을 수정 복원한다. 수정 복원 화소의 색차 성분 값은 수학식 8에 의해 산출된다.
여기서, 각 파라미터의 첨자, n은 수정 복원 화소이고, n-1은 수정 복원 화소와 인접한 왼쪽 화소, n+1은 수정 복원 화소와 인접한 우측 화소이다.
도 13을 참조하여 2번째 화소(P2)의 적색차 성분 CR_2가 계산되는 과정을 구체적으로 살펴보면,
CR_2 = CR3 - (CR3-CR1)*(Y3-Y2)/(Y3-Y1)이 되고, 도 13에 도시된 각각 성분의 값을 대입하면, CR_2 = 1 - (1-0)*(3-1)/(3-0) = 1/3 = 0.333이 된다.
여기서 수정 복원 화소의 색차 성분 값이 소수점을 가지는 경우에 소수점 처리 방법은 실시예 2에서와 같다. 즉, P2의 경우에는 소수점을 버림 하여 값을 산출하고 그 결과 CR_2는 0이 된다.
실시예 3의 경우에는, 색차 성분을 수정 복원하는 과정에서 휘도 성분의 연산을 포함하고, 수정 복원 화소와 이웃한 화소의 휘도 성분의 변화 정도를 반영하여 수정 복원 화소의 색차 성분 값을 구함으로써, 서브 샘플링 된 색차 성분의 복원을 더욱 정밀하게 하는 효과가 있다.
이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 청구범위에 포함되는 것으로 해석되어야 한다.
110: 휘도 연산 모듈
120: 제1 색차 연산 모듈
130: 제2 색차 연산 모듈
200: 판단부
300: 복원부

Claims (9)

  1. 서브 샘플링 된 영상 데이터의 일정 구간 내에서 이웃한 화소 사이의 휘도(Y) 성분 변화량과, 상기 일정 구간 내에서 이웃한 서브 샘플링 블록 사이의 색차(CB, CR) 성분 변화량을 연산하는 연산부;
    상기 연산부에서 연산 된 휘도 성분 변화량 또는 색차 성분 변화량 각각을 기 설정된 기준 값과 각각 비교하여 서브 샘플링 된 색차 성분의 수정 복원 여부를 결정하는 판단부; 및
    상기 판단부에서 수정 복원이 결정된 경우에 휘도 성분과 색차 성분을 이용하여 서브 샘플링 된 색차 성분을 수정 복원하는 복원부; 를 포함하고,
    상기 연산부는 상기 일정 구간 내에서 휘도 성분 최대값과 최소값의 차를 산출하는 휘도 연산 모듈과, 상기 일정 구간 내에서 색차 성분 최대값과 최소값의 차를 산출하는 색차 연산 모듈을 포함하고,
    상기 판단부는 상기 휘도 성분 최대값과 최소값의 차가 기 설정된 기준 값인 th3 보다 작고, 상기 색차 성분 최대값과 최소값의 차가 기 설정된 기준 값인 th4 보다 작은 경우 미세 변동으로 판단하여, 서브 샘플링 된 색차 성분의 수정 복원을 결정하는 것을 특징으로 하는 서브 샘플링 된 색차 성분의 복원 장치.
  2. 제1항에 있어서,
    상기 연산부는 상기 일정 구간 내에서 이웃한 화소 사이의 휘도 성분 증가량을 산출하는 휘도 연산 모듈과, 상기 일정 구간 내에서 이웃한 서브 샘플링 블록 사이의 색차 성분 증가량을 산출하는 색차 연산 모듈을 포함하고,
    상기 판단부는 상기 휘도 성분 증가량이 기 설정된 기준 값인 th1 보다 작고, 상기 색차 성분 증가량이 기 설정된 기준 값인 th2 보다 작은 경우 단조 증가로 판단하여, 서브 샘플링 된 색차 성분의 수정 복원을 결정하는 것을 특징으로 하는 서브 샘플링 된 색차 성분의 복원 장치.
  3. 제1항에 있어서,
    상기 연산부는 상기 일정 구간 내에서 이웃한 화소 사이의 휘도 성분 감소량을 산출하는 휘도 연산 모듈과, 상기 일정 구간 내에서 이웃한 서브 샘플링 블록 사이의 색차 성분 감소량을 산출하는 색차 연산 모듈을 포함하고,
    상기 판단부는 상기 휘도 성분 감소량이 기 설정된 기준 값인 th1 보다 작고, 상기 색차 성분 감소량이 기 설정된 기준 값인 th2 보다 작은 경우 단조 감소로 판단하여, 서브 샘플링 된 색차 성분의 수정 복원을 결정하는 것을 특징으로 하는 서브 샘플링 된 색차 성분의 복원 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 서브 샘플링 된 영상 데이터는 YCBCR 4:2:2 포맷이고,
    상기 복원부는 서브 샘플링 블록 별로 하나의 화소의 색차 성분을 수정 복원하고, 수정 복원 화소의 색차 성분 값은 상기 수정 복원 화소와 이웃하는 이웃 화소의 색차 성분의 평균 값인 것을 특징으로 하는 서브 샘플링 된 색차 성분의 복원 장치.
  6. 제5항에 있어서,
    상기 평균 값이 소수점을 가지는 경우에는, 상기 소수점을 반올림하여 상기 평균 값을 구하는 것을 특징으로 하는 서브 샘플링 된 색차 성분의 복원 장치.
  7. 제5항에 있어서,
    상기 평균 값이 소수점을 가지는 경우에는,
    상기 수정 복원 화소의 휘도 성분 값을, 인접한 오른쪽 화소의 휘도 성분 값과 인접한 왼쪽 화소의 휘도 성분 값과 비교하여, 인접한 왼쪽 화소의 휘도 성분과 가까울 경우에는 상기 평균 값의 소수점을 버림 하고, 인접한 오른쪽 화소의 휘도 성분과 가까울 경우에는 상기 평균 값의 소수점을 반올림하여, 상기 평균 값을 구하는 것을 특징으로 하는 서브 샘플링 된 색차 성분의 복원 장치.
  8. 제1항에 있어서,
    상기 서브 샘플링 된 영상 데이터는 YCBCR 4:2:2 포맷이고,
    상기 복원부는 서브 샘플링 블록 별로 하나의 화소의 색차 성분을 수정 복원하고, 수정 복원 화소의 색차 성분 값은 아래의 수학식에 의해 산출되는 것을 특징으로 하는 서브 샘플링 된 색차 성분의 복원 장치.


    여기서, 각 파라미터의 첨자, n은 수정 복원 화소이고, n-1은 수정 복원 화소와 인접한 왼쪽 화소, n+1은 수정 복원 화소와 인접한 우측 화소이다.
  9. 제8항에 있어서,
    상기 수정 복원 화소의 색차 성분 값이 소수점을 가지는 경우에는,
    상기 수정 복원 화소의 휘도 성분 값을, 인접한 오른쪽 화소의 휘도 성분 값과 인접한 왼쪽 화소의 휘도 성분 값과 비교하여, 인접한 왼쪽 화소의 휘도 성분과 가까울 경우에는 상기 수정 복원 화소의 색차 성분 값의 소수점을 버림 하고, 인접한 오른쪽 화소의 휘도 성분과 가까울 경우에는 상기 수정 복원 화소의 색차 성분 값의 소수점을 반올림하여, 상기 수정 복원 화소의 색차 성분 값을 구하는 것을 특징으로 하는 서브 샘플링 된 색차 성분의 복원 장치.
KR1020180166165A 2018-12-20 2018-12-20 샘플링 된 색차 성분의 복원 장치 KR102556960B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180166165A KR102556960B1 (ko) 2018-12-20 2018-12-20 샘플링 된 색차 성분의 복원 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180166165A KR102556960B1 (ko) 2018-12-20 2018-12-20 샘플링 된 색차 성분의 복원 장치

Publications (2)

Publication Number Publication Date
KR20200077044A KR20200077044A (ko) 2020-06-30
KR102556960B1 true KR102556960B1 (ko) 2023-07-18

Family

ID=71121015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180166165A KR102556960B1 (ko) 2018-12-20 2018-12-20 샘플링 된 색차 성분의 복원 장치

Country Status (1)

Country Link
KR (1) KR102556960B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205572A (zh) * 2021-11-04 2022-03-18 西安诺瓦星云科技股份有限公司 图像格式转换方法、装置和视频处理设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100767668B1 (ko) * 2005-02-22 2007-10-18 엘지전자 주식회사 서브 샘플링된 색화소의 가변적 복원 방법 및 장치
SG10201408745YA (en) * 2011-06-28 2015-02-27 Samsung Electronics Co Ltd Prediction method and apparatus for chroma component of image using luma component of image

Also Published As

Publication number Publication date
KR20200077044A (ko) 2020-06-30

Similar Documents

Publication Publication Date Title
US11064209B2 (en) System and method for content adaptive clipping
US10282801B2 (en) Full-color visibility model using CSF which varies spatially with local luminance
CN102884536B (zh) 用于视频会议压缩的肤色与特征检测
KR20130019423A (ko) 비디오 코딩을 위한 적응적 오프셋 복원 장치 및 방법
RU2709652C1 (ru) Обработка пикселей с учетом цветового компонента
WO2019092463A1 (en) Video image processing
US6744818B2 (en) Method and apparatus for visual perception encoding
WO2007080466A1 (en) Method and apparatus for white balancing digital images
KR20070096057A (ko) 디지털 이미지 처리를 위한 루마 적응
Hanhart et al. Subjective evaluation of HEVC intra coding for still image compression
JP2009508427A (ja) 画像強調および圧縮
CN115052137B (zh) 一种饱和度调整的方法及装置
KR102556960B1 (ko) 샘플링 된 색차 성분의 복원 장치
JP6685198B2 (ja) 撮像装置及びその制御方法及びプログラム
KR100327368B1 (ko) 영상 부호화 및 복호화 방법
TWI410953B (zh) 色彩空間轉換電路及方法
CN104717401A (zh) 一种去除奇点噪声的方法及装置
CN110636304B (zh) 一种YCbCr444和YCbCr422转换方法
KR20160025876A (ko) 영상의 대비 강화 방법 및 장치
JP4037336B2 (ja) 画像処理装置および方法並びにプログラム
CA2756884A1 (en) Method for processing a digital file notably of the image, video and/or audio type
JP4037318B2 (ja) 画像処理装置および方法並びにプログラム
KR100406535B1 (ko) 영상 압축 방법 및 그 장치
KR100745164B1 (ko) 영상압축률 향상을 위한 밝기 연동 색차양자화 방법
US8115967B2 (en) Localized signal data preservation within signal bandwidth

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant