KR20110108929A - 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법 - Google Patents

보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법 Download PDF

Info

Publication number
KR20110108929A
KR20110108929A KR1020100028424A KR20100028424A KR20110108929A KR 20110108929 A KR20110108929 A KR 20110108929A KR 1020100028424 A KR1020100028424 A KR 1020100028424A KR 20100028424 A KR20100028424 A KR 20100028424A KR 20110108929 A KR20110108929 A KR 20110108929A
Authority
KR
South Korea
Prior art keywords
color
model
original
image
correction
Prior art date
Application number
KR1020100028424A
Other languages
English (en)
Other versions
KR101080846B1 (ko
Inventor
이상근
한윤상
이석한
최종수
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020100028424A priority Critical patent/KR101080846B1/ko
Priority to US12/904,798 priority patent/US20110243435A1/en
Publication of KR20110108929A publication Critical patent/KR20110108929A/ko
Application granted granted Critical
Publication of KR101080846B1 publication Critical patent/KR101080846B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법이 개시된다. 색상 모델 생성부는 RGB 색상 공간의 각 좌표에 대응하는 색상으로 구성된 원본 색상 모델 및 원본 색상 모델에 대해 손실 압축 및 색상 개선 과정이 수행된 손상 색상 모델을 생성한다. 색상 공간 변환부는 원본 색상 모델 및 손상 색상 모델을 구성하는 RGB 색상 공간의 각 색상값을 L*a*b* 색상 공간의 색상값으로 변환하여 변환 원본 모델 및 변환 손상 모델을 생성한다. 보정 행렬 산출부는 변환 손상 모델의 각 색상값을 변환 원본 모델의 각 색상값으로 변환하는 보정 행렬을 산출한다. 색상 보정부는 보정 행렬을 사용하여 외부로부터 입력받은 손상 이미지의 색상을 보정한다. 본 발명에 따르면, 공유 웹사이트에서 사용하는 영상 압축 과정과 동일한 과정에 의해 처리되어 생성된 손상 색상 모델을 사용하여 손상 색상 모델을 원본 색상 모델로 변환하기 위한 보정 행렬을 산출함으로써, 공유 웹사이트를 통해 제공되는 모든 영상의 손상된 색상을 효과적으로 보정할 수 있으며, 영상을 보정할 때마다 해당 영상에 대한 추가적인 기준 영상 또는 차트를 필요로 하지 않으므로 보정 과정을 빠르고 간단하게 수행할 수 있다.

Description

보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법{Apparatus and method for color distortion correction of image by estimate of correction matrix}
본 발명은 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법에 관한 것으로, 영상 압축 과정에서 발생하는 색상 손상을 보정하여 원본 영상에 나타나는 색상에 가깝게 표현하는 장치 및 방법에 관한 것이다.
일반적으로 영상 압축 기술은 비손실 영상 압축과 손실 영상 압축의 두 개의 카테고리로 분류된다. 전지는 원본 영상의 색상이 변화하지 않는 영상 데이터의 압축 기술에 적용되는 말이며, 사진, 인쇄 매체 및 의료 영상에 대하여 사용된다. 손실 영상 압축은 원본 데이터의 일부가 손실되는 데이터 압축 기술에 대해 적용된다.
손실 영상 압축은 비손실 영상 압축에 비해 높은 압축률을 보장하기 때문에 인터넷을 통한 빠른 전송을 위해 월드 와이드 웹(World Wide Web : WWW)에 대하여 유용하게 적용될 수 있다. 실제로, YouTube, myspace(미국) 및 cyworld(한국)와 같은 많은 웹 사이트들은 사용자들을 위한 비디오 클립(video clip) 공유 서비스를 제공하며, 손실 압축 기법을 이용하여 영상을 압축한다. 또한 이러한 비디오 클립의 컨텐츠를 향상시키기 위한 처리 과정을 거친다. 그러나 영상 데이터가 공유 웹 사이트의 압축 및 다른 작업 등에 의해 처리될 때 영상의 색상 정보는 필연적으로 손상된다.
도 1은 공유 웹 사이트에 의한 영상 처리의 일 예를 도시한 도면이다. 도 1을 참조하면, 사용자에 의해 촬영된 영상이 공유 웹 사이트에 업로드되면, 공유 웹사이트들은 영상 처리 과정을 통해 영상에 대한 손실 압축 및 색상 보정을 수행한다. 영상 처리 과정을 거친 압축 영상들은 인터넷을 통해 다른 사용자들에게 전송된다. 공유 웹 사이트에서 이루어지는 영상의 손실 압축 및 색상 보정에 의해 원본 영상의 색상이 손상되는 결과가 얻어진다.
도 1에 도시된 것과 같은 영상 처리에 의해 웹 사이트를 통해 보는 영상에는 색상의 손상이 나타나며, 도 2에는 원본 영상과 압축 과정을 거친 영상의 색상을 비교하여 나타내었다. 도 2에서 우측의 영상들은 좌측의 영상의 일부를 각각 확대하여 얻어진 것이다. 도 2의 (a)는 원본 영상, (b)는 압축 과정을 거친 영상에 관한 것이며, 도 2의 (a) 및 (b)의 우측 영상들을 비교하여 보면, 영상의 압축에 의해 원본 영상에 포함된 색상 정보가 많이 손실되었다는 것을 확인할 수 있다.
이와 같이 영상 압축 전송에 따른 색상 손상 문제를 해결하기 위해 MPEG-x 및 H.26x와 같이 데이터 양을 감소시키며 색상 정보의 손실을 최소화하는 손실 압축 기법들이 영상 압축 분야의 주된 연구 주제로서 연구되었다. 또한 손실 압축에 의해 직접 발생한 것을 포함하는 색상 손상 또는 변화를 보정하기 위한 많은 연구들이 수행되었다.
카메라 설정, 환경적 요인 및 사용자의 기량에 의해 발생하는 색상 손상을 보정하기 위한 한 가지 방법으로, 색상 차트를 사용하는 방법이 제안되었다. 그러나 이 방법은 보정 전에 색상 차트를 포함하는 영상을 매번 촬영하여야 한다는 문제가 있다. 또한 자동 색상 전이 알고리즘이 제안된 바 있는데, 이 알고리즘은 기준 영상을 필요로 하므로 손실 압축에 의해 생성된 색상 손상을 보정하기에는 어렵다는 문제가 있다.
이상의 문제점을 해결하여 보정시마다 기준 영상을 촬영할 필요 없이 간단하게 영상의 색상 손상을 보정할 수 있는 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 기준이 되는 색상 차트 또는 기준 영상 없이 간단하게 모든 영상의 색상 손상을 보정할 수 있는 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 기준이 되는 색상 차트 또는 기준 영상 없이 간단하게 모든 영상의 색상 손상을 보정할 수 있는 보정 행렬의 추정에 의한 영상의 색상 손상 보정방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치는, RGB 색상 공간의 각 좌표에 대응하는 색상으로 구성된 원본 색상 모델 및 상기 원본 색상 모델에 대해 손실 압축 및 색상 개선 과정이 수행된 손상 색상 모델을 생성하는 색상 모델 생성부; 상기 원본 색상 모델 및 상기 손상 색상 모델을 구성하는 RGB 색상 공간의 각 색상값을 L*a*b* 색상 공간의 색상값으로 변환하여 변환 원본 모델 및 변환 손상 모델을 생성하는 색상 공간 변환부; 상기 변환 손상 모델의 각 색상값을 상기 변환 원본 모델의 각 색상값으로 변환하는 보정 행렬을 산출하는 보정 행렬 산출부; 및 상기 보정 행렬을 사용하여 외부로부터 입력받은 손상 이미지의 색상을 보정하는 색상 보정부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 보정 행렬의 추정에 의한 영상의 색상 손상 보정방법은, RGB 색상 공간의 각 좌표에 대응하는 색상으로 구성된 원본 색상 모델 및 상기 원본 색상 모델에 대해 손실 압축 및 색상 개선 과정이 수행된 손상 색상 모델을 생성하는 색상 모델 생성단계; 상기 원본 색상 모델 및 상기 손상 색상 모델을 구성하는 RGB 색상 공간의 각 색상값을 L*a*b* 색상 공간의 색상값으로 변환하여 변환 원본 모델 및 변환 손상 모델을 생성하는 색상 공간 변환단계; 상기 변환 손상 모델의 각 색상값을 상기 변환 원본 모델의 각 색상값으로 변환하는 보정 행렬을 산출하는 보정 행렬 산출단계; 및 상기 보정 행렬을 사용하여 외부로부터 입력받은 손상 이미지의 색상을 보정하는 색상 보정단계;를 갖는다.
본 발명에 따른 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법에 의하면, RGB 색상 공간의 모든 색상값을 포함하는 원본 색상 모델 및 원본 색상 모델이 공유 웹사이트에서 사용하는 영상 압축 과정과 동일한 과정에 의해 처리되어 생성된 손상 색상 모델을 사용하여 손상 색상 모델을 원본 색상 모델로 변환하기 위한 보정 행렬을 산출함으로써, 공유 웹사이트를 통해 제공되는 모든 영상의 손상된 색상을 효과적으로 보정할 수 있으며, 영상을 보정할 때마다 해당 영상에 대한 추가적인 기준 영상 또는 차트를 필요로 하지 않으므로 보정 과정을 빠르고 간단하게 수행할 수 있다.
도 1은 공유 웹 사이트에 의한 영상 처리의 일 예를 도시한 도면,
도 2는 원본 영상과 압축 과정을 거친 영상의 색상을 비교하여 나타낸 도면,
도 3은 본 발명에 따른 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 4는 원본 색상 모델 및 손상 색상 모델의 일 예를 도시한 도면,
도 5는 본 발명에 따른 보정 행렬의 추정에 의한 영상의 색상 손상 보정방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 6은 색상 보정을 위해 사용된 보정 행렬의 개수가 1개 및 3개일 때 원본 이미지와 손상 이미지, 그리고 원본 이미지와 보정된 이미지 간의 색상값의 차를 도시한 그래프,
도 7은 주어진 이미지에 대하여 색상 보정을 수행한 일 실시예를 나타낸 도면,
도 8은 도 6에 비해 대비가 높은 이미지에 대하여 색상 보정을 수행한 일 실시예를 나타낸 도면,
도 9는 원본 이미지와 손상 이미지 및 보정된 이미지의 일부를 확대하여 나타낸 도면,
도 10은 50개의 테스트 이미지에 대하여 측정한 보정 전후의 색상값 차를 도시한 그래프,
도 11은 50개의 테스트 이미지에 대하여 측정한 보정 전후의 PSNR 값을 도시한 그래프, 그리고,
도 12는 50개의 테스트 이미지에 대하여 측정한 보정비를 도시한 그래프이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 3은 본 발명에 따른 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 3을 참조하면, 본 발명에 따른 색상 손상 보정장치는, 색상 모델 생성부(110), 색상 공간 변환부(120), 보정 행렬 산출부(130) 및 색상 보정부(140)를 구비한다.
색상 모델 생성부(110)는 RGB 색상 공간의 각 좌표에 대응하는 색상으로 구성된 원본 색상 모델 및 원본 색상 모델에 대해 손실 압축 및 색상 개선 과정이 수행된 손상 색상 모델을 생성한다.
앞에서 설명한 바와 같이 각종 영상 컨텐츠를 제공하는 공유 웹사이트에서는 업로드된 영상에 대해 손실 압축 및 색상 개선과 같은 영상 처리를 수행하여 인터넷을 통해 사용자에게 제공한다. 본 발명에 따른 색상 손상 보정장치는 이러한 영상 처리 과정을 거친 영상의 손상된 색상을 보정하기 위해 원본 색상 모델 및 손상 색상 모델을 사용한다.
따라서 손상 색상 모델은 공유 웹사이트에서 이루어지는 영상 처리와 동일한 과정을 원본 색상 모델에 대하여 수행함으로써 얻어진다. 또한 원본 색상 모델은 RGB 색상 공간의 모든 색상값을 포함하도록 하는 것이 바람직하며, 일 실시예로서 R 채널, G 채널 및 B 채널 각각에 대한 0부터 255까지의 서로 다른 색상값에 대응하는 다양한 색상을 포함하는 복수의 견본 영상을 사용하여 원본 색상 모델을 생성할 수 있다. 도 4는 원본 색상 모델 및 손상 색상 모델의 일 예를 도시한 도면이다. 도 4의 (a)가 원본 색상 모델이고, (b)가 손상 색상 모델이며, CIEXYZ 색상 공간에 나타낸 것이다. 공유 웹사이트에서 사용되는 것과 같은 영상 처리 과정에 의해 색상 정보가 많이 손실되었다는 것을 확인할 수 있다.
색상 공간 변환부(120)는 원본 색상 모델 및 손상 색상 모델을 구성하는 RGB 색상 공간의 각 색상값을 L*a*b* 색상 공간의 색상값으로 변환하여 변환 원본 모델 및 변환 손상 모델을 생성한다.
본 발명에 따른 색상 손상 보정장치는 손상 색상 모델의 색상을 보정하여 원본 색상 모델과 동일하게 되도록 하는 보정 행렬을 산출하고, 산출된 보정 행렬을 사용하여 실제 공유 웹사이트를 통해 제공되는 영상의 색상을 보정한다. 보정 행렬을 산출하기 위해서는 RGB 색상 공간의 색상값들로 구성된 원본 색상 모델과 손상 색상 모델을 L*a*b* 색상 공간의 변환 원본 모델과 변환 손상 모델로 변환하며, 색상 공간의 변환은 CIE 표준 광원 D65를 기초로 CCIR 권고 709를 사용하여 이루어진다. CIELab 색상 공간은 사람이 감지하는 것과 동일한 방식으로 색상을 표현하며, 적은 연산 비용으로 조밀하고 정확한 표현이 가능하기 때문이다.
원본 색상 모델 및 손상 색상 모델을 각각 변환 원본 모델 및 변환 손상 모델로 변환하기 위해 D65 광원의 기준 흰색에 대해 삼색 자극값(tristimulus value)들이 산출된다. 즉, 0에서 255까지의 R, G, B 색상값들은 다음의 수학식 1에 의해 각각 0에서 242.36628의 X값, 0에서 255.00까지의 Y값 및 0에서 277.63228의 Z값으로 변환된다.
Figure pat00001
RGB 색상 공간이 XYZ 공간으로 변환된 다음, XYZ 공간은 다시 L*a*b* 색상 공간으로 다음의 수학식 2에 의해 변환된다.
Figure pat00002
여기서, f(·)는 다음의 수학식 3과 같이 정의된다.
Figure pat00003
위와 같이 원본 색상 모델과 손상 색상 모델이 각각 변환되어 생성된 변환 원본 모델과 변환 손상 모델을 이하에서는 원본 이미지 및 손상 이미지로 정의하여 보정 행렬의 산출 과정에 대하여 설명한다.
보정 행렬 산출부(130)는 변환 손상 모델의 각 색상값을 변환 원본 모델의 각 색상값으로 변환하는 보정 행렬을 산출한다.
다만, 하나의 보정 행렬에 의해 손상이미지를 보정하여 대체적으로 좋은 결과를 얻을 수 있다 하더라도 색상값이 아주 높거나 아주 낮은 영역에 대하여는 제대로 보정이 이루어지지 않을 수 있다. 따라서 보정 행렬 산출부(130)는 보정 행렬을 산출하기 전에 변환 손상 모델 및 변환 원본 모델을 구성하는 색상값들을 복수의 영역, 예를 들면 아주 어두운 부분, 보통의 밝기를 가지는 부분 및 아주 밝은 부분의 세 개의 영역으로 분류하고, 각각의 영역에 대응하는 보정 행렬을 산출할 수 있다.
원본 이미지와 손상 이미지 사이의 변환이 정확하게 선형 관계인 것은 아니지만, 이를 선형 관계로 전제하면 보정 행렬은 다음의 수학식 4와 같이 추정된다.
Figure pat00004
여기서, ML *a*b*는 원본 이미지에 대응하는 3×N 행렬, M'L *a*b*는 손상 이미지에 대응하는 3×N 행렬, MC는 손상 이미지의 각 색상값을 원본 이미지의 각 색상값으로 매핑하는 3×3 보정 행렬이고, (L* i, a* i, b* i)는 원본 이미지의 i번째 픽셀에 대응하는 색상값, (L* Ci, a* Ci, b* Ci)는 손상 이미지의 i번째 픽셀에 대응하는 색상값이다.
수학식 4는 다음의 수학식 5 내지 수학식 7과 같이 보정 행렬 MC의 각 열에 대한 선형 방정식으로 나타낼 수 있다.
Figure pat00005
Figure pat00006
Figure pat00007
이러한 선형 최소 제곱(linear least square) 문제를 해결하기 위해 특이값 분해(Singular Value Decomposition : SVD)가 사용될 수 있다. 수학식 5 내지 7에서 나타나는 관계
Figure pat00008
를 m×n 행렬 A를 사용하여 Ax=b로 보면, SVD에 의해 A는 다음의 수학식 8과 같이 분해된다.
Figure pat00009
여기서, U와 V는 각각 m×m과 n×n의 직교 행렬이고, D는 m×n의 대각 행렬로, 다음 수학식 9와 같은 내림차순의 특이값들로 구성된다.
Figure pat00010
여기서 3×3의 보정 행렬이 얻어질 수 있다.
한편, 만약 수학식 4가 완벽한 해를 가진다면 수학식 6의 잔차(residual error)는 0이 된다. 즉, 원본 이미지와 손상 이미지 간의 변환이 정확히 선형이 아니기 때문에 최소의 잔차를 가지는 행렬을 구할 필요성이 있다. 이를 위해 뉴튼의 반복법(Newton iteration method)을 사용하여 보정 행렬을 산출할 때의 잔차를 최소화시킬 수 있다.
수학식 4의 잔차는 다음의 수학식 10과 같이 표현된다.
Figure pat00011
여기서,
Figure pat00012
는 i번째 반복에서의 k번째 열 벡터에 대한 잔차,
Figure pat00013
는 보정 행렬의 i번째 반복에서의 k번째 열 벡터, 그리고
Figure pat00014
는 i번째 반복에서의 원본 이미지의 각 채널 색상값들을 나타낸다.
다음 반복을 위한 파라미터 값들로 구성된 3×3 행렬은 수학식 10의 잔차로부터 다음의 수학식 11과 같이 추정된다.
Figure pat00015
여기서, J+는 수학식 5 내지 수학식 7 각각에 대한 야코비 행렬(Jacobian matrix)의 3×N 의사 역행렬(pseudo-inverse matrix)을 나타낸다. 다음 단계의 반복을 위한 원본 이미지의 색상값은 다음의 수학식 12에 의해 추정된다.
Figure pat00016
이러한 과정은 다음 수학식 13과 같이 잔차가 사전에 설정된 에러보다 작아질 때까지 반복된다.
Figure pat00017
색상 보정부(140)는 보정 행렬을 사용하여 외부로부터 입력받은 손상 이미지의 색상을 보정한다.
보정 행렬 산출부(130)가 앞에서 설명한 과정에 따라 손상 이미지를 원본 이미지로 변환하는 보정 행렬을 선형 최소 제곱법에 의해 산출하고 뉴튼의 반복법에 의해 최적화시키면, 색상 보정부(140)는 공유 웹사이트를 통해 제공받은 이미지의 색상을 보정하는 데 보정 행렬을 사용할 수 있다. 이때 입력받은 이미지에 관한 추가적인 다른 정보는 필요로 하지 않으므로 하나의 보정 행렬을 사용하여 다양한 이미지의 색상을 빠르게 보정할 수 있다.
도 5는 본 발명에 따른 보정 행렬의 추정에 의한 영상의 색상 손상 보정방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 5를 참조하면, 색상 모델 생성부(110)는 RGB 색상 공간의 각 좌표에 대응하는 색상으로 구성된 원본 색상 모델 및 원본 색상 모델에 대해 손실 압축 및 색상 개선 과정이 수행된 손상 색상 모델을 생성한다(S510). 다음으로 색상 공간 변환부(120)는 원본 색상 모델 및 손상 색상 모델을 구성하는 RGB 색상 공간의 각 색상값을 L*a*b* 색상 공간의 색상값으로 변환하여 변환 원본 모델 및 변환 손상 모델을 생성한다(S520).
보정 행렬 산출부(130)는 변환 손상 모델의 각 색상값을 변환 원본 모델의 각 색상값으로 변환하는 보정 행렬을 산출하며(S530). 이때 변환 손상 모델과 변환 원본 모델이 선형 관계인 것을 가정하여 선형 최소 제곱법을 통해 보정 행렬을 산출할 수 있다. 또한 보정 행렬은 뉴튼의 반복법에 의해 최적화된다.
마지막으로 색상 보정부(140)는 보정 행렬을 사용하여 외부로부터 입력받은 손상 이미지의 색상을 보정한다(S540).
본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험에서는 수동으로 만들어진 10개의 견본 이미지와 디지털 카메라로 촬영한 50개의 테스트 이미지가 사용되었다. 테스트 이미지들은 YouTube 웹사이트를 통해 색상이 손상되었다.
보정 행렬을 산출하기 위해 8비트 RGB 색상 공간의 모든 색상값을 포함하는 10개의 견본 이미지들을 사용하여 원본 색상 모델을 생성하고, 견본 이미지에 대응하는 손상된 이미지들이 웹사이트를 통해 얻어져 이를 기초로 손상 색상 모델을 생성하였다. 다음으로 보정 행렬은 원본 색상 모델 및 손상 색상 모델로부터 추정되었다.
사용된 보정 행렬의 개수에 따른 보정 성능을 관찰하기 위한 실험을 수행하였다. 도 6은 색상 보정을 위해 사용된 보정 행렬의 개수가 1개 및 3개일 때 원본 이미지와 손상 이미지, 그리고 원본 이미지와 보정된 이미지 간의 색상값의 차를 도시한 그래프이다. 주어진 손상 이미지들에 대해 먼저 하나의 보정 행렬에 의한 색상 보정이 수행되고, 비교를 위해 세 개의 보정 행렬에 의한 색상 보정이 수행되었다.
도 6의 (a)를 참조하면, 원본 이미지와 손상 이미지 사이의 색상값의 차(OD)를 나타내는 그래프를 원본 이미지와 보정된 이미지 사이의 색상값의 차(OC)를 나타내는 그래프와 비교하였을 때 색상 보정 후 오히려 색상값의 차가 더 커지게 되는 구간이 존재한다. 이로부터 하나의 보정 행렬만으로는 만족할 만한 결과를 얻기에 충분하지 않다는 것을 확인할 수 있다. 반면 도 6의 (b)를 참조하면, 세 개의 보정 행렬을 사용하여 원본 이미지의 색상을 보정한 결과 모든 경우에서 보정 전에 비해 색상값의 차가 감소하여 우수한 성능을 보인다.
본 발명의 성능을 정량적으로 평가하기 위해 색상 보정비 및 첨두 신호 대 잡음비(Peak Signal-to-Noise Ratio : PSNR)가 산출되었다. 먼저 색상 보정비는 다음의 수학식 14와 같이 정의된다.
Figure pat00018
여기서, ΔEdist 및 ΔEcor는 원본 이미지와 손상 이미지 간의 색상값 차의 평균 및 원본 이미지와 보정된 이미지 간의 색상값 차의 평균을 나타내는 것으로, 각각 다음의 수학식 15 및 수학식 16에 의해 산출된다.
Figure pat00019
Figure pat00020
여기서, (Rori, Gori, Bori), (Rdist, Gdist, Bdist) 및 (Rcor, Gcor, Bcor)는 각각 원본 이미지, 손상 이미지 및 보정된 이미지에 대한 RGB 색상값을 나타내며, N은 주어진 이미지의 전체 픽셀 수를 나타낸다.
다음으로 PSNR은 다음의 수학식 17에 의해 측정된다.
Figure pat00021
여기서, MAX는 8비트 입력 이미지의 최대 픽셀값(255), 그리고 MSE는 평균 제곱 오차(mean squared error)를 나타낸다.
도 7은 주어진 이미지에 대하여 색상 보정을 수행한 일 실시예를 나타낸 도면이고, 도 8은 도 6에 비해 대비가 높은 이미지에 대하여 색상 보정을 수행한 일 실시예를 나타낸 도면이다. 도 7 및 도 8에서 각 열(column)에 포함된 세 개씩의 이미지는 각각 원본 이미지, 손상된 이미지, 하나의 보정 행렬에 의해 보정된 이미지 및 세 개의 보정 행렬에 의해 보정된 이미지를 나타낸 것이다. 한 개의 보정 행렬을 사용한 경우에도 손상된 이미지의 색상이 어느 정도 보정되지만, 세 개의 보정 행렬을 사용한 경우에 원본 이미지에 더욱 가깝게 보정됨을 확인할 수 있다.
도 9는 원본 이미지와 손상 이미지 및 보정된 이미지의 일부를 확대하여 나타낸 도면으로, (a)는 원본 이미지, (b)는 공유 웹사이트에 의해 손상된 이미지, (c)는 하나의 보정 행렬에 의해 보정된 이미지, 그리고 (d)는 세 개의 보정 행렬에 이해 보정된 이미지이다. 이미지를 확대하여 봄으로써 압축에 의한 색상 손상이 어느 정보 원본 이미지에 가깝도록 보정됨을 알 수 있다.
다음의 표 1은 도 8의 이미지들에 대한 색상 보정의 보정비를 나타낸 것이다.
행 번호 한 개 행렬의 보정비(%) 세 개 행렬의 보정비(%)
1 -10.8452 4.5718
2 -11.9565 5.3981
3 -17.5804 6.6795
50개 테스트 이미지의 평균 1.2447 7.7848
표 1에서 보정비의 값이 높을수록 성능이 더 우수함을 나타내는 것이다. 표 1을 참조하면, 대비가 높은 이미지에 대해 한 개의 보정 행렬만을 사용한 경우에는 보정 전에 비해 오히려 색상 손상이 악화된 결과가 나타난다. 그러나 세 개의 보정 행렬을 사용한 경우에는 우수한 색상 개선 성능을 보인다. 특히, 세 개의 보정 행렬을 사용한 경우에 50개 테스트 이미지에 대한 색상 개선 정도는 평균 8% 정도로서, 한 개의 보정 행렬을 사용한 경우에 비해 높은 성능을 보인다.
도 10은 50개의 테스트 이미지에 대하여 측정한 보정 전후의 색상값 차를 도시한 그래프로서, OD는 원본 이미지와 손상 이미지 간의 색상값 차, OC-1M은 한 개의 보정 행렬을 사용한 경우에 원본 이미지와 보정된 이미지 간의 색상값 차, 그리고 OC-3M은 세 개의 보정 행렬을 사용한 경우에 원본 이미지와 보정된 이미지 간의 색상값 차를 나타낸다. 도 10을 참조하면 보정하지 않은 경우에 비해 색상 손상을 보정한 경우에 원본 이미지와의 색상값 차가 감소하며, 특히 세 개의 보정 행렬을 사용한 경우에는 그 차이가 더욱 뚜렷하다는 것을 확인할 수 있다. 한편, 50개 테스트 영상에 대해 색상 보정을 수행한 후 얻어진 색상값 차의 평균은 1.54이다.
도 11은 50개의 테스트 이미지에 대하여 측정한 보정 전후의 PSNR 값을 도시한 그래프이다. 이미지에 따라서는 PSNR 값의 변화가 크지 않은 지점도 있으나, 대체적으로 색상을 보정한 경우에 PSNR 값이 높아지는 것을 확인할 수 있다. 50개 ㅌ테스트 영상에 대한 PSNR 값의 평균은 0.38dB이다. 또한 도 12는 50개의 테스트 이미지에 대하여 측정한 보정비를 도시한 그래프이다. 50개 테스트 이미지에 대한 보정비의 평균은 7.78%로 나타난다.
이상과 같은 정량적 결과에 의해, 본 발명이 주어진 이미지에 대한 추가적인 정보를 수집할 필요 없이 사전에 산출한 보정 행렬을 사용하여 색상 손상을 감소시키고, 주어진 이미지를 보정하여 원본 이미지와 비슷하게 만들 수 있음을 확인할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 색상 모델 생성부
120 - 색상 공간 변환부
130 - 보정 행렬 산출부
140 - 색상 보정부

Claims (11)

  1. RGB 색상 공간의 각 좌표에 대응하는 색상으로 구성된 원본 색상 모델 및 상기 원본 색상 모델에 대해 손실 압축 및 색상 개선 과정이 수행된 손상 색상 모델을 생성하는 색상 모델 생성부;
    상기 원본 색상 모델 및 상기 손상 색상 모델을 구성하는 RGB 색상 공간의 각 색상값을 L*a*b* 색상 공간의 색상값으로 변환하여 변환 원본 모델 및 변환 손상 모델을 생성하는 색상 공간 변환부;
    상기 변환 손상 모델의 각 색상값을 상기 변환 원본 모델의 각 색상값으로 변환하는 보정 행렬을 산출하는 보정 행렬 산출부; 및
    상기 보정 행렬을 사용하여 외부로부터 입력받은 손상 이미지의 색상을 보정하는 색상 보정부;를 포함하는 것을 특징으로 하는 색상 손상 보정장치.
  2. 제 1항에 있어서,
    상기 원본 색상 모델은 사전에 저장된 복수의 견본 영상에 포함된 RGB 색상값들로 이루어진 것을 특징으로 하는 색상 손상 보정장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 손상 색상 모델은 상기 원본 색상 모델에 대하여 인터넷을 통한 영상의 압축 전송을 위해 이루어지는 영상 처리 과정과 동일한 과정을 수행하여 얻어지는 것을 특징으로 하는 색상 손상 보정장치.
  4. 제 1항 또는 제 2항에 있어서,
    상기 보정 행렬 산출부는 상기 변환 손상 모델 및 상기 변환 원본 모델을 구성하는 색상값들을 사전에 설정된 기준 색상값에 의해 복수의 영역으로 분류하고, 각각의 영역에 대응하는 보정 행렬을 각각 산출하는 것을 특징으로 하는 색상 손상 보정장치.
  5. 제 1항 또는 제 2항에 있어서,
    상기 보정 행렬 산출부는 상기 변환 손상 모델의 각 색상값과 상기 변환 원본 모델의 각 색상값 사이의 변환 관계가 선형 관계인 것으로 가정하여 선형 최소 제곱법에 의해 상기 보정 행렬을 산출하는 것을 특징으로 하는 색상 손상 보정장치.
  6. RGB 색상 공간의 각 좌표에 대응하는 색상으로 구성된 원본 색상 모델 및 상기 원본 색상 모델에 대해 손실 압축 및 색상 개선 과정이 수행된 손상 색상 모델을 생성하는 색상 모델 생성단계;
    상기 원본 색상 모델 및 상기 손상 색상 모델을 구성하는 RGB 색상 공간의 각 색상값을 L*a*b* 색상 공간의 색상값으로 변환하여 변환 원본 모델 및 변환 손상 모델을 생성하는 색상 공간 변환단계;
    상기 변환 손상 모델의 각 색상값을 상기 변환 원본 모델의 각 색상값으로 변환하는 보정 행렬을 산출하는 보정 행렬 산출단계; 및
    상기 보정 행렬을 사용하여 외부로부터 입력받은 손상 이미지의 색상을 보정하는 색상 보정단계;를 포함하는 것을 특징으로 하는 색상 손상 보정방법.
  7. 제 6항에 있어서,
    상기 원본 색상 모델은 사전에 저장된 복수의 견본 영상에 포함된 RGB 색상값들로 이루어진 것을 특징으로 하는 색상 손상 보정방법.
  8. 제 6항 또는 제 7항에 있어서,
    상기 손상 색상 모델은 상기 원본 색상 모델에 대하여 인터넷을 통한 영상의 압축 전송을 위해 이루어지는 영상 처리 과정과 동일한 과정을 수행하여 얻어지는 것을 특징으로 하는 색상 손상 보정방법.
  9. 제 6항 또는 제 7항에 있어서,
    상기 보정 행렬 산출단계에서, 상기 변환 손상 모델 및 상기 변환 원본 모델을 구성하는 색상값들을 사전에 설정된 기준 색상값에 의해 복수의 영역으로 분류하고, 각각의 영역에 대응하는 보정 행렬을 각각 산출하는 것을 특징으로 하는 색상 손상 보정방법.
  10. 제 6항 또는 제 7항에 있어서,
    상기 보정 행렬 산출단계에서, 상기 변환 손상 모델의 각 색상값과 상기 변환 원본 모델의 각 색상값 사이의 변환 관계가 선형 관계인 것으로 가정하여 선형 최소 제곱법에 의해 상기 보정 행렬을 산출하는 것을 특징으로 하는 색상 손상 보정방법.
  11. 제 6항 또는 제 7항에 기재된 색상 손상 보정방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100028424A 2010-03-30 2010-03-30 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법 KR101080846B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100028424A KR101080846B1 (ko) 2010-03-30 2010-03-30 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법
US12/904,798 US20110243435A1 (en) 2010-03-30 2010-10-14 Apparatus and method for color distortion correction of image by estimate of correction matrix

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100028424A KR101080846B1 (ko) 2010-03-30 2010-03-30 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110108929A true KR20110108929A (ko) 2011-10-06
KR101080846B1 KR101080846B1 (ko) 2011-11-07

Family

ID=44709745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100028424A KR101080846B1 (ko) 2010-03-30 2010-03-30 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법

Country Status (2)

Country Link
US (1) US20110243435A1 (ko)
KR (1) KR101080846B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634170A (zh) * 2020-12-30 2021-04-09 平安科技（深圳）有限公司 一种模糊图像修正的方法、装置、计算机设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750716A (zh) * 2011-11-15 2012-10-24 新奥特（北京）视频技术有限公司 一种调色系统中模板生成及调用方法
US8854476B2 (en) * 2012-08-28 2014-10-07 Samsung Electronics Co., Ltd. Display system with image display correction mechanism and method of operation thereof
US20140133582A1 (en) * 2012-11-12 2014-05-15 Rtc Vision Ltd. Enhancing digital signals
US9524489B2 (en) 2013-03-14 2016-12-20 Samsung Electronics Co., Ltd. Computing system with task transfer mechanism and method of operation thereof
US10769817B2 (en) 2017-08-07 2020-09-08 Samsung Display Co., Ltd. Measures for image testing
CN110570420B (zh) * 2019-09-16 2023-04-07 中山大学 一种无参考对比度失真图像质量评价方法
CN111311517B (zh) * 2020-02-26 2022-07-08 福州大学 基于抠图的颜色校正优化方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4631578A (en) * 1983-03-04 1986-12-23 Canon Kabushiki Kaisha Method of and apparatus for forming a color picture using a plurality of color correction processings
US5489998A (en) * 1991-03-04 1996-02-06 Canon Kabushiki Kaisha Color image processing apparatus having transmitter and receiver which perform color correction in accordance with a common standard color image and method for same
US5583656A (en) * 1992-12-31 1996-12-10 Eastman Kodak Company Methods and apparatus for attaching compressed look-up table (LUT) representations of N to M-dimensional transforms to image data and for processing image data utilizing the attached compressed LUTs
US6009192A (en) * 1996-12-19 1999-12-28 Xerox Corporation Color correction of a compressed image
US6204933B1 (en) * 1997-06-20 2001-03-20 Hitachi, Ltd. Information print system and image processing apparatus
US5907374A (en) * 1997-06-30 1999-05-25 Hewlett-Packard Company Method and apparatus for processing a compressed input bitstream representing an information signal
US6268939B1 (en) * 1998-01-08 2001-07-31 Xerox Corporation Method and apparatus for correcting luminance and chrominance data in digital color images
JP4683678B2 (ja) * 1998-07-03 2011-05-18 忠弘 大見 画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置
US7548565B2 (en) * 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
US20060204086A1 (en) * 2005-03-10 2006-09-14 Ullas Gargi Compression of palettized images
KR100735562B1 (ko) 2005-11-15 2007-07-04 삼성전자주식회사 광원에 따른 색 재현을 위한 호스트 장치, 시스템 및 색재현 방법
KR101394429B1 (ko) * 2006-03-02 2014-05-14 삼성전자 주식회사 출력 예측을 이용한 영상 재현 방법 및 장치
KR100843088B1 (ko) 2006-08-16 2008-07-02 삼성전자주식회사 광색역 공간의 영상을 출력하는 장치 및 방법
US7835569B2 (en) * 2006-10-13 2010-11-16 Apple Inc. System and method for raw image processing using conversion matrix interpolated from predetermined camera characterization matrices
US8055070B2 (en) * 2007-01-05 2011-11-08 Geo Semiconductor Inc. Color and geometry distortion correction system and method
US7583409B2 (en) * 2007-02-26 2009-09-01 Xerox Corporation Patch codes with improved robustness
US7956867B2 (en) * 2008-05-09 2011-06-07 Xerox Corporation Color separation multiplexing for real-time multi-dimensional device calibration

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634170A (zh) * 2020-12-30 2021-04-09 平安科技（深圳）有限公司 一种模糊图像修正的方法、装置、计算机设备及存储介质
CN112634170B (zh) * 2020-12-30 2023-11-21 平安科技（深圳）有限公司 一种模糊图像修正的方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
KR101080846B1 (ko) 2011-11-07
US20110243435A1 (en) 2011-10-06

Similar Documents

Publication Publication Date Title
KR101080846B1 (ko) 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법
US8116563B2 (en) Image processing device and method, recording medium, and program
US8654221B2 (en) Image processing device and method, and program
US20050226526A1 (en) Image processing device and method
EP3375190B1 (en) High dynamic range color conversion correction
US20050013506A1 (en) Image processing method and apparatus
JP2018014707A (ja) 高ダイナミックレンジピクチャをコード化されたビットストリームに符号化／復号する方法および装置
US7760805B2 (en) Method of enhancing images extracted from video
WO2020007166A1 (zh) 一种视频信号处理方法及装置
KR20170115503A (ko) 화상을 역-톤 매핑하기 위한 장치 및 방법
CN109891869B (zh) 视频信号处理设备、视频信号处理方法和视频信号处理系统
JP2015154307A (ja) 画像処理装置、画像処理方法、およびプログラム
EP2112834A1 (en) Method and apparatus for image signal normalisation
CN114556910B (zh) 一种视频信号处理方法及装置
US10742986B2 (en) High dynamic range color conversion correction
JPH1169181A (ja) 画像処理装置
CN113781321B (zh) 图像高亮区域的信息补偿方法、装置、设备及存储介质
US8861850B2 (en) Digital image color correction
US20160286090A1 (en) Image processing method, image processing apparatus, and image processing program
US20140055645A1 (en) Image processing apparatus and method
US8072516B2 (en) Dynamic range enhancement method and apparatus
WO2017129147A1 (zh) 图像的编码、解码方法及装置、以及图像的编解码系统
Han et al. A simple and efficient color recovering system for content sharing website
US8280155B2 (en) Modeling spectral characteristics of an input imaging device
JP2008227959A (ja) 画像処理装置、画像処理方法および画像処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151028

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee