KR101509992B1 - 고휘도 영역 선택 기반의 광원 보정 장치 및 방법 - Google Patents

고휘도 영역 선택 기반의 광원 보정 장치 및 방법 Download PDF

Info

Publication number
KR101509992B1
KR101509992B1 KR20130146673A KR20130146673A KR101509992B1 KR 101509992 B1 KR101509992 B1 KR 101509992B1 KR 20130146673 A KR20130146673 A KR 20130146673A KR 20130146673 A KR20130146673 A KR 20130146673A KR 101509992 B1 KR101509992 B1 KR 101509992B1
Authority
KR
South Korea
Prior art keywords
unit
illumination
image
high luminance
luminance region
Prior art date
Application number
KR20130146673A
Other languages
English (en)
Inventor
권오설
Original Assignee
창원대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 창원대학교 산학협력단 filed Critical 창원대학교 산학협력단
Priority to KR20130146673A priority Critical patent/KR101509992B1/ko
Application granted granted Critical
Publication of KR101509992B1 publication Critical patent/KR101509992B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 고휘도 영역 선택 기반의 광원 보정 방법 및 장치에 관한 것으로, 카메라 입력으로부터 고휘도 영역을 검출하는 장치 및 단계, 고휘도 영역내에서 유효화소를 선택하는 장치 및 단계, 선택된 유효화소로부터 조명을 추정하는 장치 및단계, 추정된 광원을 색 항상성 모델에 적용하는 장치 및 단계, 출력 영상을 저장하는 장치 및 단계를 거쳐 하드웨어를 구현하는 방법을 개선하고, 정확도를 높일 수 있다.

Description

고휘도 영역 선택 기반의 광원 보정 장치 및 방법{A method and apparatus for illuminant compensation based on highlight region selection}
본 발명은 고휘도 영역 선택 기반의 광원 보정 장치 및 방법에 관한 것으로, 더욱 상세하게는 다양한 조명하에의 영상으로부터 표준 광원의 영상으로 변환시켜 화질을 향상시키는 고휘도 영역 선택 기반의 광원 보정 장치 및 방법에 관한 것이다.
인간은 임의의 조명하의 물체에 대하여 종합적인 판단을 통해 그 광원을 추정할 수 있다. 즉, 사람에게 보여지는 장면은 인간 시각 시스템을 통해 보정된다. 인간의 시각은 그 환경속에서 각 물체의 색을 정확히 인지할 수 있지만, 영상으로 보여질 경우, 완전히 다른 영상으로 인지될 수 있다.
특히 영상 시스템은 원래의 광원에 대한 정보가 없다면 원 영상을 복원할 수 없다. 그렇기 때문에 카메라 시스템에서는 컬러 항상성과 같은 시각 시스템을 응용함으로써 광원의 영향에 대하여 보정을 하였다.
영상의 광원을 보정하기 위한 많은 연구들이 진행되어 왔다. Land의 Retinex 이론은 3 채널의 평균 벡터가 영상의 광원의 색도값을 제공한다는 Gray-World 가정을 이용하여 입력 3자극치를 분석하였다. Shafer는 영상을 표면반사와 몸체반사 두 벡터로 표현함으로써 영상내 색도값을 추정하는 이색성 반사모델을 제안하였다. Lee는 image path search (IPS) 방법을 이용함으로써 영상에서 광원을 추정하려고 시도하였으나, 실제 영상에서 정확성은 다소 부족하였다. Lehmann은 a color line search (CLS) 를 제안함으로써 실영상에서 나타나는 노이즈의 문제를 해결하고자 하였다. 최근에 Tan et al. 은 역-밝기(inverse-intensity) 색도 공간을 사용함으로써 밝기와 색도를 동시에 고려하여 정확도를 높이는 방법을 제안하였다.
그러나 실제 영상에서는 노이즈뿐만 아니라 센서의 불균일성 및 혼합된 표면에서의 영역 분할 등의 과정에서 정확성을 떨어뜨리는 단점이 있었다.
또한, 기존 조명 추정 방법은 영역분할 과정이 반드시 필요하며, 이때 분할의 정확성이 조명추정에 있어서 처리시간을 지연시키는 문제가 있었다.
한국등록특허 10-0978659
본 발명은 상기 종래 기술의 문제점을 해결하기 위한 것으로서, 고휘도 영역 이용시 영역 분할 과정을 대체할 적합성 평가를 통해 하드웨어를 구현하는 방법을 개선하고, 이와 함께 고휘도 영역의 선택적 결정 및 조명의 색도 추정시 유효 화소들을 이용함으로써 정확도가 높은 고휘도 영역 선택 기반의 광원 보정 장치 및 방법을 제공하는 데에 그 목적이 있다.
본 발명에 따른 고휘도 영역 선택 기반의 광원 보정 장치는 카메라 입력으로부터 고휘도 영역을 검출하는 고휘도 영역 선택부, 상기 고휘도 영역 선택부에서 선택된 고휘도 영역내에서 유효화소를 선택하는 유효 화소 선택부, 상기 유효 화소 선택부에서 선택된 유효화소로부터 조명을 추정하는 영상 조명 추정부, 상기 영상 조명 추정부에서 추정된 조명을 색 항상성 모델에 적용하는 색 항상성 모델 적용부, 상기 색 항상성 모델 적용부에서 추정된 조명을 색 항상성 모델에 적용한 출력 영상을 저장하고 출력하는 출력 영상 저장부를 포함할 수 있다.
상기 고휘도 영역 선택부는 밝기값을 기준으로 고휘도 영역을 검출하는 고휘도 영역 검출부, 상기 고휘도 영역이 문턱치값 이상을 가지는 지를 판단하는 적합성 평가부, 상기 적합성 평가부에 의하여 상기 고휘도 영역이 문턱치값 이상을 가지는 경우, 상기 고휘도 영역을 관심영역으로 검출하는 관심 영역 검출부를 포함할 수 있다.
상기 유효 화소 선택부는 표준 차트를 이용하여 카메라 응답을 획득하는 표준차트 카메라 응답 획득부, 상기 카메라 응답 획득부에서 획득된 카메라 응답을 색도좌표계로 변환하여 잡음을 분석하는 색도 잡음 분석부, 상기 색도 잡음 분석부에서 분석된 카메라 응답에 대하여 표준 차트를 바탕으로 상기 카메라 입력의 오차를 계산하는 오차 계산부, 상기 카메라 응답 획득부, 상기 색도 잡음 분석부, 상기 오차 계산부를 반복적으로 적용하여 카메라 입력 오차에 대한 문턱치 값을 결정하는 문턱치 결정부를 포함할 수 있다.
상기 영상 조명 추정부는 상기 유효 화소 선택부에서 선택된 고휘도 영역의 유효 화소들을 색도 공간으로 변환하는 색도 변환부, 상기 색도 공간에서 주성분 분석을 통해 주축과 절편을 계산하는 주성분 분석부, 상기 주축의 방향과 절편을 이용하여 선형 방정식을 계산하는 방향 검출부, 상기 방향 검출부에서 결정된 선형 방정식과 상기 고휘도 영역의 값에 대한 교차점을 구하고 이를 이용하여 조명을 추정하는 조명추정부를 포함할 수 있다.
상기 색 항상성 모델 적용부는 상기 영상 조명 추정부에서 분석을 통해 추정된 조명 성분의 색도값을 제거하는 영상 조명 제거부, 상기 영상 조명 제거부에 의하여 조명 성분의 색도값이 제거된 영상에 대해 표준 광원을 적용하는 표준 광원 적용부, 상기 표준 광원 적용부에서 적용한 광원을 이용하여 새로운 영상을 생성하는 표준 영상 복원부를 포함할 수 있다.
고휘도 영역 선택 기반의 광원 보정 방법은 카메라 입력으로부터 고휘도 영역을 검출하는 고휘도 영역 선택단계, 상기 고휘도 영역 선택단계에서 선택된 고휘도 영역내에서 유효화소를 선택하는 유효 화소 선택단계, 상기 유효 화소 선택단계에서 선택된 유효화소로부터 조명을 추정하는 영상 조명 추정단계, 상기 영상 조명 추정단계에서 추정된 조명을 색 항상성 모델에 적용하는 색 항상성 모델 적용단계, 상기 색 항상성 모델 적용단계에서 추정된 조명을 색 항상성 모델에 적용한 출력 영상을 저장하고 출력하는 출력 영상 저장단계를 포함할 수 있다.
상기 고휘도 영역 선택단계는 밝기값을 기준으로 고휘도 영역을 검출하는 고휘도 영역 검출단계, 상기 고휘도 영역이 문턱치값 이상을 가지는 지를 판단하는 적합성 평가단계, 상기 적합성 평가단계에 의하여 상기 고휘도 영역이 문턱치값 이상을 가지는 경우, 상기 고휘도 영역을 관심영역으로 검출하는 관심 영역 검출단계를 포함할 수 있다.
상기 유효 화소 선택단계는 표준 차트를 이용하여 카메라 응답을 획득하는 표준차트 카메라 응답 획득 단계, 상기 카메라 응답 획득단계에서 획득된 카메라 응답을 색도좌표계로 변환하여 잡음을 분석하는 색도 잡음 분석단계, 상기 색도 잡음 분석단계에서 분석된 카메라 응답에 대하여 표준 차트를 바탕으로 상기 카메라 입력의 오차를 계산하는 오차 계산단계, 상기 카메라 응답 획득단계, 상기 색도 잡음 분석단계, 상기 오차 계산단계를 반복적으로 적용하여 카메라 입력 오차에 대한 문턱치 값을 결정하는 문턱치 결정단계를 포함할 수 있다.
상기 영상 조명 추정단계는 상기 유효 화소 선택단계에서 선택된 고휘도 영역의 유효 화소들을 색도 공간으로 변환하는 색도 변환단계, 상기 색도 공간에서 주성분 분석을 통해 주축과 절편을 계산하는 주성분 분석단계, 상기 주축의 방향과 절편을 이용하여 선형 방정식을 계산하는 방향 검출단계, 상기 방향 검출단계에서 결정된 선형 방정식과 상기 고휘도 영역의 값에 대한 교차점을 구하고 이를 이용하여 조명을 추정하는 조명추정단계를 포함할 수 있다.
상기 색 항상성 모델 적용단계는 상기 영상 조명 추정단계에서 분석을 통해 추정된 조명 성분의 색도값을 제거하는 영상 조명 제거단계, 상기 영상 조명 제거단계에 의하여 조명 성분의 색도값이 제거된 영상에 대해 표준 광원을 적용하는 표준 광원 적용단계, 상기 표준 광원 적용단계에서 적용한 광원을 이용하여 새로운 영상을 생성하는 표준 영상 복원단계를 포함할 수 있다.
상기와 같이 구성된 본 발명에 따른 고휘도 영역 선택 기반의 광원 보정 장치 및 방법에 의하면, 영역 평가를 통해 분할 과정을 생략할 수 있기 때문에 하드웨어 구현시 시간처리 단축의 효과가 있다.
또한, 조명 추정에 사용될 고휘도 영역을 적합도 평가를 통해 선택적으로 결정함으로써 조명 추정의 정확도를 높이고 더 나아가 화질을 향상하는 효과가 있다.
도 1은 본 발명에 따른 고휘도 영역 선택 기반의 광원 보정 장치를 도시한 구성도,
도 2는 본 발명에 따른 도 1의 고휘도 영역 선택부를 상세히 도시한 구성도,
도 3은 고휘도 영역의 샘플들을 나타낸 화면 구성도,
도 4는 본 발명에 따른 도 1의 유효화소 선택부를 상세히 도시한 구성도,
도 5는 색도 잡음을 분석하기 위한 표준차트 및 색도 분포 결과를 나타낸 그래프,
도 6은 본 발명에 따른 도 1의 영상 조명 추정부를 상세히 도시한 구성도,
도 7은 본 발명에 따른 도 1의 색 항상성 모델 적용부를 상세히 도시한 구성도,
도 8은 본 발명에 따른 고휘도 영역 선택 기반의 광원 보정 방법을 도시한 구성도,
도 9는 본 발명에 따른 도 8의 고휘도 영역 선택단계를 상세히 도시한 구성도,
도 10은 본 발명에 따른 도 8의 유효화소 선택단계를 상세히 도시한 구성도,
도 11은 본 발명에 따른 도 8의 영상 조명 추정단계를 상세히 구성한 구성도,
도 12는 본 발명에 따른 도 8의 색 항상성 모델 적용단계를 상세히 도시한 구성도이다.
본 발명은 다양한 변형 및 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 고휘도 영역 선택 기반의 광원 보정 장치를 도시한 구성도이다.
도 1을 참조하면, 상기 고휘도 영역 선택 기반의 광원 보정 장치는 카메라 입력으로부터 고휘도 영역을 검출하는 고휘도 영역 선택부(200), 상기 고휘도 영역 선택부(200)에서 선택된 고휘도 영역내에서 유효화소를 선택하는 유효 화소 선택부(300), 상기 유효 화소 선택부(300)에서 선택된 유효화소로부터 조명을 추정하는 영상 조명 추정부(400), 상기 영상 조명 추정부(400)에서 추정된 광원을 색 항상성 모델에 적용하는 색 항상성 모델 적용부(500), 상기 색 항상성 모델 적용부(500)에서 추정된 조명을 색 항상성 모델에 적용한 출력 영상을 저장하고 출력하는 출력 영상 저장부(600)를 포함한다.
도 2는 본 발명에 따른 도 1의 고휘도 영역 선택부를 상세히 도시한 구성도이다.
도 2를 참조하면, 상기 고휘도 영역 선택부(200)는 입력된 관심영역에 대하여 적합한 고휘도 영역인지 결정한다. 이를 위하여 상기 고휘도 영역 선택부(200)는 고휘도 영역 검출부(210), 적합성 평가부(220), 관심 영역 검출부(230)를 포함한다.
상기 고휘도 영역 검출부(210)는 밝기값을 기준으로 고휘도 영역을 검출한다. 상기 적합성 평가부(220)은 상기 고휘도 영역이 문턱치값 이상을 가지는 지를 판단한다.
상기 관심 영역 검출부(230)은 상기 적합성 평가부(220)에 의하여 상기 고휘도 영역이 문턱치값 이상을 가지는 경우, 상기 고휘도 영역을 관심영역으로 검출한다.
상기 적합성 평가부(220)에서 상기 고휘도 영역이 문턱치값 이상을 가지는지의 판단은 하기 수학식 1을 통해서 수행된다.
Figure 112013109100650-pat00001
여기에서 E는 영상에서 표현되는 2차원 점의 타원 이심률을 말하며,
Figure 112013109100650-pat00002
는 타원의 단축,
Figure 112013109100650-pat00003
는 타원의 장축이다.
여기에서 수학식 1의 계산을 통해 E값이 문턱치값 이상을 가지는 경우 관심영역으로 검출된다.
도 3은 고휘도 영역의 샘플들을 나타낸 것이다.
이심률의 문턱치값 결정을 위해 상기 도 3의 샘플에 대하여 이심률을 조사하였다. 표 1은 상기 도 3의 각 샘플에 대한 이심률의 결과이다. 표 1의 이심률의 평균을 문턱치값으로 하여 고휘도 영역을 결정한다.
No ξ No ξ No ξ No ξ No ξ
1 0.981 11 0.943 21 0.548 31 0.979 41 0.978
2 0.991 12 0.959 22 0.988 32 0.979 42 0.995
3 0.974 13 0.985 23 0.965 33 0.996 43 0.997
4 0.962 14 0.916 24 0.997 34 0.993 44 0.982
5 0.901 15 0.966 25 0.903 35 0.994 45 0.993
6 0.992 16 0.971 26 0.981 36 0.982 46 0.963
7 0.996 17 0.967 27 0.961 37 0.957 47 0.999
8 0.977 18 0.971 28 0.974 38 0.875 48 0.993
9 0.765 19 0.993 29 0.937 39 0.983 49 0.993
10 0.981 20 0.996 30 0.985 40 0.990 50 0.988
도 4는 본 발명에 따른 도 1의 유효화소 선택부(300)를 상세히 도시한 구성도이다.
도 4를 참조하면, 상기 유효 화소 선택부(300)는 상기 관심 영역 검출부(230)에서 검출된 관심영역에서 조명 추정을 위한 유효 화소를 선택한다.
상기 유효화소 선택부(300)는 표준차트 카메라 응답 획득부(310), 색도 잡음 분석부(320), 오차 계산부(330), 문턱치 결정부(340)을 포함한다.
상기 표준 차트 카메라 응답 획득부(310)는 표준 차트를 이용하여 카메라 응답을 획득하는 역할을 수행한다.
상기 색도 잡음 분석부(320)은 상기 카메라 응답 획득부(310)에서 획득된 카메라 응답을 색도좌표계로 변환하여 잡음을 분석한다. 상기 오차 계산부(330)는 상기 색도 잡음 분석부(320)에서 분석된 카메라 응답에 대하여 표준 차트를 바탕으로 상기 카메라 입력의 오차를 계산한다.
상기 문턱치 결정부(340)은 상기 카메라 응답 획득부(310), 상기 색도 잡음 분석부(320), 상기 오차 계산부(330)를 반복적으로 적용하여 카메라 입력 오차에 대한 문턱치 값을 결정한다.
상기 색도 잡음 분석부(320)에서 잡음 분석을 위해 사용하는 표준 차트와 이에 대한 색도 좌표계식 표현이 도 5에 도시되어 있다.
표 2는 상기 도 5의 샘플 중에서 대표 24색에 대한 마할라노비스 거리 오차를 표현한 것이다.
No Md No Md No Md No Md
1 1.1086 7 1.3204 13 0.8034 19 0.7417
2 0.7144 8 0.7727 14 0.8722 20 0.7903
3 0.8413 9 0.8772 15 0.8781 21 0.7117
4 1.1403 10 0.8007 16 0.900 22 0.7649
5 0.7485 11 0.7300 17 0.9108 23 0.718
6 0.8363 12 0.9037 18 0.8263 24 0.5533
상기 문턱치 결정부(340)에서 문턱치를 결정하기 위해 하기 수학식 2를 이용한다.
Figure 112013109100650-pat00004
여기에서 Md는 군집의 경계점과 중심 사이의 모할라노비스 거리이고, C는 임의의 화소의 위치 벡터,
Figure 112013109100650-pat00005
는 군집의 평균 벡터,
Figure 112013109100650-pat00006
은 군집의 공분산이다. 만약 Md가 특정 임계치보다 작다면, 이 화소는 유효 화소로써 성능내의 화소로 볼 수 있으며, 만약 임계치보다 큰 값이라면, 색도 잡음으로 판단하게 된다.
도 6은 본 발명에 따른 도 1의 영상 조명 추정부(400)를 상세히 도시한 구성도이다.
도 6을 참조하면, 상기 영상 조명 추정부(400)는 상기 유효 화소 선택부(300)에서 선택된 고휘도 영역의 유효 화소들을 색도 공간으로 변환하는 색도 변환부(410), 상기 색도 공간에서 주성분 분석을 통해 주축과 절편을 계산하는 주성분 분석부(420), 상기 주축의 방향과 절편을 이용하여 선형 방정식을 계산하는 방향 검출부(430), 상기 방향 검출부(430)에서 결정된 선형 방정식과 상기 고휘도 영역의 값에 대한 교차점을 구하고 이를 이용하여 조명을 추정하는 조명추정부(440)를 포함한다.
도 7은 본 발명에 따른 도 1의 색 항상성 모델 적용부를 상세히 도시한 구성도이다.
도 7을 참조하면, 상기 색 항상성 모델 적용부(500)는 상기 영상 조명 추정부(400)에서 분석을 통해 추정된 조명 성분의 색도값을 제거하는 영상 조명 제거부(510), 상기 영상 조명 제거부(510)에 의하여 조명 성분의 색도값이 제거된 영상에 대해 표준 광원을 적용하는 표준 광원 적용부(520), 상기 표준 광원 적용부(520)에서 적용한 광원을 이용하여 새로운 영상을 생성하는 표준 영상 복원부(530)를 포함한다.
상기 표준 영상 적용부(520)에서 표준 광원을 적용하는 경우, 국제조명위원회에서 제시한 기준을 따른다.
상기 출력 영상 저장부(600)는 상기 색 항상성 모델 적용부(500)에서 추정된 조명을 색 항상성 모델에 적용한 출력 영상을 저장하고 출력한다.
도 8은 본 발명에 따른 고휘도 영역 선택 기반의 광원 보정 방법을 도시한 구성도이다.
도 8을 참조하면, 상기 고휘도 영역 선택 기반의 광원 보정 방법은 카메라 입력으로부터 고휘도 영역을 검출하는 고휘도 영역 선택단계(S200), 고휘도 영역내에서 유효화소를 선택하는 유효 화소 선택단계(S300), 선택된 유효화소로부터 조명을 추정하는 영상 조명 추정단계(S400), 추정된 광원을 색 항상성 모델에 적용하는 색 항상성 모델 적용단계(S500), 상기 색 항상성 모델 적용단계(S500)에서 추정된 조명을 색 항상성 모델에 적용한 출력 영상을 저장하고 출력하는 출력 영상 저장단계(S600)를 포함한다.
도 9는 본 발명에 따른 도 8의 고휘도 영역 선택단계를 상세히 도시한 구성도이다.
도 9를 참조하면, 상기 고휘도 영역 선택단계(S200)는 입력된 관심영역에 대하여 적합한 고휘도 영역인지 결정한다. 상기 고휘도 영역 선택단계(S200)는 고휘도 영역 검출단계(S210), 적합성 평가단계(S220), 관심 영역 검출단계(S230)를 포함한다.
상기 고휘도 영역 검출단계(S210)는 밝기값을 기준으로 고휘도 영역을 검출한다. 상기 적합성 평가단계(S220)는 상기 고휘도 영역이 문턱치값 이상을 가지는 지를 판단한다. 상기 관심 영역 검출단계(S230)는 상기 적합성 평가단계(S220)에 의하여 상기 고휘도 영역이 문턱치값 이상을 가지는 경우, 상기 고휘도 영역을 관심영역으로 검출한다.
상기 적합성 평가단계(S220)에서 상기 고휘도 영역이 문턱치값 이상을 가지는지의 판단은 상기 수학식 1, 도 3 및 표 1과 동일하게 수행되며, 여기서 그 세세한 설명은 생략한다.
도 10은 본 발명에 따른 도 8의 유효화소 선택단계를 상세히 도시한 구성도이다.
도 10을 참조하면, 상기 유효 화소 선택단계(S300)는 상기 관심 영역 검출단계(S230)에서 검출된 관심영역에서 조명 추정을 위한 유효 화소를 선택한다.
상기 유효화소 선택단계(S300)는 표준차트 카메라 응답 획득단계(S310), 색도 잡음 분석단계(S320), 오차 계산단계(S330), 문턱치 결정단계(S340)를 포함한다.
상기 표준 차트 카메라 응답 획득단계(S310)는 표준 차트를 이용하여 카메라 응답을 획득하는 역할을 수행한다. 상기 색도 잡음 분석단계(S320)는 상기 카메라 응답 획득단계(S310)에서 획득된 카메라 응답을 색도좌표계로 변환하여 잡음을 분석한다. 상기 오차 계산단계(S330)는 상기 색도 잡음 분석단계(S320)에서 분석된 카메라 응답에 대하여 표준 차트를 바탕으로 상기 카메라 입력의 오차를 계산한다. 상기 문턱치 결정단계(S340)는 상기 카메라 응답 획득단계(S310), 상기 색도 잡음 분석단계(S320), 상기 오차 계산단계(S330)를 반복적으로 적용하여 카메라 입력 오차에 대한 문턱치 값을 결정한다.
상기 색도 잡음 분석단계(S320)에서 잡음 분석을 위해 사용하는 표준 차트와 이에 대한 색도 좌표계식 표현은 상기 도 5에 도시된 바와 같고, 상기 표 2는 상기 도 5의 샘플 중에서 대표 24색에 대한 마할라노비스 거리 오차를 표현한 것이다.
상기 문턱치 결정단계(S340)에서 문턱치를 결정하기 위해 상기 수학식 2를 이용한다.
도 11은 본 발명에 따른 도 8의 영상 조명 추정단계를 상세히 도시한 구성도이다.
도 11을 참조하면, 상기 영상 조명 추정단계(S400)는 상기 유효 화소 선택단계(S300)에서 선택된 고휘도 영역의 유효 화소들을 색도 공간으로 변환하는 색도 변환단계(S410), 상기 색도 공간에서 주성분 분석을 통해 주축과 절편을 계산하는 주성분 분석단계(S420), 상기 주축의 방향과 절편을 이용하여 선형 방정식을 계산하는 방향 검출단계(S430), 상기 방향 검출단계(S430)에서 결정된 선형 방정식과 상기 고휘도 영역의 값에 대한 교차점을 구하고 이를 이용하여 조명을 추정하는 조명추정단계(S440)를 포함한다.
도 12는 본 발명에 따른 도 8의 색 항상성 모델 적용단계를 상세히 도시한 구성도이다.
도 11을 참조하면, 상기 색 항상성 모델 적용단계(S500)는 상기 영상 조명 추정단계(S400)에서 분석을 통해 추정된 조명 성분의 색도값을 제거하는 영상 조명 제거단계(S510), 상기 영상 조명 제거단계(S510)에 의하여 조명 성분의 색도값이 제거된 영상에 대해 표준 광원을 적용하는 표준 광원 적용단계(S520), 상기 표준 광원 적용단계(S520)에서 적용한 광원을 이용하여 새로운 영상을 생성하는 표준 영상 복원단계(S530)를 포함한다.
상기 표준 영상 적용단계(S520)에서 표준 광원을 적용하는 경우, 국제조명위원회에서 제시한 기준을 따른다.
상기 출력 영상 저장단계(S600)는 상기 색 항상성 모델 적용단계(S500)에서 추정된 조명을 색 항상성 모델에 적용한 출력 영상을 저장하고 출력한다.
본 명세서에 기재된 본 발명의 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 관한 것이고, 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다. 따라서 본 발명은 상술한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 권리범위 내에 있게 된다.
100: 카메라 영상 입력부 200: 고휘도 영역 선택부
210: 고휘도 영역 검출부 220: 적합성 평가부
230: 관심 영역 검출부 300: 유효화소 선택부
310: 표준차트 카메라 응답 획득부 320: 색도 잡음 분석부
330: 오차 계산부 340: 문턱치 결정부
400: 영상 조명 추정부 410: 색도 변환부
420: 주성분 분석부 430: 방향 검출부
440: 조명 추정부 500: 색 항상성 모델 적용부
510: 영상 조명 제거부 520: 표준 광원 적용부
530: 표준 영상 복원부 600: 출력 영상 저장부

Claims (10)

  1. 카메라 입력으로부터 고휘도 영역을 검출하는 고휘도 영역 선택부;
    상기 고휘도 영역 선택부에서 선택된 고휘도 영역내에서 유효화소를 선택하는 유효 화소 선택부;
    상기 유효 화소 선택부에서 선택된 유효화소로부터 조명을 추정하는 영상 조명 추정부;
    상기 영상 조명 추정부에서 추정된 조명을 색 항상성 모델에 적용하는 색 항상성 모델 적용부; 및
    상기 색 항상성 모델 적용부에서 추정된 조명을 색 항상성 모델에 적용한 출력 영상을 저장하고 출력하는 출력 영상 저장부를 포함하고,
    상기 유효 화소 선택부는
    표준 차트를 이용하여 카메라 응답을 획득하는 표준차트 카메라 응답 획득부;
    상기 표준차트 카메라 응답 획득부에서 획득된 카메라 응답을 색도좌표계로 변환하여 잡음을 분석하는 색도 잡음 분석부;
    상기 색도 잡음 분석부에서 분석된 카메라 응답에 대하여 표준 차트를 바탕으로 상기 카메라 입력의 오차를 계산하는 오차 계산부; 및
    상기 표준차트 카메라 응답 획득부, 상기 색도 잡음 분석부, 상기 오차 계산부를 반복적으로 적용하여 카메라 입력 오차에 대한 문턱치 값을 결정하는 문턱치 결정부를 포함하는 광원 보정 장치.
  2. 제 1항에 있어서, 상기 고휘도 영역 선택부는
    밝기값을 기준으로 고휘도 영역을 검출하는 고휘도 영역 검출부;
    상기 고휘도 영역이 문턱치값 이상을 가지는 지를 판단하는 적합성 평가부; 및
    상기 적합성 평가부에 의하여 상기 고휘도 영역이 문턱치값 이상을 가지는 경우, 상기 고휘도 영역을 관심영역으로 검출하는 관심 영역 검출부를 포함하는 광원 보정 장치.
  3. 삭제
  4. 제 1항에 있어서, 상기 영상 조명 추정부는
    상기 유효 화소 선택부에서 선택된 고휘도 영역의 유효 화소들을 색도 공간으로 변환하는 색도 변환부;
    상기 색도 공간에서 주성분 분석을 통해 주축과 절편을 계산하는 주성분 분석부;
    상기 주축의 방향과 절편을 이용하여 선형 방정식을 계산하는 방향 검출부; 및
    상기 방향 검출부에서 결정된 선형 방정식들의 교차점을 구하고 이를 이용하여 조명을 추정하는 조명추정부를 포함하는 광원 보정 장치.
  5. 제 1항에 있어서, 상기 색 항상성 모델 적용부는
    상기 영상 조명 추정부에서 분석을 통해 추정된 조명 성분의 색도값을 제거하는 영상 조명 제거부;
    상기 영상 조명 제거부에 의하여 조명 성분의 색도값이 제거된 영상에 대해 표준 광원을 적용하는 표준 광원 적용부; 및
    상기 표준 광원 적용부에서 적용한 광원을 이용하여 새로운 영상을 생성하는 표준 영상 복원부를 포함하는 광원 보정 장치.
  6. 카메라 입력으로부터 고휘도 영역을 검출하는 고휘도 영역 선택단계;
    상기 고휘도 영역 선택단계에서 선택된 고휘도 영역내에서 유효화소를 선택하는 유효 화소 선택단계;
    상기 유효 화소 선택단계에서 선택된 유효화소로부터 조명을 추정하는 영상 조명 추정단계;
    상기 영상 조명 추정단계에서 추정된 조명을 색 항상성 모델에 적용하는 색 항상성 모델 적용단계; 및
    상기 색 항상성 모델 적용단계에서 추정된 조명을 색 항상성 모델에 적용한 출력 영상을 저장하고 출력하는 출력 영상 저장단계를 포함하고,
    상기 유효 화소 선택단계는
    표준 차트를 이용하여 카메라 응답을 획득하는 표준차트 카메라 응답 획득단계;
    상기 표준차트 카메라 응답 획득단계에서 획득된 카메라 응답을 색도좌표계로 변환하여 잡음을 분석하는 색도 잡음 분석단계;
    상기 색도 잡음 분석단계에서 분석된 카메라 응답에 대하여 표준 차트를 바탕으로 상기 카메라 입력의 오차를 계산하는 오차 계산단계; 및
    상기 표준차트 카메라 응답 획득단계, 상기 색도 잡음 분석단계, 상기 오차 계산단계를 반복적으로 적용하여 카메라 입력 오차에 대한 문턱치 값을 결정하는 문턱치 결정단계를 포함하는 광원 보정 방법.
  7. 제 6항에 있어서, 상기 고휘도 영역 선택단계는
    밝기값을 기준으로 고휘도 영역을 검출하는 고휘도 영역 검출단계;
    상기 고휘도 영역이 문턱치값 이상을 가지는 지를 판단하는 적합성 평가단계; 및
    상기 적합성 평가단계에 의하여 상기 고휘도 영역이 문턱치값 이상을 가지는 경우, 상기 고휘도 영역을 관심영역으로 검출하는 관심 영역 검출단계를 포함하는 광원 보정 방법.
  8. 삭제
  9. 제 6항에 있어서, 상기 영상 조명 추정단계는
    상기 유효 화소 선택단계에서 선택된 고휘도 영역의 유효 화소들을 색도 공간으로 변환하는 색도 변환단계;
    상기 색도 공간에서 주성분 분석을 통해 주축과 절편을 계산하는 주성분 분석단계;
    상기 주축의 방향과 절편을 이용하여 선형 방정식을 계산하는 방향 검출단계; 및
    상기 방향 검출단계에서 결정된 선형 방정식들의 교차점을 구하고 이를 이용하여 조명을 추정하는 조명추정단계를 포함하는 광원 보정 방법.
  10. 제 6항에 있어서, 상기 색 항상성 모델 적용단계는
    상기 영상 조명 추정단계에서 분석을 통해 추정된 조명 성분의 색도값을 제거하는 영상 조명 제거단계;
    상기 영상 조명 제거단계에 의하여 조명 성분의 색도값이 제거된 영상에 대해 표준 광원을 적용하는 표준 광원 적용단계; 및
    상기 표준 광원 적용단계에서 적용한 광원을 이용하여 새로운 영상을 생성하는 표준 영상 복원단계를 포함하는 광원 보정 방법.
KR20130146673A 2013-11-28 2013-11-28 고휘도 영역 선택 기반의 광원 보정 장치 및 방법 KR101509992B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130146673A KR101509992B1 (ko) 2013-11-28 2013-11-28 고휘도 영역 선택 기반의 광원 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130146673A KR101509992B1 (ko) 2013-11-28 2013-11-28 고휘도 영역 선택 기반의 광원 보정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101509992B1 true KR101509992B1 (ko) 2015-04-08

Family

ID=53033865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130146673A KR101509992B1 (ko) 2013-11-28 2013-11-28 고휘도 영역 선택 기반의 광원 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101509992B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101788471B1 (ko) * 2016-10-07 2017-10-19 한국광기술원 조명 정보 기반의 객체 증강 현실 디스플레이 장치 및 방법
WO2020171576A1 (ko) * 2019-02-20 2020-08-27 삼성전자 주식회사 이미지 효과 적용 방법 및 이를 지원하는 전자 장치
WO2023090695A1 (en) * 2021-11-16 2023-05-25 Samsung Electronics Co., Ltd. System and method for synthesizing low-light images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000175207A (ja) 1998-12-07 2000-06-23 Canon Inc 画像補正方法、装置及び撮像装置
KR20010046716A (ko) * 1999-11-15 2001-06-15 윤종용 인지광원과 하이라이트를 이용한 조명 색도 추정 및변환장치 및 그를 위한 방법
KR100695129B1 (ko) 2004-10-20 2007-03-14 삼성전자주식회사 칼라영상의 조명색 추정장치 및 방법
KR20070113890A (ko) * 2006-05-26 2007-11-29 삼성전자주식회사 자동 백색 밸런싱 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000175207A (ja) 1998-12-07 2000-06-23 Canon Inc 画像補正方法、装置及び撮像装置
KR20010046716A (ko) * 1999-11-15 2001-06-15 윤종용 인지광원과 하이라이트를 이용한 조명 색도 추정 및변환장치 및 그를 위한 방법
KR100695129B1 (ko) 2004-10-20 2007-03-14 삼성전자주식회사 칼라영상의 조명색 추정장치 및 방법
KR20070113890A (ko) * 2006-05-26 2007-11-29 삼성전자주식회사 자동 백색 밸런싱 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101788471B1 (ko) * 2016-10-07 2017-10-19 한국광기술원 조명 정보 기반의 객체 증강 현실 디스플레이 장치 및 방법
WO2020171576A1 (ko) * 2019-02-20 2020-08-27 삼성전자 주식회사 이미지 효과 적용 방법 및 이를 지원하는 전자 장치
WO2023090695A1 (en) * 2021-11-16 2023-05-25 Samsung Electronics Co., Ltd. System and method for synthesizing low-light images
US12015855B2 (en) 2021-11-16 2024-06-18 Samsung Electronics Co., Ltd. System and method for synthesizing low-light images

Similar Documents

Publication Publication Date Title
US9916646B2 (en) System and method for processing input images before generating a high dynamic range image
US10944952B2 (en) Method and apparatus for processing an image property map
JP6355346B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US9489751B2 (en) Image processing apparatus and image processing method for color correction based on pixel proximity and color similarity
KR20100087685A (ko) 깊이 영상의 품질 개선 방법 및 장치
CN107680140B (zh) 一种基于Kinect相机的深度图像高分辨率重构方法
CN104951742A (zh) 敏感视频的检测方法和系统
KR101509992B1 (ko) 고휘도 영역 선택 기반의 광원 보정 장치 및 방법
Bong et al. An efficient and training-free blind image blur assessment in the spatial domain
Sari et al. Multiple food or non-food detection in single tray box image using fraction of pixel segmentation for developing smart NutritionBox prototype
KR20140007092A (ko) 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템
Liu et al. A new perceptual-based no-reference contrast metric for natural images based on human attention and image dynamic
KR101521269B1 (ko) 영상에서 눈 또는 비를 검출하는 방법
KR101928501B1 (ko) 영상을 이용한 피부 산도 측정 방법
JP2016011874A (ja) 画像処理装置およびその方法
Bida A Hybrid Technique to Detect the Edges of Medical Images by Separating Color Channels
Cvejic et al. Metric for multimodal image sensor fusion
Khan et al. No-reference image quality metric for tone-mapped images
Saputra et al. Local pixel analysis in color constancy to improve feature extraction process
Yao et al. Video quality assessment based on content-partitioned multi-scale structural similarity
Anishchenko et al. Toward a robust system to monitor head motions during pet based on facial landmark detection: A new approach
Neto Lightness constancy in edge detection: A simple approach using luminance ratios
JP6311345B2 (ja) 画像処理装置及びプログラム
Kwon et al. Color constancy algorithm without segmentation
Bhardwaj Detection and verification of missing components in SMD using AOI techniques

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180404

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190402

Year of fee payment: 5