KR100933282B1 - 색채 복원 방법 및 시스템 - Google Patents

색채 복원 방법 및 시스템 Download PDF

Info

Publication number
KR100933282B1
KR100933282B1 KR1020080005017A KR20080005017A KR100933282B1 KR 100933282 B1 KR100933282 B1 KR 100933282B1 KR 1020080005017 A KR1020080005017 A KR 1020080005017A KR 20080005017 A KR20080005017 A KR 20080005017A KR 100933282 B1 KR100933282 B1 KR 100933282B1
Authority
KR
South Korea
Prior art keywords
color
image
channel
reference region
sub
Prior art date
Application number
KR1020080005017A
Other languages
English (en)
Other versions
KR20090079069A (ko
Inventor
정찬섭
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020080005017A priority Critical patent/KR100933282B1/ko
Priority to PCT/KR2008/007883 priority patent/WO2009091152A2/en
Priority to JP2009007982A priority patent/JP2009171585A/ja
Priority to CN200910005219XA priority patent/CN101489022B/zh
Publication of KR20090079069A publication Critical patent/KR20090079069A/ko
Application granted granted Critical
Publication of KR100933282B1 publication Critical patent/KR100933282B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

본 발명은 디지털 영상의 색채 복원 방법 및 시스템에 관한 것이다. 보다 상세하게는 인간 시각 체계의 색채 항등성 구현 원리를 이용하여 조명에 의해 왜곡된 디지털 영상의 색채를 복원하는 색채 복원 방법 및 시스템에 관한 것이다.
본 발명은 a) 복원하고자 하는 영상의 색상 채널별 분산값을 고려하여 준거 영역을 결정하는 단계; b) 상기 결정된 준거 영역에 대한 상대적 표면 반사율(Relative surface reflectance)을 계산하고, 상기 계산된 상대적 표면 반사율을 이용하여 외부 광원의 효과를 배제하기 위한 조정 계수를 계산하는 단계; 및 c) 상기 조정 계수를 이용하여 상기 복원하고자 하는 영상의 색채를 복원하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면 다중 광원에 노출된 디지털 영상의 색채 복원 및 디지털 영상에서 발생하는 고유 색상 문제(Unique color problem)를 해소할 수 있는 효과를 가진다.
색채, 복원, 표준편차, 표면 반사율

Description

색채 복원 방법 및 시스템{Method and system for color recovery}
본 발명은 디지털 영상의 색채 복원 방법 및 시스템에 관한 것이다. 보다 상세하게는 인간 시각 체계의 색채 항등성 구현 원리를 이용하여 조명에 의해 왜곡된 디지털 영상의 색채를 복원하는 색채 복원 방법 및 시스템에 관한 것이다.
일반적으로 세 종류의 이미지 센서를 통해 영상을 디지털화하는 모든 시스템은 조명에 의한 왜곡이 영상에 가해지는 경우에는 왜곡이 가해지기 전의 영상의 색채를 복원하는 것이 이론적으로 불가능하다. 그러나 인간의 시각 체계는 사물의 표면에 가해지는 조명과 무관하게 사물 표면의 고유색에 대한 근사치를 파악하는 것이 가능하다.
종래에는 이러한 인간의 시각 시스템을 적용하여 구성된 디지털 영상에 대한 색채 복원 방법이 존재하지 않았기 때문에, 왜곡된 조명 하에서 카메라나 기타 촬영장비로 디지털 영상이 촬영되는 경우 왜곡된 조명으로 인하여 디지털 영상의 색채가 변질 되는 것을 방지할 수 없었다. 따라서 조명으로 인하여 왜곡된 디지털 영상에 있어서 본래의 디지털 영상이 가진 색채를 복원하기 위해서는 수작업을 거쳐야 하므로 많은 비용과 시간이 소모되는 문제점이 있었다.
이와 같은 문제점을 해결하고자 대한민국 등록특허 0442320호에서는 입력된 디지털 영상의 세 채널 동일 최대값 픽셀 비율(Proportion of equi-max in three channels)을 이용한 디지털 이미지에 대한 색채 복원 방법을 개시한바 있다. 그러나 상기 발명은 다중 광원에 의한 디지털 이미지의 왜곡이나 디지털 이미지에 대한 바이어스가 커질 경우 발생하는 고유 색상 문제(Unique color problem)를 해결하는데 있어서는 그 효과가 미약하다는 문제점이 있다.
상기와 같은 문제점을 해결하고자 안출된 본 발명은 조명 효과로 인해 왜곡된 디지털 영상의 색채를 표준 조명 하에서의 색채로 복원하며 디지털 영상에서 발생하는 고유 색상 문제(unique color problem)를 극복하기 위한 색채 복원 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 색채 복원 방법은 a) 복원하고자 하는 영상의 색상 채널별 분산값을 고려하여 준거 영역을 결정하는 단계; b) 상기 결정된 준거 영역에 대한 상대적 표면 반사율(Relative surface reflectance)을 계산하고, 상기 계산된 상대적 표면 반사율을 이용하여 외부 광원의 효과를 배제하기 위한 조정 계수를 계산하는 단계; 및 c) 상기 조정 계수를 이용하여 상기 복원하고자 하는 영상의 색채를 복원하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 색채 복원 시스템은 복원하고자 하는 영상의 각 색상 채널의 분산 값의 합이 최대가 되는 영역을 준거 영역으로 결정하는 준거 영역 결정부; 상기 준거 영역 내에서 광원의 효과를 배제하기 위한 조정계수를 계산하는 조정계수 계산부; 및 상기 조정계수를 이용하여 상기 복원하고자 하는 영상에 대한 색채 복원이 이루어지는 영상 복원부를 포함하는 것을 특징으로 한다.
본 발명에 의하면 다중 광원에 의해 왜곡된 디지털 영상에 대한 색채 복원이 용이하며, 디지털 영상에 대한 바이어스가 증가할 경우 발생하는 고유 색상 문제(Unique color problem)를 해소하는 것이 가능한 효과를 가진다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 색채 복원 시스템의 블록도 이다.
색채 복원 시스템(10)은 인간 시각 체계의 색채 항등성 구현 원리를 이용하여 조명에 의해 왜곡된 디지털 영상의 색채를 복원하는 시스템이며 아래의 세 가지 기본 가정 하에 동작이 이루어진다.
첫째, 색채 항등성의 문제는 역함수로 완전히 풀어지지 않기 때문에 대신 근사치를 구하는 방식으로 해결할 수 있다.
둘째, 단일 이미지에서 조명의 효과는 상기 이미지의 모든 부분에 균일하게 작용한다.
셋째, 자연 상태에서 물체 표면의 광 반사 스팩트럼은 각 색상 채널간에 서 로 균등하게 형성될 확률이 높다.
도 1에 도시된 바와 같이 색채 복원 시스템(10)은 준거 영역 결정부(20), 비율 척도 계산부(30), 표면 반사율 계산부(40), 색복원부(50), 조정계수 계산부(60), 영상 복원부(70), 제1 보정부(73), 및 제2 보정부(75)를 포함한다.
준거 영역 결정부(20)는 복원을 위하여 입력된 영상에서 각 색상 채널의 분산 값의 합이 최대가 되는 영역을 준거 영역으로 결정한다.
비율 척도 계산부(30)는 준거 영역 결정부(20)에서 결정된 상기 준거 영역의 각 픽셀의 색상 채널별 색상값과 상기 준거 영역의 색상 채널별 색상값에 대한 비율인 채널 내 비율 척도(Inter-channel ratio scale:IR)를 계산한다.
표면 반사율 계산부(40)는 비율 척도 계산부(30)에서 계산된 상기 채널 내 비율 척도를 입력받아 상기 준거 영역의 픽셀별 표면 반사율의 근사치인 상대적 표면 반사율(Relative surface reflectance)을 계산한다.
색복원부(50)는 비율 척도 계산부(40)에서 계산된 상기 상대적 표면 반사율과 상기 준거 영역의 픽셀별 광도를 곱하여 상기 준거 영역의 픽셀별 고유 표면색을 복원한다.
조정 계수 계산부(60)는 색복원부(50)에서 복원된 상기 준거 영역의 색상 채널별 고유 표면색과 상기 준거 영역의 색상 채널별 색상값을 이용하여 광원의 효과를 배제하기 위한 조정 계수를 계산한다.
영상 복원부(70)는 복원을 위하여 입력된 영상 전체의 각 픽셀의 색상값과 상기 조정 계수를 이용하여 상기 입력된 영상을 복원한다.
제1 보정부(73)는 영상 복원부(70)에서 복원된 영상의 픽셀별 색상값이 0~255로 지정되어 있는 한계 값을 넘을 경우 오버플로우 컨트롤(Overflow control)을 수행하여 상기 픽셀별 색상값을 한계값 이하로 보정한다.
제2 보정부(75)는 제1 보정부(73)에서 보정이 이루어진 픽셀별 색상값과 출력 변조 요인(Gain factor)을 고려하여 상기 보정이 이루어진 픽셀별 색상값에 대한 재보정이 이루어진다.
도 2는 본 발명의 바람직한 실시예에 따른 색채 복원 방법의 순서도 이다. 도 2에 도시된 바와 같이 색채 복원 방법은 색채 복원 시스템(10)에서 시계열 적으로 수행되는 하기 단계들을 포함한다.
S10에서 복원을 위하여 입력된 영상에 대한 준거 영역을 결정한다.
이때, 자연 상태의 물체 표면의 광 반사 스팩트럼은 각 색상 채널 간에 서로 균등하게 형성될 확률이 높다는 가정을 바탕으로 상기 입력된 영상의 전체 영역 중 특정 채널로 편향되는 현상이 최소가 되는 색상 채널별 분산 값의 합이 최대인 영역을 준거 영역으로 결정한다.
S10은 아래의 수학식 1에 의해 이루어진다.
수학식 1
Figure 112008003741232-pat00001
여기에서,
Figure 112008003741232-pat00002
은 세 채널의 분산 값의 합,
Figure 112008003741232-pat00003
은 R 채널의 분산 값,
Figure 112008003741232-pat00004
는 G 채널의 분산 값, 및
Figure 112008003741232-pat00005
는 B 채널의 분산 값을 의미한다.
이때, 준거 영역을 결정하는 방법으로 복원하고자 하는 영상을 복수 개의 서브 영상들로 분할하고, 상기 분할된 서브 영상들 각각에 대한 각 색상 채널의 분산 값의 합을 계산하고 상기 분산 값의 합이 최대가 되는 서브 영상을 제1 서브 영상으로 결정한다.
상기 제1 서브 영상을 복수 개의 서브 영상들로 재분할하고, 상기 재분할된 서브 영상들 각각에 대한 각 색상 채널의 분산 값의 합을 계산하고 상기 분산 값의 합이 최대가 되는 서브 영상을 제2 서브 영상으로 결정한다.
상기 제1 서브 영상과 제2 서브 영상을 비교하여 상기 제1 서브 영상의 분산값의 합이 더 클 경우 상기 제1 서브 영상을 준거 영역으로 결정하며, 상기 제2 서브 영상의 분산 값의 합이 더 클 경우에는 상기 제2 서브 영상을 복수개의 서브 영상들로 재분할하여 상기 재분할된 서브 영상들 중 각 색상 채널의 분산 값의 합이 최대가 되는 서브 영상이 분할 이전의 서브 영상에서의 각 색상 채널에서의 분산 값의 합보다 작거나 같을 때까지 분할을 반복하는 방법을 사용하는 것이 바람직하다.
또한, 준거 영역을 결정하는 방법으로 복원하고자 하는 영상에 서로 다른 크기의 윈도우들을 각각 적용하여 서브 영상을 추출하고, 상기 추출된 서브 영상 각각에 대한 색상 채널별 분산 값의 합을 계산한 후 상기 색상 채널별 분산 값의 합이 최대인 서브 영상을 준거 영역으로 결정하는 방법을 사용하는 것이 가능하다.
S20에서 상기 준거 영역을 구성하는 각 픽셀의 색상 채널별 색상값과 상기 준거 영역의 색상 채널별 색상값에 대한 비율값인 채널 내 비율척도(Inter-channel ratio scale:IR)에 대한 계산이 이루어진다.
S20은 아래의 수학식 2에 의하여 이루어진다.
수학식 2
Figure 112008003741232-pat00006
여기에서, VR는 준거 영역의 단일 픽셀의 K 색상 채널에 대한 색상 값,
Figure 112008003741232-pat00007
는 준거 영역 전체의 K 색상 채널의 색상 값, IRK는 준거 영역의 픽셀별 K 색상 채널에 대한 채널 내 비율척도를 의미한다.
상기 수학식 2는 본 발명에 의한 색채 복원 방법에 있어서 핵심 계산 성분인 채널 내 비율척도를 계산하는 것으로서 상기 수학식 2에 의하여 준거 영역을 구성하는 각 픽셀의 색상 값이 비율 값으로 변환된다.
S30에서 준거 영역에서의 물체 표면의 고유색을 결정하는 표면 반사율을 대신하기 위한 상대적 표면 반사율(Relative surface reflectance)에 대한 계산이 이루어진다.
S30은 아래의 수학식 3에 의해서 이루어진다.
수학식 3
Figure 112008003741232-pat00008
여기에서, PK는 준거 영역의 각 픽셀의 K 색상 채널에서의 상대적 표면 반사 율(Relative surface reflectance), SK는 준거 영역의 각 픽셀의 K 색상 채널에서 물체 표면의 고유색을 결정하는 표면 반사율,
Figure 112008003741232-pat00009
는 K 색상 채널에서의 채널 내 비율 척도, K는 R 또는 G또는 B 색상 채널을 의미한다.
물체 표면의 고유색을 결정하는 표면 반사율은 계산이 불가하므로 상기 수학식 3은 상기 수학식 2를 통하여 구해진 상기 채널 내 비율척도를 이용하여 상대적 표면 반사율을 계산하고, 상기 상대적 표면 반사율을 상기 표면 반사율의 근사치로 추정한다.
S40에서 상기 준거 영역의 픽셀별 광도(Luminance)와 각 픽셀의 색상 채널별 상대적 표면반사율을 곱하여 상기 준거 영역의 각 픽셀에 대한 고유 표면색의 복원이 이루어진다.
이때, 상기 준거 영역의 픽셀별 광도는 상기 준거 영역의 각 픽셀의 색상 채널별 표면 반사율과 조명강도의 곱으로 나타나는 값의 합이다.
상기 픽셀별 광도에 대한 계산은 아래의 수학식 4에 의해 이루어진다.
수학식 4
Figure 112008003741232-pat00010
여기에서, L은 픽셀별 광도이고, VR은 준거 영역 각 픽셀의 R 색상 채널에서의 색상값, VG는 준거 영역 각 픽셀의 G 색상 채널에서의 색상값 , VB는 준거 영역 각 픽셀의 B 색상 채널에서의 색상값이다.
이때, 복원된 고유 표면 색은 아래의 수학식 5와 같이 나타낼 수 있다.
수학식 5
Figure 112008003741232-pat00011
여기에서, CK는 준거 영역의 한 픽셀에 대한 K 색상 채널에서의 복원된 고유 표면 색, L은 픽셀별 광도, PK는 준거 영역의 한 픽셀에 대한 K 색상 채널에서의 상대적 표면 반사율을 의미한다.
S50에서 준거 영역에서의 색상 채널별 조정 계수가 계산된다. 상기 조정 계수는 입력된 영상의 색채 복원 과정에 있어서 광원의 효과를 배제하기 위한 것으로 아래의 수학식 6에 의해 계산이 이루어진다.
수학식 6
Figure 112008003741232-pat00012
여기에서,
Figure 112008003741232-pat00013
는 준거 영역의 K 색상 채널의 조정 계수이고,
Figure 112008003741232-pat00014
는 준거 영역에 속한 픽셀들이 갖는 K 색상 채널의 고유 표면색의 합이며,
Figure 112008003741232-pat00015
는 준거 영역에 속한 픽셀들이 갖는 K 색상 채널에서의 색상값
Figure 112008003741232-pat00016
의 합이다.
S60에서 상기 조정 계수를 이용하여 상기 입력된 영상의 색채에 대한 복원이 이루어지며, 상기 복원은 아래의 수학식 7에 의해 계산이 이루어진다.
수학식 7
Figure 112008003741232-pat00017
여기에서, RCK는 복원 대상이 되는 영상을 구성하는 각 픽셀의 K 색상 채널에서의 복원된 색상값 이고, VK는 입력된 영상 이미지 각 픽셀의 K 색상 채널에서의 색상값이며, mK는 준거 영역에서의 K 색상 채널에서의 조정 계수를 의미한다.
S70에서 상기 복원된 색상값이 0~255으로 설정된 한계 값을 초과하는지를 판단한다. 만약 상기 복원된 색상값이 한계 값을 초과하지 않는 경우에는 종료된다. 만약 상기 복원된 색상값이 상기 한계 값을 초과하는 경우 S73에서 오버플로우 컨트롤(Overflow control)을 통하여 상기 한계 값 이하로 보정된다.
S73은 아래의 수학식 8에 의해 이루어진다.
수학식 8
Figure 112008003741232-pat00018
여기에서 RC'K는 복원된 영상을 구성하는 각 픽셀의 K 색상 체널에서의 보정된 색상값이고, maxoriginal은 입력된 영상 이미지의 복원 전 최대 색상값이며, maxrecovered는 입력된 영상 이미지의 복원 후 최대 색상값을 의미한다. 모니터에서 표현할 수 있는 영상의 각 색상 채널별 출력 값의 한계는 0에서 255까지 256단계이므로 복원된 색상값이 255의 한계 값을 넘어가는 경우에는 상기 수학식 8을 이용하여 복원된 영상의 복원 전 최대 색상값과 복원 후 최대 색상값의 비율값을 이용하여 색채 복원 시스템에서 복원된 색상값의 출력 값을 조정함으로써 상기 한계 값 이하로 보정할 수 있다.
S75에서 S73에서 계산된 보정된 고유 표면색에 출력변조 요인(Gain factor)를 곱하여 상기 보정된 고유 표면색을 재보정 하는 과정이 이루어진다.
상기 S75은 아래의 수학식 9에 의해 이루어진다.
수학식 9
Figure 112008003741232-pat00019
여기에서 RC''K는 각 픽셀의 K 색상 채널에서의 재보정된 색상값, GK는 K 색상 채널에서의 출력 변조 요인(Gain factor)으로서
Figure 112008003741232-pat00020
는 복원된 영상 이미지의 K 색상 채널에서의 픽셀별 색상값의 합,
Figure 112008003741232-pat00021
는 보정된 영상 이미지의 K 색상 체널에서의 픽셀별 색상값의 합을 의미하며,
Figure 112008003741232-pat00022
는 역치화값(Thresholding value)으로서 픽셀의 K색상 채널에서의 최대 한계값인 255를 의미한다.
상기 수학식 9는 보정된 색상값과 출력변조 요인을 곱한 값이 역치화 값을 넘지 않는 경우에는 상기 보정된 색상값과 출력 변조 요인을 곱한 값이 재보정된 색상값이 되고, 보정된 고유 표면색과 출력 변조 요인을 곱한 값이 역치화 값을 넘 는 경우에는 역치화 값이 재보정된 색상값이 되는 것을 의미한다.
도 3은 본 발명의 바람직한 실시예에 따른 입력된 영상의 채널별 고유색을 복원하는 과정에 대한 참고도이다. 도 3에 도시된 바와 같이 입력된 영상에 대한 색채 복원 과정은 한 픽셀의 각 채널별 광도의 총합을 하나의 에너지 총량으로 보고 상기 에너지 총량을 상대적 표면 반사율을 이용하여 상기 픽셀의 각 채널로 분배하여 복원이 이루어지는 과정으로 생각할 수 있다.
도 4는 본 발명의 바람직한 실시예에 따른 적색으로 치우친 이미지의 복원 과정에 대한 참고도이다. 도 4에 도시된 바와 같이 정오 오전 무렵의 표준 조명하에서 촬영된 이미지(도 4의 (a) 이미지)를 테스트를 위하여 적색 조명으로 시뮬레이션을 하였다.(도 4의 (b) 이미지) 적색 조명으로 시뮬레이션한 상기 (b) 이미지를 색채 복원 시스템(10)을 이용 복원하였으며(도 4의 (c) 이미지), 색채 복원 시스템(10)의 성능 비교를 위하여 Adobe사의 Photoshop 프로그램을 이용 상기 (b)의 이미지를 복원하였다.(도 4의 (d) 이미지)
적색 조명으로 시뮬레이션된 이미지는 색채 복원 시스템(10)을 통하여 표준 조명하에서 촬영된 이미지와 거의 유사하게 복원되었으며 Photoshop 프로그램을 통한 복원결과와 비교시에 우수한 성능을 나타낸다.
도 5는 본 발명의 바람직한 실시예에 따른 녹색으로 치우친 이미지의 복원 과정에 대한 참고도이다.
도 5에 도시된 바와 같이 정오 오전 무렵의 표준 조명하에서 촬영된 이미지(도 5의 (a) 이미지)를 테스트를 위하여 녹색 조명으로 시뮬레이션을 하였다.(도 5 의 (b) 이미지) 녹색 조명으로 시뮬레이션한 상기 (b) 이미지를 색채 복원 시스템(10)을 이용 복원하였으며(도 5의 (c) 이미지), 색채 복원 시스템(10)의 성능 비교를 위하여 Adobe사의 Photoshop 프로그램을 이용 상기 (b)의 이미지를 복원하였다.(도 5의 (d) 이미지)
녹색 조명으로 시뮬레이션된 이미지는 색채 복원 시스템(10)을 통하여 표준 조명하에서 촬영된 이미지와 거의 유사하게 복원되었으며 Photoshop 프로그램을 통한 복원결과와 비교시에 우수한 성능을 나타낸다.
도 6은 본 발명의 바람직한 실시예에 따른 청색으로 치우친 이미지의 복원 과정에 대한 참고도이다.
도 6에 도시된 바와 같이 정오 오전 무렵의 표준 조명하에서 촬영된 이미지(도 6의 (a) 이미지)를 테스트를 위하여 청색 조명으로 시뮬레이션을 하였다.(도 6의 (b) 이미지) 청색 조명으로 시뮬레이션한 상기 (b) 이미지를 색채 복원 시스템(10)을 이용 복원하였으며(도 6의 (c) 이미지), 색채 복원 시스템(10)의 성능 비교를 위하여 Adobe사의 Photoshop 프로그램을 이용 상기 (b)의 이미지를 복원하였다.(도 6의 (d) 이미지)
청색 조명으로 시뮬레이션된 이미지는 색채 복원 시스템(10)을 통하여 표준 조명하에서 촬영된 이미지와 거의 유사하게 복원되었으며 Photoshop 프로그램을 통한 복원결과와 비교시에 우수한 성능을 나타낸다.
도면에 도시하지는 않았지만, 본 발명은 색채 복원 방법이 컴퓨터 내에서 실행가능한 명령어로 코딩된 정보가 기록된 컴퓨터에서 판독가능한 기록 매체를 제공 한다.
컴퓨터에서 판독가능한 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
상기 기록 매체를 구현하기 위한 각 기능을 실현할 수 있는 프로그램, 코드 및 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있는 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 다중 광원에 의하여 색상이 왜곡된 영상을 고유의 색상에 더 가깝게 복원할 수 있고 특정 색상에 대한 바이어스가 임계치를 초과할 경우 고유의 색상이 복원되지 않는 고유 색상 문제(Unique color problem)를 극복하는 것이 가능하므로 칩이나 프로그램의 형태로 디지털 카메라, 영상 장비, 및 영상 처리 프로그램에서 이용 가능하다.
도 1은 본 발명의 바람직한 실시예에 따른 색채 복원 시스템의 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 색채 복원 방법의 순서도,
도 3은 본 발명의 바람직한 실시예에 따른 디지털 영상의 체널별 고유색을 복원하는 과정에 대한 참고도,
도 4는 본 발명의 바람직한 실시예에 따른 적색 계통으로 치우친 이미지의 색채 복원 결과에 대한 참고도,
도 5는 본 발명의 바람직한 실시예에 따른 녹색 계통으로 치우친 이미지의 색채 복원 결과에 대한 참고도, 및
도 6은 본 발명의 바람직한 실시예에 따른 청색 계통으로 치우친 이미지의 색채 복원 결과에 대한 참고도이다.
<도면의 주요 부호에 대한 간단한 설명>
(10) : 색채 복원 시스템 (20) : 준거 영역 결정부
(30) : 비율 척도 계산부 (40) : 표면 반사율 계산부
(50) : 색복원부 (60) : 조정 계수 계산부
(70) : 영상 복원부 (73) : 제1 보정부
(75) : 제2 보정부

Claims (18)

  1. a) 복원하고자 하는 영상의 색상 채널별 색상 값에 대한 분산값을 고려하여 준거 영역을 결정하는 단계;
    b) 상기 결정된 준거 영역 내의 각 픽셀에 대한 채널 내 비율 척도(Intra-channel Ratio Scale: IR)를 이용하여 상대적 표면 반사율(Relative surface reflectance)을 계산하고, 상기 계산된 상대적 표면 반사율과 상기 준거 영역의 광도에 의해 복원된 고유 표면 색을 이용하여 외부 광원의 효과를 배제하기 위한 조정 계수를 계산하는 단계; 및
    c) 상기 준거 영역에 대한 조정 계수를 이용하여 상기 복원하고자 하는 영상의 색채를 복원하는 단계를 포함하는 것을 특징으로 하는 색채 복원 방법.
  2. 제 1 항에 있어서, 상기 b) 단계는,
    b1) 상기 준거 영역의 각 픽셀에 대하여 채널 내 비율척도(Intra-channel Ratio Scale: IR)를 계산하는 단계;
    b2) 상기 채널 내 비율척도(IR)를 이용하여 상기 준거 영역의 상대적 표면 반사율(P)을 계산하는 단계;
    b3) 상기 준거 영역의 광도(L)와 상기 상대적 표면 반사율(P)을 이용하여 고유 표면 색(C)을 복원하는 단계; 및
    b4) 상기 준거 영역의 상기 고유 표면색(C)과 상기 준거 영역에서의 채널별 색상값을 이용하여 광원의 효과를 배제하기 위한 조정 계수를 계산하는 단계를 포함하는 것을 특징으로 하는 색채 복원 방법.
  3. 제 1 항에 있어서,
    상기 a) 단계에서 상기 준거 영역은 상기 복원하고자 하는 영상의 색상 채널별 분산값의 합이 최대인 영역인 것을 특징으로 하는 색채 복원 방법.
  4. 제 1 항에 있어서, 상기 a) 단계는
    a1) 상기 복원하고자 하는 영상을 복수 개의 서브 영상들로 분할하는 단계;
    a2) 상기 분할된 서브 영상들 각각에 대한 각 색상 채널에서의 분산 값의 합을 계산하고, 상기 분산 값의 합이 최대가 되는 서브 영상을 제1 서브 영상으로 결정하는 단계;
    a3) 상기 제1 서브 영상을 복수 개의 서브 영상들로 재분할하는 단계;
    a4) 상기 재분할된 서브 영상들 각각에 대한 각 색상 채널에서의 분산 값의 합을 계산하고, 상기 분산 값의 합이 최대가 되는 서브 영상을 제2 서브 영상으로 결정하는 단계;
    a5) 상기 제1 서브 영상에 따른 분산 값의 합과 제2 서브 영상에 따른 분산 값의 합을 비교하는 단계; 및
    a6) 상기 비교 결과에 따라 상기 제1 서브 영상을 준거 영역으로 결정하거나 또는 상기 제2 서브 영상에 대하여 상기 a3) 내지 a5)에 대응되는 단계를 반복적으로 더 수행하는 단계를 포함하는 것을 특징으로 하는 색체 복원 방법.
  5. 제 4 항에 있어서,
    상기 a6)단계에서 상기 a3) 내지 a5)에 대응되는 단계를 반복적으로 더 수행하는 것은 상기 재분할된 서브 영상들 중 영상 채널별 분산 값의 합의 최대값이 재분할 이전 서브 영상에 대한 영상 채널별 분산 값의 합보다 작거나 같을 때까지 상기 단계를 수행하는 것이고,
    상기 준거 영역은 상기 재분할 이전의 서브 영상을 준거 영역으로 결정하는 것을 특징으로 하는 색채 복원 방법.
  6. 제 1 항에 있어서, 상기 a) 단계는
    a11) 복원하고자 하는 영상에 서로 다른 크기의 윈도우들을 각각 적용하여, 서브 영상을 추출하는 단계;
    a22) 상기 추출된 서브 영상 각각에 대한 색상 채널별 분산값의 합을 계산하는 단계; 및
    a33) 상기 색상 채널별 분산값의 합이 최대인 서브 영상을 준거 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 색채 복원 방법.
  7. 제 2 항에 있어서, 상기 b1) 단계에서,
    상기 채널 내 비율척도(IR)는 상기 준거 영역을 구성하는 각 픽셀의 색상 채널별 색상값과 상기 준거 영역의 색상 채널별 색상값에 대한 비율인 것을 특징으로 하는 색채 복원 방법.
  8. 제 2 항에 있어서,
    상기 b2) 단계에서 상기 상대적 표면 반사율은 하기 수학식으로 표현되는 것을 특징으로 하는 색채 복원 방법.
    (수학식)
    Figure 112008003741232-pat00023
    여기에서,
    Figure 112008003741232-pat00024
    는 준거 영역의 각 픽셀의 K 색상 채널에서의 상대적 표면 반사율(Relative surface reflectance)이고,
    Figure 112008003741232-pat00025
    는 K 색상 채널에서의 채널 내 비율 척도, K는 R 또는 G 또는 B 색상 채널이다.
  9. 제 2 항에 있어서,
    상기 b3) 단계에서 상기 광도는 하기 수학식에 따라 구하는 것을 특징으로 하는 색체 복원 방법.
    (수학식)
    Figure 112008003741232-pat00026
    여기에서, L은 픽셀별 광도이고,
    Figure 112008003741232-pat00027
    은 준거 영역 각 픽셀의 R색상 채널에서의 색상값,
    Figure 112008003741232-pat00028
    는 준거 영역 각 픽셀의 G색상 채널에서의 색상값 ,
    Figure 112008003741232-pat00029
    는 준거 영역 각 픽셀의 B색상 채널에서의 색상값이다.
  10. 제 2 항에 있어서,
    상기 b4) 단계에서 상기 조정 계수는 하기 수학식으로 표현되는 것을 특징으로 하는 색채 복원 방법.
    (수학식)
    Figure 112008003741232-pat00030
    여기에서,
    Figure 112008003741232-pat00031
    는 준거 영역의 K 색상 채널에서의 조정 계수이고,
    Figure 112008003741232-pat00032
    는 준거 영역에 속한 픽셀들이 갖는 K 색상 채널의 고유 표면색의 합이며,
    Figure 112008003741232-pat00033
    는 준거 영역에 속한 픽셀들이 갖는 K 색상 채널에서의 색상값 의 합이다.
  11. 제 1항에 있어서,
    상기 c) 단계에 이어,
    d1) 상기 복원된 영상의 각 픽셀의 색상 채널별 색상값이 한계 값을 넘을 경우 오버플로우 컨트롤(Overflow control)을 수행하여 상기 한계 값 이하의 값으로 보정하는 단계; 및
    d2) 출력변조 요인(Gain factor)을 이용하여 상기 보정된 각 픽셀의 색상 채널별 색상값을 재보정하는 단계를 더 포함하는 것을 특징으로 하는 색채 복원 방법.
  12. 제 11항에 있어서,
    상기 d1) 단계에서 상기 오버플로우 컨트롤을 수행하는 것은 상기 복원된 영상 이미지의 복원전 최대 색상값과 복원 후 최대 색상값의 비율값을 이용하는 것을 특징으로 하는 색채 복원 방법.
  13. 제 11항에 있어서,
    상기 d2) 단계에서 상기 재보정된 색상값은 상기 출력변조 요인과 상기 보정된 색상 채널별 고유 표면색의 곱인 것을 특징으로 하는 색채 복원 방법.
  14. 제 1 항 내지 제 13 항 중 어느 한 항의 색채 복원 방법이 컴퓨터 내에서 실행가능한 명령어로 코딩된 정보가 기록된 컴퓨터에서 판독가능한 기록 매체.
  15. 복원하고자 하는 영상의 각 색상 채널별 색상 값에 대한 분산 값의 합이 최대가 되는 영역을 준거 영역으로 결정하는 준거 영역 결정부;
    상기 결정된 준거 영역 내의 각 픽셀에 대한 채널 내 비율 척도(Intra-channel Ratio Scale: IR)를 이용하여 상대적 표면 반사율(Relative surface reflectance)을 계산하고, 상기 계산된 상대적 표면 반사율과 상기 준거 영역의 광도에 의해 복원된 고유 표면 색을 이용하여 외부 광원의 효과를 배제하기 위한 조정 계수를 계산하는 조정계수 계산부; 및
    상기 준거 영역에 대한 조정계수를 이용하여 상기 복원하고자 하는 영상에 대한 색채를 복원하는 영상 복원부를 포함하는 것을 특징으로 하는 색채 복원 시스템.
  16. 제 15 항에 있어서,
    상기 준거 영역의 채널 내 비율척도(Intra-channel Ratio Scale: IR)를 계산하는 비율 척도 계산부;
    상기 채널 내 비율척도(IR)를 이용하여 상기 준거 영역의 상대적 표면 반사율(P)을 계산하는 표면 반사율 계산부; 및
    상기 준거 영역의 광도(L)와 상기 상대적 표면 반사율(P)을 이용하여 픽셀별 고유 표면 색(C)을 복원하는 색복원부를 더 구비하며,
    상기 조정계수 계산부는 상기 준거 영역의 상기 고유 표면색(C)과 상기 준거 영역에서의 채널별 색상값을 이용하여 광원의 효과를 배제하기 위한 조정 계수를 계산하는 것을 특징으로 하는 색채 복원 시스템.
  17. 제 15 항에 있어서,
    상기 영상 복원부를 통해 복원된 영상의 색상 채널별 색상값이 소정의 한계값을 넘을 경우 오버플로우 컨트롤(Overflow control)을 통하여 상기 색상 채널별 색상값을 상기 소정의 한계값 이하로 보정하는 제1 보정부를 더 포함하는 것을 특징으로 하는 색채 복원 시스템.
  18. 제 17 항에 있어서,
    상기 제1 보정부에서 보정된 색상 채널별 색상값과 출력 변조 요인(Gain factor)를 곱하여 상기 보정된 색상 채널별 색상값을 재보정하는 제2 보정부를 더 포함하는 것을 특징으로 하는 색채 복원 시스템.
KR1020080005017A 2008-01-16 2008-01-16 색채 복원 방법 및 시스템 KR100933282B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080005017A KR100933282B1 (ko) 2008-01-16 2008-01-16 색채 복원 방법 및 시스템
PCT/KR2008/007883 WO2009091152A2 (en) 2008-01-16 2008-12-31 Color recovery method and system
JP2009007982A JP2009171585A (ja) 2008-01-16 2009-01-16 色彩復元方法およびシステム
CN200910005219XA CN101489022B (zh) 2008-01-16 2009-01-16 色彩恢复方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080005017A KR100933282B1 (ko) 2008-01-16 2008-01-16 색채 복원 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20090079069A KR20090079069A (ko) 2009-07-21
KR100933282B1 true KR100933282B1 (ko) 2009-12-22

Family

ID=40885777

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080005017A KR100933282B1 (ko) 2008-01-16 2008-01-16 색채 복원 방법 및 시스템

Country Status (4)

Country Link
JP (1) JP2009171585A (ko)
KR (1) KR100933282B1 (ko)
CN (1) CN101489022B (ko)
WO (1) WO2009091152A2 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101133572B1 (ko) * 2005-06-21 2012-04-05 삼성전자주식회사 다수의 색재현 범위를 갖는 색재현 장치 및 그 색신호처리방법
CN102867295B (zh) * 2012-08-06 2015-10-21 电子科技大学 一种彩色图像颜色校正方法
JP6120515B2 (ja) * 2012-09-26 2017-04-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
GB2521866A (en) * 2014-01-07 2015-07-08 Nokia Technologies Oy An apparatus and/or method and/or computer program for creating images adapted for transflective displays
KR101708689B1 (ko) * 2015-08-24 2017-02-21 엘지전자 주식회사 홀로그래픽 광학 소자를 구비하는 광학계를 포함하는 헤드 마운티드 디스플레이의 화질 개선 방법
CN106204481B (zh) * 2016-07-10 2019-06-25 上海大学 一种图像色彩恒常性的光照估计方法
CN110033521B (zh) * 2019-04-01 2020-01-14 重庆固成未来教育科技有限公司 一种基于vr与ar技术的三维可视化系统
JP7426480B2 (ja) * 2019-11-05 2024-02-01 グーグル エルエルシー 画像処理パイプラインのハイライト復元
CN112637568B (zh) * 2020-12-24 2021-11-23 中标慧安信息技术股份有限公司 基于多节点边缘计算设备的分布式安全监控方法和系统
CN113303905B (zh) * 2021-05-26 2022-07-01 中南大学湘雅二医院 一种基于视频影像反馈的介入手术操作模拟方法
CN113792710A (zh) * 2021-11-15 2021-12-14 滨州学院 光谱重建方法、装置及电子设备
CN115861450A (zh) * 2022-10-28 2023-03-28 河南科技学院 分段线性拉伸的水下图像颜色校正方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10229499A (ja) 1997-02-14 1998-08-25 Nec Corp 色変換方法及びその装置並びにプログラムを記録した機械読み取り可能な記録媒体
JP2006262404A (ja) * 2005-03-18 2006-09-28 Sharp Corp 光源推定装置、画像処理装置、光源推定方法、および画像処理方法
JP2006339897A (ja) * 2005-05-31 2006-12-14 Univ Of Tokyo 色変換システム、色変換方法及び色変換プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3149297B2 (ja) * 1993-08-25 2001-03-26 東洋インキ製造株式会社 カラーバランス調整装置および調整方法
US7144133B2 (en) * 2002-05-17 2006-12-05 Infocus Corporation Transflective color recovery
CN100407288C (zh) * 2005-03-22 2008-07-30 广达电脑股份有限公司 针对显示系统的特性调整输入图像的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10229499A (ja) 1997-02-14 1998-08-25 Nec Corp 色変換方法及びその装置並びにプログラムを記録した機械読み取り可能な記録媒体
JP2006262404A (ja) * 2005-03-18 2006-09-28 Sharp Corp 光源推定装置、画像処理装置、光源推定方法、および画像処理方法
JP2006339897A (ja) * 2005-05-31 2006-12-14 Univ Of Tokyo 色変換システム、色変換方法及び色変換プログラム

Also Published As

Publication number Publication date
WO2009091152A9 (en) 2009-11-26
KR20090079069A (ko) 2009-07-21
CN101489022B (zh) 2011-09-14
WO2009091152A3 (en) 2009-10-01
JP2009171585A (ja) 2009-07-30
CN101489022A (zh) 2009-07-22
WO2009091152A2 (en) 2009-07-23

Similar Documents

Publication Publication Date Title
KR100933282B1 (ko) 색채 복원 방법 및 시스템
US8345964B2 (en) Image generation method, device, and image synthesis equipment
US9020257B2 (en) Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
US9153027B2 (en) System, method, and computer program product for performing fast, non-rigid registration for high dynamic range image stacks
US7729535B2 (en) Color characterization of high dynamic range image capture devices
WO2016114148A1 (ja) 画像処理装置、画像処理方法、及び記録媒体
US20120081548A1 (en) Method, device, and system for performing color enhancement on whiteboard color image
US20130100310A1 (en) Image processing device, imaging device, and image processing program
JP2022525853A (ja) 結合前ノイズ除去による高ダイナミックレンジ画像生成
US8279308B1 (en) Optimized log encoding of image data
JP2010016803A (ja) 複数のカラーカメラ間の色調整装置および方法
US20160286090A1 (en) Image processing method, image processing apparatus, and image processing program
US8164650B2 (en) Image processing apparatus and method thereof
US20120200731A1 (en) Color restoration apparatus and method
KR101216663B1 (ko) 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법
Akyüz et al. A reality check for radiometric camera response recovery algorithms
KR102301924B1 (ko) 멀티 스케일 감마 보정을 이용한 그림자 복원 방법
JP6818585B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP5860298B2 (ja) 画像処理装置及びプログラム
TWI432010B (zh) 電子系統和疤痕影像修補方法
KR101005625B1 (ko) 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법
TWI394430B (zh) Image color distortion correction method
JP2016127505A (ja) 画像処理装置及び画像処理方法
Rodríguez et al. Color-matching shots from different cameras having unknown gamma or logarithmic encoding curves
Birukov et al. Correction of color saturation for tone mapping operator

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131008

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140901

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151201

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee