KR101695246B1 - 광원 추정 장치 및 광원 추정 방법 - Google Patents

광원 추정 장치 및 광원 추정 방법 Download PDF

Info

Publication number
KR101695246B1
KR101695246B1 KR1020110105534A KR20110105534A KR101695246B1 KR 101695246 B1 KR101695246 B1 KR 101695246B1 KR 1020110105534 A KR1020110105534 A KR 1020110105534A KR 20110105534 A KR20110105534 A KR 20110105534A KR 101695246 B1 KR101695246 B1 KR 101695246B1
Authority
KR
South Korea
Prior art keywords
color
light source
luminance
unit
image signal
Prior art date
Application number
KR1020110105534A
Other languages
English (en)
Other versions
KR20120069539A (ko
Inventor
마사토 카즈이
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to CN201110441913.3A priority Critical patent/CN102572211B/zh
Priority to US13/331,719 priority patent/US8503771B2/en
Publication of KR20120069539A publication Critical patent/KR20120069539A/ko
Application granted granted Critical
Publication of KR101695246B1 publication Critical patent/KR101695246B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

본 발명은 광원 추정 장치 및 광원 추정 방법에 관한 것이다.
본 발명은 광원 종류 추정부(109)는 피사체를 촬영하는 촬상 소자에 의해 생성된 화상 신호로부터 휘도와 색 간의 상관 계수를 산출하는 휘도-색 상관 산출부; 상기 화상 신호에서의 화상 전체의 컬러 밸런스와 상기 화상 신호에서의 뉴트럴 그레이 영역의 컬러 밸런스를 산출하는 컬러 밸런스 산출부; 상관 계수, 화상 전체의 컬러 밸런스, 뉴트럴 그레이 영역의 컬러 밸런스에 기초하는 특징 벡터를 생성하는 특징 벡터 생성부; 및 생성된 특징 벡터에 기초하여 상기 화상 신호에서의 광원의 종류를 판정하는 식별기를 구비하는 광원 추정 장치를 제공한다.

Description

광원 추정 장치 및 광원 추정 방법{Device for estimating light source and method thereof}
본 발명은 광원 추정 장치 및 광원 추정 방법에 관한 것이다.
인간의 시각계는 광원 색의 특성이 미지이어도 어느 정도 물체의 색을 동정할 수 있다. 예를 들면, 태양광 아래에서 흰 종이를 보면 인간은 흰 종이라고 인식한다. 한편, 이 종이를 예를 들면 할로겐 램프 아래에서 보면, 할로겐 램프는 오렌지색의 광원이므로 종이는 오렌지색으로 보일 것이다. 그런데, 인간은 할로겐 램프 아래에서 본 경우에서도 태양광 아래에서 보았을 때와 같이 흰 종이라고 인식한다. 이와 같이, 광원 색이 변화해도 본래의 색을 인식하는 기능을 색 항상성이라고 한다. 색 항상성은 디지털 스틸 카메라나 디지털 비디오 카메라 등의 전자 촬상 기기에서의 화이트 밸런스 조정과 같은 뜻이다. 화이트 밸런스란 본래 무채색인 물체가 무채색으로 보이도록 RGB 각 컬러 채널 간의 조정을 하는 것이다. 이 조정은 본래 광원과 물체 표면의 분광 특성을 모르면 불가능한 처리이다. 즉, 인간의 눈에 미치는 광의 분광 특성은 광원과 물체 표면 각각의 분광 반사 특성의 곱으로 나타나는데, 양자가 미지이므로 불량 설정 문제가 되어 있다. 그 때문에, 광원과 물체 표면 및 관찰하고 있는 씬(scene)에 대해 가정이나 제약을 만들어 색 항상성을 모델화한 여러 가지 알고리즘이 제안되어 있다.
색 항상성을 풀기 위해 자주 이용되고 있는 알고리즘 중 하나로 회색 가설이 있다(예를 들면, 비특허문헌 1 참조). 회색 가설은 일반적인 씬에서는 시야 내에 여러 가지 색이 분포하기 때문에, 그 평균색은 회색에 가깝다는 경험데이터에 기초하고 있다. 만약 이 평균색이 회색에서 벗어나 있으면, 그 어긋남을 광원 색에 의한 것으로 판단하고 RGB 컬러 채널 간의 조정을 행함으로써 화이트 밸런스 조정이 가능하다. 이 수법은 계산 비용이 작고 디지털 스틸 카메라와 같은 내장 기기에의 실장이 용이한 이점이 있다. 반면, 물리적으로는 광원과 독립이어야 하는 물체 표면에 대한 가정에 기초하기 때문에, 씬에 따라서는 그 가정이 성립되지 않고 광원 추정 결과가 크게 좌우된다. 예를 들면, 빨간 벽의 일부에 회색의 로고(logo)가 있었다고 하자. 이 때, 화상 평균색은 붉어지고, 회색 가설은 그 붉은 정도를 광원 색에 의한 것으로 판단한다. 그 때문에, 씬 전체를 회색으로 하고자 하여 적색의 반대색 화면 전체에 가하므로, 원래 회색이었던 로고 부분에 적새의 반대색이 들어 버린다. 이를 컬러 페리아라고 한다.
회색 가설에 대해 광원과 물체 표면의 분광 특성을 이용하여 추정하는 수법이 제안되어 있다(예를 들면, 비특허문헌 2 참조). 이 수법은 광원과 물체 표면의 분광 특성을 저차(낮은 차이)의 직교 기저로 표현하고, 광원ㅇ물체 표면ㅇ촬상계에 대한 가정에 의해 제약 조건을 만들거나 광원ㅇ물체 표면ㅇ촬상계에 관한 기지 정보를 확률 분포로 통합하거나 함으로써 통계적으로 광원 추정 정밀도를 높인다. 이 수법의 이점은 상세한 광원 추정을 할 수 있는 점에 있다. 그러나, 그 반면 연산량이 늘기 때문에, 디지털 카메라 내부의 화이트 밸런스 처리 등의 화상 처리 연산에서 이용하는 경우, 실시간 처리에 지장이 생기는 경우가 있다.
계산 비용을 낮추면서 광원 및 물체 표면의 분광 특성을 고려하여 광원 종류를 추정하는 방법으로서 휘도-색 상관이 제안되어 있다(예를 들면, 비특허문헌 3 참조). 이 수법은 광원이 적색인 경우(녹색, 청색도 동일)에는 붉은 영역이 보다 붉어진다는 휘도와 색 간에 있는 상관관계를 이용하여 광원 색이 백색 광원인지 그렇지 않은지를 식별한다. 도 9 및 도 10을 참조하여 휘도-색 상관의 개념을 설명한다. 도 9 및 도 10은 휘도-색 상관을 설명하기 위한 스펙트럼 분포의 모식도이다. 도 9 및 도 10에 도시된 그래프의 횡축은 파장, 종축은 각 파장이 갖는 에너지이다. 도 9(a)는 좌측부터 여러 가지 색을 포함하는 일반적인 물체(X)의 화상, 그 물체(X)에 조사하는 적색 광원(Lr) 및 그 광원(Lr)을 물체(X)에 조사했을 때에 촬영한 화상 각각의 스펙트럼 분포의 모식도이다. 도 9(a)의 화상의 스펙트럼은 단파장측(파란 쪽)의 강도가 내려가고, 장파장측(빨간 쪽)의 강도가 증대한다. 즉, 일반적인 물체에 적색 광원을 조사하여 촬영한 화상은 화상 내에서 밝은 영역일수록 붉은 정도가 늘어난다는 상관관계를 가진다. 단, 이 상관관계는 화면 내에 복수의 색이 존재하는 경우에 생긴다. 한편, 도 9(b)는 좌측부터 빨간 물체(Xr)의 화상, 그 물체(Xr)에 조사하는 백색 광원(Lh)(예를 들면, 색 온도가 5,500[K(켈빈)]의 광원) 및 그 광원(Lh)을 물체(Xr)에 조사했을 때에 촬영한 화상 각각의 스펙트럼 분포의 모식도이다. 백색 광원의 스펙트럼 분포는 평탄하므로, 이 경우는 촬영 대상의 스펙트럼 분포가 그대로 검지된다. 따라서, 이 경우는 휘도와 색 간에 상관이 없다는 것이 된다. 또한, 이 상관은 붉은 정도뿐만 아니라 푸른 정도에도 동일한 성질이 있다.
도 10은 적색 광원을 조사했을 때의 스펙트럼 분포의 모식도이다. 도 10(a)는 좌측부터 적색계 영역(Sr)의 화상, 그 적색계 영역(Sr)에 조사하는 적색 광원(Lr) 및 그 광원(Lr)을 적색계 영역(Sr)에 조사했을 때에 촬영한 화상 각각의 스펙트럼 분포의 모식도이다. 도 10(b)는 좌측부터 녹색계 영역(Sg)의 화상, 그 녹색계 영역(Sg)에 조사하는 적색 광원(Lr) 및 그 광원(Lr)을 녹색계 영역(Sg)에 조사했을 때에 촬영한 화상 각각의 스펙트럼 분포의 모식도이다. 도 10(c)는 좌측부터 청색계 영역(Sb)의 화상, 그 청색계 영역(Sb)에 조사하는 적색 광원(Lr) 및 그 광원(Lr)을 청색계 영역(Sb)에 조사했을 때에 촬영한 화상 각각의 스펙트럼 분포의 모식도이다. 청색계 영역(Sb)에는 장파장측의 에너지가 적기 때문에, 청색계 영역(Sb)에 적색 광원(Lr)이 조사된 경우는 적색계 영역(Sr)에 적색 광원(Lr)이 조사된 경우와 비교하여 어두워진다. 한편, 청색계 영역(Sb)의 반사광에 포함되는 단파장측의 에너지는 붉은 광의 분광 특성에 의해 감쇠하지만, 청색계 영역(Sb)은 적색계 영역(Sr)에 붉은 광이 닿은 경우와 비교하여 단파장 성분이 남는다(청색계 영역에는 단파장측의 스펙트럼이 크기 때문에). 즉, 어두울수록 푸른 빛이 강해진다는 음의 상관관계가 된다. 이상이 「휘도-색 상관」이라고 불리는 원리이다.
이 수법의 이점은 적은 연산량으로 전반적인 광원의 특성(백색 또는 비백색)을 추정할 수 있는 점에 있다. 이는 상술한 분광 반사 특성을 이용하는 방법과 비교하여 광원과 물체 표면의 상세한 분광 특성을 고려할 필요가 없기 때문이다. 따라서, 컬러 페리아 문제를 저감하기 위해 충분한 광원 종류 추정 성능을 갖고 있으며, 또한 계산 비용이 적기 때문에 내장 기기 실장에 적합하다.
또한, 특허문헌 1에는 복수의 다른 분광 감도 특성을 갖는 센서의 응답값으로부터 피사체를 조사하는 광원의 색을 나타내는 분광 특성을 추정하는 것이 기재되어 있다.
선행기술문헌은 다음과 같다
특허문헌 1: 일본특허 제3767541호 공보
비특허문헌 1: E.H.Land, "Recent Advance in Retinex Theory", Vision Research, 26, 1986.
비특허문헌 2: D.H.Brainard & W.T.Freeman, "Baysian Color Constancy", J.Opt.Soc.Am.A, Vol.14, No.7, 1997.
비특허문헌 3: J.Golz & D.I.A.Macleod, "Influence of scene statistics on color constancy", NATURE, VOL.415, 7, FEBRUARY, 2002.
그러나, 상술한 휘도-색 상관은 카메라 위치나 광원 강도에 기인하는 화상의 텍스처(texture) 정도에 영향을 받는다는 문제점이 있다. 예를 들면, 화상의 컬러 텍스처가 평탄하고 색 수가 적은 경우, 휘도와 색의 입력 데이터 분포가 퍼지지 않기 때문에 휘도-색 상관이 불안정해지는 경우가 있다. 실환경 하에서 안정된 광원 추정 성능을 확보하는 데에는 이 문제에 의한 영향을 저감시킬 필요가 있다.
또한, 휘도-색 상관은 입력 데이터의 정규 분포를 가정하고 있기 때문에, 입력 데이터 수가 적거나 데이터에는 어긋남 값이 존재하거나 하면 정규 분포의 가정에서 어긋나 올바른 휘도-색 상관을 산출할 수 없는 경우가 있다. 또한, 물체의 경면 반사에 의해 일부의 화소가 하얗게 되어 하이라이트 영역이 존재하는 씬에서는 그들의 화소가 어긋남 값이 되어 휘도-색 상관이 불안정해지는 경우가 있다.
또한, 특허문헌 1에 기재된 기술에서는 센서의 응답값에 기초하여 광원의 색을 나타내는 분광 특성을 추정하기 위해 계산량이 많아지는 문제가 있다. 또한, 촬상 수단은 복수의 다른 분광 감도 특성을 갖는 센서를 구비해야 한다.
본 발명은 상기 문제점을 감안하여 이루어진 것으로, 화상의 컬러 텍스처가 평탄하고 색 수가 적은 경우이어도 적은 계산량으로 정밀도 높게 광원을 추정할 수 있는 광원 추정 장치 및 광원 추정 방법을 제공하기 위한 것이다.
상기 과제를 해결하기 위하여 본 발명은,
피사체를 촬영하는 촬상 소자에 의해 생성된 화상 신호로부터 휘도와 색 간의 상관 계수를 산출하는 휘도-색 상관 산출부; 상기 화상 신호에서의 화상 전체의 컬러 밸런스를 산출하는 제1 컬러 밸런스 산출부; 상기 화상 신호에서 평균색이 회색의 영역인 뉴트럴 그레이 영역의 컬러 밸런스를 산출하는 제2 컬러 밸런스 산출부; 상기 상관 계수, 상기 화상 전체의 컬러 밸런스, 상기 뉴트럴 그레이 영역의 컬러 밸런스에 기초하는 특징 벡터를 생성하는 특징 벡터 생성부; 및 상기 특징 벡터 생성부에 의해 생성된 특징 벡터에 기초하여 상기 화상 신호에서의 광원의 종류를 판정하는 식별기;를 구비하는 광원 추정 장치를 제공한다.
이 발명에 의하면, 휘도와 색 간의 상관 계수에 덧붙여 화상 전체의 컬러 밸런스 및 뉴트럴 그레이 영역의 컬러 밸런스에 기초하여 광원의 종류를 판정한다. 이에 의해, 화상의 컬러 텍스처가 평탄하고 색 수가 적은 경우이어도 적은 계산량으로 정밀도 높게 광원을 추정할 수 있다.
본 발명은 또한, 상기 광원 추정 장치에 있어서 상기 화상 신호에서의 색의 다양성을 나타내는 컬러 텍스처 특징을 산출하는 텍스처 해석부를 구비하고, 상기 특징 벡터 생성부는 상기 컬러 텍스처 특징에 기초하여 상기 특징 벡터를 생성한다.
이 발명에 의하면, 휘도와 색 간의 상관 계수, 화상 전체의 컬러 밸런스 및 뉴트럴 그레이 영역의 컬러 밸런스에 덧붙여 컬러 텍스처 특징에 기초하여 광원의 종류를 판정한다. 이에 의해, 보다 정밀도 높게 광원을 추정할 수 있다.
또한, 본 발명은 상기 광원 추정 장치에 있어서 상기 화상 신호에서 휘도가 일정해지는 휘도 일정 영역을 특정하는 휘도 얼룩 해석부를 구비하고, 휘도-색 상관 산출부는 상기 휘도 얼룩 해석부에 의해 특정된 휘도 일정 영역에서 상기 상관 계수를 산출한다.
이 발명에 의하면, 휘도 일정 영역에서 상관 계수를 산출하고 있기 때문에, 광원의 위치나 강도에 의존하지 않고 상관 계수를 산출할 수 있다. 이에 의해, 컬러 페리아를 경감할 수 있다.
또한, 본 발명은 상기 광원 추정 장치에 있어서 상기 촬상 소자에 의해 생성된 화상 신호를 시계열로 순차적으로 기억하는 시계열 데이터 버퍼를 구비하고, 휘도-색 상관 산출부는 상기 시계열로 기억된 복수의 화상 신호로부터 상기 상관 계수를 산출한다.
이 발명에 의하면, 복수의 화상 신호를 이용하여 상관 계수를 산출하기 때문에 정밀도 높게 상관 계수를 산출할 수 있다. 또한, 시계열 데이터를 이용하고 있기 때문에, 손떨림, 씬 내에 존재하는 피사체의 운동 및 조명 조건의 변화 등에 따라 생기는 화상 정보의 시간 변화에 대응할 수 있다.
또한, 본 발명은 상기 광원 추정 장치에 있어서 상기 식별기는 복수의 화상 신호의 특징 벡터와 각 화상 신호에 대응하는 광원의 종류로 이루어지는 학습 데이터에 기초하여 특징 벡터로부터 광원의 종류를 도출하기 위한 판정 기준을 학습하는 학습부; 및 상기 학습부에 의한 학습 결과에 기초하여 상기 특징 벡터 생성부에 의해 생성된 특징 벡터에 대응하는 광원의 종류를 판정하는 식별부를 구비한다.
이 발명에 의하면, 기회 학습에 의한 학습 결과에 기초하여 광원 종류를 판정하고 있기 때문에, 매뉴얼에서 특징 벡터로부터 광원의 종류를 도출하기 위한 판단 기준을 설정할 필요가 없다.
상기 과제를 해결하기 위하여 본 발명은 또한,
광원 추정 장치의 휘도-색 상관 산출부가 피사체를 촬영하는 촬상 소자에 의해 생성된 화상 신호로부터 휘도와 색 간의 상관 계수를 산출하는 단계; 상기 광원 추정 장치의 제1 컬러 밸런스 산출부가 상기 화상 신호에서의 화상 전체의 컬러 밸런스를 산출하는 단계; 상기 광원 추정 장치의 제2 컬러 밸런스 산출부가 상기 화상 신호에서 평균색이 회색의 영역인 뉴트럴 그레이 영역의 컬러 밸런스를 산출하는 단계; 상기 광원 추정 장치의 특징 벡터 생성부가 상기 상관 계수, 상기 화상 전체의 컬러 밸런스, 상기 뉴트럴 그레이 영역의 컬러 밸런스에 기초하는 특징 벡터를 생성하는 단계; 및 상기 광원 추정 장치의 식별기가 상기 특징 벡터 생성부에 의해 생성된 특징 벡터에 기초하여 상기 화상 신호에서의 광원의 종류를 판정하는 단계를 포함하는 광원 추정 방법를 제공한다.
본 발명은 상기 광원 추정 방법에 있어서 상기 광원 추정 장치의 텍스처 해석부가 상기 화상 신호에서의 색의 다양성을 나타내는 컬러 텍스처 특징을 산출하는 단계를 가지고, 상기 특징 벡터 생성부는 상기 컬러 텍스처 특징에 기초하여 상기 특징 벡터를 생성한다.
또한, 본 발명은 상기 광원 추정 방법에 있어서 상기 광원 추정 장치의 휘도 얼룩 해석부가 상기 화상 신호에서 휘도가 일정해지는 휘도 일정 영역을 특정하는 단계를 가지고, 휘도-색 상관 산출부는 상기 휘도 얼룩 해석부에 의해 특정된 휘도 일정 영역에서 상기 상관 계수를 산출한다.
또한, 본 발명은 상기 광원 추정 방법에 있어서 상기 광원 추정 장치는 상기 촬상 소자에 의해 생성된 화상 신호를 시계열로 순차적으로 기억하는 시계열 데이터 버퍼를 구비하고, 휘도-색 상관 산출부는 상기 시계열로 기억된 복수의 화상 신호로부터 상기 상관 계수를 산출한다.
또한, 본 발명은 상기 광원 추정 방법에 있어서 상기 식별기는 상기 식별기의 학습부가 복수의 화상 신호와 각 화상 신호에 대응하는 광원의 종류로 이루어지는 학습 데이터에 기초하여 특징 벡터로부터 광원의 종류를 도출하기 위한 판정 기준을 학습하는 단계; 및 상기 식별기의 식별부가 상기 학습부에 의한 학습 결과에 기초하여 상기 특징 벡터 생성부에 의해 생성된 특징 벡터에 대응하는 광원의 종류를 판정하는 단계를 포함한다.
본 발명에 의하면, 휘도와 색 간의 상관 계수에 덧붙여 컬러 텍스처 특징, 화상 전체의 컬러 밸런스 및 뉴트럴 그레이 영역의 컬러 밸런스를 이용하여 광원의 종류를 판정한다. 이에 의해, 화상의 컬러 텍스처가 평탄하고 색 수가 적은 경우이어도 적은 계산량으로 정밀도 높게 광원을 추정할 수 있다.
도 1은 본 발명에 의한 화이트 밸런스 조정 장치의 기능 구성을 나타내는 블록도이다.
도 2는 본 발명에 의한 광원 종류 추정부의 기능 구성을 나타내는 블록도이다.
도 3은 본 발명에 의한 광원 종류 추정 처리의 순서를 나타내는 흐름도이다.
도 4는 본 발명에 의한 특징 벡터 산출 처리의 순서를 나타내는 흐름도이다.
도 5는 본 발명에 의한 일반적인 피사체에 대해 적색 광원을 조사하여 촬영한 입력 화상에서의 휘도와 색의 상관을 나타내는 그래프이다.
도 6은 본 발명에 의한 일반적인 피사체에 대해 백색 광원을 조사하여 촬영한 입력 화상에서의 휘도와 색의 상관을 나타내는 그래프이다.
도 7은 본 발명에 의한 색-휘도 상관 계수를 플롯한 2차원 산포도이다.
도 8은 본 발명에 의한 특징 벡터의 3차원 플롯을 나타내는 그래프이다.
도 9는 휘도-색 상관을 설명하기 위한 스펙트럼 분포의 모식도이다.
도 10은 휘도-색 상관을 설명하기 위한 스펙트럼 분포의 모식도이다.
이하, 도면을 참조하면서 본 발명의 일 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 의한 화이트 밸런스 조정 장치(1)의 기능 구성을 나타내는 블록도이다.
화이트 밸런스 조정 장치(1)는 디지털 비디오 카메라, 디지털 스틸 카메라나 카메라 부착 휴대 단말 등의 피사체 광학상을 변환하여 화상 신호를 전기적으로 출력하는 장치에서 화상 신호의 화이트 밸런스(white balance)를 조정하는 장치이다. 화이트 밸런스 조정 장치(1)는 렌즈(101), 아이리스(iris)(102), 촬상 소자(103), AGC(Automatic Gain Control)부(104), 전처리부(105), 화상 정보 산출부(106), 조도 검출부(107), 구동부(108), 광원 종류 추정부(109), 화이트 밸런스 게인(gain) 산출부(111), 화이트 밸런스 제어부(112), 색 보정 제어부(113), 감마 보정 제어부(114), 출력부(115)를 포함하여 구성된다.
렌즈(101)는 촬상 소자(103)의 수광면에 광학상을 도출한다. 아이리스(102)는 렌즈(101)로부터 촬상 소자(103)에의 광의 출력을 조정한다. 촬상 소자(103)는 그 수광면에 결상한 광학상을 광전 변환하여 화상 신호를 생성하고, 생성한 화상 신호를 AGC부(104)에 출력한다. AGC부(104)는 조도 검출부(107)에 의해 검출된 조도에 기초하여 입력된 화상 신호의 레벨을 일정하게 하고, 레벨을 일정하게 한 화상 신호를 전처리부(105)에 출력한다. 전처리부(105)는 입력된 화상 신호에 대해 잡음 제거, 결함 보정 및 셰이딩(shading) 보정 등의 전처리를 하고, 전처리한 화상 신호를 화상 정보 산출부(106)와 화이트 밸런스 제어부(112)에 출력한다.
화상 정보 산출부(106)는 입력된 화상 신호를 축소하여 화이트 밸런스 산출용 축소 화상 신호를 생성하고, 생성한 축소 화상 신호를 조도 검출부(107)와 광원 종류 추정부(109)와 화이트 밸런스 게인 산출부(111)에 출력한다. 조도 검출부(107)는 입력된 축소 화상 신호에 기초하여 노출 처리에 이용하는 조도를 산출하고, 산출한 조도를 AGC부(104)와 구동부(108)와 화이트 밸런스 게인 산출부(111)에 출력한다. 구동부(108)는 입력된 조도에 기초하여 아이리스를 구동하고 노출을 조정한다.
광원 종류 추정부(광원 추정 장치)(109)는 입력된 축소 화상 신호를 이용하여 「휘도-색 상관」 원리를 기초로 한 화상 특징량(특징 벡터)을 산출하고, 광원의 종류가 백색계인지 비백색계인지를 판정한다. 그리고, 광원 종류 추정부(109)는 판정 결과를 화이트 밸런스 게인 산출부(111)에 출력한다. 광원 종류 추정부(109)의 상세에 대해서는 후술한다.
화이트 밸런스 게인 산출부(111)는 광원 종류 추정부(109)에 의해 판정된 광원 종류와 조도 검출부(107)에 의해 검출된 조도에 기초하여 화이트 밸런스 게인을 산출한다. 구체적으로 화이트 밸런스 게인 산출부(111)는 광원 종류에 대응하는 화이트 밸런스 게인을 화이트 밸런스 튜닝 파라미터 기억부(110)로부터 독출하고, 독출한 화이트 밸런스 게인을 화이트 밸런스 제어부(112)에 출력한다. 화이트 밸런스 튜닝 파라미터 기억부(110)는 광원 종류마다 최적화된 화이트 밸런스 게인을 나타내는 화이트 밸런스 튜닝 파라미터를 기억한다.
또, 본 발명에서는 화이트 밸런스 게인 산출부(111)는 화이트 밸런스 튜닝 파라미터에 기초하여 화이트 밸런스 게인을 산출하고 있는데, 일반적인 화이트 밸런스 산출 알고리즘을 이용하여 화이트 밸런스 게인을 산출해도 된다. 예를 들면, 화이트 밸런스 게인 산출부(111)는 축소 화상 전체의 색이 광원 종류의 광원 색이면 컬러 밸런스가 그레이가 되도록 화이트 밸런스 게인을 산출하고, 축소 화상 전체의 색이 광원 색 이외의 물체 색이면 색을 보정하지 않고 남기는 화이트 밸런스 게인을 산출한다. 이 방법은 원래의 화이트 밸런스 알고리즘을 변경할 필요가 없으므로, 시스템 친화성이 높다는 장점이 있다. 또 다른 예를 설명한다. 광원 종류를 추정할 수 있으면 각 광원을 조사했을 때의 피사체 휘도(Brightness Value)의 범위를 제한할 수 있다. 이 때문에, 그 피사체 휘도 범위를 파라미터로서 화이트 밸런스 게인 산출에 이용하는 것을 생각할 수 있다. 일반적인 화이트 밸런스 산출 알고리즘에서는 피사체 휘도로부터 광원 종별을 추정하는 로직을 포함하는 경우가 많지만, 카메라 시스템에 따라서는 렌즈(101)와 본체(이후, 촬상 소자(103)라 함)가 통신할 수 없기 때문에 피사체 휘도를 취득할 수 없고, 화이트 밸런스 산출의 정밀도에 영향을 미치는 경우가 있다. 본 예에 의하면, 광원 종류를 추정함으로써 피사체 휘도 범위를 어느 정도 추정하기 때문에 화이트 밸런스 산출의 정밀도 열화를 막을 수 있다.
화이트 밸런스 제어부(112)는 입력된 화이트 밸런스 게인에 기초하여 전처리부(105)로부터 입력된 화상 신호에 대해 화이트 밸런스 조정한다. 그리고, 화이트 밸런스 제어부(112)는 화이트 밸런스 조정한 화상 신호를 색 보정 제어부(113)에 출력한다. 색 보정 제어부(113)는 입력된 화상 신호를 색 보정하고, 색 보정한 화상 신호를 감마 보정 제어부(114)에 출력한다. 감마 보정 제어부(114)는 입력된 화상 신호를 감마 보정하고, 감마 보정한 화상 신호를 출력부(115)에 출력한다. 출력부(115)는 입력된 화상 신호를 외부 기억 매체, 디스플레이 또는 네트워크 등에 출력한다.
도 2는 본 발명에 의한 광원 종류 추정부(109)의 기능 구성을 나타내는 블록도이다.
광원 종류 추정부(109)는 시계열 데이터 버퍼(202), 휘도 얼룩 해석부(203), 특징량 산출부(204), 식별기(211)를 포함하여 구성된다.
시계열 데이터 버퍼(202)는 축소 화상 신호(201)를 입력으로 하고, 입력된 축소 화상 신호의 화상 데이터(이하, 축소 화상 데이터라고 함)를 프레임마다 시계열로 기억한다. 시계열 데이터 버퍼(202)는 예를 들면 DRAM(Dynamic Random Access Memory) 등의 플래시 메모리 상에 확보된 링 버퍼로서, 소정 프레임 수의 화상 데이터를 저장할 수 있다. 시계열 데이터 버퍼(202)에 기억된 축소 화상 데이터는 순차적으로 휘도 얼룩 해석부(203)에 입력된다.
휘도 얼룩 해석부(203)는 프레임 단위로 휘도 일정 영역과 하이라이트 화소를 특정한다. 휘도 일정 영역이란, 광원의 위치를 가정했을 때에 휘도가 일정해지는 영역이다. 또한, 하이라이트 화소란 2색성 반사 모델(예를 들면, S.A.Shafer, "Using color to separate reflection components," in COLOR Research and Application, Vol.10, No.4, pp.210-218, 1985. 참조) 등에 의해 얻어지는 극단적으로 밝은 화소이다. 그리고, 휘도 얼룩 해석부(203)는 특정한 휘도 일정 영역의 정보(면적, 좌표)인 휘도 얼룩 정보와 하이라이트 화소의 정보(좌표)인 하이라이트 화소 정보와 축소 화상 데이터를 특징량 산출부(204)에 출력한다. 휘도 얼룩 해석부(203)에서의 처리의 상세는 후술한다.
특징량 산출부(204)는 축소 화상 데이터에서의 광원 종류를 판정하기 위한 특징량(이하, 특징 벡터라고 함)을 산출하고, 산출한 특징 벡터를 식별기(211)에 출력한다. 특징량 산출부(204)는 휘도-색 상관 산출부(205), 텍스처 해석부(206), 평균색 산출부(207), 뉴트럴 그레이 영역 탐색부(208), 컬러 밸런스 산출부(209), 특징 벡터 산출부(210)를 포함하여 구성된다.
휘도-색 상관 산출부(205)는 시계열로 나열된 K(K는 2이상의 정수)프레임의 축소 화상 데이터, 각 축소 화상 데이터에 대응하는 휘도 얼룩 정보, 각 축소 화상 데이터에 대응하는 하이라이트 화소 정보에 기초하여 휘도와 색 간의 상관을 나타내는 휘도-색 상관 계수를 산출한다. 이 휘도-색 상관 계수는 컬러 텍스처가 많은(색 수가 많은) 화상에 대해 정밀도 높게 광원 종류를 추정할 수 있는 특징 벡터이다. 그리고, 휘도-색 상관 산출부(205)는 산출한 휘도-색 상관 계수를 특징 벡터 산출부(210)에 출력한다. 휘도-색 상관 산출부(205)에서의 처리의 상세에 대해서는 후술한다.
텍스처 해석부(206)는 시계열로 나열된 K프레임의 축소 화상 데이터로부터 컬러 텍스처 특징을 산출하고, 산출한 컬러 텍스처 특징을 특징 벡터 산출부(210)에 출력한다. 컬러 텍스처 특징은 색의 다양성을 나타내는 지표이다. 텍스처 해석부(206)에서의 처리의 상세에 대해서는 후술한다.
평균색 산출부(207)는 축소 화상 데이터에서의 RGB 채널 각각의 평균색을 산출하고, 산출한 평균색과 축소 화상 데이터를 컬러 밸런스 산출부(209)에 출력한다. 뉴트럴 그레이 영역 탐색부(208)는 축소 화상 데이터에서의 뉴트럴 그레이(회색) 영역을 탐색하고, 축소 화상 데이터에 뉴트럴 그레이 영역이 있는지 여부를 판정한다. 뉴트럴 그레이 영역은 평균색이 회색인 영역이다. 그리고, 뉴트럴 그레이 영역 탐색부(208)는 뉴트럴 그레이 영역의 유무와 축소 화상 데이터를 컬러 밸런스 산출부(209)에 출력한다.
컬러 밸런스 산출부(209)는 평균색 산출부(207)가 산출한 RGB 채널 각각의 평균색으로부터 축소 화상 데이터에서의 화상 전체의 컬러 밸런스를 산출한다. 또한, 컬러 밸런스 산출부(209)는 뉴트럴 그레이 영역 탐색부(208)가 탐색한 뉴트럴 그레이 영역의 컬러 밸런스를 산출한다. 그리고, 컬러 밸런스 산출부(209)는 산출한 화상 전체의 컬러 밸런스와 뉴트럴 그레이 영역의 컬러 밸런스를 특징 벡터 산출부(210)에 출력한다. 컬러 밸런스의 산출 방법의 상세에 대해서는 후술한다. 화상 전체의 컬러 밸런스와 뉴트럴 그레이 영역의 컬러 밸런스의 세트는 컬러 텍스처가 적은 화상에 대해 정밀도 높게 광원 종류를 추정할 수 있는 특징량이다.
특징 벡터 산출부(210)는 휘도-색 상관 산출부(205)에 의해 산출된 휘도-색 상관, 텍스처 해석부(206)에 의해 추출된 컬러 텍스처 특징, 컬러 밸런스 산출부(209)에 의해 산출된 컬러 밸런스에 기초하여 특징 벡터(휘도-색 상관, 컬러 텍스처 특징, 화상 전체의 컬러 밸런스, 뉴트럴 그레이 영역의 컬러 밸런스)를 생성하고, 식별기(211)의 학습부(212) 또는 식별부(215)에 출력한다.
식별기(211)는 복수의 화상 데이터의 특징 벡터와 각 화상 데이터에 대응하는 광원 종류(교시 데이터)로 이루어지는 학습 데이터에 기초하여 특징 벡터로부터 광원 종류를 도출하기 위한 판정 기준을 기계 학습한다. 이 때, 식별부(11)는 부스팅(Boosting), 서포트 벡터 머신(SVM), 결정목(Decision Tree) 혹은 결정목을 확장한 랜덤숲(Random Forest) 등을 이용하여 기계 학습한다. 그리고, 식별기(211)는 학습한 결과에 기초하여 특징량 산출부(204)에 의해 입력된 특징 벡터에 대응하는 광원 종류를 판정한다. 식별기(211)는 학습부(212)와 식별부(215)를 포함하여 구성된다. 또, 식별기(211)는 본 발명에서는 기계 학습하고 있지만, 예를 들면 매뉴얼 조작에 의해 판단 기준에 기초하여 광원 종류를 판정해도 된다.
학습부(212)는 학습 데이터에 기초하여 특징 벡터로부터 광원 종류를 도출하기 위한 판정 기준을 기계 학습하고, 이 학습 결과를 학습 결과 기억부(214)에 기입한다. 학습 결과 기억부(214)는 화이트 밸런스 조정 장치(1)의 외부에 있는 외부 기억 장치로서, 학습부(212)에 의한 학습 결과를 기억한다. 또, 학습부(212)는 학습에 이어 광원 종류 추정 처리를 하는 경우에는 화이트 밸런스 조정 장치(1) 내에 설치된 플래시 메모리 등에 학습 결과를 기입한다.
식별부(215)는 학습부(212)에 의한 학습 결과에 기초하여 특징 벡터 산출부(210)에 의해 입력된 특징 벡터에 대응하는 광원 종류를 판정하고, 판정 결과를 화이트 밸런스 게인 산출부(111)에 출력한다. 예를 들면, 식별부(215)는 특징 벡터(휘도-색 상관, 컬러 텍스처 특징, 화상 전체의 컬러 밸런스, 뉴트럴 그레이 영역의 컬러 밸런스)에서 컬러 텍스처 특징이 큰(컬러 텍스처가 많은) 경우에는 휘도-색 상관에 대한 무게를 무겁게 하여 광원 종류를 판정하고, 컬러 텍스처 특징이 작은(컬러 텍스처가 적은) 경우에는 화상 전체의 컬러 밸런스와 뉴트럴 그레이 영역의 컬러 밸런스의 세트에 대한 무게를 무겁게 하여 광원 종류를 판정한다.
다음에, 도 3을 참조하여 광원 종류 추정부(109)에 의한 광원 종류 추정 처리에 대해 설명한다. 도 3은 본 발명에 의한 광원 종류 추정 처리의 순서를 나타내는 흐름도이다.
우선, 식별부(215)가 학습 결과 기억부(214)로부터 학습 결과를 읽어들인다(단계 S10). 다음에, 광원 종류 추정부(109)는 시계열 데이터 버퍼(202)에 축소 화상 데이터를 기입한다(단계 S20).
다음에, 광원 종류 추정부(109)는 시계열 데이터 버퍼(202)에 기입한 축소 화상 데이터 수가 소정의 문턱값 이상인지 여부를 판정한다(단계 S30). 축소 화상 데이터 수가 문턱값 이상이면 단계 S40으로 진행하고, 축소 화상 데이터 수가 문턱값 미만이면 단계 S20으로 되돌아간다. 이 분기의 목적은 후술하는 휘도-색 상관 계수의 산출을 안정하게 행하기 위해 충분한 수의 데이터를 확보하는 것이다.
다음에, 휘도 얼룩 해석부(203)가 휘도 얼룩 해석에 의해 프레임 단위로 휘도 일정 영역과 하이라이트 화소를 특정한다(단계 S40). 구체적으로 휘도 얼룩 해석부(203)는 다음의 영역 근사 방법을 이용하여 휘도 일정 영역을 특정한다. 휘도 얼룩은 광원 위치, 물체의 형상ㅇ배치에 의존한다. 이 때문에, 이 영역 근사 방법에서는 광원 위치에 대해 정면을 중심으로 하여 상하좌우의 8방향으로 한 경우를 상정하고, 또 물체의 깊이 사이즈는 카메라부터 물체까지의 거리와 비교하여 충분히 작은 것으로 가정하고, 화상 상에서 수평ㅇ수직ㅇ경사 방향 중 어느 하나의 방향에서 조명 강도가 일정하다고 가정한 후에 휘도 일정 영역을 특정한다.
또, 이 방법에 한정되지 않고, 다른 영역 근사 방법을 이용하여 휘도 일정 영역을 특정해도 된다. 예를 들면, 화상의 영역 분할을 행하는 영역 근사 방법이 있다. 이 영역 근사 방법은 그림자의 영역이나 경면 반사로 하얗게 되어 있는 영역을 영역 분할하고, 휘도 레벨이 일정한 영역만을 이용하는 수법이다. 그림자의 영역은 색이나 휘도의 클러스터링으로 구할 수 있다. 또한, 경면 반사되어 있는 영역은 예를 들면 2색성 반사 모델을 이용하여 추정할 수 있다. 또, 이들 2개의 영역 근사 수법을 병용해도 된다.
다음에, 특징량 산출부(204)가 휘도 일정 영역의 정보인 휘도 얼룩 정보, 하이라이트 정보, 축소 화상 데이터에 기초하여 광원 종류를 판정하기 위한 특징 벡터를 산출한다(단계 S50). 이 특징 벡터 산출 처리의 상세는 후술한다.
다음에, 식별부(215)가 읽어들인 학습 결과에 기초하여 산출된 특징 벡터에 대한 스코어를 광원 종류마다 산출한다(단계 S60). 그리고, 식별부(215)는 광원 종류마다 산출된 스코어에 기초하여 광원 종류를 판정한다(단계 S70). 구체적으로 식별부(215)는 스코어가 높은 광원 종류를 산출된 특징 벡터에 대응하는 광원 종류로 한다.
다음에, 도 4를 참조하여 상술한 단계 S50에서의 특징 벡터 산출 처리에 대해 설명한다. 도 4는 본 발명에 의한 특징 벡터 산출 처리의 순서를 나타내는 흐름도이다.
우선, 특징량 산출부(204)는 휘도 얼룩 해석부(203)로부터 시계열로 나열된 K프레임의 축소 화상 데이터, 각 축소 화상 데이터에 대응하는 휘도 얼룩 정보, 각 축소 화상 데이터에 대응하는 하이라이트 화소 정보를 취득한다(단계 S100, S110, S120). 다음에, 특징량 산출부(204)는 휘도-색 상관 산출 처리, 컬러 텍스처 해석 처리, 화상 전체의 컬러 밸런스 산출 처리, 뉴트럴 그레이 영역의 컬러 밸런스 산출 처리를 병행하여 행한다. 또, 본 발명에서는 휘도-색 상관 산출 처리, 컬러 텍스처 해석 처리, 화상 전체의 컬러 밸런스 산출 처리, 뉴트럴 그레이 영역의 컬러 밸런스 산출 처리를 병행하여 행하지만, 1처리씩 차례대로 행해도 된다.
[휘도-색 상관 산출 처리(단계 S140)]
우선, 휘도-색 상관 산출 처리에 대해 설명한다.
휘도-색 상관 산출부(205)는 시계열로 나열된 K프레임의 축소 화상 데이터, 각 축소 화상 데이터에 대응하는 휘도 얼룩 정보, 각 축소 화상 데이터에 대응하는 하이라이트 화소 정보에 기초하여 휘도-색 상관 계수를 산출한다(단계 S140).
여기서, K프레임의 축소 화상 데이터를 이용하는 것은 후술하는 상관 계수의 산출을 안정하게 행하기 위해서이다. 상관 계수의 산출은 데이터 분포가 정규 분포가 아니면 안정하게 행할 수 없는데, 상관 계수의 산출에 이용하는 데이터 수가 적으면 데이터 분포가 정규 분포가 되어 있는지를 알 수 없다. 이 때문에, 복수의 프레임을 이용하여 상관 계수를 산출하기 위한 데이터 수를 확보한다. 또한, 시계열 데이터를 이용하는 이유는 손떨림, 씬 내에 존재하는 피사체의 운동 및 조명 조건의 변화 등에 따라 생기는 화상 정보의 시간 변화에 대응하기 위해서이다.
구체적으로, 우선, 휘도-색 상관 산출부(205)는 휘도 일정 영역 이외의 영역과 하이라이트 화소를 각 축소 화상 데이터로부터 제거한다. 이는 광원 위치가 기울어져 있는 경우나 물체 표면의 반사 특성에 극단적으로 차이가 있는 경우 등에는 촬영 화상의 휘도 분포에 큰 차이가 생기고(셰이딩), 휘도와 색미의 데이터 분포가 정규 분포가 되지 않아 휘도-색 상관 계수의 산출이 불안정해지기 때문이다.
다음에, 휘도-색 상관 산출부(205)는 휘도 일정 영역 이외의 영역과 하이라이트 화소를 제거한 각 축소 화상 데이터를 종횡으로 N(N은 2이상의 정수) 분할한다. 이하, 분할한 영역을 분할 블록이라고 한다. 또, N의 값은 임의로서, 예를 들면 화소를 1분할 블록으로 해도 된다. 그리고, 휘도-색 상관 산출부(205)는 분할 블록(i(i=1,2,…,NㅧK))마다 R채널의 평균값(Ri), G채널의 평균값(Gi), B채널의 평균값(Bi)을 산출한다. 그리고, 휘도-색 상관 산출부(205)는 다음 식(1)에 의해 각 분할 블록(i)의 휘도(Lumi)를 산출한다.
Figure 112011080596464-pat00001
다음에, 휘도-색 상관 산출부(205)는 다음 식(2)에 의해 각 분할 블록(i)의 붉은 정도(Rednessi)를 산출한다.
Figure 112011080596464-pat00002
다음에, 휘도-색 상관 산출부(205)는 다음 식(3)에 의해 각 분할 블록(i)의 푸른 정도(Bluenessi)를 산출한다.
Figure 112011080596464-pat00003
다음에, 휘도-색 상관 산출부(205)는 휘도(Lum)와 붉은 정도(Redness)의 상관 계수(Fr)를 다음 식(4)에 나타나는 피어슨의 적률 상관 계수에 의해 산출한다.
Figure 112011080596464-pat00004
이하, 식 중의 문자 상부에 「-」가 붙은 문자는 문중에서 문자 앞에 (-)을 기재하여 나타낸다. n은 데이터 수로서, n=NㅧK이다. (-)Lum은 휘도(Lum)의 평균값이다. (-)Redness는 붉은 정도(Redness)의 평균값이다.
그리고, 휘도-색 상관 산출부(205)는 휘도(Lum)와 푸른 정도(Blueness)의 상관 계수(Fb)를 다음 식(5)에 나타나는 피어슨의 적률 상관 계수에 의해 산출한다.
Figure 112011080596464-pat00005
단, (-)Blueness는 푸른 정도(Blueness)의 평균값이다.
마지막으로, 휘도-색 상관 산출부(205)는 휘도-색 상관 계수(F=(Fr,Fb))로 한다. 상관 계수의 산출에는 식(4) 및 식(5)에 나타나는 피어슨의 적률 상관 계수를 이용하는데, 이는 데이터의 정규 분포성을 가정하고 있다. 그 때문에, 데이터 수가 적거나 어긋남 값(Outlier)이 존재하거나 하는 경우에는 올바른 상관 계수를 산출할 수 없는 경우가 있다. 이 때문에, 본 발명에서는 시계열 버퍼에의 화상 저장(단계 S20)에 의해 데이터 수를 확보하여 상관 계수를 산출하고 있다. 또한, 휘도 얼룩 해석(단계 S40)에 의한 휘도의 변동과 하이라이트 화소를 제거함으로써 상관 계수 산출의 오차 요인을 저감시킨다.
또, 이들 요인 이외에 어긋남 값이 혼입할 가능성이 있다. 예를 들면, 씬 중에 자발광하는 영역이 존재하는 경우이다. 이러한 경우에는 휘도 얼룩 해석으로는 데이터의 어긋남 값을 특정할 수 없기 때문에, 데이터의 분포가 정규 분포가 되지 않을 가능성이 있다. 그 때문에, 이러한 경우에는 데이터의 정규 분포성을 가정하지 않은 스피어만의 순위 상관 계수를 이용해도 된다.
도 5는 본 발명에 의한 일반적인 피사체에 대해 적색 광원을 조사하여 촬영한 입력 화상에서의 휘도와 색의 상관을 나타내는 그래프이다.
도 5(a)는 여러 가지 색을 포함하는 일반적인 피사체에 대해 적색 광원(여기서는 할로겐 램프)을 조사하여 촬영한 입력 화상이다. 도 5(b)는 도 5(a)에 도시된 입력 화상에서의 휘도(Lum)에 대한 붉은 정도(Redness)의 변화를 도시한 그래프이다. 이 그래프에서의 종축은 붉은 정도(Redness)이고, 횡축은 휘도(Lum)이다. 본 도면에 도시된 바와 같이, 휘도(Lum)와 붉은 정도(Redness)는 양의 상관을 가진다. 도 5(c)는 도 5(a)에 도시된 입력 화상에서의 휘도(Lum)에 대한 푸른 정도(Blueness)의 변화를 도시한 그래프이다. 이 그래프에서의 종축은 푸른 정도(Blueness)이고, 횡축은 휘도(Lum)이다. 본 도면에 도시된 바와 같이, 휘도(Lum)와 푸른 정도(Blueness)는 음의 상관을 가진다.
도 6은 본 발명에 의한 일반적인 피사체에 대해 백색 광원을 조사하여 촬영한 입력 화상에서의 휘도와 색의 상관을 나타내는 그래프이다.
본 도면에 도시된 그래프는 도 5(a)에 도시된 여러 가지 색을 포함하는 일반적인 피사체에 대해 백색 광원(여기서는 색온도 5,500[K]의 백색 광원)을 조사하여 촬영한 입력 화상(H)에서의 휘도에 대한 색의 변화를 나타낸다. 도 6(a)는 입력 화상(H)에서의 휘도(Lum)에 대한 붉은 정도(Redness)의 변화를 도시한 그래프이다. 이 그래프에서의 종축은 붉은 정도(Redness)이고, 횡축은 휘도(Lum)이다. 본 도면에 도시된 바와 같이, 휘도(Lum)와 붉은 정도(Redness)에는 상관관계를 볼 수 없다. 또한, 도 6(b)는 입력 화상(H)에서의 휘도에 대한 푸른 정도의 변화를 도시한 그래프이다. 이 그래프에서의 종축은 푸른 정도(Blueness)이고, 횡축은 휘도(Lum)이다. 본 도면에 도시된 바와 같이, 휘도(Lum)와 푸른 정도(Blueness)에는 상관관계를 볼 수 없다.
이로부터 적색 광원을 조사했을 때만 휘도-색 상관이 생기는 것을 확인할 수 있다.
도 7은 본 발명에 의한 색-휘도 상관 계수를 도시한 2차원 산포도이다.
이 2차원 산포도의 그래프에서의 횡축은 휘도와 붉은 정도의 상관 계수(Fr)이고, 종축은 휘도와 푸른 정도의 상관 계수(Fb)이다. 플롯의 범례는 5종류가 있고, 적색 광원을 조사하여 촬영한 3개의 피사체(여러 가지 색을 포함하는 피사체, 24색 맥베스 컬러 차트, 그레이 차트) 및 백색 광원을 조사하여 촬영한 2개의 피사체(여러 가지 색을 포함하는 피사체, 적색의 피사체(적색계 물체))이다. 하나의 범례당 촬영 위치를 바꾸어 10장의 화상을 촬영하였다. 본 도면으로부터, 적색 광원으로 촬영한 범례는 휘도-붉은 정도 상관이 크고, 또한 휘도-푸른 정도 상관이 작기 때문에, 플롯이 그래프의 우측 아래의 영역에 집중되는 것을 알 수 있다. 한편, 백색 광원으로 촬영한 범례는 플롯이 그래프 우측 아래의 영역 이외의 영역에 흩어지는 것을 알 수 있다. 따라서, 도 7에 도시된 그래프의 우측 아래 영역을 검출하는 식별 경계를 학습부(212)에서 지정할 수 있으면, 그 영역에 들어간 플롯을 적색 광원이라고 판정할 수 있다. 그러나, 도 7에서는 적색 광원의 플롯과 백색 광원의 플롯이 일부 우측 아래 영역에서 섞여 있다. 이 현상의 요인으로서 텍스처리스의 피사체에 포함되는 색의 수가 적기 때문에 상관 계수 산출이 불안정해지고, 백색 광원을 조사하고 있음에도 불구하고 우연히 휘도-붉은 정도 상관의 값이 커지는 것을 생각할 수 있다. 그래서, 휘도-색 상관 특징을 보완하기 위해 컬러 텍스처 특징, 화면 전체의 컬러 밸런스, 뉴트럴 그레이 영역의 컬러 밸런스 3가지 특징량을 도입한다.
[컬러 텍스처 해석 처리(단계 S150)]
도 4로 되돌아가서, 다음에 컬러 텍스처 해석 처리에 대해 설명한다.
텍스처 해석부(206)가 시계열로 나열된 K프레임의 축소 화상 데이터의 컬러 텍스처 해석을 행한다(단계 S150). 우선, 텍스처 해석부(206)는 축소 화상 데이터의 RGB 신호를 HSV 신호로 변환한다. H는 Hue(색상), S는 Saturation(채도), V는 Vlightness(휘도)를 나타낸다. 다음에, 텍스처 해석부(206)는 H성분의 영역을 양자화 단계에서 양자화하고, L개의 빈으로 이루어지는 히스토그램을 생성한다. 그 히스토그램을 h(i)(i=1,2,…,L)라고 한다. 그리고, 텍스처 해석부(206)는 이 히스토그램으로부터 잡음으로 간주하는 화소, 여기서는 극단적으로 어둡거나 또는 밝은 화소의 영향을 제거한 상대 히스토그램(p(i))을 다음 식(6)으로부터 산출한다.
Figure 112011080596464-pat00006
단, M은 축소 화상 데이터 중에 포함되는 화소수이고, e는 잡음으로 간주하는 화소의 수이다. 이어서, 텍스처 해석부(206)는 다음 식(7)에 나타나는 엔트로피(E)를 산출한다.
Figure 112011080596464-pat00007
이 엔트로피(E)가 색의 다양성을 나타내는 컬러 텍스처 특징이다. 다음 식(8)에 나타내는 바와 같이, 이 엔트로피(E)는 히스토그램의 각 빈의 상대 횟수(p(i))의 값이 같을 때에 최대값(Emax)을 취한다. 즉, 화상 내에 있는 색의 종류가 많을수록 히스토그램이 평탄해지기 때문에, 화상 내에 있는 색의 종류가 많을수록 이 엔트로피(E)의 값은 크다.
Figure 112011080596464-pat00008
상술한 식(7)의 엔트로피(E)를 광원 종류 추정의 특징량으로서 이용하는 이유를 이하에 설명한다. 극단적인 예로 만약 화면 전체가 한가지 색으로 칠해져 있는 경우, 휘도와 붉은 정도(또는 푸른 정도)의 플롯은 어떤 한 점에 집중되어 휘도와 붉은 정도(또는 푸른 정도)의 상관 계수를 산출할 수 없게 된다. 상관 계수는 어느 정도 데이터의 분포가 넓지 않으면 산출할 수 없는데, 이는 화면 내에 복수의 색이 존재해야 하는 것을 나타낸다. 또한, 광원이나 물체 표면의 분광 특성으로부터도, 화면 전체가 한가지 색인 경우는 그 색이 광원에 의한 것인지 원래 물체의 색인지를 구별할 수 없다. 그래서, 식(7)과 같은 색의 다양성을 나타내는 지표가 필요하게 된다. 색의 다양성의 지표는 엔트로피에 한정되는 것은 아니고, 예를 들면 분산값도 사용할 수 있다.
본 발명에서는 컬러 텍스처 해석으로 산출되는 엔트로피(E)를 광원 종류의 추정을 위한 특징 벡터의 하나의 요소로 하고 있지만, 휘도-색 상관 산출로 산출되는 상관 계수에 대한 무게로 해도 된다. 즉, 엔트로피가 큰 화소(또는 영역)의 상관 계수는 신뢰성이 높다고 간주하여 큰 무게를 부여한 후에 식별부(115)로 보내 광원 종류를 추정시킬 수도 있다.
[화상 전체의 컬러 밸런스 산출 처리(단계 S160, S165)]
다음에, 화상 전체의 컬러 밸런스 산출 처리에 대해 설명한다.
우선, 평균색 산출부(207)가 K프레임의 축소 화상 데이터 전체에서의 R 신호의 평균값((-)R), G 신호의 평균값((-)G), B 신호의 평균값((-)B)을 산출한다(단계 S160). 다음에, 컬러 밸런스 산출부(209)가 화상 전체의 컬러 밸런스(CBa=((-)R/(-)G, (-)B/(-)G))를 산출한다(단계 S165).
화상 전체의 컬러 밸런스는 회색 가설 모델(비특허문헌 2)에 기초하고 있다. 이 모델은 화상 전체에는 여러 가지 색이 존재하고, 그들의 평균값은 뉴트럴 그레이(회색)라는 가설에 기초하고 있다. 만약 이 컬러 밸런스가 뉴트럴 그레이로부터 어긋나 있으면, 그 어긋남은 광원 색에 의한 것이라고 판단한다. 단, 회색 가설은 심플하고 사용하기 쉬운 모델이긴 하지만, 만약 빨간 벽돌이나 카펫이 화면 전체에 비쳐 있으면 화면 전체의 컬러 밸런스가 적색에 가까우므로, 컬러 캐스트가 발생한다고 착각하는 경우가 있다. 이러한 문제를 저감하기 위해, 다음에 설명하는 뉴트럴 그레이 영역의 컬러 밸런스를 특징량으로 가한다.
[뉴트럴 그레이 영역의 컬러 밸런스 산출 처리(단계 S170~S190)]
다음에, 뉴트럴 그레이 영역의 컬러 밸런스 산출 처리에 대해 설명한다.
우선, 뉴트럴 그레이 영역 탐색부(208)가 각 프레임에서의 뉴트럴 그레이 영역의 유무를 판정한다(단계 S170). 구체적으로 뉴트럴 그레이 영역 탐색부(208)는 소정 크기의 직사각형 윈도우를 화상 중에서 주사하여 다음 식(9)을 만족시키는 직사각형 영역이 있는 경우에 뉴트럴 그레이 영역이 있다고 판정하고, 식(9)을 만족시키는 직사각형 영역이 없는 경우에 뉴트럴 그레이 영역이 없다고 판정한다.
Figure 112011080596464-pat00009
i는 축소 화상 데이터의 x좌표값이고, j는 축소 화상 데이터의 y좌표값이다. (-)Ri,j는 좌표값(i,j)을 중심으로 한 직사각형 영역 내의 R채널 평균값이다. (-)Gi,j는 좌표값(i,j)을 중심으로 한 직사각형 영역 내의 G채널 평균값이다. (-)Bi,j는 좌표값(i,j)을 중심으로 한 직사각형 영역 내의 B채널 평균값이다.
다음에, 컬러 밸런스 산출부(209)가 뉴트럴 그레이 영역 탐색부(208)에 의해 뉴트럴 그레이 영역이 있다고 판정된 프레임의 컬러 밸런스(C)를 다음 식(10)에 의해 산출한다(단계 S180).
Figure 112011080596464-pat00010
단, D는 축소 화상 데이터의 화상 영역이다. 그리고, 컬러 밸런스 산출부(209)는 각 프레임의 컬러 밸런스(C) 중에서 최소값을 추출하고, 추출한 최소값을 뉴트럴 그레이 영역의 컬러 밸런스(CBn)한다(단계 S190).
뉴트럴 그레이 영역의 컬러 밸런스는 회색 가설과 휘도-색 상관 원리를 지원하는 특징량이다. 회색 가설에서는 만약 빨간 벽돌이나 카펫이 화면 전체에 비쳐 있으면 화면 전체의 컬러 밸런스가 적색에 가까우므로, 컬러 캐스트가 발생한다고 착각한다. 이 때, 만약 일부라도 컬러 밸런스가 뉴트럴 그레이인 영역(예를 들면, 콘크리트 면이 조금이라도 보이는 영역)이 있으면, 빨간 벽돌이나 카펫의 적색은 물체색이라고 예상할 수 있다. 반대로 광원에 의한 컬러 캐스트이면, 그러한 뉴트럴 그레이 영역도 붉은 기를 띤다. 이 식별을 하기 위해, 뉴트럴 그레이 영역 탐색부(208)는 상술한 식(9)에 의해 뉴트럴 그레이 영역을 탐색한다.
이 특징량(뉴트럴 그레이 영역의 컬러 밸런스)은 화상의 컬러 텍스처가 적은 경우에서도 유효하다. 이 때문에, 예를 들면 식별부(215)는 컬러 텍스처 해석으로 얻어지는 엔트로피(E)의 값이 작은 경우, 즉 화상이 텍스처리스인 경우에 뉴트럴 그레이 영역의 컬러 밸런스에 대해 큰 무게를 두고, 반대로 휘도-색 상관 계수에 대한 무게를 작게 한다. 이에 의해, 씬의 텍스처에 의존하지 않는 광원 종류 추정이 가능하게 된다.
본 발명에서는 뉴트럴 그레이 영역 탐색부(208)는 직사각형 윈도우를 화상 내에서 주사함으로써 뉴트럴 그레이 영역을 탐색하는데, 이 때, 주사하는 직사각형 윈도우가 뉴트럴 그레이 영역과 색이 붙어 있는 영역에 걸치는 경우 또는 동영상 중의 어떤 프레임에서 뉴트럴 영역이 존재하지 않는 경우에는, 직사각형 영역이 뉴트럴 그레이 영역에 들어가는 프레임을 검지하는 순서를 생각할 수 있다. 이것이 상술한 단계 S190의 최소값 추출이다.
[특징 벡터 산출 처리(단계 S200)]
마지막으로, 특징 벡터 산출부(210)가 특징 벡터(V=(휘도-색 상관 계수(F), 컬러 텍스처 특징(E), 화상 전체의 컬러 밸런스(CBa), 뉴트럴 그레이 영역의 컬러 밸런스(CBn))를 산출하고 처리를 종료한다(단계 S200). 또, 본 발명에서는 4개의 특징량을 전부 특징 벡터라고 하였지만, 적어도 휘도-색 상관 계수(F), 화상 전체의 컬러 밸런스(CBa), 뉴트럴 그레이 영역의 컬러 밸런스(CBn)가 특징 벡터에 포함되어 있으면 된다.
도 8은 본 발명에 의한 특징 벡터의 3차원 플롯을 나타내는 그래프이다.
본 도면에 도시된 그래프는 휘도와 붉은 정도의 상관 계수(Fr), 화상 전체의 컬러 밸런스(CBa), 뉴트럴 그레이 영역의 컬러 밸런스(CBn)를 각각 축으로 한다. 플롯의 범례는 5종류 있고, 적색 광원을 조사하여 촬영한 3개의 피사체(여러 가지 색을 포함하는 피사체, 24색 맥베스 컬러 차트, 그레이 차트) 및 백색 광원을 조사하여 촬영한 2개의 피사체(여러 가지 색을 포함하는 피사체, 적색의 피사체(적색계 물체))이다. 하나의 범례당 촬영 위치를 바꾸어 10장의 화상을 촬영하였다. 도 8에 도시된 바와 같이, 휘도와 붉은 정도의 상관 계수(Fr)에 화상 전체의 컬러 밸런스(CBa)와 뉴트럴 그레이 영역의 컬러 밸런스(CBn)를 더함으로써 적색 광원의 플롯과 백색 광원의 플롯을 분리하기 쉬워지는 모양을 알 수 있다.
이와 같이, 본 발명에서는 특징량 산출부(204)가 4개의 특징량(휘도-색 상관 계수, 컬러 텍스처 특징, 화면 전체 컬러 밸런스, 뉴트럴 그레이 영역 컬러 밸런스)을 모아 특징 벡터라고 하고, 식별부(115)에서 광원 종류를 판정한다. 이 때문에, 화이트 밸런스 게인 산출부(111)에서 광원 종류마다 적절한 화이트 밸런스를 산출할 수 있기 때문에 컬러 페리아를 저감할 수 있다.
또한, 도 3, 4에 도시된 각 단계를 실현하기 위한 프로그램을 컴퓨터 판독 가능한 기록 매체에 기록하여, 이 기록 매체에 기록된 프로그램을 컴퓨터 시스템에 읽어들이게 하고 실행함으로써 광원 종류 추정 처리 또는 특징 벡터 산출 처리를 행해도 된다. 또, 여기서 말하는 「컴퓨터 시스템」이란, OS(Operating System)나 주변기기 등의 하드웨어를 포함하는 것이어도 된다.
또한, 「컴퓨터 시스템」은 WWW시스템을 이용하고 있는 경우이면, 홈페이지 제공 환경(혹은 표시 환경)도 포함하는 것으로 한다.
또한, 「컴퓨터 판독 가능한 기록 매체」란, 플렉시블 디스크, 광자기 디스크, ROM, 플래시 메모리 등의 기입 가능한 비휘발성 메모리, CD-ROM 등의 가반 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다.
또, 「컴퓨터 판독 가능한 기록 매체」란, 인터넷 등의 네트워크나 전화 회선 등의 통신 회선을 개재하여 프로그램이 송신된 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리(예를 들면, DRAM(Dynamic Random Access Memory))와 같이 일정 시간 프로그램을 유지하고 있는 것도 포함하는 것으로 한다.
또한, 상기 프로그램은 이 프로그램을 기억 장치 등에 저장한 컴퓨터 시스템으로부터 전송 매체를 개재하여 혹은 전송 매체 중의 전송파에 의해 다른 컴퓨터 시스템에 전송되어도 된다. 여기서, 프로그램을 전송하는 「전송 매체」는 인터넷 등의 네트워크(통신망)나 전화 회선 등의 통신 회선(통신선)과 같이 정보를 전송하는 기능을 가지는 매체를 말한다.
또한, 상기 프로그램은 전술한 기능의 일부를 실현하기 위한 것이어도 된다. 또, 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현할 수 있는 것, 이른바 차분 파일(차분 프로그램)이어도 된다.
이상, 도면을 참조하여 본 발명의 일 실시예에 대해 상세하게 설명하였지만, 구체적인 구성은 상술한 것에 한정되는 것은 아니고, 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지 설계 변경이 가능하다.
예를 들면, 본 발명에서는 휘도-색 상관 원리의 설명과 응용 방법에 대해 적색계 광원을 상정하여 설명하고 있지만, 형광등과 같이 녹색 성분을 많이 포함하는 광원이나 옥외의 맑은 하늘과 같이 색온도가 높고 청색 성분을 포함하는 광원에 대해서도 동일하다.
또한, 본 발명의 화이트 조정 장치(1)는 하드 디스크 레코더 등의 전자적 화상 축적 장치에서의 화상 검색이나 외광에 따라 화질 조정을 가능하게 하는 전자적 영상 장치 등에도 이용할 수 있다.
1…화이트 밸런스 조정 장치 101…렌즈 102…아이리스 103…AGC부 105…전처리부 106…화상 정보 산출부 107…조도 검출부 108…구동부 109…광원 종류 추정부 110…화이트 밸런스 튜닝 파라미터 기억부 111…화이트 밸런스 게인 산출부 112…화이트 밸런스 제어부 113…색 보정 제어부 114…감마 보정 제어부 115…출력부 202…시계열 데이터 버퍼 203…휘도 얼룩 해석부 204…특징량 산출부 205…휘도-색 상관 산출부 206…텍스처 해석부 207…평균색 산출부 208…뉴트럴 그레이 영역 탐색부 209…컬러 밸런스 산출부 210…특징 벡터 산출부 211…식별기 212…학습부 215…식별부

Claims (10)

  1. 피사체를 촬영하는 촬상 소자에 의해 생성된 화상 신호로부터 휘도와 색 간의 상관 계수를 산출하는 휘도-색 상관 산출부;
    상기 화상 신호에서의 색의 다양성을 나타내는 컬러 텍스처 특징을 산출하는 텍스처 해석부;
    상기 화상 신호에서의 화상 전체의 컬러 밸런스를 산출하는 제1 컬러 밸런스 산출부;
    상기 화상 신호에서 평균색이 회색의 영역인 뉴트럴 그레이 영역의 컬러 밸런스를 산출하는 제2 컬러 밸런스 산출부;
    상기 상관 계수, 상기 컬러 텍스처 특징, 상기 화상 전체의 컬러 밸런스, 상기 뉴트럴 그레이 영역의 컬러 밸런스에 기초하는 특징 벡터를 생성하는 특징 벡터 생성부; 및
    상기 특징 벡터 생성부에 의해 생성된 특징 벡터에 기초하여 상기 화상 신호에서의 광원의 종류를 판정하는 식별기;를 구비하는 것을 특징으로 하는 광원 추정 장치.
  2. 제1항에 있어서,
    상기 식별기는,
    상기 컬러 텍스처 특징이 큰 경우에는 상기 상관 계수에 대한 무게를 무겁게 하여 상기 화상 신호에서의 광원의 종류를 판정하고, 상기 컬러 텍스처 특징이 작은 경우에는 상기 화상 전체의 상기 화상 전체의 컬러 밸런스와 상기 뉴트럴 그레이 영역의 컬러 밸런스의 세트에 대한 무게를 무겁게 하여 상기 화상 신호에서의 광원의 종류를 판정하는, 광원 추정 장치.
  3. 제1항에 있어서,
    상기 화상 신호에서 휘도가 일정해지는 휘도 일정 영역을 특정하는 휘도 얼룩 해석부를 구비하고,
    휘도-색 상관 산출부는 상기 휘도 얼룩 해석부에 의해 특정된 휘도 일정 영역에서 상기 상관 계수를 산출하는 것을 특징으로 하는 광원 추정 장치.
  4. 제1항에 있어서,
    상기 촬상 소자에 의해 생성된 화상 신호를 시계열로 순차적으로 기억하는 시계열 데이터 버퍼를 구비하고,
    휘도-색 상관 산출부는 상기 시계열로 기억된 복수의 화상 신호로부터 상기 상관 계수를 산출하는 것을 특징으로 하는 광원 추정 장치.
  5. 제1항에 있어서,
    상기 식별기는,
    복수의 화상 신호의 특징 벡터와 각 화상 신호에 대응하는 광원의 종류로 이루어지는 학습 데이터에 기초하여 특징 벡터로부터 광원의 종류를 도출하기 위한 판정 기준을 학습하는 학습부;
    상기 학습부에 의한 학습 결과에 기초하여 상기 특징 벡터 생성부에 의해 생성된 특징 벡터에 대응하는 광원의 종류를 판정하는 식별부;를 구비하는 것을 특징으로 하는 광원 추정 장치.
  6. 광원 추정 장치의 휘도-색 상관 산출부가 피사체를 촬영하는 촬상 소자에 의해 생성된 화상 신호로부터 휘도와 색 간의 상관 계수를 산출하는 단계;
    상기 광원 추정 장치의 텍스처 해석부가 상기 화상 신호에서의 색의 다양성을 나타내는 컬러 텍스처 특징을 산출하는 단계;
    상기 광원 추정 장치의 제1 컬러 밸런스 산출부가 상기 화상 신호에서의 화상 전체의 컬러 밸런스를 산출하는 단계;
    상기 광원 추정 장치의 제2 컬러 밸런스 산출부가 상기 화상 신호에서 평균색이 회색의 영역인 뉴트럴 그레이 영역의 컬러 밸런스를 산출하는 단계;
    상기 광원 추정 장치의 특징 벡터 생성부가 상기 상관 계수, 상기 컬러 텍스처 특징, 상기 화상 전체의 컬러 밸런스, 상기 뉴트럴 그레이 영역의 컬러 밸런스에 기초하는 특징 벡터를 생성하는 단계; 및
    상기 광원 추정 장치의 식별기가 상기 특징 벡터 생성부에 의해 생성된 특징 벡터에 기초하여 상기 화상 신호에서의 광원의 종류를 판정하는 단계;를 가지는 것을 특징으로 하는 광원 추정 방법.
  7. 제6항에 있어서,
    상기 화상 신호에서의 광원의 종류를 판정하는 단계는,
    상기 컬러 텍스처 특징이 큰 경우에는 상기 상관 계수에 대한 무게를 무겁게 하여 상기 화상 신호에서의 광원의 종류를 판정하고, 상기 컬러 텍스처 특징이 작은 경우에는 상기 화상 전체의 컬러 밸런스와 상기 뉴트럴 그레이 영역의 컬러 밸런스의 세트에 대한 무게를 무겁게 하여 상기 화상 신호에서의 광원의 종류를 판정하는 단계인, 광원 추정 방법.
  8. 제6항에 있어서,
    상기 광원 추정 장치의 휘도 얼룩 해석부가 상기 화상 신호에서 휘도가 일정해지는 휘도 일정 영역을 특정하는 단계를 가지고,
    휘도-색 상관 산출부는 상기 휘도 얼룩 해석부에 의해 특정된 휘도 일정 영역에서 상기 상관 계수를 산출하는 것을 특징으로 하는 광원 추정 방법.
  9. 제6항에 있어서,
    상기 광원 추정 장치는 상기 촬상 소자에 의해 생성된 화상 신호를 시계열로 순차적으로 기억하는 시계열 데이터 버퍼를 구비하고,
    휘도-색 상관 산출부는 상기 시계열로 기억된 복수의 화상 신호로부터 상기 상관 계수를 산출하는 것을 특징으로 하는 광원 추정 방법.
  10. 제6항에 있어서,
    상기 화상 신호에서의 광원의 종류를 판정하는 단계는,
    상기 식별기의 학습부가 복수의 화상 신호와 각 화상 신호에 대응하는 광원의 종류로 이루어지는 학습 데이터에 기초하여 특징 벡터로부터 광원의 종류를 도출하기 위한 판정 기준을 학습하는 단계; 및
    상기 식별기의 식별부가 상기 학습부에 의한 학습 결과에 기초하여 상기 특징 벡터 생성부에 의해 생성된 특징 벡터에 대응하는 광원의 종류를 판정하는 단계;를 포함하는 것을 특징으로 하는 광원 추정 방법.
KR1020110105534A 2010-12-20 2011-10-14 광원 추정 장치 및 광원 추정 방법 KR101695246B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110441913.3A CN102572211B (zh) 2010-12-20 2011-12-20 估计光源的方法和设备
US13/331,719 US8503771B2 (en) 2010-12-20 2011-12-20 Method and apparatus for estimating light source

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010283123A JP5740147B2 (ja) 2010-12-20 2010-12-20 光源推定装置及び光源推定方法
JPJP-P-2010-283123 2010-12-20

Publications (2)

Publication Number Publication Date
KR20120069539A KR20120069539A (ko) 2012-06-28
KR101695246B1 true KR101695246B1 (ko) 2017-01-11

Family

ID=46649733

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110105534A KR101695246B1 (ko) 2010-12-20 2011-10-14 광원 추정 장치 및 광원 추정 방법

Country Status (2)

Country Link
JP (1) JP5740147B2 (ko)
KR (1) KR101695246B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10343055B2 (en) 2012-09-28 2019-07-09 Angel Playing Cards Co., Ltd Card shooter device and method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017043811A1 (ko) * 2015-09-09 2017-03-16 삼성전자 주식회사 화상 처리 장치 및 화상 처리 방법
JP6563751B2 (ja) 2015-09-09 2019-08-21 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置及び画像処理方法
JP6786850B2 (ja) 2016-04-07 2020-11-18 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN106028016A (zh) * 2016-06-20 2016-10-12 联想(北京)有限公司 一种信息处理方法及电子设备
KR102570607B1 (ko) * 2018-06-22 2023-08-25 삼성전자주식회사 이미지의 광원의 타입을 결정하는 전자 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009164837A (ja) * 2007-12-28 2009-07-23 Canon Inc ホワイトバランス制御装置及びそれを用いた撮像装置、並びにホワイトバランス制御方法
JP2010021651A (ja) * 2008-07-08 2010-01-28 Nikon Corp 環境光推定装置、デジタルカメラ及び環境光推定プログラム
WO2010132237A1 (en) * 2009-05-11 2010-11-18 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129442A (ja) * 2004-09-30 2006-05-18 Fuji Photo Film Co Ltd 画像補正装置および方法，ならびに画像補正プログラム
JP4707450B2 (ja) * 2005-05-18 2011-06-22 イーストマン コダック カンパニー 画像処理装置及びホワイトバランス調整装置
JP5116389B2 (ja) * 2007-07-25 2013-01-09 キヤノン株式会社 撮像装置及び制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009164837A (ja) * 2007-12-28 2009-07-23 Canon Inc ホワイトバランス制御装置及びそれを用いた撮像装置、並びにホワイトバランス制御方法
JP2010021651A (ja) * 2008-07-08 2010-01-28 Nikon Corp 環境光推定装置、デジタルカメラ及び環境光推定プログラム
WO2010132237A1 (en) * 2009-05-11 2010-11-18 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10343055B2 (en) 2012-09-28 2019-07-09 Angel Playing Cards Co., Ltd Card shooter device and method

Also Published As

Publication number Publication date
KR20120069539A (ko) 2012-06-28
JP5740147B2 (ja) 2015-06-24
JP2012134625A (ja) 2012-07-12

Similar Documents

Publication Publication Date Title
US8503771B2 (en) Method and apparatus for estimating light source
US10812733B2 (en) Control method, control device, mobile terminal, and computer-readable storage medium
KR101695246B1 (ko) 광원 추정 장치 및 광원 추정 방법
US8295606B2 (en) Device and method for detecting shadow in image
JP3767541B2 (ja) 光源推定装置、光源推定方法、撮像装置および画像処理方法
US8855412B2 (en) Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
US7551797B2 (en) White balance adjustment
US9460521B2 (en) Digital image analysis
US20100245618A1 (en) White balance control apparatus and method
US7907786B2 (en) Red-eye detection and correction
JP2000261686A (ja) 画像処理装置、方法及び記録媒体
KR20170030418A (ko) 화상 처리 장치 및 화상 처리 방법
US20140267612A1 (en) Method and Apparatus for Adaptive Exposure Bracketing, Segmentation and Scene Organization
US8026954B2 (en) System and computer-readable medium for automatic white balancing
US10863103B2 (en) Setting apparatus, setting method, and storage medium
WO2020027210A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2003185412A (ja) 画像取得装置および画像取得方法
CN114503097A (zh) 使用移动设备进行颜色查找的方法和装置
KR20160061251A (ko) 영상 처리 장치 및 방법
CN114972547A (zh) 用于确定牙齿颜色的方法
JP6188360B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに判別装置
JP7252815B2 (ja) 画像処理装置及び画像処理プログラム
WO2023070412A1 (zh) 涉水场景的成像方法和成像装置
CN115963087A (zh) 一种大气能见度测量的方法及系统
CN115035286A (zh) 图像处理方法、图像处理装置、终端及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191223

Year of fee payment: 4