KR20120133417A - 대응 영상의 컬러 보정 방법 및 그 기록매체 - Google Patents

대응 영상의 컬러 보정 방법 및 그 기록매체 Download PDF

Info

Publication number
KR20120133417A
KR20120133417A KR1020110052031A KR20110052031A KR20120133417A KR 20120133417 A KR20120133417 A KR 20120133417A KR 1020110052031 A KR1020110052031 A KR 1020110052031A KR 20110052031 A KR20110052031 A KR 20110052031A KR 20120133417 A KR20120133417 A KR 20120133417A
Authority
KR
South Korea
Prior art keywords
matching
point
image
color
feature
Prior art date
Application number
KR1020110052031A
Other languages
English (en)
Other versions
KR101227936B1 (ko
Inventor
황영배
김제우
최병호
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020110052031A priority Critical patent/KR101227936B1/ko
Priority to US13/288,477 priority patent/US8620070B2/en
Publication of KR20120133417A publication Critical patent/KR20120133417A/ko
Application granted granted Critical
Publication of KR101227936B1 publication Critical patent/KR101227936B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

대응 영상의 컬러 보정 방법 및 그 기록매체가 개시된다. 본 발명의 일 실시예에 따른 대응 영상의 컬러 보정 방법은 대응 영상의 대응점을 검색하는 제1단계; 상기 대응 영상의 카메라 반응함수가 선형함수를 갖도록 복사 보정(radiometric calibration)하는 제2단계; 및 컬러 변환 행렬을 산출하여 컬러를 보정 하는 제3단계를 포함하는 것을 특징으로 한다.

Description

대응 영상의 컬러 보정 방법 및 그 기록매체{METHOD FOR COMPENSATING COLOUR OF CORRESPONDING IMAGE AND RECORDING MEDIUM THEREOF}
본 발명은 대응 영상의 컬러를 보정하는 방법 및 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
일반적으로, 3차원 영상 정보 획득에 사용되는 방법 중 하나는 여러 방향의 시야각(view)으로부터 획득한 2차원의 영상정보를 조합하는 것이다. 이 때, 동일한 물체나 장면을 포함하는 다수의 영상에서 같은 물리적 위치에 있으면서 동일한 특징을 갖는 대응점들을 찾는 일은 매우 중요하다.
특히, 다수의 카메라를 사용하여 획득한 영상의 경우에는 획득한 영상의 컬러 값들이 동일하지 않아 발생하는 컬러 차를 보정하는 기술이 요구되고 있다. 이러한 컬러 차를 보정하기 위한 방법으로 종래에는 맥베스 컬러차트(Macbeth color checker chart)를 이용하는 방법이 있다.
한국공개특허 제10-2010-0035497호에서는 컬러 보정을 하기 위해서 맥베스 컬러차트를 각 카메라에서 보이도록 영상을 획득한 후에 각 컬러 패치의 색을 픽셀 평균을 내서 구한 후에, 상기 패치의 색을 동일하게 만드는 단일 변환 행렬을 구함으로써 컬러 보정을 하는 방법을 개시하고 있다. 그러나, 상술한 방법에서는 다음과 같은 문제점이 있다.
첫째, 맥베스 컬러차트를 이용한 컬러 보정 방법은 카메라의 하드웨어 적인 특성만을 고려하므로 실제 촬영 시 발생할 수 있는 다른 조건들(예를 들면, 조명, 날씨 변화)을 반영할 수 없어 컬러 보정을 수시로 해주어야 한다. 둘째, 카메라의 피라미터가 자동적으로 변화하는 경우에서는 적용될 수 없다. 셋째, 맥베스 컬러차트 영상은 균일하므로 자동적인 대응점 매칭이 어렵다. 넷째, 동일 모델의 카메라라 하더라도 카메라의 피라미터마다 고유의 비선형 카메라 반응 함수(Camera response function)이 존재하므로, 변환 행렬만을 이용해서는 컬러 보정이 정확히 이루어지지 않는다.
따라서, 종래 맥베스 컬러차트를 이용한 컬러 보정 방법들의 상기 문제점들을 해결하기 위한 방안이 모색되고 있다.
본 발명의 실시예들은 맥베스 컬러차트를 이용하지 않아 자동적인 대응점 매칭이 가능하고, 다양한 조건 하에서도 적용 가능한 대응 영상의 컬러 보정 방법 및 그 기록매체를 제공하고자 한다.
본 발명의 일 측면에 따르면, 대응 영상의 대응점을 검색하는 제1단계; 상기 대응 영상의 카메라 반응함수가 선형함수를 갖도록 복사 보정(radiometric calibration)하는 제2단계; 및 컬러 변환 행렬을 산출하여 컬러를 보정 하는 제3단계를 포함하는 것을 특징으로 하는 대응 영상의 컬러 보정 방법이 제공될 수 있다.
또한, 상기 제1단계는, 코너점을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 검출하는 단계; 상기 특징량을 매칭하여 제1매칭점(N)을 도출하는 단계; 상기 제1매칭점(N)에서 잘못된 매칭(outlier)을 제거하여 제2매칭점(M)을 도출하는 단계; 및 상기 특징량 검출의 적합성을 판단하는 단계를 포함하는 것을 특징으로 할 수 있다.
한편, 상기 특징량 검출의 적합성을 판단하는 단계는, 상기 제2매칭점(M)의 수를 상기 제1매칭점(N)의 수로 나눈 값이 0.7 미만인 경우에는, 불변특징량을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 재검출하는 단계; 및 상기 특징량을 매칭하고, 잘못된 매칭을 제거하여 제2매칭점(M2)을 재도출하는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 제1단계는 대응점 결정 적합성을 판단하는 단계를 더 포함하고, 상기 대응점 결정 적합성을 판단하는 단계는, 제2매칭점(M 또는 M2)의 R,G,B 컬러 분포값이 전체 영상의 R,G,B 컬러분포 값의 20% 이상 또는 미만인지 여부를 판단하는 것을 특징으로 할 수 있다.
이 때, 상기 제2매칭점(M 또는 M2)의 R,G,B 컬러 분포값이 전체 영상의 R,G,B 컬러분포 값의 20% 이상인 경우에는, 상기 제2매칭점(M 또는 M2)을 대응점으로 결정하는 단계를 포함하고,
상기 제2매칭점(M 또는 M2)의 R,G,B 컬러 분포값이 전체 영상의 R,G,B 컬러분포 값의 20% 미만인 경우에는, 밀집 스테레오 매칭을 이용하여 매칭점을 재도출하는 단계; 및 재도출된 상기 매칭점을 대응점으로 결정하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
한편, 상기 제2단계는, 카메라의 반응 함수를 산출하는 단계; 상기 반응 함수의 역함수를 산출하는 단계; 및 산출된 상기 역함수를 영상에 적용하여 선형인 카메라 반응 함수를 갖는 영상으로 변환하는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 제3단계는, 하기 수학식 1에 따른 최소 제곱(least square) 방법으로 컬러 변환 행렬을 산출하는 방법, 하기 수학식 2에 따른 3 X 3 RGB 컬러 변환 행렬을 산출하는 방법, 또는 하기 수학식 3에 따른 비선형 다항식을 갖는 컬러 변환 행렬을 산출하는 방법 중에서 어느 하나인 것을 특징으로 할 수 있다.
[수학식 1]
Figure pat00001
(여기에서, Ics는 목표로 하는 영상의 RGB 컬러, Tcs는 변환하려고 하는 입력 영상의 RGB 컬러, ac 및 bc는 두 컬러를 일치시키기 위한 계수임.)
[수학식 2]
Figure pat00002
(여기에서, Is는 입력 영상 내의 S번째 대응점의 R, G, B 벡터, TRGB는 컬러 변환 행렬의 각 성분, Ts는 목표 영상 내의 S번째 대응점의 R, G, B 벡터임.)
[수학식 3]
Figure pat00003
(여기에서, D는 비선형적 변환에서의 차수, trck, tgck, tbck는 각 차수의 각 컬러에 대항하는 계수, tc0는 0차에서의 계수, Irk s, Igk s, Ibk s는 입력영상의 각 차수의 R,G,B 값, Tcs는 목표 영상의 한 채널(R,G,B중 하나)의 값임.)
본 발명의 다른 측면에 따르면, 상기 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 발명의 실시예들은 맥베스 컬러차트를 사용하지 않음으로써, 자동적인 대응점 매칭이 가능하고 카메라 파라미터가 자동적으로 변하거나 조명 또는 날씨 변화와 같은 다양한 조건하에서도 컬러 보정을 가능하게 할 수 있다.
또한, 대응 영상의 카메라 반응함수가 선형함수를 갖도록 복사 보정함으로써, 비선형 카메라 반응 함수에 의한 오차를 제거할 수 있다.
또한, 컬러 변환 행렬을 3×3 RGB 컬러 변환 행렬뿐만이 아니라, 최소 제곱 방법 또는 비선형적 다항식을 이용하여 산출 가능하다.
도 1은 본 발명의 일 실시예에 따른 대응 영상의 컬러 보정 방법의 흐름도이다.
도 2는 도 1의 대응점 검색 단계를 세부적으로 나타내는 흐름도이다.
도 3은 코너점을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 검출한 결과를 나타내는 도면이다.
도 4는 도3에서 검출된 코너점을 탬플릿 매칭시킨 결과를 나타내는 도면이다.
도 5는 기술자 기반의 특징량 매칭 결과를 나타내는 도면이다.
도 6은 불변특징량을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 검출한 결과를 나타내는 도면이다.
도 7은 도 1의 복사 보정 단계를 세부적으로 나타내는 흐름도이다.
도 8은 다수 카메라의 반응 함수를 나타내는 그래프이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 대응 영상의 컬러 보정 방법(S)의 흐름도이다. 도 1을 참조하면, 대응 영상의 컬러 보정 방법(S)은 대응 영상의 대응점을 검색하는 제1단계(S100), 상기 대응 영상의 카메라 반응함수가 선형함수를 갖도록 복사 보정(radiometric calibration)하는 제2단계(S200) 및 컬러 변환 행렬을 산출하여 컬러를 보정 하는 제3단계(S300)를 포함한다. 이하에서는 각 단계에 대하여 상세히 설명하도록 한다.
도 2는 도 1의 대응점 검색 단계(S100)을 세부적으로 나타내는 흐름도이다.
여기에서 대응점이란 동일한 물체나 장면을 포함하는 다수의 영상에서 같은 물리적 위치에 있으면서 동일한 특징을 갖는 점들을 의미한다. 대응점을 검색하는 방법은 다양하게 존재할 수 있으나, 본 발명의 일 실시예에서는 대응 영상의 특징량을 추출하여 매칭시키는 방법을 주된 방법으로 하고, 모든 픽셀에 대하여 밀집 스테레오 매칭시키는 방법을 부수적 방법으로 하였다. 이에 대해서는 후술하도록 한다.
대응점 검색 단계(S100)는 코너점을 이용하여 특징량을 검출하는 단계(S110)와, 상기 특징량을 매칭하여 제1매칭점(N)을 도출하는 단계(S120)와, 상기 제1매칭점(N)에서 잘못된 매칭(아웃라이어, outlier)을 제거하여 제2매칭점(M)을 도출하는 단계 및 상기 특징량 검출의 적합성을 판단하는 단계(S140)를 포함할 수 있다.
여기에서 특징량은 영상에서 특징(feature)이 되는 점(point)들을 의미하며, 대체로 영상에서의 코너점 또는 경계선에서 검출될 수 있다. 특징량을 검출하는 방법은 다양하게 존재할 수 있으나, 본 발명의 일 실시예에서는 코너점을 기반으로 하는 특징량 검출 방법을 주된 방법으로 하고, 불변 특징량을 기반으로 하는 특징량 검출 방법을 부수적 방법으로 하였다.
본 발명의 일 실시예에서는 대응 영상의 대응점을 검색하기 위하여 코너점을 기반으로 하는 특징량 검출 방법을 우선적으로 수행할 수 있다.
상기 코너점을 기반으로 하는 특징량 검출 방법은 소위 해리스 코너 검출기라 불리는 것으로, 코너점이 양방향으로 곡률이 높다는 점에 착안하여 고유값과 코너응답함수를 이용하여 회전에 불변하는 특징을 찾는 검출 방법을 의미한다.
우선, 코너점을 이용하여 특징량을 검출한다. 코너점(Harris corner)은 하기 [식1]과 같이 계산될 수 있다.
[식1]
Figure pat00004
여기에서, A는 소위 Harris matrix라고 불리며, 코너점을 구하기 위해 계산되는 매트릭스를 의미한다. w(u,v)는 가우시안 웨이트를 위한 가중치로, u 및 v는 A라는 매트릭스를 구하기 위해서 더해지는 마스크의 위치를 의미한다. I는 영상에서의 한 포인트로, Ix는 x 방향으로의 미분값, Iy는 y 방향으로의 미분값을 의미한다. 우측 매트릭스의 성분에서 <>표시는 가우시안 웨이트와 마스크 내의 합계가 이루어진 형태를 의미한다.
상기와 같이 구해진 코너점의 정도는 하기 [식2]와 같이 계산될 수 있다.
[식2]
Figure pat00005
여기에서, Mc는 코너 정도를 나타내는 것으로, 클수록 코너의 정도가 크다는 것을 의미한다. 한편, λ1, λ2는 매트릭스 A의 고유값(eigenvalue)이고, k는 상수, det는 행렬값, trace는 외각합을 의미한다. 한편, 상기 [식1] 및 [식2]는 공지된 것으로, 구체적인 설명은 생략하도록 한다.
상기 코너점을 기반으로 하는 특징량 검출 방법은 계산량이 작아 특징량 검출 속도가 빠르고, 코너점에서 특징점이 바로 추출될 확률이 높아 신뢰성이 높다는 장점이 있다. 도 3에는 코너점을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 검출한 결과를 나타내었다(이상 S110).
다음으로, 검출된 특징량을 매칭하여 제1매칭점(N)을 도출한다. 특징량을 매칭하는 방법은 한정되지 않는다. 예를 들면, 특징량 매칭 방법으로 템플릿 매칭(template matching) 또는 기술자 매칭(descriptor matching)을 이용할 수 있다.
상기 템플릿 매칭은 특징점을 중심으로 일정 크기의 제1블록을 만들고, 상기 블록을 매칭해야 할 대상 영상의 검색 영역의 각 점에 대해서 동일한 크기의 제2블록을 만든 다음, 상기 제1블록과 상기 제2블록을 비교하여 가장 유사한 블록을 갖는 점을 매칭점으로 도출하는 방법을 의미한다. 도4에는 도3에서 검출된 코너점을 템플릿 매칭시킨 결과를 나타내었다.
한편, 상기 기술자 매칭은 특징점 근처를 기술자로 기술한 다음, 대응 영상 간의 가장 비슷한 기술자를 갖는 경우에 두 특징점을 매칭점으로 도출하는 방법을 의미한다. 상기 기술자 매칭을 수행하는 알고리즘으로는 예를 들면, SIFT(Scale Invariant Feature Transform)가 있으며, 상기 SIFT는 영상에서의 도함수(gradient)를 구하여 세부영역을 구성하고, 각 세부영역에서 픽셀들의 기울기 방향 히스토그램을 구분하여 전체 영역을 구성하는 방법을 사용한다. 도 5에는 기술자 기반의 특징량 매칭 결과를 나타내었다.
상기 탬플릿 매칭 또는 상기 기술자 매칭은 대응 영상의 상태에 따라 적절히 선택되어 수행될 수 있다. 예를 들어, 대응 영상이 상대적으로 근접 거리에 있어 검색 영역을 제한할 수 있는 경우에는 템플릿 매칭을 수행 가능하고, 대응 영상의 스케일이 변하거나 회전 등의 변형이 일어난 경우에는 기술자 매칭을 수행할 수 있다. 한편, 상기 제1매칭점(N)은 상기 매칭 방법들에 의해 매칭된 후 얻어진 매칭점들을 의미한다(이상 S120).
다음으로, 상기 제1매칭점(N)에서 잘못된 매칭(아웃라이어, outlier)을 제거하여 제2매칭점(M)을 도출한다. 상기 제2매칭점(M)은 잘못된 매칭을 제거하여 최종적으로 얻어진 매칭점들을 의미한다.
잘못된 매칭을 제거하는 방법은 예를 들면, 호모그래피(homography)와 같은 기하학적 모델 및 RANSAC(Random Sample Consensus)와 같은 추정 방법론을 이용할 수 있다. 상기 호모그래프 및 RANSAC을 이용하여 잘못된 매칭을 제거하는 방법은 공지된 것인 바, 상세한 설명은 생략하기로 한다(이상 S130).
다음으로, 특징량 검출의 적합성을 판단한다. 여기에서 특징량 검출의 적합성을 판단한다는 의미는, 상기 코너점을 기반으로 하는 특징량 검출 방법의 적정성을 검토함을 의미한다.
이는 상기 코너점을 기반으로 하는 특징량 검출 방법은 특징량 검출 속도가 빠르고 신뢰성이 높다는 장점이 있으나, 영상의 스케일 변화 또는 회전 변화에 대응할 수 없기 때문에 특정 경우에는 적용될 수 없으므로 적정성을 검토하여, 부적합한 경우 다른 방식의 특징량 검출 방법을 적용시키기 위함이다.
구체적으로, 제2매칭점(M)의 수를 제1매칭점(N)의 수로 나눈 값(M/N)이 0.7 이상인 경우에는 코너점을 기반으로 하는 특징량 검출 방법이 적합함을 의미한다. 반대로, 제2매칭점(M)의 수를 제1매칭점(N)의 수로 나눈 값(M/N)이 0.7 미만인 경우에는, 코너점을 기반으로 하는 특징량 검출 방법이 부적합함을 의미하므로, 불변특징량을 기반으로 하는 특징량 검출 방법을 선택하여 상기 과정들을 재수행한다.
여기에서 상기 불변특징량을 기반으로 하는 특징량 검출 방법은 영상내에서 대상 영역의 불변한 특징 또는 부분적으로 불변한 특징을 이용하여 특징량을 검출하는 방법으로 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features) 등과 같은 알고리즘이 이용될 수 있다. 상기 불변특징량을 기반으로 하는 특징량 검출 방법은 공지된 것으로, 구체적인 설명은 생략하도록 한다.
즉, 불변특징량을 이용하여 특징량을 재검출하고(S142), 재검출된 상기 특징량을 매칭한 후, 잘못된 매칭을 제거하여 제2매칭점(M2)을 재도출한다(S144). 여기에서 특징량을 매칭하는 방법(탬플릿 매칭 또는 기술자 매칭) 및 잘못된 매칭을 제거하는 방법(호모그래피 및 RANSAC)은 전술한 것과 동일 또는 유사할 수 있으므로 중복 설명은 제외하도록 한다.
한편, 상기 제2매칭점(M2)은 불변특징량을 기반으로 하는 특징량 검출 방법에 따라 도출되는 값으로, 코너점을 기반으로 하는 특징량 검출 방법에 따라 도출되는 제2매칭점(M)과는 구분되는 값을 가진다.
도 6에는 불변특징량을 기반으로 하는 특징량 검출 방법에 따라 특징량을 검출한 결과를 나타내었다. 도 6을 참조하면, 원의 크기는 해당 점에서의 스케일을 의미하며, 원의 중심에서 원의 임의의 한 점까지 그려진 선은 해당 점에서의 방위(orientation)을 의미한다.
이와 같이, 본 발명의 일 실시예에서는 코너점을 기반으로 하는 특징량 검출 방법을 우선적으로 적용시키되, 조건을 만족하지 않는 경우에는 불변특징량을 기반으로 하는 특징량 검출 방법을 적용하도록 할 수 있다(이상 S140).
다음으로, 대응점 결정의 적합성을 판단한다. 여기에서 대응점 결정의 적합성을 판단한다는 의미는, 특징량을 추출하여 대응점을 결정하는 방법의 적정성을 검토함을 의미한다.
이는 특징량을 추출하여 대응점을 결정하는 방법(코너점 기반 또는 불변특징량 기반)은 대응점이 적어 매칭 시간이 상대적으로 적게 걸리며 대응점의 정확성을 매우 높게 확보할 수 있다는 장점이 있으나, 대응점이 주로 코너점 또는 경계선에서 추출되기 때문에 대응점에서 얻어진 컬러 페어가 다양한 색을 가질 수 없기 때문에, 적정성을 검토하여 부적합한 경우 다른 방식의 대응점 결정 방법을 적용시키기 위함이다.
구체적으로, 대응점 결정 적합성을 판단하는 단계는 제2매칭점(M 또는 M2)의 R, G, B 컬러 분포값이 전체 영상의 R, G, B 컬러분포값의 20% 이상 또는 미만인지 여부를 판단한다. 이 때, 상기 제2매칭점의 R, G, B 컬러 분포값이 전체 영상의 R, G, B 컬러 분포 값의 20% 이상인 경우에는, 특징량을 추출하여 대응점을 결정하는 방식이 적합함을 의미하는 바, 상기 제2매칭점을 대응점으로 결정한다(S160).
반면에, 상기 제2매칭점의 R, G, B 컬러 분포값이 전체 영상의 R, G, B 컬러 분포 값의 20% 미만인 경우에는, 특징량을 추출하여 대응점을 결정하는 방식이 부적합함을 의미하는 바, 밀집 스테레오 매칭을 이용하여 대응점을 결정하는 방법을 선택하도록 한다.
상기 밀집 스테레오 매칭을 이용하여 대응점을 결정하는 방법은 모든 픽셀에 대하여 스테레오 매칭을 수행하여 대응점을 검색하는 방법을 의미하며, 밀집 스테레오 매칭을 이용하여 매칭점을 재도출하고(S170), 재도출된 상기 매칭점을 대응점으로 결정하게 된다(S172).
상기 밀집 스테레오 매칭은 상기 특징량을 추출하여 대응점을 검색하는 방법에 비하여 매칭 시간이 오래 걸리고 신뢰도가 다소 떨어질 수 있으나, 컬러 페어가 영상 장면의 모든 컬러를 포함한다는 장점이 있다. 여기에서 매칭 방법은 전술한 것과 동일 또는 유사할 수 있으므로 중복 설명은 제외하도록 한다.
이와 같이, 본 발명의 일 실시예에서는 특징량을 추출하여 대응점을 검색하는 방법을 우선적으로 적용시키되, 조건을 만족하지 않는 경우에는 밀집 스테레오 매칭을 이용하여 대응점 검색을 수행하도록 할 수 있다(이상 S160 및 S170).
도 7은 도 1의 복사 보정 단계(S200)를 세부적으로 나타내는 흐름도이고, 도 8은 다수 카메라의 반응 함수를 나타내는 그래프이다.
도 7을 참조하면, 복사 보정 단계(S200)는 카메라의 반응 함수를 산출하는 단계(S210)와, 상기 반응 함수의 역함수를 산출하는 단계(S220) 및 산출된 상기 역함수를 영상에 적용하여 선형인 카메라 반응 함수를 갖는 영상으로 변환하는 단계(S230)를 포함한다. 한편, 보정을 위한 대응 컬러는 앞서 설명한 대응점 검색 단계(S100)에서 얻어질 수 있다.
여기에서, 복사 보정(radiometric calibration)이란 영상의 카메라 반응 함수를 구하여, 이의 역함수를 영상에 가함으로써 카메라 반응 함수가 선형함수가 되도록 보정하는 것을 의미한다.
또한, 상기 카메라 반응 함수(camera response function)란 카메라의 영상을 통해 얻은 관찰(measurement)과 장면의 복사휘도(scene radiance)간의 관계를 의미한다.
일반적으로, 디지털 카메라는 렌즈를 통해서 들어온 빛의 양을 CCD 및 CMOS와 같은 이미지 센서를 통해 전기 신호로 변환하고 이를 다시 디지털 신호로 전환한다. 이 때, 감시 또는 머신 비전에 사용되는 카메라는 빛의 크기에 선형 비례하는 디지털 값을 그대로 출력하기 때문에 선형의 카메라 반응 함수를 가지지만, 대부분의 사용자들이 사용하는 디지털 카메라 또는 방송용 카메라의 경우에는 카메라의 종류, 주변 환경등에 따라 선형의 카메라 반응 함수를 가지지 않는다. 그러므로, 대응 영상의 카메라 반응 함수 차이에 의한 컬러 차이를 최소화시킬 필요가 있다.
한편, 이와 관련하여 도 8은 여러 종류의 필름 카메라 또는 비디오 카메라의 반응 함수가 다양하게 존재하는 것을 보여주고 있다. 상기 도 8에서 X축은 카메라의 영상을 통해 얻은 관찰에 해당하고, Y축은 장면의 복사휘도에 해당한다.
상기 카메라 반응 함수는 하기 [식3]과 같이 표현될 수 있다.
[식 3]
Figure pat00006
여기에서 g함수가 카메라 반응 함수이고, I는 장면의 복사휘도, M은 장면(카메라 영상)에 해당한다.
따라서, 카메라 반응 함수인 g함수의 역함수(f함수)를 상기 장면(M)에 가하면, 장면의 복사휘도를 나타내는 영상으로 변환될 수 있다. 이는 하기 [식 4]와 같이 표현 될 수 있다.
[식 4]
Figure pat00007
이와 같이, 본 발명의 일 실시예에서는 비선형인 카메라 반응 함수를 갖는 영상을 선형의 카메라 반응 함수를 갖는 영상으로 변환할 수 있다(이상 S200).
상기와 같은 복사 보정 단계(S200)를 거친 후에는, 컬러 변환 행렬을 산출하여 대응 영상 간의 컬러 차이를 줄이게 된다. 상기 컬러 변환 행렬을 산출하는 방법은 다양할 수 있다.
예를 들면, 상기 컬러 변환 행렬을 산출하는 방법으로 하기 [식5] 내지 [식7] 중 어느 하나에 따른 방법을 사용할 수 있다.
[식 5]
Figure pat00008
상기 [식 5]는 최소 제곱(least square) 방법에 따른 컬러 변환 행렬을 산출하는 식에 해당한다. 여기에서, Ics는 목표로 하는 영상의 RGB 컬러, Tcs는 변환하려고 하는 입력 영상의 RGB 컬러, ac 및 bc는 두 컬러를 일치시키기 위한 계수를 의미한다.
[식 6]
Figure pat00009

상기 [식 6]은 3×3 RGB 컬러 변환 행렬을 산출하는 식에 해당한다. 여기에서, Is는 입력 영상 내의 S번째 대응점의 R, G, B 벡터, TRGB는 컬러 변환 행렬의 각 성분, Ts는 목표 영상 내의 S번째 대응점의 R, G, B 벡터를 의미한다.
[식 7]
Figure pat00010
상기 [식 7]은 비선형 다항식을 갖는 컬러 변환 행렬을 산출하는 식에 해당한다. 여기에서, D는 비선형적 변환에서의 차수, trck, tgck, tbck는 각 차수의 각 컬러에 대항하는 계수, tc0는 0차에서의 계수, Irk s, Igk s, Ibk s는 입력영상의 각 차수의 R,G,B 값, Tcs는 목표 영상의 한 채널(R,G,B중 하나)의 값을 의미한다. 한편, 상기 [식 5] 내지 [식 7]은 공지된 것으로, 구체적인 설명은 생략하도록 한다.
이와 같이, 컬러 변환 행렬을 산출하여 대상 영상의 모든 픽셀에 대하여 컬러 변환 행렬을 적용시키면 대응 영상의 컬러를 동일하게 할 수 있다(이상 S300).
상술한 본 발명에 따른 대응 영상의 컬러 보정 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록메체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 대응 영상의 컬러 보정 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 것과 같이, 본 발명의 실시예들은 맥베스 컬러차트를 사용하지 않음으로써, 자동적인 대응점 매칭이 가능하고 카메라 파라미터가 자동적으로 변하거나 조명 또는 날씨 변화와 같은 다양한 조건하에서도 컬러 보정을 가능하게 할 수 있다. 또한, 대응 영상의 카메라 반응함수가 선형함수를 갖도록 복사 보정함으로써, 비선형 카메라 반응 함수에 의한 오차를 제거할 수 있다. 또한, 컬러 변환 행렬을 3X3 RGB 컬러 변환 행렬뿐만이 아니라, 최소 제곱 방법 또는 비선형적 다항식을 이용하여 산출 가능하다.
이상, 본 발명의 실시예들에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
N: 제1매칭점
M, M2: 제2매칭점

Claims (8)

  1. 대응 영상의 대응점을 검색하는 제1단계(S100);
    상기 대응 영상의 카메라 반응함수가 선형함수를 갖도록 복사 보정(radiometric calibration)하는 제2단계(S200); 및
    컬러 변환 행렬을 산출하여 컬러를 보정 하는 제3단계(S300)를 포함하는 것을 특징으로 하는 대응 영상의 컬러 보정 방법.
  2. 제1항에 있어서,
    상기 제1단계(S100)는,
    코너점을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 검출하는 단계(S110);
    상기 특징량을 매칭하여 제1매칭점(N)을 도출하는 단계(S120);
    상기 제1매칭점(N)에서 잘못된 매칭(outlier)을 제거하여 제2매칭점(M)을 도출하는 단계(S130); 및
    상기 특징량 검출의 적합성을 판단하는 단계(S140)를 포함하는 것을 특징으로 하는 대응 영상의 컬러 보정 방법.
  3. 제2항에 있어서,
    상기 특징량 검출의 적합성을 판단하는 단계(S140)는,
    상기 제2매칭점(M)의 수를 상기 제1매칭점(N)의 수로 나눈 값이 0.7 미만인 경우에,
    불변특징량을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 재검출하는 단계(S142); 및
    상기 특징량을 매칭하고, 잘못된 매칭을 제거하여 제2매칭점(M2)을 재도출하는 단계(S144)를 포함하는 것을 특징으로 하는 대응 영상의 컬러 보정 방법.
  4. 제2항에 있어서,
    상기 제1단계(S100)는 대응점 결정 적합성을 판단하는 단계(S150)를 더 포함하고,
    상기 대응점 결정 적합성을 판단하는 단계(S150)는,
    제2매칭점(M 또는 M2)의 R,G,B 컬러 분포값이 전체 영상의 R,G,B 컬러분포 값의 20% 이상 또는 미만인지 여부를 판단하는 것을 특징으로 하는 대응 영상의 컬러 보정 방법.
  5. 제4항에 있어서,
    상기 제2매칭점(M 또는 M2)의 R,G,B 컬러 분포값이 전체 영상의 R,G,B 컬러분포 값의 20% 이상인 경우에는,
    상기 제2매칭점(M 또는 M2)을 대응점으로 결정하는 단계(S160)를 포함하고,
    상기 제2매칭점(M 또는 M2)의 R,G,B 컬러 분포값이 전체 영상의 R,G,B 컬러분포 값의 20% 미만인 경우에는,
    밀집 스테레오 매칭을 이용하여 매칭점을 재도출하는 단계(S170); 및
    재도출된 상기 매칭점을 대응점으로 결정하는 단계(S172)를 더 포함하는 것을 특징으로 하는 대응 영상의 컬러 보정 방법.
  6. 제1항에 있어서,
    상기 제2단계(S200)는,
    카메라의 반응 함수를 산출하는 단계(S210);
    상기 반응 함수의 역함수를 산출하는 단계(S220); 및
    산출된 상기 역함수를 영상에 적용하여 선형인 카메라 반응 함수를 갖는 영상으로 변환하는 단계(S230)를 포함하는 것을 특징으로 하는 대응 영상의 컬러 보정 방법.
  7. 제1항에 있어서,
    상기 제3단계(S300)는,
    하기 수학식 1에 따른 최소 제곱(least square) 방법으로 컬러 변환 행렬을 산출하는 방법, 하기 수학식 2에 따른 3 X 3 RGB 컬러 변환 행렬을 산출하는 방법, 또는 하기 수학식 3에 따른 비선형 다항식을 갖는 컬러 변환 행렬을 산출하는 방법 중에서 어느 하나인 것을 특징으로 하는 대응 영상의 컬러 보정 방법.
    [수학식 1]
    Figure pat00011

    (여기에서, Ics는 목표로 하는 영상의 RGB 컬러, Tcs는 변환하려고 하는 입력 영상의 RGB 컬러, ac 및 bc는 두 컬러를 일치시키기 위한 계수임.)
    [수학식 2]
    Figure pat00012

    (여기에서, Is는 입력 영상 내의 S번째 대응점의 R, G, B 벡터, TRGB는 컬러 변환 행렬의 각 성분, Ts는 목표 영상 내의 S번째 대응점의 R, G, B 벡터임.)
    [수학식 3]
    Figure pat00013

    (여기에서, D는 비선형적 변환에서의 차수, trck,tgck,tbck는 각 차수의 각 컬러에 대항하는 계수, tc0는 0차에서의 계수, Irk s,Igk s,Ibk s는 입력영상의 각 차수의 R,G,B 값, Tcs는 목표 영상의 한 채널(R,G,B중 하나)의 값임.)
  8. 제1항 내지 제7항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110052031A 2011-05-31 2011-05-31 대응 영상의 컬러 보정 방법 및 그 기록매체 KR101227936B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110052031A KR101227936B1 (ko) 2011-05-31 2011-05-31 대응 영상의 컬러 보정 방법 및 그 기록매체
US13/288,477 US8620070B2 (en) 2011-05-31 2011-11-03 Corresponding image processing method for compensating colour

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110052031A KR101227936B1 (ko) 2011-05-31 2011-05-31 대응 영상의 컬러 보정 방법 및 그 기록매체

Publications (2)

Publication Number Publication Date
KR20120133417A true KR20120133417A (ko) 2012-12-11
KR101227936B1 KR101227936B1 (ko) 2013-01-30

Family

ID=47516779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110052031A KR101227936B1 (ko) 2011-05-31 2011-05-31 대응 영상의 컬러 보정 방법 및 그 기록매체

Country Status (1)

Country Link
KR (1) KR101227936B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101402185B1 (ko) * 2012-06-01 2014-06-19 광운대학교 산학협력단 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법
KR101492060B1 (ko) * 2013-08-20 2015-02-12 전자부품연구원 동영상의 일괄 컬러 변환 방법 및 그 기록매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450754B2 (en) * 2004-03-23 2008-11-11 Microsoft Corporation Radiometric calibration from a single image
WO2007007924A1 (en) * 2005-07-11 2007-01-18 3R Inc. Method for calibrating distortion of multi-view image
KR101558573B1 (ko) * 2008-12-26 2015-10-07 엘지이노텍 주식회사 스테레오 카메라 영상 합성 방법
JP2011048507A (ja) * 2009-08-25 2011-03-10 Geo Solutions Inc ３次元データ生成装置、３次元データ生成方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101402185B1 (ko) * 2012-06-01 2014-06-19 광운대학교 산학협력단 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법
KR101492060B1 (ko) * 2013-08-20 2015-02-12 전자부품연구원 동영상의 일괄 컬러 변환 방법 및 그 기록매체

Also Published As

Publication number Publication date
KR101227936B1 (ko) 2013-01-30

Similar Documents

Publication Publication Date Title
US8620070B2 (en) Corresponding image processing method for compensating colour
KR101172629B1 (ko) 영상 처리 방법 및 이를 위한 장치
US8036491B2 (en) Apparatus and method for aligning images by detecting features
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
JP4816725B2 (ja) 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
US8199202B2 (en) Image processing device, storage medium storing image processing program, and image pickup apparatus
JP4772839B2 (ja) 画像識別方法および撮像装置
CN102685511B (zh) 图像处理设备和图像处理方法
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5476264B2 (ja) カメラトラッキング装置およびそのプログラム
CN110909750B (zh) 图像差异检测方法及装置、存储介质、终端
JP5262705B2 (ja) 運動推定装置及びプログラム
JP6045523B2 (ja) 画像処理装置およびその制御方法
US11347133B2 (en) Image capturing apparatus, image processing apparatus, control method, and storage medium
EP2648157A1 (en) Method and device for transforming an image
JP7044016B2 (ja) ラインセンサカメラのキャリブレーション装置及び方法
WO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
JP5970012B2 (ja) 画像処理装置およびその制御方法
KR101227936B1 (ko) 대응 영상의 컬러 보정 방법 및 그 기록매체
US10515442B2 (en) Image processing apparatus that corrects for lateral chromatic aberration, image capturing apparatus, image processing method, and storage medium
US11995153B2 (en) Information processing apparatus, information processing method, and storage medium
US20180150966A1 (en) System and method for estimating object size
KR101480955B1 (ko) 동영상을 이용한 부유 구조물의 변위 측정 시스템 및 방법
JP2017041113A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110531

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120711

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130115

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130124

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130125

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151224

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20161229

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20171207

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20171207

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190115

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190115

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20200115

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20210120

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20220117

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20221219

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20231227

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20241224

Start annual number: 13

End annual number: 13