KR20090064243A - 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법 - Google Patents

Abstract

본 발명은 컬러 체크 챠트를 이용한 다중 카메라간 컬러 일치 방법에 관한 것이다. 즉, 본 발명에서는 3차원 정보 복원을 수행하는 영상처리 기법에서 여러 대의 카메라를 사용하여 촬영한 영상을 조합하는 경우 카메라의 특성 또는 촬영 시 조명의 조건에 따라 발생하는 색 차에 대해 각 카메라 별로 기준 컬러 모델과의 관계를 모델링하여 보정을 수행함으로써 다중 카메라간 컬러를 일치시킨다. 이에 따라 여러 대의 카메라를 사용하여 획득한 영상들을 바탕으로 3차원 정보를 복원하는 경우, 카메라마다 다른 컬러 값들을 동일한 값으로 보정하여 2차원 영상들의 정보를 효과적으로 조합하는 것이 가능하다. 또한, 한 대의 카메라를 옮겨가며 촬영하는 것이 불가능한 상황인 동적 물체의 3차원 정보 복원에 유용하다.

카메라, 컬러, 일치, 컬러 체커 챠트

Description

컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법{MULTI-VIEW CAMERA COLOR CALIBRATION USING COLOR CHECKER CHART}

본 발명은 다중 카메라간 컬러(color)를 보정하는 방법에 관한 것으로, 특히, 3차원 정보 복원을 수행하는 영상처리 기법에서 여러 대의 카메라를 사용하여 촬영한 영상을 조합하는 경우 카메라의 특성 또는 촬영 시 조명의 조건에 따라 발생하는 색 차를 보정하는 컬러 체커 챠트(color checker chart)를 이용한 다중 카메라간 컬러 일치 방법에 관한 것이다.

통상적으로, 3차원 정보 복원에 사용되는 가장 일반적인 방법 중 하나는 여러 방향의 시야각(view)로부터 획득한 2차원의 영상정보를 조합하는 것이다. 이 때 정보의 조합을 위해 여러 시야각에서 나타나는 대응 지점을 찾는 것이 중요하다. 그러나 동일 모델의 카메라를 사용한다 하더라도 센서의 특성차이와 카메라 위치에 따른 조명 밝기의 영향 등으로 인하여 획득한 영상의 컬러 값들이 동일하지 않아 일치점을 찾기 어렵다. 따라서 센서의 고유한 특성과 촬영시 카메라의 위치에 따른 조명영향 때문에 발생하는 컬러 차를 보정하는 기술이 필요하다.

기존에 카메라의 특성 때문에 발생하는 컬러 차를 보정하기 위한 방법으로 맥베스 컬러체커 챠트(Macbeth color checker chart)를 이용하는 방법이 있다. 그러나 기존의 방법들은 카메라의 하드웨어(hardware)적인 특성만을 고려하므로 실제 촬영 시 발생할 수 있는 다른 조건들을 반영할 수 없는 문제점이 있었다.

즉, 동시에 여러 대의 카메라를 사용하여 서로 다른 시야각에서 촬영하는 경우 카메라의 특성뿐 아니라 카메라의 배치에 의한 조명의 영향이 달라지므로 컬러 보정시 이러한 사항을 반영할 수 있어야 하는데, 기존의 방법들은 이와 같은 카메라의 다양한 특성 정보를 모두 고려하는 것이 아니라, 카메라의 하드웨어적인 특성만을 고려하므로 컬러 차에 대한 보정이 정확히 이루어지지 않는 문제점이 있었다.

따라서 본 발명은 3차원 정보 복원을 수행하는 영상처리 기법에서 여러 대의 카메라를 사용하여 촬영한 영상을 조합하는 경우 카메라의 특성 또는 촬영 시 조명의 조건에 따라 발생하는 컬러 차에 대해 각 카메라 별로 기준 컬러 모델과의 관계를 모델링하여 보정을 수행함으로써 다중 카메라간 컬러를 일치시키는 방법을 제공하고자 한다.

상술한 목적을 달성하기 위한 본 발명은 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법으로서, (a')다수의 카메라로부터 입력되는 촬영데이터의 밝기 범위를 측정하는 단계와, (b')각 카메라별 컬러 체커 챠트를 촬영하여 챠트의 밝기 값이 상기 각 카메라의 입력영상의 밝기 범위에 속하도록 조절하는 단계와, (c')상기 체커 챠트의 그레이 패치를 이용하여 각 카메라의 밝기를 보정하는 단계와, (d')각 카메라별 획득한 체커 챠트의 컬러 값과 컬러 체커 챠트가 제공하는 기준 컬러값 사이의 관계를 모델링하는 단계와, (e')상기 모델링에 따른 컬러 차이값을 보정하여 다수의 카메라간 컬러를 일치시키는 단계를 포함한다.

본 발명에서는 여러 대의 카메라를 사용하여 획득한 영상들을 바탕으로 3차 원 정보를 복원하는 경우, 카메라마다 다른 컬러 값들을 동일한 값으로 보정하여 2차원 영상들의 정보를 효과적으로 조합하는 것이 가능하다. 따라서 한 대의 카메라를 옮겨가며 촬영하는 것이 불가능한 상황인 동적 물체의 3차원 정보 복원에 유용하다.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명의 구체적인 핵심 기술요지를 살펴보면, 3차원 정보 복원을 수행하는 영상처리 기법에서 여러 대의 카메라를 사용하여 촬영한 영상을 조합하는 경우 카메라의 특성 또는 촬영 시 조명의 조건에 따라 발생하는 색 차에 대해 각 카메라 별로 기준 컬러 모델과의 관계를 모델링하여 보정을 수행하는 기술을 통해 본 발명에서 이루고자 하는 바를 쉽게 달성할 수 있다.

이하, 본 발명에 따른 3차원 복원을 위한 멀티 뷰 카메라를 사용하여 획득한 영상들의 컬러 값을 일치시키는 방법에 대해 도면을 참조하여 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 다중 카메라간 컬러 일치 기능을 수행하는 응용 프로그램이 탑재되는 컴퓨터와 카메라의 연결 구성을 도시한 것이다.

다수의 카메라(100,102,104)는 3차원 정보 복원을 위해 피사체의 촬영하며 촬영된 데이터를 연결된 컴퓨터(106)로 전송시킨다. 인터페이스부(interface)(108)는 다수의 카메라(100,102,104)와 연결되어 다수의 카메라로부터 촬영된 이미지 데이터를 제어부(112)로 인가시킨다. 키입력부(116)는 다수의 숫자키 및 기능키를 구비하여 사용자에 의한 키입력시 해당 키데이터(key data)를 발생하여 제어부(112)로 인가시킨다.

메모리부(110)는 컴퓨터(106)의 전반적인 동작 제어를 위한 제어부(112)에 의해 수행될 동자 제어 프로그램을 저장하며, 본 발명에 따라 다중 카메라의 컬러 일치 수행을 위한 응용 프로그램(application program)을 탑재한다. 표시부(114)는 제어부(112)의 제어에 따라 다수의 카메라(100,102,104)로부터 입력되는 촬영 데이터에 대한 컬러 일치 기능 수행 시 최종 보정된 컬러값을 결과로 출력시킨다.

제어부(112)는 메모리부(110)에 저장된 동작 제어 프로그램에 따라 컴퓨터(106)의 전반적인 동작을 제어한다. 또한 본 발명의 실시 예에 따른 다수의 카메라의 촬영 데이터간 컬러 일치 동작 수행 시 메모리부(110)에 탑재된 응용 프로그램을 수행하여 3차원 정보 복원을 수행하는 영상처리 기법에서 여러 대의 카메라를 사용하여 촬영한 영상을 조합하는 경우 카메라의 특성 또는 촬영 시 조명의 조건에 따라 발생하는 컬러 차에 대해 각 카메라 별로 기준 컬러 모델과의 관계를 모델링 하여 보정을 수행함으로써 다수 카메라간 컬러를 일치시킨다.

즉, 여러 대의 카메라가 동일한 컬러 특성을 나타내도록 하기위해서는 기준이 되는 컬러 값이 필요한데, 기준 컬러로서는 특정 조명조건 하에서 촬영한 경우의 컬러 값을 제공되는 맥배스 컬러체커 챠트(Macbeth Color Checker chart)를 이용한다. 따라서, 제어부(112)는 촬영에 사용된 카메라의 특성을 알기 위해 컬러 체커 챠트를 촬영할 때 보정해야 할 입력 데이터에서 나타나는 밝기 범위를 카메라별로 측정하여 해당 카메라의 컬러 체커 챠트 촬영 시 챠트의 밝기 값이 측정한 범위에 들어가도록 조절한다. 그 후 체커 챠트의 그레이(Gray) 패치만을 이용하여 RGB 각 채널별 입력 값을 참값으로 제공된 기준값 모델에 피팅(fitting)함으로써 사용된 다중 시야각 촬영 카메라들의 밝기를 조절할 수 있다.

이때 카메라로 촬영된 영상에서 각 패치를 대표하는 RGB 값은 패치 크기의 50%에 해당하는 영역에서 취하며 노이즈(noise)의 영향을 최소화하기 위하여 패치의 중앙에 위치한 픽셀(pixel)들의 평균값으로 설정한다. 컬러값의 상세한 보정은 체커 챠트가 제공하는 전체 패치를 통해 수행한다. 이에 따라 각 카메라별로 획득한 패치의 컬러값과 컬러체커 챠트가 제공하는 기준 컬러값 사이의 관계방정식을 구하고 이를 임의의 입력에 적용함으로써 멀티 시야각 카메라의 서로 다른 입력들을 같은 컬러로 변환하는 것이 가능하다.

도 2는 본 발명의 실시 예에 따라 여러 대의 카메라로 부터 입력된 영상들의 컬러 값을 일치시키는 동작 제어 흐름을 도시한 것이다. 이하, 도 1 및 도 2를 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.

3차원 데이터 복원 수행 시 제어부(112)는 메모리부(110)에 탑재된 다수의 카메라의 컬러를 일치시키는 응용 프로그램을 실행시켜, 3차원 데이터 복원을 위한 카메라간 컬러가 일치되도록 하는 동작을 수행하게 된다.

먼저, 인터페이스부(108)를 통해 3차원 복원을 목적으로 한 장면을 여러 방향에서, 여러 대의 카메라를 사용하여 촬영한 다수의 카메라(100,102,104)로부터 촬영된 촬영데이터를 입력(S200)한다.

이때 각 카메라별 입력 영상의 밝기는 카메라의 특성 혹은 카메라 위치에 따른 조명의 영향 차에 의해 영향을 받게 되므로 촬영된 데이터로부터 입력영상의 밝기 범위를 측정(S201)한다.

그런 후, 각 카메라별로 기준 컬러와의 관계를 찾기 위하여 컬러 체커 챠트를 촬영(S202)하는데, 이때 챠트의 밝기 값이 이전 단계(S201)에서 측정한 범위에 들어가도록 조절한다.

이어, 체커 챠트의 여러 패치들 중 그레이 패치만을 이용하여 RGB 각 채널별 입력값을 참값으로 제공된 기준값 모델에 피팅함으로써 사용된 다중 뷰 촬영 카메라들의 밝기를 조절(S203)할 수 있다. 이때 카메라로 촬영된 영상에서 각 패치를 대표하는 RGB 값은 패치 크기의 50%에 해당하는 영역에서 취하며 노이즈의 영향을 최소화하기 위하여 패치의 중앙에 위치한 픽셀들의 평균값으로 설정한다.

그런 후, 컬러값의 상세한 보정은 체커 챠트가 제공하는 전체 패치를 통해 수행한다(S204). 이때 각 카메라별로 획득한 패치의 컬러값과 컬러 체커 챠트가 제공하는 기준 컬러값 사이의 관계방정식은 다음과 같은 과정을 통해 구한다.

관계방정식의 계수 a는 각 카메라 별로 촬영한 체커의 패치 컬러 RGB 값을 사용하여 아래의 [수학식1]과 같은 비선형 방정식을 만족하도록 결정된다.

위 [수학식1]을 사용하여 X, Y, Z 각각 16씩 총 48개의 계수를 추정한다. 이를 행렬식으로 표현하면 아래의 [수학식2]로 표현 가능하며,

T = AD

이때, 계수 행렬 A는 a _{x1} SIM a _{z16} 을 포함하는 3X16의 행렬이다. 행렬D의 크기는 16Xn으로 각 카메라에서 촬영된 컬러 패치의 컬러 값들로 결정된다.

이때 추정되는 계수는 완전한 역 변환이 성립하지 않으므로 아래 [수학식3]에서와 같은 가상 역변환(pseudo inverse)과정을 통해 계산한다.

A = D⁺T

이렇게 결정된 관계방정식을 입력영상에 적용하여 다중 카메라간 컬러 보정(S205)을 수행하여, 카메라간의 컬러가 일치된 보정된 컬러값 sRGB을 출력 결과(S206)로 얻을 수 있다.

도 3은 도 2에서 나타낸 n (현재, n = 9)개의 카메라로 촬영한 입력 영상이며, 도 4는 도 2의 다수의 카메라간 컬러 일치 과정을 수행함으로써 컬러를 보정한 결과를 나타낸 영상을 도시한 것이다. 도 4에서 보여지는 바와 같이, 다양한 방향에서 촬영되어 컬러 차이가 발생한 영상이 컬러 보정을 통해 컬러가 일치된 것을 알 수 있다. 이에 따라 카메라마다 다른 컬러 값들을 동일한 값으로 보정하여 2차원 영상들의 정보를 효과적으로 조합하는 것이 가능하게 된다.

도 5a 내지 도 5b는 도 3와 도 4의 영상에서 모델 얼굴의 피부 컬러 분포를 나타낸 것이며, 정량적인 컬러 차이를 살펴보기 위하여 CIELAB 공간상에 도시한 것이다. 즉, 도 5a 내지 도 5b에서 보여지는 바와 같이 컬러 일치 수행에 따라 컬러의 분포가 변화한 것을 알 수 있다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

도 1은 본 발명의 실시 예에 따른 다수의 카메라간 컬러 일치 기능이 컴퓨터와 카메라간 연결 구성도,

도 2는 본 발명의 실시 예에 따른 다수의 카메라간 컬러 일치 처리 흐름도,

도 3은 종래 다양한 카메라 시야각에 따라 컬러 차이가 발생한 영상 예시도,

도 4는 본 발명의 실시 예에 따라 카메라간 컬러 일치가 수행되어 컬러 동일값으로 보정된 영상 예시도,

도 5a 내지 도 5b는 본 발명의 실시 예에 따른 보정된 컬러분포 예시도.

Claims (10)

1. 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법으로서,

   (a)3차원 데이터 복원 시 다수의 카메라로부터 여러 방향에서 동시에 촬영한 영상들 간 발생하는 컬러 차를 산출하는 단계와,

   (b)상기 컬러 차에 대해 각 카메라 별 컬러 모델과 컬러 체커 챠트의 기준 컬러 모델과의 관계를 모델링하여 보정시켜 다중 카메라간 컬러를 일치시키는 단계

   를 포함하는 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법.
2. 제 1 항에 있어서,

   상기 (b)단계에서, 상기 다수의 카메라의 입력 영상 컬러 정보와 기준이 되는 컬러 체커 챠트의 컬러 정보 사이의 컬러 매핑 방정식의 계수를 추정하고 이를 적용하여 다수의 카메라로부터의 입력 영상 컬러 값을 일치시키는 것을 특징으로 하는 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법.
3. 제 1 항에 있어서,

   상기 (b)단계에서, 상기 카메라별 컬러 모델은,

   상기 카메라로 촬영된 영상에서 각 패치를 대표하는 RGB 값을 산출하여 얻어 지는 것을 특징으로 하는 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법.
4. 제 3 항에 있어서,

   상기 카메라로 촬영된 영상에서 각 패치를 대표하는 RGB 값은,

   각 패치 크기의 50%에 해당하는 영역에서 취하며, 각 패치의 중앙에 위치한 픽셀들의 평균값으로 산출되는 것을 특징으로 하는 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법.
5. 제 2 항에 있어서,

   상기 컬러 체커 챠트는, 맥배스 컬러 체커 챠트인 것을 특징으로 하는 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법.
6. 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법으로서,

   (a')다수의 카메라로부터 입력되는 촬영데이터의 밝기 범위를 측정하는 단계와,

   (b')각 카메라별 컬러 체커 챠트를 촬영하여 챠트의 밝기 값이 상기 각 카메라의 입력영상의 밝기 범위에 속하도록 조절하는 단계와,

   (c')상기 체커 챠트의 그레이 패치를 이용하여 각 카메라의 밝기를 보정하는 단계와,

   (d')각 카메라별 획득한 체커 챠트의 컬러 값과 컬러 체커 챠트가 제공하는 기준 컬러값 사이의 관계를 모델링하는 단계와,

   (e')상기 모델링에 따른 컬러 차이값을 보정하여 다수의 카메라간 컬러를 일치시키는 단계

   를 포함하는 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법.
7. 제 6 항에 있어서,

   상기 (d')단계의 모델링은, 상기 다수의 카메라의 입력 영상 컬러 정보와 기준이 되는 컬러체커 챠트의 컬러 정보 사이의 컬러 매핑 방정식의 계수를 추정하여 수행되는 것을 특징으로 하는 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법.
8. 제 6 항에 있어서,

   상기 (d')단계에서, 상기 카메라별 컬러 값은,

   상기 카메라로 촬영된 영상에서 각 패치를 대표하는 RGB 값을 산출하여 얻어지는 것을 특징으로 하는 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법.
9. 제 8 항에 있어서,

   상기 카메라로 촬영된 영상에서 각 패치를 대표하는 RGB 값은,

   각 패치 크기의 50%에 해당하는 영역에서 취하며, 각 패치의 중앙에 위치한 픽셀들의 평균값으로 산출되는 것을 특징으로 하는 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법.
10. 제 7 항에 있어서,

    상기 컬러 체커 챠트는, 맥배스 컬러 체커 챠트인 것을 특징으로 하는 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법.

Images