KR101903428B1

KR101903428B1 - 연관 이미지간 컬러 보정 시스템 및 보정방법

Info

Publication number: KR101903428B1
Application number: KR1020170040849A
Authority: KR
Inventors: 현승현
Original assignee: (주)잼투고
Priority date: 2017-03-30
Filing date: 2017-03-30
Publication date: 2018-11-07

Abstract

본 발명은 연관 이미지간 컬러 보정 시스템 및 컬러 보정방법에 관한 것으로, 본 발명에 따른 연관 이미지간 컬러 보정 시스템은, 제 1 이미지 및 제 2 이미지를 입력받는 영상 입력모듈; 상기 제 1 이미지의 적어도 일부를 구성하는 픽셀들의 적색 명도값들, 녹색 명도값들, 및 청색 명도값들을 취득하는 픽셀 데이터 취득모듈; 제 1 기준치 이상의 명도값을 갖는 적색 픽셀수인 유효 적색 픽셀수, 제 2 기준치 이상의 명도값을 갖는 녹색 픽셀수인 유효 녹색 픽셀수, 및 제 3 기준치 이상의 명도값을 갖는 청색 픽셀수인 유효 청색 픽셀수를 연산하는 개별 유효 픽셀수 연산모듈; 상기 유효 적색 픽셀수, 상기 유효 녹색 픽셀수, 및 상기 유효 청색 픽셀수의 합인 총 유효 픽셀수를 연산하는 총 유효 픽셀수 연산모듈;상기 유효 적색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 적색 픽셀비, 상기 유효 녹색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 녹색 픽셀비, 및 상기 유효 청색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 청색 픽셀비를 연산하는 개별 유효 픽셀비 연산모듈; 상기 유효 적색 픽셀비에 근거하여 기준 적색 명도값을 연산하고, 상기 유효 녹색 픽셀비에 근거하여 기준 녹색 명도값을 연산하고, 상기 유효 청색 픽셀비에 근거하여 기준 청색 명도값을 연산하여 제 1 이미지 기준색을 결정하는 기준색 결정모듈; 및 상기 제 1 이미지 기준색을 기준으로 상기 제 2 이미지의 적어도 일부 영역의 픽셀들에 대한 컬러 보정을 수행하는 컬러 보정모듈;를 포함하여 구성되는 것을 특징으로 한다.

Description

연관 이미지간 컬러 보정 시스템 및 보정방법{System and Method of Color Correction for Related Images}

본 발명은 연관 이미지간 컬러 보정 시스템 및 보정방법에 관한 것이다. 보다 상세하게는 효율적인 이미지 프로세싱을 통해 컬러 이미지간 색상차이를 감소시켜 연관 이미지간의 위화감을 제거할 수 있는 연관 이미지간 컬러 보정 시스템 및 보정방법에 관한 것이다.

개인화된 비디오 촬영장비 보급, 비디오 편집기술 발달, 및 통신기술 발달에 따라 기존에는 전문가의 영역이었던 비디오 컨텐츠의 촬영, 편집 및 인터넷 유통이 일반 사용자들에 의해 가능한 환경으로 발전되고 있다. 특히 이미지 편집기술 발전으로 인해 서로 다른 촬영장비로 촬영된 영상 이미지들의 합성하는 기법이 일반화되고 있다. 그런데 촬영장비 특성의 차이 및 촬영조건의 차이 등으로 인해 영상 이미지들은 서로 다른 색감을 갖기 때문에 이들을 합성하였을 경우 이미지들 간의 위화감이 발생하여 합성 이미지가 부자연스러운 문제가 있다.

편집자는 두 이미지의 색상(hue), 채도(saturation), 명도(brightness) 등이 일치하도록 이미지를 보정하여 연관 이미지간 위화감을 감소시킬 수 있다. 그런데 이미지 보정작업을 위해서는 전문적인 영상편집 기술이 요구되고, 편집작업에 많은 시간이 소요되는 문제가 있다. 따라서 영상합성에 요구되는 인력, 비용, 및 시간을 저감할 수 있는 자동화된 연관 이미지간 컬러 보정방법이 요구된다. 또한 영상편집을 위해서는 높은 성능의 데스크탑 컴퓨터 또는 워크스테이션급 컴퓨터가 요구되는데 UGC(User Generated Content)를 생산하고자 하는 일반인은 이러한 고가의 편집장비를 구비하기 어렵다. 따라서 저성능의 연산처리장치를 갖는 스마트폰 등의 휴대용 기기에서도 효율적인 실시간 또는 근실시간(near real time) 비디오 합성을 할 수 있도록 대용량 비디오 이미지의 분석 및 보정에 소요되는 연산부담을 저감할 필요성이 있다.

삼성전자 주식회사의 미국등록특허 제9,357,117호 “Photographing device for production composite image and method using the same” 및 HITACHI CONSUMER ELECTRONICS의 일본공개특허공보 제2011-029947호 “화상합성장치 및 화상합성방법”은 합성영상을 구성하는 이미지들간의 이질감을 감소시키기 위해 이미지간의 명도, 채도, 색상을 유사하게 보정하는 화상보정의 필요성을 개시한다. 하지만 이러한 선행문헌들은 어떠한 방법을 통해 이미지간의 화상보정을 수행하는지에 대해서는 구체적으로 개시하지 않은 문제가 있다.

PANASONIC의 미국등록특허 제8,018,494호 “Color correction device, color correction method, dynamic camera color correction device, and video search device using the same”은 인접하게 설치된 복수의 감시용 카메라들에 있어서 카메라 설치환경 및 일조환경 등의 촬영환경 변화에 따라 능동적으로 이미지의 컬러를 보정하여 카메라들이 생성하는 이미지들을 균일화하는 방법을 개시한다. 구체적으로는 배경의 기준 색정보를 미리 저장하고 촬영된 이미지의 배경에서 추출된 추출 색정보 간의 비교를 통해 촬영된 이미지의 컬러를 보정한다. 이러한 구성에 따르면 일조량의 변화에도 불구하고 동일한 색감의 영상을 취득할 수 있는 효과가 있다. 하지만 본 선행문헌에 개시된 방법은 고정된 배경의 지정된 기준 색정보를 기준으로 컬러를 보정하기 때문에 동일한 배경이 촬영되지 않은 이미지들의 합성에는 사용할 수 없는 문제가 있다.

FUJIFILM의 일본등록특허 제3850226호 “화상처리방법 및 장치”는 인물이 포함된 이미지에 있어서 인물의 피부색을 양호하게 재현할 수 있는 화상처리방법을 개시한다. 본 선행문헌은 기저장된 바람직한 피부색에 대한 정보인 피부색 화상 데이터와 촬영된 이미지의 피부색에 대한 정보인 얼굴 영역 화상 데이터를 비교하여 피부색 화상 데이터와 얼굴 영역 화상 데이터 간의 가중 가산을 통해 촬영된 이미지를 보정하기 때문에 인물의 피부색을 원하는 색상으로 조색할 수 있는 효과가 있다. 하지만 본 선행문헌에 개시된 방법은 이상적인 피부색 재현이 아닌 배경의 색상에 부합하도록 피부색 등의 객체의 컬러를 보정하는 합성에는 사용할 수 없는 문제가 있다.

Eastman Kodak의 미국등록특허 7,679,786호 “Color correction method”는 바람직한 색감을 얻기 위한 컬러보정방법을 개시한다. 일반적인 화이트 밸런스(white balancing)는 이미지의 가장 밝은 지점의 RGB 명도값을 최대 명도값으로 지정하고 이에 따라 해당 이미지를 구성하는 픽셀들의 RGB 값을 최대 명도값에 따라 스케일링(scaling)하는데, 이 경우 가장 밝은 지점을 초과하는 적색 명도값, 녹색 명도값, 또는 청색 명도값은 스케일링 과정에서 색상정보가 유실되는 문제가 있다. 본 선행문헌에 개시된 방법은 가장 밝은 지점의 RGB 명도값 보다 높은 개별 명도값을 보유한 픽셀의 개별 명도값을 기준으로 R 스케일링, G 스케일링, B 스케일링을 수행함으로써 컬러 밸런스 과정에서 색상정보의 유실을 방지하는 효과가 있다. 하지만 본 선행문헌에 개시된 방법은 경우에 따라 이질감 해소를 위해 오히려 색상왜곡이 필요한 경우도 발생하는 합성 이미지를 구성하는 이미지들간의 컬러보정에 사용하는 것은 적절하지 못한 문제가 있다.

미국등록특허 제9,357,117호 일본공개특허공보 제2011-029947호 미국등록특허 제8,018,494호 일본등록특허 제3850226호 미국등록특허 제7,679,786호

본 발명은 상기의 문제를 해결하기 위한 것으로, 본 발명에 따른 연관 이미지간 컬러 보정 시스템 및 보정방법은 제 1 이미지의 우세한 픽셀성분을 선별하여 제 1 이미지 기준색을 연산하고 제 1 이미지 기준색에 따라 제 2 이미지의 컬러를 보정함으로써 연산부담을 저감하여 연산처리능력이 낮은 스마트폰 등의 휴대용 장비에서도 사용이 가능하고 데이터 크기가 큰 비디오 컨텐츠에서도 필요에 따라 실시간 또는 근실시간 영상합성에 사용이 가능한 것을 목적으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템 및 보정방법은 제 1 이미지를 구성하는 일정 간격의 픽셀들을 샘플링하여 이미지 분석을 수행함으로써 컬러보정에 소요되는 연산부담을 더욱 저감하는 것을 목적으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템 및 보정방법은 동영상 이미지인 제 1 이미지의 비참조 프레임들에 대한 이미지 분석을 수행함으로써 시간에 따라 변화하는 제 1 이미지에 적응적으로 제 2 이미지의 컬러를 보정함으로써 동영상 이미지들간의 합성에 있어서 발생할 수 있는 이미지들간의 위화감을 감소시키는 것을 목적으로 한다.

상기의 목적을 달성하기 위해 본 발명에 따른 연관 이미지간 컬러 보정 시스템은, 제 1 이미지 및 제 2 이미지를 입력받는 영상 입력모듈; 상기 제 1 이미지의 적어도 일부를 구성하는 픽셀들의 적색 명도값들, 녹색 명도값들, 및 청색 명도값들을 취득하는 픽셀 데이터 취득모듈; 상기 제 1 이미지에 있어서 제 1 기준치 이상의 명도값을 갖는 적색 픽셀수인 유효 적색 픽셀수, 제 2 기준치 이상의 명도값을 갖는 녹색 픽셀수인 유효 녹색 픽셀수, 및 제 3 기준치 이상의 명도값을 갖는 청색 픽셀수인 유효 청색 픽셀수를 연산하는 개별 유효 픽셀수 연산모듈; 상기 유효 적색 픽셀수, 상기 유효 녹색 픽셀수, 및 상기 유효 청색 픽셀수의 합인 총 유효 픽셀수를 연산하는 총 유효 픽셀수 연산모듈;상기 유효 적색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 적색 픽셀비, 상기 유효 녹색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 녹색 픽셀비, 및 상기 유효 청색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 청색 픽셀비를 연산하는 개별 유효 픽셀비 연산모듈; 상기 유효 적색 픽셀비에 근거하여 기준 적색 명도값을 연산하고, 상기 유효 녹색 픽셀비에 근거하여 기준 녹색 명도값을 연산하고, 상기 유효 청색 픽셀비에 근거하여 기준 청색 명도값을 연산하여 제 1 이미지 기준색을 결정하는 기준색 결정모듈; 및 상기 제 1 이미지 기준색을 기준으로 상기 제 2 이미지의 적어도 일부 영역의 픽셀들에 대한 컬러 보정을 수행하는 컬러 보정모듈;를 포함하여 구성되는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템에 있어서, 상기 픽셀 데이터 취득모듈은, 상기 제 1 이미지의 전체영역의 모든 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템에 있어서, 상기 픽셀 데이터 취득모듈은, 상기 제 1 이미지의 전체영역의 픽셀들 중 일정 간격으로 배치된 픽셀들을 샘플링하여 상기 샘플링된 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템에 있어서, 상기 픽셀 데이터 취득모듈은, 상기 제 1 이미지의 일부영역의 모든 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템에 있어서, 상기 픽셀 데이터 취득모듈은, 상기 제 2 이미지가 합성될 영역에 인접한 영역의 모든 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템에 있어서, 상기 영상 입력모듈은, 정지 이미지인 상기 제 1 이미지 및 동영상 이미지인 상기 제 2 이미지를 입력받고, 상기 컬러 보정모듈은, 상기 제 2 이미지의 각 프레임들에 대해 컬러 보정을 수행하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템에 있어서, 상기 영상 입력모듈은, 동영상 이미지인 제 1 이미지를 입력받고, 상기 픽셀 데이터 취득모듈은, 상기 제 1 이미지에 포함된 비참조 프레임들 중 적어도 일부의 비참조 프레임들별로 상기 픽셀 데이터를 취득하고, 상기 개별 유효 픽셀수 연산모듈은, 상기 제 1 이미지에 포함된 상기 비참조 프레임들 중 적어도 일부의 상기 비참조 프레임들별로 상기 유효 픽셀수를 연산하고, 상기 총 유효 픽셀수 연산모듈은, 상기 제 1 이미지에 포함된 상기 비참조 프레임들 중 적어도 일부의 상기 비참조 프레임들별로 상기 총 유효 픽셀수를 연산하고, 상기 기준색 결정모듈은, 상기 제 1 이미지에 포함된 상기 비참조 프레임들 중 적어도 일부의 상기 비참조 프레임들별로 상기 제 1 이미지 기준색을 결정하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템은, 상기 제 1 이미지에 컬러 보정된 상기 제 2 이미지를 합성하는 이미지 합성모듈;을 더 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템은, 상기 제 1 이미지와 컬러 보정된 상기 제 2 이미지를 시간적으로 인접하게 배치하는 이미지 배치모듈;을 더 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템에 있어서, 상기 개별 유효 픽셀수 연산모듈은, 최대 명도값의 30% 내지 70% 사이의 명도값을 상기 제 1 기준치, 상기 제 2 기준치 및 상기 제 3 기준치로 적용하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템에 있어서, 상기 픽셀 데이터 취득모듈은, 0 내지 M 사이의 값으로 상기 적색 명도값들, 상기 녹색 명도값들, 상기 청색 명도값들을 취득하고, 상기 기준색 결정모듈은, 상기 유효 적색 픽셀비, 상기 유효 녹색 픽셀비, 및 상기 유효 청색 픽셀비에 각각 M을 승산하여 상기 제 1 이미지 기준색을 추출하고, 상기 컬러 보정모듈은, 제 2 이미지의 각 픽셀들에 대해

resultPixelRed = ((M / (M - colorBalanceRed)) * originPixelRed * colorBalanceFactor) + (originPixelRed * (1 - colorBalanceFactor))

resultPixelGreen = ((M / (M - colorBalanceGreen)) * originPixelGreen * colorBalanceFactor) + (originPixelGreen * (1 - colorBalanceFactor))

resultPixelBlue = ((M / (M - colorBalanceBlue)) * originPixelBlue * colorBalanceFactor) + (originPixelBlue * (1 - colorBalanceFactor))

(colorBalanceRed : 상기 기준색의 적색 명도값

colorBalanceGreen : 상기 기준색의 녹색 명도값

colorBalanceBlue : 상기 기준색의 청색 명도값

M : 픽셀 명도값의 최대치

colorBalanceFactor : 보정계수

originPixelRed : 보정 전 상기 제 2 이미지의 픽셀의 적색 명도값

originPixelGreen : 보정 전 상기 제 2 이미지의 픽셀의 녹색 명도값

originPixelBlue : 보정 전 상기 제 2 이미지의 픽셀의 청색 명도값

resultPixelRed : 보정 후 상기 제 2 이미지의 픽셀의 적색 명도값

resultPixelGreen : 보정 후 상기 제 2 이미지의 픽셀의 녹색 명도값

resultPixelBlue : 보정 후 상기 제 2 이미지의 픽셀의 청색 명도값)

의 공식을 적용하여 보정하는 것을 특징으로 한다.

본 발명에 따른 연관 이미지간 컬러 보정방법은, 컬러 보정 시스템이, 제 1 이미지를 로딩하는 단계; 상기 컬러 보정 시스템이, 상기 제 1 이미지의 적어도 일부를 구성하는 픽셀들의 적색 명도값들, 녹색 명도값들, 및 청색 명도값들을 취득하는 단계; 상기 컬러 보정 시스템이, 상기 제 1 이미지에 있어서 제 1 기준치 이상의 명도값을 갖는 적색 픽셀수인 유효 적색 픽셀수, 제 2 기준치 이상의 명도값을 갖는 녹색 픽셀수인 유효 녹색 픽셀수, 및 제 3 기준치 이상의 명도값을 갖는 청색 픽셀수인 유효 청색 픽셀수를 연산하는 단계; 상기 컬러 보정 시스템이, 상기 유효 적색 픽셀수, 상기 유효 녹색 픽셀수, 및 상기 유효 청색 픽셀수의 합인 총 유효 픽셀수를 연산하는 단계; 상기 컬러 보정 시스템이, 상기 유효 적색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 적색 픽셀비, 상기 유효 녹색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 녹색 픽셀비, 및 상기 유효 청색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 청색 픽셀비를 연산하는 단계; 상기 컬러 보정 시스템이, 상기 유효 적색 픽셀비에 근거하여 기준 적색 명도값을 연산하고, 상기 유효 녹색 픽셀비에 근거하여 기준 녹색 명도값을 연산하고, 상기 유효 청색 픽셀비에 근거하여 기준 청색 명도값을 연산하여 제 1 이미지 기준색을 결정하는 단계; 상기 컬러 보정 시스템이, 제 2 이미지를 로딩하는 단계; 및 상기 컬러 보정 시스템이, 상기 제 1 이미지 기준색을 기준으로 상기 제 2 이미지의 적어도 일부 영역의 컬러 보정을 수행하는 단계;를 포함하여 구성되는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정방법에 있어서, 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 단계;는, 상기 컬러 보정 시스템이 상기 제 1 이미지의 전체영역의 모든 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정방법에 있어서, 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 단계;는, 상기 컬러 보정 시스템이 상기 제 1 이미지의 전체영역의 픽셀들 중 일정 간격의 픽셀들을 샘플링하여 상기 샘플링된 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정방법에 있어서, 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 단계;는, 상기 컬러 보정 시스템이 상기 제 1 이미지의 일부영역의 모든 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정방법에 있어서, 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 단계;는, 상기 컬러 보정 시스템이 상기 제 2 이미지가 합성될 영역에 인접한 영역의 모든 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정방법에 있어서, 상기 제 1 이미지를 로딩하는 단계는, 상기 컬러 보정 시스템이, 정지 이미지인 상기 제 1 이미지를 로딩하고, 기 제 2 이미지를 로딩하는 단계는, 상기 컬러 보정 시스템이, 동영상 이미지인 상기 제 2 이미지를 로딩하고, 상기 제 2 이미지의 픽셀들에 컬러 보정을 수행하는 단계는, 상기 컬러 보정 시스템이, 상기 제 2 이미지의 각 프레임들에 대해 컬러 보정을 수행하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정방법에 있어서, 상기 제 1 이미지를 로딩하는 단계는, 상기 컬러 보정 시스템이, 동영상 이미지인 제 1 이미지를 로딩하고, 상기 적색 명도값들, 상기 녹색 명도값들, 및 상기 청색 명도값들을 취득하는 단계, 상기 적색 유효 픽셀수, 상기 녹색 유효 픽셀수, 및 상기 청색 유효 픽셀수를 연산하는 단계, 상기 총 유효 픽셀수를 연산하는 단계, 상기 유효 적색 픽셀비, 상기 유효 녹색 픽셀비, 상기 유효 청색 픽셀비를 연산하는 단계, 및 상기 제 1 이미지 기준색을 결정하는 단계는, 상기 제 1 이미지에 포함된 비참조 프레임들 중 적어도 일부의 비참조 프레임들별로 수행되는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정방법은, 상기 컬러 보정 시스템이, 상기 제 1 이미지에 상기 제 2 이미지를 합성하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정방법은, 상기 컬러 보정 시스템이, 상기 제 1 이미지와 상기 제 2 이미지를 시간적으로 인접하게 배치하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정방법에 있어서, 상기 유효 적색 픽셀수, 상기 유효 녹색 픽셀수, 및 상기 유효 적색 픽셀수를 연산하는 단계는, 상기 컬러 보정 시스템이 최대 명도값의 30% 내지 70% 사이의 명도값을 상기 제 1 기준치, 상기 제 2 기준치 및 상기 제 3 기준치로 적용하는 것을 특징으로 한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정방법에 있어서, 상기 적색 명도값들, 상기 녹색 명도값들, 상기 청색 명도값들을 취득하는 단계는, 상기 컬러 보정 시스템이 0 내지 M 사이의 값으로 상기 적색 명도값들, 상기 녹색 명도값들, 상기 청색 명도값들을 취득하고, 상기 제 1 이미지 기준색을 결정하는 단계는, 상기 컬러 보정 시스템이 상기 유효 적색 픽셀비, 상기 유효 녹색 픽셀비, 및 상기 유효 청색 픽셀비에 각각 M을 승산하여 상기 제 1 이미지 기준색을 추출하고, 상기 제 2 이미지의 컬러 보정을 수행하는 단계는, 상기 컬러 보정 시스템이 제 2 이미지의 각 픽셀들에 대해

(colorBalanceRed : 상기 기준색의 적색 명도값

colorBalanceGreen : 상기 기준색의 녹색 명도값

colorBalanceBlue : 상기 기준색의 청색 명도값

M : 픽셀 명도값의 최대치

colorBalanceFactor : 보정계수

의 공식을 적용하여 보정하는 것을 특징으로 한다.

본 발명에 따른 연관 이미지간 컬러 보정 시스템은, 연산처리장치; 및

컬러 보정 애플리케이션을 저장하는 저장장치;를 포함하여 구성되고, 상기 연산처리장치는, 상기 컬러 보정 애플리케이션을 실행하여 제 1 이미지를 로딩하는 단계; 상기 제 1 이미지의 적어도 일부를 구성하는 픽셀들의 적색 명도값들, 녹색 명도값들, 및 청색 명도값들을 취득하는 단계; 상기 제 1 이미지에 있어서 제 1 기준치 이상의 명도값을 갖는 적색 픽셀수인 유효 적색 픽셀수, 제 2 기준치 이상의 명도값을 갖는 녹색 픽셀수인 유효 녹색 픽셀수, 및 제 3 기준치 이상의 명도값을 갖는 청색 픽셀수인 유효 청색 픽셀수를 연산하는 단계; 상기 유효 적색 픽셀수, 상기 유효 녹색 픽셀수, 및 상기 유효 청색 픽셀수의 합인 총 유효 픽셀수를 연산하는 단계; 상기 유효 적색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 적색 픽셀비, 상기 유효 녹색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 녹색 픽셀비, 및 상기 유효 청색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 청색 픽셀비를 연산하는 단계; 상기 유효 적색 픽셀비에 근거하여 기준 적색 명도값을 연산하고, 상기 유효 녹색 픽셀비에 근거하여 기준 녹색 명도값을 연산하고, 상기 유효 청색 픽셀비에 근거하여 기준 청색 명도값을 연산하여 제 1 이미지 기준색을 결정하는 단계; 제 2 이미지를 로딩하는 단계; 및 상기 제 1 이미지 기준색을 기준으로 상기 제 2 이미지의 적어도 일부 영역의 컬러 보정을 수행하는 단계;들을 수행하는 것을 특징으로 한다.

본 발명은 상기의 구성에 따라, 본 발명에 따른 연관 이미지간 컬러 보정 시스템 및 보정방법은 제 1 이미지의 우세한 픽셀성분을 선별하여 제 1 이미지 기준색을 연산하고 제 1 이미지 기준색에 따라 제 2 이미지의 컬러를 보정함으로써 연산부담을 저감하여 연산처리능력이 낮은 스마트폰 등의 휴대용 장비에서도 사용이 가능하고 데이터 크기가 큰 비디오 컨텐츠에서도 필요에 따라 실시간 또는 근실시간 영상합성에 사용이가능한 효과를 제공한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템 및 보정방법은 제 1 이미지를 구성하는 일정 간격의 픽셀들을 샘플링하여 이미지 분석을 수행함으로써 컬러보정에 소요되는 연산부담을 더욱 저감하는 효과를 제공한다.

본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템 및 보정방법은 동영상 이미지인 제 1 이미지의 비참조 프레임들에 대한 이미지 분석을 수행함으로써 시간에 따라 변화하는 제 1 이미지에 적응적으로 제 2 이미지의 컬러를 보정함으로써 동영상 이미지들간의 합성에 있어서 발생할 수 있는 이미지들간의 위화감을 감소시키는 효과를 제공한다.

도 1은 본 발명에 따른 연관 이미지간 컬러 보정 시스템을 도시하는 구성도.
도 2는 본 발명의 실시예에 따른 연관 이미지간 컬러 보정 시스템을 도시하는 구성도.
도 3은 배경 이미지인 제 1 이미지를 예시하는 도면.
도 4는 제 1 이미지의 적색 히스토그램 분포도.
도 5는 제 1 이미지의 녹색 히스토그램 분포도.
도 6은 제 1 이미지의 청색 히스토그램 분포도.
도 7은 제 1 이미지의 유효 픽셀수를 예시하는 그래프.
도 8은 제 1 이미지의 유효 픽셀수에 근거한 기준색을 예시하는 도면.
도 9는 제 1 이미지의 전체 픽셀수를 예시하는 그래프.
도 10은 제 1 이미지의 전체 픽셀수에 근거한 기준색을 예시하는 도면.
도 11은 전경 이미지인 컬러 보정전 제 2 이미지를 예시하는 도면.
도 12는 컬러 보정전 제 2 이미지의 적색 히스토그램 분포도.
도 13은 컬러 보정전 제 2 이미지의 녹색 히스토그램 분포도.
도 14는 컬러 보정전 제 2 이미지의 청색 히스토그램 분포도.
도 15는 제 1 이미지와 컬러 보정전 제 2 이미지의 합성 이미지를 예시하는 도면.
도 16은 전경 이미지인 컬러 보정후 제 2 이미지를 예시하는 도면.
도 17는 컬러 보정후 제 2 이미지의 적색 히스토그램 분포도.
도 18은 컬러 보정후 제 2 이미지의 녹색 히스토그램 분포도.
도 19는 컬러 보정후 제 2 이미지의 청색 히스토그램 분포도.
도 20는 제 1 이미지와 컬러 보정후 제 2 이미지의 합성 이미지를 예시하는 도면.
도 21은 본 발명의 실시예에 따른 제 1 이미지 기준색 연산을 위한 소스코드를 예시하는 도면.
도 22는 본 발명의 실시예에 따른 제 1 이미지 기준색에 근거한 제 2 이미지의 컬러 보정을 위한 소스코드를 예시하는 도면.
도 23은 본 발명에 따른 연관 이미지간 컬러 보정방법을 도시하는 처리흐름도.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되어지지 않으며 자신의 발명을 최선의 방법으로 설명하기 위해 발명자가 용어와 개념을 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 해당하며, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로 해당 구성은 본 발명의 출원시점에서 이를 대체할 다양한 균등물과 변형예가 있을 수 있다.

명세서 전반에서 어떠한 부분이 어떤 구성요소를 “포함”한다는 기재는, 이에 대한 특별한 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 명세서에 기재된 “..모듈”, “..부”, “..시스템” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 하나의 장치 또는 각각 다른 장치에 포함될 수 있다.

이하에서는 도면을 참조하여 본 발명에 따른 연관 이미지간 컬러보정 시스템을 설명한다. 본 발명에서 사용되는 용어인 “연관 이미지”는 예컨대 단일의 합성 이미지의 생성에 사용되는 복수의 이미지들이거나 서로 시간적으로 인접하게 배치되는 단일에 동영상에 사용될 비디오 클립, 또는 공간적으로 인접하게 배치되는 복수의 이미지들을 예시할 수 있다. 연관 이미지는 정지 이미지일 수도 있고 동적 이미지일 수도 있다. 본 발명에서 사용되는 용어인 “컬러 보정”은 이미지를 구성하는 픽셀의 컬러정보를 변경하는 것으로 RGB 컬러 모델의 경우 적색 명도값(value_R), 녹색 명도값(value_G), 청색 명도값(value_B)을 변경하거나, HSI 컬러 모델의 경우 색상값(hue), 채도값(saturation), 명도값(intensity)을 변경하는 것을 예시할 수 있다.

본 발명에 따른 연관 이미지간 컬러 보정 시스템(100)은 도 1에 도시된 바와 같이 영상 입력모듈(110), 픽셀 데이터 취득모듈(121), 개별 유효 픽셀수 연산모듈(122), 총 유효 픽셀수 연산모듈(123), 유효 픽셀비 연산모듈(124), 기준색 결정모듈(125), 및 컬러 보정모듈(130)을 포함하여 구성된다. 이 중 픽셀 데이터 취득모듈(121), 개별 유효 픽셀수 연산모듈(122), 총 유효 픽셀수 연산모듈(123), 유효 픽셀비 연산모듈(124), 기준색 결정모듈(125)은 보정의 기준이 되는 제 1 이미지 기준색(color_ref_image_1)을 설정하기 위한 구성요성이고, 컬러 보정모듈(130)은 제 1 이미지 기준색(color_ref_image_1)에 따라 제 2 이미지(image_2)의 컬러를 보정하기 위한 구성요소이다.

연관 이미지간 컬러 보정 시스템(100)은 단일의 소프트웨어로 구현되거나 복수의 소프트웨어들의 집합으로 구현되거나 소프트웨어와 하드웨어의 결합으로 구현되거나 하드웨어로 구현될 수 있다. 본 발명의 구성요소들은 발명의 설명을 위해 논리적으로 구분한 것으로 복수의 구성요소들이 단일의 소프트웨어를 구성하는 불가분의 프로그램 코드로 구현되거나 단일의 디지털 논리회로를 포함하여 구성되는 하드웨어로 구성될 수 있다. 보다 구체적으로 연관 이미지간 컬러 보정 시스템(100)은 PC에 설치되는 프로그램, 스마트폰에 설치되는 애플리케이션 또는 디지털 논리회로 집합으로 구성되는 하드웨어로 구성될 수 있다.

영상 입력모듈(110)은 제 1 이미지(image_1) 및 제 2 이미지(image_2)를 입력받는 기능을 수행한다. 영상 입력모듈(110)은 유선 또는 무선 비디오 입력 인터페이스를 통해 제 1 이미지(image_1) 및 제 2 이미지(image_2)를 통신망을 통해 스트리밍 형태로 수신하거나 컴퓨터 파일 형태의 제 1 이미지(image_1) 및 제 2 이미지(image_2)를 저장장치에서 불러오거나 통신망을 통해 컴퓨터 파일 형태의 제 1 이미지(image_1) 및 제 2 이미지(image_2)를 수신할 수도 있다.

픽셀 데이터 취득모듈(121)은 제 1 이미지(image_1)의 적어도 일부를 구성하는 픽셀들의 적색 명도값(value_R)들, 녹색 명도값(value_G)들, 및 청색 명도값(value_B)들을 취득하는 기능을 수행한다. 픽셀 데이터 취득모듈(121)은 제 1 이미지(image_1)의 전체 또는 부분에서 픽셀 데이터를 취득할 수 있다. 실시예에 따라서 픽셀 데이터 취득모듈(121)은 제 1 이미지(image_1)를 구성하는 모든 픽셀들에 대한 픽셀 데이터를 취득할 수 있다. 이러한 실시예에 따르면 제 1 이미지(image_1)의 전체적인 색감을 고려하여 제 2 이미지(image_2)의 컬러를 보정하는 효과가 있다.

한편, 제 1 이미지(image_1)가 높은 해상도를 갖는 경우 모든 픽셀에 대한 픽셀 데이터 취득은 컬러 보정 시스템(100)의 연산부담을 높여 실시간 합성을 어렵게 할 수 있다. 컬러 보정 시스템(100)의 연산부담을 낮추기 위해 픽셀 데이터 취득모듈(121)은 제 1 이미지(image_1)의 전체영역의 픽셀들 중 일정 간격으로 배치된 픽셀들을 샘플링하여 샘플링된 픽셀들의 적색 명도값(value_R), 녹색 명도값(value_G), 및 청색 명도값(value_B)을 취득하도록 구성할 수 있다. 이러한 실시예에 따르면 예컨대 n 픽셀 간격으로 픽셀들을 샘플링함으로써 연산부담을 1/n2 으로 현저히 저감하는 효과와 함께 전체 픽셀들에 대한 픽셀 데이터를 연산하는 실시예와 비교하여 확률분포적으로 거의 유사한 컬러보정 결과를 얻는 효과가 있다.

다른 실시예에 따르면, 픽셀 데이터 취득모듈(121)은 제 1 이미지(image_1)의 전체영역이 아닌 제 1 이미지(image_1)의 일부영역의 모든 픽셀들의 적색 명도값(value_R), 녹색 명도값(value_G), 및 청색 명도값(value_B)을 취득하도록 구성할 수 있다. 이때 픽셀 데이터 취득모듈(121)은 제 2 이미지(image_2)가 합성될 영역에 인접한 영역의 모든 픽셀들의 적색 명도값(value_R), 녹색 명도값(value_G), 및 청색 명도값(value_B)을 취득하는 것이 보다 바람직하다.

이러한 실시예는 제 1 이미지(image_1)가 영역별로 색감의 차이가 큰 경우에 유용할 수 있다. 예컨대 제 1 이미지(image_1)의 중앙영역은 적색이 우세하고, 제 1 이미지(image_1)의 주변영역은 청색이 우세한 경우 모든 영역에 대해 픽셀 데이터를 취득하면 제 1 이미지(image_1)는 중립적인 색감을 갖는 것으로 컬러 보정 시스템(100)은 판단할 수 있다. 하지만 사용자의 시각적 인상은 제 1 이미지(image_1)의 중앙영역의 적색 색감을 더욱 우세하게 받아들이기 때문에 제 1 이미지(image_1)의 중앙영역의 픽셀들에 대한 픽셀 데이터를 취득하여 이를 바탕으로 제 2 이미지(image_2)의 컬러를 보정하는 것이 바람직할 수 있다.

다른 예로는 제 1 이미지(image_1)의 우측영역은 적색이 우세하고, 제 1 이미지(image_1)의 좌측영역은 청색이 우세하고 제 2 이미지(image_2)가 제 1 이미지(image_1)의 우측영역에 합성되는 경우를 가정한다. 이때 컬러 보정 시스템(100)은 제 1 이미지(image_1)가 합성될 우측영역의 픽셀들에 대한 픽셀 데이터만 취득하여 이를 바탕으로 제 2 이미지(image_2)의 컬러를 보정하는 것이 바람직하다. 이러한 실시예들에 따르면 제 1 이미지(image_1)의 색감이 불균일한 경우에도 시각적으로 중요한 영역의 색감을 선택적으로 취득함으로써 제 2 이미지(image_2)가 보다 자연스럽게 제 1 이미지(image_1)의 색감에 따라 컬러 보정되는 효과가 있을 뿐 아니라 연산에 필요한 픽셀 데이터의 수를 저감하여 컬러 보정 시스템(100)의 연산부담을 낮추는 효과가 있다.

픽셀 데이터를 추출하는 방법은 이외에도 다양한 방법이 사용될 수 있다. 예컨대 제 1 이미지(image_1)의 일부영역을 구성하는 픽셀 중 일정간격으로 샘플링된 픽셀들의 픽셀 데이터를 취득함으로써 컬러 보정 시스템(100)의 연산부담을 최소화 시킬 수 있다.

또한 제 1 이미지(image_1)를 구성하는 모든 픽셀들 또는 일정 간격으로 샘플링된 픽셀들에 있어서 중앙영역에 인접한 픽셀들은 상대적으로 높은 가중치를 픽셀 데이터에 부여하고, 중앙영역에서 떨어진 픽셀들은 상대적으로 낮은 가중치를 픽셀 데이터에 부여할 수 있다. 이와 유사하게 제 1 이미지(image_1)를 구성하는 모든 픽셀들 또는 일정 간격으로 샘플링된 픽셀들에 있어서 제 2 이미지(image_2)가 합성될 영역에 인접한 영역의 픽셀들은 상대적으로 높은 가중치를 픽셀 데이터에 부여하고, 제 2 이미지(image_2)가 합성될 영역에서 떨어진 픽셀들은 상대적으로 낮은 가중치를 픽셀 데이터에 부여할 수 있다.

한편 본 발명에서는 디스플레이에서 가장 일반적으로 사용하는 RGB 색공간을 표시하기 위한 적색 명도값(value_R), 녹색 명도값(value_G), 및 청색 명도값(value_B)을 픽셀 데이터로서 설명하고 있지만, 본 발명은 RGB 색공간에만 한정되는 것은 아니고, RGBA 색공간, CMYK 색공간, HSV 색공간, HLS 색공간, YUV 색공간, YIQ 색공간 등과 같이 RGB 색공간과 등가적으로 치환가능한 다른 색공간을 표현하기 위한 픽셀 데이터 또는 추가적인 데이터가 필요한 다른 색공간을 표현하기 위한 픽셀 데이터를 사용할 수 있음은 당업자에게 자명하다.

개별 유효 픽셀수 연산모듈(122)은 제 1 이미지(image_1_에 있어서 제 1 기준치 이상의 명도값을 갖는 적색 픽셀수인 유효 적색 픽셀수(number_valid_R), 제 2 기준치 이상의 명도값을 갖는 녹색 픽셀수인 유효 녹색 픽셀수(number_valid_G), 및 제 3 기준치 이상의 명도값을 갖는 청색 픽셀수인 유효 청색 픽셀수(number_valid_B)를 연산하는 기능을 수행한다. 유효 픽셀은 기준치 이상의 명도값을 갖는 픽셀을 의미한다. 본 발명에서는 제 1 이미지 기준색(color_ref_image_1) 연산에 각 픽셀들의 명도값 데이터를 사용하지 않고 기준치 이상의 명도값을 갖는 픽셀수에 근거하여 제 1 이미지 기준색(color_ref_image_1)을 연산하기 때문에 연산부담을 획기적으로 저감할 수 있다.

이하에서는 도 3에 도시된 바와 같은 배경 이미지로 사용될 제 1 이미지(image_1)를 예시하여 개별 유효 픽셀수 연산모듈(122)의 동작을 상세히 설명한다. 24-bit 컬러 시스템에서 픽셀의 개별 명도값은 0~255 사이의 값을 갖는다. 이하에서는 24-bit 컬러 시스템에서 제 1 기준치, 제 2 기준치 및 제 3 기준치를 모두 128을 적용한 예를 설명한다. 도 3의 제 1 이미지(image_1)는 전체적으로 푸른색(bluish)을 띄는데, 도 4에 도시된 제 1 이미지(image_1)의 적색 히스토그램에 따르면 제 1 이미지(image_1)의 적색 픽셀들은 대부분 명도값 40 내지 120 구간에 분포하여 제 1 기준치인 명도값 128 이상의 적색 픽셀이 적은 것이 확인된다. 도 5에 도시된 제 1 이미지(image_1)의 녹색 히스토그램에 따르면 제 1 이미지(image_1)의 녹색 픽셀들은 대부분 명도값 50 내지 150 구간에 분포하여 제 2 기준치인 128 이상의 녹색 픽셀이 적은 것이 확인된다. 도 6에 도시된 제 1 이미지(image_1)의 청색 히스토그램에 따르면 제 1 이미지(image_1)의 청색 픽셀들은 대부분 명도가 70 내지 210 구간에 분포하여 제 3 기준치인 128 이상의 청색 픽셀들이 많은 것이 확인된다.

이 경우 개별 유효 픽셀수 연산모듈(122)은 전체 6,220,300개의 픽셀들 중 기준치 이상의 명도값을 갖는 적색 픽셀을 241,329개, 기준치 이상의 명도값을 갖는 녹색 픽셀을 538,120개, 기준치 이상의 명도값을 갖는 청색 픽셀을 1,989,854개로 연산한다. 즉, 도 7에 도시된 바와 같이 제 1 이미지(image_1)의 유효 적색 픽셀수(number_valid_R)는 241,329개, 유효 녹색 픽셀수(number_valid_G)는 538,120개, 유효 청색 픽셀수(number_valid_B)는 1,210,405개가 된다.

한편 개별 유효 픽셀수 연산모듈(122)은 제 1 기준치, 제 2 기준치, 및 제 3 기준치를 앞서 설명한 바와 같이 모두 동일하게 설정할 수도 있고, 서로 다르게 설정할 수도 있다. 예컨대 인간의 시각은 적색에 보다 민감하게 반응하기 때문에 실시예에 따라서는 제 1 기준치는 제 2 기준치 및 제 3 기준치 보다 낮게 설정할 수 있다. 또한 사용자별로 색상인식의 민감도가 다른 점을 고려하여 사용자마다 개인화된 기준치를 적용하도록 구성할 수도 있다.

제 1 기준치, 제 2 기준치, 및 제 3 기준치는 특별히 제한되지는 않으나 최소 명도값에 지나치게 근접하면 너무 많은 픽셀들이 유효 픽셀로 판정되어 제 1 이미지 기준색(color_ref_image_1)이 중립색에 가까워져 컬러보정의 효과가 적어지고, 최대 명도값에 지나치게 근접하면 높은 명도값을 갖는 일부 픽셀에 의해 색감이 좌우되어 왜곡된 컬러보정이 발생할 수 있다. 따라서 개별 유효 픽셀수 연산모듈(122)은 최대 명도값의 30% 내지 70% 사이의 명도값을 제 1 기준치, 제 2 기준치 및 제 3 기준치로 적용하는 것이 바람직하다.

예컨대 제 1 기준치, 제 2 기준치, 및 제 3 기준치에 최소 기준치를 적용한 경우(기준치 0 을 적용한 경우), 도 3의 제 1 이미지(image_1)에 있어서 픽셀분포는 도 9에 도시된 바와 같이 적색 픽셀수 2,073,592개, 녹색 픽셀수 2,073,592개, 및 청색 픽셀수는 2,073,116개가 된다. 즉 도 3의 제 1 이미지는 청색이 우세함에도 불구하고 유효 적색 픽셀수(number_valid_R), 유효 녹색 픽셀수(number_valid_G), 유효 청색 픽셀수(number_valid_B)는 거의 동일한 수가 되는데 이는 이미지를 구성하는 하나의 픽셀은 낮은 명도값이라도 적색 명도값(value_R), 녹색 명도값(value_G), 및 청색 명도값(value_B)을 모두 포함하기 때문이다. 따라서 기준치가 낮아질수록 유효 적색 픽셀수(number_valid_R), 유효 녹색 픽셀수(number_valid_G), 유효 청색 픽셀수(number_valid_B)는 거의 동일한 개수로 수렴한다.

한편, 본 발명의 발명자의 다양한 기준치 적용 테스트 결과 개별 유효 픽셀수 연산모듈(122)은 24-bit 컬러 시스템에서 제 1 기준치, 제 2 기준치, 및 제 3 기준치를 115 내지 140 사이일 때 연관 이미지들간 위화감 해소의 효과가 높은 것으로 파악되었다.

다른 실시예에 따르면 개별 유효 픽셀수 연산모듈(122)은 픽셀수의 계산에 있어서 높은 명도값 구간의 픽셀에는 높은 가중치를 적용하고 낮은 명도값 구간의 픽셀에는 낮은 가중치를 적용하여 유효 픽셀수가 아닌 유효 가중 픽셀수를 계산하도록 구성할 수 있다. 예컨대 24-bit 컬러 시스템에 있어서 기준치 100을 적용하고, 100 내지 130의 명도값을 갖는 픽셀수에는 0.9의 가중치를 적용하고, 225 내지 255의 명도값을 갖는 픽셀수에는 1.1의 가중치를 적용할 수 있다. 이 경우 후술하는 총 유효 픽셀수 연산모듈(123)은 각 색상별 유효 가중픽셀수를 합산한 총 유효 가중 픽셀수를 연산하고, 유효 픽셀비 연산모듈(124)은 유효 가중 픽셀수와 총 유효 가중 픽셀수의 비율로 유효 픽셀비를 연산한다. 이러한 실시예에 따르면 기중치를 적용하지 않은 실시예와 비교하여 연산부담은 다소 높아지지만 연관 이미지들간 색감의 균일성이 높아지는 효과가 있다.

총 유효 픽셀수 연산모듈(123)은 유효 적색 픽셀수(number_valid_R), 유효 녹색 픽셀수(number_valid_G), 및 유효 청색 픽셀수(number_valid_B)의 합인 총 유효 픽셀수(number_valid_total)를 연산하는 기능을 수행한다. 앞서 설명한 예에서 총 유효 픽셀수(number_valid_total)는 도 7에 도시된 바와 같이 1,989,854개(241,329 + 538,120 + 1,210,405)가 된다.

유효 픽셀비 연산모듈(124)은 유효 적색 픽셀수(number_valid_R)와 총 유효 픽셀수(number_valid_total)의 비율인 유효 적색 픽셀비(ratio_valid_R), 유효 녹색 픽셀수(number_valid_G)와 총 유효 픽셀수(number_valid_total)의 비율인 유효 녹색 픽셀비(ratio_valid_G), 및 유효 청색 픽셀수(number_valid_B)와 총 유효 픽셀수(number_valid_total)의 비율인 유효 청색 픽셀비(ratio_valid_B)를 연산하는 기능을 수행한다. 앞서 설명한 도 3의 제 1 이미지(image_1)의 경우 도 7에 도시된 바와 같이 유효 적색 픽셀비(ratio_valid_R)는 0.12128(241,329/1,989,854), 유효 녹색 픽셀비(ratio_valid_G)는 0.27043(538,120/1,989,854), 유효 청색 픽셀비(ratio_valid_B)는 0.60829(1,210,405/1,989,854)가 된다.

기준색 결정모듈(125)은 유효 적색 픽셀비(ratio_valid_R)에 근거하여 기준 적색 명도값(value_ref_R)을 연산하고, 유효 녹색 픽셀비(ratio_valid_G)에 근거하여 기준 녹색 명도값(value_ref_G)을 연산하고, 유효 청색 픽셀비(ratio_valid_B)에 근거하여 을 연산하여 제 1 이미지 기준색(color_ref_image_1)을 결정하는 기능을 수행한다. 유효 픽셀비를 24-bit 컬러 시스템으로 변환하기 위해 유효 픽셀비에 255를 승산하는 방법을 적용할 수 있다. 이 경우 기준 적색 명도값(value_ref_R)은 31(0.12128 X 255), 기준 녹색 명도값(value_ref_G)은 69(0.27043 X 255), 기준 청색 명도값(value_ref_B)은 155(0.60829 X 255)이 된다. 이 경우 제 1 이미지 기준색(color_ref_image_1) RGB 값은 (31,69,155)로 도 8에 도시된 바와 같은 청색이 된다.

한편, 도 9에 도시된 바와 같이 제 1 기준치, 제 2 기준치, 및 제 3 기준치에 최소 기준치를 적용한 경우(기준치 0 을 적용한 경우)에 있어서 제 1 이미지 기준색(color_ref_image_1) RGB 값은 (85,85,85)로서 도 10에 도시된 바와 같이 중립색인 회색이 되어 후술하는 컬러 보정을 수행할 수 없는 문제가 발생한다. 따라서 본 발명에 따른 컬러 보정을 위해서는 적절한 기준치 설정이 중요하다.

도 21은 본 발명의 실시예에 따른 픽셀 데이터 취득모듈(121), 개별 유효 픽셀수 연산모듈(122), 총 유효 픽셀수 연산모듈(123), 유효 픽셀비 연산모듈(124), 및 기준색 결정모듈(125)을 OpenCV 라이브러리를 이용한 C++언어로 프로그래밍한 소스코드로 구현한 예를 도시한다.

컬러 보정모듈(130)은 제 1 이미지 기준색(color_ref_image_1)을 기준으로 제 2 이미지(image_2)의 적어도 일부 영역의 픽셀들에 대한 컬러 보정을 수행하는 기능을 수행한다. 컬러 보정모듈(130)은 제 2 이미지(image_2)의 전체 또는 일부에 대한 컬러 보정을 수행할 수 있다.

제 1 이미지 기준색(color_ref_image_1)에 근거한 이미지의 컬러보정 방식은 다양한 이미지 변환 알고리즘을 통해 구현될 수 있는데, 예시적으로 다음과 같은 방법을 사용할 수 있다.

픽셀 데이터 취득모듈(121)은 0 내지 M 사이의 값으로 적색 명도값(value_R)들, 상기 녹색 명도값(value_G)들, 상기 청색 명도값(value_B)들을 취득하고, 기준색 결정모듈(125)은 유효 적색 픽셀비(ratio_valid_R), 상기 유효 녹색 픽셀비(ratio_valid_G), 및 상기 유효 청색 픽셀비(ratio_valid_B)에 각각 M을 승산하여 제 1 이미지 기준색(color_ref_image_1)을 추출하도록 구성한다. 컬러 보정모듈(130)은 제 2 이미지(image_2)의 각 픽셀들에 대해

colorBalanceRed : 제 1 이미지 기준색(color_ref_image_1)의 적색 명도값(value_R)

colorBalanceGreen : 제 1 이미지 기준색(color_ref_image_1)의 녹색 명도값(value_G)

colorBalanceBlue : 제 1 이미지 기준색(color_ref_image_1)의 청색 명도값(value_B)

M : 픽셀 명도값의 최대치

colorBalanceFactor : 보정계수

originPixelRed : 보정 전 상기 제 2 이미지(image_2)의 픽셀의 적색 명도값(value_R)

originPixelGreen : 보정 전 상기 제 2 이미지(image_2)의 픽셀의 녹색 명도값(value_G)

originPixelBlue : 보정 전 상기 제 2 이미지(image_2)의 픽셀의 청색 명도값(value_B)

resultPixelRed : 보정 후 상기 제 2 이미지(image_2)의 픽셀의 적색 명도값(value_R)

resultPixelGreen : 보정 후 상기 제 2 이미지(image_2)의 픽셀의 녹색 명도값(value_G)

resultPixelBlue : 보정 후 상기 제 2 이미지(image_2)의 픽셀의 청색 명도값(value_B))

의 공식을 적용하여 보정하도록 구성한다. 도 22는 본 발명의 실시예에 따른 컬러 보정모듈(130)을 C++언어로 프로그래밍한 소스코드로 구현한 예를 도시한다.

도 11은 합성 이미지에서 사용될 전경 이미지인 제 2 이미지(image_2)를 도시한다. 청색이 우세한 제 1 이미지(image_1)와는 달리 제 2 이미지(image_2)는 도 12 내지 도 14의 R, G, B 히스토그램에서 확인되는 바와 같이 적색 및 녹색이 우세하다. 합성 이미지 생성시 제 1 이미지(image_1)의 촬영환경과 제 2 이미지(image_2)의 촬영환경은 상이하기 때문에 서로 다른 색감을 보이는 것이 일반적이다. 서로 상이한 색감의 제 1 이미지(image_1)와 컬러보정 전 제 2 이미지(image_2)를 합성하는 경우 도 15에 도시된 바와 같이 배경과 전경의 색감이 일치하지 않아 합성영상의 위화감이 발생하는 문제가 있다.

도 16은 도 11의 제 2 이미지(image_2)를 도 8의 제 1 이미지 기준색(color_ref_image_1)을 통해 컬러보정한 제 2 이미지(image_2)를 도시한다. 도 17 내지 도 19의 R, G, B 히스토그램에서 확인되는 바와 같이 보정 전의 제 2 이미지(image_2)와 비교하여 청색성분이 강화된 것이 확인되고, 도 16의 이미지는 도 11의 이미지와 비교하여 청색성분이 강화된 것이 역시 확인된다. 도 20은 제 1 이미지(image_1)와 컬러보정된 제 2 이미지(image_2)를 합성한 합성영상을 도시한다. 도 15의 컬러보정되지 않은 합성영상과 비교하여 도 20의 컬러보정된 합성영상은 배경과 전경이 위화감 없이 합성된 것이 확인된다.

이상 설명한 방법을 통해 보정된 제 2 이미지(image_2)는 제 1 이미지(image_1)의 색감과 위화감 없는 색감을 갖는다. 본 발명에 따른 연관 이미지간 컬러 보정 시스템(100)은 복잡한 이미지 프로세싱을 요구하지 않기 때문에 예컨대 실시간 스트리밍 방송이나 생중계되는 TV 방송과 같이 실시간 편집 또는 근실시간 편집을 요구하는 환경이나 스마트폰과 같은 연산처리능력이 부족한 환경에서 용이하게 이미지들의 합성을 위한 컬러 보정을 수행하는 효과가 있다.

한편, 제 2 이미지(image_2)에 대한 컬러 보정이 수행된 이후에 도 2에 도시된 바와 같이 이미지 합성모듈(141)을 통해 제 1 이미지(image_1)와 제 2 이미지(image_2)의 합성을 하거나 이미지 배치모듈(142)을 통해 제 1 이미지(image_1)와 제 2 이미지(image_2)를 연관성있게 배치할 수 있다.

예컨대 연관 이미지간 컬러 보정 시스템(100)은 제 1 이미지(image_1)에 컬러 보정된 제 2 이미지(image_2)를 합성하는 이미지 합성모듈(141)을 더 포함하도록 구성할 수 있다. 이미지 합성모듈(141)은 예컨대 배경 이미지로 제 1 이미지(image_1)를 이용하고 전경 이미지로 제 2 이미지(image_2)를 사용하여 합성 이미지를 생성하거나 배경 이미지로 제 2 이미지(image_2)를 이용하고 전경 이미지로 제 1 이미지(image_1)를 사용하여 합성 이미지를 생성하거나 제 1 이미지(image_1) 및 제 2 이미지(image_2)를 공간적으로 인접하게 배치할 수 있다.

다른 실시예로는, 연관 이미지간 컬러 보정 시스템(100)은 도 2에 도시된 바와 같이 제 1 이미지(image_1)와 컬러 보정된 제 2 이미지(image_2)를 시간적으로 인접하게 배치하는 이미지 배치모듈(142)을 더 포함하도록 구성할 수 있다. 이 경우 이미지 배치모듈(142)은 제 1 이미지(image_1)와 제 2 이미지(image_2)가 연속하여 재생되는 동영상 이미지를 생성할 수 있다.

한편 본 발명의 따른 연관 이미지간 컬러 보정 시스템(100)은 정지 이미지 또는 동영상 이미지를 제 1 이미지(image_1) 또는 제 2 이미지(image_2)로 사용할 수 있다. 예컨대 영상 입력모듈(110)은 정지 이미지인 제 1 이미지(image_1) 및 동영상 이미지인 제 2 이미지(image_2)를 입력받고, 컬러 보정모듈(130)은 제 2 이미지(image_2)의 각 프레임들에 대해 컬러 보정을 수행하도록 구성할 수 있다. 이러한 실시예에 따르면 정지 이미지인 제 1 이미지(image_1)를 배경으로 크로마키 촬영하여 배경이 제거된 동영상 이미지인 제 2 이미지(image_2)를 위화감 없이 합성할 수 있다.

한편, 제 1 이미지(image_1)가 동영상 이미지인 경우 시간의 변화에 따라 제 1 이미지(image_1)의 주도적인 색감이 변화할 수 있다. 따라서 제 1 이미지 기준색(color_ref_image_1)은 시간에 따라 변화하는 것이 바람직하다. 예컨대 2분 분량의 동영상 이미지인 제 1 이미지(image_1)에 있어서 1분까지는 제 1 이미지 기준색(color_ref_image_1)이 적색이고, 1분에서 2분까지 제 1 이미지 기준색(color_ref_image_1)이 청색이라면 제 1 이미지(image_1)에 합성될 제 2 이미지(image_2)는 1분까지는 적색이 우세하게 컬러 보정되고 1분에서 2분까지는 청색이 우세하게 컬러 보정이 되어야 한다.

이때 제 1 이미지(image_1)가 모든 프레임이 완성된 이미지로 구성되는 비압축 동영상 이미지라고 하면 매 프레임 또는 일정 간격의 프레임을 주기적으로 추출하여 제 1 이미지 기준색(color_ref_image_1)을 연산한다. 제 1 이미지(image_1)가 일부 프레임만 다른 프레임을 참조하지 않고 독립적으로 해독이 가능한 비참조 프레임(intra frame)으로 구성되고 나머지 프레임들은 참조 프레임(inter frame)으로 구성되는 압축 동영상 이미지라고 한다면 매 참조 프레임 또는 일정 간격의 참조 프레임을 주기적으로 추출하여 제 1 이미지 기준색(color_ref_image_1)을 연산한다.

이하에서는 압축 동영상 이미지인 제 1 이미지(image_1)를 이용하여 컬러 보정을 하는 실시예를 설명한다. 이를 위해 영상 입력모듈(110)은 동영상 이미지인 제 1 이미지(image_1)를 입력받고, 픽셀 데이터 취득모듈(121)은 제 1 이미지(image_1)에 포함된 비참조 프레임들 중 적어도 일부의 비참조 프레임들 별로 픽셀 데이터를 취득하고, 개별 유효 픽셀수 연산모듈(122)은 제 1 이미지(image_1)에 포함된 비참조 프레임들 중 적어도 일부의 비참조 프레임들별로 유효 픽셀수를 연산하고, 총 유효 픽셀수 연산모듈(123)은 제 1 이미지(image_1)에 포함된 비참조 프레임들 중 적어도 일부의 비참조 프레임들별로 총 유효 픽셀수(number_valid_total)를 연산하고, 기준색 결정모듈(125)은 제 1 이미지(image_1)에 포함된 비참조 프레임들 중 적어도 일부의 비참조 프레임들별로 제 1 이미지 기준색(color_ref_image_1)을 결정하도록 구성할 수 있다. 이러한 실시예에 따르면 컬러 보정 시스템(100)은 시간에 따라 변화하는 제 1 이미지(image_1) 색감에 적응적으로 제 2 이미지(image_2)의 컬러 보정이 가능한 효과를 제공한다.

이하에서는 도 23을 참조하여 본 발명에 따른 연관 이미지간 컬러 보정방법을 설명한다. 전술한 연관 이미지간 컬러 보정 시스템(100)에서 설명한 내용과 중복되는 부분은 자세한 설명을 생략한다.

먼저, 컬러 보정 시스템(100)이 제 1 이미지(image_1)를 로딩하는 단계(s110)를 수행한다. 컬러 보정 시스템(100)은 예컨대 유선 비디오 입력 인터페이스 또는 무선 비디오 입력 인터페이스를 통해 예컨대 스트리밍 형태 또는 컴퓨터 파일 형태의 제 1 이미지(image_1)를 통신망 또는 저장장치로부터 수신할 수 있다.

다음으로, 컬러 보정 시스템(100)이 제 1 이미지(image_1)의 적어도 일부를 구성하는 픽셀들의 적색 명도값(value_R)들, 녹색 명도값(value_G)들, 및 청색 명도값(value_B)들을 취득하는 단계(s121)를 수행한다. 이때 컬러 보정 시스템(100)은 제 1 이미지(image_1)의 전체 픽셀들에 대한 개별 명도값들을 취득할 수도 있고, 전체 픽셀들 중 일정 간격으로 배치된 픽셀들을 샘플링하여 개별 명도값들을 취득하거나 일부 영역의 픽셀들 중 일정 간격으로 배치된 픽셀들을 샘플링하여 개별 명도값들을 취득할 수도 있다. 또는 컬러 보정 시스템(100)이 제 2 이미지(image_2)가 합성될 영역에 인접한 영역의 모든 픽셀들의 개별 명도값을 취득할 수도 있다.

다음으로, 컬러 보정 시스템(100)이 제 1 이미지(image_1_에 있어서 제 1 기준치 이상의 명도값을 갖는 적색 픽셀수인 유효 적색 픽셀수(number_valid_R), 제 2 기준치 이상의 명도값을 갖는 녹색 픽셀수인 유효 녹색 픽셀수(number_valid_G), 및 제 3 기준치 이상의 명도값을 갖는 청색 픽셀수인 유효 청색 픽셀수(number_valid_B)를 연산하는 단계(s122)를 수행한다. 유효 픽셀수 연산 단계(s122)는 컬러 보정 시스템(100)이 최대 명도값의 30% 내지 70% 사이의 명도값을 제 1 기준치, 제 2 기준치 및 제 3 기준치로 적용하도록 구성하는 것이 바람직하다.

다음으로, 컬러 보정 시스템(100)이 유효 적색 픽셀수(number_valid_R), 유효 녹색 픽셀수(number_valid_G), 및 유효 청색 픽셀수(number_valid_B)의 합인 총 유효 픽셀수(number_valid_total)를 연산하는 단계(s123)을 수행한다.

다음으로, 컬러 보정 시스템(100)이 유효 적색 픽셀수(number_valid_R)와 총 유효 픽셀수(number_valid_total)의 비율인 유효 적색 픽셀비(ratio_valid_R), 유효 녹색 픽셀수(number_valid_G)와 총 유효 픽셀수(number_valid_total)의 비율인 유효 녹색 픽셀비(ratio_valid_G), 및 유효 청색 픽셀수(number_valid_B)와 총 유효 픽셀수(number_valid_total)의 비율인 유효 청색 픽셀비(ratio_valid_B)를 연산하는 단계(s124)를 수행한다.

다음으로, 컬러 보정 시스템(100)이 유효 적색 픽셀비(ratio_valid_R)에 근거하여 기준 적색 명도값(value_ref_R)을 연산하고, 유효 녹색 픽셀비(ratio_valid_G)에 근거하여 기준 녹색 명도값(value_ref_G)을 연산하고, 유효 청색 픽셀비(ratio_valid_B)에 근거하여 기준 청색 명도값(value_ref_B)을 연산하여 제 1 이미지 기준색(color_ref_image_1)을 결정하는 단계(s125)를 수행한다.

다음으로, 컬러 보정 시스템(100)이 제 2 이미지(image_2)를 로딩하는 단계(s131)를 수행한다. 제 2 이미지(image_2)를 로딩하는 단계의 순서는 특별히 제한되지 않으며 제 1 이미지(image_1)를 로딩하는 단계(s110)와 동시에 수행되거나 그 이전 또는 그 이후에 수행될 수도 있다. 이때 컬러 보정 시스템(100)은 예컨대 유선 비디오 입력 인터페이스 또는 무선 비디오 입력 인터페이스를 통해 예컨대 스트리밍 형태 또는 컴퓨터 파일 형태의 제 2 이미지(image_2)를 통신망 또는 저장장치로부터 수신할 수 있다.

마지막으로, 컬러 보정 시스템(100)이 제 1 이미지 기준색(color_ref_image_1)을 기준으로 제 2 이미지(image_2)의 적어도 일부 영역의 컬러 보정을 수행하는 단계(s132)를 수행한다.

컬러 보정을 수행하는 단계(s132)는 다양한 컬러 보정 알고리즘을 통해 이루어질 수 있으며, 예시적으로 이하와 같은 방법으로 이루어질 수 있다. 먼저, 적색 명도값(value_R)들, 녹색 명도값(value_G)들, 청색 명도값(value_B)들을 취득하는 단계(s121)는 컬러 보정 시스템(100)이 0 내지 M 사이의 값으로 적색 명도값(value_R)들, 녹색 명도값(value_G)들, 청색 명도값(value_B)들을 취득할 수 있다. 다음으로, 제 1 이미지 기준색(color_ref_image_1)을 결정하는 단계(s125)는, 컬러 보정 시스템(100)이 유효 적색 픽셀비(ratio_valid_R), 유효 녹색 픽셀비(ratio_valid_G), 및 유효 청색 픽셀비(ratio_valid_B)에 각각 M을 승산하여 제 1 이미지 기준색(color_ref_image_1)을 추출할 수 있다. 다음으로, 제 2 이미지(image_2)의 컬러 보정을 수행하는 단계(s132)는, 컬러 보정 시스템(100)이 제 2 이미지(image_2)의 각 픽셀들에 대해

M : 픽셀 명도값의 최대치

colorBalanceFactor : 보정계수

originPixelRed : 보정 전 제 2 이미지(image_2)의 픽셀의 적색 명도값(value_R)

originPixelGreen : 보정 전 제 2 이미지(image_2)의 픽셀의 녹색 명도값(value_G)

originPixelBlue : 보정 전 제 2 이미지(image_2)의 픽셀의 청색 명도값(value_B)

resultPixelRed : 보정 후 제 2 이미지(image_2)의 픽셀의 적색 명도값(value_R)

resultPixelGreen : 보정 후 제 2 이미지(image_2)의 픽셀의 녹색 명도값(value_G)

resultPixelBlue : 보정 후 제 2 이미지(image_2)의 픽셀의 청색 명도값(value_B))

의 공식을 적용하여 보정하도록 구성할 수 있다.

실시예에 따라서 연관 이미지간 컬러 보정방법은 컬러 보정 시스템(100)이 제 1 이미지(image_1)에 제 2 이미지(image_2)를 합성하는 단계를 더 포함하거나, 컬러 보정 시스템(100)이 제 1 이미지(image_1)와 제 2 이미지(image_2)를 시간적으로 인접하게 배치하는 단계를 더 포함하도록 구성할 수 있다.

한편 본 발명의 연관 이미지간 컬러 보정방법에 따르면 제 1 이미지(image_1) 및/또는 제 2 이미지(image_2)는 특별히 제한되지 않으며 정지 이미지 또는 동영상 이미지일 수 있다.

정지 이미지인 제 1 이미지(image_1)에 따라 동영상 이미지인 제 2 이미지(image_2)의 컬러를 보정하기 위한 실시예에 따르면 제 1 이미지(image_1)를 로딩하는 단계(s110)는 컬러 보정 시스템(100)이 정지 이미지인 제 1 이미지(image_1)를 로딩하고, 제 2 이미지(image_2)를 로딩하는 단계(s131)는 컬러 보정 시스템(100)이 동영상 이미지인 제 2 이미지(image_2)를 로딩하도록 구성할 수 있다. 이때 제 2 이미지(image_2)의 픽셀들에 컬러 보정을 수행하는 단계(s132)는 컬러 보정 시스템(100)이 제 2 이미지(image_2)의 각 프레임들에 대해 컬러 보정을 수행하도록 구성할 수 있다.

동영상 이미지인 제 1 이미지(image_1)에 따라 정지 이미지 또는 동영상 이미지 등인 제 2 이미지(image_2)의 컬러를 보정하기 위한 실시예에 따르면, 제 1 이미지(image_1)를 로딩하는 단계(s110)는, 컬러 보정 시스템(100)이 동영상 이미지인 제 1 이미지(image_1)를 로딩하고, 적색 명도값(value_R)들, 녹색 명도값(value_G)들, 및 청색 명도값(value_B)들을 취득하는 단계(s121), 적색 유효 픽셀수, 녹색 유효 픽셀수, 및 청색 유효 픽셀수를 연산하는 단계(s122), 총 유효 픽셀수(number_valid_total)를 연산하는 단계(s123), 유효 적색 픽셀비(ratio_valid_R), 유효 녹색 픽셀비(ratio_valid_G), 유효 청색 픽셀비(ratio_valid_B)를 연산하는 단계(s124), 및 제 1 이미지 기준색(color_ref_image_1)을 결정하는 단계(s125)는 제 1 이미지(image_1)에 포함된 비참조 프레임들 중 적어도 일부의 비참조 프레임들 별로 수행되도록 구성할 수 있다.

본 명세서에서의 발명의 상세한 설명은 바람직한 실시예를 설명하는 것으로, 본 발명은 이러한 실시예에 한정되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 이상의 실시예에 대한 다양한 변경과 수정이 가능하고, 본 발명의 기술적 사상은 이러한 다양한 변경과 수정을 모두 포함한다.

컬러 보정 시스템 : 100 영상 입력모듈 : 110
픽셀 데이터 취득모듈 : 121 개별 유효 픽셀수 연산모듈 : 122
총 유효 픽셀수 연산모듈 : 123 유효 픽셀비 연산모듈 : 124
기준색 결정모듈 : 125 컬러 보정모듈 : 130
이미지 합성모듈 : 141 이미지 배치모듈 : 142

Claims

제 1 이미지 및 제 2 이미지를 입력받는 영상 입력모듈;
상기 제 1 이미지의 적어도 일부를 구성하는 픽셀들의 적색 명도값들, 녹색 명도값들, 및 청색 명도값들을 취득하는 픽셀 데이터 취득모듈;
상기 제 1 이미지에 있어서 제 1 기준치 이상의 명도값을 갖는 적색 픽셀수인 유효 적색 픽셀수, 제 2 기준치 이상의 명도값을 갖는 녹색 픽셀수인 유효 녹색 픽셀수, 및 제 3 기준치 이상의 명도값을 갖는 청색 픽셀수인 유효 청색 픽셀수를 연산하는 개별 유효 픽셀수 연산모듈;
상기 유효 적색 픽셀수, 상기 유효 녹색 픽셀수, 및 상기 유효 청색 픽셀수의 합인 총 유효 픽셀수를 연산하는 총 유효 픽셀수 연산모듈;
상기 유효 적색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 적색 픽셀비, 상기 유효 녹색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 녹색 픽셀비, 및 상기 유효 청색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 청색 픽셀비를 연산하는 개별 유효 픽셀비 연산모듈;
상기 유효 적색 픽셀비에 근거하여 기준 적색 명도값을 연산하고, 상기 유효 녹색 픽셀비에 근거하여 기준 녹색 명도값을 연산하고, 상기 유효 청색 픽셀비에 근거하여 기준 청색 명도값을 연산하여 제 1 이미지 기준색을 결정하는 기준색 결정모듈;
상기 제 1 이미지 기준색을 기준으로 상기 제 2 이미지의 적어도 일부 영역의 픽셀들에 대한 컬러 보정을 수행하는 컬러 보정모듈;를 포함하여 구성되는 것을 특징으로 하는 연관 이미지간 컬러 보정 시스템.
제 1 항에 있어서, 상기 픽셀 데이터 취득모듈은,
상기 제 1 이미지의 전체영역의 모든 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 하는 연관 이미지간 컬러 보정 시스템.
제 1 항에 있어서, 상기 픽셀 데이터 취득모듈은,
상기 제 1 이미지의 전체영역의 픽셀들 중 일정 간격으로 배치된 픽셀들을 샘플링하여 상기 샘플링된 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 하는 연관 이미지간 컬러 보정 시스템.
제 1 항에 있어서, 상기 픽셀 데이터 취득모듈은,
상기 제 1 이미지의 일부영역의 모든 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 하는 연관 이미지간 컬러 보정 시스템.
제 4 항에 있어서, 상기 픽셀 데이터 취득모듈은,
상기 제 2 이미지가 합성될 영역에 인접한 영역의 모든 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 하는 연관 이미지간 컬러 보정 시스템.
제 1 항에 있어서,
상기 영상 입력모듈은, 정지 이미지인 상기 제 1 이미지 및 동영상 이미지인 상기 제 2 이미지를 입력받고,
상기 컬러 보정모듈은, 상기 제 2 이미지의 각 프레임들에 대해 컬러 보정을 수행하는 것을 특징으로 하는 연관 이미지간 컬러 보정 시스템.
제 1 항에 있어서,
상기 영상 입력모듈은, 동영상 이미지인 제 1 이미지를 입력받고,
상기 픽셀 데이터 취득모듈은, 상기 제 1 이미지에 포함된 비참조 프레임들 중 적어도 일부의 비참조 프레임들별로 상기 픽셀 데이터를 취득하고,
상기 개별 유효 픽셀수 연산모듈은, 상기 제 1 이미지에 포함된 상기 비참조 프레임들 중 적어도 일부의 상기 비참조 프레임들별로 상기 유효 픽셀수를 연산하고,
상기 총 유효 픽셀수 연산모듈은, 상기 제 1 이미지에 포함된 상기 비참조 프레임들 중 적어도 일부의 상기 비참조 프레임들별로 상기 총 유효 픽셀수를 연산하고,
상기 기준색 결정모듈은, 상기 제 1 이미지에 포함된 상기 비참조 프레임들 중 적어도 일부의 상기 비참조 프레임들별로 상기 제 1 이미지 기준색을 결정하는 것을 특징으로 하는 연관 이미지간 컬러 보정 시스템.
제 1 항에 있어서, 상기 연관 이미지간 컬러 보정 시스템은,
상기 제 1 이미지에 컬러 보정된 상기 제 2 이미지를 합성하는 이미지 합성모듈;을 더 포함하는 것을 특징으로 하는 연관 이미지간 컬러 보정 시스템.
제 1 항에 있어서, 상기 연관 이미지간 컬러 보정 시스템은,
상기 제 1 이미지와 상기 컬러 보정모듈에 의해 컬러 보정된 상기 제 2 이미지를 시간적으로 인접하게 배치하는 이미지 배치모듈;을 더 포함하는 것을 특징으로 하는 연관 이미지간 컬러 보정 시스템.
제 1 항에 있어서, 상기 개별 유효 픽셀수 연산모듈은,
최대 명도값의 30% 내지 70% 사이의 명도값을 상기 제 1 기준치, 상기 제 2 기준치 및 상기 제 3 기준치로 적용하는 것을 특징으로 하는 연관 이미지간 컬러 보정 시스템.
제 1 항에 있어서,
상기 픽셀 데이터 취득모듈은, 0 내지 M 사이의 값으로 상기 적색 명도값들, 상기 녹색 명도값들, 상기 청색 명도값들을 취득하고,
상기 기준색 결정모듈은, 상기 유효 적색 픽셀비, 상기 유효 녹색 픽셀비, 및 상기 유효 청색 픽셀비에 각각 M을 승산하여 상기 제 1 이미지 기준색을 추출하고,
상기 컬러 보정모듈은, 제 2 이미지의 각 픽셀들에 대해
resultPixelRed = ((M / (M - colorBalanceRed)) * originPixelRed * colorBalanceFactor) + (originPixelRed * (1 - colorBalanceFactor))
resultPixelGreen = ((M / (M - colorBalanceGreen)) * originPixelGreen * colorBalanceFactor) + (originPixelGreen * (1 - colorBalanceFactor))
resultPixelBlue = ((M / (M - colorBalanceBlue)) * originPixelBlue * colorBalanceFactor) + (originPixelBlue * (1 - colorBalanceFactor))
colorBalanceRed : 상기 제 1 이미지 기준색의 적색 명도값
colorBalanceGreen : 상기 제 1 이미지 기준색의 녹색 명도값
colorBalanceBlue : 상기 제 1 이미지 기준색의 청색 명도값
M : 픽셀 명도값의 최대치
colorBalanceFactor : 보정계수
originPixelRed : 보정 전 상기 제 2 이미지의 픽셀의 적색 명도값
originPixelGreen : 보정 전 상기 제 2 이미지의 픽셀의 녹색 명도값
originPixelBlue : 보정 전 상기 제 2 이미지의 픽셀의 청색 명도값
resultPixelRed : 보정 후 상기 제 2 이미지의 픽셀의 적색 명도값
resultPixelGreen : 보정 후 상기 제 2 이미지의 픽셀의 녹색 명도값
resultPixelBlue : 보정 후 상기 제 2 이미지의 픽셀의 청색 명도값)
의 공식을 적용하여 보정하는 것을 특징으로 하는 연관 이미지간 컬러 보정 시스템.
컬러 보정 시스템이, 제 1 이미지를 로딩하는 단계;
상기 컬러 보정 시스템이, 상기 제 1 이미지의 적어도 일부를 구성하는 픽셀들의 적색 명도값들, 녹색 명도값들, 및 청색 명도값들을 취득하는 단계;
상기 컬러 보정 시스템이, 상기 제 1 이미지에 있어서 제 1 기준치 이상의 명도값을 갖는 적색 픽셀수인 유효 적색 픽셀수, 제 2 기준치 이상의 명도값을 갖는 녹색 픽셀수인 유효 녹색 픽셀수, 및 제 3 기준치 이상의 명도값을 갖는 청색 픽셀수인 유효 청색 픽셀수를 연산하는 단계;
상기 컬러 보정 시스템이, 상기 유효 적색 픽셀수, 상기 유효 녹색 픽셀수, 및 상기 유효 청색 픽셀수의 합인 총 유효 픽셀수를 연산하는 단계;
상기 컬러 보정 시스템이, 상기 유효 적색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 적색 픽셀비, 상기 유효 녹색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 녹색 픽셀비, 및 상기 유효 청색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 청색 픽셀비를 연산하는 단계;
상기 컬러 보정 시스템이, 상기 유효 적색 픽셀비에 근거하여 기준 적색 명도값을 연산하고, 상기 유효 녹색 픽셀비에 근거하여 기준 녹색 명도값을 연산하고, 상기 유효 청색 픽셀비에 근거하여 기준 청색 명도값을 연산하여 제 1 이미지 기준색을 결정하는 단계;
상기 컬러 보정 시스템이, 제 2 이미지를 로딩하는 단계; 및
상기 컬러 보정 시스템이, 상기 제 1 이미지 기준색을 기준으로 상기 제 2 이미지의 적어도 일부 영역의 컬러 보정을 수행하는 단계;를 포함하여 구성되는 것을 특징으로 하는 연관 이미지간 컬러 보정방법.
제 12 항에 있어서,
상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 단계는, 상기 컬러 보정 시스템이 상기 제 1 이미지의 전체영역의 모든 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 하는 연관 이미지간 컬러 보정방법.
제 12 항에 있어서, 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 단계는,
상기 컬러 보정 시스템이 상기 제 1 이미지의 전체영역의 픽셀들 중 일정 간격의 픽셀들을 샘플링하여 상기 샘플링된 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 하는 연관 이미지간 컬러 보정방법.
제 12 항에 있어서, 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 단계는,
상기 컬러 보정 시스템이 상기 제 1 이미지의 일부영역의 모든 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 하는 연관 이미지간 컬러 보정방법.
제 15 항에 있어서, 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 단계는,
상기 컬러 보정 시스템이 상기 제 2 이미지가 합성될 영역에 인접한 영역의 모든 픽셀들의 상기 적색 명도값, 상기 녹색 명도값, 및 상기 청색 명도값을 취득하는 것을 특징으로 하는 연관 이미지간 컬러 보정방법.
제 12 항에 있어서,
상기 제 1 이미지를 로딩하는 단계는, 상기 컬러 보정 시스템이, 정지 이미지인 상기 제 1 이미지를 로딩하고,
상기 제 2 이미지를 로딩하는 단계는, 상기 컬러 보정 시스템이, 동영상 이미지인 상기 제 2 이미지를 로딩하고,
상기 제 2 이미지의 적어도 일부 영역의 컬러 보정을 수행하는 단계는, 상기 컬러 보정 시스템이, 상기 제 2 이미지의 각 프레임들에 대해 컬러 보정을 수행하는 것을 특징으로 하는 연관 이미지간 컬러 보정방법.
제 12 항에 있어서,
상기 제 1 이미지를 로딩하는 단계는, 상기 컬러 보정 시스템이, 동영상 이미지인 제 1 이미지를 로딩하고,
상기 적색 명도값들, 상기 녹색 명도값들, 및 상기 청색 명도값들을 취득하는 단계, 상기 적색 유효 픽셀수, 상기 녹색 유효 픽셀수, 및 상기 청색 유효 픽셀수를 연산하는 단계, 상기 총 유효 픽셀수를 연산하는 단계, 상기 유효 적색 픽셀비, 상기 유효 녹색 픽셀비, 상기 유효 청색 픽셀비를 연산하는 단계, 및 상기 제 1 이미지 기준색을 결정하는 단계는, 상기 제 1 이미지에 포함된 비참조 프레임들 중 적어도 일부의 비참조 프레임들별로 수행되는 것을 특징으로 하는 연관 이미지간 컬러 보정방법.
제 12 항에 있어서, 상기 연관 이미지간 컬러 보정방법은,
상기 컬러 보정 시스템이, 상기 제 1 이미지에 상기 제 2 이미지를 합성하는 단계;를 더 포함하는 것을 특징으로 하는 연관 이미지간 컬러 보정방법.
제 12 항에 있어서, 상기 연관 이미지간 컬러 보정방법은,
상기 컬러 보정을 수행하는 단계에서 상기 제 2 이미지에 대한 컬러 보정을 수행한 후 상기 컬러 보정 시스템이, 상기 제 1 이미지와 상기 컬러 보정된 제 2 이미지를 시간적으로 인접하게 배치하는 단계;를 더 포함하는 것을 특징으로 하는 연관 이미지간 컬러 보정방법.
제 12 항에 있어서, 상기 유효 적색 픽셀수, 상기 유효 녹색 픽셀수, 및 상기 유효 적색 픽셀수를 연산하는 단계는,
상기 컬러 보정 시스템이 최대 명도값의 30% 내지 70% 사이의 명도값을 상기 제 1 기준치, 상기 제 2 기준치 및 상기 제 3 기준치로 적용하는 것을 특징으로 하는 연관 이미지간 컬러 보정방법.
제 12 항에 있어서,
상기 적색 명도값들, 상기 녹색 명도값들, 상기 청색 명도값들을 취득하는 단계는, 상기 컬러 보정 시스템이 0 내지 M 사이의 값으로 상기 적색 명도값들, 상기 녹색 명도값들, 상기 청색 명도값들을 취득하고,
상기 제 1 이미지 기준색을 결정하는 단계는, 상기 컬러 보정 시스템이 상기 유효 적색 픽셀비, 상기 유효 녹색 픽셀비, 및 상기 유효 청색 픽셀비에 각각 M을 승산하여 상기 제 1 이미지 기준색을 추출하고,
상기 제 2 이미지의 컬러 보정을 수행하는 단계는, 상기 컬러 보정 시스템이 제 2 이미지의 각 픽셀들에 대해
resultPixelRed = ((M / (M - colorBalanceRed)) * originPixelRed * colorBalanceFactor) + (originPixelRed * (1 - colorBalanceFactor))
resultPixelGreen = ((M / (M - colorBalanceGreen)) * originPixelGreen * colorBalanceFactor) + (originPixelGreen * (1 - colorBalanceFactor))
resultPixelBlue = ((M / (M - colorBalanceBlue)) * originPixelBlue * colorBalanceFactor) + (originPixelBlue * (1 - colorBalanceFactor))
colorBalanceRed : 상기 제 1 이미지 기준색의 적색 명도값
colorBalanceGreen : 상기 제 1 이미지 기준색의 녹색 명도값
colorBalanceBlue : 상기 제 1 이미지 기준색의 청색 명도값
M : 픽셀 명도값의 최대치
colorBalanceFactor : 보정계수
originPixelRed : 보정 전 상기 제 2 이미지의 픽셀의 적색 명도값
originPixelGreen : 보정 전 상기 제 2 이미지의 픽셀의 녹색 명도값
originPixelBlue : 보정 전 상기 제 2 이미지의 픽셀의 청색 명도값
resultPixelRed : 보정 후 상기 제 2 이미지의 픽셀의 적색 명도값
resultPixelGreen : 보정 후 상기 제 2 이미지의 픽셀의 녹색 명도값
resultPixelBlue : 보정 후 상기 제 2 이미지의 픽셀의 청색 명도값)
의 공식을 적용하여 보정하는 것을 특징으로 하는 연관 이미지간 컬러 보정방법.
연산처리장치; 및
컬러 보정 애플리케이션을 저장하는 저장장치;를 포함하여 구성되고,
상기 연산처리장치는, 상기 컬러 보정 애플리케이션을 실행하여
제 1 이미지를 로딩하는 단계;
상기 제 1 이미지의 적어도 일부를 구성하는 픽셀들의 적색 명도값들, 녹색 명도값들, 및 청색 명도값들을 취득하는 단계;
상기 제 1 이미지에 있어서 제 1 기준치 이상의 명도값을 갖는 적색 픽셀수인 유효 적색 픽셀수, 제 2 기준치 이상의 명도값을 갖는 녹색 픽셀수인 유효 녹색 픽셀수, 및 제 3 기준치 이상의 명도값을 갖는 청색 픽셀수인 유효 청색 픽셀수를 연산하는 단계;
상기 유효 적색 픽셀수, 상기 유효 녹색 픽셀수, 및 상기 유효 청색 픽셀수의 합인 총 유효 픽셀수를 연산하는 단계;
상기 유효 적색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 적색 픽셀비, 상기 유효 녹색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 녹색 픽셀비, 및 상기 유효 청색 픽셀수와 상기 총 유효 픽셀수의 비율인 유효 청색 픽셀비를 연산하는 단계;
상기 유효 적색 픽셀비에 근거하여 기준 적색 명도값을 연산하고, 상기 유효 녹색 픽셀비에 근거하여 기준 녹색 명도값을 연산하고, 상기 유효 청색 픽셀비에 근거하여 기준 청색 명도값을 연산하여 제 1 이미지 기준색을 결정하는 단계;
제 2 이미지를 로딩하는 단계; 및
상기 제 1 이미지 기준색을 기준으로 상기 제 2 이미지의 적어도 일부 영역의 컬러 보정을 수행하는 단계;들을 수행하는 것을 특징으로 하는 연관 이미지간 컬러 보정 시스템.