KR101836768B1 - 물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체 - Google Patents

물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체 Download PDF

Info

Publication number
KR101836768B1
KR101836768B1 KR1020170078931A KR20170078931A KR101836768B1 KR 101836768 B1 KR101836768 B1 KR 101836768B1 KR 1020170078931 A KR1020170078931 A KR 1020170078931A KR 20170078931 A KR20170078931 A KR 20170078931A KR 101836768 B1 KR101836768 B1 KR 101836768B1
Authority
KR
South Korea
Prior art keywords
image
information
interest
point
database
Prior art date
Application number
KR1020170078931A
Other languages
English (en)
Other versions
KR20170077081A (ko
Inventor
박종일
송중석
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020170078931A priority Critical patent/KR101836768B1/ko
Publication of KR20170077081A publication Critical patent/KR20170077081A/ko
Application granted granted Critical
Publication of KR101836768B1 publication Critical patent/KR101836768B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/70—Circuits for processing colour signals for colour killing
    • H04N9/71—Circuits for processing colour signals for colour killing combined with colour gain control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록 매체가 개시된다. 개시된 자동 영상 컬러 밸런스 시스템은 물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스; 영상을 입력받는 영상 획득부; 상기 물체 데이터베이스의 인식정보를 이용해 상기 입력받은 영상 내의 물체를 인식하는 물체 인식부; 상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부; 상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부; 및 상기 게인 값에 기초하여 상기 입력받은 영상을 보정하는 영상 보정부를 포함한다. 개시된 시스템에 따르면, 흰 색의 피사체가 없더라도 물체를 인식해 컬러 밸런스를 수행할 수 있고, 물체의 고유 반사 스펙트럼을 사용하여 기존의 방법보다 정확한 컬러 밸런스를 수행할 수 있는 장점이 있다.

Description

물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체{SYSTEM AND METHOD FOR OBJECT RECOGNITION BASED AUTOMATIC PICTURE COLOR BALANCE, RECORDING MEDIUM THEREOF}
본 발명은 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체에 관한 것으로서, 더욱 상세하게는 물체 인식을 기반으로 한 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체에 관한 것이다.
기존의 영상 컬러 밸런스 기술은 영상 내에서 흰 색일 것이라 추정되는 지역이나 물체를 찾는 알고리즘이 기반이 되고 있다. 영상 내에서 흰 색이라고 추정되는 물체나 지역을 인식하면, 인식된 피사체의 색상을 기준으로 영상 전체에 화이트 밸런스를 수행한다.
하지만 영상 내에 흰 색 피사체가 항상 있다는 전제가 필요하므로, 영상 내에 흰 색 피사체가 없을 경우에는 색상 보정이 제대로 될 수가 없으며, 주변 조명 환경에 따라 흰 색 피사체 후보를 잘못 찾을 수 있기 때문에 영상 보정 결과의 신뢰도가 다소 낮다는 단점이 있다.
본 발명의 일 측면은 흰 색 피사체가 없더라도 물체 인식을 통해 고유 반사 스펙트럼 정보를 기준으로 전체 영상에 대해 컬러 밸런스를 수행하는 것이다.
본 발명의 다른 측면은 사전에 등록된 고유 반사 스펙트럼을 이용하므로 기존 기술보다 더 정확한 컬러 밸런스를 수행하는 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스; 영상을 입력받는 영상 획득부; 상기 물체 데이터베이스의 인식정보를 이용해 상기 입력받은 영상 내의 물체를 인식하는 물체 인식부; 상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부; 상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부; 및 상기 게인 값에 기초하여 상기 입력받은 영상을 보정하는 영상 보정부를 포함하는 자동 영상 컬러 밸런스 시스템이 제공된다.
상기 물체 데이터베이스의 인식 정보는 기준 영상; 특징점 기술자 및 적어도 하나의 관심점의 좌표를 포함하는 것을 특징으로 할 수 있다.
상기 물체 데이터베이스는 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보가 더 등록되어 있는 것을 특징으로 할 수 있다.
상기 물체 인식부는 상기 입력받은 영상에 특징점 기술자를 생성한 후 상기 물체 데이터베이스의 특징점 기술자들과 비교하여 가장 유사한 특징점 기술자를 갖는 물체를 상기 입력받은 영상 내의 물체와 동일한 것으로 인식하는 것을 특징으로 할 수 있다.
상기 물체 인식부는 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상의 선형 변환 관계를 나타내는 행렬을 구한 후 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점의 좌표를 상기 행렬을 이용해 워핑하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 더 포함할 수 있다.
상기 파라미터 추출부는 상기 물체 데이터베이스로부터 상기 입력받은 영상의 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 더 추출하는 것을 특징으로 할 수 있다.
상기 게인 산출부는 상기 추출된 고유 반사 스펙트럼 정보와 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 이용하여 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점의 이상적인 픽셀값을 구한 후, 상기 이상적인 픽셀값을 상기 입력받은 영상 내의 관심점의 픽셀값과 비교하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 것을 특징으로 할 수 있다.
상기 게인 산출부는 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점이 하나보다 많을 경우 각각의 관심점들에 대해 게인 값을 산출한 후 최소자승법으로 평균내어 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 것을 특징으로 할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 촬영을 통해 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득한 영상을 밸런스 조정 서버에 전송하고 상기 밸런스 조정 서버로부터 컬러 밸런스를 위한 게인값을 수신하는 통신부; 및 상기 게인값을 이용하여 영상을 보정하는 영상 보정부를 포함하되, 상기 밸런스 조정 서버는 상기 전송된 영상 내의 물체를 인식한 후 상기 물체의 고유 반사 스펙트럼 정보를 이용해 상기 컬러 밸런스를 위한 게인 값을 산출하여 영상 보정부로 전송하는 것을 특징으로 하는 영상 보정 장치가 제공된다.
또한, 본 발명의 다른 실시예에 따르면, 물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스; 영상을 수신하는 서버 통신부; 상기 물체 데이터베이스의 인식정보를 이용해 상기 수신된 영상 내의 물체를 인식하는 물체 인식부; 상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부; 및 상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 수신된 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부를 포함하되, 상기 산출된 게인 값은 상기 서버 통신부를 통해 전송하는 것을 특징으로 하는 밸런스 데이터 서버가 제공된다.
또한, 본 발명의 다른 실시예에 따르면, 물체들의 인식 정보 및 고유 반사 스펙트럼 정보를 물체 데이터베이스에 저장하는 단계; 영상을 수신하는 단계; 상기 물체 데이터베이스의 인식정보를 이용해 상기 수신된 영상 내의 물체를 인식하는 단계; 상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 단계; 및 상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 수신된 영상의 색상 보정을 위한 게인 값을 산출하여 전송하는 단계를 포함하는 자동 영상 컬러 밸런스 방법이 제공된다.
또한, 본 발명의 다른 실시예에 따르면, 상기의 자동 영상 컬러 밸런스 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체가 제공된다.
본 발명은 일반적으로 널리 사용되는 물체들의 고유 반사 스펙트럼 정보를 이용하기 때문에 기존 기술에 비해 더 정확한 컬러 밸런스를 수행할 수 있다.
또한, 흰 색 피사체가 없는 경우에도 정확한 컬러 밸런스가 가능한 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 방법의 단계들을 시간의 흐름에 따라 도시한 순서도이다.
도 3은 물체 데이터베이스(1210)의 구조를 도시한 것이다.
도 4는 기준 영상
Figure 112017059844316-pat00001
와 전송된 영상
Figure 112017059844316-pat00002
의 선형 변환 관계를 예시한 것이다.
도 5는 호모그래피 행렬
Figure 112017059844316-pat00003
에 의해 워핑된 관심점을 예시한 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 시스템의 구성을 나타낸 블록도이다.
도 1에 도시된 바와 같이, 자동 영상 컬러 밸런스 시스템은 영상 보정 장치(1100) 및 밸런스 데이터 서버(1200)로 구성될 수 있다. 영상 보정 장치(1100)는 영상 획득부(1110), 통신부(1120) 및 영상 보정부(1130)로 구성될 수 있으며, 밸런스 데이터 서버(1200)는 물체 데이터베이스(1210), 서버 통신부(1220), 물체 인식부(1230), 파라미터 추출부(1240) 및 게인 산출부(1250)를 포함할 수 있다.
이하, 도 1을 참조하여 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 장치가 입력받은 영상 속의 물체를 인식하고 이를 이용해 컬러 밸런스를 수행하는 과정을 보다 상세히 설명한다.
영상 보정 장치(1100)는 영상 획득부(1110)를 통해 영상을 획득한다. 영상 획득부(1110)는 디지털 카메라나 스마트폰, 테블릿 PC에 장착된 카메라 모듈일 수 있다. 컬러 밸런스를 위해 통신부(1120)는 획득한 영상을 서버(1200)로 전송한다.
서버(1200)는 서버 통신부(1220)를 통해 영상을 전송받는다. 물체 인식부(1230)는 전송받은 영상의 물체와 물체 데이터베이스(1210)에 저장된 물체들의 정보를 비교하게 된다.
도 3은 물체 데이터베이스(1210)의 구조를 도시한 것이다.
도 3과 같이, 물체 데이터베이스(1210)에는 물체 인식을 위한 정보들인 기준영상과 특징점 기술자 및 관심점 정보가 저장되어 있다. 물체마다 고유한 아이디를 부여해서 식별 가능하게 하고, 기준이 되는 물체의 영상이 저장되어 있을 것이다. 또한 물체의 특징점을 식별해낼 수 있도록 특징점 기술자 정보가 저장되어 있을 수 있고, 영상의 컬러 밸런스를 위하여 기준 영상의 관심점의 좌표 또한 저장되어 있을 수 있다. 또한 물체 데이터베이스(1210)에는 컬러 밸런스를 위한 파라미터들인 저장된 물체들의 고유 반사 스펙트럼과 카메라의 아이디와 민감도 정보 및 조명의 파워 스펙트럼 정보도 저장되어 있을 것이다. 고유 반사 스펙트럼이란 물체가 가진 변하지 않는 특성으로, 컬러밸런스에 용이하게 사용될 수 있다. 또한 영상을 촬영하는 카메라의 아이디와 그에 해당하는 민감도 정보, 그리고 다양한 조명의 파워 스펙트럼이 저장되어 있을 수 있다.
물체 인식부(1230)는 물체 데이터베이스(1210)의 정보를 이용해 전송받은 영상에 포함된 물체를 인식한다.
여기서 물체 인식이란 영상에 포착된 다양한 물체들이 미리 저장된 물체 데이터베이스(1210)의 물체들 중 어떠한 물체에 해당되는지 판단하는 것을 의미한다.
영상에 포함된 물체 인식은 다양한 방식으로 이루어질 수 있을 것이다. 물체 인식을 위한 공지된 다양한 알고리즘이 존재하며 어떠한 방식으로 물체 인식이 이루어져도 무방하다.
일례로, 물체 인식부(1230)는 학습 기반의 딥 러닝 방식을 이용하여 물체를 인식할 수 있을 것이다. 물체 인식부(1230)는 학습을 통해 특정 물체를 표현하기에 적합한 특징점을 설정하고 그 특징점 기술자를 물체 데이터베이스(1210)에 미리 저장할 수 있을 것이다.
여기서 특징점 기술자란 특정 물체를 다른 물체와 구별할 수 있는 기준이 되는 정보를 뜻한다. 특징점 기술자 또한 다양한 방식으로 생성될 수 있을 것이며 어떠한 방식이라도 사용할 수 있을 것이다.
특징점 기술자의 일례로 시프트 기술자를 사용할 수 있을 것인데, 공지된 Fast R-CNN 딥러닝 방식을 이용하여 물체의 특징점에 시프트 기술자를 생성할 수 있을 것이다. 시프트 기술자는 물체의 이동이나 회전시에도 물체를 인식할 수 있다는 장점이 있다. 물체 인식부(1230)는 각 물체들의 생성된 시프트 기술자들을 물체 데이터베이스(1210)에 미리 저장할 수 있을 것이다.
구축된 물체 데이터베이스(1210)를 이용해 물체 인식부(1230)는 전송받은 영상 내의 물체를 인식하게 된다.
물체 인식부(1230)는 물체 데이터베이스(1210)에 특징점 기술자를 구축한 방법과 동일한 방법으로 전송받은 영상내에서 특징점 기술자를 생성할 것이다. 물체 인식부(1230)는 생성된 특징점 기술자를 물체 데이터베이스(1210)의 물체들의 특징점 기술자들과 비교하는데, 유사한 특징점 기술자를 갖는 여러 물체를 찾게 될 수도 있을 것이다. 그러한 경우에는, 해당 물체들 중 가장 유사한 특징점 기술자를 가진 물체를 찾아내게 된다.
이제 물체 인식부(1230)는 가장 유사한 특징점 기술자를 가진 물체를 전송받은 영상 내의 물체로 인식하게 된다.
다음으로 물체 인식부(1230)는 인식된 물체의 기준 영상과 전송받은 영상의 선형 변환 관계를 계산하게 된다. 선형 변환 관계는 호모그래피 행렬로 나타낼 수 있는데, 호모그래피 행렬을 이용하면 기준 영상 내의 관심점이 전송받은 영상의 어느 좌표에 대응되는지 알아낼 수 있다. 따라서 관심점의 픽셀값과 해당 좌표의 픽셀값을 기준으로 컬러 밸런스를 수행할 수 있게 된다. 영상의 선형 변환 관계를 계산하기 위해서는 생성된 특징점 기술자 정보를 이용하는 것이 바람직할 것이다.
도 4는 기준 영상
Figure 112017059844316-pat00004
와 전송된 영상
Figure 112017059844316-pat00005
의 선형 변환 관계를 예시한 것이다.
도 4와 같은 선형 변환 관계에서는 하기의 수학식이 성립하게 된다.
Figure 112017059844316-pat00006
여기서
Figure 112017059844316-pat00007
는 물체 데이터베이스(1210)의 기준 영상,
Figure 112017059844316-pat00008
은 전송받은 물체의 영상,
Figure 112017059844316-pat00009
는 호모그래피 행렬이다. 수학식 1에 따르면, 호모그래피 행렬을 이용해,
Figure 112017059844316-pat00010
의 관심점들을
Figure 112017059844316-pat00011
`의 대응하는 점으로 워핑할 수 있다.
호모그래피 행렬은, 보다 상세히 하기의 수학식으로 나타낼수 있다.
Figure 112017059844316-pat00012
호모그래피 행렬의 각 성분들을 구해내는 방법으로, DLT식을 사용할 수 있다. DLT식은
Figure 112017059844316-pat00013
와
Figure 112017059844316-pat00014
의 대응되는 4개의 특징점 기술자들을 사용하는데, 특징점 기술자들 중에 4개 쌍을 선택할 수 있다. 선택하는 방법은 공지된 다양한 방법 중 어느 것을 사용해도 무방할 것이다. 일례로 RANSAC을 사용한다면, 보다 정확하게 대응되는 특징점 기술자들을 뽑아낼 수 있을 것이다. 대응되는 4개 쌍에 대해 하기의 DLT식을 풀 수 있다.
Figure 112017059844316-pat00015
수학식 3에서,
Figure 112017059844316-pat00016
는
Figure 112017059844316-pat00017
에서의
Figure 112017059844316-pat00018
번째 특징점의 좌표이며
Figure 112017059844316-pat00019
는 이에 대응되는 좌표이다. 두 번째 행렬의
Figure 112017059844316-pat00020
는 수학식 2의 호모그래피 행렬의 각
Figure 112017059844316-pat00021
번째 행의 전치행렬을 나타낸다.
Figure 112017059844316-pat00022
는
Figure 112017059844316-pat00023
와
Figure 112017059844316-pat00024
간의 대응되는 특징점을 나타낸다.
수학식 3의 DLT식을 하기의 수학식으로 간략히 표현할 수 있다.
Figure 112017059844316-pat00025
Figure 112017059844316-pat00026
는
Figure 112017059844316-pat00027
와
Figure 112017059844316-pat00028
의 대응되는
Figure 112017059844316-pat00029
번째 특징점을 나타낸다,
최종적으로 하기의 SVD식을 사용하여 호모그래피 행렬을 구해낼 수 있다.
Figure 112017059844316-pat00030
수학식 5의 SVD식은 특이값 분해를 통해 선형방정식의 해를 구할 때 이용한다.
Figure 112017059844316-pat00031
가
Figure 112017059844316-pat00032
행렬이면
Figure 112017059844316-pat00033
와
Figure 112017059844316-pat00034
는
Figure 112017059844316-pat00035
의 특이벡터들을 나타내는 직교행렬로써 각각
Figure 112017059844316-pat00036
,
Figure 112017059844316-pat00037
행렬이며,
Figure 112017059844316-pat00038
는 특이값을 나타내는
Figure 112017059844316-pat00039
대각 행렬이다. 수학식 5를 이용하여 가장 작은 특이값에 해당하는 특이벡터를 근사해로 선택하면 최종적으로 호모그래피 행렬
Figure 112017059844316-pat00040
를 구할 수 있다.
구해진 호모그래피 행렬을 이용해 물체 데이터베이스(1210)의 관심점 좌표를 워핑시키면, 전송받은 영상에서의 해당 관심점들에 대응되는 좌표를 산출할 수 있다.
도 5는 호모그래피 행렬
Figure 112017059844316-pat00041
에 의해 워핑된 관심점을 예시한 것이다.
도 5와 같이, 물체 인식부(1230)는 물체 데이터베이스(1210)에 등록된 기준영상
Figure 112017059844316-pat00042
의 관심점의 정보를 호모그래피 행렬
Figure 112017059844316-pat00043
를 이용하여 워핑시켜 기준 영상
Figure 112017059844316-pat00044
의 관심점과 대응되는 전송받은 영상
Figure 112017059844316-pat00045
의 관심점의 좌표를 산출할 수 있다.
물체 인식부(1230)는 산출된 전송받은 영상 내의 관심점의 좌표를 게인 산출부(1250)에 제공한다.
후술하는 게인 산출부(1250)가 컬러 밸런스를 위한 게인 값을 산출하기 위해서는 물체 인식부(1230)로부터 제공받은 관심점의 좌표 외에도 해당 관심점의 이상적인 픽셀값이 필요하다. 전송받은 영상 내의 관심점의 좌표와 해당 관심점의 이상적인 픽셀값을 알면 해당 좌표의 실제 픽셀값과 이상적인 픽셀값의 비를 계산해 게인값을 산출하여 산출된 게인값으로 전송받은 영상 전체에 컬러 밸런스를 수행할 수 있게 된다.
따라서 파라미터 추출부(1240)는 관심점의 이상적인 픽셀값 산출을 위한 정보들을 물체 데이터베이스(1210)에서 추출하게 된다.
파라미터 추출부(1240)는 물체 인식부(1230)로부터 인식된 물체의 아이디를 제공받아 물체 데이터베이스(1210)에서 해당 물체의 고유 반사 스펙트럼을 추출하고, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보 또한 추출할 것이다.
영상을 촬영할 때 카메라의 아이디 정보 및 조명의 정보가 저장되어 영상과 함께 서버로 전송될 수 있을 것이다. 그러므로 파라미터 추출부(1240)는 해당 카메라의 아이디에 따른 민감도 정보 및 해당 조명의 파워 스펙트럼 정보를 물체 데이터베이스(1210)에서 추출할 수 있게 된다. 영상의 카메라 아이디 및 조명 정보들이 영상과 함께 전송되지 않았다면, 서버에 기본값으로 설정된 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 사용할 수도 있을 것이다.
파라미터 추출부(1240)는 물체 데이터베이스(1210)에서 추출한 정보들을 게인 산출부(1250)에 제공한다.
게인 산출부(1250)는 물체 인식부(1230)로부터 제공받은 관심점의 좌표 정보와 파라미터 추출부(1240)로부터 제공받은 고유 반사 스펙트럼 정보, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보를 이용하여 게인 값을 산출하게 된다.
먼저, 게인 산출부(1250)는 물체의 고유 반사 스펙트럼 정보, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보를 이용하여 관심점의 이상적인 픽셀값을 계산한다.
물체의 고유 반사 스펙트럼 정보, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보를 이용하면 픽셀값을 결정할 수 있는데, 이는 하기의 수학식으로 나타낼 수 있다.
Figure 112017059844316-pat00046
수학식 6에서
Figure 112017059844316-pat00047
는 픽셀값,
Figure 112017059844316-pat00048
은 물체의 고유 반사 스펙트럼,
Figure 112017059844316-pat00049
는 카메라의 민감도,
Figure 112017059844316-pat00050
는 조명의 파워 스펙트럼이다.
이와 같이, 고유 반사 스펙트럼 정보, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보를 적분하게 되면 관심점의 이상적인 픽셀값을 산출해 낼 수 있다.
다음으로, 게인 산출부(1250)는 얻어낸 관심점의 이상적인 픽셀값과 전송받은 관심점의 좌표의 실제 픽셀값을 비교해 그 비를 게인 값으로 산출해 낼 수 있다.
컬러 밸런스는 RGB색상의 세기를 변화시키는 것으로, 하기의 수학식과 같다.
Figure 112017059844316-pat00051
수학식 7과 같이, 컬러 밸런스 방법은 원래의 RGB 색상의 값에 게인값인
Figure 112017059844316-pat00052
,
Figure 112017059844316-pat00053
,
Figure 112017059844316-pat00054
를 곱하여 새로운 RGB색상을 얻는다. 기존에는 비교할 RGB색상이 없기 때문에 화이트 밸런스를 위한 게인값을 구하는 다양한 방법들이 제안되어 왔다. 그러나 본 발명에 따르면, 정확히 비교할 관심점의 픽셀값이 존재하므로, 하기의 수학식에 따라 쉽고 정확하게 게인값을 구할 수 있다.
Figure 112017059844316-pat00055
수학식 8에서,
Figure 112017059844316-pat00056
,
Figure 112017059844316-pat00057
,
Figure 112017059844316-pat00058
은 전송받은 영상의 픽셀값이고,
Figure 112017059844316-pat00059
,
Figure 112017059844316-pat00060
,
Figure 112017059844316-pat00061
은 계산된 이상적인 픽셀값이다.
전송받은 영상의 정확한 컬러 밸런스를 위해, 복수 개의 관심점을 사용할 수도 있을 것이다. 여러 개의 관심점들의 색상에 대해서 오차를 최소로 하는 게인값을 구하기 위해 각 관심점의 픽셀값을 하기 수학식의 행렬로 표현한 다음, 최소자승법으로 풀어내어 게인 값을 구할 수 있다.
Figure 112017059844316-pat00062
수학식 9에서
Figure 112017059844316-pat00063
,
Figure 112017059844316-pat00064
,
Figure 112017059844316-pat00065
는
Figure 112017059844316-pat00066
번째 관심점의 픽셀값이다. 수학식 9를 통해
Figure 112017059844316-pat00067
개의 관심점에 대해 가장 적은 오차를 갖는 게인값
Figure 112017059844316-pat00068
,
Figure 112017059844316-pat00069
,
Figure 112017059844316-pat00070
을 구할 수 있게 된다.
게인 산출부(1250)는 이러한 방법으로 전송받은 영상의 컬러 밸런스를 위한 게인 값을 산출할 수 있다. 서버 통신부(1220)는 산출된 게인 값을 영상 보정 장치(1100)로 전송하게 된다.
영상 보정 장치(1100)는 통신부(1120)를 통해 산출된 게인 값을 수신하게 된다. 영상 보정부(1130)는 수신된 게인 값에 기초하여 영상 획득부(1110)에서 획득한 영상 전체에 컬러 밸런스를 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 방법의 단계들을 시간의 흐름에 따라 도시한 순서도이다.
본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 방법은, 물체들의 정보를 저장하는 단계(S2100), 영상을 수신하는 단계(S2200), 영상 내의 물체를 인식하는 단계(S2300), 고유 반사 스펙트럼 정보를 추출하는 단계(S2400), 게인 값을 산출하여 전송하는 단계(S2500)를 포함할 수 있다.
물체들의 정보를 저장하는 단계(S2100)는 물체 데이터베이스(1210)에 물체 인식을 위한 정보들과 물체의 고유 반사 스펙트럼 정보와 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보를 저장하는 단계이다. 물체 인식을 위한 정보들에는 다양한 물체들의 기준영상과 특징점 기술자 및 관심점 정보가 포함될 수 있을 것이다.
영상을 수신하는 단계(S2200)는 서버 통신부(1220)에서 영상을 수신하는 단계이다. 영상 보정 장치(1100)로부터 촬영된 영상과 함께 카메라의 아이디 및 조명 정보를 수신할 수도 있을 것이다.
영상 내의 물체를 인식하는 단계(S2300)는 물체 인식부(1230)가 물체 데이터베이스(1210)의 물체 인식을 위한 정보들을 이용하여 수신한 영상 내의 물체를 인식하는 단계이다. 특징점 기술자를 이용해 물체를 인식하고, 관심점 정보를 이용해 수신한 영상 내의 대응하는 관심점 좌표를 알아내는 것을 포함할 수 있다.
고유 반사 스펙트럼 정보를 추출하는 단계(S2400)는 파라미터 추출부(1240)가 물체 데이터베이스(1210)에서 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 단계이다. 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보 또한 추출할 수 있다.
게인 값을 산출하여 전송하는 단계(S2500)는 게인 산출부(1250)가 게인 값을 산출하고 산출된 게인 값을 컬러 밸런스를 수행하도록 서버 통신부(1220)를 통해 영상 보정 장치(1100)로 전송하는 단계이다. 고유 반사 스펙트럼 정보를 추출하는 단계(S2400)에서 추출된 값들을 이용하여 관심점의 이상적인 픽셀값을 산출하고, 영상 내의 물체를 인식하는 단계(S2300)에서 알아낸 수신한 영상 내의 대응하는 관심점 좌표의 실제 픽셀값을 비교해 게인 값을 산출하게 된다.
이와 같이, 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 시스템은 널리 사용되는 다양한 물체의 정보를 이용하므로, 흰 색 피사체가 없는 경우에도 영상 내의 물체를 인식하여 컬러 밸런스를 수행할 수 있게 된다.
또한, 물체의 변하지 않는 특성인 고유 반사 스펙트럼을 이용하므로, 정확한 컬러 밸런스를 수행하게 되는 장점이 있다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 것이 있으며, 상기 매체에 기록되는 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다는 것을 이해할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
1100: 영상 보정 장치
1110: 영상 획득부
1120: 통신부
1130: 영상 보정부
1200: 밸런스 데이터 서버
1210: 물체 데이터베이스
1220: 서버 통신부
1230: 물체 인식부
1240: 파라미터 추출부
1250: 게인 산출부

Claims (10)

  1. 물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스;
    영상을 입력받는 영상 획득부;
    상기 물체 데이터베이스의 인식정보를 이용해 상기 입력받은 영상 내의 물체를 인식하는 물체 인식부;
    상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부;
    상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부; 및
    상기 게인 값에 기초하여 상기 입력받은 영상을 보정하는 영상 보정부를 포함하되, 상기 물체 데이터베이스의 인식 정보는 기준 영상, 특징점 기술자 및 적어도 하나의 관심점의 좌표를 포함하고, 상기 물체 인식부는 상기 입력받은 영상에 특징점 기술자를 생성한 후 상기 물체 데이터베이스의 특징점 기술자들과 비교하여 가장 유사한 특징점 기술자를 갖는 물체를 상기 입력받은 영상 내의 물체와 동일한 것으로 인식하며, 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상과 상기 입력받은 영상과의 선형 변환 관계를 구하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
  2. 제1항에 있어서,
    상기 물체 데이터베이스는 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보가 더 등록되어 있는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
  3. 제1항에 있어서,
    상기 물체 인식부는 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상의 선형 변환 관계를 나타내는 행렬을 구한 후 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점의 좌표를 상기 행렬을 이용해 워핑하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 더 포함하는 자동 영상 컬러 밸런스 시스템.
  4. 제3항에 있어서,
    상기 파라미터 추출부는 상기 물체 데이터베이스로부터 상기 입력받은 영상의 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 더 추출하는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
  5. 제4항에 있어서,
    상기 게인 산출부는 상기 추출된 고유 반사 스펙트럼 정보와 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 이용하여 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점의 이상적인 픽셀값을 구한 후, 상기 이상적인 픽셀값을 상기 입력받은 영상 내의 관심점의 픽셀값과 비교하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
  6. 제5항에 있어서,
    상기 게인 산출부는 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점이 하나보다 많을 경우 각각의 관심점들에 대해 게인 값을 산출한 후 최소자승법으로 평균내어 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
  7. 물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스;
    영상을 수신하는 서버 통신부;
    상기 물체 데이터베이스의 인식정보를 이용해 상기 수신된 영상 내의 물체를 인식하는 물체 인식부;
    상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부; 및
    상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 수신된 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부를 포함하되,
    상기 산출된 게인 값은 상기 서버 통신부를 통해 전송하고,
    상기 물체 데이터베이스의 인식 정보는 기준 영상, 특징점 기술자 및 적어도 하나의 관심점의 좌표를 포함하고, 상기 물체 인식부는 상기 수신된 영상에 특징점 기술자를 생성한 후 상기 물체 데이터베이스의 특징점 기술자들과 비교하여 가장 유사한 특징점 기술자를 갖는 물체를 상기 수신된 영상 내의 물체와 동일한 것으로 인식하며, 상기 수신된 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상과 상기 수신된 영상과의 선형 변환 관계를 구하여 상기 수신된 영상 내의 관심점의 좌표를 구하는 것을 특징으로 하는 밸런스 데이터 서버.
  8. 제7항에 있어서,
    상기 물체 데이터베이스는 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보가 더 등록되어 있는 것을 특징으로 하는 밸런스 데이터 서버.
  9. 물체들의 인식 정보 및 고유 반사 스펙트럼 정보를 물체 데이터베이스에 저장하는 단계;
    영상을 수신하는 단계;
    상기 물체 데이터베이스의 인식정보를 이용해 상기 수신된 영상 내의 물체를 인식하는 단계;
    상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 단계; 및
    상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 수신된 영상의 색상 보정을 위한 게인 값을 산출하여 전송하는 단계를 포함하되,
    상기 물체 데이터베이스의 인식 정보는 기준 영상, 특징점 기술자 및 적어도 하나의 관심점의 좌표를 포함하고, 상기 물체를 인식하는 단계는 상기 수신된 영상에 특징점 기술자를 생성한 후 상기 물체 데이터베이스의 특징점 기술자들과 비교하여 가장 유사한 특징점 기술자를 갖는 물체를 상기 수신된 영상 내의 물체와 동일한 것으로 인식하며, 상기 수신된 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상과 상기 수신된 영상과의 선형 변환 관계를 구하여 상기 수신된 영상 내의 관심점의 좌표를 구하는 것을 특징으로 하는 자동 영상 컬러 밸런스 방법.
  10. 제9항에 기재된 자동 영상 컬러 밸런스 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020170078931A 2017-06-22 2017-06-22 물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체 KR101836768B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170078931A KR101836768B1 (ko) 2017-06-22 2017-06-22 물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170078931A KR101836768B1 (ko) 2017-06-22 2017-06-22 물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150171641 Division 2015-12-03

Publications (2)

Publication Number Publication Date
KR20170077081A KR20170077081A (ko) 2017-07-05
KR101836768B1 true KR101836768B1 (ko) 2018-03-08

Family

ID=59352317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170078931A KR101836768B1 (ko) 2017-06-22 2017-06-22 물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체

Country Status (1)

Country Link
KR (1) KR101836768B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592061B1 (ko) 2018-02-14 2023-10-23 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 처리 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023572A (ja) 2010-07-14 2012-02-02 Toyota Central R&D Labs Inc ホワイトバランス係数算出装置及びプログラム
JP2015119482A (ja) 2013-12-18 2015-06-25 ノキア コーポレイション 色バランス補正の方法と装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023572A (ja) 2010-07-14 2012-02-02 Toyota Central R&D Labs Inc ホワイトバランス係数算出装置及びプログラム
JP2015119482A (ja) 2013-12-18 2015-06-25 ノキア コーポレイション 色バランス補正の方法と装置

Also Published As

Publication number Publication date
KR20170077081A (ko) 2017-07-05

Similar Documents

Publication Publication Date Title
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
KR102667740B1 (ko) 영상 정합 방법 및 장치
CN109993086B (zh) 人脸检测方法、装置、系统及终端设备
US9633278B2 (en) Object identification device, method, and storage medium
KR20170019359A (ko) 국부적 적응형 히스토그램 등화
WO2014128688A1 (en) Method, system and software module for foreground extraction
US20210383166A1 (en) Method and apparatus for context-embedding and region-based object detection
US10210615B2 (en) System and method for extrinsic camera parameters calibration by use of a three dimensional (3D) calibration object
US20100054542A1 (en) Processing video frames with the same content but with luminance variations across frames
US11315360B2 (en) Live facial recognition system and method
CN110598795A (zh) 图像差异检测方法及装置、存储介质、终端
US10296806B2 (en) Recognition-based color corrections
US9117132B2 (en) System and method facilitating designing of classifier while recognizing characters in a video
KR101541384B1 (ko) 영상 인식 장치 및 방법
KR101836768B1 (ko) 물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체
RU2747759C2 (ru) Способ и система генерирования сигнатуры поверхности
US20120033888A1 (en) Image processing system, image processing method, and computer readable medium
CN113673536A (zh) 一种图像颜色提取方法、系统及介质
US9094589B2 (en) Method and apparatus for processing image of patch panel
KR101741758B1 (ko) 가려짐에 강인한 깊이정보 사용 캠쉬프트 기반의 실시간 얼굴추적 방법
KR20160000533A (ko) 증강 현실에서 물체의 정보 제공을 위한 지역 특징점을 이용한 오브젝트 다중 검출, 추적 방법 및 그 시스템
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
JP5148573B2 (ja) 画像処理システム、画像処理方法およびプログラム
US10140503B2 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus
KR101305405B1 (ko) 측면의 랜드마크를 인식하는 지능형 이동로봇의 위치인식 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant