KR20170077081A - System and method for object recognition based automatic picture color balance, recording medium thereof - Google Patents
System and method for object recognition based automatic picture color balance, recording medium thereof Download PDFInfo
- Publication number
- KR20170077081A KR20170077081A KR1020170078931A KR20170078931A KR20170077081A KR 20170077081 A KR20170077081 A KR 20170077081A KR 1020170078931 A KR1020170078931 A KR 1020170078931A KR 20170078931 A KR20170078931 A KR 20170078931A KR 20170077081 A KR20170077081 A KR 20170077081A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- input image
- interest
- point
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/70—Circuits for processing colour signals for colour killing
- H04N9/71—Circuits for processing colour signals for colour killing combined with colour gain control
Abstract
물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록 매체가 개시된다. 개시된 자동 영상 컬러 밸런스 시스템은 물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스; 영상을 입력받는 영상 획득부; 상기 물체 데이터베이스의 인식정보를 이용해 상기 입력받은 영상 내의 물체를 인식하는 물체 인식부; 상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부; 상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부; 및 상기 게인 값에 기초하여 상기 입력받은 영상을 보정하는 영상 보정부를 포함한다. 개시된 시스템에 따르면, 흰 색의 피사체가 없더라도 물체를 인식해 컬러 밸런스를 수행할 수 있고, 물체의 고유 반사 스펙트럼을 사용하여 기존의 방법보다 정확한 컬러 밸런스를 수행할 수 있는 장점이 있다.An object recognition-based automatic image color balance system and method and a recording medium therefor are disclosed. The disclosed automatic image color balance system includes an object database in which recognition information of objects and intrinsic reflection spectrum information are registered; An image acquisition unit receiving an image; An object recognition unit for recognizing an object in the input image using recognition information of the object database; A parameter extraction unit for extracting intrinsic reflection spectrum information of the recognized object from the object database; A gain calculator for calculating a gain value for color correction of the input image using the extracted eigenfrequency spectral information; And an image correction unit for correcting the input image based on the gain value. According to the disclosed system, an object can be recognized and color balance can be performed even if there is no white object, and an accurate color balance can be performed using an inherent reflection spectrum of an object.
Description
본 발명은 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체에 관한 것으로서, 더욱 상세하게는 물체 인식을 기반으로 한 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic image color balance system and method, and a recording medium therefor, and more particularly, to an automatic image color balance system and method based on object recognition and a recording medium therefor.
기존의 영상 컬러 밸런스 기술은 영상 내에서 흰 색일 것이라 추정되는 지역이나 물체를 찾는 알고리즘이 기반이 되고 있다. 영상 내에서 흰 색이라고 추정되는 물체나 지역을 인식하면, 인식된 피사체의 색상을 기준으로 영상 전체에 화이트 밸런스를 수행한다.Conventional image color balance techniques are based on algorithms for finding regions or objects that are assumed to be white in the image. If an object or region estimated to be white in the image is recognized, white balance is performed on the entire image based on the recognized color of the object.
하지만 영상 내에 흰 색 피사체가 항상 있다는 전제가 필요하므로, 영상 내에 흰 색 피사체가 없을 경우에는 색상 보정이 제대로 될 수가 없으며, 주변 조명 환경에 따라 흰 색 피사체 후보를 잘못 찾을 수 있기 때문에 영상 보정 결과의 신뢰도가 다소 낮다는 단점이 있다.However, since it is assumed that a white subject is always present in the image, if there is no white subject in the image, the color correction can not be performed properly. The reliability is somewhat low.
본 발명의 일 측면은 흰 색 피사체가 없더라도 물체 인식을 통해 고유 반사 스펙트럼 정보를 기준으로 전체 영상에 대해 컬러 밸런스를 수행하는 것이다. One aspect of the present invention is to perform color balance on an entire image based on eigen-reflection spectrum information through object recognition even when there is no white subject.
본 발명의 다른 측면은 사전에 등록된 고유 반사 스펙트럼을 이용하므로 기존 기술보다 더 정확한 컬러 밸런스를 수행하는 것이다.Another aspect of the invention is to use a previously registered eigenfrequency spectrum to perform more accurate color balance than the prior art.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스; 영상을 입력받는 영상 획득부; 상기 물체 데이터베이스의 인식정보를 이용해 상기 입력받은 영상 내의 물체를 인식하는 물체 인식부; 상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부; 상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부; 및 상기 게인 값에 기초하여 상기 입력받은 영상을 보정하는 영상 보정부를 포함하는 자동 영상 컬러 밸런스 시스템이 제공된다.According to an aspect of the present invention, there is provided an object database in which recognition information of objects and intrinsic reflection spectrum information are registered. An image acquisition unit receiving an image; An object recognition unit for recognizing an object in the input image using recognition information of the object database; A parameter extraction unit for extracting intrinsic reflection spectrum information of the recognized object from the object database; A gain calculator for calculating a gain value for color correction of the input image using the extracted eigenfrequency spectral information; And an image correction unit for correcting the input image based on the gain value.
상기 물체 데이터베이스의 인식 정보는 기준 영상; 특징점 기술자 및 적어도 하나의 관심점의 좌표를 포함하는 것을 특징으로 할 수 있다.The recognition information of the object database includes a reference image; A feature point descriptor, and coordinates of at least one point of interest.
상기 물체 데이터베이스는 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보가 더 등록되어 있는 것을 특징으로 할 수 있다.The object database may further include sensitivity information of the camera and power spectral information of the illumination.
상기 물체 인식부는 상기 입력받은 영상에 특징점 기술자를 생성한 후 상기 물체 데이터베이스의 특징점 기술자들과 비교하여 가장 유사한 특징점 기술자를 갖는 물체를 상기 입력받은 영상 내의 물체와 동일한 것으로 인식하는 것을 특징으로 할 수 있다.The object recognition unit may generate a minutiae descriptor on the input image, compare the minutiae descriptor with the minutiae descriptors of the object database, and recognize the object having the most similar minutiae descriptor as the object in the input image .
상기 물체 인식부는 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상의 선형 변환 관계를 나타내는 행렬을 구한 후 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점의 좌표를 상기 행렬을 이용해 워핑하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 더 포함할 수 있다.Wherein the object recognition unit obtains a matrix representing a linear transformation relationship between an object in the input image and a reference image of an object recognized as the same object, and then coordinates the point of interest in the reference image of the object recognized as the same, And obtaining coordinates of a point of interest in the input image.
상기 파라미터 추출부는 상기 물체 데이터베이스로부터 상기 입력받은 영상의 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 더 추출하는 것을 특징으로 할 수 있다.And the parameter extracting unit further extracts camera sensitivity information of the input image and power spectrum information of illumination from the object database.
상기 게인 산출부는 상기 추출된 고유 반사 스펙트럼 정보와 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 이용하여 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점의 이상적인 픽셀값을 구한 후, 상기 이상적인 픽셀값을 상기 입력받은 영상 내의 관심점의 픽셀값과 비교하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 것을 특징으로 할 수 있다.Wherein the gain calculator calculates an ideal pixel value of a point of interest in the reference image of the object recognized as the same by using the extracted eigenfrequency spectral information, the camera sensitivity information, and the power spectrum information of the illumination, And a gain value for color correction of the input image is calculated by comparing the input pixel value with a pixel value of a point of interest in the input image.
상기 게인 산출부는 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점이 하나보다 많을 경우 각각의 관심점들에 대해 게인 값을 산출한 후 최소자승법으로 평균내어 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 것을 특징으로 할 수 있다.Wherein the gain calculator calculates a gain value for each of the points of interest when the point of interest in the reference image of the object recognized as the same is greater than one and then calculates a gain value for color correction of the input image by averaging the values using the least squares method .
또한, 본 발명의 다른 실시예에 따르면, 촬영을 통해 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득한 영상을 밸런스 조정 서버에 전송하고 상기 밸런스 조정 서버로부터 컬러 밸런스를 위한 게인값을 수신하는 통신부; 및 상기 게인값을 이용하여 영상을 보정하는 영상 보정부를 포함하되, 상기 밸런스 조정 서버는 상기 전송된 영상 내의 물체를 인식한 후 상기 물체의 고유 반사 스펙트럼 정보를 이용해 상기 컬러 밸런스를 위한 게인 값을 산출하여 영상 보정부로 전송하는 것을 특징으로 하는 영상 보정 장치가 제공된다.According to another embodiment of the present invention, there is provided an image processing apparatus including an image acquiring unit acquiring an image through photography; A communication unit that transmits the image acquired by the image acquisition unit to a balance adjustment server and receives a gain value for color balance from the balance adjustment server; And an image correction unit that corrects the image using the gain value. The balance adjustment server calculates an gain value for the color balance using the eigenfrequency spectrum information of the object after recognizing the object in the transmitted image And transmits the corrected image to the image correction unit.
또한, 본 발명의 다른 실시예에 따르면, 물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스; 영상을 수신하는 서버 통신부; 상기 물체 데이터베이스의 인식정보를 이용해 상기 수신된 영상 내의 물체를 인식하는 물체 인식부; 상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부; 및 상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 수신된 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부를 포함하되, 상기 산출된 게인 값은 상기 서버 통신부를 통해 전송하는 것을 특징으로 하는 밸런스 데이터 서버가 제공된다.According to another embodiment of the present invention, there is provided an object database in which recognition information and eigen-reflection spectrum information of objects are registered; A server communication unit for receiving an image; An object recognition unit for recognizing an object in the received image using recognition information of the object database; A parameter extraction unit for extracting intrinsic reflection spectrum information of the recognized object from the object database; And a gain calculator for calculating a gain value for color correction of the received image using the extracted eigenfrequency spectral information, wherein the calculated gain value is transmitted through the server communication unit A server is provided.
또한, 본 발명의 다른 실시예에 따르면, 물체들의 인식 정보 및 고유 반사 스펙트럼 정보를 물체 데이터베이스에 저장하는 단계; 영상을 수신하는 단계; 상기 물체 데이터베이스의 인식정보를 이용해 상기 수신된 영상 내의 물체를 인식하는 단계; 상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 단계; 및 상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 수신된 영상의 색상 보정을 위한 게인 값을 산출하여 전송하는 단계를 포함하는 자동 영상 컬러 밸런스 방법이 제공된다.According to another embodiment of the present invention, there is provided a method of detecting an object, comprising: storing recognition information and eigen-reflection spectrum information of objects in an object database; Receiving an image; Recognizing an object in the received image using recognition information of the object database; Extracting intrinsic reflection spectrum information of the recognized object from the object database; And calculating a gain value for color correction of the received image using the extracted eigenfrequency spectral information and transmitting the calculated gain value.
또한, 본 발명의 다른 실시예에 따르면, 상기의 자동 영상 컬러 밸런스 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체가 제공된다.According to another embodiment of the present invention, there is provided a computer-readable recording medium on which a program for performing the automatic image color balance method is recorded.
본 발명은 일반적으로 널리 사용되는 물체들의 고유 반사 스펙트럼 정보를 이용하기 때문에 기존 기술에 비해 더 정확한 컬러 밸런스를 수행할 수 있다.Since the present invention uses the eigenfrequency spectrum information of widely used objects, it is possible to perform more accurate color balance than the existing technology.
또한, 흰 색 피사체가 없는 경우에도 정확한 컬러 밸런스가 가능한 장점이 있다. Further, there is an advantage that accurate color balance can be achieved even when there is no white subject.
도 1은 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 방법의 단계들을 시간의 흐름에 따라 도시한 순서도이다.
도 3은 물체 데이터베이스(1210)의 구조를 도시한 것이다.
도 4는 기준 영상 와 전송된 영상 의 선형 변환 관계를 예시한 것이다.
도 5는 호모그래피 행렬 에 의해 워핑된 관심점을 예시한 것이다. 1 is a block diagram showing the configuration of an automatic image color balance system according to an embodiment of the present invention.
FIG. 2 is a flowchart showing the steps of an automatic image color balance method according to an embodiment of the present invention, according to the flow of time.
Fig. 3 shows the structure of the
Fig. And transmitted video As shown in FIG.
FIG. 5 is a diagram illustrating a homography matrix Lt; RTI ID = 0.0 > of < / RTI >
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 시스템의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of an automatic image color balance system according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 자동 영상 컬러 밸런스 시스템은 영상 보정 장치(1100) 및 밸런스 데이터 서버(1200)로 구성될 수 있다. 영상 보정 장치(1100)는 영상 획득부(1110), 통신부(1120) 및 영상 보정부(1130)로 구성될 수 있으며, 밸런스 데이터 서버(1200)는 물체 데이터베이스(1210), 서버 통신부(1220), 물체 인식부(1230), 파라미터 추출부(1240) 및 게인 산출부(1250)를 포함할 수 있다.As shown in FIG. 1, the automatic image color balance system may include an
이하, 도 1을 참조하여 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 장치가 입력받은 영상 속의 물체를 인식하고 이를 이용해 컬러 밸런스를 수행하는 과정을 보다 상세히 설명한다.Hereinafter, a process of recognizing an object in an input image and performing color balance using the automatic image color balance apparatus according to an exemplary embodiment of the present invention will be described in detail with reference to FIG.
영상 보정 장치(1100)는 영상 획득부(1110)를 통해 영상을 획득한다. 영상 획득부(1110)는 디지털 카메라나 스마트폰, 테블릿 PC에 장착된 카메라 모듈일 수 있다. 컬러 밸런스를 위해 통신부(1120)는 획득한 영상을 서버(1200)로 전송한다.The
서버(1200)는 서버 통신부(1220)를 통해 영상을 전송받는다. 물체 인식부(1230)는 전송받은 영상의 물체와 물체 데이터베이스(1210)에 저장된 물체들의 정보를 비교하게 된다.The
도 3은 물체 데이터베이스(1210)의 구조를 도시한 것이다. Fig. 3 shows the structure of the
도 3과 같이, 물체 데이터베이스(1210)에는 물체 인식을 위한 정보들인 기준영상과 특징점 기술자 및 관심점 정보가 저장되어 있다. 물체마다 고유한 아이디를 부여해서 식별 가능하게 하고, 기준이 되는 물체의 영상이 저장되어 있을 것이다. 또한 물체의 특징점을 식별해낼 수 있도록 특징점 기술자 정보가 저장되어 있을 수 있고, 영상의 컬러 밸런스를 위하여 기준 영상의 관심점의 좌표 또한 저장되어 있을 수 있다. 또한 물체 데이터베이스(1210)에는 컬러 밸런스를 위한 파라미터들인 저장된 물체들의 고유 반사 스펙트럼과 카메라의 아이디와 민감도 정보 및 조명의 파워 스펙트럼 정보도 저장되어 있을 것이다. 고유 반사 스펙트럼이란 물체가 가진 변하지 않는 특성으로, 컬러밸런스에 용이하게 사용될 수 있다. 또한 영상을 촬영하는 카메라의 아이디와 그에 해당하는 민감도 정보, 그리고 다양한 조명의 파워 스펙트럼이 저장되어 있을 수 있다.As shown in FIG. 3, the
물체 인식부(1230)는 물체 데이터베이스(1210)의 정보를 이용해 전송받은 영상에 포함된 물체를 인식한다.The
여기서 물체 인식이란 영상에 포착된 다양한 물체들이 미리 저장된 물체 데이터베이스(1210)의 물체들 중 어떠한 물체에 해당되는지 판단하는 것을 의미한다. Here, the object recognition means to determine which object among the objects of the
영상에 포함된 물체 인식은 다양한 방식으로 이루어질 수 있을 것이다. 물체 인식을 위한 공지된 다양한 알고리즘이 존재하며 어떠한 방식으로 물체 인식이 이루어져도 무방하다. Object recognition included in the image may be performed in various ways. Various known algorithms for object recognition exist and object recognition may be performed in any manner.
일례로, 물체 인식부(1230)는 학습 기반의 딥 러닝 방식을 이용하여 물체를 인식할 수 있을 것이다. 물체 인식부(1230)는 학습을 통해 특정 물체를 표현하기에 적합한 특징점을 설정하고 그 특징점 기술자를 물체 데이터베이스(1210)에 미리 저장할 수 있을 것이다.For example, the
여기서 특징점 기술자란 특정 물체를 다른 물체와 구별할 수 있는 기준이 되는 정보를 뜻한다. 특징점 기술자 또한 다양한 방식으로 생성될 수 있을 것이며 어떠한 방식이라도 사용할 수 있을 것이다.Here, the minutiae descriptor is information that is a reference to distinguish a specific object from other objects. The minutiae descriptor may also be generated in a variety of ways and may be used in any manner.
특징점 기술자의 일례로 시프트 기술자를 사용할 수 있을 것인데, 공지된 Fast R-CNN 딥러닝 방식을 이용하여 물체의 특징점에 시프트 기술자를 생성할 수 있을 것이다. 시프트 기술자는 물체의 이동이나 회전시에도 물체를 인식할 수 있다는 장점이 있다. 물체 인식부(1230)는 각 물체들의 생성된 시프트 기술자들을 물체 데이터베이스(1210)에 미리 저장할 수 있을 것이다.A shift descriptor may be used as an example of the minutiae descriptor, and a shift descriptor may be created at the minutiae point of the object using the well-known Fast R-CNN deep processing method. The shift technician has the advantage that the object can be recognized even when the object moves or rotates. The
구축된 물체 데이터베이스(1210)를 이용해 물체 인식부(1230)는 전송받은 영상 내의 물체를 인식하게 된다.The
물체 인식부(1230)는 물체 데이터베이스(1210)에 특징점 기술자를 구축한 방법과 동일한 방법으로 전송받은 영상내에서 특징점 기술자를 생성할 것이다. 물체 인식부(1230)는 생성된 특징점 기술자를 물체 데이터베이스(1210)의 물체들의 특징점 기술자들과 비교하는데, 유사한 특징점 기술자를 갖는 여러 물체를 찾게 될 수도 있을 것이다. 그러한 경우에는, 해당 물체들 중 가장 유사한 특징점 기술자를 가진 물체를 찾아내게 된다. The
이제 물체 인식부(1230)는 가장 유사한 특징점 기술자를 가진 물체를 전송받은 영상 내의 물체로 인식하게 된다.The
다음으로 물체 인식부(1230)는 인식된 물체의 기준 영상과 전송받은 영상의 선형 변환 관계를 계산하게 된다. 선형 변환 관계는 호모그래피 행렬로 나타낼 수 있는데, 호모그래피 행렬을 이용하면 기준 영상 내의 관심점이 전송받은 영상의 어느 좌표에 대응되는지 알아낼 수 있다. 따라서 관심점의 픽셀값과 해당 좌표의 픽셀값을 기준으로 컬러 밸런스를 수행할 수 있게 된다. 영상의 선형 변환 관계를 계산하기 위해서는 생성된 특징점 기술자 정보를 이용하는 것이 바람직할 것이다.Next, the
도 4는 기준 영상 와 전송된 영상 의 선형 변환 관계를 예시한 것이다.Fig. And transmitted video As shown in FIG.
도 4와 같은 선형 변환 관계에서는 하기의 수학식이 성립하게 된다.In the linear transformation relation as shown in FIG. 4, the following equation is established.
여기서 는 물체 데이터베이스(1210)의 기준 영상, 은 전송받은 물체의 영상, 는 호모그래피 행렬이다. 수학식 1에 따르면, 호모그래피 행렬을 이용해, 의 관심점들을 `의 대응하는 점으로 워핑할 수 있다.here A reference image of the
호모그래피 행렬은, 보다 상세히 하기의 수학식으로 나타낼수 있다.The homography matrix can be expressed in more detail by the following equation.
호모그래피 행렬의 각 성분들을 구해내는 방법으로, DLT식을 사용할 수 있다. DLT식은 와 의 대응되는 4개의 특징점 기술자들을 사용하는데, 특징점 기술자들 중에 4개 쌍을 선택할 수 있다. 선택하는 방법은 공지된 다양한 방법 중 어느 것을 사용해도 무방할 것이다. 일례로 RANSAC을 사용한다면, 보다 정확하게 대응되는 특징점 기술자들을 뽑아낼 수 있을 것이다. 대응되는 4개 쌍에 대해 하기의 DLT식을 풀 수 있다.The DLT equation can be used as a method for obtaining the respective components of the homography matrix. The DLT expression Wow , Four pairs of minutiae descriptors can be selected. Any of a variety of known methods may be used for selection. For example, if you use RANSAC, you will be able to extract more precise matching feature descriptors. The following DLT equations can be solved for the corresponding four pairs.
수학식 3에서, 는 에서의 번째 특징점의 좌표이며 는 이에 대응되는 좌표이다. 두 번째 행렬의 는 수학식 2의 호모그래피 행렬의 각 번째 행의 전치행렬을 나타낸다. 는 와 간의 대응되는 특징점을 나타낸다.In Equation (3) The In Coordinate of the second minutiae point Is a coordinate corresponding thereto. Of the second matrix ≪ / RTI > of the homography matrix < RTI ID = 0.0 > Lt; th > row. The Wow Respectively.
수학식 3의 DLT식을 하기의 수학식으로 간략히 표현할 수 있다.The DLT equation of Equation (3) can be briefly expressed by the following equation.
는 와 의 대응되는 번째 특징점을 나타낸다, The Wow Corresponding to Th feature point,
최종적으로 하기의 SVD식을 사용하여 호모그래피 행렬을 구해낼 수 있다.Finally, a homography matrix can be obtained using the following SVD equation.
수학식 5의 SVD식은 특이값 분해를 통해 선형방정식의 해를 구할 때 이용한다. 가 행렬이면 와 는 의 특이벡터들을 나타내는 직교행렬로써 각각 , 행렬이며, 는 특이값을 나타내는 대각 행렬이다. 수학식 5를 이용하여 가장 작은 특이값에 해당하는 특이벡터를 근사해로 선택하면 최종적으로 호모그래피 행렬 를 구할 수 있다. The SVD equation in equation (5) is used to solve the linear equation through singular value decomposition. end If the matrix is Wow The ≪ / RTI > are orthogonal matrices representing the singular vectors of , Matrix, Indicates a specific value Diagonal matrix. If a singular vector corresponding to the smallest singular value is selected by approximate solution using Equation (5), a homography matrix Can be obtained.
구해진 호모그래피 행렬을 이용해 물체 데이터베이스(1210)의 관심점 좌표를 워핑시키면, 전송받은 영상에서의 해당 관심점들에 대응되는 좌표를 산출할 수 있다. When the coordinates of the point of interest of the
도 5는 호모그래피 행렬 에 의해 워핑된 관심점을 예시한 것이다. FIG. 5 is a diagram illustrating a homography matrix Lt; RTI ID = 0.0 > of < / RTI >
도 5와 같이, 물체 인식부(1230)는 물체 데이터베이스(1210)에 등록된 기준영상 의 관심점의 정보를 호모그래피 행렬 를 이용하여 워핑시켜 기준 영상 의 관심점과 대응되는 전송받은 영상 의 관심점의 좌표를 산출할 수 있다.As shown in FIG. 5, the
물체 인식부(1230)는 산출된 전송받은 영상 내의 관심점의 좌표를 게인 산출부(1250)에 제공한다.The
후술하는 게인 산출부(1250)가 컬러 밸런스를 위한 게인 값을 산출하기 위해서는 물체 인식부(1230)로부터 제공받은 관심점의 좌표 외에도 해당 관심점의 이상적인 픽셀값이 필요하다. 전송받은 영상 내의 관심점의 좌표와 해당 관심점의 이상적인 픽셀값을 알면 해당 좌표의 실제 픽셀값과 이상적인 픽셀값의 비를 계산해 게인값을 산출하여 산출된 게인값으로 전송받은 영상 전체에 컬러 밸런스를 수행할 수 있게 된다. In order to calculate a gain value for color balance, the
따라서 파라미터 추출부(1240)는 관심점의 이상적인 픽셀값 산출을 위한 정보들을 물체 데이터베이스(1210)에서 추출하게 된다.Therefore, the
파라미터 추출부(1240)는 물체 인식부(1230)로부터 인식된 물체의 아이디를 제공받아 물체 데이터베이스(1210)에서 해당 물체의 고유 반사 스펙트럼을 추출하고, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보 또한 추출할 것이다. The
영상을 촬영할 때 카메라의 아이디 정보 및 조명의 정보가 저장되어 영상과 함께 서버로 전송될 수 있을 것이다. 그러므로 파라미터 추출부(1240)는 해당 카메라의 아이디에 따른 민감도 정보 및 해당 조명의 파워 스펙트럼 정보를 물체 데이터베이스(1210)에서 추출할 수 있게 된다. 영상의 카메라 아이디 및 조명 정보들이 영상과 함께 전송되지 않았다면, 서버에 기본값으로 설정된 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 사용할 수도 있을 것이다.When capturing an image, the ID information of the camera and the information of the illumination may be stored and transmitted to the server together with the image. Therefore, the
파라미터 추출부(1240)는 물체 데이터베이스(1210)에서 추출한 정보들을 게인 산출부(1250)에 제공한다.The
게인 산출부(1250)는 물체 인식부(1230)로부터 제공받은 관심점의 좌표 정보와 파라미터 추출부(1240)로부터 제공받은 고유 반사 스펙트럼 정보, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보를 이용하여 게인 값을 산출하게 된다.The
먼저, 게인 산출부(1250)는 물체의 고유 반사 스펙트럼 정보, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보를 이용하여 관심점의 이상적인 픽셀값을 계산한다.First, the
물체의 고유 반사 스펙트럼 정보, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보를 이용하면 픽셀값을 결정할 수 있는데, 이는 하기의 수학식으로 나타낼 수 있다.The intrinsic reflection spectrum information of the object, the sensitivity information of the camera, and the power spectrum information of the illumination can be used to determine the pixel value, which can be expressed by the following equation.
수학식 6에서 는 픽셀값, 은 물체의 고유 반사 스펙트럼, 는 카메라의 민감도, 는 조명의 파워 스펙트럼이다. In Equation (6) A pixel value, Is the intrinsic reflection spectrum of the object, The sensitivity of the camera, Is the power spectrum of the illumination.
이와 같이, 고유 반사 스펙트럼 정보, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보를 적분하게 되면 관심점의 이상적인 픽셀값을 산출해 낼 수 있다.Thus, by integrating the intrinsic reflection spectrum information, the sensitivity information of the camera, and the power spectrum information of the illumination, an ideal pixel value of a point of interest can be calculated.
다음으로, 게인 산출부(1250)는 얻어낸 관심점의 이상적인 픽셀값과 전송받은 관심점의 좌표의 실제 픽셀값을 비교해 그 비를 게인 값으로 산출해 낼 수 있다.Next, the
컬러 밸런스는 RGB색상의 세기를 변화시키는 것으로, 하기의 수학식과 같다.The color balance changes the intensity of the RGB color, and is expressed by the following equation.
수학식 7과 같이, 컬러 밸런스 방법은 원래의 RGB 색상의 값에 게인값인 , , 를 곱하여 새로운 RGB색상을 얻는다. 기존에는 비교할 RGB색상이 없기 때문에 화이트 밸런스를 위한 게인값을 구하는 다양한 방법들이 제안되어 왔다. 그러나 본 발명에 따르면, 정확히 비교할 관심점의 픽셀값이 존재하므로, 하기의 수학식에 따라 쉽고 정확하게 게인값을 구할 수 있다.As shown in Equation (7), the color balance method uses a gain value , , To obtain a new RGB color. Since there is no RGB color to be compared in the past, various methods for obtaining a gain value for white balance have been proposed. However, according to the present invention, since the pixel value of the point of interest to be accurately compared exists, the gain value can be obtained easily and accurately according to the following expression.
수학식 8에서, , , 은 전송받은 영상의 픽셀값이고, , , 은 계산된 이상적인 픽셀값이다. In Equation (8) , , Is the pixel value of the transmitted image, , , Is the calculated ideal pixel value.
전송받은 영상의 정확한 컬러 밸런스를 위해, 복수 개의 관심점을 사용할 수도 있을 것이다. 여러 개의 관심점들의 색상에 대해서 오차를 최소로 하는 게인값을 구하기 위해 각 관심점의 픽셀값을 하기 수학식의 행렬로 표현한 다음, 최소자승법으로 풀어내어 게인 값을 구할 수 있다.For accurate color balance of the transmitted image, a plurality of points of interest may be used. In order to obtain the gain value that minimizes the error with respect to the colors of the plurality of points of interest, the pixel value of each point of interest may be expressed by a matrix of the following equation, and then the gain value may be obtained by solving the equation by the least squares method.
수학식 9에서 , , 는 번째 관심점의 픽셀값이다. 수학식 9를 통해 개의 관심점에 대해 가장 적은 오차를 갖는 게인값 , , 을 구할 수 있게 된다. In Equation (9) , , The Th pixel of interest. Through equation (9) Gain values with the smallest error for the points of interest , , .
게인 산출부(1250)는 이러한 방법으로 전송받은 영상의 컬러 밸런스를 위한 게인 값을 산출할 수 있다. 서버 통신부(1220)는 산출된 게인 값을 영상 보정 장치(1100)로 전송하게 된다.The
영상 보정 장치(1100)는 통신부(1120)를 통해 산출된 게인 값을 수신하게 된다. 영상 보정부(1130)는 수신된 게인 값에 기초하여 영상 획득부(1110)에서 획득한 영상 전체에 컬러 밸런스를 수행할 수 있다.The
도 2는 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 방법의 단계들을 시간의 흐름에 따라 도시한 순서도이다.FIG. 2 is a flowchart showing the steps of an automatic image color balance method according to an embodiment of the present invention, according to the flow of time.
본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 방법은, 물체들의 정보를 저장하는 단계(S2100), 영상을 수신하는 단계(S2200), 영상 내의 물체를 인식하는 단계(S2300), 고유 반사 스펙트럼 정보를 추출하는 단계(S2400), 게인 값을 산출하여 전송하는 단계(S2500)를 포함할 수 있다.The automatic image color balancing method according to an exemplary embodiment of the present invention includes storing S2100 of objects, receiving an image S2200, recognizing an object in an image S2300, (S2400), and calculating and transmitting a gain value (S2500).
물체들의 정보를 저장하는 단계(S2100)는 물체 데이터베이스(1210)에 물체 인식을 위한 정보들과 물체의 고유 반사 스펙트럼 정보와 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보를 저장하는 단계이다. 물체 인식을 위한 정보들에는 다양한 물체들의 기준영상과 특징점 기술자 및 관심점 정보가 포함될 수 있을 것이다.Storing information of objects (S2100) is a step of storing information for object recognition, intrinsic reflection spectrum information of an object, sensitivity information of a camera, and power spectrum information of illumination in an
영상을 수신하는 단계(S2200)는 서버 통신부(1220)에서 영상을 수신하는 단계이다. 영상 보정 장치(1100)로부터 촬영된 영상과 함께 카메라의 아이디 및 조명 정보를 수신할 수도 있을 것이다.The step of receiving the image (S2200) is a step of receiving the image from the
영상 내의 물체를 인식하는 단계(S2300)는 물체 인식부(1230)가 물체 데이터베이스(1210)의 물체 인식을 위한 정보들을 이용하여 수신한 영상 내의 물체를 인식하는 단계이다. 특징점 기술자를 이용해 물체를 인식하고, 관심점 정보를 이용해 수신한 영상 내의 대응하는 관심점 좌표를 알아내는 것을 포함할 수 있다.In the step S2300 of recognizing an object in the image, the
고유 반사 스펙트럼 정보를 추출하는 단계(S2400)는 파라미터 추출부(1240)가 물체 데이터베이스(1210)에서 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 단계이다. 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보 또한 추출할 수 있다.The step of extracting the eigenfrequency spectrum information (S2400) is a step of extracting the intrinsic reflection spectrum information of the object recognized by the
게인 값을 산출하여 전송하는 단계(S2500)는 게인 산출부(1250)가 게인 값을 산출하고 산출된 게인 값을 컬러 밸런스를 수행하도록 서버 통신부(1220)를 통해 영상 보정 장치(1100)로 전송하는 단계이다. 고유 반사 스펙트럼 정보를 추출하는 단계(S2400)에서 추출된 값들을 이용하여 관심점의 이상적인 픽셀값을 산출하고, 영상 내의 물체를 인식하는 단계(S2300)에서 알아낸 수신한 영상 내의 대응하는 관심점 좌표의 실제 픽셀값을 비교해 게인 값을 산출하게 된다.In operation S2500, the
이와 같이, 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 시스템은 널리 사용되는 다양한 물체의 정보를 이용하므로, 흰 색 피사체가 없는 경우에도 영상 내의 물체를 인식하여 컬러 밸런스를 수행할 수 있게 된다.As described above, the automatic image color balance system according to an embodiment of the present invention uses information of various widely used objects, so that even when there is no white subject, the color balance can be performed by recognizing an object in the image.
또한, 물체의 변하지 않는 특성인 고유 반사 스펙트럼을 이용하므로, 정확한 컬러 밸런스를 수행하게 되는 장점이 있다.In addition, since the eigenfrequency spectrum, which is an unchanging characteristic of an object, is used, there is an advantage of performing accurate color balance.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 것이 있으며, 상기 매체에 기록되는 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed on various computer means and recorded on a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and configured for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Such as magneto-optical, and ROM, RAM, flash memory, etc. Examples of program instructions recorded on the medium include machine code such as those produced by a compiler, Lt; RTI ID = 0.0 > and / or < / RTI > The hardware devices described above may be configured to operate as at least one software module to perform operations of one embodiment of the present invention, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다는 것을 이해할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- Those skilled in the art will appreciate that various modifications and changes may be made thereto without departing from the scope of the present invention. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .
1100: 영상 보정 장치
1110: 영상 획득부
1120: 통신부
1130: 영상 보정부
1200: 밸런스 데이터 서버
1210: 물체 데이터베이스
1220: 서버 통신부
1230: 물체 인식부
1240: 파라미터 추출부
1250: 게인 산출부1100: Image correction device
1110:
1120:
1130: image correction unit
1200: balance data server
1210: Object database
1220: Server communication section
1230: Object recognition unit
1240:
1250: gain calculator
Claims (10)
영상을 입력받는 영상 획득부;
상기 물체 데이터베이스의 인식정보를 이용해 상기 입력받은 영상 내의 물체를 인식하는 물체 인식부;
상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부;
상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부; 및
상기 게인 값에 기초하여 상기 입력받은 영상을 보정하는 영상 보정부를 포함하되, 상기 물체 데이터베이스의 인식 정보는 기준 영상, 특징점 기술자 및 적어도 하나의 관심점의 좌표를 포함하고, 상기 물체 인식부는 상기 입력받은 영상에 특징점 기술자를 생성한 후 상기 물체 데이터베이스의 특징점 기술자들과 비교하여 가장 유사한 특징점 기술자를 갖는 물체를 상기 입력받은 영상 내의 물체와 동일한 것으로 인식하며, 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상과 상기 입력받은 영상과의 선형 변환 관계를 구하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
An object database in which recognition information of objects and intrinsic reflection spectrum information are registered;
An image acquisition unit receiving an image;
An object recognition unit for recognizing an object in the input image using recognition information of the object database;
A parameter extraction unit for extracting intrinsic reflection spectrum information of the recognized object from the object database;
A gain calculator for calculating a gain value for color correction of the input image using the extracted eigenfrequency spectral information; And
And an image correction unit that corrects the input image based on the gain value, wherein the recognition information of the object database includes a reference image, a minutiae point descriptor, and coordinates of at least one point of interest, and the object recognition unit A minutiae descriptor is generated on an image and compared with the minutiae descriptors of the object database to recognize an object having the most similar minutiae descriptor as an object in the input image, Wherein the coordinates of a point of interest in the input image is obtained by obtaining a linear transformation relation between the reference image of the object and the input image.
상기 물체 데이터베이스는 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보가 더 등록되어 있는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
The method according to claim 1,
Wherein the object database further includes sensitivity information of the camera and power spectrum information of the illumination.
상기 물체 인식부는 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상의 선형 변환 관계를 나타내는 행렬을 구한 후 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점의 좌표를 상기 행렬을 이용해 워핑하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 더 포함하는 자동 영상 컬러 밸런스 시스템.The method according to claim 1,
Wherein the object recognition unit obtains a matrix representing a linear transformation relationship between an object in the input image and a reference image of an object recognized as the same object and then uses the matrix to warp coordinates of a point of interest in the reference image of the recognized object, And obtaining coordinates of a point of interest in the input image.
상기 파라미터 추출부는 상기 물체 데이터베이스로부터 상기 입력받은 영상의 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 더 추출하는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.The method of claim 3,
Wherein the parameter extracting unit further extracts camera sensitivity information of the input image and power spectrum information of illumination from the object database.
상기 게인 산출부는 상기 추출된 고유 반사 스펙트럼 정보와 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 이용하여 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점의 이상적인 픽셀값을 구한 후, 상기 이상적인 픽셀값을 상기 입력받은 영상 내의 관심점의 픽셀값과 비교하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.5. The method of claim 4,
Wherein the gain calculator calculates an ideal pixel value of a point of interest in the reference image of the object recognized as the same by using the extracted eigenfrequency spectral information, the camera sensitivity information, and the power spectrum information of the illumination, Wherein a gain value for color correction of the input image is calculated by comparing the input pixel value with a pixel value of a point of interest in the input image.
상기 게인 산출부는 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점이 하나보다 많을 경우 각각의 관심점들에 대해 게인 값을 산출한 후 최소자승법으로 평균내어 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
6. The method of claim 5,
Wherein the gain calculator calculates a gain value for each of the points of interest when the point of interest in the reference image of the object recognized as the same is greater than one and then calculates a gain value for color correction of the input image by averaging the values using the least squares method Wherein the color image is a color image.
영상을 수신하는 서버 통신부;
상기 물체 데이터베이스의 인식정보를 이용해 상기 수신된 영상 내의 물체를 인식하는 물체 인식부;
상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부; 및
상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 수신된 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부를 포함하되,
상기 산출된 게인 값은 상기 서버 통신부를 통해 전송하고,
상기 물체 데이터베이스의 인식 정보는 기준 영상, 특징점 기술자 및 적어도 하나의 관심점의 좌표를 포함하고, 상기 물체 인식부는 상기 입력받은 영상에 특징점 기술자를 생성한 후 상기 물체 데이터베이스의 특징점 기술자들과 비교하여 가장 유사한 특징점 기술자를 갖는 물체를 상기 입력받은 영상 내의 물체와 동일한 것으로 인식하며, 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상과 상기 입력받은 영상과의 선형 변환 관계를 구하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 특징으로 하는 밸런스 데이터 서버.
An object database in which recognition information of objects and intrinsic reflection spectrum information are registered;
A server communication unit for receiving an image;
An object recognition unit for recognizing an object in the received image using recognition information of the object database;
A parameter extraction unit for extracting intrinsic reflection spectrum information of the recognized object from the object database; And
And a gain calculator for calculating a gain value for color correction of the received image using the extracted eigenfrequency spectral information,
The calculated gain value is transmitted through the server communication unit,
The recognition information of the object database includes a reference image, a minutiae descriptor, and coordinates of at least one point of interest. The object recognition unit generates a minutiae descriptor on the input image, compares the minutiae descriptor with minutiae descriptors of the object database, Recognizes that an object having a similar minutiae descriptor is the same as an object in the input image and obtains a linear transformation relationship between a reference image of the object recognized as the same object as the object in the input image and the input image, And obtains coordinates of a point of interest in the image.
상기 물체 데이터베이스는 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보가 더 등록되어 있는 것을 특징으로 하는 밸런스 데이터 서버.
14. The method of claim 13,
Wherein the object database further includes sensitivity information of the camera and power spectrum information of the illumination.
영상을 수신하는 단계;
상기 물체 데이터베이스의 인식정보를 이용해 상기 수신된 영상 내의 물체를 인식하는 단계;
상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 단계; 및
상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 수신된 영상의 색상 보정을 위한 게인 값을 산출하여 전송하는 단계를 포함하되,
상기 물체 데이터베이스의 인식 정보는 기준 영상, 특징점 기술자 및 적어도 하나의 관심점의 좌표를 포함하고, 상기 물체를 인식하는 단계는 상기 입력받은 영상에 특징점 기술자를 생성한 후 상기 물체 데이터베이스의 특징점 기술자들과 비교하여 가장 유사한 특징점 기술자를 갖는 물체를 상기 입력받은 영상 내의 물체와 동일한 것으로 인식하며, 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상과 상기 입력받은 영상과의 선형 변환 관계를 구하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 특징으로 하는 자동 영상 컬러 밸런스 방법.Storing identification information and eigenfrequency spectrum information of objects in an object database;
Receiving an image;
Recognizing an object in the received image using recognition information of the object database;
Extracting intrinsic reflection spectrum information of the recognized object from the object database; And
And calculating and transmitting a gain value for color correction of the received image using the extracted eigenfrequency spectral information,
Wherein the recognition information of the object database includes coordinates of a reference image, a minutiae descriptor, and at least one point of interest, and the step of recognizing the object includes generating minutiae descriptors on the input image, And recognizes that an object having the most similar feature point descriptor is the same as an object in the input image and obtains a linear transformation relationship between the object in the input image and the reference image of the object recognized as the same and the input image, Wherein coordinates of a point of interest in the input image are obtained.
A computer-readable recording medium on which a program for performing the automatic image color balance method according to claim 9 is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170078931A KR101836768B1 (en) | 2017-06-22 | 2017-06-22 | System and method for object recognition based automatic picture color balance, recording medium thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170078931A KR101836768B1 (en) | 2017-06-22 | 2017-06-22 | System and method for object recognition based automatic picture color balance, recording medium thereof |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150171641 Division | 2015-12-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170077081A true KR20170077081A (en) | 2017-07-05 |
KR101836768B1 KR101836768B1 (en) | 2018-03-08 |
Family
ID=59352317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170078931A KR101836768B1 (en) | 2017-06-22 | 2017-06-22 | System and method for object recognition based automatic picture color balance, recording medium thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101836768B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019160262A1 (en) * | 2018-02-14 | 2019-08-22 | 삼성전자 주식회사 | Electronic device and method for processing image by electronic device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5338762B2 (en) | 2010-07-14 | 2013-11-13 | 株式会社豊田中央研究所 | White balance coefficient calculation device and program |
US20150172513A1 (en) | 2013-12-18 | 2015-06-18 | Nokia Corporation | Methods And Apparatus For Color Balance Correction |
-
2017
- 2017-06-22 KR KR1020170078931A patent/KR101836768B1/en active IP Right Grant
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019160262A1 (en) * | 2018-02-14 | 2019-08-22 | 삼성전자 주식회사 | Electronic device and method for processing image by electronic device |
US11425300B2 (en) | 2018-02-14 | 2022-08-23 | Samsung Electronics Co., Ltd | Electronic device and method for processing image by electronic device |
Also Published As
Publication number | Publication date |
---|---|
KR101836768B1 (en) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019071664A1 (en) | Human face recognition method and apparatus combined with depth information, and storage medium | |
US11908160B2 (en) | Method and apparatus for context-embedding and region-based object detection | |
KR20170019359A (en) | Local adaptive histogram equalization | |
EP2959454A1 (en) | Method, system and software module for foreground extraction | |
US20140270362A1 (en) | Fast edge-based object relocalization and detection using contextual filtering | |
US20100054542A1 (en) | Processing video frames with the same content but with luminance variations across frames | |
KR20130134163A (en) | Apparatus and method for extracting target, and the recording media storing the program for performing the said method | |
US11315360B2 (en) | Live facial recognition system and method | |
US9426375B2 (en) | Line-of-sight detection apparatus and image capturing apparatus | |
CN110598795A (en) | Image difference detection method and device, storage medium and terminal | |
US9117132B2 (en) | System and method facilitating designing of classifier while recognizing characters in a video | |
KR101541384B1 (en) | Device for Recognition of Object and method | |
US20110085026A1 (en) | Detection method and detection system of moving object | |
KR101836768B1 (en) | System and method for object recognition based automatic picture color balance, recording medium thereof | |
WO2022113344A1 (en) | Information processing device, three-dimensional position estimation method, and non-transitory computer-readable medium having program stored thereon | |
US20120033888A1 (en) | Image processing system, image processing method, and computer readable medium | |
US9094589B2 (en) | Method and apparatus for processing image of patch panel | |
KR102410300B1 (en) | Apparatus for measuring position of camera using stereo camera and method using the same | |
JP5148573B2 (en) | Image processing system, image processing method, and program | |
JP6217225B2 (en) | Image collation device, image collation method and program | |
US8538142B2 (en) | Face-detection processing methods, image processing devices, and articles of manufacture | |
JP5791361B2 (en) | PATTERN IDENTIFICATION DEVICE, PATTERN IDENTIFICATION METHOD, AND PROGRAM | |
KR101305405B1 (en) | Method for Localizing Intelligent Mobile Robot by using a lateral landmark | |
KR20160000533A (en) | The method of multi detection and tracking with local feature point for providing information of an object in augmented reality | |
US20160364604A1 (en) | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |