KR20170077081A - System and method for object recognition based automatic picture color balance, recording medium thereof - Google Patents

System and method for object recognition based automatic picture color balance, recording medium thereof Download PDF

Info

Publication number
KR20170077081A
KR20170077081A KR1020170078931A KR20170078931A KR20170077081A KR 20170077081 A KR20170077081 A KR 20170077081A KR 1020170078931 A KR1020170078931 A KR 1020170078931A KR 20170078931 A KR20170078931 A KR 20170078931A KR 20170077081 A KR20170077081 A KR 20170077081A
Authority
KR
South Korea
Prior art keywords
image
information
input image
interest
point
Prior art date
Application number
KR1020170078931A
Other languages
Korean (ko)
Other versions
KR101836768B1 (en
Inventor
박종일
송중석
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020170078931A priority Critical patent/KR101836768B1/en
Publication of KR20170077081A publication Critical patent/KR20170077081A/en
Application granted granted Critical
Publication of KR101836768B1 publication Critical patent/KR101836768B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/70Circuits for processing colour signals for colour killing
    • H04N9/71Circuits for processing colour signals for colour killing combined with colour gain control

Abstract

물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록 매체가 개시된다. 개시된 자동 영상 컬러 밸런스 시스템은 물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스; 영상을 입력받는 영상 획득부; 상기 물체 데이터베이스의 인식정보를 이용해 상기 입력받은 영상 내의 물체를 인식하는 물체 인식부; 상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부; 상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부; 및 상기 게인 값에 기초하여 상기 입력받은 영상을 보정하는 영상 보정부를 포함한다. 개시된 시스템에 따르면, 흰 색의 피사체가 없더라도 물체를 인식해 컬러 밸런스를 수행할 수 있고, 물체의 고유 반사 스펙트럼을 사용하여 기존의 방법보다 정확한 컬러 밸런스를 수행할 수 있는 장점이 있다.An object recognition-based automatic image color balance system and method and a recording medium therefor are disclosed. The disclosed automatic image color balance system includes an object database in which recognition information of objects and intrinsic reflection spectrum information are registered; An image acquisition unit receiving an image; An object recognition unit for recognizing an object in the input image using recognition information of the object database; A parameter extraction unit for extracting intrinsic reflection spectrum information of the recognized object from the object database; A gain calculator for calculating a gain value for color correction of the input image using the extracted eigenfrequency spectral information; And an image correction unit for correcting the input image based on the gain value. According to the disclosed system, an object can be recognized and color balance can be performed even if there is no white object, and an accurate color balance can be performed using an inherent reflection spectrum of an object.

Description

물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체{SYSTEM AND METHOD FOR OBJECT RECOGNITION BASED AUTOMATIC PICTURE COLOR BALANCE, RECORDING MEDIUM THEREOF}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an object-recognition-based automatic image color balance system and method,

본 발명은 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체에 관한 것으로서, 더욱 상세하게는 물체 인식을 기반으로 한 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic image color balance system and method, and a recording medium therefor, and more particularly, to an automatic image color balance system and method based on object recognition and a recording medium therefor.

기존의 영상 컬러 밸런스 기술은 영상 내에서 흰 색일 것이라 추정되는 지역이나 물체를 찾는 알고리즘이 기반이 되고 있다. 영상 내에서 흰 색이라고 추정되는 물체나 지역을 인식하면, 인식된 피사체의 색상을 기준으로 영상 전체에 화이트 밸런스를 수행한다.Conventional image color balance techniques are based on algorithms for finding regions or objects that are assumed to be white in the image. If an object or region estimated to be white in the image is recognized, white balance is performed on the entire image based on the recognized color of the object.

하지만 영상 내에 흰 색 피사체가 항상 있다는 전제가 필요하므로, 영상 내에 흰 색 피사체가 없을 경우에는 색상 보정이 제대로 될 수가 없으며, 주변 조명 환경에 따라 흰 색 피사체 후보를 잘못 찾을 수 있기 때문에 영상 보정 결과의 신뢰도가 다소 낮다는 단점이 있다.However, since it is assumed that a white subject is always present in the image, if there is no white subject in the image, the color correction can not be performed properly. The reliability is somewhat low.

본 발명의 일 측면은 흰 색 피사체가 없더라도 물체 인식을 통해 고유 반사 스펙트럼 정보를 기준으로 전체 영상에 대해 컬러 밸런스를 수행하는 것이다. One aspect of the present invention is to perform color balance on an entire image based on eigen-reflection spectrum information through object recognition even when there is no white subject.

본 발명의 다른 측면은 사전에 등록된 고유 반사 스펙트럼을 이용하므로 기존 기술보다 더 정확한 컬러 밸런스를 수행하는 것이다.Another aspect of the invention is to use a previously registered eigenfrequency spectrum to perform more accurate color balance than the prior art.

상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스; 영상을 입력받는 영상 획득부; 상기 물체 데이터베이스의 인식정보를 이용해 상기 입력받은 영상 내의 물체를 인식하는 물체 인식부; 상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부; 상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부; 및 상기 게인 값에 기초하여 상기 입력받은 영상을 보정하는 영상 보정부를 포함하는 자동 영상 컬러 밸런스 시스템이 제공된다.According to an aspect of the present invention, there is provided an object database in which recognition information of objects and intrinsic reflection spectrum information are registered. An image acquisition unit receiving an image; An object recognition unit for recognizing an object in the input image using recognition information of the object database; A parameter extraction unit for extracting intrinsic reflection spectrum information of the recognized object from the object database; A gain calculator for calculating a gain value for color correction of the input image using the extracted eigenfrequency spectral information; And an image correction unit for correcting the input image based on the gain value.

상기 물체 데이터베이스의 인식 정보는 기준 영상; 특징점 기술자 및 적어도 하나의 관심점의 좌표를 포함하는 것을 특징으로 할 수 있다.The recognition information of the object database includes a reference image; A feature point descriptor, and coordinates of at least one point of interest.

상기 물체 데이터베이스는 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보가 더 등록되어 있는 것을 특징으로 할 수 있다.The object database may further include sensitivity information of the camera and power spectral information of the illumination.

상기 물체 인식부는 상기 입력받은 영상에 특징점 기술자를 생성한 후 상기 물체 데이터베이스의 특징점 기술자들과 비교하여 가장 유사한 특징점 기술자를 갖는 물체를 상기 입력받은 영상 내의 물체와 동일한 것으로 인식하는 것을 특징으로 할 수 있다.The object recognition unit may generate a minutiae descriptor on the input image, compare the minutiae descriptor with the minutiae descriptors of the object database, and recognize the object having the most similar minutiae descriptor as the object in the input image .

상기 물체 인식부는 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상의 선형 변환 관계를 나타내는 행렬을 구한 후 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점의 좌표를 상기 행렬을 이용해 워핑하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 더 포함할 수 있다.Wherein the object recognition unit obtains a matrix representing a linear transformation relationship between an object in the input image and a reference image of an object recognized as the same object, and then coordinates the point of interest in the reference image of the object recognized as the same, And obtaining coordinates of a point of interest in the input image.

상기 파라미터 추출부는 상기 물체 데이터베이스로부터 상기 입력받은 영상의 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 더 추출하는 것을 특징으로 할 수 있다.And the parameter extracting unit further extracts camera sensitivity information of the input image and power spectrum information of illumination from the object database.

상기 게인 산출부는 상기 추출된 고유 반사 스펙트럼 정보와 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 이용하여 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점의 이상적인 픽셀값을 구한 후, 상기 이상적인 픽셀값을 상기 입력받은 영상 내의 관심점의 픽셀값과 비교하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 것을 특징으로 할 수 있다.Wherein the gain calculator calculates an ideal pixel value of a point of interest in the reference image of the object recognized as the same by using the extracted eigenfrequency spectral information, the camera sensitivity information, and the power spectrum information of the illumination, And a gain value for color correction of the input image is calculated by comparing the input pixel value with a pixel value of a point of interest in the input image.

상기 게인 산출부는 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점이 하나보다 많을 경우 각각의 관심점들에 대해 게인 값을 산출한 후 최소자승법으로 평균내어 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 것을 특징으로 할 수 있다.Wherein the gain calculator calculates a gain value for each of the points of interest when the point of interest in the reference image of the object recognized as the same is greater than one and then calculates a gain value for color correction of the input image by averaging the values using the least squares method .

또한, 본 발명의 다른 실시예에 따르면, 촬영을 통해 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득한 영상을 밸런스 조정 서버에 전송하고 상기 밸런스 조정 서버로부터 컬러 밸런스를 위한 게인값을 수신하는 통신부; 및 상기 게인값을 이용하여 영상을 보정하는 영상 보정부를 포함하되, 상기 밸런스 조정 서버는 상기 전송된 영상 내의 물체를 인식한 후 상기 물체의 고유 반사 스펙트럼 정보를 이용해 상기 컬러 밸런스를 위한 게인 값을 산출하여 영상 보정부로 전송하는 것을 특징으로 하는 영상 보정 장치가 제공된다.According to another embodiment of the present invention, there is provided an image processing apparatus including an image acquiring unit acquiring an image through photography; A communication unit that transmits the image acquired by the image acquisition unit to a balance adjustment server and receives a gain value for color balance from the balance adjustment server; And an image correction unit that corrects the image using the gain value. The balance adjustment server calculates an gain value for the color balance using the eigenfrequency spectrum information of the object after recognizing the object in the transmitted image And transmits the corrected image to the image correction unit.

또한, 본 발명의 다른 실시예에 따르면, 물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스; 영상을 수신하는 서버 통신부; 상기 물체 데이터베이스의 인식정보를 이용해 상기 수신된 영상 내의 물체를 인식하는 물체 인식부; 상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부; 및 상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 수신된 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부를 포함하되, 상기 산출된 게인 값은 상기 서버 통신부를 통해 전송하는 것을 특징으로 하는 밸런스 데이터 서버가 제공된다.According to another embodiment of the present invention, there is provided an object database in which recognition information and eigen-reflection spectrum information of objects are registered; A server communication unit for receiving an image; An object recognition unit for recognizing an object in the received image using recognition information of the object database; A parameter extraction unit for extracting intrinsic reflection spectrum information of the recognized object from the object database; And a gain calculator for calculating a gain value for color correction of the received image using the extracted eigenfrequency spectral information, wherein the calculated gain value is transmitted through the server communication unit A server is provided.

또한, 본 발명의 다른 실시예에 따르면, 물체들의 인식 정보 및 고유 반사 스펙트럼 정보를 물체 데이터베이스에 저장하는 단계; 영상을 수신하는 단계; 상기 물체 데이터베이스의 인식정보를 이용해 상기 수신된 영상 내의 물체를 인식하는 단계; 상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 단계; 및 상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 수신된 영상의 색상 보정을 위한 게인 값을 산출하여 전송하는 단계를 포함하는 자동 영상 컬러 밸런스 방법이 제공된다.According to another embodiment of the present invention, there is provided a method of detecting an object, comprising: storing recognition information and eigen-reflection spectrum information of objects in an object database; Receiving an image; Recognizing an object in the received image using recognition information of the object database; Extracting intrinsic reflection spectrum information of the recognized object from the object database; And calculating a gain value for color correction of the received image using the extracted eigenfrequency spectral information and transmitting the calculated gain value.

또한, 본 발명의 다른 실시예에 따르면, 상기의 자동 영상 컬러 밸런스 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체가 제공된다.According to another embodiment of the present invention, there is provided a computer-readable recording medium on which a program for performing the automatic image color balance method is recorded.

본 발명은 일반적으로 널리 사용되는 물체들의 고유 반사 스펙트럼 정보를 이용하기 때문에 기존 기술에 비해 더 정확한 컬러 밸런스를 수행할 수 있다.Since the present invention uses the eigenfrequency spectrum information of widely used objects, it is possible to perform more accurate color balance than the existing technology.

또한, 흰 색 피사체가 없는 경우에도 정확한 컬러 밸런스가 가능한 장점이 있다. Further, there is an advantage that accurate color balance can be achieved even when there is no white subject.

도 1은 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 방법의 단계들을 시간의 흐름에 따라 도시한 순서도이다.
도 3은 물체 데이터베이스(1210)의 구조를 도시한 것이다.
도 4는 기준 영상

Figure pat00001
와 전송된 영상
Figure pat00002
의 선형 변환 관계를 예시한 것이다.
도 5는 호모그래피 행렬
Figure pat00003
에 의해 워핑된 관심점을 예시한 것이다. 1 is a block diagram showing the configuration of an automatic image color balance system according to an embodiment of the present invention.
FIG. 2 is a flowchart showing the steps of an automatic image color balance method according to an embodiment of the present invention, according to the flow of time.
Fig. 3 shows the structure of the object database 1210. Fig.
Fig.
Figure pat00001
And transmitted video
Figure pat00002
As shown in FIG.
FIG. 5 is a diagram illustrating a homography matrix
Figure pat00003
Lt; RTI ID = 0.0 > of < / RTI >

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 시스템의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of an automatic image color balance system according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 자동 영상 컬러 밸런스 시스템은 영상 보정 장치(1100) 및 밸런스 데이터 서버(1200)로 구성될 수 있다. 영상 보정 장치(1100)는 영상 획득부(1110), 통신부(1120) 및 영상 보정부(1130)로 구성될 수 있으며, 밸런스 데이터 서버(1200)는 물체 데이터베이스(1210), 서버 통신부(1220), 물체 인식부(1230), 파라미터 추출부(1240) 및 게인 산출부(1250)를 포함할 수 있다.As shown in FIG. 1, the automatic image color balance system may include an image correction device 1100 and a balance data server 1200. The image correction apparatus 1100 may include an image acquisition unit 1110, a communication unit 1120 and an image correction unit 1130. The balance data server 1200 includes an object database 1210, a server communication unit 1220, An object recognition unit 1230, a parameter extraction unit 1240, and a gain calculation unit 1250. [

이하, 도 1을 참조하여 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 장치가 입력받은 영상 속의 물체를 인식하고 이를 이용해 컬러 밸런스를 수행하는 과정을 보다 상세히 설명한다.Hereinafter, a process of recognizing an object in an input image and performing color balance using the automatic image color balance apparatus according to an exemplary embodiment of the present invention will be described in detail with reference to FIG.

영상 보정 장치(1100)는 영상 획득부(1110)를 통해 영상을 획득한다. 영상 획득부(1110)는 디지털 카메라나 스마트폰, 테블릿 PC에 장착된 카메라 모듈일 수 있다. 컬러 밸런스를 위해 통신부(1120)는 획득한 영상을 서버(1200)로 전송한다.The image correcting apparatus 1100 acquires an image through the image acquiring unit 1110. The image acquisition unit 1110 may be a camera module mounted on a digital camera, a smart phone, or a tablet PC. The communication unit 1120 transmits the acquired image to the server 1200 for color balance.

서버(1200)는 서버 통신부(1220)를 통해 영상을 전송받는다. 물체 인식부(1230)는 전송받은 영상의 물체와 물체 데이터베이스(1210)에 저장된 물체들의 정보를 비교하게 된다.The server 1200 receives an image through the server communication unit 1220. The object recognition unit 1230 compares the object of the transmitted image with the object information stored in the object database 1210.

도 3은 물체 데이터베이스(1210)의 구조를 도시한 것이다. Fig. 3 shows the structure of the object database 1210. Fig.

도 3과 같이, 물체 데이터베이스(1210)에는 물체 인식을 위한 정보들인 기준영상과 특징점 기술자 및 관심점 정보가 저장되어 있다. 물체마다 고유한 아이디를 부여해서 식별 가능하게 하고, 기준이 되는 물체의 영상이 저장되어 있을 것이다. 또한 물체의 특징점을 식별해낼 수 있도록 특징점 기술자 정보가 저장되어 있을 수 있고, 영상의 컬러 밸런스를 위하여 기준 영상의 관심점의 좌표 또한 저장되어 있을 수 있다. 또한 물체 데이터베이스(1210)에는 컬러 밸런스를 위한 파라미터들인 저장된 물체들의 고유 반사 스펙트럼과 카메라의 아이디와 민감도 정보 및 조명의 파워 스펙트럼 정보도 저장되어 있을 것이다. 고유 반사 스펙트럼이란 물체가 가진 변하지 않는 특성으로, 컬러밸런스에 용이하게 사용될 수 있다. 또한 영상을 촬영하는 카메라의 아이디와 그에 해당하는 민감도 정보, 그리고 다양한 조명의 파워 스펙트럼이 저장되어 있을 수 있다.As shown in FIG. 3, the object database 1210 stores reference images, minutiae descriptors, and points of interest information for object recognition. A unique ID is assigned to each object so as to be identifiable, and an image of the reference object is stored. The feature point descriptor information may be stored to identify the feature point of the object and the coordinates of the point of interest of the reference image may be stored for color balance of the image. In addition, the object database 1210 may also store inherent reflection spectra of stored objects, parameters of color balance, camera ID and sensitivity information, and power spectral information of illumination. The intrinsic reflection spectrum is an unchanging characteristic of an object and can be easily used for color balance. Also, the ID of the camera that captures the image, the corresponding sensitivity information, and the power spectrum of various lights may be stored.

물체 인식부(1230)는 물체 데이터베이스(1210)의 정보를 이용해 전송받은 영상에 포함된 물체를 인식한다.The object recognizing unit 1230 recognizes an object included in the received image using the information of the object database 1210. [

여기서 물체 인식이란 영상에 포착된 다양한 물체들이 미리 저장된 물체 데이터베이스(1210)의 물체들 중 어떠한 물체에 해당되는지 판단하는 것을 의미한다. Here, the object recognition means to determine which object among the objects of the object database 1210 in which various objects captured in the image are stored in advance.

영상에 포함된 물체 인식은 다양한 방식으로 이루어질 수 있을 것이다. 물체 인식을 위한 공지된 다양한 알고리즘이 존재하며 어떠한 방식으로 물체 인식이 이루어져도 무방하다. Object recognition included in the image may be performed in various ways. Various known algorithms for object recognition exist and object recognition may be performed in any manner.

일례로, 물체 인식부(1230)는 학습 기반의 딥 러닝 방식을 이용하여 물체를 인식할 수 있을 것이다. 물체 인식부(1230)는 학습을 통해 특정 물체를 표현하기에 적합한 특징점을 설정하고 그 특징점 기술자를 물체 데이터베이스(1210)에 미리 저장할 수 있을 것이다.For example, the object recognition unit 1230 may recognize an object using a learning-based deep learning method. The object recognizing unit 1230 may set a feature point suitable for expressing a specific object through learning and store the feature point descriptor in the object database 1210 in advance.

여기서 특징점 기술자란 특정 물체를 다른 물체와 구별할 수 있는 기준이 되는 정보를 뜻한다. 특징점 기술자 또한 다양한 방식으로 생성될 수 있을 것이며 어떠한 방식이라도 사용할 수 있을 것이다.Here, the minutiae descriptor is information that is a reference to distinguish a specific object from other objects. The minutiae descriptor may also be generated in a variety of ways and may be used in any manner.

특징점 기술자의 일례로 시프트 기술자를 사용할 수 있을 것인데, 공지된 Fast R-CNN 딥러닝 방식을 이용하여 물체의 특징점에 시프트 기술자를 생성할 수 있을 것이다. 시프트 기술자는 물체의 이동이나 회전시에도 물체를 인식할 수 있다는 장점이 있다. 물체 인식부(1230)는 각 물체들의 생성된 시프트 기술자들을 물체 데이터베이스(1210)에 미리 저장할 수 있을 것이다.A shift descriptor may be used as an example of the minutiae descriptor, and a shift descriptor may be created at the minutiae point of the object using the well-known Fast R-CNN deep processing method. The shift technician has the advantage that the object can be recognized even when the object moves or rotates. The object recognition unit 1230 may store the generated shift descriptors of the objects in the object database 1210 in advance.

구축된 물체 데이터베이스(1210)를 이용해 물체 인식부(1230)는 전송받은 영상 내의 물체를 인식하게 된다.The object recognition unit 1230 recognizes an object in the transmitted image using the established object database 1210.

물체 인식부(1230)는 물체 데이터베이스(1210)에 특징점 기술자를 구축한 방법과 동일한 방법으로 전송받은 영상내에서 특징점 기술자를 생성할 것이다. 물체 인식부(1230)는 생성된 특징점 기술자를 물체 데이터베이스(1210)의 물체들의 특징점 기술자들과 비교하는데, 유사한 특징점 기술자를 갖는 여러 물체를 찾게 될 수도 있을 것이다. 그러한 경우에는, 해당 물체들 중 가장 유사한 특징점 기술자를 가진 물체를 찾아내게 된다. The object recognizing unit 1230 will generate the minutiae descriptor in the transmitted image in the same manner as the method of constructing the minutiae descriptor in the object database 1210. [ The object recognizer 1230 may compare the generated minutiae descriptor with the minutiae descriptors of the objects in the object database 1210, and may find several objects with similar minutiae descriptors. In such a case, an object having the most similar minutiae descriptor among the relevant objects is found.

이제 물체 인식부(1230)는 가장 유사한 특징점 기술자를 가진 물체를 전송받은 영상 내의 물체로 인식하게 된다.The object recognizing unit 1230 recognizes the object having the most similar minutiae descriptor as an object in the received image.

다음으로 물체 인식부(1230)는 인식된 물체의 기준 영상과 전송받은 영상의 선형 변환 관계를 계산하게 된다. 선형 변환 관계는 호모그래피 행렬로 나타낼 수 있는데, 호모그래피 행렬을 이용하면 기준 영상 내의 관심점이 전송받은 영상의 어느 좌표에 대응되는지 알아낼 수 있다. 따라서 관심점의 픽셀값과 해당 좌표의 픽셀값을 기준으로 컬러 밸런스를 수행할 수 있게 된다. 영상의 선형 변환 관계를 계산하기 위해서는 생성된 특징점 기술자 정보를 이용하는 것이 바람직할 것이다.Next, the object recognition unit 1230 calculates a linear transformation relation between the reference image of the recognized object and the received image. The linear transformation relation can be expressed as a homography matrix. Using the homography matrix, it is possible to find out which coordinates of the transmitted point correspond to the point of interest in the reference image. Thus, the color balance can be performed based on the pixel value of the point of interest and the pixel value of the corresponding point. In order to calculate the linear transformation relation of the image, it is preferable to use the generated minutiae descriptor information.

도 4는 기준 영상

Figure pat00004
와 전송된 영상
Figure pat00005
의 선형 변환 관계를 예시한 것이다.Fig.
Figure pat00004
And transmitted video
Figure pat00005
As shown in FIG.

도 4와 같은 선형 변환 관계에서는 하기의 수학식이 성립하게 된다.In the linear transformation relation as shown in FIG. 4, the following equation is established.

Figure pat00006
Figure pat00006

여기서

Figure pat00007
는 물체 데이터베이스(1210)의 기준 영상,
Figure pat00008
은 전송받은 물체의 영상,
Figure pat00009
는 호모그래피 행렬이다. 수학식 1에 따르면, 호모그래피 행렬을 이용해,
Figure pat00010
의 관심점들을
Figure pat00011
`의 대응하는 점으로 워핑할 수 있다.here
Figure pat00007
A reference image of the object database 1210,
Figure pat00008
The image of the transmitted object,
Figure pat00009
Is a homography matrix. According to Equation (1), using a homography matrix,
Figure pat00010
Interests
Figure pat00011
`Can be warped to the corresponding point of`.

호모그래피 행렬은, 보다 상세히 하기의 수학식으로 나타낼수 있다.The homography matrix can be expressed in more detail by the following equation.

Figure pat00012
Figure pat00012

호모그래피 행렬의 각 성분들을 구해내는 방법으로, DLT식을 사용할 수 있다. DLT식은

Figure pat00013
Figure pat00014
의 대응되는 4개의 특징점 기술자들을 사용하는데, 특징점 기술자들 중에 4개 쌍을 선택할 수 있다. 선택하는 방법은 공지된 다양한 방법 중 어느 것을 사용해도 무방할 것이다. 일례로 RANSAC을 사용한다면, 보다 정확하게 대응되는 특징점 기술자들을 뽑아낼 수 있을 것이다. 대응되는 4개 쌍에 대해 하기의 DLT식을 풀 수 있다.The DLT equation can be used as a method for obtaining the respective components of the homography matrix. The DLT expression
Figure pat00013
Wow
Figure pat00014
, Four pairs of minutiae descriptors can be selected. Any of a variety of known methods may be used for selection. For example, if you use RANSAC, you will be able to extract more precise matching feature descriptors. The following DLT equations can be solved for the corresponding four pairs.

Figure pat00015
Figure pat00015

수학식 3에서,

Figure pat00016
Figure pat00017
에서의
Figure pat00018
번째 특징점의 좌표이며
Figure pat00019
는 이에 대응되는 좌표이다. 두 번째 행렬의
Figure pat00020
는 수학식 2의 호모그래피 행렬의 각
Figure pat00021
번째 행의 전치행렬을 나타낸다.
Figure pat00022
Figure pat00023
Figure pat00024
간의 대응되는 특징점을 나타낸다.In Equation (3)
Figure pat00016
The
Figure pat00017
In
Figure pat00018
Coordinate of the second minutiae point
Figure pat00019
Is a coordinate corresponding thereto. Of the second matrix
Figure pat00020
≪ / RTI > of the homography matrix < RTI ID = 0.0 >
Figure pat00021
Lt; th > row.
Figure pat00022
The
Figure pat00023
Wow
Figure pat00024
Respectively.

수학식 3의 DLT식을 하기의 수학식으로 간략히 표현할 수 있다.The DLT equation of Equation (3) can be briefly expressed by the following equation.

Figure pat00025
Figure pat00025

Figure pat00026
Figure pat00027
Figure pat00028
의 대응되는
Figure pat00029
번째 특징점을 나타낸다,
Figure pat00026
The
Figure pat00027
Wow
Figure pat00028
Corresponding to
Figure pat00029
Th feature point,

최종적으로 하기의 SVD식을 사용하여 호모그래피 행렬을 구해낼 수 있다.Finally, a homography matrix can be obtained using the following SVD equation.

Figure pat00030
Figure pat00030

수학식 5의 SVD식은 특이값 분해를 통해 선형방정식의 해를 구할 때 이용한다.

Figure pat00031
Figure pat00032
행렬이면
Figure pat00033
Figure pat00034
Figure pat00035
의 특이벡터들을 나타내는 직교행렬로써 각각
Figure pat00036
,
Figure pat00037
행렬이며,
Figure pat00038
는 특이값을 나타내는
Figure pat00039
대각 행렬이다. 수학식 5를 이용하여 가장 작은 특이값에 해당하는 특이벡터를 근사해로 선택하면 최종적으로 호모그래피 행렬
Figure pat00040
를 구할 수 있다. The SVD equation in equation (5) is used to solve the linear equation through singular value decomposition.
Figure pat00031
end
Figure pat00032
If the matrix is
Figure pat00033
Wow
Figure pat00034
The
Figure pat00035
≪ / RTI > are orthogonal matrices representing the singular vectors of
Figure pat00036
,
Figure pat00037
Matrix,
Figure pat00038
Indicates a specific value
Figure pat00039
Diagonal matrix. If a singular vector corresponding to the smallest singular value is selected by approximate solution using Equation (5), a homography matrix
Figure pat00040
Can be obtained.

구해진 호모그래피 행렬을 이용해 물체 데이터베이스(1210)의 관심점 좌표를 워핑시키면, 전송받은 영상에서의 해당 관심점들에 대응되는 좌표를 산출할 수 있다. When the coordinates of the point of interest of the object database 1210 are warped using the obtained homography matrix, coordinates corresponding to the points of interest in the transmitted image can be calculated.

도 5는 호모그래피 행렬

Figure pat00041
에 의해 워핑된 관심점을 예시한 것이다. FIG. 5 is a diagram illustrating a homography matrix
Figure pat00041
Lt; RTI ID = 0.0 > of < / RTI >

도 5와 같이, 물체 인식부(1230)는 물체 데이터베이스(1210)에 등록된 기준영상

Figure pat00042
의 관심점의 정보를 호모그래피 행렬
Figure pat00043
를 이용하여 워핑시켜 기준 영상
Figure pat00044
의 관심점과 대응되는 전송받은 영상
Figure pat00045
의 관심점의 좌표를 산출할 수 있다.As shown in FIG. 5, the object recognizing unit 1230 recognizes a reference image registered in the object database 1210
Figure pat00042
The information of the interest points of the homography matrix
Figure pat00043
To warp the reference image
Figure pat00044
Corresponding to the point of interest
Figure pat00045
Can be calculated.

물체 인식부(1230)는 산출된 전송받은 영상 내의 관심점의 좌표를 게인 산출부(1250)에 제공한다.The object recognizing unit 1230 provides the gain calculating unit 1250 with the coordinates of the point of interest in the calculated transmitted image.

후술하는 게인 산출부(1250)가 컬러 밸런스를 위한 게인 값을 산출하기 위해서는 물체 인식부(1230)로부터 제공받은 관심점의 좌표 외에도 해당 관심점의 이상적인 픽셀값이 필요하다. 전송받은 영상 내의 관심점의 좌표와 해당 관심점의 이상적인 픽셀값을 알면 해당 좌표의 실제 픽셀값과 이상적인 픽셀값의 비를 계산해 게인값을 산출하여 산출된 게인값으로 전송받은 영상 전체에 컬러 밸런스를 수행할 수 있게 된다. In order to calculate a gain value for color balance, the gain calculating unit 1250, which will be described later, needs an ideal pixel value of the interest point in addition to the coordinates of the interest point provided from the object recognizing unit 1230. [ Knowing the coordinates of the point of interest in the transmitted image and the ideal pixel value of the point of interest, the gain value is calculated by calculating the ratio of the actual pixel value to the ideal pixel value of the corresponding coordinates and the color balance .

따라서 파라미터 추출부(1240)는 관심점의 이상적인 픽셀값 산출을 위한 정보들을 물체 데이터베이스(1210)에서 추출하게 된다.Therefore, the parameter extracting unit 1240 extracts information for calculating an ideal pixel value of the point of interest from the object database 1210. [

파라미터 추출부(1240)는 물체 인식부(1230)로부터 인식된 물체의 아이디를 제공받아 물체 데이터베이스(1210)에서 해당 물체의 고유 반사 스펙트럼을 추출하고, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보 또한 추출할 것이다. The parameter extracting unit 1240 receives the ID of the recognized object from the object recognizing unit 1230 and extracts the intrinsic reflection spectrum of the object from the object database 1210. The sensitivity information of the camera and the power spectral information of the illumination are also extracted something to do.

영상을 촬영할 때 카메라의 아이디 정보 및 조명의 정보가 저장되어 영상과 함께 서버로 전송될 수 있을 것이다. 그러므로 파라미터 추출부(1240)는 해당 카메라의 아이디에 따른 민감도 정보 및 해당 조명의 파워 스펙트럼 정보를 물체 데이터베이스(1210)에서 추출할 수 있게 된다. 영상의 카메라 아이디 및 조명 정보들이 영상과 함께 전송되지 않았다면, 서버에 기본값으로 설정된 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 사용할 수도 있을 것이다.When capturing an image, the ID information of the camera and the information of the illumination may be stored and transmitted to the server together with the image. Therefore, the parameter extracting unit 1240 can extract the sensitivity information according to the ID of the camera and the power spectrum information of the corresponding illumination from the object database 1210. If the camera ID and illumination information of the image are not transmitted together with the image, the camera sensitivity information and the power spectrum information of the illumination may be used as default values in the server.

파라미터 추출부(1240)는 물체 데이터베이스(1210)에서 추출한 정보들을 게인 산출부(1250)에 제공한다.The parameter extracting unit 1240 provides the information extracted from the object database 1210 to the gain calculating unit 1250.

게인 산출부(1250)는 물체 인식부(1230)로부터 제공받은 관심점의 좌표 정보와 파라미터 추출부(1240)로부터 제공받은 고유 반사 스펙트럼 정보, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보를 이용하여 게인 값을 산출하게 된다.The gain calculating unit 1250 calculates gain using the coordinate information of the point of interest provided from the object recognizing unit 1230, the intrinsic reflection spectrum information provided from the parameter extracting unit 1240, the sensitivity information of the camera, .

먼저, 게인 산출부(1250)는 물체의 고유 반사 스펙트럼 정보, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보를 이용하여 관심점의 이상적인 픽셀값을 계산한다.First, the gain calculator 1250 calculates an ideal pixel value of a point of interest using the intrinsic reflection spectrum information of the object, the sensitivity information of the camera, and the power spectrum information of the illumination.

물체의 고유 반사 스펙트럼 정보, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보를 이용하면 픽셀값을 결정할 수 있는데, 이는 하기의 수학식으로 나타낼 수 있다.The intrinsic reflection spectrum information of the object, the sensitivity information of the camera, and the power spectrum information of the illumination can be used to determine the pixel value, which can be expressed by the following equation.

Figure pat00046
Figure pat00046

수학식 6에서

Figure pat00047
는 픽셀값,
Figure pat00048
은 물체의 고유 반사 스펙트럼,
Figure pat00049
는 카메라의 민감도,
Figure pat00050
는 조명의 파워 스펙트럼이다. In Equation (6)
Figure pat00047
A pixel value,
Figure pat00048
Is the intrinsic reflection spectrum of the object,
Figure pat00049
The sensitivity of the camera,
Figure pat00050
Is the power spectrum of the illumination.

이와 같이, 고유 반사 스펙트럼 정보, 카메라의 민감도 정보, 조명의 파워 스펙트럼 정보를 적분하게 되면 관심점의 이상적인 픽셀값을 산출해 낼 수 있다.Thus, by integrating the intrinsic reflection spectrum information, the sensitivity information of the camera, and the power spectrum information of the illumination, an ideal pixel value of a point of interest can be calculated.

다음으로, 게인 산출부(1250)는 얻어낸 관심점의 이상적인 픽셀값과 전송받은 관심점의 좌표의 실제 픽셀값을 비교해 그 비를 게인 값으로 산출해 낼 수 있다.Next, the gain calculator 1250 compares the ideal pixel value of the obtained interest point with the actual pixel value of the coordinates of the transmitted interest point, and calculates the ratio as a gain value.

컬러 밸런스는 RGB색상의 세기를 변화시키는 것으로, 하기의 수학식과 같다.The color balance changes the intensity of the RGB color, and is expressed by the following equation.

Figure pat00051
Figure pat00051

수학식 7과 같이, 컬러 밸런스 방법은 원래의 RGB 색상의 값에 게인값인

Figure pat00052
,
Figure pat00053
,
Figure pat00054
를 곱하여 새로운 RGB색상을 얻는다. 기존에는 비교할 RGB색상이 없기 때문에 화이트 밸런스를 위한 게인값을 구하는 다양한 방법들이 제안되어 왔다. 그러나 본 발명에 따르면, 정확히 비교할 관심점의 픽셀값이 존재하므로, 하기의 수학식에 따라 쉽고 정확하게 게인값을 구할 수 있다.As shown in Equation (7), the color balance method uses a gain value
Figure pat00052
,
Figure pat00053
,
Figure pat00054
To obtain a new RGB color. Since there is no RGB color to be compared in the past, various methods for obtaining a gain value for white balance have been proposed. However, according to the present invention, since the pixel value of the point of interest to be accurately compared exists, the gain value can be obtained easily and accurately according to the following expression.

Figure pat00055
Figure pat00055

수학식 8에서,

Figure pat00056
,
Figure pat00057
,
Figure pat00058
은 전송받은 영상의 픽셀값이고,
Figure pat00059
,
Figure pat00060
,
Figure pat00061
은 계산된 이상적인 픽셀값이다. In Equation (8)
Figure pat00056
,
Figure pat00057
,
Figure pat00058
Is the pixel value of the transmitted image,
Figure pat00059
,
Figure pat00060
,
Figure pat00061
Is the calculated ideal pixel value.

전송받은 영상의 정확한 컬러 밸런스를 위해, 복수 개의 관심점을 사용할 수도 있을 것이다. 여러 개의 관심점들의 색상에 대해서 오차를 최소로 하는 게인값을 구하기 위해 각 관심점의 픽셀값을 하기 수학식의 행렬로 표현한 다음, 최소자승법으로 풀어내어 게인 값을 구할 수 있다.For accurate color balance of the transmitted image, a plurality of points of interest may be used. In order to obtain the gain value that minimizes the error with respect to the colors of the plurality of points of interest, the pixel value of each point of interest may be expressed by a matrix of the following equation, and then the gain value may be obtained by solving the equation by the least squares method.

Figure pat00062
Figure pat00062

수학식 9에서

Figure pat00063
,
Figure pat00064
,
Figure pat00065
Figure pat00066
번째 관심점의 픽셀값이다. 수학식 9를 통해
Figure pat00067
개의 관심점에 대해 가장 적은 오차를 갖는 게인값
Figure pat00068
,
Figure pat00069
,
Figure pat00070
을 구할 수 있게 된다. In Equation (9)
Figure pat00063
,
Figure pat00064
,
Figure pat00065
The
Figure pat00066
Th pixel of interest. Through equation (9)
Figure pat00067
Gain values with the smallest error for the points of interest
Figure pat00068
,
Figure pat00069
,
Figure pat00070
.

게인 산출부(1250)는 이러한 방법으로 전송받은 영상의 컬러 밸런스를 위한 게인 값을 산출할 수 있다. 서버 통신부(1220)는 산출된 게인 값을 영상 보정 장치(1100)로 전송하게 된다.The gain calculator 1250 can calculate a gain value for color balance of the transmitted image in this way. The server communication unit 1220 transmits the calculated gain value to the image correction apparatus 1100. [

영상 보정 장치(1100)는 통신부(1120)를 통해 산출된 게인 값을 수신하게 된다. 영상 보정부(1130)는 수신된 게인 값에 기초하여 영상 획득부(1110)에서 획득한 영상 전체에 컬러 밸런스를 수행할 수 있다.The image correction apparatus 1100 receives the gain value calculated through the communication unit 1120. [ The image correction unit 1130 can perform color balance on the entire image acquired by the image acquisition unit 1110 based on the received gain value.

도 2는 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 방법의 단계들을 시간의 흐름에 따라 도시한 순서도이다.FIG. 2 is a flowchart showing the steps of an automatic image color balance method according to an embodiment of the present invention, according to the flow of time.

본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 방법은, 물체들의 정보를 저장하는 단계(S2100), 영상을 수신하는 단계(S2200), 영상 내의 물체를 인식하는 단계(S2300), 고유 반사 스펙트럼 정보를 추출하는 단계(S2400), 게인 값을 산출하여 전송하는 단계(S2500)를 포함할 수 있다.The automatic image color balancing method according to an exemplary embodiment of the present invention includes storing S2100 of objects, receiving an image S2200, recognizing an object in an image S2300, (S2400), and calculating and transmitting a gain value (S2500).

물체들의 정보를 저장하는 단계(S2100)는 물체 데이터베이스(1210)에 물체 인식을 위한 정보들과 물체의 고유 반사 스펙트럼 정보와 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보를 저장하는 단계이다. 물체 인식을 위한 정보들에는 다양한 물체들의 기준영상과 특징점 기술자 및 관심점 정보가 포함될 수 있을 것이다.Storing information of objects (S2100) is a step of storing information for object recognition, intrinsic reflection spectrum information of an object, sensitivity information of a camera, and power spectrum information of illumination in an object database 1210. The information for object recognition may include a reference image of various objects, a minutiae descriptor, and interest information.

영상을 수신하는 단계(S2200)는 서버 통신부(1220)에서 영상을 수신하는 단계이다. 영상 보정 장치(1100)로부터 촬영된 영상과 함께 카메라의 아이디 및 조명 정보를 수신할 수도 있을 것이다.The step of receiving the image (S2200) is a step of receiving the image from the server communication unit 1220. [ And may also receive the camera ID and illumination information together with the image photographed from the image correction device 1100. [

영상 내의 물체를 인식하는 단계(S2300)는 물체 인식부(1230)가 물체 데이터베이스(1210)의 물체 인식을 위한 정보들을 이용하여 수신한 영상 내의 물체를 인식하는 단계이다. 특징점 기술자를 이용해 물체를 인식하고, 관심점 정보를 이용해 수신한 영상 내의 대응하는 관심점 좌표를 알아내는 것을 포함할 수 있다.In the step S2300 of recognizing an object in the image, the object recognition unit 1230 recognizes an object in the received image using information for object recognition in the object database 1210. [ Recognizing the object using the minutiae descriptor, and using the point of interest information to determine the corresponding point of interest coordinates in the received image.

고유 반사 스펙트럼 정보를 추출하는 단계(S2400)는 파라미터 추출부(1240)가 물체 데이터베이스(1210)에서 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 단계이다. 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보 또한 추출할 수 있다.The step of extracting the eigenfrequency spectrum information (S2400) is a step of extracting the intrinsic reflection spectrum information of the object recognized by the parameter extraction unit 1240 in the object database 1210. Sensitivity information of camera and power spectral information of illumination can also be extracted.

게인 값을 산출하여 전송하는 단계(S2500)는 게인 산출부(1250)가 게인 값을 산출하고 산출된 게인 값을 컬러 밸런스를 수행하도록 서버 통신부(1220)를 통해 영상 보정 장치(1100)로 전송하는 단계이다. 고유 반사 스펙트럼 정보를 추출하는 단계(S2400)에서 추출된 값들을 이용하여 관심점의 이상적인 픽셀값을 산출하고, 영상 내의 물체를 인식하는 단계(S2300)에서 알아낸 수신한 영상 내의 대응하는 관심점 좌표의 실제 픽셀값을 비교해 게인 값을 산출하게 된다.In operation S2500, the gain calculator 1250 calculates a gain value and transmits the calculated gain value to the image correcting apparatus 1100 through the server communication unit 1220 so as to perform color balance . An ideal pixel value of the point of interest is calculated using the values extracted in step S2400 of extracting the eigenfrequency spectral information, and the corresponding interest point coordinates in the received image obtained in step S2300 of recognizing an object in the image And the gain value is calculated.

이와 같이, 본 발명의 일 실시예에 따른 자동 영상 컬러 밸런스 시스템은 널리 사용되는 다양한 물체의 정보를 이용하므로, 흰 색 피사체가 없는 경우에도 영상 내의 물체를 인식하여 컬러 밸런스를 수행할 수 있게 된다.As described above, the automatic image color balance system according to an embodiment of the present invention uses information of various widely used objects, so that even when there is no white subject, the color balance can be performed by recognizing an object in the image.

또한, 물체의 변하지 않는 특성인 고유 반사 스펙트럼을 이용하므로, 정확한 컬러 밸런스를 수행하게 되는 장점이 있다.In addition, since the eigenfrequency spectrum, which is an unchanging characteristic of an object, is used, there is an advantage of performing accurate color balance.

본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 것이 있으며, 상기 매체에 기록되는 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed on various computer means and recorded on a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and configured for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Such as magneto-optical, and ROM, RAM, flash memory, etc. Examples of program instructions recorded on the medium include machine code such as those produced by a compiler, Lt; RTI ID = 0.0 > and / or < / RTI > The hardware devices described above may be configured to operate as at least one software module to perform operations of one embodiment of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다는 것을 이해할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- Those skilled in the art will appreciate that various modifications and changes may be made thereto without departing from the scope of the present invention. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

1100: 영상 보정 장치
1110: 영상 획득부
1120: 통신부
1130: 영상 보정부
1200: 밸런스 데이터 서버
1210: 물체 데이터베이스
1220: 서버 통신부
1230: 물체 인식부
1240: 파라미터 추출부
1250: 게인 산출부
1100: Image correction device
1110:
1120:
1130: image correction unit
1200: balance data server
1210: Object database
1220: Server communication section
1230: Object recognition unit
1240:
1250: gain calculator

Claims (10)

물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스;
영상을 입력받는 영상 획득부;
상기 물체 데이터베이스의 인식정보를 이용해 상기 입력받은 영상 내의 물체를 인식하는 물체 인식부;
상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부;
상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부; 및
상기 게인 값에 기초하여 상기 입력받은 영상을 보정하는 영상 보정부를 포함하되, 상기 물체 데이터베이스의 인식 정보는 기준 영상, 특징점 기술자 및 적어도 하나의 관심점의 좌표를 포함하고, 상기 물체 인식부는 상기 입력받은 영상에 특징점 기술자를 생성한 후 상기 물체 데이터베이스의 특징점 기술자들과 비교하여 가장 유사한 특징점 기술자를 갖는 물체를 상기 입력받은 영상 내의 물체와 동일한 것으로 인식하며, 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상과 상기 입력받은 영상과의 선형 변환 관계를 구하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
An object database in which recognition information of objects and intrinsic reflection spectrum information are registered;
An image acquisition unit receiving an image;
An object recognition unit for recognizing an object in the input image using recognition information of the object database;
A parameter extraction unit for extracting intrinsic reflection spectrum information of the recognized object from the object database;
A gain calculator for calculating a gain value for color correction of the input image using the extracted eigenfrequency spectral information; And
And an image correction unit that corrects the input image based on the gain value, wherein the recognition information of the object database includes a reference image, a minutiae point descriptor, and coordinates of at least one point of interest, and the object recognition unit A minutiae descriptor is generated on an image and compared with the minutiae descriptors of the object database to recognize an object having the most similar minutiae descriptor as an object in the input image, Wherein the coordinates of a point of interest in the input image is obtained by obtaining a linear transformation relation between the reference image of the object and the input image.
제1항에 있어서,
상기 물체 데이터베이스는 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보가 더 등록되어 있는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
The method according to claim 1,
Wherein the object database further includes sensitivity information of the camera and power spectrum information of the illumination.
제1항에 있어서,
상기 물체 인식부는 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상의 선형 변환 관계를 나타내는 행렬을 구한 후 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점의 좌표를 상기 행렬을 이용해 워핑하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 더 포함하는 자동 영상 컬러 밸런스 시스템.
The method according to claim 1,
Wherein the object recognition unit obtains a matrix representing a linear transformation relationship between an object in the input image and a reference image of an object recognized as the same object and then uses the matrix to warp coordinates of a point of interest in the reference image of the recognized object, And obtaining coordinates of a point of interest in the input image.
제3항에 있어서,
상기 파라미터 추출부는 상기 물체 데이터베이스로부터 상기 입력받은 영상의 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 더 추출하는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
The method of claim 3,
Wherein the parameter extracting unit further extracts camera sensitivity information of the input image and power spectrum information of illumination from the object database.
제4항에 있어서,
상기 게인 산출부는 상기 추출된 고유 반사 스펙트럼 정보와 카메라 민감도 정보 및 조명의 파워 스펙트럼 정보를 이용하여 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점의 이상적인 픽셀값을 구한 후, 상기 이상적인 픽셀값을 상기 입력받은 영상 내의 관심점의 픽셀값과 비교하여 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
5. The method of claim 4,
Wherein the gain calculator calculates an ideal pixel value of a point of interest in the reference image of the object recognized as the same by using the extracted eigenfrequency spectral information, the camera sensitivity information, and the power spectrum information of the illumination, Wherein a gain value for color correction of the input image is calculated by comparing the input pixel value with a pixel value of a point of interest in the input image.
제5항에 있어서,
상기 게인 산출부는 상기 동일한 것으로 인식된 물체의 기준 영상 내의 관심점이 하나보다 많을 경우 각각의 관심점들에 대해 게인 값을 산출한 후 최소자승법으로 평균내어 상기 입력받은 영상의 색상 보정을 위한 게인 값을 산출하는 것을 특징으로 하는 자동 영상 컬러 밸런스 시스템.
6. The method of claim 5,
Wherein the gain calculator calculates a gain value for each of the points of interest when the point of interest in the reference image of the object recognized as the same is greater than one and then calculates a gain value for color correction of the input image by averaging the values using the least squares method Wherein the color image is a color image.
물체들의 인식 정보 및 고유 반사 스펙트럼 정보가 등록되어 있는 물체 데이터베이스;
영상을 수신하는 서버 통신부;
상기 물체 데이터베이스의 인식정보를 이용해 상기 수신된 영상 내의 물체를 인식하는 물체 인식부;
상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 파라미터 추출부; 및
상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 수신된 영상의 색상 보정을 위한 게인 값을 산출하는 게인 산출부를 포함하되,
상기 산출된 게인 값은 상기 서버 통신부를 통해 전송하고,
상기 물체 데이터베이스의 인식 정보는 기준 영상, 특징점 기술자 및 적어도 하나의 관심점의 좌표를 포함하고, 상기 물체 인식부는 상기 입력받은 영상에 특징점 기술자를 생성한 후 상기 물체 데이터베이스의 특징점 기술자들과 비교하여 가장 유사한 특징점 기술자를 갖는 물체를 상기 입력받은 영상 내의 물체와 동일한 것으로 인식하며, 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상과 상기 입력받은 영상과의 선형 변환 관계를 구하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 특징으로 하는 밸런스 데이터 서버.
An object database in which recognition information of objects and intrinsic reflection spectrum information are registered;
A server communication unit for receiving an image;
An object recognition unit for recognizing an object in the received image using recognition information of the object database;
A parameter extraction unit for extracting intrinsic reflection spectrum information of the recognized object from the object database; And
And a gain calculator for calculating a gain value for color correction of the received image using the extracted eigenfrequency spectral information,
The calculated gain value is transmitted through the server communication unit,
The recognition information of the object database includes a reference image, a minutiae descriptor, and coordinates of at least one point of interest. The object recognition unit generates a minutiae descriptor on the input image, compares the minutiae descriptor with minutiae descriptors of the object database, Recognizes that an object having a similar minutiae descriptor is the same as an object in the input image and obtains a linear transformation relationship between a reference image of the object recognized as the same object as the object in the input image and the input image, And obtains coordinates of a point of interest in the image.
제13항에 있어서,
상기 물체 데이터베이스는 카메라의 민감도 정보 및 조명의 파워 스펙트럼 정보가 더 등록되어 있는 것을 특징으로 하는 밸런스 데이터 서버.
14. The method of claim 13,
Wherein the object database further includes sensitivity information of the camera and power spectrum information of the illumination.
물체들의 인식 정보 및 고유 반사 스펙트럼 정보를 물체 데이터베이스에 저장하는 단계;
영상을 수신하는 단계;
상기 물체 데이터베이스의 인식정보를 이용해 상기 수신된 영상 내의 물체를 인식하는 단계;
상기 물체 데이터베이스로부터 상기 인식된 물체의 고유 반사 스펙트럼 정보를 추출하는 단계; 및
상기 추출된 고유 반사 스펙트럼 정보를 이용하여 상기 수신된 영상의 색상 보정을 위한 게인 값을 산출하여 전송하는 단계를 포함하되,
상기 물체 데이터베이스의 인식 정보는 기준 영상, 특징점 기술자 및 적어도 하나의 관심점의 좌표를 포함하고, 상기 물체를 인식하는 단계는 상기 입력받은 영상에 특징점 기술자를 생성한 후 상기 물체 데이터베이스의 특징점 기술자들과 비교하여 가장 유사한 특징점 기술자를 갖는 물체를 상기 입력받은 영상 내의 물체와 동일한 것으로 인식하며, 상기 입력받은 영상 내의 물체와 상기 동일한 것으로 인식된 물체의 기준 영상과 상기 입력받은 영상과의 선형 변환 관계를 구하여 상기 입력받은 영상 내의 관심점의 좌표를 구하는 것을 특징으로 하는 자동 영상 컬러 밸런스 방법.
Storing identification information and eigenfrequency spectrum information of objects in an object database;
Receiving an image;
Recognizing an object in the received image using recognition information of the object database;
Extracting intrinsic reflection spectrum information of the recognized object from the object database; And
And calculating and transmitting a gain value for color correction of the received image using the extracted eigenfrequency spectral information,
Wherein the recognition information of the object database includes coordinates of a reference image, a minutiae descriptor, and at least one point of interest, and the step of recognizing the object includes generating minutiae descriptors on the input image, And recognizes that an object having the most similar feature point descriptor is the same as an object in the input image and obtains a linear transformation relationship between the object in the input image and the reference image of the object recognized as the same and the input image, Wherein coordinates of a point of interest in the input image are obtained.
제9항에 기재된 자동 영상 컬러 밸런스 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
A computer-readable recording medium on which a program for performing the automatic image color balance method according to claim 9 is recorded.
KR1020170078931A 2017-06-22 2017-06-22 System and method for object recognition based automatic picture color balance, recording medium thereof KR101836768B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170078931A KR101836768B1 (en) 2017-06-22 2017-06-22 System and method for object recognition based automatic picture color balance, recording medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170078931A KR101836768B1 (en) 2017-06-22 2017-06-22 System and method for object recognition based automatic picture color balance, recording medium thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150171641 Division 2015-12-03

Publications (2)

Publication Number Publication Date
KR20170077081A true KR20170077081A (en) 2017-07-05
KR101836768B1 KR101836768B1 (en) 2018-03-08

Family

ID=59352317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170078931A KR101836768B1 (en) 2017-06-22 2017-06-22 System and method for object recognition based automatic picture color balance, recording medium thereof

Country Status (1)

Country Link
KR (1) KR101836768B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019160262A1 (en) * 2018-02-14 2019-08-22 삼성전자 주식회사 Electronic device and method for processing image by electronic device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5338762B2 (en) 2010-07-14 2013-11-13 株式会社豊田中央研究所 White balance coefficient calculation device and program
US20150172513A1 (en) 2013-12-18 2015-06-18 Nokia Corporation Methods And Apparatus For Color Balance Correction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019160262A1 (en) * 2018-02-14 2019-08-22 삼성전자 주식회사 Electronic device and method for processing image by electronic device
US11425300B2 (en) 2018-02-14 2022-08-23 Samsung Electronics Co., Ltd Electronic device and method for processing image by electronic device

Also Published As

Publication number Publication date
KR101836768B1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
WO2019071664A1 (en) Human face recognition method and apparatus combined with depth information, and storage medium
US11908160B2 (en) Method and apparatus for context-embedding and region-based object detection
KR20170019359A (en) Local adaptive histogram equalization
EP2959454A1 (en) Method, system and software module for foreground extraction
US20140270362A1 (en) Fast edge-based object relocalization and detection using contextual filtering
US20100054542A1 (en) Processing video frames with the same content but with luminance variations across frames
KR20130134163A (en) Apparatus and method for extracting target, and the recording media storing the program for performing the said method
US11315360B2 (en) Live facial recognition system and method
US9426375B2 (en) Line-of-sight detection apparatus and image capturing apparatus
CN110598795A (en) Image difference detection method and device, storage medium and terminal
US9117132B2 (en) System and method facilitating designing of classifier while recognizing characters in a video
KR101541384B1 (en) Device for Recognition of Object and method
US20110085026A1 (en) Detection method and detection system of moving object
KR101836768B1 (en) System and method for object recognition based automatic picture color balance, recording medium thereof
WO2022113344A1 (en) Information processing device, three-dimensional position estimation method, and non-transitory computer-readable medium having program stored thereon
US20120033888A1 (en) Image processing system, image processing method, and computer readable medium
US9094589B2 (en) Method and apparatus for processing image of patch panel
KR102410300B1 (en) Apparatus for measuring position of camera using stereo camera and method using the same
JP5148573B2 (en) Image processing system, image processing method, and program
JP6217225B2 (en) Image collation device, image collation method and program
US8538142B2 (en) Face-detection processing methods, image processing devices, and articles of manufacture
JP5791361B2 (en) PATTERN IDENTIFICATION DEVICE, PATTERN IDENTIFICATION METHOD, AND PROGRAM
KR101305405B1 (en) Method for Localizing Intelligent Mobile Robot by using a lateral landmark
KR20160000533A (en) The method of multi detection and tracking with local feature point for providing information of an object in augmented reality
US20160364604A1 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant