KR102462061B1 - Calibration Method of Image Deviation between Devices Using Gray Reference Panel and Facial Skin Diagnosis Device with this Function - Google Patents

Calibration Method of Image Deviation between Devices Using Gray Reference Panel and Facial Skin Diagnosis Device with this Function Download PDF

Info

Publication number
KR102462061B1
KR102462061B1 KR1020210045175A KR20210045175A KR102462061B1 KR 102462061 B1 KR102462061 B1 KR 102462061B1 KR 1020210045175 A KR1020210045175 A KR 1020210045175A KR 20210045175 A KR20210045175 A KR 20210045175A KR 102462061 B1 KR102462061 B1 KR 102462061B1
Authority
KR
South Korea
Prior art keywords
image
panel
gray reference
reference panel
color
Prior art date
Application number
KR1020210045175A
Other languages
Korean (ko)
Other versions
KR20220139043A (en
Inventor
안재석
Original Assignee
파이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파이 주식회사 filed Critical 파이 주식회사
Priority to KR1020210045175A priority Critical patent/KR102462061B1/en
Publication of KR20220139043A publication Critical patent/KR20220139043A/en
Application granted granted Critical
Publication of KR102462061B1 publication Critical patent/KR102462061B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • G06T5/009
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dermatology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 회색 레퍼런스 패널의 색상 및 밝기 정보와 해당 회색 레퍼런스 패널이 촬영된 영상의 회색 레퍼런스 패널 이미지의 색상 및 밝기 정보를 이용하여 해당 영상을 항상 동일한 촬영 조건에서의 색상과 밝기로 동시에 보정하는 기술에 관한 것이다.
본 발명에 따른 회색 레퍼런스 패널을 이용한 영상 편차 보정방법은, 영상처리장치에 회색 레퍼런스 패널의 밝기값과 R,G,B별 패널 색상값을 등록하는 제1 단계와, 영상처리장치가 회색 레퍼런스 패널이 함께 촬영된 영상을 수집하는 제2 단계, 영상처리장치가 수집 영상에서 회색 레퍼런스 패널 이미지를 추출하고, 회색 레퍼런스 패널 이미지에 대한 R,G,B별 패널 이미지 색상값을 획득하는 제3 단계, 영상처리장치가 제1 단계에서 등록된 회색 레퍼런스 패널의 R,G,B 별 패널 색상값을 상기 수집 영상의 밝기 환경에서의 색상값인 R,G,B별 변환 색상값으로 변환하는 제4 단계, 영상처리장치가 상기 제3 단계에서 획득한 패널 이미지 색상값과 제4 단계에서 획득한 변환 색상값간의 차(빼기) 연산을 통해 R,G,B별 색상 보정값을 산출하는 제5 단계 및, 영상처리장치가 R,G,B별 색상 보정값을 이용하여 상기 수집 영상의 색상을 보정함과 더불어 상기 제1 단계에서 등록된 회색 레퍼런스 패널의 밝기값을 근거로 수집 영상의 밝기를 보정하여 보정 영상을 생성하는 제6 단계를 포함하여 구성되고, 상기 제4 단계는 회색 레퍼런스 패널의 R,G,B 별 각 밝기 비율을 산출하고, 이 R,G,B별 밝기 비율에 패널 이미지의 밝기값을 곱 연산하여 R,G,B,별 변환 색상값을 생성하는 것을 특징으로 한다.
The present invention is a technology for simultaneously correcting the corresponding image with color and brightness under the same shooting conditions by using the color and brightness information of the gray reference panel and the color and brightness information of the gray reference panel image of the image in which the gray reference panel is photographed is about
The method for correcting image deviation using a gray reference panel according to the present invention includes a first step of registering the brightness value of the gray reference panel and the panel color value for each R, G, and B in an image processing apparatus, and the image processing apparatus includes the gray reference panel The second step of collecting the captured images, the third step of the image processing device extracting the gray reference panel image from the collected image, and obtaining the panel image color values for each R, G, and B of the gray reference panel image; A fourth step in which the image processing apparatus converts the panel color values for each R, G, and B of the gray reference panel registered in the first step into converted color values for each R, G, and B that are color values in the brightness environment of the collected image , a fifth step of calculating, by the image processing apparatus, a color correction value for each R, G, and B through a difference (subtraction) operation between the panel image color value obtained in the third step and the converted color value obtained in the fourth step; and , the image processing apparatus corrects the color of the collected image using the color correction values for each R, G, and B, and corrects the brightness of the collected image based on the brightness value of the gray reference panel registered in the first step. and a sixth step of generating a corrected image, wherein the fourth step is to calculate the respective brightness ratios for each R, G, and B of the gray reference panel, and the brightness ratio of the panel image to the R, G, and B brightness ratios of the gray reference panel It is characterized by generating a converted color value for R, G, B, and stars by multiplying the values.

Description

회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법 및, 이러한 기능을 갖는 안면 피부 진단장치 {Calibration Method of Image Deviation between Devices Using Gray Reference Panel and Facial Skin Diagnosis Device with this Function}Calibration Method of Image Deviation between Devices Using Gray Reference Panel and Facial Skin Diagnosis Device with this Function

본 발명은 회색 레퍼런스 패널의 색상 및 밝기 정보와 해당 회색 레퍼런스 패널이 촬영된 영상의 회색 레퍼런스 패널 이미지의 색상 및 밝기 정보를 이용하여 해당 영상을 항상 동일한 촬영 조건에서의 색상과 밝기로 동시에 보정하는 기술에 관한 것이다. The present invention is a technology for simultaneously correcting the corresponding image with color and brightness under the same shooting conditions by using the color and brightness information of the gray reference panel and the color and brightness information of the gray reference panel image of the image in which the gray reference panel is photographed is about

최근 들어, 피부과 또는 피부관리소 등에서 피부 상태를 측정 및 진단하여 피부 상태의 특성이나 문제점을 발견하고 그에 따라 적합한 조치를 취하는데 도움을 주는 다양한 형태의 피부 진단 장치들이 개발되고 있다.In recent years, various types of skin diagnosis devices have been developed that measure and diagnose skin conditions at dermatologists or skin care centers to discover characteristics or problems of skin conditions and take appropriate measures accordingly.

그 중 일예로, 육안으로는 관찰하기 어려운 안면 피부 표피 및 진피유두의 색소성 병변 등에 특정 파장 대역의 광을 편광시켜 영상을 취득하고, 해당 영상을 분석하여 현재 피부 상태를 측정, 진단할 수 있는 안면 피부 진단장치가 개시된 바 있다. As an example, an image is obtained by polarizing light of a specific wavelength band to pigmented lesions of the epidermis and dermal papilla of the facial skin, which are difficult to observe with the naked eye, and the current skin condition can be measured and diagnosed by analyzing the image. A facial skin diagnosis apparatus has been disclosed.

도1에는 종래 사용자 얼굴을 촬영하여 안면 피부 상태를 진단하는 안면 피부 진단장치(1)가 예시되어 있다. 도1 (A)를 참조하면, 안면 피부 진단장치(1)는 사용자의 얼굴이 배치되는 촬영공간(2) 내측에 사용자의 얼굴 영상을 촬영할 수 있는 카메라(3)와, 카메라(3) 주위에 배치된 다수의 광원들로 이루어지는 광원부(4), 촬영 공간(2)의 하측에 배치되는 턱 받침대(5), 촬영 공간(2)의 상측에 배치되는 이마 받침대(6) 및, 이마 받침대(6)의 좌우 측면에 배치되는 밝기 레퍼런스 패널(7)을 포함하여 구성된다.1 illustrates a conventional facial skin diagnosis apparatus 1 for diagnosing a facial skin condition by photographing a user's face. Referring to FIG. 1A , the facial skin diagnosis apparatus 1 includes a camera 3 capable of capturing an image of a user's face inside a photographing space 2 where the user's face is disposed, and a camera 3 around the camera 3 . The light source unit 4 made of a plurality of light sources arranged, the chin rest 5 arranged below the photographing space 2 , the forehead rest 6 and the forehead rest 6 arranged above the photographing space 2 . ) and a brightness reference panel 7 disposed on the left and right sides.

상기 밝기 레퍼런스 패널(7)은 도1 (B)에 도시된 바와 같이 아이보리색의 평판 형태로 이루어지며, 카메라(3)를 이용하여 촬영 공간(S)내에 위치한 사용자 얼굴 촬영시 촬영된 영상의 상측 좌우에 함께 촬영된다. The brightness reference panel 7 is made in the form of a flat plate of ivory color as shown in FIG. Left and right are photographed together.

즉, 종래 안면 피부 진단장치(1)는 촬영된 영상에서 좌우측 밝기 레퍼런스 패널을 추출하여 그 부분의 밝기를 구한 뒤 광원별 설정된 밝기와의 차이를 구하고, 그 차이 만큼을 소프트웨어적으로 밝기 보정하여 항상 같은 밝기로 밝기 레퍼런스가 표현되는 안면 영상을 생성함으로써, 항상 같은 밝기 조건에서의 안면 보정 영상을 이용하여 사용자의 안면 피부 상태를 진단하게 된다. That is, the conventional facial skin diagnosis apparatus 1 extracts the left and right brightness reference panels from the photographed image to obtain the brightness of the portion, obtains the difference from the brightness set for each light source, and corrects the brightness by software to always By generating a facial image in which a brightness reference is expressed with the same brightness, the user's facial skin condition is diagnosed using the facial correction image under the same brightness condition.

그러나, 촬영하는 장소에 따라 햇빛이 과도하게 비친다거나 외광이 심하거나 하는 외부 조건의 변화나 광원의 고장이나 수명에 따른 광량저하 등의 밝기 변화가 발생될 수 있고, 일정 이상의 밝기에 대해서는 소프트웨어적인 보정에 한계가 있다.However, depending on the shooting location, changes in external conditions such as excessive sunlight or severe external light or brightness changes such as light source failure or light loss due to lifespan may occur. There are limits to

이에, 광원의 고장이나 수명에 따른 적시적인 광원의 교체, 설치 장소의 변경을 통한 외광 차단 등의 보완책이 있을 수 있으나, 아무리 광원(플래쉬, 램프 또는 LED)을 회로적으로 안정적으로 밝힌다고 하여도 전기적 변화, 수명, 광원의 구조적 원인으로 광원을 켤 때마다 밝기 변화가 있을 수 있다.Accordingly, there may be supplementary measures such as timely replacement of the light source according to the failure or lifespan of the light source, or blocking external light by changing the installation location, but no matter how stable the light source (flash, lamp or LED) is illuminating the circuit There may be a change in brightness whenever the light source is turned on due to electrical changes, lifetime, and structural causes of the light source.

또한, 일반적으로 종래 영상의 밝기 보정방식은 항상 일정 밝기 이상 밝게 영상을 촬영하고, 밝게 측정된 영상의 밝기를 설정된 밝기로 어둡게 하여 보정하는 방식을 사용한다. 이는 촬영된 영상을 어둡게 하는 보정은 콘트라스트에 영향을 미치지 않고 계조를 좋게 하기 때문이다. Also, in general, the conventional method of correcting the brightness of an image uses a method of always photographing an image brighter than a certain brightness, and darkening the brightness of the image measured brightly to a set brightness and correcting the image. This is because the correction of darkening the captured image improves the gradation without affecting the contrast.

그러나, 도1과 같은 종래 안면 피부 진단장치(1)는 사용자의 턱을 일정 위치에 있는 턱받침대(5)에 괴인 상태에서 얼굴 크기에 따라 이마 받침대(6)의 높이를 조정한 뒤 촬영하게 되는데, 사용자의 머리가 크거나 머리카락이 위로 서는 사람은 이마 받침대(6) 주변에 배치된 밝기 레퍼런스 패널(7)을 머리카락 등이 가리는 일이 발생하고, 이로 인해 정확한 밝기 계측이 어려워 밝기 보정에 실패하거나 잘못된 보정을 하는 경우가 발생될 수 있다.However, in the conventional facial skin diagnosis apparatus 1 as shown in FIG. 1 , the user's chin is entangled in the chin rest 5 at a certain position, and the height of the forehead rest 6 is adjusted according to the size of the face, and then the picture is taken. , a person with a large head or standing hair may have hair covering the brightness reference panel 7 placed around the forehead rest 6 Incorrect calibration may occur.

또한, 종래 안면 피부 진단장치(1)는 밝기 레퍼런스 패널(7)이 촬영 공간(2)의 상단에 배치되기 때문에, 사용자의 머리가 위치되고 남은 상단으로 외광이 유입되어 외광의 영향을 실제보다 더 많이 받는 상태로 촬영될 수 있다. In addition, in the conventional facial skin diagnosis apparatus 1, since the brightness reference panel 7 is disposed at the top of the imaging space 2, external light is introduced to the top left after the user's head is positioned, so that the effect of external light is more severe than actual. It can be photographed in a state of receiving a lot.

즉, 안면 피부 분석을 위해서는 항상 동일한 촬영 환경에서 촬영된 안면 영상의 확보가 기본이 되는데, 카메라를 통해 촬영한 안면 영상이 촬영시마다 색감과 밝기가 달라지거나 촬영장비마다 색감과 밝기가 달라짐으로 인해 촬영시마다 또는 촬영장비를 바꿀 때마다 다른 안면 피부분석 결과가 도출되는 문제가 발생된다. In other words, for facial skin analysis, it is always basic to secure facial images taken in the same shooting environment. There is a problem that different facial skin analysis results are derived every time or every time the imaging equipment is changed.

1. 한국등록특허 제10-0698828호 (발명의 명칭 : 조명-반사율 모델에 기반한 영상의 왜곡 보정 시스템 및 방법)1. Korea Patent Registration No. 10-0698828 (Title of the invention: Image distortion correction system and method based on illumination-reflectance model) 2. 한국공개특허 제10-2021-0017448호 (발명의 명칭 : 얼굴 피부 진단기)2. Korean Patent Laid-Open Patent No. 10-2021-0017448 (Title of Invention: Facial Skin Diagnosis Machine)

이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 영상 촬영시 회색 레퍼런스 패널을 함께 촬영하여 회색 레퍼런스 패널의 고유 등록값과 해당 영상의 회색 레퍼런스 패널 이미지의 밝기와 색상값을 이용하여 촬영영상의 색상과 밝기를 동시에 보정할 수 있도록 해 주는 회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법을 제공함에 그 기술적 목적이 있다.Accordingly, the present invention was created in consideration of the above circumstances, and when shooting an image, a gray reference panel is photographed together, and a photographed image using the unique registration value of the gray reference panel and the brightness and color values of the gray reference panel image of the image Its technical purpose is to provide a method for correcting the image deviation between devices using a gray reference panel that can correct the color and brightness of the image at the same time.

또한, 본 발명은 안면 피부 진단장치의 하측에 회색 레퍼런스 패널을 배치하여 안면 촬영시 회색 레퍼런스 패널로 유입되는 외광의 영향을 최소화함으로써, 회색 레퍼런스 패널 이미지를 이용한 안면 영상의 색상 및 밝기 보정을 보다 안정적으로 수행하여 안면 피부 상태를 진단할 수 있도록 해 주는 회색 레퍼런스 패널을 이용한 영상 편차 보정 기능을 갖는 안면 피부 진단장치를 제공함에 그 기술적 목적이 있다.In addition, the present invention minimizes the effect of external light flowing into the gray reference panel during facial imaging by disposing a gray reference panel on the lower side of the facial skin diagnosis device, thereby stably correcting the color and brightness of the facial image using the gray reference panel image. It is a technical object to provide a facial skin diagnosis apparatus having an image deviation correction function using a gray reference panel that enables the diagnosis of facial skin conditions by performing

상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 촬영된 영상을 비교하여 처리하는 다수의 영상처리장치에서 회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법에 있어서, 영상처리장치에 회색 레퍼런스 패널의 밝기값과 R,G,B별 패널 색상값을 등록하는 제1 단계와, 영상처리장치가 회색 레퍼런스 패널이 함께 촬영된 영상을 수집하는 제2 단계, 영상처리장치가 제2 단계의 수집 영상에서 회색 레퍼런스 패널 이미지를 추출하고, 회색 레퍼런스 패널 이미지에 대한 R,G,B별 패널 이미지 색상값을 획득하는 제3 단계, 영상처리장치가 제1 단계에서 등록된 회색 레퍼런스 패널의 R,G,B 별 패널 색상값을 상기 수집 영상의 밝기 환경에서의 색상값인 R,G,B별 변환 색상값으로 변환하는 제4 단계, 영상처리장치가 상기 제3 단계에서 획득한 패널 이미지 색상값과 제4 단계에서 획득한 변환 색상값간의 차(빼기) 연산을 통해 R,G,B별 색상 보정값을 산출하는 제5 단계 및, 영상처리장치가 R,G,B별 색상 보정값을 이용하여 상기 수집 영상의 색상을 보정하고, 상기 제1 단계에서 등록된 회색 레퍼런스 패널의 밝기값을 근거로 이 수집 영상의 밝기를 보정하여 보정 영상을 생성하는 제6 단계를 포함하여 구성되고, 상기 제4 단계는 회색 레퍼런스 패널의 R,G,B 별 각 밝기 비율을 산출하고, 이 R,G,B별 밝기 비율에 패널 이미지의 밝기값을 곱 연산하여 R,G,B,별 변환 색상값을 생성하되, 상기 회색 레퍼런스 패널의 R,G,B별 각 밝기 비율(RR,GR,BR)은 하기 수학식에 의해 산출되고,

Figure 112022059160807-pat00014
여기서, RC,GC,BC 는 제1 단계에서 등록된 회색 레퍼런스 패널의 R,G,B별 패널 색상값이며. 상기 패널 이미지의 밝기값(II)은 하기 수학식에 의해 산출되는 것을 특징으로 하는 회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법이 제공된다.
Figure 112022059160807-pat00015
여기서, RIC,GIC,BIC 는 제3 단계에서 획득한 회색 레퍼런스 패널 이미지의 R,G,B별 이미지 패널 색상값이다.According to one aspect of the present invention for achieving the above object, in a method for correcting image deviation between devices using a gray reference panel in a plurality of image processing devices that compare and process photographed images, the image processing device includes a gray reference panel. In the first step of registering the brightness value and the panel color value for each R, G, and B, the image processing device collects the image photographed with the gray reference panel in the second step, and the image processing device collects the image in the second step The third step of extracting the gray reference panel image and obtaining the panel image color values for each R, G, and B for the gray reference panel image, the image processing device R, G, B of the gray reference panel registered in the first step A fourth step of converting each panel color value into a converted color value for each R, G, and B that is a color value in the brightness environment of the collected image, the image processing apparatus compares the panel image color value obtained in the third step A fifth step of calculating a color correction value for each R, G, and B through a difference (subtraction) operation between the converted color values obtained in the step, and the image processing apparatus collects the color correction values for each R, G, and B a sixth step of correcting the color of the image and correcting the brightness of the collected image based on the brightness value of the gray reference panel registered in the first step to generate a corrected image, wherein the fourth step comprises: Calculate the brightness ratio for each R, G, and B of the gray reference panel, multiply the brightness ratio for each R, G, and B by the brightness value of the panel image to generate R, G, B, and star conversion color values, Each brightness ratio (R R , G R , B R ) of each R, G, and B of the gray reference panel is calculated by the following equation,
Figure 112022059160807-pat00014
Here, R C ,G C ,B C are the panel color values for each R, G, and B of the gray reference panel registered in the first step. The brightness value I I of the panel image is provided with a method for correcting image deviation between devices using a gray reference panel, characterized in that calculated by the following equation.
Figure 112022059160807-pat00015
Here, R IC , G IC , B IC are the image panel color values for each R, G, and B of the gray reference panel image obtained in the third step.

또한, 상기 제2 단계에서 수집된 영상은 서로 다른 위치에 배치된 동일 명도를 갖는 둘 이상의 회색 레퍼런스 패널을 포함하고, 상기 제3 단계에서 영상처리장치는 각 회색 레퍼런스 패널 이미지에 대한 R,G,B별 패널 이미지 색상값의 평균을 패널 이미지 색상값으로 결정하는 것을 특징으로 하는 회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법이 제공된다.In addition, the image collected in the second step includes two or more gray reference panels having the same brightness disposed at different positions, and in the third step, the image processing apparatus performs R, G, Provided is a method for correcting image deviation between devices using a gray reference panel, characterized in that the average of the panel image color values for each B is determined as the panel image color value.

삭제delete

삭제delete

또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 전면 일측에 사용자의 안면이 배치되는 개구가 형성되고, 내부에 촬영공간이 형성되는 본체와, 상기 본체의 하측에 설치되어 사용자의 턱을 받쳐주는 턱 받침대, 회색 컬러를 갖는 일정 폭과 길이를 갖는 패널로서, 상기 턱 받침대의 일측면상에 배치되되, 사용자 얼굴과 동일 포커스면에 배치되는 회색 레퍼런스 패널, 상기 본체 개구에 위치하는 사용자의 안면을 촬영하되, 상기 회색 레퍼런스 패널이 안면과 함께 촬영되도록 본체의 내부 일측에 설치되는 카메라, 상기 본체의 내부 일측에 설치되어 광을 조사하는 광원부, 상기 카메라를 통해 촬영된 안면 영상을 수집하여 회색 레퍼런스 패널 정보를 근거로 동일한 촬영 조건의 보정 영상을 생성하고, 보정 영상을 이용하여 사용자 안면 피부 상태를 진단하는 영상처리장치를 포함하여 구성되고, 상기 영상처리장치는 안면 영상의 회색 레퍼러스 패널 이미지에 대한 R,G,B별 패널 이미지 색상값을 산출하고, 회색 레퍼런스 패널의 기 등록 색상값을 해당 안면 영상 밝기 환경에서의 회색 레퍼런스 패널의 R,G,B별 변환 색상값으로 변환하며, R,G,B별 패널 이미지 색상값과 R,G,B별 변환 색상값의 차이를 근거로 R,G,B 색상 보정값을 산출하여 안면 영상의 색상을 보정하고, 기 설정된 회색 레퍼런스 패널의 패널 밝기값을 이용하여 이 안면 영상의 밝기를 보정하여 보정 영상을 생성하도록 구성되되, 상기 R,G,B,별 변환 색상값은 상기 회색 레퍼런스 패널의 R,G,B별 각 밝기 비율(RR,GR,BR)을 하기 수학식을 통해 산출하고,

Figure 112022059160807-pat00016
여기서, RC,GC,BC 는 기 등록된 회색 레퍼런스 패널의 R,G,B별 패널 색상값이며, 이 R,G,B별 밝기 비율에 하기 수학식을 통해 산출된 패널 이미지의 밝기값(II)을 곱 연산하여 산출되는 것을 특징으로 하는 회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법이 제공된다.
Figure 112022059160807-pat00017
여기서, RIC,GIC,BIC 는 회색 레퍼런스 패널 이미지의 R,G,B별 이미지 패널 색상값이다.In addition, according to another aspect of the present invention for achieving the above object, an opening in which the user's face is disposed is formed on one side of the front side, a body having a photographing space formed therein, and a user installed on the lower side of the body A chin rest supporting the chin of The user's face is photographed, but a camera installed on one side of the inside of the body so that the gray reference panel is photographed together with the face, a light source unit installed on one side of the body for irradiating light, and collecting facial images taken through the camera to generate a corrected image of the same shooting condition based on the gray reference panel information, and an image processing apparatus for diagnosing a user's facial skin condition using the corrected image, wherein the image processing apparatus is a gray reference of the facial image Calculates the panel image color value for each R, G, and B of the panel image, and converts the previously registered color value of the gray reference panel into the converted color value for each R, G, and B of the gray reference panel in the corresponding facial image brightness environment. , R, G, and B color correction values are calculated based on the difference between the panel image color value for each R, G, and B color value and the converted color value for each R, G, B color correction value is calculated to correct the color of the facial image, and a preset gray reference panel is configured to generate a corrected image by correcting the brightness of this facial image using the panel brightness value of R R ,G R ,B R ) is calculated through the following formula,
Figure 112022059160807-pat00016
Here, R C , G C , B C are the panel color values for each R, G, and B of the previously registered gray reference panel, and the brightness ratio of each R, G, and B of the panel image calculated through the following equation There is provided a method for correcting image deviation between devices using a gray reference panel, which is calculated by multiplying a value (I I ).
Figure 112022059160807-pat00017
Here, R IC , G IC , and B IC are the image panel color values for each R, G, and B of the gray reference panel image.

삭제delete

또한, 상기 회색 레퍼런스 패널은 표면이 무광 특성을 가지며, 플라스틱이나 세라믹을 포함한 변색이 적으면서 습기에 강한 재질로 이루어지는 것을 특징으로 하는 회색 레퍼런스 패널을 이용한 영상 편차 보정기능을 갖는 안면 피부 진단장치가 제공된다.In addition, the gray reference panel is provided with a facial skin diagnosis device having an image deviation correction function using a gray reference panel, characterized in that the surface has a matte characteristic, and is made of a material that is resistant to moisture and has little discoloration including plastic or ceramic. do.

본 발명에 의하면, 영상 촬영시 회색 레퍼런스 패널을 함께 촬영하여 회색 레퍼런스 패널의 고유 등록값과 해당 영상의 회색 레퍼런스 패널 이미지의 밝기와 색상값을 이용하여 촬영영상의 색상과 밝기를 용이하게 보정할 수 있다. According to the present invention, it is possible to easily correct the color and brightness of a photographed image by shooting a gray reference panel when taking an image and using the unique registration value of the gray reference panel and the brightness and color values of the gray reference panel image of the image. have.

또한, 본 발명은 사용자 얼굴과 안면 피부 진단장치의 하측에 배치된 회색 레퍼런스 패널과 함께 촬영된 안면 영상을 촬영시별 또는 촬영 장비별 촬영 영상의 색상 및 밝기 편차를 제거하여 항상 동일한 촬영 환경에서의 영상으로 보정함으로써, 언제 어디서나 사용자의 안면 피부 상태를 신뢰성 있게 진단할 수 있다. In addition, the present invention removes the color and brightness deviation of the photographed image for each time of photographing a user's face and a facial image photographed together with a gray reference panel disposed on the lower side of the facial skin diagnosis apparatus or by photographing equipment, so that it is always in the same photographing environment. By correcting the image, it is possible to reliably diagnose the user's facial skin condition anytime, anywhere.

도1은 종래 안면 피부 진단장치의 구성을 개략적으로 도시한 도면.
도2는 본 발명의 제1 실시예에 따른 회색 레퍼런스 패널을 이용한 영상 편차 보정 기능을 갖는 안면 피부 진단장치의 구성을 개략적으로 도시한 도면.
도3은 도2에 도시된 회색 레퍼런스 패널(140)의 배치 형태를 예시한 도면.
도4는 도2에 도시된 영상 처리 장치(200)의 내부구성을 기능적으로 분리하여 나타낸 도면.
도5는 도2에 도시된 회색 레퍼런스 패널을 이용한 영상 편차 보정 기능을 갖는 안면 피부 진단장치의 동작을 설명하기 위한 도면.
1 is a diagram schematically showing the configuration of a conventional facial skin diagnosis apparatus.
2 is a diagram schematically showing the configuration of a facial skin diagnosis apparatus having an image deviation correction function using a gray reference panel according to a first embodiment of the present invention;
FIG. 3 is a diagram illustrating an arrangement form of the gray reference panel 140 shown in FIG. 2 .
FIG. 4 is a functionally separated view showing the internal configuration of the image processing apparatus 200 shown in FIG. 2 .
FIG. 5 is a view for explaining the operation of the facial skin diagnosis apparatus having an image deviation correction function using the gray reference panel shown in FIG. 2 .

이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호로 나타내고 있음을 유의해야 한다. 한편, 이에 앞서 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings. It should be noted that the same components in the drawings are denoted by the same reference numerals wherever possible. On the other hand, prior to this, the terms or words used in the present specification and claims should not be construed as being limited to conventional or dictionary meanings, and the inventors have to understand the concept of terms in order to explain their invention in the best way. Based on the principle that it can be appropriately defined, it should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the configuration shown in the embodiments and drawings described in this specification is only the most preferred embodiment of the present invention, and does not represent all of the technical idea of the present invention, so at the time of the present application, various It should be understood that there may be equivalents and variations.

도2는 본 발명의 제1 실시예에 따른 회색 레퍼런스 패널을 이용한 영상 편차 보정 기능을 갖는 안면 피부 진단장치의 구성을 개략적으로 도시한 도면이다.2 is a diagram schematically illustrating the configuration of a facial skin diagnosis apparatus having an image deviation correction function using a gray reference panel according to a first embodiment of the present invention.

도2를 참조하면, 본 발명에 따른 회색 레퍼런스 패널을 이용한 영상 편차 보정 기능을 갖는 안면 피부 진단장치는, 사용자 얼굴을 촬영하는 안면 촬영장치(100)와, 이 안면 촬영장치(100)에서 촬영된 안면 영상을 동일한 촬영 조건의 영상으로 보정하여 안면 피부 상태를 진단하는 영상처리장치(200)를 포함한다. 이때, 영상처리장치(200)는 안면 촬영장치(100) 내에 배치되어 안면 피부 진단장치를 하나의 단말 형태로 구현할 수 있다.Referring to FIG. 2 , a facial skin diagnosis apparatus having an image deviation correction function using a gray reference panel according to the present invention includes a face photographing apparatus 100 for photographing a user's face, and and an image processing apparatus 200 for diagnosing a facial skin condition by correcting a facial image with an image of the same photographing condition. In this case, the image processing apparatus 200 may be disposed in the face photographing apparatus 100 to implement the facial skin diagnosis apparatus in the form of a single terminal.

안면 촬영장치(100)는 전면 일측에 사용자의 얼굴이 배치되는 개구가 형성되고, 내부에 촬영공간(S)이 형성되는 본체의 내측에 사용자의 얼굴 영상을 촬영할 수 있는 카메라(110)와, 카메라(110) 주위에 배치된 다수의 광원들로 이루어지는 광원부(120), 촬영 공간(S)의 하측에 배치되는 턱 받침대(130) 및, 턱 받침대(130)의 일측면상에 배치되는 회색 레퍼런스 패널(140)을 포함하여 구성되고, 촬영 공간(S)의 상측에 이마 받침대(150)를 더 포함할 수 있다.The face photographing apparatus 100 includes a camera 110 capable of photographing an image of the user's face on the inside of the main body in which an opening in which the user's face is disposed is formed on one side of the front side, and a photographing space S is formed therein, and a camera; A light source unit 120 made of a plurality of light sources disposed around 110 , a chin rest 130 disposed below the imaging space S, and a gray reference panel disposed on one side of the chin rest 130 ( 140), and may further include a forehead supporter 150 on the upper side of the photographing space (S).

여기서, 회색 레퍼런스 패널(140)은 도3에 도시된 바와 같이 턱 받침대(130)의 카메라(110)와 마주하는 측면 즉, 턱 받침대(130)에 받쳐지는 사용자 얼굴과 동일 포커스 면에 적어도 하나 이상이 배치된다. 도3에는 턱 받침대(130)의 일측면에 2개의 회색 레퍼런스 패널(140)이 "11"자 형태로 배치된 형상이 예시되어 있다. 이와 같이 회색 레퍼런스 패널(140)을 턱 받침대(130) 부분에 배치시키는 것은, 사용자 얼굴이 촬영 공간(S)에 위치된 상태에서 얼굴 크기나 머리카락으로부터의 영향을 최소화하고, 촬영시 사용자의 얼굴과 몸통으로 안면 촬영장치(100)의 하측이 자연스럽게 가려져 회색 레퍼런스 패널(140)측으로 외광이 유입되어 밝기 변화가 발생되는 것을 최소화하기 위함이다. 이에 따라 본 발명에서는 안면 촬영장치(100)에서 촬영된 안면 영상에서 회색 레퍼런스 패널(140) 부분은 항상 동일한 밝기 환경을 갖게 된다. Here, at least one gray reference panel 140 is on the same focus plane as the user's face supported on the chin rest 130 on the side facing the camera 110 of the chin rest 130 as shown in FIG. 3 . this is placed 3 exemplifies a shape in which two gray reference panels 140 are arranged in the shape of “11” on one side of the chin rest 130 . Placing the gray reference panel 140 on the chin rest 130 in this way minimizes the influence from the face size or hair while the user's face is positioned in the photographing space S, and the user's face and This is to minimize the occurrence of a change in brightness due to the body naturally covering the lower side of the face photographing apparatus 100 and introducing external light to the gray reference panel 140 side. Accordingly, in the present invention, a portion of the gray reference panel 140 in the face image captured by the face photographing apparatus 100 always has the same brightness environment.

이러한 회색 레퍼런스 패널(140)은 회색 컬러를 갖는 일정 폭과 길이를 갖는 직사각형상의 패널로서, 회색 계열의 색상은 R(Red), G(Green), B(Blue) 모두 동일한 색상값을 가지면서, 밝기값에 의해 달라지는 특성을 갖는다. 본 발명에서는 이러한 회색 컬러의 색감 특성을 이용하여 영상 보정처리를 수행하는 것이다. The gray reference panel 140 is a rectangular panel having a certain width and length having a gray color, and the gray-based colors have the same color values as R (Red), G (Green), and B (Blue). It has a characteristic that varies according to the brightness value. In the present invention, image correction processing is performed using the color characteristics of the gray color.

또한, 상기 회색 레퍼런스 패널(140)은 패널 표면이 무광 특성을 갖도록 구성되어 빛 반사로 인한 색상이나 밝기에 변동이 적도록 하고, 재질은 빛의 오랜 노출에도 변색이 적고 습기에 강하여 시간에 따른 변화가 적은 것으로, 예컨대 플라스틱이나 세라믹 재질로 이루어질 수 있다. 그리고, 회색은 너무 어둡거나 너무 밝지 않은 중간 정도의 명도를 갖는 것이 바람직하다. In addition, the gray reference panel 140 is configured so that the surface of the panel has a matte characteristic so that there is little change in color or brightness due to light reflection, and the material has little discoloration even after long exposure to light and is resistant to moisture, so it changes with time is small, and may be made of, for example, a plastic or ceramic material. And, it is preferable that the gray color has a medium brightness that is not too dark or too bright.

한편, 도2에서 영상처리장치(200)는 안면 촬영장치(100)를 제어하여 사용자 안면 영상을 촬영하고, 그 안면 영상을 수집하며, 수집된 안면 영상의 회색 레퍼런스 패널 이미지를 이용하여 항상 일정한 촬영 환경에서 촬영된 안면 영상이 되도록 해당 안면 영상의 색상 및 밝기를 보정한다. 그리고, 영상처리장치(200)는 보정된 안면 영상을 이용하여 안면 피부 상태를 분석한다.On the other hand, in FIG. 2 , the image processing apparatus 200 controls the face photographing apparatus 100 to photograph a user's face image, collects the facial image, and always takes a constant photograph using a gray reference panel image of the collected facial image. The color and brightness of the corresponding facial image are corrected so that it becomes a facial image captured in the environment. Then, the image processing apparatus 200 analyzes the facial skin condition using the corrected facial image.

이러한 영상처리장치(200는 도4에 도시된 바와 같이 카메라 설정부(210)와, 정보 등록부(220), 영상 수집부(230), 영상 보정부(240), 영상 분석부(250)를 포함한다. As shown in FIG. 4 , the image processing apparatus 200 includes a camera setting unit 210 , an information registration unit 220 , an image collection unit 230 , an image correction unit 240 , and an image analysis unit 250 . do.

카메라 설정부(210)는 안면 촬영장치(100)에서 사용자 얼굴과 함께 회색 레퍼런스 패널(140)이 촬영되도록 카메라(110)와 피사체인 얼굴간의 거리와 렌즈 배율을 포함한 각종 카메라 파라미터를 설정한다. 이때, 카메라 파라미터는 조리개(Aperture)와 셔터 스피드(Shutter Speed), 빛에 반응하는 센서의 감도(ISO), 화이트 밸런스(White Balance)를 포함한다. 즉, 항상 동일한 카메라 조건에서 안면 영상이 촬영되도록 한다. 이때, 안면 촬영장치(100)가 다수개인 경우, 각 안면 촬영장치(100)의 카메라 파라미터 및 회색 레퍼런스 패널의 밝기값과 R,G,B별 패널 색상값을 모두 동일하게 설정함으로써, 안면 피부 측정 서비스 제공시 촬영장치별 편차없이 항상 동일한 밝기와 색감의 안면 영상을 획득할 수 있도록 한다.The camera setting unit 210 sets various camera parameters including the distance between the camera 110 and the subject's face and the lens magnification so that the gray reference panel 140 is photographed together with the user's face in the face photographing apparatus 100 . In this case, the camera parameters include aperture and shutter speed, sensitivity of a sensor responding to light (ISO), and white balance. That is, the facial image is always taken under the same camera conditions. At this time, when there are a plurality of face photographing apparatuses 100, by setting the camera parameters of each facial photographing apparatus 100, the brightness value of the gray reference panel, and the panel color values for each R, G, and B to be the same, measurement of facial skin When providing the service, it is possible to always obtain a facial image of the same brightness and color without any deviation for each shooting device.

정보 등록부(220)는 영상 편차 보정을 위한 회색 레퍼런스 패널(140)의 기준 정보를 등록한다. 기준 정보는 회색 레퍼런스 패널(140)을 색차계 또는 측색계(Colorimeter)를 이용하여 측정한 R,G,B 색상값과 패널 밝기값을 포함한다.The information registration unit 220 registers reference information of the gray reference panel 140 for image deviation correction. The reference information includes R, G, and B color values and panel brightness values measured using a colorimeter or a colorimeter of the gray reference panel 140 .

회색 레퍼런스 패널(140)의 R,G,B 색상값은 국제 조명 위원회인 CIE에서 규정한 Lab 색좌표일 수도 있고, RGB 색좌표일 수도 있다. 이때, Lab 색좌표의 경우는 RGB 색좌표 변환 공식으로 변환하여 등록될 수 있으며, Lab 에서 RGB로 변환 시에는 국제 조명 위원회인 CIE에서 규정한 XYZ 색공간으로 중간 변경 후 최종적으로 RGB로 변환할 수 있다.The R, G, and B color values of the gray reference panel 140 may be Lab color coordinates defined by CIE, an international lighting committee, or RGB color coordinates. At this time, in the case of Lab color coordinates, it can be converted into RGB color coordinate conversion formula and registered, and when converting from Lab to RGB, it can be converted to RGB after intermediate change to the XYZ color space stipulated by the International Lighting Commission (CIE).

그리고, 회색 레퍼런스 패널(140)의 패널 밝기값은 0~255 사이의 값으로 임의 설정된다.In addition, the panel brightness value of the gray reference panel 140 is arbitrarily set to a value between 0 and 255.

영상 수집부(230)는 안면 촬영장치(100)를 동작시켜 사용자 얼굴과 회색 레퍼런스 패널(140)이 함께 촬영된 안면 영상을 수집한다.The image collection unit 230 operates the face photographing apparatus 100 to collect a facial image in which the user's face and the gray reference panel 140 are photographed together.

영상 보정부(240)는 영상 수집부(230)를 통해 수집한 안면 영상에서 회색 레퍼러스 패널 이미지를 관심 이미지로 추출하여 패널 이미지에 대한 R,G,B별 패널 이미지 색상 정보를 산출하고, R,G,B별 패널 이미지 색상값과 해당 안면 영상 밝기 환경에서의 회색 레퍼런스 패널의 R,G,B별 변환 색상값간의 차이를 근거로 R,G,B 색상 보정값을 산출한다. The image correction unit 240 extracts the gray reference panel image as an image of interest from the facial image collected through the image collection unit 230 to calculate panel image color information for each R, G, and B panel image, and R R, G, B color correction values are calculated based on the difference between the panel image color values for each , G and B and the converted color values for each R, G, and B of the gray reference panel in the corresponding facial image brightness environment.

그리고, 영상 보정부(240)는 R,G,B 색상 보정값을 이용하여 영상 수집부(230)를 통해 수집한 안면 영상의 색상을 보정함과 더불어, 기 설정된 회색 레퍼런스 패널의 패널 밝기값으로 안면 영상의 밝기를 보정하여 보정 영상을 생성한다.In addition, the image correction unit 240 corrects the color of the facial image collected through the image collection unit 230 using the R, G, and B color correction values, and uses the preset panel brightness value of the gray reference panel. A corrected image is generated by correcting the brightness of the facial image.

영상 분석부(250)는 영상 보정부(240)를 통해 생성된 보정 영상을 분석하여 사용자의 안면 피부상태를 진단한다. The image analyzer 250 analyzes the corrected image generated by the image corrector 240 to diagnose the user's facial skin condition.

이어, 상기한 구성으로 된 회색 레퍼런스 패널을 이용한 영상 편차 보정 기능을 갖는 안면 피부 진단장치의 동작을 도5에 도시된 흐름도를 참조하여 설명한다.Next, an operation of the facial skin diagnosis apparatus having an image deviation correction function using the gray reference panel having the above configuration will be described with reference to the flowchart shown in FIG. 5 .

도5를 참조하면, 관리자는 회색 레퍼런스 패널(140)의 패널 색상 정보와 패널 밝기 정보를 영상처리장치(200)에 등록한다(ST100). 이때, 회색 레퍼런스 패널의 패널 색상정보는 색차계 또는 측색계를 이용하여 획득한 색상값이고, 패널 밝기는 0~255 사이의 값으로 관리자가 임의로 설정할 수 있다. Referring to FIG. 5 , the manager registers panel color information and panel brightness information of the gray reference panel 140 in the image processing apparatus 200 (ST100). In this case, the panel color information of the gray reference panel is a color value obtained using a colorimeter or a colorimeter, and the panel brightness can be set arbitrarily to a value between 0 and 255 by the administrator.

그리고, 관리자는 해당 회색 레퍼런스 패널(140)을 안면 촬영장치(100)의 턱 받침대(130) 상면 단부에 배치한다. 이때, 회색 레퍼런스 패널(140)의 하나 이상이 턱 받침대(130)에 배치될 수 있으며, 바람직하게는 동일 명도를 갖는 2개의 회색 레퍼런스 패널(140)이 도3과 같이 턱 받침대(130)의 양단에 각각 배치될 수 있다. Then, the manager arranges the gray reference panel 140 on the upper end of the chin rest 130 of the face photographing apparatus 100 . At this time, one or more gray reference panels 140 may be disposed on the chin rest 130 , and preferably, two gray reference panels 140 having the same brightness are provided at both ends of the chin rest 130 as shown in FIG. 3 . can be placed in each.

또한, 영상처리장치(200)는 안면촬영장치(100)를 이용하여 사용자 얼굴 촬영시 안면촬영장치(100)에 위차한 사용자 얼굴과 회색 레퍼런스 패널(140)이 함께 촬영되도록 피사체(사용자 얼굴)와의 거리와 렌즈 배율을 설정함과 더불어, 조리개, 셔터 스피드, 센서 감도(ISO), 및 화이트 밸런스를 포함하는 안면 촬영장치(100)의 카메라 파라미터를 설정한다(ST200).In addition, the image processing apparatus 200 uses the face photographing apparatus 100 to capture the user's face when photographing the user's face with the subject (user's face) so that the user's face positioned on the face photographing apparatus 100 and the gray reference panel 140 are photographed together. In addition to setting the distance and the lens magnification, camera parameters of the face photographing apparatus 100 including aperture, shutter speed, sensor sensitivity (ISO), and white balance are set (ST200).

상기한 상태에서, 사용자가 얼굴 촬영 장치(100)의 촬영 공간(S)에 얼굴을 위치시키고 외광이 차단된 상태에서, 영상처리장치(200)는 카메라(120)를 동작시켜 얼굴 촬영을 수행하고, 영상처리장치(200)는 얼굴 촬영 장치(100)에서 촬영된 회색 레퍼런스 패널 이미지가 포함된 안면 영상을 수집한다(ST300).In the above state, the user places the face in the photographing space (S) of the face photographing apparatus 100 and in a state in which external light is blocked, the image processing apparatus 200 operates the camera 120 to photograph the face, , the image processing apparatus 200 collects a facial image including the gray reference panel image photographed by the face photographing apparatus 100 (ST300).

영상처리장치(200)는 안면 영상에서 회색 레퍼런스 패널 이미지를 추출하고, 추출된 회색 레퍼런스 패널 이미지에 대응되는 R,G,B 패널 이미지 색상값을 획득한다(ST400). 이때, 도3과 같이 얼굴 촬영 장치(100)에 회색 레퍼런스 패널(140)이 다수 배치되어 안면 영상에서 다수의 회색 레퍼런스 패널 이미지가 추출된 경우, 각 회색 레퍼런스 패널 이미지에서 R,G,B별 패널 이미지 색상값을 각각 획득하고, 그 평균값을 산출하여 회색 레퍼런스 패널 이미지에 대한 R,G,B별 패널 이미지 색상값으로 결정한다.The image processing apparatus 200 extracts a gray reference panel image from the facial image, and acquires R, G, and B panel image color values corresponding to the extracted gray reference panel image (ST400). At this time, as shown in FIG. 3 , when a plurality of gray reference panels 140 are disposed in the face photographing apparatus 100 and a plurality of gray reference panel images are extracted from the facial image, each R, G, and B panel in each gray reference panel image Each image color value is acquired, the average value is calculated, and it is determined as the panel image color value for each R, G, and B of the gray reference panel image.

이어, 영상처리장치(200)는 ST100 단계에서 등록된 회색 레퍼런스 패널(140)의 R,G,B 패널 색상값을 상기 ST400 에서 획득한 안면 영상 밝기 환경에서의 R,G,B별 패널 색상값, 즉 변환 색상값으로 변환한다(ST500). 이때, 영상처리장치(200)는 물체색에서 밝기값은 조명의 세기에 따라 달라질 수 있으나 색의 비율은 동일하게 유지되는 특성을 이용하여, 회색 레퍼런스 패널(140)의 R,G,B별 패널 색상값을 상기 ST400 에서 획득한 안면 영상 밝기 환경에서의 색상값으로 변환한다.Next, the image processing apparatus 200 sets the R, G, and B panel color values of the gray reference panel 140 registered in step ST100 to R, G, and B panel color values in the face image brightness environment obtained in ST400. , that is, converted into a converted color value (ST500). In this case, the image processing apparatus 200 uses the characteristic that the brightness value of the object color may vary depending on the intensity of illumination, but the color ratio is maintained the same, so that the panel colors for each R, G, and B of the gray reference panel 140 are used. The value is converted into a color value in the face image brightness environment obtained in ST400.

즉, 상기 ST500 단계에서 영상처리장치(200)는 회색 레퍼런스 패널(140)의 R,G,B 기준 색상값(RC,GC,BC)을 이용하여 R,G,B별 밝기 비율(RR,GR,BR)을 각각 산출한다. 이때, R,G,B 별 밝기 비율(RR,GR,BR)은 하기 수학식 1을 통해 산출된다.That is, in step ST500, the image processing apparatus 200 uses the R, G, and B reference color values (R C , G C , B C ) of the gray reference panel 140 to determine the R, G, and B brightness ratio ( R R ,G R , BR ) are calculated respectively. At this time, the ratio of R,G,B brightness (R R ,G R ,B R ) is calculated through Equation 1 below.

Figure 112021040683143-pat00003
Figure 112021040683143-pat00003

여기서, RC,GC,BC 는 회색 레퍼런스 패널(140)의 R,G,B별 패널 색상값이다.Here, R C , G C , B C are panel color values for each R, G, and B of the gray reference panel 140 .

이어 영상처리장치(200)는 회색 레퍼런스 패널(140)의 R,G,B별 밝기 비율에 회색 레퍼런스 패널 이미지의 밝기값을 곱 연산하여 회색 레퍼런스 패널 이미지 밝기값 환경에서의 회색 레퍼런스 패널(140)의 R,G,B별 변환 색상값을 각각 산출한다. 이때, 회색 레퍼런스 패널 이미지 밝기값 환경에서의 회색 레퍼런스 패널(140)의 R,G,B별 변환 색상값(RRC,GRC,BRC)은 하기 수학식 2를 통해 산출된다.Then, the image processing apparatus 200 multiplies the brightness ratio of each R, G, and B of the gray reference panel 140 by the brightness value of the gray reference panel image, and the gray reference panel 140 in the gray reference panel image brightness environment. Calculate the converted color values for each R, G, and B of . In this case, the converted color values (R RC , G RC , B RC ) for each R, G, and B of the gray reference panel 140 in the gray reference panel image brightness environment are calculated through Equation 2 below.

Figure 112021040683143-pat00004
Figure 112021040683143-pat00004

여기서, II 는 회색 레퍼런스 패널 이미지의 R,B,G별 패널 이미지 색상값에 의해 산출된 회색 레퍼런스 패널 이미지 밝기값으로, 하기 수학식3을 통해 산출된다.Here, I I is a gray reference panel image brightness value calculated by the panel image color values for each R, B, and G of the gray reference panel image, and is calculated through Equation 3 below.

Figure 112021040683143-pat00005
Figure 112021040683143-pat00005

여기서, RIC,GIC,BIC 는 회색 레퍼런스 패널 이미지의 R,B,G별 패널 이미지 색상값이다.Here, R IC , G IC , and B IC are the panel image color values for each R, B, and G of the gray reference panel image.

그리고, 영상처리장치(200)는 상기 ST400 단계에서 획득한 회색 레퍼런스 패널 이미지의 R,G,B별 패널 이미지 색상값(RIC,GIC,BIC)과 상기 ST500 단계에서 변환된 회색 레퍼런스 패널의 R,G,B별 변환 색상값(RRC,GRC,BRC)간의 차 연산을 통해 R,G,B별 색상 보정값(R',G',B')을 산출한다(ST600). R,G,B 색상 보정값(R',G',B')은 수학식 4를 통해 산출된다.Then, the image processing apparatus 200 compares the panel image color values (R IC , G IC , B IC ) for each R, G, and B of the gray reference panel image obtained in the ST400 step and the gray reference panel converted in the ST500 step. Calculate the color correction values (R', G', B') for each R, G, and B by calculating the difference between the converted color values (R RC , G RC , B RC ) for each R, G, and B (ST600) . The R, G, and B color correction values (R', G', B') are calculated through Equation (4).

Figure 112021040683143-pat00006
Figure 112021040683143-pat00006

이어, 영상처리장치(200)는 R,G,B별 색상 보정값을 이용하여 상기 ST200 단계에서 수집한 안면 영상의 색상을 보정하고, 상기 ST100 단계에서 기 등록된 밝기값을 이용하여 안면 영상의 밝기를 보정하여 보정 영상을 생성한다(ST700). 즉, 영상처리장치(200)는 기 등록된 회색 레퍼런스 패널(140)의 색상 및 밝기값과 안면 영상에 포함된 회색 레퍼런스 패널 이미지를 이용하여 항상 동일한 촬영 조건에서의 보정 영상을 획득한다. Next, the image processing apparatus 200 corrects the color of the facial image collected in step ST200 using the color correction values for each R, G, and B, and uses the brightness value registered in step ST100 to adjust the color of the facial image. A corrected image is generated by correcting the brightness (ST700). That is, the image processing apparatus 200 always obtains a corrected image under the same shooting conditions by using the previously registered color and brightness values of the gray reference panel 140 and the gray reference panel image included in the face image.

이후, 영상처리장치(200)는 보정 영상을 분석하여 해당 사용자의 안면 피부 상태를 진단한다(ST800). Thereafter, the image processing apparatus 200 analyzes the corrected image to diagnose the facial skin condition of the user (ST800).

한편, 본 실시예에서는 회색 레퍼런스 패널을 이용하여 안면 영상을 보정하는 안면 피부 진단장치에서 적용하여 실시하였으나, 동일한 촬영 조건의 영상을 비교하여 처리하는 다양한 분야에 적용하여 실시할 수 있다.On the other hand, in the present embodiment, the gray reference panel was applied to the facial skin diagnosis apparatus for correcting the facial image, but it can be applied to various fields that compare and process images under the same imaging conditions.

100 : 안면 촬영장치, 110 : 카메라,
120 : 광원부, 130 : 턱 받침대,
140 : 회색 레퍼런스 패널, 150 : 이마 받침대,
200 : 영상 처리 장치, 210 : 카메라 설정부,
220 : 정보 등록부, 230 : 영상 수집부,
240 : 영상 보정부, 250 : 영상 분석부.
100: face photographing device, 110: camera,
120: light source unit, 130: chin rest,
140: gray reference panel, 150: forehead support,
200: image processing device, 210: camera setting unit,
220: information register, 230: image collection unit,
240: an image correction unit, 250: an image analysis unit.

Claims (7)

촬영된 영상을 비교하여 처리하는 다수의 영상처리장치에서 회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법에 있어서,
영상처리장치에 회색 레퍼런스 패널의 밝기값과 R,G,B별 패널 색상값을 등록하는 제1 단계와,
영상처리장치가 회색 레퍼런스 패널이 함께 촬영된 영상을 수집하는 제2 단계,
영상처리장치가 제2 단계의 수집 영상에서 회색 레퍼런스 패널 이미지를 추출하고, 회색 레퍼런스 패널 이미지에 대한 R,G,B별 패널 이미지 색상값을 획득하는 제3 단계,
영상처리장치가 제1 단계에서 등록된 회색 레퍼런스 패널의 R,G,B 별 패널 색상값을 상기 수집 영상의 밝기 환경에서의 색상값인 R,G,B별 변환 색상값으로 변환하는 제4 단계,
영상처리장치가 상기 제3 단계에서 획득한 패널 이미지 색상값과 제4 단계에서 획득한 변환 색상값간의 차(빼기) 연산을 통해 R,G,B별 색상 보정값을 산출하는 제5 단계 및,
영상처리장치가 R,G,B별 색상 보정값을 이용하여 상기 수집 영상의 색상을 보정하고, 상기 제1 단계에서 등록된 회색 레퍼런스 패널의 밝기값을 근거로 이 수집 영상의 밝기를 보정하여 보정 영상을 생성하는 제6 단계를 포함하여 구성되고,
상기 제4 단계는 회색 레퍼런스 패널의 R,G,B 별 각 밝기 비율을 산출하고, 이 R,G,B별 밝기 비율에 패널 이미지의 밝기값을 곱 연산하여 R,G,B,별 변환 색상값을 생성하되,
상기 회색 레퍼런스 패널의 R,G,B별 각 밝기 비율(RR,GR,BR)은 하기 수학식에 의해 산출되고,
Figure 112022059160807-pat00018
여기서, RC,GC,BC 는 제1 단계에서 등록된 회색 레퍼런스 패널의 R,G,B별 패널 색상값임.
상기 패널 이미지의 밝기값(II)은 하기 수학식에 의해 산출되는 것을 특징으로 하는 회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법.
Figure 112022059160807-pat00019

여기서, RIC,GIC,BIC 는 제3 단계에서 획득한 회색 레퍼런스 패널 이미지의 R,G,B별 이미지 패널 색상값임.
In a method for correcting image deviation between devices using a gray reference panel in a plurality of image processing devices that compare and process captured images,
A first step of registering the brightness value of the gray reference panel and the panel color value for each R, G, and B in the image processing device;
A second step in which the image processing device collects the image captured with the gray reference panel,
A third step in which the image processing device extracts a gray reference panel image from the collected images in the second step, and obtains panel image color values for each R, G, and B for the gray reference panel image;
A fourth step in which the image processing apparatus converts the panel color values for each R, G, and B of the gray reference panel registered in the first step into converted color values for each R, G, and B that are color values in the brightness environment of the collected image ,
a fifth step of calculating, by the image processing apparatus, a color correction value for each R, G, and B through a difference (subtraction) operation between the panel image color value obtained in the third step and the converted color value obtained in the fourth step;
The image processing apparatus corrects the color of the collected image using the color correction values for each R, G, and B, and corrects the brightness of the collected image based on the brightness value of the gray reference panel registered in the first step and a sixth step of generating an image,
The fourth step is to calculate each brightness ratio for each R, G, and B of the gray reference panel, multiply the brightness ratio for each R, G, and B by the brightness value of the panel image, and convert colors for R, G, B, and stars create a value,
Each brightness ratio (R R , G R , B R ) of each R, G, and B of the gray reference panel is calculated by the following equation,
Figure 112022059160807-pat00018
Here, R C , G C , B C are the panel color values for each R, G, and B of the gray reference panel registered in the first step.
The brightness value (I I ) of the panel image is an image deviation correction method between devices using a gray reference panel, characterized in that calculated by the following equation.
Figure 112022059160807-pat00019

Here, R IC ,G IC ,B IC are the image panel color values for each R, G, and B of the gray reference panel image obtained in the third step.
삭제delete 삭제delete 제1항에 있어서,
상기 제2 단계에서 수집된 영상은 서로 다른 위치에 배치된 동일 명도를 갖는 둘 이상의 회색 레퍼런스 패널을 포함하고,
상기 제3 단계에서 영상처리장치는 각 회색 레퍼런스 패널 이미지에 대한 R,G,B별 패널 이미지 색상값의 평균을 패널 이미지 색상값으로 결정하는 것을 특징으로 하는 회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법.
The method of claim 1,
The images collected in the second step include two or more gray reference panels having the same brightness disposed at different positions,
In the third step, the image processing apparatus determines the average of the panel image color values for each R, G, and B for each gray reference panel image as the panel image color value. Way.
전면 일측에 사용자의 안면이 배치되는 개구가 형성되고, 내부에 촬영공간이 형성되는 본체와,
상기 본체의 하측에 설치되어 사용자의 턱을 받쳐주는 턱 받침대,
회색 컬러를 갖는 일정 폭과 길이를 갖는 패널로서, 상기 턱 받침대의 일측면상에 배치되되, 사용자 얼굴과 동일 포커스면에 배치되는 회색 레퍼런스 패널,
상기 본체 개구에 위치하는 사용자의 안면을 촬영하되, 상기 회색 레퍼런스 패널이 안면과 함께 촬영되도록 본체의 내부 일측에 설치되는 카메라,
상기 본체의 내부 일측에 설치되어 광을 조사하는 광원부,
상기 카메라를 통해 촬영된 안면 영상을 수집하여 회색 레퍼런스 패널 정보를 근거로 동일한 촬영 조건의 보정 영상을 생성하고, 보정 영상을 이용하여 사용자 안면 피부 상태를 진단하는 영상처리장치를 포함하여 구성되고,
상기 영상처리장치는 안면 영상의 회색 레퍼러스 패널 이미지에 대한 R,G,B별 패널 이미지 색상값을 산출하고, 회색 레퍼런스 패널의 기 등록 색상값을 해당 안면 영상 밝기 환경에서의 회색 레퍼런스 패널의 R,G,B별 변환 색상값으로 변환하며, R,G,B별 패널 이미지 색상값과 R,G,B별 변환 색상값의 차이를 근거로 R,G,B 색상 보정값을 산출하여 안면 영상의 색상을 보정하고, 기 설정된 회색 레퍼런스 패널의 패널 밝기값을 이용하여 이 안면 영상의 밝기를 보정하여 보정 영상을 생성하도록 구성되되,
상기 R,G,B,별 변환 색상값은 상기 회색 레퍼런스 패널의 R,G,B별 각 밝기 비율(RR,GR,BR)을 하기 수학식을 통해 산출하고,
Figure 112022059160807-pat00020
여기서, RC,GC,BC 는 기 등록된 회색 레퍼런스 패널의 R,G,B별 패널 색상값임.
이 R,G,B별 밝기 비율에 하기 수학식을 통해 산출된 패널 이미지의 밝기값(II)을 곱 연산하여 산출되는 것을 특징으로 하는 회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법.
Figure 112022059160807-pat00021

여기서, RIC,GIC,BIC 는 회색 레퍼런스 패널 이미지의 R,G,B별 이미지 패널 색상값임.
A main body having an opening in which the user's face is disposed on one side of the front side, and a photographing space is formed therein;
A chin rest installed on the lower side of the main body to support the user's chin,
A gray color panel having a certain width and length, a gray reference panel disposed on one side of the chin rest and disposed on the same focus plane as the user's face;
A camera installed on one side of the inside of the body to photograph the user's face located in the opening of the body, and to photograph the gray reference panel together with the face;
A light source unit installed on one side of the inside of the body to irradiate light,
and an image processing device that collects facial images taken through the camera, generates a corrected image of the same shooting condition based on gray reference panel information, and diagnoses a user's facial skin condition using the corrected image,
The image processing device calculates the panel image color values for each R, G, and B for the gray reference panel image of the facial image, and sets the previously registered color value of the gray reference panel to the R of the gray reference panel in the corresponding facial image brightness environment. Converts to converted color values by ,G,B, and calculates R,G,B color correction values based on the difference between the panel image color value by R,G,B and the converted color value by R,G,B to calculate facial image is configured to correct the color of , and correct the brightness of this facial image using the panel brightness value of the preset gray reference panel to generate a corrected image,
The R, G, B, and star conversion color values are calculated by calculating the respective brightness ratios (R R , G R , B R ) of each R, G, and B of the gray reference panel through the following equation,
Figure 112022059160807-pat00020
Here, R C , G C , B C are the panel color values for each R, G, and B of the previously registered gray reference panel.
An image deviation correction method between devices using a gray reference panel, which is calculated by multiplying the brightness ratio for each R, G, and B by the brightness value (I I ) of the panel image calculated through the following equation.
Figure 112022059160807-pat00021

Here, R IC ,G IC ,B IC are the image panel color values for each R, G, and B of the gray reference panel image.
삭제delete 제5항에 있어서,
상기 회색 레퍼런스 패널은 표면이 무광 특성을 가지며, 플라스틱이나 세라믹을 포함한 변색이 적으면서 습기에 강한 재질로 이루어지는 것을 특징으로 하는 회색 레퍼런스 패널을 이용한 영상 편차 보정기능을 갖는 안면 피부 진단장치.
6. The method of claim 5,
The gray reference panel has a matte surface, and is made of a material that is resistant to moisture and has little discoloration including plastic or ceramic.
KR1020210045175A 2021-04-07 2021-04-07 Calibration Method of Image Deviation between Devices Using Gray Reference Panel and Facial Skin Diagnosis Device with this Function KR102462061B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210045175A KR102462061B1 (en) 2021-04-07 2021-04-07 Calibration Method of Image Deviation between Devices Using Gray Reference Panel and Facial Skin Diagnosis Device with this Function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210045175A KR102462061B1 (en) 2021-04-07 2021-04-07 Calibration Method of Image Deviation between Devices Using Gray Reference Panel and Facial Skin Diagnosis Device with this Function

Publications (2)

Publication Number Publication Date
KR20220139043A KR20220139043A (en) 2022-10-14
KR102462061B1 true KR102462061B1 (en) 2022-11-03

Family

ID=83599979

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210045175A KR102462061B1 (en) 2021-04-07 2021-04-07 Calibration Method of Image Deviation between Devices Using Gray Reference Panel and Facial Skin Diagnosis Device with this Function

Country Status (1)

Country Link
KR (1) KR102462061B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233810A (en) * 2002-02-08 2003-08-22 Taisei Corp Image generation method and system
JP2006254309A (en) * 2005-03-14 2006-09-21 Fuji Photo Film Co Ltd Photographing system
JP2009077950A (en) * 2007-09-26 2009-04-16 Fujinon Corp Color conversion calculating method, color conversion calculating device, color converter and endoscope system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100698828B1 (en) 2005-02-28 2007-03-23 한국과학기술원 An illumination reflectance model based image distortion elimination method
KR20210017448A (en) 2019-08-08 2021-02-17 문명일 Facial skin diagnostic machine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233810A (en) * 2002-02-08 2003-08-22 Taisei Corp Image generation method and system
JP2006254309A (en) * 2005-03-14 2006-09-21 Fuji Photo Film Co Ltd Photographing system
JP2009077950A (en) * 2007-09-26 2009-04-16 Fujinon Corp Color conversion calculating method, color conversion calculating device, color converter and endoscope system

Also Published As

Publication number Publication date
KR20220139043A (en) 2022-10-14

Similar Documents

Publication Publication Date Title
US9338379B2 (en) System, device, and method for obtaining an image of a person's skin
CN106068092A (en) Image processing apparatus
TW200420118A (en) Device and method for estimating light source, image pickup device and image processing method
CN106102556A (en) Image processing apparatus
JP2018151165A (en) Color measurement device, color information processing device, color measurement system, color measurement method, and program
CN113194303B (en) Image white balance method, device, electronic equipment and computer readable storage medium
WO2013062345A1 (en) Colour lighting control method for improving image quality in a vision system
CN106296696B (en) The processing method and image capture device of color of image consistency
EP3318175A1 (en) Image processing apparatus and imaging system
JP2014122847A (en) Image correction device, image correction program and image correction method
CN109100118B (en) Light source testing method and system
CN114019746A (en) LED calibration method and system
JP2005311581A (en) Image input system, transformation matrix calculating method, and program
JP2011211317A (en) Light source detector
US11521319B2 (en) Endoscope system
JP6531202B2 (en) Image processing device
WO2019194106A1 (en) Image processing device, image processing method, and image processing program
KR102462061B1 (en) Calibration Method of Image Deviation between Devices Using Gray Reference Panel and Facial Skin Diagnosis Device with this Function
JP6293384B2 (en) Endoscope system
CN114503097A (en) Method and apparatus for color lookup using mobile device
US20160210746A1 (en) Organ imaging device
CN105872374B (en) Image correction device, diagnostic device, and image correction method
JP6774788B2 (en) Color adjuster and color adjuster
KR101785529B1 (en) Medical apparatus for tongue diagnosis and control method thereof
JP4532781B2 (en) Thin hair area evaluation method and system, and thin hair positioning plate

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right